WO2016078746A1 - Method for operating an object rating apparatus for a motor vehicle, object rating apparatus for a motor vehicle and motor vehicle having an object rating apparatus - Google Patents

Method for operating an object rating apparatus for a motor vehicle, object rating apparatus for a motor vehicle and motor vehicle having an object rating apparatus Download PDF

Info

Publication number
WO2016078746A1
WO2016078746A1 PCT/EP2015/002179 EP2015002179W WO2016078746A1 WO 2016078746 A1 WO2016078746 A1 WO 2016078746A1 EP 2015002179 W EP2015002179 W EP 2015002179W WO 2016078746 A1 WO2016078746 A1 WO 2016078746A1
Authority
WO
WIPO (PCT)
Prior art keywords
motor vehicle
state
points
spherical
hand
Prior art date
Application number
PCT/EP2015/002179
Other languages
German (de)
French (fr)
Inventor
Michael SCHLITTENBAUER
Original Assignee
Audi Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi Ag filed Critical Audi Ag
Priority to EP15797254.8A priority Critical patent/EP3221772A1/en
Publication of WO2016078746A1 publication Critical patent/WO2016078746A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B60K35/10—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • B60K2360/146—
    • B60K2360/1464—

Definitions

  • the invention relates to a method for operating an object evaluation device for a motor vehicle, in which at least one object state of an object to be evaluated is optically detected by at least one sensor of the object evaluation device and a detection-based, three-dimensional image of the object is segmented, wherein the segmented, three-dimensional image is divided into a plurality of sectors.
  • the invention also includes a corresponding object evaluation device for a motor vehicle, which is configured to carry out the method according to the invention. Furthermore, the invention includes a motor vehicle with such an object evaluation device.
  • Motor vehicles use these days to operate various devices installed or carried in the motor vehicle, that is, for example, for operating a telephone, input systems based on non-contact operation.
  • Such systems include, for example, the gesture control, in which a non-contact desired by the vehicle occupant phone number is selected by gestikul Arthur specification.
  • Such non-contact systems are particularly advantageous because vehicle occupants and in particular the driver of the motor vehicle can constantly focus his gaze on the traffic situation and yet a reliable control of the respective non-contact system can be performed.
  • a non-contact system is known from US 2012/0271370 A1, which is designed there as a gesture-controlled interface for a motor vehicle.
  • a person sitting in the vehicle can thereby define a gesture acceptance area and train a gesture control system so that it detects a hand position and the hand movement within the gesture acceptance area.
  • WO 2014/009561 A2 discloses a method in which a gesture-based human-computer interaction is used by means of individual "Points of Interest" (POI) of a hand, in which case a few points are sufficient to allow grasping, pressing or to detect a finger snap of the hand and to trigger a device based thereon.
  • POI Points of Interest
  • DE 10 2007 041 482 A1 discloses a method for automatically detecting a limb, e.g. As a hand, formed gesture, at the same time a plurality of two-dimensional images of the limb is detected from different directions. The two-dimensional images are combined into a three-dimensional image and the latter analyzed for a gesture feature.
  • Object of the present invention is to enable a particularly reliable, non-contact operation of devices.
  • the method according to the invention uses the procedure described above, according to which at least one object state of an object to be evaluated is optically detected by at least one sensor of the object evaluation device and a detection-based three-dimensional image of the object is segmented, wherein the segmented, three-dimensional image is divided into a plurality of sectors is divided.
  • at least one sector point of a plurality of spatially distributed sector points of the image describing the object is used to describe the object state from each of the sectors. In this case, for example, 1000 sector points are used for a statistical evaluation or four sector points for a specific evaluation.
  • At least one spherical curvature of the object is determined on the basis of the plurality of sector points, wherein the object state is evaluated on the basis of the spherical curvature of the object and the evaluated object state is used as a status signal for operating a device of the motor vehicle.
  • the object detected by the object evaluation device is, for example, the arm of a vehicle occupant or, as already mentioned, a hand to name just a few types of an object to be detected and evaluated.
  • the segmentation as a subarea of digital image processing and vision, in which content-related regions are generated by combining adjacent pixels or voxels according to a specific homogeneity criterion, will be discussed here only to the extent that during the acquisition of the three-dimensional image by means of the object evaluation device In the case of segmentation height differences of the object can also be detected. Accordingly, it can be distinguished by means of the segmentation, for example, whether zones of a hand clenched to the hand are arched outwards or pressed against each other.
  • a spherical curvature of the observed object is determined and the object state is evaluated on the basis of the spherical curvature of the object.
  • the spherical curvature can thus be used to determine whether the hand is closed (small radius of curvature on the palm of the hand) or whether the hand is open (considered radii of curvature on the hand) Palm significantly larger in comparison to the fist). It can be seen from the above-mentioned example of the hand as a viewed object that even by comparing different zones of the object by assigning these zones to the sectors or quadrants (eg quadrant 1).
  • a comparison of the state of the zones to each other can be used to evaluate the state of the object.
  • a corresponding status signal is generated from the evaluated object state and transmitted for operation to a device of the motor vehicle.
  • a device of the motor vehicle Such a device, in addition to a mobile phone, for example, a navigation system or an air conditioning system of the motor vehicle, just to name a few possible devices.
  • a radius of the spherical curvature and a center of the spherical curvature is determined. This has the advantage that a particularly simple and reliable description of the curvature is made possible, with a particularly small storage requirement being required for the data sufficiently describing the curvature.
  • the radius, the center and by those sector points, by which the spherical curvature is defined or defined in a particularly resource-saving manner (low memory requirement and low computing power requirement in the object evaluation device) both a unique position of the considered curvature, as well the corresponding degree of curvature is recorded.
  • the spherical curvature may also be a curvature having a plurality of radii defined by the respective sector points with respect to the center. Accordingly, with several radii, more sector points are to be detected with regard to their position in order to enable a clear, ie complete description of the curvature with a plurality of radii. In other words, the number of sector points to be detected with respect to your location for the unambiguous description of the curvature depends on the number of different radii of curvature.
  • the considered sector points are expressed as spherical coordinates of a sphere and the spherical curvature formed by the sector points as Ball simplified.
  • four sector points are sufficient to describe a sphere. This allows a particularly resource-conserving description of the local curvature of the object, wherein the ball is a geometrically particularly easy to describe reference.
  • the considered envelope ball can be understood on the one hand as an envelope of the object, wherein the radius of the envelope sphere changes with the object state. Accordingly, for example, the cladding sphere of an outstretched arm is significantly larger (larger radius of the cladding sphere enclosing the entire arm) than the cladding sphere of an angled arm (smaller radius).
  • the cladding sphere may also be defined so as to include just the respective random points considered, resulting in a cladding sphere randomly determined on the basis of the random points, which by no means encloses the entire object, but merely individual zones, for example. Such a zone would be, for example, the elbow of the arm.
  • the use of random points is particularly advantageous, since thereby also inclined positions of the object under consideration relative to the object evaluation device lead to a reliable operation of the device.
  • the object evaluation device can accordingly detect an inclination and reliably determine the respective object state on the basis of other random points.
  • At least one further envelope ball of the type mentioned is determined.
  • the determination of further enveloping balls is particularly advantageous in order to bring about a reliable operation of the device even with irregularly formed objects.
  • An illustrative example here is a strongly swollen hand, which nevertheless can be used by the use of multiple enveloping balls for reliable operation of the device. Accordingly, for example, the sector in which, for example, a heavily swollen finger is detected as an outlier and only the other sectors with the other enveloping balls used to operate the device.
  • a plurality of the object describing spherical curvatures is determined and for describing the object state, a frequency distribution of the plurality of spherical curvatures describing the object is used.
  • a particularly fine gradation can take place between a plurality of object states.
  • the plurality of spherical curvatures can not only detect whether, for example, the arm is bent or stretched, or the hand is opened or fist (closed), but what degree of opening is present. This allows the implementation of many functions of the device to be operated, with each degree of opening a specific function of the device triggers.
  • the state of a hand is recognized as the state of the object.
  • the degree of opening of a hand can be determined by determining the curvature, that is, calculated to operate the corresponding device of the motor vehicle.
  • the physically correct positioning of the occupants eg by a Time Of Flight camera with a PMD sensor
  • body parts such as the hand
  • the difference between a fully opened hand and a closed hand is recognized as a gripping gesture.
  • the hand can be particularly easily analyzed, for example, as a spherical object based on four sector points on the palm of the hand and from the ball radius and the ball center are determined.
  • an opening degree of the hand is determined on the basis of the object state.
  • the consideration of the hand as an object enables the recognition of particularly many object states in the form of different degrees of opening of the hand.
  • various finger movements or the spreading of individual fingers can be used to define different object states. This opens up a considerable range of operation of the device, that is to say the implementation of particularly many functions by the various detected object states of the hand.
  • the object evaluation device according to the invention for a motor vehicle enables particularly reliable and reliable detection of different object states of the object under consideration.
  • the motor vehicle equipped with an object evaluation device according to the invention can be operated in a particularly reliable non-contact manner, wherein the motor vehicle occupant can at the same time direct his entire attention to the traffic situation.
  • Fig. 1 is a schematic perspective view of an interior of a
  • FIGS. 2 to 4 are each a schematic perspective view for illustrating an embodiment of the method according to the invention.
  • FIG. 1 shows a part of an interior of a motor vehicle 10 in the context of a schematic perspective view.
  • the motor vehicle 10 comprises an object evaluation device 20, by means of which different object states 24, 26 of an object 22 embodied as a hand of a vehicle occupant are detected.
  • the object state 24 corresponds to the open hand, which can be recognized by the widened fingers indicated by dot-dashed lines.
  • the further object state 26 corresponds to the closed hand formed into a fist.
  • the object evaluation device 20 comprises a sensor 12, which is designed as a PMD sensor, a camera 14 and a calculation unit 16 (ECU).
  • ECU calculation unit 16
  • the sensor 12 is part of the camera 14, wherein by means of the calculation unit 16 a three-dimensional image 28 derived from the object 14 by the camera 14 is evaluated and the object 22, or the three-dimensional image 28 of one of the object states 24, 26 is assigned.
  • a state signal corresponding to the detected object state 24, 26 is then transmitted by the calculation unit 16 to a vehicle architecture 18, which is embodied, for example, as a CAN bus, and from the vehicle architecture 18 as a function of the status signal to a device 48, for example a navigation device or an air conditioner of the motor vehicle 10 corresponds operated.
  • a vehicle architecture 18 which is embodied, for example, as a CAN bus
  • a device 48 for example a navigation device or an air conditioner of the motor vehicle 10 corresponds operated.
  • 48 different settings are made on the device by different object states 24, 26 are detected by the object evaluation device 20 and the object states 24, 26 corresponding state signals are transmitted via the vehicle architecture 18 to the device 48.
  • FIG. 2 shows the object state 26, that is to say the closed hand formed into a fist, which corresponds to the object 22 in the present exemplary embodiment.
  • FIG. 3 shows the object state 24, that is to say the open, substantially flat hand (object 22).
  • the object states 24, 26 can now be distinguished from one another by means of the object evaluation device 20 in that the three-dimensional image 28 of the object 22 (of the hand), as shown in FIG. 4, into different sectors 30, 32, 34, 36 are configured here as quadrants, and each of the quadrants has at least one sector point 38 of a plurality of objects 22. writing, spatially distributed sector points of the image 28 is assigned. Based on the plurality of sector points, at least one spherical curvature 40 of the object 22 is determined.
  • a spatial curvature of the hand is recognized and evaluated as a specific object state 24, 26.
  • the respective object state 24, 26 is therefore evaluated on the basis of the spherical curvature 40 of the object 22, and the evaluated object state 24, 26 is used as a status signal for operating the device 48 of the motor vehicle 10.
  • a corresponding radius R, r of the spherical curvature 40 and a center M of the spherical curvature is determined.
  • FIG. 2 shows the spherical curvature 40, which results at the closed hand (fist, object state 26) at the small radius r, and FIG.
  • FIGS. 2 and 3 shows the spherical curvature 40, which is at the larger radius compared to the radius r R yields.
  • the object evaluation device 20 can therefore be used to easily evaluate which of the object states 24, 26 is present.
  • a distinction may also be made between the object states 24, 26 by using at least a portion of the plurality of sector points describing the object 22 as respective coordinates of a sphere 52 and for evaluating the object state 24, 26 a spherical radius R ", n ⁇ is used.
  • the plurality of sector points corresponds to a cloud of points 50, which is defined in each of the sectors 30, 32, 34, 36.
  • At least four random points 46 can also be selected, each of which is assigned to one of the sectors 30, 32, 34, 36.
  • a spherical radius R H , r H and a spherical center M H are determined as a parameter of an enveloping ball 42.
  • the envelope ball 42 is defined on the basis of the random points 46 with respect to their spherical radius R H , r H and their ball center point M H.
  • these random points 46 thus lie on the enveloping ball 42 and fix them in terms of their spatial and their relative position to the object 22. As shown in Fig.
  • At least one further envelope ball 44 can be determined according to the type mentioned.
  • FIG. 2 and FIG. 3 shows that the enveloping balls 42, 44 shown there envelop the respective closed or opened hand, and thus the different radii RH, ⁇ of the respective enveloping balls 42, 44 result, on the basis of which the respective object state 24, 26 is evaluated.
  • the enveloping balls 42, 44 can only parts of the object 22, ie the hand, when, for example, the random points 46 lie on the palm of the hand or on the back of the hand.
  • the enveloping balls 42, 44 can additionally describe the state of individual limbs, ie fingers of the hand under consideration (object 22), in which case a plurality of spherical curvatures 40 describing the object 22 are determined, and a description of the object state 24, 26 In FIG. 5 or FIG.
  • the frequency distribution 54, 56 of the plurality of spherical curvatures 40 describing the object 22 is used.
  • the frequency distribution 54 shown in FIG. 5 corresponds to a broad distribution with large radii of the enveloping balls 42, 44, in other words an open hand, in which the object state 24 is present and thus the degree of opening of the hand is great.
  • Fig. 6 shows the frequency distribution 56, which results in the clenched hand (object state 26). Accordingly, in the frequency distribution 56 a sharp average value sets in at generally smaller radii.
  • the classes X of the illustrated histogram (frequency distribution 54) have a wide distribution with a large radius
  • the classes X of the histogram (frequency distribution 56) shown in Fig. 6 show a distribution with a small mean and small radii.
  • the closure of the hand (object 22) can be carried out particularly simply and with little effort by calculating the respective radii and centers of the enveloping balls 42, 44 and additionally or alternatively the balls 52.
  • a circle is clearly defined by three different points of its arc. Conversely, three different points do not define that a straight line, a clear circle. This also applies in space, because three points that are not on a straight line (non-collinear position) span a plane on which the circle then lies. Imagine three such points in three-dimensional space and the circle going through them.
  • the circle In the case of all balls (enveloping balls 42, 44, or ball 52) on whose surfaces these three points lie, the circle must also lie on the spherical surface. Moreover, all the centers of the spheres that can be formed into the circle lie on a perpendicular to the circle through its center.
  • the coordinates indicate the direction components of the distance from the center point.
  • This expression takes into account that the observed object 22 may be located anywhere within the detection range of the sensor 12.
  • a + B-Xi + C-yi + D ZT - (x- ⁇ 2 + + zi 2 )
  • a + B x 2 + C y 2 + D z 2 - (x 2 2 + y 2 2 + z 2 2 )
  • the associated coefficient matrix is:
  • the sphere thus has the center point (5
  • the example described shows how the invention can provide a calculation of the degree of opening of a hand by determining the curvature (radius).

Abstract

The invention relates to a method for operating an object rating apparatus (20) for a motor vehicle (10), in which at least one object state (24, 26) of an object (22) to be rated is optically captured by at least one sensor (12) of the object rating apparatus (20) and a three-dimensional image (28), based on the capture, of the object (22) is segmented, the segmented three-dimensional image (28) being divided into a plurality of sectors (30, 32, 34, 36). To describe the object state (24, 26), at least one sector point (38) from a plurality of physically distributed sector points of the image (28) that describe the object (22) is used from each of the sectors (30, 32, 34, 36). The plurality of sector points is taken as a basis for determining at least one spherical curvature (40) of the object (22), wherein the object state (24, 26) is rated on the basis of the spherical curvature (40) of the object (22) and the rated object state (24, 26) is used as a state signal for operator control of an appliance (48) of the motor vehicle (10).

Description

Verfahren zum Betreiben einer Objektbewertungsvorrichtung für ein Kraftfahrzeug, Objektbewertungsvorrichtung für ein Kraftfahrzeug und Kraftfahrzeug mit einer Objektbewertungsvorrichtung  Method for operating an object evaluation device for a motor vehicle, object evaluation device for a motor vehicle and motor vehicle with an object evaluation device
BESCHREIBUNG: DESCRIPTION:
Die Erfindung betrifft ein Verfahren zum Betreiben einer Objektbewertungsvorrichtung für ein Kraftfahrzeug, bei welchem wenigstens ein Objektzustand eines zu bewertenden Objekts durch wenigstens einen Sensor der Objekt- bewertungsvorrichtung optisch erfasst und ein auf der Erfassung basierendes, dreidimensionales Bild des Objekts segmentiert wird, wobei das segmentierte, dreidimensionale Bild in eine Mehrzahl von Sektoren unterteilt wird. Zu der Erfindung gehört auch eine entsprechende Objektbewertungsvorrichtung für ein Kraftfahrzeug, die zum Durchführen des erfindungsgemä- ßen Verfahrens konfiguriert ist. Des Weiteren gehört zu der Erfindung ein Kraftfahrzeug mit einer derartigen Objektbewertungsvorrichtung. The invention relates to a method for operating an object evaluation device for a motor vehicle, in which at least one object state of an object to be evaluated is optically detected by at least one sensor of the object evaluation device and a detection-based, three-dimensional image of the object is segmented, wherein the segmented, three-dimensional image is divided into a plurality of sectors. The invention also includes a corresponding object evaluation device for a motor vehicle, which is configured to carry out the method according to the invention. Furthermore, the invention includes a motor vehicle with such an object evaluation device.
Kraftfahrzeuge nutzen heutzutage zur Bedienung diverser im Kraftfahrzeug eingebauter oder mitführbarer Geräte, also beispielsweise zur Bedienung eines Telefons, Eingabesysteme, welche auf berührungsloser Bedienung basieren. Zu derartigen Systemen gehört beispielsweise die Gestensteuerung, bei welcher berührungslos eine vom Fahrzeuginsassen gewünschte Telefonnummer durch gestikulierte Vorgabe gewählt wird. Derartige berührungslose Systeme sind besonders vorteilhaft, da Fahrzeuginsassen und insbesondere der Fahrer des Kraftfahrzeugs seinen Blick kontinuierlich auf das Verkehrsgeschehen richten kann und dennoch eine zuverlässige Steuerung des jeweiligen berührungslos bedienbaren Systems erfolgen kann. Motor vehicles use these days to operate various devices installed or carried in the motor vehicle, that is, for example, for operating a telephone, input systems based on non-contact operation. Such systems include, for example, the gesture control, in which a non-contact desired by the vehicle occupant phone number is selected by gestikulierte specification. Such non-contact systems are particularly advantageous because vehicle occupants and in particular the driver of the motor vehicle can constantly focus his gaze on the traffic situation and yet a reliable control of the respective non-contact system can be performed.
Ein berührungslos bedienbares System ist aus der US 2012/0271370 A1 bekannt, welches dort als gestenkontrolliertes Interface für ein Kraftfahrzeug ausgestaltet ist. Eine im Kraftfahrzeug einsitzende Person kann dabei einen Gestenakzeptanzbereich definieren und ein Gestenkontrollsystem einlernen, so dass dieses eine Handposition und die Handbewegung innerhalb des Gestenakzeptanzbereichs detektiert. Aus der WO 2014/009561 A2 ist ein Verfahren bekannt, bei welchem eine gestenbasierte Mensch-Computer-Interaktion mittels einzelner „Points of Interest" (POI) einer Hand verwendet werden. Hierbei reichen einige wenige Punkte aus, um ein Greifen, ein Drücken oder ein Fingerschnippen der Hand zu erkennen und eine darauf basierende Gerätebedienung auszulösen. A non-contact system is known from US 2012/0271370 A1, which is designed there as a gesture-controlled interface for a motor vehicle. A person sitting in the vehicle can thereby define a gesture acceptance area and train a gesture control system so that it detects a hand position and the hand movement within the gesture acceptance area. WO 2014/009561 A2 discloses a method in which a gesture-based human-computer interaction is used by means of individual "Points of Interest" (POI) of a hand, in which case a few points are sufficient to allow grasping, pressing or to detect a finger snap of the hand and to trigger a device based thereon.
Die DE 10 2007 041 482 A1 offenbart ein Verfahren zur automatischen Erkennung einer mit einer Gliedmaße, z. B. einer Hand, gebildeten Geste, wo- bei zeitgleich eine Mehrzahl zweidimensionaler Bilder der Gliedmaße aus unterschiedlichen Richtungen erfasst wird. Die zweidimensionalen Bilder werden zu einem dreidimensionalen Bild kombiniert und letzteres hinsichtlich eines Gestenmerkmals analysiert. Aufgabe der vorliegenden Erfindung ist es, ein besonders zuverlässiges, berührungsloses Bedienen von Geräten zu ermöglichen. DE 10 2007 041 482 A1 discloses a method for automatically detecting a limb, e.g. As a hand, formed gesture, at the same time a plurality of two-dimensional images of the limb is detected from different directions. The two-dimensional images are combined into a three-dimensional image and the latter analyzed for a gesture feature. Object of the present invention is to enable a particularly reliable, non-contact operation of devices.
Diese Aufgabe wird durch ein Verfahren gemäß Patentanspruch 1 , durch eine Objektbewertungsvorrichtung gemäß Patentanspruch 9 sowie durch ein Kraftfahrzeug gemäß Patentanspruch 10 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die Unteransprüche gegeben. This object is achieved by a method according to claim 1, by an object evaluation device according to claim 9 and by a motor vehicle according to claim 10. Advantageous developments of the invention are given by the dependent claims.
Das erfindungsgemäße Verfahren nutzt die eingangs beschriebene Vorgehensweise, wonach wenigstens ein Objektzustand eines zu bewertenden Objekts durch wenigstens einen Sensor der Objektbewertungsvorrichtung optisch erfasst und ein auf der Erfassung basierendes, dreidimensionales Bild des Objekts segmentiert wird, wobei das segmentierte, dreidimensionale Bild in eine Mehrzahl von Sektoren unterteilt wird. Erfindungsgemäß wird zur Beschreibung des Objektzustands aus jedem der Sektoren wenigstens ein Sektorpunkt aus einer Mehrzahl von das Objekt beschreibenden, räumlich verteilten Sektorpunkten des Bildes verwendet. Dabei werden beispielsweise 1000 Sektorpunkte für eine statistische Auswertung oder vier Sektorpunkte für eine konkrete Auswertung verwendet. Anhand der Mehrzahl von Sektorpunkten wird wenigstens eine sphärische Krümmung des Objekts, beispielsweise einer Hand, bestimmt, wobei der Objektzustand anhand der sphärischen Krümmung des Objekts bewertet wird und der bewertete Objektzustand als Zustandssignals zur Bedienung eines Geräts des Kraftfahrzeugs herangezogen wird. Die Objektbewertungsvorrich- tung umfasst dabei beispielsweise eine Kamera mit einem PMD-Sensor (PMD = Photonic Mixing Device), welcher auf dem Prinzip des Lichtlaufzeitverfahrens beruht. Das mittels der Objektbewertungsvorrichtung erfasste Objekt ist beispielsweise der Arm eines Fahrzeuginsassen oder, wie bereits erwähnt eine Hand, um nur einige Arten eines zu erfassenden und zu bewertenden Objekts zu nennen. Dementsprechend wird als Objektzustand optisch erfasst, ob beispielsweise der betrachtete Oberarm vollständig angewinkelt, leicht angewinkelt oder durchgestreckt ist oder die Hand zur Faust gekrümmt oder geöffnet ist. Auf die Segmentierung als Teilgebiet der digitalen Bildver- arbeitung und des Sehens, bei welcher inhaltlich zusammenhängende Regionen durch Zusammenfassung benachbarter Pixel oder Voxel entsprechend einem bestimmten Homogenitätskriterium erzeugt werden, soll hier nur insoweit eingegangen werden, dass im Rahmen der Erfassung des dreidimensionalen Bildes mittels der Objektbewertungsvorrichtung bei der Segmentie- rung auch Höhenunterschiede des Objekts erkannt werden können. Dementsprechend kann mittels der Segmentierung unterschieden werden, ob beispielsweise Zonen einer zur Faust geballten Hand nach außen gewölbt oder aneinander gepresst werden. Beim Unterteilen des «mittels der Objektbewertungsvorrichtung beim Erfassen des Objekts abgeleiteten dreidimen- sionalen Bildes in eine Mehrzahl von Sektoren kann beispielsweise eine Aufteilung in Quadranten oder Kreissegmente unterschiedlicher Flächeninhalte erfolgen, um nur einige Möglichkeiten der Unterteilung in Sektoren zu nennen. Zur Beschreibung des Objektzustands unter Verwendung von Quadranten werden auf diese beispielsweise 1000 Sektorpunkte gleichmäßig verteilt, so dass je Quadrant 250 Sektorpunkte des dreidimensionalen Bildes verwendet werden. Die jeweiligen Sektorpunkte entsprechend dabei einzelnen Pixeln, welche je Sektor einen minimalen Pixelabstand zueinander (z. B. in u-Richtung und v-Richtung einen Abstand von dp = 5 Pixeln) aufweisen. Aus den räumlich verteilten Sektorpunkten und deren Anordnung zueinander wird eine sphärische Krümmung des betrachteten Objekts bestimmt und der Objektzustand anhand der sphärischen Krümmung des Objekts bewertet. Handelt es sich bei dem betrachteten Objekt, wie oben beispielhaft erwähnt, um eine Hand, so kann anhand der sphärischen Krümmung somit festgestellt werden, ob die Hand geschlossen ist (kleiner Krümmungsradius an der Handfläche) oder ob die Hand geöffnet ist (betrachtete Krümmungsradien an der Handfläche im Vergleich zur Faust deutlich größer). Gerade am eben genannten Beispiel der Hand als betrachtetem Objekt ist ersichtlich, dass auch durch den Vergleich verschiedener Zonen des Objekts durch Zuordnung dieser Zonen in die Sektoren, bzw. Quadranten (z.B. Quadrant 1 ent- spricht Zone 1 = Mittelfinger, Ringfinger und kleiner Finger; Quadrant 2 entspricht Zone 2 = Zeigefinger und Daumenspitze; Quadrant 3 entspricht Zone 3 = Handfläche unterhalb des Mittelfingers, des Ringfingers und des kleinen Fingers; Quadrant 4 entspricht Zone 4 = Handballen, bzw. Daumengelenk) auch ein Vergleich des Zustandes der Zonen zueinander zur Bewertung des Objektzustandes herangezogen werden kann. Mittels der Objektbewertungsvorrichtung wird schließlich aus dem bewerteten Objektzustand ein entsprechendes Zustandssignal generiert und zur Bedienung an ein Gerät des Kraftfahrzeugs übermittelt. Ein derartiges Gerät kann neben einem Mobiltelefon beispielsweise ein Navigationssystem oder eine Klimaanlage des Kraftfahrzeugs sein, um nur einige mögliche Geräte zu nennen. The method according to the invention uses the procedure described above, according to which at least one object state of an object to be evaluated is optically detected by at least one sensor of the object evaluation device and a detection-based three-dimensional image of the object is segmented, wherein the segmented, three-dimensional image is divided into a plurality of sectors is divided. According to the invention, at least one sector point of a plurality of spatially distributed sector points of the image describing the object is used to describe the object state from each of the sectors. In this case, for example, 1000 sector points are used for a statistical evaluation or four sector points for a specific evaluation. At least one spherical curvature of the object, for example a hand, is determined on the basis of the plurality of sector points, wherein the object state is evaluated on the basis of the spherical curvature of the object and the evaluated object state is used as a status signal for operating a device of the motor vehicle. The object evaluation device In this case, for example, a camera includes a PMD sensor (PMD = Photonic Mixing Device), which is based on the principle of the time-of-flight method. The object detected by the object evaluation device is, for example, the arm of a vehicle occupant or, as already mentioned, a hand to name just a few types of an object to be detected and evaluated. Accordingly, it is optically detected as an object state, for example, whether the considered upper arm is fully angled, slightly angled or stretched out or the hand is curved to a fist or opened. The segmentation as a subarea of digital image processing and vision, in which content-related regions are generated by combining adjacent pixels or voxels according to a specific homogeneity criterion, will be discussed here only to the extent that during the acquisition of the three-dimensional image by means of the object evaluation device In the case of segmentation height differences of the object can also be detected. Accordingly, it can be distinguished by means of the segmentation, for example, whether zones of a hand clenched to the hand are arched outwards or pressed against each other. When subdividing the three-dimensional image derived by the object evaluation device into a plurality of sectors when capturing the object, it is possible, for example, to divide into quadrants or circle segments of different surface areas, to name just a few possibilities of division into sectors. To describe the object state using quadrants, for example, 1000 sector points are uniformly distributed thereon so that 250 sector points of the three-dimensional image are used per quadrant. The respective sector points correspond to individual pixels which have a minimum pixel spacing from one another per sector (eg a distance of dp = 5 pixels in the u-direction and v-direction). From the spatially distributed sector points and their arrangement with each other, a spherical curvature of the observed object is determined and the object state is evaluated on the basis of the spherical curvature of the object. If the viewed object is a hand, as mentioned above by way of example, the spherical curvature can thus be used to determine whether the hand is closed (small radius of curvature on the palm of the hand) or whether the hand is open (considered radii of curvature on the hand) Palm significantly larger in comparison to the fist). It can be seen from the above-mentioned example of the hand as a viewed object that even by comparing different zones of the object by assigning these zones to the sectors or quadrants (eg quadrant 1). speaks zone 1 = middle finger, ring finger and little finger; Quadrant 2 corresponds to Zone 2 = index finger and thumb tip; Quadrant 3 corresponds to zone 3 = palm below the middle finger, the ring finger and the little finger; Quadrant 4 corresponds to zone 4 = palm, or thumb joint), a comparison of the state of the zones to each other can be used to evaluate the state of the object. Finally, by means of the object evaluation device, a corresponding status signal is generated from the evaluated object state and transmitted for operation to a device of the motor vehicle. Such a device, in addition to a mobile phone, for example, a navigation system or an air conditioning system of the motor vehicle, just to name a few possible devices.
In einer vorteilhaften Ausgestaltung der Erfindung wird anhand der sphärischen Krümmung des Objekts ein Radius der sphärischen Krümmung und ein Mittelpunkt der sphärischen Krümmung ermittelt. Dies hat den Vorteil, dass eine besonders einfache und zuverlässige Beschreibung der Krümmung ermöglicht wird, wobei ein besonders geringer Speicherbedarf für die die Krümmung hinreichend beschreibenden Daten benötigt wird. Mit anderen Worten können durch den Radius, den Mittelpunkt sowie durch diejenigen Sektorpunkte, durch welche die sphärische Krümmung festgelegt bzw. definiert ist, auf besonders ressourcenschonende Weise (geringer Speicherbedarf und geringer Rechenleistungsbedarf in der Objektbewertungsvorrichtung) sowohl eine eindeutige Lage der betrachteten Krümmung, als auch der entsprechende Krümmungsgrad festgehalten werden. Bei der sphärischen Krümmung kann es sich auch um eine Krümmung mit mehreren Radien handeln, welche durch die jeweiligen Sektorpunkte in Bezug auf den Mittelpunkt definiert sind. Bei mehreren Radien sind dementsprechend auch mehr Sektorpunkte hinsichtlich ihrer Lage zu erfassen um eine eindeutige, also vollständige Beschreibung der Krümmung mit mehreren Radien zu ermögli- chen. Mit anderen Worten hängt die Anzahl der hinsichtlich Ihrer Lage für die eindeutige Beschreibung der Krümmung zu erfassenden Sektorpunkte von der Anzahl der verschiedenen Krümmungsradien ab. In an advantageous embodiment of the invention, based on the spherical curvature of the object, a radius of the spherical curvature and a center of the spherical curvature is determined. This has the advantage that a particularly simple and reliable description of the curvature is made possible, with a particularly small storage requirement being required for the data sufficiently describing the curvature. In other words, by the radius, the center and by those sector points, by which the spherical curvature is defined or defined, in a particularly resource-saving manner (low memory requirement and low computing power requirement in the object evaluation device) both a unique position of the considered curvature, as well the corresponding degree of curvature is recorded. The spherical curvature may also be a curvature having a plurality of radii defined by the respective sector points with respect to the center. Accordingly, with several radii, more sector points are to be detected with regard to their position in order to enable a clear, ie complete description of the curvature with a plurality of radii. In other words, the number of sector points to be detected with respect to your location for the unambiguous description of the curvature depends on the number of different radii of curvature.
Als weiterhin vorteilhaft hat es sich gezeigt, wenn zumindest ein Teil der Mehrzahl von das Objekt beschreibenden Sektorpunkten als jeweilige Koordinaten einer Kugel verwendet werden und zur Bewertung des Objektzustandes ein Kugelradius herangezogen wird. Mit anderen Worten werden dabei die betrachteten Sektorpunkte als Kugelkoordinaten einer Kugel ausgedrückt und die durch die Sektorpunkte gebildete sphärische Krümmung als Kugel vereinfacht. Zur Beschreibung einer Kugel reichen prinzipiell bereits vier Sektorpunkte aus. Dies ermöglicht eine besonders ressourcenschonende Beschreibung der lokalen Krümmung des Objekts, wobei die Kugel eine geometrisch besonders einfach zu beschreibende Referenz darstellt. As further advantageous, it has been shown that at least a portion of the plurality of sector objects describing the object are used as respective coordinates of a sphere and a spherical radius is used to evaluate the object state. In other words, the considered sector points are expressed as spherical coordinates of a sphere and the spherical curvature formed by the sector points as Ball simplified. In principle, four sector points are sufficient to describe a sphere. This allows a particularly resource-conserving description of the local curvature of the object, wherein the ball is a geometrically particularly easy to describe reference.
Von weiterem Vorteil ist es, wenn aus der Mehrzahl von Sektorpunkten wenigstens vier Zufallspunkte ausgewählt werden, von welchen jeder einem der Sektoren zugeordnet ist, wobei anhand dieser Zufallspunkte ein Kugelradius und ein Kugelmittelpunkt als Kenngrößen einer Hüllkugel ermittelt werden. Die betrachtete Hüllkugel kann dabei einerseits als Einhüllende des Objekts verstanden werden, wobei sich der Radius der Hüllkugel mit dem Objektzustand ändert. Dementsprechend ist beispielsweise die Hüllkugel eines ausgestreckten Arms deutlich größer (größerer Radius der Hüllkugel, die den ganzen Arm einschließt), als die Hüllkugel eines abgewinkelten Arm (kleine- rer Radius). Die Hüllkugel kann jedoch alternativ dazu auch so definiert sein, dass sie gerade die jeweils betrachteten Zufallspunkte einschließt und sich dabei eine zufällig anhand der Zufallspunkte ermittelte Hüllkugel ergibt, welche keineswegs das ganze Objekt, sondern lediglich beispielsweise einzelne Zonen einschließt. Eine solche Zone wäre beispielsweise der Ellbogen des Arms. Die Verwendung von Zufallspunkten ist insbesondere vorteilhaft, da dadurch auch Schrägstellungen des betrachteten Objekts relativ zu der Objektbewertungsvorrichtung zu einem zuverlässigen Bedienen des Geräts führen. Die Objektbewertungsvorrichtung kann dementsprechend eine Schrägstellung erkennen und anhand anderer Zufallspunkte zuverlässig den jeweili- gen Objektzustand ermitteln. It is of further advantage if at least four random points are selected from the plurality of sector points, each of which is assigned to one of the sectors, with the aid of these random points being used to determine a spherical radius and a spherical center point as characteristics of an enveloping sphere. The considered envelope ball can be understood on the one hand as an envelope of the object, wherein the radius of the envelope sphere changes with the object state. Accordingly, for example, the cladding sphere of an outstretched arm is significantly larger (larger radius of the cladding sphere enclosing the entire arm) than the cladding sphere of an angled arm (smaller radius). Alternatively, however, the cladding sphere may also be defined so as to include just the respective random points considered, resulting in a cladding sphere randomly determined on the basis of the random points, which by no means encloses the entire object, but merely individual zones, for example. Such a zone would be, for example, the elbow of the arm. The use of random points is particularly advantageous, since thereby also inclined positions of the object under consideration relative to the object evaluation device lead to a reliable operation of the device. The object evaluation device can accordingly detect an inclination and reliably determine the respective object state on the basis of other random points.
Von Vorteil ist weiterhin, wenn zumindest eine weitere Hüllkugel der genannten Art ermittelt wird. Die Ermittlung weiterer Hüllkugeln ist besonders vorteilhaft, um auch bei unregelmäßig gebildeten Objekten eine zuverlässige Bedienung des Geräts herbeizuführen. Ein anschauliches Beispiel stellt hierbei eine stark angeschwollene Hand dar, welche dennoch durch die Verwendung von mehreren Hüllkugeln zu einer zuverlässigen Bedienung des Geräts verwendet werden kann. Dementsprechend wird beispielsweise derjenige Sektor, in welchem beispielsweise ein stark geschwollener Finger liegt als Ausreißer erkannt und nur die anderen Sektoren mit den weiteren Hüllkugeln zur Bedienung des Geräts herangezogen. It is also advantageous if at least one further envelope ball of the type mentioned is determined. The determination of further enveloping balls is particularly advantageous in order to bring about a reliable operation of the device even with irregularly formed objects. An illustrative example here is a strongly swollen hand, which nevertheless can be used by the use of multiple enveloping balls for reliable operation of the device. Accordingly, for example, the sector in which, for example, a heavily swollen finger is detected as an outlier and only the other sectors with the other enveloping balls used to operate the device.
In einer weiteren vorteilhaften Ausgestaltung der Erfindung wird eine Mehrzahl von das Objekt beschreibenden sphärischen Krümmungen ermittelt und zur Beschreibung des Objektszustands eine Häufigkeitsverteilung der Mehrzahl von das Objekt beschreibenden sphärischen Krümmungen herangezogen. Durch die Verwendung von mehreren sphärischen Krümmungen, welche beispielsweise einen unterschiedlichen Radius zueinander aufweisen, kann eine besonders feine Abstufung zwischen mehreren Objektzuständen erfolgen. Mit anderen Worten kann durch die Mehrzahl der sphärischen Krümmungen nicht nur erkannt werden, ob beispielsweise der Arm gebeugt oder gestreckt, oder die Hand geöffnet, oder zur Faust geballt (geschlossen) ist, sondern welcher Grad der Öffnung vorliegt. Dies erlaubt die Umsetzung zahlreicher Funktionen des zu bedienenden Geräts, wobei jeder Öffnungsgrad eine bestimmte Funktion des Geräts auslöst. In a further advantageous embodiment of the invention, a plurality of the object describing spherical curvatures is determined and for describing the object state, a frequency distribution of the plurality of spherical curvatures describing the object is used. By using a plurality of spherical curvatures which, for example, have a different radius relative to one another, a particularly fine gradation can take place between a plurality of object states. In other words, the plurality of spherical curvatures can not only detect whether, for example, the arm is bent or stretched, or the hand is opened or fist (closed), but what degree of opening is present. This allows the implementation of many functions of the device to be operated, with each degree of opening a specific function of the device triggers.
Von weiterem Vorteil ist es, wenn als der Objektzustand ein Zustand einer Hand erkannt wird. Dementsprechend kann beispielsweise der Öffnungsgrad einer Hand durch Ermittlung der Krümmung ermittelt, also berechnet werden, um das entsprechende Gerät des Kraftfahrzeugs zu bedienen. Die physikalisch einwandfreie Ortbarkeit der Insassen (z. B. durch eine Time Of Flight Kamera mit einem PMD-Sensor) bzw. von Körperteilen (wie der Hand) des Insassen erlauben eine Handpose zu erkennen. Als Greifgeste wird dabei beispielsweise der Unterschied zwischen voll geöffneter Hand und geschlossener Hand erkannt. Die Hand kann dabei besonders einfach beispielsweise als kugelförmiges Objekt anhand von vier Sektorpunkten auf der Handoberfläche analysiert werden und daraus der Kugelradius sowie der Kugelmittelpunkt bestimmt werden. It is further advantageous if the state of a hand is recognized as the state of the object. Accordingly, for example, the degree of opening of a hand can be determined by determining the curvature, that is, calculated to operate the corresponding device of the motor vehicle. The physically correct positioning of the occupants (eg by a Time Of Flight camera with a PMD sensor) or of body parts (such as the hand) of the occupant allow to recognize a hand pose. For example, the difference between a fully opened hand and a closed hand is recognized as a gripping gesture. The hand can be particularly easily analyzed, for example, as a spherical object based on four sector points on the palm of the hand and from the ball radius and the ball center are determined.
Von weiterem Vorteil ist es, wenn anhand des Objektzustands ein Öffnungsgrad der Hand ermittelt wird. Die Betrachtung der Hand als Objekt ermöglicht das Erkennen besonders vieler Objektzustände in Form von unterschiedlichen Öffnungsgraden der Hand. Zusätzlich können verschiedene Fingerbe- wegungen oder das Abspreizen einzelner Finger herangezogen werden, um verschiedene Objektzustände zu definieren. Dies eröffnet einen erheblichen Bedienumfang des Geräts, also das Umsetzen besonders vieler Funktionen durch die verschiedenen erkannten Objektzustände der Hand. Die erfindungsgemäße Objektbewertungsvorrichtung für ein Kraftfahrzeug ermöglicht eine besonders sichere und zuverlässige Erkennung verschiedener Objektzustände des betrachteten Objekts. Das erfindungsgemäße, mit einer Objektbewertungsvorrichtung ausgestattete Kraftfahrzeug kann besonders zuverlässig berührungslos bedient werden, wobei der Kraftfahrzeuginsasse gleichzeitig seine gesamte Aufmerksamkeit auf das Verkehrsgeschehen richten kann. It is further advantageous if an opening degree of the hand is determined on the basis of the object state. The consideration of the hand as an object enables the recognition of particularly many object states in the form of different degrees of opening of the hand. In addition, various finger movements or the spreading of individual fingers can be used to define different object states. This opens up a considerable range of operation of the device, that is to say the implementation of particularly many functions by the various detected object states of the hand. The object evaluation device according to the invention for a motor vehicle enables particularly reliable and reliable detection of different object states of the object under consideration. The motor vehicle equipped with an object evaluation device according to the invention can be operated in a particularly reliable non-contact manner, wherein the motor vehicle occupant can at the same time direct his entire attention to the traffic situation.
Die für das erfindungsgemäße Verfahren beschriebenen Vorteile und bevorzugten Ausführungsformen gelten auch für die erfindungsgemäße Objektbewertungsvorrichtung sowie für das Kraftfahrzeug und umgekehrt. Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus den Ansprüchen, der nachfolgenden Beschreibung bevorzugter Ausführungsformen sowie anhand der Zeichnungen. The advantages and preferred embodiments described for the method according to the invention also apply to the object evaluation device according to the invention and to the motor vehicle and vice versa. Further advantages, features and details of the invention will become apparent from the claims, the following description of preferred embodiments and from the drawings.
Im Folgenden ist die Erfindung noch einmal anhand eines konkreten Ausfüh- rungsbeispiels erläutert. Hierzu zeigt: In the following, the invention is explained again with reference to a concrete exemplary embodiment. This shows:
Fig. 1 eine schematische Perspektivansicht eines Innenraums eines Fig. 1 is a schematic perspective view of an interior of a
Kraftfahrzeugs, wobei mittels einer Objektbewertungsvorrichtung verschiedene Objektzustände eines vorliegend als Hand ausgebildeten Objekts erfasst werden;  Motor vehicle, wherein by means of an object evaluation device different object states of a present case designed as a hand object are detected;
Fig. 2 bis 4 jeweils eine schematische Perspektivansicht zur Veranschaulichung einer Ausführungsform des erfindungsgemäßen Verfahrens; und 2 to 4 are each a schematic perspective view for illustrating an embodiment of the method according to the invention; and
Fig. 5 und 6 jeweils zueinander verschiedene Häufigkeitsverteilungen als Fig. 5 and 6 each different frequency distributions than
Folge von jeweils zueinander verschiedener Objektzustände eines mittels der Objektbewertungsvorrichtung erfassten Objekts. Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen aber die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander wei- terbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar. In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen. Sequence of mutually different object states of an object detected by means of the object evaluation device. The exemplary embodiment explained below is a preferred embodiment of the invention. In the exemplary embodiment, however, the described components of the embodiment in each case represent individual features of the invention which are to be considered independently of one another and which also extend the invention independently of one another and thus also individually or in a different combination than the one shown as part of the invention , Furthermore, the described embodiment can also be supplemented by further features of the invention already described. In the figures, functionally identical elements are each provided with the same reference numerals.
Fig. 1 zeigt im Rahmen einer schematischen Perspektivansicht einen Teil eines Innenraums eines Kraftfahrzeugs 10. Das Kraftfahrzeug 10 umfasst vorliegend eine Objektbewertungsvorrichtung 20, mittels welcher verschiedene Objektzustände 24, 26 eines vorliegend als Hand eines Fahrzeuginsassen ausgebildeten Objekts 22 erfasst werden. Im in Fig. 1 gezeigten Beispiel entspricht der Objektzustand 24 der geöffneten Hand, was durch die strichpunktiert angedeuteten, abgestreckten Finger erkennbar ist. Der weitere Objektzustand 26 hingegen entspricht dabei der geschlossenen, zu einer Faust geformten Hand. Die Objektbewertungsvorrichtung 20 umfasst im vorliegenden Ausführungsbeispiel einen Sensor 12, welcher als PMD-Sensor ausgebildet ist, eine Kamera 14 sowie eine Berechnungseinheit 16 (ECU). Der Sensor 12 ist dabei Bestandteil der Kamera 14, wobei mittels der Berechnungseinheit 16 ein durch die Kamera 14 von- dem Objekt (Hand) 22 abgeleitetes dreidimensionales Bild 28 ausgewertet und dabei dem Objekt 22, bzw. dem dreidimensionalen Bild 28 einer der Objektzustände 24, 26 zugeordnet wird. Ein dem erkannten Objektzustand 24, 26 entsprechendes Zustandssignal wird dann von der Berechnungseinheit 16 an eine Fahrzeugarchitektur 18, welche beispielsweise als CAN-Bus ausgebildet ist, übermittelt, und von der Fahrzeugarchitektur 18 in Abhängigkeit von dem Zustandssignal ein Gerät 48, welches beispielsweise einem Navigationsgerät oder einer Klimaanlage des Kraftfahrzeugs 10 entspricht, bedient. Mit anderen Worten werden also am Gerät 48 verschiedene Einstellungen vorgenommen indem verschiedene Objektzustände 24, 26 durch die Objektbewertungsvorrichtung 20 erkannt werden und den Objektzuständen 24, 26 entsprechende Zustandssignale über die Fahrzeugarchitektur 18 an das Gerät 48 übermittelt werden. FIG. 1 shows a part of an interior of a motor vehicle 10 in the context of a schematic perspective view. In this case, the motor vehicle 10 comprises an object evaluation device 20, by means of which different object states 24, 26 of an object 22 embodied as a hand of a vehicle occupant are detected. In the example shown in FIG. 1, the object state 24 corresponds to the open hand, which can be recognized by the widened fingers indicated by dot-dashed lines. By contrast, the further object state 26 corresponds to the closed hand formed into a fist. In the present exemplary embodiment, the object evaluation device 20 comprises a sensor 12, which is designed as a PMD sensor, a camera 14 and a calculation unit 16 (ECU). In this case, the sensor 12 is part of the camera 14, wherein by means of the calculation unit 16 a three-dimensional image 28 derived from the object 14 by the camera 14 is evaluated and the object 22, or the three-dimensional image 28 of one of the object states 24, 26 is assigned. A state signal corresponding to the detected object state 24, 26 is then transmitted by the calculation unit 16 to a vehicle architecture 18, which is embodied, for example, as a CAN bus, and from the vehicle architecture 18 as a function of the status signal to a device 48, for example a navigation device or an air conditioner of the motor vehicle 10 corresponds operated. In other words, 48 different settings are made on the device by different object states 24, 26 are detected by the object evaluation device 20 and the object states 24, 26 corresponding state signals are transmitted via the vehicle architecture 18 to the device 48.
Fig. 2 zeigt den Objektzustand 26, also die zu einer Faust geformte, geschlossene Hand, welche im vorliegenden' Ausführungsbeispiel dem Objekt 22 entspricht. Fig. 3 zeigt den Objektzustand 24, also die offene, im Wesentlichen flache Hand (Objekt 22). Die Objektzustände 24, 26 können nun mit- tels der Objektbewertungsvorrichtung 20 dadurch voneinander unterschieden werden, dass das dreidimensionale Bild 28 des Objekts 22 (der Hand), wie in Fig. 4 gezeigt, in verschiedene Sektoren 30, 32, 34, 36, welche hier als Quadranten ausgestaltet sind, unterteilt werden und jedem der Quadranten wenigstens ein Sektorpunkt 38 aus einer Mehrzahl von das Objekt 22 be- schreibenden, räumlich verteilten Sektorpunkten des Bildes 28 zugeordnet wird. Anhand der Mehrzahl von Sektorpunkten wird wenigstens eine sphärische Krümmung 40 des Objekts 22 bestimmt. Mit anderen Worten wird anhand der Sektorpunkte 38 eine räumliche Wölbung der Hand erkannt und als bestimmter Objektzustand 24, 26 bewertet. Der jeweilige Objektzustand 24, 26 wird also anhand der sphärischen Krümmung 40 des Objekts 22 bewertet und der bewertete Objektzustand 24, 26 als Zustandssignal zur Bedienung des Geräts 48 des Kraftfahrzeugs 10 herangezogen. Anhand der sphärischen Krümmung 40 des Objekts 22 (der Hand) wird ein entsprechender Radius R, r der sphärischen Krümmung 40 und ein Mittelpunkt M der sphärischen Krümmung ermittelt. Fig. 2 zeigt hierzu die sphärische Krümmung 40, welche sich bei der geschlossenen Hand (Faust, Objektzustand 26) zu dem kleinen Radius r ergibt, und Fig. 3 zeigt die sphärische Krümmung 40, welche sich zu dem im Vergleich zum Radius r größeren Radius R ergibt. An- hand dieser jeweiligen Krümmung 40 kann also mittels der Objektbewertungsvorrichtung 20 besonders einfach bewertet werden, welcher der Objektzustände 24, 26 vorliegt. Wie in Fig. 2 und Fig. 3 weiterhin gezeigt, kann zusätzlich oder alternativ zu der sphärischen Krümmung 40 auch eine Unterscheidung der Objektzustände 24, 26 erfolgen, indem zumindest ein Teil der Mehrzahl von das Objekt 22 beschreibenden Sektorpunkten als jeweilige Koordinaten einer Kugel 52 verwendet werden und zur Bewertung des Objektszustandes 24, 26 ein Kugelradius R«, n< herangezogen wird. Die Mehrzahl von Sektorpunkten entspricht dabei einer Punktewolke 50, welche in jedem der Sektoren 30, 32, 34, 36 definiert wird. Aus der Mehrzahl von Sektorpunkten (Punktewolke 50) können zusätzlich oder alternativ auch wenigstens vier Zufallspunkte 46 ausgewählt werden, von welchen jeder einem der Sektoren 30, 32, 34, 36 zugeordnet ist. Anhand dieser Zufallspunkte 46 wird ein Kugelradius RH, rH und ein Kugelmittelpunkt MH als Kenngröße einer Hüllkugel 42 ermittelt. Mit anderen Worten wird also die Hüllkugel 42 anhand der Zufallspunkte 46 hinsichtlich ihres Kugelradius RH, rH und ihres Kugelmittelpunkts MH definiert. Mit anderen Worten liegen also diese Zufallspunkte 46 auf der Hüllkugel 42 und legen diese hinsichtlich ihrer räumlichen und ihrer relativen Lage zu dem Objekt 22 fest. Wie in Fig. 3 dargestellt ist, kann zumindest eine weitere Hüllkugel 44 nach der genannten Art ermittelt werden. Die Zusammenschau der Fig. 2 und der Fig. 3 zeigt zwar, dass die dort dargestellten Hüllkugeln 42, 44 die jeweilige geschlossene bzw. geöffnete Hand einhüllen, und sich dadurch die unterschiedlichen Radien RH , ΓΗ der jeweiligen Hüllkugeln 42, 44 ergeben, anhand welcher der jeweilige Objektzustand 24, 26 bewertet wird. Die Hüllkugeln 42, 44 können jedoch auch nur Teile des betrachteten Objekts 22, also der Hand einhüllen, wenn zum Beispiel die Zufallspunkte 46 auf der Handinnenfläche oder auf dem Handrücken liegen. Demzufolge können auch zahlreiche der Hüllkugeln 42, 44, z.B. insgesamt N = 1000 Hüllkugeln verwendet werden, wobei sich dann aus den daraus gewonnenen Daten (N x [Radius, Mittelpunkt] der Hüllkugeln) eine besonders aufschlussreiche, und sogar in unterschiedliche Zustandsstufen unterteilbare Bewertung der Objektzustände 24, 26 ableiten lässt. Des Weiteren können die Hüllkugeln 42, 44 zusätzlich den Zustand einzelner Gliedmaßen, also Finger der betrachteten Hand (Objekt 22) beschreiben, wobei dann eine Mehrzahl von das Objekt 22 beschreibenden, sphärischen Krümmungen 40 ermittelt wird, und zur Beschreibung des Objektzustands 24, 26 eine in Fig. 5 bzw. Fig. 6 gezeigte Häufigkeitsverteilung 54, 56 der Mehrzahl von das Objekt 22 beschreibenden sphärischen Krümmungen 40 herangezogen wird. Die in Fig. 5 gezeigte Häufigkeitsverteilung 54 entspricht einer breiten Vertei- lung mit großen Radien der Hüllkugeln 42, 44, also mit anderen Worten einer offenen Hand, bei welcher der Objektzustand 24 vorliegt und damit der Öffnungsgrad der Hand groß ist. Im Gegensatz dazu zeigt Fig. 6 die Häufigkeitsverteilung 56, welche sich bei der zur Faust geballten Hand (Objektzustand 26) ergibt. Dementsprechend stellt sich bei der Häufigkeitsverteilung 56 ein spitzer Mittelwert bei allgemein kleineren Radien ein. Während in Fig. 5 also die Klassen X des dargestellten Histogramms (Häufigkeitsverteilung 54) eine breite Verteilung mit großem Radius aufweisen, zeigen die Klassen X des in Fig. 6 gezeigten Histogramms (Häufigkeitsverteilung 56) eine Verteilung mit spitzem Mittelwert und kleinen Radien. FIG. 2 shows the object state 26, that is to say the closed hand formed into a fist, which corresponds to the object 22 in the present exemplary embodiment. FIG. 3 shows the object state 24, that is to say the open, substantially flat hand (object 22). The object states 24, 26 can now be distinguished from one another by means of the object evaluation device 20 in that the three-dimensional image 28 of the object 22 (of the hand), as shown in FIG. 4, into different sectors 30, 32, 34, 36 are configured here as quadrants, and each of the quadrants has at least one sector point 38 of a plurality of objects 22. writing, spatially distributed sector points of the image 28 is assigned. Based on the plurality of sector points, at least one spherical curvature 40 of the object 22 is determined. In other words, based on the sector points 38, a spatial curvature of the hand is recognized and evaluated as a specific object state 24, 26. The respective object state 24, 26 is therefore evaluated on the basis of the spherical curvature 40 of the object 22, and the evaluated object state 24, 26 is used as a status signal for operating the device 48 of the motor vehicle 10. Based on the spherical curvature 40 of the object 22 (the hand), a corresponding radius R, r of the spherical curvature 40 and a center M of the spherical curvature is determined. For this purpose, FIG. 2 shows the spherical curvature 40, which results at the closed hand (fist, object state 26) at the small radius r, and FIG. 3 shows the spherical curvature 40, which is at the larger radius compared to the radius r R yields. By means of the respective object curvature 40, the object evaluation device 20 can therefore be used to easily evaluate which of the object states 24, 26 is present. As further shown in FIGS. 2 and 3, in addition to or as an alternative to the spherical curvature 40, a distinction may also be made between the object states 24, 26 by using at least a portion of the plurality of sector points describing the object 22 as respective coordinates of a sphere 52 and for evaluating the object state 24, 26 a spherical radius R ", n <is used. The plurality of sector points corresponds to a cloud of points 50, which is defined in each of the sectors 30, 32, 34, 36. From the plurality of sector points (point cloud 50), additionally or alternatively, at least four random points 46 can also be selected, each of which is assigned to one of the sectors 30, 32, 34, 36. On the basis of these random points 46, a spherical radius R H , r H and a spherical center M H are determined as a parameter of an enveloping ball 42. In other words, therefore, the envelope ball 42 is defined on the basis of the random points 46 with respect to their spherical radius R H , r H and their ball center point M H. In other words, these random points 46 thus lie on the enveloping ball 42 and fix them in terms of their spatial and their relative position to the object 22. As shown in Fig. 3, at least one further envelope ball 44 can be determined according to the type mentioned. Although the synopsis of FIG. 2 and FIG. 3 shows that the enveloping balls 42, 44 shown there envelop the respective closed or opened hand, and thus the different radii RH, ΓΗ of the respective enveloping balls 42, 44 result, on the basis of which the respective object state 24, 26 is evaluated. However, the enveloping balls 42, 44 can only parts of the object 22, ie the hand, when, for example, the random points 46 lie on the palm of the hand or on the back of the hand. Accordingly, many of the enveloping balls 42, 44, for example, a total of N = 1000 enveloping balls can be used, then from the data obtained (N x [radius, midpoint] of the enveloping balls) a particularly revealing, and even subdividable into different state grades evaluation of Object states 24, 26 can be derived. Furthermore, the enveloping balls 42, 44 can additionally describe the state of individual limbs, ie fingers of the hand under consideration (object 22), in which case a plurality of spherical curvatures 40 describing the object 22 are determined, and a description of the object state 24, 26 In FIG. 5 or FIG. 6, the frequency distribution 54, 56 of the plurality of spherical curvatures 40 describing the object 22 is used. The frequency distribution 54 shown in FIG. 5 corresponds to a broad distribution with large radii of the enveloping balls 42, 44, in other words an open hand, in which the object state 24 is present and thus the degree of opening of the hand is great. In contrast, Fig. 6 shows the frequency distribution 56, which results in the clenched hand (object state 26). Accordingly, in the frequency distribution 56 a sharp average value sets in at generally smaller radii. Thus, while in Fig. 5, the classes X of the illustrated histogram (frequency distribution 54) have a wide distribution with a large radius, the classes X of the histogram (frequency distribution 56) shown in Fig. 6 show a distribution with a small mean and small radii.
Durch die Auswertungsmittel der Häufigkeitsverteilungen 54, 56 kann die Geschlossenheit der Hand (Objekt 22) besonders einfach und aufwandsarm durch die Berechnung der jeweiligen Radien und Mittelpunkte der Hüllkugeln 42, 44 und zusätzlich oder alternativ der Kugeln 52 erfolgen. By means of the evaluation of the frequency distributions 54, 56, the closure of the hand (object 22) can be carried out particularly simply and with little effort by calculating the respective radii and centers of the enveloping balls 42, 44 and additionally or alternatively the balls 52.
Im Folgenden wird ein Beispiel für den zugrundeliegenden Algorithmus zur Bestimmung der Geschlossenheit der Hand beschrieben. The following is an example of the underlying algorithm for determining the closure of the hand.
Kugel durch vier Punkte Ball through four points
Ein Kreis ist durch drei unterschiedliche Punkte seines Bogens eindeutig festgelegt. Umgekehrt definieren drei unterschiedliche Punkte, die nicht auf einer Geraden liegen, einen eindeutigen Kreis. Dies gilt auch im Raum, denn drei Punkte, die nicht auf einer Gerade liegen (nicht kollineare Lage) spannen eine Ebene auf, auf der dann der Kreis liegt. Man stelle sich nun drei solche Punkte im dreidimensionalen Raum vor und den durch sie gehenden Kreis. A circle is clearly defined by three different points of its arc. Conversely, three different points do not define that a straight line, a clear circle. This also applies in space, because three points that are not on a straight line (non-collinear position) span a plane on which the circle then lies. Imagine three such points in three-dimensional space and the circle going through them.
Bei allen Kugeln (Hüllkugeln 42, 44, bzw. Kugel 52), auf deren Oberflächen diese drei Punkte liegen, muss auch der Kreis auf der Kugelfläche liegen. Darüber hinaus liegen alle Mittelpunkte der Kugeln, die man zu dem Kreis bilden kann, auf einer Senkrechten zum Kreis durch dessen Mittelpunkt. In the case of all balls (enveloping balls 42, 44, or ball 52) on whose surfaces these three points lie, the circle must also lie on the spherical surface. Moreover, all the centers of the spheres that can be formed into the circle lie on a perpendicular to the circle through its center.
Durch einen einzigen zusätzlichen, also einen vierten Oberflächenpunkt ist die Kugel festgelegt. Allerdings darf dieser Punkt nicht in der Ebene des Kreises liegen: Entweder liegen die Punkte dann alle auf einem Kreis, dann ist die Kugel nicht eindeutig definiert, oder sie liegen nicht auf einem Kreis, dann gibt es keine entsprechende Kugel.  By a single additional, so a fourth surface point, the ball is set. However, this point must not lie in the plane of the circle: Either the points are then all on a circle, then the ball is not clearly defined, or they are not on a circle, then there is no corresponding ball.
Für vier gegebene Punkte(Zufallspunkte 46 bzw. Sektorpunkte 38) lässt sich also genau dann eine Kugel (Hüllkugeln 42, 44, bzw. Kugel 52) finden, auf deren Oberfläche die Punkte liegen, wenn sie alle verschieden sind, wenn nicht drei von ihnen auf einer Geraden liegen und nicht alle vier in einer Ebene. For four given points (random points 46 and sector points 38), it is then possible to find a sphere (enveloping balls 42, 44, or sphere 52) on whose surface the points lie, if they are all different, if not three of them lying on a straight line and not all four in one plane.
Alle Punkte (Zufallspunkte 46 bzw. Sektorpunkte 38) auf der Kugeloberfläche haben vom Mittelpunkt denselben Abstand, welche dem entsprechenden Radius (RK, rK, bzw. RH, rH) entspricht. Nach Pythagoras gilt der Zusammenhang All points (random points 46 and sector points 38) on the spherical surface have the same distance from the center, which corresponds to the corresponding radius (R K , r K , or R H , r H ). After Pythagoras the context applies
Radius = v x2 + y2 + z2) Radius = vx 2 + y 2 + z 2 )
bzw. Radius2 = x2 + y2 + z . or radius 2 = x 2 + y 2 + z.
Wenn der Ursprung des Koordinatensystems der Mittelpunkt des Kreises ist, geben die Koordinaten die Richtungskomponenten des Abstands vom Mittelpunkt an. Der Punkt (2|4|5) besitzt nach Pythagoras den Abstand v(22 + 42 + 52) vom Mittelpunkt, also Radius = v(4 + 16 + 25) = ^5 ~ 6,7082  If the origin of the coordinate system is the center of the circle, the coordinates indicate the direction components of the distance from the center point. The point (2 | 4 | 5) according to Pythagoras has the distance v (22 + 42 + 52) from the center, that is, radius = v (4 + 16 + 25) = ^ 5 ~ 6,7082
Eine Kugel mit dem Radius 8 um den Ursprung des Koordinatensystems be- sitzt also die Gleichung x2 + y2 + z2 = 64 Ist die Kugel (Hüllkugel 42, 44, bzw. Kugel 52) verschoben, d.h.: liegt ihr Mittelpunkt nicht im Ursprung, so lassen sich die neuen Verhältnisse auf diese Gleichung zurückführen, indem man die komponentenweisen Differenzen zwischen den Koordinaten der Oberflächenpunkte und den Koordinaten des Mittelpunktes (xm, ym, zm) in "den Pythagoras" einsetzt: A sphere with the radius 8 around the origin of the coordinate system thus has the equation x 2 + y 2 + z 2 = 64 If the sphere (envelope sphere 42, 44, or sphere 52) is displaced, ie if its center is not at the origin, the new relationships can be reduced to this equation by taking the component-by-difference between the coordinates of the surface points and the coordinates of the surface Center point (x m , y m , z m ) in "the Pythagoras" uses:
(x - xm)2 + (y - ym)2 + (z - zm)2 = Radius2 (x - x m ) 2 + (y - y m ) 2 + (z - z m ) 2 = radius 2
Durch diesen Ausdruck wird berücksichtigt, dass sich das betrachtete Objekt 22 an einer beliebigen Stelle innerhalb des Erfassungsbereichs des Sensors 12 befinden kann. This expression takes into account that the observed object 22 may be located anywhere within the detection range of the sensor 12.
Wenn man die Klammern auflöst, erhält man: x2 - 2 x xm + xm 2 + y2 - 2 yym + ym 2 + z2 - 2-z zm + zm 2 = Radius2 If you break the brackets you get: x 2 - 2 xx m + x m 2 + y 2 - 2 yy m + y m 2 + z 2 - 2-zz m + z m 2 = radius 2
Finden einer Kugel durch vier Punkte Zu vier gegebenen Punkten soll nun der Mittelpunkt und der Radius der zugehörigen Kugel ermittelt werden. Hierzu werden in der letzten Gleichung die Terme mit den unbekannten Größen (xm, ym, zm und Radius) auf die linke Seite und alle anderen Terme auf die rechte Seite gebracht: x2 - 2 x xm + xm 2 + y2 - 2-y-ym + ym 2 + z2 - 2 z zm + zm 2 = Radius2 Finding a sphere through four points For four given points, the center and the radius of the corresponding sphere should now be determined. For this purpose, in the last equation the terms with the unknown quantities (x m , y m , z m and radius) are placed on the left side and all other terms on the right side: x 2 - 2 xx m + x m 2 + y 2 - 2-yy m + y m 2 + z 2 - 2 zz m + z m 2 = radius 2
m2 + ym 2 + zm 2 - r2 - 2 xm x - 2-ym-y - 2 zm z = -(x2 + y2 + z2) m 2 + y m 2 + z m 2 - r 2 - 2 x m x - 2-y m -y - 2 z m z = - (x 2 + y 2 + z 2 )
Wenn man nun setzt: A:= xm 2 + ym 2 + zm 2 - r2, B:= -2 xm, C:= -2 ym und D:= -Assuming that: A: = x m 2 + y m 2 + z m 2 - r 2 , B: = -2 x m , C: = -2 y m and D: = -
2 zm, ergibt sich: 2 z m , the result is:
A + B-x + C-y + D-z = -(x2 + y2 + z2) A + Bx + Cy + Dz = - (x 2 + y 2 + z 2 )
Da jeweils vier Paare für x, y und z bekannt sind und vier Unbekannte (A, B, C und D) vorliegen, lässt sich ein lineares Gleichungssystem mit vier Glei- chungen aufstellen, mit dem man A, B, C und D ermitteln kann: Since four pairs for x, y, and z are known and there are four unknowns (A, B, C, and D), a linear system of equations with four equations can be constructed, which can be used to find A, B, C, and D. :
A + B-Xi + C-yi + D ZT = -(x-\ 2 + + zi2) A + B x2 + C y2 + D z2 = -(x2 2 + y2 2 + z2 2) A + B x3 + C-y3 + D z3 (X32 + Ys2 + z3 2) A + B- X4 + C y4 + D- Z4 (X42 + y4 2 + Z42) A + B-Xi + C-yi + D ZT = - (x- \ 2 + + zi 2 ) A + B x 2 + C y 2 + D z 2 = - (x 2 2 + y 2 2 + z 2 2 ) A + B x 3 + Cy + D 3 z 3 (X3 2 + Y s 2 + z 3 2) A + B- X4 + C y 4 + D Z4 (X4 2 + y 4 2 + Z4 2)
Wenn man soweit ist, also A,B,C und D ermittelt hat, erhält man xm = - B/2, ym = -C/2, zm = -D/2 und schließlich r2 = xm 2 + ym 2 + zm 2 - A When one has reached the point where A, B, C and D are determined, one obtains x m = - B / 2, y m = -C / 2, z m = -D / 2 and finally r 2 = x m 2 + y m 2 + z m 2 - A
Im Folgenden soll nun anhand von beispielhaft gewählten Zahlenwerten die Bestimmung eines Kugelradius vorgestellt werden. Es soll die Kugel gefunden werden, die durch die Punkte (- 1 1 130,8|52,4); (30|29|-46); (38|26,6|46,8) und (-34|-27|5Ö) geht. The determination of a spherical radius will now be presented below on the basis of exemplarily chosen numerical values. The ball is to be found passing through the points (- 1 1 130,8 | 52,4); (30 | 29 | -46); (38 | 26.6 | 46,8) and (-34 | -27 | 5Ö).
Mit A:= xm 2 + ym 2 + zm 2 - Radius2, B:= -2 xm, C:= -2 ym und D:= -2 zm erstellen wir zu den vier Punkten jeweils eine Gleichung A + B x + C y + D z = -(x2 + y2 + z2): With A: = x m 2 + y m 2 + z m 2 - radius 2 , B: = -2 x m , C: = -2 y m and D: = -2 z m, we will create one for each of the four points Equation A + B x + C y + D z = - (x 2 + y 2 + z 2 ):
A - 1 1 B + 30,8-C + 52,4· D = -3815,4  A - 1 1 B + 30.8-C + 52.4 * D = -3815.4
A + 30 B + 29 C - 46 D = -3857  A + 30 B + 29 C - 46 D = -3857
A + 38 B + 26,6-C + 46,8- D = -4341 ,8  A + 38 B + 26.6-C + 46.8-D = -4341.8
A - 34 B - 27 C + 50 D = -4385  A - 34 B - 27 C + 50 D = -4385
Die zugehörige Koeffizientenmatrix lautet: The associated coefficient matrix is:
1 -1 1 30,8 52,4 -3815,4 1 -1 1 30.8 52.4 -3815.4
1 30 29 -46 -3857  1 30 29 -46 -3857
1 38 26,6 46,8 -4341 ,8  1 38 26,6 46,8 -4341, 8
1 -34 -27 50 -4385  1 -34 -27 50 -4385
Durch geeignete Zeilenumformungen erhält man: By suitable line transformations one obtains:
1 0 0 0 -4147 1 0 0 0 -4147
0 1 0 0 -10  0 1 0 0 -10
0 0 1 0 14  0 0 1 0 14
0 0 0 1 -4 und somit A = -4147, B = -10, C = 14 und D = -4, woraus sich ergibt: xm = -B/2 = 5 0 0 0 1 -4 and thus A = -4147, B = -10, C = 14 and D = -4, resulting in: x m = -B / 2 = 5
ym = -C/2 = -7 y m = -C / 2 = -7
zm = -D/2 = 2 r2 = xm 2 + ym 2 + zm 2 - A = 25 + 49 + 4 - (-4147) = 4225 z m = -D / 2 = 2 r 2 = x m 2 + y m 2 + z m 2 - A = 25 + 49 + 4 - (-4147) = 4225
r = ^225 = 65  r = ^ 225 = 65
Die Kugel hat also den Mittelpunkt (5|-7|2) und den Radius 65. Insgesamt zeigt das beschriebene Beispiel, wie durch die Erfindung eine Berechnung des Öffnungsgrades einer Hand durch Ermittlung der Krümmung (Radius) bereitgestellt werden kann. The sphere thus has the center point (5 | -7 | 2) and the radius 65. Overall, the example described shows how the invention can provide a calculation of the degree of opening of a hand by determining the curvature (radius).

Claims

PATENTANSPRÜCHE: CLAIMS:
Verfahren zum Betreiben einer Objektbewertungsvorrichtung (20) für ein Kraftfahrzeug (10), bei welchem wenigstens ein Objektzustand (24, 26) eines zu bewertenden Objekts (22) durch wenigstens einen Sensor (12) der Objektbewertungsvorrichtung (20) optisch erfasst und ein auf der Erfassung basierendes, dreidimensionales Bild (28) des Objekts (22) segmentiert wird, wobei das segmentierte, dreidimensionale Bild (28) in eine Mehrzahl von Sektoren (30, 32, 34, 36) unterteilt wird, dadurch gekennzeichnet, dass Method for operating an object evaluation device (20) for a motor vehicle (10), in which at least one object state (24, 26) of an object to be evaluated (22) is optically detected by at least one sensor (12) of the object evaluation device (20) and recorded on the Segmented image-based three-dimensional image (28) of the object (22), wherein the segmented three-dimensional image (28) is subdivided into a plurality of sectors (30, 32, 34, 36), characterized in that
zur Beschreibung des Objektzustands (24, 26) aus jedem der Sektoren (30, 32, 34, 36) wenigstens ein Sektorpunkt (38) aus einer Mehrzahl von das Objekt (22) beschreibenden, räumlich verteilten Sektorpunkten des Bildes (28) verwendet wird und anhand der Mehrzahl von Sektorpunkten wenigstens eine sphärische Krümmung (40) des Objekts (22) bestimmt wird, wobei der Objektzustand (24, 26) anhand der sphärischen Krümmung (40) des Objekts (22) bewertet wird und der bewertete Objektzustand (24, 26) als Zustandssignal zur Bedienung eines Geräts (48) des Kraftfahrzeugs (10) herangezogen wird. for describing the object state (24, 26) from each of the sectors (30, 32, 34, 36) at least one sector point (38) of a plurality of spatially distributed sector points of the image (28) describing the object (22) is used, and at least one spherical curvature (40) of the object (22) is determined on the basis of the plurality of sector points, the object state (24, 26) being evaluated on the basis of the spherical curvature (40) of the object (22) and the evaluated object state (24, 26 ) is used as a status signal for operating a device (48) of the motor vehicle (10).
Verfahren nach Anspruch , Method according to claim
dadurch gekennzeichnet, dass characterized in that
anhand der sphärischen Krümmung (40) des Objekts (22) ein Radius (R, r) der sphärischen Krümmung (40) und ein Mittelpunkt (M) der sphärischen Krümmung (40) ermittelt wird. a radius (R, r) of the spherical curvature (40) and a center (M) of the spherical curvature (40) are determined on the basis of the spherical curvature (40) of the object (22).
Verfahren nach Anspruch 1 oder 2, Method according to claim 1 or 2,
dadurch gekennzeichnet, dass characterized in that
zumindest ein Teil der Mehrzahl von das Objekt (22) beschreibenden Sektorpunkten als jeweilige Koordinaten einer Kugel (52) verwendet werden und zur Bewertung des Objektzustandes (24, 26) ein Kugelradius (RK, r«) herangezogen wird. at least a portion of the plurality of sector points describing the object (22) are used as respective coordinates of a sphere (52) and a spherical radius (R K , r ") is used to evaluate the state of the object (24, 26).
Verfahren nach einem der vorhergehenden Ansprüche, Method according to one of the preceding claims,
dadurch gekennzeichnet, dass characterized in that
aus der Mehrzahl von Sektorpunkten wenigstens vier Zufallspunkte (46) ausgewählt werden, von welchen jeder einem der Sektoren (30, 32, 34, 36) zugeordnet ist, wobei anhand dieser Zufallspunkte (46) ein Kugelradius (RH, ΠΗ) und ein Kugelmittelpunkt (MH) als Kenngrößen einer Hüllkugel (42) ermittelt werden. at least four random points (46) are selected from the plurality of sector points, each of which is assigned to one of the sectors (30, 32, 34, 36), a spherical radius (RH, ΠΗ) and a spherical center point (46) being determined on the basis of these random points (46). MH) as characteristics of a Envelope ball (42) can be determined.
5. Verfahren nach Anspruch 4, 5. The method according to claim 4,
dadurch gekennzeichnet, dass  characterized in that
5 zumindest eine weitere Hüllkugel (44) der genannten Art ermittelt wird.  5 at least one further envelope ball (44) of the type mentioned is determined.
6. Verfahren nach einem der vorhergehenden Ansprüche, 6. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
eine Mehrzahl von das Objekt (22) beschreibenden sphärischen Krüm-0 mungen (40) ermittelt wird und zur Beschreibung des Objektzustands  determining a plurality of spherical curvatures (40) describing the object (22) and describing the state of the object
(24, 26) eine Häufigkeitsverteilung (54, 56) der Mehrzahl von das Objekt (22) beschreibenden sphärischen Krümmungen (40) herangezogen wird. 5 7. Verfahren nach einem der vorhergehenden Ansprüche,  (24, 26) a frequency distribution (54, 56) of the plurality of the object (22) describing spherical curvatures (40) is used. 5 7. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
als der Objektzustand (24, 26) ein Zustand einer Hand erkannt wird.  as the object state (24, 26) a state of a hand is detected.
8. Verfahren nach Anspruch 7,8. The method according to claim 7,
O dadurch gekennzeichnet, dass O characterized in that
anhand des Objektzustands (24, 26) ein Öffnungsgrad der Hand ermittelt wird.  Based on the object state (24, 26) an opening degree of the hand is determined.
9. Objektbewertungsvorrichtung (20) für ein Kraftfahrzeug ( 0), welche zur5 Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 8 konfiguriert ist. 9. object evaluation device (20) for a motor vehicle (0), which is configured to carry out a method according to one of claims 1 to 8.
10. Kraftfahrzeug (10) mit einer Objektbewertungsvorrichtung (20) nach Anspruch 9. 10. motor vehicle (10) with an object evaluation device (20) according to claim 9.
PCT/EP2015/002179 2014-11-20 2015-10-30 Method for operating an object rating apparatus for a motor vehicle, object rating apparatus for a motor vehicle and motor vehicle having an object rating apparatus WO2016078746A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP15797254.8A EP3221772A1 (en) 2014-11-20 2015-10-30 Method for operating an object rating apparatus for a motor vehicle, object rating apparatus for a motor vehicle and motor vehicle having an object rating apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014017166.3 2014-11-20
DE102014017166.3A DE102014017166A1 (en) 2014-11-20 2014-11-20 Method for operating an object evaluation device for a motor vehicle, object evaluation device for a motor vehicle and motor vehicle with an object evaluation device

Publications (1)

Publication Number Publication Date
WO2016078746A1 true WO2016078746A1 (en) 2016-05-26

Family

ID=54601728

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2015/002179 WO2016078746A1 (en) 2014-11-20 2015-10-30 Method for operating an object rating apparatus for a motor vehicle, object rating apparatus for a motor vehicle and motor vehicle having an object rating apparatus

Country Status (3)

Country Link
EP (1) EP3221772A1 (en)
DE (1) DE102014017166A1 (en)
WO (1) WO2016078746A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008016215A1 (en) * 2007-03-30 2008-10-02 Denso Corp., Kariya Information device operating unit
US20140270387A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Signal analysis for repetition detection and analysis

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003071410A2 (en) * 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
TW554293B (en) * 2002-03-29 2003-09-21 Ind Tech Res Inst Method for extracting and matching hand gesture features of image
DE102007041482A1 (en) 2007-08-31 2009-03-05 Rheinische Friedrich-Wilhelms Universität Method for automatic recognition of at least the type and / or the position of a gesture formed with a limb, in particular a hand gesture
US8005263B2 (en) * 2007-10-26 2011-08-23 Honda Motor Co., Ltd. Hand sign recognition using label assignment
US9069386B2 (en) * 2010-05-11 2015-06-30 Nippon Systemware Co., Ltd. Gesture recognition device, method, program, and computer-readable medium upon which program is stored
US8620024B2 (en) * 2010-09-17 2013-12-31 Sony Corporation System and method for dynamic gesture recognition using geometric classification
US9135503B2 (en) * 2010-11-09 2015-09-15 Qualcomm Incorporated Fingertip tracking for touchless user interface
US20120271370A1 (en) 2011-04-22 2012-10-25 Hochhalter Keith W Automated external defibrillator locating system and method
US8929612B2 (en) * 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
KR101302638B1 (en) * 2011-07-08 2013-09-05 더디엔에이 주식회사 Method, terminal, and computer readable recording medium for controlling content by detecting gesture of head and gesture of hand
US9734393B2 (en) * 2012-03-20 2017-08-15 Facebook, Inc. Gesture-based control system
WO2014009561A2 (en) 2012-07-13 2014-01-16 Softkinetic Software Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand
TWI475422B (en) * 2012-10-31 2015-03-01 Wistron Corp Method for recognizing gesture and electronic device
JP6030430B2 (en) * 2012-12-14 2016-11-24 クラリオン株式会社 Control device, vehicle and portable terminal
KR101459445B1 (en) * 2012-12-18 2014-11-07 현대자동차 주식회사 System and method for providing a user interface using wrist angle in a vehicle
DE102013001330A1 (en) * 2013-01-26 2014-07-31 Audi Ag Method for operating air conveying fan of fan device of motor vehicle, involves determining predetermined gesture in such way that occupant abducts fingers of his hand before clenching his fist
US9275277B2 (en) * 2013-02-22 2016-03-01 Kaiser Foundation Hospitals Using a combination of 2D and 3D image data to determine hand features information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008016215A1 (en) * 2007-03-30 2008-10-02 Denso Corp., Kariya Information device operating unit
US20140270387A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Signal analysis for repetition detection and analysis

Also Published As

Publication number Publication date
EP3221772A1 (en) 2017-09-27
DE102014017166A1 (en) 2016-05-25

Similar Documents

Publication Publication Date Title
EP3497476B1 (en) Motor vehicle and method for a 360° detection of the surroundings
EP2753533B1 (en) Determination of the position of structural elements of a vehicle
WO2014177447A2 (en) Provision of an efficient environmental map for a vehicle
EP3380391A1 (en) System for parking a vehicle
DE102013201545A1 (en) Create an environment model for a vehicle
EP3308361B1 (en) Method for generating a virtual image of vehicle surroundings
DE102014224665A1 (en) Driver assistance control unit, motor vehicle, method for operating a driver assistance control unit of a motor vehicle
WO2016120251A1 (en) Method for operating an input device, input device
EP3232372B1 (en) Method, user input device and computer program for recognizing an orientation of a hand of a user
WO2019037907A1 (en) Method and device for determining a probability with which an object will be located in a field of view of a driver of a vehicle
WO2015062750A1 (en) Infortainment system for a vehicle
DE102016001998A1 (en) A motor vehicle operating device and method for operating an operating device to effect an interaction between a virtual display plane and a hand
WO2016078746A1 (en) Method for operating an object rating apparatus for a motor vehicle, object rating apparatus for a motor vehicle and motor vehicle having an object rating apparatus
DE102019008089A1 (en) Method for detecting a change of lane of another motor vehicle by means of a detection device and detection device
DE102019002304A1 (en) A method for avoiding a fear state of a user of a motor vehicle by adjusting a driving route and driver assistance system
DE102019000060A1 (en) Controlling a vehicle using a control system
WO2009027307A1 (en) Method for automatically detecting at least the type and/or location of a gesture formed using an appendage, particularly a hand gesture
DE102018100596A1 (en) A method for preventing a critical situation for a motor vehicle, wherein a distance between a vehicle contour and an object contour is determined, driver assistance system and motor vehicle
DE102017205782A1 (en) Control device and method
DE102016224131B3 (en) Determination of movement data of a vehicle-external object by a driver assistance system
DE102017126183A1 (en) Method for detecting and classifying an object by means of at least one sensor device based on an occupancy map, driver assistance system and motor vehicle
DE102012014466A1 (en) Method for representation of scene for vehicle e.g. motor car, involves calculating image which shows scene from view of virtual camera depending on image while displaying image on display of vehicle
DE102015104937A1 (en) A method for assessing a membership of a detection point to an object in an environmental region of a motor vehicle and driver assistance system
EP3948784A1 (en) Parking assistance system
DE102022106857A1 (en) Method for controlling headlights of a motor vehicle

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15797254

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015797254

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015797254

Country of ref document: EP