WO2016046269A1 - Sensorfusion mit smartphone im fahrzeug - Google Patents

Sensorfusion mit smartphone im fahrzeug Download PDF

Info

Publication number
WO2016046269A1
WO2016046269A1 PCT/EP2015/071887 EP2015071887W WO2016046269A1 WO 2016046269 A1 WO2016046269 A1 WO 2016046269A1 EP 2015071887 W EP2015071887 W EP 2015071887W WO 2016046269 A1 WO2016046269 A1 WO 2016046269A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
sensor
image
relative position
smartphone
Prior art date
Application number
PCT/EP2015/071887
Other languages
English (en)
French (fr)
Inventor
Klaus Rink
Ulrich STÄHLIN
Ronald Winter
Original Assignee
Continental Teves Ag & Co. Ohg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Teves Ag & Co. Ohg filed Critical Continental Teves Ag & Co. Ohg
Publication of WO2016046269A1 publication Critical patent/WO2016046269A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/265—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network constructional aspects of navigation devices, e.g. housings, mountings, displays

Definitions

  • the invention relates to a method for determining a position of a device with a sensor in a vehicle, a method for determining a measured variable, a control device for performing one of the methods and the vehicle with the control device.
  • a method for determining a relative position of a device with a camera and a sensor in a vehicle relative to a reference point in the vehicle comprises the steps:
  • Determining the relative position of the device based on a measurement of the captured image is based on the consideration that the requirements for safe and robust sensor information are constantly increasing. For example, the tolerances for position ⁇ information are partly well below 2m. These requirements can often due by offset errors and noise corrupted measurements, and not always available sensors, such as in the case of shaded satellites of a GNSS-called global satellite navigation system will keep ⁇ not.
  • the sensor fusion mentioned above, statistically speaking, more accurate sensor information, and in particular position information, can be achieved, whereby the sensor information can be made more robust against the aforementioned sources of error, however, the use of further sensor information is a basic prerequisite for a sensible use of the sensor fusion.
  • Such external devices represent, for example, modern smartphones with their motion sensors, their GNSS receivers, their computing power and their connectivity in this way, it can be simply connected to the vehicle, for example via Bluetooth, USB (universal serial bus), NFC (near field communication) or other proprietary connections. As a rule, appropriate brackets are already provided in vehicles for this anyway.
  • USB universal serial bus
  • NFC near field communication
  • Devices are for example called portable navigation systems.
  • the vehicle should know the position of the external device in the vehicle relative to a reference point, in particular if the external device is to be included in the detection of position information as sensor information.
  • the specified method attacks with the suggestion to use a camera, which is normally present anyway in such external devices, in order to determine the position of the external device with respect to the reference point.
  • This proposal is the realization that can be measured with the camera, the vehicle and in particular its interior of the vehicle so as to determine the position of the external device, for example in the vehicle interior relative to the reference point.
  • the front camera offers, because the front
  • Display, touchpad is usually facing the driver and thus the interior of the vehicle.
  • the resolution of the front camera is already 1 megapixel for average smartphones, for high-priced smartphones even 2 megapixels, which is an effective image recognition and thus a measurement of the interior of the vehicle based on a picture of the
  • Front camera is more than adequate.
  • the use of the front camera of a smartphone restricts above all a possible use of the Smartphone for navigation not, if it is for this purpose ⁇ example, mounted on the windshield with the help of a suction cup holder ⁇ .
  • a display of the external device such as the smartphone, in low light conditions produce a white and thus bright surface when taking the image, so that the area to be measured, as the interior of the vehicle is sufficiently illuminated.
  • the region to be measured could of course also be emptied with an LED, a xenon flash or another illumination object, for example if, in the case of the smartphone, a main camera on the rear side is used to record the image.
  • the specified method comprises the step of merging the determined relative position based on the sensor present in the device and / or another sensor present in the device.
  • the further development is based on the consideration that the external device with its sensors could not only increase the information of the sensor information that can be detected in the vehicle but also provide information about its own position in the vehicle. For example, acceleration sensors, magnetic field sensors or the like which could be used anyway could be used in the smartphone for this purpose.
  • the fusion of the present development may include a simple plausibility check of the specific relative position or else a specification based on a Kalman filter or the like.
  • the measurement of the vehicle and in particular of the vehicle ⁇ interior can arbitrarily based on the captured image respectively.
  • the position of the external front ⁇ direction could be detected relative to an axis of symmetry of the interior of the vehicle.
  • Method is the step of measuring the captured image based on a comparison with a comparison image.
  • this comparison image it is possible to record from a location from which all geometrical information to be seen on the comparison image is known. By comparing the captured image and the comparison image, it can then be determined where the camera of the external device was located relative to the location of the comparison image during the recording.
  • the comparison image can be provided in any way.
  • the manufacturer, the driver or another third party can specify the comparison image and store it in a memory.
  • the comparison image can also be retrieved from a database based on information about the vehicle. This information could be, for example, the vehicle type of the vehicle.
  • the captured image could also be measured based on at least one topographical feature present on or in the vehicle.
  • Topographic features also known as landmarks, have the advantage that they are generally well recognizable in the image, the actual geometric distances of the individual landmarks are known to each other. Now, if the geometrical distances of the individual topographical features are measured on the image, the relative position of the external device can now be based on a comparison of the geometric distances be deduced on the image and the actual geometric distances of the individual topographical features.
  • the topographical features and in particular their data necessary for the survey can be retrieved from a database stored on a wirelessly connected to the external device server in the vehicle or any other location.
  • Examples of the topographical features may include rearview mirrors, a gear selector lever, a steering wheel, a driver and / or passenger seat, headrests, air outlets,
  • Door handles and / or door opening lever special decorative elements, such as moldings, brand emblems, etc., elements in the headliner, ie interior lighting, alarm, etc.,
  • Control ⁇ elements such as volume control on audio units and / or a keyhole or a key position (if still with a mechanical lock is started) or a start button.
  • barcodes can also be attached as topographical features, which are read out with the camera and, for example, have encoded the vehicle type and / or the position of the barcode.
  • QR codes QR codes, etc. can also be used.
  • This type of topographical features can be fixed in the vehicle or displayed with a display especially for the measurement. As such a display, for example, a head unit can be used in the vehicle.
  • a method for detecting a measured variable with a first sensor and a device comprising a camera and a second sensor in a vehicle comprises the steps: Determining a relative position of the device relative to a reference point in the vehicle with a method according to one of the preceding claims;
  • a control device is set up to carry out one of the specified methods.
  • the specified device has a memory and a processor.
  • the specified method is stored in the form of a Compu ⁇ terprogramms in the memory and the processor is provided for performing the method when the computer program from the memory is loaded into the processor.
  • a computer program comprises program code means for performing all the steps of one of the specified methods when the computer program is executed on a computer or one of the specified devices.
  • a computer program product comprises a program code which is stored on a data carrier and the compu ⁇ terlesbaren, when executed on a data processing device, carries out one of the methods specified.
  • a vehicle includes a specified controller.
  • Fig. 1 is a schematic diagram of a vehicle on a road
  • Fig. 2 is a schematic diagram of a fusion sensor in the vehicle of Fig. 1
  • Fig. 1 is a schematic diagram of a vehicle on a road
  • Fig. 2 is a schematic diagram of a fusion sensor in the vehicle of Fig. 1
  • Fig. 3 shows a schematic diagram of the vehicle of Fig. 1 on a road.
  • Fig. 1 shows a schematic diagram of a vehicle 2 with a fusion sensor 4.
  • the fusion sensor 4 receives in the present embodiment via a known GNSS receiver 6 GNSS position data 8 of the vehicle 2, which include an absolute position of the vehicle 2 on a lane 10. In addition to the absolute position, changes in the position of the vehicle 2 in the spatial directions can be seen from the GNSS position data 8 from the GNSS receiver 6.
  • GNSS location data 8 from the GNSS receiver 6 are stored in the in a manner known to the person skilled in the art, from a GNSS signal 12 in the GNSS receiver 6, which is received via a GNSS antenna 13 and is therefore referred to below as GNSS position data 8.
  • GNSS position data 8 For details, refer to the relevant literature.
  • the information contained in the GNSS position data 8 could now be used in the vehicle 2 in principle for various control purposes, such as a vehicle dynamics control. Practically enough the quality of the
  • GNSS signal data 12 has a very low signal / noise margin. In addition, the GNSS signal 12 is not always available.
  • a lateral acceleration sensor 14 for detecting acting on the vehicle 2 and directed perpendicular to the image plane lateral acceleration 15 and wheel speed sensors 18 on the wheels 20 of the vehicle 2 for detecting speeds 22 of the wheels 20.
  • wheel speeds 22 result in a conventional manner, a ground speed 24 of the vehicle 2 and / or a yaw rate 26 about a vertical axis 28 of the vehicle 2.
  • a reference point 29 is necessary, through which the vertical axis 28 extends and of the be considered from at least all momentary movements of the vehicle 2 such as pitching, rolling and yawing.
  • This reference point 29 may be, for example, the center of gravity of the vehicle 2.
  • the sensor information acquired by the further sensors overlap in part with the sensor information from the GNSS receiver 6 and are therefore at least partially redundant.
  • This redundancy uses the fusion sensor 4 by the GNSS position data 8 with the lateral acceleration 16 and the wheel speeds 22 merged and thus produced in Fig. 2 shown more precise position data 30, which describes the position of the vehicle 2 with a lower tolerance than the respective individual sensors.
  • an external device in the form of a smartphone 32 is to be used in order to obtain further sensor-side sensor information 34 about the position of the vehicle 2.
  • Common smartphones 32 have sensors for detecting their own location. However, since the location of the vehicle 2 is of interest, must next to these
  • smartphone Length sensor information 34 additionally the relative position 36 of the smartphone 32 to the vehicle 2, for example, based on the reference point 29 be known.
  • FIG. 2 shows a basic illustration of the fusion sensor 4 from FIG. 1.
  • the sensor information 8, 16, 22 already mentioned in FIG. 1 enters the fusion sensor 4 from the vehicle 2.
  • the fusion sensor 4 should output the specified position data 30.
  • the basic idea is to transfer the information from the GNSS position data 8, the lateral acceleration 16 from the inertial sensor 14 and the speeds 22 in a filter 38 to the smart-phone-side sensor. sensor information 34 from the smartphone 32 and so to produce the more precise location data 30 with a high signal / noise margin.
  • the filter 38 may be of any desired design, a Kalman filter solves this problem most effectively with a comparatively low computing resource requirement. Therefore, the filter 38 below should preferably be a Kalman filter 38.
  • vehicle position data 42 which describe the position of the vehicle based purely on the sensor information available in the vehicle, can first be determined from the sensor information 6, 14, 18 in a model 40 on the vehicle side.
  • the vehicle-side model 40 can be arbitrarily constructed and subdivided, for example, into submodels, which are optionally also adjusted via a Kalman filter against ⁇ each other. It can be constructed according to the application in any suitable manner.
  • comparison position data 46 can then be determined from the sensor-side sensor information 34, which describes the position of the vehicle 2 from the perspective of the smartphone 32.
  • a transformation device 48 is present in the fusion sensor 38, which transforms the further sensor information relative to the reference point 29 based on the relative position 36 between the smartphone 32 and the vehicle 2.
  • the transformation device 48 can in principle be arranged at any desired location, for example in the smartphone 32 itself, the smartphone 32 then having to know the reference point 29 in the smartphone-side Model 44 or in the Kalman filter 38. From the transformed smartphone reliabilityen sensor information 34 ⁇ then the comparison site data 46 can be determined in the smartphone roomen model 44 wherein the smartphone workede model 44 analogous to the vehicle-side model 40 depending on the application and optionally also another Kaiman filter may contain sensor fusion.
  • the vehicle attitude data 42 and the comparison attitude data 46 are then juxtaposed in the Kalman filter 38, with the Kalman filter 38 determining and outputting an error 50 between them. Based driving ⁇ generating position data 42 and the comparison location data on these errors can be corrected 50 46 each iteratively in their models 40, 44 and so adjusted for the error 50th
  • the smartphone 32 can as sensors another
  • GNSS position data 52 output GNSS receiver 54 and an acceleration sensor 56 may be present that outputs acceleration information 58 as a smartphone-side sensor information 34.
  • Other existing in common smartphones sensors are electromagnetic sensors, gyroscopes and barometers, the sensor information can all be used in the smartphone roomen model 44 in the determination of the comparison position data 46. Not all of them may need this
  • the relative position 36 determined on the smartphone side can be made plausible in a plausibility checker 60, for example based on the acceleration information 58, and a plausible relative position 36 ⁇ can be used in the transformation means 48.
  • the transformation in the transformation device 48 is ultimately a professional measure and also depends on in which coordinate system the vehicle-side sensor information is described. Therefore, for the sake of brevity, it will not be discussed further below. Rather, the basis of the transformation in the trans ⁇ formation device 48, that is, the determination of the relative position 36 will be explained in more detail below.
  • a camera 62 is present in the smartphone 32, which receives an image 64 of the vehicle 2 preferably of its interior.
  • the captured image 64 is then measured in a Ver ⁇ measuring device 66 based on reference information.
  • This reference information may be, for example, a comparison image 68 of the vehicle 2.
  • the comparison image 68 could have been recorded at the reference point 29 or at least in a dependent manner.
  • the surveying device 66 can determine by geometrical relationships from a comparison of the recorded image 64 and the comparison image 66 by which relative position 36 the image 64 has been moved.
  • the comparison image 68 can be retrieved from a database 70.
  • the image 64 can also be measured using topographical features 72 in the vehicle 2.
  • topographical features 72 can be designed as desired, with topographical features 72 being exemplarily illustrated in FIG. 3, headrests 74, interior mirrors 76, interior illuminations 78, windows 80 and the like in a detection area 82 of the camera 62.
  • information about the topographical features 72 for example, spacings 84 can be used 72 between these topographical ⁇ phical characteristics, in which case the measuring means 66 can determine on geometric relationships of a of the captured image 64 and the known spacing 84 between the topographical features 72 juxtaposition again, by which relative position 36 the image 64 was shifted.
  • the two above-mentioned approaches for determining the relative position 36 can also be carried out together and fused together, for example by plausibility.
  • the distances 84 can also be retrieved from the database 70.
  • both the comparison image 68 and, as shown in FIG. 2, the distances 84 may be retrieved via an antenna 88 and a wireless receiver 86 connected thereto from an external database.
  • FIG. 2 shows that the relative position 36 in the smartphone 32 is determined. However, it can just as well be determined on the vehicle side, for example, in the fusion sensor 4.
  • the determination of the relative position 36 can also be based on a plurality of images 64, for example in a further detection area 90. As a result, the existing common smartphones anyway multiple cameras 62 are optimally utilized.
  • any other external device such as a portable navigation device, a portable computer, or the like may be used.
  • a prerequisite is a camera and sensors with which sensible sensor information can be recorded in the vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen einer relativen Lage (36) einer Vorrichtung (32) mit einer Kamera (62) und einem Sensor (54, 56) in einem Fahrzeug (2) gegenüber einem Bezugspunkt (29) im Fahrzeug (2), umfassend: - Aufnehmen eines Bildes (64) von wenigstens einem Teil (82, 90) des Fahrzeuges (2) aus Sicht der Vorrichtung (32) mit der Kamera (62), und - Bestimmen der relativen Lage (36) der Vorrichtung (32) basierend auf einer Vermessung (66) des erfassten Bildes (64).

Description

Beschreibung
Sensorfusion mit Smartphone im Fahrzeug Die Erfindung betrifft ein Verfahren zum Bestimmen einer Lage einer Vorrichtung mit einem Sensor in einem Fahrzeug, ein Verfahren zum Bestimmen einer Messgröße, eine Steuervorrichtung zur Durchführung eines der Verfahren und das Fahrzeug mit der Steuervorrichtung .
Aus der WO 2011 / 098 333 AI ist bekannt, in einem Fahrzeug verschiedene Sensorgrößen heranzuziehen, um bereits vorhandene Sensorgrößen zu verbessern oder neue Sensorgrößen zu generieren und somit die erfassbare Information zu steigern, was allgemein als Sensorfusion bezeichnet wird.
Es ist Aufgabe der Erfindung, die Nutzung mehrerer Sensorgrößen zur Informationssteigerung in einem Fahrzeug zu verbessern. Die Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. Bevorzugte Weiterbildungen sind Gegenstand der ab¬ hängigen Ansprüche.
Gemäß einem Aspekt der Erfindung umfasst ein Verfahren zum Bestimmen einer relativen Lage einer Vorrichtung mit einer Kamera und einem Sensors in einem Fahrzeug gegenüber einem Bezugspunkt im Fahrzeug, die Schritte:
Aufnehmen eines Bildes von wenigstens einem Teil des
Fahrzeuges aus Sicht des Sensors mit der Kamera, und
- Bestimmen der relativen Lage der Vorrichtung basierend auf einer Vermessung des erfassten Bildes. Dem angegebenen Verfahren liegt die Überlegung zugrunde, dass die Anforderungen an sichere und robuste Sensorinformationen ständig steigen. Beispielsweise liegen die Toleranzen für Positions¬ informationen teils deutlich unter 2m. Diese Anforderungen können oft aufgrund von durch Offsetfehler und Rauschen verfälschten Messungen sowie durch nicht immer verfügbare Sensoren, wie beispielweise im Falle abgeschatteter Satelliten eines GNSS genannten globalen Satellitennavigationssystems nicht einge¬ halten werden. Mit der eingangs genannten Sensorfusion können zwar statistisch betrachtet genauere Sensorinformationen, und dabei insbesondere Positionsinformationen, erzielt werden, wobei die Sensorinformationen gegen die zuvor genannten Fehlerquellen robuster gemacht werden können, jedoch ist für einen sinnvollen Einsatz der Sensorfusion die Nutzung weiterer Sensorinformationen Grundvoraussetzung.
Der Erfassung weiterer Sensorinformationen im Fahrzeug stehen jedoch oft technische, wirtschaftliche und praktische Hin¬ dernisse entgegen. Beispielsweise können Beschleunigungen und Drehachsen, wenn überhaupt, nur in Oberklassefahrzeugen mit entsprechender Ausstattung in allen sechs Freiheitsgraden (Nicken, Wanken, Gieren, Längsbeschleunigung, Querbeschleunigung, Hochachsbeschleunigung) gemessen werden. Auch für die über das GNSS erfasste Absolutposition sind im Regelfall im Fahrzeug keine redundanten Sensorinformationen beispielsweise aus einem zweiten GNSS-Empfänger vorgesehen.
Hier setzt das angegebene Verfahren mit dem Vorschlag an, zur Bereitstellung weiterer, unabhängiger Sensorinformationen vom Fahrzeug unabhängige, externe Vorrichtungen zu verwenden.
Derartige externe Vorrichtung stellen beispielsweise moderne Smartphones mit ihrer Bewegungssensorik, ihren GNSS-Empfängern, ihrer Rechenleistung und ihrer Konnektivität dar, welche auf diese Weise einfach mit dem Fahrzeug beispielsweise über Bluetooth, USB (universal serial bus) , NFC (near field com- munication) oder andere proprietäre Verbindungen verbunden werden können. In der Regel sind in Fahrzeugen dafür ohnehin schon entsprechende Halterungen vorgesehen. Als weitere externe
Vorrichtungen seien beispielsweise tragbare Navigationssysteme genannt .
Zur Nutzung einer derartigen externen Vorrichtung als zu- sätzliche Sensorik im Fahrzeug sollte das Fahrzeug aber die Lage der externen Vorrichtung im Fahrzeug gegenüber einem Bezugspunkt kennen, insbesondere dann, wenn die externe Vorrichtung in die Erfassung von Lageinformationen als Sensorinformation mit eingebunden werden soll . Hier greift das angegebene Verfahren mit dem Vorschlag an, eine in derartigen externen Vorrichtungen in der Regel ohnehin vorhandene Kamera zu verwenden, um die Lage der externen Vorrichtung gegenüber dem Bezugspunkt zu bestimmen. Diesem Vorschlag liegt die Erkenntnis, dass sich mit der Kamera das Fahrzeug und insbesondere sein Innenraum des Fahrzeuges vermessen lassen, um so die Lage der externen Vorrichtung beispielsweise im Fahrzeuginnenraum gegenüber dem Bezugspunkt zu bestimmen .
Hierbei bietet sich bei der Verwendung eines Smartphones als externe Vorrichtung die Frontkamera an, weil die Frontseite
(Display, Touchpad) meistens dem Fahrer und damit dem Innenraum des Fahrzeuges zugewandt ist. Die Auflösung der Frontkamera beträgt bei durchschnittlichen Smartphones bereits 1 Megapixel, bei hochpreisigen Smartphones sogar 2 Megapixel, was für eine wirkungsvolle Bilderkennung und damit einer Vermessung des Innenraumes des Fahrzeuges basierend auf einem Bild der
Frontkamera mehr als ausreichend ist. Die Nutzung der Frontkamera eines Smartphones schränkt vor allem eine eventuelle Nutzung des Smartphone zur Navigation nicht ein, wenn es hierzu bei¬ spielsweise an der Windschutzscheibe mit Hilfe eines Saug¬ napfhalters montiert ist. In einer Weiterbildung des angegebenen Verfahrens kann ein Display der externen Vorrichtung, wie beispielsweise dem Smartphone, bei schlechten Lichtverhältnissen eine weiße und damit helle Fläche bei Aufnahme des Bildes erzeugen, so dass der zu vermessende Bereich, wie der Innenraum des Fahrzeuges ausreichend ausgeleuchtet ist. In analoger Weise könnte der zu vermessende Bereich selbstverständlich auch mit einer LED, einem Xenonblitz oder einem anderen Beleuchtungsobjekt ausgeleichtet werden, beispielsweise wenn im Falle des Smartphones eine Hauptkamera auf der Rückseite zur Aufnahme des Bildes verwendet wird.
In einer weiteren Weiterbildung umfasst das angegebene Verfahren den Schritt Fusionieren der bestimmten relativen Lage basierend auf dem in der Vorrichtung vorhandenen Sensor und/oder einem weiteren in der Vorrichtung vorhandenen Sensor. Der Weiterbildung liegt die Überlegung zugrunde, dass die externe Vor¬ richtung mit ihrem Sensoren nicht nur die Information der im Fahrzeug erfassbaren Sensorinformationen sondern bereit die Information über ihre eigene Lage im Fahrzeug steigern könnte. Im Smartphone könnten hierzu beispielsweise ohnehin vorhandene Beschleunigungssensoren, Magnetfeldsensoren oder dergleichen herangezogen werden. Die Fusion der vorliegenden Weiterbildung kann dabei eine einfache Plausibilisierung der bestimmten relativen Lage oder aber auch eine Präzisierung basierend auf einem Kaiman-Filter oder dergleichen umfassen.
Die Vermessung des Fahrzeuges und insbesondere des Fahrzeug¬ innenraumes kann basierend auf dem erfassten Bild beliebig erfolgen. Beispielsweise könnte die Lage der externen Vor¬ richtung relativ zu einer Symmetrieachse des Innenraumes des Fahrzeuges erfasst werden. In einer bevorzugten Weiterbildung umfasst das angegebene
Verfahren den Schritt Vermessen des erfassten Bildes basierend auf einer Gegenüberstellung mit einem Vergleichsbild. In diesem Vergleichsbild kann von einem Standort aufgenommen werden, von dem aus alle auf dem Vergleichsbild zu sehenden geometrischen Informationen bekannt sind. Durch eine Gegenüberstellung des erfassten Bildes und des Vergleichsbildes kann dann bestimmt werden, wo sich die Kamera der externen Vorrichtung relativ zum Standort des Vergleichsbildes bei der Aufnahme befunden hat. Das Vergleichsbild kann dabei in beliebiger Weise bereitgestellt werden. So können der Hersteller, der Fahrer oder ein anderer Dritter das Vergleichsbild vorgeben und in einem Speicher hinterlegen. Alternativ oder zusätzlich kann das Vergleichsbild auch aus einer Datenbank basierend auf einer Information über das Fahrzeug abgerufen werden. Diese Information könnte beispielsweise der Fahrzeugtyp des Fahrzeuges sein.
Alternativ oder zusätzlich zur Vermessung des Fahrzeuges basierend auf dem erfassten Bild über das Vergleichsbild könnte auch das erfasste Bildes basierend auf wenigstens einem am oder im Fahrzeug vorhandenen topographischen Merkmal vermessen werden. Topographische Merkmale, auch Landmarken genannt, haben den Vorteil, dass sie in der Regel auf dem Bild gut erkennbar sind, wobei die tatsächlichen geometrischen Abstände der einzelnen Landmarken zueinander bekannt sind. Werden nun die geometrischen Abstände der einzelnen topographischen Merkmale auf dem Bild gemessen, kann nun die relative Lage der externen Vorrichtung basierend auf einer Gegenüberstellung der geometrischen Abstände auf dem Bild und der tatsächlichen geometrischen Abstände der einzelnen topographischen Merkmale zurückgeschlossen werden.
Die topographischen Merkmale und insbesondere ihre für die Vermessung notwendigen Daten können aus einer Datenbank abgerufen werden, die auf einem drahtlos mit der externen Vorrichtung verbundenen Server im Fahrzeug oder einem beliebigen anderen Ort hinterlegt ist. Beispiele für die topographischen Merkmale können Rückspiegel, ein Gangwahlhebel, ein Lenkrad ein Fahrer- und/oder Beifahrersitz, Kopfstützen, Luftauslässe,
Türgriffe und/oder Türöffnungshebel spezielle Zierelemente, wie beispielsweise Zierleisten, Markenembleme, etc., Elemente im Dachhimmel, also Innenbeleuchtung, Alarmanlage etc., Bedien¬ elemente, wie beispielsweise Lautstärkeregler an Audioeinheiten und/oder ein Schlüsselloch oder eine Schlüsselposition (falls noch mit einem mechanischen Schloss gestartet wird) bzw. ein Startknopf sein.
Alternativ oder zusätzlich können als topographische Merkmale auch Barcodes angebracht werden, die mit der Kamera ausgelesen werden und beispielsweise den Fahrzeugtyp und/oder die Position des Barcodes eincodiert haben. Anstelle von Barcodes können auch QR-Codes, etc. verwendet werden. Diese Art der topographischen Merkmale können fest im Fahrzeug angebracht oder aber auch mit einem Display extra für die Vermessung angezeigt werden. Als derartiges Display kann beispielsweise eine Headunit im Fahrzeug verwendet werden.
Gemäß einem weiteren Aspekt der Erfindung umfasst ein Verfahren zum Erfassen einer Messgröße mit einem ersten Sensor und einer eine Kamera und einen zweiten Sensor enthaltenden Vorrichtung in einem Fahrzeug, die Schritte: Bestimmen einer relativen Lage der Vorrichtung gegenüber einem Bezugspunkt im Fahrzeug mit einem Verfahren nach einem der vorstehenden Ansprüche;
Erfassen einer ersten Ausgangsmessgröße mit dem ersten Sensor,
Erfassen einer zweiten Ausgangsmessgröße mit dem zweiten Sensor, und
Bestimmen der Messgröße basierend auf einer Fusion der ersten Ausgangsgröße, der zweiten Ausgangsgröße und der be¬ stimmten relativen Lage der Vorrichtung.
Gemäß einem weiteren Aspekt der Erfindung ist eine Steuervorrichtung eingerichtet, eines der angegebenen Verfahren durchzuführen .
In einer Weiterbildung der angegebenen Steuervorrichtung weist die angegebene Vorrichtung einen Speicher und einen Prozessor auf. Dabei ist das angegebene Verfahren in Form eines Compu¬ terprogramms in dem Speicher hinterlegt und der Prozessor zur Ausführung des Verfahrens vorgesehen, wenn das Computerprogramm aus dem Speicher in den Prozessor geladen ist.
Gemäß einem weiteren Aspekt der Erfindung umfasst ein Computerprogramm Programmcodemittel, um alle Schritte eines der angegebenen Verfahren durchzuführen, wenn das Computerprogramm auf einem Computer oder einer der angegebenen Vorrichtungen ausgeführt wird.
Gemäß einem weiteren Aspekt der Erfindung enthält ein Computerprogrammprodukt einen Programmcode, der auf einem compu¬ terlesbaren Datenträger gespeichert ist und der, wenn er auf einer Datenverarbeitungseinrichtung ausgeführt wird, eines der angegebenen Verfahren durchführt. Gemäß einem anderen Aspekt der Erfindung umfasst ein Fahrzeug eine angegebene Steuervorrichtung. Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden, wobei:
Fig. 1 eine Prinzipdarstellung eines Fahrzeuges auf einer Straße, Fig. 2 eine Prinzipdarstellung eines Fusionssensors in dem Fahrzeug der Fig. 1, und
Fig. 3 eine Prinzipdarstellung des Fahrzeuges aus Fig. 1 auf einer Straße zeigen.
In den Figuren werden gleiche technische Elemente mit gleichen Bezugszeichen versehen und nur einmal beschrieben.
Es wird auf Fig. 1 Bezug genommen, die eine Prinzipdarstellung eines Fahrzeuges 2 mit einem Fusionssensor 4 zeigt.
Der Fusionssensor 4 empfängt in der vorliegenden Ausführungsform über einen an sich bekannten GNSS-Empfänger 6 GNSS-Lagedaten 8 des Fahrzeuges 2, die eine absolute Position des Fahrzeuges 2 auf einer Fahrbahn 10 umfassen. Neben der absoluten Position sind aus den GNSS-Lagedaten 8 aus dem GNSS-Empfänger 6 auch Lageänderungen des Fahrzeuges 2 in den Raumrichtungen ersichtlich. Die
GNSS-Lagedaten 8 aus dem GNSS-Empfänger 6 werden in der vor- liegenden Ausführung in einer dem Fachmann bekannten Weise aus einem GNSS-Signal 12 in dem GNSS-Empfänger 6 abgeleitet, das über eine GNSS-Antenne 13 empfangen wird und daher nachstehend GNSS-Lagedaten 8 genannt. Für Details dazu wird auf die ein- schlägige Fachliteratur dazu verwiesen.
Die in den GNSS-Lagedaten 8 enthaltenen Informationen könnten nun im Fahrzeug 2 grundsätzlich zu verschiedenen Steuer- und Regelungszwecken, wie beispielsweise eine Fahrdynamikregelung verwendet werden. Praktisch reicht die Qualität der
GNSS-Lagedaten 8 hierzu jedoch nicht aus, weil das den
GNSS-Lagedaten 8 zugrundeliegende GNSS-Signal 12 einen sehr niedrigen Signal/Rauschbandabstand aufweist. Zudem ist das GNSS-Signal 12 nicht ständig verfügbar.
Deshalb sind in dem Fahrzeug 2 weitere Sensoren, wie ein Querbeschleunigungssensor 14 zur Erfassung einer auf das Fahrzeug 2 wirkenden und senkrecht zur Bildebene gerichteten Querbeschleunigung 15 und Raddrehzahlsensoren 18 an den Rädern 20 des Fahrzeuges 2 zur Erfassung von Drehzahlen 22 der Räder 20. Aus den Raddrehzahlen 22 ergeben sich in an sich bekannter Weise eine Übergrundgeschwindigkeit 24 des Fahrzeuges 2 und/oder eine Gierrate 26 um eine Hochachse 28 des Fahrzeuges 2. Zur sinnvollen Betrachtung der Gierrate 26 ist dabei ein Bezugspunkt 29 notwendig, durch den die Hochachse 28 verläuft und von dem aus zumindest alle Momentenbewegungen des Fahrzeuges 2 wie Nicken, Wanken und Gieren betrachtet werden. Dieser Bezugspunkt 29 kann beispielsweise der Schwerpunkt des Fahrzeuges 2 sein. Die von den weiteren Sensoren erfassten Sensorinformationen überschneiden sich zum Teil mit der Sensorinformation aus dem GNSS-Empfänger 6 und liegen daher zumindest teilweise redundant vor. Diese Redundanz nutzt der Fusionssensor 4, indem er die GNSS-Lagedaten 8 mit der Querbeschleunigung 16 und den Raddrehzahlen 22 fusioniert und so in Fig. 2 gezeigte präzisierte Lagedaten 30 erzeugt, die die Lage des Fahrzeuges 2 mit einer geringeren Toleranz beschreibt, als die jeweiligen Einzel- Sensoren.
Je mehr Sensorinformationen zur Verfügung stehen, desto größer ist die Wahrscheinlichkeit, dass bei der Sensorfusion Messfehler erkannt und gefiltert werden und desto präziser kann die Lage des Fahrzeuges 2 dann mit den präzisierten Lagedaten 30 beschrieben werden. Daher soll im Rahmen der vorliegenden Ausführung eine externe Vorrichtung in Form eines Smartphones 32 verwendet werden, um weitere smartphoneseitige Sensorinformationen 34 über die Lage des Fahrzeuges 2 gewinnen. Gängige Smartphones 32 besitzen Sensoren zur Erfassung ihrer eigenen Lage. Da jedoch die Lage des Fahrzeuges 2 interessiert, muss neben diesen
smartphoneseitigen Sensorinformationen 34 zusätzlich die relative Lage 36 des Smartphones 32 zum Fahrzeug 2 beispielsweise basierend auf dem Bezugspunkt 29 bekannt sein.
Bevor hierauf weiter eingegangen wird, soll nachstehend anhand von Fig. 2 kurz die Funktionsweise des Fusionssensors 4 näher erläutert werden. Es wird auf Fig. 2 Bezug genommen, die eine Prinzipdarstellung Fusionssensors 4 aus Fig. 1 zeigt.
In den Fusionssensor 4 gehen die in Fig. 1 bereits erwähnten Sensorinformationen 8, 16, 22 aus dem Fahrzeug 2 ein. Der Fusionssensor 4 soll die präzisierten Lagedaten 30 ausgeben. Grundgedanke dazu ist es, die Information aus den GNSS-Lagedaten 8, die Querbeschleunigung 16 aus dem Inertialsensor 14 und die Drehzahlen 22 in einem Filter 38 den smartphoneseitigen Sen- sorinformationen 34 aus dem Smartphone 32 gegenüberzustellen und so die präzisierten Lagedaten 30 mit einem hohen Signal/Rauschbandabstand zu erzeugen. Dazu kann das Filter 38 zwar beliebig ausgebildet sein, ein Kaiman-Filter löst diese Aufgabe am wirkungsvollsten mit einem vergleichsweise geringen Rechenressourcenanspruch. Daher soll das Filter 38 nachstehend vorzugsweise ein Kaiman-Filter 38 sein.
Hierzu können zunächst aus den Sensorinformationen 6, 14, 18 in einem fahrzeugseitigen Modell 40 Fahrzeuglagedaten 42 bestimmt werden, die die Lage des Fahrzeuges rein basierend auf den im Fahrzeug zur Verfügung stehenden Sensorinformationen beschreiben. Das fahrzeugseitige Modell 40 kann dabei beliebig aufgebaut und beispielsweise in Untermodelle unterteilt sein, die gegebenenfalls ebenfalls über einen Kaiman-Filter gegen¬ einander abgeglichen werden. Es kann applikationsabhängig in jeder geeigneten Weise aufgebaut sein.
Aus den Fahrzeuglagedaten 42 werden die präzisierten Lagedaten 30 abgegriffen, so dass auch dann präzisierte Lagedaten 30 zur Verfügung stehen, wenn kein Smartphone 32 angeschlossen ist.
In einem smartphoneseitigen Modell 44 können dann aus den smartphoneseitigen Sensorinformationen 34 Vergleichslagedaten 46 bestimmt werden, die die Lage des Fahrzeuges 2 aus Sicht des Smartphones 32 beschreiben. Hierzu ist in dem Fusionssensor 38 eine Transformationseinrichtung 48 vorhanden, die die weiteren Sensorinformationen basierend auf der relativen Lage 36 zwischen dem Smartphone 32 und dem Fahrzeug 2 auf den Bezugspunkt 29 bezogen transformiert. Die Transformationseinrichtung 48 kann prinzipiell an einer beliebigen Stelle angeordnet werden, beispielsweise im Smartphone 32 selbst, wobei das Smartphone 32 dann den Bezugspunkt 29 kennen müsste, im smartphoneseitigen Modell 44 oder auch im Kaiman-Filter 38. Aus den transformierten smartphoneseitigen Sensorinformationen 34 λ können dann im smartphoneseitigen Modell 44 die Vergleichslagedaten 46 bestimmt werden wobei auch das smartphoneseitige Modell 44 analog zum fahrzeugseitigen Modell 40 applikationsabhängig aufgebaut sein und gegebenenfalls ebenfalls einen weiteren Kaiman-Filter zur Sensorfusion enthalten kann.
Die Fahrzeuglagedaten 42 und die Vergleichslagedaten 46 werden dann im Kaiman-Filter 38 einander gegenübergestellt, wobei der Kaiman-Filter 38 einen Fehler 50 zwischen ihnen bestimmt und ausgibt. Basierend auf diesen Fehlern 50 können die Fahr¬ zeuglagedaten 42 und die Vergleichslagedaten 46 in ihren Modellen 40, 44 jeweils iterativ korrigiert und so um die Fehler 50 bereinigt werden.
In dem Smartphone 32 können als Sensoren ein weitere
GNSS-Lagedaten 52 ausgebender weiterer GNSS-Empfänger 54 und ein Beschleunigungssensor 56 vorhanden sein, der Beschleuni- gungsinformationen 58 als smartphoneseitige Sensorinformationen 34 ausgibt. Weitere in gängigen Smartphonen vorhandene Sensoren sind elektromagnetische Sensoren, Gyroskope und Barometer, deren Sensorinformationen alle im smartphoneseitigen Modell 44 bei der Bestimmung der Vergleichslagedaten 46 verwendet werden können. Dabei brauchen gegebenenfalls nicht alle dieser
smartphoneseitigen Sensorinformationen 34 die Transformationseinrichtung durchlaufen.
Dabei kann die smartphoneseitig bestimmte relative Lage 36 in einer Plausibilisierungseinrichtung 60 beispielsweise basierend auf den Beschleunigungsinformationen 58 plausibilisiert und in der Transformationseinrichtung 48 eine plausibilisierte relative Lage 36 λ verwendet werden. Die Transformation in der Transformationseinrichtung 48 ist letztendlich eine fachmännische Maßnahme und hängt auch davon ab, in welchem Koordinatensystem die fahrzeugseitigen Sensorin- formationen beschrieben werden. Daher soll darauf nachstehend der Kürze halber nicht weiter eingegangen werden. Vielmehr soll nachstehend die Grundlage der Transformation in der Trans¬ formationseinrichtung 48, das heißt die Bestimmung der relativen Lage 36 näher erläutert werden.
Hierzu ist in dem Smartphone 32 eine Kamera 62 vorhanden, die ein Bild 64 von dem Fahrzeug 2 vorzugsweise seines Innenraumes aufnimmt. Das aufgenommene Bild 64 wird dann in einer Ver¬ messungseinrichtung 66 basierend auf Referenzinformationen vermessen. Diese Referenzinformationen können beispielsweise ein Vergleichsbild 68 des Fahrzeuges 2 sein. Das Vergleichsbild 68 könnte dabei am Bezugspunkt 29 oder zumindest in abhängiger Weise davon aufgenommen worden sein. Dann kann die Vermessungseinrichtung 66 über geometrische Beziehungen aus einer Gegenüberstellung des aufgenommenen Bildes 64 und dem Vergleichsbild 66 bestimmen, um welche relative Lage 36 verschoben das Bild 64 aufgenommen wurde. Das Vergleichsbild 68 kann dabei aus einer Datenbank 70 abgerufen werden. In analoger Weise kann das Bild 64 auch anhand topographischer Merkmale 72 in dem Fahrzeug 2 vermessen werden. Derartige topographische Merkmale 72, auch Landmarken genannt können beliebig ausgeführt sein, wobei als topographische Merkmale 72 beispielhaft in Fig. 3 Kopfstützen 74, Innenspiegel 76, In- nenbeleuchtungen 78, Fenster 80 und dergleichen in einem Erfassungsbereich 82 der Kamera 62 betrachtet werden können. Als Referenzinformationen zu den topographischen Merkmalen 72 können beispielsweise Abstände 84 zwischen diesen topogra¬ phischen Merkmalen 72 herangezogen werden, wobei dann die Vermessungseinrichtung 66 wieder über geometrische Beziehungen aus einer Gegenüberstellung des aufgenommenen Bildes 64 und der bekannten Abstände 84 zwischen den topographischen Merkmalen 72 bestimmen kann, um welche relative Lage 36 verschoben das Bild 64 aufgenommen wurde. Die beiden zuvor genannten Ansätze zur Bestimmung der relativen Lage 36 können auch gemeinsam durchgeführt und miteinander beispielsweise durch Plausibilisierung fusioniert werden.
Die Abstände 84 können dabei auch aus der Datenbank 70 abgerufen werden. Alternativ können sowohl das Vergleichsbild 68 als auch wie in Fig. 2 gezeigt die Abstände 84 über eine Antenne 88 und einen daran angeschlossenen Drahtlosempfänger 86 von einer externen Datenbank abgerufen werden. In Fig. 2 ist dargestellt, dass die relative Lage 36 im Smartphone 32 bestimmt wird. Sie kann jedoch genauso gut auch fahrzeugseitig beispielsweise im Fusionssensor 4 bestimmt werden. Zudem können der Bestimmung der relativen Lage 36 auch mehrere Bilder 64 beispielsweise in einem weiteren Erfassungsbereich 90 zugrunde gelegt werden. Hierdurch werden die in gängigen Smartphones ohnehin mehrfach vorhandenen Kameras 62 optimal ausgenutzt.
Anstatt das Smartphone 32 als externe Vorrichtung zu verwenden kann selbstverständlich auch jede andere externe Vorrichtung, wie beispielsweise ein tragbares Navigationsgerät, ein tragbarer Computer oder dergleichen verwendet werden. Voraussetzung ist allerdings eine Kamera und Sensoren, mit denen sich im Fahrzeug verwertbare Sensorinformationen erfassen lassen.

Claims

Patentansprüche
1. Verfahren zum Bestimmen einer relativen Lage (36) einer Vorrichtung (32) mit einer Kamera (62) und einem Sensor (54, 56) in einem Fahrzeug (2) gegenüber einem Bezugspunkt (29) im Fahrzeug (2), umfassend:
Aufnehmen eines Bildes (64) von wenigstens einem Teil (82, 90) des Fahrzeuges (2) aus Sicht der Vorrichtung (32) mit der Kamera (62), und
- Bestimmen der relativen Lage (36) der Vorrichtung (32) basierend auf einer Vermessung (66) des erfassten Bildes (64) .
2. Verfahren nach Anspruch 1 , wobei das Bild (64) ein Bild eines Innenraums des Fahrzeuges (2) ist.
Verfahren nach Anspruch 1 oder 2, umfassend:
Fusionieren der bestimmten relativen Lage (36) basierend auf dem in der Vorrichtung (32) vorhandenen Sensor (54, 56) und/oder einem weiteren in der Vorrichtung (32) vorhandenen Sensor (54, 56) .
Verfahren nach einem der vorstehenden Ansprüche, umfassend:
Vermessen des erfassten Bildes (64) basierend auf einer Gegenüberstellung mit einem Vergleichsbild (68).
Verfahren nach einem der vorstehenden Ansprüche, umfassend:
Vermessen des erfassten Bildes (64) basierend auf wenigstens einem am oder im Fahrzeug (2) vorhandenen topographischen Merkmal (72), das insbesondere eine vorbestimmte Struktur aufweist.
6. Verfahren nach Anspruch 4 oder 5, umfassend: Abrufen des Vergleichsbildes (68) und/oder des topogra¬ phischen Merkmals (72) und/oder einer Referenzinformation zum Vergleichsbild (68) und/oder zum topographischen Merkmal (72) aus einer Datenbank (70) .
Verfahren nach einem der vorstehenden Ansprüche 4 bis 6, wobei die Referenzinformation eine relative Lage des topographischen Merkmals (72) und/oder des Vergleichsbildes (68) gegenüber dem Bezugspunkt (29) im Fahrzeug (2) ist .
Verfahren zum Erfassen einer Messgröße (30) mit einem ersten Sensor (6, 14, 18) und einer eine Kamera (62) und einen zweiten Sensor (54, 56) enthaltenden Vorrichtung (32) in einem Fahrzeug (2), umfassend:
Bestimmen einer relativen Lage (36) der Vorrichtung (32) gegenüber einem Bezugspunkt (29) im Fahrzeug (2) mit einem Verfahren nach einem der vorstehenden Ansprüche;
Erfassen einer ersten Ausgangsmessgröße (8, 16, 22) mit dem ersten Sensor (6, 14, 18),
Erfassen einer zweiten Ausgangsmessgröße (52, 58) mit dem zweiten Sensor (54, 56), und
Bestimmen der Messgröße (30) basierend auf einer Fusion (4) der ersten Ausgangsgröße (8, 16, 22), der zweiten Ausgangsgröße (52, 58) und der bestimmten relativen Lage (36) der Vorrichtung (32) gegenüber dem Bezugspunkt 29.
9. Steuervorrichtung zur Durchführung eines Verfahrens nach einem der vorstehenden Ansprüche.
10. Fahrzeug (2), umfassend eine Steuervorrichtung nach Anspruch 9.
PCT/EP2015/071887 2014-09-24 2015-09-23 Sensorfusion mit smartphone im fahrzeug WO2016046269A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014219326.5 2014-09-24
DE102014219326.5A DE102014219326A1 (de) 2014-09-24 2014-09-24 Sensorfusion mit Smartphone im Fahrzeug

Publications (1)

Publication Number Publication Date
WO2016046269A1 true WO2016046269A1 (de) 2016-03-31

Family

ID=54199204

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2015/071887 WO2016046269A1 (de) 2014-09-24 2015-09-23 Sensorfusion mit smartphone im fahrzeug

Country Status (2)

Country Link
DE (1) DE102014219326A1 (de)
WO (1) WO2016046269A1 (de)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10234868B2 (en) 2017-06-16 2019-03-19 Ford Global Technologies, Llc Mobile device initiation of vehicle remote-parking
US10232673B1 (en) 2018-06-01 2019-03-19 Ford Global Technologies, Llc Tire pressure monitoring with vehicle park-assist
US10281921B2 (en) 2017-10-02 2019-05-07 Ford Global Technologies, Llc Autonomous parking of vehicles in perpendicular parking spots
US10336320B2 (en) 2017-11-22 2019-07-02 Ford Global Technologies, Llc Monitoring of communication for vehicle remote park-assist
US10369988B2 (en) 2017-01-13 2019-08-06 Ford Global Technologies, Llc Autonomous parking of vehicles inperpendicular parking spots
US10384605B1 (en) 2018-09-04 2019-08-20 Ford Global Technologies, Llc Methods and apparatus to facilitate pedestrian detection during remote-controlled maneuvers
US10493981B2 (en) 2018-04-09 2019-12-03 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10507868B2 (en) 2018-02-22 2019-12-17 Ford Global Technologies, Llc Tire pressure monitoring for vehicle park-assist
US10529233B1 (en) 2018-09-24 2020-01-07 Ford Global Technologies Llc Vehicle and method for detecting a parking space via a drone
US10578676B2 (en) 2017-11-28 2020-03-03 Ford Global Technologies, Llc Vehicle monitoring of mobile device state-of-charge
US10580304B2 (en) 2017-10-02 2020-03-03 Ford Global Technologies, Llc Accelerometer-based external sound monitoring for voice controlled autonomous parking
US10583830B2 (en) 2018-01-02 2020-03-10 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10585431B2 (en) 2018-01-02 2020-03-10 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10585430B2 (en) 2017-06-16 2020-03-10 Ford Global Technologies, Llc Remote park-assist authentication for vehicles
US10627811B2 (en) 2017-11-07 2020-04-21 Ford Global Technologies, Llc Audio alerts for remote park-assist tethering
US10628687B1 (en) 2018-10-12 2020-04-21 Ford Global Technologies, Llc Parking spot identification for vehicle park-assist
US10683004B2 (en) 2018-04-09 2020-06-16 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10684773B2 (en) 2018-01-03 2020-06-16 Ford Global Technologies, Llc Mobile device interface for trailer backup-assist
US10684627B2 (en) 2018-02-06 2020-06-16 Ford Global Technologies, Llc Accelerometer-based external sound monitoring for position aware autonomous parking
US10683034B2 (en) 2017-06-06 2020-06-16 Ford Global Technologies, Llc Vehicle remote parking systems and methods
US10688918B2 (en) 2018-01-02 2020-06-23 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10717432B2 (en) 2018-09-13 2020-07-21 Ford Global Technologies, Llc Park-assist based on vehicle door open positions
US10732622B2 (en) 2018-04-05 2020-08-04 Ford Global Technologies, Llc Advanced user interaction features for remote park assist
US10737690B2 (en) 2018-01-02 2020-08-11 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10747218B2 (en) 2018-01-12 2020-08-18 Ford Global Technologies, Llc Mobile device tethering for remote parking assist
US10759417B2 (en) 2018-04-09 2020-09-01 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10775781B2 (en) 2017-06-16 2020-09-15 Ford Global Technologies, Llc Interface verification for vehicle remote park-assist
US10793144B2 (en) 2018-04-09 2020-10-06 Ford Global Technologies, Llc Vehicle remote park-assist communication counters
US10814864B2 (en) 2018-01-02 2020-10-27 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10821972B2 (en) 2018-09-13 2020-11-03 Ford Global Technologies, Llc Vehicle remote parking assist systems and methods
US10908603B2 (en) 2018-10-08 2021-02-02 Ford Global Technologies, Llc Methods and apparatus to facilitate remote-controlled maneuvers
US10917748B2 (en) 2018-01-25 2021-02-09 Ford Global Technologies, Llc Mobile device tethering for vehicle systems based on variable time-of-flight and dead reckoning
US10967851B2 (en) 2018-09-24 2021-04-06 Ford Global Technologies, Llc Vehicle system and method for setting variable virtual boundary
US10974717B2 (en) 2018-01-02 2021-04-13 Ford Global Technologies, I.LC Mobile device tethering for a remote parking assist system of a vehicle
US11097723B2 (en) 2018-10-17 2021-08-24 Ford Global Technologies, Llc User interfaces for vehicle remote park assist
US11137754B2 (en) 2018-10-24 2021-10-05 Ford Global Technologies, Llc Intermittent delay mitigation for remote vehicle operation
US11148661B2 (en) 2018-01-02 2021-10-19 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US11169517B2 (en) 2019-04-01 2021-11-09 Ford Global Technologies, Llc Initiation of vehicle remote park-assist with key fob
US11188070B2 (en) 2018-02-19 2021-11-30 Ford Global Technologies, Llc Mitigating key fob unavailability for remote parking assist systems
US11195344B2 (en) 2019-03-15 2021-12-07 Ford Global Technologies, Llc High phone BLE or CPU burden detection and notification
US11275368B2 (en) 2019-04-01 2022-03-15 Ford Global Technologies, Llc Key fobs for vehicle remote park-assist
US11789442B2 (en) 2019-02-07 2023-10-17 Ford Global Technologies, Llc Anomalous input detection

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017200148B4 (de) * 2017-01-09 2021-01-28 Ford Global Technologies, Llc Verfahren zur Verwendung von Sensoren eines mobilen Endgeräts mit einem Fahrzeug, Fahrzeug, Computerprogramm und computerlesbares Medium
DE102017201728B4 (de) 2017-02-03 2022-02-17 Audi Ag Steuervorrichtung zum Erzeugen von Steuerdaten für Aktuatoren zum Konfigurieren einer Innenraumsituation eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Betreiben einer Steuervorrichtung
DE102021001700A1 (de) 2021-04-01 2022-10-06 Michael Böhm Bremsanzeige, insbesondere für Fahrräder oder Zweiräder mit Hilsmotor
DE102022214322A1 (de) 2022-12-22 2024-06-27 Robert Bosch Gesellschaft mit beschränkter Haftung Redundante IMU-Erfassung von Position und Orientierung für Aktorsysteme im Fahrzeuginnenraum unter Anwendung von Filteralgorithmen auf IMU-Daten

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011150946A1 (en) * 2010-06-01 2011-12-08 Valeo Schalter Und Sensoren Gmbh Method of determining an arrangement of a portable communication device within a coordinate system of a vehicle, corresponding computing unit and portable communication device
US20130261892A1 (en) * 2012-03-28 2013-10-03 Honda Motor Co., Ltd. Method for determining installation position of portable information terminal on vehicle

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10256589B4 (de) * 2002-12-04 2008-02-28 Daimler Ag Bremsscheibe für ein Kraftfahrzeug
DE102009048493A1 (de) * 2009-09-25 2011-04-07 Valeo Schalter Und Sensoren Gmbh Fahrerassistenzsystem für ein Fahrzeug, Fahrzeug mit einem Fahrerassistenzsystem und Verfahren zum Unterstützen eines Fahrers beim Führen eines Fahrzeugs
DE102010063984A1 (de) 2010-02-11 2011-08-11 Continental Teves AG & Co. OHG, 60488 Fahrzeug-Sensor-Knoten
DE102010012187B4 (de) * 2010-03-19 2020-12-31 Sew-Eurodrive Gmbh & Co Kg Verfahren zur Bestimmung der Position zumindest eines ersten und eines zweiten Fahrzeuges innerhalb einer Anlage
DE102010033883B4 (de) * 2010-08-10 2021-12-23 Volkswagen Ag Verfahren zum Datentransfer zwischen einem mobilen Gerät und einem Kraftfahrzeug
DE112012006892T5 (de) * 2012-09-12 2015-06-11 Toyota Jidosha Kabushiki Kaisha Mobiles Endgerät, Fahrzeugvorrichtung und Fahrzeugsystem

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011150946A1 (en) * 2010-06-01 2011-12-08 Valeo Schalter Und Sensoren Gmbh Method of determining an arrangement of a portable communication device within a coordinate system of a vehicle, corresponding computing unit and portable communication device
US20130261892A1 (en) * 2012-03-28 2013-10-03 Honda Motor Co., Ltd. Method for determining installation position of portable information terminal on vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WALTER O ET AL: "Smartphone-based sensor fusion for improved vehicular navigation", POSITIONING NAVIGATION AND COMMUNICATION (WPNC), 2013 10TH WORKSHOP ON, IEEE, 20 March 2013 (2013-03-20), pages 1 - 6, XP032678753, ISBN: 978-1-4673-6031-9, [retrieved on 20130614], DOI: 10.1109/WPNC.2013.6533261 *

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10369988B2 (en) 2017-01-13 2019-08-06 Ford Global Technologies, Llc Autonomous parking of vehicles inperpendicular parking spots
US10683034B2 (en) 2017-06-06 2020-06-16 Ford Global Technologies, Llc Vehicle remote parking systems and methods
US10775781B2 (en) 2017-06-16 2020-09-15 Ford Global Technologies, Llc Interface verification for vehicle remote park-assist
US10234868B2 (en) 2017-06-16 2019-03-19 Ford Global Technologies, Llc Mobile device initiation of vehicle remote-parking
US10585430B2 (en) 2017-06-16 2020-03-10 Ford Global Technologies, Llc Remote park-assist authentication for vehicles
US10580304B2 (en) 2017-10-02 2020-03-03 Ford Global Technologies, Llc Accelerometer-based external sound monitoring for voice controlled autonomous parking
US10281921B2 (en) 2017-10-02 2019-05-07 Ford Global Technologies, Llc Autonomous parking of vehicles in perpendicular parking spots
US10627811B2 (en) 2017-11-07 2020-04-21 Ford Global Technologies, Llc Audio alerts for remote park-assist tethering
US10336320B2 (en) 2017-11-22 2019-07-02 Ford Global Technologies, Llc Monitoring of communication for vehicle remote park-assist
US10578676B2 (en) 2017-11-28 2020-03-03 Ford Global Technologies, Llc Vehicle monitoring of mobile device state-of-charge
US10688918B2 (en) 2018-01-02 2020-06-23 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10814864B2 (en) 2018-01-02 2020-10-27 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10585431B2 (en) 2018-01-02 2020-03-10 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10737690B2 (en) 2018-01-02 2020-08-11 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10583830B2 (en) 2018-01-02 2020-03-10 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US11148661B2 (en) 2018-01-02 2021-10-19 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10974717B2 (en) 2018-01-02 2021-04-13 Ford Global Technologies, I.LC Mobile device tethering for a remote parking assist system of a vehicle
US10684773B2 (en) 2018-01-03 2020-06-16 Ford Global Technologies, Llc Mobile device interface for trailer backup-assist
US10747218B2 (en) 2018-01-12 2020-08-18 Ford Global Technologies, Llc Mobile device tethering for remote parking assist
US10917748B2 (en) 2018-01-25 2021-02-09 Ford Global Technologies, Llc Mobile device tethering for vehicle systems based on variable time-of-flight and dead reckoning
US10684627B2 (en) 2018-02-06 2020-06-16 Ford Global Technologies, Llc Accelerometer-based external sound monitoring for position aware autonomous parking
US11188070B2 (en) 2018-02-19 2021-11-30 Ford Global Technologies, Llc Mitigating key fob unavailability for remote parking assist systems
US10507868B2 (en) 2018-02-22 2019-12-17 Ford Global Technologies, Llc Tire pressure monitoring for vehicle park-assist
US10732622B2 (en) 2018-04-05 2020-08-04 Ford Global Technologies, Llc Advanced user interaction features for remote park assist
US10759417B2 (en) 2018-04-09 2020-09-01 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10493981B2 (en) 2018-04-09 2019-12-03 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10793144B2 (en) 2018-04-09 2020-10-06 Ford Global Technologies, Llc Vehicle remote park-assist communication counters
US10683004B2 (en) 2018-04-09 2020-06-16 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10232673B1 (en) 2018-06-01 2019-03-19 Ford Global Technologies, Llc Tire pressure monitoring with vehicle park-assist
US10384605B1 (en) 2018-09-04 2019-08-20 Ford Global Technologies, Llc Methods and apparatus to facilitate pedestrian detection during remote-controlled maneuvers
US10821972B2 (en) 2018-09-13 2020-11-03 Ford Global Technologies, Llc Vehicle remote parking assist systems and methods
US10717432B2 (en) 2018-09-13 2020-07-21 Ford Global Technologies, Llc Park-assist based on vehicle door open positions
US10967851B2 (en) 2018-09-24 2021-04-06 Ford Global Technologies, Llc Vehicle system and method for setting variable virtual boundary
US10529233B1 (en) 2018-09-24 2020-01-07 Ford Global Technologies Llc Vehicle and method for detecting a parking space via a drone
US10908603B2 (en) 2018-10-08 2021-02-02 Ford Global Technologies, Llc Methods and apparatus to facilitate remote-controlled maneuvers
US10628687B1 (en) 2018-10-12 2020-04-21 Ford Global Technologies, Llc Parking spot identification for vehicle park-assist
US11097723B2 (en) 2018-10-17 2021-08-24 Ford Global Technologies, Llc User interfaces for vehicle remote park assist
US11137754B2 (en) 2018-10-24 2021-10-05 Ford Global Technologies, Llc Intermittent delay mitigation for remote vehicle operation
US11789442B2 (en) 2019-02-07 2023-10-17 Ford Global Technologies, Llc Anomalous input detection
US11195344B2 (en) 2019-03-15 2021-12-07 Ford Global Technologies, Llc High phone BLE or CPU burden detection and notification
US11169517B2 (en) 2019-04-01 2021-11-09 Ford Global Technologies, Llc Initiation of vehicle remote park-assist with key fob
US11275368B2 (en) 2019-04-01 2022-03-15 Ford Global Technologies, Llc Key fobs for vehicle remote park-assist

Also Published As

Publication number Publication date
DE102014219326A1 (de) 2016-03-24

Similar Documents

Publication Publication Date Title
WO2016046269A1 (de) Sensorfusion mit smartphone im fahrzeug
WO2020216559A1 (de) Verfahren zur erkennung einer funktionsfähigkeit eines umgebungssensors, steuergerät und fahrzeug
DE102018216009A1 (de) Vorrichtung zum bestimmen abgelenkten fahrens, verfahren zum bestimmen abgelenkten fahrens und programm
DE102013215960A1 (de) Bestimmen einer Positionsinformation eines Fahrzeugs
DE102015105760A1 (de) System zum Einparken eines Fahrzeugs
DE102015112605A1 (de) System zum bestimmen eines kupplungswinkels
DE102011102744A1 (de) Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, Kraftfahrzeug sowie System mit einem Kraftfahrzeug und einer separaten Recheneinrichtung
WO2014166684A1 (de) Sensorvorrichtung und verfahren zum bestimmen eines lenkwinkels eines fahrzeugs und fahrerassistenzsystem für ein fahrzeug
DE102017011177A1 (de) Verfahren zum Ermitteln eines Knickwinkels eines Fahrzeug-Gespanns, Ermittlungseinrichtung sowie Fahrzeug-Gespann
DE102017118078A1 (de) Lokalisationseinrichtung für ein Kraftfahrzeug, Fahrerassistenzeinrichtung, Kraftfahrzeug sowie Verfahren zum Lokalisieren eines Kraftfahrzeugs
DE102015202230A1 (de) Fusionierte Eigenbewegungsberechnung für ein Fahrzeug
DE102013218813A1 (de) Verfahren zur Detektion einer Kollision eines Fahrzeugs mit einem fahrzeugexternen Objekt und entsprechendes Verfahren
DE112017007213T5 (de) Fahrzeuginsassenerkennung
DE102017006924A1 (de) Verfahren und System zur Fernsteuerung einer Funktion eines Fahrzeuges
EP2755831B1 (de) Verfahren zum filtern von daten in einem reifendruckkon-trollsystem eines fahrzeugs
DE102014211171A1 (de) Verfahren und System zur Anpassung eines Navigationssystems
DE102004060292A1 (de) Neigungswinkelermittlung für ein Motorrad
DE102017124494A1 (de) Erweiterungen und leistungsverbesserungen für eine kontaktfreie bodenfreiheitserfassung
EP3739511A1 (de) Verfahren zum einbetten von lokalen sensordaten in eine karte
DE102020112549A1 (de) Verfahren zum Vermessen eines an einem Fahrzeug angeordneten Anbauteils auf Grundlage von Bildern eines mobilen Endgeräts, Recheneinrichtung sowie Fahrerassistenzsystem
DE102016225579A1 (de) Verfahren zum Betreiben einer Sensoreinrichtung eines Kraftfahrzeugs und Kraftfahrzeug
EP2737282B1 (de) Verfahren und vorrichtung zum bestimmen aktueller fahrzeugspezifischer orientierungsdaten für ein fahrzeug
WO2014009187A1 (de) Übertragung von daten von einem mobilen endgerät zu einem fahrzeug
DE102017209910A1 (de) Fahrzeuglokalisierung mittels eines im Fahrzeug befindlichen Mobiltelefons
WO2022096255A1 (de) Verfahren zum betreiben eines fahrassistenzsystems, computerprogrammprodukt, fahrassistenzsystem, gespann und nachrüstsatz

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15770853

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15770853

Country of ref document: EP

Kind code of ref document: A1