WO2018050729A1 - Method for operating a motor vehicle - Google Patents

Method for operating a motor vehicle Download PDF

Info

Publication number
WO2018050729A1
WO2018050729A1 PCT/EP2017/073093 EP2017073093W WO2018050729A1 WO 2018050729 A1 WO2018050729 A1 WO 2018050729A1 EP 2017073093 W EP2017073093 W EP 2017073093W WO 2018050729 A1 WO2018050729 A1 WO 2018050729A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
motor vehicle
control device
vehicle
detected
Prior art date
Application number
PCT/EP2017/073093
Other languages
German (de)
French (fr)
Inventor
Achim ENTHALER
Michael MÜRKEN
Andreas Thanheiser
Johann Krammer
Original Assignee
Audi Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi Ag filed Critical Audi Ag
Priority to EP17777799.2A priority Critical patent/EP3478535B1/en
Priority to US16/332,705 priority patent/US11535264B2/en
Priority to CN201780056642.5A priority patent/CN109715443B/en
Publication of WO2018050729A1 publication Critical patent/WO2018050729A1/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/041—Potential occupants
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Traffic Control Systems (AREA)
  • Lock And Its Accessories (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The invention relates to a method for operating a motor vehicle (1), comprising a camera device (2) recording the vehicle foreground, which camera device comprises an associated control device (3) for evaluating the images, wherein the control device (3) evaluates the images to detect at least one hand movement carried out by an individual (4) shown in the images, wherein, when a hand movement which describes a gesture indicating a stopping request is detected, either the self-driving motor-vehicle (1) is controlled to stop in the vicinity of the individual, or the driver of the motor-vehicle (1) is given a signal signaling the stopping request.

Description

Verfahren zum Beirieb eines Kraftfahrzeugs  Method for inspecting a motor vehicle
Die Erfindung betrifft ein Verfahren zum Betrieb eines Kraftfahrzeugs umfassend eine das Fahrzeugvorfeld aufnehmende Kameraeinrichtung mit zuge- ordneter Steuerungseinrichtung zum Auswerten der Bilder. The invention relates to a method for operating a motor vehicle comprising a camera device receiving the vehicle apron with associated control device for evaluating the images.
Die Entwicklung von immer mehr Aufgaben eigenständig übernehmenden Kraftfahrzeugen nimmt stetig zu. Es sind bereits Fahrzeuge bekannt, die weitgehend selbständig fahren, also selbstfahrende oder pilotierte Kraftfahr- zeuge, in denen ein Fahrer lediglich noch anwesend sein muss, um im Notfall die Kontrolle über das Fahrzeug selbst zu übernehmen, oder die auch ohne anwesenden Fahrer völlig selbständig am Verkehr teilnehmen. Solche weitgehend oder vollständig selbstfahrende Kraftfahrzeuge können beispielsweise als eine Art Taxi oder Ähnliches, der Personenbeförderung die- nende Fahrzeuge eingesetzt werden. The development of more and more tasks autonomously taking over motor vehicles is steadily increasing. There are already known vehicles that drive largely independently, so self-propelled or piloted motor vehicles, in which a driver only has to be present to take control of the vehicle itself in an emergency, or even without a present driver completely independent on To participate in traffic. Such largely or completely self-propelled motor vehicles can be used, for example, as a kind of taxi or the like, persons transporting vehicles.
Bei bisher üblichen Taxis oder dergleichen, die als konventionelle Kraftfahrzeuge ausgebildet sind und über einen Fahrer verfügen, ist es oft der Fall, dass das Taxi fährt, beispielsweise um zu einem Taxistand zu gelangen. Steht ein Fahrgast am Straßenrand und sieht er das herannahende Taxi, so winkt er üblicherweise, gibt also eine Handgeste, die der Fahrer sieht, woraufhin das Taxi anhält, um die Person aufzunehmen. Auch ein beispielsweise an einer Ampel stehendes Taxi kann auf diese Weise gerufen werden. Bei einem selbstfahrenden Kraftfahrzeug, das wie beschrieben keinen Fahrer an Bord hat, fällt der Mensch zum Erkennen der Rufgeste aus. In previously common taxis or the like, which are designed as conventional motor vehicles and have a driver, it is often the case that the taxi drives, for example, to get to a taxi rank. If a passenger stands at the side of the road and sees the approaching taxi, he usually waves, giving a hand gesture, which the driver sees, whereupon the taxi stops to pick up the person. Also, for example, standing at a traffic light taxi can be called in this way. In a self-propelled motor vehicle, as described has no driver on board, man falls out to recognize the call gesture.
Aber auch bei konventionellen Taxis mit Fahrer besteht mitunter das Problem, dass der Fahrer die am Straßenrand stehende, winkende Person nicht erkennt, mithin also den Anhaltewunsch nicht erfasst und folglich die Person nicht aufnehmen kann. Aus US 2015/0279131 A1 ist bekannt, ein fahrerloses Fahrzeug mit Hilfe einer Sendeeinrichtung, die von einer Person bewegt wird, zu rufen. Die Sendeeinrichtung veranlasst das Aussenden eines entsprechenden Steuer- Signals an das Kraftfahrzeug, wenn die Sendeeinrichtung von der sie tragenden Person hinreichend stark bewegt wird. Das Fahrzeug kann sodann automatisch zu der Person fahren. But even with conventional taxis with a driver, there is sometimes the problem that the driver does not recognize the person standing on the roadside, waving person, thus therefore does not capture the stop request and therefore can not pick up the person. From US 2015/0279131 A1 it is known to call a driverless vehicle by means of a transmitting device, which is moved by a person. The transmitting device causes the emission of a corresponding control signal to the motor vehicle when the transmitting device is sufficiently strongly moved by the person carrying it. The vehicle can then automatically drive to the person.
Aus US 2015/0339928 A1 , ähnlich wie auch aus DE 10 2015 219 463 A1 , ist bekannt, unter Verwendung eines Mobilfunkgeräts wie beispielsweise einem Mobiltelefon, z. B. über eine darauf abgelegte Applikation, ein autonom fahrendes Kraftfahrzeug zu rufen. From US 2015/0339928 A1, similar to DE 10 2015 219 463 A1, it is known using a mobile device such as a mobile phone, z. B. via an application stored thereon to call an autonomously driving motor vehicle.
Der Erfindung liegt damit das Problem zugrunde, ein demgegenüber verbes- sertes Verfahren zum Betrieb eines Kraftfahrzeugs anzugeben. The invention is thus based on the problem of specifying an improved method for operating a motor vehicle.
Zur Lösung dieses Problems ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass die Steuerungseinrichtung die Bilder zum Erfassen wenigstens einer von einer in den Bildern gezeigten Person durchgeführten Handbewegung auswertet, wobei bei Erfassen einer Handbewegung, die eine einen Anhaltewunsch anzeigende Geste beschreibt, entweder das selbstfahrende Kraftfahrzeug zum Anhalten in der Nähe der Person gesteuert wird, oder dem Fahrer des Kraftfahrzeugs ein den Anhaltewunsch signalisierendes Signal gegeben wird. To solve this problem, it is provided according to the invention in a method of the type mentioned above that the control device evaluates the images for detecting at least one hand movement carried out by a person shown in the pictures, either detecting a hand movement which describes a gesture indicating a stop request the self-propelled motor vehicle is controlled to stop in the vicinity of the person, or the driver of the motor vehicle is given a signal indicating the stop request.
Erfindungsgemäß erfolgt über die Kameraeinrichtung eine kontinuierliche Erfassung des Fahrzeugvorfelds. Eine Steuerungseinrichtung wertet kontinuierlich die erfassten Bilder dahingehend aus, ob in den Bildern eine Person gezeigt ist. Wird eine solche Person erfasst, so wird ausgewertet, ob diese Person eine Handbewegung durchführt, also eine Geste gibt, die als einen Anhaltewunsch anzeigende Geste beurteilt werden kann. Es wird also über die Steuerungseinrichtung eine Bildauswertung dahingehend vorgenommen, ob sich in der Fahrzeugumgebung eine Person befindet, die durch Winken oder eine ähnliche definierte Geste signalisiert, dass sie von dem Kraftfahrzeug mitgenommen werden möchte. According to the invention, a continuous detection of the vehicle apron takes place via the camera device. A controller continuously evaluates the captured images as to whether a person is shown in the images. If such a person is detected, then it is evaluated whether this person performs a hand movement, that is, a gesture that can be assessed as a stop request indicative gesture. It is thus made on the control device image analysis to the effect whether there is a person in the vehicle environment, by waving or a similar defined gesture signals that she wants to be taken by the motor vehicle.
Je nach Ausgestaltung des Kraftfahrzeugs, ob es sich also um ein selbstfah- rendes Kraftfahrzeug handelt oder ob es ein Fahrzeug mit einem Fahrer ist, gestaltet sich das weitere Verfahren unterschiedlich. Handelt es sich um ein selbstfahrendes Fahrzeug ohne Fahrer, so wird nach Erfassen der den Anhaltewunsch anzeigende Geste das selbstfahrende Kraftfahrzeug automatisch in die Nähe der Person gesteuert und angehalten, so dass die Person einsteigen kann. Es ist also ein vollautomatischer Betrieb zum Erfassen eines Mitfahrerwunschs und zum Ansteuern des Fahrzeugs zu einer solchen Person, um diese aufzunehmen, vorgesehen. Depending on the configuration of the motor vehicle, whether it is a self-driving motor vehicle or whether it is a vehicle with a driver, the further method is different. If it is a self-driving vehicle without a driver, so after detecting the gesture indicating the stop request, the self-driving motor vehicle is automatically controlled and stopped in the vicinity of the person, so that the person can get on. Thus, it is a fully automatic operation for detecting a passenger request and for driving the vehicle to such a person to record this, provided.
Ist das Kraftfahrzeug ein konventionelles Kraftfahrzeug mit Fahrer, so wird dem Fahrer ein entsprechendes, den Anhaltewunsch signalisierendes Signal gegeben, beispielsweise ein optisches Signal durch Blinken oder eine Anzeige in einem Display, ein akustisches Signal, beispielsweise in Form einer Sprachausgabe, oder ein haptisches Signal, gegebenenfalls auch mehrere verschiedene Signale gleichzeitig. Der Fahrer kann daraufhin das Fahrzeug gezielt anhalten, sobald er die winkende Person, die er vorher gegebenenfalls übersehen hat, erfasst hat. If the motor vehicle is a conventional motor vehicle with a driver, the driver is given a corresponding signal indicating the stop request, for example an optical signal by flashing or a display in a display, an acoustic signal, for example in the form of a voice output, or a haptic signal. possibly also several different signals simultaneously. The driver can then stop the vehicle deliberately as soon as he has the waving person, which he may have previously overlooked detected.
Das heißt, dass durch die erfindungsgemäße Erfassung des Mitfahrerwunschs und die entsprechende Steuerung des Fahrzeugs respektive die Ausgabe des Signals sichergestellt wird, dass allein durch Erfassen einer Handbewegung respektive einer Geste ein entsprechender Mitfahrerwunsch erfasst wird und das Fahrzeug entsprechend gesteuert werden kann. This means that it is ensured by the inventive detection of the passenger request and the corresponding control of the vehicle respectively the output of the signal that only by detecting a hand movement respectively a gesture, a corresponding Mitfahrerwunsch is detected and the vehicle can be controlled accordingly.
In jedem Fall kann an die Person eine optische oder akustische Rückmel- dung, dass der Haltewunsch erkannt wurde, gegeben werden, z. B. durch Einschalten der Beleuchtung oder eines Taxischilds, eine Nachricht an einem Display oder dergleichen. Die Handbewegung kann über die Steuerungseinrichtung erfasst werden und beispielsweise mit vorab in einem Gesten- oder Bewegungspool definierten Gesten- oder Vergleichsmustern, die seitens des Kraftfahrzeugs auch zuvor gelernt werden können, verglichen werden. Stellt sich heraus, dass die ge- gebene Handgeste einem Vergleichsmuster entspricht, kann daraus ein Mitfahrwunsch abgeleitet werden. Stellt sich heraus, dass die Geste nicht zu den Gesten- oder Vergleichsmustern passt, so wird die erfasste Handbewegung nicht als Geste, die einen Anhaltewunsch anzeigt, gewertet und verworfen. Der Musterpool kann z. B. regional unterschiedlich ausgelegt sein, also an z. B. europäischen oder nordamerikanischen Verhaltensweisen an- gepasst sein. In any case, an optical or acoustic feedback that the holding request has been recognized can be given to the person, eg. B. by turning on the lights or a taxi sign, a message on a display or the like. The hand movement can be detected by the control device and, for example, compared with previously defined in a gesture or movement pool gestures or comparison patterns that can be learned by the motor vehicle also previously. If it turns out that the given hand gesture corresponds to a comparison pattern, a co-driving request can be derived from it. If it turns out that the gesture does not match the gesture or comparison patterns, then the detected hand gesture is not scored and discarded as a gesture indicating a stop request. The pattern pool can be z. B. be regionally different, so z. For example, European or North American behaviors.
Das erfindungsgemäße Verfahren lässt also eine Gestenerfassung, die ein Anhalten signalisiert, zu. Um den konkreten Anhaltewunsch noch weiter zu verifizieren, kann gemäß einer vorteilhaften Weiterbildung der Erfindung die Steuerungseinrichtung ferner die Bilder zum Erfassen der Blickrichtung der Person auswerten, wobei das Kraftfahrzeug zum Anhalten in der Nähe der Person gesteuert wird, wenn die Blickrichtung einer definierten Blickrichtung entspricht. Demgemäß wird folglich nicht nur die Handgeste erfasst und aus- gewertet, sondern auch die Blickrichtung. Denn es ist davon auszugehen, dass die Person, die dem Kraftfahrzeug „winkt", auch in dessen Richtung blickt. Die Kamera respektive Steuerungseinrichtung ist nun in der Lage, die Blickrichtung anhand der Kopfposition respektive Augenposition zu erfassen. Ist diese auf das Kraftfahrzeug gerichtet, so entspricht dies beispielsweise einer vorab definierten Blickrichtung, die parallel erfasste Handgeste wird folglich hierüber als eine„Anhaltegeste" verifiziert. Schaut die Person jedoch in eine andere Richtung, so handelt es sich bei der Handbewegung offensichtlich nicht zwingend um eine einen Anhaitewunsch anzeigende Bewegung oder sie ist nicht auf das Kraftfahrzeug bezogen, sondern möglicher- weise auf ein anderes, so dass aufgrund der negativen Blickrichtungserfassung die Handbewegung verworfen wird. The method according to the invention thus permits gesture detection, which signals a stop. In order to further verify the concrete stopping request, according to an advantageous embodiment of the invention, the control device further evaluate the images for detecting the viewing direction of the person, wherein the motor vehicle is controlled to stop in the vicinity of the person when the viewing direction corresponds to a defined line of sight. Accordingly, consequently, not only the hand gesture is detected and evaluated, but also the line of sight. For it can be assumed that the person who "beckons" the motor vehicle also looks in the direction of the camera. The camera or control device is now able to detect the viewing direction on the basis of the head position or eye position. For example, this corresponds to a previously defined line of sight, the hand gesture detected in parallel is thus verified as a "stop gesture". However, if the person looks in a different direction, the movement of the hand obviously does not necessarily involve a movement indicating movement or it is not related to the motor vehicle, but possibly to another, so that the movement of the hand is due to the negative direction of sight detection is discarded.
Denkbar ist es dabei ferner, über die Steuerungseinrichtung die erfasste Handbewegung zu klassifizieren, wobei die Handbewegung in Abhängigkeit der Klassifizierung berücksichtigt oder verworfen wird. Hierüber kann die Handbewegung quasi in ein Klassifizierungsraster eingruppiert werden, über das sie hinsichtlich der Eindeutigkeit, dass die Bewegung einen Anhaltewunsch andeutet, näher qualifiziert werden kann. Es kann darüber also eine Festlegung erfolgen, wie sicher oder unsicher der Anhaltewunsch ermittelt wurde. Über diese Klassifizierung können auch Handbewegungen, die eher abfällige Gesten darstellen, ausgeschlossen werden und als nicht zum Anhalten führende Handbewegungen verworfen werden. Mitunter rufen oder pfeifen Personen, die ein Kraftfahrzeug, beispielsweise ein Taxi, anhalten möchten, auch. Demgemäß kann beispielsweise über ein kraftfahrzeugseitiges Mikrofon ein etwaiges Ruf- oder Pfeifgeräusch der Person erfasst werden und seitens der Steuerungseinrichtung ausgewertet werden und bei der Steuerung des Fahrbetriebs berücksichtigt werden. Es wer- den also in diesem Fall nicht nur kamerabasierte Daten ausgewertet, sondern auch akustische Daten, die über das Mikrofon erfasst werden. Zur Auswertung von Rufen ist die Steuerungseinrichtung bezüglich der jeweiligen Landessprache des Landes, in dem das Fahrzeug unterwegs ist, konfiguriert. Wenn eine Person einem Kraftfahrzeug, beispielsweise einem Taxi, winkt, kann dies bedeuten, dass nur diese Person zusteigen möchte, dass also nur eine Person das Fahrzeug nutzen möchte. Denkbar ist es aber auch, dass mehrere Personen zusteigen möchten, wenngleich nur eine Person dem Kraftfahrzeug winkt. Um, sofern möglich, über die Anzahl der zusteigenden Personen Kenntnis zu erhalten, kann gemäß einer Weiterbildung der Erfindung über die Steuerungseinrichtung die Anzahl der Finger der die Handbewegung durchführenden Hand oder der zweiten im Bild gezeigten Hand der Person erfasst werden und als Information über die Anzahl der aufzunehmenden Passagiere verarbeitet werden. Denkbar ist es beispielsweise, dass die Person mit der rechten Hand die Handbewegung für die Mitfahrgeste durchführt, während die andere Hand beispielsweise mit drei abgespreizten Fingern gehoben ist. Die Steuerungseinrichtung kann nun die Fingeranzahl erfassen und daraus ableiten, dass insgesamt drei Personen zusteigen möchten. Ist hierbei bei Erfassung einer Anzahl an aufzunehmenden Passagieren, die größer ist als die Anzahl der im Kraftfahrzeug vorhandenen freien Plätze, folglich das eigene Kraftfahrzeug nicht geeignet, den Mitfahrwunsch zu erfül- len, so kann automatisch ein Rufsignal an ein weiteres pilotiertes Kraftfahrzeug gesendet werden, welches Rufsignal die Positionskoordinaten für die automatische Anfahrt des weiteren Kraftfahrzeugs umfasst. Das Kraftfahrzeug selbst kann an die rufende Person beispielsweise eine optische Nachricht über ein Display ausgeben, dass es zur Erfüllung des Mitfahrwunschs nicht geeignet ist oder zur Verfügung steht. Hierüber kann auch mitgeteilt werden, dass bereits ein automatisches Rufsignal an ein anderes pilotiertes Kraftfahrzeug ausgesendet wurde, das in Kürze eintrifft, gegebenenfalls unter Angabe einer Information, wie lange es bis zum Eintreffen dauert. Mitunter hat die eine Person oder haben die mehreren Personen auch Gepäckstücke dabei. Denkbar ist es nun, dass die Steuerungseinrichtung eine oder mehrere der Person zuzuordnende Gepäckstücke erfasst, wobei gegebenenfalls bei Erfassung wenigstens eines Gepäckstücks automatisch der Kofferraum des Kraftfahrzeugs geöffnet wird. Es erfolgt also auch hier wiede- rum eine Bildanalyse dahingehend, ob und wenn ja wie viele Gepäckstücke, beispielsweise größere Taschen oder Koffer, im Bild gezeigt sind, die benachbart zu der Person, die die Handbewegung durchführt, stehen. Hieraus kann nun abgeleitet werden, dass beispielsweise zwei zusätzliche Taschen oder Koffer aufzunehmen sind. Beim Erreichen der Anfahrendposition, wenn also das Kraftfahrzeug an seiner Zielposition nahe der winkenden Person angekommen ist, wird sodann, gegebenenfalls abhängig von der Größe des oder der Gepäckstücke, automatisch der Kofferraum des Kraftfahrzeugs geöffnet, so dass die Person die Gepäckstücke verladen kann. Alternativ kann eine Anfrage an die Person ausgegeben werden, ob der Kofferraum geöffnet werden soll. Eine Antwort, z. B. wieder durch eine Geste, kann erfasst und darauf entsprechend reagiert werden. It is also conceivable to classify the detected hand movement via the control device, wherein the hand movement in dependence the classification is taken into account or discarded. By means of this, the hand movement can be grouped into a classification grid, so that it can be qualified more precisely with regard to the unambiguousness that the movement indicates a stop request. It can therefore be a determination of how safe or uncertain the stop request was determined. This classification can also hand movements, which are rather derogatory gestures, are excluded and discarded as not to stop leading hand movements. Sometimes call or whistle people who want to stop a motor vehicle, such as a taxi, also. Accordingly, for example via a vehicle-side microphone, any ringing or whistling sound of the person can be detected and evaluated by the control device and taken into account in the control of the driving operation. In this case, not only camera-based data are evaluated, but also acoustic data that is recorded via the microphone. For evaluating calls, the control device is configured with respect to the respective national language of the country in which the vehicle is traveling. If a person beckons a motor vehicle, for example a taxi, this can mean that only this person wants to get on board, so that only one person would like to use the vehicle. It is also conceivable that several people want to get on, although only one person beckons the vehicle. In order, if possible, to obtain information about the number of persons to be admitted, the number of fingers of the hand movement or of the second hand of the person shown in the picture can be detected by the control device according to an embodiment of the invention and the information about the number of the passengers to be picked up. It is conceivable, for example, that the person with the right hand performs the hand movement for the Mitfahrgeste while the other hand is lifted, for example, with three splayed fingers. The control device can now detect the number of fingers and deduce that a total of three people want to get on board. If, when a number of passengers to be accommodated, which is greater than the number of free places available in the motor vehicle, is consequently not suitable for fulfilling the rider's request, a call signal can be automatically sent to another piloted motor vehicle. which call signal comprises the position coordinates for the automatic approach of the further motor vehicle. The motor vehicle itself can output to the calling person, for example, an optical message via a display that it is not suitable for the fulfillment of the driving or is available. This can also be communicated that an automatic call signal has already been sent to another piloted motor vehicle, which arrives shortly, optionally specifying information as to how long it takes to arrive. Sometimes the one person or the several persons also have luggage. It is now conceivable for the control device to detect one or more pieces of luggage to be assigned to the person, wherein optionally the luggage compartment of the motor vehicle is automatically opened when at least one piece of luggage is detected. Again, therefore, an image analysis is carried out as to whether and, if so, how many pieces of luggage, for example larger bags or suitcases, are shown in the image, which are adjacent to the person performing the hand movement. It can now be deduced that, for example, two additional bags or cases are to be included. Upon reaching the Anfahrendposition, so if the motor vehicle has arrived at its target position near the waving person, then automatically, if necessary, depending on the size of the luggage or luggage compartment of the motor vehicle opened so that the person can load the luggage. Alternatively, a request can be issued to the person, if the trunk should be opened. An answer, z. B. again by a gesture can be detected and reacted accordingly.
Grundsätzlich ist es denkbar, dass quasi ein Kraftfahrzeugrufsystem aufgebaut wird, an dem sich eine Person, die daran teilnehmen möchte, online anmelden kann. Diese Person lässt sich also für diesen Dienst registrieren und erhält beispielsweise einen von ihr zu tragenden Gegenstand, beispielsweise einen Schlüssel mit einem Chip oder eine entsprechende, auf das Mobiltelefon aufspielbare Applikation, der oder die der Identifikation der Person dient. Erfindungsgemäß kann nun über eine kraftfahrzeugseitige Erfassungseinrichtung ein von diesem von der Person getragenen Gegenstand gesendetes Personenidentifikationssignal erfasst werden. Dieses Signal kann beispielsweise kontinuierlich oder bei Betätigung eines Knopfes oder einer Taste oder dergleichen gesendet werden. Die Steuerungseinrichtung, der dieses Personenidentifikationssignal gegeben hat, kann nun über einen beispielsweise internen Datenabgleich feststellen, ob die Person registriert ist, also für den Dienst befugt ist, oder nicht. Falls ja kann angehalten werden, falls nein wird der Anhaltewunsch nicht bedient, was der Person gegebenenfalls auch angezeigt wird. In principle, it is conceivable that a quasi-vehicle call system is set up, on which a person who would like to participate online can sign up. This person can therefore register for this service and receives, for example, an object to be carried by her, for example a key with a chip or a corresponding application that can be played on the mobile telephone and which serves to identify the person. According to the invention, a person identification signal transmitted by the person carried by the person can now be detected via a motor vehicle-side detection device. This signal may be sent, for example, continuously or upon actuation of a button or button or the like. The control device, which has given this person identification signal, can now determine via an internal data comparison, for example, whether the person is registered, that is, who is authorized to serve, or not. If so, it can be stopped, if not, the stop request is not served, which may also be displayed to the person.
Dabei kann in Weiterbildung der Erfindung das erfasste Personenidentifikationssignal auch an eine externe Datenverarbeitungseinrichtung zur Identifikation und/oder zu Abrechnungszwecken und/oder zur Einholung von personenbezogenen Informationen, die von der Datenverarbeitungseinrichtung an die Erfassungseinrichtung übertragen werden, weitergeleitet werden. Demgemäß kann also die Identifikation oder Verifizierung seitens der externen Datenverarbeitungseinrichtung erfolgen, so dass quasi über die externe Datenverarbeitungseinrichtung sichergestellt wird, dass nur registrierte Personen den Dienst nutzen können. Zusätzlich kann hierüber auch eine Abrech- nung erfolgen, beispielsweise über ein an der Datenverarbeitungseinrichtung hinterlegtes, der Person zuzuordnendes Konto. Gibt das Kraftfahrzeug über die Steuerungseinrichtung eine entsprechende Information, dass die Person auch tatsächlich zugestiegen ist, kann die Abrechnung erfolgen. Beispielsweise kann ein Pauschalbetrag abgerechnet werden, wenn die Fahrt zu ei- nem Pauschalpreis erfolgt. Alternativ kann nach Beendigung der Fahrt auch ein entsprechendes Fahrtendesignal an die Datenverarbeitungseinrichtung gesandt werden, so dass dann die konkrete Strecke abgerechnet wird. Alternativ oder zusätzlich können auch personenbezogene Informationen von der Datenverarbeitungseinrichtung abgefragt werden, also beispielsweise typische Fahrziele der Person, eine von der Person üblicherweise eingestellte Sitzposition oder andere personenbezogene Informationen, die für den Fahrbetrieb erforderlich sind. In this case, in a further development of the invention, the detected personal identification signal can also be forwarded to an external data processing device for identification and / or for billing purposes and / or for obtaining personal information that is transmitted from the data processing device to the detection device. Accordingly, therefore, the identification or verification can take place on the part of the external data processing device, so that it is virtually ensured via the external data processing device that only registered persons can use the service. In addition, this can also be done by means of an account, for example via an account deposited with the data processing device and attributable to the person. If the motor vehicle gives corresponding information via the control device that the person has actually risen, billing can take place. For example, a lump sum may be charged if the trip is made at a flat rate. Alternatively, after completion of the journey, a corresponding end-of-travel signal can also be sent to the data processing device, so that the specific route is then billed. Alternatively or additionally, personal information can also be queried by the data processing device, that is, for example, typical travel destinations of the person, a seat position usually set by the person, or other personal information required for the driving operation.
Nicht immer ist es möglich, dass ein erfasster Mitfahrwunsch sofort bedient werden kann, beispielsweise wenn das Kraftfahrzeug an einer Ampel steht und erst auf die Grünphase warten muss. Denkbar ist es nun, dass über eine optische oder akustische Signalausgabeeinrichtung der Person signalisiert wird, ob das Kraftfahrzeug anhält, also dass der Anhaltewunsch erkannt wurde, und/oder wie lange es bis zum Anhalten dauert. Hierüber erhält die Person einerseits Informationen, dass ihr Mitfahrwunsch erfasst wurde, andererseits auch eine Information darüber, wie lange sie sich noch gedulden muss, bis das Kraftfahrzeug ungefähr ankommen wird. Die Signaleinrichtung kann am Fahrzeug selbst sein, z. B. kann hierzu die Frontbeleuchtung eingeschaltet werden oder ein Taxischild oder an einer Anzeigeeinrichtung eine Nachricht ausgegeben werden. Es kann aber auch eine Information an den von der Person getragenen Gegenstand, insbesondere ein Smartphone ge- sendet und dort das Signal ausgegeben werden. Not always it is possible that a detected Mitfahrwunsch can be operated immediately, for example, when the vehicle is at a traffic light and must wait until the green phase. It is now conceivable that the person is signaled via an optical or acoustic signal output device, whether the motor vehicle stops, so that the stop request was detected, and / or how long it takes to stop. This gives the person on the one hand information that their Mitfahrwunsch was detected, on the other hand, information about how long it must be patient until the car is about to arrive. The signaling device may be on the vehicle itself, z. B. this can be turned on the front lights or a taxi sign or a message on a display device. However, information can also be sent to the object carried by the person, in particular a smartphone, and the signal can be output there.
Neben dem Verfahren selbst betrifft die Erfindung ferner ein Kraftfahrzeug, ausgebildet zum pilotierten Fahren, umfassend eine das Fahrzeugvorfeld aufnehmende Kameraeinrichtung mit zugeordneter Steuerungseinrichtung zum Auswerten der Bilder, ausgebildet zur Durchführung des beschriebenen Verfahrens. In addition to the method itself, the invention further relates to a motor vehicle, designed for piloted driving, comprising a camera device receiving the vehicle apron with associated control device for evaluating the images, designed to carry out the described method.
Sämtliche Ausführungen betreffend das erfindungsgemäße Verfahren gelten gleichermaßen in Bezug auf das Kraftfahrzeug, das demgemäß ausgebildet ist. All embodiments relating to the method according to the invention apply equally with respect to the motor vehicle, which is designed accordingly.
Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus dem im folgenden beschriebenen Ausführungsbeispiel sowie anhand der Zeichnung. Dabei zeigen: Fig. 1 eine Prinzipdarstellung des erfindungsgemäßen Kraftfahrzeugs und weitere relevanter Einrichtungskomponenten, und Fig. 2 eine Prinzipdarstellung einer typischen Verkehrs- respektive Further advantages and details of the invention will become apparent from the embodiment described below and from the drawing. Showing: Fig. 1 is a schematic diagram of the motor vehicle according to the invention and other relevant device components, and Fig. 2 is a schematic representation of a typical traffic respectively
Rufsituation.  Call situation.
Fig. 1 zeigt eine Prinzipdarstellung eines erfindungsgemäßen Kraftfahrzeugs sowie einer relevanten Situation zur Erläuterung des erfindungsgemäßen Verfahrens. Fig. 1 shows a schematic diagram of a motor vehicle according to the invention and a relevant situation for explaining the method according to the invention.
Gezeigt ist ein erfindungsgemäßes Kraftfahrzeug 1 , umfassend eine das Fahrzeug vorfeld aufnehmende Kameraeinrichtung 2 mit zugeordneter Steuerungseinrichtung 3, die zum Verarbeiten der Bilddaten der Kameraeinrich- tung 2 dient. Shown is a motor vehicle 1 according to the invention, comprising a camera device 2 receiving the vehicle ahead with associated control device 3, which serves to process the image data of the camera device 2.
Gezeigt ist des Weiteren eine Person 4, die mit der rechten Hand 5 eine quasi winkende Handbewegung macht, indem die Hand mehrfach von rechts nach links bewegt wird, wie durch den Doppelpfeil A angedeutet ist. Über diese Handbewegung soll dem Kraftfahrzeug 1 , bei dem es sich beispielsweise um ein selbstfahrendes Taxi handelt, ohne oder mit Fahrer, signalisiert werden, dass die am Straßenrand stehende Person mitgenommen werden möchte. Das Winken ist folglich eine Geste, die einen Anhaltewunsch beschreibt. Shown further is a person 4, which makes a quasi-waving hand movement with the right hand 5 by the hand is repeatedly moved from right to left, as indicated by the double arrow A. About this hand movement to the motor vehicle 1, which is, for example, is a self-driving taxi, without or with driver, to be signaled that the person standing on the roadside wants to be taken. Waving is therefore a gesture that describes a stop request.
Mit der linken Hand 6 zeigt die Person 4 an, dass nur eine Person mitgenommen werden soll . Dies wird durch den einen angehobenen Finger 7 dargestellt. Die Kameraeinrichtung 2 nimmt nun Bilder vom Fahrzeugvorfeld einschließlich der Person 4 auf. Die Steuerungseinrichtung 3 analysiert nun die laufend eingehenden Bilder einerseits auf das Vorhandensein einer Person, das heißt, dass im vorliegenden Fall die Person 4 als solche erfasst wird. Darüber hinaus analysiert die Steuerungseinrichtung 3, ob die Person entspre- chende Bewegungsmuster respektive Handbewegungen durchführt, die eine mögliche einen Anhaltewunsch anzeigende Geste beschreiben. Die Steuerungseinrichtung 3 erfasst hier das Winken der Hand 5. Die erfasste Handbewegung wird analysiert und beispielsweise mit vorab in einem Speicher abgelegten Vergleichsgesten oder Vergleichsbewegungen verglichen. Die Vergleichsgesten oder Vergleichsbewegungen können beispielsweise angelernt sein, sie können aber auch als vorhandener Datensatz abgelegt werden. Dieser Datensatz kann eine Vielzahl von lokal oder national üblichen Handbewegungen, die zum Rufen eines Taxis oder dergleichen verwendet werden, umfassen. Auch ist es denkbar, die Handbewegungen national zu gruppieren, das heißt, dass im europäischen Raum ein entsprechender Datensatz, der die typischen europäischen Handbewegungen beschreibt, abgespeichert wird, während für die USA ein diesbezüglich spezifischer Vergleichsdatensatz abgespeichert wird. With the left hand 6, the person 4 indicates that only one person should be taken. This is represented by the one raised finger 7. The camera device 2 now takes pictures of the vehicle apron including the person 4. The control device 3 now analyzes the incoming images on the one hand on the presence of a person, that is, in the present case, the person 4 is detected as such. In addition, the control device 3 analyzes whether the person corresponds to performing moving patterns respectively hand movements describing a possible gesture indicating a stop request. In this case, the control device 3 detects the hand 5 being waved. The detected hand movement is analyzed and, for example, compared with comparison gestures or comparison movements stored in advance in a memory. The comparison gestures or comparison movements can be learned, for example, but they can also be stored as an existing data record. This record may include a variety of local or national hand gestures used to call a taxi or the like. It is also conceivable to group the hand movements nationally, that is to say that a corresponding data set describing the typical European hand movements is stored in the European area, whereas for the USA a comparison data record specific to this is stored.
Des Weiteren ist die Steuerungseinrichtung 3 auch in der Lage, aus den Kamerabildern zu erfassen, in welche Richtung die Person 4 blickt. Beispielsweise kann ein festgestellter Anhaltewunsch als solcher über eine Blickrichtungserfassung verifiziert werden. Denn üblicherweise nimmt die Person 4 mit dem Kraftfahrzeug 1 Blickkontakt auf, wenn sie es erkennt und wenn sie ihm einen Anhaltewunsch signalisieren möchte. Schaut die Person 4 jedoch in eine völlig andere Richtung, führt sie aber dennoch die Handbewegung aus, so kann davon auszugehen sein, dass es sich bei der Handbewegung eher um eine zufällige Bewegung handelt, oder um eine Geste, die jemand anderem gilt oder Ähnliches. Das heißt, dass die Blickrichtungserfassung ebenfalls zur Verifizierung der Geste dienen kann, sofern die Blickrichtungserfassung im Einzelfall möglich ist. Furthermore, the control device 3 is also able to detect from the camera images in which direction the person 4 is looking. For example, a detected stop request can be verified as such via a sight line detection. Because usually takes the person 4 with the motor vehicle 1 eye contact, if they recognize it and if they want to signal him a stop request. If, however, the person 4 is looking in a completely different direction, but nevertheless executes the hand movement, then it can be assumed that the hand movement is more of a random movement or a gesture that applies to someone else or something similar. This means that the viewing direction detection can also serve to verify the gesture, as far as the viewing direction detection is possible in individual cases.
Stellt die Steuerungseinrichtung 3 nun fest, dass es sich um eine, gegebe- nenfalls über die Blickrichtungserfassung verifizierte Handbewegung handelt, die einen Anhaltewunsch anzeigt, so kann gestützt auf diese Information das Kraftfahrzeug 1 gezielt über die Steuerungseinrichtung 3 zum Anhalten in der Nähe der Person gesteuert werden. Gleichzeitig erfasst die Steuerungseinrichtung 3 aber auch den angehobenen Finger 7 der zweiten Hand 6 und leitet hieraus ab, dass nur diese Person mitfahren möchte, dass also keine weiteren Personen zusteigen wollen. Es wird in Abhängigkeit der erfassten Personenanzahi verglichen, ob die an- gegebene Personenanzahl ausreichend ist, um im Fahrzeug untergebracht zu werden, oder ob die Personenzahl die freien Plätze übersteigt. Im erstgenannten Fall hält das Kraftfahrzeug 1 in der Nähe der Person an, im zuletzt genannten Fall kann beispielsweise ein anderes Kraftfahrzeug automatisch über ein entsprechendes Rufsignal gerufen werden, das dann über die ent- sprechende Aufnahmekapazität verfügt. An die Person kann eine hierüber informierende Rückmeldung gegeben werden. If the control device 3 now determines that it is a hand movement, possibly verified via the viewing direction detection, indicating a stop request, the motor vehicle 1 can be controlled in a controlled manner via the control device 3 for stopping in the vicinity of the person based on this information become. At the same time, however, the control device 3 also detects the raised finger 7 of the second hand 6 and deduces from this that only this person would like to travel, that is, no further persons want to get on board. It is compared depending on the detected Personenanzahi whether the specified number of people is sufficient to be accommodated in the vehicle, or whether the number of people exceeds the available seats. In the former case, the motor vehicle 1 stops in the vicinity of the person, in the latter case, for example, another motor vehicle can be automatically called via a corresponding call signal, which then has the appropriate capacity. An informative feedback can be given to the person.
Des Weiteren besteht die Möglichkeit, über die Steuerungseinrichtung 3 aus den Kamerabildern auch zu erfassen, ob die Person 4 ein Gepäckstück 8 mit sich führt, das zu verstauen ist. Auch kann die Steuerungseinrichtung 3 zur Erfassung der Gepäckgröße ausgelegt sein. Ergibt sich, dass die Person 4 beispielsweise nur eine kleine Tasche mit sich führt, die ohne weiteres im Fahrzeug untergebracht werden kann, so wird dies registriert, eine spezifische Handlung erfolgt jedoch nicht. Ergibt sich jedoch, dass es sich bei dem Gepäckstück 8 um einen größeren Koffer handelt, so kann automatisch beispielsweise der Kofferraum des Kraftfahrzeugs geöffnet werden, damit die Person 4 das Gepäckstück 8 verstauen kann. Ist das Gepäckstück nicht im Kofferraum verstaubar, wird der Person angezeigt, das Gepäckstück im Inneren des Fahrzeugs zu verstauen. Ein gegebenenfalls geöffneter Kofferraum wird automatisch bei Fahrtbeginn geschlossen. Furthermore, it is possible to also detect via the control device 3 from the camera images whether the person 4 carries a piece of luggage 8 with him, which is to be stowed. Also, the controller 3 may be designed to detect the luggage size. If it results that the person 4, for example, carries only a small bag with him, which can easily be accommodated in the vehicle, this is registered, but a specific action does not take place. However, if it is found that the item of luggage 8 is a larger suitcase, the trunk of the motor vehicle can automatically be opened, for example, so that the person 4 can stow the item of luggage 8. If the item of luggage is not stowable in the trunk, the person is notified to stow the item of luggage inside the vehicle. An optionally opened trunk is closed automatically at the start of the journey.
Wie die Fig. 1 zeigt, trägt die Person 4 einen Gegenstand 9 hier in Form eines Armbands, an dem eine Sende- oder Transpondereinrichtung 10 angeordnet ist. Die Steuerungseinrichtung 3 kommuniziert mit einer Sende- und Empfangseinrichtung 1 1 , die in der Lage ist, ein über die Sende- oder Transpondereinrichtung 10 gesendetes Personenidentifikationssignal zu erfassen. Das Personenidentifikationssignal kann beispielsweise den Namen der Person oder besondere Fahrwünsche oder dergleichen umfassen. Natürlich kann das Personenidentifikationssignal auch einen Personencode umfassen, so dass keine Klarnamen übertragen werden. As shown in FIG. 1, the person 4 carries an article 9 here in the form of a bracelet on which a transmitter or transponder device 10 is arranged. The control device 3 communicates with a transmitting and receiving device 11 which is capable of detecting a personal identification signal transmitted via the transmitting or transponder device 10. The person identification signal may include, for example, the name of the person or special driving wishes or the like. Naturally For example, the personal identification signal can also include a personal code, so that no clear names are transmitted.
Die Steuerungseinrichtung 3 kann nun beispielsweise über einen internen Speicher, wo entsprechende Vergleichsdaten abgelegt sind, entsprechende Informationen zu dieser Person, gestützt auf das Personenidentifikationssignal erfassen. Alternativ besteht die Möglichkeit, dass die Steuerungseinrichtung 3 über die Sende- und Empfangseinrichtung 1 1 das Personenidentifikationssignal an eine externe Datenverarbeitungseinrichtung 12 überträgt, wie durch den Doppelpfeil B dargestellt ist. Dort sind entsprechende Informationen zu der Person, die über das Personenidentifikationssignal identifiziert wird, abgelegt. Es handelt sich um eine bidirektionale Kommunikation, das heißt, dass von der Datenverarbeitungseinrichtung 12 auch entsprechende Informationen wieder zurück an die Sende- und Empfangseinrichtung 1 1 übertragen werden, die sodann seitens der Steuerungseinrichtung 3 verarbeitet werden. Über dieses Personenidentifikationssignal kann beispielsweise erfasst werden, ob die Person 4 berechtigt ist, den Fahrdienst überhaupt in Anspruch zu nehmen. Dies ist beispielsweise dann der Fall, wenn es sich hierbei um ein System handelt, bei dem man sich als Teilnehmer anmelden muss. Nur wenn die Person 4 als ein angemeldeter Teilnehmen identifiziert wird, kann beispielsweise der automatische Anfahrbetrieb überhaupt erfolgen. Zusätzlich oder alternativ könnte die Person auch über ein fahrzeugsei- tiges Kamerasystem identifiziert werden. Auch kann die Datenverarbeitungseinrichtung 12 nach erfasster Identifikation automatisch die anstehende Fahrt abrechnen, wenn klar ist, dass die Person 4 die Fahrt auch tatsächlich durchgeführt hat und Ähnliches. The control device 3 can now, for example, via an internal memory where appropriate comparison data are stored, corresponding information to this person, based on the person identification signal capture. Alternatively, there is the possibility that the control device 3 transmits the personal identification signal to an external data processing device 12 via the transmitting and receiving device 11, as shown by the double arrow B. There are corresponding information about the person who is identified by the person identification signal stored. This is a bidirectional communication, that is to say that the data processing device 12 also transmits corresponding information back to the transmitting and receiving device 11, which are then processed by the control device 3. About this person identification signal can be detected, for example, whether the person 4 is entitled to take the driving service at all. This is the case, for example, if this is a system that requires you to log in as a subscriber. Only if the person 4 is identified as a registered participant, for example, the automatic starting operation can take place at all. Additionally or alternatively, the person could also be identified via a vehicle-side camera system. Also, the data processing device 12 can automatically settle the pending trip after the identification has been detected, if it is clear that the person 4 actually carried out the trip and the like.
Nach erfolgter Erfassung des Mitfahrwunschs und getroffener Entscheidung, dass der Mitfahrwunsch bearbeitet wird und das Kraftfahrzeug 1 die Person 4 aufnehmen wird, kann beispielsweise über eine frontseitige Anzeigeeinrichtung 13 der Person 4 signalisiert werden, dass der Anhaltewunsch erfasst wurde und sich das Fahrzeug nähert. Gegebenenfalls kann hierüber auch eine Information, wie lange es noch dauern wird, bis das Kraftfahrzeug 1 bei der Person ist, ausgegeben werden. Für den Fall, dass der Mitfahrwunsch nicht bedient werden kann, kann auch eine Information ausgegeben werden, dass sich das Kraftfahrzeug 1 nicht nähern wird. After detection of the Mitfahrwunschs and made a decision that the Mitfahrwunsch is processed and the motor vehicle 1 will record the person 4, can be signaled for example via a front panel display 13 of the person 4 that the stop request has been detected and the vehicle is approaching. Optionally, information about how long it will take until the motor vehicle 1 is in the person can be output. In the event that the Mitfahrwunsch can not be operated, an information can be output that the motor vehicle 1 will not approach.
Sobald sämtliche Auswertungen erfolgt sind und klar ist, dass das Kraftfahr- zeug die Person 4 aufnehmen wird, steuert die Steuerungseinrichtung 3 eine entsprechende Antriebseinrichtung 14 des Kraftfahrzeugs an, woraufhin dieses sich automatisch in Bewegung setzt und zu der Person 4 fährt, um diese aufzunehmen. Fig. 2 zeigt eine typische Situation an, bei der die Person 4 hinter einer Kreuzung steht, während das Kraftfahrzeug 1 vor der Kreuzung an einer Ampel 15 steht, die beispielsweise Rotlicht zeigt. Die Person 4 hat das Kraftfahrzeug 1 als ein Taxi erkannt, das sie also grundsätzlich aufnehmen könnte. Hierzu kann das Kraftfahrzeug 1 natürlich über eine entsprechende Taxi- Kennzeichnung oder dergleichen verfügen. As soon as all evaluations have taken place and it is clear that the motor vehicle will pick up the person 4, the control device 3 activates a corresponding drive device 14 of the motor vehicle, whereupon the latter automatically starts moving and drives to the person 4 to pick it up. Fig. 2 shows a typical situation in which the person 4 is behind an intersection, while the motor vehicle 1 is in front of the intersection at a traffic light 15, for example, shows red light. The person 4 has recognized the motor vehicle 1 as a taxi, which therefore could basically pick them up. For this purpose, the motor vehicle 1 of course have a corresponding taxi marking or the like.
Die Person 4 winkt nun, wie durch den Doppelpfeil A dargestellt ist, mit einer entsprechenden, den Mitfahrwunsch anzeigenden Handbewegung, das Kraftfahrzeug 1 erfasst diese und trifft die Entscheidung, dass die Person 4 aufgenommen wird. The person 4 waves now, as shown by the double arrow A, with a corresponding, the Mitfahrwunsch indicating hand movement, the motor vehicle 1 detects this and makes the decision that the person 4 is recorded.
Sobald die Ampel 5 auf Grün springt, setzt sich das Kraftfahrzeug 1 entsprechend der gestrichelt gezeigten Spur 16 in Bewegung und fährt in Richtung der Person 4, die beispielsweise an einer Parkbucht 17 steht. Das selbsttä- tig, also autonom fahrende Kraftfahrzeug 1 steuert sodann automatisch in die Parkbucht 17 und hält benachbart zur Person 4 an, so dass diese zusteigen kann. As soon as the traffic light 5 jumps to green, the motor vehicle 1 sets in motion in accordance with the track 16 shown in dashed lines and moves in the direction of the person 4, which stands, for example, at a parking bay 17. The self-propelled, thus autonomously moving motor vehicle 1 then automatically controls the parking bay 17 and stops adjacent to the person 4, so that they can get on.
Sobald klar ist, wohin die Fahrt gehen soll , setzt sich das Kraftfahrzeug 1 mit der Person in Bewegung und führt den Transport durch. Am Ziel angekommen kann beispielsweise die Sende- und Empfangseinrichtung 1 1 ein Signal an die externe Datenverarbeitungseinrichtung 12 geben, dass die Fahrt erfolgreich beendet wurde, woraufhin dortseits die Abrechnung erfolgen kann. Selbstverständlich kann natürlich auch im Kraftfahrzeug 1 selbst gezahlt werden, wenn dort eine entsprechende automatische Zahlvorrichtung vorgesehen ist. As soon as it is clear where the journey should go, the motor vehicle 1 sets in motion with the person and carries out the transport. Once arrived at the destination, for example, the transmitting and receiving device 1 1 can give a signal to the external data processing device 12 that the drive was completed successfully, whereupon billing can take place there. Of course, of course, even in the motor vehicle 1 paid be, if there is a corresponding automatic payment device is provided.
Im gezeigten Beispiel trägt die Person 4 ein Armband mit der Sendeeinrich- tung 10. Alternativ kann es sich hierbei auch um einen Schlüssel mit einem Chip handeln oder um eine Applikation, die auf das Mobiltelefon der Person 4 geladen ist. Im letztgenannten Fall kann die Person mit der Hand 5 winken und sich entweder vorher oder nachher über die Applikation des Mobiltelefons quasi an der externen Datenverarbeitungseinrichtung 12 oder über die Sende- und Empfangseinrichtung 1 1 an der Steuerungseinrichtung 3 identifizieren. Auch über diese Applikation können sodann etwaige Zahlungsinformationen bereits vor dem Einsteigen kommuniziert werden, oder typische Fahrziele oder weitere Personalisierungsmaßnahmen wie Sitzposition, freigeschaltete Dienstleistungen und Services etc. Dadurch muss sich die Per- son nicht erst nach dem Einsteigen registrieren oder ein Ziel eingeben, wenn ein solches gegebenenfalls bereits hierüber erfasst werden kann. Zudem ermöglicht eine Identifikation des potentiellen Mitfahrers vor dem Anhalten in Kombination mit der Geste bereits eine Vorauswahl aus verschiedenen, unterschiedlich teuren Servicekategorien dem potentiellen Mitfahrer anzubie- ten, beispielsweise wenn der Mitfahrer eine bestimmte Fahrzeugkategorie wünscht. Handelt es sich bei dem Kraftfahrzeug 1 um die gewünschte Fahrzeugkategorie, so kann der Mitfahrwunsch erfüllt werden. Falls nicht, kann über die Sende- und Empfangseinrichtung 1 1 ein entsprechendes Rufsignal an ein anderes, in der Nähe befindliches Kraftfahrzeug geschickt werden, das der Kategorie entspricht. Auch dies kann der Person 4 über die Anzeigeeinrichtung 13 sodann kund getan werden, gegebenenfalls aber auch über eine entsprechende Nachricht, die an das Mobiltelefon geschickt wird oder dergleichen. Hier sind beliebige Kommunikationsmöglichkeiten denkbar. In the example shown, the person 4 wears a bracelet with the transmitting device 10. Alternatively, this may also be a key with a chip or an application that is loaded onto the mobile phone of the person 4. In the latter case, the person can wave his hand 5 and identify himself either before or afterwards via the application of the mobile phone, as it were, at the external data processing device 12 or via the transmitting and receiving device 11 to the control device 3. Also via this application then any payment information can be communicated before boarding, or typical destinations or other personalization measures such as seating position, services and services enabled etc. Thus, the person does not register until after boarding or enter a destination, if a may already be covered by it. In addition, an identification of the potential rider before stopping in combination with the gesture already allows a pre-selection of different, different expensive service categories offer the potential passenger, for example, if the passenger wishes a certain vehicle category. If the motor vehicle 1 is the desired vehicle category, then the ride-on request can be fulfilled. If not, can be sent via the transmitting and receiving device 1 1 a corresponding call signal to another, located nearby motor vehicle, which corresponds to the category. This, too, can then be done to the person 4 via the display device 13, but if necessary also via a corresponding message sent to the mobile telephone or the like. Here are any communication options conceivable.
Obiges Beispiel geht von einem vollständig autonom fahrenden Fahrzeug aus. Handelt es sich jedoch um ein Fahrzeug, das nur teilautonom oder auch vollständig autonom, jedoch zwingend mit anwesendem Fahrer fährt, so kann das erfindungsgemäße Verfahren respektive das System gleichermaßen angewendet werden. Anders als beim beschriebenen Beispiel erfolgt in diesem Fall nach Erfassen eines Mitfahrwunschs eine Anzeige über eine geeignete Anzeigeeinrichtung, die an den Fahrer gerichtet ist, und ihn auf die Person 4 aufmerksam macht. Denn es kann sein, dass insbesondere bei höherem Verkehrsaufkommen der Fahrer die am Straßenrand stehende, winkende Person übersieht. Nach Signalisierung an den Fahrer kann der Fahrer sodann selbst das Kraftfahrzeug 1 zur Person 4 bewegen, wenn er selber fahren muss, oder das Kraftfahrzeug 1 fährt auch in diesem Fall weitgehend autonom, jedoch mit zusätzlicher Information des Fahrers. The above example assumes a completely autonomous vehicle. However, if it is a vehicle that drives only teilautonom or completely autonomous, but mandatory with the driver present, so the method according to the invention or the system can be equally applied. Unlike the example described takes place in In this case, after detecting a Mitfahrwunschs an indication of a suitable display device, which is directed to the driver, and makes him aware of the person 4. Because it may be that, especially at higher traffic levels, the driver overlooks the standing on the roadside, waving person. After signaling to the driver, the driver can then even move the motor vehicle 1 to the person 4 when he has to drive himself, or the motor vehicle 1 drives in this case largely autonomously, but with additional information of the driver.

Claims

P A T E N T A N S P R Ü C H E P A T E N T A N S P R E C H E
Verfahren zum Betrieb eines Kraftfahrzeugs (1 ) umfassend eine das Fahrzeugvorfeld aufnehmende Kameraeinrichtung (2) mit zugeordneter Steuerungseinrichtung (3) zum Auswerten der Bilder, Method for operating a motor vehicle (1) comprising a camera device (2) receiving the vehicle apron with associated control device (3) for evaluating the images,
dadurch gekennzeichnet, characterized,
dass die Steuerungseinrichtung (3) die Bilder zum Erfassen wenigstens einer von einer in den Bildern gezeigten Person (4) durchgeführten Handbewegung auswertet, wobei bei Erfassen einer Handbewegung, die eine einen Anhaltewunsch anzeigende Geste beschreibt, entweder das selbstfahrende Kraftfahrzeug (1 ) zum Anhalten in der Nähe der Person gesteuert wird, oder dem Fahrer des Kraftfahrzeugs (1 ) ein den Anhaltewunsch signalisierendes Signal gegeben wird. in that the control device (3) evaluates the images for detecting at least one hand movement performed by a person (4) shown in the pictures, wherein when detecting a hand movement which describes a gesture indicating a request for stopping, either the self-propelled motor vehicle (1) for stopping in is controlled close to the person, or the driver of the motor vehicle (1) is given a signal to stop the signal.
Verfahren nach Anspruch 1 , Method according to claim 1,
dadurch gekennzeichnet, characterized,
dass die Steuerungseinrichtung (3) ferner die Bilder zum Erfassen der Blickrichtung der Person (4) auswertet, wobei das Kraftfahrzeug (1 ) zum Anhalten in der Nähe der Person (4) gesteuert wird, wenn die Blickrichtung einer definierten Blickrichtung entspricht. in that the control device (3) further evaluates the images for detecting the viewing direction of the person (4), wherein the motor vehicle (1) is controlled to stop in the vicinity of the person (4) if the viewing direction corresponds to a defined viewing direction.
Verfahren nach Anspruch 1 oder 2, Method according to claim 1 or 2,
dadurch gekennzeichnet, characterized,
dass über die Steuerungseinrichtung (3) die erfasste Handbewegung klassifiziert wird, wobei die Handbewegung in Abhängigkeit der Klassifizierung berücksichtigt oder verworfen wird. in that the detected hand movement is classified via the control device (3), the hand movement being taken into consideration or discarded as a function of the classification.
Verfahren nach einem der vorangehenden Ansprüche, Method according to one of the preceding claims,
dadurch gekennzeichnet, characterized,
dass über ein kraftfahrzeugseitiges Mikrofon Ruf- oder Pfeifgeräusche der Person (4) erfasst und seitens der Steuerungseinrichtung (3) ausgewertet werden und bei der Steuerung des Fahrzeugbetriebs berücksichtigt werden. Verfahren nach einem der vorangehenden Ansprüche, that via a motor vehicle side microphone ringing or whistling the person (4) detected and evaluated by the control device (3) and taken into account in the control of the vehicle operation. Method according to one of the preceding claims,
dadurch gekennzeichnet,  characterized,
dass über die Steuerungseinrichtung (3) die Anzahl der Finger (7) der die Handbewegung durchführenden Hand (5) oder der zweiten im Bild gezeigten Hand (6) der Person (4) erfasst und als Information über die Anzahl der aufzunehmenden Passagiere verarbeitet wird.  the number of fingers (7) of the hand (5) carrying the hand movement or of the second hand (6) of the person (4) shown in the picture is detected by the control device (3) and processed as information about the number of passengers to be picked up.
Verfahren nach Anspruch 5, Method according to claim 5,
dadurch gekennzeichnet,  characterized,
dass bei Erfassung einer Anzahl an aufzunehmenden Passagieren, die größer ist als die Anzahl der im Kraftfahrzeug (1 ) vorhandenen freien Plätze, automatisch ein Rufsignal an ein weiteres pilotiertes Kraftfahrzeug gesendet wird, welches Rufsignal die Positionskoordinaten für die automatische Anfahrt des weiteren Kraftfahrzeugs umfasst.  that upon detection of a number of passengers to be recorded, which is greater than the number of free seats available in the motor vehicle (1), a call signal is automatically sent to another piloted motor vehicle, which call signal includes the position coordinates for the automatic approach of the further motor vehicle.
Verfahren nach einem der vorangehenden Ansprüche, Method according to one of the preceding claims,
dadurch gekennzeichnet,  characterized,
dass die Steuerungseinrichtung (6) ein oder mehrere der Person (4) zuzuordnende Gepäckstücke (8) erfasst, wobei gegebenenfalls bei Erfassung wenigstens eines Gepäckstücks (8) automatisch der Kofferraum des Kraftfahrzeugs (1 ) geöffnet wird.  in that the control device (6) detects one or more pieces of luggage (8) to be assigned to the person (4), wherein optionally the luggage compartment of the motor vehicle (1) is automatically opened upon detection of at least one item of luggage (8).
Verfahren nach einem der vorangehenden Ansprüche,Method according to one of the preceding claims,
Figure imgf000019_0001
dadurch gekennzeichnet,
Figure imgf000019_0001
characterized,
dass über eine kraftfahrzeugseitige Erfassungseinrichtung (1 1 ) ein von einem von der Person getragenen Gegenstand gesendetes Personenidentifikationssignal erfasst wird.  in that a personal identification signal sent by an object carried by the person is detected by means of a motor vehicle-side detection device (11).
Verfahren nach Anspruch 8, Method according to claim 8,
dadurch gekennzeichnet,  characterized,
dass das erfasste Personenidentifikationssignal an eine externe Datenverarbeitungseinrichtung (12) zur Identifikation und/oder zu Abrechnungszwecken und/oder zur Einholung von personenbezogenen Infor- mationen, die von der Datenverarbeitungseinrichtung an die Erfassungseinrichtung übertragen werden, weitergeleitet wird. in that the detected personal identification signal is sent to an external data processing device (12) for identification and / or for billing purposes and / or for obtaining personal information. mation, which are transmitted from the data processing device to the detection device, is forwarded.
Verfahren nach einem der vorangehenden Ansprüche, Method according to one of the preceding claims,
dadurch gekennzeichnet, characterized,
dass über eine optische oder akustische Signalausgabeeinrichtung (13) der Person (4) signalisiert wird, ob das Kraftfahrzeug (1 ) anhält und/oder wie lange es bis zum Anhalten dauert. that the person (4) is signaled via an optical or acoustic signal output device (13), whether the motor vehicle (1) stops and / or how long it takes to stop.
Kraftfahrzeug (1 ) ausgebildet zum pilotierten Fahren, umfassend eine das Fahrzeugvorfeld aufnehmende Kameraeinrichtung (2) mit zugeordneter Steuerungseinrichtung (3) zum Auswerten der Bilder, ausgebildet zur Durchführung des Verfahrens nach einem der vorangehenden Ansprüche. Motor vehicle (1) designed for piloted driving, comprising a camera device (2) receiving the vehicle apron with associated control device (3) for evaluating the images, designed to carry out the method according to one of the preceding claims.
PCT/EP2017/073093 2016-09-16 2017-09-14 Method for operating a motor vehicle WO2018050729A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17777799.2A EP3478535B1 (en) 2016-09-16 2017-09-14 Method for operating a motor vehicle
US16/332,705 US11535264B2 (en) 2016-09-16 2017-09-14 Method for operating a motor vehicle
CN201780056642.5A CN109715443B (en) 2016-09-16 2017-09-14 Method for operating a motor vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016217770.2A DE102016217770A1 (en) 2016-09-16 2016-09-16 Method for operating a motor vehicle
DE102016217770.2 2016-09-16

Publications (1)

Publication Number Publication Date
WO2018050729A1 true WO2018050729A1 (en) 2018-03-22

Family

ID=60001862

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/073093 WO2018050729A1 (en) 2016-09-16 2017-09-14 Method for operating a motor vehicle

Country Status (5)

Country Link
US (1) US11535264B2 (en)
EP (1) EP3478535B1 (en)
CN (1) CN109715443B (en)
DE (1) DE102016217770A1 (en)
WO (1) WO2018050729A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020022912A1 (en) * 2018-07-25 2020-01-30 Motorola Solutions, Inc. Device, system and method for controlling autonomous vehicles using a visual notification device
EP3611712A4 (en) * 2017-04-14 2020-05-13 Panasonic Intellectual Property Corporation of America Autonomous vehicle, autonomous vehicle stopping method, and program
EP3920141A4 (en) * 2019-01-29 2022-01-26 NISSAN MOTOR Co., Ltd. Boarding permission determination device and boarding permission determination method

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10395457B2 (en) 2017-08-10 2019-08-27 GM Global Technology Operations LLC User recognition system and methods for autonomous vehicles
US10717412B2 (en) * 2017-11-13 2020-07-21 Nio Usa, Inc. System and method for controlling a vehicle using secondary access methods
DE102017220116A1 (en) * 2017-11-13 2019-05-16 Ford Global Technologies, Llc Method and device to enable a quick stop of an autonomously moving vehicle
WO2019165451A1 (en) * 2018-02-26 2019-08-29 Nvidia Corporation Systems and methods for computer-assisted shuttles, buses, robo-taxis, ride-sharing and on-demand vehicles with situational awareness
JP6971187B2 (en) * 2018-03-28 2021-11-24 京セラ株式会社 Image processing equipment, imaging equipment, and moving objects
DE102018205050A1 (en) * 2018-04-04 2019-10-10 Zf Friedrichshafen Ag Recognition of a passenger's request to be transported by a passenger transport vehicle
US11194399B2 (en) * 2018-06-30 2021-12-07 Chian Chiu Li Systems and methods for implementing hailing request
DE102018213600A1 (en) * 2018-08-13 2020-02-13 Conti Temic Microelectronic Gmbh - gesture recognition device for a vehicle -
DE102018216545B4 (en) * 2018-09-27 2023-02-02 Audi Ag Method for loading a motor vehicle with a person
DE102018129572A1 (en) * 2018-11-23 2020-05-28 Bayerische Motoren Werke Aktiengesellschaft Driver assistance system for an automated vehicle and method for driving an automated vehicle
DE102018222665B4 (en) 2018-12-20 2022-06-02 Volkswagen Aktiengesellschaft Autonomously driving taxi and method for operating an autonomously driving taxi
US11899448B2 (en) * 2019-02-21 2024-02-13 GM Global Technology Operations LLC Autonomous vehicle that is configured to identify a travel characteristic based upon a gesture
JP7013407B2 (en) * 2019-03-07 2022-01-31 矢崎総業株式会社 Vehicle management system
DE102019204348A1 (en) * 2019-03-28 2020-10-01 Volkswagen Aktiengesellschaft Method for route guidance to a target person, electronic device of the target person and electronic device of the person collecting it, as well as a motor vehicle
DE102019204780A1 (en) * 2019-04-03 2020-10-08 Audi Ag Method for operating a motor vehicle and motor vehicle
FR3095063B1 (en) * 2019-04-10 2021-10-22 Transdev Group Electronic device and method of piloting an autonomous motor vehicle with user gestures, autonomous motor vehicle and associated computer program
FR3095178B1 (en) * 2019-04-19 2021-05-07 Transdev Group Method and system for synchronizing the arrival of an autonomous motor vehicle with the arrival of a customer
CN110197150B (en) * 2019-05-27 2023-06-27 大陆投资(中国)有限公司 Travel service method, device and system
CN112026686B (en) * 2019-06-04 2022-04-12 上海汽车集团股份有限公司 Method and device for automatically adjusting position of vehicle seat
DE102019210758B4 (en) * 2019-07-19 2021-05-12 Volkswagen Aktiengesellschaft Provision and transmission of position data of the surroundings of a motor vehicle
US11676236B2 (en) * 2019-07-22 2023-06-13 Pony Ai Inc. Systems and methods for autonomous passenger transport
CN111942407B (en) * 2020-07-31 2022-09-23 商汤集团有限公司 Trajectory prediction method, apparatus, device and storage medium
US11738682B2 (en) * 2020-10-08 2023-08-29 Motional Ad Llc Communicating vehicle information to pedestrians
CN112477886B (en) * 2020-12-03 2022-03-01 南京领行科技股份有限公司 Method and device for controlling unmanned vehicle, electronic device and storage medium
WO2022134069A1 (en) * 2020-12-25 2022-06-30 华为技术有限公司 Vehicle calling method, intelligent vehicle, and device
DE102021214370A1 (en) 2021-12-15 2023-06-15 Robert Bosch Gesellschaft mit beschränkter Haftung Method for initiating braking of a passenger transport vehicle
DE102022000256B3 (en) * 2022-01-25 2023-03-23 Mercedes-Benz Group AG Method for actuating an access system of a motor vehicle, device for carrying out the method and motor vehicle with such a device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060136846A1 (en) * 2004-12-20 2006-06-22 Sung-Ho Im User interface apparatus using hand gesture recognition and method thereof
US20100235034A1 (en) * 2009-03-16 2010-09-16 The Boeing Company Method, Apparatus And Computer Program Product For Recognizing A Gesture
US20150081169A1 (en) * 2013-09-17 2015-03-19 Toyota Motor Sales, U.S.A., Inc. Integrated wearable article for interactive vehicle control system
US20150279131A1 (en) 2014-03-28 2015-10-01 Denso International America, Inc. Key fob and smartdevice gestures for vehicle functions
US20150339928A1 (en) 2015-08-12 2015-11-26 Madhusoodhan Ramanujam Using Autonomous Vehicles in a Taxi Service
DE102015219463A1 (en) 2014-10-22 2016-04-28 Myine Electronics, Inc. SYSTEM AND METHOD FOR PROVIDING VALET INSTRUCTIONS FOR A SELF-DRIVING VEHICLE
US20160167648A1 (en) * 2014-12-11 2016-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle interaction with external environment

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6701143B1 (en) 1999-12-15 2004-03-02 Vert, Inc. Apparatus, methods, and computer programs for displaying information on mobile signs
US20130267194A1 (en) * 2002-06-11 2013-10-10 American Vehicular Sciences Llc Method and System for Notifying a Remote Facility of an Accident Involving a Vehicle
CN101437705B (en) * 2006-05-01 2013-03-13 通用汽车环球科技运作公司 Reversibly opening and closing a grille using active materials
JP2007317393A (en) * 2006-05-23 2007-12-06 Alps Electric Co Ltd Switching device and steering switching device using the same
US20100185341A1 (en) 2009-01-16 2010-07-22 Gm Global Technology Operations, Inc. Vehicle mode activation by gesture recognition
DE102010019764B4 (en) * 2010-05-07 2013-09-19 Knorr-Bremse Gmbh Luminous finger protection device for a door of a vehicle
DE102010054625A1 (en) * 2010-12-16 2012-06-21 Daimler Ag Method and device for opening and closing a door and / or a tailgate of a vehicle
US20130155237A1 (en) 2011-12-16 2013-06-20 Microsoft Corporation Interacting with a mobile device within a vehicle using gestures
TW201328340A (en) 2011-12-27 2013-07-01 Hon Hai Prec Ind Co Ltd Noticing system and method for looking for passengers
CN103182983A (en) * 2011-12-27 2013-07-03 鸿富锦精密工业（深圳）有限公司 Passenger car stopping prompting system and method
CN102622578A (en) * 2012-02-06 2012-08-01 中山大学 Passenger counting system and passenger counting method
US20150227221A1 (en) * 2012-09-12 2015-08-13 Toyota Jidosha Kabushiki Kaisha Mobile terminal device, on-vehicle device, and on-vehicle system
DE102012017934A1 (en) 2012-09-12 2014-03-13 Daimler Ag Method for carrying-out e.g. automatic parking process of motor car using external control device, involves controlling motor car to carry-out automatic driving process by control device depending on detected gestures of driver
TWM447334U (en) * 2012-10-23 2013-02-21 Jing-Jie Huang Vehicle door alert apparatus
CN103809875A (en) * 2012-11-14 2014-05-21 韩鼎楠 Human-computer interaction method and human-computer interaction interface
CN103971508B (en) * 2013-01-31 2016-06-01 上海飞田通信技术有限公司 Taxi dispatching system, dispatch service device and taxi dispatching terminal
US20140300449A1 (en) 2013-04-05 2014-10-09 Ani Kounavis Taxi hailing system and mobile application
DE102013207223A1 (en) 2013-04-22 2014-10-23 Ford Global Technologies, Llc Method for detecting non-motorized road users
US9904356B2 (en) * 2013-05-28 2018-02-27 The Boeing Company Tracking a user to support tasks performed on complex-system components
CN103345778A (en) * 2013-07-18 2013-10-09 曹敏娜 Fingerprint identification bullet train charging system
US9336436B1 (en) * 2013-09-30 2016-05-10 Google Inc. Methods and systems for pedestrian avoidance
DE102013222048B4 (en) 2013-10-30 2023-10-05 Volkswagen Aktiengesellschaft Method and device for activating or deactivating an automatic driving function
US9988047B2 (en) * 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
DE102013021853B4 (en) * 2013-12-21 2017-06-01 Audi Ag Apparatus and method for operating an autopilot for a vehicle
KR101526426B1 (en) * 2013-12-31 2015-06-05 현대자동차 주식회사 Gesture recognize apparatus and method
CN103824184A (en) * 2014-02-21 2014-05-28 杭州九树网络科技有限公司 System and method for sending and acquiring payment information automatically
JP6455866B2 (en) 2014-03-31 2019-01-23 Ｎｅｃエンベデッドプロダクツ株式会社 Monitoring device, monitoring method, and program
CN103911508B (en) 2014-04-28 2015-11-25 北京矿冶研究总院 Method for recovering rhenium from arsenic sulfide pressure leaching liquid
CN103927789A (en) * 2014-04-29 2014-07-16 刘兴光 Unmanned taxi system
US9631933B1 (en) 2014-05-23 2017-04-25 Google Inc. Specifying unavailable locations for autonomous vehicles
CN104065722A (en) * 2014-06-23 2014-09-24 中国联合网络通信集团有限公司 Taxi joint taking taxi calling method and server
DE102014111023A1 (en) 2014-08-04 2016-02-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and device for controlling an automated vehicle
KR101867915B1 (en) 2015-01-16 2018-07-19 현대자동차주식회사 Method for executing vehicle function using wearable device and vehicle for carrying out the same
DE102015001197B4 (en) * 2015-01-31 2022-07-28 Audi Ag Body component and body for a passenger car
CN205330369U (en) * 2016-01-11 2016-06-22 江苏迈隆电子科技有限公司 Automatic opening system of intelligence trunk

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060136846A1 (en) * 2004-12-20 2006-06-22 Sung-Ho Im User interface apparatus using hand gesture recognition and method thereof
US20100235034A1 (en) * 2009-03-16 2010-09-16 The Boeing Company Method, Apparatus And Computer Program Product For Recognizing A Gesture
US20150081169A1 (en) * 2013-09-17 2015-03-19 Toyota Motor Sales, U.S.A., Inc. Integrated wearable article for interactive vehicle control system
US20150279131A1 (en) 2014-03-28 2015-10-01 Denso International America, Inc. Key fob and smartdevice gestures for vehicle functions
DE102015219463A1 (en) 2014-10-22 2016-04-28 Myine Electronics, Inc. SYSTEM AND METHOD FOR PROVIDING VALET INSTRUCTIONS FOR A SELF-DRIVING VEHICLE
US20160167648A1 (en) * 2014-12-11 2016-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle interaction with external environment
US20150339928A1 (en) 2015-08-12 2015-11-26 Madhusoodhan Ramanujam Using Autonomous Vehicles in a Taxi Service

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3611712A4 (en) * 2017-04-14 2020-05-13 Panasonic Intellectual Property Corporation of America Autonomous vehicle, autonomous vehicle stopping method, and program
US11067986B2 (en) 2017-04-14 2021-07-20 Panasonic Intellectual Property Corporation Of America Autonomous driving vehicle, method of stopping autonomous driving vehicle, and recording medium
WO2020022912A1 (en) * 2018-07-25 2020-01-30 Motorola Solutions, Inc. Device, system and method for controlling autonomous vehicles using a visual notification device
US11887477B2 (en) 2018-07-25 2024-01-30 Motorola Solutions, Inc. Device, system and method for controlling autonomous vehicles using a visual notification device
EP3920141A4 (en) * 2019-01-29 2022-01-26 NISSAN MOTOR Co., Ltd. Boarding permission determination device and boarding permission determination method

Also Published As

Publication number Publication date
EP3478535A1 (en) 2019-05-08
EP3478535B1 (en) 2020-11-18
US20190263422A1 (en) 2019-08-29
DE102016217770A1 (en) 2018-03-22
US11535264B2 (en) 2022-12-27
CN109715443A (en) 2019-05-03
CN109715443B (en) 2022-04-29

Similar Documents

Publication Publication Date Title
EP3478535B1 (en) Method for operating a motor vehicle
DE102014015075B4 (en) Method for operating an automated guided, driverless motor vehicle and monitoring system
DE102018222665B4 (en) Autonomously driving taxi and method for operating an autonomously driving taxi
DE112017007713T5 (en) Systems and procedures for vehicle occupancy management
DE102015219692A1 (en) Method for providing travel information and information system
DE102020116334A1 (en) Wheelchair boarding information transmission system and wheelchair boarding information display system
DE102019216534A1 (en) UNMANNED AUTONOMOUS VEHICLE AND METHOD OF CONTROLLING IT
DE102013004612A1 (en) Method for operating an infotainment system
DE102020212376A1 (en) Deriving the intention of a passenger in the vehicle based on the passenger's interaction with an object
DE102018005293A1 (en) Vehicle and method for controlling a door and / or a boot lid of a vehicle
DE102020207488A1 (en) System and method for handling a lost item in an autonomous vehicle
DE102014003952A1 (en) Method for monitoring the vehicle interior and the vehicle exterior
WO2021037409A1 (en) Means of transport, device and method for positioning an automatically operable means of transport
DE102018008997A1 (en) Apparatus and method for informing users of forgotten items or contaminants
DE102020211235A1 (en) Parking area selection procedures and parking area selection system
EP3573860B1 (en) Showing a target vehicle opening fore zone of an automated vehicle
DE102015226697B4 (en) Arrangement, means of locomotion and method for improving the comfort of an entry into a means of transportation
WO2017108559A1 (en) Display device and method for controlling a display device
DE102015003888B4 (en) Method for operating an autonomous motor vehicle and motor vehicle
DE102016215893A1 (en) Method for transporting persons in a parking lot and parking management system
DE102014224583A1 (en) Method for recognizing a goal of a person and target recognition unit for this purpose
DE102017006785A1 (en) Method for targeted detection of persons
DE102018222666A1 (en) Autonomous taxi
DE102016013935A1 (en) Method for automatically performing vehicle functions
DE102020006421A1 (en) Vehicle with an assistance system for automated driving

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17777799

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017777799

Country of ref document: EP

Effective date: 20190201