WO2015039654A2 - Method for detecting a traffic police officer by means of a driver assistance system of a motor vehicle, and driver assistance system - Google Patents

Method for detecting a traffic police officer by means of a driver assistance system of a motor vehicle, and driver assistance system Download PDF

Info

Publication number
WO2015039654A2
WO2015039654A2 PCT/DE2014/200332 DE2014200332W WO2015039654A2 WO 2015039654 A2 WO2015039654 A2 WO 2015039654A2 DE 2014200332 W DE2014200332 W DE 2014200332W WO 2015039654 A2 WO2015039654 A2 WO 2015039654A2
Authority
WO
WIPO (PCT)
Prior art keywords
assistance system
driver assistance
police officer
driver
images
Prior art date
Application number
PCT/DE2014/200332
Other languages
German (de)
French (fr)
Other versions
WO2015039654A3 (en
Inventor
Stefan LÜKE
Stefan Hegemann
Matthias Komar
Original Assignee
Conti Temic Microelectronic Gmbh
Continental Teves Ag & Co. Ohg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic Gmbh, Continental Teves Ag & Co. Ohg filed Critical Conti Temic Microelectronic Gmbh
Publication of WO2015039654A2 publication Critical patent/WO2015039654A2/en
Publication of WO2015039654A3 publication Critical patent/WO2015039654A3/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way

Definitions

  • a modern motor vehicle is now often equipped with a driver assistance system.
  • the aim of such a driver assistance system is to increase road safety by the precautionary avoidance of dangerous situations that can lead to accidents. Further goals are the comfort increase by relieving the driver as well as facilitating the orientation by situationally prepared and driver-friendly conveyed environment information.
  • a driver assistance system intervenes partially autonomously or autonomously in the drive, the control or in signaling devices of the motor vehicle, warns the driver shortly before or during a critical situation or prevents them by an independent intervention.
  • a driver assistance system is designed so that the responsibility remains with the driver, so this can override autonomous interventions.
  • a camera system for monitoring the vehicle environment plays an important role.
  • An automatic camera-based driver assistance system detects the vehicle environment by means of one or more cameras, interprets the image data of the recorded images and determines from this a system-specific reaction.
  • the interpretation of the vehicle environment includes the recognition of self-illuminating or illuminated elements of the infrastructure or of the road traffic. Examples include headlamps and backlighting other road users as well as traffic lights or traffic signs of their own and possibly adjacent lanes.
  • a traffic light assistant implemented in the driver assistance system, it is possible, for example, to optimally adapt the speed of the motor vehicle to the green or red phase of the next traffic light. Unnecessary abrupt stopping and strong acceleration are thus avoided.
  • the technology in the traffic light communicates to the remaining time of the current traffic light phase to the motor vehicle. Based on the calculations, the traffic light assistant then shows the driver speed recommendations or a stop notice or regulates the speed of the vehicle independently.
  • driver assistance system that is based on a camera-based traffic light recognition and / or on a traffic sign recognition, it may occur, for example, that an unexpected, unforeseen traffic situation is not recognized by the driver assistance system. This could be the case, for example, when traffic is regulated by a traffic cop instead of traffic lights or traffic signs.
  • the invention has for its object to provide a driver assistance system, which perceive a police officer and can respond accordingly.
  • the first object is achieved by a method for detecting a police officer by a driver assistance system, wherein images are taken from the vehicle environment by means of a vehicle-side camera, wherein the image data of the recorded images are evaluated by means of an image evaluation stored in the driver assistance system, and wherein based on the evaluated image data Policeman is automatically detected.
  • a modern driver assistance system is capable of assessing and evaluating the traffic situation and thus actively or passively intervening in the vehicle guidance.
  • a common system includes in particular a traffic light assistant and / or a traffic sign assistant who recognize by electronic image analysis the state of a traffic signal system and appropriate instructions to a driver with regard to the required driving behavior (stop in red, start driving in green, etc.) spend and so supportive in driving can intervene.
  • the invention now provides to provide an electronic or automated image analysis in the driver assistance system or to enable an already existing image analysis to evaluate the image data of the recorded images with regard to the presence of a police officer.
  • a police officer may preferably be automatically recognized from the captured image data by means of per se known object recognition and classification methods.
  • a subclass can be provided for an object class "persons" which has typical characteristics for police officers, for example clothing (police uniform), headgear (police hat), security vest, Winkerkelle and / or whistle.
  • object class "persons” which has typical characteristics for police officers, for example clothing (police uniform), headgear (police hat), security vest, Winkerkelle and / or whistle.
  • the location, posture and / or body movement of an object recognized as a "person” may be included for classification as a "policeman” regulating the traffic.
  • the invention enables a driver assistance system, which is equipped in particular with a traffic light assistant and / or a traffic sign assistant, to recognize a policeman controlling the traffic and to react to the police rather than to a traffic light or traffic sign.
  • the driver of the motor vehicle can intervene autonomously or partially autonomously by downgrading or ignoring a recognized traffic light phase or a recognized traffic sign in their priority.
  • the driver can be prompted by the driver assistance system upon detection of a police officer by a corresponding visual and / or acoustic signal to take control of the motor vehicle and to follow the instructions of the police officer for the duration of his presence.
  • driver assistance system as such can thus give the driver complete control when the police officer is detected. Only after passing the special situation, the driver assistance system can be used again to support the driver in traffic.
  • the image analysis stored in the driver assistance system can be a suitable stored software and / or a corresponding hardware, whereby known algorithms for object recognition and / or pedestrian recognition can be used to recognize the police officer on the basis of conventional image processing systems. For this purpose, in particular, information stored in the driver assistance system can be accessed and a corresponding adjustment made. Based on the evaluated image data, the instructions given by the police officer for regulating road traffic, in particular country-specific, are preferably automatically recognized. This is done by an identification of the body position and / or posture and / or arm and leg position of the recognized police officer. Also, the image processor employed can be trained to identify a trowel or other signaling tool that the policeman holds in his hand.
  • the interpretation of the detected positions of the police officer in the sense of the corresponding instructions assigned to regulate the traffic is particularly country-specific. If the instructions given by the police officer through posture, etc., are recognized by the driver assistance system, the driver assistance system can assist the driver with assistance in carrying out the recognized instructions. However, it is also possible that the driver assistance system then actively engages the vehicle guidance in accordance with the recognized instructions and controls the motor vehicle accordingly, in particular thus, for example, triggers a braking operation. In this case, in the driver assistance system, the recognized signs and / or instructions of the police officer are rated higher in relation to a detected traffic light phase or a recognized traffic sign, or the latter is not used to control the motor vehicle.
  • the driver assistance system can be equipped, for example, with a corresponding sound recording function, and include an audio analysis function, so that specific sounds or certain typical signal or sound forms can be identified.
  • An audio analysis function can also be used to recognize an emergency vehicle independently of the detection of a police officer, and to give it the same priority or the same prioritization in the driver assistance system as an emergency vehicle. Give a police officer or point out the driver of the emergency vehicle.
  • the automatic detection of a police officer and / or his instructions also allows the driver assistance system to prepare for a corresponding special situation or dangerous situation in traffic and to follow the signs and instructions of the police officer. For example, the driver can be warned by the driver assistance system when approaching his vehicle with a crossing that is usually controlled by a traffic light circuit, and a police officer is deployed, for example, as a result of an accident or a failed traffic light control.
  • the driver assistance system recognizes the presence of the police officer and / or the corresponding instructions regarding the required driving behavior and reacts accordingly. Already by an additional warning the attention of the driver is sharpened, so that it can respond to the police, whereby a potential risk of accidents is reduced.
  • a police officer for example by a lateral extension of an arm or both arms transversely to the direction of travel that a stop is required before the intersection.
  • the cross traffic is released. This is valid as long as the same direction is waved or this basic position is maintained.
  • Lifting an arm indicates that a road user must wait for the next sign before the intersection, and road users at the intersection must clear the intersection. If the instructions are recognized country-specific, with corresponding information being stored in the driver assistance system, the driver assistance system can be used safely to detect a police officer without retrofitting even when traveling abroad
  • the number of cameras used is basically variable.
  • a signal is output to the driver that the traffic control is taken over by the police officer. This makes it possible to ensure that a driver is informed about the current traffic situation despite the use of the driver assistance system and, if necessary, can independently intervene in the driving process.
  • the signal contains indications that the traffic sign recognition, the traffic light recognition and the priority rules stored in the system do not apply during the traffic control by the police officer.
  • the output of the signal - acoustically, visually in the vehicle display or haptic - preferably takes place in such a way that it can be perceived simply and intuitively by the driver, without having to turn his eyes away from the road, for example.
  • a signal is output to the driver with regard to the required driving behavior, for example "stopping", “driving off” or “waiting”, etc.
  • the signal can be displayed optically, for example in the vehicle display and / or also by an acoustic announcement.
  • the arrangements of a traffic policeman take precedence over the traffic light assistants integrated in the driver assistance system and / or a traffic sign assistant.
  • the reference to this can also be done acoustically, optically or haptically. Further appropriate is a corresponding note also deposited in the user manual of the respective vehicle.
  • the driver assistance system automatically reacts to the orders of the police officer.
  • the driver assistance system is then able to To evaluate evaluated images of the police officer and his orders so that the vehicle behavior is independently adapted to the prevailing traffic situation.
  • the driver assistance system actively intervenes in the driving operation.
  • even with such an automatic response of the driver assistance system oversteer by intervention of the driver is possible at any time.
  • the image evaluation preferably takes place by means of a comparison with images or image data or image information stored in the driver assistance system.
  • images or corresponding information are stored in the driver assistance system, which indicate the respective possible instructions of a police officer.
  • the pictures on the pictures show the posture of a police officer for the instructions "stopping", “driving off” and “waiting.” In particular, these pictures or information are country-specific.
  • the images of the police officer taken by a vehicle camera can be compared with the stored images or information or image data and the vehicle can be controlled accordingly if the actual posture or position of the police officer or his or her limbs matches with the stored information ,
  • the evaluation of the images recorded by means of the camera takes place by means of a corresponding image recognition algorithm stored in the driver assistance system.
  • a recognition of a corresponding object in the vehicle environment and then a corresponding classification of the object is performed first.
  • the classification is preferably carried out in terms of its position in the road, its posture and the alignment and / or movement of his limbs.
  • the image recognition by means of an image recognition algorithm and by means of a comparison with stored data can in principle also be combined.
  • a driver assistance system for a motor vehicle for detecting a police officer comprising a camera for taking pictures in the vehicle environment and an evaluation unit for evaluating the images recorded by means of the camera, wherein the evaluation unit for automatic detection of a police officer is set up and designed in the image data of the recorded images.
  • Such a driver assistance system allows, as already stated, in the case of the special situation of a traffic control by a police officer, a reaction to this traffic situation.
  • the instructions of the recognized police officer are also preferably recognized by the driver assistance system and appropriate measures are taken or initiated.
  • the instructions recognized by the driver are rated higher by the driver assistance system than by the driver assistance system detected traffic lights, traffic signs or other traffic rules.
  • the driver assistance system 1 shows a schematic representation of a driver assistance system 1 for a motor vehicle.
  • the driver assistance system 1 comprises a Camera 5 for taking pictures in the vehicle environment 7 and an evaluation unit 9 for evaluating the images recorded by means of the camera 5.
  • the evaluation unit 9 is hereby set up and configured for automatically recognizing the instructions given by the police officer.
  • the camera 5, or a plurality of cameras takes continuously pictures of the vehicle surroundings 7 during the operation of the vehicle assistant.
  • the camera 5 takes pictures which show the police officer 3.
  • These images or the corresponding image data are automatically compared in the evaluation unit 9 with there stored images or image data. From the comparison, the driver assistance system 1 can first of all immediately infer the presence of a police officer, e.g.
  • the "person” can be further classified as a "policeman” on the basis of the detected typical clothing (police coat or uniform and police hat as headgear) Further analysis and / or by a further comparison with corresponding images or image data showing a police officer in each case a specific instruction for regulating the traffic corresponding posture or position, the recorded position or posture of the police officer of a specific instruction, such as " Pause, Wait or Drop Off.
  • a signal is generated in a signal unit 1 1 connected to the evaluation unit 9 and output to the driver.
  • the signal is output, for example optically, by displaying the identified instruction or the action required in the driver's display according to the instruction, or acoustically, by announcing the identified instruction or the required action.
  • the driver assistance system can also intervene in support of vehicle operation and, for example, initiate a braking process.
  • the components of the driver assistance system 1 shown merely represent the part of the system components used to identify the police officer. Other components, such as those used for the detection of traffic lights and traffic signs, as well as multiple cameras for side and rear monitoring of the vehicle environment are not shown in the present Fig. 1, but of course possible. Traffic light phases or traffic signs already recognized by the driver assistance system, in particular the actions to be deduced or derived from, indications or checks in the vehicle guidance, are ignored.

Abstract

The invention relates to a method for detecting a police officer by means of a driver assistance system (1) of a motor vehicle, wherein images of the vehicle environment are recorded by means of a vehicle camera (5), wherein the image data of the recorded images are evaluated by means of an image evaluation stored in the driver assistance system (1), and wherein a police officer is automatically detected on the basis of the evaluated image data. The invention further relates to a driver assistance system (1) for a motor vehicle for detecting a police officer, comprising a camera (5) for recording images in the vehicle environment (7) and an evaluating unit (9) for evaluating the images recorded by means of the camera (5), wherein the evaluating unit (9) is designed to automatically detect a police officer in the image data of the recorded images.

Description

Beschreibung  description
Verfahren zur Erkennung eines Verkehrspolizisten durch ein Fahrerassistenzsystem eines Kraftfahrzeugs sowie ein Fahrerassistenzsystem A method for detecting a traffic cop by a driver assistance system of a motor vehicle and a driver assistance system
Ein modernes Kraftfahrzeug ist mittlerweile häufig mit einem Fahrerassistenzsystem ausgestattet. Ziel eines solchen Fahrerassistenzsystems ist die Steigerung der Verkehrssicherheit durch die vorsorgliche Vermeidung von Gefahrensituationen, die zu Unfällen führen können. Weitere Ziele sind die Komfortsteigerung durch Entlastung des Fahrers sowie die Erleichterung der Orientierung durch situationsabhängig aufbereitete und fahrergerecht vermittelte Umfeldinformationen. A modern motor vehicle is now often equipped with a driver assistance system. The aim of such a driver assistance system is to increase road safety by the precautionary avoidance of dangerous situations that can lead to accidents. Further goals are the comfort increase by relieving the driver as well as facilitating the orientation by situationally prepared and driver-friendly conveyed environment information.
Ein Fahrerassistenzsystem greift teilautonom oder autonom in den Antrieb, die Steuerung oder in Signalisierungseinrichtungen des Kraftfahrzeuges ein, warnt den Fahrer kurz vor oder während einer kritischen Situation oder verhindert diese durch ein selbstständiges Eingreifen. Hierbei ist ein Fahrerassistenzsystem so konzipiert, dass die Verantwortung beim Fahrer verbleibt, dieser also autonome Eingriffe übersteuern kann. A driver assistance system intervenes partially autonomously or autonomously in the drive, the control or in signaling devices of the motor vehicle, warns the driver shortly before or during a critical situation or prevents them by an independent intervention. Here, a driver assistance system is designed so that the responsibility remains with the driver, so this can override autonomous interventions.
Ein Kamerasystem zur Überwachung des Fahrzeugumfeldes spielt dabei eine bedeutende Rolle. Ein automatisches kamerabasiertes Fahrerassistenzsystem erfasst mittels einer oder mehrerer Kameras das Fahrzeugumfeld, interpretiert die Bilddaten der aufgenommenen Bilder und ermittelt daraus eine systemspezifische Reaktion. Zur Interpretation des Fahrzeugumfelds gehört dabei beispielsweise die Erkennung von selbstleuchtenden oder angeleuchteten Elementen der Infrastruktur oder des Straßenverkehrs. Beispiele dafür sind Scheinwerfer und Rückleuch- ten anderer Verkehrsteilnehmer genauso wie Ampeln oder Verkehrszeichen der eigenen und eventuell benachbarter Fahrspuren. A camera system for monitoring the vehicle environment plays an important role. An automatic camera-based driver assistance system detects the vehicle environment by means of one or more cameras, interprets the image data of the recorded images and determines from this a system-specific reaction. For example, the interpretation of the vehicle environment includes the recognition of self-illuminating or illuminated elements of the infrastructure or of the road traffic. Examples include headlamps and backlighting other road users as well as traffic lights or traffic signs of their own and possibly adjacent lanes.
Mit Hilfe eines im Fahrerassistenzsystem implementierten Ampelassistenten ist es beispielsweise möglich, die Geschwindigkeit des Kraftfahrzeugs optimal an die Grün- oder Rotphase der nächsten Ampel anzupassen. Unnötiges abruptes Anhalten und starkes Beschleunigen werden so vermieden. Die Technik in der Ampel kommuniziert dazu die verbleibende Zeit der aktuellen Ampelphase an das Kraftfahrzeug. Basierend auf den Berechnungen zeigt der Ampelassistent dem Fahrer daraufhin Geschwindigkeitsempfehlungen oder auch ein Haltehinweis an oder regelt die Geschwindigkeit des Fahrzeugs eigenständig. With the aid of a traffic light assistant implemented in the driver assistance system, it is possible, for example, to optimally adapt the speed of the motor vehicle to the green or red phase of the next traffic light. Unnecessary abrupt stopping and strong acceleration are thus avoided. The technology in the traffic light communicates to the remaining time of the current traffic light phase to the motor vehicle. Based on the calculations, the traffic light assistant then shows the driver speed recommendations or a stop notice or regulates the speed of the vehicle independently.
Rechtlich gesehen bleibt der Fahrer jedoch auch bei der Verwendung eines Fahrerassistenzsystems immer in der vollen Verantwortung für sein Fahrzeug. Mit einer Fehlfunktion des Fahrerassistenzsystems oder auch einem nicht oder nicht rechtzeitigen Erkennen einer eventuell gefährlichen Verkehrssituation muss jederzeit gerechnet werden. From a legal point of view, however, the driver always has full responsibility for his vehicle when using a driver assistance system. With a malfunction of the driver assistance system or a non-or not timely detection of a potentially dangerous traffic situation must be expected at any time.
Bei einem Fahrerassistenzsystem, das auf einer kamerabasierten Ampelerkennung und/oder auf einer Verkehrszeichenerkennung basiert, kann es beispielsweise auftreten, dass eine unerwartete, nicht vorhergesehene Verkehrssituation vom Fahrerassistenzsystem nicht erkannt wird. Dies könnte zum Beispiel dann der Fall sein, wenn der Verkehr anstatt durch Ampeln oder Verkehrsschilder durch einen Verkehrspolizisten geregelt wird. In a driver assistance system that is based on a camera-based traffic light recognition and / or on a traffic sign recognition, it may occur, for example, that an unexpected, unforeseen traffic situation is not recognized by the driver assistance system. This could be the case, for example, when traffic is regulated by a traffic cop instead of traffic lights or traffic signs.
Zwar gehen länderübergreifend die Weisungen von Polizisten allen anderen Anordnungen und sonstigen Regeln vor, allerdings ist es in einem gängigen Fahrerassistenzsystem mit einem Ampelassistenten und/oder einem Assistenten zur Erkennung von Verkehrszeichen bislang nicht vorgesehen, den von einem Polizisten kommenden Weisungen bzw. Anordnungen anstelle dem entsprechenden Ampel- oder Verkehrssignal Folge zu leisten. Der Erfindung liegt somit die Aufgabe zugrunde, ein Verfahren anzugeben, welches ein Fahrerassistenzsystem in die Lage versetzt, einen den Verkehr regelnden Polizisten wahrzunehmen. Although the instructions of police officers go to all other orders and other rules across borders, it is not yet provided in a standard driver assistance system with a traffic light assistant and / or an assistant for detecting traffic signs, the instructions or orders from a police officer instead of the corresponding Traffic or traffic signal to follow. The invention is thus based on the object of specifying a method which enables a driver assistance system to perceive a traffic policeman.
Weiter liegt der Erfindung die Aufgabe zugrunde, ein Fahrerassistenzsystem anzugeben, welches einen Polizisten wahrnehmen und entsprechend reagieren kann. Further, the invention has for its object to provide a driver assistance system, which perceive a police officer and can respond accordingly.
Die erstgenannte Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Erkennung eines Polizisten durch ein Fahrerassistenzsystem, wobei mittels einer fahrzeugseitigen Kamera Bilder vom Fahrzeugumfeld aufgenommen werden, wobei die Bilddaten der aufgenommenen Bilder mittels einer im Fahrerassistenzsystem hinterlegten Bildauswertung ausgewertet werden, und wobei anhand der ausgewerteten Bilddaten ein Polizist automatisch erkannt wird. The first object is achieved by a method for detecting a police officer by a driver assistance system, wherein images are taken from the vehicle environment by means of a vehicle-side camera, wherein the image data of the recorded images are evaluated by means of an image evaluation stored in the driver assistance system, and wherein based on the evaluated image data Policeman is automatically detected.
Ausgangspunkt bei der Lösungsfindung ist die Überlegung, dass ein modernes Fahrerassistenzsystem in der Lage ist, Verkehrssituation einzuschätzen und auszuwerten und damit aktiv oder passiv in die Fahrzeugführung einzugreifen. Ein gängiges System beinhaltet insbesondere einen Ampelassistenten und/oder einen Verkehrszeichenassistenten, die durch elektronische Bildauswertung den Zustand einer Verkehrssignalanlage erkennen und entsprechende Hinweise an einen Fahrer hinsichtlich des geforderten Fahrverhaltens (Anhalten bei Rot, Losfahren bei Grün etc.) ausgeben und so unterstützend in das Fahrverhalten eingreifen können. Die Erfindung sieht nun vor, in dem Fahrerassistenzsystem eine elektronische bzw. automatisierte Bildauswertung vorzusehen oder eine bereits vorhandene Bildauswertung in die Lage zu versetzen, die Bilddaten der aufgenommenen Bilder im Hinblick auf das Vorhandensein eines Polizisten auszuwerten. Ein Polizist oder eine Polizistin kann vorzugsweise mittels an sich bekannter Objekterkennungs- und Klassifikationsverfahren aus den aufgenommenen Bilddaten automatisch erkannt werden. Hierzu kann eine Unterklasse zu einer Objektklasse„Personen" vorgesehen sein, die für Polizisten typische Merkmale aufweist wie z.B. Kleidung (Polizeiuniform), Kopfbedeckung (Polizeimütze), Sicherheits- weste, Winkerkelle und/oder Trillerpfeife. Alternativ oder zusätzlich kann der Aufenthaltsort, die Körperhaltung und/oder Körperbewegung eines als„Person" erkannten Objekts zur Klassifikation als ein den Verkehr regelnder„Polizist" hinzugezogen werden. The starting point for finding a solution is the consideration that a modern driver assistance system is capable of assessing and evaluating the traffic situation and thus actively or passively intervening in the vehicle guidance. A common system includes in particular a traffic light assistant and / or a traffic sign assistant who recognize by electronic image analysis the state of a traffic signal system and appropriate instructions to a driver with regard to the required driving behavior (stop in red, start driving in green, etc.) spend and so supportive in driving can intervene. The invention now provides to provide an electronic or automated image analysis in the driver assistance system or to enable an already existing image analysis to evaluate the image data of the recorded images with regard to the presence of a police officer. A police officer may preferably be automatically recognized from the captured image data by means of per se known object recognition and classification methods. For this purpose, a subclass can be provided for an object class "persons" which has typical characteristics for police officers, for example clothing (police uniform), headgear (police hat), security vest, Winkerkelle and / or whistle. Alternatively or additionally, the location, posture and / or body movement of an object recognized as a "person" may be included for classification as a "policeman" regulating the traffic.
Durch die Erfindung wird ein Fahrerassistenzsystem, welches insbesondere mit einem Ampelassistenten und/oder einem Verkehrszeichenassistenten ausgestattet ist, in die Lage versetzt, einen den Verkehr regelnden Polizisten zu erkennen und insofern statt auf eine Ampel oder auf ein Verkehrsschild auf den Polizisten zu reagieren. Beispielsweise kann autonom oder teilautonom in die Führung des Kraftfahrzeugs eingegriffen werden, indem eine erkannte Ampelphase oder ein erkanntes Verkehrszeichen in ihrer Priorität zurückgestuft oder ignoriert werden. Auch kann der Fahrer durch das Fahrerassistenzsystem bei Erkennen eines Polizisten durch ein entsprechendes optisches und/oder akustisches Signal unmittelbar aufgefordert wird, die Kontrolle des Kraftfahrzeugs zu übernehmen und den Weisungen des Polizisten für die Dauer seiner Anwesenheit Folge zu leisten. Somit muss ein Fahrer im Falle einer solchen Sondersituation die Anweisungen des Polizisten im Sinne der Straßenverkehrsordnung richtig einordnen und selbstständig befolgen. Das Fahrerassistenzsystem als solches kann bei Erkennen des Polizisten also insbesondere dem Fahrer die vollständige Kontrolle überlassen. Erst nach dem Passieren der Sondersituation kann das Fahrerassistenzsystem wieder zur Unterstützung des Fahrers im Straßenverkehr eingesetzt werden. The invention enables a driver assistance system, which is equipped in particular with a traffic light assistant and / or a traffic sign assistant, to recognize a policeman controlling the traffic and to react to the police rather than to a traffic light or traffic sign. For example, the driver of the motor vehicle can intervene autonomously or partially autonomously by downgrading or ignoring a recognized traffic light phase or a recognized traffic sign in their priority. Also, the driver can be prompted by the driver assistance system upon detection of a police officer by a corresponding visual and / or acoustic signal to take control of the motor vehicle and to follow the instructions of the police officer for the duration of his presence. Thus, in the case of such a special situation, a driver must correctly classify the instructions of the police officer within the meaning of the Highway Code and follow them independently. The driver assistance system as such can thus give the driver complete control when the police officer is detected. Only after passing the special situation, the driver assistance system can be used again to support the driver in traffic.
Bei der im Fahrerassistenzsystem hinterlegten Bildauswertung kann es sich um eine geeignete gespeicherte Software und/oder um eine entsprechende Hardware handeln, wobei zur Erkennung des Polizisten auf dem Fachmann aus gängigen Bildverarbeitungssystemen bekannte Algorithmen zur Objekterkennung und/oder zur Fußgängererkennung zurückgegriffen werden kann. Dazu kann insbesondere auf im Fahrassistenzsystem hinterlegte Informationen zugegriffen werden und ein entsprechender Abgleich erfolgen. Bevorzugt werden anhand der ausgewerteten Bilddaten die von dem Polizisten gegebenen Anweisungen zur Regelung des Straßenverkehrs, insbesondere länderspezifisch, automatisch erkannt. Dies geschieht durch eine Identifikation der Körperstellung und/oder Körperhaltung und/oder Arm- und Beinstellung des erkannten Polizisten. Auch kann die eingesetzte Bildverarbeitung ertüchtigt werden, eine Kelle oder ein sonstiges Signalwerkzeug zu identifizieren, welches der Polizist in der Hand hält. Die Interpretation der erkannten Positionen des Polizisten im Sinne der entsprechend zugeordneten Anweisungen zur Regelung des Verkehrs erfolgt insbesondere länderspezifisch. Werden vom Fahrerassistenzsystem die vom Polizisten durch Körperhaltung etc. gegebenen Anweisungen erkannt, so kann das Fahrerassistenzsystem dem Fahrer unterstützend konkrete Hilfestellung zur Befolgung der erkannten Anweisungen leisten. Es ist aber auch möglich, dass das Fahrerassistenzsystem dann entsprechend der erkannten Anweisungen aktiv in die Fahrzeugführung eingreift und das Kraftfahrzeug entsprechend kontrolliert, insbesondere also beispielsweise einen Bremsvorgang auslöst. Dabei werden in dem Fahrerassistenzsystem die erkannten Zeichen und/oder Weisungen des Polizisten gegenüber einer erkannten Ampelphase oder einem erkannten Verkehrszeichen höher bewertet bzw. letzteres zur Kontrolle des Kraftfahrzeugs nicht herangezogen. The image analysis stored in the driver assistance system can be a suitable stored software and / or a corresponding hardware, whereby known algorithms for object recognition and / or pedestrian recognition can be used to recognize the police officer on the basis of conventional image processing systems. For this purpose, in particular, information stored in the driver assistance system can be accessed and a corresponding adjustment made. Based on the evaluated image data, the instructions given by the police officer for regulating road traffic, in particular country-specific, are preferably automatically recognized. This is done by an identification of the body position and / or posture and / or arm and leg position of the recognized police officer. Also, the image processor employed can be trained to identify a trowel or other signaling tool that the policeman holds in his hand. The interpretation of the detected positions of the police officer in the sense of the corresponding instructions assigned to regulate the traffic is particularly country-specific. If the instructions given by the police officer through posture, etc., are recognized by the driver assistance system, the driver assistance system can assist the driver with assistance in carrying out the recognized instructions. However, it is also possible that the driver assistance system then actively engages the vehicle guidance in accordance with the recognized instructions and controls the motor vehicle accordingly, in particular thus, for example, triggers a braking operation. In this case, in the driver assistance system, the recognized signs and / or instructions of the police officer are rated higher in relation to a detected traffic light phase or a recognized traffic sign, or the latter is not used to control the motor vehicle.
In einer vorteilhaften Ausführungsvariante werden zur Erkennung der Anweisungen des Polizisten oder auch nur des Polizisten als solchen zusätzlich akustische Signale des Polizisten, wie insbesondere der Signalton einer Trillerpfeife oder dergleichen, herangezogen. Dazu kann das Fahrerassistenzsystem beispielsweise mit einer entsprechenden Tonaufzeichnungsfunktion ausgestattet sein, und eine Tonanalysefunktion umfassen, so dass bestimmte Töne oder bestimmte typische Signal- bzw. Geräuschformen identifiziert werden können. In an advantageous embodiment, to detect the instructions of the police officer or even the police officer as such additional acoustic signals of the police officer, in particular the beep of a whistle or the like, used. For this purpose, the driver assistance system can be equipped, for example, with a corresponding sound recording function, and include an audio analysis function, so that specific sounds or certain typical signal or sound forms can be identified.
Eine Tonanalysefunktion kann auch dazu herangezogen werden, unabhängig von der Erkennung eines Polizisten, ein Einsatzfahrzeug zu erkennen, und diesem im Fahrerassistenzsystem den gleichen Vorrang oder dieselbe Priorisierung wie ei- nem Polizisten einzuräumen bzw. den Fahrer auf die Vorfahrt des Einsatzfahrzeugs hinzuweisen. An audio analysis function can also be used to recognize an emergency vehicle independently of the detection of a police officer, and to give it the same priority or the same prioritization in the driver assistance system as an emergency vehicle. Give a police officer or point out the driver of the emergency vehicle.
Die automatische Erkennung eines Polizisten und/oder dessen Anweisungen ermöglicht es dem Fahrerassistenzsystem auch, sich auf eine entsprechende Sondersituation bzw. Gefahrensituation im Straßenverkehr vorbereitend einzustellen und die Zeichen und Weisungen des Polizisten zu befolgen. So kann der Fahrer durch das Fahrerassistenzsystem beispielsweise gewarnt werden, wenn er sich mit seinem Fahrzeug einer üblicherweise durch eine Ampelschaltung geregelten Kreuzung nähert, und beispielsweise als Folge eines Unfalls oder einer ausgefallenen Ampelschaltung zur Verkehrsregelung ein Polizist eingesetzt ist. Das Fahrerassistenzsystem erkennt die Anwesenheit des Polizisten und/oder die entsprechend gegebenen Anweisungen hinsichtlich des geforderten Fahrverhaltens und reagiert entsprechend. Bereits durch eine zusätzliche Warnung wird die Aufmerksamkeit des Fahrers geschärft, so dass dieser auf den Polizisten reagieren kann, wodurch eine potentielle Unfallgefahr verringert ist. The automatic detection of a police officer and / or his instructions also allows the driver assistance system to prepare for a corresponding special situation or dangerous situation in traffic and to follow the signs and instructions of the police officer. For example, the driver can be warned by the driver assistance system when approaching his vehicle with a crossing that is usually controlled by a traffic light circuit, and a police officer is deployed, for example, as a result of an accident or a failed traffic light control. The driver assistance system recognizes the presence of the police officer and / or the corresponding instructions regarding the required driving behavior and reacts accordingly. Already by an additional warning the attention of the driver is sharpened, so that it can respond to the police, whereby a potential risk of accidents is reduced.
Entsprechend der Straßenverkehrsordnung der Bundesrepublik Deutschland wird durch einen Polizisten beispielsweise durch ein seitliches Ausstrecken eines Armes oder beider Arme quer zur Fahrtrichtung angezeigt, dass vor der Kreuzung ein Anhalten gefordert ist. Der Querverkehr ist freigegeben. Dies gilt fort, solange in der gleichen Richtung gewinkt oder diese Grundstellung beibehalten wird. Durch das Anheben eines Arms wird angezeigt, dass ein Verkehrsteilnehmer vor der Kreuzung auf das nächste Zeichen warten muss, Verkehrsteilnehmer in der Kreuzung müssen die Kreuzung räumen. Werden die Anweisungen länderspezifisch erkannt, wobei im Fahrerassistenzsystem entsprechende Informationen gespeichert sind, kann das Fahrerassistenzsystem zur Erkennung eines Polizisten ohne ein Nachrüsten auch bei Auslandsreisen sicher genutzt werden According to the Highway Code of the Federal Republic of Germany is indicated by a police officer, for example by a lateral extension of an arm or both arms transversely to the direction of travel that a stop is required before the intersection. The cross traffic is released. This is valid as long as the same direction is waved or this basic position is maintained. Lifting an arm indicates that a road user must wait for the next sign before the intersection, and road users at the intersection must clear the intersection. If the instructions are recognized country-specific, with corresponding information being stored in the driver assistance system, the driver assistance system can be used safely to detect a police officer without retrofitting even when traveling abroad
Die Anzahl der eingesetzten Kameras ist grundsätzlich variabel. Gegebenenfalls ist es von Vorteil, wenn mehrere Kameras am Fahrzeug angeordnet sind, die Bildaufnahmen des gesamten Fahrzeugumfeldes, ermöglichen. In einer bevorzugten Ausgestaltung wird bei Erkennen eines Polizisten und/oder bei Erkennen der von einem Polizisten gegebenen Anordnungen, wie bereits erwähnt, ein Signal an den Fahrer ausgegeben, dass die Verkehrsregelung von dem Polizisten übernommen wird. So kann sichergestellt werden, dass ein Fahrer trotz des Einsatzes des Fahrerassistenzsystems über die augenblickliche Verkehrssituation informiert ist und, falls nötig, gegebenenfalls selbstständig in den Fahrvorgang eingreifen kann. Das Signal enthält hierbei insbesondere Hinweise darüber, dass die Verkehrszeichenerkennung, die Ampelerkennung und die im System hinterlegten Vorfahrtsregelungen während der Verkehrsregelung durch den Polizisten nicht gelten. Die Ausgabe des Signals - akustisch, visuell im Fahrzeugdisplay oder haptisch - erfolgt vorzugsweise derart, dass es vom Fahrer einfach und intuitiv wahrgenommen werden kann, ohne dass er beispielsweise den Blick von der Fahrbahn abwenden muss. The number of cameras used is basically variable. Optionally, it is advantageous if multiple cameras are arranged on the vehicle, the images of the entire vehicle environment allow. In a preferred embodiment, when recognizing a police officer and / or recognizing the arrangements given by a police officer, as already mentioned, a signal is output to the driver that the traffic control is taken over by the police officer. This makes it possible to ensure that a driver is informed about the current traffic situation despite the use of the driver assistance system and, if necessary, can independently intervene in the driving process. In particular, the signal contains indications that the traffic sign recognition, the traffic light recognition and the priority rules stored in the system do not apply during the traffic control by the police officer. The output of the signal - acoustically, visually in the vehicle display or haptic - preferably takes place in such a way that it can be perceived simply and intuitively by the driver, without having to turn his eyes away from the road, for example.
In einer weiter vorteilhaften Ausgestaltung wird in Abhängigkeit der von einem Polizisten gegebenen Anordnungen ein Signal an den Fahrer hinsichtlich des geforderten Fahrverhaltens, also beispielsweise„Anhalten",„Losfahren" oder„Warten" etc., ausgegeben. Das Signal kann beispielsweise optisch durch eine Anzeige im Fahrzeugdisplay und/oder auch durch eine akustische Ansage erfolgen. In a further advantageous embodiment, depending on the arrangements given by a police officer, a signal is output to the driver with regard to the required driving behavior, for example "stopping", "driving off" or "waiting", etc. The signal can be displayed optically, for example in the vehicle display and / or also by an acoustic announcement.
Zweckmäßigerweise wird ein Fahrer bei der Aktivierung des Fahrerassistenzsystems darauf hingewiesen, dass im Falle einer Gefahrensituation oder einer Sondersituation im Straßenverkehr die Anordnungen eines den Verkehr regelnden Polizisten Vorrang vor dem jeweilig in das Fahrerassistenzsystem integrierten Ampelassistenten und/oder einem Verkehrsschildassistenten haben. Der Hinweis hierauf kann ebenfalls akustisch, optisch oder haptisch erfolgen. Weiter zweckmäßig ist ein entsprechender Hinweis auch im Benutzerhandbuch des jeweiligen Fahrzeugs hinterlegt. When activating the driver assistance system, it is expedient for a driver to point out that in the case of a dangerous situation or a special situation in traffic, the arrangements of a traffic policeman take precedence over the traffic light assistants integrated in the driver assistance system and / or a traffic sign assistant. The reference to this can also be done acoustically, optically or haptically. Further appropriate is a corresponding note also deposited in the user manual of the respective vehicle.
Vorteilhafterweise reagiert das Fahrerassistenzsystem automatisch auf die Anordnungen des Polizisten. Das Fahrerassistenzsystem ist dann in der Lage, die ermittelten Bilder des Polizisten und dessen Anordnungen so auszuwerten, dass das Fahrzeugverhalten selbstständig an die vorherrschende Verkehrssituation angepasst wird. Mit anderen Worten greift das Fahrerassistenzsystem aktiv in den Fahrbetrieb ein. Selbstverständlich ist auch bei einer solchen automatischen Reaktion des Fahrerassistenzsystems ein Übersteuern durch ein Eingreifen des Fahrers jederzeit möglich. Advantageously, the driver assistance system automatically reacts to the orders of the police officer. The driver assistance system is then able to To evaluate evaluated images of the police officer and his orders so that the vehicle behavior is independently adapted to the prevailing traffic situation. In other words, the driver assistance system actively intervenes in the driving operation. Of course, even with such an automatic response of the driver assistance system oversteer by intervention of the driver is possible at any time.
Bevorzugt erfolgt die Bildauswertung durch einen Abgleich mit im Fahrerassistenzsystem hinterlegten Bildern bzw. Bilddaten oder Bildinformationen. Hierzu sind im Fahrerassistenzsystem beispielsweise Bilder oder entsprechende Informationen hinterlegt, die die jeweiligen möglichen Weisungen eines Polizisten anzeigen. Auf den hinterlegten Bildern sind beispielsweise die Körperhaltungen eines Polizisten für die Weisungen„Anhalten",„Losfahren" und„Warten" erkennbar. Insbesondere sind diese Bilder oder Informationen länderspezifisch hinterlegt. The image evaluation preferably takes place by means of a comparison with images or image data or image information stored in the driver assistance system. For this purpose, for example, images or corresponding information are stored in the driver assistance system, which indicate the respective possible instructions of a police officer. For example, the pictures on the pictures show the posture of a police officer for the instructions "stopping", "driving off" and "waiting." In particular, these pictures or information are country-specific.
Im Falle einer Verkehrsregelung durch einen Polizisten können die von einer Fahrzeugkamera aufgenommenen Bilder des Polizisten mit den hinterlegten Bildern oder Informationen bzw. Bilddaten verglichen und bei einer Übereinstimmung der tatsächlichen Körperhaltung oder Position des Polizisten bzw. seiner Gliedmaßen mit den hinterlegten Informationen das Fahrzeug entsprechend gesteuert werden. In the case of traffic control by a police officer, the images of the police officer taken by a vehicle camera can be compared with the stored images or information or image data and the vehicle can be controlled accordingly if the actual posture or position of the police officer or his or her limbs matches with the stored information ,
Weiter bevorzugt erfolgt die Auswertung der mittels der Kamera aufgenommenen Bilder durch einen im Fahrerassistenzsystem hinterlegten entsprechenden Bilderkennungsalgorithmus. Hierbei wird beispielsweise zuerst eine Erkennung eines entsprechenden Objekts im Fahrzeugumfeld und anschließend eine entsprechende Klassifizierung des Objekts vorgenommen. Bei einem Verkehrspolizisten als erkanntes Objekt erfolgt die Klassifizierung vorzugsweise hinsichtlich seiner Position im Straßenverkehr, seiner Körperhaltung und der Ausrichtung und/oder Bewegung seiner Gliedmaßen. Die Bilderkennung mittels eines Bilderkennungsalgo- rithmus und mittels eines Abgleichs mit hinterlegten Daten können grundsätzlich auch kombiniert werden. Further preferably, the evaluation of the images recorded by means of the camera takes place by means of a corresponding image recognition algorithm stored in the driver assistance system. Here, for example, a recognition of a corresponding object in the vehicle environment and then a corresponding classification of the object is performed first. In a traffic cop as a recognized object, the classification is preferably carried out in terms of its position in the road, its posture and the alignment and / or movement of his limbs. The image recognition by means of an image recognition algorithm and by means of a comparison with stored data can in principle also be combined.
Die der Erfindung zugrundeliegende zweitgenannte Aufgabe wird erfindungsgemäß gelöst durch ein Fahrerassistenzsystem für ein Kraftfahrzeug zur Erkennung eines Polizisten, umfassend eine Kamera zur Aufnahme von Bildern im Fahrzeugumfeld und eine Auswerteeinheit zur Auswertung der mittels der Kamera aufgenommenen Bilder, wobei die Auswerteeinheit zu einer automatischen Erkennung eines Polizisten in den Bilddaten der aufgenommenen Bilder eingerichtet und ausgebildet ist. The second underlying object of the invention is achieved by a driver assistance system for a motor vehicle for detecting a police officer, comprising a camera for taking pictures in the vehicle environment and an evaluation unit for evaluating the images recorded by means of the camera, wherein the evaluation unit for automatic detection of a police officer is set up and designed in the image data of the recorded images.
Ein derartiges Fahrerassistenzsystem ermöglicht, wie bereits ausgeführt, im Falle der Sondersituation einer Verkehrsregelung durch einen Polizisten eine Reaktion auf diese Verkehrssituation. Bevorzugt werden hierbei auch die Anweisungen des erkannten Polizisten vom Fahrerassistenzsystem erkannt und entsprechende Maßnahmen ergriffen bzw. eingeleitet. Insbesondere werden hierbei vom Fahrerassistenzsystem die am Polizisten erkannten Anweisungen höher bewertet als vom Fahrerassistenzsystem detektierte Ampeln, Verkehrszeichen oder anderweitige Verkehrsregeln. Such a driver assistance system allows, as already stated, in the case of the special situation of a traffic control by a police officer, a reaction to this traffic situation. In this case, the instructions of the recognized police officer are also preferably recognized by the driver assistance system and appropriate measures are taken or initiated. In particular, the instructions recognized by the driver are rated higher by the driver assistance system than by the driver assistance system detected traffic lights, traffic signs or other traffic rules.
Weitere vorteilhafte Ausführungen ergeben sich aus den auf das Fahrerassistenzsystem gerichteten Unteransprüchen. Die hierzu für das Verfahren zur Erkennung eines Polizisten genannten Vorteile können sinngemäß auf das Fahrerassistenzsystem übertragen werden. Further advantageous embodiments emerge from the directed to the driver assistance system dependent claims. The advantages mentioned for the procedure for the detection of a police officer can be transferred analogously to the driver assistance system.
Im Folgenden wird ein Ausführungsbeispiel der Erfindung anhand einer Zeichnung näher erläutert. In the following an embodiment of the invention will be explained in more detail with reference to a drawing.
Fig. 1 zeigt hierzu eine schematische Darstellung eines Fahrerassistenzsystems 1 für ein Kraftfahrzeug. Mittels des Fahrerassistenzsystems 1 ist es möglich, einen den Verkehr regelnden Polizisten 3 und dessen Anweisungen zu erkennen und diese entsprechend zu befolgen. Das Fahrerassistenzsystem 1 umfasst eine Kamera 5 zur Aufnahme von Bildern im Fahrzeugumfeld 7 sowie eine Auswerteeinheit 9 zur Auswertung der mittels der Kamera 5 aufgenommenen Bilder. Die Auswerteeinheit 9 ist hierbei zur automatischen Erkennung der von dem Polizisten gegebenen Anweisungen eingerichtet und ausgebildet. 1 shows a schematic representation of a driver assistance system 1 for a motor vehicle. By means of the driver assistance system 1, it is possible to detect a police policing the traffic 3 and its instructions and to follow them accordingly. The driver assistance system 1 comprises a Camera 5 for taking pictures in the vehicle environment 7 and an evaluation unit 9 for evaluating the images recorded by means of the camera 5. The evaluation unit 9 is hereby set up and configured for automatically recognizing the instructions given by the police officer.
Die Kamera 5, bzw. eine Mehrzahl von Kameras, nimmt während des Betriebs des Fahrzeugassistenten kontinuierlich Bilder vom Fahrzeugumfeld 7 auf. Wenn ein Polizist den Verkehr regelt, beispielsweise im Fall eines Unfalls auf einer Kreuzung, so werden mit der Kamera 5 Bilder aufgenommen, die den Polizisten 3 zeigen. Diese Bilder bzw. die entsprechenden Bilddaten werden in der Auswerteeinheit 9 automatisiert mit dort hinterlegten Bildern bzw. Bilddaten verglichen. Aus dem Vergleich kann das Fahrerassistenzsystem 1 zunächst unmittelbar auf das Vorhandensein eines Polizisten schließen, z.B. durch Erkennung einer„Person" auf oder neben der Fahrbahn, insbesondere bei einer Kreuzung bzw. Ampel. Die „Person" kann weitergehend als„Polizist" klassifiziert werden anhand der erkannten typischen Kleidung (Polizeimantel bzw. -uniform und Polizeimütze als Kopfbedeckung) Durch eine weitere Analyse und/oder durch einen weiteren Vergleich mit entsprechenden Bildern bzw. Bilddaten, die einen Polizisten in unterschiedlichen jeweils einer konkreten Anweisung zur Regelung des Verkehrs entsprechenden Körperhaltung oder Position zeigen, wird die aufgenommene Position bzw. Körperhaltung des Polizisten einer konkreten Anweisung, wie„Anhalten", „Warten" oder„Losfahren" zugeordnet. The camera 5, or a plurality of cameras, takes continuously pictures of the vehicle surroundings 7 during the operation of the vehicle assistant. When a police officer regulates the traffic, for example in the event of an accident at an intersection, the camera 5 takes pictures which show the police officer 3. These images or the corresponding image data are automatically compared in the evaluation unit 9 with there stored images or image data. From the comparison, the driver assistance system 1 can first of all immediately infer the presence of a police officer, e.g. by recognizing a "person" on or next to the roadway, in particular at a crossroads or traffic light.The "person" can be further classified as a "policeman" on the basis of the detected typical clothing (police coat or uniform and police hat as headgear) Further analysis and / or by a further comparison with corresponding images or image data showing a police officer in each case a specific instruction for regulating the traffic corresponding posture or position, the recorded position or posture of the police officer of a specific instruction, such as " Pause, Wait or Drop Off.
Nach der Auswertung wird in einer der Auswerteeinheit 9 angeschlossenen Sig- nalisierungseinheit 1 1 ein Signal generiert und an den Fahrer ausgegeben. Das Signal wird beispielsweise optisch, durch Anzeige der identifizierten Anweisung bzw. der entsprechend der Anweisung geforderten Handlung im Fahrerdisplay, oder akustisch, durch Ansage der identifizierten Anweisung bzw. der geforderten Handlung, ausgegeben. Alternativ oder parallel zur Signalausgabe kann das Fahrerassistenzsystem auch unterstützend in den Fahrzeugbetrieb eingreifen und beispielsweise einen Bremsvorgang einleiten. Die gezeigten Komponenten des Fahrerassistenzsystems 1 stellen vorliegend lediglich den Teil der eingesetzten Systemkomponenten dar, die zur Erkennung des Polizisten dienen. Weitere Komponenten, wie solche, die zur Erkennung von Ampeln und Verkehrszeichen eingesetzt werden, ebenso wie mehrere Kameras zur seitlichen und rückseitigen Überwachung des Fahrzeugumfeldes sind in der vorliegenden Fig. 1 nicht gezeigt, aber selbstverständlich möglich. Vom Fahrerassistenzsystem bereits erkannte Ampelphasen oder Verkehrszeichen, insbesondere die heraus zu folgernden bzw. abgeleiteten Handlungen, Hinweise oder Kontrollen in der Fahrzeugführung werden ignoriert. After the evaluation, a signal is generated in a signal unit 1 1 connected to the evaluation unit 9 and output to the driver. The signal is output, for example optically, by displaying the identified instruction or the action required in the driver's display according to the instruction, or acoustically, by announcing the identified instruction or the required action. Alternatively or in parallel with the signal output, the driver assistance system can also intervene in support of vehicle operation and, for example, initiate a braking process. In the present case, the components of the driver assistance system 1 shown merely represent the part of the system components used to identify the police officer. Other components, such as those used for the detection of traffic lights and traffic signs, as well as multiple cameras for side and rear monitoring of the vehicle environment are not shown in the present Fig. 1, but of course possible. Traffic light phases or traffic signs already recognized by the driver assistance system, in particular the actions to be deduced or derived from, indications or checks in the vehicle guidance, are ignored.
Bezugszeichenliste LIST OF REFERENCE NUMBERS
FahrerassistenzsystemDriver assistance system
Polizist police officer
Kamera  camera
Fahrzeugumfeld Auswerteeinheit Signalisierungseinheit  Vehicle environment Evaluation unit Signaling unit

Claims

Ansprüche claims
1 . Verfahren zur Erkennung eines Polizisten durch ein Fahrerassistenzsys- tems (1 ) eines Kraftfahrzeugs, 1 . Method for identifying a police officer by a driver assistance system (1) of a motor vehicle,
wobei mittels einer fahrzeugseitigen Kamera (5) Bilder vom Fahrzeugumfeld aufgenommen werden, wobei die Bilddaten der aufgenommenen Bilder mittels einer im Fahrerassistenzsystem (1 ) hinterlegten Bildauswertung ausgewertet werden, und wobei anhand der ausgewerteten Bilddaten ein Polizist automatisch erkannt wird.  wherein images of the vehicle surroundings are recorded by means of a vehicle-side camera (5), the image data of the recorded images being evaluated by means of an image evaluation stored in the driver assistance system (1), and a police officer being automatically recognized on the basis of the evaluated image data.
2. Verfahren nach Anspruch 1 , 2. The method according to claim 1,
wobei anhand der ausgewerteten Bilddaten von dem Polizisten gegebene Anweisungen zur Regelung des Straßenverkehrs, insbesondere länderspezifisch, automatisch erkannt werden.  wherein based on the evaluated image data given by the police instructions for the regulation of road traffic, in particular country-specific, are automatically detected.
3. Verfahren nach Anspruch 2, 3. The method according to claim 2,
wobei zur Erkennung der Anweisungen zusätzlich akustische Signale des Polizisten herangezogen werden.  in addition, acoustic signals from the police officer are used to identify the instructions.
4. Verfahren nach einem der vorhergehenden Ansprüche, 4. The method according to any one of the preceding claims,
wobei bei Erkennen des Polizisten ein Signal an den Fahrer ausgegeben wird, dass die Verkehrsregelung von dem Polizisten übernommen ist.  wherein upon detection of the police officer, a signal is output to the driver that the traffic control has been taken over by the police officer.
5. Verfahren nach Anspruch 4, 5. The method according to claim 4,
wobei in Abhängigkeit der von dem Polizisten gegebenen Anordnungen ein Signal an den Fahrer hinsichtlich des geforderten Verkehrsverhaltens ausgegeben wird.  wherein, depending on the orders given by the policeman, a signal is issued to the driver regarding the required traffic behavior.
6. Verfahren nach einem der Ansprüche 2 bis 5, 6. The method according to any one of claims 2 to 5,
wobei das Fahrerassistenzsystem (1 ) automatisch auf die erkannten Anordnungen des Polizisten reagiert. wherein the driver assistance system (1) automatically reacts to the detected orders of the police officer.
7. Verfahren nach einem der vorhergehenden Ansprüche, 7. The method according to any one of the preceding claims,
wobei die Bilddaten durch Abgleich mit im Fahrerassistenzsystem (1 ) hinterlegten Bildern ausgewertet werden.  wherein the image data are evaluated by comparison with images stored in the driver assistance system (1).
8. Verfahren nach einem der vorhergehenden Ansprüche, 8. The method according to any one of the preceding claims,
wobei die Bilddaten mittels eines im Fahrerassistenzsystem (1 ) hinterlegten Algorithmus zur Objekterkennung ausgewertet werden.  wherein the image data are evaluated by means of an algorithm for object recognition stored in the driver assistance system (1).
9. Fahrerassistenzsystem (1 ) für ein Kraftfahrzeug zur Erkennung eines Polizisten, umfassend eine Kamera (5) zur Aufnahme von Bildern im Fahrzeugumfeld (7) und eine Auswerteeinheit (9) zur Auswertung der mittels der Kamera (5) aufgenommenen Bilder, 9. driver assistance system (1) for a motor vehicle for detecting a policeman, comprising a camera (5) for taking pictures in the vehicle environment (7) and an evaluation unit (9) for evaluating the images recorded by means of the camera (5),
wobei die Auswerteeinheit (9) zu einer automatischen Erkennung eines Polizisten in den Bilddaten der aufgenommenen Bilder eingerichtet und ausgebildet ist.  wherein the evaluation unit (9) is set up and configured to automatically detect a police officer in the image data of the captured images.
10. Fahrerassistenzsystem (1 ) nach Anspruch 9, 10. driver assistance system (1) according to claim 9,
wobei die Auswerteeinheit (9) zu einer automatischen, insbesondere länderspezifischen, Erkennung der von dem Polizisten gegebenen Anordnungen eingerichtet und ausgebildet ist.  wherein the evaluation unit (9) is set up and configured for an automatic, in particular country-specific, recognition of the arrangements given by the police officer.
1 1 . Fahrerassistenzsystem (1 ) nach Anspruch 9 oder 10, umfassend eine mit der Auswerteeinheit (9) verbundene Signalisierungseinheit (1 1 ), die eingerichtet und ausgebildet ist im Falle der Erkennung des Polizisten ein Signal an den Fahrer auszugeben. 1 1. Driver assistance system (1) according to claim 9 or 10, comprising a signaling unit (1 1) connected to the evaluation unit (9), which is set up and designed to output a signal to the driver in the event of detection of the police officer.
12. Fahrerassistenzsystem (1 ) nach Anspruch 1 1 , 12. driver assistance system (1) according to claim 1 1,
wobei die Signalisierungseinheit (1 1 ) derart eingerichtet und ausgebildet ist, dass sie in Abhängigkeit der von dem Polizisten gegebenen Anordnungen ein Signal hinsichtlich des geforderten Verkehrsverhaltens an den Fahrer ausgibt. wherein the signaling unit (1 1) is arranged and configured such that it outputs a signal regarding the required traffic behavior to the driver depending on the arrangements given by the police officer.
13. Fahrerassistenzsystem (1 ) nach einem der Ansprüche 9 bis 12, das zur automatischen Reaktion auf die erkannten Anordnungen des Polizisten eingerichtet und ausgebildet ist. 13. Driver assistance system (1) according to one of claims 9 to 12, which is set up and designed for automatic response to the detected arrangements of the police officer.
14. Fahrerassistenzsystem (1 ) nach einem der Ansprüche 9 bis 13, 14. driver assistance system (1) according to any one of claims 9 to 13,
wobei in der Auswerteeinheit (9) Bilder zum Abgleich mit den vom Fahrzeugumfeld aufgenommenen Bildern hinterlegt sind.  wherein in the evaluation unit (9) images are stored for comparison with the captured from the vehicle environment images.
15. Fahrerassistenzsystem (1 ) nach einem der Ansprüche 9 bis 14, 15. Driver assistance system (1) according to one of claims 9 to 14,
wobei in der Auswerteeinheit (9) ein Algorithmus zur Objekterkennung hinterlegt ist.  wherein in the evaluation unit (9) an algorithm for object recognition is stored.
PCT/DE2014/200332 2013-09-23 2014-07-18 Method for detecting a traffic police officer by means of a driver assistance system of a motor vehicle, and driver assistance system WO2015039654A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013219038.7 2013-09-23
DE201310219038 DE102013219038A1 (en) 2013-09-23 2013-09-23 A method for detecting a traffic cop by a driver assistance system of a motor vehicle and a driver assistance system

Publications (2)

Publication Number Publication Date
WO2015039654A2 true WO2015039654A2 (en) 2015-03-26
WO2015039654A3 WO2015039654A3 (en) 2015-07-02

Family

ID=51292771

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2014/200332 WO2015039654A2 (en) 2013-09-23 2014-07-18 Method for detecting a traffic police officer by means of a driver assistance system of a motor vehicle, and driver assistance system

Country Status (2)

Country Link
DE (1) DE102013219038A1 (en)
WO (1) WO2015039654A2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109427199A (en) * 2017-08-24 2019-03-05 北京三星通信技术研究有限公司 For assisting the method and device of the augmented reality driven
WO2020144339A1 (en) * 2019-01-11 2020-07-16 Robert Bosch Gmbh Method for automatically controlling a vehicle, and controller
EP3720751A4 (en) * 2018-10-25 2021-07-14 Samsung Electronics Co., Ltd. Augmented reality method and apparatus for driving assistance

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014212898A1 (en) * 2014-07-03 2016-01-07 Robert Bosch Gmbh Method for determining an emergency trajectory and method for partially automated or automated guidance of an ego vehicle
DE102015004605B4 (en) * 2015-04-08 2021-01-14 Audi Ag Method of operating a control system of a mobile unit and mobile unit
US10909389B2 (en) * 2016-09-20 2021-02-02 Apple Inc. Traffic direction gesture recognition
US10127818B2 (en) * 2017-02-11 2018-11-13 Clear Commute Ventures Pty Ltd Systems and methods for detecting and avoiding an emergency vehicle in the proximity of a substantially autonomous vehicle
US10831194B2 (en) 2017-07-25 2020-11-10 Ford Global Technologies, Llc Method and device that recognizes road users in an environment of a vehicle
DE102018200814B3 (en) 2018-01-18 2019-07-18 Audi Ag Method for operating a fully automatic guidance of a motor vehicle trained vehicle guidance system of the motor vehicle and motor vehicle
DE102018213600A1 (en) * 2018-08-13 2020-02-13 Conti Temic Microelectronic Gmbh - gesture recognition device for a vehicle -

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602006003096D1 (en) * 2006-08-04 2008-11-20 Harman Becker Automotive Sys Method and system for processing voice commands in a vehicle environment
ATE424329T1 (en) * 2006-10-02 2009-03-15 Harman Becker Automotive Sys VOICE CONTROL OF VEHICLE ELEMENTS FROM OUTSIDE A VEHICLE CABIN
DE102008062915B4 (en) * 2008-12-23 2019-10-24 Continental Safety Engineering International Gmbh Detecting people, especially pedestrians
US7983450B2 (en) * 2009-03-16 2011-07-19 The Boeing Company Method, apparatus and computer program product for recognizing a gesture
DE102009030274A1 (en) * 2009-06-24 2010-01-21 Daimler Ag Opening and closing system for e.g. cover of saloon car, has motion sensor assigned to detecting device, where opening or closing of door, cover or lid is initiated by movement of authorized person through motion sensor
DE102010055795A1 (en) * 2010-12-23 2012-06-28 Continental Automotive Gmbh Method for outputting information
CN102122350B (en) * 2011-02-24 2012-08-22 浙江工业大学 Skeletonization and template matching-based traffic police gesture identification method
CN202650030U (en) * 2012-07-11 2013-01-02 长安大学 Vehicle-mounted traffic gesture recognition device
DE102013004271A1 (en) * 2013-03-13 2013-09-19 Daimler Ag Method for assisting driver during driving vehicle on highway, involves detecting and classifying optical and acoustic environment information, and adjusting variably vehicle parameter adjusted based on classification results

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109427199A (en) * 2017-08-24 2019-03-05 北京三星通信技术研究有限公司 For assisting the method and device of the augmented reality driven
EP3720751A4 (en) * 2018-10-25 2021-07-14 Samsung Electronics Co., Ltd. Augmented reality method and apparatus for driving assistance
US11767024B2 (en) 2018-10-25 2023-09-26 Samsung Electronics Co., Ltd. Augmented reality method and apparatus for driving assistance
WO2020144339A1 (en) * 2019-01-11 2020-07-16 Robert Bosch Gmbh Method for automatically controlling a vehicle, and controller

Also Published As

Publication number Publication date
DE102013219038A1 (en) 2015-03-26
WO2015039654A3 (en) 2015-07-02

Similar Documents

Publication Publication Date Title
WO2015039654A2 (en) Method for detecting a traffic police officer by means of a driver assistance system of a motor vehicle, and driver assistance system
EP3256353B1 (en) Method and device for monitoring a vehicle which is in an autonomous operating mode and is located in a parking space
DE102013019424B4 (en) Method for operating a vehicle system for monitoring a driver and motor vehicle
EP3478548B1 (en) Method for operating a motor vehicle
DE102009019702B4 (en) Method and device for requesting a handover to the vehicle driver
DE102015204122A1 (en) Traffic light assistance system for a vehicle with a display device
DE102017208159A1 (en) Method for operating a driver assistance device of a motor vehicle, driver assistance device and motor vehicle
DE102018131466A1 (en) Method for at least partially automated operation of a vehicle
DE102012210252A1 (en) Formation of a rescue lane
WO2015000882A1 (en) Assistance system and assistance method for support when controlling a motor vehicle
DE102013013865B3 (en) Method for operating a motor vehicle with a safety system and a fully automatic driver assistance system and motor vehicle
DE102010014499B4 (en) Method for operating a lane keeping assistance system for multi-lane turning in a motor vehicle
DE102012023107B4 (en) Method for operating a driver assistance system of a motor vehicle and motor vehicle
DE102012001741A1 (en) Apparatus and method for monitoring the operation of a vehicle and apparatus and method for warning the driver
DE102012009623A1 (en) Method for assisting parking process in vehicle, involves recognizing parking position and detecting gestures of user located outside vehicle, where target values are determined for steering angle depending on detected gestures
DE102015004605B4 (en) Method of operating a control system of a mobile unit and mobile unit
DE112017007082T5 (en) OPERATIONAL SWITCH SUPPORT DEVICE AND OPERATING SWITCH SUPPORT PROCESS
DE102014009625A1 (en) Method for operating a motor vehicle
DE102012008660A1 (en) Method for assisting driver while driving vehicle, involves informing and/or warning driver about driving condition in escalation steps, such that automatic intervention takes place by longitudinal and/or lateral control of vehicle
EP4132830B1 (en) Method for operating a driver assistance system of a vehicle, comprising driver moderation for partially-automated functions, driver assistance system, and vehicle
DE102015210780A1 (en) Method and control unit for communication between an autonomous vehicle and an occupant
DE102015209671B4 (en) Driver assistance system for crossing a railroad crossing
DE102020117340A1 (en) A method for capturing the surroundings with at least two independent imaging sensors for capturing the surroundings, a device for carrying out the method, a vehicle and a correspondingly designed computer program
DE102014105374B4 (en) Driver assistance system
DE102009021283A1 (en) Device for assisting vehicle driver during observation to operation mode according to driving instruction, has unit to deliver information obtained from environment data to driver and traffic lane change reference information to lane

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14747823

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 1120140043486

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14747823

Country of ref document: EP

Kind code of ref document: A2