WO2018095640A1 - Verfahren und system zum detektieren eines sich innerhalb eines parkplatzes befindenden erhabenen objekts - Google Patents

Verfahren und system zum detektieren eines sich innerhalb eines parkplatzes befindenden erhabenen objekts Download PDF

Info

Publication number
WO2018095640A1
WO2018095640A1 PCT/EP2017/075608 EP2017075608W WO2018095640A1 WO 2018095640 A1 WO2018095640 A1 WO 2018095640A1 EP 2017075608 W EP2017075608 W EP 2017075608W WO 2018095640 A1 WO2018095640 A1 WO 2018095640A1
Authority
WO
WIPO (PCT)
Prior art keywords
detected
raised object
raised
video images
video
Prior art date
Application number
PCT/EP2017/075608
Other languages
English (en)
French (fr)
Inventor
Stefan Nordbruch
Felix Hess
Andreas Lehn
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to JP2019547763A priority Critical patent/JP6806920B2/ja
Priority to CN201780072475.3A priority patent/CN109983518B/zh
Priority to EP17780746.8A priority patent/EP3545506A1/de
Priority to US16/461,953 priority patent/US11080530B2/en
Publication of WO2018095640A1 publication Critical patent/WO2018095640A1/de

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/097—Supervising of traffic control systems, e.g. by giving an alarm if two crossing streets have green light simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the invention relates to a method for detecting a raised object located within a parking space, for example a parking garage, in particular within a driving path of a parking space.
  • the invention further relates to a system for detecting a raised object located within a parking space, for example a parking garage, in particular within a driving path of a parking space.
  • the invention further relates to a parking lot.
  • the invention further relates to a computer program.
  • the published patent application DE 10 2015 201 209 A1 shows a valet parking system for the automatic transfer of a vehicle from a transfer zone to an assigned parking space within a predetermined parking space.
  • the known system comprises a parking space monitoring system with at least one stationarily arranged sensor unit.
  • the parking lot monitoring system is designed to run within the given parking space
  • the object on which the invention is based is to provide a concept for the efficient detection of a raised object located within a parking space, for example a parking garage, in particular within a driving path of a parking space. This object is achieved by means of the subject matter of the independent claims. Advantageous embodiments of the invention are the subject of each dependent subclaims.
  • Overlapping area overlaps comprising the following steps:
  • Detection of a raised object the detected raised object is real.
  • a system for detecting a raised object located within a parking lot the system being configured to perform the method of detecting a raised object located within a parking lot.
  • a parking lot which includes the system for detecting a raised object located within a parking lot.
  • a computer program comprising program code for performing the method of detecting a raised object located within a parking lot when the computer program is executed on a computer.
  • the invention is based on the finding that the above object can be achieved by the fact that based on successively recorded
  • Video images is checked whether an initially detected raised object real is or not. This means, in particular, that a result, which was determined based on the video images recorded for the first time, wherein the result indicates that a raised object was detected, is verified or checked by temporal tracking of the first detected object.
  • the object detected for the first time can be made efficiently plausible. For, as a rule, it is the case, for example, that an object can not suddenly disappear.
  • the object, if it is actually real, should also be detected in an analysis of video images taken in time to the video image in which the object was first detected, and there, for example, have the same properties as before.
  • the technical advantage is achieved that false alarms can be reduced or avoided, which advantageously allows efficient operation of the parking lot and, for example, an efficient operation of driving without drivers within the parking lot
  • the technical advantage is achieved that objects can be recognized efficiently, so that a collision with such objects can be prevented.
  • the technical advantage is brought about that a concept for efficiently detecting a raised object located within a parking lot can be provided.
  • the video images are transformed into a bird's eye view, so be rectified.
  • the rectified video images are then compared. For example, if all of the rectified video images of the overlap area have no differences, ie are the same or identical, or have differences which are at most a predetermined tolerance value
  • Video camera is not the same as the other video cameras.
  • Video image of the other video cameras to distinguish a difference greater than the predetermined tolerance value.
  • a sublime object is detected.
  • a result is determined that indicates that a raised object has been detected.
  • a raised object can be efficiently detected by means of the at least two video cameras.
  • a parking space in the sense of the description is in particular a parking lot for motor vehicles.
  • the parking lot is for example a parking garage or a
  • An object to be detected is located, for example, within a driving path of the parking lot.
  • a raised object refers in particular to an object whose height is at least 10 cm relative to a floor of the parking lot.
  • the raised object is located, for example, on a floor of the
  • Parkplatzes for example, on a roadway or within a
  • Driving range so for example within a driving tube
  • a rectification of the recorded video images comprises in particular respectively a transformation of the recorded ones
  • Video images in the bird's eye view This means, in particular, that the recorded video images are transformed, for example, into a birds-eye view. As a result, the subsequent comparison can be carried out particularly efficiently in an advantageous manner.
  • Video images in the sense of this description also include in particular the case where the image information or the video images differ by a maximum of a predetermined tolerance value.” Only differences greater than the predetermined tolerance value result in a detection of an object small differences in the
  • Brightness and / or color information are allowed to make the statement that the image information or the video images are the same or the same or are identical, as long as the differences are smaller than the predetermined tolerance value.
  • step c) comprises determining an object speed, wherein the determined object speed is compared with a predetermined object speed threshold value, it being determined depending on the comparison whether the detected raised object is real.
  • the technical advantage is brought about that it can be efficiently determined whether the detected raised object is real. Because for real objects within a parking lot, certain speeds are usually expected. For example, an object speed of 150 km / h is not plausible. In this case, the detected object is not real.
  • An object speed threshold is, for example, 60 km / h,
  • step c) comprises determining a movement of the detected raised object, wherein it is determined whether the movement of the detected raised object is plausible, it being determined depending on the plausibility check, whether the detected raised object is real ,
  • the technical advantage is brought about that it can be efficiently determined whether the detected raised object is real. Because for real objects within a parking lot, certain movements are usually expected. Objects of the order of magnitude of a motor vehicle can not move vertically upward or change direction by 90 °. For smaller objects, no such statement can be made, because, for example, people can jump in the air. Determining the plausibility of the movement is performed, for example, depending on a size of the detected object. Objects that have a size that is in the
  • Magnitude of a motor vehicle is subject, for example, the above-mentioned movement restrictions.
  • step c) comprises determining whether, and if so, at which location in the video images, the detected sublime object moves into the respective video image or moves out of the respective video image.
  • the detected raised object is real if the detected object moves in the edge as a location in the respective video image respectively moves out of the respective video image at the edge as a location.
  • the detected raised object is not real if the detected object appears within the video image in the video image, respectively, disappears within the video image from the video image without having traversed the edge of the video image.
  • This embodiment is based on the recognition that raised objects in a scene (in this case the video images) can only move over the edge of the scene or leave the scene again only via the edge. In the middle of a scene, within the scene, an object can not appear or appear or disappear.
  • the technical advantage is brought about that it can be efficiently determined whether the detected raised object is real.
  • Classifying the detected raised object it is determined depending on the classification, whether the detected raised object is real. As a result, for example, the technical advantage is brought about that it can be efficiently determined whether the detected raised object is real. Because within a parking lot usually only certain objects are expected. In addition, the knowledge about the object type or the type of the object can be efficiently used for determining whether the detected object is real.
  • step c) includes checking whether the classification changes over time, wherein determining whether the object is real is performed in response to that check. In particular, when a change is detected, it is determined that the object is not real. Especially if no
  • the classification includes, for example, that a size, that is to say in particular a length and / or a height and / or a width, of the detected object is determined.
  • step c) comprises determining a dynamic property of the detected object, wherein the determined dynamic property of the detected object with a
  • predetermined reference value is determined, it being determined depending on the comparison, whether the detected raised object is real.
  • a dynamic property is, for example, a speed, an acceleration, a direction of movement.
  • an object-specific speed threshold value is determined as the
  • Object speed threshold is specified for the comparison.
  • the technical advantage is achieved that determining whether the detected object is real can be carried out object-specifically.
  • an object-specific reference value is predetermined for the comparison with the determined dynamic property.
  • the technical advantage is achieved that determining whether the detected object is real can be carried out object-specifically.
  • the technical advantage is achieved that determining whether the detected object is real can be carried out object-specifically.
  • This embodiment is based on the recognition that different objects move differently.
  • a person usually moves differently than a motor vehicle.
  • a person can turn on the spot, which a motor vehicle usually can not.
  • persons have different movement profiles than motor vehicles.
  • a sublime object can not even be a motor vehicle and later a pedestrian.
  • a detected object is classified into one of the following classes of object types: motor vehicle, pedestrian, cyclist, animal,
  • Motor vehicles ordering a service personnel to the video cameras, performing a functional check of the video cameras, adjusting a respective target trajectory to be traveled by motor vehicles driving inside the parking lot to bypass a portion of the parking area comprising the overlapping area, shutting off the
  • Overlapping portion of the parking lot shutting off a parking space comprising the overlapping area, sending an error message to an operator via a communication network.
  • n video cameras are used, where n is greater than or equal to 3, wherein an object is detected when, based on the comparison, it is determined that there is already a
  • Overlap range from the other recorded overlap ranges or that at least m overlap ranges are different from the other overlap ranges, where m is greater than 1 and less than n, or that all n overlap ranges are different.
  • the more cameras are used and the more overlap areas should differ the more accurate the concept according to the invention, that is to say in particular the method according to the invention, can narrow down the footprint of the raised object.
  • the overlapping area is illuminated differently relative to at least one video camera compared to the other video cameras. This causes, for example, the technical advantage that an object can be detected efficiently. Because if one side of the object is preferred or illuminated differently than other sides of the object, it is possible to identify differences in the recorded video images in an efficient manner particularly easily and efficiently.
  • That the overlap area is differently illuminated relative to at least one video camera compared to the other video cameras means, for example, that a light source is located within the parking lot that illuminates the overlap area from the direction of the at least one video camera.
  • a light source is located within the parking lot that illuminates the overlap area from the direction of the at least one video camera.
  • no illumination ie no further light sources, is provided from the directions of the other video cameras or different illuminations are provided, for example light sources which are operated with different light intensities.
  • the overlapping area comprises a driving area for motor vehicles.
  • the parking space is set up or designed to execute or execute the method for detecting a raised object located within a parking space.
  • Car parked raised object is executed or carried out.
  • n video cameras are provided, where n is greater than or equal to 3.
  • step b determining a result, whether in the
  • Detecting overlapping areas detecting a raised object based on the comparison. That is to say, in particular, according to one embodiment, a data processing device is provided which is designed to carry out one or more or all of the steps described above.
  • the data processing device comprises, for example, one or more processors, which are for example comprised by at least one of the following elements: video camera or video cameras and / or arithmetic unit, which is different from the video cameras.
  • At least one of the steps listed above in connection with the data processing device is performed by means of at least one of the video cameras and / or by means of a computing unit which is different from the video cameras.
  • the computing unit has the technical advantage of efficiently creating redundancy. If the video camera the
  • the technical advantage causes the video camera is used efficiently.
  • a lighting device is provided.
  • the illumination device is designed to illuminate the overlapping area differently relative to at least one video camera compared to the other video cameras.
  • the lighting device comprises, for example, one or more
  • Light sources which are arranged spatially distributed within the parking lot.
  • the light sources are arranged, for example, such that the
  • Overlapping area is illuminated differently from different directions.
  • the overlapping area is spot-like illuminated from a preferred direction, for example by means of the illumination device.
  • the overlapping area is illuminated from a single direction.
  • the light sources are arranged, for example, on a ceiling or on a pillar or on a wall, generally on an infrastructure element of the parking lot.
  • n is greater than or equal to 3.
  • Overlap area is monitored by exactly three or from exactly four video cameras, their respective field of view in the respective
  • Overlap area overlaps In one embodiment, it is provided that a plurality of video cameras are provided, respectively, whose respective viewing area each overlap in an overlapping area. This means, in particular, that here several overlapping areas are detected by means of a plurality of video cameras, that is to say in particular monitored.
  • one or more respectively all video cameras are arranged at a height of at least 2 m, in particular 2.5 m, relative to a floor of the parking lot.
  • 1 is a flowchart of a method for detecting a raised object located within a parking lot
  • Fig. 4 shows two video cameras that monitor a floor of a parking lot
  • FIG. 5 shows the two video cameras of FIG. 4 in detecting a raised object
  • FIG. 1 shows a flow diagram of a method for detecting a raised object located within a parking space using at least two video cameras spatially distributed within the parking space, the respective viewing area of which overlaps in an overlapping area.
  • the method comprises the following steps:
  • Step 103 or step 105 includes, for example, the following steps:
  • the step of rectification comprises in particular that the recorded video images are transformed into a bird's-eye view. This has the technical advantage in particular that the video images can then be compared efficiently.
  • a detected raised object may be classified, for example, as follows: motor vehicle, pedestrian, cyclist, animal, stroller, miscellaneous.
  • Fig. 2 shows a system 201 for detecting a within a
  • the system 201 is configured to perform or perform the method of detecting a raised object located within a parking lot.
  • the system 201 includes, for example:
  • a data processing device 205 configured to perform one or more of the following steps: step b), step c), determining a result of whether a raised object has been detected in the captured video images, detecting a raised object in the captured video images, determining whether the detected raised object is real, rectifying the captured video image, comparing the respective rectified video image with each other to detect a difference in the captured overlap areas, detecting a raised object based on the comparison.
  • Fig. 3 shows a parking lot 301.
  • the parking lot 301 includes the system 201 of FIG. 2.
  • FIG. 4 shows a first video camera 403 and a second video camera 405 that monitor a floor 401 of a parking lot.
  • the two video cameras 403, 405 are arranged, for example, on a ceiling (not shown).
  • the first video camera 403 has a first viewing area 407.
  • the second video camera 405 has a second viewing area 409.
  • the two Video cameras 403, 405 are arranged such that the two
  • Viewing regions 407, 409 overlap in an overlap region 41 1.
  • This overlapping area 41 1 is part of the floor 401.
  • a light source 413 is arranged, which illuminates the overlap region 41 1 from the direction of the second video camera 405.
  • the two video cameras 403, 405 each take video images of the
  • Overlap area 41 1 wherein the video images are rectified. If there is no raised object between the overlap area 41 1 and the video camera 403 or 405, respectively, the respective rectified video images do not differ from each other, at least not within a predetermined tolerance (the predetermined tolerance value). In this case, therefore, no difference will be detected so that accordingly no raised object is detected.
  • the overlapping area 41 1 is located, for example, on a driving area of the parking lot. So that means, for example, that on the
  • Fig. 5 shows the two video cameras 403, 405 in detecting a raised object 501.
  • the raised object 501 has opposite sides 503, 505:
  • the side 503 is hereinafter referred to as the right side (with respect to the paper plane).
  • Page 505 will be referred to as the
  • the raised object 501 looks different from the right side 503 than the left side 505.
  • the raised object 501 is located on the floor 401.
  • the raised object 501 is located between the overlapping area 41 1 and the two video cameras 403, 405.
  • the first video camera 403 detects the left side 505 of the raised object 501.
  • the second video camera 405 detects the right side 503 of the raised object 501.
  • the respective rectified video images thus differ, so that a difference is correspondingly detected.
  • the raised object 501 is then detected.
  • the differences are greater than the predetermined tolerance value.
  • the provision of the light source 413 causes the right side 503 to be illuminated more strongly than the left side 505. This has the technical advantage, for example, that the recorded and thus rectified video images differ in their brightness.
  • the raised object 501 is, for example, a motor vehicle traveling on the floor 401 of the parking lot.
  • the sides 503, 505 are, for example, front and rear sides of the motor vehicle or the right and left sides.
  • a non-raised, ie two-dimensional or flat, object is located on the floor 401, then the correspondingly rectified video images generally do not differ from each other within a predetermined tolerance.
  • a two-dimensional object is for example a leaf,
  • a raised object is detected in the recorded video images, it is provided, for example, that video images recorded temporally after these video images by the video cameras 403, 405 are analyzed analogously in order to acquire the object detected in the earlier images in these later recorded video images to verify.
  • the first detected object is not detected again, it is determined, for example, that the first detected object is not real.
  • the first raised object is detected, for example, it is provided that a
  • Object speed is determined and / or that both the first detected object and the again detected object are classified.
  • the determined object velocity is greater than a predetermined object velocity threshold, it is determined that the detected raised object is not real.
  • the two classifications should differ, it is determined that the detected raised object is not real.
  • one or more criteria are provided which, when satisfied, result in an object being detected in the video images.
  • one criterion is that a different rectified video image from a single video camera is already sufficient, for example, to detect a raised object regardless of whether the other video cameras are recording different or the same video images.
  • Another criterion is that all video cameras are on
  • Another criterion is, for example, that for n video cameras where n is greater than or equal to 3, m video cameras must each capture a different video image, where m is greater than 1 and less than n to detect a raised object regardless of whether the other video cameras record different or the same video pictures.
  • the information that an object has been detected is reported or sent, for example, to a parking lot management system.
  • the parking management system uses this information for planning or managing an operation of the parking lot.
  • the parking management system operates the parking lot based on the information.
  • This information is for example in a remote control of a
  • Motor vehicle used which is located within the parking lot. This means, for example, that the parking management system remotely controls a motor vehicle within the parking space based on the detected object (s).
  • This information is transmitted, for example, to motor vehicles traveling autonomously within the parking space via a wireless communication network.
  • Video cameras time after each other recorded video images respectively analyze and track the detected raised object in an object detection in time to determine whether the detected object is real.
  • the video cameras are arranged spatially distributed within a parking space, which may be designed, for example, as a parking garage or as a parking garage, such that each point of a driving range is seen or recorded or monitored by at least two, for example at least three, video cameras. This means that the respective viewing areas each overlap in overlapping areas, with the
  • video images are rectified before comparison.
  • the corresponding rectified video images of the video cameras are compared with each other. For example, it is envisaged that if all
  • Video cameras in the driving range see the same image information at a certain point or at a certain point, it is determined that there is no object on the respective visual beam between the specific location and the video cameras. In this respect, no object is detected. However, if, for example, the image information of a video camera differs from the other video cameras at this point, then it is clear that there must be a raised object on the viewing beam of this one video camera. In this respect, a raised object is detected.
  • the temporal video images following these rectified video images are analyzed analogously to these earlier rectified video images, ie in particular rectified and compared with one another. In particular, the result of this comparison is used to determine whether, in object detection based on the previous video images, the corresponding detected raised object is real.
  • Image information in the sense of this description includes in particular also the case that the image information is maximally by a predetermined
  • Image information is identical or identical, as long as the differences are smaller than the predetermined tolerance value.
  • an object is detected only when the differences in the rectified video images are greater than a predetermined tolerance or a predetermined tolerance
  • an autonomously or remotely controlled motor vehicle within the parking lot on predetermined areas the driving range moves.
  • the video cameras are arranged, for example, such that their viewing areas overlap in the driving range. This overlap is chosen so that each point on the boundary surfaces (eg floor, wall) in the driving range is viewed or monitored by at least three video cameras. In particular, the arrangement is chosen such that each point on the boundary surface is viewed or monitored from different perspectives.
  • Sight rays to track for example, three video cameras that see this point. If more video cameras should be available, it is for example provided that three video cameras with as many different perspectives are selected from the several cameras. If no raised object is located on the visual beams of the video cameras at this point, then all the video cameras see the same image information or image information, which differ by a maximum of a predetermined tolerance value (see Fig. 4).
  • a brightness or a color of the surface of the floor changes, for example, if the floor is wet by moisture, this does not interfere with detection of the boundary surface inasmuch as all the video cameras see the same changed brightness or color.
  • a two-dimensional object for example a sheet, paper or foliage, is lying on the ground, then this sublime is generally not detected according to the concept according to the invention since all video cameras have the same image information or image information which is at most a predetermined one
  • the visual beams of the video cameras no longer meet the boundary surface (overlap area) as expected, but instead see different views of the raised object and thus take different views
  • a sublime object is, for example, a person or a motor vehicle.
  • one video camera sees the front of the object while the other video camera sees the back of the object.
  • the two sides differ significantly and the raised object can thus be detected insofar as the recorded video images differ.
  • This effect can be enhanced, for example, by brighter illumination of the scene on one side, ie of the overlapping area, so that an overlook of raised objects can be efficiently excluded.
  • this object appears brighter on the more illuminated side than on the dimly lit side so that the video cameras see different image information. This is true even for monochrome objects.
  • Video cameras with corresponding overlapping area Video cameras with corresponding overlapping area
  • Illumination of the scene and the time tracking or tracking of a detected raised object advantageously makes it possible to efficiently determine whether a detected raised object is actually real, resulting in the sum that raised objects are detected or detected efficiently can.
  • the inventive concept is in particular very robust against changes in brightness or point changes in brightness, for example due to solar radiation.
  • the information that a raised object is detected can be passed to a higher-level control system.
  • This control system may, for example, stop or enter a remote-controlled motor vehicle
  • the control system is included, for example, by the parking lot management system.
  • AVP Automated Valet Parking
  • automatic parking In the context of such an AVP process, provision is made in particular for motor vehicles to be parked automatically within a parking space and to be guided automatically from their parking position to a pick-up position at the end of a parking period, at which the motor vehicle can be picked up by its owner.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Devices For Checking Fares Or Tickets At Control Points (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts unter Verwendung von mindestens zwei innerhalb des Parkplatzes räumlich verteilt angeordneten Videokameras, deren jeweiliger Sichtbereich sich in einem Überlappungsbereich überlappt, umfassend die folgenden Schritte: Aufnehmen von jeweiligen Videobildern des Überlappungsbereichs mittels der Videokameras, Analysieren der aufgenommenen Videobilder, um in den aufgenommenen Videobildern ein erhabenes Objekt zu detektieren, Ermitteln basierend auf den aufgenommenen Videobildern, ob bei Detektion eines erhabenen Objekts das detektierte erhabene Objekt real ist. Die Erfindung betrifft ferner ein entsprechendes System, einen Parkplatz sowie ein Computerprogramm.

Description

Beschreibung Titel
Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
Die Erfindung betrifft ein Verfahren zum Detektieren eines sich innerhalb eines Parkplatzes, beispielsweise eines Parkhauses, insbesondere innerhalb eines Fahrschlauchs eines Parkplatzes, befindenden erhabenen Objekts. Die Erfindung betrifft ferner ein System zum Detektieren eines sich innerhalb eines Parkplatzes, beispielsweise Parkhauses, insbesondere innerhalb eines Fahrschlauchs eines Parkplatzes, befindenden erhabenen Objekts. Die Erfindung betrifft des Weiteren einen Parkplatz. Die Erfindung betrifft ferner ein Computerprogramm.
Stand der Technik
Die Offenlegungsschrift DE 10 2015 201 209 A1 zeigt ein Valet-Parking System zum automatischen Verbringen eines Fahrzeugs von einer Übergabezone zu einem zugewiesenen Stellplatz innerhalb eines vorgegebenen Parkraums. Das bekannte System umfasst ein Parkplatzüberwachungssystem mit mindestens einer ortsfest angeordneten Sensoreinheit. Das Parkplatzüberwachungssystem ist ausgebildet, die innerhalb des vorgegebenen Parkraums fahrenden
Fahrzeuge zu lokalisieren.
Offenbarung der Erfindung
Die der Erfindung zugrunde liegende Aufgabe ist darin zu sehen, ein Konzept zum effizienten Detektieren eines sich innerhalb eines Parkplatzes, beispielsweise eines Parkhauses, insbesondere innerhalb eines Fahrschlauchs eines Parkplatzes, befindenden erhabenen Objekts bereitzustellen. Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von jeweils abhängigen Unteransprüchen.
Nach einem Aspekt wird ein Verfahren zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts unter Verwendung von mindestens zwei innerhalb des Parkplatzes räumlich verteilt angeordneten Videokameras bereitgestellt, deren jeweiliger Sichtbereich sich in einem
Überlappungsbereich überlappt, umfassend die folgenden Schritte:
a) Aufnehmen von jeweiligen Videobildern des Überlappungsbereichs
mittels der Videokameras,
b) Analysieren der aufgenommenen Videobilder, um in den aufgenommenen Videobildern ein erhabenes Objekt zu detektieren,
c) Ermitteln basierend auf den aufgenommenen Videobildern, ob bei
Detektion eines erhabenen Objekts das detektierte erhabene Objekt real ist.
Nach einem anderen Aspekt wird ein System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts bereitgestellt, wobei das System ausgebildet ist, das Verfahren zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts durchzuführen.
Nach einem anderen Aspekt wird ein Parkplatz bereitgestellt, welcher das System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts umfasst.
Nach noch einem Aspekt wird ein Computerprogramm bereitgestellt, welches Programmcode zur Durchführung des Verfahrens zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts umfasst, wenn das Computerprogramm auf einem Computer ausgeführt wird.
Die Erfindung basiert auf der Erkenntnis, dass die obige Aufgabe dadurch gelöst werden kann, dass basierend auf zeitlich nacheinander aufgenommenen
Videobildern überprüft wird, ob ein zunächst detektiertes erhabenes Objekt real ist oder nicht. Das heißt insbesondere, dass ein Ergebnis, welches basierend auf den erstmals aufgenommenen Videobildern ermittelt wurde, wobei das Ergebnis angibt, dass ein erhabenes Objekt detektiert wurde, durch ein zeitliches Tracking des erstmalig detektierten Objekts verifiziert oder überprüft wird. Somit kann insbesondere das erstmalig detektierte Objekt effizient plausibilisiert werden. Denn in der Regel ist es beispielsweise so, dass ein Objekt nicht plötzlich verschwinden kann. Das Objekt sollte, sofern es tatsächlich real ist, auch bei einer Analyse von Videobildern detektiert werden, die zeitlich nach dem Videobild aufgenommen wurden, in denen das Objekt erstmalig detektiert wurde, und dort beispielsweise die gleichen Eigenschaften aufweisen wie zuvor.
Das heißt also insbesondere, dass basierend auf jeweiligen Auswertungen von jeweils zeitlich nacheinander aufgenommenen Videobildern überprüft wird, ob ein erkanntes, also detektiertes Objekt, real ist, also ob das Objekt überhaupt möglich oder realistisch ist.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass Fehlalarme reduziert oder vermieden werden können, was in vorteilhafter Weise einen effizienten Betrieb des Parkplatzes ermöglicht und was beispielsweise einen effizienten Betrieb von innerhalb des Parkplatzes führerlos fahrenden
Kraftfahrzeugen ermöglicht.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass Objekte effizient erkannt werden können, so dass ein Kollidieren mit solchen Objekten verhindert werden kann.
Somit wird also der technische Vorteil bewirkt, dass ein Konzept zum effizienten Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts bereitgestellt werden kann.
Gemäß einer Ausführungsform ist vorgesehen, dass zum Detektieren eines erhabenen Objekts in den aufgenommenen Videobildern gemäß der Analyse gemäß dem Schritt b) folgende Schritte vorgesehen sind:
- Rektifizieren der aufgenommenen Videobilder, - miteinander Vergleichen des jeweiligen rektifizierten Videobilds, um einen Unterschied in den aufgenommenen Überlappungsbereichen zu erkennen,
- Detektieren eines erhabenen Objekts basierend auf dem Vergleich.
Vor einem Vergleich der Videobilder ist insbesondere vorgesehen, dass die Videobilder in die Vogelperspektive transformiert werden, also rektifiziert werden. Die rektifizierten Videobilder werden dann miteinander verglichen. Wenn alle rektifizierten Videobilder des Überlappungsbereichs beispielsweise keine Unterschiede aufweisen, also gleich oder identisch sind, oder Unterschiede aufweisen, die sich um maximal einen vorbestimmten Toleranzwert
unterscheiden, so kann davon ausgegangen werden, dass sich kein erhabenes Objekt auf der jeweiligen Sichtachse zwischen dem Überlappungsbereich und den Videokameras befindet. Insofern wird kein erhabenes Objekt detektiert. Es wird dann also insbesondere ein Ergebnis ermittelt, das angibt, dass kein erhabenes Objekt detektiert wurde.
Sofern sich aber ein erhabenes Objekt auf einer Sichtachse zwischen dem Überlappungsbereich und einer der Videokameras befindet, sieht diese eine
Videokamera nicht das Gleiche wie die anderen Videokameras. Das
entsprechende rektifizierte Videobild wird sich also von dem rektifizierten
Videobild der anderen Videokameras um einen Unterschied größer als der vorbestimmte Toleranzwert unterscheiden. Insofern wird dann ein erhabenes Objekt detektiert. Somit wird also insbesondere ein Ergebnis ermittelt, das angibt, dass ein erhabenes Objekt detektiert wurde.
Somit kann also effizient ein erhabenes Objekt mittels der mindestens zwei Videokameras detektiert werden.
Ein Parkplatz im Sinne der Beschreibung ist insbesondere ein Parkplatz für Kraftfahrzeuge. Der Parkplatz ist beispielsweise ein Parkhaus oder eine
Parkgarage. Ein zu detektierendes Objekt befindet sich beispielsweise innerhalb eines Fahrschlauchs des Parkplatzes. Ein erhabenes Objekt bezeichnet insbesondere ein Objekt, dessen Höhe relativ zu einem Boden des Parkplatzes mindestens 10 cm beträgt.
Das erhabene Objekt befindet sich beispielsweise auf einem Boden des
Parkplatzes, beispielsweise auf einer Fahrbahn oder innerhalb eines
Fahrbereichs, also beispielsweise innerhalb eines Fahrschlauchs, des
Parkplatzes. Das erhabene Objekt befindet sich also beispielsweise innerhalb eines Fahrschlauchs des Parkplatzes. Ein Rektifizieren der aufgenommenen Videobilder umfasst insbesondere respektive ist beispielsweise eine Transformation der aufgenommenen
Videobilder in die Vogelperspektive. Das heißt also insbesondere, dass die aufgenommenen Videobilder beispielsweise in die Vogelperspektive transformiert werden. Dadurch kann in vorteilhafter Weise der anschließende Vergleich besonders effizient durchgeführt werden.
Die Formulierungen„Gleiche Bildinformation" respektive„identische
Bildinformation" respektive„gleiche Videobilder" respektive„identische
Videobilder" im Sinne dieser Beschreibung umfassen insbesondere auch den Fall, dass sich die Bildinformationen respektive die Videobilder um maximal einen vorbestimmten Toleranzwert unterscheiden. Erst Unterschiede, die größer als der vorbestimmte Toleranzwert ist, resultieren in einer Detektion eines Objekts. Das heißt also insbesondere, dass geringe Unterschiede in der
Helligkeits- und/oder Farbinformation zulässig sind, um die Aussage zu treffen, dass die Bildinformation respektive die Videobilder gleich respektive identisch ist oder sind, solange die Unterschiede kleiner als der vorbestimmte Toleranzwert sind.
Das heißt also insbesondere, dass beispielsweise erst dann ein erhabenes Objekt detektiert wird, wenn sich beispielsweise die Videobilder um einen
Unterschied unterscheiden, der größer ist als der vorbestimmte Toleranzwert. Das heißt also insbesondere, dass erst dann ein erhabenes Objekt detektiert wird, wenn sich beispielsweise ein Überlappungsbereich von den anderen Überlappungsbereichen um einen Unterschied unterscheidet, der größer als der vorbestimmte Toleranzwert ist. ln einer Ausführungsform ist vorgesehen, dass der Schritt c) ein Ermitteln einer Objektgeschwindigkeit umfasst, wobei die ermittelte Objektgeschwindigkeit mit einem vorbestimmten Objektgeschwindigkeitsschwellwert verglichen wird, wobei abhängig von dem Vergleich bestimmt wird, ob das detektierte erhabene Objekt real ist.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass effizient bestimmt werden kann, ob das detektierte erhabene Objekt real ist. Denn für reale Objekte innerhalb eines Parkplatzes werden in der Regel bestimmte Geschwindigkeiten erwartet. Beispielsweise ist eine Objektgeschwindigkeit von 150 km/h nicht plausibel. In diesem Fall ist das detektierte Objekt nicht real.
Das heißt also insbesondere, dass bestimmt wird, dass das detektierte erhabene Objekt real ist, wenn die ermittelte Objektgeschwindigkeit kleiner oder kleinergleich dem vorbestimmten Objektgeschwindigkeitsschwellwert ist, wobei bestimmt wird, dass das detektierte erhabene Objekt nicht real ist, wenn die ermittelte Objektgeschwindigkeit größer oder größer-gleich dem vorbestimmten Objektgeschwindigkeitsschwellwert ist.
Ein Objektgeschwindigkeitsschwellwert ist beispielsweise 60 km/h,
beispielsweise 50 km/h, insbesondere 40 km/h.
Diese Ausführungsform basiert also auf der Erkenntnis, dass sich Objekte innerhalb des Parkplatzes in der Regel nur mit einer bestimmten maximalen
Geschwindigkeit fortbewegen können.
Gemäß einer Ausführungsform ist vorgesehen, dass der Schritt c) ein Ermitteln einer Bewegung des detektierten erhabenen Objekts umfasst, wobei ermittelt wird, ob die Bewegung des detektierten erhabenen Objekts plausibel ist, wobei abhängig von der Plausibilisierung bestimmt wird, ob das detektierte erhabene Objekt real ist.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass effizient bestimmt werden kann, ob das detektierte erhabene Objekt real ist. Denn für reale Objekte innerhalb eines Parkplatzes werden in der Regel bestimmte Bewegungen erwartet. Objekte in der Größenordnung eines Kraftfahrzeugs können sich nicht senkrecht nach oben bewegen oder ihre Richtung auf der Stelle um 90° ändern. Für kleinere Objekte lässt sich keine solche Aussage treffen, da zum Beispiel Menschen in die Luft springen können. Das Ermitteln der Plausibilität der Bewegung wird beispielsweise abhängig von einer Größe des detektierten Objektes durchgeführt. Objekte, die eine Größe aufweisen, die in der
Größenordnung eines Kraftfahrzeugs liegt, unterliegen beispielsweise den vorstehend bezeichneten Bewegungseinschränkungen.
In einer Ausführungsform umfasst der Schritt c) ein Ermitteln, ob, und wenn ja, an welchem Ort in den Videobildern sich das detektierte erhabene Objekt in das jeweilige Videobild hineinbewegt respektive aus dem jeweiligen Videobild hinausbewegt. Insbesondere wird bestimmt, dass das detektierte erhabene Objekt real ist, wenn sich das detektierte Objekt am Rand als Ort in das jeweilige Videobild hineinbewegt respektive sich am Rand als Ort aus dem jeweiligen Videobild hinausbewegt. Insbesondere wird bestimmt, dass das detektierte erhabene Objekt nicht real ist, wenn das detektierte Objekt innerhalb des Videobilds im Videobild erscheint respektive innerhalb des Videobilds aus dem Videobild verschwindet, ohne den Rand des Videobilds überquert zu haben.
Diese Ausführungsform basiert auf der Erkenntnis, dass sich erhabene Objekte in eine Szene (hier die Videobilder) nur über den Rand der Szene bewegen können respektive aus nur über den Rand die Szene wieder verlassen können. Mitten in einer Szene, also innerhalb der Szene, kann ein Objekt nicht einfach erscheinen oder auftauchen respektive verschwinden.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass effizient bestimmt werden kann, ob das detektierte erhabene Objekt real ist.
Gemäß einer Ausführungsform ist vorgesehen, dass der Schritt c) ein
Klassifizieren des detektierten erhabenen Objekts umfasst, wobei abhängig von der Klassifizierung bestimmt wird, ob das detektierte erhabene Objekt real ist. Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass effizient bestimmt werden kann, ob das detektierte erhabene Objekt real ist. Denn innerhalb eines Parkplatzes werden in der Regel nur bestimmte Objekte erwartet. Zusätzlich kann das Wissen über den Objekttyp oder die Art des Objekts effizient für das Bestimmen genutzt werden, ob das detektierte Objekt real ist.
Der Schritt c) umfasst beispielsweise ein Prüfen, ob sich die Klassifizierung über die Zeit ändert, wobei das Bestimmen, ob das Objekt real ist, in Abhängigkeit von diesem Prüfen durchgeführt wird. Insbesondere wenn eine Änderung ermittelt wird, so wird bestimmt, dass das Objekt nicht real ist. Insbesondere wenn keine
Änderung ermittelt wird, so wird bestimmt, dass das Objekt real ist.
Das Klassifizieren umfasst beispielsweise, dass eine Größe, also insbesondere eine Länge und/oder eine Höhe und/oder eine Breite, des detektierten Objekts ermittelt wird.
Gemäß einer Ausführungsform ist vorgesehen, dass der Schritt c) ein Ermitteln einer dynamischen Eigenschaft des detektierten Objekts umfasst, wobei die ermittelte dynamische Eigenschaft des detektierten Objekts mit einem
vorbestimmten Referenzwert verglichen wird, wobei abhängig von dem Vergleich bestimmt wird, ob das detektierte erhabene Objekt real ist.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass effizient bestimmt werden kann, ob das detektierte erhabene Objekt real ist, da in der Regel übliche Objekte innerhalb eines Parkplatzes bestimmte dynamische Eigenschaften aufweisen.
Eine dynamische Eigenschaft ist beispielsweise eine Geschwindigkeit, eine Beschleunigung, eine Bewegungsrichtung.
Beispielsweise werden jeweils mehrere dynamische Eigenschaften ermittelt. Ausführungen, die im Zusammenhang mit einer dynamischen Eigenschaft gemacht sind, gelten analog für mehrere dynamische Eigenschaften und umgekehrt. ln einer Ausführungsform ist vorgesehen, dass abhängig von der Klassifizierung ein objektspezifischer Geschwindigkeitsschwellwert als der
Objektgeschwindigkeitsschwellwert für den Vergleich vorgegeben wird.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass das Bestimmen, ob das detektierte Objekt real ist, objektspezifisch durchgeführt werden kann.
In einer Ausführungsform ist vorgesehen, dass abhängig von der Klassifizierung ein objektspezifischer Referenzwert für den Vergleich mit der ermittelten dynamischen Eigenschaft vorgegeben wird.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass das Bestimmen, ob das detektierte Objekt real ist, objektspezifisch durchgeführt werden kann.
In einer Ausführungsform ist vorgesehen, dass ermittelt wird, ob die ermittelte Bewegung für das klassifizierte Objekt plausibel ist.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass das Bestimmen, ob das detektierte Objekt real ist, objektspezifisch durchgeführt werden kann.
Diese Ausführungsform basiert auf der Erkenntnis, dass sich unterschiedliche Objekte unterschiedlich bewegen. Eine Person bewegt sich in der Regel anders als ein Kraftfahrzeug. Zum Beispiel kann eine Person auf der Stelle wenden, was ein Kraftfahrzeug in der Regel nicht kann. Personen weisen also beispielsweise andere Bewegungsprofile auf als Kraftfahrzeuge.
Mit diesem Wissen kann somit in vorteilhafter Weise effizient geprüft werden, ob die ermittelte Bewegung bei Detektion eines erhabenen Objekts in zeitlich nacheinander aufgenommenen Videobildern weiterhin dem gleichen Objekttyp zugeordnet werden kann.
Ein erhabenes Objekt kann nicht einmal ein Kraftfahrzeug sein und später ein Fußgänger. Ein detektiertes Objekt wird beispielsweise in eine der folgenden Klassen von Objekttypen klassifiziert: Kraftfahrzeug, Fußgänger, Radfahrer, Tier,
Kinderwagen, Sonstiges.
In einer Ausführungsform ist vorgesehen, dass, wenn das detektierte erhabene Objekt nicht real ist, eine oder mehrere der folgenden Aktionen gesteuert werden: Anhalten aller innerhalb des Parkplatzes führerlos fahrenden
Kraftfahrzeuge, Beordern eines Servicepersonals zu den Videokameras, Durchführen eine Funktionskontrolle der Videokameras, Anpassen einer von innerhalb des Parkplatzes führerlos fahrenden Kraftfahrzeugen abzufahrenden jeweiligen Soll-Trajektorie, um einen den Überlappungsbereich umfassenden Abschnitt des Parkplatzes zu umfahren, Absperren eines den
Überlappungsbereich umfassenden Abschnitts des Parkplatzes, Absperren eines den Überlappungsbereich umfassenden Geschosses des Parkplatzes, Senden einer Fehlermeldung an einen Operator über ein Kommunikationsnetzwerk.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass eine Sicherheit für den Parkplatz effizient erhöht werden kann.
Nach einer Ausführungsform ist vorgesehen, dass mindestens n Videokameras verwendet werden, wobei n größer-gleich 3 ist, wobei ein Objekt detektiert wird, wenn basierend auf dem Vergleich ermittelt wird, dass sich bereits ein
Überlappungsbereich von den anderen aufgenommenen Überlappungsbereichen unterscheidet oder dass sich mindestens m Überlappungsbereiche von den anderen Überlappungsbereichen unterscheiden, wobei m größer 1 und kleiner n ist, oder dass sich alle n Überlappungsbereiche unterscheiden. Je mehr Kameras verwendet werden und je mehr Überlappungsbereiche sich unterscheiden sollen, desto genauer kann das erfindungsgemäße Konzept, also insbesondere das erfindungsgemäße Verfahren, die Standfläche des erhabenen Objekts eingrenzen.
Nach einer Ausführungsform ist vorgesehen, dass der Überlappungsbereich relativ zu mindestens einer Videokamera unterschiedlich beleuchtet wird verglichen mit den anderen Videokameras. Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass ein Objekt effizient detektiert werden kann. Denn sofern eine Seite des Objekts bevorzugt oder anders beleuchtet wird als andere Seiten des Objekts, so lassen sich in effizienter Weise Unterschiede in den aufgenommenen Videobildern besonders leicht und effizient erkennen.
Dass der Überlappungsbereich relativ zu zumindest einer Videokamera unterschiedlich beleuchtet wird verglichen mit den anderen Videokameras, bedeutet zum Beispiel, dass eine Lichtquelle innerhalb des Parkplatzes angeordnet ist, die den Überlappungsbereich aus der Richtung der zumindest einen Videokamera beleuchtet. Aus den Richtungen der anderen Videokameras ist zum Beispiel keine Beleuchtung, also keine weiteren Lichtquellen, vorgesehen oder es sind unterschiedliche Beleuchtungen vorgesehen, beispielsweise Lichtquellen, die mit unterschiedlichen Lichtstärken betrieben werden.
Gemäß einer Ausführungsform ist vorgesehen, dass der Überlappungsbereich einen Fahrbereich für Kraftfahrzeuge umfasst.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass der Fahrbereich effizient überwacht werden kann.
Nach einer Ausführungsform ist vorgesehen, dass das Vergleichen ein
Vergleichen einer jeweiligen Helligkeit der rektifizierten Videobilder umfasst, um Helligkeitsunterschiede als einen Unterschied zu erkennen.
Dadurch wird insbesondere der technische Vorteil bewirkt, dass Unterschiede in den aufgenommenen Überlappungsbereichen effizient erkannt werden können.
Nach einer Ausführungsform ist vorgesehen, dass der Parkplatz eingerichtet oder ausgebildet ist, das Verfahren zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts aus- oder durchzuführen.
Nach einer Ausführungsform ist vorgesehen, dass das Verfahren zum
Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts mittels des Systems zum Detektieren eines sich innerhalb eines
Parkplatzes befindenden erhabenen Objekts ausgeführt oder durchgeführt wird.
Technische Funktionalitäten des Systems ergeben sich analog aus
entsprechenden technischen Funktionalitäten des Verfahrens und umgekehrt.
Das heißt also insbesondere, dass sich Systemmerkmale aus entsprechenden Verfahrensmerkmalen und umgekehrt ergeben. Nach einer Ausführungsform ist vorgesehen, dass mindestens n Videokameras vorgesehen sind, wobei n größer-gleich 3 ist.
Nach einer Ausführungsform ist vorgesehen, dass ein oder mehrere oder alle der folgenden Schritte mittels einer Datenverarbeitungseinrichtung durchgeführt werden: Schritt b), Schritt c), Ermitteln eines Ergebnisses, ob in den
aufgenommenen Videobildern ein erhabenes Objekt detektiert wurde,
Detektieren eines erhabenen Objekts in den aufgenommenen Videobildern, Bestimmen, ob das detektierte erhabene Objekt real ist, Rektifizieren des aufgenommenen Videobilder, miteinander Vergleichen des jeweiligen
rektifizierten Videobilds, um einen Unterschied in den aufgenommenen
Überlappungsbereichen zu erkennen, Detektieren eines erhabenen Objekts basierend auf dem Vergleich. Das heißt also insbesondere, dass gemäß eine Ausführungsform eine Datenverarbeitungseinrichtung vorgesehen ist, die ausgebildet ist, ein oder mehrere oder alle der vorstehend bezeichneten Schritte durchzuführen.
Die Datenverarbeitungseinrichtung umfasst beispielsweise einen oder mehrere Prozessoren, die beispielsweise von zumindest einem der folgenden Elemente umfasst sind: Videokamera respektive Videokameras und/oder Recheneinheit, die verschieden von den Videokameras ist.
In einer Ausführungsform ist vorgesehen, dass zumindest einer der vorstehend im Zusammenhang mit der Datenverarbeitungseinrichtung aufgeführten Schritte mittels zumindest einer der Videokameras und/oder mittels einer Recheneinheit, die verschieden von den Videokameras ist, durchgeführt wird. Durch die Recheneinheit wird zum Beispiel der technische Vorteil bewirkt, dass effizient eine Redundanz geschaffen ist. Wenn die Videokamera die
entsprechenden Schritte durchführt, wird beispielsweise der technische Vorteil bewirkt, dass die Videokamera effizient genutzt wird.
Nach einer Ausführungsform ist eine Beleuchtungseinrichtung vorgesehen. Die Beleuchtungseinrichtung ist ausgebildet, den Überlappungsbereich relativ zu zumindest einer Videokamera unterschiedlich zu beleuchten verglichen mit den anderen Videokameras.
Die Beleuchtungseinrichtung umfasst beispielsweise eine oder mehrere
Lichtquellen, die räumlich verteilt innerhalb des Parkplatzes angeordnet sind. Die Lichtquellen sind beispielsweise derart angeordnet, dass der
Überlappungsbereich aus unterschiedlichen Richtungen unterschiedlich beleuchtet wird.
In einer Ausführungsform ist vorgesehen, dass der Überlappungsbereich spotartig aus einer Vorzugsrichtung beleuchtet wird, beispielsweise mittels der Beleuchtungseinrichtung.
In einer Ausführungsform ist vorgesehen, dass der Überlappungsbereich aus einer einzigen Richtung beleuchtet wird.
Die Lichtquellen sind beispielsweise an einer Decke respektive an einer Säule respektive an einer Wand, allgemein an einem Infrastrukturelement, des Parkplatzes angeordnet.
Nach einer Ausführungsform ist vorgesehen, dass mindestens n Videokameras verwendet werden, wobei n größer-gleich 3 ist.
Nach einer Ausführungsform ist vorgesehen, dass ein jeweiliger
Überlappungsbereich von genau drei oder von genau vier Videokameras überwacht wird, deren jeweiliger Sichtbereich sich in dem jeweiligen
Überlappungsbereich überlappt. In einer Ausführungsform ist vorgesehen, dass mehrere Videokameras vorgesehen sind respektive werden, deren jeweiliger Sichtbereich sich jeweils in einem Überlappungsbereich überlappen. Das heißt also insbesondere, dass hier mehrere Überlappungsbereiche mittels mehrerer Videokameras erfasst, also insbesondere überwacht, werden.
Die Formulierung "respektive" umfasst insbesondere die Formulierung
"und/oder".
Nicht real bedeutet irreal.
Nach einer Ausführungsform ist vorgesehen, dass eine respektive mehrere respektive alle Videokameras in einer Höhe von mindestens 2 m, insbesondere 2,5 m, relativ zu einem Boden des Parkplatzes angeordnet sind.
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass der
Überlappungsbereich effizient aufgenommen werden kann. Die Erfindung wird im Folgenden anhand von bevorzugten
Ausführungsbeispielen näher erläutert. Hierbei zeigen
Fig. 1 ein Ablaufdiagramm eines Verfahrens zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts,
Fig. 2 ein System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts,
Fig. 3 einen Parkplatz,
Fig. 4 zwei Videokameras, die einen Boden eines Parkplatzes überwachen und
Fig. 5 die zwei Videokameras der Fig. 4 bei der Erfassung eines erhabenen Objekts, lm Folgenden können für gleiche Bezugszeichen gleiche Merkmale verwendet werden.
Fig. 1 zeigt ein Ablaufdiagramm eines Verfahrens zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts unter Verwendung von mindestens zwei innerhalb des Parkplatzes räumlich verteilt angeordneten Videokameras, deren jeweiliger Sichtbereich sich in einem Überlappungsbereich überlappt.
Das Verfahren umfasst die folgenden Schritte:
- Aufnehmen 101 eines jeweiligen Videobilds des Überlappungsbereichs mittels der Videokameras,
- Analysieren 103 der aufgenommenen Videobilder, um in den
aufgenommenen Videobildern ein erhabenes Objekt zu detektieren,
- Ermitteln 105 basierend auf den aufgenommenen Videobildern, ob bei Detektion eines erhabenen Objekts das detektierte erhabene Objekt real ist.
Der Schritt 103 respektive der Schritt 105 umfasst beispielsweise folgende Schritte:
- Rektifizieren der aufgenommenen Videobilder,
- miteinander Vergleichen des jeweiligen rektifizierten Videobilds, um einen Unterschied in den aufgenommenen Überlappungsbereichen zu erkennen,
- Detektieren eines erhabenen Objekts basierend auf dem Vergleich.
Der Schritt des Rektifizierens umfasst insbesondere, dass die aufgenommenen Videobilder in die Vogelperspektive transformiert werden. Dadurch wird insbesondere der technische Vorteil bewirkt, dass die Videobilder anschließend effizient verglichen werden können.
Ergibt beispielsweise das Ermitteln 105, dass das detektierte Objekt nicht real, also irreal, ist, so ist beispielsweise vorgesehen, dass eine oder mehrere der vorstehend bezeichneten Aktionen gesteuert werden. Ein detektiertes erhabenes Objekt kann beispielsweise wie folgt klassifiziert werden: Kraftfahrzeug, Fußgänger, Radfahrer, Tier, Kinderwagen, Sonstiges.
Fig. 2 zeigt ein System 201 zum Detektieren eines sich innerhalb eines
Parkplatzes befindenden erhabenen Objekts. Das System 201 ist ausgebildet, das Verfahren zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts auszuführen oder durchzuführen.
Das System 201 umfasst beispielsweise:
- mindestens zwei innerhalb des Parkplatzes räumlich verteilt angeordnete Videokameras 203, deren jeweiliger Sichtbereich sich in einem
Überlappungsbereich überlappt, um ein jeweiliges Videobild des
Überlappungsbereichs aufzunehmen, und
- eine Datenverarbeitungseinrichtung 205, die ausgebildet ist, einen oder mehrere der folgenden Schritte durchzuführen: Schritt b), Schritt c), Ermitteln eines Ergebnisses, ob in den aufgenommenen Videobildern ein erhabenes Objekt detektiert wurde, Detektieren eines erhabenen Objekts in den aufgenommenen Videobildern, Bestimmen, ob das detektierte erhabene Objekt real ist, Rektifizieren des aufgenommenen Videobilder, miteinander Vergleichen des jeweiligen rektifizierten Videobilds, um einen Unterschied in den aufgenommenen Überlappungsbereichen zu erkennen, Detektieren eines erhabenen Objekts basierend auf dem Vergleich.
Fig. 3 zeigt einen Parkplatz 301 .
Der Parkplatz 301 umfasst das System 201 der Fig. 2.
Fig. 4 zeigt eine erste Videokamera 403 und eine zweite Videokamera 405, die einen Boden 401 eines Parkplatzes überwachen. Die beiden Videokameras 403, 405 sind beispielsweise an einer Decke (nicht gezeigt) angeordnet.
Die erste Videokamera 403 weist einen ersten Sichtbereich 407 auf. Die zweite Videokamera 405 weist einen zweiten Sichtbereich 409 auf. Die beiden Videokameras 403, 405 sind derart angeordnet, dass sich die beiden
Sichtbereiche 407, 409 in einem Überlappungsbereich 41 1 überlappen. Dieser Überlappungsbereich 41 1 ist Teil des Bodens 401 . Unmittelbar links neben der zweiten Videokamera 405 ist eine Lichtquelle 413 angeordnet, die den Überlappungsbereich 41 1 aus Richtung der zweiten Videokamera 405 beleuchtet.
Auf dem Boden 401 befindet sich kein erhabenes Objekt. Das heißt also, dass beide Videokameras 403, 405 den gleichen Überlappungsbereich 41 1 sehen oder erfassen. Das heißt also, dass die beiden Videokameras 403, 405 die gleiche Bildinformation des Überlappungsbereichs 41 1 erkennen oder sehen.
Die beiden Videokameras 403, 405 nehmen jeweils Videobilder des
Überlappungsbereichs 41 1 auf, wobei die Videobilder rektifiziert werden. Wenn sich kein erhabenes Objekt zwischen dem Überlappungsbereich 41 1 und der Videokamera 403 respektive 405 befindet, so unterscheiden sich die jeweils rektifizierten Videobilder nicht voneinander, zumindest nicht innerhalb einer vorgegebenen Toleranz (der vorbestimmte Toleranzwert). In diesem Fall wird also kein Unterschied erkannt werden, sodass entsprechend auch kein erhabenes Objekt detektiert wird.
Der Überlappungsbereich 41 1 befindet sich zum Beispiel auf einem Fahrbereich des Parkplatzes. Das heißt also beispielsweise, dass auf dem
Überlappungsbereich 41 1 Kraftfahrzeuge fahren können.
Fig. 5 zeigt die beiden Videokameras 403, 405 bei der Erfassung eines erhabenen Objekts 501. Das erhabene Objekt 501 weist gegenüberliegende Seiten 503, 505 auf: Die Seite 503 wird nachfolgend als die (bezogen auf die Papierebene) rechte Seite bezeichnet. Die Seite 505 wird nachfolgend als die
(bezogen auf die Papierebene) linke Seite bezeichnet.
In der Regel sehen erhabene Objekte von unterschiedlichen Seiten
unterschiedlich aus. Das heißt also, dass das erhabene Objekt 501 von der rechten Seite 503 anders aussieht als von der linken Seite 505. Das erhabene Objekt 501 befindet sich auf dem Boden 401 . Das erhabene Objekt 501 befindet sich zwischen dem Überlappungsbereich 41 1 und den beiden Videokameras 403, 405.
Die erste Videokamera 403 erfasst die linke Seite 505 des erhabenen Objekts 501 . Die zweite Videokamera 405 erfasst die rechte Seite 503 des erhabenen Objekts 501. In diesem Fall unterscheiden sich somit die jeweils rektifizierten Videobilder, sodass entsprechend ein Unterschied erkannt wird. Entsprechend wird dann das erhabene Objekt 501 detektiert. Hier sind die Unterschiede größer als der vorbestimmte Toleranzwert. Durch das Vorsehen der Lichtquelle 413 wird insbesondere bewirkt, dass die rechte Seite 503 stärker beleuchtet wird als die linke Seite 505. Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass sich die aufgenommenen und somit auch die rektifizierten Videobilder in ihrer Helligkeit unterscheiden.
Helligkeitsunterschiede können effizient detektiert werden, sodass der
Unterschied effizient erkannt werden kann, sodass hierüber in vorteilhafter Weise das erhabene Objekt 501 effizient detektiert werden kann.
Das erhabene Objekt 501 ist zum Beispiel ein Kraftfahrzeug, welches auf dem Boden 401 des Parkplatzes fährt. Die Seiten 503, 505 sind zum Beispiel Vorder- und Rückseiten des Kraftfahrzeugs oder die rechte und linke Seite.
Wenn sich ein nicht-erhabenes, also zweidimensionales oder flaches, Objekt auf dem Boden 401 befindet, so unterscheiden sich die entsprechend rektifizierten Videobilder in der Regel innerhalb einer vorgegebenen Toleranz nicht voneinander. Ein solch zweidimensionales Objekt ist zum Beispiel ein Blatt,
Papier oder Laub. Dass in einem solchen Fall sich zwar ein Objekt, wenn auch kein erhabenes Objekt, auf dem Boden 401 befindet, welches gegebenenfalls aufgrund des mangelnden Unterschieds (Unterschiede sind kleiner oder kleinergleich als der vorgegebene Toleranzwert.) in den rektifizierten Videobildern nicht detektiert wird, ist hier insofern aus Sicherheitsgründen nicht relevant, da solche nicht erhabenen Objekte in der Regel problemlos durch Kraftfahrzeuge überfahren werden dürfen respektive können. Kraftfahrzeuge können Laub oder Papier überfahren, ohne dass es zu einer gefährlichen Situation oder Kollision kommt im Gegensatz zu einem erhabenen Objekt, welches beispielsweise ein Fußgänger oder ein Radfahrer oder ein Tier oder ein Kraftfahrzeug sein kann. Mit solchen Objekten sollte ein Kraftfahrzeug nicht kollidieren.
Mittels der Videokameras 403, 405 werden Videobilder aufgenommenen, die ausgewertet, also analysiert, werden, um ein erhabenes Objekt in den
Videobildern zu detektieren.
Sofern ein erhabenes Objekt in den aufgenommenen Videobildern detektiert wird, ist beispielsweise vorgesehen, dass Videobilder, die zeitlich nach diesen Videobildern mittels der Videokameras 403, 405 aufgenommen werden, analog analysiert werden, um in diesen später aufgenommenen Videobildern das in den früheren Bildern detektierte Objekt zu verifizieren.
Sofern in den später aufgenommenen Videobildern das erstmalig detektierte Objekt nicht nochmals detektiert wird, wird beispielsweise bestimmt, dass das erstmalig detektierte Objekt nicht real ist.
Sofern in den später aufgenommenen Videobildern das erstmalig erhabene Objekt detektiert wird, ist beispielsweise vorgesehen, dass eine
Objektgeschwindigkeit ermittelt wird und/oder dass sowohl das erstmalig detektierte Objekt als auch das nochmals detektierte Objekt klassifiziert werden.
Sofern beispielsweise die ermittelte Objektgeschwindigkeit größer als ein vorbestimmter Objektgeschwindigkeitsschwellwert ist, wird bestimmt, dass das detektierte erhabene Objekt nicht real ist.
Sofern sich beispielsweise die beiden Klassifizierungen unterscheiden sollten, wird bestimmt, dass das detektierte erhabene Objekt nicht real ist.
Beispielsweise sind ein oder mehrere Kriterien vorgesehen, die, wenn sie erfüllt sind, dazu führen, dass ein Objekt in den Videobildern detektiert wird. Ein Kriterium ist zum Beispiel, dass ein unterschiedliches rektifiziertes Videobild einer einzigen Videokamera bereits beispielsweise ausreicht, um ein erhabenes Objekt unabhängig davon zu detektieren, ob die anderen Videokameras unterschiedliche oder gleiche Videobilder aufnehmen.
Ein anderes Kriterium ist zum Beispiel, dass alle Videokameras ein
unterschiedliches Videobild aufnehmen müssen, um ein erhabenes Objekt zu detektieren.
Ein weiteres Kriterium ist zum Beispiel, dass bei n Videokameras, wobei n größer-gleich 3, m Videokameras jeweils ein unterschiedliches Videobild aufnehmen müssen, wobei m größer 1 und kleiner n ist, um ein erhabenes Objekt unabhängig davon zu detektieren, ob die anderen Videokameras unterschiedliche oder gleiche Videobilder aufnehmen.
Die Information, dass ein Objekt detektiert wurde, wird beispielsweise an ein Parkplatzverwaltungssystem gemeldet oder gesendet. Das
Parkplatzverwaltungssystem verwendet beispielsweise diese Information für die Planung oder Verwaltung eines Betriebs des Parkplatzes. Das
Parkplatzverwaltungssystem betreibt also beispielsweise den Parkplatz basierend auf der Information.
Diese Information wird beispielsweise bei einer Fernsteuerung eines
Kraftfahrzeugs verwendet, welches sich innerhalb des Parkplatzes befindet. Das heißt also beispielsweise, dass das Parkplatzverwaltungssystem basierend auf dem oder den detektierten Objekten ein Kraftfahrzeug innerhalb des Parkplatzes fernsteuert.
Diese Information wird beispielsweise an innerhalb des Parkplatzes autonom fahrende Kraftfahrzeuge über ein drahtloses Kommunikationsnetzwerk übermittelt.
Die Erfindung basiert also insbesondere auf dem Gedanken, mittels
Videokameras zeitlich nach einander aufgenommene Videobilder jeweils zu analysieren und bei einer Objektdetektion das detektierte erhabenes Objekt zeitlich zu verfolgen, um zu ermitteln, ob das detektierte Objekt real ist. Die Videokameras sind innerhalb eines Parkplatzes, der beispielsweise als ein Parkhaus oder als eine Parkgarage ausgebildet sein kann, räumlich verteilt derart angeordnet, dass beispielsweise jeder Punkt eines Fahrbereichs von mindestens zwei, beispielsweise mindestens drei, Videokameras gesehen oder erfasst respektive überwacht wird. Das heißt also, dass sich die jeweiligen Sichtbereiche jeweils in Überlappungsbereiche überlappen, wobei die
Überlappungsbereiche den Fahrbereich abdecken. Die aufgenommenen
Videobilder werden beispielsweise vor dem Vergleich rektifiziert.
Die entsprechenden rektifizierten Videobilder der Videokameras werden miteinander verglichen. Beispielsweise ist vorgesehen, dass, wenn alle
Videokameras im Fahrbereich die gleiche Bildinformation an einer bestimmten Stelle oder an einem bestimmten Punkt sehen, bestimmt wird, dass sich auf dem jeweiligen Sichtstrahl zwischen der bestimmten Stelle und den Videokameras kein Objekt befindet. Insofern wird auch kein Objekt detektiert. Unterscheidet sich allerdings beispielsweise die Bildinformation einer Videokamera an dieser Stelle von den anderen Videokameras, so ist klar, dass sich auf dem Sichtstrahl dieser einen Videokamera ein erhabenes Objekt befinden muss. Insofern wird ein erhabenes Objekt detektiert.
Zeitlich diesen rektifizierten Videobildern folgenden Videobildern werden analog zu diesen früheren rektifizierten Videobildern analysiert, also insbesondere rektifiziert und miteinander verglichen. Das Ergebnis dieses Vergleichs wird insbesondere verwendet, um zu bestimmen, ob bei einer Objektdetektion basierend auf den früheren Videobildern das entsprechend detektierte erhabene Objekt real ist. Die Formulierungen„gleiche Bildinformation" respektive„identische
Bildinformation" im Sinne dieser Beschreibung umfassen insbesondere auch den Fall, dass sich die Bildinformationen maximal um einen vorbestimmten
Toleranzwert unterscheiden. Erst Unterschiede, die größer als der vorbestimmte Toleranzwert ist, resultieren in einer Detektion eines Objekts. Das heißt also insbesondere, dass geringe Unterschiede in der Helligkeits- und/oder Farbinformation zulässig sind, um die Aussage zu treffen, dass die
Bildinformation gleich respektive identisch ist, solange die Unterschiede kleiner als der vorbestimmte Toleranzwert sind.
Das heißt also insbesondere, dass beispielsweise eine Toleranz vorgegeben wird respektive ist, um die sich die rektifizierten Videobilder unterscheiden dürfen, ohne dass ein erhabenes Objekt detektiert wird. Erst wenn die
Unterschiede größer als die vorgegebene Toleranz sind, wird ein erhabenes Objekt detektiert.
Das heißt also insbesondere, dass gemäß einer Ausführungsform erst dann ein Objekt detektiert wird, wenn die Unterschiede in den rektifizierten Videobildern größer als eine vorgegebene Toleranz respektive ein vorbestimmter
Toleranzwert sind.
Beispielsweise ist vorgesehen, dass sich ein autonom oder ferngesteuert fahrendes Kraftfahrzeug innerhalb des Parkplatzes auf vorher festgelegten Flächen, dem Fahrbereich, bewegt. Die Videokameras sind beispielsweise derart angeordnet, dass sich ihre Sichtbereiche im Fahrbereich überlappen. Diese Überlappung ist derart gewählt, dass jeder Punkt auf den Begrenzungsflächen (zum Beispiel Boden, Wand) im Fahrbereich von mindestens drei Videokameras gesehen oder überwacht wird. Insbesondere ist die Anordnung derart gewählt, dass jeder Punkt auf der Begrenzungsfläche aus unterschiedlichen Perspektiven betrachtet oder überwacht wird.
Das heißt also insbesondere, dass der Überlappungsbereich mittels der
Videokameras aus unterschiedlichen Richtungen erfasst respektive
aufgenommen wird.
Von jedem einzelnen Punkt der Begrenzungsfläche lassen sich nun die
Sichtstrahlen zu den beispielsweise drei Videokameras verfolgen, die diesen Punkt sehen. Sofern mehr Videokameras zur Verfügung stehen sollten, so ist beispielsweise vorgesehen, dass aus den mehreren Kameras drei Videokameras mit möglichst unterschiedlichen Perspektiven ausgewählt werden. Befindet sich kein erhabenes Objekt auf den Sichtstrahlen der Videokameras zu diesem Punkt, so sehen alle Videokameras die gleiche Bildinformation respektive Bildinformationen, die sich maximal um einen vorbestimmten Toleranzwert unterscheiden (vgl. Fig. 4).
Ändert sich beispielsweise eine Helligkeit oder eine Farbe der Oberfläche des Bodens, beispielsweise wenn der Boden durch Nässeeintrag feucht ist, so stört dies eine Detektion der Begrenzungsfläche nicht, insofern alle Videokameras die gleiche geänderte Helligkeit oder Farbe sehen. Liegt beispielsweise ein zweidimensionales Objekt, beispielsweise ein Blatt, Papier oder Laub, auf dem Boden, so wird dieses nicht erhabene gemäß dem erfindungsgemäßen Konzept in der Regel nicht detektiert, da alle Videokameras die gleiche Bildinformation respektive Bildinformationen, die sich maximal um einen vorbestimmten
Toleranzwert unterscheiden, sehen. Dies ist insofern aus Sicherheitsgründen nicht kritisch, da solche zweidimensionalen Objekte von Kraftfahrzeugen problemlos überfahren werden dürfen.
Sofern sich ein erhabenes Objekt im Fahrbereich (vgl. beispielsweise Fig. 5) befindet, treffen die Sichtstrahlen der Videokameras nicht mehr wie erwartet auf die Begrenzungsfläche (Überlappungsbereich), sondern sehen unterschiedliche Ansichten des erhabenen Objekts und nehmen somit unterschiedliche
Videobilder auf.
Ein erhabenes Objekt ist beispielsweise eine Person oder ein Kraftfahrzeug.
So sieht zum Beispiel eine Videokamera die Vorderseite des Objekts, während die andere Videokamera die Rückseite des Objekts sieht. In der Regel unterscheiden sich die beiden Seiten signifikant und das erhabene Objekt kann somit detektiert werden, insofern sich die aufgenommenen Videobilder unterscheiden. Dieser Effekt lässt sich beispielsweise durch eine einseitig hellere Beleuchtung der Szene, also des Überlappungsbereichs, verstärken, sodass ein Übersehen von erhabenen Objekten effizient ausgeschlossen werden kann. Durch eine unterschiedliche Beleuchtung der verschiedenen Seiten eines Objekts erscheint dieses Objekt auf der stärker beleuchteten Seite heller als auf der schwach beleuchteten Seite, sodass die Videokameras unterschiedliche Bildinformationen sehen. Dies gilt selbst für einfarbige Objekte.
Das erfindungsgemäße Konzept (räumlich verteilte Anordnung der
Videokameras mit entsprechendem Überlappungsbereich, beispielhafte
Beleuchtung der Szene und das zeitliche Tracking oder Verfolgen eines detektierten erhabenen Objekts) ermöglicht es in vorteilhafter Weise, dass effizient bestimmt werden kann, ob ein detektiertes erhabenes Objekt tatsächlich real ist, was in der Summe dazu führt, dass erhabene Objekte effizient detektiert oder erkannt werden können. Das erfindungsgemäße Konzept ist insbesondere sehr robust gegenüber Helligkeitsänderungen oder punktuellen Änderungen der Helligkeit, beispielsweise durch Sonneneinstrahlung.
Die Information, dass ein erhabenes Objekt detektiert wird, kann beispielsweise an ein übergeordnetes Regelsystem übergeben werden. Dieses Regelsystem kann beispielsweise ein ferngesteuertes Kraftfahrzeug stoppen oder ein
Stoppsignal an ein autonom fahrendes Kraftfahrzeug senden, sodass diese Kraftfahrzeuge vor dem erhabenen Objekt noch rechtzeitig anhalten können. Das Regelsystem ist beispielsweise von dem Parkplatzverwaltungssystem umfasst.
Somit kann das erfindungsgemäße Konzept in vorteilhafter Weise auch im AVP- Bereich eingesetzt werden. "AVP" steht für "Automated Valet Parking" und kann mit "automatischer Parkvorgang" übersetzt werden. Im Rahmen eines solchen AVP-Vorgangs ist insbesondere vorgesehen, dass Kraftfahrzeuge automatisch innerhalb eines Parkplatzes geparkt werden und nach Ende einer Parkdauer automatisch von ihrer Parkposition zu einer Abholposition geführt werden, an welcher das Kraftfahrzeug von seinem Besitzer abgeholt werden kann.

Claims

Ansprüche
1 . Verfahren zum Detektieren eines sich innerhalb eines Parkplatzes (301 ) befindenden erhabenen Objekts (501 ) unter Verwendung von mindestens zwei innerhalb des Parkplatzes (301 ) räumlich verteilt angeordneten
Videokameras (203), deren jeweiliger Sichtbereich (407, 409) sich in einem
Überlappungsbereich (41 1 ) überlappt, umfassend die folgenden Schritte: a) Aufnehmen (101 ) von jeweiligen Videobildern des Überlappungsbereichs (41 1 ) mittels der Videokameras (203),
b) Analysieren (103) der aufgenommenen Videobilder, um in den
aufgenommenen Videobildern ein erhabenes Objekt zu detektieren, c) Ermitteln (105) basierend auf den aufgenommenen Videobildern, ob bei Detektion eines erhabenen Objekts das detektierte erhabene Objekt real ist. 2. Verfahren nach Anspruch 1 , wobei der Schritt c) (105) ein Ermitteln einer
Objektgeschwindigkeit umfasst, wobei die ermittelte Objektgeschwindigkeit mit einem vorbestimmten Objektgeschwindigkeitsschwellwert verglichen wird, wobei abhängig von dem Vergleich bestimmt wird, ob das detektierte erhabene Objekt real ist.
3. Verfahren nach Anspruch 1 oder 2, wobei der Schritt c) (105) ein Ermitteln einer Bewegung des detektierten erhabenen Objekts umfasst, wobei ermittelt wird, ob die Bewegung des detektierten erhabenen Objekts plausibel ist, wobei abhängig von der Plausibilisierung bestimmt wird, ob das detektierte erhabene Objekt real ist.
4. Verfahren nach einem der vorherigen Ansprüche, wobei der Schritt c) (105) ein Klassifizieren des detektierten erhabenen Objekts umfasst, wobei abhängig von der Klassifizierung bestimmt wird, ob das detektierte erhabene Objekt real ist. Verfahren nach einem der vorherigen Ansprüche soweit rückbezogen auf Anspruch 2 und auf Anspruch 4, wobei abhängig von der Klassifizierung ein objektspezifischer Geschwindigkeitsschwellwert als der
Objektgeschwindigkeitsschwellwert für den Vergleich vorgegeben wird.
Verfahren nach einem der vorherigen Ansprüche soweit rückbezogen auf Anspruch 3 und auf Anspruch 4, wobei ermittelt wird, ob die ermittelte Bewegung für das klassifizierte Objekt plausibel ist.
Verfahren nach einem der vorherigen Ansprüche, wobei, wenn das detektierte erhabene Objekt nicht real ist, eine oder mehrere der folgenden Aktionen gesteuert werden: Anhalten aller innerhalb des Parkplatzes (301 ) führerlos fahrenden Kraftfahrzeuge, Beordern eines Servicepersonals zu den Videokameras (203), Durchführen eine Funktionskontrolle der Videokameras (203), Anpassen einer von innerhalb des Parkplatzes (301 ) führerlos fahrenden Kraftfahrzeugen abzufahrenden jeweiligen Soll-Trajektorie, um einen den Überlappungsbereich (41 1 ) umfassenden Abschnitt des
Parkplatzes (301 ) zu umfahren, Absperren eines den Überlappungsbereich (41 1 ) umfassenden Abschnitts des Parkplatzes (301 ), Absperren eines den Überlappungsbereich (41 1 ) umfassenden Geschosses des Parkplatzes (301 ), Senden einer Fehlermeldung an einen Operator über ein
Kommunikationsnetzwerk.
Verfahren nach einem der vorherigen Ansprüche, wobei zum Detektieren eines erhabenen Objekts in den aufgenommenen Videobildern gemäß der Analyse gemäß dem Schritt b) (103) folgende Schritte vorgesehen sind:
- Rektifizieren der aufgenommenen Videobilder,
- miteinander Vergleichen des jeweiligen rektifizierten Videobilds, um einen Unterschied in den aufgenommenen Überlappungsbereichen (41 1 ) zu erkennen,
- Detektieren eines erhabenen Objekts basierend auf dem Vergleich.
9. Verfahren nach einem der vorherigen Ansprüche, wobei der
Überlappungsbereich (41 1 ) einen Fahrbereich für Kraftfahrzeuge umfasst.
10. System (201 ) zum Detektieren eines sich innerhalb eines Parkplatzes (301 ) befindenden erhabenen Objekts (501 ), wobei das System (201 ) ausgebildet ist, das Verfahren nach einem der vorherigen Ansprüche durchzuführen.
1 1 . Parkplatz (301 ), umfassend das System (201 ) nach Anspruch 10.
12. Computerprogramm, umfassend Programmcode zur Durchführung des
Verfahrens nach einem der Ansprüche 1 bis 9, wenn das Computerprogramm auf einem Computer ausgeführt wird.
PCT/EP2017/075608 2016-11-23 2017-10-09 Verfahren und system zum detektieren eines sich innerhalb eines parkplatzes befindenden erhabenen objekts WO2018095640A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019547763A JP6806920B2 (ja) 2016-11-23 2017-10-09 駐車場内に存在する隆起した物体を検出するための方法およびシステム
CN201780072475.3A CN109983518B (zh) 2016-11-23 2017-10-09 用于探测位于停车场内的突起对象的方法和系统
EP17780746.8A EP3545506A1 (de) 2016-11-23 2017-10-09 Verfahren und system zum detektieren eines sich innerhalb eines parkplatzes befindenden erhabenen objekts
US16/461,953 US11080530B2 (en) 2016-11-23 2017-10-09 Method and system for detecting an elevated object situated within a parking facility

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016223106.5 2016-11-23
DE102016223106.5A DE102016223106A1 (de) 2016-11-23 2016-11-23 Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts

Publications (1)

Publication Number Publication Date
WO2018095640A1 true WO2018095640A1 (de) 2018-05-31

Family

ID=60037618

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/075608 WO2018095640A1 (de) 2016-11-23 2017-10-09 Verfahren und system zum detektieren eines sich innerhalb eines parkplatzes befindenden erhabenen objekts

Country Status (6)

Country Link
US (1) US11080530B2 (de)
EP (1) EP3545506A1 (de)
JP (1) JP6806920B2 (de)
CN (1) CN109983518B (de)
DE (1) DE102016223106A1 (de)
WO (1) WO2018095640A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016223171A1 (de) * 2016-11-23 2018-05-24 Robert Bosch Gmbh Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
DE102018217128A1 (de) * 2018-10-08 2020-04-09 Robert Bosch Gmbh Verfahren zur Erkennung von Entitäten
CN109657545B (zh) * 2018-11-10 2022-12-20 天津大学 一种基于多任务学习的行人检测方法
CN112468681B (zh) 2019-09-06 2022-02-15 杭州海康威视数字技术股份有限公司 用于采集车辆信息的摄像装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140257943A1 (en) * 2012-08-06 2014-09-11 Cloudparc, Inc. Tracking Speeding Violations and Controlling Use of Parking Spaces Using Cameras
DE102014205180A1 (de) * 2014-03-20 2015-09-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
US20150339924A1 (en) * 2014-05-21 2015-11-26 Douglas J. Cook Parking space occupancy
DE102014008578A1 (de) * 2014-06-12 2015-12-17 Audi Ag Verfahren zur Ermittlung von Positionsdaten zur Nutzung beim Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Positionsdatenermittlungs- und-verteilssystem
DE102014221682A1 (de) * 2014-10-24 2016-04-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
DE102015201209A1 (de) 2015-01-26 2016-07-28 Robert Bosch Gmbh Valet Parking-Verfahren und Valet-Parking System

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3664892B2 (ja) 1998-09-30 2005-06-29 松下電器産業株式会社 ステレオ画像処理方法および装置と侵入物体監視システム
JP3795810B2 (ja) * 2002-02-12 2006-07-12 株式会社東芝 物体検出方法及び装置
CN101688783A (zh) * 2007-07-04 2010-03-31 三菱电机株式会社 导航系统
DE102008023504A1 (de) * 2008-05-09 2009-11-19 Siemens Aktiengesellschaft Streckenüberwachungssystem für ein Fahrzeug und Verfahren zu dessen Betrieb
KR101182853B1 (ko) * 2008-12-19 2012-09-14 한국전자통신연구원 자동 주차 대행 시스템 및 방법
US20100258107A1 (en) 2009-04-09 2010-10-14 Chimex Pty Ltd Transportable wood-fired oven trailer
EP2372627A3 (de) * 2010-04-01 2011-10-12 Richard E. Rowe Bereitstellung von Stadtdiensten mit Mobilgeräten und einem Sensornetz
JP5812598B2 (ja) * 2010-12-06 2015-11-17 富士通テン株式会社 物体検出装置
KR20120086140A (ko) * 2011-01-25 2012-08-02 한국전자통신연구원 맞춤 자동 주차 서비스를 제공하기 위한 단말과 장치 및 그 방법
US9129524B2 (en) * 2012-03-29 2015-09-08 Xerox Corporation Method of determining parking lot occupancy from digital camera images
US8836788B2 (en) * 2012-08-06 2014-09-16 Cloudparc, Inc. Controlling use of parking spaces and restricted locations using multiple cameras
US9488483B2 (en) * 2013-05-17 2016-11-08 Honda Motor Co., Ltd. Localization using road markings
JP6405141B2 (ja) * 2014-07-22 2018-10-17 サクサ株式会社 撮像装置及び判定方法
JP6169544B2 (ja) 2014-09-05 2017-07-26 本田技研工業株式会社 走行支援制御装置
JP6354542B2 (ja) 2014-11-26 2018-07-11 株式会社デンソー 車両自動運転システム
DE102015208053A1 (de) * 2015-04-30 2016-11-03 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verringern einer Gefährdung für ein und/oder durch ein sich auf einem Parkplatz befindendes Fahrzeug

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140257943A1 (en) * 2012-08-06 2014-09-11 Cloudparc, Inc. Tracking Speeding Violations and Controlling Use of Parking Spaces Using Cameras
DE102014205180A1 (de) * 2014-03-20 2015-09-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
US20150339924A1 (en) * 2014-05-21 2015-11-26 Douglas J. Cook Parking space occupancy
DE102014008578A1 (de) * 2014-06-12 2015-12-17 Audi Ag Verfahren zur Ermittlung von Positionsdaten zur Nutzung beim Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Positionsdatenermittlungs- und-verteilssystem
DE102014221682A1 (de) * 2014-10-24 2016-04-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
DE102015201209A1 (de) 2015-01-26 2016-07-28 Robert Bosch Gmbh Valet Parking-Verfahren und Valet-Parking System

Also Published As

Publication number Publication date
JP6806920B2 (ja) 2021-01-06
US11080530B2 (en) 2021-08-03
DE102016223106A1 (de) 2018-05-24
EP3545506A1 (de) 2019-10-02
US20190325225A1 (en) 2019-10-24
CN109983518A (zh) 2019-07-05
JP2020500390A (ja) 2020-01-09
CN109983518B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
EP3187383B1 (de) Verfahren und vorrichtung zur externen betätigung eines aktors eines fahrzeugs
EP3545507B1 (de) Verfahren und system zum detektieren eines sich innerhalb eines parkplatzes befindenden erhabenen objekts
WO2018095640A1 (de) Verfahren und system zum detektieren eines sich innerhalb eines parkplatzes befindenden erhabenen objekts
DE102018203807A1 (de) Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen
DE102012022336A1 (de) Verfahren zum Durchführen eines zumindest semi-autonomen Parkvorgangs eines Kraftfahrzeugs in eine Garage, Parkassistenzsystem und Kraftfahrzeug
EP3545505A1 (de) Verfahren und system zum detektieren eines sich innerhalb eines parkplatzes befindenden erhabenen objekts
EP2174260A2 (de) Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm
DE102016223094A1 (de) Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
DE102017212376A1 (de) Verfahren und System zum Detektieren eines freien Bereiches innerhalb eines Parkplatzes
DE102015116542A1 (de) Verfahren zum Bestimmen einer Parkfläche zum Parken eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102021116703A1 (de) Verfahren und System zur Vorhersage einer Trajektorie eines Zielfahrzeugs in einer Umgebung eines Fahrzeugs
DE102018217746A1 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102016114160A1 (de) Verfahren zum zumindest semi-autonomen Manövrieren eines Kraftfahrzeugs in eine Garage auf Grundlage von Ultraschallsignalen und Kamerabildern, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102017212513A1 (de) Verfahren und System zum Detektieren eines freien Bereiches innerhalb eines Parkplatzes
EP3811286A1 (de) Verfahren und anordnung zum erkennen von objekten an anlagen
EP2254104B1 (de) Verfahren zum automatischen Erkennen einer Situationsänderung
DE102016223180A1 (de) Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
EP3576013A1 (de) Abschätzen eines verlaufs eines schienenpfads
DE102016223144A1 (de) Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
WO2022090015A1 (de) Verfahren zum analysieren eines umfelds eines kraftfahrzeugs
EP4222039A1 (de) Optische schienenwegerkennung
DE102020005763A1 (de) Verfahren zur Steuerung eines Fahrzeugs
DE102016223118A1 (de) Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
DE102017212379A1 (de) Verfahren und System zum Detektieren eines freien Bereiches innerhalb eines Parkplatzes
DE102019008079A1 (de) Verfahren zum Erkennen mindestens eines Objekts in einem Fahrbereich eines Fahrzeugs, Vorrichtung eingerichtet zum Druchführen eines solchen Verfahrens, und Fahrzeug mit einer solchen Vorrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17780746

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019547763

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017780746

Country of ref document: EP

Effective date: 20190624