WO2020161106A1 - Sicherheitssystem mit sensorvorrichtung sowie verfahren zur sicherheitskontrolle - Google Patents

Sicherheitssystem mit sensorvorrichtung sowie verfahren zur sicherheitskontrolle Download PDF

Info

Publication number
WO2020161106A1
WO2020161106A1 PCT/EP2020/052687 EP2020052687W WO2020161106A1 WO 2020161106 A1 WO2020161106 A1 WO 2020161106A1 EP 2020052687 W EP2020052687 W EP 2020052687W WO 2020161106 A1 WO2020161106 A1 WO 2020161106A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
augmented reality
reality device
real
output image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2020/052687
Other languages
English (en)
French (fr)
Inventor
Clemens Lohmer
Andreas Schiessl
Athanasios Karamalis
Tobias Schulte
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rohde and Schwarz GmbH and Co KG
Original Assignee
Rohde and Schwarz GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rohde and Schwarz GmbH and Co KG filed Critical Rohde and Schwarz GmbH and Co KG
Publication of WO2020161106A1 publication Critical patent/WO2020161106A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/887—Radar or analogous systems specially adapted for specific applications for detection of concealed objects, e.g. contraband or weapons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G01S7/046—Display arrangements using an intermediate storage device, e.g. a recording/reproducing device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G01S7/06—Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/20—Stereoscopic displays; Three-dimensional [3D] displays; Pseudo-3D displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Definitions

  • the invention relates to a security system with a sensor device and a method for security control.
  • Security systems for security control for example at airports, are known.
  • a person individually enters a sensor device and has to stay there briefly so that objects on the person can be reliably detected and assigned.
  • the position of any detected objects is usually displayed on a stationary screen to the user of the security system, for example a security person.
  • the user must now memorize the position of the objects on the body of the user before he scans the user. As a result, he may have to look at the screen more often, especially when there are several objects, which leads to further delays.
  • the object is achieved by a security system with a sensor device for a person, which is set up to detect at least one object and its position, and an augmented reality device, which comprises an evaluation device and a user module.
  • the evaluation device is set up to transmit the position of the object detected by the sensor device to parts of a human body in order to determine a body position of the object, the augmented reality device being set up to generate a real-time image of the surroundings of the augmented reality
  • To generate or receive a device with a person - identify the person in the real-time image and follow the movement of the person in the real-time image,
  • the user Because the position of the objects is superimposed with the real-time image or the field of view of the user, the user gains the impression that the markings are present on the person himself. As a result, the user no longer has to look at a screen to find out the position of the object on the body.
  • the real-time image and the output image are videos.
  • the output image is preferably generated in real time.
  • the augmented reality device can identify the person who is located in the sensor device when the object is detected by the sensor device. A measurement by the sensor device can thus always be assigned to the person.
  • the body position of the person is determined in the sensor device.
  • the user module is a wearable device that resembles glasses.
  • Such devices are also called augmented reality glasses or virtual reality glasses and are known from the prior art, for example Microsoft HoloLens or Oculus Rift.
  • a movement of the person is understood to mean any movement relative to the augmented reality device, ie also one Movement of the augmented reality device or the user module leads to a movement of the person within the meaning of the invention.
  • the position of the object is thus dynamically adapted to the movement of the person or the user module even when the person or the user module of the augmented reality device moves.
  • Applications of the security system are, for example, security controls at airports, entry controls to buildings or events or theft controls at exits.
  • the augmented reality device is set up to generate the output image by superimposing the real-time image with the body position on the person.
  • the output image is meaningful on its own.
  • the sensor device is a body scanner and / or a millimeter wave sensor device, whereby objects can be reliably detected on people.
  • the augmented reality device can be set up to identify the person in or through the output image.
  • the sensor device and / or the augmented reality device is preferably set up to detect several, in particular all, objects on the person in order to increase security.
  • the marking of the position of the object in the output image depends on which side of the body the object is on. This can further accelerate control by the user.
  • the markings on the different sides can differ in shape and color, for example.
  • the augmented reality device is set up to classify the object with regard to its security relevance, in particular the marking of the position of the object in the output image being dependent on the security relevance. This can improve the safety of the user, since he is made aware of dangers.
  • the augmented reality device is set up to recognize and track at least one hand of the user of the user module, with those parts of the person's body that have been touched by one of the at least one hand being determined, whereby the quality of the control can be documented.
  • the augmented reality device is set up to highlight the touched and / or untouched parts of the person's body in or through the output image, always superimposed on the person at the corresponding points. This allows the quality of the control to be further improved and the control to be accelerated.
  • the augmented reality device can be set up to change the markings of the position of the object if the part of the body has been touched by one of the at least one hand of the wearer that indicates the position of the Corresponds to the object. For example, the color of the respective marking changes.
  • the augmented reality device is set up to display an avatar in the output image, in particular to overlay it with the real-time image, the position of the object being marked on the avatar. This allows the security check to be accelerated further, since the user can prepare for the control of the person.
  • the avatar has the shape of a human body and / or has a similar shape to the person.
  • the augmented reality device can be configured to display current security information on a security sticker.
  • a security ticker is understood to mean a transmission service which sends information at regular or irregular intervals, for example in text form and / or image form.
  • the augmented reality device is set up to receive measurement data of the object from the sensor device and to display a visualization of the object. This allows the area on the body to be controlled by the user to be narrowed down further.
  • the visualization can be superimposed in the output image with the real-time image or the field of vision of the user or in an information area.
  • the measurement data contain, for example, a so-called "mm-wave" image that can be displayed in the output image.
  • the augmented reality device is set up to create an image of the object and to compare it with the measurement data, whereby the evaluation of the evaluation device, in particular the classification of the security relevance, can be improved.
  • the augmented reality device has at least one input device, the augmented reality device being set up to receive feedback by means of the input device, in particular about the object, and to transmit the feedback to the evaluation device.
  • the evaluation of the evaluation device in particular the classification of the safety relevance by the user, can be improved
  • the evaluation device can use the feedback to adapt the evaluation, in particular the classification of the safety relevance.
  • the evaluations that the evaluation device carries out can take place with the help of one or more artificial neural networks of the evaluation device.
  • the augmented reality device can be set up to mark a person in or through the output image as “checked”, in particular on the basis of the feedback and / or the parts of the body that one of the at least one Hand touched.
  • the augmented reality device in particular the user module, has at least one camera for generating the real-time image of the surroundings and / or a display device for outputting the output image.
  • the display device can be an opaque or partially transparent, ie partially transparent, screen.
  • the security system can have a notification device, the evaluation device being set up to recognize whether the body position is in a sensitive area and, if the body position is in a sensitive area, by means of the notification device inform the relevant user.
  • the security system has a control device which is set up to display the output image and / or the real-time image of the augmented reality device. This enables central control of the users of the user modules.
  • the output images of all user modules being able to be displayed on the control device, in particular being able to be displayed simultaneously.
  • the measures that support the user can also be used to document and / or statistically record the control processes.
  • the object is further achieved by a method for security control of a person, in particular by means of a security system according to one of the preceding claims, with the following steps: a) examining the person by means of a sensor device, b) detecting at least one object and its location on the person, c) Transferring the position of the object to parts of a human body in order to generate a body position of the object, in particular by means of an evaluation device, d) Generating a real-time image of the surroundings of an augmented reality device with the person, in particular by means of augmented reality Device, e) identifying and tracking the person in the real-time image, f) generating an output image based on the real-time image and the body position, so that the position of the object in or through the output image is always marked on the person, in particular by means of the augmented reality device, and g) outputting
  • the output image is generated by superimposing the real-time image with the body position on the person.
  • FIG. 1 shows a security system according to the invention
  • FIG. 2 shows a flow chart of a method according to the invention
  • FIGS. 3 to 5 are schematic representations of the output of one of the user modules of the security system according to FIG. 1 during the implementation of various steps of the inventive method for security control.
  • FIG. 10 A security system 10 according to the invention is shown schematically in FIG.
  • the security system 10 is, for example, a security system that is used for personal control in airports. It is also conceivable that the security system 10 is used to control admission to buildings and events as well as at department store exits to detect theft.
  • the security system has two sensor devices 12, at least one augmented reality device 14, in each case a notification device 16 assigned to the sensor devices 12, and at least one control device 17.
  • the augmented reality device 14 has an evaluation device 18 and a plurality of user modules 20. For example, at least one user module 20 is assigned to one of the sensor devices 12.
  • sensor devices 12 and / or user modules 20 can also be provided.
  • the sensor device 12 is a millimeter wave sensor device which can examine objects by means of millimeter waves - electromagnetic waves in the terahertz range.
  • Such millimeter wave sensor devices are used, for example, in full-body scanners such as the Rhode & Schwarz Quick Personnel Security Scanner.
  • the sensor device 12 can, for example on the basis of the properties of the millimeter waves, detect objects that a person wears on the body under clothing. In addition, the sensor device can accordingly also detect the position of this object on the person.
  • the sensor device 12 consists of two sensor modules 22 through which a person who is to be checked can pass.
  • the notification device 16 is designed as a signal lamp on one of the sensor modules 22 of the sensor device 12.
  • the notification device 16 has headphones for security personnel, a display, mobile terminals or the like.
  • Each of the sensor devices 12 is connected to the evaluation device 18, which is set up to evaluate the measured values determined by the sensor device 12.
  • the evaluation device 18 can be implemented in each of the sensor devices 12 or be available as a central service, for example on a server, for each of the sensor devices 12.
  • the sensor device 12 is connected to the control device 17.
  • the evaluation device 18 is connected to the user modules 20.
  • connection is indicated in Figure 1 by cables. Of course, one or more of the connections can also be made wirelessly.
  • the user module 20 is designed as a portable device which is similar to glasses and is also called augmented reality glasses or virtual reality glasses. Such user modules 20 are known from the prior art. Examples are Microsoft HoloLens or Oculus Rift.
  • the user modules 20 have a display device 24, a camera 26 and at least one input device 28.
  • the display device 24 is in the worn state directly in front of the eyes of the user.
  • the camera 26 is directed away from the user and approximately captures the field of view that the user would have if he were not wearing the user module 20. It is also conceivable that the display device 24 is partially transparent, so that a user of the user module 20 can continue to see the surroundings in front of him.
  • the input means 28 is shown as a button or button, but any other known input means are also conceivable.
  • the security system 10, in particular the augmented reality device 14, can have a further camera 34 whose field of view detects at least one of the sensor devices 12 and / or parts of the surroundings of the sensor device 12.
  • the evaluation device 18 makes it possible for the evaluation device 18 to always be able to identify the person who is being examined by the sensor device 12, even if they are outside the field of view of the camera 26 of the user module 20. In this way, the position of a person can be tracked permanently and in particular the person can then be identified among several people.
  • FIG. 2 shows a flow chart of a method according to the invention for security control.
  • the sequence and occurrence of the steps in FIG. 2 is only exemplary.
  • FIGS. 3 to 5 show the display device 24 of the augmented reality device 14 in various situations during the implementation of a security check. More precisely, the figures show what the user of the user module 20 perceives. The exact display on the display device 24 generally differs from this.
  • This representation is also displayed on the control device 17, the output of each user module 20 of the security system 10 being able to be displayed on the control device 17, for example side by side.
  • the user of the augmented reality device is a security person at an airport security check who carries out a personal check on a person P.
  • the person P to be checked enters the sensor device 12, ie, in the exemplary embodiment shown, between the two sensor modules 22 (step S1).
  • step S2 the person P is examined by the sensor device 12 (step S2).
  • the measured values determined by the sensor device 12 are transmitted to the evaluation device 18 and the evaluation device 18 then determines whether the person is carrying one or more objects and the body position of the one or more objects, i. H. at which point the object is carried by the person on the body (step S3).
  • the sensor device 12 detects all objects that the person P is carrying.
  • the evaluation device 18 also determines, for example, the gender of person P.
  • the evaluation device 18 controls the notification device 16 of the corresponding sensor device 12 in order to inform a user who is suitable for checking the person P. .
  • the person P is a woman, a female user is informed in order to control the person P at least in the sensitive areas.
  • the evaluation device 18 can also use the measured values to create a visualization V of the object.
  • the evaluation device 18 classifies the recognized object with regard to its safety relevance.
  • objects that are recognized as a weapon are classified as dangerous.
  • Other objects, such as large bottles, can indicate smuggling or theft and can be assigned to a different security class (step S5).
  • the camera 26 or the further camera 34 detects the person P in a real-time image Surroundings of the sensor device 12 or the augmented reality device 14 (step S6).
  • the evaluation device 18 receives the real-time image from the camera 26 and / or the further camera 34, identifies the person P in the real-time image and tracks the movement of the person P (step S7).
  • the evaluation device 18 also continuously identifies the position of the person P in relation to the camera 26 and identifies the sections in the real-time image of the camera 26 of the user module 20 which correspond to the places on the body of the person P that correspond to the body position of the object (step S8).
  • the evaluation device 18 On the basis of this transfer of the body position to the locations in the real-time image, the evaluation device 18 generates an output image with markings Mi, M2 of the objects (step S9).
  • the output image is then transmitted to the corresponding user module 20 and output by the latter (step S10).
  • the output image is an overlay of the real-time image of the camera 26 of the user module 20 with the markings Mi, M2.
  • the locations in the real-time image are provided with markings Mi, M2 at which an object was recognized and the real-time image is output with markings Mi, M2.
  • the real-time image is recorded by the camera 26 and played back immediately, so that the user is given the feeling, if possible, that he is only looking through glasses and not at the display device 24.
  • the real-time image is used to identify those points on the display device 24 at which the markings Mi, M2 must be displayed so that the user perceives the markings Mi, M2 as if they were on the points of the user's body on which the objects are.
  • the real-time image is therefore not output on the partially transparent display device.
  • the recognition, identification and / or tracking of the people, the determination of the security class, the determination of the object position, the generation of the output image and / or the other functions of the evaluation device 18 take place, for example, with the aid of one or more artificial neural networks.
  • the displayed image is divided into two parts, a section at the edge of the display being an information section 30 and the remaining part of the display being a real-time section 32.
  • the output image is displayed so that an augmented reality is created for the user.
  • the user sees the sensor device 12 in the background and the person P in the foreground, who is standing with his back to him.
  • the evaluation device 18 takes these movements into account and always displays the markings Mi, M 2 at the point in the output image where the objects are located.
  • two objects were found on person P.
  • One object is in the breast pocket of person P, another object is on the back of the waistband.
  • the evaluation device 18 therefore generates two markings Mi, M 2 and superimposes the real-time image so that the chest area and the area on the right waistband are marked.
  • the markings Mi, M2 differ from one another.
  • the marking Mi of the first object in the breast pocket is shown roughened and the second marking M 2 is hatched on the back above the waistband.
  • a roughened marking here indicates that the corresponding object lies on the front of the body of the person P and / or on the side of the person P facing away from the camera 26.
  • hatching indicates that the corresponding object is on the back of the body of person P or on the side facing camera 26.
  • the markings Mi, M 2 can differ according to the security relevance of the detected objects.
  • the markings can not only be distinguished by hatching, but in particular by shape and / or color.
  • the person P is identified by means of an arrow so that the user of the augmented reality device 14 can also find the corresponding person P among several people.
  • the representation of the arrow takes place in the same way as the representation of the markings Mi, M 2 , which was discussed above.
  • an avatar 36 is shown in the information section 30 which has the shape of a human body and on which the body positions of the object are also marked.
  • the person P is superimposed with an avatar which has the shape of a human body and / or a similar shape to the person P.
  • the visualizations V of the object can be shown in the information section 30, here a pistol, and information I on safety relevance.
  • At least one piece of security information S can be displayed in the information section 30.
  • security information can be provided by a security sticker, for example the length of the Queue reports or indicates acute dangers to the augmented reality device 14 are transmitted.
  • the user of the user module 20 thus knows that and at which points he has to check the person P.
  • the augmented reality device 14, in particular the evaluation device 18, recognizes the hand H or the hands of the user in the real-time image and follows them (step S1 1).
  • the evaluation device 18 recognizes that these parts of the body have been touched and thus checked. In particular, the evaluation device 18 detects whether the points on the body of the person P at which objects were detected have been touched.
  • the evaluation device 18 can therefore determine in this way whether the objects have been checked at the markings Mi, M2.
  • Points of the body that have been touched and therefore checked are highlighted by the evaluation device 18 in the output image (step S12), just as described above for the markings Mi, M2.
  • the evaluation device 18 now superimposes the real-time image with highlighting 38, which highlight the parts of the body that were touched by the hand.
  • the shape of the markings Mi, M2 has also changed, thereby signaling that the objects to which the markings Mi, M 2 are assigned have been checked (step S13).
  • This change in the markings can also be done by means of a color. For example, green markings symbolize that the relevant objects have been checked.
  • the evaluation device can create an image of the object and compare it with the measurement data of the sensor device 12 (step s 14).
  • the input means 28 When the user has inspected the object, he can use the input means 28 to provide feedback on the controlled object.
  • the object identified as a pistol turned out to be harmless.
  • the user transmits this feedback to the augmented reality device 14 using the input means 28, so that the latter, in particular the evaluation device 18, can also adapt the classification of the security relevance for further use or further classifications (step S15).
  • the user can use the input means 28 to classify the person P as controlled or inconspicuous, whereupon the evaluation device 18 outputs a corresponding identifier 40 in the real-time image, here in the form of a tick, above the person P (step S16).
  • the evaluation device 18 automatically outputs this identification 40, in this case a tick, above the person P who is not carrying any objects.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Ein Sicherheitssystem hat eine Sensorvorrichtung (12) für eine Person (P) und eine Erweiterte-Realität-Vorrichtung (14), die eine Auswertevorrichtung (18) und ein Benutzermodul (20) umfasst, wobei die Erweiterte-Realität-Vorrichtung (14) dazu eingerichtet ist, - ein Echtzeitbild der Umgebung der Erweiterte-Realität-Vorrichtung (14) mit der Person (P) zu erzeugen oder zu empfangen, - die Person (P) im Echtzeitbild zu identifizieren und die Bewegung der Person (P) im Echtzeitbild zu verfolgen, - ein Ausgabebild anhand des Echtzeitbilds und der Messwerte der Sensorvorrichtung (12) zu erzeugen, sodass die Lage des Objektes im oder durch das Ausgabebild stets auf der Person (P) markiert ist, und - das Ausgabebild mittels des Benutzermoduls (20) auszugeben. Zudem ist ein Verfahren zur Sicherheitskontrolle gezeigt.

Description

Sicherheitssystem mit Sensorvorrichtung sowie Verfahren zur
Sicherheitskontrolle
Die Erfindung betrifft ein Sicherheitssystem mit einer Sensorvorrichtung sowie ein Verfahren zur Sicherheitskontrolle.
Sicherheitssysteme zur Sicherheitskontrolle, beispielsweise an Flughäfen, sind bekannt. Bei solchen Sicherheitssystemen tritt eine Person einzeln in eine Sensorvorrichtung ein und muss dort kurz verweilen, damit Objekte an der Person zuverlässig detektiert und zugeordnet werden können. Die Position von gegebenenfalls detektierten Objekten wird dem Benutzer des Sicherheitssystems, zum Beispiel eine Sicherheitsperson, üblicherweise auf einem stationären Bildschirm angezeigt. Der Benutzer er sich nun die Lage der Objekte am Körper des Benutzers einprägen muss, bevor er den Benutzer abtastet. Hierdurch muss er, insbesondere bei mehreren Objekten, gegebenenfalls häufiger auf den Bildschirm schauen, was zu weiteren Verzögerungen führt.
Es ist daher Aufgabe der Erfindung, ein Sicherheitssystem sowie ein Verfahren zur Sicherheitskontrolle bereitzustellen, die eine sehr schnelle Kontrolle vieler Personen zulässt.
Die Aufgabe wird gelöst durch ein Sicherheitssystem mit einer Sensorvorrichtung für eine Person, die dazu eingerichtet ist, wenigstens ein Objekt und dessen Lage zu detektieren, und einer Erweiterte-Realität-Vorrichtung, die eine Auswertevorrichtung und ein Benutzermodul umfasst. Die Auswertevorrichtung ist dazu eingerichtet, die von der Sensorvorrichtung detektierte Lage des Objektes auf Teile eines menschlichen Körpers zu übertragen, um eine Körperlage des Objektes zu ermitteln, wobei die Erweiterte- Realität-Vorrichtung dazu eingerichtet ist, ein Echtzeitbild der Umgebung der Erweiterte-Realität-Vorrichtung mit einer Person zu erzeugen oder zu empfangen, - die Person im Echtzeitbild zu identifizieren und die Bewegung der Person im Echtzeitbild zu verfolgen,
- ein Ausgabebild anhand des Echtzeitbilds und der Körperlage zu erzeugen, sodass die Lage des Objektes im oder durch das Ausgabebild stets auf der Person markiert ist, und
- das Ausgabebild mittels des Benutzermoduls auszugeben.
Dadurch, dass die Lage der Objekte mit dem Echtzeitbild bzw. dem Blickfeld des Benutzers überlagert werden, gewinnt der Benutzer den Eindruck, dass die Markierungen auf der Person selbst vorhanden sind. Dadurch muss der Benutzer nicht mehr auf einen Bildschirm blicken, um die Lage des Objektes am Körper herauszufinden.
Außerdem ermöglicht die Verfolgung von Personen, dass die Personen nicht mehr vereinzelt werden müssen und stehenbleiben müssen, um eine sichere Zuordnung der detektierten Objekte zu der Person zu ermöglichen. All das führt zu einer deutlichen Beschleunigung der Sicherheitskontrolle.
Das Echtzeitbild und das Ausgabebild sind insbesondere Videos. Das Ausgabebild wird vorzugsweise in Echtzeit erzeugt.
Zur Verfolgung kann die Erweiterte-Realität-Vorrichtung die Person identifizieren, die sich bei der Detektion des Objektes durch die Sensorvorrichtung in der Sensorvorrichtung befindet. Somit kann eine Messung der Sensorvorrichtung stets der Person zugeordnet werden.
Außerdem wird die Körperposition der Person in der Sensorvorrichtung bestimmt.
Vorzugsweise ist das Benutzermodul eine am Körper tragbare Vorrichtung, die einer Brille ähnelt. Solche Vorrichtungen werden auch Augmented-Reality-Brille oder Virtual-Reality-Brille genannt und sind aus dem Stand der Technik bekannt, zum Beispiel Microsoft HoloLens oder Oculus Rift.
Unter einer Bewegung der Person wird im Rahmen dieser Erfindung jede relative Bewegung zur Erweiterte-Realität-Vorrichtung verstanden, d.h. auch eine Bewegung der Erweiterte-Realität-Vorrichtung bzw. des Benutzermoduls führt zu einer Bewegung der Person im Sinne der Erfindung.
Die Lage des Objektes wird somit auch bei Bewegung der Person bzw. des Benutzermoduls der Erweiterte-Realität-Vorrichtung dynamisch an die Bewegung der Person bzw. des Benutzermoduls angepasst.
Anwendungen des Sicherheitssystems sind zum Beispiel Sicherheitskontrollen am Flughafen, Einlasskontrollen zu Gebäuden oder Veranstaltungen oder Diebstahlkontrollen an Ausgängen.
Beispielsweise ist die Erweiterte-Realität-Vorrichtung dazu eingerichtet, das Ausgabebild durch Überlagern des Echtzeitbilds mit der Körperlage auf der Person zu erzeugen. Auf diese Weise ist das Ausgabebild auch alleine aussagekräftig.
In einer Ausführungsform der Erfindung ist die Sensorvorrichtung ein Körperscanner und/oder eine Milimeterwellensensorvorrichtung, wodurch Objekte zuverlässig an Personen detektiert werden können.
Um die zu untersuchende Person für den Benutzer unterscheidbar zu machen, kann die Erweiterte-Realität-Vorrichtung dazu eingerichtet sein, die Person im oder durch das Ausgabebild zu kennzeichnen.
Vorzugsweise ist die Sensorvorrichtung und/oder die Erweiterte-Realität- Vorrichtung dazu eingerichtet, mehrere, insbesondere alle Objekte an der Person zu detektieren, um die Sicherheit zu erhöhen.
In einer Ausgestaltung der Erfindung ist die Markierung der Lage des Objektes im Ausgabebild davon abhängig, auf welcher Seite des Körpers sich das Objekt befindet. Dadurch kann die Kontrolle durch den Benutzer weiter beschleunigt werden.
Bei einer Seite des Körpers kann unterschieden werden zwischen Vorder- und Rückseite des Körpers oder zwischen der dem Benutzermodul zugewandten Seite des Körpers und der vom Benutzermodul abgewandten Seite.
Die Markierungen auf den unterschiedlichen Seiten können sich zum Beispiel in Form und Farbe unterscheiden. In einer Ausgestaltung der Erfindung ist die Erweiterte-Realität-Vorrichtung dazu eingerichtet, das Objekt hinsichtlich seiner Sicherheitsrelevanz zu klassifizieren, insbesondere wobei die Markierung der Lage des Objektes im Ausgabebild von der Sicherheitsrelevanz abhängig ist. Dadurch kann die Sicherheit des Benutzers verbessert werden, da er auf Gefahren hingewiesen wird.
In einer Ausgestaltung der Erfindung ist die Erweiterte-Realität-Vorrichtung dazu eingerichtet, wenigstens eine Hand des Benutzers des Benutzermoduls zu erkennen und zu verfolgen, wobei diejenigen Teile des Körpers der Person, die von einer der wenigstens einer Hand berührt worden sind, ermittelt werden, wodurch die Qualität der Kontrolle dokumentiert werden kann.
Beispielsweise ist die Erweiterte-Realität-Vorrichtung dazu eingerichtet, die berührten und/oder unberührten Teile des Körpers der Person im oder durch das Ausgabebild stets an den entsprechenden Stellen mit der Person überlagert hervorzuheben. Hierdurch kann die Qualität der Kontrolle weiter verbessert und die Kontrolle beschleunigt werden.
Zur weiteren Verbesserung der Qualität und der Geschwindigkeit der Sicherheitskontrolle kann die Erweiterte-Realität-Vorrichtung dazu eingerichtet sein, die Markierungen der Lage des Objekts zu verändern, wenn durch eine der wenigstens einen Hand des Trägers die Stelle des Körpers berührt wurde, die der Lage des Objektes entspricht. Zum Beispiel ändert sich die Farbe der jeweiligen Markierung.
In einer weiteren Ausgestaltung der Erfindung ist die Erweiterte-Realität- Vorrichtung dazu eingerichtet, einen Avatar im Ausgabebild anzuzeigen, insbesondere mit dem Echtzeitbild zu überlagern, wobei die Lage des Objektes auf dem Avatar markiert ist. Dadurch lässt sich die Sicherheitskontrolle weiter beschleunigen, da der Benutzer sich auf die Kontrolle der Person vorbereiten kann.
Zur schnellen Darstellung hat der Avatar die Form eines menschlichen Körpers und/oder hat eine ähnliche Form wie die Person. Um die Sicherheit des Benutzers weiter zu erhöhen, kann die Erweiterte- Realität-Vorrichtung dazu eingerichtet sein, aktuelle Sicherheitsinformationen eines Sicherheitstickers anzuzeigen.
Unter einem Sicherheitsticker wird im Rahmen der Erfindung ein Übertragungsdienst verstanden, der in regelmäßigen oder unregelmäßigen Abständen Informationen versendet, zum Beispiel in Textform und/oder Bildform.
In einer Ausführungsvariante ist die Erweiterte-Realität-Vorrichtung dazu eingerichtet, Messdaten des Objektes von der Sensorvorrichtung zu erhalten und eine Visualisierung des Objekts anzuzeigen. Dadurch kann der Bereich am Körper, der vom Benutzer zu kontrollieren ist, weiter eingegrenzt werden.
Die Visualisierung kann im Ausgabebild mit dem Echtzeitbild oder dem Blickfeld des Benutzers überlagert oder in einem Informationsbereich erfolgen.
Die Messdaten enthalten zum Beispiel ein sogenanntes„mm-wave“ Bild, das im Ausgabebild angezeigt werden kann.
In einer Ausgestaltung der Erfindung ist die Erweiterte-Realität-Vorrichtung dazu eingerichtet, ein Bild vom Objekt zu erstellen und mit den Messdaten zu vergleichen, wodurch die Auswertung der Auswertevorrichtung, insbesondere die Klassifizierung der Sicherheitsrelevanz verbessert werden kann.
Beispielsweise weist die Erweiterte-Realität-Vorrichtung wenigstens ein Eingabemittel auf, wobei die Erweiterte-Realität-Vorrichtung dazu eingerichtet ist mittels des Eingabemittels Rückmeldung zu erhalten, insbesondere über das Objekt, und die Rückmeldung an die Auswertevorrichtung zu übermitteln. Dadurch kann die Auswertung der Auswertevorrichtung, insbesondere die Klassifizierung der Sicherheitsrelevanz durch den Benutzer verbessert werden kann
Die Auswertevorrichtung kann anhand der Rückmeldung die Auswertung, insbesondere die Klassifizierung der Sicherheitsrelevanz, anpassen.
Die Auswertungen, die die Auswertevorrichtung durchführt, wie die Erkennung, Identifizierung und/oder Verfolgung der Personen, die Bestimmung der Sicherheitsklasse, die Bestimmung der Objektlage, das Erzeugen des Ausgabebildes und/oder die weiteren Funktionen der Auswertevorrichtung können mithilfe eines oder mehrerer künstlicher neuronaler Netzwerke der Auswertevorrichtung erfolgen.
Um die Sicherheitskontrolle weiter zu beschleunigen, kann die Erweiterte- Realität-Vorrichtung dazu eingerichtet sein, eine Person im oder durch das Ausgabebild als„geprüft“ zu markieren, insbesondere anhand der Rückmeldung und/oder der Stellen des Körpers, die von einer der wenigstens einen Hand berührt wurden.
In einer Ausgestaltung der Erfindung weist die Erweiterte-Realität-Vorrichtung, insbesondere das Benutzermodul, wenigstens eine Kamera zur Erzeugung des Echtzeitbilds der Umgebung und/oder eine Anzeigevorrichtung zur Ausgabe des Ausgabebilds auf. Die Anzeigevorrichtung kann ein undurchsichtiger oder teildurchlässiger, also teilweise durchsichtiger, Bildschirm sein.
Um schnell auf Personalbedarf aufmerksam machen zu können, kann das Sicherheitssystem eine Mitteilungsvorrichtung aufweisen, wobei die Auswertevorrichtung dazu eingerichtet ist, zu erkennen, ob die Körperlage in einem sensiblen Bereich liegt, und, falls die Körperlage in einem sensiblen Bereich liegt, mittels der Mitteilungsvorrichtung einen entsprechenden Benutzer zu informieren.
In einer Ausführungsform weist das Sicherheitssystem eine Kontrollvorrichtung auf, die dazu eingerichtet ist, das Ausgabebild und/oder das Echtzeitbild der Erweiterte-Realität-Vorrichtung anzuzeigen. Dies ermöglicht eine zentrale Kontrolle der Benutzer der Benutzermodule.
Zum Beispiel sind mehrere Benutzermodule und/oder mehrere Sensorvorrichtungen vorgesehen, wobei auf der Kontrollvorrichtung die Ausgabebilder aller Benutzermodule anzeigbar sind, insbesondere gleichzeitig anzeigbar.
Die für den Benutzer unterstützenden Maßnahmen, wie die Bestimmung der Sicherheitsrelevanz und die Ermittlung der Visualisierung, können auch zur Dokumentation und/oder statistischen Erfassung der Kontrollvorgänge dienen. Die Aufgabe wird ferner gelöst durch ein Verfahren zur Sicherheitskontrolle einer Person, insbesondere mittels eines Sicherheitssystem gemäß einem der vorhergehenden Ansprüche, mit den folgenden Schritten: a) Untersuchen der Person mittels einer Sensorvorrichtung, b) Detektieren wenigstens eines Objekts und dessen Lage an der Person, c) Übertragen der Lage des Objektes auf Teile eines menschlichen Körpers, um eine Körperlage des Objektes zu erzeugen, insbesondere mittels einer Auswertevorrichtung, d) Erzeugen eines Echtzeitbild der Umgebung einer Erweiterte-Realität- Vorrichtung mit der Person, insbesondere mittels der Erweiterte- Realität-Vorrichtung, e) Identifizieren und Verfolgen der Person im Echtzeitbild, f) Erzeugen eines Ausgabebilds anhand des Echtzeitbildes und der Körperlage, sodass die Lage des Objektes im oder durch das Ausgabebild stets auf der Person markiert ist, insbesondere mittels der Erweiterte-Realität-Vorrichtung, und g) Ausgeben des Ausgabebilds, insbesondere mittels eines tragbaren Benutzermoduls.
Insbesondere wird das Ausgabebilds durch Überlagern des Echtzeitbildes mit der Körperlage auf der Person erzeugt.
Die zur Vorrichtung diskutieren Merkmale und Vorteile sind entsprechend auf das Verfahren übertragbar und umgekehrt. Daher werden diese nicht nochmals diskutiert.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung sowie aus den beigefügten Zeichnungen, auf die Bezug genommen wird. In den Zeichnungen zeigen:
Figur 1 ein erfindungsgemäßes Sicherheitssystem,
Figur 2 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens, und - die Figuren 3 bis 5 schematische Darstellungen der Ausgabe einer der Benutzermodule des Sicherheitssystems nach Figur 1 während der Durchführung von verschiedenen Schritten des erfindungsgemäßen Verfahrens zur Sicherheitskontrolle.
In Figur 1 ist ein erfindungsgemäßes Sicherheitssystem 10 schematisch dargestellt.
Das Sicherheitssystem 10 ist beispielsweise ein Sicherheitssystem, das zur Personenkontrolle in Flughäfen zum Einsatz kommt. Denkbar ist auch, dass das Sicherheitssystem 10 zur Einlasskontrolle zu Gebäuden und Veranstaltungen sowie an Kaufhausausgängen zur Erkennung von Diebstählen verwendet wird.
Das Sicherheitssystem weist im gezeigten Ausführungsbeispiel zwei Sensorvorrichtungen 12, wenigstens eine Erweiterte-Realität-Vorrichtung 14, jeweils eine den Sensorvorrichtungen 12 zugeordnete Mitteilungsvorrichtung 16 und wenigstens eine Kontrollvorrichtung 17 auf.
Die Erweiterte-Realität-Vorrichtung 14 hat eine Auswertevorrichtung 18 und mehrere Benutzermodule 20. Zum Beispiel ist wenigstens ein Benutzermodul 20 jeweils einer der Sensorvorrichtungen 12 zugeordnet.
Selbstverständlich können auch mehr oder weniger Sensorvorrichtungen 12 und/oder Benutzermodule 20 vorgesehen sein
Im Folgenden wird die Funktionsweise des Sicherheitssystems und des erfindungsgemäßen Verfahrens mithilfe von einer Sensorvorrichtung 12 und einem Benutzermodul 20 erläutert.
Die Sensorvorrichtung 12 ist eine Millimeterwellensensorvorrichtung, die Gegenstände mittels Millimeterwellen - elektromagnetische Wellen im Terahertzbereich - untersuchen kann. Solche Millimeterwellensensor vorrichtungen kommen beispielsweise in Ganzkörperscannern zum Einsatz, wie dem Rhode & Schwarz Quick Personnel Security Scanner.
Die Sensorvorrichtung 12 kann, beispielsweise aufgrund der Eigenschaften der Millimeterwellen, Objekte detektieren, die eine Person auch unter der Kleidung am Körper trägt. Außerdem kann die Sensorvorrichtung dementsprechend auch die Lage dieses Objektes an der Person detektieren. Im gezeigten Ausführungsbeispiel besteht die Sensorvorrichtung 12 aus zwei Sensormodulen 22, durch die eine Person, die kontrolliert werden soll, hindurchtreten kann.
Außerdem ist im gezeigten Ausführungsbeispiel die Mitteilungsvorrichtung 16 als Signallampe an einem der Sensormodule 22 der Sensorvorrichtung 12 ausgebildet.
Denkbar ist jedoch auch, dass die Mitteilungsvorrichtung 16 Kopfhörer für Sicherheitspersonal, eine Anzeige, mobile Endgeräte oder dergleichen aufweist.
Jede der Sensorvorrichtungen 12 ist mit der Auswertevorrichtung 18 verbunden, die dazu eingerichtet ist, die von der Sensorvorrichtung 12 ermittelten Messwerte auszuwerten.
Die Auswertevorrichtung 18 kann in jeder der Sensorvorrichtungen 12 implementiert sein oder als zentraler Dienst, beispielsweise auf einem Server, für jede der Sensorvorrichtungen 12 zur Verfügung stehen.
Die Sensorvorrichtung 12 ist mit der Kontrollvorrichtung 17 verbunden.
Außerdem ist die Auswertevorrichtung 18 mit den Benutzermodulen 20 verbunden.
Die Verbindung ist in Figur 1 durch Kabel angedeutet. Selbstverständlich können einzelne oder mehrere der Verbindungen auch kabellos erfolgen.
Das Benutzermodul 20 ist im gezeigten Ausführungsbeispiel als tragbare Vorrichtung ausgeführt, die einer Brille ähnelt und auch Augmented-Reality-Brille oder Virtual-Reality-Brille genannt wird. Solche Benutzermodule 20 sind aus dem Stand der Technik bekannt. Beispiele sind Microsoft HoloLens oder Oculus Rift. Die Benutzermodule 20 weisen eine Anzeigevorrichtung 24, eine Kamera 26 und wenigstens ein Eingabemittel 28 auf.
Die Anzeigevorrichtung 24 ist im getragenen Zustand direkt vor den Augen des Benutzers. Die Kamera 26 ist vom Benutzer weggerichtet und erfasst in etwa das Blickfeld, das der Benutzer hätte, wenn er das Benutzermodul 20 nicht tragen würde. Denkbar ist auch, dass die Anzeigevorrichtung 24 teildurchlässig ist, sodass ein Benutzer des Benutzermoduls 20 die Umgebung vor sich weiterhin erkennen kann.
Im gezeigten Ausführungsbeispiel ist das Eingabemittel 28 als Knopf oder Schaltfläche dargestellt, denkbar sind jedoch auch beliebige andere bekannte Eingabemittel.
Das Sicherheitssystem 10, insbesondere die Erweiterte-Realität-Vorrichtung 14 kann eine weitere Kamera 34 haben, deren Blickfeld wenigstens eine der Sensorvorrichtungen 12 und/oder Teile der Umgebung der Sensorvorrichtung 12 erfasst.
Dadurch ist es möglich, dass die Auswertevorrichtung 18 stets die Person identifizieren kann, die von der Sensorvorrichtung 12 untersucht wird, auch wenn sie außerhalb des Blickfeldes der Kamera 26 des Benutzermoduls 20 ist. Hierdurch kann die Position einer Person permanent verfolgt werden und insbesondere kann die Person unter mehreren Personen anschließend identifiziert werden.
In Figur 2 ist ein Ablaufdiagramm eines erfindungsgemäßen Verfahren zur Sicherheitskontrolle dargestellt. Die Reihenfolge und das Auftreten der Schritte in Figur 2 ist lediglich beispielhaft.
Außerdem ist in den Figuren 3 bis 5 die Anzeigevorrichtung 24 der Erweiterte- Realität-Vorrichtung 14 in verschiedenen Situationen während der Durchführung einer Sicherheitskontrolle gezeigt. Genauer gesagt ist in den Figuren dargestellt, was der Benutzer des Benutzermoduls 20 wahrnimmt. Die genaue Anzeige an der Anzeigevorrichtung 24 weicht in der Regel hiervon ab.
Diese Darstellung wird auch auf der Kontrollvorrichtung 17 angezeigt, wobei auf der Kontrollvorrichtung 17 die Ausgabe jedes Benutzermoduls 20 des Sicherheitssystems 10 angezeigt werden können, beispielsweise nebeneinander.
Im gezeigten Ausführungsbeispiel ist der Benutzer der Erweiterte-Realität- Vorrichtung eine Sicherheitsperson an einer Flughafensicherheitskontrolle, der eine Personenkontrolle an einer Person P durchführt. Zu Beginn tritt die zu kontrollierende Person P in die Sensorvorrichtung 12 ein, d.h. in gezeigten Ausführungsbeispiel zwischen die beiden Sensormodule 22 (Schritt S1 ).
Dann wird die Person P von der Sensorvorrichtung 12 untersucht (Schritt S2).
Die ermittelten Messwerte der Sensorvorrichtung 12 werden an die Auswertevorrichtung 18 übermittelt und die Auswertevorrichtung 18 bestimmt daraufhin, ob die Person ein oder mehrere Objekte mit sich führt und die Körperlage des einen oder der mehreren Objekte, d. h. an welcher Stelle das Objekt von der Person am Körper getragen wird (Schritt S3).
Insbesondere erkennt die Sensorvorrichtung 12 alle Objekte, die die Person P trägt.
Außerdem ermittelt die Auswertevorrichtung 18 zum Beispiel auch das Geschlecht der Person P.
Liegt wenigstens eine Stelle, an der das Objekt am Körper getragen wird, in einem sensiblen Bereich des Körpers, zum Beispiel im Schritt, steuert die Auswertevorrichtung 18 die Mitteilungsvorrichtung 16 der entsprechenden Sensorvorrichtung 12 an, um einen zur Kontrolle der Person P geeigneten Benutzer zu informieren.
Zum Beispiel wird, wenn die Person P eine Frau ist, ein weiblicher Benutzer informiert, um die Person P zumindest an den sensiblen Stellen zu kontrollieren.
Die Auswertevorrichtung 18 kann anhand der Messwerte auch eine Visualisierung V des Objektes erstellen.
Außerdem klassifiziert die Auswertevorrichtung 18 das erkannte Objekt hinsichtlich seiner Sicherheitsrelevanz.
Zum Beispiel werden Objekte, die als Waffe erkannt werden, als gefährlich eingestuft. Andere Gegenstände, wie beispielsweise große Flaschen, können auf Schmuggel oder Diebstahl hindeuten und einer anderen Sicherheitsklasse zugeordnet werden (Schritt S5).
Während die Person P von der Sensorvorrichtung 12 untersucht wird, erfasst die Kamera 26 oder die weitere Kamera 34 die Person P in einem Echtzeitbild der Umgebung der Sensorvorrichtung 12 bzw. der Erweiterte-Realität-Vorrichtung 14 (Schritt S6).
Die Auswertevorrichtung 18 erhält das Echtzeitbild von der Kamera 26 und/oder der weiteren Kamera 34, identifiziert im Echtzeitbild die Person P und verfolgt die Bewegung der Person P (Schritt S7).
Die Auswertevorrichtung 18 identifiziert zudem kontinuierlich die Position der Person P gegenüber der Kamera 26 und identifiziert die Abschnitte im Echtzeitbild der Kamera 26 des Benutzermoduls 20, die den Stellen des Körpers der Person P entsprechen, die mit der Körperlage des Objektes übereinstimmen (Schritt S8).
Anhand dieser Übertragung der Körperlage auf die Stellen im Echtzeitbild erzeugt die Auswertevorrichtung 18 ein Ausgabebild mit Markierungen Mi , M2 der Objekte (Schritt S9).
Das Ausgabebild wird dann an das entsprechende Benutzermodul 20 übertragen und von diesem ausgegeben (Schritt S10).
Im Falle, dass die Anzeigevorrichtung 24 undurchsichtig ist, ist das Ausgabebild eine Überlagerung des Echtzeitbildes der Kamera 26 des Benutzermoduls 20 mit den Markierungen Mi , M2. Anders gesagt werden die Stellen im Echtzeitbild mit Markierung Mi , M2 versehen, an denen ein Objekt erkannt wurde und das Echtzeitbild mit den Markierungen Mi , M2 ausgegeben.
Das Echtzeitbild wird von der Kamera 26 aufgenommen und sofort wiedergegeben, sodass der Benutzer nach Möglichkeit das Gefühl erhält, er würde lediglich durch eine Brille und nicht auf die Anzeigevorrichtung 24 schauen.
Im Fall, dass die Anzeigevorrichtung 24 teildurchlässig ist, werden anhand des Echtzeitbildes diejenigen Stellen auf der Anzeigevorrichtung 24 identifiziert, an denen die Markierungen Mi , M2 angezeigt werden müssen, damit der Benutzer die Markierungen Mi , M2 so wahrnimmt, als lägen sie auf den Stellen des Körpers des Benutzers an denen die Objekte sind. Auf der teildurchlässigen Anzeigevorrichtung wird also nicht das Echtzeitbild ausgegeben.
Bei einer teildurchlässigen Anzeigevorrichtung 24 schaut der Benutzer direkt durch die Anzeigevorrichtung 24, wodurch sich seine Wahrnehmung jedoch nicht von der in den Figuren 3 bis 5 gezeigten Beispielen unterscheidet. Zur Vereinfachung wird im Folgenden lediglich der Fall einer undurchsichtigen Anzeigevorrichtung 24 beschrieben, wobei sich die Funktionen ohne Weiteres auf eine teildurchlässige Anzeigevorrichtung übertragen lassen.
Die Erkennung, Identifizierung und/oder Verfolgung der Personen, die Bestimmung der Sicherheitsklasse, die Bestimmung der Objektlage, das Erzeugen des Ausgabebildes und/oder die weiteren Funktionen der Auswertevorrichtung 18 erfolgen beispielsweise mithilfe eines oder mehrerer künstlicher neuronaler Netzwerke.
Im gezeigten Ausführungsbeispiel ist, wie in den Figuren 3 bis 5 zu sehen, das ausgebebene Bild zweigeteilt, wobei ein Abschnitt am Rand der Anzeige ein Informationsabschnitt 30 und der übrige Teil der Anzeige ein Echtzeitabschnitt 32 ist.
Im Echtzeitabschnitt 32 wird das Ausgabebild angezeigt, sodass eine erweiterte Realität für den Benutzer entsteht. In der in Figur 3 gezeigten Situation sieht der Benutzer sieht somit die Sensorvorrichtung 12 im Hintergrund und die Person P im Vordergrund, die mit dem Rücken zu ihm steht.
Das Benutzermodul 20, genauer gesagt die Anzeigevorrichtung 24 gibt dann das Ausgabebild aus, sodass die Lage des Objektes im Echtzeitbild stets auf der Person markiert ist.
Aufgrund von Bewegungen des Benutzers oder durch Bewegungen der Person P kann sich die Lage der Person P im Echtzeitbild und somit auch die Lage der Objekte ändern. Die Auswertevorrichtung 18 berücksichtigt diese Bewegungen und stellt die Markierungen Mi , M2 stets an der Stelle im Ausgabebild dar, an der sich die Objekte befinden.
Im gezeigten Ausführungsbeispiel wurden an der Person P zwei Objekte gefunden. Ein Objekt befindet sich in der Brusttasche der Person P, ein anderes Objekt steckt am Rücken im Hosenbund.
Es werden also von der Auswertevorrichtung 18 zwei Markierungen Mi , M2 erzeugt und mit dem Echtzeitbild überlagert, sodass der Brustbereich und der Bereich am rechten Hosenbund markiert sind. Die Markierungen Mi, M2 unterscheiden sich dabei voneinander. Im gezeigten Ausführungsbeispiel ist die Markierung Mi des ersten Objekts in der Brusttasche gerautet dargestellt und die zweite Markierung M2 am Rücken über dem Hosenbund schraffiert.
Eine gerautete Markierung deutet hier darauf hin, dass das entsprechende Objekt auf der Vorderseite des Körpers der Person P und/oder auf der von der Kamera 26 abgewandten Seite der Person P liegt. Dagegen deutet eine Schraffierung darauf hin, dass das entsprechende Objekt auf der Rückseite des Körpers der Person P bzw. auf der zur Kamera 26 gewandten Seite liegt.
Außerdem können sich die Markierungen Mi, M2 entsprechend der Sicherheitsrelevanz der erkannten Objekte unterscheiden.
Die Unterscheidung der Markierungen kann nicht nur durch eine Schraffierung erfolgen, sondern insbesondere durch Form und/oder Farbe.
Außerdem wird mittels eines Pfeils die Person P gekennzeichnet, damit der Benutzer der Erweiterte-Realität-Vorrichtung 14 die entsprechende Person P auch unter mehreren Personen finden kann.
Die Darstellung des Pfeils erfolgt auf die gleiche Weise wie die Darstellung der Markierungen Mi, M2, die zuvor diskutiert wurde.
Im Informationsabschnitt 30 ist im gezeigten Ausführungsbeispiel ein Avatar 36 dargestellt, der die Form eines menschlichen Körpers hat und an dem ebenfalls die Körperlagen des Objektes markiert sind.
Denkbar ist auch, dass im Ausgabebild die Person P mit einem Avatar überlagert wird, der die Form eines menschlichen Körpers und/oder eine ähnliche Form wie die Person P hat.
Außerdem können im Informationsabschnitt 30 die Visualisierungen V des Objektes dargestellt werden, hier eine Pistole, und Informationen I zur Sicherheitsrelevanz.
Außerdem kann im Informationsabschnitt 30 wenigstens eine Sicherheitsinformation S angezeigt werden. Solche Sicherheitsinformationen können von einem Sicherheitsticker, der beispielsweise die Länge der Warteschlange mitteilt oder auf akute Gefahren hinweist, an die Erweiterte- Realität-Vorrichtung 14 übermittelt werden.
Aufgrund der dargestellten Informationen weiß der Benutzer des Benutzermoduls 20 somit, dass und an welchen Stellen er die Person P zu kontrollieren hat.
Er nähert sich somit der Person P und beginnt diese mit einer seiner Hände abzutasten, wie in Figur 4 zu erkennen ist, in der die Hand H des Benutzers im Echtzeitbild zu sehen ist. Üblicherweise verwendet der Benutzer beide Hände, sodass beide Hände im Echtzeitbild zu sehen sind.
Die Erweiterte-Realität-Vorrichtung 14, insbesondere die Auswertevorrichtung 18, erkennt im Echtzeitbild die Hand H bzw. die Hände des Benutzers und verfolgt diese (Schritt S1 1 ).
Berührt der Benutzer mit seiner Hand H nun Teile des Körpers der Person P erkennt die Auswertevorrichtung 18 dass diese Teile des Körpers berührt und somit kontrolliert wurden. Insbesondere erkennt die Auswertevorrichtung 18, ob die Stellen des Körpers der Person P, an denen Objekte detektiert wurden, berührt wurden.
Daher kann die Auswertevorrichtung 18 auf diese Weise feststellen, ob die Objekte an den Markierungen Mi , M2 kontrolliert wurden.
Stellen des Körpers, die berührt und daher kontrolliert wurden, werden von der Auswertevorrichtung 18 im Ausgabebild hervorgehoben (Schritt S12), genauso wie zu den Markierungen Mi , M2 zuvor beschrieben.
Die Auswertevorrichtung 18 überlagert hierzu das Echtzeitbild nun mit Hervorhebungen 38, die die Teile des Körpers hervorheben, die von der Hand berührt wurden.
Der Benutzer kontrolliert nun den gesamten Körper der Person P, bis alle Objekte gefunden und identifiziert sind. Die Situation nach Abschluss der Kontrolle ist in Figur 5 gezeigt.
Gut zu erkennen ist, dass der gesamte Körper der Person P hervorgehoben ist (in Figur 5 durch eine Schraffur angedeutet), was dem Benutzer anzeigt, dass er diese Teile des Körpers bereits kontrolliert hat. Denkbar ist auch, dass noch unberührte und damit unkontrollierte Teile des Körpers der Person P hervorgehoben werden.
Auch die Markierungen Mi , M2 haben sich in der Form geändert, wodurch signalisiert wurde, dass die Objekte, denen die Markierungen Mi , M2 zugeordnet sind, kontrolliert wurden (Schritt S13).
Auch diese Veränderung der Markierungen kann durch eine Farbe erfolgen. Beispielsweise symbolisieren grüne Markierungen, dass die entsprechenden Objekte kontrolliert wurden.
Beim Kontrollieren eines Objektes nimmt der Benutzer das Objekt üblicherweise in Augenschein, sodass es ins Blickfeld der Kamera 26 und/oder der weiteren Kamera 34 gerät. Dadurch kann die Auswertevorrichtung ein Bild vom Objekt erstellen und mit den Messdaten der Sensorvorrichtung 12 vergleichen (Schritt s 14).
Auf diese Weise kann die Detektionsgenauigkeit der Auswertevorrichtung verbessert werden.
Wenn der Benutzer das Objekt in Augenschein genommen hat, kann er mittels der Eingabemittel 28 Rückmeldung zu dem kontrollierten Objekt geben.
Im gezeigten Ausführungsbeispiel stellte sich das als Pistole identifizierte Objekt als ungefährlich heraus. Diese Rückmeldung übermittelt der Benutzer mittels der Eingabemittel 28 an die Erweiterte-Realität-Vorrichtung 14, sodass diese, insbesondere die Auswertevorrichtung 18 die Klassifizierung der Sicherheitsrelevanz auch für die weitere Verwendung bzw. weitere Klassifizierungen anpassen kann (Schritt S15).
Sobald alle Objekte kontrolliert wurden, kann der Benutzer mittels der Eingabemittel 28 die Person P als kontrolliert bzw. unauffällig einstufen, woraufhin die Auswertevorrichtung 18 im Echtzeitbild eine entsprechende Kennzeichnung 40, hier in Form eines Hakens, oberhalb der Person P ausgibt (Schritt S16).
Auch ist es denkbar, dass die Auswertevorrichtung 18 diese Kennzeichnung 40, hier also einen Haken, automatisch oberhalb der Person P ausgibt, die keine Objekte mit sich führt. Mithilfe des Sicherheitssystems ist es möglich, dass viele Personen kurz hintereinander durch die Sensorvorrichtung 12 schreiten und der Benutzer, hier die Sicherheitsperson, die Personen durch das Benutzermodul 20 betrachtet.
Falls die Sicherheitsperson eine Kontrolle durchführen muss, wird die entsprechende Person gekennzeichnet (wie in Figur 3 durch den Pfeil zu sehen). Eine Separierung der zu kontrollierenden Person ist somit nicht notwendig, wodurch der Durchsatz des Sicherheitssystems 10 deutlich gesteigert wird.

Claims

Patentansprüche
1 . Sicherheitssystem mit einer Sensorvorrichtung (12) für eine Person (P), die dazu eingerichtet ist, wenigstens ein Objekt und dessen Lage zu detektieren, und einer Erweiterte-Realität-Vorrichtung (14), die eine Auswertevorrichtung (18) und ein Benutzermodul (20) umfasst, wobei die Auswertevorrichtung (18) dazu eingerichtet ist, die von der Sensorvorrichtung (12) detektierte Lage des Objektes auf Teile eines menschlichen Körpers zu übertragen, um eine Körperlage des Objektes zu ermitteln, und wobei die Erweiterte-Realität-Vorrichtung (14) dazu eingerichtet ist,
- ein Echtzeitbild der Umgebung der Erweiterte-Realität-Vorrichtung (14) mit der Person (P) zu erzeugen oder zu empfangen,
- die Person (P) im Echtzeitbild zu identifizieren und die Bewegung der Person (P) im Echtzeitbild zu verfolgen,
- ein Ausgabebild anhand des Echtzeitbilds und der Körperlage zu erzeugen, sodass die Lage des Objektes im oder durch das Ausgabebild stets auf der Person (P) markiert ist, und
- das Ausgabebild mittels des Benutzermoduls (20) auszugeben.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Erweiterte- Realität-Vorrichtung (14) dazu eingerichtet ist, das Ausgabebild durch Überlagern des Echtzeitbilds mit der Körperlage auf der Person (P) zu erzeugen.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Sensorvorrichtung (12) ein Körperscanner und/oder eine Milimeterwellensensorvorrichtung ist.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erweiterte-Realität-Vorrichtung (14) dazu eingerichtet ist, die Person (P) im oder durch das Ausgabebild zu kennzeichnen.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sensorvorrichtung (12) und/oder die Erweiterte-Realität- Vorrichtung (14) dazu eingerichtet ist, mehrere, insbesondere alle Objekte an der Person (P) zu detektieren.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Markierung (Mi , M2) der Lage des Objektes im Ausgabebild davon abhängig ist, auf welcher Seite des Körpers sich das Objekt befindet.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erweiterte-Realität-Vorrichtung (14) dazu eingerichtet ist, das Objekt hinsichtlich seiner Sicherheitsrelevanz zu klassifizieren, insbesondere wobei die Markierung (Mi , M2) der Lage des Objektes im Ausgabebild von der Sicherheitsrelevanz abhängig ist.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erweiterte-Realität-Vorrichtung (14) dazu eingerichtet ist, wenigstens eine Hand (H) des Benutzers des Benutzermoduls (20) zu erkennen und zu verfolgen, wobei diejenigen Teile des Körpers der Person (P), die von einer der wenigstens einer Hand (H) berührt worden sind, ermittelt werden.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Erweiterte- Realität-Vorrichtung (14) dazu eingerichtet ist, die berührten und/oder unberührten Teile des Körpers der Person (P) im oder durch das Ausgabebild stets an den entsprechenden Stellen mit der Person (P) überlagert hervorzuheben.
10. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Erweiterte-Realität-Vorrichtung (14) dazu eingerichtet ist, die Markierungen (Mi , M2) der Lage des Objekts zu verändern, wenn durch eine der wenigstens einen Hand (H) des Benutzers die Stelle des Körpers berührt wurde, die der Lage des Objektes entspricht.
1 1 . Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erweiterte-Realität-Vorrichtung (14) dazu eingerichtet ist, einen Avatar (36) im Ausgabebild anzuzeigen, insbesondere mit dem Echtzeitbild zu überlagern, wobei die Lage des Objektes auf dem Avatar (36) markiert ist.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erweiterte-Realität-Vorrichtung (14) dazu eingerichtet ist, aktuelle Sicherheitsinformationen (S) eines Sicherheitstickers anzuzeigen.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erweiterte-Realität-Vorrichtung (14) dazu eingerichtet ist, Messdaten des Objektes von der Sensorvorrichtung (12) zu erhalten und eine Visualisierung (V) des Objekts anzuzeigen.
14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass die
Erweiterte-Realität-Vorrichtung (14) dazu eingerichtet ist, ein Bild vom Objekt zu erstellen und mit den Messdaten zu vergleichen.
15. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erweiterte-Realität-Vorrichtung (14) wenigstens ein Eingabemittel (28) aufweist, wobei die Erweiterte-Realität-Vorrichtung (14) dazu eingerichtet ist mittels des Eingabemittels (28) Rückmeldung zu erhalten, insbesondere über das Objekt, und die Rückmeldung an die Auswertevorrichtung (18) zu übermitteln.
16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass die
Auswertevorrichtung (18) anhand der Rückmeldung eine Auswertung, insbesondere die Klassifizierung der Sicherheitsrelevanz, anpasst.
17. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erweiterte-Realität-Vorrichtung (14) dazu eingerichtet ist, eine Person (P) im oder durch das Ausgabebild als„geprüft“ zu markieren, insbesondere anhand der Rückmeldung und/oder der Stellen des Körpers, die von einer der wenigstens einen Hand (H) berührt wurden.
18. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Erweiterte-Realität-Vorrichtung (14), insbesondere das Benutzermodul (20), wenigstens eine Kamera (26, 34) zur Erzeugung des Echtzeitbilds der Umgebung und/oder eine Anzeigevorrichtung (24) zur Ausgabe des Ausgabebilds aufweist.
19. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Sicherheitssystem (10) eine Mitteilungsvorrichtung (16) aufweist, wobei die Auswertevorrichtung (18) dazu eingerichtet ist, zu erkennen, ob die Körperlage in einem sensiblen Bereich liegt, und, falls die Körperlage in einem sensiblen Bereich liegt, mittels der Mitteilungsvorrichtung (16) einen entsprechenden Benutzer zu informieren.
20. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Sicherheitssystem (10) eine Kontrollvorrichtung (17) aufweist, die dazu eingerichtet ist, das Ausgabebild und/oder das Echtzeitbild der Erweiterte-Realität-Vorrichtung (14) anzuzeigen.
21 . Verfahren zur Sicherheitskontrolle einer Person (P), insbesondere mittels eines Sicherheitssystem (10) gemäß einem der vorhergehenden Ansprüche, mit den folgenden Schritten: a) Untersuchen der Person (P) mittels einer Sensorvorrichtung (12), b) Detektieren wenigstens eines Objekts und dessen Lage an der Person
(P).
c) Übertragen der Lage des Objektes auf Teile eines menschlichen Körpers, um eine Körperlage des Objektes zu erzeugen, insbesondere mittels einer Auswertevorrichtung (18), d) Erzeugen eines Echtzeitbild der Umgebung einer Erweiterte-Realität- Vorrichtung mit der Person (P), insbesondere mittels der Erweiterte- Realität-Vorrichtung (14), e) Identifizieren und Verfolgen der Person (P) im Echtzeitbild, f) Erzeugen eines Ausgabebilds anhand des Echtzeitbildes und der Körperlage, sodass die Lage des Objektes im oder durch das Ausgabebild stets auf der Person (P) markiert ist, insbesondere mittels der Erweiterte-Realität-Vorrichtung (14), und g) Ausgeben des Ausgabebilds, insbesondere mittels eines tragbaren Benutzermoduls (20).
PCT/EP2020/052687 2019-02-04 2020-02-04 Sicherheitssystem mit sensorvorrichtung sowie verfahren zur sicherheitskontrolle Ceased WO2020161106A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019102704.7A DE102019102704A1 (de) 2019-02-04 2019-02-04 Sicherheitssystem mit Sensorvorrichtung sowie Verfahren zur Sicherheitskontrolle
DE102019102704.7 2019-02-04

Publications (1)

Publication Number Publication Date
WO2020161106A1 true WO2020161106A1 (de) 2020-08-13

Family

ID=69591601

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/052687 Ceased WO2020161106A1 (de) 2019-02-04 2020-02-04 Sicherheitssystem mit sensorvorrichtung sowie verfahren zur sicherheitskontrolle

Country Status (2)

Country Link
DE (1) DE102019102704A1 (de)
WO (1) WO2020161106A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070235652A1 (en) * 2006-04-10 2007-10-11 Smith Steven W Weapon detection processing
US20110317008A1 (en) * 2010-06-29 2011-12-29 Analogic Corporation Airport/aircraft security
US20180246248A1 (en) * 2015-08-25 2018-08-30 Smiths Heimann Gmbh Method and apparatus for scanning a clothed human subject

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070235652A1 (en) * 2006-04-10 2007-10-11 Smith Steven W Weapon detection processing
US20110317008A1 (en) * 2010-06-29 2011-12-29 Analogic Corporation Airport/aircraft security
US20180246248A1 (en) * 2015-08-25 2018-08-30 Smiths Heimann Gmbh Method and apparatus for scanning a clothed human subject

Also Published As

Publication number Publication date
DE102019102704A1 (de) 2020-08-06

Similar Documents

Publication Publication Date Title
DE102017218917A1 (de) Überwachungsvorrichtung, Industrieanlage, Verfahren zur Überwachung sowie Computerprogramm
DE102014004395B3 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems und Kraftfahrzeug
DE102015102113A1 (de) Verfahren zum warnen eines benutzers über einen abstand zwischen augen des benutzers und einem bildschirm
AT505338A1 (de) Verfahren zur wahrnehmungsmessung
DE102006057605A1 (de) Verfahren und Vorrichtung zum Überwachen eines dreidimensionalen Raumbereichs
DE102017216328B3 (de) Verfahren zum Überwachen eines Aufmerksamkeitszustandes einer Person, Verarbeitungseinrichtung, Speichermedium, und Kraftfahrzeug
WO2002007106A1 (de) Erfassungsvorrichtung
EP3546136A1 (de) Augmented-reality-system
DE102012215465A1 (de) Verfahren und Informationssystem zum Filtern von Objektinformationen
DE102007050024A1 (de) Personenkontrollsystem und Verfahren zum Durchführen einer Personenkontrolle
WO2017140456A1 (de) Vorrichtung und verfahren zum überwachen eines räumlichen bereichs, insbesondere in der umgebung oder innerhalb eines fahrzeugs
DE102010003669B4 (de) Verfahren und Vorrichtung zur Lokalisierung von Personen in einem vorgegebenen Bereich
DE102015104437B4 (de) Spiegel mit Display
DE102016217331A1 (de) Verfahren und Vorrichtung zum Ermitteln einer Anwesenheit wenigstens eines Fahrgasts in einem Fahrzeug
DE102009007412B4 (de) Verfahren zur Verfolgung wenigstens eines Objekts
DE102005028490B4 (de) Kamerasystem
DE102019102704A1 (de) Sicherheitssystem mit Sensorvorrichtung sowie Verfahren zur Sicherheitskontrolle
DE102019212357B4 (de) Verfahren zur Vermeidung einer bevorstehenden Kollision eines Fahrzeugs sowie Unfallvermeidungs-System
DE102013013869A1 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems zur Warnung vor zu großer Ablenkung
EP4399172B1 (de) Verfahren und vorrichtung zur überwachung des fahrbetriebes einer personenförderanlage
EP3785236B1 (de) Verfahren zum verarbeiten von umgebungsinformationen eines kraftfahrzeugs und elektronisches informationsverarbeitungssystem
DE102019218078B4 (de) Bestimmung eines Sachverhalts im Umfeld eines Kraftfahrzeugs
WO2019007936A1 (de) Visuelles ausgabegerät mit einer kamera und präsentations-verfahren
EP3504699B1 (de) Vorrichtung und verfahren zur verifizierbaren ausgabe von bildern durch einen bildschirm
DE102015014025A1 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20705298

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20705298

Country of ref document: EP

Kind code of ref document: A1