WO2020224985A1 - Verfahren zum durchführen eines rangiervorgangs eines kraftfahrzeugs mit aufmerksamkeitsbeurteilung eines nutzers sowie rangierassistenzsystem für ein kraftfahrzeug - Google Patents

Verfahren zum durchführen eines rangiervorgangs eines kraftfahrzeugs mit aufmerksamkeitsbeurteilung eines nutzers sowie rangierassistenzsystem für ein kraftfahrzeug Download PDF

Info

Publication number
WO2020224985A1
WO2020224985A1 PCT/EP2020/061404 EP2020061404W WO2020224985A1 WO 2020224985 A1 WO2020224985 A1 WO 2020224985A1 EP 2020061404 W EP2020061404 W EP 2020061404W WO 2020224985 A1 WO2020224985 A1 WO 2020224985A1
Authority
WO
WIPO (PCT)
Prior art keywords
motor vehicle
communication terminal
user
maneuvering
portable communication
Prior art date
Application number
PCT/EP2020/061404
Other languages
English (en)
French (fr)
Inventor
Kraftschik Simon
Sascha Ziebart
Simone OBST
Original Assignee
Volkswagen Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Aktiengesellschaft filed Critical Volkswagen Aktiengesellschaft
Priority to CN202080033877.4A priority Critical patent/CN113767046A/zh
Priority to EP20723304.0A priority patent/EP3966084A1/de
Publication of WO2020224985A1 publication Critical patent/WO2020224985A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle

Definitions

  • One aspect of the invention relates to a method for performing an automatic maneuvering process for a motor vehicle.
  • the automatic maneuvering of the motor vehicle is carried out by a user using a portable communication terminal.
  • the user is outside the motor vehicle in the area surrounding the motor vehicle.
  • signals are exchanged between the communication terminal and the motor vehicle.
  • Another aspect of the invention relates to a maneuvering assistance system for a motor vehicle.
  • a maneuvering system and a method for automatically maneuvering a motor vehicle are known from WO 2013/037694 A1.
  • a corresponding maneuvering process of the motor vehicle is controlled by a user who is outside the motor vehicle during this maneuvering process.
  • the user has a portable communication terminal, such as a mobile phone, for example.
  • the portable communication terminal can have a camera which is designed to extract a face from an image recorded by this camera and to compare it with a reference face stored in the portable communication terminal. This means that operation of the maneuvering system can only be released for registered users.
  • the object of the present invention is to create a method for performing a maneuvering process of a motor vehicle and a maneuvering system for a motor vehicle in which this maneuvering process is carried out by a user who is outside the motor vehicle and the security with regard to user responsibility for monitoring this Maneuvering process is increased.
  • One aspect of the invention relates to a method for performing an automatic maneuvering process of a motor vehicle, in which the automatic maneuvering of the motor vehicle is carried out by a user by means of a portable communication terminal.
  • the user is outside the motor vehicle in an area surrounding the motor vehicle.
  • signals are exchanged between the portable communication terminal and the motor vehicle.
  • the surroundings are recorded with an optical recording device of the portable communication terminal and, depending on the recorded information, a state of awareness of the user with regard to the monitoring of the maneuvering process by the user is determined.
  • the maneuvering process is at least interrupted when a certain actual alertness level is lower than a target alertness level.
  • the aforementioned aspect now makes it possible, particularly in maneuvering scenarios in which the user is positioned outside the motor vehicle and thus no longer has any direct influence on a possible steering wheel and / or on possible pedals of the motor vehicle, to make an external maneuvering process safely and extensively to be able to.
  • the now explicit monitoring of the user's attention increases the safety of the maneuvering process.
  • the actual attention of the user is in the foreground in this context and is used as an essential criterion to determine whether a maneuvering process can be carried out or can continue, or is at least interrupted or possibly terminated entirely.
  • This essential aspect is made possible in a particularly advantageous manner by capturing images of the surroundings, in particular of the user himself. From this information very precise conclusions can be drawn about the current state of attention of the user.
  • an image recording enables very precise knowledge of the user's state of attention.
  • a camera which is already present and which is located in the immediate vicinity of the user, namely in the portable communication terminal held by the user himself, is used in a very advantageous manner.
  • a very close image of the user can also be taken if necessary. This in turn results in advantages with regard to the analysis of this image and the user's attention determined from it.
  • the maneuvering process is interrupted if the user is not detected by the optical detection device of the portable communication terminal.
  • this can be the case when the user is not looking at the portable communication terminal or holding it in such a way that the user cannot or not sufficiently observe the portable communication terminal.
  • Such non-detection of the user by the optical detection device is also the case when the portable communication terminal, for example, is basically no longer held by the user and is otherwise stored.
  • Such non-detection is also given, for example, when the portable communication terminal is held by the user in such a way that sufficient observation of specific subcomponents of the portable communication terminal, such as a display unit, cannot be seen by the user.
  • the user may not be paying enough attention even if the user is recorded, but only with a part of the body that is not characteristic of the observation. For example, this can be the case if the user holds the portable communication terminal in one hand and hangs the hand down on the side of the body and then the front or rear of the portable communication terminal is facing a leg or pelvic area or is directly averted. It can then be concluded that the user does not have at least the communication device in view.
  • the maneuvering process is interrupted if a part of the user's body characteristic of the attentional assessment is not detected by the optical detection device of the portable communication terminal.
  • detection is carried out with a camera as the optical detection device of the portable communication terminal.
  • a camera is oriented in particular on the communication terminal in such a way that its detection area is oriented towards the user when the user faces the user with his front side, on which a display unit and / or an operating unit of the communication terminal is usually designed and accessible.
  • a user when the portable communication terminal is properly handled and viewed, a user usually holds it in such a way that this front side or the front side of the portable communication terminal faces the user, in particular a face of the user.
  • the user with a body part characteristic for the assessment of the observation can then advantageously be captured with sufficient images using a front camera, if he is thus holding this portable communication terminal properly.
  • the optical detection device can be a camera that is sensitive in the spectral range that is visible to humans. But it can also be an infrared camera or a laser scanner.
  • the maneuvering of the motor vehicle by means of the portable communication terminal is preferably carried out in such a way that the user makes inputs into the portable communication terminal, which then cause the corresponding signals that are sent to the motor vehicle in order to be able to maneuver it accordingly by the motor vehicle's own functional units .
  • inputs in this regard can be made in the portable communication terminal which cause the motor vehicle to drive forwards and / or backwards and / or to turn the steering wheel.
  • Other signals too, such as acceleration or braking of the motor vehicle can thereby be generated.
  • the viewing direction of the user is determined.
  • An actual state of attention is determined as a function of this particular viewing direction.
  • the direction of gaze is an advantageous central parameter that indicates the current level of attention. Since the monitoring of the maneuvering process by the user also depends to a large extent on what he sees with his eyes, this determination of the viewing direction allows precise conclusions to be drawn about where the user is currently looking.
  • This evaluation of the direction of gaze can identify an actual state of attentiveness which is in particular lower or higher than the target state of attentiveness. For example, it can be provided in an advantageous embodiment that this assessment of the viewing direction is used in addition to or instead of the criterion of whether the user is looking directly at the portable communication terminal in order to infer or determine the current actual state of attention.
  • an actual alert state is recognized which is lower than the target alert state.
  • an actual state of attentiveness is recognized which may be lower than the target state of attentiveness. If, in particular, both criteria are present, namely that the viewing direction of the user is turned away from both the portable communication terminal and the motor vehicle, an actual Recognized alertness state that is lower than the target alertness state. In those cases in which the viewing direction is averted from the portable communication terminal, for example, it is also possible to additionally check whether the viewing direction is averted from the motor vehicle or not.
  • a decision can be made, in particular depending on further criteria, as to whether the then current actual state of attentiveness is assessed as being lower or higher than the target state of attentiveness. If, for example, it is then recognized that the user is looking extensively in the direction of the motor vehicle and is monitoring it extensively, an actual state of attentiveness can then also be assessed which is higher than the target state of attentiveness, if not at the same time the portable communication terminal is also in the user's field of vision is. In particular, if there are no other, particularly nearby objects and / or no other dynamic traffic flow and / or no other people in the vicinity of the motor vehicle, this can contribute to the fact that the actual state of attentiveness is then assessed higher than the target state of attentiveness.
  • these criteria are more critical in such a situation, for example because there are objects nearby to the motor vehicle and / or there is a dynamic flow of traffic and / or one or more people are present in the immediate vicinity of the motor vehicle to be maneuvered, this can lead to the actual state of attentiveness, in which the user is only partially or fully directed towards the motor vehicle, is nevertheless assessed lower than a target state of attentiveness.
  • a corresponding assessment can also be made individually if it is established that the user's line of sight is directed towards the portable communication terminal, but not towards the motor vehicle and thus the motor vehicle is not or only partially in the user's field of vision.
  • the viewing direction of the user is recognized, in particular only directed at the portable communication terminal, and the motor vehicle to be maneuvered with the surrounding area is displayed as an image or video in the current situation on a display unit of the portable communication terminal facing the user.
  • Determines attention state which is greater than or equal to the target attention state.
  • an actual state of attentiveness is also assessed as being higher than the target state of attentiveness if, at least once, alternately and / or for predetermined time intervals
  • Direction of view is directed only to the portable communication terminal and before or after the direction of view is then directed only to the motor vehicle.
  • this can be the case when the user is oriented with his face facing the motor vehicle and then also holds the portable communication terminal in his field of vision in this position so that he can also observe it, in particular at the front.
  • the actual alert state is judged to be higher than the target alert state.
  • the maneuvering process is carried out and maintained without restriction.
  • the position and / or the orientation of the portable communication terminal relative to the motor vehicle is determined and this position and / or this orientation are taken into account when determining the actual state of attentiveness.
  • a user when he has the portable communication terminal fully in view, basically has the possibility of being able to observe the motor vehicle additionally and simultaneously.
  • situations can be counteracted in which, for example, the user is observing the portable communication terminal extensively, but is facing the motor vehicle with his back or strongly to the side, for example. In these situations, a decision can then be made as required and an actual state of attentiveness can be determined to be lower than the target state of attentiveness.
  • the viewing direction of the user is assessed as a function of the position and / or orientation of the portable communication terminal and the actual state of attentiveness is then determined as a function thereof. Because, as already explained above by way of example, this configuration also allows conclusions to be drawn about the orientation and direction of view of the user with respect to the motor vehicle.
  • the position and / or orientation of the portable communication terminal, in particular relative to the motor vehicle can be determined, for example, as a function of a GPS signal and / or of at least one image. At least one picture can be taken with a camera of the portable communication terminal and / or with at least one camera of the motor vehicle. This can then also be used to determine how the user's orientation is current relative to the motor vehicle.
  • the camera of the portable communication terminal is operated continuously during the maneuvering process.
  • continuous monitoring of the user can thus take place and it can be recognized whether or not he can be captured image-wise, in particular a characteristic part of the body, such as preferably the face.
  • the safety aspect with regard to the monitoring requirement for the user with regard to the automatic maneuvering process of the motor vehicle can be increased.
  • a haptic and / or acoustic warning signal is generated by the portable communication terminal. This is a further very advantageous embodiment, because it immediately draws the user's attention to his inattentiveness. Since this warning signal is generated by the portable communication terminal itself, the user himself is intuitively pointed to the signal source and intuitively turns to it again. In particular, this also means that he then at least the portable warning signal.
  • Attention state of the user is reached, which is greater than or equal to the target attention state.
  • such a maneuvering process is a parking process of the motor vehicle in a parking zone.
  • a parking process can be a so-called remote parking process.
  • the portable communication terminal can be the control unit for performing this maneuvering process and for wireless communication with at least one control unit of the motor vehicle.
  • Communication terminal can be, for example, a mobile radio device or a tablet or the like.
  • this can be the primary function of this portable communication terminal and the automatic control of the maneuvering process can be a secondary function.
  • the position and / or orientation of the portable communication terminal relative to the motor vehicle itself is also known. This can be determined on the basis of GPS positioning and / or by image evaluation of at least one camera image and / or by other information.
  • the viewing direction of a user can be determined, in particular continuously, in particular based on the determined position and / or orientation of the portable communication terminal relative to the motor vehicle and the position of the portable communication terminal in space. For example, this can be done using an eye tracking method, which can also be referred to as the gaze detection method or oculography method. This makes it possible to determine whether the user's viewing direction is aimed directly at the motor vehicle or indirectly via the observation of a display unit of the portable communication terminal on which the motor vehicle is currently displayed, in particular with the surrounding area, the motor vehicle is being observed.
  • This maneuvering assistance system has a motor vehicle and a portable communication terminal device that is separate therefrom.
  • the communication terminal is designed for wireless communication with the motor vehicle, so that a maneuvering process of the motor vehicle can be controlled by a user from outside the motor vehicle with the portable communication terminal.
  • the maneuvering system is designed to carry out a method according to the above aspect or an advantageous embodiment thereof. In particular, this method is carried out with the maneuvering assistance system.
  • Another aspect of the invention relates to a computer program product having commands with which an alertness state of a user who controls an automatic maneuvering process of a motor vehicle from outside the motor vehicle with a portable communication terminal is determined.
  • this information which is recorded with a camera, in particular a front camera of the portable communication terminal, can be evaluated with the computer program product.
  • a viewing direction of the user can be determined in this context by the captured image information and the actual state of attentiveness can be determined by the computer program product as a function thereof.
  • This is then compared by the computer program product with a target alert state and depending on the comparison it is decided whether a maneuvering process is at least interrupted.
  • the invention also includes the combinations of the features of the described embodiments.
  • the exemplary embodiment explained below is a preferred embodiment of the invention.
  • the described components of the embodiment each represent individual features of the invention that are to be considered independently of one another, which also develop the invention independently of one another and are therefore to be regarded as part of the invention individually or in a combination other than the one shown.
  • the described embodiment can also be supplemented by further features of the invention already described.
  • a motor vehicle 1 is shown in FIG.
  • the motor vehicle 1 can be, for example, a passenger car. However, it can also be a truck.
  • the motor vehicle 1 is to perform a maneuvering process. In the exemplary embodiment, this automatic maneuvering process should be a parking process.
  • the motor vehicle 1 is to be parked in a parking zone 2 provided here as an example.
  • a user 3 of the motor vehicle 1 left the motor vehicle 1 before the start of the maneuvering process.
  • the maneuvering process of the motor vehicle 1 is controlled by the user 3 from outside the motor vehicle 1 by means of a portable communication terminal 4.
  • the motor vehicle 1 has at least one control unit 5.
  • the portable communication terminal 4 which can be, for example, a mobile radio device such as a smartphone or a tablet, is designed for wireless communication with the motor vehicle 1, in particular the control unit 5.
  • the configuration in the figure also forms a maneuvering assistance system 6.
  • This maneuvering assistance system 6 is designed to carry out a method as set out below. In particular, this method is carried out with this maneuvering assistance system 6.
  • the maneuvering process can be started by the user 3 so that he operates the portable communication terminal 4 accordingly.
  • a specific input can be made in the portable communication terminal 4 in order to start the maneuvering process of the motor vehicle 1.
  • Actions of the motor vehicle 1, such as, for example, steering and / or acceleration and / or braking and / or forward movement and / or backward movement are performed by inputting user 3 in the portable communication terminal 4 is initiated, corresponding signals being generated for this purpose and transmitted to the control unit 5.
  • the user 3 is detected with an optical detection device, which is in particular a camera 7 here, of the portable communication terminal 4.
  • the camera 7 is a front camera of the communication terminal 4.
  • the camera 7 is preferably operated continuously during the maneuvering process.
  • the maneuvering process is at least interrupted when an actual state of attentiveness of the user 3 is determined which is lower than a required and, in particular, predetermined target state of attentiveness.
  • the maneuvering process is interrupted if a characteristic part of the body of the user 3 is not detected by the camera 7 of the portable communication terminal 4 for the attention assessment.
  • State of attentiveness is determined.
  • a line of sight B1 faces away from the communication terminal 4 and from the motor vehicle 1
  • an actual state of attentiveness is recognized which is lower than the target state of attentiveness.
  • a viewing direction B2 is recognized in which the user 3 is looking at a display unit 9 of the portable communication terminal 4, then in one embodiment an actual alert state can be assessed which is greater than or equal to the target alert state. This is the case in particular when an image or a video of the current state of the motor vehicle 1 and the surrounding area is displayed on the display unit 9.
  • the position and / or the orientation of the user 3 and / or of the portable communication terminal 4 relative to the motor vehicle 1 is checked how the position and / or the orientation of the user 3 and / or of the portable communication terminal 4 relative to the motor vehicle 1 is. If, in this context, the direction of view B2 is facing the portable communication terminal 4, but facing away from the motor vehicle 1, since the user 3 is, for example, facing the motor vehicle 1 to the side or with his back, an actual state of attentiveness can then again be assessed in such a situation be that lower than is the target state of attentiveness. In particular, when the above-mentioned image or video is not displayed on the display unit 9.
  • a viewing direction B3 is recognized in a further example, in which the user 3 is looking at the motor vehicle 1 but does not have the portable communication terminal 4 in the field of vision, then in one embodiment an actual state of attention can be recognized which is greater than or equal to the target State of attention is.
  • Such a consideration of possible objects in the immediate vicinity of the motor vehicle 1 and / or a traffic flow etc. can also be taken into account in the situations in which the user 3 has the viewing direction B2.
  • a position and / or orientation of the portable communication terminal 4 relative to the motor vehicle 1 is known and / or a position of the portable communication terminal 4 in space is known and this is also taken into account when assessing the attention of the user 3 .
  • this additional information about the position and orientation of the motor vehicle 1 and the portable communication terminal 4 with regard to the state of attentiveness of the user 3 can be taken into account when the viewing direction is evaluated and used to assess the actual state of attentiveness. In particular, this can take place, for example, when the viewing direction B2 or the viewing direction B3 is present.
  • This automatic maneuvering with the portable communication terminal 4 is preferably made possible when a distance A between the portable communication terminal 4 and the motor vehicle 1 is less than a reference distance. If the distance A is greater than the reference distance, the maneuvering process is automatically interrupted, regardless of the actual state of attentiveness of the user 3.
  • List of reference symbols

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Durchführen eines Rangiervorgangs eines Kraftfahrzeugs (1), bei welchem das Rangieren des Kraftfahrzeugs (1) durch einen Nutzer (3), der außerhalb des Kraftfahrzeugs (1) im Umgebungsbereich des Kraftfahrzeugs (1) positioniert ist, mittels eines tragbaren Kommunikationsendgeräts (4) durchgeführt wird, wobei dazu Signale zwischen dem Kommunikationsendgerät (4) und dem Kraftfahrzeug (1) ausgetauscht werden, wobei während des Rangiervorgangs eine Umgebung (3) mit einer optischen Erfassungseinrichtung (7) des tragbaren Kommunikationsendgeräts (4) erfasst wird und abhängig von den erfassten Informationen ein Aufmerksamkeitszustand des Nutzers (3) bezüglich dem Überwachen des Rangiervorgangs durch den Nutzer (3) bestimmt wird, wobei der Rangiervorgang zumindest unterbrochen wird, wenn ein Ist-Aufmerksamkeitszustand niedriger einem Soll-Aufmerksamkeitszustand ist. Die Erfindung betrifft auch ein Rangierassistenzsystem (6).

Description

Beschreibung
Verfahren zum Durchführen eines Rangiervorgangs eines Kraftfahrzeugs mit Aufmerksamkeitsbeurteilung eines Nutzers sowie Rangierassistenzsystem für ein
Kraftfahrzeug
Ein Aspekt der Erfindung betrifft ein Verfahren zum Durchführen eines automatischen Rangiervorgangs eines Kraftfahrzeugs. Bei diesem Verfahren wird das automatische Rangieren des Kraftfahrzeugs durch einen Nutzer mittels eines tragbaren Kommunikationsendgeräts durchgeführt. Der Nutzer befindet sich dabei außerhalb des Kraftfahrzeugs im Umgebungsbereich des Kraftfahrzeugs. Es werden zu diesem Durchführen des Rangiervorgangs Signale zwischen dem Kommunikationsendgerät und dem Kraftfahrzeug ausgetauscht. Ein weiterer Aspekt der Erfindung betrifft ein Rangierassistenzsystem für ein Kraftfahrzeug.
Rangiervorgänge für ein Kraftfahrzeug, bei welchen ein Nutzer außerhalb des Kraftfahrzeugs positioniert ist und den Rangiervorgang mittels eines tragbaren Kommunikationsendgeräts, wie insbesondere einem Mobilfunkgerät, das beispielsweise ein Smartphone sein kann, steuert, sind bekannt. So ist in dem Zusammenhang auf die EP 2 617 627 A2 zu verweisen. Üblich ist es dort auch, dass Bildsignale, die von dem Fahrzeug erfasst werden, an diese Fernsteuerungseinrichtung, die das tragbare Kommunikationsgerät darstellt, übertragen werden. Dadurch kann ein Bild auf einer Anzeigeeinheit dieser Fernsteuerungseinrichtung angezeigt werden. Möglich ist es auch, dass eine maximale Entfernung zwischen dieser Fernbedienung und dem Fahrzeug festgelegt wird und überprüft wird. Bei einem Überschreiten dieser maximalen Entfernung wird das Fahrzeug automatisch gestoppt.
Darüber hinaus ist aus der WO 2013/037694 A1 ein Rangiersystem und ein Verfahren zum automatischen Rangieren eines Kraftfahrzeugs bekannt. Auch dort wir ein entsprechender Rangiervorgang des Kraftfahrzeugs durch einen Nutzer, der sich außerhalb des Kraftfahrzeugs während dieses Rangiervorgangs befindet, gesteuert. Auch dazu weist der Nutzer ein tragbares Kommunikationsendgerät, wie beispielsweise ein Mobiltelefon, auf. Darüber hinaus ist auch vorgesehen, dass das tragbare Kommunikationsendgerät eine Kamera aufweisen kann, welche dazu ausgebildet ist, aus einem durch diese Kamera aufgenommenen Bild ein Gesicht zu extrahieren und mit einem im tragbaren Kommunikationsendgerät abgelegten Referenzgesicht zu vergleichen. Dadurch kann die Bedienung des Rangiersystems nur für registrierte Benutzer freigegeben werden. Wesentlich bei diesen Rangiervorgängen, bei denen der Nutzer außerhalb des Kraftfahrzeugs angeordnet ist und den Rangiervorgang mittels eines derartigen tragbaren Kommunikationsendgeräts steuert, ist, dass auch die damit einhergehende Verantwortung für den Nutzer umfänglich wahrgenommen wird. In dem Zusammenhang ist aus dem Stand der Technik keinerlei weitere Offenbarung dargelegt, inwieweit der Nutzer diesen Rangiervorgang auch tatsächlich überwacht.
Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zum Durchführen eines Rangiervorgangs eines Kraftfahrzeugs sowie ein Rangiersystem für ein Kraftfahrzeug zu schaffen, bei welchem dieser Rangiervorgang durch einen Nutzer, der sich außerhalb des Kraftfahrzeugs befindet, durchgeführt wird und die Sicherheit bezüglich der Nutzerverantwortung zum Überwachen dieses Rangiervorgangs erhöht ist.
Diese Aufgabe wird durch ein Verfahren und ein Rangiersystem, welche die Merkmale der unabhängigen Ansprüche aufweisen, gelöst.
Ein Aspekt der Erfindung betrifft ein Verfahren zum Durchführen eines automatischen Rangiervorgangs eines Kraftfahrzeugs, bei welchem das automatische Rangieren des Kraftfahrzeugs durch einen Nutzer mittels eines tragbaren Kommunikationsendgeräts durchgeführt wird. Der Nutzer befindet sich während dieses Rangiervorgangs außerhalb des Kraftfahrzeugs in einem Umgebungsbereich des Kraftfahrzeugs. Bei einem derartigen Durchführen des Rangiervorgangs mittels des tragbaren Kommunikationsendgeräts werden Signale zwischen dem tragbaren Kommunikationsendgerät und dem Kraftfahrzeug ausgetauscht. Während des Rangiervorgangs des Kraftfahrzeugs wird mit einer optischen Erfassungseinrichtung des tragbaren Kommunikationsendgeräts die Umgebung erfasst und abhängig von den erfassten Informationen wird ein Aufmerksamkeitszustand des Nutzers bezüglich dem Überwachen des Rangiervorgangs durch den Nutzer bestimmt. Der Rangiervorgang wird zumindest unterbrochen, wenn ein bestimmter Ist- Aufmerksamkeitszustand niedriger als ein Soll-Aufmerksamkeitszustand ist. Durch den genannten Aspekt ist es nunmehr ermöglicht, gerade bei derartigen Rangierszenarien, bei welchen der Nutzer außerhalb des Kraftfahrzeugs positioniert ist und somit keinen direkten Einfluss mehr auf ein mögliches Lenkrad und/oder auf mögliche Pedale des Kraftfahrzeugs hat, dennoch einen externen Rangiervorgang umfänglich sicher gestalten zu können. Durch die nunmehr explizite Überwachung der Aufmerksamkeit des Nutzers wird eine erhöhte Sicherheit bei dem Rangiervorgang erreicht. Die tatsächliche Aufmerksamkeit des Nutzers steht in dem Zusammenhang im Vordergrund und wird als wesentliches Kriterium dahingehend herangezogen, ob ein Rangiervorgang durchgeführt werden kann beziehungsweise weiter erfolgen kann, oder zumindest unterbrochen wird oder gegebenenfalls ganz abgebrochen wird. Dieser wesentliche Aspekt wird in besonders vorteilhafter Weise durch eine bildhafte Erfassung der Umgebung, insbesondere des Nutzers selbst, ermöglicht. Aus diesen Informationen können sehr präzise Schlüsse auf den aktuellen Aufmerksamkeitszustand des Nutzers gezogen werden. Eine Bildaufnahme ermöglicht in dem Zusammenhang sehr genaue Erkenntnisse, wie der Aufmerksamkeitszustand des Nutzers ist. Bei dem genannten Aspekt der Erfindung wird in dem Zusammenhang in sehr vorteilhafter Weise eine ohnehin vorhandene Kamera, die sich in unmittelbarer Nähe des Nutzers befindet, nämlich in dem von dem Nutzer selbst gehaltenen tragbaren Kommunikationsendgerät angeordnet ist, genutzt. Dadurch kann gegebenenfalls auch eine sehr nahe Aufnahme des Nutzers gemacht werden. Daraus ergeben sich wiederum Vorteil im Hinblick auf die Analyse dieses Bilds und der daraus bestimmten Aufmerksamkeit des Nutzers.
Vorzugsweise ist vorgesehen, dass der Rangiervorgang unterbrochen wird, wenn der Nutzer durch die optische Erfassungseinrichtung des tragbaren Kommunikationsendgeräts nicht erfasst wird. Beispielsweise kann dies dann der Fall sein, wenn der Nutzer das tragbare Kommunikationsendgerät nicht betrachtet oder so hält, dass die Beobachtung des tragbaren Kommunikationsendgeräts durch den Nutzer nicht oder nicht ausreichend möglich ist. Ebenso ist ein derartiges Nicht- Erfassen des Nutzers durch die optische Erfassungseinrichtung dann der Fall, wenn das tragbare Kommunikationsendgerät beispielsweise von dem Nutzer grundsätzlich nicht mehr gehalten wird und anderweitig abgelegt ist. Ebenso ist ein derartiges Nicht-Erfassen beispielsweise dann gegeben, wenn das tragbare Kommunikationsendgerät von dem Nutzer so gehalten wird, dass eine ausreichende Beobachtung von spezifischen Teilkomponenten des tragbaren Kommunikationsendgeräts, wie beispielsweise einer Anzeigeeinheit, durch den Nutzer nicht eingesehen werden kann.
Beispielsweise ist eine nicht ausreichende Aufmerksamkeit des Nutzers gegebenenfalls auch dann gegeben, wenn der Nutzer zwar erfasst wird, aber nur mit einem für die Beobachtung nicht charakteristischen Körperteil. Beispielsweise kann dies dann der Fall sein, wenn der Nutzer das tragbare Kommunikationsendgerät in einer Hand hält und die Hand seitlich am Körper nach unten hängt und dann das tragbare Kommunikationsendgerät mit seiner Frontseite oder seiner Rückseite einem Bein- oder Beckenbereich zugewandt ist oder direkt abgewandt ist. Es kann dann darauf geschlossen werden, dass der Nutzer zumindest das Kommunikationsgerät nicht im Blick hat. Insbesondere ist vorgesehen, dass der Rangiervorgang unterbrochen wird, wenn ein für die Aufmerksamkeitsbeurteilung charakteristisches Körperteil des Nutzers durch die optische Erfassungseinrichtung des tragbaren Kommunikationsendgeräts nicht erfasst wird.
In einer vorteilhaften Ausführung wird ein Erfassen mit einer Kamera als optische Erfassungseinrichtung des tragbaren Kommunikationsendgeräts durchgeführt. Eine Kamera ist insbesondere derart am Kommunikationsendgerät orientiert, dass sie mit dem Erfassungsbereich zum Nutzer hin orientiert ist, wenn der Nutzer seine Vorderseite, auf welcher üblicherweise eine Anzeigeeinheit und/oder eine Bedieneinheit des Kommunikationsendgeräts ausgebildet und zugänglich ist, dem Nutzer zugewandt ist. Dies ist eine sehr vorteilhafte Ausführung, denn bei ordnungsgemäßer Handhabung und Betrachtung des tragbaren Kommunikationsendgeräts ist dieses von einem Nutzer üblicherweise so gehalten, dass diese Vorderseite beziehungsweise die Frontseite des tragbaren Kommunikationsendgeräts dem Nutzer, insbesondere einem Gesicht des Nutzers, zugewandt ist. So kann dann in vorteilhafter Weise mit einer Frontkamera der Nutzer mit einem für die Beurteilung der Beobachtung charakteristischen Körperteil ausreichend bildhaft erfasst werden, wenn er somit dieses tragbare Kommunikationsendgerät ordnungsgemäß hält. Wird also der Nutzer, insbesondere mit seinem charakteristischen Körperteil durch diese Frontkamera des tragbaren Kommunikationsendgeräts nicht erfasst, so kann darauf geschlossen werden, dass die Aufmerksamkeit des Nutzers reduziert ist, insbesondere im Hinblick auf das Betätigen und/oder Beobachten des tragbaren Kommunikationsendgeräts. Da dies in einer spezifischen Ausführung ein Aspekt ist, der für die Beurteilung des Aufmerksamkeitszustands zu berücksichtigen ist, kann damit eine diesbezügliche Entscheidung getroffen werden.
Die optische Erfassungseinrichtung kann eine im für den Menschen sichtbaren Spektral bereich sensitive Kamera sein. Sie kann aber auch eine Infrarotkamera oder ein Laserscanner sein.
Vorzugsweise wird das Rangieren des Kraftfahrzeugs mittels dem tragbaren Kommunikationsendgerät dahingehend durchgeführt, dass der Nutzer Eingaben in das tragbare Kommunikationsendgerät vornimmt, die dann die entsprechenden Signale bewirken, die zum Kraftfahrzeug gesendet werden, um dieses dann entsprechend durch die eigenen Funktionseinheiten des Kraftfahrzeugs entsprechend rangieren zu können. So kann es vorgesehen sein, dass diesbezüglich Eingaben in das tragbare Kommunikationsendgerät erfolgen können, die ein Vorwärtsfahren und/oder ein Rückwärtsfahren und/oder einen Lenkeinschlag des Kraftfahrzeugs bewirken. Auch anderweitige Signale, wie beispielsweise ein Beschleunigen oder Abbremsen des Kraftfahrzeugs können dadurch erzeugt werden. Somit ist es in dem Zusammenhang auch vorteilhaft, dass der Nutzer das tragbare Kommunikationsendgerät beobachtet, um derartige präzise und korrekte Eingaben in das tragbare Kommunikationsendgerät durchführen zu können. Insbesondere ist dies dann vorteilhaft, wenn explizite Bedienelemente des tragbaren Kommunikationsendgeräts betätigt werden müssen, um derartige Aktionen und einhergehende Signale erzeugen zu können. Daher ist es bei diesen Ausgestaltungen auch von Bedeutung, wenn der Nutzer bei diesen Handlungen das tragbare Kommunikationsendgerät zumindest zeitweise überwacht, insbesondere direkt in seinem Blickfeld hat. Gerade in dem Zusammenhang kann dann die Erfassung des Nutzers, insbesondere seines charakteristischen Körperteils, mit der Frontkamera besonders vorteilhaft sein, um darauf schließen zu können, ob der Nutzer mit entsprechender Aufmerksamkeit das tragbare Kommunikationsendgerät bedient.
In einer vorteilhaften Ausführung ist vorgesehen, dass dann, wenn mit der optischen Erfassungseinrichtung des tragbaren Kommunikationsendgeräts ein Gesicht als charakteristisches Körperteil des Nutzers erfasst wird, die Blickrichtung des Nutzers bestimmt wird. Abhängig von dieser bestimmten Blickrichtung wird ein Ist- Aufmerksamkeitszustand bestimmt. Die Blickrichtung ist ein vorteilhafter zentraler Parameter, der auf die aktuelle Aufmerksamkeit schließen lässt. Da die Überwachung des Rangiervorgangs durch den Nutzer selbst auch wesentlich davon abhängt, was er mit seinen Augen erkennt, kann durch diese Bestimmung der Blickrichtung präzise darauf geschlossen werden, wo der Nutzer aktuell gerade hin blickt. Durch diese Blickrichtungsauswertung kann ein Ist-Aufmerksamkeitszustand erkannt werden, der insbesondere niedriger oder höher als der Soll-Aufmerksamkeitszustand ist. Beispielsweise kann in einer vorteilhaften Ausführung vorgesehen sein, dass diese Beurteilung der Blickrichtung zusätzlich oder anstatt dem Kriterium, ob der Nutzer auf das tragbare Kommunikationsendgerät direkt blickt, herangezogen werden, um auf den aktuellen Ist-Aufmerksamkeitszustand zu schließen beziehungsweise diesen zu bestimmen.
In einer vorteilhaften Ausführung kann vorgesehen sein, dass dann, wenn diese Blickrichtung vom tragbare Kommunikationsendgerät abgewandt ist, gegebenenfalls ein Ist- Aufmerksamkeitszustand erkannt wird, der niedriger als der Soll-Aufmerksamkeitszustand ist. Zusätzlich oder anstatt dazu kann vorgesehen sein, dass dann, wenn die Blickrichtung des Nutzers vom Kraftfahrzeug abgewandt ist, ein Ist-Aufmerksamkeitszustand erkannt wird, der gegebenenfalls niedriger als der Soll-Aufmerksamkeitszustand. Sind insbesondere beide Kriterien vorliegend, nämlich dass die Blickrichtung des Nutzers sowohl vom tragbaren Kommunikationsendgerät als auch vom Kraftfahrzeug abgewandt ist, ist ein Ist- Aufmerksamkeitszustand erkannt, der niedriger als der Soll-Aufmerksamkeitszustand ist. Bei denjenigen Fällen, in denen die Blickrichtung beispielsweise vom tragbaren Kommunikationsendgerät abgewandt ist, kann darüber hinaus auch noch zusätzlich geprüft werden, ob die Blickrichtung vom Kraftfahrzeug abgewandt ist oder nicht. Ist die Blickrichtung dabei dem Kraftfahrzeug zugewandt, kann, insbesondere abhängig von weiteren Kriterien, entschieden werden, ob der dann aktuelle Ist-Aufmerksamkeitszustand niedriger oder höher als der Soll-Aufmerksamkeitszustand beurteilt wird. Wenn beispielsweise dann erkannt wird, dass der Nutzer umfänglich in Richtung des Kraftfahrzeugs blickt und dieses umfänglich überwacht, kann auch dann ein Ist- Aufmerksamkeitszustand beurteilt werden, der höher als der Soll-Aufmerksamkeitszustand ist, wenn nicht gleichzeitig auch das tragbare Kommunikationsendgerät im Blickfeld des Nutzers ist. Insbesondere dann, wenn im Umgebungsbereich des Kraftfahrzeugs keine weiteren, insbesondere naheliegenden Objekte und/oder kein anderweitiger dynamischer Verkehrsfluss und/oder keine anderweitigen Personen zugegegen sind, kann dies dazu beitragen, dass dann der Ist-Aufmerksamkeitszustand höher als der Soll- Aufmerksamkeitszustand beurteilt wird. Sind andererseits bei einer derartigen Situation jedoch diese genannten Kriterien kritischer, da beispielsweise nahegelegene Objekte zum Kraftfahrzeug vorhanden sind und/oder ein dynamischer Verkehrsfluss vorliegt und/oder ein oder mehrere Personen im nahen Umfeld des zu rangierenden Kraftfahrzeugs vorhanden sind, kann dies dazu führen, dass der Ist-Aufmerksamkeitszustand, bei welchem der Nutzer mit seiner Blickrichtung lediglich teilweise oder auch voll zum Kraftfahrzeug gerichtet ist, dennoch niedriger beurteilt wird, als ein Soll-Aufmerksamkeitszustand.
Eine entsprechende Beurteilung kann individuell auch dann erfolgen, wenn festgestellt wird, dass die Blickrichtung des Nutzers zum tragbaren Kommunikationsendgerät gerichtet ist, aber nicht zum Kraftfahrzeug gerichtet ist und somit das Kraftfahrzeug nicht oder nur ausreichend teilweise im Blickfeld des Nutzers ist. Insbesondere wenn die Blickrichtung des Nutzers, insbesondere nur, auf das tragbare Kommunikationsendgerät gerichtet erkannt wird, und auf einer dem Nutzer zugewandten Anzeigeeinheit des tragbaren Kommunikationsendgeräts das zu rangierende Kraftfahrzeug mit dem Umgebungskreis als Bild oder Video in der aktuellen Situation angezeigt wird ist vorzugsweise ein Ist- Aufmerksamkeitszustand bestimmt, der größer oder gleich dem Soll- Aufmerksamkeitszustand ist.
In einer weiteren vorteilhaften Ausführung kann vorgesehen sein, dass ein Ist- Aufmerksamkeitszustand auch dann als höher als der Soll-Aufmerksamkeitszustand beurteilt wird, wenn zumindest ein Mal alternierend und/oder für vorgegebene Zeitintervalle die Blickrichtung nur auf das tragbare Kommunikationsendgerät gerichtet ist und vorhergehend oder nachfolgend die Blickrichtung dann nur auf das Kraftfahrzeug gerichtet ist. Ein derartiges Szenario lässt darauf schließen, dass der Nutzer den Rangierprozess mit hoher Aufmerksamkeit verfolgt und dabei sowohl das Kraftfahrzeug als auch das tragbare Kommunikationsendgerät überwachen möchte. Es kann jedoch auch vorgesehen sein, dass festgestellt wird, dass der Nutzer sowohl das tragbare Kommunikationsendgerät als auch das Kraftfahrzeug zumindest zeitweise gleichzeitig im Blickfeld hat. Beispielsweise kann dies dann der Fall sein, wenn der Nutzer mit seinem Gesicht dem Kraftfahrzeug zugewandt orientiert ist und in dieser Haltung dann auch das tragbare Kommunikationsendgerät so in sein Blickfeld hält, dass er auch dieses, insbesondere an der Frontseite, beobachten kann. In derartigen Situationen wird der Ist-Aufmerksamkeitszustand höher als der Soll- Aufmerksamkeitszustand beurteilt. Insbesondere in diesen Situationen wird der Rangiervorgang uneingeschränkt durchgeführt und aufrechterhalten.
In einer vorteilhaften Ausführung ist vorgesehen, dass die Position und/oder die Orientierung des tragbaren Kommunikationsendgeräts zum Kraftfahrzeug bestimmt wird und bei der Bestimmung des Ist-Aufmerksamkeitszustands diese Position und/oder diese Orientierung berücksichtigt werden. Durch derartige spezifische Informationen kann auch ermittelt werden, ob ein Nutzer dann, wenn er umfänglich das tragbare Kommunikationsendgerät im Blick hat , auch grundsätzlich überhaupt die Möglichkeit hat, zusätzlich und gleichzeitig das Kraftfahrzeug beobachten zu können. So kann derartigen Situationen entgegengewirkt werden, bei denen beispielsweise der Nutzer zwar umfänglich das tragbare Kommunikationsendgerät beobachtet, jedoch beispielsweise mit dem Rücken oder stark seitlich dem Kraftfahrzeug zugewandt ist. In diesen Situationen kann dann bedarfsgerecht entschieden werden und ein Ist-Aufmerksamkeitszustand als niedriger dem Soll- Aufmerksamkeitszustand bestimmt werden.
In einer vorteilhaften Ausführung ist vorgesehen, dass die Blickrichtung des Nutzers abhängig von der Position und/oder Orientierung des tragbaren Kommunikationsendgeräts beurteilt wird und abhängig davon dann der Ist-Aufmerksamkeitszustand bestimmt wird. Denn, wie bereits oben beispielhaft dargelegt, kann durch diese Ausgestaltung auch auf die Orientierung und die Blickrichtung des Nutzers bezüglich des Kraftfahrzeugs geschlossen werden.
Die Position und/oder Orientierung des tragbaren Kommunikationsendgeräts, insbesondere relativ zum Kraftfahrzeug, kann beispielsweise abhängig von einem GPS-Signal und/oder von zumindest einem Bild bestimmt werden. Das zumindest eine Bild kann mit einer Kamera des tragbaren Kommunikationsendgeräts und/oder mit zumindest einer Kamera des Kraftfahrzeugs aufgenommen werden. Daraus kann dann auch bestimmt werden, wie die Orientierung des Nutzers relativ zum Kraftfahrzeug aktuell ist.
In einer vorteilhaften Ausführung wird vorgesehen, dass die Kamera des tragbaren Kommunikationsendgeräts während des Rangiervorgangs kontinuierlich betrieben wird. Insbesondere kann somit dadurch eine kontinuierliche Überwachung des Nutzers erfolgen und erkannt werden, ob dieser bildhaft erfasst werden kann oder nicht, insbesondere ein charakteristisches Körperteil, wie vorzugsweise das Gesicht. Damit kann der Sicherheitsaspekt im Hinblick auf die Überwachungsanforderung an den Nutzer bezüglich des automatischen Rangiervorgangs des Kraftfahrzeugs erhöht werden.
In einer vorteilhaften Ausführung ist vorgesehen, dass dann, wenn ein Ist-
Aufmerksamkeitszustand niedriger als der Soll-Aufmerksamkeitszustand erkannt wird, ein haptisches und/oder akustisches Warnsignal durch das tragbare Kommunikationsendgerät erzeugt wird. Dies ist eine weitere sehr vorteilhafte Ausführung, denn damit wird der Nutzer unverzüglich auf seine Unaufmerksamkeit aufmerksam gemacht. Indem dieses Warnsignal durch das tragbare Kommunikationsendgerät selbst erzeugt wird, wird der Nutzer selbst intuitiv auf die Signalquelle hingewiesen und wendet sich intuitiv wieder dieser zu. Insbesondere bedeutet dies auch, dass er dann zumindest das tragbare
Kommunikationsendgerät beobachtet und somit seine Blickrichtung wieder dem tragbaren Kommunikationsendgerät zuwendet. Zusätzlich oder anstatt dazu kann vorgesehen sein, dass ein unterbrochener Rangiervorgang fortgeführt wird, wenn wieder ein Ist-
Aufmerksamkeitszustand des Nutzers erreicht wird, der größer oder gleich dem Soll- Aufmerksamkeitszustand ist.
Insbesondere ist ein derartiger Rangiervorgang ein Parkvorgang des Kraftfahrzeugs in eine Parkzone. Beispielsweise kann ein derartiger Parkvorgang ein sogenannter Remote- Parkvorgang sein. Das tragbare Kommunikationsendgerät kann in dem Zusammenhang die Steuereinheit zum Durchführen dieses Rangiervorgangs und zum drahtlosen Kommunizieren mit zumindest einer Steuereinheit des Kraftfahrzeugs sein. Das tragbare
Kommunikationsendgerät kann beispielsweise ein Mobilfunkgerät oder ein Tablet oder dergleichen sein. Es weist somit in vorteilhafter Weise zusätzlich zu dieser Steuerungsfunktion des externen automatischen Rangiervorgangs des Kraftfahrzeugs zumindest eine weitere diesbezüglich unabhängige und unterschiedliche Funktion auf. Insbesondere kann dies die Primärfunktion dieses tragbaren Kommunikationsendgeräts sein und das automatische Steuern des Rangiervorgangs eine Sekundärfunktion sein. Insbesondere ist es vorteilhaft, wenn die Position und/oder Orientierung des tragbaren Kommunikationsendgeräts zum Kraftfahrzeug selbst ebenfalls bekannt ist. Dies kann anhand von GPS-Ortung und/oder durch Bildauswertung von zumindest einem Kamerabild und/oder durch anderweitige Informationen bestimmt werden. In einer vorteilhaften Ausführung kann insbesondere aufgrund der bestimmten Position und/oder Orientierung des tragbaren Kommunikationsendgeräts zum Kraftfahrzeug und der Position des tragbaren Kommunikationsendgeräts im Raum die Blickrichtung, insbesondere auch kontinuierlich, eines Nutzers ermittelt werden. Beispielsweise kann dies über eine Eye-Tracking-Methode die auch Blickerfassungs-Methode oder Okulographie-Methode bezeichnet werden kann, erfolgen. Dadurch kann bestimmt werden, ob sich die Blickrichtung des Nutzers direkt auf das Kraftfahrzeug richtet oder indirekt über die Beobachtung einer Anzeigeeinheit des tragbaren Kommunikationsendgeräts, auf welcher bildhaft das Kraftfahrzeug, insbesondere auch mit dem Umgebungsbereich, aktuell angezeigt wird, das Kraftfahrzeug beobachtet wird.
Ein weiterer Aspekt der Erfindung betrifft ein elektronisches Rangierassistenzsystem für ein Kraftfahrzeug. Dieses Rangierassistenzsystem weist ein Kraftfahrzeug und ein dazu separates, tragbares Kommunikationsendgerät auf. Das Kommunikationsendgerät ist zum drahtlosen Kommunizieren mit dem Kraftfahrzeug ausgebildet, sodass ein Rangiervorgang des Kraftfahrzeugs durch einen Nutzer von außerhalb des Kraftfahrzeugs mit dem tragbaren Kommunikationsendgerät steuerbar ist. Das Rangiersystem ist zum Durchführen eines Verfahrens gemäß dem oben genannten Aspekt oder einer vorteilhaften Ausgestaltung davon ausgebildet. Insbesondere wird dieses Verfahren mit dem Rangierassistenzsystem durchgeführt.
Ein weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt, aufweisend Befehle, mit welchen ein Aufmerksamkeitszustand eines Nutzers, der einen automatischen Rangiervorgang eines Kraftfahrzeugs von extern des Kraftfahrzeugs mit einem tragbaren Kommunikationsendgerät steuert, bestimmt wird. Insbesondere können mit dem Computerprogrammprodukt diese Informationen, die mit einer Kamera, insbesondere einer Frontkamera des tragbaren Kommunikationsendgeräts aufgenommen werden, ausgewertet werden. Insbesondere kann in dem Zusammenhang eine Blickrichtung des Nutzers durch die erfassten Bildinformationen bestimmt werden und abhängig davon durch das Computerprogrammprodukt der Ist-Aufmerksamkeitszustand bestimmt werden. Dieser wird dann durch das Computerprogrammprodukt mit einem Soll-Aufmerksamkeitszustand verglichen und abhängig von dem Vergleich wird entschieden, ob ein Rangiervorgang zumindest unterbrochen wird. Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.
Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt die einzige Figur ein beispielhaftes Szenario eines Rangiervorgangs eines Kraftfahrzeugs.
Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In Fig. ist ein Kraftfahrzeug 1 gezeigt. Das Kraftfahrzeug 1 kann beispielsweise ein Personenkraftwagen sein. Es kann jedoch auch ein Lastkraftwagen sein. Das Kraftfahrzeug 1 soll einen Rangiervorgang durchführen. Im Ausführungsbeispiel soll dieser automatische Rangiervorgang ein Parkvorgang sein. Das Kraftfahrzeug 1 soll bei diesem Rangiervorgang in eine hier beispielhaft vorgesehene Parkzone 2 eingeparkt werden. Ein Nutzer 3 des Kraftfahrzeugs 1 hat das Kraftfahrzeug 1 vor dem Beginn des Rangiervorgangs verlassen. Der Rangiervorgang des Kraftfahrzeugs 1 wird durch den Nutzer 3 mittels eines tragbaren Kommunikationsendgeräts 4 von außerhalb des Kraftfahrzeugs 1 gesteuert. Das Kraftfahrzeug 1 weist zumindest eine Steuereinheit 5 auf. Das tragbare Kommunikationsendgerät 4, welches beispielsweise ein Mobilfunkgerät, wie ein Smartphone oder ein Tablet, sein kann, ist zur drahtlosen Kommunikation mit dem Kraftfahrzeug 1 , insbesondere der Steuereinheit 5 ausgebildet. Durch die Ausgestaltung in der Fig. ist auch ein Rangierassistenzsystem 6 gebildet. Dieses Rangierassistenzsystem 6 ist zum Durchführen eines Verfahrens, wie es nachfolgend dargelegt wird, ausgebildet. Insbesondere wird dieses Verfahren mit diesem Rangierassistenzsystem 6 durchgeführt.
Der Rangiervorgang kann durch den Nutzer 3 dahingehend gestartet werden, dass er das tragbare Kommunikationsendgerät 4 entsprechend bedient. Es kann in dem Zusammenhang eine spezifische Eingabe in das tragbare Kommunikationsendgerät 4 erfolgen, um den Rangiervorgang des Kraftfahrzeugs 1 zu starten. Aktionen des Kraftfahrzeugs 1 , wie beispielsweise ein Lenken und/oder ein Beschleunigen und/oder ein Bremsen und/oder ein Vorwärtsbewegen und/oder ein Rückwärtsbewegen werden durch Eingabe des Nutzers 3 in das tragbare Kommunikationsendgerät 4 initiiert, wobei dazu entsprechende Signale erzeugt werden und an die Steuereinheit 5 übertragen werden.
Während des Rangiervorgangs des Kraftfahrzeugs 1 wird der Nutzer 3 mit einer optischen Erfassungseinrichtung, die hier insbesondere eine Kamera 7 ist, des tragbaren Kommunikationsendgeräts 4 erfasst. Insbesondere ist die Kamera 7 eine Frontkamera des Kommunikationsendgeräts 4. Vorzugsweise wird die Kamera 7 während des Rangiervorgangs kontinuierlich betrieben.
Insbesondere wird abhängig von der erfassten Information der Kamera 7 ein
Aufmerksamkeitszustand des Nutzers 3 bezüglich dem Überwachen des Rangiervorgangs durch den Nutzer 3 bestimmt. Der Rangiervorgang wird zumindest unterbrochen, wenn ein Ist-Aufmerksamkeitszustand des Nutzers 3 festgestellt wird, der niedriger als ein erforderlicher und insbesondere vorgegebener Soll-Aufmerksamkeitszustand ist.
Insbesondere wird der Rangiervorgang unterbrochen, wenn für die Aufmerksamkeitsbeurteilung ein charakteristisches Körperteil des Nutzers 3 durch die Kamera 7 des tragbaren Kommunikationsendgeräts 4 nicht erfasst wird.
Insbesondere ist in dem Zusammenhang vorgesehen, dass dann, wenn mit der Kamera 7 ein Gesicht 8 als charakteristisches Körperteil des Nutzers 3 erfasst wird, die Blickrichtung des Nutzers 3 bestimmt wird, und abhängig von der Blickrichtung ein Ist-
Aufmerksamkeitszustand bestimmt wird. Insbesondere dann, wenn eine Blickrichtung B1 vom Kommunikationsendgerät 4 und vom Kraftfahrzeug 1 abgewandt ist, ist ein Ist- Aufmerksamkeitszustand erkannt, der niedriger als der Soll-Aufmerksamkeitszustand ist. Ist andererseits eine Blickrichtung B2 erkannt, bei welcher der Nutzer 3 auf eine Anzeigeeinheit 9 des tragbaren Kommunikationsendgeräts 4 blickt, so kann in einer Ausführung ein Ist- Aufmerksamkeitszustand beurteilt werden, der größer oder gleich dem Soll- Aufmerksamkeitszustand ist. Insbesondere ist dies dann der Fall, wenn auf der Anzeigeeinheit 9 ein Bild oder ein Video des aktuellen Zustands des Kraftfahrzeug 1 und des Umgebungsbereich dargestellt wird.
Insbesondere kann auch überprüft werden, wie die Position und/oder die Orientierung des Nutzers 3 und/oder des tragbaren Kommunikationsendgeräts 4 zum Kraftfahrzeug 1 ist. Ist in dem Zusammenhang die Blickrichtung B2 zwar dem tragbaren Kommunikationsendgerät 4 zugewandt, jedoch dem Kraftfahrzeug 1 abgewandt, da der Nutzer 3 beispielsweise stark seitlich oder mit dem Rücken dem Kraftfahrzeug 1 zugewandt ist, so kann in einer derartigen Situation dann wiederum ein Ist-Aufmerksamkeitszustand beurteilt werden, der niedriger als der Soll-Aufmerksamkeitszustand ist. Insbesondere, wenn das oben erwähnte Bild oder das Video nicht auf der Anzeigeeinheit 9 angezeigt werden.
Wird andererseits in einem weiteren Beispiel eine Blickrichtung B3 erkannt, bei welcher der Nutzer 3 zum Kraftfahrzeug 1 blickt, jedoch das tragbare Kommunikationsendgerät 4 nicht im Blickfeld hat, so kann in einem Ausführungsbeispiel ein Ist-Aufmerksamkeitszustand erkannt werden, der größer oder gleich dem Soll-Aufmerksamkeitszustand ist. Auch hier kann in einem weiteren Beispiel in vorteilhafter Ausführung dann berücksichtigt werden, ob ein oder mehrere Objekte in der nahen Umgebung des Kraftfahrzeugs 1 vorhanden sind, um dann eine präzisere Beurteilung des Aufmerksamkeitszustands zu ermöglichen. Eine derartige Berücksichtigung von möglichen Objekten im nahen Umgebungsbereich des Kraftfahrzeugs 1 und/oder eines Verkehrsflusses etc. kann auch in den Situationen, in denen der Nutzer 3 die Blickrichtung B2 aufweist, berücksichtigt werden.
In einer weiteren vorteilhaften Ausführung ist vorgesehen, dass eine Position und/oder Orientierung des tragbaren Kommunikationsendgeräts 4 zum Kraftfahrzeug 1 bekannt ist und/oder eine Position des tragbaren Kommunikationsendgeräts 4 im Raum bekannt ist und auch dies bezüglich der Beurteilung der Aufmerksamkeit des Nutzers 3 berücksichtigt wird. Insbesondere können diese zusätzlichen Informationen über die Position und Orientierung des Kraftfahrzeugs 1 und des tragbaren Kommunikationsendgeräts 4 bezüglich dem Aufmerksamkeitszustand des Nutzers 3 berücksichtigt werden, wenn die Blickrichtung ausgewertet und für die Beurteilung des Ist-Aufmerksamkeitszustands herangezogen wird. Insbesondere kann dies beispielsweise dann erfolgen, wenn die Blickrichtung B2 oder die Blickrichtung B3 vorliegt. Es kann auch eine Situation vorliegen, bei welcher der Nutzer 3 die Blickrichtung B3 aufweist und in dem Zusammenhang das tragbare Kommunikationsendgerät 4 so hält, dass er dann auch zugleich insbesondere die Anzeigeeinheit 9 beobachten kann. Insbesondere in dem Zusammenhang ist ein Ist- Aufmerksamkeitszustand erkannt, der größer oder gleich dem Soll-Aufmerksamkeitszustand ist.
Vorzugsweise wird dieses automatische Rangieren mit dem tragbaren Kommunikationsendgerät 4 dann ermöglicht, wenn ein Abstand A zwischen dem tragbaren Kommunikationsendgerät 4 und dem Kraftfahrzeug 1 kleiner einem Referenzabstand ist. Ist der Abstand A größer als der Referenzabstand, wird der Rangiervorgang automatisch unterbrochen, unabhängig von dem Ist-Aufmerksamkeitszustand des Nutzers 3. Bezugszeichenliste
1 Kraftfahrzeug
2 Parkzone
3 Nutzer
4 tragbares Kommunikationsendgerät
5 Steuereinheit
6 Rangierassistenzsystem
7 Kamera
8 Gesicht
9 Anzeigeeinheit
A Abstand
B1 Blickrichtung
B2 Blickrichtung
B3 Blickrichtung

Claims

Patentansprüche
1. Verfahren zum Durchführen eines Rangiervorgangs eines Kraftfahrzeugs (1), bei welchem das Rangieren des Kraftfahrzeugs (1) durch einen Nutzer (3), der außerhalb des Kraftfahrzeugs (1) im Umgebungsbereich des Kraftfahrzeugs (1) positioniert ist, mittels eines tragbaren Kommunikationsendgeräts (4) durchgeführt wird, wobei dazu Signale zwischen dem Kommunikationsendgerät (4) und dem Kraftfahrzeug (1) aus getauscht werden,
dadurch gekennzeichnet, dass
während des Rangiervorgangs die Umgebung mit einer optischen Erfassungseinrich tung (7) des tragbaren Kommunikationsendgeräts (4) erfasst wird und abhängig von den erfassten Informationen ein Aufmerksamkeitszustand des Nutzers (3) bezüglich dem Überwachen des Rangiervorgangs durch den Nutzer (3) bestimmt wird, wobei der Rangiervorgang zumindest unterbrochen wird, wenn ein Ist- Aufmerksamkeitszustand niedriger einem Soll-Aufmerksamkeitszustand ist.
2. Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet, dass
der Rangiervorgang unterbrochen wird, wenn ein für die Aufmerksamkeitsbeurteilung charakteristisches Körperteil des Nutzers (3) durch die optische Erfassungseinrich tung (7) des tragbaren Kommunikationsendgeräts (4) nicht erfasst wird.
3. Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet, dass
mit einer Kamera (7) als optische Erfassungseinrichtung des tragbaren Kommunikati onsendgeräts (4) erfasst wird.
4. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
dann, wenn mit der optischen Erfassungseinrichtung (7) des Kommunikationsendge räts (4) ein Gesicht (8) des Nutzers (3) erfasst wird, die Blickrichtung (B1 , B2, B3) des Nutzers (3) bestimmt wird, und abhängig von der Blickrichtung (B1 , B2, B3) ein Ist- Aufmerksamkeitszustand bestimmt wird.
5. Verfahren nach Anspruch 4,
dadurch gekennzeichnet, dass dann, wenn die Blickrichtung (B1 , B2, B3) vom Kommunikationsendgerät (4) abge wandt ist und vom Kraftfahrzeug (1) abgewandt ist, ein Ist-Aufmerksamkeitszustand erkannt wird, der niedriger als der Soll-Aufmerksamkeitszustand ist.
6. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
eine Position und/oder eine Orientierung des Kommunikationsendgeräts (4) zum Kraftfahrzeug (1) bestimmt wird und die Position und/oder die Orientierung bei der Bestimmung des Ist-Aufmerksamkeitszustands berücksichtigt werden.
7. Verfahren nach Anspruch 4 oder5 und Anspruch 6,
dadurch gekennzeichnet, dass
die Blickrichtung (B1 , B2, B3) abhängig von der Position und/oder Orientierung des tragbaren Kommunikationsendgeräts (4) beurteilt wird und abhängig davon dann der Ist-Aufmerksamkeitszustand bestimmt wird.
8. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die optische Erfassungseinrichtung (7) während des Rangiervorgangs kontinuierlich betrieben wird.
9. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
dann, wenn ein Ist-Aufmerksamkeitszustand niedriger als der Soll- Aufmerksamkeitszustand erkannt wird, ein haptisches und/oder akustisches Warn signal durch das Kommunikationsendgerät (4) erzeugt wird, und/oder ein unterbro chener Rangiervorgang fortgeführt wird, wenn wieder ein Ist- Aufmerksamkeitszustand des Nutzers (3) erreicht wird, der größer oder gleich dem Soll-Aufmerksamkeitszustand ist.
10. Rangierassistenzsystem (6) für ein Kraftfahrzeug (1), mit einem Kraftfahrzeug (1) und einem tragbaren Kommunikationsendgerät (4), welches zum drahtlosen Kommunizie ren mit dem Kraftfahrzeug (1) ausgebildet ist, so dass ein Rangiervorgang des Kraft fahrzeugs (1) durch einen Nutzer (3) von außerhalb des Kraftfahrzeugs (1) mit dem tragbaren Kommunikationsendgerät (4) steuerbar ist, wobei das Rangierassistenz system (6) zum Durchführen eines Verfahrens nach einem der vorhergehenden An sprüche ausgebildet ist.
PCT/EP2020/061404 2019-05-06 2020-04-23 Verfahren zum durchführen eines rangiervorgangs eines kraftfahrzeugs mit aufmerksamkeitsbeurteilung eines nutzers sowie rangierassistenzsystem für ein kraftfahrzeug WO2020224985A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080033877.4A CN113767046A (zh) 2019-05-06 2020-04-23 用于利用用户注意力判断执行机动车的调运过程的方法以及用于机动车的调运辅助系统
EP20723304.0A EP3966084A1 (de) 2019-05-06 2020-04-23 Verfahren zum durchführen eines rangiervorgangs eines kraftfahrzeugs mit aufmerksamkeitsbeurteilung eines nutzers sowie rangierassistenzsystem für ein kraftfahrzeug

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019206446.9A DE102019206446A1 (de) 2019-05-06 2019-05-06 Verfahren zum Durchführen eines Rangiervorgangs eines Kraftfahrzeugs mit Aufmerksamkeitsbeurteilung eines Nutzers sowie Rangierassistenzsystem für ein Kraftfahrzeug
DE102019206446.9 2019-05-06

Publications (1)

Publication Number Publication Date
WO2020224985A1 true WO2020224985A1 (de) 2020-11-12

Family

ID=70482606

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/061404 WO2020224985A1 (de) 2019-05-06 2020-04-23 Verfahren zum durchführen eines rangiervorgangs eines kraftfahrzeugs mit aufmerksamkeitsbeurteilung eines nutzers sowie rangierassistenzsystem für ein kraftfahrzeug

Country Status (4)

Country Link
EP (1) EP3966084A1 (de)
CN (1) CN113767046A (de)
DE (1) DE102019206446A1 (de)
WO (1) WO2020224985A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022200062A1 (de) 2022-01-05 2023-07-06 Volkswagen Aktiengesellschaft Verfahren zum Betrieb eines zumindest teilweise automatisierten Fahrzeuges in einem manuellen Fahrmodus, Computerprogrammprodukt sowie System
DE102022120237A1 (de) 2022-08-11 2024-02-22 Bayerische Motoren Werke Aktiengesellschaft System und Verfahren zum Betreiben einer Fahrfunktion zum automatisierten Manövrieren eines Fahrzeugs

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013037694A1 (de) 2011-09-13 2013-03-21 Valeo Schalter Und Sensoren Gmbh Rangiersystem und verfahren zum automatischen rangieren eines kraftfahrzeugs, kraftfahrzeug, tragbares kommunikationsgerät und computerprogramm
EP2617627A2 (de) 2012-01-19 2013-07-24 Robert Bosch Gmbh Fernsteuerung von Parkier- und Rangiermanövern von Kraftfahrzeugen
DE102017217784A1 (de) * 2017-10-06 2019-04-11 Robert Bosch Gmbh Verfahren und System zur Unterstützung eines Manövriervorgangs eines Fahrzeugs

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011079703A1 (de) * 2011-07-25 2013-01-31 Robert Bosch Gmbh Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs
DE102012007986A1 (de) * 2012-04-20 2013-10-24 Valeo Schalter Und Sensoren Gmbh Ferngesteuertes Rangieren eines Kraftfahrzeugsmithilfe eines tragbaren Kommunikationsgeräts
DE102012016871A1 (de) * 2012-08-25 2014-02-27 Audi Ag Verfahren und System zum Betreiben eines Fahrzeugs unter Überwachung der Kopforientierung und/oder Blickrichtung eines Bedieners mit Hilfe einer Kameraeinrichtung einer mobilen Bedieneinrichtung
DE102016208410A1 (de) * 2016-05-17 2017-11-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Signalsystems, Signalsystem, Fahrzeug
DE102017212221A1 (de) * 2017-07-18 2019-01-24 Audi Ag Fernsteuerungsverfahren für ein Fahrerassistenzsystem, Fahrerassistenzsystem und damit versehenes Kraftfahrzeug

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013037694A1 (de) 2011-09-13 2013-03-21 Valeo Schalter Und Sensoren Gmbh Rangiersystem und verfahren zum automatischen rangieren eines kraftfahrzeugs, kraftfahrzeug, tragbares kommunikationsgerät und computerprogramm
EP2617627A2 (de) 2012-01-19 2013-07-24 Robert Bosch Gmbh Fernsteuerung von Parkier- und Rangiermanövern von Kraftfahrzeugen
DE102017217784A1 (de) * 2017-10-06 2019-04-11 Robert Bosch Gmbh Verfahren und System zur Unterstützung eines Manövriervorgangs eines Fahrzeugs

Also Published As

Publication number Publication date
DE102019206446A1 (de) 2020-11-12
CN113767046A (zh) 2021-12-07
EP3966084A1 (de) 2022-03-16

Similar Documents

Publication Publication Date Title
EP2700566B1 (de) Verfahren und System zum Betreiben eines Fahrzeugs unter Überwachung der Kopforientierung und/oder Blickrichtung eines Bedieners mit Hilfe einer Kameraeinrichtung einer mobilen Bedieneinrichtung
DE102015201456B4 (de) Verfahren und System zur Ausgabe einer Warnmeldung in einem Fahrzeug
DE102015201369A1 (de) Verfahren und Vorrichtung zum Betreiben eines zumindest teilautomatisch fahrenden oder fahrbaren Kraftfahrzeugs
DE102016211021A1 (de) Verfahren und Vorrichtung zur Absicherung einer vollautomatischen Bewegung eines Fahrzeuges
EP3405375B1 (de) Verfahren zur klassifikation von fahrerbewegungen
DE102013019141A1 (de) Fahrmoduswechsel beim Fahrerassistenzsystem
DE102013207369A1 (de) Verfahren und Vorrichtung zur Absicherung einer vollautomatischen Bewegung eines Fahrzeuges
DE10024227A1 (de) Verfahren und Einrichtung zur elektronischen Überwachung des Aufmerksamkeitsgrades
DE112015003785T5 (de) System zur Überwachung der Ermüdung einer Bedienperson
EP3966084A1 (de) Verfahren zum durchführen eines rangiervorgangs eines kraftfahrzeugs mit aufmerksamkeitsbeurteilung eines nutzers sowie rangierassistenzsystem für ein kraftfahrzeug
WO2019201382A1 (de) Verfahren, vorrichtung und fortbewegungsmittel für ein automatisiertes anfahren eines fortbewegungsmittels an einer lichtsignalanlage
DE102016215297A1 (de) Verfahren zur Identifikation eines Fahrerwechsels bei einem Kraftfahrzeug
DE102012023245A1 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102014200141A1 (de) Totmannschalter für Fahrerassistenzsysteme
DE102011016777A1 (de) Verfahren und Vorrichtung zum Betrieb einer Sicherheitsvorrichtung für ein Fahrzeug
DE102013002686B4 (de) Verfahren zum Betreiben eines Kraftwagens sowie Kraftwagen
DE102017217784A1 (de) Verfahren und System zur Unterstützung eines Manövriervorgangs eines Fahrzeugs
DE102019004692B3 (de) Vorrichtung und Verfahren zur Ermittlung von Bilddaten der Augen, von Augenpositionen und/oder einer Blickrichtung eines Fahrzeugnutzers in einem Fahrzeug
EP3620897B1 (de) Verfahren und system zum automatischen erkennen eines ankuppelmanövers eines kraftfahrzeugs an einen anhänger
EP3593217B1 (de) Verfahren zur ausführung eines autonomen fahrvorgangs eines fahrzeugs
EP3611067A1 (de) Verfahren zur durchführung eines abschleppvorgangs und kamerasystem zur erkennung eines abschleppvorgangs sowie kraftfahrzeug mit einem kamerasystem
DE102019130319A1 (de) Verfahren zum Betreiben eines in einem autonomen Fahrmodus fahrbaren Kraftfahrzeugs
DE102012112801A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems
WO2020224986A1 (de) Verfahren zum durchführen eines rangiervorgangs eines kraftfahrzeugs mit kamerabasierter bestimmung eines abstands zum kraftfahrzeug, sowie rangierassistenzsystem
EP2808826B1 (de) Verfahren und Vorrichtung zur Umfelderfassung und -überwachung von Fahrzeugen, insbesondere von Nutzfahrzeugen

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20723304

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020723304

Country of ref document: EP

Effective date: 20211206