WO2015010752A1 - Verfahren und vorrichtung zur fernsteuerung einer funktion eines fahrzeugs - Google Patents

Verfahren und vorrichtung zur fernsteuerung einer funktion eines fahrzeugs Download PDF

Info

Publication number
WO2015010752A1
WO2015010752A1 PCT/EP2014/001374 EP2014001374W WO2015010752A1 WO 2015010752 A1 WO2015010752 A1 WO 2015010752A1 EP 2014001374 W EP2014001374 W EP 2014001374W WO 2015010752 A1 WO2015010752 A1 WO 2015010752A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
gesture
function
detected
operating device
Prior art date
Application number
PCT/EP2014/001374
Other languages
English (en)
French (fr)
Inventor
Christophe Bonnet
Andreas Hiller
Gerhard Kuenzel
Martin Moser
Heiko Schiemenz
Original Assignee
Daimler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Ag filed Critical Daimler Ag
Priority to CN201480042028.XA priority Critical patent/CN105408853A/zh
Priority to EP14727709.9A priority patent/EP3025223A1/de
Priority to US14/907,777 priority patent/US20160170494A1/en
Priority to JP2016528366A priority patent/JP2016538780A/ja
Publication of WO2015010752A1 publication Critical patent/WO2015010752A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/60—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/2045—Means to switch the anti-theft system on or off by hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • B60K2360/1464—
    • B60K2360/797—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone

Definitions

  • the present invention relates to a method and a corresponding device for remote control of a function of a vehicle by means of a portable or mobile operating device.
  • the invention further relates to a device for inputting the graphic guided gesture, wherein by means of the gesture a function of a vehicle is controlled.
  • DE 102004004302 A1 is a mobile device for remote control of a
  • the mobile device communicates with a control device in the vehicle. Via a touch-sensitive display
  • Actuating instructions are entered. Upon receipt of a corresponding operation instruction from the actuator, either aeration of the passenger compartment or air conditioning of the passenger compartment is performed.
  • gesture recognition is described by processing a temporal sequence of position inputs received via a touch sensor, such as a capacitive or resistive touch sensor.
  • a state machine gesture recognition algorithm is indicated for interpreting coordinate streams output from a touch sensor.
  • DE 112006003515 T5 is a method for controlling an electronic
  • the method includes: detecting a contact with the touch-sensitive display device while the device is in a locked state of a user interface; Moving an image corresponding to an unlocked state of a user interface of the device in accordance with the contact; Transferring the device to the unlocked state of the user Interface, when the detected contact corresponds to a predefined gesture; and maintaining the device in the locked state of the user interface if the detected contact does not correspond to the predefined gesture.
  • a method for moving a motor vehicle to a target position is known.
  • the motor vehicle is brought into a starting position near the desired target position.
  • the environment of the motor vehicle is continuously scanned and the current vehicle position determined continuously.
  • a trajectory to the target position is determined. To shut down the trajectory
  • Control information for the movement of the motor vehicle generated in the target position.
  • the brake system and the steering of the motor vehicle are delivered to the drive train, the brake system and the steering of the motor vehicle.
  • the motor vehicle moves independently of the driver into the target position.
  • the driver-side activation can take place outside the motor vehicle.
  • a driver assistance device In DE 10 2009 041 587 A1 a driver assistance device is described.
  • the control device outputs control signals to a drive and steering device of the
  • Interrupt command an already started parking operation of the motor vehicle can be interrupted.
  • At least one camera is coupled to the control device and obtains image data about a surrounding area of the motor vehicle.
  • Control device sends the image data obtained from the camera or image data calculated therefrom to the remote control.
  • the remote control displays these image data using complex display and control units.
  • touch-sensitive display and control panels also known as “touch screens” are becoming increasingly popular for use as display and user input devices on portable devices such as smartphones or tablet PCs. It displays graphics and text and provides a user interface that allows a user to interact with the devices.
  • a touch-sensitive display and control panels also known as “touch screens” are becoming increasingly popular for use as display and user input devices on portable devices such as smartphones or tablet PCs. It displays graphics and text and provides a user interface that allows a user to interact with the devices.
  • a touch-sensitive display and control panels also known as “touch screens” are becoming increasingly popular for use as display and user input devices on portable devices such as smartphones or tablet PCs. It displays graphics and text and provides a user interface that allows a user to interact with the devices.
  • a touch-sensitive display and control panels also known as “touch screens” are becoming increasingly popular for use as display and user input devices on portable devices such as smartphones or tablet PCs. It displays graphics and text and provides a user interface that allows a user to interact with the devices.
  • a Device may display one or more virtual buttons, menus, and other user interface objects on the control panel.
  • a user may interact with the device by touching the touch-sensitive display and control surface at positions corresponding to the user interface objects with which it wishes to interact.
  • an application running on such devices can be started.
  • various gestures for clear operation such as unlocking by swipe gesture or a special unlocking gesture can be used.
  • there are also remote from the display touch-sensitive display and control surfaces there are also remote from the display touch-sensitive
  • Control surfaces such as in laptops.
  • the main problem is the inadvertent activation or deactivation of functions by unintentional contact with the control surface.
  • Vehicle function is thus difficult to carry out due to the constant eye contact with the operating surface.
  • the user when performing a parking operation outside the vehicle, the user should always keep the moving vehicle in the field of view in order to bring the vehicle to a standstill in an emergency can.
  • gestures are assigned to control different vehicle functions. That the vehicle functions can only be activated or triggered if the corresponding gesture was executed by the user. These gestures are called "predefined gestures”.
  • the association between the gestures and the vehicle function are stored in the vehicle, e.g. in a storage unit in the vehicle. Filed both the
  • Raw data of the gestures as well as certain decision criteria for the gesture can also be stored. Likewise, this assignment or decision criteria of the gestures can also be stored in the portable operating device.
  • the vehicle functions can only be activated or triggered if the corresponding gesture has been carried out by the user or if the executed gestures correspond to the corresponding criteria.
  • the predefined gestures can be fixed or dynamically changeable gestures, which fulfill the following criteria, for example:
  • the gesture must have a certain shape, the gesture must take place at a specific point on the control panel, the shape or position of the gesture is predetermined by the vehicle.
  • the vehicle itself can generate a gesture.
  • a sequence of numbers eg 3547
  • the shape or location of the gesture to be performed may change with each operation.
  • the current state of the vehicle can be taken into account and the "predefined gestures" to be executed are adapted accordingly.
  • the complexity of the gestures may vary. For example, be assigned more complex gestures or patterns for safety-critical functions such as "granting access or driving authorization" and simple gestures for functions such as "switching on and off of air conditioning".
  • Operating device detects a gesture ("executed gesture"), for example by a specific movement instead of just touching a touch-sensitive operating surface of the portable operating device
  • This "executed gesture” is detected by means of the portable operating device (as a “detected gesture”), eg with a integrated gesture
  • Gesture detection Thereby, various courses of the parameters such as the position, the pressure or the movement of a conductive object e.g. a finger on the
  • Control surface detected during an expected gesture is
  • raw data of the gesture e.g., the position, the pressure or the movement of a conductive object such as a finger
  • the raw data of the gesture include, for example, the coordinates (x, y) of the touch position of a finger on the operating surface, the course of contact, the speed of the contact progression, or
  • the captured raw data is transmitted to the vehicle via the wireless communication link and stored in the vehicle
  • For the evaluation in the vehicle are predefined gestures or the raw data of the predefined gestures or decision criteria for the evaluation in one
  • the operability of the portable operating device can be monitored.
  • the raw data of the gestures can only be transferred as long as the
  • the comparison of the detected gesture and the predefined gestures in the vehicle is independent of the gesture recognition of the portable operating device.
  • simple operating device can also be used for controlling the vehicle function. In the operating device, only a gesture detection, no gesture recognition is required.
  • gesture recognition may be performed by both the portable operator and the vehicle.
  • the detected gesture can be detected independently and assigned to a gesture movement.
  • Smartphone or tablet integrated gesture recognition can be detected and recognized, for example, typing, pulling, pushing, longer-pulling and variable-drawing gestures.
  • the executed gestures are assigned a gestural movement (so-called wiping, pushing, turning, zooming etc.).
  • the transmitted raw data of the detected gesture are evaluated, for example by means of an on-board gesture recognition.
  • the results of this vehicle's gesture recognition the gesture movement associated with the vehicle, are compared with the transmitted gesture movement. If both the raw data of the recognized gestures and the gesture movements match, then the corresponding vehicle function is executed.
  • Gesture recognition from the portable operating device to the vehicle is a multiple verification of the gesture recognition instead.
  • the operability of the portable operating device may be limited by the communication between the portable
  • Control device and the vehicle are ensured. Tampering with both the portable operating device and the vehicle can be prevented.
  • the wireless communication link is between the portable
  • Control device and the vehicle a Bluetooth connection.
  • Other wireless connections may be any radio connection, e.g. a Wi-Fi connection or a mobile communication connection. Any radio communication standard can be used. Depending on the availability of the communication connection, the system can be easily adapted.
  • the following data are preferably transmitted when transmitting the detected gesture to the vehicle: Coordinate course of the detected gesture or the speeds of the touch history or the change in direction of the touch history on the touch-sensitive display and control surface or the gesture movement detected by the portable control device.
  • various information of the same gestures can be transmitted simultaneously. This information can be evaluated independently.
  • the Redundancy increases the reliability of the remote control of the vehicle function. Safe gesture recognition is possible, especially for complex gestures.
  • the function is performed either after the gesture has been executed, activated and executed, or while the gesture is being performed.
  • a vehicle function that is to be monitored by a user in the implementation, e.g. when opening a convertible roof, forward and
  • the function of the vehicle is carried out only as long as the executed gesture is detected by means of the operating device.
  • the operating device e.g. to carry out any continuous movement on the operating surface.
  • This continuous movement may be circular, a wiping without wiping, a wiping in one direction with wiping of the finger, etc.
  • Continuous pressing on the control surface during operation, such as dead man's switch, is not sufficient. This is especially important for the conduct of
  • the function of the vehicle is only carried out if a continuous or constant movement is detected on the control surface.
  • the gesture has to be transmitted to the vehicle in real time (“real-time-like") and checked.
  • the operating safety and the monitoring are by a simple operating gesture
  • the device for remotely controlling a function of a vehicle includes a portable operating device, a wireless communication link between the portable operating device and the vehicle.
  • the portable operating device comprises a touch-sensitive display and control surface and a gesture detection.
  • the portable operating device may include gesture recognition. The gesture detection and the gesture recognition can be performed separately or integrated. A gesture executed by the user on the touch-sensitive display and operating surface can then be detected or recognized by means of an integrated gesture recognition of the operating device.
  • Gesture recognition integrated in smartphone or tablet is recognized by taking various parameters such as the position, pressure, or motion of a conductive object, e.g. a finger on the control panel during an expected gesture.
  • the display and control surface can be a so-called "multi-touch pad.”
  • this control surface can be operated with several fingers at the same time.Thus, one or more touch contacts and movements can be detected only to be executed if several operating gestures are carried out simultaneously.
  • the portable operating device is located outside the vehicle, so that a user can comfortably control the vehicle or a vehicle function from the outside.
  • the operating device may be a hand-held computer, a tablet, a mobile phone, a media player, a personal digital assistant (PDA) or a wireless
  • Remote control device be.
  • the vehicle In the vehicle is a storage unit. Therein are predefined gestures which are assigned to control the function of the vehicle. Further, the vehicle has a control unit that can perform the function of the vehicle. The allocation between the gestures and the vehicle function, the raw data of the gestures or specific decision criteria for the gesture can be stored in the memory unit. These data are dynamically changeable. An algorithm for generating or changing certain decision criteria for the gesture may also be stored in the memory unit.
  • the "predefined gestures" to be executed can also be changed.
  • the vehicle can generate its own gesture.
  • the shape or position of the gesture to be executed changes with each operation Vehicle can be taken into account and the operation adjusted accordingly become.
  • the user can define his own gesture.
  • a flexible allocation is feasible.
  • the operation can be designed user-friendly.
  • Vehicle where the predefined gestures are stored to control the function of the vehicle, be secured.
  • the access to the storage unit in the vehicle can only be made with an authorization by the vehicle manufacturer.
  • Storage of the predefined gestures can also take place in a separate safe area in the vehicle or in the control unit of the vehicle, so that access is only possible with appropriate authorization. This allows a high level of security and at the same time a high availability of the operating data for the control of the function of the vehicle.
  • the association between the predefined gestures and the vehicle functions may be e.g. stored on a database server of the vehicle manufacturer to the vehicle or to the control unit of the vehicle. With appropriate authorization, the assignment can be changed. On the one hand, flexible administration is possible. On the other hand, the control of the vehicle function is protected against unauthorized manipulation.
  • the detected by the portable operating device gesture is by means of
  • the evaluation unit can be protected against unauthorized access. By comparing the raw data of the detected gesture with the stored predefined gesture or with the stored decision criteria, it is determined whether the detected gesture is valid for controlling a vehicle function. If yes, the corresponding will
  • Vehicle function performed by means of the control unit of the vehicle.
  • a gesture is recognized as a valid gesture if certain decision criteria are met. These criteria may be, for example, that the gesture has a certain shape, or is performed at a certain point of the control surface, or changes with each operation, or corresponds to a continuous movement, or is vehicle-specific.
  • Memory unit, control unit may be implemented in hardware, software or a combination of both hardware and software.
  • a graphical guide on the touch-sensitive display and control surface can be displayed.
  • the function of the vehicle is only listed if the
  • executed gesture is detected within the graphical guide and corresponds to the predefined gesture for this vehicle function.
  • An example is an input field with numbers from 0 to 9. To activate a
  • a 4-digit number sequence (e.g., 3569) should be entered. If a gesture such as Swipe gesture is executed in a train from 3 to 9, the vehicle function is activated. This path can be displayed in color on the control surface. Also a gesture like successively typing in the fields can be displayed led. The graphical guidance can also change the current state of the vehicle and adapt accordingly.
  • the user can easily make the required gesture.
  • the recording is limited to the field of graphic guidance. Unintentional contacts on the control surface outside the graphic guidance are not detected and thus not transmitted to the vehicle, so that no transmission of unnecessary data.
  • touch-sensitive display and control surface includes a graphical guide with multiple end positions. The end positions are connected via connection paths.
  • the end positions reflect the gearbox settings from a shift gate.
  • the corresponding gear position is set in the vehicle.
  • the graphical guidance in this case is a symbolized shift gate.
  • a shift lever of the vehicle transmission is shown as a picture element, for example a movable point on the touch-sensitive display and control surface.
  • the picture element can display the current switching state.
  • the "gear change" function can be controlled by means of the portable operating device, wherein the picture element displays the current state of the vehicle.
  • this device is not only user-friendly, intuitive, easy to use, but also ensures safety for vehicle-specific operation.
  • Remote control of a vehicle function the corresponding devices and methods can also be used for remote control of any machinery and equipment.
  • Fig.1 Basic structure of a device for remote control of a
  • FIG. 2 flowchart of a method for the remote control of a
  • FIG. 3 flowchart of a method for the remote control of a
  • Fig. 4 apparatus for inputting a graphically guided gesture according to a
  • FIG. 1 illustrates a device 6 for remote control of a function of a vehicle 1 according to an embodiment of the invention.
  • the device 6 comprises the vehicle 1, a portable operating device 2 and a wireless communication link 3 between the portable operating device 2 and the vehicle 1.
  • the portable operating device 2 here e.g. formed as a mobile phone, located outside the vehicle 1, so that a user, the vehicle 2 and a
  • the mobile telephone 2 has a wireless communication interface 9. e.g. a Bluetooth interface 9. Via this interface 9, the mobile phone 2 communicates with the Bluetooth interface O of the vehicle 1. Data can be sent, transmitted and received via the Bluetooth connection 3. Furthermore, the functionality of the mobile phone 2 can be monitored by the data transmission via the Bluetooth connection 3.
  • a wireless communication interface 9 e.g. a Bluetooth interface 9.
  • the mobile phone 2 communicates with the Bluetooth interface O of the vehicle 1. Data can be sent, transmitted and received via the Bluetooth connection 3.
  • the functionality of the mobile phone 2 can be monitored by the data transmission via the Bluetooth connection 3.
  • the mobile phone 2 has a display and control surface 4 for operating the
  • the display and control surface 4 is a touch-sensitive flat display ("touch screen” display) through which the control commands for controlling the vehicle function are input.
  • the mobile phone user makes a gesture on the touchscreen 4 with his finger.
  • the executed gesture is detected by means of a gesture detection 5 integrated in the mobile telephone 2.
  • so-called raw data of the gesture are recorded and stored in a memory in the gesture detection 5 and then evaluated.
  • the raw data of the gesture can eg the Course of the coordinates (x, y) of the touch of the finger on the touch screen 4.
  • Both the raw data and the evaluation result of the mobile phone are transmitted to the vehicle 1 by means of the Bluetooth connection 3 and evaluated in the vehicle 1.
  • predefined gestures or the raw data of the predefined gestures are predefined gestures or the raw data of the predefined gestures in a memory unit 7 in the vehicle 1 and in a
  • Control unit 8 of the vehicle 1 stored. Different vehicle functions are assigned different gestures.
  • the memory unit 7 may only be written and read with authorization by the vehicle manufacturer.
  • This storage unit 7 can also be located in a separate safe area in the vehicle 1 or in the control unit 8 of the vehicle 1, so that the access is possible only with appropriate authorization.
  • the transmitted raw data are evaluated in an evaluation unit 11.
  • the evaluation unit 11 can be secured against unauthorized access.
  • the control unit 8 of the vehicle By comparing the raw data of the executed gesture with the raw data of the stored predefined gesture, it is determined whether the executed gesture is valid for controlling a vehicle function. If the data match, the corresponding vehicle function is carried out by means of the control unit 8 of the vehicle 1.
  • a gesture is recognized as a valid gesture if certain criteria are met. These criteria may e.g. be that the gesture corresponds to a particular shape, or is carried out at a certain point of the control surface, or changes with each operation, or corresponds to a continuous movement, or is vehicle-specific.
  • a corresponding operating display can be displayed on the touch screen 4 of the mobile phone 2.
  • FIG. 2 shows a flow chart of a method for remote control of a vehicle function after execution of a complete gesture according to an embodiment of the present invention.
  • the vehicle function is only started if one corresponding gesture, for example on the touch screen 4 of the mobile phone 2 was completely executed.
  • a user selects an application, such as an application.
  • step S1 an operation display for inputting certain gestures for controlling the vehicle function "engine start” appears on the touch screen 4 of the mobile phone 2.
  • This display may be displayed in textual or pictorial form as a graphical guide on the touch screen 4.
  • the display may eg as a text "Please enter numbers 9541" or as an image on the touchscreen.
  • a wireless communication link 3 here a Bluetooth connection between the mobile phone 2 and the vehicle 1 is established.
  • the control commands for controlling the vehicle function or the executed gesture that the mobile phone user has performed with his finger on the touch screen 4 can. be transmitted to the vehicle 1.
  • step S2 it is determined whether a touch on the touch screen 4 is detected or not. If no touch is detected, which corresponds to a "no" answer in step S2, the processing flow goes to step S3. If a touch is detected, which corresponds to a "yes” answer in step S2, the processing flow goes to step S4.
  • step S3 it is determined whether or not a predetermined cancellation condition is satisfied.
  • the predetermined termination condition may be, for example, that no gesture has been detected on the touch screen 4 for a predetermined period T1. if the
  • step S3 the processing flow returns to step S2.
  • the corresponding operating display for the input of certain gestures will continue on the Mobile phone 2 is displayed and the user can continue his gesture or specify again.
  • step S4 the so-called raw data of the gesture, e.g. as the course of the gesture
  • step S5 the raw data of the executed gesture is transmitted to the vehicle 1 via the Bluetooth connection 3. Likewise, the evaluation result of the gesture detection 5 of the mobile phone 2 can be transmitted with.
  • step S6 it is determined whether or not the raw data of the executed gesture is valid. That the raw data are evaluated in the vehicle 1, independently of the gesture detection 5 in the mobile phone 2, in the vehicle's own gesture recognition 11. At this time, it is checked, e.g. whether the evaluation result matches the stored predefined gestures. If “yes”, the associated vehicle function is executed in step S7. If “no”, the process is aborted and terminated.
  • step S7 it is determined whether the executed gesture is complete. If so, the processing flow goes to step S8 and the vehicle function is activated. Here the engine of the vehicle is started. If not, the processing flow returns to step S2. That as long as a movement of the touch on the control surface is detected, the coordinates of the raw data are detected in step S4 and transmitted to the vehicle in step S5 and checked for validity until the executed gesture is complete.
  • FIG. 3 shows a flow chart of a method of remotely controlling a vehicle function while executing a gesture in accordance with an embodiment of the present invention.
  • the vehicle function is only started as long as a corresponding gesture is carried out, for example, on the touch screen 4 of the mobile phone 2. This is necessary for carrying out an operation for which monitoring is important.
  • a user selects an application such as "opening a convertible roof” or “driving" on his mobile phone 2.
  • the corresponding application program is started.
  • step S1 on the touch screen 4 of the mobile phone 2, an operation display for inputting certain gestures for controlling an operation of the vehicle such as "opening a convertible roof” or “driving" appears.
  • This display may be presented in textual or pictorial form as a graphical guide on the touchscreen 4.
  • the display may be e.g. can be displayed as a text "Please execute continuous circular motion.” Also, a circular image on the
  • Touchscreen are displayed as an indicator to make clear to the user that the touch screen should now be operated in a circular motion.
  • the circular movement can be carried out, for example, in one direction, circling with a change of direction or even, for example, in the form of a eight 8.
  • the user must operate the touchscreen without discontinuing.
  • a Bluetooth connection is established between the mobile phone 2 and the vehicle 1 for transmitting the detected gesture. As long as a touch on the touch screen 4 is detected, the so-called raw data of the gesture are detected, evaluated. And transferred via the Bluetooth connection 3 to the vehicle 1.
  • step S6 it is determined whether or not the raw data of the executed gesture is valid. If “yes”, the associated vehicle function is executed in step S9 If "no”, the processing flow goes to step S11.
  • step S10 it is determined in step S10 whether or not further movement of the touch on the touch screen 4 is detected.
  • the processing flow returns to step S4. That is, as long as a movement of the touch on the operation surface is detected, the coordinates of the raw data are detected in step S4 and in step S5 transferred to the vehicle and checked for validity.
  • the vehicle can give the driver via the mobile phone, for example, by an acoustic or haptic signal feedback.
  • the vehicle and the mobile phone can independently evaluate the data of the gesture. The results of the evaluation of the mobile phone are transmitted to the vehicle. Only if the evaluation results match the
  • Vehicle function associated with the gesture executed.
  • step S10 If no movement of the touch is detected in step S10, which corresponds to a "no" answer in step S10, the processing flow goes to step S11.
  • step S6 in the vehicle 1 the transmitted raw data is checked for validity.
  • the corresponding associated vehicle function is performed as long as the transmitted raw data is valid. If the raw data is not valid, the process is aborted immediately.
  • the control of the vehicle function "opening a convertible roof" by means of a continuous circular motion on the touch screen 4 the opening of the convertible roof is only performed when the associated gesture, as a circular motion on the
  • Touchscreen 4 is performed. The process is immediately stopped if no temporal change of the touch coordinates on the touch screen 4 is detected, i. when you release it or when you press the touch screen 4 again. In this case, opening the roof is stopped at the dead man's switch.
  • the driver executes the rotational movement
  • the data of the executed gesture in this case the course of the movement, is transmitted to the vehicle via the wireless communication link
  • Vehicle steers and drives. If the driver stops the circular motion, the vehicle stops. If the driver restarts the circular movement, the vehicle continues to drive. In doing so, the vehicle may encounter obstacles via the onboard sensor
  • Fig. 4 shows a device for inputting a graphically guided gesture.
  • a graphically guided gesture for example, a gear change can be performed via a mobile telephone 2 in a vehicle 1.
  • the device comprises a graphic guide 13 with three end positions (14, 15, 16) and a picture element 17.
  • the end positions (14, 15, 16) can be divided into three
  • Connection paths (18, 19, 20) can be achieved.
  • the three end positions (14, 15, 16) correspond to the three transmission settings of a shift gate.
  • the end positions (14, 15, 16) can be at a distance to each other so
  • the picture element (17) is formed in this embodiment as a filled circle. It corresponds to a shift lever of the vehicle transmission.
  • the position of the circle (17) indicates the current switching state of the vehicle (1) on the mobile phone display (4).
  • the circle (17) can be moved by means of a finger along the three connection paths (18, 19, 20) to the three end positions (14, 15, 16).
  • the position of the circle (17) corresponds to the current position of the finger within the graphic guide (13).
  • the corresponding function of the vehicle is activated only when the gesture has been executed from one end position to the other end position within the graphic guide (13) and the circle (17) has reached the corresponding end position. Otherwise, the circle (17) is returned to its last valid end position and there is no gear change in the vehicle (1) instead.
  • the picture element (17) is moved. The movement takes place via a gesture of the vehicle user from one end position, for example 15 to another end position, for example 14. The movement of the picture element (17) must be carried out so that it takes place along a connection path (18, 19, 20) and without is carried out.
  • connection paths can be rectangular (18, 19) or rectilinear (20).
  • the vehicle user must make a gesture in a train which is made from "P" (15) at right angles to the "D" (14).
  • the picture element (17) is lowered, the picture element (17) jumps back to its initial position, in this case the holding position (15), and a gear change in the vehicle (1) does not take place.

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Fernsteuerung einer Funktion eines Fahrzeugs (1). Die Vorrichtung umfasst eine tragbare Bedienvorrichtung (2) mit einer berührungssensitiven Anzeige- und Bedienfläche (4) und eine Gestenerfassung (5), eine drahtlose Kommunikationsverbindung (3) zwischen der tragbaren Bedienvorrichtung (2) und dem Fahrzeug (1). Mittels der tragbaren Bedienvorrichtung (2) wird eine von einem Benutzer ausgeführte Geste erfasst und eine drahtlose Kommunikationsverbindung (3) zwischen der tragbaren Bedienvorrichtung (2) und dem Fahrzeug (1) aufgebaut. Zur Steuerung der Funktion des Fahrzeugs (1) werden vordefinierte Gesten zugeordnet und abgelegt. Die erfasste Geste wird mittels der Kommunikationsverbindung (3) an das Fahrzeug (1) übermittelt. Im Fahrzeug (1) wird die erfasste Geste mit den vordefinierten Gesten verglichen und bei der Übereinstimmung die Funktion des Fahrzeugs (1) ausgeführt, die der Geste zugeordnet ist. Weiterhin betrifft die Erfindung eine Vorrichtung (12) zur Eingabe der graphischen geführten Geste mit einer graphischen Führung (13). Dabei umfasst die graphische Führung (13) mehreren Endpositionen (14, 15, 16), wobei die Endpositionen (14, 15, 16) über Verbindungspfade (18, 19, 20) verbunden sind und die Endpositionen(14, 15, 16) die Getriebepositionen eines Fahrzeugs (1) symbolisieren.

Description

Verfahren und Vorrichtung zur Fernsteuerung einer Funktion eines Fahrzeugs
Die vorliegende Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung zur Fernsteuerung einer Funktion eines Fahrzeugs mittels einer tragbaren oder mobilen Bedienvorrichtung.
Die Erfindung betrifft weiterhin eine Vorrichtung zur Eingabe der graphischen geführten Geste, wobei mittels der Geste eine Funktion eines Fahrzeugs gesteuert wird.
In der DE 102004004302 A1 ist eine mobile Einrichtung zur Fernsteuerung einer
Klimaanlage eines Fahrzeugs beschrieben. Die mobile Einrichtung kommuniziert mit einer Steuereinrichtung im Fahrzeug. Über ein berührungssensitives Display
(Touch Panel-Display) an der mobilen Einrichtung können Betätigungsbefehle bzw.
Betätigungsinstruktionen eingegeben werden. Bei Empfang einer entsprechenden Betätigungsinstruktion von der Betätigungseinrichtung wird entweder eine Belüftung der Fahrgastzelle oder eine Klimatisierung der Fahrgastzelle durchgeführt.
In der DE 102009019910 A1 ist eine Gestenerkennung durch die Verarbeitung einer zeitlichen Abfolge von Positionseingaben, die über einen Berührungssensor wie etwa einen kapazitiven oder resistiven Berührungssensor empfangen werden, beschrieben. Dabei wird ein Zustandsmaschinen-Gestenerkennungsalgorithmus zum Interpretieren von aus einem Berührungssensor ausgegebenen Koordinatenströmen angegeben.
In der DE 112006003515 T5 ist ein Verfahren zur Steuerung einer elektronischen
Vorrichtung mit einer berührungsempfindlichen Anzeigevorrichtung beschrieben. Dabei umfasst das Verfahren: Detektieren eines Kontakts mit der berührungsempfindlichen Anzeigevorrichtung, während sich die Vorrichtung in einem gesperrten Zustand einer Benutzerschnittstelle befindet; Bewegen eines zu einem entsperrten Zustand einer Benutzerschnittstelle der Vorrichtung korrespondierenden Bildes im Einklang mit dem Kontakt; Überführen der Vorrichtung in den entsperrten Zustand der Benutzer- Schnittstelle, wenn der detektierte Kontakt zu einer vordefinierten Geste korrespondiert; und Beibehalten der Vorrichtung in dem gesperrten Zustand der Benutzerschnittstelle, wenn der detektierte Kontakt nicht zu der vordefinierten Geste korrespondiert.
Aus der EP 1 249 379 A2 ist ein Verfahren zum Verbringen eines Kraftfahrzeugs in eine Zielposition bekannt. Dabei wird das Kraftfahrzeug in eine Startposition nahe der angestrebten Zielposition gebracht. Nach einer ersten fahrerseitigen Aktivierung wird die Umgebung des Kraftfahrzeugs fortlaufend abgetastet und die aktuelle Fahrzeugposition fortlaufend ermittelt. Anhand der ermittelten Umgebungs- und Positionsinformationen wird eine Trajektorie zur Zielposition ermittelt. Zum Abfahren der Trajektorie werden
Steuerinformationen für das Verbringen des Kraftfahrzeugs in die Zielposition generiert. Nach einer zweiten fahrerseitigen Aktivierung werden die von den Steuerinformationen abhängigen Steuerbefehle an den Antriebsstrang, die Bremsanlage und die Lenkung des Kraftfahrzeuges abgegeben. Dadurch fährt das Kraftfahrzeug fahrerunabhängig in die Zielposition. Die fahrerseitige Aktivierung kann außerhalb des Kraftfahrzeugs stattfinden.
In der DE 10 2009 041 587 A1 ist eine Fahrerassistenzeinrichtung beschrieben. Die Steuereinrichtung gibt Steuersignale an eine Antriebs- und Lenkvorrichtung des
Kraftfahrzeugs aus und veranlasst ein Durchführen eines autonomen Parkvorgangs. Mittels einer Fernbedienung können Befehle an der Steuereinrichtung von außerhalb des Fahrzeugs abgegeben werden. Nach Empfangen eines vorbestimmten
Unterbrechungsbefehls kann ein bereits begonnen Parkvorgang des Kraftfahrzeugs unterbrochen werden. Mit der Steuereinrichtung ist zumindest eine Kamera gekoppelt und gewinnt Bilddaten über einen Umgebungsbereich des Kraftfahrzeugs. Die
Steuereinrichtung sendet die von der Kamera gewonnenen Bilddaten oder daraus berechnete Bilddaten an die Fernbedienung. Die Fernbedienung stellt diese Bilddaten mittels komplexer Anzeige- und Bedieneinheiten dar.
Wie in dem Stand der Technik gezeigt, werden berührungssensitive Anzeige- und Bedienflächen (auch als "Berührungsbildschirme" oder "touch screens" bekannt) immer beliebter für die Verwendung als Anzeige- und Benutzereingabevorrichtungen auf tragbaren Vorrichtungen wie Smartphone oder Tablet-PC. Dabei werden Graphik und Text angezeigt und eine Benutzerschnittstelle bereitgestellt, durch die ein Benutzer mit den Vorrichtungen interagieren kann. Eine berührungssensitive Anzeige- und
Bedienfläche detektiert und reagiert auf einer Berührung auf der Bedienfläche. Eine Vorrichtung kann eine oder mehrere virtuelle Tasten, Menüs und andere Benutzerschnittstellenobjekte auf der Bedienfläche anzeigen. Ein Benutzer kann mit der Vorrichtung interagieren, indem er die berührungssensitive Anzeige- und Bedienfläche an Positionen berührt, die mit den Benutzerschnittstellenobjekten korrespondieren, mit denen er interagieren möchte. Damit kann z.B. eine auf solchen Vorrichtungen laufende Applikation gestartet werden. Darüber hinaus können auch verschiedene Gesten zur eindeutigen Bedienung wie z.B. Entsperren durch Wischgeste oder eine spezielle Entsperrgeste verwendet werden. Neben kombinierten berührungssensitive Anzeige- und Bedienflächen gibt es auch von der Anzeige abgesetzte berührungssensitive
Bedienflächen, wie z.B. bei Laptops.
Zur Auslösung oder Aktivierung der Funktion des Fahrzeugs außerhalb des Fahrzeugs, wie das Verriegeln oder Entriegeln oder das Öffnen und Schließen von Fahrzeugtüren, das Ein- oder Ausschalten von Klimaanlagen des Fahrzeugs, das Aktivieren von Radiooder Navigationssystemen etc., werden heute hauptsächlich mit Hilfe von speziellen Vorrichtungen ausgeführt. Der Grund dafür ist die hohe Sicherheitsanforderung bei der Fernsteuerung der Fahrzeugfunktion. Wird dabei eine Vorrichtung mit
berührungssensitiven Anzeige- und Bedienfläche verwendet, ist das Hauptproblem dabei die unbeabsichtigte Aktivierung oder Deaktivierung von Funktionen durch einen unbeabsichtigten Kontakt mit der Bedienfläche. Außerdem gibt es bei der Bedienung nur ein schwaches haptisches Feedback an den Nutzer. Um sicher zu sein, ob eine bestimmte Funktion ausgelöst ist oder nicht, muss der Nutzer ständig auf die Anzeige- und Bedienfläche schauen. Eine Überwachung während der Durchführung der
Fahrzeugfunktion ist durch den ständigen Blickkontakt mit der Bedienfläche somit schwer durchführbar. Z.B. bei der Durchführung eines Parkvorgangs außerhalb des Fahrzeugs soll der Nutzer stets das fahrende Fahrzeug im Blickfeld behalten, um im Notfall das Fahrzeug zum Stillstand bringen zu können.
Verwendet der Nutzer seine eigenen mobilen Vorrichtungen wie das Mobiltelefon zur Steuerung von Fahrzeugfunktionen, ist die sichere Bedienung noch schwerer zu garantieren. Solche elektronischen Vorrichtungen sind Konsumelektronik und sind bezüglich Sicherheit nicht auf die Bedienung von Fahrzeugfunktionen ausgelegt. Die Funktionsfähigkeit ist störanfällig und die Kommunikation mit dem Fahrzeug kann leicht manipuliert werden. Es ist daher die Aufgabe der vorliegenden Erfindung, ein gegenüber dem Stand der Technik verbessertes Verfahren und verbesserte Vorrichtungen zur Fernsteuerung einer Funktion eines Fahrzeugs und zur Eingabe der graphischen geführten Geste anzugeben.
Diese Aufgabe wird durch Gegenstand mit den Merkmalen des Anspruchsl , Anspruchs 6 und Anspruchs 8 gelöst.
Um eine Funktion eines Fahrzeugs außerhalb des Fahrzeugs steuern zu können, werden verschiedene Gesten zur Steuerung unterschiedlicher Fahrzeugfunktionen zugeordnet. D.h. die Fahrzeugfunktionen können nur aktiviert bzw. ausgelöst werden, wenn die entsprechende Geste von dem Nutzer ausgeführt wurde. Diese auszuführenden Gesten werden als„vordefinierte Gesten" bezeichnet.
Die Zuordnung zwischen der Gesten und der Fahrzeugfunktion werden im Fahrzeug abgelegt, z.B. in eine Speichereinheit im Fahrzeug. Abgelegt können sowohl die
Rohdaten der Gesten als auch bestimmte Entscheidungskriterien für die Geste. Auch die Zuordnung zwischen der Gesten und Fahrzeugfunktion können abgelegt sein. Ebenfalls können diese Zuordnung bzw. Entscheidungskriterien der Gesten auch in der tragbaren Bedienvorrichtung abgelegt werden. Die Fahrzeugfunktionen können nur aktiviert bzw. ausgelöst werden, wenn die entsprechende Geste von dem Nutzer ausgeführt wurde oder die ausgeführten Gesten der entsprechenden Kriterien entsprechen.
Die vordefinierten Gesten können feste oder dynamisch veränderbare Gesten sein, die z.B. folgenden Kriterien erfüllen: Die Geste muss eine bestimmte Form haben, die Geste muss an einer bestimmten Stelle des Bedienfeldes erfolgen, die Form oder Lage der Geste ist durch das Fahrzeug vorgegeben. Ebenfalls kann das Fahrzeug selber Geste generieren. Beispielsweise wird zur Aktivierung einer Fahrzeugfunktion eine Zahlenfolge (z.B. 3547) in der Speichereinheit abgelegt, wobei die Zahlenfolge mittels einer bekannten Geste (z.B. durch Wisch-Geste in einem Zug oder nacheinander Eintippen der Felder) eingegeben werden muss. Darüber hinaus kann die Form oder Lage der auszuführenden Geste sich bei jeder Bedienung ändern. Dabei kann der aktuelle Zustand des Fahrzeugs berücksichtigt werden und die auszuführende„vordefinierten Gesten" werden entsprechend angepasst. Je nach Fahrzeugfunktion kann die Komplexität der Gesten variieren. Z.B. komplexere Geste bzw. Muster für sicherheitskritische Funktionen wie„Erteilung der Zugangs- oder Fahrberechtigung" und einfache Gesten für Funktionen wie„Ein- und Ausschalten von Klimaanlage" zugeordnet sein.
Um eine Fahrzeugfunktion zu steuern, führt ein Nutzer auf der tragbaren
Bedienvorrichtung eine Geste („ausgeführte Geste") aus, z.B. durch eine bestimmte Bewegung anstelle nur einer Berührung auf einer berührungssensitiven Bedienfläche der tragbaren Bedienvorrichtung. Diese„ausgeführte Geste" wird mittels der tragbaren Bedienvorrichtung erfasst (als„erfasste Geste"), z.B. mit einer integrierten
Gestenerfassung. Dabei werden verschiedene Verläufe der Parameter wie die Position, der Druck oder die Bewegung eines leitenden Objekts z.B. eines Fingers auf der
Bedienfläche während einer erwarteten Geste erfasst.
Bei der Erfassung der Geste können verschiedene Erfassungstechnologien verwendet werden. Die am häufigsten verwendeten Techniken sind die passive und die aktive kapazitive Erfassung. Hier wird die Position eines Fingers auf der Bedienfläche anhand der elektrischen Kapazität ermittelt. Weitere Erfassungstechnologien sind Techniken, die auf resistiven Bildschirmen basieren und gewöhnlich mit einem Stift bedient werden, oder die auf Ultraschall oder anderen akustischen Techniken beruhen, oder Techniken, die auf einer totalen internen Reflexion oder auf anderen optischen Wirkungen beruhen. Alle diese Techniken können für die Erfassung der Geste bei der vorliegenden Erfindung verwendet werden.
Allgemein werden sogenannte Rohdaten der Geste (z.B. die Position, der Druck oder die Bewegung eines leitenden Objekts z.B. eines Fingers) aufgezeichnet und in der
Gestenerfassung hinterlegt. Dabei umfassen die Rohdaten der Geste beispielsweise die Koordinaten (x, y) der Berührungsposition eines Fingers auf der Bedienfläche, der Berührungsverlauf, die Geschwindigkeit des Berührungsverlaufs, oder die
Richtungsänderung des Berührungsverlaufs.
Um die ausgeführte Geste zu identifizieren, werden die erfassten Rohdaten mittels der drahtlosen Kommunikationsverbindung an das Fahrzeug übertragen und dort im
Fahrzeug analysiert und ausgewertet. Für die Auswertung im Fahrzeug sind vordefinierte Gesten bzw. die Rohdaten der vordefinierten Gesten oder Entscheidungskriterien für die Auswertung in einer
Speichereinheit im Fahrzeug bzw. in einer Steuereinheit des Fahrzeugs abgelegt. Für die Steuerung verschiedener Fahrzeugfunktionen werden verschiedene Gesten zugeordnet. Für die Gestenerkennung im Fahrzeug werden die übermittelten Rohdaten der erfassten Geste mit den gespeicherten vordefinierten Gesten verglichen bzw. mit den
Entscheidungskriterien ausgewertet. Entsprechen die übermittelten Rohdaten der gespeicherten Geste bzw. die Entscheidungskriterien, wird die entsprechende
Fahrzeugfunktion ausgeführt.
Durch die Erfassung von einer von einem Nutzer ausgeführten Geste anstelle nur einer Berührung ist die Gefahr einer unbeabsichtigten Aktivierung von Fahrzeugfunktionen stark reduziert. Durch einen unbeabsichtigten Kontakt mit der Bedienfläche kann keine Funktion ausgelöst werden. Somit ist eine höhere Bediensicherheit erreichbar.
Durch die Übermittlung der erfassten Geste von der tragbaren Bedienvorrichtung an das Fahrzeug, kann die Funktionsfähigkeit der tragbaren Bedienvorrichtung überwacht werden. Die Rohdaten der Gesten können nur übertragen werden, solange die
Kommunikationsverbindung zwischen der tragbaren Kommunikationsvorrichtung und dem Fahrzeug besteht.
Der Vergleich der erfassten Geste und der vordefinierten Gesten im Fahrzeug ist unabhängig von der Gestenerkennung der tragbaren Bedienvorrichtung. Damit kann einfache Bedienvorrichtung ebenfalls für die Steuerung der Fahrzeugfunktion benutzt werden. In der Bedienvorrichtung ist nur eine Gestenerfassung, keine Gestenerkennung erforderlich.
Bevorzugt kann die Gestenerkennung sowohl von der tragbaren Bedienvorrichtung als auch vom Fahrzeug durchgeführt werden. Die erfasste Geste kann unabhängig voneinander erkannt und einer Gestenbewegung zugeordnet werden. Mittels in
Smartphone oder Tablet integrierter Gestenerkennung können z.B. tippende, ziehende, drückende, länger ziehende und variabel ziehende Gesten erfasst und erkannt werden. Dabei werden die ausgeführten Gesten einer Gestenbewegung (sog. Wischen, Schieben, Drehen, Zoomen etc.) zugeordnet. Bei der Übermittlung an das Fahrzeug mittels der Kommunikationsverbindung werden nicht nur die übermittelten Rohdaten der erfassten Geste, sondern auch die Ergebnisse der Gestenerkennung, d.h. die zugeordnete Gestenbewegung übertragen. Im Fahrzeug werden die übermittelten Rohdaten der erfassten Geste ausgewertet, z.B. mittels einer fahrzeugeigenen Gestenerkennung. Die Ergebnisse dieser fahrzeugeigenen Gestenerkennung, die vom Fahrzeug zugeordnete Gestenbewegung, wird mit der übermittelten Gestenbewegung verglichen. Stimmen sowohl die Rohdaten der erkannten Gesten als auch die Gestenbewegungen überein, dann wird die entsprechende Fahrzeugfunktion ausgeführt.
Durch die Übermittlung der erfassten Geste und der Gestenbewegung aus der
Gestenerkennung von der tragbaren Bedienvorrichtung an das Fahrzeug findet eine mehrfache Überprüfung der Gestenerkennung statt. Die Funktionsfähigkeit der tragbaren Bedienvorrichtung kann durch die Kommunikation zwischen der tragbaren
Bedienvorrichtung und dem Fahrzeug sichergestellt werden. Eine Manipulation sowohl in der tragbaren Bedienvorrichtung und im Fahrzeug kann verhindert werden.
Bevorzugt ist die drahtlose Kommunikationsverbindung zwischen der tragbaren
Bedienvorrichtung und dem Fahrzeug eine Bluetooth-Verbindung. Weitere drahtlose Verbindungen können eine beliebige Funkverbindung sein, z.B. eine WLAN-Verbindung oder eine Mobilfunkkommunikationsverbindung. Ein beliebiger Funkkommunikations- Standard kann verwendet werden. Je nach Verfügbarkeit der Kommunikationsverbindung kann das System leicht angepasst werden.
Bevorzugt werden bei der Übermittlung der erfassten Geste an das Fahrzeug folgende Daten übertragen: der Berührungsverlauf bez. Koordinatenverlauf der erfassten Geste oder die Geschwindigkeiten des Berührungsverlaufs oder die Richtungsänderung des Berührungsverlaufs auf der berührungssensitiven Anzeige- und Bedienfläche oder die von der tragbaren Bedienvorrichtung erkannten Gestenbewegung.
Somit können je nach Arten der Gesten verschiedene Informationen übertragen werden. Dies vereinfacht die Übertragung, in dem z.B. nur die Informationen, die die Eigenschaft der Gesten kennzeichnen, übertragen werden.
Ebenfalls können verschiedene Informationen derselben Gesten gleichzeitig übertragen werden. Diese Informationen können unabhängig voneinander ausgewertet werden. Die Redundanz erhöht die Funktionssicherheit der Fernsteuerung der Fahrzeugfunktion. Eine sichere Gestenerkennung ist möglich, vor allem bei komplexen Gesten.
Je nach der Arte der Fahrzeugfunktion, wird die Funktion entweder nachdem die Geste ausgeführt wurde, aktiviert und durchgeführt, oder solange die Geste ausgeführt wird, durchgeführt. Für eine Fahrzeugfunktion, die von einem Nutzer bei der Durchführung überwacht werden soll, z.B. beim Öffnen eines Cabriodachs, Vorwärts- und
Rückwärtsfahren des Fahrzeugs, wird die Funktion des Fahrzeugs nur ausgeführt, solange die ausgeführte Geste mittels der Bedienvorrichtung erfasst wird. Dabei ist z.B. eine beliebige kontinuierliche Bewegung auf den Bedienfläche durchzuführen. Diese kontinuierliche Bewegung kann kreisförmig sein, ein Hin- und Herwischen ohne Absetzen, ein Wisch in eine Richtung mit Absetzen des Fingers etc. sein. Ein andauerndes Drücken auf der Bedienfläche während der Bedienung wie bei Totmannschalter ist nicht ausreichend. Dies ist besonders wichtig für die Durchführung von
fahrsicherheitsrelevanten Funktionen wie z.B. Ein- und Ausparken des Fahrzeugs. Die Funktion des Fahrzeugs wird nur durchgeführt, wenn eine kontinuierliche bzw. ständige Bewegung auf der Bedienfläche erfasst wird. Darüber hinaus muss die Geste fast in Echtzeit („realtime like") an das Fahrzeug übertragen und überprüft werden.
Die Gefahr der unbeabsichtigten Fehlbedienung wird somit wirksam verhindert. Die Bediensicherheit und die Überwachung sind durch eine einfache Bediengeste
sichergestellt.
Die Vorrichtung zur Fernsteuerung einer Funktion eines Fahrzeugs umfasst eine tragbare Bedienvorrichtung, eine drahtlose Kommunikationsverbindung zwischen der tragbaren Bedienvorrichtung und dem Fahrzeug. Dabei umfasst die tragbare Bedienvorrichtung eine berührungssensitive Anzeige- und Bedienfläche und eine Gestenerfassung. Ebenso kann die tragbare Bedienvorrichtung eine Gestenerkennung aufweisen. Dabei können die Gestenerfassung und die Gestenerkennung getrennt oder integriert ausgeführt sein. Eine von dem Nutzer auf der berührungssensitiven Anzeige- und Bedienfläche ausgeführte Geste kann dann mittels einer integrierten Gestenerkennung der Bedienvorrichtung erfasst bzw. erkannt werden.
Solche Gestenerkennung wird seit vielen Jahren in Bedienvorrichtungen mit
berührungssensitiver Bedienfläche verwendet. Ein frühes Beispiel hierfür ist die Zeichenerkennung in PDAs und eine ziehende Fingerbewegung und das einfache und doppelte Tippen auf dem Touchpad eines Notebooks. In letzter Zeit wurde die
Gestenerkennung in Smartphone oder Tablet integriert. Tippende, ziehende, drückende, länger ziehende und variabel ziehende Gesten (Wischen, Schieben, Drehen, Zoomen etc. ) werden erkannt, indem verschiedene Parameter wie die Position, der Druck oder die Bewegung eines leitenden Objekts z.B. eines Fingers auf der Bedienfläche während einer erwarteten Geste analysiert werden.
Ebenfalls kann die Anzeige- und Bedienfläche ein so genanntes„Multi-Touch-Pad" sein. Diese Bedienfläche ist beispielsweise mit mehreren Fingern gleichzeitig bedienbar. Damit können eine oder mehrere Berührungskontakte und Bewegungen erfasst werden. Mittels einer solchen Bedienfläche ist es denkbar, eine Fahrzeugfunktion nur dann auszuführen wenn mehrere Bediengesten gleichzeitig durchgeführt werden.
Die tragbare Bedienvorrichtung befindet sich außerhalb des Fahrzeugs, so dass ein Nutzer das Fahrzeug bzw. eine Fahrzeugfunktion komfortabel von außen steuern kann. Die Bedienvorrichtung kann ein handgehaltener Computer, ein Tablet, ein Mobiltelefon, ein Medienspieler, ein persönlicher digitaler Assistent (PDA) oder eine drahtlose
Fernbedienungseinrichtung sein.
Im Fahrzeug ist eine Speichereinheit. Darin sind vordefinierte Gesten, die zur Steuerung der Funktion des Fahrzeugs zugeordnet sind, abgelegt. Ferner besitzt das Fahrzeug eine Steuereinheit, die die Funktion des Fahrzeugs ausführen kann. In der Speichereinheit können die Zuordnung zwischen der Gesten und der Fahrzeugfunktion, die Rohdaten der Gesten oder bestimmte Entscheidungskriterien für die Geste abgelegt sein. Diese Daten sind dynamisch veränderbar. Ein Algorithmus zur Erzeugung oder Veränderung bestimmter Entscheidungskriterien für die Geste kann auch in der Speichereinheit abgelegt sein.
Damit kann nicht nur die Zuordnung zwischen der Gesten und der Fahrzeugfunktion verändert werden, sondern die auszuführende„vordefinierte Gesten" können verändert werden. Das Fahrzeug kann selber Geste generieren. Die Form oder Lage der auszuführenden Geste sich bei jeder Bedienung ändern. Der aktuelle Zustand des Fahrzeugs kann berücksichtigt werden und die Bedienung entsprechend angepasst werden. Der Nutzer kann selbst Geste definieren. Eine flexible Zuordnung ist realisierbar. Die Bedienung kann benutzerfreundlich gestaltet werden.
Bevorzugt kann die Speichereinheit im Fahrzeug bzw. in einer Steuereinheit des
Fahrzeugs, wo die vordefinierten Gesten zur Steuerung der Funktion des Fahrzeugs abgelegt sind, gesichert sein. Bevorzugt kann der Zugriff auf die Speichereinheit im Fahrzeug nur mit einer Autorisierung durch den Fahrzeughersteller erfolgen. Die
Speicherung der vordefinierten Gesten kann auch in einem gesonderten sicheren Bereich im Fahrzeug bzw. in der Steuerungseinheit des Fahrzeugs stattfinden, so dass der Zugriff nur mit entsprechender Berechtigung möglich ist. Dies ermöglicht eine hohe Sicherheit und gleichzeitig eine hohe Verfügbarkeit der Bediendaten für die Steuerung der Funktion des Fahrzeugs. Die Zuordnung zwischen den vordefinierten Gesten und den Fahrzeugfunktionen können z.B. auf einem Datenbankserver des Fahrzeugherstellers zum Fahrzeug bzw. zur Steuerungseinheit des Fahrzeugs, abgelegt werden. Mit entsprechender Berechtigung kann die Zuordnung geändert werden. Einerseits ist eine flexible Verwaltung möglich. Andererseits ist die Steuerung der Fahrzeugfunktion gegen unbefugte Manipulation abgesichert.
Die von der tragbaren Bedienvorrichtung erfasste Geste wird mittels der
Kommunikationsverbindung an das Fahrzeug übermittelt. Dort wird die erfasste Geste mit einer fahrzeugeigenen Gestenerkennung erkannt.
Für die Gestenerkennung im Fahrzeug werden z.B. die übermittelten Rohdaten der erfassten Gesten in einer Auswerteinheit ausgewertet. Wie die Speichereinheit kann die Auswerteinheit gegen unbefugten Zugriff gesichert sein. Durch den Vergleich der Rohdaten der erfassten Geste mit der gespeicherten vordefinierten Geste bzw. mit den abgespeicherten Entscheidungskriterien wird bestimmt, ob die erfasste Geste zur Steuerung einer Fahrzeugfunktion gültig ist. Wenn ja, wird die entsprechende
Fahrzeugfunktion mittels der Steuereinheit des Fahrzeugs ausgeführt.
Eine Geste wird als eine gültige Geste erkannt, wenn bestimmte Entscheidungskriterien erfüllt werden. Diese Kriterien können z.B. darin bestehen, dass die Geste eine bestimmte Form besitzt, oder an einer bestimmten Stelle der Bedienfläche ausgeführt wird, oder sich bei jeder Bedienung ändert, oder eine kontinuierliche Bewegung entspricht, oder fahrzeugspezifisch ist. Die oben genannten Komponenten (Gestenerfassung, Gestenerkennung,
Speichereinheit, Steuereinheit) können in Hardware, Software oder einer Kombination sowohl aus Hardware und Software implementiert sein.
Zur Eingabe der Geste, die zur Steuerung der Funktion des Fahrzeugs zugeordnet sind, kann eine graphische Führung auf der berührungssensitiven Anzeige- und Bedienfläche dargestellt werden. Die Funktion des Fahrzeugs wird nur aufgeführt, wenn die
ausgeführte Geste innerhalb der graphischen Führung erfasst wird und der vordefinierten Geste für diese Fahrzeugfunktion entspricht.
Ein Beispiel ist ein Eingabefeld mit Zahlen von 0 bis 9. Zur Aktivierung einer
Fahrzeugfunktion soll eine 4-stellige Zahlenfolge (z.B. 3569) eingegeben werden. Wenn eine Geste wie z.B. Wisch-Geste in einem Zug von 3 zu 9 ausgeführt wird, wird die Fahrzeugfunktion aktiviert. Diese Weg kann farblich hinterlegt auf den Bedienfläche angezeigt sein. Auch eine Geste wie nacheinander Eintippen der Felder kann geführt angezeigt werden. Die graphische Führung kann darüber hinaus den aktuellen Zustand des Fahrzeugs und passt sich entsprechend an.
Die Bedienung ist durch die bildliche Darstellung der graphischen Führung
benutzerfreundlich. Der Nutzer kann die erforderliche Geste leicht ausführen. Die Erfassung beschränkt sich auf den Bereich der graphischen Führung. Unbeabsichtigte Kontakte auf der Bedienfläche außerhalb der graphischen Führung werden nicht erfasst und damit nicht an das Fahrzeug übertragen, damit keine Übertragung von unnötigen Daten.
Die Vorrichtung zur Eingabe der graphischen geführten Geste auf der
berührungssensitiven Anzeige- und Bedienfläche umfasst eine graphische Führung mit mehreren Endpositionen. Die Endpositionen sind über Verbindungspfade verbunden.
Ein Beispiel hierfür ist die Wahl der Getriebestellung. Dabei geben die Endpositionen die Getriebeeinstellungen aus einer Schaltkulisse wieder. Wenn eine Geste von einer Endposition zu der anderen Endposition entlang der Verbindungspfade ausgeführt wird, wird die entsprechende Getriebeposition im Fahrzeug eingestellt. Die graphische Führung ist in diesem Fall eine symbolisierte Schaltkulisse. Bevorzugt wird ein Schalthebel des Fahrzeuggetriebes als ein Bildelement z.B. einem beweglichen Punkt auf der berührungssensitiven Anzeige- und Bedienfläche dargestellt. Dabei kann das Bildelement den aktuellen Schaltzustand anzeigen. Wird eine Geste entlang einer Verbindungspfade zwischen zwei Endposition ausgeführt, bewegt sich das Bildelement mit. Die entsprechende Getriebeposition wird im Fahrzeug eingestellt, wenn das Bildelement die entsprechende Endposition erreicht hat. Somit kann die Funktion „Gangwechsel" mittels der tragbaren Bedienvorrichtung gesteuert werden. Dabei zeigt das Bildelement den aktuellen Zustand des Fahrzeugs an.
Damit ist diese Vorrichtung nicht nur benutzerfreundlich, intuitiv, leicht zu bedienen, sondern gewährleistet auch die Sicherheit zur fahrzeugspezifischen Bedienung.
Es gibt nun verschiedene Möglichkeiten, die Lehre der vorliegenden Erfindung in vorteilhafter Weise auszugestalten und weiterzubilden. Dazu ist einerseits auf die untergeordneten Ansprüche und andererseits auf die nachfolgende Erläuterung der Ausführungsform zu verweisen. Es sollen auch die vorteilhaften Ausgestaltungen einbezogen sein, die sich aus einer beliebigen Kombination der Unteransprüche ergeben.
Ebenfalls beschränkt sich die Lehre der vorliegenden Erfindung nicht nur auf
Fernsteuerung einer Fahrzeugfunktion, die entsprechende Vorrichtungen und Verfahren können auch für Fernsteuerung beliebiger Maschinen und Anlagen verwendet werden.
Die vorliegende Erfindung wird nachstehend anhand mehrerer Ausführungsbeispiele unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert. Es ist darauf hinzuweisen, dass die Zeichnungen bevorzugte Ausführungsvarianten der Erfindung zeigen, diese jedoch nicht darauf beschränken.
Die Zeichnungen jeweils in schematischer Darstellung:
Fig.1 Grundlegender Aufbau einer Vorrichtung zur Fernsteuerung einer
Fahrzeugsfunktion gemäß einem Ausführungsbeispiel der vorliegenden Erfindung Fig. 2 Ablaufdiagramm eines Verfahrens zur Fernsteuerung einer
Fahrzeugfunktion nach Ausführung einer kompletten Geste gemäß einem Ausführungsbeispiel der vorliegenden Erfindung
Fig. 3 Ablaufdiagramm eines Verfahrens zur Fernsteuerung einer
Fahrzeugfunktion während Ausführung einer Geste gemäß einem
Ausführungsbeispiel der vorliegenden Erfindung
Fig. 4 Vorrichtung zur Eingabe einer graphisch geführten Geste gemäß einem
Ausführungsbeispiel der vorliegenden Erfindung
Fig. illustriert eine Vorrichtung 6 zur Fernsteuerung einer Funktion eines Fahrzeugs 1 gemäß einer Ausführungsform der Erfindung. Die Vorrichtung 6 umfasst das Fahrzeug 1 , eine tragbare Bedienvorrichtung 2 und eine drahtlose Kommunikationsverbindung 3 zwischen der tragbaren Bedienvorrichtung 2 und dem Fahrzeug 1.
Die tragbare Bedienvorrichtung 2, hier z.B. als ein Mobiltelefon ausgebildet, befindet sich außerhalb des Fahrzeugs 1 , so dass ein Benutzer das Fahrzeug 2 bzw. eine
Fahrzeugfunktion komfortabel von außen steuern kann.
Um mit dem Fahrzeug 1 kommunizieren zu können, weist das Mobiltelefon 2 eine drahtlose Kommunikationsschnittstelle 9 auf. z.B. eine Bluetooth-Schnittstelle 9. Über diese Schnittstelle 9 kommuniziert das Mobiltelefon 2 mit der Bluetooth-Schnittstelle O des Fahrzeugs 1. Daten können über die Bluetooth-Verbindung 3 gesendet, übertragen und empfangen werden. Weiterhin kann die Funktionsfähigkeit des Mobiltelefons 2 durch die Datenübertragung über die Bluetooth- Verbindung 3 überwacht werden.
Das Mobiltelefon 2 weist eine Anzeige- und Bedienfläche 4 zum Bedienen der
Fernsteuerung auf. Hier ist die Anzeige- und Bedienfläche 4 ein berührungssensitives Flachdisplay ("touch screen" Display), durch das die Steuerungsbefehle zur Steuerung der Fahrzeugfunktion eingegeben werden. Der Mobiltelefonbenutzer führt z.B. mit seinem Finger eine Geste auf dem Touchscreen 4 aus. Die ausgeführte Geste wird mittels einer in das Mobiltelefon 2 integrierten Gestenerfassung 5 erfasst. Dabei werden sogenannte Rohdaten der Geste aufgezeichnet und in einem Speicher in der Gestenerfassung 5 hinterlegt und anschließend ausgewertet. Die Rohdaten der Geste können dabei z.B. der Verlauf der Koordinaten (x, y) von der Berührung des Fingers auf dem Touchscreen 4 sein. Sowohl die Rohdaten als auch das Auswertungsergebnis des Mobiltelefons werden mittels der Bluetooth-Verbindung 3 an das Fahrzeug 1 übertragen und im Fahrzeug 1 ausgewertet.
Für die Auswertung im Fahrzeug 1 sind vordefinierte Gesten bzw. die Rohdaten der vordefinierten Gesten in einer Speichereinheit 7 im Fahrzeug 1 bzw. in einer
Steuereinheit 8 des Fahrzeugs 1 abgelegt. Unterschiedlichen Fahrzeugfunktionen werden verschiedene Gesten zugeordnet. Bevorzugt kann der Zugriff auf die Speichereinheit 7 im Fahrzeug 1 , in der die vordefinierten Gesten zur Steuerung der Funktion des Fahrzeugs 1 abgelegt sind, gesichert sein. Die Speichereinheit 7 kann beispielsweise nur mit einer Autorisierung durch den Fahrzeughersteller beschrieben und gelesen werden. Diese Speichereinheit 7 kann auch in einem gesonderten sicheren Bereich im Fahrzeug 1 bzw. in der Steuereinheit 8 des Fahrzeugs 1 liegen, so dass der Zugriff nur mit entsprechender Berechtigung möglich ist.
Für die Gestenerkennung im Fahrzeug werden die übermittelten Rohdaten in einer Auswerteinheit 11 ausgewertet. Wie die Speichereinheit 7 kann die Auswerteinheit 11 gegen unbefugten Zugriff gesichert sein. Durch den Vergleich der Rohdaten der ausgeführten Geste mit den Rohdaten der gespeicherten vordefinierten Geste wird bestimmt, ob die ausgeführte Geste zur Steuerung einer Fahrzeugfunktion gültig ist. Stimmen die Daten überein, so wird die entsprechende Fahrzeugfunktion mittels der Steuereinheit 8 des Fahrzeugs 1 ausgeführt.
Eine Geste wird als eine gültige Geste erkannt, wenn bestimmte Kriterien erfüllt werden. Diese Kriterien können z.B. darin bestehen, dass die Geste einer bestimmten Form entspricht, oder an einer bestimmten Stelle der Bedienfläche ausgeführt wird, oder sich bei jeder Bedienung ändert, oder einer kontinuierlichen Bewegung entspricht, oder fahrzeugspezifisch ist.
Zur Eingabe der Geste für die Steuerung der Fahrzeugfunktion kann eine entsprechende Bedienanzeige auf dem Touchscreen 4 des Mobiltelefons 2 angezeigt werden.
Fig. 2 zeigt ein Ablaufdiagramm eines Verfahrens zur Fernsteuerung einer Fahrzeugfunktion nach Ausführung einer kompletten Geste gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Dabei wird die Fahrzeugfunktion nur gestartet, wenn eine entsprechende Geste z.B. auf dem Touchscreen 4 des Mobiltelefons 2 komplett ausgeführt wurde.
In einem hier nicht dargestellten Schritt wählt ein Benutzer eine Applikation wie z.B.
„Motorstart" auf seinem Mobiltelefon 2 aus. Das entsprechende Anwendungsprogramm wird gestartet.
In Schritt S1 erscheint auf dem Touchscreen 4 des Mobiltelefons 2 eine Bedienanzeige zur Eingabe bestimmter Gesten für die Steuerung der Fahrzeugfunktion„Motorstart". Diese Anzeige kann in Textform oder bildlich als eine graphische Führung auf dem Touchscreen 4 dargestellt werden. Für dieses Ausführungsbeispiel kann die Anzeige z.B. als ein Text„Bitte Zahlen 9541 eingeben " oder als Bild auf dem Touchscreen angezeigt werden.
Gleichzeitig wird eine drahtlose Kommunikationsverbindung 3, hier eine Bluetooth- Verbindung zwischen dem Mobiltelefon 2 und dem Fahrzeug 1 aufgebaut. Damit können die Steuerungsbefehle zur Steuerung der Fahrzeugfunktion bzw. die ausgeführte Geste, die der Mobiltelefonbenutzer mit seinem Finger auf dem Touchscreen 4 durchgeführt hat. an das Fahrzeug 1 übertragen werden.
In Schritt S2 wird bestimmt, ob eine Berührung auf dem Touchscreen 4 detektiert wird oder nicht. Falls keine Berührung detektiert wird, was einer Antwort "nein" in Schritt S2 entspricht, geht der Verarbeitungsablauf zu Schritt S3. Falls eine Berührung detektiert wird, was einer Antwort„ja" in Schritt S2 entspricht, geht der Verarbeitungsablauf zu Schritt S4.
In Schritt S3 wird bestimmt, ob eine vorbestimmte Abbruchbedingung erfüllt ist oder nicht. Die vorbestimmte Abbruchbedingung kann zum Beispiel sein, dass für eine vorbestimmte Zeitdauer T1 keine Geste auf den Touchscreen 4 erfasst worden ist. Falls die
vorbestimmte Abbruchbedingung erfüllt ist, d.h. keine Berührung innerhalb der Zeitdauer T1 erfasst wird, was einer Antwort„ja" in Schritt S3 entspricht, wird das Verfahren abgebrochen und beendet. Falls die Abbruchbedingung nicht erfüllt ist, was einer Antwort „nein" in Schritt S3 entspricht, geht der Verarbeitungsablauf zu Schritt S2 zurück. Die entsprechende Bedienanzeige zur Eingabe bestimmter Gesten wird weiter auf dem Mobiltelefon 2 angezeigt und der Benutzer kann seine Geste fortführen oder erneut angeben.
In Schritt S4 werden die sogenannten Rohdaten der Geste, z.B. als Verlauf der
Koordinaten der ausgeführten Berührung, durch die Gestenerfassung 5 in dem
Mobiltelefon 2 erfasst und ausgewertet.
In Schritt S5 werden die Rohdaten der ausgeführten Geste über die Bluetooth- Verbindung 3 an das Fahrzeug 1 übertragen. Ebenso kann das Auswertungsergebnis von der Gestenerfassung 5 des Mobiltelefons 2 mit übertragen werden.
In Schritt S6 wird bestimmt, ob die Rohdaten der ausgeführten Geste gültig sind oder nicht. D.h. die Rohdaten werden im Fahrzeug 1 , unabhängig von der Gestenerfassung 5 in das Mobiltelefon 2, in fahrzeugeigener Gestenerkennung 11 ausgewertet. Dabei wird überprüft, z.B. ob das Auswertungsergebnis mit den abgespeicherten vordefinierten Gesten übereinstimmt. Wenn„ja" wird die zugeordnete Fahrzeugfunktion in Schritt S7 ausgeführt. Wenn "nein", wird das Verfahren abgebrochen und beendet.
In Schritt S7 wird bestimmt, ob die ausgeführte Geste komplett ist, Wenn ja, geht der Verarbeitungsablauf zu Schritt S8 und die Fahrzeugfunktion wird aktiviert. Hier wird der Motor des Fahrzeugs gestartet. Wenn nein, geht der Verarbeitungsablauf zu Schritt S2 zurück. D.h. solange eine Bewegung der Berührung auf der Bedienfläche detektiert wird, werden in Schritt S4 die Koordinaten der Rohdaten erfasst und in Schritt S5 an das Fahrzeug übertragen und dort auf ihre Gültigkeit überprüft, bis die ausgeführte Geste komplett ist.
Fig. 3 zeigt ein Ablaufdiagramm eines Verfahrens zur Fernsteuerung einer Fahrzeugfunktion während Ausführung einer Geste gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Dabei wird die Fahrzeugfunktion nur gestartet, solange eine entsprechende Geste z.B. auf dem Touchscreen 4 des Mobiltelefons 2 ausgeführt wird. Dies ist notwendig für die Durchführung eines Vorgangs, für die eine Überwachung wichtig ist. In einem hier nicht dargestellten Schritt wählt ein Benutzer eine Applikation wie z.B. „Öffnen eines Cabriodachs" oder„ Fahren" auf seinem Mobiltelefon 2 aus. Das entsprechende Anwendungsprogramm wird gestartet.
In Schritt S1 erscheint auf dem Touchscreen 4 des Mobiltelefons 2 eine Bedienanzeige zur Eingabe bestimmter Gesten für die Steuerung eines Vorgangs des Fahrzeugs wie „Öffnen eines Cabriodachs" oder„Fahren". Diese Anzeige kann in Textform oder bildlich als eine graphische Führung auf dem Touchscreen 4 dargestellt werden. Für dieses Ausführungsbeispiel kann die Anzeige z.B. als ein Text„Bitte kontinuierliche kreisende Bewegung ausführen" angezeigt werden. Ebenfalls kann ein Kreisbild auf dem
Touchscreen als Anzeige dargestellt werden, um den Nutzer zu verdeutlichen, dass das Touchscreen nun in einer kreisenden Bewegung betätigt werden soll. Die Kreisbewegung kann dabei beispielsweise in eine Richtung durchgeführt werden, kreisend mit einem Richtungswechsel oder auch beispielsweise in Form einer acht 8. Der Nutzer muss dafür das Touchscreen ohne abzusetzen bedienen.
Ähnlich wie in Fig. 2 wird die gleiche Schritt S1 bis S6 durchgeführt. Eine Bluetooth- Verbindung wird zwischen dem Mobiltelefon 2 und dem Fahrzeug 1 zur Übertragung der erfassten Geste, aufgebaut. Solange eine Berührung auf dem Touchscreen 4 detektiert wird, werden die sogenannten Rohdaten der Geste erfasst, ausgewertet. Und über die Bluetooth-Verbindung 3 an das Fahrzeug 1 übertragen.
In Schritt S6 wird bestimmt, ob die Rohdaten der ausgeführten Geste gültig sind oder nicht. Wenn„ja" wird die zugeordnete Fahrzeugfunktion in Schritt S9 ausgeführt. Wenn "nein", geht der Verarbeitungsablauf zu Schritt S11.
Bei der Ausführung der Fahrzeugfunktion wird in Schritt S10 bestimmt, ob eine weitere Bewegung der Berührung auf dem Touchscreen 4 erfasst wird oder nicht. Wenn eine Bewegung detektiert wird, was einer Antwort„ja" in Schritt S10 entspricht, geht der Verarbeitungsablauf zu Schritt S4 zurück. D.h. solange eine Bewegung der Berührung auf der Bedienfläche detektiert wird, werden in Schritt S4 die Koordinaten der Rohdaten erfasst und in Schritt S5 an das Fahrzeug übertragen und dort auf ihre Gültigkeit überprüft. Darüber hinaus kann das Fahrzeug über das Mobiltelefon dem Fahrer beispielsweise durch ein akustisches oder haptisches Signal eine Rückmeldung geben. Zusätzlich können das Fahrzeug und das Mobiltelefon die Daten der Geste unabhängig voneinander auswerten. Die Ergebnisse der Auswertung des Mobiltelefons werden an das Fahrzeug übertragen. Nur bei Übereinstimmung der Auswertungsergebnisse wird die
Fahrzeugfunktion, die der Geste zugeordnet ist, ausgeführt.
Wenn in Schritt S10 keine Bewegung der Berührung erfasst wird, was einer Antwort "nein" in Schritt S10 entspricht, geht der Verarbeitungsablauf zu Schritt S11. Die
Fahrzeugfunktion wird gestoppt und das Verfahren abgebrochen.
Somit werden die Aufzeichnung und Übertragung der Rohdaten der Geste mit der Detektion einer Berührung auf dem Touchscreen 4 gestartet und erst gestoppt, sobald keine Berührung mehr detektiert wird. Dabei werden in Schritt S6 im Fahrzeug 1 die übermittelten Rohdaten auf ihre Gültigkeit überprüft. Die entsprechende zugehörige Fahrzeugfunktion wird durchgeführt, solange die übermittelten Rohdaten gültig sind. Bei nicht gültigen Rohdaten wird der Vorgang sofort abgebrochen. Für das Beispiel, der Steuerung der Fahrzeugfunktion„Öffnen eines Cabriodachs" mittels einer kontinuierlichen kreisenden Bewegung auf dem Touchscreen 4, wird das Öffnen des Cabriodachs nur durchgeführt, wenn die zugeordnete Geste, als kreisende Bewegung auf dem
Touchscreen 4 durchgeführt wird. Der Vorgang wird sofort gestoppt, wenn keine zeitliche Änderung der Berührungskoordinaten auf dem Touchscreen 4 detektiert wird, d.h. beim Loslassen oder bei einem andauernden Drücken auf dem Touchscreen 4. In diesem Fall wird beim Totmannschalter das Öffnen des Dachs angehalten.
Für die Funktion„Fahren" führt der Fahrer die Drehbewegung aus, werden die Daten der ausgeführten Geste, hier der Bewegungsverlauf, an das Fahrzeug über die drahtlose Kommunikationsverbindung übertragen. Das Fahrzeug wertet die Daten aus, das
Fahrzeug lenkt und fährt. Setzt der Fahrer die Kreisbewegung ab, so bleibt das Fahrzeug stehen. Setzt der Fahrzeugführer die Kreisbewegung erneut an, so fährt das Fahrzeug weiter. Dabei kann das Fahrzeug kann Hindernisse über die Onboardsensorik
selbstständig erkennen und entsprechend darauf reagieren. Bei Erkennung eines Hindernisses bremst das Fahrzeug und kommt in einem Abstand zum Hindernis zum Stehen. Das Fahrzeug kann dem Fahrzeugnutzer mittels eines akustischen oder haptischen Signals eine Rückmeldung geben. Die Intensität des Signals kann mit dem Abstand zum Hindernis variiert werden. Fig. 4 zeigt eine Vorrichtung zur Eingabe einer graphisch geführten Geste. Mittels der graphisch geführten Geste kann beispielsweise einen Gangwechsel über ein Mobiltelefon 2 in einem Fahrzeug 1 durchgeführt werden.
Dabei umfasst die Vorrichtung einer graphischen Führung 13 mit drei Endpositionen (14, 15, 16) und ein Bildelement 17. Die Endpositionen (14, 15, 16) kann über drei
Verbindungspfade (18, 19, 20) erreicht werden.
Die drei Endpositionen (14, 15, 16) entsprechen den drei Getriebeeinstellungen einer Schaltkulisse. Die Endposition 14 mit„D" steht für„Drive", entspricht der
Fahrzeugfunktion„Vorwärtsgang einlegen". Die Endposition 15 mit„P" steht für„Parken", entspricht der Fahrzeugfunktion„Parkbremse einlegen". Die Endposition 16 mit„R" steht für„Reverse", entspricht der Fahrzeugfunktion„ Rückwärtsgang einlegen".
Die Endpositionen (14, 15, 16) können dabei in einem Abstand zueinander so
angeordnet, dass„D" 14 an der oberen Endposition des Mobiltelefon-Displays 4 angeordnet ist,„R" 16 senkrecht zum„D" 14 an der unteren Endposition des Displays und „P" 15 auf der Mitte des Abstands zwischen dem„R" 16 und„D" 14 rechtwinklig angeordnet sein.
Das Bildelement (17) ist in diesem Ausführungsbeispiel als ein gefüllter Kreis ausgebildet. Es entspricht einem Schalthebel des Fahrzeuggetriebes. Die Position des Kreises (17) zeigt den aktuellen Schaltzustand des Fahrzeugs (1) auf dem Mobiltelefon-Display (4) an. Der Kreis (17) kann mittels eines Fingers entlang den drei Verbindungspfaden (18, 19, 20) zu den drei Endpositionen (14, 15, 16) bewegt werden. Dabei entspricht die Position des Kreises (17) der aktuellen Position des Fingers innerhalb der graphischen Führung (13).
Die entsprechende Funktion des Fahrzeugs wird nur aktiviert, wenn die Geste von einer Endposition zu der anderen Endposition innerhalb der graphischen Führung (13) ausgeführt ist und der Kreis (17) die entsprechende Endposition erreicht hat. Andernfalls wird der Kreis (17) zu seiner letzten gültigen Endposition zurückgeführt und es findet kein Gangwechsel im Fahrzeug (1) statt. Um einen Gangwechsel ermöglichen zu können, wird das Bildelement (17) bewegt. Die Bewegung erfolgt dabei über eine Geste des Fahrzeugnutzers von einer Endposition, beispielsweise 15 zu einer anderen Endposition, beispielsweise 14. Die Bewegung des Bildelements (17) muss so ausgeführt werden, dass sie entlang eines Verbindungspfads (18, 19, 20) erfolgt und ohne abzusetzen durchgeführt wird.
Die Verbindungspfade können dabei rechtwinklig (18, 19) oder geradlinig (20) sein. Soll das Fahrzeug beispielsweise aus einer Halteposition (15) vorwärts bewegt werden, muss der Fahrzeugnutzer eine Geste in einem Zug durchführen, welche von„P" (15) rechtwinklig nach oben zum„D" (14) erfolgt. Bei einem Absetzen des Bildelements (17), springt das Bildelement (17) zurück zu seiner Anfangsposition, hier also der Halteposition (15) und ein Gangwechsel im Fahrzeug (1) findet nicht statt.

Claims

Patentansprüche
Verfahren zur Fernsteuerung einer Funktion eines Fahrzeugs (1),
- wobei mittels einer tragbaren Bedienvorrichtung (2) eine von einem Benutzer ausgeführte Geste erfasst wird, und
- eine drahtlose Kommunikationsverbindung (3) zwischen der tragbaren
Bedienvorrichtung (2) und dem Fahrzeug (1) aufgebaut wird,
dadurch gekennzeichnet, dass
- ( zur Steuerung der Funktion des Fahrzeugs (1) vordefinierte Gesten zugeordnet und abgelegt werden, )
- die erfasste Geste zur Steuerung der Funktion des Fahrzeugs (1) mittels der Kommunikationsverbindung (3) an das Fahrzeug (1) übermittelt wird, und
- im Fahrzeug (1) die erfasste Geste mit den im Fahrzeug (1) hinterlegte Gesten verglichen wird, und
- bei der Übereinstimmung die Funktion des Fahrzeugs (1) ausgeführt wird, die der Geste zugeordnet ist.
Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet, dass
- die erfasste Geste von der tragbaren Bedienvorrichtung (2) und vom Fahrzeug (1) unabhängig voneinander einer Gestenbewegung zugeordnet wird,
- im Fahrzeug (1) die von der tragbaren Bedienvorrichtung (2) zugeordneten
Gestenbewegung und die vom Fahrzeug (1) zugeordneten Gestenbewegung miteinander verglichen werden, und
- bei der Übereinstimmung der beiden Gestenbewegungen die Funktion des
Fahrzeugs (1) ausgeführt wird, die der Geste zugeordnet ist.
Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass die drahtlose Kommunikationsverbindung (3) zwischen der tragbaren
Bedienvorrichtung (2) und dem Fahrzeug (1) eine Bluetooth-Kommunikation oder eine WLAN Kommunikation ist.
Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
bei der Übermittlung der erfassten Geste an das Fahrzeug (1)
der auf einer auf einer berührungssensitiven Anzeige- und Bedienfläche (4) angegebene
- Berührungsverlauf, oder
- die Geschwindigkeiten des Berührungsverlaufs, oder
die Richtungsänderung des Berührungsverlaufs, oder
die von der tragbaren Bedienvorrichtung (2) zugeordnete Gestenbewegung von der tragbaren Bedienvorrichtung (2) an das Fahrzeug übertragen wird.
Verfahren nach Anspruch 4,
dadurch gekennzeichnet, dass
die Funktion des Fahrzeugs (1) ausgeführt wird, solange die ausgeführte Geste mittels einer tragbaren Bedienvorrichtung (2) erfasst wird oder nachdem die ausgeführte Geste mittels einer tragbaren Bedienvorrichtung (2) erfasst wurde.
Vorrichtung (6) zur Fernsteuerung einer Funktion eines Fahrzeugs (1), umfassend
- eine tragbare Bedienvorrichtung (2),
- wobei die tragbare Bedienvorrichtung (2) mittels einer berührungssensitiven Anzeige- und Bedienfläche (4) bedienbar ist und eine Gestenerfassung (5) umfasst,
- eine Kommunikationsvorrichtung zur Aufbau einer drahtlosen
Kommunikationsverbindung (3) zwischen der tragbaren Bedienvorrichtung (2) und dem Fahrzeug (1),
dadurch gekennzeichnet, dass
- das Fahrzeug (1) eine Speichereinheit (7) und ein Steuereinheit (8) umfasst,
- wobei in der Speichereinheit (7), vordefinierten Gesten abgelegt sind, und
- die Steuereinheit (8) die erfasste Geste mit einer vordefinierten Geste vergleicht.
Vorrichtung (6) nach Anspruch 6, dadurch gekennzeichnet, dass
- die tragbare Bedienvorrichtung (2) eine graphische Führung (13) zur Eingabe der Gesten, umfasst, und
- eine Funktion des Fahrzeugs (1) ausführbar ist, wenn eine ausgeführte Geste in der graphischen Führung (13) eingegeben ist.
8. Vorrichtung (12) zur Eingabe einer graphischen geführten Geste mit einer
graphischen Führung (13),
dadurch gekennzeichnet, dass
- die graphische Führung (13) mehreren Endpositionen (14, 15, 16) umfasst, wobei die Endpositionen (14, 15, 16) über Verbindungspfade (18, 19, 20) verbunden sind und
- die Endpositionen(14, 15, 16) die Getriebepositionen eines Fahrzeugs (1) symbolisieren.
9. Vorrichtung nach Anspruch 8,
dadurch gekennzeichnet, dass
- die graphische Führung (13) eine symbolisierte Schaltkulisse wiedergibt.
10. Vorrichtung nach Anspruch 8 oder 9,
dadurch gekennzeichnet, dass
die Vorrichtung ein bewegliches Bildelement (17) umfasst, wobei das Bildelement (17) einen Schalthebel des Fahrzeuggetriebes symbolisiert.
PCT/EP2014/001374 2013-07-26 2014-05-21 Verfahren und vorrichtung zur fernsteuerung einer funktion eines fahrzeugs WO2015010752A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201480042028.XA CN105408853A (zh) 2013-07-26 2014-05-21 遥控交通工具的功能的方法和装置
EP14727709.9A EP3025223A1 (de) 2013-07-26 2014-05-21 Verfahren und vorrichtung zur fernsteuerung einer funktion eines fahrzeugs
US14/907,777 US20160170494A1 (en) 2013-07-26 2014-05-21 Method and device for remote control of a function of a vehicle
JP2016528366A JP2016538780A (ja) 2013-07-26 2014-05-21 車両の機能を遠隔制御する方法及び装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013012394.1 2013-07-26
DE102013012394.1A DE102013012394A1 (de) 2013-07-26 2013-07-26 Verfahren und Vorrichtung zur Fernsteuerung einer Funktion eines Fahrzeugs

Publications (1)

Publication Number Publication Date
WO2015010752A1 true WO2015010752A1 (de) 2015-01-29

Family

ID=50884335

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2014/001374 WO2015010752A1 (de) 2013-07-26 2014-05-21 Verfahren und vorrichtung zur fernsteuerung einer funktion eines fahrzeugs

Country Status (6)

Country Link
US (1) US20160170494A1 (de)
EP (1) EP3025223A1 (de)
JP (1) JP2016538780A (de)
CN (1) CN105408853A (de)
DE (1) DE102013012394A1 (de)
WO (1) WO2015010752A1 (de)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105644502A (zh) * 2016-02-23 2016-06-08 大斧智能科技（常州）有限公司 电动车手势解锁控制器
WO2016179907A1 (zh) * 2015-05-14 2016-11-17 中兴通讯股份有限公司 一种遥控汽车的方法及其装置、终端及汽车
WO2017012852A1 (de) * 2015-07-22 2017-01-26 Volkswagen Aktiengesellschaft Aktivieren einer fahrzeugaktion mittels mobiler vorrichtung
JP2017061790A (ja) * 2015-09-24 2017-03-30 株式会社デンソー キー閉じ込み防止装置
WO2017175648A1 (ja) * 2016-04-05 2017-10-12 株式会社東海理化電機製作所 変速機操作装置
WO2019020261A1 (de) 2017-07-27 2019-01-31 Daimler Ag Verfahren zur fernsteuerung einer funktion eines fahrzeugs
US10372121B2 (en) 2016-04-26 2019-08-06 Ford Global Technologies, Llc Determination of continuous user interaction and intent through measurement of force variability
CN110263508A (zh) * 2019-05-28 2019-09-20 浙江吉利控股集团有限公司 一种遥控泊车的身份认证方法及系统
WO2020099620A1 (de) * 2018-11-15 2020-05-22 Zf Friedrichshafen Ag Verfahren und steuergerät zum einstellen einer fahrstufe eines fahrzeuggetriebes und sensorvorrichtung zum erfassen einer auswahl einer fahrstufe eines fahrzeuggetriebes

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3008366B1 (fr) 2013-07-12 2017-09-01 Valeo Securite Habitacle Procede de securisation d'une commande a appliquer a un vehicule automobile
DE102014011802B4 (de) * 2014-08-09 2019-04-18 Audi Ag Sichere Aktivierung einer teilautonomen Funktion eines Kraftfahrzeugs über ein tragbares Kommunikationsgerät
DE102014011864B4 (de) 2014-08-09 2021-07-22 Audi Ag Überwachung eines teilautonomen Fahrvorgangs eines Kraftfahrzeugs
US10457327B2 (en) * 2014-09-26 2019-10-29 Nissan North America, Inc. Method and system of assisting a driver of a vehicle
GB201420931D0 (en) * 2014-11-25 2015-01-07 Nokia Corp Apparatuses, methods and computer programs for providing vehicle feedback
DE102015200044B4 (de) * 2015-01-06 2022-07-07 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Unterstützung eines Manövriervorganges eines Kraftfahrzeugs
US9965042B2 (en) * 2015-03-30 2018-05-08 X Development Llc Methods and systems for gesture based switch for machine control
CN105564427B (zh) * 2015-07-31 2018-05-15 宇龙计算机通信科技(深圳)有限公司 一种泊车方法、终端和系统
DE102015222234B4 (de) * 2015-11-11 2019-03-21 Volkswagen Aktiengesellschaft Verfahren zum Auslösen einer sicherheitsrelevanten Funktion eines Systems und System
DE102016212723A1 (de) 2016-07-13 2018-01-18 Volkswagen Aktiengesellschaft Verfahren zum Bereitstellen einer Totmanntastenfunktion mittels eines Touchscreens einer Bedienvorrichtung, Bedienvorrichtung und System
DE102016221273A1 (de) * 2016-10-28 2018-05-03 Ford Global Technologies, Llc Verfahren zum Betreiben eines portablen Eingabegeräts zum Steuern eines Kraftfahrzeugs
JP6604317B2 (ja) * 2016-11-29 2019-11-13 トヨタ自動車株式会社 駐車支援装置
DE102016224528B4 (de) 2016-12-08 2021-05-27 Volkswagen Aktiengesellschaft Fernbedientes assistiertes Rangieren eines Gespanns
DE102016224529B4 (de) 2016-12-08 2021-05-27 Volkswagen Aktiengesellschaft Funktionsabsicherung eines fernbedienten Anhängerrangierens
EP3334198B1 (de) 2016-12-12 2021-01-27 AO Kaspersky Lab Sichere steuerung von fahrzeugsystemen mit mobilen vorrichtungen
RU2652665C1 (ru) 2016-12-12 2018-04-28 Акционерное общество "Лаборатория Касперского" Система и способ управления транспортным средством
US10369988B2 (en) 2017-01-13 2019-08-06 Ford Global Technologies, Llc Autonomous parking of vehicles inperpendicular parking spots
CN108508862A (zh) * 2017-02-28 2018-09-07 上海海拉电子有限公司 一种用于车辆的身份验证系统及车辆
CN110537162A (zh) * 2017-04-27 2019-12-03 福特全球技术公司 经驾驶员验证的自助停车
US10683034B2 (en) 2017-06-06 2020-06-16 Ford Global Technologies, Llc Vehicle remote parking systems and methods
US10234868B2 (en) 2017-06-16 2019-03-19 Ford Global Technologies, Llc Mobile device initiation of vehicle remote-parking
US10585430B2 (en) 2017-06-16 2020-03-10 Ford Global Technologies, Llc Remote park-assist authentication for vehicles
US10775781B2 (en) 2017-06-16 2020-09-15 Ford Global Technologies, Llc Interface verification for vehicle remote park-assist
US10509473B2 (en) * 2017-09-21 2019-12-17 Paypal, Inc. Providing haptic feedback on a screen
US10281921B2 (en) 2017-10-02 2019-05-07 Ford Global Technologies, Llc Autonomous parking of vehicles in perpendicular parking spots
US10580304B2 (en) 2017-10-02 2020-03-03 Ford Global Technologies, Llc Accelerometer-based external sound monitoring for voice controlled autonomous parking
US10627811B2 (en) 2017-11-07 2020-04-21 Ford Global Technologies, Llc Audio alerts for remote park-assist tethering
US10336320B2 (en) 2017-11-22 2019-07-02 Ford Global Technologies, Llc Monitoring of communication for vehicle remote park-assist
US10578676B2 (en) 2017-11-28 2020-03-03 Ford Global Technologies, Llc Vehicle monitoring of mobile device state-of-charge
US10974717B2 (en) 2018-01-02 2021-04-13 Ford Global Technologies, I.LC Mobile device tethering for a remote parking assist system of a vehicle
US10585431B2 (en) 2018-01-02 2020-03-10 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US11148661B2 (en) 2018-01-02 2021-10-19 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10737690B2 (en) 2018-01-02 2020-08-11 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10583830B2 (en) 2018-01-02 2020-03-10 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10688918B2 (en) 2018-01-02 2020-06-23 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10814864B2 (en) 2018-01-02 2020-10-27 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10684773B2 (en) 2018-01-03 2020-06-16 Ford Global Technologies, Llc Mobile device interface for trailer backup-assist
US10747218B2 (en) 2018-01-12 2020-08-18 Ford Global Technologies, Llc Mobile device tethering for remote parking assist
US10917748B2 (en) 2018-01-25 2021-02-09 Ford Global Technologies, Llc Mobile device tethering for vehicle systems based on variable time-of-flight and dead reckoning
US10684627B2 (en) * 2018-02-06 2020-06-16 Ford Global Technologies, Llc Accelerometer-based external sound monitoring for position aware autonomous parking
US11188070B2 (en) 2018-02-19 2021-11-30 Ford Global Technologies, Llc Mitigating key fob unavailability for remote parking assist systems
US10507868B2 (en) 2018-02-22 2019-12-17 Ford Global Technologies, Llc Tire pressure monitoring for vehicle park-assist
US10732622B2 (en) 2018-04-05 2020-08-04 Ford Global Technologies, Llc Advanced user interaction features for remote park assist
US10683004B2 (en) 2018-04-09 2020-06-16 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10793144B2 (en) 2018-04-09 2020-10-06 Ford Global Technologies, Llc Vehicle remote park-assist communication counters
US10759417B2 (en) 2018-04-09 2020-09-01 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10493981B2 (en) 2018-04-09 2019-12-03 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10232673B1 (en) 2018-06-01 2019-03-19 Ford Global Technologies, Llc Tire pressure monitoring with vehicle park-assist
US10384605B1 (en) 2018-09-04 2019-08-20 Ford Global Technologies, Llc Methods and apparatus to facilitate pedestrian detection during remote-controlled maneuvers
US10821972B2 (en) 2018-09-13 2020-11-03 Ford Global Technologies, Llc Vehicle remote parking assist systems and methods
US10717432B2 (en) 2018-09-13 2020-07-21 Ford Global Technologies, Llc Park-assist based on vehicle door open positions
US10967851B2 (en) 2018-09-24 2021-04-06 Ford Global Technologies, Llc Vehicle system and method for setting variable virtual boundary
US10529233B1 (en) 2018-09-24 2020-01-07 Ford Global Technologies Llc Vehicle and method for detecting a parking space via a drone
US10908603B2 (en) 2018-10-08 2021-02-02 Ford Global Technologies, Llc Methods and apparatus to facilitate remote-controlled maneuvers
US10628687B1 (en) 2018-10-12 2020-04-21 Ford Global Technologies, Llc Parking spot identification for vehicle park-assist
WO2020081413A1 (en) * 2018-10-16 2020-04-23 Walbro Llc. System for improved starting of a powered device including one or more threshold conditions
US11097723B2 (en) 2018-10-17 2021-08-24 Ford Global Technologies, Llc User interfaces for vehicle remote park assist
US11137754B2 (en) 2018-10-24 2021-10-05 Ford Global Technologies, Llc Intermittent delay mitigation for remote vehicle operation
JP7089226B2 (ja) * 2018-12-27 2022-06-22 トヨタ自動車株式会社 リモート走行システム
JP7205236B2 (ja) * 2019-01-08 2023-01-17 トヨタ自動車株式会社 リモート走行システム及びリモート走行アプリケーションソフト
US11789442B2 (en) 2019-02-07 2023-10-17 Ford Global Technologies, Llc Anomalous input detection
US11195344B2 (en) 2019-03-15 2021-12-07 Ford Global Technologies, Llc High phone BLE or CPU burden detection and notification
US11169517B2 (en) 2019-04-01 2021-11-09 Ford Global Technologies, Llc Initiation of vehicle remote park-assist with key fob
US11275368B2 (en) 2019-04-01 2022-03-15 Ford Global Technologies, Llc Key fobs for vehicle remote park-assist
CN111813314A (zh) * 2019-04-12 2020-10-23 比亚迪股份有限公司 车辆控制方法和装置、存储介质、电子设备
US11740622B2 (en) 2019-06-12 2023-08-29 Ford Global Technologies, Llc Remote trailer maneuver-assist
US11619934B2 (en) * 2019-09-09 2023-04-04 Nissan Motor Co., Ltd. Vehicle remote control method and vehicle remote control device
JP7250941B2 (ja) 2019-09-09 2023-04-03 日産自動車株式会社 車両遠隔制御方法及び車両遠隔制御装置
JP7298699B2 (ja) * 2019-09-09 2023-06-27 日産自動車株式会社 車両遠隔制御方法及び車両遠隔制御装置
JP2021142925A (ja) 2020-03-13 2021-09-24 フォルシアクラリオン・エレクトロニクス株式会社 遠隔操作判定装置及び遠隔操作判定システム
DE102020113382A1 (de) 2020-05-18 2021-11-18 Bayerische Motoren Werke Aktiengesellschaft Aktivieren eines automatisierten Parkmanövers mittels einer mit einem mobilen Kommunikationsgerät durchgeführten Aktivierungsbewegung
DE102021113810A1 (de) 2021-05-28 2022-12-01 Ford Global Technologies, Llc Verfahren zum Betrieb eines Kraftfahrzeugs mit einem ferngesteuerten Parkassistenten
US11854309B2 (en) 2021-10-30 2023-12-26 Cattron North America, Inc. Systems and methods for remotely controlling locomotives with gestures
DE102021213916A1 (de) 2021-12-07 2023-06-07 Psa Automobiles Sa Ferngesteuertes Einparken eines Fahrzeugs

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1249379A2 (de) 2001-04-09 2002-10-16 DaimlerChrysler AG Verfahren und Vorrichtung zum Verbringen eines Kraftfahrzeuges in eine Zielposition
DE102004004302A1 (de) 2003-02-03 2004-08-12 Denso Corp., Kariya Fernbedienbare Fahrzeugklimaanlage
WO2007037806A1 (en) * 2005-09-15 2007-04-05 Apple Inc. System and method for processing raw data of track pad device
DE112006003515T5 (de) 2005-12-23 2008-10-09 Apple Inc., Cupertino Entsperren einer Vorrichtung durch Ausführen von Gesten auf einem Entsperrungsbild
DE102008051982A1 (de) * 2008-10-16 2009-06-10 Daimler Ag Verfahren und Vorrichtung zu einem ferngesteuerten Rangieren eines Fahrzeugs
DE102009019910A1 (de) 2008-05-01 2009-12-03 Atmel Corporation, San Jose Gestenerkennung
DE102009041587A1 (de) 2009-09-15 2011-03-17 Valeo Schalter Und Sensoren Gmbh Fahrerassistenzeinrichtung für ein Kraftfahrzeug und Verfahren zum Unterstützen eines Fahrers beim Überwachen eines autonomen Parkvorgangs eines Kraftfahrzeugs
DE102012008858A1 (de) * 2012-04-28 2012-11-08 Daimler Ag Verfahren zum autonomen Parken eines Kraftfahrzeugs, Fahrerassistenzvorrichtung zur Durchführung des Verfahrens, sowie Kraftfahrzeug mit der Fahrerassistenzvorrichtung

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165733A (ja) * 2003-12-03 2005-06-23 Sony Corp 情報処理システム、遠隔操作装置および方法、制御装置および方法、プログラム、並びに記録媒体
WO2006087002A1 (de) * 2005-02-18 2006-08-24 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zum verbringen eines kraftfahrzeugs in eine zielposition
EP2418123B1 (de) * 2010-08-11 2012-10-24 Valeo Schalter und Sensoren GmbH Verfahren und System zum Unterstützen eines Fahrers eines Fahrzeugs beim Lenken des Fahrzeugs auf einer Fahrstraße und tragbares Kommunikationsgerät
US8918230B2 (en) * 2011-01-21 2014-12-23 Mitre Corporation Teleoperation of unmanned ground vehicle
KR101532855B1 (ko) * 2011-01-31 2015-06-30 도요타 지도샤（주） 차량 제어 장치
JP2015039084A (ja) * 2011-02-28 2015-02-26 シャープ株式会社 画像表示装置セット
JP5793463B2 (ja) * 2011-07-19 2015-10-14 日本電信電話株式会社 情報選択装置、方法及びプログラム
JP6035717B2 (ja) * 2011-08-30 2016-11-30 アイシン精機株式会社 車両制御装置および携帯情報端末用コンピュータプログラム
DE102011112447A1 (de) * 2011-09-03 2013-03-07 Volkswagen Aktiengesellschaft Verfahren und Anordnung zum Bereitstellen einer graphischen Nutzerschnittstelle, insbesondere in einem Fahrzeug
JP2014088730A (ja) * 2012-10-31 2014-05-15 Mitsubishi Electric Corp 携帯通信機およびドア制御装置
CN103067630A (zh) * 2012-12-26 2013-04-24 刘义柏 一种通过手机的手势动作产生无线控制指令的方法
US9122916B2 (en) * 2013-03-14 2015-09-01 Honda Motor Co., Ltd. Three dimensional fingertip tracking

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1249379A2 (de) 2001-04-09 2002-10-16 DaimlerChrysler AG Verfahren und Vorrichtung zum Verbringen eines Kraftfahrzeuges in eine Zielposition
DE102004004302A1 (de) 2003-02-03 2004-08-12 Denso Corp., Kariya Fernbedienbare Fahrzeugklimaanlage
WO2007037806A1 (en) * 2005-09-15 2007-04-05 Apple Inc. System and method for processing raw data of track pad device
DE112006003515T5 (de) 2005-12-23 2008-10-09 Apple Inc., Cupertino Entsperren einer Vorrichtung durch Ausführen von Gesten auf einem Entsperrungsbild
DE102009019910A1 (de) 2008-05-01 2009-12-03 Atmel Corporation, San Jose Gestenerkennung
DE102008051982A1 (de) * 2008-10-16 2009-06-10 Daimler Ag Verfahren und Vorrichtung zu einem ferngesteuerten Rangieren eines Fahrzeugs
DE102009041587A1 (de) 2009-09-15 2011-03-17 Valeo Schalter Und Sensoren Gmbh Fahrerassistenzeinrichtung für ein Kraftfahrzeug und Verfahren zum Unterstützen eines Fahrers beim Überwachen eines autonomen Parkvorgangs eines Kraftfahrzeugs
DE102012008858A1 (de) * 2012-04-28 2012-11-08 Daimler Ag Verfahren zum autonomen Parken eines Kraftfahrzeugs, Fahrerassistenzvorrichtung zur Durchführung des Verfahrens, sowie Kraftfahrzeug mit der Fahrerassistenzvorrichtung

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016179907A1 (zh) * 2015-05-14 2016-11-17 中兴通讯股份有限公司 一种遥控汽车的方法及其装置、终端及汽车
WO2017012852A1 (de) * 2015-07-22 2017-01-26 Volkswagen Aktiengesellschaft Aktivieren einer fahrzeugaktion mittels mobiler vorrichtung
JP2017061790A (ja) * 2015-09-24 2017-03-30 株式会社デンソー キー閉じ込み防止装置
CN105644502A (zh) * 2016-02-23 2016-06-08 大斧智能科技（常州）有限公司 电动车手势解锁控制器
WO2017175648A1 (ja) * 2016-04-05 2017-10-12 株式会社東海理化電機製作所 変速機操作装置
US10372121B2 (en) 2016-04-26 2019-08-06 Ford Global Technologies, Llc Determination of continuous user interaction and intent through measurement of force variability
DE102017007119A1 (de) 2017-07-27 2019-01-31 Daimler Ag Verfahren zur Fernsteuerung einer Funktion eines Fahrzeugs
WO2019020261A1 (de) 2017-07-27 2019-01-31 Daimler Ag Verfahren zur fernsteuerung einer funktion eines fahrzeugs
US11067982B2 (en) 2017-07-27 2021-07-20 Daimler Ag Method for the remote control of a function of a vehicle
DE102017007119B4 (de) 2017-07-27 2022-12-29 Mercedes-Benz Group AG Verfahren zur Fernsteuerung einer Funktion eines Fahrzeugs
WO2020099620A1 (de) * 2018-11-15 2020-05-22 Zf Friedrichshafen Ag Verfahren und steuergerät zum einstellen einer fahrstufe eines fahrzeuggetriebes und sensorvorrichtung zum erfassen einer auswahl einer fahrstufe eines fahrzeuggetriebes
CN110263508A (zh) * 2019-05-28 2019-09-20 浙江吉利控股集团有限公司 一种遥控泊车的身份认证方法及系统
CN110263508B (zh) * 2019-05-28 2022-06-14 浙江吉利控股集团有限公司 一种遥控泊车的身份认证方法及系统

Also Published As

Publication number Publication date
EP3025223A1 (de) 2016-06-01
US20160170494A1 (en) 2016-06-16
JP2016538780A (ja) 2016-12-08
CN105408853A (zh) 2016-03-16
DE102013012394A1 (de) 2015-01-29

Similar Documents

Publication Publication Date Title
WO2015010752A1 (de) Verfahren und vorrichtung zur fernsteuerung einer funktion eines fahrzeugs
EP2451672B1 (de) Verfahren und vorrichtung zum bereitstellen einer benutzerschnittstelle in einem fahrzeug
DE102013012466B4 (de) Bediensystem und Verfahren zum Bedienen einer fahrzeugseitigen Vorrichtung
DE102011011802A1 (de) Verfahren und Vorrichtung zum Bereitstellen einer Benutzerschnittstelle, insbesondere in einem Fahrzeug
DE102012020607B4 (de) Kraftwagen mit einer Gestensteuerungseinrichtung sowie Verfahren zum Steuern eines Auswahlelements
EP3234743B1 (de) Verfahren zum betreiben einer bedienvorrichtung eines kraftfahrzeugs in unterschiedlichen bedienmodi sowie bedienvorrichtung und kraftfahrzeug
EP3573854A1 (de) Verfahren zum betreiben eines bediensystems, bediensystem und fahrzeug mit einem bediensystem
EP3358454A1 (de) Anwenderschnittstelle, fortbewegungsmittel und verfahren zur anwenderunterscheidung
EP2196359A1 (de) Bedienverfahren und Bedieneinrichtung
DE102015225374A1 (de) Anordnung, Fortbewegungsmittel und Verfahren zur Führung eines Fortbewegungsmittels
DE102013000069A1 (de) Kraftfahrzeug-Bedienschnittstelle mit einem Bedienelement zum Erfassen einer Bedienhandlung
EP2030828B9 (de) Multimodales Bediensystem und Verfahren zum Bedienen von Komponenten und Funktionen in einem Kraftfahrzeug
WO2017140569A1 (de) Kraftfahrzeug-bedienvorrichtung und verfahren zum betreiben einer bedienvorrichtung, um eine wechselwirkung zwischen einer virtuellen darstellungsebene und einer hand zu bewirken
DE102013219511B4 (de) Verfahren und Vorrichtung zum Betreiben einer Eingabevorrichtung eines Bediensystems, Kraftfahrzeug, Computerprogramm, Computer-Programmprodukt
DE102019206606A1 (de) Verfahren zur berührungslosen Interaktion mit einem Modul, Computerprogrammprodukt, Modul sowie Kraftfahrzeug
WO2014108160A2 (de) Bedienschnittstelle zum berührungslosen auswählen einer gerätefunktion
WO2014032822A2 (de) Vorrichtung und verfahren zur steuerung von fahrzeugfunktionen durch detektion der interaktionen eines benutzers
EP3108333B1 (de) Anwenderschnittstelle und verfahren zur unterstützung eines anwenders bei der bedienung einer anwenderschnittstelle
EP3025214B1 (de) Verfahren zum betreiben einer eingabevorrichtung, sowie eingabevorrichtung
EP3426516B1 (de) Bedienvorrichtung und verfahren zum erfassen einer benutzerauswahl zumindest einer bedienfunktion der bedienvorrichtung
WO2015121173A1 (de) Anwenderschnittstelle und verfahren zum wechseln von einem ersten bedienmodus einer anwenderschnittstelle in einen 3d-gesten-modus
DE102013011414A1 (de) Verfahren und Vorrichtung zum Steuern von Spiegelfunktionen in einem Fahrzeug sowie betreffendes Computerprogrammprodukt
DE102012206960B4 (de) Verfahren und Vorrichtung zur Erkennung zumindest einer vorgegebenen Betätigungsbewegung für eine Bedieneinrichtung eines Fahrzeugs
EP2885154B1 (de) Verfahren und eine bedien- und anzeigeeinrichtung zum betreiben einer interaktiven bedieneinrichtung
DE102018204223A1 (de) Mobile, portable Bedienvorrichtung zum Bedienen eines mit der Bedienvorrichtung drahtlos gekoppelten Geräts, und Verfahren zum Betreiben eines Geräts mithilfe einer mobilen, portablen Bedienvorrichtung

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480042028.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14727709

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016528366

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14907777

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2014727709

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014727709

Country of ref document: EP