WO2020011943A1 - Verfahren und benutzerschnittstelle zur erfassung einer eingabe mittels zeigegestik - Google Patents

Verfahren und benutzerschnittstelle zur erfassung einer eingabe mittels zeigegestik Download PDF

Info

Publication number
WO2020011943A1
WO2020011943A1 PCT/EP2019/068737 EP2019068737W WO2020011943A1 WO 2020011943 A1 WO2020011943 A1 WO 2020011943A1 EP 2019068737 W EP2019068737 W EP 2019068737W WO 2020011943 A1 WO2020011943 A1 WO 2020011943A1
Authority
WO
WIPO (PCT)
Prior art keywords
selection
selection area
user
areas
area
Prior art date
Application number
PCT/EP2019/068737
Other languages
English (en)
French (fr)
Inventor
Florian Roider
Isabel SCHÖNEWALD
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Priority to CN201980030140.4A priority Critical patent/CN112074801A/zh
Publication of WO2020011943A1 publication Critical patent/WO2020011943A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • B60K2360/11—
    • B60K2360/141—
    • B60K2360/1438—
    • B60K2360/1464—
    • B60K2360/149—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Definitions

  • the invention relates to a method and a user interface that enable a user to make an input using pointing gestures in a reliable manner.
  • a vehicle may have a user interface that enables a user of the vehicle to make an input using a gesture, e.g. to operate an infotainment system of the vehicle.
  • the movement of the user's hand can be recorded using one or more cameras.
  • the captured image data can be evaluated in order to recognize an input gesture from a plurality of stored input gestures.
  • An exemplary input gesture is a pointing gesture that enables a user to point a certain selection area on a selection or input surface (e.g. on a screen)
  • the pointing direction of the user's finger can be determined on the basis of the captured image data.
  • the pointing direction of a pointing gesture can usually only be determined with a relatively low accuracy on the basis of image data. Furthermore, a user often only points inaccurately to a selection area to be selected.
  • the accuracy of the determined pointing direction typically depends on the orientation of the one or more cameras through which the image data are captured.
  • a low accuracy of the determined pointing direction of a pointing gesture leads to a relatively low reliability of an input by means of pointing gesture.
  • the low accuracy of the determined pointing direction of a pointing gesture requires the use of relatively large selection areas.
  • the present document deals with the technical problem of providing a compact user interface that can be input by means of
  • independent claim dependent claim without the features of the independent claim or only in combination with a subset of the features of the independent claim can form their own invention and independent of the combination of all features of the independent claim, which is the subject of an independent claim, a divisional application or a subsequent application can be made. This applies in the same way to the technical teachings described in the description, which can form an invention that is independent of the features of the independent claims.
  • the input area can comprise a plurality of selection areas.
  • the input area can e.g. include a screen on which the different selection areas are displayed.
  • functions can be displayed on the input surface, which can be triggered by selecting the different selection areas.
  • the method comprises the acquisition of sensor data in relation to the head and / or the viewing direction and / or the eyes and in relation to at least one hand of the user.
  • the sensoidates can be detected by means of at least one user sensor (for example an image camera, a depth camera, proximity sensor system, etc.) which is aimed at the user.
  • the sensor data can, for example, on a certain first time or in a certain first period.
  • the method includes determining, based on the sensor data, at least one first selection area, which the user could be looking at.
  • the viewing direction of the user can be determined on the basis of the sensor data, and it can then be determined in which selection area the viewing direction of the user falls or could fall. In particular, it can be determined to which selection area the user's gaze is or could be directed at the first point in time or during the first period.
  • the method comprises determining, based on the sensor data, a pointing direction of a pointing gesture made by the user by hand.
  • the pointing direction of a pointing gesture can be determined, which is carried out at a second point in time or during a second period.
  • the second point in time or the second period can be equal to the first point in time or the first period.
  • the second point in time or the second period can follow the first point in time or the first period (if necessary, immediately). It can thus be determined which
  • the user's pointing direction shows during and / or after his gaze is and / or was on the first selection area.
  • the first selection area can be detected at a first point in time, on which the user's bend was last focused (before the gesture was recognized). This (shortly before) considered first selection area can then with the
  • Evaluation of the pointing gesture are taken into account.
  • a probability can be established for each of the plurality of selection areas on the basis of the user's gaze or the gaze direction be determined that the selection area is or was viewed by the user.
  • the time period for which the individual selection areas were viewed by the user may also be taken into account.
  • Probabilities of the different selection areas can then be taken into account when evaluating the pointing gesture.
  • the method further includes determining, based on the pointing direction, a selected selection area from the plurality of selection areas.
  • a selection area can be determined as a selected selection area if the pointing direction points into the selection area of the selection area, in particular if the pointing direction for a minimum period of time
  • Selection area of the selection area shows that is equal to or greater than a duration threshold value (e.g. of 0.5 seconds, 0.75 seconds, 1 second or more).
  • a selection area can be determined as a selected selection area in response to a detected dynamic gesture.
  • Exemplary dynamic gestures are "typing" with the index finger in the air and / or a relatively short “pushing forward" of the index finger in the air.
  • the first selection area can have an increased priority compared to one or more others of the plurality of selection areas.
  • the first selection area, to which the user's gaze is directed can preferably be taken into account when selecting a selection area by means of pointing gestures. This can increase the reliability of a user interface based on pointing gesture.
  • the method may include increasing a first probability that the first selection area can be selected by the user using a pointing gesture, compared to a second probability that one or more others of the plurality of selection areas can be selected a pointing gesture can be selected by the user.
  • the increase or decrease in the selection probability can be achieved, for example, by enlarging or reducing the selection area of a selection area.
  • the sum of the probabilities can remain constant (eg with the value 1).
  • An enlargement or a reduction in the size of the selection area of a selection area is typically not visible to a user.
  • the selection areas shown on the input area can remain unchanged.
  • the selection area can be enlarged or reduced by a displayed selection area, the selection area defining the part of the input area into which a pointing gesture must point by the
  • an enlargement of the selection area typically does not lead to an enlargement of the displayed selection elements that is visible to the user.
  • the selected selection area can then be based on the pointing direction
  • the selection areas can each have a selection area to which the user must point in order to select the respective selection area.
  • the selection areas can each have a selection area with a specific size. The user typically has to point to the selection area of a selection area, in particular for a minimum period of time that is the same as or longer than that
  • Time threshold is to select the respective selection range.
  • the selection of a specific selection area can be carried out using a relatively short dynamic gesture (such as a short typing movement with a finger).
  • a dynamic (pointing) gesture for the selection of a selection area is advantageous, since a selection can be made relatively quickly and in a comfortable manner for a user.
  • the size of the selection areas of the different selection areas can be the same in the basic state.
  • the size of the selection areas of the different selection areas in the basic state can vary from that
  • the reliability typically decreases the greater the angle between the pointer direction to the respective selection area and the axis perpendicular to the body of the user.
  • the size of the selection areas can decrease
  • the reliability of the gesture recognition must be increased (also in the basic state of the input surface).
  • the reliability can decrease
  • Gesture recognition (for example on the areas of the input surface that are further away from the axis of the user) a weighting in favor of the gaze recognition can be increased.
  • the method may include enlarging the selection area of the first selection area relative to the selection area of at least another of the plurality of selection areas.
  • Selection area can then be taken into account when determining the selected selection area.
  • Selection area are enlarged, to which the user's gaze is directed in order to prioritize this selection area in the context of gesture recognition. Furthermore, the size of the selection areas of the one or more others of the plurality of selection areas can be dependent on the distance of the respective selection area scaled from the first selection area
  • the method can include determining whether a gaze direction of the user can be determined on the basis of the sensor data. Possibly. it may not be possible (for example due to the fact that the user wears sunglasses) to determine the user's gaze direction.
  • a measure or degree of reliability can be determined with which the gaze direction of the user could be determined on the basis of the sensor data. The measure or the degree for the reliability of the determined viewing direction can then be taken into account in the gesture-based selection of a selection area. This can further increase the reliability of a gesture-based user interface.
  • the method can include changing the size of the selection area of at least one selection area, in particular of the first selection area, as a function of the viewing direction, in order to put the plurality of selection areas in a changed state.
  • the selected selection area can then be determined on the basis of the plurality of selection areas in the changed state.
  • the change of the plurality of selection areas into the changed state can take place if (if necessary only if) the viewing direction was determined.
  • the method may include determining the selected selection area based on the plurality of selection areas in the
  • the size of the selection areas of one or more selection areas can be changed such that the total area of the input area or the plurality of
  • the size of the selection area of at least one selection area can be changed depending on the degree or the degree of reliability with which the viewing direction can be determined. In particular, only a relatively small change in size may occur if the viewing direction can only be determined with a relatively low degree of reliability.
  • Resizing can take place with increasing reliability.
  • the reliability of the gesture-based user interface can be increased further.
  • Selection areas can be determined.
  • the probability value of a selection area indicates a probability that the user's gaze is directed at the respective selection area.
  • Selection areas determined willow The selection area selected on the basis of the determined pointing direction can then be determined as a function of the plurality of probability values for the plurality of selection areas.
  • the size of the selection areas of the plurality of selection areas can be dependent on the plurality of
  • Selection area can then be based on the plurality of selection areas in the changed state can be determined.
  • the method may include acquiring sensor data at a sequence of times.
  • a sequence of pointer directions can then be determined on the basis of the sensor data on the sequence of times.
  • it can be determined on the basis of the sequence of pointing directions that the user wanders over the sequence of points in time across different selection areas of the plurality of selection areas (for example without remaining on a selection area long enough to select this selection area).
  • the input surface or the user interface can be designed in such a way that the fact that the user wanders over the sequence of times over different selection areas is not optically displayed on the display surface and / or on the user interface.
  • the input surface or the user interface can be designed in such a way that the sweeping pointer movement does not cause the user to be distracted from the viewing direction. This ensures that the viewing direction correlates with the selection area to be selected and can thus be used to increase the reliability of the gesture-based selection.
  • the selection area of a selection area is preferably enlarged or reduced in such a way that the change in the size of the selection area is not visible to a user.
  • the selection elements shown on the input surface for the different ones are preferably enlarged or reduced in such a way that the change in the size of the selection area is not visible to a user.
  • Selection areas can have an unchanged (visible) size during a selection process and / or remain unchanged.
  • the selection areas of the selection areas used for the evaluation of the pointing direction can be enlarged or reduced (without this being visible to a user), so that the probabilities for the dependent from the pointing direction the selection of the different ones
  • Selection areas can be enlarged or reduced.
  • the method can include determining quality information relating to reliability, with which the viewing direction and / or the pointing direction can be determined.
  • the quality information can be the
  • a weighting of the determined viewing direction and / or the determined pointing direction, in particular an extent of the prioritization of the first selection area when determining the selected selection area can then be adapted.
  • the probability values for the different selection areas which are determined on the basis of the viewing direction, can be taken into account to a greater or lesser extent as a function of the quality information when determining a selected selection area based on gesture gestures. If the quality information e.g. indicates that the viewing direction provides only very unreliable information in relation to the selection area to be selected and / or that the pointing direction can be determined with relatively high reliability, then only a relatively slight friorization of the (considered) first selection area can take place (e.g. by a relatively small one
  • Probability values for the different selection areas are only taken into account to a relatively small extent in the gesture-based determination of a selected selection area.
  • the quality information indicates that the viewing direction provides very reliable information with regard to the selection area to be selected (e.g. due to a relatively long period of observation) and / or that the pointing direction can only be determined with relatively little reliability (e.g. because of a selection area on (facing away from the user) edge of the
  • Input area is shown
  • there may be a relatively strong prioritization of the (considered) harvested selection area (which can be achieved, for example, by a relatively large increase in the selection area of the first selection area).
  • the look-based in this case is shown
  • Probability values for the different selection areas are taken into account to a relatively large extent in the gesture-based determination of a selected selection area.
  • the quality information can e.g. are determined on the basis of the length of time with which the user looks at a selection area. Typically, the likelihood that the user would like to select the selected selection area increases with increasing observation time. The selected selection area can thus be used to determine the selected one
  • Period of observation can be prioritized more or less strongly.
  • a user interface for recording an input from a user.
  • the user interface comprises an input area which is divided into a plurality of selection areas.
  • the input area may include a screen that is configured to display the plurality of selection areas.
  • the input surface can be part of a road motor vehicle.
  • the user interface comprises at least one useful sensor which is set up to record sensor data in relation to the head and hand of the user.
  • the user interface includes a control unit that is set up is to determine, based on the sensor data, at least one first selection area from the plurality of selection areas, at which the user's gaze could or should be directed.
  • the control unit is also set up, based on the sensor data, to determine a pointing direction of a pointing gesture made by the user by hand.
  • Control unit set up to determine a selected selection area from the plurality of selection areas on the basis of the pointing direction, the first selection area having an increased priority when determining the selected selection area compared to one or more other ones of the plurality of selection areas.
  • the plurality of selection areas can be associated with a corresponding plurality of functions.
  • the control unit can then be set up to cause the function associated with the selected selection area to be carried out.
  • a road motor vehicle in particular a passenger car or a truck or a bus
  • a road motor vehicle which comprises the user interface described in this document.
  • SW software program
  • the SW program can be set up to be executed on a processor (e.g. on a control device of a vehicle) and thereby to carry out the method described in this document.
  • a storage medium can comprise a software program which is set up to be executed on a processor and thereby to carry out the method described in this document.
  • the methods, devices and systems described in this document can be used both alone and in combination with other methods, devices and systems described in this document.
  • any aspect of the methods, devices and systems described in this document can be combined with one another in a variety of ways.
  • the features of the claims can be combined with one another in a variety of ways.
  • Figure 1 exemplary components of a vehicle
  • FIG. 2a exemplary selection areas of an input surface without detecting the viewing direction
  • FIG. 2b shows exemplary selection areas of an input surface when there is a detected viewing direction
  • FIG. 3 shows a flow chart of an exemplary method for determining a user input.
  • the present document deals with the reliable acquisition of user input by means of pointing gesture.
  • the vehicle 100 comprises at least one user sensor 103, which is set up to provide sensor data relating to a user, in particular a driver, of the vehicle 100, in particular with respect to the head 110 and / or the eyes 111 of the user , capture. Furthermore, the user sensor 103 can be set up
  • Capture sensor data relating to a hand 115 and / or a finger of the user of the vehicle 100 can comprise an image sensor or an image camera.
  • the utility sensor 103 can be directed to a user position, in particular a driver position, 105 of the vehicle 100 in order to record the sensor data relating to the user.
  • the vehicle 100 comprises a control unit 101, which is set up to determine a viewing direction 121 of the user on the basis of the sensor data of the user sensor 103.
  • the viewing direction 121 is typically composed of an alignment of the head 110 and an alignment of the eyes 111 of the user.
  • control unit 101 can be set up to determine a pointing direction 125 of a hand or a finger 115 of the user on the basis of the sensor data of the useful sensor 103.
  • the viewing direction 121 and / or the pointing direction 125 can be defined relative to an axis that runs perpendicularly in front of the body of the user and / or along the direction of travel of the vehicle 100.
  • the pointing direction 125 can be detected by an extension of the finger vector of a (pointing) finger of the user and / or by means of a vector of the forearm and / or by an extension of the eye-fingertip axis.
  • the vehicle 100 further includes an input surface 104 as part of an
  • the input surface 104 can comprise a screen on which input options for the user of the vehicle 100 are displayed. By using a screen as input surface 104, the input options for a user of vehicle 100 can be changed flexibly.
  • the input surface 104 can be any surface of the vehicle 100, e.g. any area of the dashboard of the vehicle 100. Possibly.
  • the input surface 104 can be arranged outside the vehicle 100 (e.g. on a traffic sign (visible from the vehicle 100) and / or
  • FIG. 2a shows an exemplary input area 104.
  • the input area 104 can be divided into a plurality of selection areas 201, the
  • Each selection area 201 is delimited from one another in pairs by area boundaries 203.
  • Each selection area 201 can be a specific one
  • the selection area of a selection area 201 is defined by the area boundaries 203 of the selection area 201.
  • the input surface 104 shown in FIG. 2b has four different ones
  • An input surface 104 can e.g. 2, 3, 4, 5, 6 or more selection areas 201.
  • the different selection areas 201 can be associated with different functions 202 of the vehicle 100.
  • Exemplary functions 202 are e.g. a radio function, a telephone function, a navigation function or a web browser function.
  • Selection area 201 can have the effect that the function associated with the selected selection area 201 is carried out or activated.
  • control unit 101 can be set up to determine the pointing direction 125 of a pointing gesture of a user of the vehicle 100 on the basis of the sensor data of the user sensor 103. Furthermore, on the basis of the determined pointing direction 125, the selection area 201 can be selected from the plurality of selection areas 201 to which the user points in order to effect a selection of this selection area 201. A selection of one
  • Selection area 201 can, for example (only if necessary) take place when the user carries out a (dynamic) selection gesture for the same selection area 201.
  • An exemplary selection gesture is a typing movement with a finger of the hand 115 of the user.
  • the pointing direction 125 of a user can usually be determined only with a relatively low degree of accuracy, or the user usually performs a pointing gesture only with a relatively low accuracy (in particular while driving).
  • the selection area 201 to which a user points, can only be determined with a relatively low degree of reliability on the basis of the determined pointing direction 125. A user can therefore make incorrect entries relatively often.
  • a user When performing a pointing gesture, a user typically looks at the selection area 201 to which the user wishes to point.
  • the viewing direction 121 determined on the basis of the sensor data of the useful sensor 103 can thus be used to determine the selection area 201 which the user looks at when executing a pointing gesture.
  • the knowledge relating to the selection area 201 viewed by a user can then be taken into account when evaluating the user's pointing gesture in order to increase the reliability in determining the selection area 201 selected by the pointing gesture.
  • the viewing direction 125 it can be determined on the basis of the viewing direction 125 that the user is viewing a first selection area 211 from the plurality of selection areas 201 of the input surface 104 (see FIG. 2 b). Furthermore, the pointing direction 125 of a pointing gesture of the user can be determined, and depending on the pointing direction 125, a selection area 201 of the
  • Input surface 104 can be selected.
  • the selected selection area 211 viewed by the user can be taken into account in a prioritized manner, in particular the selection of a selection area 201 based on the pointing direction 125 can be carried out in such a way that the probability that the first selection area 211 viewed by the user is selected in comparison with that other selection areas 201 is increased.
  • the selection area of the first selection area 211 can be compared to the selection area of the others
  • Selection areas 201 are enlarged. For this purpose, the
  • Area boundaries 203 of the first selection area 211 are shifted in the direction of one or more of the other selection areas 201. Due to the enlarged selection area of the first selection area 211, the probability that the pointing direction 125 of the pointing gesture falls into the first selection area 211 can be increased. A gaze support is thus used to make the input more reliable and precise by means of a pointing gesture. If based on the
  • a selection area 201, 211 is the area of an input surface 104 to which a pointer gesture must be made to select the respective selection area 201, 222.
  • the focus or the viewing direction 121 of the user can be recognized and the one or more selection areas 211 in the viewing direction 121 of the user can be prioritized.
  • the selection areas of the one or more selection areas 211 to which the user's gaze is directed can be enlarged.
  • the other one or more selection areas 201 can be reduced (e.g. so that the total area of the selection areas 201 remains unchanged).
  • a selection area 201, 211 is the area of an input surface 104 to which a pointer gesture must be made to select the respective selection area 201, 222.
  • the selection area 211 of the input surface 104 which must be made with the gesture of the pointer in order to select the telephone function, can be enlarged in comparison to the one or more other selection areas 201 .
  • the one or more other (not considered) selection areas 201 can all be the same size.
  • the one or more other (not considered) selection areas 201 (possibly
  • the different selection areas 201 can have selection surfaces that differ from View direction 121 of the user are independent.
  • selection areas of the same size can be used for the different selection areas 201.
  • the size of the selection areas of the different selection areas 201 can be changed depending on the position of the selection areas 201 relative to the position of the finger 115 of the user and / or the head 110 of the user.
  • the accuracy of a pointing gesture typically decreases with increasing distance of the selection area 201 to be selected from the head 110 and / or the finger 115 of the user.
  • the size of the selection areas of the selection areas 201 can be increased with increasing distance from the head 110 and / or the finger 115 of the user. In this way, the reliability of a user interface based on pointing gestures can be increased.
  • No gaze support is required for the gesture-based user interface described in this document. If the driving situation does not allow a user to look at the input surface 104, or if a user's gaze cannot be recognized due to sunglasses or the lighting conditions, a selection can be made (possibly alone) on the basis of the pointing gesture. The selection of a selection area 201 can thus (possibly alone) take place via the pointing gesture. However, the viewing direction 121, if present, can be used to assist in increasing the reliability of the selection by means of pointing gestures.
  • the reliability of the detection of the viewing direction 121 is typically dependent on the viewing angle. Typically, the reliability of the recognition of the viewing direction 121 decreases with an increasing viewing angle, the viewing angle being zero when the user looks straight ahead (e.g. in the direction of travel of the vehicle 100).
  • the selection areas of the one or more selection areas 211 viewed by the user can have sizes that depend on the reliability of the detection of the viewing direction 121.
  • the enlargement of the one or more selection areas 211 viewed by the user can depend on the reliability of the detection of the viewing direction 121. With a relatively low reliability of the Detection of the viewing direction 121 can result in a relatively small enlargement. On the other hand, with a relatively high degree of reliability in the detection of the viewing direction 121, a relatively large magnification can take place.
  • the input area 104 can be designed such that during the selection of a selection area 201 on the input area 104 there is no feedback as to which selection area 201 the user is currently pointing to.
  • no (colored) “hover” of the selection area 201 is displayed. This can prevent the user's gaze from following the selection area 201 to which the user is currently pointing. In other words, it can
  • the gaze direction 121 of the user is highly likely to be directed to the selection area 211 that the user wants to select (and not to the selection area 211 in which there is an optical change).
  • a pointing vector can be determined which indicates the direction in (three-dimensional) space in which the finger 115 of the user points.
  • the pointer vector may be limited to a single coordinate (in particular the X direction or the longitudinal direction of the vehicle 100) of a Cartesian coordinate system. It can then be determined in which selection area 211, 201 (starting from the finger or hand 115 of the user) the pointer vector strikes the input surface 104 in order to determine the selected selection area 211, 201.
  • FIG. 3 shows a flowchart of an exemplary method 300 for recording or for recording an input from a user on an input surface 104.
  • the input surface 104 can, for example, be disordered in a vehicle 100.
  • the input area 104 comprises a plurality of selection areas 201, the different selection areas 201 having different functions can be associated, which can be triggered by selection of the respective selection area 201.
  • the method 300 can be carried out by the control unit 101 of a user interface and / or a vehicle 100.
  • the method 300 includes the acquisition 301 of sensor data in relation to the head 110 and in relation to at least one hand 115 of the user.
  • a user sensor 103 (for example an image camera) can be used for this purpose.
  • method 300 includes determining 302, on the basis of the sensor data, at least one first selection area 211, to which the user's gaze could or should be directed.
  • a viewing direction 121 of the user can be determined on the basis of the sensor data. It can then be determined to which one or more (first) selection areas 211 the viewing direction 121 is directed.
  • a direction of the user's gaze can be viewed as the gaze direction 121, which the user maintains for a certain minimum period of time (e.g. of 300 ms or more).
  • View directions due to random changes in the alignment of the eyes 111 and / or the head 110 can be avoided.
  • the minimum duration (e.g. 300 ms) can correspond to the fixation duration of the human eye. After the minimum period of time has elapsed, it can typically be assumed that not only the view but also the user's attention was on a selection area 211 (at least for a short time). The user's attention focus can thus be determined on the basis of the viewing direction 121. With viewing durations that are below the minimum period, it can be assumed that a selection area was probably not perceived by a user. The probability that the attention lies on a selection area 201 typically increases with the observation or fixation period. The weighting of the Gaze information when evaluating a pointing gesture 125 can thus increase with increasing observation or fixation time.
  • the method 300 includes determining 303, based on the sensor data, a pointing direction 125 of a pointing gesture of the user carried out by means of the hand 115.
  • the viewing direction 121 and the pointing direction 125 can be determined synchronously in time (i.e. for the same point in time).
  • the method 300 includes determining 304, based on the pointing direction 125, a selected selection area 201, 211 from the plurality of selection areas 201, the first selection area 211 having an increased priority in determining 304 compared to one or more others of the plurality of selection areas 201.
  • the increased priority can e.g. by a relative enlargement of the selection area of the first selection area 211 relative to another selection area 201.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

Es wird ein Verfahren (300) zur Erfassung einer Eingabe eines Nutzers an einer Eingabefläche (104) beschrieben, wobei die Eingabefläche (104) eine Mehrzahl von Auswahlbereichen (201) umfasst. Das Verfahren (300) umfasst das Erfassen (301) von Sensordaten in Bezug auf den Kopf (110), insbesondere die Augen, und zumindest eine Hand (115) des Nutzers. Außerdem umfasst das Verfahren (300) das Bestimmen (302), auf Basis der Sensordaten, zumindest eines ersten Auswahlbereichs (211), auf den der Blick des Nutzers gerichtet sein könnte. Ferner umfasst das Verfahren (300) das Ermitteln (303), auf Basis der Sensordaten, einer Zeigerichtung (125) einer mittels der Hand (115) ausgeführten Zeigegeste des Nutzers. Des Weiteren umfasst das Verfahren (300) das Ermitteln. (304), auf Basis der Zeigerichtung (125), eines ausgewählten Auswahlbereichs (201, 211) aus der Mehrzahl von Auswahlbereichen (201), wobei der erste Auswahlbereich (211) bei dem Ermitteln (304) eine erhöhte Priorität im Vergleich zu ein oder mehreren anderen der Mehrzahl von Auswahlbereichen (201) aufweist.

Description

Verfahren und Benutzerschnittstelle zur Erfassung einer Eingabe mittels Zeigegestik Die Erfindung betrifft ein Verfahren und eine Benutzerschnittstelle, die es einem Nutzer ermöglichen, in zuverlässiger Weise eine Eingabe mittels Zeigegestik zu tätigen.
Ein Fahrzeug kann eine Benutzerschnittstelle aufweisen, die es einem Nutzer des Fahrzeugs ermöglicht, mittels einer Geste eine Eingabe zu tätigen, z.B. um ein Infotainmentsystem des Fahrzeugs zu bedienen. Dabei kann anhand von ein oder mehreren Kameras die Bewegung der Hand des Nutzers erfasst werden. Die erfassten Bilddaten können ausgewertet werden, um eine Eingabegeste aus einer Mehrzahl von gespeicherten Eingabegesten zu erkennen.
Eine beispielhafte Eingabegeste ist dabei eine Zeigegeste, die es einem Nutzer ermöglicht, mit dem Finger auf einen bestimmten Auswahlbereich auf einer Auswahl- bzw. Eingabefläche (z.B. auf einem Bildschirm) der
Benutzerschnittstelle des Fahrzeugs zu zeigen, um eine mit dem Auswahlbereich assoziierte Eingabe zu tätigen. Die Zeigerichtung des Fingers des Nutzers kann dabei auf Basis der erfassten Bilddaten ermittelt werden.
Die Zeigerichtung einer Zeigegeste kann meist nur mit einer relativ geringen Genauigkeit auf Basis von Bilddaten ermittelt werden. Des Weiteren zeigt ein Nutzer häufig nur ungenau auf einen auszuwählenden Auswahlbereich. Dabei hängt die Genauigkeit der ermittelten Zeigerichtung typischerweise von der Ausrichtung der ein oder mehreren Kameras ab, durch die die Bilddaten erfasst werden. Eine geringe Genauigkeit der ermittelten Zeigerichtung einer Zeigegeste führt zu einer relativ geringen Zuverlässigkeit einer Eingabe mittels Zeigegestik. Des Weiteren erfordert die geringe Genauigkeit der ermittelten Zeigerichtung einer Zeigegeste die Verwendung von relativ großflächigen Auswahlbereichen. Das vorliegende Dokument befasst sich mit der technischen Aufgabe, eine kompakte Benutzerschnittstelle bereitzustellen, die eine Eingabe mittels
Zeigegestik mit hoher Zuverlässigkeit ermöglicht.
Die Aufgabe wird jeweils durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird daraufhingewiesen, dass zusätzliche Merkmale eines von einem
unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
Gemäß einem Aspekt wird ein Verfahren zur Erfassung einer Eingabe eines Nutzers an einer Eingabefläche beschrieben. Dabei kann die Eingabefläche eine Mehrzahl von Auswahlbereichen umfassen. Die Eingabefläche kann z.B. einen Bildschirm umfassen, auf dem die unterschiedlichen Auswahlbereiche angezeigt werden. Des Weiteren können auf der Eingabefläche Funktionen angezeigt werden, die durch Auswahl der unterschiedlichen Auswahlbereiche ausgelöst werden können.
Das Verfahren umfasst das Erfassen von Sensordaten in Bezug auf den Kopf und/oder die Blickrichtung und/oder die Augen und in Bezug auf zumindest eine Hand des Nutzers. Die Sensoidaten können mittels zumindest eines Nutzersensors (z.B. einer Bildkamera, einer Tiefenkamera, Annäherungssensorik, etc.) erfasst werden, der auf den Nutzer gerichtet ist. Die Sensordaten können z.B. an einem bestimmten ersten Zeitpunkt bzw. in einem bestimmten ersten Zeitraum erfasst werden.
Außerdem umfasst das Verfahren das Bestimmen, auf Basis der Sensordaten, zumindest eines ersten Auswahlbereichs, auf den der Blick des Nutzers gerichtet sein könnte. Zu diesem Zweck kann auf Basis der Sensordaten die Blickrichtung des Nutzers ermittelt werden, und es kann dann ermittelt werden, in welchen Auswahlbereich die Blickrichtung des Nutzers fallt oder fallen könnte. Dabei kann insbesondere ermittelt werden, auf welchen Auswahlbereich der Blick des Nutzers an dem ersten Zeitpunkt bzw. während des ersten Zeitraums gerichtet ist bzw. gerichtet sein könnte.
Des Weiteren umfasst das Verfahren das Ermitteln, auf Basis der Sensordaten, einer Zeigerichtung einer mittels der Hand ausgeführten Zeigegeste des Nutzers. Dabei kann die Zeigerichtung einer Zeigegeste ermittelt werden, die an einem zweiten Zeitpunkt bzw. während eines zweiten Zeitraums ausgeführt wird. Dabei können der zweite Zeitpunkt bzw. der zweite Zeitraum gleich dem ersten Zeitpunkt bzw. dem ersten Zeitraum sein. Alternativ können der zweite Zeitpunkt bzw. der zweite Zeitraum dem ersten Zeitpunkt bzw. dem ersten Zeitraum (ggf, unmittelbare) nachfolgen. Es kann somit ermittelt werden, in welche
Zeigerichtung der Nutzer zeigt, während und/oder nachdem sein Blick auf den ersten Auswahlbereich gerichtet ist und/oder war.
Beispielsweise kann auf Basis des Blicks bzw. der Blickrichtung des Nutzers an einem ersten Zeitpunkt der erste Auswahlbereich detektiert werden, auf den der Bück des Nutzers letztmalig (vor Erkennung der Zeigegeste) fokussiert war. Dieser (kurz zuvor) betrachtete erste Auswahlbereich kann dann bei der
Auswertung der Zeigegeste berücksichtigt werden. Alternativ oder ergänzend kann auf Basis des Blicks bzw. der Blickrichtung des Nutzers für jeden der Mehrzahl von Auswahlbereichen eine Wahrscheinlichkeit dafür ermittelt werden, dass der Auswahlbereich durch den Nutzer betrachtet wird oder betrachtet wurde. Dabei kann ggf. auch die Zeitdauer berücksichtigt werden, für die die einzelnen Auswahlbereiche von dem Nutzer betrachtet wurden. Die
Wahrscheinlichkeiten der unterschiedlichen Auswahlbereiche können dann bei der Auswertung der Zeigegeste berücksichtigt werden.
Das Verfahren umfasst ferner das Ermitteln, auf Basis der Zeigerichtung, eines ausgewählten Auswahlbereichs aus der Mehrzahl von Auswahlbereichen. Dabei kann ein Auswahlbereich als ausgewählter Auswahlbereich ermittelt werden, wenn die Zeigerichtung in die Auswahlfläche des Auswahlbereichs zeigt, insbesondere wenn die Zeigerichtung für eine Mindestzeitdauer in die
Auswahlfläche des Auswahlbereichs zeigt, die gleich wie oder größer als ein Zeitdauer-Schwellenwert ist (z.B. von 0.5 Sekunden, 0.75 Sekunden, 1 Sekunde oder mehr). Alternativ oder ergänzend kann ein Auswahlbereich in Reaktion auf eine detektierte dynamische Geste als ausgewählter Auswahlbereich ermittelt werden. Beispielhafte dynamische Gesten sind ein„Tippen“ mit dem Zeigefinger in der Luft und/oder ein relativ kurzes„nach vorne Stoßen“ des Zeigefingers in der Luft. Der erste Auswahlbereich kann bei dem Ermitteln eine erhöhte Priorität im Vergleich zu ein oder mehreren anderen der Mehrzahl von Auswahlbereichen aufweisen. Mit anderen Worten, der erste Auswahlbereich, auf den (mit erhöhter Wahrscheinlichkeit) der Blick des Nutzers gerichtet ist, kann bevorzugt bei der Auswahl eines Auswahlbereichs mittels Zeigegestik berücksichtigt werden. So kann die Zuverlässigkeit einer auf Zeigegestik basierenden Benutzerschnittstelle erhöht werden.
Das Verfahren kann z.B. umfassen, das Erhöhen einer ersten Wahrscheinlichkeit dafür, dass der erste Auswahlbereich mittels einer Zeigegeste durch den Nutzer ausgewählt werden kann, im Vergleich zu einer zweiten Wahrscheinlichkeit dafür, dass ein oder mehrere andere der Mehrzahl von Auswahlbereichen mittels einer Zeigegeste durch den Nutzer ausgewählt werden können. Das Erhöhen bzw. Reduzieren der Auswahlwahrscheinlichkeit kann dabei z.B. durch das Vergrößern bzw. das Verkleinern der Auswahlfläche eines Auswahlbereichs erreicht werden. Die Summe der Wahrscheinlichkeiten kann dabei konstant bleiben (z.B. bei dem Wert 1).
Dabei ist eine Vergrößerung bzw. eine Verkleinerung der Auswahlfläche eines Auswahlbereichs typischerweise für einen Nutzer nicht sichtbar. Die auf der Eingabefläche dargestellten Auswahlbereiche können unverändert bleiben.
Andererseits kann die Auswahlfläche um einen dargestellten Auswahlbereich vergrößert bzw. verkleinert werden, wobei die Auswahlfläche den Teil der Eingabefläche definiert, in den eine Zeigegeste zeigen muss, um den
entsprechenden Auswahlbereich auszuwählen. Mit anderen Worten, eine Vergrößerung der Auswahlfläche führt typischerweise nicht zu einer für den Nutzer sichtbaren Vergrößerung der dargestellten Auswahlelemente. Es erfolgt lediglich eine Vergrößerung des theoretischen Auswahlbereichs, d.h. eine Erhöhung der Wahrscheinlichkeit dafür, dass ein bestimmtes dargestelltes Auswahlelement mit einer Zeigegestik ausgewählt werden kann. Der ausgewählte Auswahlbereich kann dann auf Basis der Zeigerichtung unter
Berücksichtigung der ersten und zweiten Wahrscheinlichkeit ermittelt werden. So kann die Zuverlässigkeit einer Gestik-basierten Benutzeischnittstelle weiter erhöht werden. Die Auswahlbereiche können jeweils eine Auswahlfläche aufweisen, auf die der Nutzer zeigen muss, um den jeweiligen Auswahlbereich auszuwählen. Die Auswahlbereiche können in einem Basiszustand der Eingabefläche jeweils eine Auswahlfläche mit einer bestimmten Größe aufweisen. Der Nutzer muss typischerweise auf die Auswahlfläche eines Auswahlbereichs zeigen, insbesondere für eine Mindestzeitdauer, die gleich wie oder länger als der
Zeitdauer-Schwellenwert ist, um den jeweiligen Auswahlbereich auszuwählen. Alternativ oder ergänzend kann die Auswahl eines konkreten Auswahlbereichs durch eine relativ kurze dynamische Geste erfolgen (wie z.B. eine kurze Tipp- Bewegung mit einem Finger). Die Verwendung einer dynamischen (Zeige-) Geste für die Auswahl eines Auswahlbereichs ist vorteilhaft, da so eine Auswahl relativ schnell und für einen Nutzer in komfortable Weise getroffen werden kann.
Die Größe der Auswahlflächen der unterschiedlichen Auswahlbereiche kann in dem Basiszustand gleich sein. Andererseits kann die Größe der Auswahlflächen der unterschiedlichen Auswahlbereiche in dem Basiszustand von der
Zuverlässigkeit abhängen, mit der ein Nutzer auf die Auswahlfläche des jeweiligen Auswahlbereichs zeigen kann. Dabei sinkt die Zuverlässigkeit typischerweise je größer der Winkel zwischen der Zeigerichtüng zu dem jeweiligen Auswahlbereich und der senkrecht auf dem Körper des Nutzers stehenden Achse ist. Die Größe der Auswahlflächen kann mit sinkender
Zuverlässigkeit der Gestenerkennung erhöht sein (auch im Basiszustand der Eingabefläche).
Alternativ oder ergänzend kann mit sinkender Zuverlässigkeit der
Gestenerkennung (etwa an den Bereichen der Eingabefläche, die weiter von der Achse des Nutzers entfernt sind) eine Gewichtung zu Gunsten der Blickerkennung erhöht werden.
Das Verfahren kann umfassen, das Vergrößern der Auswahlfläche des ersten Auswahlbereichs relativ zu der Auswahlfläche von zumindest einem anderen der Mehrzahl von Auswahlbereichen. Die vergrößerte Auswahlfläche des ersten
Auswahlbereichs kann dann Er das Ermitteln des ausgewählten Auswahlbereichs berücksichtigt werden. Es kann somit die Größe der Auswählfläche des
Auswahlbereichs vergrößert werden, auf den der Blick des Nutzers gerichtet ist, um diesen Auswahlbereich im Rahmen der Gestenerkennung zu priorisieren. Des Weiteren kann die Größe der Auswahlflächen der ein oder mehreren anderen der Mehrzahl von Auswahlbereichen in Abhängigkeit von dem Abstand des jeweiligen Auswahlbereichs von dem ersten Auswahlbereich skaliert
(insbesondere reduziert werden). So kann die Zuverlässigkeit der
Gestenerkennung weiter erhöht werden. Das Verfahren kann umfassen, das Bestimmen, ob auf Basis der Sensordaten eine Blickrichtung des Nutzers ermittelt werden kann. Ggf. kann es (z.B. aufgrund der Tatsache, dass der Nutzer eine Sonnenbrille trägt), nicht möglich sein, die Blickrichtung des Nutzers zu ermitteln, hn Rahmen des Verfahrens kann ein Maß bzw. ein Grad für die Zuverlässigkeit ermittelt werden, mit der die Blickrichtung des Nutzers auf Basis der Sensordaten ermittelt werden konnte. Das Maß bzw. der Grad für die Zuverlässigkeit der ermittelten Blickrichtung kann dann bei der gestenbasierten Auswahl eines Auswahlbereichs berücksichtigt werden. So kann die Zuverlässigkeit einer gestenbasierten Benutzerschnittstelle weiter erhöht werden.
Das Verfahren kann umfassen, das Ändern der Größe der Auswahlfläche von zumindest einem Auswahlbereich, insbesondere von dem ersten Auswahlbereich, in Abhängigkeit von der Blickrichtung, um die Mehrzahl von Auswahlbereichen in einen geänderten Zustand zu versetzen. Der ausgewählte Auswahlbereich kann dann auf Basis der Mehrzahl von Auswahlbereichen in dem geänderten Zustand ermittelt werden. Das Überfuhren der Mehrzahl von Auswahlbereichen in den geänderten Zustand kann erfolgen, wenn (ggf. nur dann wenn) die Blickrichtung bestimmt werden kamt. Andererseits kann das Verfahren umfassen, das Ermitteln des ausgewählten Auswahlbereichs auf Basis der Mehrzahl von Auswahlbereichen in dem
Basiszustand (ohne Änderung der Größen der Auswahlflächen von ein oder mehreren Auswahlbereichen), wenn die Blickrichtung nicht bestimmt werden kann. Somit kann auch ohne Erkennung der Blickrichtung eine gestenbäsierte Auswahl (mit einer bestimmten Grundzuverlässigkeit) ermöglicht werden. Es kann somit eine robuste Benutzerschnittstelle bereitgestellt werden. Die Eingabefläche bzw. die Mehrzahl von Auswahlbereichen weisen
typischerweise eine konstante Gesamtfläche auf. Die Änderung der Größe der Auswahlflächen von ein oder mehreren Auswahlbereichen kann derart erfolgen, dass die Gesamtfläche der Eingabefläche bzw. der Mehrzahl von
Auswahlbereichen (auch im geänderten Zustand) konstant bzw. unverändert bleibt.
Die Größe der Auswahlfläche von zumindest einem Auswahlbereich kann in Abhängigkeit von dem Grad bzw. dem Maß der Zuverlässigkeit geändert weiden, mit dem die Blickrichtung ermittelt werden kann. Insbesondere kann ggf. nur eine relativ kleine Größenänderung erfolgen, wenn die Blickrichtung nur mit einem relativ geringen Grad an Zuverlässigkeit ermittelt weiden kann. Die
Größenänderung kann dabei mit steigendem Grad an Zuverlässigkeit verstärkt erfolgen. So kann die Zuverlässigkeit der gestenbasierten Benutzerschnittstelle weiter erhöht weiden.
Im Rahmen des Verfahrens kann auf Basis der Blickrichtung des Nutzers eine Mehrzahl von Wahrscheinlichkeitswerten für die Mehrzahl von
Auswahlbereichen ermittelt werden. Dabei zeigt der Wahrscheinlichkeitswert eines Auswahlbereichs eine Wahrscheinlichkeit dafür an, dass der Blick des Nutzers auf den jeweiligen Auswahlbereich gerichtet ist Es kann somit eine Wahrscheinlichkeitsverteilung der Blickrichtung für die Mehrzahl von
Auswahlbereichen ermittelt weiden. Der auf Basis der ermittelten Zeigerichtung ausgewählte Auswahlbereich kann dann in Abhängigkeit von der Mehrzahl von Wahrscheinlichkeitswerten für die Mehrzahl von Auswahlbereichen ermittelt weiden. Insbesondere kann die Größe der Auswahlflächen der Mehrzahl von Auswahlbereichen in Abhängigkeit von der Mehrzahl von
Wahrscheinlichkeitswerten angepasst werden, um die Mehrzahl von
Auswahlbereichen in den geänderten Zustand zu versetzen. Der ausgewählte
Auswahlbereich kann dann auf Basis der Mehrzahl von Auswahlbereichen in dem geänderten Zustand ermittelt werden. Durch die Berücksichtigung einer Wahrscheinlichkeitsverteilung für die Blickrichtung kann die Zuverlässigkeit einer gestenbasierten Benutzerschnittstelle weiter erhöht werden. Das Verfahren kann umfassen, das Erfassen von Sensordaten an einer Sequenz von Zeitpunkten. Es kann dann auf Basis der Sensordaten an der Sequenz von Zeitpunkten eine Sequenz von Zeigerichtungen ermittelt werden. Des Weiteren kann auf Basis der Sequenz von Zeigerichtungen ermittelt werden, dass der Nutzer an der Sequenz von Zeitpunkten über unterschiedliche Auswahlbereiche der Mehrzahl von Auswahlbereichen schweift (z.B. ohne lange genug auf einem Auswahlbereich zu verbleiben, um diesen Auswahlbereich auszuwählen).
Die Eingabefläche bzw. die Benutzerschnittstelle können derart ausgebildet sein, dass die Tatsache, dass der Nutzer an der Sequenz von Zeitpunkten über unterschiedliche Auswahlbereiche schweift, optisch nicht auf der Anzeigefläche und/oder auf der Benutzerschnittstelle angezeigt wird. Insbesondere können die Eingabefläche bzw. die Benutzerschnittstelle derart ausgebildet sein, dass durch die schweifende Zeigebewegung keine Ablenkung der Blickrichtung des Nutzers bewirkt wird. So kann gewährleistet werden, dass die Blickrichtung mit dem auszuwählenden Auswahlbereich korreliert und somit zur Erhöhung der Zuverlässigkeit der gestenbasierten Auswahl genutzt werden kann.
Wie bereits oben dargelegt, erfolgt die Vergrößerung bzw. die Verkleinerung der Auswahlfläche eines Auswahlbereichs bevorzugt derart, dass die Änderung der Größe der Auswahlfläche für einen Nutzer nicht sichtbar ist. Die auf der Eingabefläche dargestellten Auswahlelemente für die unterschiedlichen
Auswahlbereiche können während eines Auswahlvorgangs eine unveränderte (sichtbare) Größe aufweisen und/oder unverändert bleiben. Andererseits können die für die Auswertung der Zeigerichtung verwendeten Auswahlflächen der Auswahlbereiche vergrößert bzw. verkleinert werden (ohne dass dies für einen Nutzer sichtbar wird), so dass die Wahrscheinlichkeiten für die in Abhängigkeit von der Zeigerichtung erfolgenden Auswahl der unterschiedlichen
Auswahlbereiche vergrößert bzw. verkleinert werden.
Das Verfahren kann umfassen, das Ermitteln von Güte-Information in Bezug auf eine Zuverlässigkeit, mit der die Blickrichtung und/oder die Zeigerichtung ermittelt werden können. Insbesondere kann die Güte-Information die
Zuverlässigkeit anzeigen, mit der auf Basis der Blickrichtung und/oder mit der auf Basis der Zeigerichtung der Auswahlbereich identifiziert werden kann, der von einem Nutzer ausgewählt wurde.
Es kann dann in Abhängigkeit von der Güte- Information eine Gewichtung der ermittelten Blickrichtung und/oder der ermittelten Zeigerichtung, insbesondere ein Ausmaß der Friorisierung des ersten Auswahlbereichs, beim Ermitteln des ausgewählten Auswahlbereichs, angepasst werden. Insbesondere können die Wahrscheinlichkeitswerte für die unterschiedlichen Auswahlbereiche, die auf Basis der Blickrichtung ermittelt werden, in Abhängigkeit von der Güte- Information mehr oder weniger stark bei der Zeigegestik-basierten Ermittlung eines ausgewählten Auswahlbereichs berücksichtigt werden. Wenn die Güte-Information z.B. anzeigt, dass die Blickrichtung nur sehr unzuverlässige Information in Bezug auf den auszuwählenden Auswahlbereich liefert und/oder dass die Zeigerichtung mit relativ hoher Zuverlässigkeit ermittelt weiden kann, so kann ggf. nur eine relativ geringe Friorisierung des (betrachteten) ersten Auswahlbereichs erfolgen (was z.B. durch eine relativ geringe
Vergrößerung der Auswahlfläche des ersten Auswahlbereichs erreicht werden kann). Insbesondere können in diesem Fall die Blick-basierten
Wahrscheinlichkeitswerte für die unterschiedlichen Auswahlbereiche nur in einem relativ geringen Maße bei der Zeigegestik-basierten Ermittlung eines ausgewählten Auswahlbereichs berücksichtigt werden. Wenn die Güte-Infonnation anderseits anzeigt, dass die Blickrichtung sehr zuverlässige Information in Bezug auf den auszuwählenden Auswahlbereich liefert (z.B. aufgrund einer relativ langen Betrachtungszeitdauer) und/oder dass die Zeigerichtung nur mit relativ geringer Zuverlässigkeit ermittelt werden kann (z.B. weil auf einen Auswahlbereich am (vom Nutzer abgewandten) Rand der
Eingabefläche gezeigt wird), so kann ggf. eine relativ starke Priorisierung des (betrachteten) ernten Auswahlbereichs erfolgen (was z.B. durch eine relativ starke Vergrößerung der Auswahlfläche des ersten Auswahlbereichs erreicht werden kann). Insbesondere können in diesem Fall die Blick-basierten
Wahrscheinlichkeitswerte für die unterschiedlichen Auswahlbereiche in einem relativ starken Maße bei der Zeigegestik-basierten Ermittlung eines ausgewählten Auswahlbereichs berücksichtigt werden.
Die Güte-Infonnation kann z.B. auf Basis der Zeitdauer ermittelt werden, mit der der Nutzer einen Auswahlbereich betrachtet. Dabei steigt typischerweise mit steigender Betrachtungszeitdauer die Wahrscheinlichkeit dafür an, dass der Nutzer den betrachteten Auswahlbereich auswählen möchte. Der betrachtete Auswahlbereich kann somit bei der Ermittlung des ausgewählten
Auswahlbereichs auf Basis der Zeigegeste in Abhängigkeit von der
Betrachtungszeitdauer mehr oder weniger stark priorisiert werden.
Gemäß einem weiteren Aspekt wird eine Benutzerschnittstelle zur Erfassung einer Eingabe eines Nutzers beschrieben. Die Benutzerschnittstelle umfasst eine Eingabefläche, die in eine Mehrzahl von Auswahlbereichen unterteilt ist. Die Eingabefläche kann einen Bildschirm umfassen, der eingerichtet ist, die Mehrzahl von Auswahlbereichen anzuzeigen. Ferner kann die Eingabefläche Teil eines Straßenkraftfahrzeugs sein.
Die Benutzerschnittstelle umfasst zumindest einen Nutzeisensor, der eingerichtet ist, Sensordaten in Bezug auf den Kopf und eine Hand des Nutzers zu erfassen.
Außerdem umfasst die Benutzerschnittstelle eine Steuereinheit, die eingerichtet ist, auf Basis der Sensordaten zumindest einen ersten Auswahlbereich aus der Mehrzahl von Auswahlbereichen zu bestimmen, auf den der Blick des Nutzers gerichtet sein könnte bzw. gerichtet ist. Die Steuereinheit ist außerdem eingerichtet, auf Basis der Sensordaten eine Zeigerichtung einer mittels der Hand ausgeführten Zeigegeste des Nutzers zu ermitteln. Des Weiteren ist die
Steuereinheit eingerichtet, auf Basis der Zeigerichtung einen ausgewählten Auswahlbereich aus der Mehrzahl von Auswahlbereichen zu ermitteln, wobei der erste Auswahlbereich bei der Ermittlung des ausgewählten Auswahlbereichs eine erhöhte Priorität im Vergleich zu ein oder mehreren anderen der Mehrzahl von Auswahlbereichen aufweist.
Die Mehrzahl von Auswahlbereichen kann mit einer entsprechenden Mehrzahl von Funktionen assoziiert sein. Die Steuereinheit kann dann eingerichtet sein, zu veranlassen, dass die mit dem ausgewählten Auswahlbereich assoziiert Funktion ausgeführt wird.
Gemäß einem weiteren Aspekt wird ein Straßenkraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus) beschrieben, das die in diesem Dokument beschriebene Benutzerschnittstelle umfasst.
Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen. Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert weiden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden.
Im Weiteren wird die Erfindung anhand von Ausflihrungsbeispielen näher beschrieben. Dabei zeigen
Figur 1 beispielhafte Komponenten eines Fahrzeugs;
Figur 2a beispielhafte Auswahlbereiche einer Eingabefläche, ohne Erfassung der Blickrichtung;
Figur 2b beispielhafte Auswahlbereiche einer Eingabefläche, bei Vorliegen einer erfassten Blickrichtung; und
Figur 3 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Ermittlung einer Nutzereingabe.
Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der zuverlässigen Erfassung von Nutzereingaben mittels Zeigegestik. In diesem
Zusammenhang zeigt Fig. 1 beispielhafte Komponenten eines Fahrzeugs 100. Das Fahrzeug 100 umfasst zumindest einen Nutzersensor 103, der eingerichtet ist, Sensordaten bezüglich eines Nutzers, insbesondere eines Fahrers, des Fahrzeugs 100, insbesondere bezüglich des Kopfs 110 und/oder der Augen 111 des Nutzers, zu erfassen. Des Weiteren kann der Nutzersensor 103 eingerichtet sein,
Sensordaten bezüglich einer Hand 115 und/oder bezüglich eines Fingers des Nutzers des Fahrzeugs 100 zu erfassen. Der Nutzersensor 103 kann einen Bildsensor bzw. eine Bildkamera umfassen. Der Nutzarsensor 103 kann zur Erfassung der Sensordaten bzgl. des Nutzers auf eine Nutzerposition, insbesondere auf eine Fahrerposition, 105 des Fahrzeugs 100 gerichtet sein. Außerdem umfasst das Fahrzeug 100 eine Steuereinheit 101, die eingerichtet ist, auf Basis der Sensordaten des Nutzersensors 103 eine Blickrichtung 121 des Nutzers zu ermitteln. Die Blickrichtung 121 setzt sich dabei typischerweise aus einer Ausrichtung des Kopfes 110 und aus einer Ausrichtung der Augen 111 des Nutzers zusammen. Ferner kann die Steuereinheit 101 eingerichtet sein, auf Basis der Sensordaten des Nutzeisensors 103 eine Zeigerichtung 125 einer Hand bzw. eines Fingers 115 des Nutzers zu ermitteln. Die Blickrichtung 121 und/oder die Zeigerichtung 125 können relativ zu einer Achse definiert sein, die senkrecht vor dem Körper des Nutzers und/oder entlang der Fahrtrichtung des Fahrzeugs 100 verläuft. Insbesondere kann die Zeigerichtung 125 durch eine Verlängerung des Fingervektors eines (Zeige-) Fingers des Nutzers und/oder anhand eines Vektors des Unterarms und/oder durch eine Verlängerung der Achse Augen-Fingerspitze erfasst werden. Das Fahrzeug 100 umfasst ferner eine Eingabefläche 104 als Teil einer
Benutzerschnittstelle des Fahrzeugs 100. Die Eingabefläche 104 kann einen Bildschirm umfassen, auf dem Eingabemöglichkeiten für den Nutzer des Fahrzeugs 100 angezeigt werden. Durch die Verwendung eines Bildschirms als Eingabefläche 104 können die Eingabemöglichkeiten für einen Nutzer des Fahrzeugs 100 flexibel verändert werden. Allgemein kann es sich bei der Eingabefläche 104 um eine beliebige Fläche des Fahrzeugs 100, z.B. um eine beliebige Fläche des Armaturenbretts des Fahrzeugs 100, handeln. Ggf. kann die Eingabefiäche 104 außerhalb des Fahrzeugs 100 angeordnet sein (z.B. auf einem (ausgehend von dem Fahrzeug 100 sichtbaren) Verkehrsschild und/oder
Gebäude).
Fig. 2a zeigt eine beispielhafte Eingabefiäche 104. Die Eingabefläche 104 kann in eine Mehrzahl von Auswahlbereichen 201 unterteilt sein, wobei die
unterschiedlichen Auswahlbereiche 201 jeweils paarweise über Bereichsgrenzen 203 voneinander abgegrenzt sind. Jeder Auswahlbereich 201 kann eine bestimmte
Auswahlfläche aufweisen, wobei die Auswahlfläche eines Auswahlbereichs 201 durch die Bereichsgrenzen 203 des Auswahlbereichs 201 definiert wird. Die in Fig. 2b dargestellte Eingabefläche 104 weist vier unterschiedliche
Auswahlbereiche 201 auf. Dabei weisen alle Auswahlbereiche 201 in dem dargestellten Beispiel Auswahlflächen gleicher Größe auf. Eine Eingabefläche 104 kann z.B. 2, 3, 4, 5, 6 oder mehr Auswahlbereiche 201 aufweisen.
Die unterschiedlichen Auswahlbereiche 201 können mit unterschiedlichen Funktionen 202 des Fahrzeugs 100 assoziiert sein. Beispielhafte Funktionen 202 sind z.B. eine Radiofunktion, eine Telefonfunktion, eine Navigationsfunktion oder eine Webbrowser-Funktion. Durch die Auswahl eines bestimmten
Auswahlbereichs 201 kann bewirkt werden, dass die mit dem ausgewählten Auswahlbereich 201 assoziierte Funktion ausgefuhrt bzw. aktiviert wird.
Wie oben dargelegt, kann die Steuereinheit 101 eingerichtet sein, auf Basis der Sensordaten des Nutzersensors 103 die Zeigerichtung 125 einer Zeigegeste eines Nutzers des Fahrzeugs 100 zu ermitteln. Des Weiteren kann auf Basis der ermittelten Zeigerichtung 125 der Auswahlbereich 201 aus der Mehrzahl von Auswahlbereichen 201 ausgewählt werden, auf den der Nutzer zeigt, um eine Auswahl dieses Auswahlbereichs 201 zu bewirken. Eine Auswahl eines
Auswahlbereichs 201 kann z.B. (ggf. nur dann) erfolgen, wenn der Nutzer eine (dynamische) Auswahlgeste für den gleichen Auswahlbereich 201 durchführt. Eine beispielhafte Auswahlgeste ist eine Tipp-Bewegung mit einem Finger der Hand 115 des Nutzers. Wie eingangs dargelegt, kann die Zeigerichtung 125 eines Nutzers meist nur mit einem relativ geringen Grad an Genauigkeit bestimmt weiden, bzw. der Nutzer fuhrt eine Zeigegeste meist nur mit einer relativ geringen Genauigkeit durch (insbesondere während der Fahrt). Dies hat zur Folge, dass der Auswahlbereich 201, auf den ein Nutzer zeigt, auf Basis der ermittelten Zeigerichtung 125 nur mit einem relativ geringen Grad an Zuverlässigkeit ermittelt werden kann. Es kann somit relativ häufig zu Fehleingaben eines Nutzers kommen. Bei der Durchführung einer Zeigegeste schaut ein Nutzer typischerweise auf den Auswahlbereich 201, auf den der Nutzer zeigen möchte. Die auf Basis der Sensordaten des Nutzeisensors 103 ermittelte Blickrichtung 121 kann somit dazu verwendet werden, den Auswahlbereich 201 zu ermitteln, auf den der Nutzer bei der Ausführung einer Zeigegeste schaut. Das Wissen in Bezug auf den von einem Nutzer betrachteten Auswahlbereich 201 kann dann bei der Auswertung der Zeigegeste des Nutzers berücksichtigt werden, um die Zuverlässigkeit bei der Ermittlung des durch die Zeigegeste ausgewählten Auswahlbereichs 201 zu erhöhen.
Beispielsweise kann auf Basis der Blickrichtung 125 ermittelt werden, dass der Nutzer einen ersten Auswahlbereich 211 aus der Mehrzahl von Auswahlbereichen 201 der Eingabefläche 104 betrachtet (siehe Fig. 2b). Des Weiteren kann die Zeigerichtung 125 einer Zeigegeste des Nutzers ermittelt werden, und es kann in Abhängigkeit von der Zeigerichtung 125 ein Auswahlbereich 201 der
Eingabefläche 104 ausgewählt werden. Dabei kann der von dem Nutzer betrachtete ernte Auswahlbereich 211 priorisiert berücksichtigt werden, insbesondere kann die Auswahl eines Auswahlbereichs 201 auf Basis der Zeigerichtung 125 derart erfolgen, dass die Wahrscheinlichkeit dafür, dass der von dem Nutzer betrachtete erste Auswahlbereich 211 ausgewählt wird, im Vergleich zu den anderen Auswahlbereichen 201 erhöht wird.
Beispielsweise kann, wie in Fig. 2b dargestellt, die Auswählfläche des ersten Auswahlbereichs 211 im Vergleich zu der Auswahlfläche der anderen
Auswahlbereiche 201 vergrößert werden. Zu diesem Zweck können die
Bereichsgrenzen 203 des ersten Auswahlbereichs 211 in die Richtung von ein oder mehreren der anderen Auswahlbereichen 201 verschoben werden. Aufgrund der vergrößerten Auswahlfläche des ersten Auswahlbereichs 211 kann die Wahrscheinlichkeit dafür, dass die Zeigerichtung 125 der Zeigegeste in den ersten Auswahlbereich 211 fällt, erhöht werden. Es wird somit eine Blickunterstützung verwendet, um die Eingabe mittels einer Zeigegestik zuverlässiger und genauer zu machen. Wenn auf Basis der
Sensordaten des Nutzersensors 103 erkannt wird, dass der Nutzer auf die Eingabefläche 104 schaut, können der Fokus bzw. die Blickrichtung 121 des Nutzers erkannt werden und es können die ein oder mehreren Auswahlbereiche 211 in der Blickrichtung 121 des Nutzers priorisiert werden. Zu diesem Zweck können die Auswahlflächen der ein oder mehreren Auswahlbereiche 211, auf die der Blick des Nutzers gerichtet ist, vergrößert werden. Andererseits können die anderen ein oder mehreren Auswahlbereiche 201 verkleinert werden (z.B. so dass die Gesamtfläche der Auswahlbereiche 201 unverändert bleibt). Dabei ist ein Auswahlbereich 201 , 211 der Bereich einer Eingabefläche 104, auf den mittels einer Zeigegeste gezeigt werden muss, um den jeweiligen Auswahlbereich 201, 222 auszuwählen. Wird beispielsweise, wie in Fig. 2b dargestellt, das
Auswahlfeld bzw. der Auswahlbereich 211 der Telefonfunktion mit den Augen 111 des Nutzers fokussiert, so kann der Auswahlbereich 211 der Eingabefläche 104, der mit der Zeigegeste getroffen werden muss, um die Telefonfunktion auszuwählen, im Vergleich zu den ein oder mehreren anderen Auswahlbereichen 201 vergrößert werden. Dabei können die ein oder mehreren anderen (nicht betrachteten) Auswahlbereiche 201 alle gleich groß sein. Alternativ können die ein oder mehreren anderen (nicht betrachteten) Auswahlbereiche 201 (ggf.
proportional) in Abhängigkeit von der Entfernung zum Fokusmittelpunkt der Blickrichtung 121 kleiner werden. Wenn auf Basis der Sensordaten des Nutzersensors 103 kein Auswahlbereich 201 der Eingabefläche 104 ermittelt werden kann, auf den der Blick des Nutzers gerichtet ist, so ist dennoch eine Eingabe mittels Zeigegeste möglich, ln diesem Fall können die unterschiedlichen Auswahlbereiche 201 Auswahlflächen aufweisen, die von der Blickrichtung 121 des Nutzers unabhängig sind.
Beispielsweise können, wie in Fig. 2a dargestellt, gleich große Auswahlflächen für die unterschiedlichen Auswahlbereiche 201 verwendet werden. Alternativ kann die Größe der Auswahlflächen der unterschiedlichen Auswahlbereiche 201 in Abhängigkeit von der Lage der Auswahlbereiche 201 relativ zu der Lage des Fingers 115 des Nutzers und/oder des Kopfes 110 des Nutzers verändert werden. Die Genauigkeit einer Zeigegeste sinkt typischerweise mit steigender Entfernung des auszuwählenden Auswahlbereiches 201 von dem Kopf 110 und/oder des Fingers 115 des Nutzers. Um die sinkende Genauigkeit der Zeigegeste zu kompensieren, kann die Größe der Auswahlflächen der Auswahlbereiche 201 mit steigender Entfernung zu dem Kopf 110 und/oder dem Finger 115 des Nutzers vergrößert werden. So kann die Zuverlässigkeit einer auf Zeigegesten beruhenden Benutzerschnittstelle erhöht werden.
Für die in diesem Dokument beschriebene Gesten-basierte Benutzerschnittstelle ist somit keine Blickunterstützung erforderlich. Wenn es die Fahrsituation nicht zulässt, dass ein Nutzer die Eingabefläche 104 betrachtet, oder wenn der Blick eines Nutzers aufgrund einer Sonnenbrille oder der Lichtverhältnisse nicht erkannt werden kann, so kann (ggf. allein) auf Basis der Zeigegestik eine Auswahl getroffen werden. Die Auswahl eines Auswahlbereichs 201 kann somit (ggf. allein) über die Zeigegestik erfolgen. Die Blickrichtung 121 kann jedoch, wenn vorhanden, unterstützend verwendet werden, um die Zuverlässigkeit der Auswahl mittels Zeigegestik zu erhöhen.
Die Zuverlässigkeit der Erkennung der Blickrichtung 121 ist typischerweise von dem Betrachtungswinkel abhängig. Typischerweise sinkt die Zuverlässigkeit der Erkennung der Blickrichtung 121 mit steigendem Betrachtungswinkel, wobei der Betrachtungswinkel Null ist, wenn der Nutzer geradeaus nach vome schaut (z.B. in Fahrtrichtung des Fahrzeugs 100). Die Auswahlflächen der ein oder mehreren von dem Nutzer betrachteten Auswahlbereiche 211 können Größen aufweisen, die von der Zuverlässigkeit der Erkennung der Blickrichtung 121 abhängen.
Insbesondere kann die Vergrößerung der ein oder mehreren von dem Nutzer betrachteten Auswahlbereiche 211 von der Zuverlässigkeit der Erkennung der Blickrichtung 121 abhängen. Bei einer relativ geringen Zuverlässigkeit der Erkennung der Blickrichtung 121 kann eine relativ geringe Vergrößerung erfolgen. Andererseits kann bei einer relativ hohen Zuverlässigkeit der Erkennung der Blickrichtung 121 eine relativ starke Vergrößerung erfolgen. Die Eingabefläche 104 kann derart ausgebildet sein, dass während der Auswahl eines Auswahlbereichs 201 auf der Eingabefiäche 104 keine Rückmeldung darüber erfolgt, auf welchen Auswahlbereich 201 der Nutzer gerade zeigt.
Insbesondere wird kein (farbiger)„Hover“ des Auswahlbereichs 201 angezeigt. So kann verhindert werden, dass der Blick des Nutzers dem Auswahlbereich 201 folgt, auf den der Nutzer gerade zeigt. Mit anderen Worten, es kann eine
Ablenkung des Blicks des Nutzers und somit eine Verfälschung der Sensordaten bezüglich der Blickrichtung 121 vermieden werden. Andererseits kann so erreicht weiden, dass die Blickrichtung 121 des Nutzers mit hoher Wahrscheinlichkeit auf den Auswahlbereich 211 gerichtet ist, den der Nutzer auswählen will (und nicht auf den Auswahlbereich 211 gerichtet ist, in dem eine optische Veränderung erfolgt).
Zur Ermittlung der Zeigerichtung 115 kann ein Zeigevektor ermittelt werden, der die Richtung im (drei dimensionalen) Raum anzeigt, in die der Finger 115 des Nutzers zeigt. Dabei kann der Zeigevektor ggf. auf eine einzige Koordinate (insbesondere die X-Richtung bzw. die Längsrichtung des Fahrzeugs 100) eines kartesischen Koordinatensystems beschränkt sein. Es kann dann ermittelt werden, in welchem Auswahlbereich 211, 201 (ausgehend von dem Finger bzw. der Hand 115 des Nutzers) der Zeigevektor auf der Eingabefiäche 104 auftrifft, um den ausgewählten Auswahlbereich 211, 201 zu ermitteln.
Fig. 3 zeigt ein Ablaufdiagramm eines beispielhaften Verfahrens 300 zur Erfassung bzw. zum Erfassen einer Eingabe eines Nutzers an einer Eingabefläche 104. Die Eingabefläche 104 kann z.B. in einem Fahrzeug 100 ungeordnet sein. Die Eingabefiäche 104 umfasst eine Mehrzahl von Auswahlbereichen 201, wobei die unterschiedlichen Auswahlbereiche 201 mit unterschiedlichen Funktionen assoziiert sein können, die durch Auswahl des jeweiligen Auswahlbereichs 201 ausgelöst werden können. Das Verfahren 300 kann durch die Steuereinheit 101 einer Benutzerschnittstelle und/oder eines Fahrzeugs 100 ausgeführt werden. Das Verfahren 300 umfasst das Erfassen 301 von Sensordaten in Bezug auf den Kopf 110 und in Bezug auf zumindest eine Hand 115 des Nutzers. Zu diesem Zweck kann ein Nutzersensor 103 (z.B. eine Bildkamera) verwendet werden.
Außerdem umfasst das Verfahren 300 das Bestimmen 302, auf Basis der Sensordaten, zumindest eines ersten Auswahlbereichs 211, auf den de Blick des Nutzers gerichtet sein könnte bzw. gerichtet ist. Insbesondere kann auf Basis der Sensordaten eine Blickrichtung 121 des Nutzers ermittelt werden. Es kann dann ermittelt werden, auf welche ein oder mehreren (ersten) Auswahlbereiche 211 die Blickrichtung 121 gerichtet ist. Als Blickrichtung 121 kann dabei eine Richtung des Blicks des Nutzers betrachtet werden, die der Nutzer für eine bestimmte Mindestzeitdauer (z.B. von 300ms oder mehr) einhält. Durch die
Berücksichtigung einer Mindestzeitdauer können Fehlerkennungen der
Blickrichtungen aufgrund von zufälligen Änderungen der Ausrichtung der Augen 111 und/oder des Kopfes 110 vermieden werden.
Die Mindestzeitdauer (z,B. 300ms) kann der Fixationsdauer des menschlichen Auges entsprechen. Nach Ablauf der Mindestzeitdauer kann typischerweise angenommen werden, dass nicht nur der Blick, sondern auch die Aufmerksamkeit des Nutzers auf einem Auswahlbereich 211 lag (zumindest kurzzeitig). Auf Basis der Blickrichtung 121 kann somit der Aufmerksamkeitsfokus des Nutzers bestimmt werden. Bei Betrachtungsdauem, die unterhalb der Mindestzeitdauer liegen, kann angenommen werden, dass ein Auswahlbereich wahrscheinlich nicht durch einen Nutzer wahrgenommen wurde. Die Wahrscheinlichkeit dafür, dass die Aufmerksamkeit auf einem Auswahlbereich 201 liegt, steigt typischerweise mit der Betrachtungs- bzw. Fixationszeitdauer. Die Gewichtung der Blickinformation bei der Auswertung einer Zeigegeste 125 kann somit mit steigender Betrachtungs- bzw. Fixationszeitdauer ansteigen.
Ferner umfasst das Verfahren 300 das Ermitteln 303, auf Basis der Sensordaten, einer Zeigerichtung 125 einer mittels der Hand 115 ausgeführten Zeigegeste des Nutzers. Dabei können die Blickrichtung 121 und die Zeigerichtung 125 zeitlich synchron ermittelt werden (d.h. für den gleichen Zeitpunkt).
Des Weiteren umfasst das Verfahren 300 das Ermitteln 304, auf Basis der Zeigerichtung 125, eines ausgewählten Auswahlbereichs 201, 211 aus der Mehrzahl von Auswahlbereichen 201, wobei der erste Auswahlbereich 211 bei dem Ermitteln 304 eine erhöhte Priorität im Vergleich zu ein oder mehreren anderen der Mehrzahl von Auswahlbereichen 201 aufweist. Die erhöhte Priorität kann z.B. durch eine relative Vergrößerung der Auswahlfläche des ersten Auswahlbereichs 211 relativ zu einem anderen Auswahlbereich 201 bewirkt werden.
Durch die in diesem Dokument beschriebenen Maßnahmen können die
Genauigkeit und/oder die Zuverlässigkeit der Erkennung einer Zeigegestik erhöht werden. Dabei ist für die Ericennung einer Zeigegestik nicht zwingend die
Erkennung der Blickrichtung 121 erforderlich. Es wird somit eine robuste und zuverlässige gestenbasierte Benutzerschnittstelle bereitgestellt.
Die vorliegende Erfindung ist nicht auf die gezeigten Ausfuhrungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.

Claims

Ansprüche
1) Verfahren (300) zur Erfassung einer Eingabe eines Nutzers an einer
Eingabefläche (104); wobei die Eingabefläche (104) eine Mehrzahl von Auswahlbereichen (201) umfasst; wobei das Verfahren (300) umfasst,
- Erfassen (301) von Sensordaten in Bezug auf den Kopf (110) und zumindest eine Hand (115) des Nutzers;
- Bestimmen (302), auf Basis der Sensordaten, zumindest eines ersten Auswahlbereichs (211), auf den der Blick des Nutzers gerichtet sein könnte;
- Ermitteln (303), auf Basis der Sensordaten, einer Zeigerichtung (125) einer mittels der Hand (115) ausgeführten Zeigegeste des Nutzers; und
- Ermitteln (304), auf Basis der Zeigerichtung (125), eines ausgewählten Auswahlbereichs (201, 211) aus der Mehrzahl von Auswahlbereichen (201), wobei der erste Auswahlbereich (211) bei dem Ermitteln (304) eine erhöhte Priorität im Vergleich zu ein oder mehreren anderen der Mehrzahl von Auswahlbereichen (201) aufweist.
2) Verfahren (300) gemäß Anspruch 1, wobei
- das Verfahren umfasst, Erhöhen einer ersten Wahrscheinlichkeit dafür, dass der erste Auswahlbereich (211) mittels einer Zeigegeste durch den Nutzer ausgewählt werden kann, im Vergleich zu einer zweiten Wahrscheinlichkeit dafür, dass ein oder mehrere andere der Mehrzahl von Auswahlbereichen (201) mittels einer Zeigegeste durch den Nutzer ausgewählt werden können; und
- der ausgewählte Auswahlbereich (201 , 211 ) auf Basis der
Zeigerichtung (125) unter Berücksichtigung der ersten und zweiten Wahrscheinlichkeit ermittelt (304) wird. 3) Verfahren (300) gemäß einem der vorhergehenden Ansprüche, wobei die Auswahlbereiche (201) jeweils eine Auswahlfläche aufweisen, auf die der Nutzer zeigen muss, um den jeweiligen Auswahlbereich (201) auszuwählen; und
das Verfahren (300) umfasst, Vergrößern der Auswahlfläche des ersten Auswahlbereichs (211) relativ zu der Auswahlfläche von zumindest einem anderen der Mehrzahl von Auswahlbereichen (201), für das Ermitteln (304) des ausgewählten Auswahlbereichs (201, 211).
4) Verfahren (300) gemäß Anspruch 3, wobei das Verfahren (300) umfasst, Skalieren der Größe der Auswahlflächen der ein oder mehreren anderen der Mehrzahl von Auswahlbereichen (201) in Abhängigkeit von einem Abstand des jeweiligen Auswahlbereichs (201) von dem ersten Auswahlbereich (201).
5) Verfahren (300) gemäß einem der vorhergehenden Ansprüche, wobei
- die Auswahlbereiche (201) der Mehrzahl von Auswahlbereichen (201) in einem Basiszustand jeweils eine Auswahlfläche mit einer jeweiligen Größe aufweisen;
- der Nutzer auf die Auswahlfläche eines Auswahlbereichs (201) zeigen muss, insbesondere für eine Zeitdauer, die gleich wie oder länger als ein Zeitdauer-Schwellenwert ist, um den jeweiligen Auswahlbereich (201) auszuwählen;
- das Verfahren (300) umfasst, Bestimmen, ob auf Basis der
Sensoidaten, eine Blickrichtung (121) des Nutzers ermittelt werden kann;
- das Verfahren (300) umfasst, Ändern der Größe der Auswahlfläche von zumindest einem Auswählbereich (201), insbesondere von dem ersten Auswahlbereich (211), in Abhängigkeit von der Blickrichtung (121), um die Mehrzahl von Auswahlbereichen (201) in einen geänderten Zustand zu versetzen, und Ermitteln (304) des ausgewählten Auswahlbereichs (201) auf Basis der Mehrzahl von Auswahlbereichen (201) in dem geänderten Zustand, wenn die Blickrichtung (121) bestimmt werden kann.
6) Verfahren (300) gemäß Anspruch 5, wobei das Verfahren (300) umfasst, Ermitteln (304) des ausgewählten Auswahlbereichs (201) auf Basis der Mehrzahl von Auswahlbereichen (201) in dem Basiszustand, wenn die Blickrichtung (121) nicht bestimmt werden kann.
7) Verfahren (300) gemäß einem der Ansprüche 5 bis 6, wobei die Größe der Auswahlfläche von zumindest einem Auswahlbereich (201) in Abhängigkeit von einem Grad der Zuverlässigkeit geändert wird, mit dem die Blickrichtung (121) ermittelt werden kann.
8) Verfahren (300) gemäß einem der vorhergehenden Ansprüche, wobei das Verfahren (300) umfasst,
- Ermitteln, auf Basis der Sensordaten, einer Blickrichtung (121) des Nutzers;
- Ermitteln, auf Basis der Blickrichtung (121), einer Mehrzahl von Wahrscheinlichkeitswerten für die Mehrzahl von Auswahlbereichen (201); wobei der Wahrscheinlichkeitswert eines Auswahlbereichs (201) eine Wahrscheinlichkeit dafür anzeigt, dass der Blick des Nutzers auf den jeweiligen Auswahlbereich (201) gerichtet ist; und
- Ermitteln (304) des ausgewählten Auswahlbereichs (201 , 211), in Abhängigkeit von der Mehrzahl von Wahrscheinlichkeitswerten für die Mehrzahl von Auswahlbereichen (201).
9) Verfahren (300) gemäß Anspruch 8, wobei
- die Auswahlbereiche (201) der Mehrzahl von Auswahlbereichen (201) in einem Basiszustand jeweils eine Auswahlfläche mit einer jeweiligen Größe aufweisen;
- die Größe der Mehrzahl von Auswahlbereichen (201) in Abhängigkeit von der Mehrzahl von Wahrscheinlichkeitswerten angepasst wird, um die Mehrzahl von Auswahlbereichen (201) in einen geänderten Zustand zu versetzen; und
der ausgewählte Auswahlbereich (201) auf Basis der Mehrzahl von Auswahlbereichen (201) in dem geänderten Zustand ermittelt (304) wird.
10) Verfahren (300) gemäß einem der vorhergehenden Ansprüche, wobei
- das Verfahren (300) umfasst, Erfassen von Sensordaten an einer
Sequenz von Zeitpunkten;
- das Verfahren (300) umfasst, Ermitteln, auf Basis der Sensordaten an der Sequenz von Zeitpunkten, einer Sequenz von Zeigerichtungen (125);
- das Verfahren (300) umfasst, Ermitteln, auf Basis der Sequenz von Zeigerichtungen (125), dass der Nutzer an der Sequenz von
Zeitpunkten über unterschiedliche Auswahlbereiche (201) der Mehrzahl von Auswahlbereichen (201) schweift; und
- die Tatsache, dass der Nutzer an der Sequenz von Zeitpunkten über unterschiedliche Auswahlbereiche (201) schweift, optisch nicht auf der Anzeigefläche (104) angezeigt wird.
11) Verfahren (300) gemäß einem der vorhergehenden Ansprüche, wobei
- die Sensordaten an einem ersten Zeitpunkt erfasst werden;
- der zumindest eine erste Auswahlbereich (211) bestimmt (302) wird, auf den der Blick des Nutzers an dem ersten Zeitpunkt gerichtet sein könnte; und
- die Zeigerichtung (125) einer mittels der Hand (115) an dem ersten Zeitpunkt ausgeführten Zeigegeste des Nutzers ermittelt (303) wird.
12) Verfahren (300) gemäß einem der vorhergehenden Ansprüche, wobei das Verfahren (300) umfasst, Ermitteln von Güte-Information in Bezug auf eine Zuverlässigkeit, mit der eine Blickrichtung (121) und/oder die Zeigerichtiihg (125) ermittelt werden können; und
Anpassen einer Gewichtung der ermittelten Blickrichtung (121) und/oder der ermittelten Zeigerichtung (125), insbesondere Anpassen eines Ausmaßes der Priorisiemng des ersten Auswahlbereichs (211), beim Ermitteln (304) des ausgewählten Auswahlbereichs (201), in Abhängigkeit von der Güte-Information. 13) Benutzerschnittstelle zur Erfassung einer Eingabe eines Nutzers; wobei die
Benutzerschnittstelle umfasst,
- eine Eingabefläche (104), die in eine Mehrzahl von Auswahlbereichen (201) unterteilt ist;
- zumindest einen Nutzersensor (103), der eingerichtet ist, Sensordaten in Bezug auf den Kopf (110) und eine Hand (115) des Nutzers zu erfassen; und
- eine Steuereinheit (101), die eingerichtet ist,
- auf Basis der Sensordaten zumindest einen ersten Auswahlbereich (211) aus der Mehrzahl von Auswahlbereichen zu bestimmen, auf den der Blick des Nutzers gerichtet sein könnte;
- auf Basis der Sensordaten eine Zeigerichtung (125) einer mittels der Hand (115) ausgeführten Zeigegeste des Nutzers zu ermitteln; und
- auf Basis der Zeigerichtung (125) einen ausgewählten
Auswahlbereich (201, 211) aus der Mehrzahl von
Auswahlbereichen (201) zu ermitteln, wobei der erste
Auswahlbereich (211) bei der Ermittlung des ausgewählten Auswahlbereichs (201, 211) eine erhöhte Priorität im Vergleich zu ein oder mehreren anderen der Mehrzahl von Auswahlbereichen (201) aufweist.
14) Benutzerschnittstelle gemäß Anspruch 13, wobei
- die Eingabefläche (104) einen Bildschirm umfasst, der eingerichtet ist, die Mehrzahl von Auswahlbereichen (201) anzuzeigen; und/oder
- die Eingabefläche (104) Teil eines Straßenkraftfahrzeugs (100) ist.
15) Benutzerschnittstelle gemäß einem der Ansprüche 13 bis 14, wobei
- die Mehrzahl von Auswahlbereichen (201 ) mit einer entsprechenden Mehrzahl von Funktionen assoziiert ist; und
- die Steuereinheit (101) eingerichtet ist, zu veranlassen, dass die mit dem ausgewählten Auswahlbereich (201, 211) assoziiert Funktion ausgeführt wird.
PCT/EP2019/068737 2018-07-12 2019-07-11 Verfahren und benutzerschnittstelle zur erfassung einer eingabe mittels zeigegestik WO2020011943A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201980030140.4A CN112074801A (zh) 2018-07-12 2019-07-11 用于检测通过指向手势的输入的方法和用户界面

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018211624.5 2018-07-12
DE102018211624.5A DE102018211624A1 (de) 2018-07-12 2018-07-12 Verfahren und Benutzerschnittstelle zur Erfassung einer Eingabe mittels Zeigegestik

Publications (1)

Publication Number Publication Date
WO2020011943A1 true WO2020011943A1 (de) 2020-01-16

Family

ID=67514581

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/068737 WO2020011943A1 (de) 2018-07-12 2019-07-11 Verfahren und benutzerschnittstelle zur erfassung einer eingabe mittels zeigegestik

Country Status (3)

Country Link
CN (1) CN112074801A (de)
DE (1) DE102018211624A1 (de)
WO (1) WO2020011943A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020214556A1 (de) 2020-11-19 2022-05-19 Volkswagen Aktiengesellschaft Kommunikationssystem für ein Fahrzeug zum Vorgehen bei einer Schlafstörung eines Insassen

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US20110254865A1 (en) * 2010-04-16 2011-10-20 Yee Jadine N Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
EP2843507A1 (de) * 2013-08-26 2015-03-04 Thomson Licensing Anzeigeverfahren durch eine kopfmontierte Vorrichtung
EP3118722A1 (de) * 2015-07-14 2017-01-18 Nokia Technologies Oy Vermittelte realität
DE102015115526A1 (de) * 2015-09-15 2017-03-16 Visteon Global Technologies, Inc. Verfahren zur Zielerfassung von Zielobjekten, insbesondere zur Zielerfassung von Bedienelementen in einem Fahrzeug
US20180046851A1 (en) * 2016-08-15 2018-02-15 Apple Inc. Command processing using multimodal signal analysis

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9529530B2 (en) * 2013-08-16 2016-12-27 Edward Lau Electronic device and gesture input method of item selection
JP6331567B2 (ja) * 2014-03-27 2018-05-30 株式会社デンソー 車両用表示入力装置
US10121063B2 (en) * 2015-01-12 2018-11-06 BMT Business Meets Technology Holding AG Wink gesture based control system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US20110254865A1 (en) * 2010-04-16 2011-10-20 Yee Jadine N Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
EP2843507A1 (de) * 2013-08-26 2015-03-04 Thomson Licensing Anzeigeverfahren durch eine kopfmontierte Vorrichtung
EP3118722A1 (de) * 2015-07-14 2017-01-18 Nokia Technologies Oy Vermittelte realität
DE102015115526A1 (de) * 2015-09-15 2017-03-16 Visteon Global Technologies, Inc. Verfahren zur Zielerfassung von Zielobjekten, insbesondere zur Zielerfassung von Bedienelementen in einem Fahrzeug
US20180046851A1 (en) * 2016-08-15 2018-02-15 Apple Inc. Command processing using multimodal signal analysis

Also Published As

Publication number Publication date
CN112074801A (zh) 2020-12-11
DE102018211624A1 (de) 2020-01-16

Similar Documents

Publication Publication Date Title
DE112014003563B4 (de) Vorrichtung und Verfahren zur Gestenbestimmung, Gestenbedienungsvorrichtung, Programm und Aufzeichnungsmedium
WO2017211817A1 (de) Bedienvorrichtung mit eyetrackereinheit und verfahren zum kalibrieren einer eyetrackereinheit einer bedienvorrichtung
DE102018127163B4 (de) Vorrichtung, verfahren und programm zur fahrerzustandsbestimmung
DE102012222972A1 (de) Verfahren und Einrichtung zur Ermittlung einer Trajektorie eines Fahrmanövers
DE102017211005A1 (de) Fahrerzustandsüberwachung unter verwendung der hornhautreflexionserfassung
DE102017000249A1 (de) Fahrassistenzsystem
DE102015115526A1 (de) Verfahren zur Zielerfassung von Zielobjekten, insbesondere zur Zielerfassung von Bedienelementen in einem Fahrzeug
DE102016201531A1 (de) Verfahren und Vorrichtung zum Erkennen von Müdigkeit eines Fahrers
DE102015214116A1 (de) Verfahren und Einrichtung zum Schätzen einer Blickrichtung eines Fahrzeuginsassen, Verfahren und Einrichtung zum Bestimmen eines für einen Fahrzeuginsassen spezifischen Kopfbewegungsverstärkungsparameters und Verfahren und Vorrichtung zum Blickrichtungsschätzen eines Fahrzeuginsassen
DE112014007127T5 (de) Verfahren und System zum Kalibrieren eines Eye-Tracking-Systems
DE102014204800A1 (de) Verfahren und Vorrichtung zum Bereitstellen einer graphischen Nutzerschnittstelle in einem Fahrzeug
WO2015162058A1 (de) Gesteninteraktion mit einem fahrerinformationssystem eines fahrzeuges
WO2020011943A1 (de) Verfahren und benutzerschnittstelle zur erfassung einer eingabe mittels zeigegestik
WO2014111241A1 (de) Verfahren und system zum steuern wenigstens einer funktionseinheit sowie kraftwagen und mobiles endgerät mit einem solchen system
WO2014067774A1 (de) Verfahren und vorrichtung zum betreiben einer eingabevorrichtung
WO2014114425A1 (de) Verfahren und anzeigesystem zum blickrichtungsabhängigen skalieren einer darstellung
DE102017214546B4 (de) Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
DE102018004662A1 (de) Optisches Erfassungssystem mit variablem Charakteristik-Bereich via dynamischer "Pixelselektion" - gesteuert mit von Systemen zugeführten Steuerungsparameter und/oder gesteuert mittels eigenermittelten Steuerungsparameter
DE102020125780A1 (de) Vorrichtung und verfahren zum steuern einer fahrzeughöhe
DE102018209838A1 (de) Steuersystem
WO2020052894A1 (de) Verfahren zum unterstützen eines benutzers beim durchführen eines scroll-vorgangs, vorrichtung und kraftfahrzeug
DE102018211908A1 (de) Verfahren für das Erfassen eines digitalen Bildes einer Umgebung eines Kraftfahrzeugs sowie Kraftfahrzeug mit einer Bilderfassungseinrichtung
DE102018208833A1 (de) System und Verfahren für Ansteuerung der Kartennavigation eines Fahrzeuges
DE102019003061B4 (de) Vorrichtung zum Prüfen eines optischen Erfassungssystems für ein Kraftfahrzeug, sowie ein Verfahren hierzu
DE102017211089A1 (de) Vorrichtung für ein Kraftfahrzeug zur Kommunikation mit einem weiteren Kraftfahrzeug und/oder zum autonomen Nachverfolgen eines weiteren Kraftfahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19748729

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19748729

Country of ref document: EP

Kind code of ref document: A1