WO2017054894A1 - Interaktives bediensystem und verfahren zum durchführen einer bedienhandlung bei einem interaktiven bediensystem - Google Patents

Interaktives bediensystem und verfahren zum durchführen einer bedienhandlung bei einem interaktiven bediensystem Download PDF

Info

Publication number
WO2017054894A1
WO2017054894A1 PCT/EP2016/001134 EP2016001134W WO2017054894A1 WO 2017054894 A1 WO2017054894 A1 WO 2017054894A1 EP 2016001134 W EP2016001134 W EP 2016001134W WO 2017054894 A1 WO2017054894 A1 WO 2017054894A1
Authority
WO
WIPO (PCT)
Prior art keywords
displayed
area
hand
display
cursor
Prior art date
Application number
PCT/EP2016/001134
Other languages
English (en)
French (fr)
Inventor
Paul Sprickmann Kerkerinck
Original Assignee
Audi Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi Ag filed Critical Audi Ag
Publication of WO2017054894A1 publication Critical patent/WO2017054894A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08—Cursor circuits

Definitions

  • the present invention relates to an interactive operating system with the features according to claim 1 and to a method for performing an operating action in an interactive operating system with the features according to claim 9.
  • DE 10 2013 207 528 A1 describes a method for interacting with an object that is displayed to a user through data glasses, comprising: displaying an object to the user by means of the display of the data glasses; Detecting that the user closes his first eye and keeps it closed for a predetermined period of time, in particular using a first camera that captures the user's eye; Picking up a hand of the user; especially with the help of a second camera; Determining that the user performs an input manipulation on the object during the time period; wherein the inputting action is that the user's hand assumes a posture and, from the perspective of the second eye of the user with respect to the object, a position that satisfies a predetermined condition; Performing an action on the object with the action pre-assigned to the input action.
  • DE 10 2013 215 370 A1 discloses a control device for use in a motor vehicle having a head-up display, by means of which information is displayed to an operator on an image surface arranged in the forward direction of travel, as well as with an operating device having an input device and a feedback device, wherein at least two classes of display objects are displayed or designated on the head-up display, wherein at least these two classes of display objects are addressed by different classes of operating commands or sequences of operating commands.
  • a feedback symbol (cursor) is displayed, which indicates which display object relates to a subsequently entered operating command, wherein selection commands can be entered, inter alia, by a gesture.
  • a feedback symbol In contrast to the operation with an input device such as a computer mouse, a trackball or by means of fingers on a touchpad, a hand does not have a guide when operated by a free gesture. Therefore, only a relatively coarse positioning of an input pointer (cursor) can take place here, and it is often difficult for a user of a gesture operating system to "hit" a displayed, selectable, graphic element with an input pointer.
  • an operation by means of free gestures is often also used when a display area or operating elements on the display device are not in the gripping area of the operator, for example due to a safety belt applied by a vehicle occupant.
  • the usual today cursor cursor
  • cursor such as in the form of an arrow or a crosshair are too small to allow a relaxed, fluid operation.
  • an interactive operating system which comprises a sensor device for acquiring image data in chronological sequence within a detection range of the sensor device and for transmitting the acquired image data to an evaluation device,
  • an evaluation device for evaluating the image data transmitted by the sensor device and for transmitting data relating to a position of a detected hand within the detection range determined by the evaluation to a control device
  • a display device having a display area in or on which one or more graphic elements which can be selected by means of a displayable cursor symbol can be displayed, and
  • control device by means of which, on the basis of the data transmitted by the evaluation device, the cursor symbol can be displayed as a function of a position of the hand in the detection area in or on the display surface of the display device,
  • the evaluation device is configured to evaluate to them transmitted from the sensor device image data to determine whether a detected hand within the detection range performs a free gesture in which at least two fingers of the hand of a first, greater distance to a second, smaller distance from each other and to transmit corresponding data to the controller, and
  • the control device is adapted to control the display device such that the cursor icon in the form of a closed Curve or in the form of the edges of a polygon in or on the display surface is displayed, and that upon transmission of data of such a gesture by the evaluation device, the size of the displayed in or on the display surface cursor icon is changed so that the of the closed curve or the edge of the polygon covered area is reduced from a first, larger area to a second, smaller area.
  • the interactive operating system has the advantage that a cursor symbol in the form of a closed curve or in the form of the edges of a polygon as an input pointer can be significantly larger than an arrow or a similar cursor symbol, without relevant, in particular selectable graphic elements (such as objects, controls) because the area within such a cursor symbol does not obscure the display on or in a display area, but merely "circles around" or includes.
  • an operator of the interactive control system receives immediate feedback as to whether he is making his free gesture within the coverage area and whether his free gesture is recognized as having at least two fingers of his hand moving toward each other, as in only one case in which both conditions are met, the cursor symbol is reduced on or in the display area.
  • control device is further configured to determine that in or on the display surface displayed, selectable, graphic element whose centroid has the smallest distance to the centroid of the displayed in or on the display surface cursor symbol and in the case where the distance has a first non-zero value, automatically shifting the position of the centroid of the displayed cursor icon during the change of the area of the displayed cursor icon from the first, larger area to the second, smaller area, the distance between the area centroid of the displayed cursor symbol and the area centroid of the determined displayed graphic element assumes a second value which is closer to zero than the first value and is preferably zero.
  • control device is further configured to control the second, smaller area covered by the cursor symbol to such a size that the area of the displayed cursor area enclosed by the closed curve or the edges of the polygon is. Symbols in the range of 50% to 200%, preferably in the range of 75% to 175%, particularly preferably in the range of 90% to 150% of the area of the displayed graphic element.
  • control device is further configured to display the cursor icon with the second, smaller area in or on the display area as long as the at least two fingers of the hand performing the gesture are within the detection area have a second, smaller distance from each other.
  • control device is further configured to adjust the position of the displayed cursor, comprising a second, smaller area in or on the display area. Symbols according to a movement of the gesture performing hand to change within the coverage area, where it can optionally be provided that a change in the position of the displayed cursor icon only after performing a movement of this hand over a predetermined minimum path length within the coverage.
  • control device can also be advantageously configured, after reaching a second, smaller distance of the at least two fingers of the hand performing the gesture, to carry out an action with respect to the displayed, selectable, graphic element whose centroid has the smallest distance to the centroid of the cursor icon, the action has been assigned to this graphic element in advance, if the at least two fingers of the hand performing the gesture within the detection range maintained a second, smaller distance from each other for a predeterminable period or within a predeterminable Period another operator action is performed by an operator of the interactive control system.
  • the display device may advantageously comprise a graphics-capable screen, a head-up display or a data goggles (retina projector), and the sensor device may comprise one or more visible light camera devices, one or more infrared infrared camera devices Light, one or more radar devices, and / or one or more time-of-flight devices.
  • the sensor device may comprise one or more visible light camera devices, one or more infrared infrared camera devices Light, one or more radar devices, and / or one or more time-of-flight devices.
  • the present invention also includes a method for performing an operation on an interactive operation system that
  • a sensor device for acquiring image data in chronological sequence within a detection range of the sensor device and for transmitting the acquired image data to an evaluation device
  • an evaluation device for evaluating the image data transmitted by the sensor device and for transmitting data relating to a position of a detected hand within the detection range determined by the evaluation to a control device
  • a display device having a display area in or on which one or more graphic elements which can be selected by means of a displayable cursor symbol can be displayed, and a control device, by means of which, on the basis of the data transmitted by the evaluation device, the cursor symbol can be displayed as a function of a position of the hand in the detection area in or on the display surface of the display device.
  • a cursor symbol as a function of a position of a hand in the detection area of a sensor device in the form of a closed curve or in the form of the edges of a polygon in or on a display surface of a display device, that of the closed curve or the edges of the polygon covered surface has a first, larger area
  • this further comprises
  • the single FIGURE shows two states of a display area of the interactive control system with at least one displayed, selectable, graphic element and a cursor symbol in the form of a ring with an associated, exemplary hand position is shown for each of the two states.
  • the illustrations in the figure are purely schematic and not to scale. Within the figure, the same or similar elements are provided with the same reference numerals.
  • the interactive operating system has a sensor device (not shown in the figure) for acquiring image data in chronological sequence within a detection range of the sensor device and for transmitting the acquired image data to an evaluation device.
  • the sensor device of the interactive operating system preferably has as detection device one or more visible light camera devices, one or more infrared light camera devices, one or more radar devices, and / or one or more time-of-flight devices.
  • the sensor device can, for example, also have a "light source" which serves to illuminate the detection area of the sensor device Infrared LEDs) are illuminated without the risk of glare for an operator of the interactive control system is given.
  • Detecting devices of the sensor device based on different technical principles can be used simultaneously or alternatively to capture image data.
  • simultaneous acquisition of image data by technically diverse detection devices eg by a camera device for visible light and a radar device, by a camera device for visible light and a camera device for infrared light, etc.
  • evaluation of the image data of the technically diverse detection devices by the evaluation device can be increased, for example, the recognition rate with respect to the hand gesture.
  • the interactive operating system preferably has a sensor device with which stereoscopic or three-dimensional images can be detected. This facilitates, for example, the detection of the upper extremities of an operator of the interactive operating system, since it is easier to differentiate between upper extremities, background and foreground within the detection range of the sensor device than is the case with two-dimensional image acquisition.
  • Stereoscopic or three-dimensional image acquisition can, for example, be achieved in a manner known per se by a corresponding stereoscopic arrangement and alignment of the detection axes of two camera devices for visible or infrared light and a corresponding evaluation of the acquired image data by the evaluation device.
  • the position and / or movement of a hand and the fingers within the detection range of the radar device can be detected spatially. Due to the (further) developments of recent years, the sizes of radar devices have been increasingly reduced, so that they can now be used for the interactive control system according to the present invention in many cases even with a limited space available.
  • the sensor device of the interactive operating system according to the present invention has one or more so-called “time-of-flight devices", wherein the interactive operating system can of course have further, technically different image acquisition devices.
  • a signal emitted by a transmitting device is known to be reflected at an object and the reflected signal is detected by a receiving device. Based on the speed and the duration of the signal, the distance of the object from the receiving device can be determined.
  • One of the most well-known time-of-flight device is a PMD or PMD camera system.
  • a PMD sensor has a single or, as a rule, multicell array of PMD detector elements and a receiving optics.
  • One or more PMD systems or PMD camera systems may be provided in a preferred manner in the interactive control system. It should be noted, however, that a sensor device with which stereoscopic or three-dimensional images can be detected is not a mandatory feature of the interactive operating system, and therefore also a sensor device with which only two-dimensional images can be detected is or will be sufficient in many cases can. Even if it should be advantageous or necessary for the interactive operating system according to the present invention to be able to recognize the position of a hand in space, the acquisition of only two-dimensional images may be sufficient since the position can also be determined from two-dimensional images by means of corresponding, intelligent algorithms of an object in space (at least approximately) can be determined.
  • the detection of the movement of the hand by the sensor device with an at least sufficient time sequence for the purpose of the invention for example in the range of 15 to 40 acquisitions (images) per second ( 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39 or Of course, it is also necessary to provide a sufficient resolution of the captured images, so that the gesture of one hand can be detected by the evaluation device with at least two fingers with at least sufficient security
  • the sensor device detected images can of course the known Image enhancement methods (in terms of brightness, contrast, brightness distribution, etc.) are used to improve the detection performance with respect to a free hand gesture performed in space.
  • the detection range of the sensor device is not particularly limited and, in a simple case, may be due to the structure and orientation (detection angle) of the sensor device.
  • a subarea of an available space can be realized in a particularly simple manner with the aid of a sensor device with which stereoscopic or three-dimensional images can be detected.
  • the interactive operating system has an evaluation device for evaluating the image data transmitted by the sensor device and for transmitting data relating to a position of a detected hand determined by the evaluation within the detection region to a control device.
  • the evaluation device can be any suitable device.
  • an evaluation device may include a picture evaluation system known per se, in which images captured by the sensor device are evaluated by means of a suitable combination of hardware (computer, digital computing device) and software (image evaluation and possibly image enhancement software) ,
  • the display device which is another component of the interactive control system according to the present invention, and which has a (real or virtual) display area 1 in or on which one or more graphic elements 3 that can be selected by means of a displayable cursor symbol 2 can be displayed , there are no special restrictions
  • the display device may advantageously comprise, for example, a graphics-capable (if necessary also touch-sensitive and / or proximity-sensitive) screen, a head-up display or a data goggles (a retina projector).
  • the displays in or on the display area 1 of the display device are controlled by a controller.
  • This control device is adapted to display the cursor symbol 2 in the form of a closed curve or in the form of the edges of a polygon in or on the display surface 1, and upon transmission of data of a free gesture in which at least two fingers Move a hand from a first, greater distance to a second, smaller distance to each other, by the evaluation device, the size of the displayed in or on the display surface 1 cursor icon 2 is changed such that the of the closed curve or the edges of Polygon's area was reduced from a first, larger area to a smaller, smaller area.
  • the change in the size of the cursor symbol 2 is preferably not sudden - even if such a sudden change is encompassed by the present invention - but over a predetermined period of time, particularly preferably as synchronously as possible to carry out the above-defined gesture.
  • the size of the displayed cursor symbol 2 is thus preferably dynamically changeable.
  • the closed-curve cursor symbol 2 is preferably a simple closed curve, such as a circular or oval ring. And in the polygon, through whose edges the cursor symbol 2 can be formed, it is preferably a simple polygon, such as a (preferably regular) triangle, square, pentagon, hexagon, heptagon, octagon, etc.
  • the line with which the cursor icon 2 is displayed may have any suitable line weight. Also, it is encompassed by the present invention if the line with which the cursor icon 2 is displayed is not completely closed, ie, without any interruption. Thus, according to the present invention, the latter can also have at least one or more brief interruptions, so that the displayed line of the cursor symbol 2 is only about 95%, 90%, 85%, 80% or 75% of the corresponding, uninterrupted corresponding line of the closed curve or the corresponding, continuous edges of the polygon.
  • the manner of displaying the selectable graphic elements 3 displayed in or on the display area 1 is advantageously not particularly influenced by the display of the cursor symbol 2. In particular, this applies to the area of the display area 1, which is enclosed by the cursor icon 2.
  • the cursor symbol 2 can indeed be displayed "above” one or more displayed, selectable, graphical elements 3, ie the closed curve or the edges of a polygon, by which the cursor symbol 2 in or on the display surface 1, one or more "underlying” displayed selectable graphical elements 3 may "overlay" that the remaining area of the displayed one or more of the selectable graphical elements 3 is displayed in or on the display area 1, however.
  • the control device of the interactive operating system may likewise be a suitable combination of hardware and software, by means of which control signals for the display device can be generated on the basis of the results of the evaluation device and transmitted to them.
  • the evaluation and control device can be designed as separate components / assemblies or as a common component or common assembly of the system according to the invention.
  • the operating system according to the present invention serves to be able to operate one or more devices interactively, it is preferred that the transmission of the acquired image data to the evaluation device takes place with little delay, that the evaluation of the image data transmitted to it takes place with little delay, that the transmission of the Data from the evaluation device to the control device takes place with little delay that the activation of the display device by the control device takes place with little delay and that the display of the cursor symbol 2 takes place with little delay due to the control by the control device.
  • all the devices of the interactive operating system according to the present invention are advantageously set up and cooperate in such a way that within the shortest possible time interval (of, for example, 0.01 s, 0.02 s, 0.03 s, 0, 04 s, 0.05 s, 0.06 s, 0.07 s, 0.08 s, 0.09 s, 0.10 s, 0.15 s, 0.20 s, 0.25 s, 0, 30 s, 0.35 s, 0.40 s, 0.45 s, 0.5 s) between performing a free gesture by operating at least two fingers of the hand from a first, greater distance to a second, smaller distance to move toward each other, a corresponding reduction of the displayed in or on the display surface 1 of the display device GE cursor symbol 2 takes place. In a preferred manner, this reduction thus takes place at the same time as possible with the movement of the at least two fingers toward one another.
  • the shortest possible time interval of, for example, 0.01 s, 0.02 s, 0.03 s, 0, 04 s
  • control means of the interactive control system is further adapted to determine the selectable graphic element 3 displayed in or on the display surface 1, the centroid of which is closest to the centroid of the surface in or on the display surface 1, and in the case where the distance has a first non-zero value, the position of the centroid of the displayed cursor icon 2 during the change of the area of the displayed cursor icon 2 from the first, larger one Area on the second, smaller area so automatically (preferably dynamically, ie as synchronously as possible to move the above-defined gesture) to move, that the distance between the centroid of the displayed cursor icon 2 and the centroid of the determined, displayed element 3 a second Takes value, d it is closer to zero than the first value and is preferably zero.
  • non-zero Unless referred to above as a value "non-zero”, this is to be understood as meaning a value for the non-zero pixel, nonzero centimeter, non-zero millimeter or similar distance in or on the display surface
  • the distance between the center of gravity areas of the displayed cursor symbol 2 and the nearest, displayed, selectable, graphic element 3 is automatically reduced during the displacement of the cursor symbol 2, preferably to zero, that is to say that both centroids at the end of the Changing the distance in or on the display surface 1 preferably occupy the same position.
  • the result of such a displacement, with simultaneous reduction of the area covered by the cursor 2 is shown schematically and exemplarily in the lower part of the figure.
  • the position of the displayed cursor icon 2 is tracked accordingly.
  • the size of the displayed cursor symbol 2, in which the area encompassed by the closed curve or the edges of the polygon has a first, larger area is not particularly limited. However, when performing a free gesture in which at least two fingers of a hand move toward each other, in the detection range of the sensor device, a reduction of the surrounded by the displayed cursor icon 2 surface should be made, and this reduction by an operator of the interactive control system also can be perceived as such, it can be provided that the first, larger area in the range from 250% to 1000% (250%, 300%, 350%, 400%, 450%, 500%, 550%, 600%, 650%, 700%, 750%, 800%, 850%, 900%, 1000%) of the largest selectable element displayed in or on the display area is 3.
  • the strength and / or color of the displayed curve or edges of the polygon is not particularly limited and will be determined by a person skilled in the art, taking into account the nature of the display device, the presumed or given distance of the operator's eyes from the display surface, the environmental conditions (e.g. Brightness), under which the interactive control system is used, etc. are selected so that the cursor icon 2 can be detected by a human safely and effortlessly.
  • the displayed line thickness, color and / or display mode of the displayed curve or the edges of the polygon in a reduction of the area covered by the closed curve or the edges of the polygon from a first, larger area to a second, smaller Area remains unchanged, and that at least one of them changes, for example, that with such a reduction, the line thickness decreases from a first, thicker line thickness to a second, thinner line thickness.
  • the cursor symbol 2 may, for example, be provided that the color of the displayed curve or the edges of the polygon or the display type changes, for example the cursor symbol 2 in a changed color or periodically changing color and / or brightness is displayed.
  • a square element is provided with the reference numeral 3 and this element represents a selectable graphic element 3 in the sense of the present invention.
  • it can may be other selectable graphic elements, or may be one, several or all of the graphical elements displayed, but which are in a given situation or in principle not selectable.
  • a selectable graphical element 3 may be an icon or other graphical object that is optically distinct from its environment and is spatially distinct from other displayed graphic elements in and on the display surface and in the display surface thereof
  • a program or app is started, a folder or a file is opened, information is indicates a device is started or stopped (enabled or disabled), or adjustments or adjustments can be made to a device.
  • a non-selectable graphical element may, for example, be one that displays only information, such as a temperature or status of a device.
  • the line forming the cursor symbol 2 "covers" certain areas of some displayed graphic elements, the remaining areas of the elements involved being enclosed within the line Surface of the cursor icon 2, and the graphical elements displayed entirely within that area are preferably displayed in the same manner as those elements and constituents of elements located outside the cursor icon 2. This will ensure in that an operator of the interactive operating system can at any time see the illustrated graphical elements and recognize their meaning.
  • the evaluation device Is recognized by the evaluation device a free gesture of a hand in the detection range of the sensor device in which at least two fingers of the hand from a first, greater distance to a second, smaller distance to each other to move (as they, for example, by the two on the right side the hand positions represented in FIG. 1 are symbolized), the displayed cursor symbol 2 is changed by the control device on the basis of the data transmitted to it by the evaluation device such that the surface encompassed by the closed curve or the edges of the polygon faces a first, larger surface is reduced to a second, smaller area.
  • a further advantageous embodiment of the present invention is shown, namely that the second, smaller area covered by the displayed cursor symbol 2 is controlled only to such a size that the one of the closed curve or the Edge of the polygon enclosed area of the displayed cursor icon 2 is in the range of 50% to 200%, preferably in the range of 75% to 175%, particularly preferably in the range of 90% to 150% of the area of the displayed graphic element 3.
  • the graphic element 3 is in a "selected state.”
  • the manner of displaying the selected element 3 may be changed, for example
  • the selected graphic element 3 may be displayed in a different color, different brightness, a periodically changing color and / or a periodically changing brightness than before the "selected state”. It can also be provided, for example, that a signal tone indicative of the "selected state" or a corresponding spoken advice is output to the operator of the interactive operating system.
  • control device is further configured to display the cursor symbol 2 with the second, smaller area as long as possible the at least two fingers of the free gesture performing hand within the detection area have a second, smaller distance from each other. It can also be provided that the position of the displayed, a smaller area in or on the display device, the displayed cursor icon 2 is changed according to a movement of the gesture performing hand within the detection range, which may optionally be provided that a change the position of the displayed cursor icon 2 is carried out only after carrying out a movement of the hand over a predeterminable minimum path length within the detection range.
  • centroid of the cursor symbol 2 to the centroid of the nearest, displayed, selectable, graphical element 3 is to serve to an operator of the interactive control system to "select” (aim and aim) such a graphical element 3 by "quasi” “magnetic” and often barely perceptible to the operator, the area centroid of the cursor icon 2 in the direction of the nearest, selectable, graphic element 3 "pulled” is.
  • the interactive operating system is intended to include all conceivable and possible devices, such as any machine, a plant (production or work facility with multiple facilities), a vehicle, a vehicle-mounted device, a mobile or stationary, electronic device
  • a mobile phone smart phone
  • a tablet computer a personal computer
  • a device in the field of consumer electronics, etc. or to be able to serve parts thereof and / or to be part of such a device can continue in an advantageous manner be provided that after reaching a second, smaller distance of the at least two fingers of the free gesture performing hand an action is performed with respect to the one displayed, selectable graphical element 3, the centroid of the smallest distance to the centroid of the cursor symbol.
  • the "action” taken is not particularly limited and may include, for example, the actions usually associated with the operation of a stationary or mobile computer (such as a personal computer, tablet computer), a mobile phone (such as a smartphone), a machine, or a computer Are such as starting or closing a program or app, opening or closing a file, making settings or selections in a program or app, editing files, changing parameters, and / or the generation and transmission of control commands, etc.
  • the further operating action (the first operating action here is the gesture of the operator in the detection range of the sensor device, in which at least two fingers of a hand move from a first, larger distance to a second smaller distance toward one another) is not particularly limited and it
  • this further operator action may be a further gesture, an actuating action with an operating device (a switch, a rocker, a touchpad, etc.) or a voice command.
  • a gesture is provided as a further operating action, this may be a turning of the hand, a movement of the hand in the direction of the (real or virtual) display area ("pressing") and / or a movement of the hand away from the (real or virtual) display area (“Pulling") - each in the detection range of the sensor device - include, the latter operating action is often detected in an advantageous manner most secure from the currently available sensor and evaluation devices.
  • the interactive operating system is intended to include all conceivable and possible devices, such as any machine, a system (production or work installation with several devices), a vehicle, a vehicle-side device , a mobile or stationary electronic device, such as a mobile phone (smartphone), a tablet computer, a personal computer, a device in the field of consumer electronics, etc. or to be able to serve a part thereof or a part thereof To be institution.
  • devices such as any machine, a system (production or work installation with several devices), a vehicle, a vehicle-side device , a mobile or stationary electronic device, such as a mobile phone (smartphone), a tablet computer, a personal computer, a device in the field of consumer electronics, etc. or to be able to serve a part thereof or a part thereof To be institution.
  • the interactive control system may be part of a mobile phone, a personal digital assistant, a tablet PC, a mobile or stationary device for playing music and / or video data, a game console, a television, etc., as well as part of any machine (such as a power tool) vehicle) or plant or a component of a device of a machine (such as a driver assistance system) or system.
  • the devices, machines and systems mentioned, etc. comprise all the elements of the interactive operating system, that is to say a sensor device, evaluation device, display device and control device respectively configured according to the present invention.
  • individual or all elements of the interactive operating system can also be present or provided separately from the devices, machines, installations, etc., that is to say, ie. it may be the sensor device, evaluation device, display device and / or the control device of the device, the machine, system, etc. or a part thereof separate facilities, or it may be in the interactive control system to a stand-alone device.
  • multiple data are to be transmitted from one device to another device of the interactive operating system.
  • data is often required to be communicated from the interactive control system to other devices, such as a device, machine, equipment, etc. or part thereof.
  • the transmission can be done in all known ways and ways, for example. Wired, wireless (such as by radio waves or light) and / or by means of a bus system.
  • transmission of data via a network is encompassed by the present invention.
  • data is transmitted in digital form.
  • Fingertips of the thumb and forefinger include, one to move towards the fingertips of the thumb, forefinger and middle finger, one to move on the fingertips of the thumb, forefinger, middle finger and Ring finger, a moving towards the fingertips of all fingers of a hand, or a gripping motion in which the fingers of the hand eventually form a fist.
  • the operation of graphical user interfaces on screens, head-up displays or data glasses with hand or arm gestures in free space excludes the possibility of a haptic feedback, so that other modalities, in particular an optical feedback for intuitive and fluid operation of special Meaning are.
  • the cursor keys used today for operation with an input device (such as mouse, trackball, etc.) or with fingers (touch input) are not well suited for operation by means of a free gesture, as with a movement of the hand in space the haptic feedback is missing. Since the hand has no guidance, the positioning is rather crude compared to the mouse or touch control.
  • an input pointer is proposed in the form of a closed curve (for example in the form of a ring) or a polygon whose size can be changed (preferably dynamically).
  • Diameter of the input pointer is thus preferably dynamically changeable.
  • a ring as an input pointer can be significantly larger than an arrow, without concealing relevant objects (such as selectable graphic elements), because the interior (the center) of the ring is not covered, but encircled.
  • the operator's "picking" of the graphical element is directly reflected by a decreasing ring according to the present invention.
  • suitable sensors such as 2D / 3D camera (s), etc. are provided, which detect a gesture control room.
  • the gesture sensor recognizes a "closing of the hand” (the execution of the above-mentioned gesture) and, if possible, reduces the diameter of the ring parallel to it. At least two fingers should preferably not be much smaller than the "gripped” graphic object (element), so that this remains visible even in the "gripped state” in the ring.
  • the center of the ring is centered on the object to be gripped. Then this object is exactly encircled in the gripped state. This provides perfect visual feedback for the gesture operation during gesture operation.
  • the present invention provides an interactive operator control system and method for performing an operator action in an interactive operator system in which the operator-in-itself and the presentation of image content occur in a manner that is specific to the physical characteristics of the human Measures consideration and this designed in a particularly appropriate manner.
  • the present en invention takes into account in particular the fact that in an operation by means of a free hand gesture in the room due to the physical conditions of a person, the operation can be done only comparatively inaccurate.
  • the present invention also provides the perception of displayed information to a person in a particularly expedient manner, in that this information comprises a dynamic resizing of displayed elements, wherein the perception possibility is improved or improved again, preferably also an immediate correlation between the execution an action (hand gesture) and a presentation that is dynamically changing in or on a display area.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die vorliegende Erfindung betrifft ein interaktives Bediensystem mit einer Sensoreinrichtung zur Erfassung von Bilddaten, einer Auswertungseinrichtung für die Bilddaten, einer Anzeigeeinrichtung mit einer Anzeigefläche (1) und einer Steuerungseinrichtung, wobei die Auswertungseinrichtung dazu eingerichtet ist, Bilddaten dahin auszuwerten, ob eine erfasste Hand eine Geste durchführt, bei der sich wenigstens zwei Finger der Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, und die Steuerungseinrichtung dazu eingerichtet ist, die Anzeigeeinrichtung derart zu steuern, dass ein Cursor-Symbol (2) in Form einer geschlossenen Kurve in oder auf der Anzeigefläche (1) angezeigt wird, und dass bei einer derartigen Geste die Größe des in oder auf der Anzeigefläche (1) angezeigten Cursor-Symbols (2) derart verändert wird, dass die von der geschlossenen Kurve umfasste Fläche von einer ersten, größeren Fläche auf eine zweite, kleinere Fläche verkleinert wird.

Description

Interaktives Bediensystem und Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem
BESCHREIBUNG:
Die vorliegende Erfindung betrifft ein interaktives Bediensystem mit den Merkmalen gemäß Anspruch 1 sowie ein Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem mit den Merkmalen gemäß Anspruch 9.
Aus dem Bereich der Computertechnologie und Unterhaltungselektronik ist seit längerem eine Bedienung von Hard- und Software mittels freier, d.h. im Raum von einem menschlichen Gliedmaß (Finger, Hand, Hände, Arm, Arme) oder dem Kopf durchgeführter Gesten bekannt.
So beschreibt bspw. die DE 10 2013 207 528 A1 ein Verfahren zum Inter- agieren mit einem Objekt, das einem Benutzer durch eine Datenbrille angezeigt wird, umfassend: Anzeigen eines Objekts für den Benutzer mithilfe der Anzeige der Datenbrille; Erfassen, dass der Benutzer sein erstes Auge schließt und während einer vorgegebenen Zeitspanne geschlossen hält, insbesondere mithilfe einer ersten Kamera, die das Auge des Benutzers aufnimmt; Aufnehmen einer Hand des Benutzers; insbesondere mithilfe einer zweiten Kamera; Bestimmen, dass der Benutzer eine Eingabehandlung für das Objekt während der Zeitspanne vornimmt; wobei die Eingabehandlung darin besteht, dass die Hand des Benutzers eine Haltung und, aus der Perspektive des zweiten Auges des Benutzers in Bezug auf das Objekt, eine Position einnimmt, die einer vorbestimmten Bedingung genügen; Ausführen einer Aktion in Bezug auf das Objekt, wobei die Aktion der Eingabehandlung vorab zugeordnet ist.
Auch sind erste Ansätze dahin bekannt, eine Bedienmöglichkeit mittels freier Gesten für Einrichtungen in einem Fahrzeug vorzusehen. So ist bspw. aus der DE 10 2013 215 370 A1 eine Steuerungseinrichtung zur Verwendung in einem Kraftfahrzeug mit einem Head-up-Display bekannt, durch das einer Bedienperson Informationen auf einer von dieser aus gesehen in Vorwärts-Fahrtrichtung angeordneten Bildfläche angezeigt werden, sowie mit einer Bedieneinrichtung, die eine Eingabeeinrichtung und eine Rückmeldeeinrichtung aufweist, wobei auf dem Head-up-Display wenigstens zwei Klassen von Anzeigeobjekten dargestellt oder bezeichnet werden, wobei wenigstens diese zwei Klassen von Anzeigeobjekten durch verschiedene Klassen von Bedienbefehlen oder Folgen von Bedienbefehlen adressiert werden. In dem Head-up-Display wird ein Rückmeldesymbol (Cursor) angezeigt, das anzeigt, auf welches Anzeigeobjekt sich ein nachfolgend eingegebener Bedienbefehl bezieht, wobei Auswahlbefehle u.a. durch eine Geste eingebbar sind. Im Gegensatz zur Bedienung mit einem Eingabegerät wie einer Computer- Maus, einem Trackball oder mittels Fingern auf einem Touchpad hat eine Hand bei einer Bedienung durch eine freie Geste keine Führung. Daher kann hierbei nur eine vergleichsweise grobe Positionierung eines Eingabezeigers (Cursor) erfolgen und es ist für einen Benutzer eines Gesten-Bediensystems oftmals schwierig, ein angezeigtes, anwählbares, graphisches Element mit einem Eingabezeiger zu„treffen".
Eine Bedienung mittels freier Gesten kommt darüber hinaus oftmals auch dann zum Einsatz, wenn eine Anzeigefläche oder Bedienelemente an der Anzeigeeinrichtung nicht im Greifbereich des Bedieners liegen, bspw. aufgrund eines von einem Fahrzeuginsassen angelegten Sicherheitsgurts. In einem solchen Fall sind die heute üblichen Eingabezeiger (Cursor), etwa in Form eines Pfeils oder eines Fadenkreuzes zu klein, um eine entspannte, flüssige Bedienung zu ermöglichen.
Diese physisch bedingten Nachteile könnten ausgeglichen werden durch besonders große, in oder auf einer Anzeigefläche angezeigte, anwählbare, graphische Elemente, die von einem Benutzer mittels eines Eingabezeigers vergleichsweise leicht angewählt werden können. Dies wäre aber mit einer Verringerung der in oder auf einer gegebenen Anzeigefläche gleichzeitig anzeigbaren graphischen Elemente verbunden. Und falls große, gut sichtbare Eingabezeiger (Cursor-Symbole) verwendet würden, wäre dies mit dem Nachteil einer verschlechterten Erkennbarkeit der angezeigten, anwählbaren, graphischen Elemente verbunden, da diese zumindest teilweise von dem Eingabezeiger verdeckt würden.
Vor diesem Hintergrund ist es Aufgabe der vorliegenden Erfindung, ein ver- bessertes, den physischen Gegebenheiten von Menschen besser angepass- tes, interaktives Bediensystem und ein verbessertes Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem zur Verfügung zu stellen, mit dem Nachteile des Stands der Technik überwunden oder doch verringert werden. Diese Aufgabe wird gelöst durch das interaktive Bediensystem gemäß Anspruch 1 und das Verfahren gemäß Anspruch 9. Vorteilhafte Weiterbildungen und Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Erfindungsgemäß wird ein interaktives Bediensystem vorgeschlagen, das - eine Sensoreinrichtung zur Erfassung von Bilddaten in zeitlicher Abfolge innerhalb eines Erfassungsbereichs der Sensoreinrichtung und zur Übermittlung der erfassten Bilddaten an eine Auswertungseinrichtung,
- eine Auswertungseinrichtung zur Auswertung der durch die Sensoreinrichtung übermittelten Bilddaten und zur Übermittlung von Daten bezüglich einer durch die Auswertung ermittelten Position einer erfassten Hand innerhalb des Erfassungsbereichs zu einer Steuerungseinrichtung,
- eine Anzeigeeinrichtung mit einer Anzeigefläche, in oder auf der ein oder mehrere mittels eines anzeigbaren Cursor-Symbols anwählbare, graphische Elemente anzeigbar sind, und
- eine Steuerungseinrichtung, mittels der aufgrund der von der Auswertungseinrichtung übermittelten Daten das Cursor-Symbol in Abhängigkeit von einer Position der Hand im Erfassungsbereich in oder auf der Anzeigefläche der Anzeigeeinrichtung anzeigbar ist,
aufweist.
Das interaktive Bediensystem ist dadurch gekennzeichnet, dass
- die Auswertungseinrichtung dazu eingerichtet ist, an sie von der Sensoreinrichtung übermittelte Bilddaten dahin auszuwerten, ob eine erfasste Hand innerhalb des Erfassungsbereichs eine freie Geste durchführt, bei der sich wenigstens zwei Finger der Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, und entsprechende Daten zu der Steuerungseinrichtung zu übermitteln, und
- die Steuerungseinrichtung dazu eingerichtet ist, die Anzeigeeinrichtung derart zu steuern, dass das Cursor-Symbol in Form einer geschlossenen Kurve oder in Form der Kanten eines Polygons in oder auf der Anzeigefläche angezeigt wird, und dass bei Übermittlung von Daten einer derartigen Geste durch die Auswertungseinrichtung die Größe des in oder auf der Anzeigefläche angezeigten Cursor-Symbols derart verändert wird, dass die von der geschlossenen Kurve oder den Kanten des Polygons umfasste Fläche von einer ersten, größeren Fläche auf eine zweite, kleinere Fläche verkleinert wird.
Das erfindungsgemäße interaktive Bediensystem weist den Vorteil auf, dass ein Cursor-Symbol in Form einer geschlossenen Kurve oder in Form der Kanten eines Polygons als Eingabezeiger deutlich größer sein kann als ein Pfeil oder ein ähnliches Cursor-Symbol, ohne relevante, insbesondere anwählbare graphische Elemente (wie etwa Objekte, Bedienelemente) zu verdecken, weil die Fläche innerhalb eines derartigen Cursor-Symbols die An- zeige auf oder in einer Anzeigefläche nicht überdeckt, sondern lediglich„umkreist" oder umfasst.
Auch erhält ein Bediener des interaktiven Bediensystems eine unmittelbare Rückmeldung darüber, ob er seine freie Geste innerhalb des Erfassungsbe- reichs durchführt und ob seine freie Geste als eine erkannt wird, bei der sich mindestens zwei Finger seiner Hand aufeinander zu bewegen, da nur in einem Fall, bei dem beide Bedingungen erfüllt sind, eine Verkleinerung des Cursor-Symbols auf oder in der Anzeigefläche erfolgt. Gemäß einer ersten vorteilhaften Weiterbildung des interaktiven Bediensystem ist die Steuerungseinrichtung weiter dazu eingerichtet, dasjenige in oder auf der Anzeigefläche angezeigte, anwählbare, graphische Element zu ermitteln, dessen Flächenschwerpunkt den kleinsten Abstand zu dem Flächenschwerpunkt des in oder auf der Anzeigefläche angezeigten Cursor-Symbols aufweist und für den Fall, dass der Abstand einen ersten Wert ungleich Null aufweist, die Position des Flächenschwerpunkts des angezeigten Cursor- Symbols während der Veränderung der Fläche des angezeigten Cursor- Symbols von der ersten, größeren Fläche auf die zweite, kleinere Fläche derart automatisch zu verschieben, dass der Abstand zwischen dem Flä- chenschwerpunkt des angezeigten Cursor-Symbols und dem Flächenschwerpunkt des ermittelten, angezeigten, graphischen Elements einen zweiten Wert annimmt, der näher Null ist als der erste Wert und bevorzugt Null ist. Wie oben bereits erwähnt, ist bei einer Bedienung mittels freier Gesten die Positionierung eher grob im Vergleich zu einer Bedienung mittels einer Computer-Maus, einem Touchpad oder einem berührungsempfindlichen Bildschirm. Dieser Nachteil wird in einer Umgebung wie etwa einem sich in Fahrt befindlichen Kraftfahrzeug aufgrund von Unebenheiten der Fahrbahn und/oder aufgrund von Fahrmanövern wie Lenken, Bremsen und Beschleunigen noch vergrößert. Durch die erste Weiterbildung der vorliegenden Erfindung wird dieser Nachteil überwunden, da dem Bediener bei einer„Greifgeste" das genaue Zielen und Zielhalten abgenommen wird, so dass die Bedie- nung einfach und flüssig wird.
Hierbei ist es von Vorteil, wenn die Steuerungseinrichtung weiter dazu eingerichtet ist, die zweite, kleinere, von dem Cursor-Symbol umfasste Fläche auf eine solche Größe zu steuern, dass die von der geschlossenen Kurve oder den Kanten des Polygons umschlossene Fläche des angezeigten Cursor- Symbols im Bereich von 50% bis 200%, bevorzugt im Bereich von 75% bis 175%, besonders bevorzugt im Bereich von 90% bis 150% der Fläche des angezeigten graphischen Elements beträgt. Durch diese vorteilhafte Weiterbildung des interaktiven Bediensystems ergibt sich der Vorteil, dass auch im„gegriffenen Zustand" von dem in oder auf der Anzeigefläche angezeigten, anwählbaren, graphischen Element - selbst wenn eine vergleichsweise große Linienstärke für das Cursor-Symbol gewählt ist - ein so großer Anteil sichtbar bleibt, dass der Typ oder der Inhalt des Elements für einen Bediener ohne weiteres erkennbar bleibt. Gleichzeitig ist das angezeigte Cursor-Symbol im„gegriffenen Zustand" klein genug, damit für einen Bediener ohne weiteres erkennbar ist, welches graphische Element angewählt wurde. Gemäß einer weiteren vorteilhaften Weiterbildung des interaktiven Bediensystem ist die Steuerungseinrichtung weiter dazu eingerichtet, das Cursor- Symbol so lange mit der eine zweite, kleinere Fläche in oder auf der Anzeigefläche umfassenden Form anzuzeigen, solange die wenigstens zwei Finger der die Geste durchführenden Hand innerhalb des Erfassungsbereichs einen zweiten, kleineren Abstand zueinander aufweisen.
Hierbei kann in vorteilhafter Weise vorgesehen sein, dass die Steuerungseinrichtung weiter dazu eingerichtet ist, die Position des eine zweite, kleinere Fläche in oder auf der Anzeigefläche umfassenden, angezeigten Cursor- Symbols entsprechend einer Bewegung der die Geste durchführenden Hand innerhalb des Erfassungsbereichs zu verändern, wobei wahlweise vorgesehen sein kann, dass eine Veränderung der Position des angezeigten Cursor- Symbols erst nach Durchführung einer Bewegung dieser Hand über eine vorgebbare Mindestweglänge innerhalb des Erfassungsbereichs erfolgt.
Bei dem interaktiven Bediensystem kann die Steuerungseinrichtung in vorteilhafter Weise auch dazu eingerichtet sein, nach Erreichen eines zweiten, kleineren Abstands der wenigstens zwei Finger der die Geste durchführen- den Hand eine Aktion in Bezug auf dasjenige angezeigte, anwählbare, graphische Element auszuführen, dessen Flächenschwerpunkt den kleinsten Abstand zum Flächenschwerpunkt des Cursor-Symbols aufweist, wobei die Aktion diesem graphischen Element vorab zugeordnet wurde, sofern die wenigstens zwei Finger der die Geste durchführenden Hand innerhalb des Er- fassungsbereichs einen zweiten, kleineren Abstand zueinander für einen vorgebbaren Zeitraum beibehalten oder innerhalb eines vorgebbaren Zeitraums eine weitere Bedienhandlung durch einen Bediener des interaktiven Bediensystems erfolgt. Bei dem interaktiven Bediensystem gemäß der vorliegenden Erfindung kann die Anzeigeeinrichtung in vorteilhafter Weise einen grafikfähigen Bildschirm, ein Head-up-Display oder eine Datenbrille (Netzhautprojektor) umfassen, und kann die Sensoreinrichtung eine oder mehrere Kameraeinrichtungen für sichtbares Licht, eine oder mehrere Kameraeinrichtungen für Infrarot-Licht, eine oder mehrere Radar-Einrichtungen, und/oder eine oder mehrere Time- of-Flight-Einrichtungen umfassen.
Die vorliegende Erfindung umfasst auch ein Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem, das
- eine Sensoreinrichtung zur Erfassung von Bilddaten in zeitlicher Abfolge innerhalb eines Erfassungsbereichs der Sensoreinrichtung und zur Übermittlung der erfassten Bilddaten an eine Auswertungseinrichtung,
- eine Auswertungseinrichtung zur Auswertung der durch die Sensoreinrichtung übermittelten Bilddaten und zur Übermittlung von Daten bezüglich einer durch die Auswertung ermittelten Position einer erfassten Hand innerhalb des Erfassungsbereichs zu einer Steuerungseinrichtung,
- eine Anzeigeeinrichtung mit einer Anzeigefläche, in oder auf der ein oder mehrere mittels eines anzeigbaren Cursor-Symbols anwählbare, graphische Elemente anzeigbar sind, und - eine Steuerungseinrichtung, mittels der aufgrund der von der Auswertungseinrichtung übermittelten Daten das Cursor-Symbol in Abhängigkeit von einer Position der Hand im Erfassungsbereich in oder auf der Anzeigefläche der Anzeigeeinrichtung anzeigbar ist, umfasst.
Das Verfahren ist dadurch gekennzeichnet, dass es die folgenden Schritte umfasst:
- Anzeigen eines Cursor-Symbols in Abhängigkeit von einer Position einer Hand im Erfassungsbereich einer Sensoreinrichtung in Form einer geschlos- senen Kurve oder in Form der Kanten eines Polygons in oder auf einer Anzeigefläche einer Anzeigeeinrichtung, wobei die von der geschlossenen Kurve oder den Kanten des Polygons umfasste Fläche eine erste, größere Fläche aufweist,
- Auswerten von Bilddaten der Sensoreinrichtung dahin, ob eine erfasste Hand innerhalb eines Erfassungsbereichs eine freie Geste durchführt, bei der sich wenigstens zwei Finger der Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, und
- Verändern der Größe des in oder auf der Anzeigefläche angezeigten Cursor-Symbols derart, dass die von der geschlossenen Kurve oder der Kanten des Polygons umfasste Fläche von der ersten, größeren Fläche auf eine zweite, kleinere Fläche verkleinert wird, sofern die Durchführung einer derartigen Geste im Erfassungsbereich festgestellt wird.
Gemäß einer ersten vorteilhaften Weiterbildung des Verfahrens umfasst die- ses weiter
- Ermitteln des in oder auf der Anzeigefläche angezeigten, anwählbaren, graphischen Elements, dessen Flächenschwerpunkt den kleinsten Abstand zu dem Flächenschwerpunkt des in oder auf der Anzeigefläche angezeigten Cursor-Symbols aufweist und für den Fall, dass der Abstand einen ersten Wert ungleich Null aufweist, automatisches Verschieben der Position des Flächenschwerpunkts des angezeigten Cursor-Symbols während der Veränderung der von dem angezeigten Cursor-Symbol umschlossenen Fläche von der ersten, größeren Fläche auf die zweite, kleinere Fläche derart, dass der Abstand zwischen dem Flächenschwerpunkt des angezeigten Cursor- Symbols und dem Flächenschwerpunkt des ermittelten, angezeigten, graphischen Elements einen zweiten Wert annimmt, der näher Null als der erste Wert und bevorzugt Null ist, und/oder
- Ausführens nach Erreichen des oder eines zweiten, kleineren Abstands der wenigstens zwei Finger der die freie Geste durchführenden Hand einer Akti- on in Bezug auf dasjenige in oder auf der Anzeigefläche angezeigte, anwählbare graphische Element, dessen Flächenschwerpunkt den kleinsten Abstand zum Flächenschwerpunkt des Cursor-Symbols aufweist, wobei die Aktion diesem graphischen Element vorab zugeordnet wurde, sofern die we- nigstens zwei Finger der die Geste durchführenden Hand innerhalb des Erfassungsbereichs einen zweiten, kleineren Abstand zueinander für einen vorgebbaren Zeitraum beibehalten oder innerhalb eines vorgebbaren Zeitraums eine weitere Bedienhandlung durch einen Bediener des interaktiven Bediensystems erfolgt.
Weitere vorteilhafte Ausgestaltungen und Weiterbildungen des Verfahrens, die ebenfalls Gegenstand der vorliegenden Erfindung sind, ergeben sich für einen Fachmann ohne Weiteres aus der Beschreibung des interaktiven Bediensystems, seinen vorteilhaften Ausgestaltungen und Weiterbildungen, der Figur, der Figurenbeschreibung sowie der Beschreibung von bevorzugten Ausführungsformen und -beispielen. Die dort beschriebenen oder entnehmbaren Merkmale und Eigenschaften des interaktiven Bediensystems sind ohne weiteres auf das Verfahren gemäß der vorliegenden Erfindung und seine vorteilhaften Ausgestaltungen und Weiterbildungen übertragbar.
Die vorliegende Erfindung wird anhand der beigefügten Zeichnung näher erläutert.
Die einzige Fig. zeigt zwei Zustände einer Anzeigefläche des interaktiven Bediensystems mit wenigstens einem angezeigten, anwählbaren, graphischen Element und einem Cursor-Symbol in Form eines Rings wobei zu jedem der beiden Zustände eine zugehörige, beispielhafte Handhaltung abgebildet ist. Die Darstellungen in der Fig. sind rein schematisch und nicht maßstabsgerecht. Innerhalb der Fig. sind gleiche oder ähnliche Elemente mit gleichen Bezugszeichen versehen.
Die nachfolgend erläuterten Ausführungsbeispiele stellen bevorzugte Aus- führungsformen der vorliegenden Erfindung dar. Die vorliegende Erfindung ist selbstverständlich nicht auf diese Ausführungsformen beschränkt.
Die in der obigen Beschreibung genannten Merkmale und Merkmalskombinationen sowie die in der nachfolgenden Beschreibung von Ausführungsfor- men, Ausführungsbeispielen und der Figurenbeschreibung genannten und/oder in der Figur alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rah- men der vorliegenden Erfindung zu verlassen.
Das interaktive Bediensystem gemäß der vorliegenden Erfindung weist eine (in der Fig. nicht dargestellte) Sensoreinrichtung zur Erfassung von Bilddaten in zeitlicher Abfolge innerhalb eines Erfassungsbereichs der Sensoreinrich- tung und zur Übermittlung der erfassten Bilddaten an eine Auswertungseinrichtung auf.
Bezüglich der Sensoreinrichtung bestehen keine besonderen Einschränkungen und es können alle aus dem Stand der Technik bereits bekannten oder zukünftig noch bekannt werdenden geeigneten Sensoreinrichtungen bei dem interaktiven Bediensystem vorgesehen sein. Bevorzugt weist die Sensoreinrichtung des interaktiven Bediensystems als Erfassungseinrichtung eine oder mehrere Kameraeinrichtungen für sichtbares Licht, eine oder mehrere Kameraeinrichtungen für Infrarot-Licht, eine oder mehrere Radar-Einrichtungen, und/oder eine oder mehrere Time-of-Flight-Einrichtungen auf.
Bei Kameraeinrichtungen für sichtbares oder Infrarotlicht kann die Sensoreinrichtung beispielsweise auch über eine„Lichtquelle" verfügen, die zur Ausleuchtung des Erfassungsbereichs der Sensoreinrichtung dient. Bei dem Einsatz von einer oder mehreren Kameraeinrichtungen für Infrarotlicht kann beispielsweise der Erfassungsbereich mittels einer oder mehreren Infrarot- Lichtquellen (bspw. Infrarot-LEDs) ausgeleuchtet werden, ohne dass die Gefahr einer Blendung für einen Bediener des interaktiven Bediensystems gegeben ist.
Erfassungseinrichtungen der Sensoreinrichtung, die auf unterschiedlichen technischen Grundlagen basieren, können gleichzeitig oder alternativ dazu verwendet werden, Bilddaten zu erfassen. Durch gleichzeitiges Erfassen von Bilddaten durch technisch verschiedenartige Erfassungseinrichtungen (z.B. durch eine Kameraeinrichtung für sichtbares Licht und eine Radar- Einrichtung; durch eine Kameraeinrichtung für sichtbares Licht und eine Kameraeinrichtung für Infrarotlicht, etc.) und Auswerten der Bilddaten der technisch verschiedenartigen Erfassungseinrichtungen durch die Auswertungs- einrichtung kann beispielsweise die Erkennungsquote bezüglich der Handgeste erhöht werden.
Bevorzugt weist das interaktive Bediensystem eine Sensoreinrichtung auf, mit der stereoskopische oder dreidimensionale Bilder erfasst werden können. Dies erleichtert beispielsweise die Erkennung der oberen Extremitäten eines Bedieners des interaktiven Bediensystems, da leichter zwischen oberen Extremitäten, Hintergrund und Vordergrund innerhalb des Erfassungsbereichs der Sensoreinrichtung unterschieden werden kann, als dies bei einer zwei- dimensionalen Bilderfassung der Fall ist.
Eine stereoskopische oder dreidimensionale Bilderfassung kann beispielsweise in an sich bekannter Weise durch eine entsprechende stereoskopische Anordnung und Ausrichtung der Erfassungsachsen von zwei Kameraeinrich- tungen für sichtbares oder Infrarotlicht und eine dementsprechende Auswertung der erfassten Bilddaten durch die Auswertungsvorrichtung erreicht werden. Auch mittels einer oder mehrerer Radar-Einrichtungen kann beispielsweise die Lage und/oder Bewegung einer Hand und der Finger innerhalb des Erfassungsbereichs der Radar-Einrichtung räumlich erfasst werden. Auf- grund der (Weiter)Entwicklungen der vergangenen Jahre konnten die Baugrößen von Radar-Einrichtungen zunehmend verkleinert werden, so dass diese nunmehr für das interaktive Bediensystem gemäß der vorliegenden Erfindung in vielen Fällen selbst bei einem nur beschränkt zur Verfügung stehenden Bauraum einsetzbar sind.
Ebenfalls bevorzugt weist die Sensoreinrichtung des interaktiven Bediensystems gemäß der vorliegenden Erfindung ein oder mehrere sog. „Time-of- Flight-Einrichtungen auf, wobei das interaktive Bediensystem selbstverständlich weitere, davon technisch verschiedene Bilderfassungseinrichtungen aufweisen kann.
Bei Vorrichtungen und Verfahren nach dem Time-of-Flight-Prinzip (Laufzeitprinzip) wird bekanntlich ein von einer Sendeeinrichtung ausgesandtes (emittiertes) Signal an einem Objekt reflektiert und das reflektierte Signal von ei- ner Empfangseinrichtung detektiert. Anhand der Geschwindigkeit und der Laufzeit des Signals kann die Entfernung des Objekts von der Empfangseinrichtung ermittelt werden. Eine der bekanntesten Vorrichtung nach dem Time-of-Flight-Prinzip ist ein PMD-System bzw. PMD-Kamerasystem. In einem solchen PMD- Kamerasystem ist ein Photomischdetektor (auch PMD-Sensor genannt; PMD = Photonic Mixing Device) als Sensor enthalten. Ein PMD-Sensor weist ein ein- bzw. in der Regel mehrzelliges Array von PMD-Detektorelementen und eine Empfangsoptik auf. Ein oder mehrere PMD-Systeme bzw. PMD- Kamerasysteme können in bevorzugter Weise bei dem interaktiven Bediensystem vorgesehen sein. Es sei jedoch darauf hingewiesen, dass eine Sensoreinrichtung, mit der stereoskopische oder dreidimensionale Bilder erfasst werden können, kein zwingendes Merkmal des interaktiven Bediensystems ist und dass somit auch eine Sensoreinrichtung, mit der nur zweidimensionale Bilder erfasst werden können, in vielen Fällen ausreichend ist oder sein kann. Selbst wenn es für das interaktive Bediensystem gemäß der vorliegenden Erfindung von Vorteil oder erforderlich sein sollte, die Position einer Hand im Raum erkennen zu können, kann die Erfassung von nur zweidimensionalen Bildern ausreichend sein, da mittels entsprechender, intelligenter Algorithmen auch aus zweidimensionalen Bildern die Position eines Objekts im Raum (zumindest annähernd) ermittelt werden kann.
Der Aufbau und die Funktionsweise der verschiedenen, oben erwähnten Einrichtungen zum Erfassen von Bildern innerhalb eines Erfassungsbereichs der Sensoreinrichtung sind Fachleuten bekannt, so dass hier nicht näher darauf eingegangen zu werden braucht.
Für die Erfassung der Bilddaten„in zeitlicher Abfolge" ist lediglich erforderlich, dass die Erfassung der Bewegung der Hand durch die Sensoreinrichtung mit einer für den erfindungsgemäßen Zweck zumindest ausreichenden zeitlichen Abfolge, zum Beispiel im Bereich von 15 bis 40 Erfassungen (Bildern) pro Sekunde (15, 16, 17, 18, 19, 20, 21 , 22, 23, 24, 25, 26, 27, 28, 29, 30, 31 , 32, 33, 34, 35, 36, 37, 38, 39 oder 40 Bilder pro Sekunde) erfolgt bzw. erfolgen kann. Selbstverständlich ist auch eine ausreichende Auflösung der erfassten Bilder vorzusehen, damit die Geste einer Hand mit den dabei erfolgenden Bewegungen von wenigstens zwei Fingern mit zumindest ausreichender Sicherheit von der Auswertungseinrichtung erkannt werden kann. Bei den von der Sensoreinrichtung erfassten Bildern können selbstverständlich die bekannten Bildverbesserungs-Verfahren (in Bezug auf Helligkeit, Kontrast, Helligkeitsverteilung, etc.) Anwendung finden, um die Erkennungsleistung in Bezug auf eine im Raum durchgeführte freie Handgeste zu verbessern. Der Erfassungsbereich der Sensoreinrichtung ist nicht besonders beschränkt und kann sich in einem einfachen Fall durch den Aufbau und die Ausrichtung (Erfassungswinkel) der Sensoreinrichtung ergeben. Es kann jedoch in einigen Fällen von Vorteil sein, bspw. in einem Fahrzeug, in Bezug auf Größe (Höhe, Breite und Tiefe) und Position des Erfassungsbereichs im Raum nur einen vorgebbaren Teilbereich des technisch möglichen Erfassungsbereichs der Sensoreinrichtung als Erfassungsbereich vorzusehen. Hierdurch kann in vorteilhafter Weise erreicht werden, dass nur eine Bewegung einer Hand innerhalb des so definierten Erfassungsbereichs als mögliche Geste zur Bedienung des interaktiven Bediensystems interpretiert wird, Bewegungen au- ßerhalb des so definierten Erfassungsbereichs jedoch unberücksichtigt bleiben. Ein derartiger Teilbereich eines zur Verfügung stehenden Raums kann auf besonders einfache Weise mit Hilfe einer Sensoreinrichtung realisiert werden, mit dem stereoskopische oder dreidimensionale Bilder erfasst werden können.
Als weiteren Bestandteil weist das interaktive Bediensystem eine Auswertungseinrichtung zur Auswertung der durch die Sensoreinrichtung übermittelten Bilddaten und zur Übermittlung von Daten bezüglich einer durch die Auswertung ermittelten Position einer erfassten Hand innerhalb des Erfas- sungsbereichs zu einer Steuerungseinrichtung auf.
Bei der Auswertungseinrichtung kann es sich um jede hierfür geeignete Einrichtung handeln. So kann beispielsweise eine Auswertungseinrichtung ein - an sich bekanntes - Bildauswertungssystem umfassen, bei dem von der Sensoreinrichtung erfasste Bilder mittels einer geeigneten Kombination aus Hard- (Computer, digitale Recheneinrichtung) und Software (Bildauswer- tungs- und gegebenenfalls auch Bildverbesserungs-Software) ausgewertet werden. Auch bezüglich der Anzeigeeinrichtung, die ein weiterer Bestandteil des interaktiven Bediensystems gemäß der vorliegenden Erfindung ist, und die eine (reale oder virtuelle) Anzeigefläche 1 aufweist, in oder auf der ein oder mehrere mittels eines anzeigbaren Cursor-Symbols 2 anwählbare graphische Elemente 3 anzeigbar sind, bestehen keine besonderen Beschränkun- gen. Die Anzeigeeinrichtung kann in vorteilhafter Weise etwa einen grafikfähigen (gegebenenfalls auch berührungs- und/oder näherungsempfindlichen) Bildschirm, ein Head-up-Display oder eine Datenbrille (einen Netzhautprojektor) umfassen.
Die Anzeigen in oder auf der Anzeigefläche 1 der Anzeigeeinrichtung werden durch eine Steuerungseinrichtung gesteuert. Diese Steuerungseinrichtung ist gemäß der vorliegenden Erfindung dazu eingerichtet, das Cursor-Symbol 2 in Form einer geschlossenen Kurve oder in Form der Kanten eines Polygons in oder auf der Anzeigefläche 1 anzuzeigen, und bei Übermittlung von Daten einer freien Geste, bei der sich wenigstens zwei Finger einer Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, durch die Auswertungseinrichtung, die Größe des in oder auf der Anzeigefläche 1 angezeigten Cursor-Symbols 2 derart verändert wird, dass die von der geschlossenen Kurve oder der Kanten des Polygons umfasste Fläche von einer ersten, größeren Fläche auf eine zweite, kleinere Fläche verkleinert wird. Die Veränderung der Größe des Cursor-Symbols 2 erfolgt hierbei in bevorzugter Weise nicht sprunghaft - auch wenn eine solche sprunghafte Änderung von der vorliegenden Erfindung umfasst ist - sondern über einen vorgebbaren Zeitraum hinweg, besonders bevorzugt möglichst synchron zu einer Durchführung der oben definierten Geste. Die Größe des angezeigten Cursor-Symbols 2 ist somit bevorzugt dynamisch veränderbar. Bei dem Cursor-Symbol 2 in Form einer geschlossenen Kurve handelt es sich bevorzugt um eine einfache geschlossene Kurve, wie etwa einen kreisrunden oder einen ovalen Ring. Und bei dem Polygon, durch dessen Kanten das Cursor-Symbol 2 ausgebildet sein kann, handelt es sich bevorzugt um ein einfaches Polygon, etwa um ein (bevorzugt regelmäßiges) Dreieck, Vier- eck, Fünfeck, Sechseck, Siebeneck, Achteck, usw.
Die Linie, mit der das Cursor-Symbol 2 angezeigt wird, kann jede geeignete Linienstärke aufweisen. Auch ist es von der vorliegenden Erfindung umfasst, wenn die Linie, mit der das Cursor-Symbol 2 angezeigt wird, nicht vollständig geschlossen, d.h. ohne jede Unterbrechung ist. Diese kann gemäß der vorliegenden Erfindung also auch wenigstens eine oder mehrere kurze Unterbrechungen aufweisen, so dass die angezeigte Linie des Cursor-Symbols 2 nur etwa 95%, 90%, 85%, 80% oder 75% der entsprechenden, ununterbro- chenen Linie der geschlossenen Kurve oder der entsprechenden, ununterbrochenen Kanten des Polybons entspricht.
Die Art und Weise der Anzeige der in oder auf der Anzeigefläche 1 angezeig- ten, anwählbaren, graphischen Elemente 3 wird durch die Anzeige des Cursor-Symbol 2 in vorteilhafter Weise nicht besonders beeinflusst. Insbesondere gilt dies für den Bereich der Anzeigefläche 1 , der von dem Cursor-Symbol 2 umschlossen ist. Dies bedeutet, dass das Cursor-Symbol 2 zwar„über" einem oder mehreren angezeigten, anwählbaren, graphischen Elementen 3 angezeigt werden kann, dass also die geschlossene Kurve oder die Kanten eines Polygons, durch die das Cursor-Symbol 2 in oder auf der Anzeigefläche 1 angezeigt wird, ein oder mehrere„darunter liegende" angezeigte, anwählbare, graphische Elemente 3„überdecken" kann/können, dass der übrige Bereich des oder der angezeigten, anwählbaren, graphischen Elemente 3 aber unverändert in oder auf der Anzeigefläche 1 angezeigt wird.
Dies gilt in vorteilhafter Weise sowohl für das Cursor-Symbol 2, wenn dieses die erste, größere Fläche umfasst, als auch für das Cursor-Symbol 2, wenn dieses die zweite, kleinere Fläche umfasst.
Bei der Steuerungseinrichtung des interaktiven Bediensystems kann es sich ebenfalls um eine geeignete Kombination aus Hard- und Software handeln, mittels der auf Grundlage der Ergebnisse der Auswertungseinrichtung Steuersignale für die Anzeigeeinrichtung erzeugt und an diese übermittelt werden können. Die Auswertungs- und Steuerungseinrichtung können als getrennte Bauelemente/Baugruppen oder als ein gemeinsames Bauelement bzw. gemeinsame Baugruppe des erfindungsgemäßen Systems ausgebildet sein.
Da das Bediensystem gemäß der vorliegenden Erfindung dazu dient, eine oder mehrere Einrichtungen interaktiv bedienen zu können, ist es bevorzugt, dass die Übermittlung der erfassten Bilddaten an die Auswertungseinrichtung verzögerungsarm erfolgt, dass die Auswertung der an sie übermittelten Bilddaten verzögerungsarm erfolgt, dass die Übermittlung der Daten von der Auswertungseinrichtung zu der Steuerungseinrichtung verzögerungsarm er- folgt, dass die Ansteuerung der Anzeigeeinrichtung durch die Steuerungseinrichtung verzögerungsarm erfolgt und dass die Anzeige des Cursor-Symbols 2 aufgrund der Ansteuerung durch die Steuerungseinrichtung verzögerungsarm erfolgt. Dies bedeutet, dass alle Einrichtungen des interaktiven Bediensystems gemäß der vorliegenden Erfindung in vorteilhafter Weise dazu eingerichtet sind und derart zusammenwirken, dass innerhalb eines möglichst geringen Zeitabstands (von bspw. 0,01 s, 0,02 s, 0,03 s, 0,04 s, 0,05 s, 0,06 s, 0,07 s, 0,08 s, 0,09 s, 0,10 s, 0,15 s, 0,20 s, 0,25 s, 0,30 s, 0,35 s, 0,40 s, 0,45 s, 0,5 s) zwischen der Durchführung einer freien Geste durch einen Bedienen bei der sich wenigstens zwei Finger der Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, eine entsprechende Verkleinerung des in oder auf der Anzeigefläche 1 der Anzei- geeinrichtung angezeigten Cursor-Symbols 2 erfolgt. In bevorzugter Weise erfolgt diese Verkleinerung somit möglichst zeitgleich mit der Bewegung der wenigstens zwei Finger aufeinander zu.
In bevorzugter Weise ist die Steuerungseinrichtung des interaktiven Bedien- Systems gemäß der vorliegenden Erfindung weiter dazu eingerichtet, dasjenige in oder auf der Anzeigefläche 1 angezeigte, anwählbare, graphische Element 3 zu ermitteln, dessen Flächenschwerpunkt den kleinsten Abstand zu dem Flächenschwerpunkt des in oder auf der Anzeigefläche 1 angezeigten Cursor-Symbols 2 aufweist und für den Fall, dass der Abstand einen ers- ten Wert ungleich Null aufweist, die Position des Flächenschwerpunkts des angezeigten Cursor-Symbols 2 während der Veränderung der Fläche des angezeigten Cursor-Symbols 2 von der ersten, größeren Fläche auf die zweite, kleinere Fläche derart automatisch (bevorzugt dynamisch, d.h. möglichst synchron zu einer Durchführung der oben definierten Geste) zu verschieben, dass der Abstand zwischen dem Flächenschwerpunkt des angezeigten Cursor-Symbols 2 und dem Flächenschwerpunkt des ermittelten, angezeigten Elements 3 einen zweiten Wert annimmt, der näher Null ist als der erste Wert und bevorzugt Null ist. Sofern vorstehend von einem Wert„ungleich Null" gesprochen wird, so ist damit ein Wert für den Abstand von ungleich Null Pixel, ungleich Null Zentimeter, ungleich Null Millimeter oder dergleichen in oder auf der Anzeigefläche zu verstehen. Entscheidend ist lediglich, dass gemäß dieser vorteilhaften Weiterbildung der Erfindung der Abstand zwischen den Flächenschwerpunk- ten des angezeigten Cursor-Symbols 2 und des nächstliegenden, angezeigten, anwählbaren, graphischen Elements 3 während der Verschiebung des Cursor-Symbols 2 automatisch verringert wird, bevorzugt auf null, d.h. dass beide Flächenschwerpunkte am Ende der Veränderung des Abstands in oder auf der Anzeigefläche 1 bevorzugt die gleiche Position einnehmen. Das Ergebnis einer solchen Verschiebung mit gleichzeitiger Verkleinerung der Fläche, die von dem Cursör-Symbol 2 umfasst ist, ist im unteren Bereich der Fig. schematisch und beispielhaft dargestellt.
Demgegenüber ist im oberen Teil der Fig. eine Ausgangssituation dargestellt, bei der mittels der Sensoreinrichtung Bilddaten einer Handposition innerhalb des Erfassungsbereichs der Sensoreinrichtung an die Auswertungseinrichtung übermittelt werden, die von der Auswertungseinrichtung erkannte Position der Hand an die Steuerungseinrichtung übermittelt wird und durch die Steuerungseinrichtung die Anzeigeeinrichtung derart gesteuert wird, dass das Cursor-Symbol 2 derart angezeigt wird, dass die von der geschlossenen Kurve oder den Kanten des Polygons umfasste Fläche die erste, größere Fläche aufweist. Die Position des auf der Anzeigefläche 1 angezeigten Cur- sor-Symbols 2 wird hierbei in Abhängigkeit von der Position der Hand innerhalb des Erfassungsbereichs der Sensoreinrichtung gewählt.
Falls ein Bediener des interaktiven Bediensystems seine Hand innerhalb des Erfassungsbereichs der Sensoreinrichtung auf eine Art und Weise bewegt, die als eine Bewegung zur Veränderung der Position des Cursor-Symbols 2 in oder auf der Anzeigefläche 1 interpretiert wird (also insbesondere eine Bewegung, die nicht als eine senkrecht zur Anzeigefläche 1 erkannt wird), wird die Position des angezeigten Cursor-Symbols 2 entsprechend nachgeführt.
Die Größe des angezeigten Cursor-Symbols 2, bei dem die von der geschlossenen Kurve oder der Kanten des Polygons umfasste Fläche eine erste, größere Fläche aufweist, unterliegt keiner besonderen Beschränkung. Da jedoch bei einer Durchführung einer freien Geste, bei der sich wenigstens zwei Finger einer Hand aufeinander zu bewegen, im Erfassungsbereich der Sensoreinrichtung eine Verkleinerung der von dem angezeigten Cursor- Symbol 2 umgebenen Fläche erfolgen soll, und diese Verkleinerung von einem Bediener des interaktiven Bediensystems auch als solche sicher wahrgenommen können werden soll, kann vorgesehen sein, dass die erste, grö- ßere Fläche im Bereich von 250% bis 1000% (250%, 300%, 350%, 400%, 450%, 500%, 550%, 600%, 650%, 700%, 750%, 800%, 850%, 900%, 1000%) des größten in oder auf der Anzeigefläche angezeigten, anwählbaren Elements 3 beträgt. Auch die Stärke und/oder Farbe der angezeigten Kurve oder der Kanten des Polygons unterliegt keiner besonderen Beschränkung und wird von einem Fachmann unter Berücksichtigung der Art der Anzeigeeinrichtung, des vermuteten oder gegebenen Abstands der Augen des Bedieners von der Anzei- gefläche, den Umgebungsbedingungen (etwa Helligkeit), unter denen das interaktive Bediensystem zum Einsatz kommt, etc. so gewählt werden, dass das Cursor-Symbol 2 von einem Menschen sicher und ohne Mühen erkannt werden kann. Hierbei kann sowohl vorgesehen sein, dass die angezeigte Linienstärke, Farbe und/oder Anzeigeart der angezeigten Kurve oder der Kanten des Polygons bei einer Verkleinerung der von der geschlossenen Kurve oder den Kanten des Polygons umfasste Fläche von einer ersten, größeren Fläche auf eine zweite, kleinere Fläche unverändert bleibt, als auch dass sich wenigs- tens eines davon verändert, bspw. dass bei einer solchen Verkleinerung die Linienstärke von einer ersten, dickere Linienstärke auf eine zweite, dünnere Linienstärke verringert.
Hat das Cursor-Symbol 2 seine kleinste angezeigte Größe erreicht, kann bspw. vorgesehen, dass sich die Farbe der angezeigten Kurve oder der Kanten des Polygons oder die Anzeigeart verändert, dass bspw. das Cursor- Symbol 2 in einer veränderten Farbe oder einer sich periodisch ändernde Farbe und/oder Helligkeit dargestellt wird. In der Fig. ist bei beiden Zuständen der Anzeigefläche 1 ein quadratisches Element mit dem Bezugszeichen 3 versehen und dieses Element stellt ein anwählbares graphisches Element 3 im Sinne der vorliegenden Erfindung dar. Bei den weiteren, auf gleichartige Weise in der Fig. dargestellten Elementen kann es sich um weitere anwählbare, graphische Elemente handeln oder es können eines, mehrere oder alle davon zwar angezeigte, graphische Elemente sein, die jedoch bei einer gegebenen Situation oder grundsätzlich nicht anwählbar sind.
Bei einem anwählbaren, graphischen Element 3 gemäß der vorliegenden Erfindung kann es sich bspw. um ein Icon oder ein anderes graphisches Objekt handeln, das optisch abgegrenzt ist von seiner Umgebung und räumlich abgegrenzt ist von anderen angezeigten graphischen Elementen in oder auf der Anzeigefläche und bei dessen Betätigung ein Programm oder eine App gestartet wird, ein Ordner oder eine Datei geöffnet wird, Informationen ange- zeigt, eine Einrichtung gestartet oder gestoppt (aktiviert oder deaktiviert), oder Einstellungen oder Verstellungen bei einer Einrichtung vorgenommen werden können. Bei einem nicht anwählbaren, graphischen Element kann es sich bspw. um ein solches handeln, mit dem ausschließlich eine Information angezeigt wird, etwa eine Temperatur oder ein Status einer Einrichtung.
Wie im oberen Teil der Fig. schematisch dargestellt ist,„überdeckt" die Linie, die das Cursor-Symbol 2 bildet, zwar bestimmte Bereiche von einigen angezeigten, graphischen Elementen. Die verbleibenden Bereiche der betroffenen Elemente, die sich innerhalb der von der Linie umschlossenen Fläche des Cursor-Symbols 2 befinden und die gänzlich innerhalb dieser Fläche angezeigten graphischen Element werden aber bevorzugt auf die gleiche Art und Weise angezeigt, wie diejenigen Elemente und Bestandteile von Elementen, die sich außerhalb des Cursor-Symbols 2 befinden. Hierdurch wird sicherge- stellt, dass ein Bediener des interaktiven Bediensystems jederzeit die dargestellten graphischen Elemente sehen und deren Bedeutung erkennen kann.
Wird von der Auswertungseinrichtung eine freie Geste einer Hand im Erfassungsbereich der Sensoreinrichtung erkannt, bei der sich wenigstens zwei Finger der Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen (wie sie bspw. durch die beiden auf der rechten Seite der Fig. dargestellten Handhaltungen symbolisiert ist), wird von der Steuerungseinrichtung aufgrund der von der Auswertungseinrichtung an sie übermittelten Daten das angezeigte Cursor-Symbol 2 derart verändert, dass die von der geschlossenen Kurve oder der Kanten des Polygons umfasste Fläche von einer ersten, größeren Fläche auf eine zweite, kleinere Fläche verkleinert wird.
Gemäß der in der Fig. schematisch dargestellten, bevorzugten Ausführungs- form der vorliegenden Erfindung wird in einem solchen Fall nicht nur die von dem Cursor-Symbol 2 umfasst Fläche in oder auf der Anzeigefläche verkleinert, sondern auch dasjenige in oder auf der Anzeigefläche 1 angezeigte, anwählbare, graphische Element 3 ermittelt, dessen Flächenschwerpunkt den kleinsten Abstand zu dem Flächenschwerpunkt des in oder auf der An- zeigefläche 1 angezeigten Cursor-Symbols 2 aufweist und für den Fall, dass der Abstand einen ersten Wert ungleich Null aufweist, die Position des Flächenschwerpunkts des angezeigten Cursor-Symbols 2 während der Verkleinerung des angezeigten Cursor-Symbols 2 derart automatisch verschoben, dass der Abstand zwischen dem Flächenschwerpunkt des angezeigten Cur- sor-Symbols 2 und dem Flächenschwerpunkt des ermittelten, angezeigten Elements 3 einen zweiten Wert annimmt, der näher Null ist als der erste Wert und bevorzugt Null ist. Im unteren Bereich der Fig. ist ein Zustand am Ende dieses Vorgangs schematisch dargestellt. Es wurde zu Beginn der Durchführung der Handgeste festgestellt, dass der Flächenschwerpunkt (hier der Mittelpunkt) des angezeigten, anwählbaren Elements 3 den geringsten Abstand zum Flächenschwerpunkt (hier der Mittelpunkt) des Cursor-Symbols 2 aufweist. Während der Verkleinerung der von dem Cursor-Symbol 2 umfassten Fläche wurde daher auch der Abstand zwischen den beiden Flächenschwerpunkten durch ein automatisches Verschieben des Flächenschwerpunkts des Cursor- Symbols 2 so weit verringert, dass diese nun bei dem im unteren Bereich der Fig. dargestellten Zustand die gleiche Position in oder auf der Anzeigefläche 1 einnehmen.
Im unteren Bereich der Fig. ist darüber hinaus auch eine weitere vorteilhafte Ausgestaltung der vorliegenden Erfindung dargestellt, nämlich dass die zweite, kleinere von dem angezeigten Cursor-Symbol 2 umfasste Fläche nur auf eine solche Größe gesteuert wird, dass die von der geschlossenen Kurve oder den Kanten des Polygons umschlossene Fläche des angezeigten Cursor-Symbols 2 im Bereich von 50% bis 200%, bevorzugt im Bereich von 75% bis 175%, besonders bevorzugt im Bereich von 90% bis 150% der Fläche des angezeigten graphischen Elements 3 ist.
Hierdurch ist sichergestellt, dass das anwählbare graphische Element für einen Bediener des interaktiven Bediensystems auch „im gegriffenen Zustand" innerhalb des Cursor-Symbols 2 sichtbar bleibt und somit keine Unsicherheit über die Bedeutung und den Typ des„gegriffenen" graphischen Elements aufkommen kann.
Es ist selbstverständlich, dass ein Fachmann die Form der angezeigten, anwählbaren, graphischen Elemente 3 und/oder die Form des Cursor- Symbols 2 in geeigneter Weise wählen wird, dass bspw. bei anwählbaren, graphischen Elementen 3, deren Außenumfang im Wesentlichen quadratisch ist, auch ein entsprechend „gleichmäßig" geformtes Cursor-Symbol 2 gewählt wird, bspw. in Form eines kreisförmigen Rings, eines gleichschenkeli- gen Dreiecks, eines Quadrats, oder eines anderen einfachen Polygons, deren Kanten eine gleiche Länge aufweisen. Ist eine Situation gegeben, wie sie im unteren Bereich der Fig. dargestellt ist, befindet sich das graphische Element 3 in einem„angewählten Zustand". In einem solchen Zustand kann die Art und Weise der Anzeige des angewähl- ten Elements 3 geändert werden, bspw. kann das angewählte graphische Element 3 in einer anderen Farbe, anderen Helligkeit, einer sich periodisch verändernden Farbe und/oder einer sich periodisch verändernden Helligkeit angezeigt werden, als vor dem„angewählten Zustand". Auch kann bspw. vorgesehen sein, dass ein auf den„angewählten Zustand" hinweisender Sig- nalton oder entsprechender gesprochener Hinweis an den Bediener des interaktiven Bediensystems ausgegeben wird.
Ist eine Situation gegeben, wie sie im unteren Bereich der Fig. dargestellt ist, kann weiter in vorteilhafter Weise vorgesehen sein, dass die Steuerungsein- richtung weiter dazu eingerichtet ist, das Cursor-Symbol 2 so lange mit der zweiten, kleineren Fläche anzuzeigen, solange die wenigstens zwei Finger der die freie Geste durchführenden Hand innerhalb des Erfassungsbereichs einen zweiten, kleineren Abstand zueinander aufweisen. Auch kann weiter vorgesehen sein, dass die Position des eine zweite, kleinere Fläche in oder auf der Anzeigeeinrichtung umfassenden, angezeigten Cursor-Symbols 2 entsprechend einer Bewegung der die Geste durchführenden Hand innerhalb des Erfassungsbereichs verändert wird, wobei wahlweise vorgesehen sein kann, dass eine Veränderung der Position des angezeigten Cursor-Symbols 2 erst nach Durchführung einer Bewegung der Hand über eine vorgebbare Mindestweglänge innerhalb des Erfassungsbereichs erfolgt.
Die oben erwähnte, bevorzugte und automatische Annäherung des Flächenschwerpunkts des Cursor-Symbols 2 an den Flächenschwerpunkt des nächstgelegenen, angezeigtem, anwählbarem, graphischen Elements 3 soll dazu dienen, einem Bediener des interaktiven Bediensystems das„Anwählen" (Zielen und Zielhalten) eines derartigen graphischen Elements 3 zu erleichtern, indem quasi „magnetisch" und für den Bediener oftmals kaum wahrnehmbar der Flächenschwerpunkt des Cursor-Symbols 2 in Richtung des nächstgelegen, anwählbaren, graphischen Elements 3„gezogen" wird.
Sollte das angewählte graphische Element 3 nun nicht das vom Bediener gewünschte graphische Element 3 sein oder dieser ein anderes als das aktuell angewählte graphische Element anwählen wollen, so kann dies gemäß der vorstehend erwähnten Ausgestaltung des interaktiven Bediensystems auf einfache Weise dadurch erfolgen, dass der Bediener die Endposition seiner Finger nach Durchführung der Geste (zumindest in etwa) beibehält und eine Bewegung dieser Hand innerhalb des Erfassungsbereichs der Sensoreinrichtung durchführt, die als eine zur Veränderung der Position des Cursor- Symbols 2 erkannt wird.
Da bspw. in einem sich in Fahrt befindlichen Fahrzeug die Bewegung einer sich frei im Raum befindlichen Hand oftmals recht unruhig ist, kann hierbei vorgesehen sein, dass die „quasi magnetische Anhaftung" des Cursor- Symbols 2 bei dem angewählten Element 3 erst dann aufgehoben wird, wenn eine Bewegung der Hand über eine vorgebbare Mindestweglänge innerhalb des Erfassungsbereichs erfolgt ist, also davon ausgegangen werden kann, dass der Bediener des interaktiven Bediensystems bewusst ein anderes anwählbares graphisches Element anwählen möchte.
Da das interaktive Bediensystem dazu vorgesehen ist, alle denkbaren und möglichen Einrichtungen, wie etwa eine beliebige Maschine, eine Anlage (Produktions- oder Arbeits-Anlage mit mehreren Einrichtungen), ein Fahrzeug, eine fahrzeugseitige Einrichtung, eine mobile oder stationäre, elektro- nische Einrichtung, wie etwa ein Mobiltelefon (Smartphone), ein Tablet- Computer, ein Personal-Computer, eine Einrichtung aus dem Bereich der Unterhaltungselektronik, etc. oder Teile davon bedienen zu können und/oder Bestandteil einer solchen Einrichtung zu sein, kann in vorteilhafter Weise weiter vorgesehen sein, dass nach Erreichen eines zweiten, kleineren Ab- Stands der wenigstens zwei Finger der die freie Geste durchführenden Hand eine Aktion in Bezug auf dasjenige angezeigte, anwählbare graphische Element 3 ausgeführt wird, dessen Flächenschwerpunkt den kleinsten Abstand zum Flächenschwerpunkt des Cursor-Symbols 2 aufweist, wobei die Aktion diesem graphischen Element 3 vorab zugeordnet wurde, sofern wahlweise die wenigstens zwei Finger der die Geste durchführenden Hand innerhalb des Erfassungsbereichs einen zweiten, kleineren Abstand zueinander für einen vorgebbaren Zeitraum beibehalten oder innerhalb eines vorgebbaren Zeitraums eine weitere Bedienhandlung durch einen Bediener des interaktiven Bediensystems erfolgt.
Die ausgeführte„Aktion" ist nicht besonders beschränkt und kann etwa die Aktionen umfassen, die üblicherweise Gegenstand der Bedienung eines stationären oder mobilen Computers (etwa Personal-Computer, Tablet- Computer), eines Mobiltelefons (etwa Smartphone), einer Maschine oder Anlage sind, wie etwa das Starten oder Schließen eines Programms bzw. einer App, das Öffnen oder Schließen einer Datei, das Vornehmen von Einstellungen oder von Auswahlen bei einem Programm bzw. einer App, das Bearbeiten von Dateien, die Veränderung von Parametern und/oder die Er- zeugung und Übermittlung von Steuerungsbefehlen, etc.
Auch die weitere Bedienhandlung (als erste Bedienhandlung wird hier die Geste des Bedieners im Erfassungsbereich der Sensoreinrichtung, bei der sich wenigstens zwei Finger einer Hand von einem ersten, größeren Abstand auf einen zweiten kleineren Abstand aufeinander zu bewegen, angesehen) ist nicht besonders beschränkt und es kann sich bei dieser weiteren Bedienhandlung bspw. um eine weitere Geste, eine Betätigungshandlung bei einer Bedieneinrichtung (einem Schalter, einer Wippe, einem Touchpad, etc.) oder einen Sprachbefehl handeln.
Ist als weitere Bedienhandlung eine Geste vorgesehen, kann diese etwa ein Drehen der Hand, eine Bewegung der Hand in Richtung der (realen oder virtuellen) Anzeigefläche („Drücken") und/oder eine Bewegung der Hand von der (realen oder virtuellen) Anzeigefläche weg („Ziehen") - jeweils im Erfas- sungsbereich der Sensoreinrichtung - umfassen, wobei die letztgenannte Bedienhandlung in vorteilhafter Weise oftmals von den derzeit verfügbaren Sensor- und Auswertungseinrichtungen am sichersten erkannt wird.
Wie oben bereits erwähnt, ist das interaktive Bediensystem gemäß der vor- liegenden Erfindung dazu vorgesehen, alle denkbaren und möglichen Einrichtungen, wie etwa eine beliebige Maschine, eine Anlage (Produktionsoder Arbeits-Anlage mit mehreren Einrichtungen), ein Fahrzeug, eine fahr- zeugseitige Einrichtung, eine mobile oder stationäre, elektronische Einrichtung, wie etwa ein Mobiltelefon (Smartphone), ein Tablet-Computer, ein Per- sonal-Computer, eine Einrichtung aus dem Bereich der Unterhaltungselektronik, etc. oder einen Teil davon bedienen zu können oder Bestandteil einer solchen Einrichtung zu sein.
Dies bedeutet, dass das interaktive Bediensystem etwa ein Bestandteil eines Mobiltelefons, eines persönlichen digitalen Assistenten, eines Tablet-PC, einer mobilen oder stationären Einrichtung zur Wiedergabe von Musik- und/oder Videodaten, einer Spielkonsole, eines Fernsehers, etc. sein kann, ebenso wie es Bestandteil einer beliebigen Maschine (wie etwa einem Kraft- fahrzeug) oder Anlage oder ein Bestandteil einer Einrichtung einer Maschine (wie etwa einem Fahrerassistenz-System) oder Anlage sein kann.
In den vorstehend genannten Fällen umfassen daher die genannten Geräte, Maschinen und Anlagen, etc. sämtliche Elemente des interaktiven Bediensystems, also eine jeweils entsprechend der vorliegenden Erfindung eingerichtete Sensoreinrichtung, Auswertungseinrichtung, Anzeigeeinrichtung und Steuerungseinrichtung. Einzelne oder alle Elemente des interaktiven Bediensystems können jedoch auch getrennt von den genannten Geräten, Maschinen, Anlagen, etc. vorliegen bzw. vorgesehen sein, d.h. es können die Sensoreinrichtung, Auswertungseinrichtung, Anzeigeeinrichtung und/oder die Steuerungseinrichtung von dem Gerät, der Maschine, Anlage, etc. oder einem Teil davon getrennte Einrichtungen sein, oder es kann sich bei dem interaktiven Bediensystem um eine eigenständige Einrichtung handeln.
Selbstverständlich ist von der vorliegenden Erfindung umfasst, dass mit nur einem interaktiven Bediensystem mehrere Einrichtungen, Geräte, Maschi- nen, Anlagen, etc., oder Teile davon bedient werden können.
Bei dem interaktiven Bediensystem sind mehrfach Daten von einer Einrichtung zu einer anderen Einrichtung des interaktiven Bediensystems zu übermitteln. Auch sind oftmals Daten von dem interaktiven Bediensystem zu an- deren Einrichtungen, wie etwa einem Gerät, einer Maschine, Anlage, etc. oder einem Teil davon zu übermitteln. Die Übermittlung kann dabei auf allen bekannten Arten und Weisen erfolgen, bspw. drahtgebunden, drahtlos (etwa mittels Funkwellen oder Licht) und/oder mittels eines Bussystems. Auch ist eine Übermittlung von Daten mit Hilfe eines Netzwerks (etwa einem Intranet oder dem Internet) von der vorliegenden Erfindung umfasst. In bevorzugter Weise werden Daten in digitaler Form übermittelt.
Sofern in der vorliegenden Anmeldung von einer freien Geste gesprochen wird, bei der sich wenigstens zwei Finger der Hand von einem ersten, größe- ren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, so kann eine solche Geste bspw. ein aufeinander zu bewegen der Fingerspitzen von Daumen und Zeigefinger umfassen, ein aufeinander zu bewegen der Fingerspitzen von Daumen, Zeigefinger und Mittelfinger, ein aufeinander zu bewegen der Fingerspitzen von Daumen, Zeigefinger, Mittelfinger und Ringfinger, ein aufeinander zu bewegen der Fingerspitzen aller Finger einer Hand, oder auch eine Greifbewegung, bei der die Finger der Hand letztendlich eine Faust bilden. Zusammenfassend kann man festhalten, dass eine Bedienung mittels freier Gesten zunehmend Einzug im Bereich der Unterhaltungselektronik findet und auch im Bereich der Kraftfahrzeuge erste Ansätze hierzu bekannt sind.
Die Bedienung von grafischen Bedienschnittstellen auf Bildschirmen, Head- up-Displays oder Datenbrillen mit Hand- oder Arm-Gesten im freien Raum schließt die Möglichkeit einer haptischer Rückmeldung aus, so dass andere Modalitäten, insbesondere ein optisches Feedback für eine intuitive und flüssige Bedienung von besonderer Bedeutung sind. Die heute für die Bedienung mit einem Eingabegerät (wie Maus, Trackball, etc.) oder mit Fingern (Toucheingabe) verwendeten Eingabezeiger (Cursor- Symbole) sind für eine Bedienung mittels einer freien Geste nicht gut geeignet, da bei einer Bewegung der Hand im Raum die haptische Rückmeldung fehlt. Da die Hand hat keine Führung hat, wird die Positionierung eher grob im Vergleich zur Maus- oder Touchbedienung.
Eine Bedienung mit freien Gesten kommt häufig auch genau dann zu Einsatz, wenn die Anzeigeeinrichtung selbst oder Bedienelemente an der Anzeigeeinrichtung nicht mehr im Greifbereich des Bedieners liegen, also nicht erreicht werden können. Dann sind die heute üblichen Eingabezeiger (Cursor-Symbole) zu klein, um eine entspannte, flüssige Bedienung zu ermöglichen.
Erfindungsgemäß wird ein Eingabezeiger in Form einer geschlossenen Kur- ve (bspw. in Form eines Rings) oder eines Polygons vorgeschlagen, dessen Größe (bevorzugt dynamisch) veränderbar ist.
Geht man einmal rein beispielhaft von einer erfindungsgemäßen Anzeige des Eingabezeigers in Form eines Ring aus, ist vorgesehen, dass sich bei einem„Zugreifen" (Durchführen einer Geste mit einer Hand im Erfassungsbereich der Sensoreinrichtung, bei der sich zumindest zwei Finger der Hand aufeinander zu bewegen) des Bedieners der Ring-Durchmesser verkleinert, so dass eine direkte Rückmeldung zur Greifbewegung gegeben ist. Der Durchmesser des Eingabezeigers ist somit bevorzugt dynamisch veränderbar.
Ein Ring als Eingabezeiger kann deutlich größer sein als ein Pfeil, ohne rele- vante Objekte (etwa anwählbare, graphische Elemente) zu verdecken, weil das Innere (das Zentrum) des Rings ja nicht überdeckt, sondern umkreist ist.
Das Anwählen („Greifen") des grafischen Elements durch den Bediener wird gemäß der vorliegenden Erfindung durch einen sich verkleinernden Ring di- rekt wiedergegeben.
Wenn gleichzeitig zum„Greifen" der Ring nicht nur verkleinert, sondern auch noch auf die Mitte (Flächenschwerpunkt) des nächstliegenden Objekts zentriert wird, wird dem Bediener das genaue Zielen und Zielhalten während des „Greifens" und nach dem„Greifen" abgenommen. Die Bedienung wird einfach und flüssig.
Für die technische Umsetzung sind geeignete Sensoren (etwa 2D/3D- Kamera(s), etc.) vorgesehen, die einen Gesten-Bedienraum erfassen.
Mit dem Gestensensor wird ein„Schließen der Hand" (die Durchführung der oben erwähnten Geste) erkannt und (möglichst) parallel dazu der Durchmesser des Rings verkleinert. Der kleinste Durchmesser (bei geschlossener Hand bzw. bei Beendigung des sich aufeinander zu Bewegens der wenigs- tens zwei Finger) sollte bevorzugt nicht viel kleiner sein als das„gegriffene" grafische Objekt (Element), so dass dieses auch im„gegriffenen Zustand" im Ring sichtbar bleibt.
Idealerweise wird während des Greifens der Ring auf die Mitte (den Flächen- Schwerpunkt) des zu greifenden Objekts zentriert. Dann ist dieses Objekt im gegriffenen Zustand genau umringt. Hierdurch wird ein perfektes visuelles Feedback für den Greifvorgang bei der Gestenbedienung erreicht.
Durch die vorliegende Erfindung wird ein interaktives Bediensystem und ein Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem zur Verfügung gestellt, bei der die Bedienung an sich und die Präsentation von Bildinhalten in einer Art und Weise erfolgen, die auf die physischen Gegebenheiten des Menschen in besonderem Maße Rücksicht nimmt und diese in besonders zweckmäßiger Weise gestaltet. Die vorliegen- de Erfindung berücksichtigt insbesondere den Umstand, dass bei einer Bedienung mittels einer freien Handgeste im Raum aufgrund der physischen Gegebenheiten eines Menschen die Bedienung nur vergleichsweise ungenau erfolgen kann. Auch gestaltet die vorliegende Erfindung die Wahrneh- mung von gezeigter Informationen dadurch für einen Menschen in besonders zweckmäßiger Weise, indem diese Information eine dynamische Größenveränderung von angezeigten Elementen umfasst, wobei die Wahrnehmungsmöglichkeit nochmals dadurch verbessert oder wird, dass bevorzugt auch eine unmittelbare Korrelation zwischen der Durchführung einer Handlung (Handgeste) und einer sich in oder auf einer Anzeigefläche dynamisch verändernden Darstellung vorgesehen ist.

Claims

PATENTANSPRÜCHE:
Interaktives Bediensystem mit
- einer Sensoreinrichtung zur Erfassung von Bilddaten in zeitlicher Abfolge innerhalb eines Erfassungsbereichs der Sensoreinrichtung und zur Übermittlung der erfassten Bilddaten an eine Auswertungseinrichtung,
- einer Auswertungseinrichtung zur Auswertung der durch die Sensoreinrichtung übermittelten Bilddaten und zur Übermittlung von Daten bezüglich einer durch die Auswertung ermittelten Position einer erfassten Hand innerhalb des Erfassungsbereichs zu einer Steuerungseinrichtung,
- einer Anzeigeeinrichtung mit einer Anzeigefläche (1 ), in oder auf der ein oder mehrere mittels eines anzeigbaren Cursor-Symbols (2) anwählbare graphische Elemente (3) anzeigbar sind, und
- einer Steuerungseinrichtung, mittels der aufgrund der von der Auswertungseinrichtung übermittelten Daten das Cursor-Symbol (2) in Abhängigkeit von einer Position der Hand im Erfassungsbereich in oder auf der Anzeigefläche (1 ) der Anzeigeeinrichtung anzeigbar ist,
dadurch gekennzeichnet, dass
- die Auswertungseinrichtung dazu eingerichtet ist, an sie von der Sensoreinrichtung übermittelte Bilddaten dahin auszuwerten, ob eine erfass- te Hand innerhalb des Erfassungsbereichs eine Geste durchführt, bei der sich wenigstens zwei Finger der Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, und entsprechende Daten zu der Steuerungseinrichtung zu übermitteln, und
- die Steuerungseinrichtung dazu eingerichtet ist, die Anzeigeeinrichtung derart zu steuern, dass das Cursor-Symbol (2) in Form einer geschlossenen Kurve oder in Form der Kanten eines Polygons in oder auf der Anzeigefläche (1) angezeigt wird, und dass bei Übermittlung von Daten einer derartigen Geste durch die Auswertungseinrichtung die Größe des in oder auf der Anzeigefläche (1 ) angezeigten Cursor-Symbols (2) derart verändert wird, dass die von der geschlossenen Kurve oder den Kanten des Polygons umfasste Fläche von einer ersten, größeren Fläche auf eine zweite, kleinere Fläche verkleinert wird.
Interaktives Bediensystem gemäß Anspruch 1 ,
dadurch gekennzeichnet, dass
die Steuerungseinrichtung weiter dazu eingerichtet ist, dasjenige in oder auf der Anzeigefläche (1 ) angezeigte, anwählbare, graphische Element (3) zu ermitteln, dessen Flächenschwerpunkt den kleinsten Abstand zu dem Flächenschwerpunkt des in oder auf der Anzeigefläche (1 ) angezeigten Cursor-Symbols (2) aufweist und für den Fall, dass der Abstand einen ersten Wert ungleich Null aufweist, die Position des Flächenschwerpunkts des angezeigten Cursor-Symbols (2) während der Veränderung der Fläche des angezeigten Cursor-Symbols (2) von der ersten, größeren Fläche auf die zweite, kleinere Fläche derart automatisch zu verschieben, dass der Abstand zwischen dem Flächenschwerpunkt des angezeigten Cursor-Symbols (2) und dem Flächenschwerpunkt des ermittelten, angezeigten, graphischen Elements (3) einen zweiten Wert annimmt, der näher Null ist als der erste Wert und bevorzugt Null ist.
Interaktives Bediensystem gemäß Anspruch 2,
dadurch gekennzeichnet, dass
die Steuerungseinrichtung weiter dazu eingerichtet ist, die zweite, kleinere, von dem Cursor-Symbol (2) umfasste Fläche auf eine solche Größe zu steuern, dass die von der geschlossenen Kurve oder den Kanten des Polygons umschlossene Fläche des angezeigten Cursor-Symbols (2) im Bereich von 50% bis 200%, bevorzugt im Bereich von 75% bis 175%, besonders bevorzugt im Bereich von 90% bis 150% der Fläche des angezeigten graphischen Elements (3) beträgt.
Interaktives Bediensystem gemäß einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Steuerungseinrichtung weiter dazu eingerichtet ist, das Cursor- Symbol (2) so lange mit der eine zweite, kleinere Fläche in oder auf der Anzeigefläche (1 ) umfassenden Form anzuzeigen, solange die wenigstens zwei Finger der die Geste durchführenden Hand innerhalb des Erfassungsbereichs einen zweiten, kleineren Abstand zueinander aufweisen.
Interaktives Bediensystem gemäß Anspruch 4,
dadurch gekennzeichnet, dass
die Steuerungseinrichtung weiter dazu eingerichtet ist, die Position des eine zweite, kleinere Fläche in oder auf der Anzeigefläche (1 ) umfassenden, angezeigten Cursor-Symbols (2) entsprechend einer Bewegung der die Geste durchführenden Hand innerhalb des Erfassungsbereichs zu verändern, wobei wahlweise vorgesehen sein kann, dass eine Verände- rung der Position des angezeigten Cursor-Symbols (2) erst nach Durchführung einer Bewegung dieser Hand über eine vorgebbare Mindestweg- länge innerhalb des Erfassungsbereichs erfolgt. 6. Interaktives Bediensystem gemäß einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Steuerungseinrichtung weiter dazu eingerichtet ist, nach Erreichen des oder eines zweiten, kleineren Abstands der wenigstens zwei Finger der die Geste durchführenden Hand eine Aktion in Bezug auf dasjenige angezeigte, anwählbare graphische Element (3) auszuführen, dessen Flächenschwerpunkt den kleinsten Abstand zum Flächenschwerpunkt des Cursor-Symbols (2) aufweist, wobei die Aktion diesem graphischen Element (3) vorab zugeordnet wurde, sofern wahlweise die wenigstens zwei Finger der die Geste durchführenden Hand innerhalb des Erfassungsbereichs einen zweiten, kleineren Abstand zueinander für einen vorgebbaren Zeitraum beibehalten oder innerhalb eines vorgebbaren Zeitraums eine weitere Bedienhandlung durch einen Bediener des interaktiven Bediensystems erfolgt.
7. Interaktives Bediensystem gemäß einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Anzeigeeinrichtung einen grafikfähigen Bildschirm, ein Head-up- Display oder eine Datenbrille umfasst.
8. Interaktives Bediensystem gemäß einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Sensoreinrichtung eine oder mehrere Kameraeinrichtungen für sichtbares Licht, eine oder mehrere Kameraeinrichtungen für Infrarot-Licht, eine oder mehrere Radar-Einrichtungen, und/oder eine oder mehrere Time-of-Flight-Einrichtungen umfasst. 9. Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem, das
- eine Sensoreinrichtung zur Erfassung von Bilddaten in zeitlicher Abfolge innerhalb eines Erfassungsbereichs der Sensoreinrichtung und zur Übermittlung der erfassten Bilddaten an eine Auswertungseinrichtung, - eine Auswertungseinrichtung zur Auswertung der durch die Sensoreinrichtung übermittelten Bilddaten und zur Übermittlung von Daten bezüglich einer durch die Auswertung ermittelten Position einer erfassten Hand innerhalb des Erfassungsbereichs zu einer Steuerungseinrichtung,
- eine Anzeigeeinrichtung mit einer Anzeigefläche, in oder auf der ein oder mehrere mittels eines anzeigbaren Cursor-Symbols anwählbare graphische Elemente anzeigbar sind, und
- eine Steuerungseinrichtung, mittels der aufgrund der von der Auswertungseinrichtung übermittelten Daten das Cursor-Symbol in Abhängigkeit von einer Position der Hand im Erfassungsbereich in oder auf der Anzeigefläche der Anzeigeeinrichtung anzeigbar ist, umfasst,
dadurch gekennzeichnet, dass das Verfahren die folgenden Schritte umfasst:
- Anzeigen eines Cursor-Symbols in Abhängigkeit von einer Position einer Hand im Erfassungsbereich einer Sensoreinrichtung in Form einer geschlossenen Kurve oder in Form der Kanten eines Polygons in oder auf einer Anzeigefläche einer Anzeigeeinrichtung, wobei die von der geschlossenen Kurve oder den Kanten des Polygons umfasste Fläche eine erste, größere Fläche aufweist,
- Auswerten von Bilddaten der Sensoreinrichtung dahin, ob eine erfasste Hand innerhalb eines Erfassungsbereichs eine Geste durchführt, bei der sich wenigstens zwei Finger der Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, und
- Verändern der Größe des in oder auf der Anzeigefläche angezeigten Cursor-Symbols derart, dass die von der geschlossenen Kurve oder der Kanten des Polygons umfasste Fläche von der ersten, größeren Fläche auf eine zweite, kleinere Fläche verkleinert wird, sofern die Durchführung einer derartigen Geste im Erfassungsbereich festgestellt wird.
10. Verfahren gemäß Anspruch 9,
dadurch gekennzeichnet, dass es weiter umfasst:
- Ermitteln des in oder auf der Anzeigefläche angezeigten, anwählbaren, graphischen Elements, dessen Flächenschwerpunkt den kleinsten Abstand zu dem Flächenschwerpunkt des in oder auf der Anzeigefläche angezeigten Cursor-Symbols aufweist und für den Fall, dass der Abstand einen ersten Wert ungleich Null aufweist, automatisches Verschieben der Position des Flächenschwerpunkts des angezeigten Cursor-Symbols während der Veränderung der von dem angezeigten Cursor-Symbol um- schlossenen Fläche von der ersten, größeren Fläche auf die zweite, kleinere Fläche derart, dass der Abstand zwischen dem Flächenschwerpunkt des angezeigten Cursor-Symbols und dem Flächenschwerpunkt des ermittelten, angezeigten Elements einen zweiten Wert annimmt, der näher Null als der erste Wert und bevorzugt Null ist, und/oder
- Ausführen nach Erreichen des oder eines zweiten, kleineren Abstands der wenigstens zwei Finger der die Geste durchführenden Hand einer Aktion in Bezug in Bezug auf dasjenige in oder auf der Anzeigefläche angezeigte, anwählbare graphische Element, dessen Flächenschwerpunkt den kleinsten Abstand zum Flächenschwerpunkt des Cursor- Symbols aufweist, wobei die Aktion diesem graphischen Element vorab zugeordnet wurde, sofern die wenigstens zwei Finger der die Geste durchführenden Hand innerhalb des Erfassungsbereichs den zweiten, kleineren Abstand zueinander für einen vorgebbaren Zeitraum beibehalten oder innerhalb eines vorgebbaren Zeitraums eine weitere Bedienhandlung durch einen Bediener des interaktiven Bediensystems erfolgt.
PCT/EP2016/001134 2015-10-01 2016-07-02 Interaktives bediensystem und verfahren zum durchführen einer bedienhandlung bei einem interaktiven bediensystem WO2017054894A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015012720.9A DE102015012720A1 (de) 2015-10-01 2015-10-01 Interaktives Bediensystem und Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem
DE102015012720.9 2015-10-01

Publications (1)

Publication Number Publication Date
WO2017054894A1 true WO2017054894A1 (de) 2017-04-06

Family

ID=56360352

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/001134 WO2017054894A1 (de) 2015-10-01 2016-07-02 Interaktives bediensystem und verfahren zum durchführen einer bedienhandlung bei einem interaktiven bediensystem

Country Status (2)

Country Link
DE (1) DE102015012720A1 (de)
WO (1) WO2017054894A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2568507A (en) * 2017-11-17 2019-05-22 Jaguar Land Rover Ltd Vehicle Controller
GB2568510A (en) * 2017-11-17 2019-05-22 Jaguar Land Rover Ltd Vehicle controller
CN112286407A (zh) * 2019-07-13 2021-01-29 兰州大学 一种域光标

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018209572A1 (zh) * 2017-05-16 2018-11-22 深圳市柔宇科技有限公司 头戴式显示设备及其交互输入方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120051596A1 (en) * 2010-08-31 2012-03-01 Activate Systems, Inc. Methods and apparatus for improved motioin capture
US20130265222A1 (en) * 2011-07-05 2013-10-10 Primesense Ltd. Zoom-based gesture user interface
DE102013207528A1 (de) 2013-04-25 2014-10-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Interagieren mit einem auf einer Datenbrille angezeigten Objekt
DE102013215370A1 (de) 2013-08-05 2015-02-05 Continental Automotive Gmbh Steuerungseinrichtung zur Verwendung in einem Kraftfahrzeug
US20150261408A1 (en) * 2014-03-17 2015-09-17 Microsoft Corporation Multi-stage Cursor Control

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717318B2 (en) * 2011-03-29 2014-05-06 Intel Corporation Continued virtual links between gestures and user interface elements
JP6159078B2 (ja) * 2011-11-28 2017-07-05 京セラ株式会社 装置、方法、及びプログラム
SE536989C2 (sv) * 2013-01-22 2014-11-25 Crunchfish Ab Förbättrad återkoppling i ett beröringsfritt användargränssnitt

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120051596A1 (en) * 2010-08-31 2012-03-01 Activate Systems, Inc. Methods and apparatus for improved motioin capture
US20130265222A1 (en) * 2011-07-05 2013-10-10 Primesense Ltd. Zoom-based gesture user interface
DE102013207528A1 (de) 2013-04-25 2014-10-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Interagieren mit einem auf einer Datenbrille angezeigten Objekt
DE102013215370A1 (de) 2013-08-05 2015-02-05 Continental Automotive Gmbh Steuerungseinrichtung zur Verwendung in einem Kraftfahrzeug
US20150261408A1 (en) * 2014-03-17 2015-09-17 Microsoft Corporation Multi-stage Cursor Control

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MATTHIAS SCHWALLER ET AL: "Pointing in the Air: Measuring the Effect of Hand Selection Strategies on Performance and Effort", 1 July 2013, HUMAN FACTORS IN COMPUTING AND INFORMATICS, SPRINGER BERLIN HEIDELBERG, BERLIN, HEIDELBERG, PAGE(S) 732 - 747, ISBN: 978-3-642-39061-6, pages: 732 - 747, XP047033542 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2568507A (en) * 2017-11-17 2019-05-22 Jaguar Land Rover Ltd Vehicle Controller
GB2568510A (en) * 2017-11-17 2019-05-22 Jaguar Land Rover Ltd Vehicle controller
GB2568510B (en) * 2017-11-17 2020-04-01 Jaguar Land Rover Ltd Vehicle controller
CN112286407A (zh) * 2019-07-13 2021-01-29 兰州大学 一种域光标

Also Published As

Publication number Publication date
DE102015012720A1 (de) 2017-04-06

Similar Documents

Publication Publication Date Title
EP1998996B1 (de) Interaktive bedienvorrichtung und verfahren zum betreiben der interaktiven bedienvorrichtung
EP2943367B1 (de) Verfahren zum synchronisieren von anzeigeeinrichtungen eines kraftfahrzeugs
EP3507681B1 (de) Verfahren zur interaktion mit bildinhalten, die auf einer anzeigevorrichtung in einem fahrzeug dargestellt werden
EP2701938B1 (de) Schnittstelle zur drahtlosedatenübertragung in einem kraftfahrzeug und computerprogrammprodukt
EP3116737B1 (de) Verfahren und vorrichtung zum bereitstellen einer graphischen nutzerschnittstelle in einem fahrzeug
WO2017211817A1 (de) Bedienvorrichtung mit eyetrackereinheit und verfahren zum kalibrieren einer eyetrackereinheit einer bedienvorrichtung
DE102015211358A1 (de) Eingabevorrichtung für fahrzeuge und fahrzeugcockpitmodul
WO2017054894A1 (de) Interaktives bediensystem und verfahren zum durchführen einer bedienhandlung bei einem interaktiven bediensystem
DE112015002938T5 (de) Bedienvorrichtung für ein Fahrzeug
EP2750914A1 (de) Verfahren und vorrichtung zum bereitstellen einer nutzerschnittstelle, insbesondere in einem fahrzeug
WO2014108147A1 (de) Zoomen und verschieben eines bildinhalts einer anzeigeeinrichtung
WO2018234147A1 (de) Verfahren zum betreiben einer anzeigevorrichtung für ein kraftfahrzeug sowie kraftfahrzeug
EP3573854A1 (de) Verfahren zum betreiben eines bediensystems, bediensystem und fahrzeug mit einem bediensystem
WO2015162058A1 (de) Gesteninteraktion mit einem fahrerinformationssystem eines fahrzeuges
WO2016124473A1 (de) Verfahren zum auswählen eines bedienelements eines kraftfahrzeugs und bediensystem für ein kraftfahrzeug
DE102016218003B4 (de) Verfahren und Vorrichtung zur Optimierung der Darstellung auf mehreren Displays in einem Fahrzeug
DE102014224898A1 (de) Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
DE102017218718A1 (de) Verfahren, Vorrichtung und Fortbewegungsmittel zur Unterstützung einer Gestensteuerung für ein virtuelles Display
WO2014114428A1 (de) Verfahren und system zum blickrichtungsabhängigen steuern einer mehrzahl von funktionseinheiten sowie kraftwagen und mobiles endgerät mit einem solchen system
WO2020052894A1 (de) Verfahren zum unterstützen eines benutzers beim durchführen eines scroll-vorgangs, vorrichtung und kraftfahrzeug
WO2014040807A1 (de) Berührungseingaben entlang einer schwelle auf einer berührungsempfindlichen oberfläche
DE102014217969A1 (de) Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
DE102020106021A1 (de) Verfahren und system zum betreiben eines auswahlmenüs einer grafischen benutzeroberfläche basierend auf dem erfassen einer rotierenden freiraumgeste
DE102019212278A1 (de) Bediensystem und Verfahren zum Betreiben des Bediensystems
EP2107456A1 (de) Auswahl von Anzeigenmodi "SKINS" für ein Infotainmentsystem

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16735579

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16735579

Country of ref document: EP

Kind code of ref document: A1