WO2020007440A1 - System zur ergonomischen interaktion eines anwenders mit daten - Google Patents

System zur ergonomischen interaktion eines anwenders mit daten Download PDF

Info

Publication number
WO2020007440A1
WO2020007440A1 PCT/EP2018/067827 EP2018067827W WO2020007440A1 WO 2020007440 A1 WO2020007440 A1 WO 2020007440A1 EP 2018067827 W EP2018067827 W EP 2018067827W WO 2020007440 A1 WO2020007440 A1 WO 2020007440A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
user
content
functions
data processing
Prior art date
Application number
PCT/EP2018/067827
Other languages
English (en)
French (fr)
Inventor
Jörg Wurzer
Original Assignee
Hallo Welt Systeme Ug (Haftungsbeschränkt)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hallo Welt Systeme Ug (Haftungsbeschränkt) filed Critical Hallo Welt Systeme Ug (Haftungsbeschränkt)
Priority to EP18742946.9A priority Critical patent/EP3818433A1/de
Priority to US17/258,628 priority patent/US20210271348A1/en
Priority to PCT/EP2018/067827 priority patent/WO2020007440A1/de
Publication of WO2020007440A1 publication Critical patent/WO2020007440A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to a system for the ergonomic interaction of a user with data.
  • the system or data processing system comprises at least one processor unit, at least one local and / or data storage accessible via a network, data objects representing local and / or content accessible via a network, and a human-machine interface for providing information and / or control elements in the In terms of user interaction with data.
  • a human-machine interface used in stationary and mobile computer systems has the purpose that users can capture, display, edit, share, save, delete and call up digital content.
  • Operating systems of stationary and mobile computer systems use files and directories for storage as well as programs for processing them. Each program has its own defined functions that can be accessed via a program menu.
  • Today's data and information processing systems are characterized by a variety of executable programs (so-called apps), menu structures, hierarchical and distributed file storage locations or file storage locations as well as services available via a network.
  • Operating systems for mobile devices have abstracted file storage locations or file storage locations, but subsequently reintroduced them due to a lack of alternative concepts, especially under Apple's iOS.
  • this large number means a high and even increasing confusion when the large number increases.
  • Programs that can be used on the move and services especially so-called cloud services
  • An integral, cross-system concept for a user interface and user guidance is missing.
  • One of the core functions of data and information processing systems is, in particular, the retrieval (so-called retrieval) of data and / or information as well as the output of data and / or information.
  • Current operating systems offer the aforementioned variety of programs, hierarchical and distributed file storage locations or file storage locations as well as the concept of a search, usually in the form of a free text search.
  • the user often has to choose the right apps for those core functions, switch between them, move down the hierarchy of file storage, switch between storage locations or choose suitable terms for a search, which are usually even distributed across various local and network-available services that a selection or sequential query is necessary.
  • the search results must be viewed and selected, because a keyword or two keywords are usually not sufficient to obtain the desired data or information.
  • the need for the core functions of data and information processing systems, the input, the processing, the retrieval, the output and the sharing or distribution of information represent not only a multitude of technical structures of a single one data processing system, but a variety of data processing systems.
  • the number has also increased here.
  • mobile systems in various sizes from mobile (in particular so-called laptops) to lightweight (in particular so-called tablets) to handy (in particular so-called smart phones) and even portable devices (in particular so-called wearables) are used, who often work just as independently and unconnected.
  • Services available via a network are intended to close this gap, but do not reduce the diversity of the end devices and even increase the diversity for the input, processing and / or retrieval of data representing information.
  • the data and information processing systems known in the prior art allow ever lighter, smaller and at the same time more powerful end devices, but also lead to an increasing ergonomic paradox.
  • Even a mobile computer especially a so-called laptop
  • a keyboard and display connected via a joint leads to the incompatibility of correct posture on the part of the user.
  • Handy devices (especially so-called smart phones), on the other hand, are hardly suitable for displaying long texts, and certainly not for entering them.
  • the motivation of the present invention is accordingly a data processing system for simple, straightforward, ergonomic and self-determined handling of information representing data, which allows a user to focus on his intentions and activities, on content and people with whom he shares content , Immediately means direct interaction, in which technical structures, especially their confusing diversity, take a back seat.
  • the present invention proposes a network of terminals with an adaptive system for the situational input, procurement and / or output of data representing data, which is a system or data processing system for the ergonomic interaction of a user with data, in particular by means of distributed user guidance and provides data processing with networked user terminals and is composed in particular of the following different subsystems that build on and / or complement one another, in particular subsystem S1, subsystem S2, subsystem S3, subsystem S4, subsystem S5 and / or subsystem S6:
  • Subsystem S2 cross-system, automatic and dynamic compilations of content representing data, programs and / or functions;
  • Subsystem S3 cross-system, automatic and adaptive calculation, query and / or provision of situational content representing data, programs and / or functions; in particular with the following characteristics:
  • Subsystem S3.1 automatic parameters of a situation of the user of a system as metadata
  • Subsystem S3.2 automatic determination (so-called retrieval) of data, programs and / or functions representing situational content;
  • Subsystem S3.3 output of data, programs and / or functions representing situational content; and or
  • Subsystem S4 Adaptive user interface for the input and / or processing of data representing content; in particular with the following characteristics:
  • Subsystem S4.1 anticipation of the intention of a user of the entire system, in particular comprising subsystem S1, subsystem S2, subsystem S3, subsystem S4, subsystem S5 and / or subsystem S6; and or - S4.2 subsystem: adaptive human-machine interfaces;
  • - S5 subsystem combination of end devices for ergonomic, adaptive input and / or output of data representing content; in particular with the following characteristics:
  • Subsystem S6 combination of end devices for ergonomic virtual, adaptive input and / or output of data representing content; in particular with the following characteristics:
  • Contents in the sense of the present invention are data objects or a set (so-called set) of data objects that represent a unit of content, for example a message, a contact, a task, a document, an image.
  • Situational in the sense of the present invention means related to a situation of the user, that is to say in general, who is pursuing which intention, when, where, in particular what activities the user of a system is carrying out in which situation on his terminal.
  • Retrieval in the sense of the present invention is a system-side, automatic localization (finding) and selection of data in the sense of information retrieval.
  • Calling in the sense of the present invention is a user-side request for data representing content.
  • Dynamic in the sense of the present invention is changeable, depending on changeable parameters or data.
  • Calculation in the sense of the present invention is the mechanical processing (computation) of data, including the processing of character strings (strings) and complex data structures (dictionary, map, list, set etc.) via simple data structures such as whole (integer) or Floating point numbers (float).
  • Subsystem S1 Cross-system, integral human-machine interface (integral user guidance) for calling up content representing data, programs and / or functions
  • Data storage - accessible locally or through a network
  • - Content classes are, for example, documents, photos, videos, but also programs (apps) and more complex classes such as unread notifications (notifications), visited websites or situational content,
  • Technical criteria are, for example, file extensions, metadata such as the Internet Media Type (MIME type) or storage locations and the technical criteria can also be defined and / or applied in combination, including instructions for calculating or obtaining data, and / or
  • the content criteria are, for example, a specific addressee of messages, a motif or location of images or a keyword for a document;
  • - functions include taking a photo, sending an email or triggering an audio or video call,
  • the technical criteria for example an available camera, a selected addressee or an existing mobile phone connection and where the technical criteria can also be defined or applied in combination, and / or
  • the content-related criteria are, for example, the time, a day of the week, the location of the end device or a specific calendar event; and or
  • This system or subsystem contributes in particular to solving the aforementioned technical problems 1.
  • Cross-system integral user guidance of a data processing system
  • 2. Intermediate, direct provision of data, programs and / or functions
  • 4. Traffic system boundaries internal and external system limits of a device.
  • the human-machine interface of this system reflects the core functions of data or information processing systems mentioned at the outset, namely input, processing, retrieval, output and / or distribution of data representing information, advantageously with the following features and / or properties:
  • the system offers dynamic options for action in terms of technical functions at any time in at least two groups (so-called double menu):
  • the data representing the content can be both persistent (for example photos, messages, notes) and transient (for example audio and / or video call).
  • the system derives the options from the available content classes
  • the options include dynamic compilations of data representing content and / or executable programs (apps),
  • the system can call up the compilations as well as the programs with parameters, for example an e-mail program with parameters for the send date and the sender name or a file manager with parameters for the file type and search term or a web browser with one parameter for a url. If the system displays a date representing a content or if the user has selected one, the system can offer a third group (so-called triple menu) of further options for technical functions that use that date, in particular for sharing and / or connecting (linking ) and / or retrieving further content representing data, whereby
  • the system derives the options for sharing from the available functions and the included or referential communication channels,
  • the system derives the options for linking from the content classes and their technical criteria and / or the indexed content itself, whereby the options for connecting include the explicit selection of content representing data and / or the implicit selection of content representing data on the basis of search queries,
  • the system persists the explicit and / or the parameters for the implicit connections in the data store in order to use them for the sudden retrieval of further content representing data;
  • the system can use and optionally combine the following alternative user guidance in the sense of a human-machine interface, advantageously with the following features and / or properties:
  • the terminal or its input and output device (so-called accessory) has touch-sensitive points (touch points) with a radius sufficient for an interaction on or on the corners of its display, in each case by one of the three function groups mentioned, namely that Acquisition, access and / or use of data representing content to access.
  • the fourth corner can advantageously be used by the system for deleting, closing, minimizing or hiding a date representing a displayed content or a displayed executable program (app).
  • touch gesture swipe gesture
  • the terminal or its input and output device has touch-sensitive edges on the sides of its display and / or its housing, each of one of the three function groups mentioned, namely the acquisition, retrieval and / or use of data representing data, and their data
  • Can call functions This applies in particular to the first two function groups, namely the acquisition and / or the retrieval of data representing content.
  • the system can advantageously select the functions via a
  • swiping gestures swipe
  • slide pushing gesture
  • touch a subsequent touch gesture
  • the swiping gesture and / or the sliding gesture can advantageously precede a single or double touch gesture. If the touch-sensitive edges are on the display, the system may conflict with the function groups with others
  • the terminal or its input and / or output device has touch-sensitive points with a radius or area sufficient for an interaction as virtual or physical buttons for calling up the function groups mentioned, namely the acquisition, calling and / or use of data representing content. This applies in particular to a virtual or physical keyboard or a comparable control or input device.
  • the user of the system can advantageously call up a function from the group via a touch gesture (touch), via a further key or key combination or via a further input device;
  • the terminal or its input and / or output device advantageously uses a touch-sensitive device
  • the terminal or its input and / or output device uses a keyboard with a touch-sensitive surface (touch pad), which allows the user with a multi-touch gesture, that is, with several fingers, or with a touch gesture and actuation calls a function key to one of the function groups, this gesture preferably being a swipe gesture, in order to enable the selection of a function in addition to calling the function groups.
  • touch pad touch-sensitive surface
  • This variant is particularly suitable for laptops and stationary personal computers; and or
  • the terminal or its input and / or output device uses a touch-sensitive surface or display for swiping gestures from the outer edges of a display to the interior thereof in order to call up one of the groups of functions.
  • the system can use a fourth gesture for deleting, closing, minimizing or hiding a date or executable program (app) representing content displayed.
  • FIG. 10 show exemplary embodiments of the human-machine interface according to the invention using input and output devices of different sizes.
  • 1 a, 1 b, 1 c and 1 d show an example of a human-machine interface for devices with an average display area in a size of 3 inches to 10 inches in the diagonal, for example a so-called tablet.
  • the sequence in FIGS. 1a and 1d also shows a sequence of use or a sequence of human-machine interactions.
  • 2a, 2b and c show an example of a human-machine interface for devices with a small one
  • Display area with a size of 1 inch to 3 inches in the diagonal for example a so-called smart watch.
  • 3 shows an example of a human-machine interface for devices with a large one Display area with a size larger than 10 inches in the diagonal, for example a so-called notebook or laptop.
  • Device pages for calling function groups from the device itself or an output unit connected to this device, which can also be another input unit.
  • Basic functions namely input, processing, retrieval, output and / or distribution of data representing information of the data processing system 8 Display area for a compilation of the data representing individual contents and / or executable programs
  • Subsystem S1.3 Cross-system display of data representing content
  • the system After calling one of the data representing the cross-system functions, namely input, processing, retrieval, output and / or distribution of information, the system advantageously shows the corresponding human-machine interface (interface) for entering or capturing content (so-called capturing) Data, compilations of content representing data, a single content representing date or also a called program (app).
  • the information and data processing system advantageously has the following features and / or properties for the display of and interaction with content representing data and / or programs:
  • the system selects and displays functions depending on the type and / or the status of the data displayed, and / or
  • the display area for changing data representing information is preferably interactive.
  • the system can show, hide, crossfade or exchange display areas by calling up data representing further content.
  • the system advantageously enables technical structures such as programs, files and / or services to be concealed, and in particular provides the user with greater clarity.
  • a further embodiment of the invention with regard to the subsystem 1 according to the invention provides a data processing system for the ergonomic interaction of a user with data, which has the following features:
  • a human-machine interface for the provision of information and / or control elements with regard to the interaction of a user with data
  • Machine interface with at least two options for action for the
  • the first option is determined using the directory of / containing functions available on the system side for a human-machine interaction with data and the technical conditions of the functions (function directory) or can be determined / derived
  • the second option using the directory from / containing the semantic content classes of the data objects and the technical criteria of the content classes (class directory) and / or using the directory from / containing system-available functions for a human-machine interaction with data and the technical conditions of the functions (list of functions) is determined or can be determined / derived.
  • the means / device for the immediate provision of functions appropriate to the situation or for the provision of functions for the situation advantageously effect / cause an automatic calculation of dynamic functions for a user interaction with data by means of the human-machine interfaces.
  • dynamic action options in at least two groups can be used on the system side, that is, at any time, and in particular can be displayed or reproduced by an output device, in particular a display device.
  • the calculation is advantageously carried out by means of the processor unit of the system or by means of a computing device of the means / device for the immediate provision of functions appropriate to the situation or for the provision of functions in the situation.
  • the means / device for the immediate provision of functions appropriate to the situation or for the provision of functions for the situation provide a third option for the user with regard to linking or sharing of contents when a data object representing a content is displayed on the system side or by a user is selected, the third option using the directory of / containing content classes and / or content objects available on the system side and / or using the directory of or containing system-available functions for human-machine interaction and the technical conditions of these functions (list of functions) and / or using system-available communication channels with regard to sharing content with third parties / is derivable.
  • the means / device for the immediate provision of functions appropriate to the situation or for the provision of functions for the situation provide a fourth option for the user with regard to deleting or closing a displayed content and / or an app.
  • the present invention makes use in particular of the knowledge that technical structures such as programs and directories or storage locations that can be reached via directories or web addresses must take a back seat.
  • the system or data processing system furthermore has at least one input and / or output device which provides a display surface and which is preferably on and in and / or on the edge regions of the display surface, preferably and / or optionally, in and / or on the areas of the corners of the display surface, each has a touch-sensitive button for one of the at least two, three or even four options for action for the user.
  • the edges of the input and / or output unit are touch-sensitive in order to call up and select the options for action (cf. in particular also FIGS. 1 a to 3 and FIG. 6).
  • the system according to the invention which is preferably designed or configured as a terminal device or a terminal device combination with an input and / or output device, is used for the technical implementation of these omnipresent or permanent, that is to say at any time available or immediately usable, situational options for action , advantageously the following configurations, which are provided in particular as an alternative:
  • the terminal or its input and / or output device has touch-sensitive buttons or points, so-called touch points, on or on the corners of its display area, each of which Call up options for one of the core functions mentioned, such as the acquisition, retrieval or use of data representing content, or special functions, such as the distribution or linking of data representing content.
  • the system can advantageously use or provide a fourth corner for deleting or closing a displayed content and / or an app.
  • the terminal or its input and / or output device has touch-sensitive edges or touch-sensitive pages on or in the area of the display, each of which calls up the options for action for one of the above-mentioned core functions, such as the acquisition, retrieval or use of data representing data.
  • the terminal or its input and / or output device has, in particular in the area of the display area, touch-sensitive points, preferably in the form of virtual or physical buttons, each of which offers the options for action for one of the core functions mentioned, such as capturing, retrieving or using content representing data, or special functions, such as distributing or linking data representing data, preferably, for example, on a keyboard.
  • the present invention sees the following means and / or devices for implementing a situational user guidance according to the invention, in particular for providing, as a technical alternative for defined menu structures which are bound to programs, the program window or - as in the case of the MacOS operating system - the entire display area of a display device the functions automatically calculated by the system.
  • system or data processing system advantageously has, in particular, the following features and / or properties:
  • Content display areas so-called content panels, which can display one or more content, are used for the output
  • functions for editing or using content such as distributing or linking content, are always linked to or on this content
  • This binding advantageously applies or takes place both optically for the user guidance and in terms of content for the associated option of action; for example, it makes no sense to play a text, only video or audio content. or documents can be shared via email but not via Facebook.
  • the system can overlay or display several display areas,
  • the system advantageously realizes a representation in a miniaturized variant, in particular for an overview of many display areas, which advantageously does not reproduce the contents statically but dynamically, so-called live panel, for example a video or a feed.
  • Output device advantageously replaces program windows and directories or folder structures of today's operating systems
  • hybrid concepts of operating systems are possible which, in addition to the dynamic display and display areas determined according to the invention, also provide folders, files and programs with program windows and program menus.
  • the invention proposes the output of content display areas (content panels) which can display one or more contents.
  • Functions for editing or use, such as sharing content are always with or to this content bound. This binding applies both visually to the user guidance and in terms of content for the associated option of action.
  • the system can, according to the invention, display a plurality of display areas superimposed or arranged next to one another, the system being used for an overview of many display areas in a miniaturized variant which does not reproduce the content statically but dynamically (live panel ), for example by means of a video or a feed.
  • the display area provided according to the invention replaces program windows and directories or folder structures of today's operating systems, whereby hybrid concepts of operating systems are possible which, in addition to the dynamic, content-specific display areas, also know folders, files and programs with program windows and program menus.
  • FIGS. 1d and 3 The system schematically shown in the figures advantageously shows the system according to the invention on a display surface of a screen, in particular displays or monitors, or virtually in space, preferably on the part of the display area of so-called data glasses (smart glasses).
  • a particularly preferred application is in connection with a device for the virtual output of digital content, but not as part or extension of reality (augmented reality), but as superimposed content (blended reality).
  • Subsystem S2 Cross-system, automatic and dynamic compilations of content representing data, programs and / or functions
  • Data storage - accessible locally or through a network
  • This system or subsystem contributes in particular to solving the aforementioned technical problems 2. (Immediate, direct provision of data, programs and / or functions) and 4. (Overcoming system boundaries internal and external system boundaries of a terminal).
  • Dynamic compilations of data representing content advantageously offer the user constantly up-to-date overviews based on semantic criteria. At the same time, they advantageously offer fast access to data representing such content without having to search for it or to use different programs or services sequentially that are available locally or via a network.
  • the aforementioned system according to the invention particularly provides the following features:
  • the user of the system can define dynamic compilations of data and / or programs representing content, whereby
  • the definition is made by the user with or without an explicit or implicit link to data representing one or more contents, and / or
  • the system persists the definitions for the dynamic compilations in its data storage in order to use them for calling up the compilations.
  • the user can call up dynamic compilations of data and / or programs representing content from the system, whereby
  • the call is made independently or depending on one or more contents representing data that the user has selected explicitly or implicitly,
  • the system executes criteria (so-called constraints) for the selection (selection in the sense of information retrieval) of data representing content using the indices, and / or
  • the system merges the results of the selection from different indexes or third-party systems into a union set.
  • the system reproduces the dynamic compilations via an output unit, with which a user can call up the data objects and / or executable programs representing the content, whereby
  • the system preferably sorts the elements of the compilations according to a rank which it calculates according to temporal, formal or semantic criteria or a combination thereof.
  • Subsystem S3 cross-system, automatic and adaptive calculation, query and / or provision of situational content representing data, programs and / or functions
  • This system or subsystem contributes in particular to solving the aforementioned technical problems 2. (Direct, direct provision of data, programs and / or functions) and 3. (Direct, direct processing of content representing data).
  • the system according to the invention therefore advantageously provides data, programs and / or functions representing content that contain at least one parameter that represents the current situation or at least one aspect of the situation of the user of a system, or references the parameter directly or indirectly by means of rules or calculations become.
  • Subsystem S3.1 Automatic representation of a situation of the user of a system as a parameter of a data query
  • the system records the situation of the user in order to be able to offer him or her situational content, programs (apps) and / or functions, the recording of the situation for the subsequent query and provision of situational data, programs and / or functions periodically or by the user Signal (so-called trigger) is triggered.
  • the system advantageously uses all or selectively available, situational data, preferably location, time, movement, orientation of the terminal, available and used network, networked input and / or output devices, events, including calendar events, displayed, selected and / or entered texts , and / or incoming sound, image and / or video data.
  • the system derives classified parameters Pi to P n from the situational data, which the system optionally selects, combines, optionally extends, and finally uses for data and / or apps representing content and / or functions for data processing and / or data communication ,
  • Classified parameters Pi to P n are preferably:
  • the system according to the invention can advantageously derive activities individually or in combination from the following situational data: - Active or used app,
  • the system can derive classified entities from the following situational data individually or in combination with the help of classified names of an auxiliary data source, machine learning or heuristics:
  • the system according to the invention can advantageously derive topics, in particular, from the following situational data, individually or in combination, by extracting word groups:
  • Subsystem S3.2 Automatic determination (retrieval) of data, programs and / or functions representing situational content
  • the system advantageously translates the classified parameters of a situation into individual and / or combined search queries for integrated services that are available locally or via a network.
  • the system advantageously creates a query that determines data objects,
  • Classes of content include people, messages, or documents.
  • Subsystem S3.3 Output of data, programs and / or functions representing situational content
  • the system evaluates the results of the requests and outputs these results via an output unit, a data store or a notification system:
  • the system can advantageously evaluate the results of the queries numerically depending on the hits for the classified parameters.
  • the system can advantageously calculate the numerical evaluation as a relative or absolute sum of the hits or the sum of the respective numerical evaluation of the hits, this respective calculation advantageously being carried out as a function of the parameter and / or the parameter class that led to the hit ,
  • the system can advantageously additionally or alternatively differentiate the results of the requests into those which represent a classified entity (known as a named entity) which corresponds to a parameter and those which merely contain the value of a parameter.
  • the former includes a date representing a person that contains the name or email address that corresponds to the value of a parameter.
  • the system can advantageously use the numerical evaluation in proportion to the number of hits, but also other data of the results representing properties of the content, in order to sort them.
  • the system can advantageously select the results that contain at least one hit or contain all hits for the parameters that represent a situation.
  • the system can advantageously display information on the parameter that led to the respective hit via a user interaction, for example a touch or an optical overlay of a pointer (so-called mouse or so-called pointer).
  • Subsystem S3.4 Automatic optimization of subsystem 3 using machine learning
  • the system can advantageously offer the user an interaction with the results of the requests via the output unit in order to change and improve those results ad hoc for the current and post hoc for future requests.
  • the system can advantageously also display the parameters or values of the parameters which represent a situation via the output unit.
  • the user can advantageously use these elements deactivate, activate and / or add. As a result, the results change depending on whether the system shows the results that contain all or at least one hit.
  • system enables two or three options for the selection of those parameters:
  • the parameter need not be included in the result or correspond to a property of the result
  • the parameter must be contained in the result or correspond to a property of the result; and or
  • the parameter can be contained in the result or correspond to a property of the result.
  • the results displayed advantageously change according to the selection made by the user of the system.
  • the system can offer the options, for example, by repeatedly touching or selecting interactively displayed parameters.
  • the system uses a suitable data structure for the matrix, which it advantageously maintains persistently in a data memory (called storage) or non-persistently in a working memory (called memory).
  • Each selection and / or deselection S of one of the options mentioned for a parameter advantageously leads to a new or updated entry of the patterns recorded in the matrix, the system advantageously being able to only partially record the selections S for lean data storage, for example only the deselection of parameters for their consideration in the result set of queries, whereby
  • the selection S can also be made implicitly in that the user of the system does not change the automatically determined parameters for representing the situation
  • the system calculates the statistical compression of the selection S incrementally, ad hoc or in intervals, and / or
  • the calculated statistical compression can represent a gain, a weakening or both tendencies, for example as opposing functions.
  • the second formula advantageously uses a weakening factor c depending on the time difference between the selection and the present.
  • the third formula has a normalization formula depending on the maximum value of the function f.
  • the system can advantageously use the machine learning matrix in various ways:
  • An advantageous embodiment of the system uses the matrix in order to use the parameters for situations according to their previous selection, for example, to ignore them.
  • a further advantageous embodiment of the system uses the matrix in order to calculate a reinforcing and / or weakening factor for the numerical weighting (scoring) of the hits for a situation.
  • the system advantageously uses a multidimensional matrix:
  • intersections correspond to the selection or deselection S of the corresponding combination of the parameters P (x) and P (y),
  • the selection or deselection S can have a different status, which the system can advantageously represent by means of a numerical value or a Boolean value, and / or
  • the system compares additional data selectively or in combination in one or more Z dimensions of the combinations of the X and Y dimensions, advantageously - activity A or the type of situation derived from activity A,
  • An advantageous rule is the selection of the parameters P1 to Pi for the representation of a situation on the basis of the explicit and / or implicit confirmations S or their compression V of combinations of those parameters in relation to activity A or the type of situation derived from activity A. can, and / or
  • the system can determine an advantageous probability W of the parameters P1 to Pi of a situation as the relative frequency of the explicit and / or implicit confirmations S or their compression V of combinations of those parameters in relation to activity A or the type of situation derived from activity A. ,
  • FIG. 4 shows an exemplary embodiment for the construction of the data processing system and data processing process of the subsystem 3 according to the invention, in particular the logical sequence for the detection of the situational need and the determination of the appropriate content representing data, programs and / or functions according to the subsystem 3rd subsystem S4: Adaptive user interface for the input and / or editing of data representing content
  • Data processing systems require the user to select an appropriate program (app) or to select the type of content within such a program if the user wants to create a new data object representing a content.
  • a new paradigm or a new concept of adaptive user guidance is required here, in which the system according to the invention advantageously anticipates or recognizes the intention of the user and adjusts the user guidance and / or the user interface (so-called user interface).
  • Subsystem S4.1 Anticipation of the intention of a user of the overall system
  • the system is advantageously able to recognize what the user wants to do and what type of content he wants to record for it or what content or what type of content he wants to call up.
  • the system evaluates a user's text input preferably after each newly entered character in order to recognize its intention, whereby
  • the system recognizes patterns of a character string according to a defined syntax and / or defined grammar; such patterns are, for example, a phrase "To: Max Mustermann” or “Appointment on April 19 at 10 a.m.” or strings such as "0", which indicate a task to be completed; other strings can also only be associated with a semantic structuring of texts, for example analogous to the language of mark down characters such as the hash # on a heading; unlike Mark Down, such a control character would not be displayed, but translated into appropriate formatting;
  • the system compares the recognized pattern with a list of supported intentions or functions; for example, the phrase “To: Max Mustermann” would be associated with the intention of a message and the phrase "appointment on April 19 at 10 am” would be associated with the intention of a calendar entry; the directory has a suitable data structure which enables patterns and intentions or functions to be assigned; the system interprets the patterns as regular expressions and / or with a vocabulary and / or a grammar; For example, the expression “To: Max Mustermann” can be interpreted with a regular expression for the name-value pair and a vocabulary that takes the name "Max Mustermann” from an address book;
  • the vocabulary system can advantageously use other resources such as a directory of people or organizations; the system advantageously makes suggestions for completion during the text entry by means of said interpretation; For example, the user interface shows the appropriate formatting with form fields for addressees and, if applicable, the subject (Subject) as well as a button for sending this message after the recognized intention of a message; For example, if the user enters an @ sign, the system suggests the most frequently used contacts; If he then enters another word character, it can filter the first or last name of the contacts by this initial letter; the system advantageously determines the suggestions for the completion from the data representing the accessible contents and / or auxiliary data sources; and or
  • Subsystem S4.2 Adaptive human-machine interfaces for the anticipated intention
  • the user interface adapts automatically to the text or image and sound inputs of the user and advantageously changes not only the design, but also functions and options for automatic processing of the input.
  • the system adjusts the user interface and the
  • the system adjusts the design of content and the options and / or functions offered; for example, the user interface shows the appropriate formatting with form fields for addressees and, if applicable, the subject (Subject) as well as a button for sending this message after the recognized intention of a message; the system advantageously being able to display the options for action exclusively or in combination analogous to the suggestions for text input; the system has, for example, the consequence of a @ Character and name recognized by a person, it can use the accessible content to represent data and functions, send the person a short message or email or start an audio or video call or display contact details;
  • the behavior of the system is also stored in a corresponding data structure that refers to the mapping (mapping) of text patterns and interpretation.
  • FIGS. 5a and 5b shows an exemplary embodiment of the data processing process according to the invention for interpreting text inputs.
  • a further advantageous embodiment of the invention provides the following means and / or devices for automatic processing of the creation or processing of digital content, in particular for executing the functions provided by the system.
  • Today's known human-machine interfaces of data processing systems require the user to select an appropriate program (for example a so-called app) or to select the type of content within such a program if the user wants to create a new data object representing a content.
  • the system according to the invention which consistently provides a semantic and non-technical human-machine interface and thus wants to do without obvious programs and static menus, advantageously avoids this decision.
  • the invention also provides a new paradigm, a new concept of user guidance, in which the system anticipates or recognizes the intention of the user and advantageously automatically adjusts the user guidance and / or the user interface.
  • the system according to the invention advantageously also has means / a device for anticipating the intention of the user.
  • the system is advantageously able to recognize what the user wants to do and what type of content he wants to record for it.
  • the following features and / or properties are advantageously given in particular: The system evaluates a user's text input in order to recognize its intention, whereby
  • the system advantageously recognizes patterns of a character string according to a defined syntax and / or defined grammar;
  • patterns are, for example, a phrase “To: Max Mustermann” or “Appointment on April 19 at 10 a.m.” or strings such as "()", which indicate a task to be completed;
  • strings can also only be associated with a semantic structuring of texts, for example analogous to the language of mark down characters such as the hash # on a heading.
  • Mark Down such a control character would not be displayed, but translated into appropriate formatting;
  • the system advantageously compares the recognized pattern with a list of supported intentions; for example, the phrase “To: Max Mustermann” would be associated with the intention of a message and the phrase “appointment on April 19 at 10 am” would be associated with the intention of a calendar entry;
  • the directory advantageously has a suitable data structure that enables patterns and intentions to be assigned;
  • the system advantageously interprets the patterns as regular expressions and / or with a vocabulary and / or a grammar; For example, the expression "To: Max Mustermann” can be interpreted with a regular expression for the name-value pair and a vocabulary that takes the name "Max Mustermann” from an address book; the system can advantageously also use other resources such as a directory of persons or organizations for the vocabulary.
  • a human-machine interface is adaptively designed for the creation and processing of digital content by a user, means being provided for evaluating text input by the user by means of pattern recognition. This will make the meets today's problem, according to which man-machine interfaces of data processing systems require the user to select a corresponding program (app) or the type of content within such a program if the user wants to create a new data object representing a content.
  • a system that consistently provides a semantic and non-technical human-machine interface and thus wants to do without obvious programs and static menus must avoid this decision, which requires a new paradigm, a new concept of user guidance, in which the system anticipates or recognizes the intention of the user and adjusts the user guidance and / or the user interface.
  • the system according to the invention is thus able to recognize what the user wants to do and which type of content would rather create for it, with a text input of the user being evaluated for this purpose.
  • means for pattern recognition of a character string are provided according to a defined syntax and / or defined grammar.
  • means are also provided for comparing a recognized pattern with a directory of supported intentions.
  • the directory has a suitable data structure which enables patterns and intentions to be assigned. Patterns are interpreted as regular expressions and / or with a vocabulary and / or a grammar, whereby the system can also use other resources such as a directory of persons or organizations for the vocabulary.
  • the system according to the invention advantageously also has means / a device for automatically adapting the human-machine interface, so-called adaptive interfaces.
  • the user interface of the human-machine interface advantageously adapts automatically to the text or image and sound inputs of the user and changes not only the design but also functions and options for action.
  • the following features and / or properties are advantageously given in particular: The system adjusts the user interface and user guidance based on the determined assignment, whereby
  • the system advantageously adapts the design of content and the options for action offered; for example, the user interface shows the appropriate formatting with form fields for addressees and, if applicable, the subject (Subject) and a button for sending this message after the recognized intention of a message; and or
  • the behavior of the system is advantageously also stored in a corresponding data structure that refers to the mapping (mapping) of text patterns and interpretation.
  • S5 subsystem combination of end devices for ergonomic, adaptive input and / or output of data representing content
  • one or more, preferably distributed, computing units in particular CPU and / or GPU
  • At least one audio or video (AV) output unit At least one audio or video (AV) output unit
  • connection preferably according to USB-C and / or microSD
  • radio module preferably according to WAN, LAN or one or more cellular networks;
  • This system or subsystem contributes in particular to solving the above-mentioned technical problems 3. (Immediate, direct processing of data representing data), 5 from third-party systems as from services available via the network, in particular so-called cloud services).
  • the system according to the invention advantageously uses a highly mobile terminal as a personal, central processing unit and data storage for the user.
  • highly mobile means in particular those terminals which can not only be used in a mobile manner and not only in a stationary manner, but which the user can carry with him all day without load can be.
  • These include smartphones and in particular portable end devices (wearables) such as smart watches, smart glasses, smart clothes and the like.
  • the terminal is advantageously designed as a watch or belt buckle.
  • This central computing unit with data memory communicates with an audiovisual input and output unit, as well as further end devices for data input and / or control, as well as expanded computing and data capacities.
  • TouchPad - Touch-sensitive surface
  • TouchBars - touch-sensitive side edges
  • Another or integrated mobile device at least one AV input and output unit, preferably with
  • - Video output preferably as a superimposed reality (so-called augmented reality or blended reality)
  • a preferably optional computing unit for processing the signals a preferably optional further, preferably mobile one
  • radio module for transmission - At least control signals from and / or to other devices
  • USB-C USB-C
  • control signals from further terminals of data to and / or from further terminals - for data communication with a WAN and / or LAN
  • a radio module for the transmission of at least AV signals from other devices - Preferably optionally from AV signals to other devices
  • control signals from and / or to other terminals
  • SmartGlasses for audiovisual input and / or output
  • AirBase A storage and / or communication unit (so-called AirBase) in the sense of a private cloud
  • AirPanel a large-area transparent display
  • the network of terminals according to the invention as an overall system is advantageously able to exchange data and also arithmetic operations.
  • the aforementioned system is advantageously given, which is advantageously characterized by the following features and / or properties:
  • the central unit outsources data to another device in the network that is not used frequently and / or has an old creation or modification date, whereby
  • the system takes care to keep empty memory to an extent relative to the total memory
  • the system keeps the information about the existence of the data objects preferably via an index structure
  • the system makes the decision as to which data objects are to be outsourced based on a ranking order (so-called ranking) and / or the last time the data objects were used or changed.
  • the network of terminals according to the invention can advantageously share computing operations.
  • At least one of the end devices of the network can assume a leading, coordinating role for computing operations, preferably the highly mobile central unit with central data storage, whereby - expensive computing operations can be outsourced to another terminal A,
  • Computing operations can be transferred directly to another computer unit (preferably processor) or can be delegated to a service,
  • the criterion can be the outsourcing, rendering of images and / or videos, coding or decoding of files, or the distribution of processes (so-called threads) of a program or the operating system itself.
  • the present invention furthermore relates to a system for distributed user guidance and data processing with networked user terminals, comprising one or more distributed computing units, one or more distributed storage units, at least one input unit, at least one output unit, a radio module for communication in a network, with an exchange control signals and output signals between the networked user terminals is provided.
  • Background of the solution The evolution of mobile devices is characterized by an increasing discrepancy between lightness and ergonomics. On the one hand, the end devices are becoming smaller, lighter and more powerful, on the other hand, the display of content is becoming smaller and smaller, and the input of data and control commands is becoming increasingly cumbersome. Finally, the manufacturers focus on voice control, which only makes sense for limited applications such as simple control commands or questions.
  • Such a system according to the invention advantageously consists of several elements, which are preferably in a local, secure radio network can communicate with each other.
  • the system advantageously consists, for example, of a combination of a clock (so-called SmartWatch), which serves as a central processing unit and data storage, glasses (so-called SmartGlasses) for audio-visual input and output, a virtual keyboard (so-called TouchBoard), a storage and communication unit (so-called AirBase) in the sense of a private cloud and optionally from a large-area transparent display (so-called AirPanel) as a replacement for today's screens.
  • the system uses a highly mobile terminal as a personal, central processing unit and data storage for the user.
  • This can be designed, for example, as a watch or as a belt buckle and, by means of an audiovisual input and output unit, can communicate with other end devices for data input and control and for expanding computing and data capacities.
  • the system according to the invention advantageously comprises a highly mobile terminal device with a computing unit, a data storage unit, a radio module for the transmission of AV signals, control signals, data and arithmetic operations from and to further terminal devices, an input unit with touch-sensitive surfaces (TouchPad) and touch-sensitive side edges (TouchBars) and an optional visual display.
  • a highly mobile terminal device with a computing unit, a data storage unit, a radio module for the transmission of AV signals, control signals, data and arithmetic operations from and to further terminal devices, an input unit with touch-sensitive surfaces (TouchPad) and touch-sensitive side edges (TouchBars) and an optional visual display.
  • TouchPad touch-sensitive surfaces
  • TouchBars touch-sensitive side edges
  • the system comprises a further or an integrated mobile terminal with at least one AV input and output unit for video output, preferably with superimposed reality (augmented reality or blended reality), for audio output preferably via auditory bones, for optional video input via camera and for optional audio input via at least one microphone, an optional control device with touch-sensitive surfaces, preferably on the side edges of the terminal (TouchBar), a radio module for the transmission of AV signals and control signals from and to the central terminal as well as an optional computing unit for processing the signals.
  • AV input and output unit for video output, preferably with superimposed reality (augmented reality or blended reality), for audio output preferably via auditory bones, for optional video input via camera and for optional audio input via at least one microphone, an optional control device with touch-sensitive surfaces, preferably on the side edges of the terminal (TouchBar), a radio module for the transmission of AV signals and control signals from and to the central terminal as well as an optional computing unit for processing the signals.
  • superimposed reality augmented reality or blended reality
  • audio output preferably via auditory bones
  • the system optionally comprises a further, preferably mobile, terminal device with a physical keyboard, preferably a virtual keyboard, a touch-sensitive surface (TouchPad), a radio module for transmitting control signals to and from further terminal devices, and optionally AV signals, data and arithmetic operations from and to further end devices, an optional arithmetic unit for taking over arithmetic operations of the central end device and an optional connectivity other end devices (using USB-C) and storage units (using SD cards).
  • USB-C USB-C
  • SD cards Secure Digital cards
  • the system according to the invention can also have a further, preferably stationary, terminal device with a computing unit for the provision of services and optionally for the takeover of expensive computing operations, a radio module for transmitting control signals and data to and from further terminal devices, for data communication with WAN and / or LAN, as well as optionally for the transmission of AV signals and arithmetic operations from and to further end devices, and a storage unit for the outsourcing of data of the central end device as well as for the backup of data of the central end device.
  • a further, preferably stationary, terminal device with a computing unit for the provision of services and optionally for the takeover of expensive computing operations, a radio module for transmitting control signals and data to and from further terminal devices, for data communication with WAN and / or LAN, as well as optionally for the transmission of AV signals and arithmetic operations from and to further end devices, and a storage unit for the outsourcing of data of the central end device as well as for the backup of data of the central end device.
  • a further, preferably stationary, terminal device can optionally be provided for the system according to the invention, comprising at least one AV output unit for large-area transparent image and video display and for the reproduction of audio signals, an optional AV input unit, an optional computing unit for the preparation of AV signals and the takeover of expensive arithmetic operations, and a radio module for the transmission of AV signals from other end devices and optionally the transmission of AV signals to other end devices, control signals, data and arithmetic operations from and to further end devices.
  • a highly mobile terminal as a central computing, storage and / or control unit result in particular in connection with the exemplary embodiment shown in FIG. 7 and explained in more detail below, in the form of a watch with a touchpad and touch bar.
  • the network of terminals according to the invention is as one
  • the entire system is able to exchange data, so-called distribution of the data.
  • the network of terminals according to the invention is as one
  • the entire system is also able to exchange computing operations, so-called distribution of computing operations.
  • the network of end devices can advantageously share computing operations.
  • the central unit advantageously relocates data to another terminal in the network which are not used frequently and / or have an old creation or modification date, the system taking care to empty memory in one Keep the scope relative to the total memory.
  • the system keeps the information about the existence of the data objects preferably via an index structure and makes the decision as to which data objects are to be outsourced based on a ranking (ranking) and / or the last time the data objects were used or changed.
  • the network of end devices can advantageously share computing operations.
  • one of the networked user terminals assumes a leading or coordinating role for the delegation or outsourcing of computing operations.
  • This is preferably the highly mobile central unit with central data storage.
  • Expensive computing operations are outsourced to another device.
  • Computing operations can be transferred directly to another computing unit (processor) or delegated to a service.
  • the criteria for a delegation or outsourcing of computing operations are the rendering of images and videos, the coding or decoding of files or the distribution of processes of a program or an operating system.
  • Subsystem S6 Association of end devices for the virtual, adaptive input and / or output of data representing content
  • touch bar preferably optional touch-sensitive side edges (touch bar)
  • control signals from and / or to the central terminal -
  • the image is preferably output via glasses with a display for digital objects that overlay reality (augmented reality or blended reality).
  • overlay reality augmented reality or blended reality.
  • the user sees the digital content superimposed on reality in a freely selectable size and / or positioning in space, for example videos in a high resolution on a cinema screen, texts of the appropriate size for processing and notifications in the peripheral perspective,
  • the system can suggest a suitable size for content and can preferably remember settings of a user of the system for a type of content such as video, text or web.
  • the AR display can advantageously be controlled by the touch-sensitive outer sides of the temple of the glasses or by sensors on the inside of the temple, which advantageously measure brain waves that are evaluated in the glasses or a networked terminal.
  • the AR glasses have Brain Control System (BCS) to control the digital display or the displayed digital content, whereby
  • BCS Brain Control System
  • Sensors on the inside of the arms of the AR glasses sensors measure brain waves, which are evaluated in a computing unit of the AR glasses or a networked mobile device,
  • the brain waves control the movement of a pointer (cursor, pointer) in the form of an arrow, point, circle or sphere in three-dimensional Cartesian space, but at least in a two-dimensional space with X and Y coordinates,
  • the system supports the control by optically changing interactive elements such as the header of a display area (Air Panel) and / or buttons themselves or the pointer, in particular if the latter is in the same position,
  • FIG. 6 shows an exemplary embodiment of the system components of an AR terminal according to the invention. 6 has the following reference numerals:
  • the glasses either use a projection of the graphic display in the frame or use a film for graphic display behind / in front of / in the glasses.
  • the outside of the glasses are touch-sensitive areas for gesture control, especially for calling up lists and selecting list elements.
  • the temples on the inside of the glasses contain sensors for the detection of brain waves and impulses (Brain Control System).
  • the temple arms contain a device for recording and outputting audio signals via the auditory bones.
  • the frame on the front contains a camera for taking pictures (photos) and moving pictures (videos), which the system can use, among other things, to detect objects in the user's field of vision.
  • 7 shows an exemplary embodiment for the arrangement of virtual objects. 7 has the following reference numerals:
  • means and / or devices with the following features and / or properties are provided, in particular for using the human-machine cut parts enable virtual image output of digital content.
  • the ergonomics and mobility of user terminals are increasingly in conflict.
  • the visual display is getting smaller and the input elements are getting smaller.
  • An obvious example is the latest smart watches, which are barely usable and are only suitable for notifications. All leading device manufacturers currently rely on voice communication with machines. The disadvantage here is that the importance of writing and the need for non-public interaction with machines remain unconsidered for the user.
  • the system according to the invention advantageously has means and / or devices that bridge this gap and bring ergonomics and mobility together again.
  • Such a system according to the invention advantageously consists of a combination of a mobile computing unit and virtual display for digital content as networked or integrated terminals.
  • augmented reality For the video output of superimposed reality, so-called augmented reality or appropriate blended reality, means or a device are provided on the part of the second or further terminal, so-called augmented reality display or blended reality display.
  • the image is preferably output via glasses, the digital image output of which is advantageously not immediately recognizable, as is the case, for example, with the first generation of Google Glasses.
  • the subject of the present invention is preferably a mobile user terminal, comprising a computing unit, a data storage unit, a radio module for transmitting audio / video signals, at least one input unit and at least one output unit, which is characterized in that it is a human-machine Interfaces of a data processing system can be provided for the situational provision of functions.
  • a mobile user terminal comprising a computing unit, a data storage unit, a radio module for transmitting audio / video signals, at least one input unit and at least one output unit, which is characterized in that it is a human-machine Interfaces of a data processing system can be provided for the situational provision of functions.
  • the creation of such a mobile user device is based on the consideration that the ergonomics and mobility of user terminals are increasingly becoming a contradiction. This makes end devices smaller and more mobile, which also means that both the visual display and the input elements are getting smaller and smaller, which can be seen, for example, from the development of the so-called SmartWatches, which are difficult to use and are only
  • the system according to the invention bridges this gap and brings ergonomics and mobility together again, since such a system consists of a combination of a mobile computing unit and a virtual display for digital content as networked or integrated terminals.
  • the mobile terminal comprises, in addition to a computing unit, a data storage unit, a radio module for transmitting AV signals from and to further terminals and control signals from and to further terminals, optionally an input unit with a touch-sensitive surface (TouchPad) and touch-sensitive side edges (TouchBars) and an optional visual indicator.
  • the terminal has an AV input and output unit for video output of superimposed reality (augmented reality or blended reality) and for audio output, preferably via auditory bones.
  • the audio input can be provided via at least one microphone.
  • a further advantageous embodiment of the invention provides means or a device that enable mental control by the user.
  • the AR display can advantageously be controlled by the user through touch-sensitive outer sides of the temple of the glasses or through sensors on the inside of the temple of the glasses.
  • the touch-sensitive outer sides of the temple of the glasses or the sensors on the inside of the temple of the glasses advantageously measure brain waves of the user.
  • the measured brain waves of the user are then evaluated by a computing device in the glasses or by a computing device in a networked terminal and converted into control signals.
  • Fig. 1 a shows an embodiment of a terminal with medium
  • Fig. 1 b is a side view on the left of Fig. 1a;
  • Fig. 1 b is a side view on the right of Fig. 1 a;
  • FIG. 1d shows a further illustration of the exemplary embodiment according to FIG. 1a;
  • 2a shows an embodiment of a terminal with a small display area
  • Fig. 2b is a side view on the left of Fig. 2a;
  • FIG. 2c shows a side view according to FIG. 2a
  • Figure 3 shows an embodiment of a terminal with a large display area.
  • Fig. 4 is a flowchart of an embodiment for the structure
  • 5a and 5b show a flowchart of an exemplary embodiment of a data processing process according to the invention of an interpretation of text inputs
  • Fig. 7 shows an embodiment for the use of AR glasses.
  • FIGS. 2a, 2b and 2c and FIG. 3 show exemplary embodiments of the human-machine interface according to the invention using input and output devices of different sizes.
  • 1a and 1d show an example of a human-machine interface for devices with an average display area of 3 inches to 10 inches diagonal, for example a so-called tablet.
  • the sequence in FIGS. 1a and 1d also shows a sequence of use or a sequence of human-machine interactions.
  • 2a shows an example of a human-machine interface for devices with a small display area of 1 inch to 3 inch diagonal, for example a so-called smart watch.
  • Fig. 3 shows an example of a human-machine interface for devices a large display area of more than 10 inches diagonal, for example a so-called notebook or laptop.
  • FIG. 4 shows an exemplary embodiment of the logical sequence for the ascertainment of the situational need and the ascertainment of the data, programs and / or functions representing the appropriate contents.
  • FIGS. 5a and 5b shows an exemplary embodiment of the data processing process according to the invention for interpreting text inputs.
  • FIGS. 6 and 7 show an exemplary embodiment of a system for virtual image output of digital content.
  • 6 shows an embodiment of AR glasses which either contain a projection of a graphic display in the frame or contain a film for graphic display behind or in front of or in the glasses 10.
  • the spectacle arms 11 are provided on the outside with touch-sensitive areas for gesture control, in particular for calling up lists and selecting list elements.
  • the temple arms 1 1 contain sensors 12 for the detection of brain waves and pulses (Brain Control System).
  • the sensors on the inside of the arms of the AR glasses measure brain waves, which are evaluated in a computing unit of the AR glasses or in a networked mobile device.
  • the brain waves can thereby control the movement of a pointer (cursor, pointer) in the form of an arrow, point, circle or sphere in three-dimensional Cartesian space, but at least in a 2-dimensional space with X and Y coordinates.
  • the control system is supported by the fact that interactive elements such as the header of a display area (Air Panel) or the buttons change themselves or the pointer optically if the latter is in the same position.
  • Another brain signal preferably an impulse for recognizing the intended elements, is used for a selection in the same way as a mouse click.
  • the temple arms 1 1 contain on the inside a device 13 for recording and outputting audio signals via the auditory bones.
  • the frame on the front contains a camera 14 for taking pictures (photos) and moving pictures (videos), which the system can use, among other things, for the detection of objects in the user's field of vision.
  • FIG. 7 shows an exemplary embodiment for the use of AR glasses, in which the user's eye 15 behind the glasses is virtual objects in the Space can see. These virtual objects 16 are escalated as desired in the pathetic space and can be arranged in this as desired.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Datenverarbeitungssystem zur ergonomischen Interaktion eines Anwenders mit Daten, umfassend - wenigstens eine Prozessoreinheit, - wenigstens einen lokalen und/oder über ein Netzwerk zugänglichen Datenspeicher mit Daten, - lokale und/oder über ein Netzwerk zugängliche Inhalte repräsentierende Datenobjekte, - ein Verzeichnis von semantischen Inhaltsklassen der Datenobjekte und die technischen Kriterien der Inhaltsklassen, - ein Verzeichnis von/enthaltend systemseitig zur Verfügung stehenden/r Funktionen für eine Interaktion mit Daten und die technischen Bedingungen der Funktionen, und - eine Mensch-Maschine-Schnittstelle zur Bereitstellung von Informationen und/oder Steuerelementen im Hinblick auf eine Interaktion eines Anwenders mit Daten, mit Mitteln zur, vorzugsweise ständig unmittelbaren Bereitstellung situationsgerechter Funktionen für eine Interaktion eines Anwenders mit Daten mittels der Mensch- Maschine-Schnittstelle mit mindestens zwei Optionen zur Handlung für den Anwender, einer ersten Option im Hinblick auf eine Erstellung von vorzugsweise persistenten und/oder transienten Inhalten und einer zweiten Option im Hinblick auf einen Aufruf von Inhalte repräsentierenden Daten und/oder Apps, wobei die erste Option unter Nutzung des Verzeichnisses von systemseitig zur Verfügung stehenden Funktionen für eine Mensch-Maschine-Interaktion mit Daten und die technischen Bedingungen der Funktionen bestimmt wird bzw. bestimmbar ist und die zweite Option unter Nutzung des Verzeichnisses von semantischen Inhaltsklassen der Datenobjekte und die technischen Kriterien der Inhaltsklassen und/oder unter Nutzung des Verzeichnisses von/enthaltend systemseitig zur Verfügung stehenden Funktionen für eine Mensch-Maschine- Interaktion mit Daten und die technischen Bedingungen der Funktionen bestimmt wird bzw. bestimmbar ist.

Description

System zur ergonomischen Interaktion eines Anwenders mit Daten
Die vorliegende Erfindung betrifft ein System zur ergonomischen Interaktion eines Anwenders mit Daten.
Das System bzw. Datenverarbeitungssystem umfasst wenigstens eine Prozessoreinheit, wenigstens einen lokalen und/oder über ein Netzwerk zugänglichen Datenspeicher, lokale und/oder über ein Netzwerk zugängliche Inhalte repräsentierende Datenobjekte, und eine Mensch-Maschine-Schnittstelle zur Bereitstellung von Informationen und/oder Steuerelementen im Hinblick auf eine Interaktion eines Anwenders mit Daten.
Im Stand der Technik hat eine in stationären und mobilen Computersystemen verwendete Mensch-Maschine-Schnittstelle zum Zweck, dass Anwender digitale Inhalte erfassen, anzeigen, bearbeiten, teilen, speichern, löschen und aufrufen können. Dafür verwenden Betriebssysteme der stationären und mobilen Computersysteme Dateien und Verzeichnisse zur Ablage sowie Programme zur Bearbeitung derselben. Jedes Programm hat dabei eigene, festgelegte Funktionen, die über ein Programmmenü zugänglich sind.
Mensch-Maschine-Schnittstellen heutiger Betriebssysteme sind insbesondere technisch geprägt. Selbst bei modernen mobilen Betriebssystemen wird die Funktionsweise von sogenannten Apps einem technischen Paradigma untergeordnet.
Heutige daten- und informationsverarbeitende Systeme sind insofern durch eine Vielzahl von ausführbaren Programmen (sogenannte Apps), Menüstrukturen, hierarchische und verteilte Dateiablageorte bzw. Dateispeicherorte sowie über ein Netzwerk verfügbare Dienste geprägt. Zwar haben Betriebssysteme für mobile Endgeräte Dateiablageorte bzw. Dateispeicherorte abstrahiert aber nachträglich aufgrund mangelnder alternativer Konzepte wieder eingeführt, insbesondere unter iOS von Apple. Für den Anwender bedeutet diese Vielzahl eine hohe und sogar zunehmende Unübersichtlichkeit, wenn jene Vielzahl zunimmt. Das gilt vor allem für mobil nutzbare Programme sowie Dienste (insbesondere sogenannte Cloud Services), die über das Netzwerk verfügbar sind. Neben der Unübersichtlichkeit bedeutet dies für den Anwender einen ständigen Wechsel zwischen Programmen, Ablageorten und Diensten, zwischen denen ein System sogar meist keine Beziehung herstellen und/oder Daten austauschen kann. Ein integrales, systemübergreifendes Konzept für eine Benutzerschnittstelle und Benutzerführung fehlt.
Eine der Kernfunktionen von daten- und informationsverarbeitenden Systemen ist insbesondere der Abruf (sogenanntes Retrieval) von Daten- und/oder Informationen als auch die Ausgabe von Daten- und/oder Informationen. Hier bieten aktuelle Betriebssysteme die genannte Vielzahl von Programmen, hierarchische und verteilte Dateiablageorte bzw. Dateispeicherorte sowie das Konzept einer Suche, meist in Form einer Freitextsuche. Der Anwender muss für jene Kernfunktionen häufig die passenden Apps aussuchen, zwischen ihnen wechseln, in die Hierarchie von Dateiablagen absteigen, zwischen Speicherorten wechseln oder geeignete Begriffe für eine Suche wählen, die meist sogar über verschiedene lokale und über ein Netzwerk verfügbare Dienste verteilt sind, so dass eine Auswahl oder sequentielle Abfrage notwendig ist. Nicht zuletzt, müssen die Suchergebnisse gesichtet und ausgewählt werden, weil in der Regel ein Stichwort oder zwei Stichworte nicht ausreichen, um die gewünschten Daten oder Informationen zu erhalten.
Den Bedarf an den Kernfunktionen von daten- und informationsverarbeitenden Systemen, die Eingabe, die Bearbeitung, der Abruf, die Ausgabe und das Teilen bzw. Verteilen von Informationen repräsentierenden Daten, bedienen nach dem aktuellen Stand der Technik nicht nur eine Vielzahl von technischen Strukturen eines einzigen datenverarbeitenden Systems, sondern eine Vielzahl von datenverarbeitenden Systemen. Die Zahl hat auch hier zugenommen. Neben stationären Systemen (insbesondere sogenannte Desktop Computer) sind mobile Systeme in unterschiedlichen Größen von beweglich (insbesondere sogenannte Laptops) über leichtgewichtig (insbesondere sogenannte Tablets) bis zu handlich (insbesondere sogenannte Smart Phones) und sogar tragbaren Geräten (insbesondere sogenannte Wearables) in Verwendung, die häufig ebenso unabhängig und unverbunden arbeiten. Über ein Netzwerk verfügbare Dienste, insbesondere sogenannte Cloud-Services, sollen diese Lücke schließen, reduzieren dabei aber nicht die Vielfalt der Endgeräte und erhöhen sogar die Vielfalt für die Eingabe, die Bearbeitung und/oder den Abruf Informationen repräsentierender Daten. Die im Stand der Technik bekannten daten- und informationsverarbeitenden Systeme erlauben zwar immer leichtere, kleinere und zugleich leistungsfähigere Endgeräte, führen aber auch zu einem zunehmenden ergonomischen Paradox. Schon ein beweglicher Computer (insbesondere ein sogenanntes Laptop) mit über ein Gelenk verbundener Tastatur und Anzeige führt zu der Unvereinbarkeit einer korrekten Körperhaltung seitens des Anwenders. Handliche Endgeräte (insbesondere sogenannte Smart Phones) sind hingegen kaum geeignet, um lange Texte anzuzeigen und erst recht nicht, um solche einzugeben. Auch hier ist eine Unvereinbarkeit mit einer gesunden, korrekten Körperhaltung seitens des Anwenders bei dauerhafter Verwendung erkennbar und gegeben. Tragbare Endgeräte (insbesondere sogenannte Wearables) wie Uhren (insbesondere sogenannte Smart Watches) bieten schließlich kaum noch eine Möglichkeit, Informationen repräsentierende Daten anzuzeigen oder diese gar einzugeben. Viele Systemhersteller setzen deshalb auf die natürliche Sprachinteraktion mit datenverarbeitenden Systemen und übersehen hierbei die Bedeutung geschriebener Sprache und die Möglichkeit der Bearbeitung und Darstellung Informationen repräsentierender Daten, die sich nicht über eine Sprachausgabe vermitteln lassen. Diese Systeme tragen wiederum zur Vielfalt bei, an Stelle ein integrales Konzept zu liefern, um die Vielfalt und Komplexität zu Gunsten des eigentlichen Bedarfs der Anwender zu reduzieren.
Nicht zuletzt führen die heutigen Antworten auf die Unübersichtlichkeit, Komplexität und Dominanz technischer Strukturen zu Abhängigkeiten von Dienstanbietern mit zunehmender Monopolisierung, der Bevormundung durch Konditionierung auf die Grenzen sogenannter künstlicher Intelligenz sowie einem Verlust der Privatsphäre und Schutz vor Überwachung und Selbstbestimmung über persönliche und eigene Daten.
Motivation der vorliegenden Erfindung ist demnach ein datenverarbeitendes System für einen einfachen, unvermittelten, ergonomischen und selbstbestimmten Umgang mit Informationen repräsentierende Daten, der es einem Anwender erlaubt, sich auf seine Intentionen und Aktivitäten, auf Inhalte und Menschen, mit denen er Inhalte teilt, zu fokussieren. Unvermittelt bedeutet dabei die direkte Interaktion, bei der technische Strukturen, insbesondere ihre unübersichtliche Vielfalt, in den Hintergrund treten.
Aus der Motivation, ergibt sich ein technisches Problem, welches mit der vorliegenden Erfindung gelöst wird. Dieses technische Problem lässt sich mit folgenden voneinander abhängigen bzw. wechselwirkenden, technischen Teilprobleme beschreiben:
1. Systemübergreifende, integrale Benutzerführung eines datenverarbeitenden Systems;
2. Unvermittelte, direkte Bereitstellung von Daten, Programmen und/oder Funktionen;
3. Unvermittelte, direkte Bearbeitung von Inhalte repräsentierender Daten;
4. Überwindung von Systemgrenzen interner und externer Systemgrenzen eines Endgerätes;
5. Auflösung des ergonomischen Paradoxons und der damit bisher verbundenen Notwendigkeit mehrerer Endgeräte;
6. Auflösung der Abhängigkeit von Fremdsystemen von über das Netzwerk verfügbaren Diensten, insbesondere sogenannten Cloud Services.
Zur technischen Lösung wird mit der vorliegenden Erfindung ein Verbund von Endgeräten mit einem adaptiven System für die situative Eingabe, Beschaffung und/oder Ausgabe von Inhalte repräsentierenden Daten vorgeschlagen, welches ein System bzw. Datenverarbeitungssystem zur ergonomischen Interaktion eines Anwenders mit Daten, insbesondere mittels verteilter Benutzerführung und Datenverarbeitung mit vernetzten Benutzerendgeräten bereitstellt und sich insbesondere aus den nachfolgenden verschiedenen aufeinander aufbauenden und/oder sich ergänzenden Subsystemen, insbesondere Subsystem S1 , Subsystem S2, Subsystem S3, Subsystem S4, Subsystem S5 und/oder Subsystem S6, zusammensetzt:
- Subsystem S1 : Systemübergreifende, integrale Mensch-Maschine-Schnittsteile (integrale Benutzerführung) für den Aufruf von Inhalte repräsentierenden Daten, Programmen und/oder Funktionen; insbesondere mit folgenden Ausprägungen:
- Subsystem S1.1 : Systemübergreifende Anzeige von Funktionen;
- Subsystem S1.2: Systemübergreifender Aufruf von Funktionen; und/oder
- Subsystem S1.3: Systemübergreifende Anzeige von Inhalte repräsentierenden Daten;
- Subsystem S2: Systemübergreifende, automatische und dynamische Zusammenstellungen von Inhalte repräsentierenden Daten, Programmen und/oder Funktionen;
- Subsystem S3: Systemübergreifende, automatische und adaptive Berechnung, Abfrage und/oder Bereitstellung von situativen Inhalten repräsentierenden Daten, Programmen und/oder Funktionen; insbesondere mit folgenden Ausprägungen:
- Subsystem S3.1 : Automatische Parameter einer Situation des Anwenders eines Systems als Metadaten;
- Subsystem S3.2: Automatisches Ermitteln (sogenanntes Retrieval) von situative Inhalte repräsentierenden Daten, Programmen und/oder Funktionen;
- Subsystem S3.3: Ausgabe von situative Inhalte repräsentierenden Daten, Programmen und/oder Funktionen; und/oder
- Subsystem S3.4: Automatische Optimierung des Subsystems 3 mit Hilfe maschinellen Lernens;
- Subsystem S4: Adaptive Benutzerschnittstelle für die Eingabe und/oder Bearbeitung von Inhalte repräsentierenden Daten; insbesondere mit folgenden Ausprägungen:
- Subsystem S4.1 : Antizipation der Intention eines Anwenders des gesamten Systems, insbesondere umfassend Subsystem S1 , Subsystem S2, Subsystem S3, Subsystem S4, Subsystem S5 und/oder Subsystem S6; und/oder - Subsystem S4.2: Adaptive Mensch-Maschine-Schnittsteile;
- Subsystem S5: Verbund von Endgeräten für die ergonomische, adaptive Einund/oder Ausgabe Inhalte repräsentierender Daten; insbesondere mit folgenden Ausprägungen:
- Subsystem S5.1 : Verbund von Endgeräten;
- Subsystem S5.2: Verteilung von Daten; und/oder
- Subsystem S5.3: Verteilung von Rechenoperationen; und/oder
- Subsystem S6: Verbund von Endgeräten für die ergonomische virtuelle, adaptive Ein- und/oder Ausgabe Inhalte repräsentierender Daten; insbesondere mit folgenden Ausprägungen:
- Subsystem S6.1 : Virtuelle Anzeige; und/oder
- Subsystem S6.2: Mentale Steuerung.
Im Sinne der vorliegenden Erfindung sind die nachfolgenden Begrifflichkeiten dabei wie folgt zu verstehen:
Inhalte: Inhalte im Sinne der vorliegenden Erfindung sind Datenobjekte oder eine Menge (sogenanntes Set) von Datenobjekten, die eine inhaltliche Einheit repräsentieren, beispielsweise eine Nachricht, ein Kontakt, eine Aufgabe, ein Dokument, ein Bild.
Unvermittelt: Unvermittelt im Sinne der vorliegenden Erfindung bedeutet, dass zu jedem Zeitpunkt für den Anwender für einen direkten Aufruf verfügbar, ohne eine Folge von Interaktionen durch den Anwender, beispielsweise der Wechsel von Programmen, Menü- oder Verzeichnishierarchien. Situativ: Situativ im Sinne der vorliegenden Erfindung bedeutet, auf eine Situation des Anwenders bezogen, das heißt im allgemeinen, wer, wann, wo gerade welche Intention verfolgt, insbesondere, welche Aktivitäten der Anwender eines Systems in welcher Situation auf seinem Endgerät ausführt.
Abrufen: Abrufen im Sinne der vorliegenden Erfindung ist ein systemseitiges, automatisches Lokalisieren (Finden) und Selektieren von Daten im Sinne von Information Retrieval.
Aufrufen: Aufrufen im Sinne der vorliegenden Erfindung ist ein nutzerseitiges Anfordern von Inhalte repräsentierenden Daten.
Dynamisch: Dynamisch im Sinne der vorliegenden Erfindung ist veränderlich, in Abhängigkeit von veränderlichen Parametern oder Daten.
Berechnung: Berechnung im Sinne der vorliegenden Erfindung ist die maschinelle Verarbeitung (Computation) von Daten, einschließlich der Verarbeitung von Zeichenketten (Strings) und komplexen Datenstrukturen (Dictionary, Map, List, Set etc.) über einfache Datenstrukturen wie Ganz- (Integer) oder Fließkommazahlen (Float) hinaus.
Das erfindungsgemäße System zur ergonomischen Interaktion eines Anwenders mit Daten wird nachfolgend anhand der verschiedenen aufeinander aufbauenden und/oder sich ergänzenden Subsysteme, insbesondere Subsystem S1 , Subsystem S2, Subsystem S3, Subsystem S4, Subsystem S5 und/oder Subsystem S6, als auch deren jeweiligen Ausprägungen, näher erläutert:
1 . Subsystem S1 : Systemübergreifende, integrale Mensch-Maschine-Schnittstelle (integrale Benutzerführung) für den Aufruf von Inhalte repräsentierenden Daten, Programmen und/oder Funktionen
Erfindungsgemäß ist ein System bzw. Datenverarbeitungssystem gegeben, welches vorteilhafterweise folgende Merkmale und/oder Eigenschaften aufweist:
Prozessoreinheit;
Datenspeicher, - lokal oder über ein Netzwerk zugänglich;
- Inhalte repräsentierende Datenobjekte,
- lokal oder über ein Netzwerk zugänglich,
- lokal oder über ein Netzwerk indiziert;
- ausführbare Programme (Apps),
- lokal oder über ein Netzwerk zugänglich,
- lokal oder über ein Netzwerk indiziert;
- Verzeichnis von Inhaltsklassen und deren technischen Kriterien, wobei
- Inhaltsklassen beispielsweise Dokumente, Fotos, Videos aber auch Programme (Apps) und komplexere Klassen wie ungelesene Mitteilungen (Notifications), besuchte Webseiten oder situative Inhalte sind,
- technische Kriterien beispielsweise Dateiendungen, Metadaten wie der Internet Media Type (MIME-Type) oder Speicherorte sind und die technischen Kriterien auch kombiniert definiert und/oder angewendet werden können, einschließlich Anweisungen zur Berechnung oder Beschaffung (Retrieval) von Daten, und/oder
- die inhaltlichen Kriterien beispielsweise ein bestimmter Adressat von Mitteilungen, ein Motiv oder Ort von Bildern oder ein Stichwort für ein Dokument sind;
- Verzeichnis von Funktionen und deren technischen Bedingungen, wobei
- Funktionen beispielsweise das Aufnehmen eines Fotos, das Versenden einer Email oder das Auslösen eines Audio- oder Videoanrufs sind,
- die technischen Kriterien beispielsweise eine verfügbare Kamera, ein ausgewählter Adressat oder eine bestehende Mobilfunkverbindung sind und wobei die technischen Kriterien auch kombiniert definiert oder angewendet werden können, und/oder
- die inhaltlichen Kriterien beispielsweise die Uhrzeit, ein Wochentag, der Ort des Endgerätes oder ein bestimmtes Kalenderereignis sind; und/oder
- Mensch-Maschine-Schnittstelle,
- Ausgabe von Daten und/oder Funktionsoptionen, und/oder
- Eingabe von Daten und/oder Funktionsaufrufen.
Dieses System bzw. Subsystem trägt insbesondere zur Lösung der vorgenannten technischen Probleme 1. (Systemübergreifende, integrale Benutzerführung eines datenverarbeitenden Systems), 2. (Unvermittelte, direkte Bereitstellung von Daten, Programmen und/oder Funktionen) und 4. (Überwindung von Systemgrenzen interner und externer Systemgrenzen eines Endgerätes) bei.
Erfindungsgemäß sind vorteilhafterweise ferner die nachfolgenden Ausprägungen vorgesehen:
1.1 Subsystem S1.1 : Systemübergreifende Anzeige von Funktionen
Die Mensch-Maschine-Schnittstelle dieses Systems reflektiert die eingangs genannten Kernfunktionen daten- bzw. informationsverarbeitender Systeme, nämlich Eingabe, Bearbeitung, Abruf, Ausgabe und/oder Verteilung von Informationen repräsentierenden Daten, vorteilhafterweise mit folgenden Merkmalen und/oder Eigenschaften:
1 . Das System bietet zu jedem Zeitpunkt dynamische Handlungsoptionen im Sinne technischer Funktionen in mindestens zwei Gruppen (sogenanntes Zweifach-Menü) an:
1. Optionen, um Inhalte repräsentierende Daten zu erfassen oder hinzuzufügen, wobei das System die Optionen aus den verfügbaren Funktionen und deren technischen und/oder inhaltlichen Bedingungen ableitet. Die Inhalte repräsentierenden Daten können sowohl persistent (beispielsweise Fotos, Mitteilungen, Notizen) als auch transient (beispielsweise Audio- und/oder Videoanruf) sein.
2. Optionen, um Inhalte repräsentierende Daten aufzurufen, wobei
- das System die Optionen aus den verfügbaren Inhaltsklassen ableitet,
- die Optionen dynamische Zusammenstellungen von Inhalte repräsentierenden Daten und/oder ausführbaren Programmen (Apps) einschließt,
- das System sowohl die Zusammenstellungen als auch die Programme mit Parametern aufrufen kann, beispielsweise ein E-Mail-Programm mit Parametern für das Absendedatum und den Absendernamen oder einen Datei-Manager mit Parametern für den Dateityp und Suchbegriff oder einen Web-Browser mit einem Parameter für eine URL. Zeigt das System ein einen Inhalt repräsentierendes Datum an oder hat der Anwender ein solches ausgewählt, kann das System eine dritte Gruppe (sogenannte Dreifach Menü) weiterer Handlungsoptionen im Sinne technischer Funktionen anbieten, die jenes Datum verwenden, insbesondere zum Teilen und/oder Verbinden (Linking) und/oder Abrufen weiterer Inhalte repräsentierender Daten, wobei
- das System die Optionen für das Teilen aus den verfügbaren Funktionen und der enthaltenen oder referenziellen Kommunikationskanäle ableitet,
- das System die Optionen für das Verbinden (Linking) aus den Inhaltsklassen und deren technischen Kriterien und/oder den indizierten Inhalten selbst ableitet, wobei - die Optionen für das Verbinden (Linking) die explizite Auswahl Inhalte repräsentierender Daten und/oder die implizite Auswahl Inhalte repräsentierender Daten aufgrund von Suchanfragen einschließen,
- das System die expliziten und/oder die Parameter für die impliziten Verbindungen im Datenspeicher persistiert, um sie für den unvermittelten Abruf weiterer Inhalte repräsentierender Daten zu verwenden; und/oder
- das System die Optionen für den Aufruf aus den Inhaltsklassen und deren technischen Kriterien und/oder Bedingungen ableitet. Subsystem S1.2: Systemübergreifender Aufruf von Funktionen
Für die technische Umsetzung dieser vorteilhafterweise jederzeit verfügbaren, systemübergreifenden technischen Funktion kann das System folgende alternative Benutzerführung im Sinne einer Mensch- Maschine-Schnittsteile verwenden und optional kombinieren, vorteilhafterweise mit folgenden Merkmalen und/oder Eigenschaften:
1. Das Endgerät (sogenanntes Device) oder dessen Ein- und Ausgabevorrichtung (sogenanntes Accessory) besitzt berührungsempfindliche Punkte (Touch Points) mit einem für eine Interaktion ausreichenden Radius an oder auf den Ecken seiner Anzeige, um jeweils eine der genannten drei Funktionsgruppen, nämlich das Erfassen, Aufrufen und/oder Verwenden von Inhalte repräsentierenden Daten, aufzurufen. Die Vierte Ecke kann das System vorteilhafterweise für das Löschen, Schließen, Minimieren oder Ausblenden eines angezeigten Inhalte repräsentierenden Datums oder eines angezeigten ausführbaren Programms (App) verwenden. Nach dem Aufruf der Funktionsgruppe kann der Anwender des Systems über eine Berührungsgeste (sogenanntes Touch) eine Funktion aus der Gruppe auswählen und aufrufen;
2. Das Endgeräte oder dessen Ein- und Ausgabevorrichtung besitzt berührungsempfindliche Ränder an den Seiten seiner Anzeige und/oder seines Gehäuses, die jeweils eine der drei genannten Funktionsgruppen, nämlich das Erfassen, Aufrufen und/oder Verwenden von Inhalte repräsentierenden Daten, und deren
Funktionen aufrufen kann. Das gilt insbesondere für die ersten beiden Funktionsgruppen nämlich das Erfassen und/oder das Aufrufen von Inhalte repräsentierenden Daten. Die Auswahl der Funktionen kann das System vorteilhafterweise über eine
Wischgestik (sogenanntes Swipe) und/oder Schiebegestik (sogenanntes Slide) anbieten und über das Unterbrechen der Berührung oder einer nachfolgenden Berührungsgeste (sogenanntes Touch) auslösen. Um eine ungewollte Funktionsauswahl oder einen ungewollten Funktionsaufruf zu vermeiden kann der Wischgeste und/oder der Schiebegeste vorteilhafterweise eine einfache oder doppelte Berührungsgeste vorangehen. Wenn die berührungsempfindlichen Ränder auf der Anzeige liegen kann das System bei einem Konflikt der Funktionsgruppen mit anderen
Funktionen vorteilhafterweise dadurch vermeiden, dass die Wischgeste und/oder die Schiebegeste von außerhalb des Randes her beginnt; Das Endgerät oder dessen Ein- und/oder Ausgabevorrichtung weist berührungsempfindliche Punkte mit einem für eine Interaktion ausreichendem Radius bzw. Fläche als virtuelle oder physische Schaltflächen zum Aufruf der genannten Funktionsgruppen, nämlich das Erfassen, Aufrufen und/oder Verwenden von Inhalte repräsentierenden Daten, an. Das gilt insbesondere für eine virtuelle oder physikalische Tastatur oder ein vergleichbares Steuer- bzw. Eingabegerät. Nach Aufruf der Funktionsgruppe kann der Anwender des Systems eine Funktion aus der Gruppe vorteilhafterweise über eine Berührungsgeste (Touch), über eine weitere Taste oder Tastenkombination oder über ein weiteres Eingabegerät aufrufen; Das Endgerät oder dessen Ein- und/oder Ausgabevorrichtung verwendet vorteilhafterweise eine berührungsempfindliche
Oberfläche oder Anzeige, die nach einer Touch-Geste oder Betätigung einer Taste oder Tastenkombination zwei oder drei horizontale oder vertikale Schaltflächen einblendet, wobei die äußeren Schaltflächen den Aufruf der ersten beiden Funktionsgruppen und die mittlere Schaltfläche ein Textfeld für die Eingabe von Inhalten, Suchen oder Funktionsaufrufen öffnet;
5. Das Endgerät oder dessen Ein- und/oder Ausgabevorrichtung verwendet eine Tastatur mit berührungsempfindlicher Fläche (Touch- Pad), die es dem Anwender erlaubt mit einer Multi-Touch-Geste, also mit mehreren Fingern, oder mit einer Touch-Geste und Betätigung einer Funktionstaste eine der Funktionsgruppen aufruft, wobei diese Geste vorzugsweise eine Wischgeste (Swipe) ist, um neben dem Aufruf der Funktionsgruppen auch die Auswahl einer Funktion zu ermöglichen. Diese Variante eignet sich insbesondere für Laptops und stationäre Personal Computer; und/oder
6. Das Endgerät oder dessen Ein- und/oder Ausgabevorrichtung verwendet eine berührungsempfindliche Oberfläche oder Anzeige für Wischgesten von den Außenrändern einer Anzeige zum Innenbereich derselben, um jeweils einer der Gruppen von Funktionen aufzurufen. Analog zu den genannten berührungsempfindlichen Eckpunkten (vgl. Ziffer 1.) kann das System eine vierte Geste für das Löschen, Schließen, Minimieren oder Ausblenden eines angezeigten Inhalte repräsentierendes Datums oder ausführbaren Programms (App) verwenden.
Die Fig. 1 a, 1 b, 1 c und 1d, Fig. 10, Fig. 2a, 2b und 2c sowie Fig. 3 zeigen exemplarisch Ausführungsbeispiele der erfindungsgemäßen Mensch- Maschine-Schnittstelle anhand von unterschiedlich groß ausgebildeten Ein- und Ausgabegeräten. Fig. 1 a, 1 b, 1 c und Fig. 1 d zeigen exemplarisch eine Mensch-Maschine-Schnittsteile für Geräte mit einer mittleren Anzeigefläche in einer Größe von 3 Zoll bis 10 Zoll in der Diagonalen, beispielsweise ein sogenanntes Tablet. Die Reihenfolge der Fig. 1a und Fig. 1d zeigt dabei ferner eine Nutzungsfolge bzw. einen Ablauf von Mensch-Maschine-Interaktionen. Fig. 2a, 2b und c zeigen exemplarisch eine Mensch-Maschine-Schnittsteile für Geräte mit einer kleinen
Anzeigefläche in einer Größe von 1 Zoll bis 3 Zoll in der Diagonalen, beispielsweise eine sogenannte Smart Watch. Fig. 3 zeigt exemplarisch eine Mensch-Maschine-Schnittstelle für Geräte mit einer großen Anzeigefläche in einer Größe größer 10 Zoll in der Diagonalen, beispielsweise ein sogenanntes Notebook oder Laptop.
Fig. 1 a, 1 b, 1 c und Fig. 1 d weisen folgende Bezugszeichen auf:
1 Berührungsempfindliche Aktivierungspunkte auf der Anzeige zum Aufruf von Funktionsgruppen
2 Berührungsempfindliche Aktivierungsflächen auf der Anzeige zum Aufruf von Funktionsgruppen
3 Berührungsempfindliche Aktivierungsflächen auf den
Geräteseiten zum Aufruf von Funktionsgruppen
4 Eingeblendete Schaltflächen für ein Drei-Punkt-Menu für den Aufruf von Funktionsgruppen und intelligentes Eingabefeld
5 Funktionsgruppen für den Aufruf der systemweiten
Basisfunktionen, nämlich Eingabe, Bearbeitung und/oder Abruf von Informationen repräsentierenden Daten, des Datenverarbeitungssystems
Fig. 2a, 2b und 2c weisen folgendes Bezugszeichen auf:
6 Berührungsempfindliche Aktivierungsflächen auf den
Geräteseiten zum Aufruf von Funktionsgruppen aus dem Gerät selbst oder einer mit diesem Gerät verbundenen Ausgabeeinheit, die zugleich eine weitere Eingabeeinheit sein kann.
Fig. 3 weist folgende Bezugszeichen auf:
7 Freistehende oder am Rand ausgerichtete und überlagernde
Funktionsgruppen für den Aufruf der systemweiten
Basisfunktionen, nämlich Eingabe, Bearbeitung, Abruf, Ausgabe und/oder Verteilung von Informationen repräsentierenden Daten, des Datenverarbeitungssystems 8 Anzeigebereich für eine Zusammenstellung der einzelne Inhalte repräsentierende Daten und/oder ausführbarer Programme
9 Eingeblendete Schaltflächen für ein Drei-Punkt-Menu für den Aufruf von Funktionsgruppen und intelligentes Eingabefeld. Subsystem S1.3: Systemübergreifende Anzeige von Inhalte repräsentierenden Daten
Nach dem Aufruf einer der systemübergreifenden Funktionen, nämlich Eingabe, Bearbeitung, Abruf, Ausgabe und/oder Verteilung von Informationen repräsentierenden Daten, zeigt das System vorteilhaftenweise die entsprechende Mensch-Maschine-Schnittstelle (Interface) zur Eingabe oder Erfassung (sogenanntes Capturing) von Inhalte repräsentierenden Daten, Zusammenstellungen von Inhalte repräsentierenden Daten, ein einzelnes Inhalte repräsentierendes Datum oder auch ein aufgerufenes Programm (App) an.
Das informations- und datenverarbeitende System weist für die Anzeige von und Interaktion mit Inhalte repräsentierenden Daten und/oder Programmen vorteilhaftenweise folgende Merkmale und/oder Eigenschaften auf:
1. Ausschließliche Anzeigebereiche für ein oder mehrere Inhalte repräsentierende Daten und/oder Funktionen, die das System auf diese Inhalte repräsentierende Daten jeweils anwenden kann, wobei
- ein hybrides System mit der Anzeige von Programmen, Dateien und Ordnern ermöglicht ist,
- das System Funktionen situativ in Abhängigkeit von der Art und/oder dem Status angezeigter Daten auswählt und anzeigt, und/oder
- der Anzeigebereich zur Veränderung Informationen repräsentierender Daten vorzugsweise interaktiv ist.
2. Simultane, überlagerte oder nebengeordnete Anzeige von Inhalte repräsentierenden Daten, wobei - das System insbesondere für eine Übersicht über viele Inhalte eine Anzeige in einer miniaturisierten Variante verwendet, die es nicht statisch, sondern dynamisch (sogenanntes Live Panel) anzeigt. Das gilt insbesondere für Videos oder Nachrichten- und Mitteilungsströme (sogenannte News Feeds), und/oder
- das System Anzeigebereiche bei einem Aufruf von weiteren Inhalte repräsentierenden Daten durch Animationen einblenden, ausblenden, überblenden oder austauschen kann.
Vorteilhafterweise ermöglicht das System damit ein Verbergen von technischen Strukturen wie Programmen, Dateien und/oder Diensten und sorgt so für den Anwender insbesondere für mehr Klarheit.
Eine weitere Ausgestaltung der Erfindung im Hinblick auf das erfindungsgemäße Subsystem 1 sieht ein Datenverarbeitungssystem zur ergonomischen Interaktion eines Anwenders mit Daten vor, welches folgende Merkmale aufweist:
- wenigstens eine Prozessoreinheit,
- wenigstens einen lokalen und/oder über ein Netzwerk zugänglichen Datenspeicher mit Daten,
- lokale und/oder über ein Netzwerk zugängliche Inhalte repräsentierende Datenobjekte,
- ein Verzeichnis von semantischen Inhaltsklassen der Datenobjekte und die technischen Kriterien der Inhaltsklassen (Klassenverzeichnis),
- ein Verzeichnis von systemseitig zur Verfügung stehenden Funktionen für eine Interaktion mit Daten und die technischen Bedingungen der Funktionen (Funktionsverzeichnis),
- eine Mensch-Maschine-Schnittsteile zur Bereitstellung von Informationen und/oder Steuerelementen im Hinblick auf eine Interaktion eines Anwenders mit Daten,
und
Mittel bzw. eine Einrichtung zur, vorzugsweise unvermittelten Bereitstellung situationsgerechter Funktionen (eine situative Bereitstellung von Funktionen) für eine Interaktion eines Anwenders mit Daten mittels der Mensch-
Maschine-Schnittstelle mit mindestens zwei Optionen zur Handlung für den
Anwender,
einer ersten Option im Hinblick auf eine Erstellung von vorzugsweise persistenten und/oder transienten Inhalten und
einer zweiten Option im Hinblick auf einen Aufruf von Inhalte repräsentierenden Daten und/oder Apps,
wobei
die erste Option unter Nutzung des Verzeichnisses von/enthaltend systemseitig zur Verfügung stehenden/r Funktionen für eine Mensch- Maschine-Interaktion mit Daten und die technischen Bedingungen der Funktionen (Funktionsverzeichnis) bestimmt wird bzw. bestimmbar/ableitbar ist
und
die zweite Option unter Nutzung des Verzeichnisses von/enthaltend die semantische/n Inhaltsklassen der Datenobjekte und die technischen Kriterien der Inhaltsklassen (Klassenverzeichnis) und/oder unter Nutzung des Verzeichnisses von/enthaltend systemseitig zur Verfügung stehenden/r Funktionen für eine Mensch-Maschine-Interaktion mit Daten und die technischen Bedingungen der Funktionen (Funktionsverzeichnis) bestimmt wird bzw. bestimmbar/ableitbar ist.
Die Mittel/Einrichtung zur unmittelbaren Bereitstellung situationsgerechter Funktionen bzw. zur situativen Bereitstellung von Funktionen, bewirken/bewirkt insofern vorteilhaftenweise eine automatische Berechnung dynamischer Funktionen für eine Interaktion eines Anwenders mit Daten mittels der Mensch- Maschine-Schnittsteile. Auf diese Weise können systemseitig ständig, das heißt zu jedem Zeitpunkt, dynamische Handlungsoptionen in mindestens zwei Gruppen genutzt und insbesondere seitens einer Ausgabevorrichtung, insbesondere einer Anzeigeeinrichtung, angezeigt bzw. wiedergegeben werden. Die Berechnung erfolgt vorteilhaftenweise mittels der Prozessoreinheit des Systems oder mittels einer Recheneinrichtung der Mittel/Einrichtung zur unvermittelten Bereitstellung situationsgerechter Funktionen bzw. zur situativen Bereitstellung von Funktionen.
Vorteilhaftenweise stellen die Mittel/Einrichtung zur unvermittelten Bereitstellung situationsgerechter Funktionen bzw. zur situativen Bereitstellung von Funktionen, eine dritte Option zur Handlung für den Anwender im Hinblick auf ein Verknüpfen oder Teilen von Inhalten bereit, wenn ein einen Inhalt repräsentierendes Datenobjekt systemseitig angezeigt oder durch einen Anwender ausgewählt wird, wobei die dritte Option unter Nutzung des Verzeichnisses von/enthaltend systemseitig zur Verfügung stehenden/r Inhaltsklassen und/oder Inhaltsobjekten und/oder Nutzung des Verzeichnisses von bzw. enthaltend systemseitig zur Verfügung stehender Funktionen für eine Mensch-Maschine-Interaktion und der technischen Bedingungen dieser Funktionen (Funktionsverzeichnis) und/oder unter Nutzung von systemseitig zur Verfügung stehenden Kommunikationskanälen im Hinblick auf ein Teilen von Inhalten mit Dritten bestimmt wird bzw. bestimmbar/ableitbar ist.
Vorteilhafterweise stellen die Mitteln/Einrichtung zur unvermittelten Bereitstellung situationsgerechter Funktionen bzw. zur situativen Bereitstellung von Funktionen, eine vierte Option zur Handlung für den Anwender im Hinblick auf ein Löschen oder Schließen eines angezeigten Inhalts und/oder einer App bereit.
Die vorliegende Erfindung macht dabei insbesondere von der Erkenntnis Gebrauch, dass technische Strukturen wie Programme und Verzeichnisse oder Ablageorte, die über Verzeichnisse oder Webadressen erreichbar sind, in den Hintergrund treten müssen.
Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung weist das System bzw. Datenverarbeitungssystem ferner wenigstens eine eine Anzeigefläche bereitstellende Ein- und/oder Ausgabevorrichtung auf, welche an, in und/oder auf den Randbereichen der Anzeigefläche, vorzugsweise und/oder optional an, in und/oder auf den Bereichen der Ecken der Anzeigefläche, jeweils eine berührungsempfindliche Schaltfläche für eine der mindestens zwei, drei oder auch vier Optionen zur Handlung für den Anwender aufweist. In einer weiteren vorteilhaften Ausgestaltung sind die Ränder der Einund/oder Ausgebeinheit berührungsempfindlich, um die Handlungsoptionen aufzurufen und auszuwählen (vgl. insbesondere auch Fig. 1 a bis 3 und Fig. 6).
Für die technische Umsetzung dieser erfindungsgemäß allgegenwärtigen bzw. ständigen, das heißt zu jedem Zeitpunkt vorhandenen bzw. unmittelbar nutzbaren situativen Handlungsoptionen bedient sich das erfindungsgemäße System, welches vorzugsweise als ein Endgerät oder ein Endgeräteverbund mit einer Ein- und/oder Ausgabevorrichtung ausgebildet bzw. ausgestaltet ist, dabei vorteilhaftenweise folgender Ausgestaltungen, die insbesondere alternativ vorgesehen sind:
- Das Endgerät oder dessen Ein- und/oder Ausgabevorrichtung weist berührungsempfindliche Schaltflächen bzw. Punkte, sogenannte Touch Points, an oder auf den Ecken seiner Anzeigefläche auf, die jeweils die Handlungsoptionen für eine der genannten Kernfunktionen, wie das Erfassen, Abrufen oder Verwenden von Inhalte repräsentierenden Daten, oder Sonderfunktionen, wie das Verteilen oder das Verknüpfen von Inhalte repräsentierenden Daten, aufrufen. Eine vierte Ecke kann das System vorteilhafterweise für das Löschen oder Schließen eines angezeigten Inhaltes und/oder einer App nutzen bzw. vorsehen.
- Das Endgerät oder dessen Ein- und/oder Ausgabevorrichtung weist berührungsempfindliche Ränder oder berührungsempfindliche Seiten an oder im Bereich der Anzeige auf, die jeweils die Handlungsoptionen für eine der genannten Kernfunktionen, wie das Erfassen, Abrufen oder Verwenden von Inhalte repräsentierenden Daten, aufrufen.
- Das Endgerät oder dessen Ein- und/oder Ausgabevorrichtung weist insbesondere im Bereich der Anzeigefläche berührungsempfindliche Punkte, vorzugsweise in Form von virtuellen oder physischen Tasten, auf, die jeweils die Handlungsoptionen für eine der genannten Kernfunktionen, wie das Erfassen, Abrufen oder Verwenden von Inhalte repräsentierenden Daten, oder Sonderfunktionen, wie das Verteilen oder das Verknüpfen von Inhalte repräsentierenden Daten, aufrufen, vorzugsweise beispielsweise auf einer Tastatur.
Als technische Alternative für festgelegte Menüstrukturen, die an Programmen, dem Programmfenster oder - wie im Falle des Betriebssystems MacOS - dem gesamten Anzeigebereich einer Anzeigevorrichtung gebunden sind, sieht die vorliegende Erfindung folgende Mittel und/oder Einrichtungen zur Umsetzung einer erfindungsgemäßen situativen Benutzerführung, insbesondere zum Bereitstellen der insofern vom System automatisch berechneten Funktionen vor.
Das erfindungsgemäße System bzw. Datenverarbeitungssystem weist dazu vorteilhafterweise insbesondere folgende Merkmale und/oder Eigenschaften auf:
- Für die Ausgabe dienen inhaltliche Darstellungsbereiche, sogenannte Content Panels, die eine oder mehrere Inhalte darstellen können, wobei - vorteilhafterweise Funktionen zur Bearbeitung von Inhalten oder zur Verwendung, wie beispielsweise das Verteilen oder das Verknüpfen von Inhalten, immer mit oder an diesen Inhalten gebunden sind,
- vorteilhafterweise diese Bindung vorteilhaftenweise sowohl optisch für die Benutzerführung als auch inhaltlich für die damit verbundene Handlungsoption gilt bzw. erfolgt; so macht es beispielsweise keinen Sinn, einen Text abzuspielen, sondern nur Video- oder Audioinhalte;. oder Dokumente können zwar per Email aber nicht per Facebook geteilt werden.
- Für die gleichzeitig oder parallel erfolgende Anzeige bzw. Wiedergabe von digitalen Inhalten und die Interaktion mit digitalen Inhalten kann das System mehrere Darstellungsbereiche überlagert oder nebengeordnet darstellen,
- wobei vorteilhafterweise das System insbesondere für eine Übersicht über viele Darstellungsbereiche eine Darstellung in einer miniaturisierten Variante realisiert, die die Inhalte vorteilhafterweise nicht statisch, sondern dynamisch wiedergibt, sogenannte Live Panel, beispielsweise ein Video oder ein Feed.
- Der Anzeigebereich bzw. Anzeigefläche der Ein- und/oder
Ausgabevorrichtung ersetzt vorteilhafterweise Programmfenster und Verzeichnisse bzw. Ordnerstrukturen der heutigen Betriebssysteme,
- wobei vorteilhaftenweise hybride Konzepte von Betriebssystemen möglich sind, die neben den erfindungsgemäß vorgesehenen dynamischen, inhaltlich bestimmten Darstellungs- bzw. Anzeigebereichen auch Ordner, Dateien und Programme mit Programmfenstern und Programmmenüs vorsehen.
Da eine situative, systemübergreifende Benutzerführung eine technische Alternative zu Betriebssystemen mit festgelegten Menüstrukturen benötigt, welche an Programmen, dem Programmfenster oder sogar den gesamten Anzeigebereich gebunden sind, wird erfindungsgemäß die Ausgabe inhaltlicher Darstellungsbereiche (Content Panels) vorgeschlagen, welche einen oder mehrere Inhalte darstellen können. Dabei sind Funktionen zur Bearbeitung oder Verwendung, wie das Teilen von Inhalten, immer mit oder an diese Inhalte gebunden. Diese Bindung gilt sowohl optisch für die Benutzerführung als auch inhaltlich für die damit verbundene Handlungsoption. Für die gleichzeitige oder parallele Anzeige von Interaktionen mit digitalen Inhalten kann das System erfindungsgemäß mehrere Darstellungsbereiche überlagert oder nebeneinander angeordnet darstellen, wobei das System für eine Übersicht über viele Darstellungsbereiche in einer miniaturisierten Variante verwendet wird, welche nicht statisch sondern dynamisch die Inhalte wiedergibt (Live Panel), beispielsweise mittels eines Videos oder eines Feeds. Der erfindungsgemäß vorgesehene Anzeigebereich ersetzt Programmfenster und Verzeichnisse bzw. Ordnerstrukturen heutiger Betriebssysteme, wobei hybride Konzepte von Betriebssystemen möglich sind, die neben den dynamischen, inhaltlich bestimmten Darstellungsbereichen auch Ordner, Dateien und Programme mit Programmfenstern und Programmmenüs kennen.
Weitere Einzelheiten, Merkmale und Vorteile im Hinblick auf eine erfindungsgemäße situative Bereitstellung von Inhalten ergeben sich insbesondere im Zusammenhang mit den in Fig. 1d und Fig. 3 dargestellten und nachfolgend näher erläuterten Ausführungsbeispielen der Erfindung. Die in den Figuren schematisch dargestellte Anzeige zeigt das erfindungsgemäße System vorteilhaftenweise auf einer Anzeigefläche eines Bildschirms, insbesondere Displays oder Monitors, oder virtuell im Raum an, vorzugsweise seitens des Anzeigebereichs einer sogenannten Datenbrille (Smart Glass). Eine besonders bevorzugte Anwendung ist dabei im Zusammenhang mit einer Vorrichtung zur virtuellen Ausgabe von digitalen Inhalten, jedoch nicht als Teil oder Erweiterung der Wirklichkeit (Augmented Reality), sondern als überlagerte Inhalte (Blended Reality), gegeben. Subsystem S2: Systemübergreifende, automatische und dynamische Zusammenstellungen von Inhalte repräsentierenden Daten, Programmen und/oder Funktionen
Erfindungsgemäß ist ein System bzw. Datenverarbeitungssystem gegeben, welches vorteilhafterweise folgende Merkmale und/oder Eigenschaften aufweist:
Prozessoreinheit;
Datenspeicher, - lokal oder über ein Netzwerk zugänglich;
- Inhalte repräsentierende Datenobjekte,
- lokal oder über ein Netzwerk zugänglich, und/oder
- lokal oder über ein Netzwerk indiziert;
- Mensch-Maschine-Schnittstelle,
- Ausgabe von Daten und/oder Funktionsoptionen, und/oder
- Eingabe von Daten und/oder Funktionsaufrufen.
Dieses System bzw. Subsystem trägt insbesondere zur Lösung der vorgenannten technischen Probleme 2. (Unvermittelte, direkte Bereitstellung von Daten, Programmen und/oder Funktionen) und 4. (Überwindung von Systemgrenzen interner und externer Systemgrenzen eines Endgerätes) bei.
Dynamische Zusammenstellungen von Inhalte repräsentierenden Daten bieten dem Anwender dabei vorteilhaftenweise stetig aktuelle Übersichten nach semantischen Kriterien. Sie bieten vorteilhafterweise zugleich einen schnellen Zugang zu solchen Inhalte repräsentierenden Daten an, ohne diese suchen zu müssen oder verschiedene Programme oder Dienste sequenziell zu verwenden, die lokal oder über ein Netzwerk zur Verfügung stehen.
Vorteilhaftenweise sieht das vorgenannte erfindungsgemäße System dabei insbesondere die nachfolgenden Ausprägungen vor:
1. Der Anwender des Systems kann dynamische Zusammenstellungen von Inhalte repräsentierenden Daten und/oder Programmen definieren, wobei
- die Definition durch den Anwender mit oder ohne expliziter oder impliziter Verknüpfung mit einem oder mehreren Inhalte repräsentierenden Daten erfolgt, und/oder
- das System die Definitionen für die dynamischen Zusammenstellungen in seinem Datenspeicher persistiert, um sie für den Aufruf der Zusammenstellungen anzuwenden. 2. Der Anwender kann von dem System dynamische Zusammenstellungen von Inhalte repräsentierenden Daten und/oder Programme abrufen, wobei
- der Aufruf unabhängig oder abhängig von einem oder mehreren Inhalte repräsentierenden Daten erfolgt, die der Anwender explizit oder implizit ausgewählt hat,
- das System Kriterien (sogenannte Constraints) für die Selektion (Selektion im Sinne von Information Retrieval) von Inhalte repräsentierenden Daten mit Hilfe der Indizes ausführt, und/oder
- das System Ergebnisse der Selektion aus verschiedenen Indizes oder Fremdsysteme zu einer Vereinigungsmenge zusammenführt.
3. Das System gibt die dynamischen Zusammenstellungen über eine Ausgabeeinheit wieder, mit der ein Anwender die Inhalte repräsentierenden Datenobjekte und/oder ausführbare Programme aufrufen kann, wobei
- das System die Elemente der Zusammenstellungen vorzugsweise nach einem Rang sortiert, den es nach zeitlichen, formalen oder semantischen Kriterien oder einer Kombination derselben berechnet.
Gemäß einer weiteren vorteilhaften Ausgestaltung umfasst das erfindungsgemäße Datenverarbeitungssystem zur systemübergreifenden Bereitstellung von Funktionen Mittel zur systemseitigen, automatischen und dynamischen Auswahl digitaler Inhalte, wobei Mittel zum Abruf von Inhalte repräsentierenden Daten durch den Anwender sowie Mittel zur Ausgabe von Inhalte repräsentierenden Daten an den Anwender vorgesehen sind. Dadurch wird dem Umstand Rechnung getragen, dass die moderne Informationstechnik von Informationen in verteilten Ablageorten auf lokalen Endgeräten, Datenträgern und im Internet beziehungsweise in der Cloud geprägt ist und eine Vielzahl von Programmen die Erfassung, Bearbeitung Abfrage und Ausgabe von digitalen Inhalten ermöglicht. Aufgrund dessen ist es für den Anwender kaum möglich, einen Überblick zu erhalten, sodass die Notwendigkeit besteht, Inhalte oder Informationen in verschiedenen Programmen oder an verschiedenen Orten suchen zu müssen. Erfindungsgemäß kann damit die Überwindung von Medienbrüchen verschiedener Programme, von Online und Offline sowie verschiedener Datenformate erreicht werden, sodass ein inhaltlicher und kein technischer Zugang zu Inhalten und Informationen geboten wird. Daraus resultiert eine Lösung der technischen Problemstellung, welche in der inhaltlichen Selektion beim Beziehen von Datenobjekten aus verteilten Quellen (und nicht nur des reinen technischen Bezugs) gegeben ist, insbesondere bei Nachrichtenströmen sozialer Netzwerke und Medien, bei denen eine Unterscheidung wichtiger und unwichtiger Inhalte zur Selektion für den Anwender vorzunehmen ist. Erfindungsgemäß kann dabei vorgesehen sein, dass dem Anwender durch die Verwendung dynamischer Mengen stets aktuelle, relevante und personalisierte Inhalte nach semantischen Kriterien geboten werden, welche zudem einen Überblick und einen schnellen Zugang zu Inhalten gewährleisten, ohne dass hierfür eine Suche oder eine sequenzielle Abfrage verschiedener Programme oder Dienste, sei es lokal auf einem Endgerät oder entfernt im Internet bzw. in der Cloud, notwendig ist. Zum systemseitigen Abruf dynamischer Mengen von Inhalte repräsentierenden Daten durch den Anwender sind im System Kriterien für die Selektion (Retrieval) von Datenobjekten mithilfe der Indizes hinterlegt. Dabei werden Ergebnisse der Selektion aus verschiedenen Indizes zu einer einzigen Vereinigungsmenge zusammengeführt. Eine Ausgabe dieser Vereinigungsmenge erfolgt systemseitig über eine Ausgabeeinheit, mit der ein Anwender die Inhalte repräsentierenden Datenobjekte konsumieren und/oder bearbeiten kann. Subsystem S3: Systemübergreifende, automatische und adaptive Berechnung, Abfrage und/oder Bereitstellung von situativen Inhalten repräsentierenden Daten, Programmen und/oder Funktionen
Erfindungsgemäß ist ein System bzw. Datenverarbeitungssystem gegeben, welches vorteilhafterweise folgende Merkmale und/oder Eigenschaften aufweist:
- Prozessoreinheit;
- Datenspeicher,
- lokal oder über ein Netzwerk zugänglich;
- Inhalte repräsentierende Datenobjekte,
- lokal oder über ein Netzwerk zugänglich, und/oder lokal oder über ein Netzwerk indiziert;
- Mensch-Maschine-Schnittstelle,
- Ausgabe von Daten und/oder Funktionsoptionen, und/oder
- Eingabe von Daten und/oder Funktionsaufrufen.
Dieses System bzw. Subsystem trägt insbesondere zur Lösung der vorgenannten technischen Probleme 2. (Unvermittelte, direkte Bereitstellung von Daten, Programmen und/oder Funktionen) und 3. (Unvermittelte, direkte Bearbeitung von Inhalte repräsentierender Daten) bei.
Welche Inhalte repräsentierende Daten, Programmen oder Funktionen von einer Person bzw. einem Anwender gewünscht oder benötigt werden ist eine sehr komplexe Fragestellung, die zu einem großen Teil nur subjektiv beantwortet werden kann. Ein System benötigt jedoch deterministische, maschinelle Verfahren, wenn sie die Situation und dem mir ihr verbundenen Bedarf an Inhalte repräsentierende Daten, Programmen oder Funktionen bedienen will bzw. kann.
Hier bieten sich vorliegend vorteilhafterweise Heurisiken an, die jene komplexe Fragestellung und subjektive Antworten auf eine einfache Fragestellung und mindestens untersubjektive und reproduzierbare, kalkulierbare Antworten überträgt.
Vorteilhafterweise liefert das erfindungsgemäße System daher Inhalte repräsentierende Daten, Programme und/oder Funktionen, die mindestens einen Parameter, der die augenblickliche Situation oder zumindest einen Aspekt der Situation des Anwenders eines Systems repräsentiert, enthalten oder von dem Parameter direkt oder indirekt mittels Regeln oder Berechnungen referenziert werden.
Vorteilhafterweise sind dabei die nachfolgenden Ausprägungen vorgesehen:
3.1 Subsystem S3.1 : Automatische Repräsentation einer Situation des Anwenders eines Systems als Parameter einer Datenabfrage Das System erfasst die Situation des Anwenders, um ihm situative Inhalte, Programme (Apps) und/oder Funktionen anbieten zu können, wobei die Erfassung der Situation für die nachfolgende Abfrage und Bereitstellung situativer Daten, Programme und/oder Funktionen periodisch oder vom Anwender durch ein Signal (sogenannter Trigger) angestoßen wird. Dazu nutzt das System vorteilhafterweise alle oder selektiv verfügbare, situative Daten, vorzugsweise Ort, Zeit, Bewegung, Ausrichtung des Endgerätes, verfügbares und verwendetes Netzwerk, vernetzte Ein- und/oder Ausgabegeräte, Ereignisse, einschließlich Kalenderereignisse, angezeigte, ausgewählte und/oder eingegebene Texte, und/oder eingehende Ton-, Bild- und/oder Videodaten.
Vorteilhafterweise leitet das System aus den situativen Daten klassifiziert Parameter Pi bis Pn ab, die das System optional selektiert, kombiniert, optional erweitert, und schließlich für die Abfrage Inhalte repräsentierender Daten und/oder Apps und/oder Funktionen zur Datenverarbeitung und/oder Datenkommunikation verwendet. Klassifizierte Parameter Pi bis Pn sind vorzugsweise:
- Ort
- Zeit
- Aktivität
- Thema und/oder
- Klassifizierte Entität (Named Entity), beispielsweise
- Person,
- Organisation, und/oder
- Produkt
Aktivitäten kann das erfindungsgemäße System vorteilhafterweise aus folgenden situativen Daten einzeln oder in Kombination ableiten: - Aktive oder verwendete App,
- Bewegung und/oder Ausrichtung des Endgerätes,
- verwendete Ein- und/oder Ausgabeeinheiten, und/oder
- eingehende Ton-, Bild- und/oder Videodaten.
Klassifizierte Entitäten kann das System insbesondere aus folgenden situativen Daten einzeln oder in Kombination mit Hilfe von klassifizierten Namen einer Hilfsdatenquelle, maschinellem Lernen oder Heuristiken ableiten:
- Ereignisse, insbesondere Kalenderereignisse,
- angezeigte, ausgewählte und/oder eingegebene Texte,
- in Text transformierte eigehende Ton-, Bild- und/oder Videodaten, und/oder
- erkennte Entitäten aus solchen Ton-, Bild- und/oder Videodaten.
Themen kann das erfindungsgemäße System vorteilhaftenweise insbesondere aus folgenden situativen Daten einzeln oder in Kombination mittels Extraktion von Wortgruppen ableiten:
- Ereignisbeschreibungen, insbesondere Kalenderereignisse,
- angezeigte, ausgewählte und/oder eingegebene Texte, und/oder
- in Text transformierte eigehende Ton-, Bild- und/oder Videodaten. Subsystem S3.2: Automatisches Ermitteln (Retrieval) von situative Inhalte repräsentierenden Daten, Programmen und/oder Funktionen
Das System übersetzt die klassifizierten Parameter einer Situation vorteilhaftenweise jeweils in einzelne und/oder kombinierte Suchanfragen an integrierte Dienste, die lokal oder über ein Netzwerk verfügbar sind. Vorteilhaftenweise erstellt das System in Abhängigkeit der Klasse eines Parameters eine Anfrage, die Datenobjekte ermittelt,
- die den Wert des Parameters in beliebigen oder selektiven Teilen enthalten, oder
- oder mindestens eine Eigenschaft (Property) besitzen,
- die dem Parameter ähnlich ist, oder
- in einem Wertebereich des Parameters liegt, und
- die zu einer oder mehreren Klassen von Inhalten angehören.
Klassen von Inhalten sind beispielsweise Personen, Nachrichten oder Dokumente.
Das System kann vorteilhafterweise Parameter in eine Anfrage, die Datenobjekte ermittelt, generisch oder mit Regeln transformieren, die das System wiederum vorteilhaftenweise aus formalisierten Instruktionen oder Resultaten maschinellen Lernens ableitet. Subsystem S3.3: Ausgabe von situative Inhalte repräsentierenden Daten, Programmen und/oder Funktionen
Das System wertet die Ergebnisse der Anfragen aus und gibt diese Ergebnisse über eine Ausgabeeinheit, einem Datenspeicher oder ein Benachrichtigungssystem aus:
- Die Ergebnisse der Anfragen kann das System vorteilhaftenweise in Abhängigkeit der Treffer für die klassifizierten Parameter numerisch bewerten. Die numerische Bewertung kann das System vorteilhafterweise als relative oder absolute Summe der Treffer oder der Summe der jeweiligen numerischen Bewertung der Treffer berechnen, wobei diese jeweilige Berechnung vorteilhaftenweise in Abhängigkeit des Parameters und/oder der Parameterklasse erfolgt, der bzw. die zu dem Treffer geführt hat. - Die Ergebnisse der Anfragen kann das System vorteilhafterweise ergänzend oder alternativ in solche unterscheiden, die eine klassifizierte Entität (sogenannte Named Entity) repräsentieren, die einem Parameter entspricht, und solche, die den Wert eines Parameters lediglich enthalten. Zu ersteren gehört beispielsweise ein eine Person repräsentierendes Datum, das den Namen oder die Email- Adresse enthält, das dem Wert eines Parameters entspricht.
- Das System kann die numerische Bewertung vorteilhafterweise proportional zur Anzahl der Treffer aber auch andere Eigenschaften der Inhalte repräsentierenden Daten der Ergebnisse vorteilhafterweise verwenden, um diese zu sortieren.
- Das System kann vorteilhafterweise die Ergebnisse auswählen, die mindestens einen Treffer enthalten oder alle Treffer für die Parameter, die eine Situation repräsentieren, enthalten.
- Das System kann die Ergebnisse jeweils mit Punkten oder dergleichen Aufzählungszeichen für jeden Treffer darstellen, vorzugsweise jeweils mit einer Farbe in Abhängigkeit der Parameterklasse, die zu dem Treffer geführt hat. Wenn n Parameter (n = ganze Zahl) zu einem Treffer in einem Ergebnis geführt haben, zeigt die Ausgabeeinheit folglich n farbige Punkte für ein Ergebnis an. Darüber hinaus kann das System über eine Benutzerinteraktion, beispielsweise eine Berührung oder eine optische Überlagerung eines Zeigers (sogenannte Mouse oder sogenannter Pointer), vorteilhafterweise Informationen zu dem Parameter anzeigen, die zu dem jeweiligen Treffer geführt haben. Subsystem S3.4: Automatische Optimierung des Subsystems 3 mit Hilfe maschinellen Lernens
Das System kann dem Anwender über die Ausgabeeinheit vorteilhaftenweise eine Interaktion mit den Ergebnissen der Anfragen anbieten, um jene Ergebnisse ad hoc für die aktuelle sowie post hoc für zukünftige Anfragen zu verändern und zu verbessern.
- Das System kann über die Ausgabeeinheit vorteilhaftenweise auch die Parameter oder Werte der Parameter anzeigen, die eine Situation repräsentieren. Der Anwender kann diese Elemente vorteilhafterweise deaktivieren, aktivieren und/oder ergänzen. In der Folge ändern sich die Ergebnisse in Abhängigkeit davon, ob das System die Ergebnisse zeigt, die alle oder mindestens einen Treffer enthalten.
- In einer weiteren vorteilhaften Ausgestaltung ermöglicht das System zwei oder drei Optionen der Selektion jener Parameter:
1. Der Parameter muss nicht im Ergebnis enthalten sein oder einer Eigenschaft des Ergebnisses entsprechen;
2. der Parameter muss im Ergebnis enthalten sein oder einer Eigenschaft des Ergebnisses entsprechen; und/oder
3. der Parameter kann im Ergebnis enthalten sein oder einer Eigenschaft des Ergebnisses entsprechen.
- Die angezeigten Ergebnisse verändern sich vorteilhafterweise entsprechend der vom Anwender des Systems vorgenommen Auswahl. Die Optionen kann das System zum Beispiel durch mehrfaches Berühren oder Auswählen interaktiv dargestellter Parameter anbieten.
Vorteilhaftenweise verwendet das System die vom Anwender jeweils ausgewählte Option für die Parameter für ein maschinelles Lernen:
1. Hierfür erstellt das System eine Matrix aus Parametern P von Situationen mit folgenden nicht notwendigerweise ausschließlichen Kombinationen oder Teilkombinationen von Werten:
- Die Aktivität A der abgeleiteten Art einer Situation,
- die Selektion und/oder Deselektion S des Parameters,
- die Zeitpunkte dieser Selektion S, und/oder
- die statistische Verdichtung V jener Selektion S. 2. Für die Matrix verwendet das System eine geeignete Datenstruktur, die es vorteilhafterweise persistent in einem Datenspeicher (Storage genannt) oder nicht persistent in einem Arbeitsspeicher (Memory genannt) vorhält.
3. Jede Selektion und/oder Deselektion S einer der genannten Optionen für einen Parameter führt vorteilhafterweise zu einem neuen oder aktualisierten Eintrag der in der Matrix erfassten Muster, wobei das System für eine schlanke Datenhaltung die Selektionen S vorteilhafterweise auch nur teilweise erfassen kann, beispielsweise nur die Deselektion von Parametern für ihre Berücksichtigung in der Ergebnismenge von Anfragen, wobei
- die Selektion S auch implizit erfolgen kann, indem der Anwender des Systems die automatisch ermittelten Parameter zur Repräsentation der Situation nicht verändert,
- das System die statistische Verdichtung der Selektion S inkrementell, ad hoc oder im Intervall berechnet, und/oder
- die berechnete statistische Verdichtung eine Verstärkung, Abschwächung oder beide Tendenzen abbilden kann, beispielsweise als gegenläufige Funktionen.
Beispiele für die Verdichtung der Selektionen S sind mit den folgenden Funktionen mit Werten der zuvor aufgelisteten Parameter gegeben:
1. f(A,M,S) = S(Z1...Zh)
2. f(A,M,S) = S(Z1c1...Zhch)
3. f(A,M,S) = S(Z1c1...Zhch) / MAX(f)
Die zweite Formel verwendet vorteilhafterweise einen abschwächenden Faktor c in Abhängigkeit der Zeitdifferenz zwischen der Selektion und der Gegenwart. Die dritte Formel weist eine Normalisierungsformel in Abhängigkeit des Höchstwertes der Funktion f auf. Das System kann die Matrix aus dem maschinellen Lernen vorteilhafterweise verschiedentlich verwenden:
- Eine vorteilhafte Ausgestaltung des Systems verwendet die Matrix, um für Situationen die Parameter entsprechend ihrer vorangegangenen Selektion zu verwenden, beispielsweise unberücksichtigt zu lassen.
- Eine weitere vorteilhafte Ausgestaltung des System verwendet die Matrix, um für eine Situation einen verstärkenden und/oder abschwächenden Faktor für die numerische Gewichtung (Scoring) der Treffer zu berechnen.
In einer alternativen Ausgestaltung der Erfindung verwendet das System vorteilhafterweise eine mehrdimensionale Matrix:
1. Das System stellt Parameter P1 bis Pn (n = ganz Zahl) in der X Dimension der Matrix den gleichen Parametern P1 bis Pn (n = ganz Zahl) in der Y Dimension gegenüber, um zu erfassen, welche Parameter in Kombination auftreten und bestätigt und/oder deselektiert wurden, wobei
- die Schnittpunkte die Selektion oder Deselektion S der entsprechenden Kombination der Parameter P(x) und P(y) entsprechen,
- die Selektion oder Deselektion S einen unterschiedlichen Status haben kann, den das System vorteilhafterweise durch einen Zahlenwert oder Booleschen Wert repräsentieren kann, und/oder
- das System mehrere sequentielle Selektionen oder Deselektionen S1 bis Sm (m = ganz Zahl) in einer weiteren Dimension erfassen kann.
2. Das System stellt in einer oder mehreren Z Dimensionen der Kombinationen aus der X und Y Dimension weitere Daten selektiv oder in Kombination gegenüber, vorteilhafterweise - die Aktivität A oder die aus der Aktivität A abgeleitete Art einer Situation,
- die Selektion oder Deselektion S des Parameters P,
- die Zeitpunkte Z1 bis Zn (n = ganz Zahl) dieser Selektion oder Deselektion S, und/oder
- die statistische Verdichtung V jener Selektion S. Aus der mehrdimensionalen Matrix kann das System vorteilhafterweise Wahrscheinlichkeiten berechnen und/oder Regeln ausführen, mit der es Parameter P1 bis Pi (i = ganz Zahl) für die Ermittlung von situative Inhalte repräsentierenden Daten auswählt und/oder gewichtet, um eine Rangfolge jener ermittelten, situativen Inhalte repräsentierenden Daten zu berechnen, wobei
- eine vorteilhafte Regel die Selektion der Parameter P1 bis Pi für die Repräsentation einer Situation an Hand der explizit und/oder impliziten Bestätigungen S oder ihrer Verdichtung V von Kombinationen jener Parameter in Bezug zur Aktivität A oder der aus der Aktivität A abgeleiteten Art der Situation sein kann, und/oder
- das System eine vorteilhafte Wahrscheinlichkeit W der Parameter P1 bis Pi einer Situation als relative Häufigkeit der explizit und/oder impliziten Bestätigungen S oder ihrer Verdichtung V von Kombinationen jener Parameter in Bezug zur Aktivität A oder der aus der Aktivität A abgeleiteten Art der Situation bestimmen kann.
Die folgenden Formeln sind ein Beispiel. Für den Parameter Pi der Parameter P1 bis Pn mit bedingten oder unbedingten Selektionen S1 bis Sm zu den Zeitpunkten Z1 bis Zm gilt die Wahrscheinlichkeit W(Pi) und die relative Wahrscheinlichkeit RW(Pi) zum Zeitpunkt Z0, wobei F ein Faktor ist:
Figure imgf000035_0001
RW(Pi) = W(Pi)/MAX(W(P 1 ) , ... W(Pn))
Das in Fig. 4 dargestellte Flussdiagramm zeigt ein Ausführungsbeispiel zum Aufbau des erfindungsgemäßen Datenverarbeitungssystems und Datenverarbeitungsprozesses des Subsystems 3, insbesondere des logischen Ablaufs für die Erfassung des situativen Bedarfs und der Ermittlung der passenden Inhalte repräsentierenden Daten, Programmen und/oder Funktionen gemäß Subsystem 3. Subsystem S4: Adaptive Benutzerschnittstelle für die Eingabe und/oder Bearbeitung von Inhalte repräsentierenden Daten
Erfindungsgemäß ist ein System bzw. Datenverarbeitungssystem gegeben, welches vorteilhaftenweise folgende Merkmale und/oder Eigenschaften aufweist:
- Prozessoreinheit;
- Datenspeicher,
- lokal oder über ein Netzwerk zugänglich;
- Inhalte repräsentierende Datenobjekte,
- lokal oder über ein Netzwerk zugänglich,
- lokal oder über ein Netzwerk indiziert;
- Mensch-Maschine-Schnittsteile,
- Ausgabe von Daten und/oder Funktionsoptionen,
- Eingabe von Daten und/oder Funktionsaufrufen.
Dieses System bzw. Subsystem trägt insbesondere zur Lösung des vorgenannten technischen Problems 4. (Überwindung von Systemgrenzen interner und externer Systemgrenzen eines Endgerätes) bei. Vorbekannte Mensch-Maschine-Schnittstellen von
Datenverarbeitungssystemen verlangen vom Anwender die Auswahl eines entsprechenden Programms (App) oder die Auswahl der Art eines Inhalts innerhalb eines solchen Programms, wenn der Anwender ein neues einen Inhalt repräsentierendes Datenobjekt anlegen will.
Ein System, dass konsequent eine semantische und nicht technische Mensch- Maschine-Schnittstelle bereitstellen und damit auf offensichtliche Programme und statische Menüs verzichten will, muss diese Entscheidung vermeiden. Hier ist ein neues Paradigma bzw. ein neues Konzept der adaptiven Benutzerführung erforderlich, bei dem das erfindungsgemäße System vorteilhafterweise die Intention des Anwenders antizipiert bzw. erkennt und die Benutzerführung und/oder die Benutzerschnittstelle (sogenanntes User Interface) an passt.
Vorteilhaftenweise sind dabei die nachfolgenden Ausprägungen vorgesehen:
4.1 Subsystem S4.1 : Antizipation der Intention eines Anwenders des Gesamtsystems
Das System ist vorteilhaftenweise in der Lage zu erkennen, was der Anwender tun will und welche Art von Inhalt er dafür erfassen oder welchen Inhalt oder welche Art von Inhalt er aufrufen möchte.
Gegeben ist vorteilhaftenweise das vorgenannte System das sich vorteilhafterweise durch folgende Eigenschaften auszeichnet:
- Das System wertet die Texteingabe eines Anwenders vorzugsweise nach jedem neu eingegebenen Zeichen aus, um dessen Intention zu erkennen, wobei
- das System Muster einer Zeichenkette nach einer definierten Syntax und/oder definierten Grammatik erkennt; solche Muster sind zum Beispiel eine Formulierung „An: Max Mustermann“ oder„Termin am 19. April um 10 Uhr“ oder auch Zeichenfolgen wie „0“, die eine zu erledigende Aufgabe andeuten; andere Zeichenfolgen können auch lediglich mit einer semantischen Strukturierung von Texten in Zusammenhang gebracht werden, beispielsweise analog zur Sprache von Mark Down Zeichen wie die Raute # auf eine Überschrift; anders als bei Mark Down würde ein solches Steuerzeichen nicht angezeigt, sondern in eine passende Formatierung übersetzt;
- das System das erkannte Muster mit einem Verzeichnis von unterstützten Intentionen bzw. Funktionen abgleicht; zum Beispiel würde die Formulierung„An: Max Mustermann“ mit der Intention einer Nachricht und die Formulierung„Termin am 19. April um 10 Uhr“ mit der Intention eines Kalendereintrags in Verbindung gebracht; das Verzeichnis eine geeignete Datenstruktur aufweist, die eine Zuordnung von Mustern und Intentionen bzw. Funktionen ermöglicht; das System die Muster als reguläre Ausdrücke und/oder mit einem Vokabular und/oder einer Grammatik interpretiert; der Ausdruck „An: Max Mustermann“ kann beispielsweise mit einem regulären Ausdruck für das Name-Wert-Paar und einem Vokabular interpretiert werden, das den Namen „Max Mustermann“ aus einem Adressbuch entnimmt;
- wobei das System für das Vokabular vorteilhafterweise auch andere Hilfsquellen wie ein Verzeichnis von Personen oder Organisationen verwenden kann; das System während der Texteingabe mittels der genannten Interpretation vorteilhafterweise Vorschläge zur Vervollständigung unterbreitet; zum Beispiel zeigt die Benutzeroberfläche nach der erkennten Intention einer Nachricht eine passende Formatierung mit Formularfeldern für Adressaten und ggf. des Themas (Subject) sowie eine Schaltfläche zum Absenden dieser Nachricht; wenn der Anwender beispielsweise ein @-Zeichen eingibt, schlägt das System die am häufigsten verwendeten Kontakte vor; Gibt er dann ein weiteres Wortzeichen ein, kann es die Vor- oder Nachnamen der Kontakte nach diesem Anfangsbuchstaben filtern; - dabei ermittelt das System vorteilhafterweise die Vorschläge der Vervollständigung aus den ihm zugänglichen Inhalte repräsentierenden Daten und/oder Hilfsdatenquellen; und/oder
- dabei unterbreitet das System vorteilhafterweise nach einer weiteren Eingabe neue und genauere Vorschläge, so dass eine Programmschleife entsteht, bis das System keine Vorschläge mehr erstellen kann, der Anwender eine Auswahl getroffen hat oder eine Funktion zur Verarbeitung der Eingabe angestoßen hat. Subsystem S4.2: Adaptive Mensch-Maschine-Schnittsteile für die antizipierte Intention
Das Benutzerinterface passt sich den Text- oder auch Bild- und Toneingaben des Anwenders vorteilhafterweise automatisch an und verändert nicht nur die Gestaltung, sondern auch Funktionen bzw. Handlungsoptionen zur maschinellen Verarbeitung der erfolgten Eingabe.
Gegeben ist vorteilhafterweise das vorgenannte System das sich vorteilhafterweise durch folgende Merkmale und/oder Eigenschaften auszeichnet:
- Das System passt die Benutzeroberfläche und die
Benutzerführung aufgrund der ermittelten Zuordnung vorteilhafterweise an; wobei
- das System die Gestaltung eines Inhaltes und die angebotenen Handlungsoptionen und/oder Funktionen anpasst; zum Beispiel zeigt die Benutzeroberfläche nach der erkannten Intention einer Nachricht eine passende Formatierung mit Formularfeldern für Adressaten und ggf. des Themas (Subject) sowie eine Schaltfläche zum Absenden dieser Nachricht; wobei das System die Handlungsoptionen vorteilhafterweise analog der Vorschläge für die Texteingabe ausschließlich oder kombiniert anzeigen kann; hat das System beispielsweise durch die Folge eines @-Zeichens und Namens eine Person erkannt, kann es mittels der zugänglichen Inhalte repräsentierenden Daten und Funktionen anbieten, der Person eine Kurzmitteilung oder Email zu senden oder einen Audio- oder Videoanruf zu starten oder Kontaktdetails anzuzeigen;
- das Verhalten des Systems ebenfalls in einer entsprechenden Datenstruktur hinterlegt ist, die auf die Zuordnung (Mapping) von Textmuster und Interpretation Bezug nimmt.
Das in Fig. 5a und 5b dargestellte Flussdiagramm zeigt ein Ausführungsbeispiel zum erfindungsgemäßen Datenverarbeitungsprozess einer Interpretation von Texteingaben.
Eine weitere vorteilhafte Ausgestaltung der Erfindung sieht insbesondere zum Ausführen der insofern vom System bereitgestellten Funktionen folgende Mittel und/oder Einrichtungen zur automatischen Verarbeitung der Erstellung oder Bearbeitung von digitalen Inhalten vor. Heute bekannte Mensch-Maschine- Schnittsteilen von Datenverarbeitungssystemen verlangen vom Anwender die Auswahl eines entsprechenden Programms (beispielsweise eine sogenannte App) oder die Auswahl der Art eines Inhalts innerhalb eines solchen Programms, wenn der Anwender ein neues einen Inhalt repräsentierendes Datenobjekt anlegen will. Das erfindungsgemäße System, dass konsequent eine semantische und nicht technische Mensch-Maschine-Schnittstelle bereitstellen und damit auf offensichtliche Programme und statische Menüs verzichten will, vermeidet diese Entscheidung vorteilhafterweise. Dementsprechend wird auch hier mit der Erfindung ein neues Paradigma, ein neues Konzept der Benutzerführung bereitgestellt, bei dem das System die Intention des Anwenders antizipiert bzw. erkennt und die Benutzerführung und/oder die Benutzerschnittstelle (User Interface) vorteilhafterweise automatisch anpasst.
Vorteilhafterweise weist das erfindungsgemäße System ferner Mittel/eine Einrichtung zur Antizipation der Intention des Anwenders auf. Das System ist vorteilhaftenweise in der Lage zu erkennen, was der Anwender tun will und welche Art von Inhalt er dafür erfassen möchte. Vorteilhafterweise sind insbesondere die folgenden Merkmale und/oder Eigenschaften gegeben: Das System wertet die Texteingabe eines Anwenders aus, um dessen Intention zu erkennen, wobei
- das System vorteilhafterweise Muster einer Zeichenkette nach einer definierten Syntax und/oder definierten Grammatik erkennt; solche Muster sind zum Beispiel eine Formulierung „An: Max Mustermann“ oder„Termin am 19. April um 10 Uhr“ oder auch Zeichenfolgen wie„()“, die eine zu erledigende Aufgabe andeuten; andere Zeichenfolgen können auch lediglich mit einer semantischen Strukturierung von Texten in Zusammenhang gebracht werden, beispielsweise analog zur Sprache von Mark Down Zeichen wie die Raute # auf eine Überschrift. Anders als bei Mark Down würde ein solches Steuerzeichen nicht angezeigt, sondern in eine passende Formatierung übersetzt;
- das System vorteilhaftenweise das erkannte Muster mit einem Verzeichnis von unterstützten Intentionen abgleicht; zum Beispiel würde die Formulierung „An: Max Mustermann“ mit der Intention einer Nachricht und die Formulierung„Termin am 19. April um 10 Uhr“ mit der Intention eines Kalendereintrags in Verbindung gebracht;
- das Verzeichnis vorteilhafterweise eine geeignete Datenstruktur aufweist, die eine Zuordnung von Mustern und Intentionen ermöglicht; und/oder
- das System vorteilhaftenweise die Muster als reguläre Ausdrücke und/oder mit einem Vokabular und/oder einer Grammatik interpretiert; der Ausdruck „An: Max Mustermann“ kann beispielsweise mit einem regulären Ausdruck für das Name-Wert-Paar und einem Vokabular interpretiert werden, das den Namen „Max Mustermann“ aus einem Adressbuch entnimmt; wobei das System vorteilhaftenweise für das Vokabular auch andere Hilfsquellen wie ein Verzeichnis von Personen oder Organisationen verwenden kann.
Gemäß einer weiteren vorteilhaften Ausgestaltung ist bei dem erfindungsgemäßen Datenverarbeitungssystem eine Mensch-Maschine- Schnittsteile adaptiv zur Erstellung und Bearbeitung digitaler Inhalte durch einen Anwender ausgebildet, wobei Mittel zur Auswertung einer Texteingabe des Anwenders mittels Mustererkennung vorgesehen sind. Dadurch wird der heutigen Problematik begegnet, wonach Mensch-Maschine-Schnittstellen von Datenverarbeitungssystemen vom Anwender die Auswahl eines entsprechenden Programms (App) oder der Art eines Inhalts innerhalb eines solchen Programms verlangen, wenn der Anwender ein neues einen Inhalt repräsentierendes Datenobjekt anlegen will. Ein System, welches konsequent eine semantische und nicht-technische Mensch-Maschine-Schnittsteile bereitstellen und damit auf offensichtliche Programme und statische Menüs verzichten will, muss diese Entscheidung vermeiden, woraus ein neues Paradigma, ein neues Konzept der Benutzerführung erforderlich wird, bei dem das System die Intention des Anwenders antizipiert bzw. erkennt und die Benutzerführung und/oder die Benutzerschnittstelle (User Interface) anpasst. Das erfindungsgemäße System ist somit in der Lage zu erkennen, was der Anwender tun will und welche Art von Inhalt eher dafür erstellen möchte, wobei hierzu eine Texteingabe des Anwenders ausgewertet wird.
Vorteilhafterweise ist dabei vorgesehen, dass Mittel zur Mustererkennung einer Zeichenkette nach einer definierten Syntax und/oder definierten Grammatik vorgesehen sind.
In einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Datenverarbeitungssystems zur situativen Bereitstellung von Funktionen sind weiterhin Mittel zum Abgleich eines erkannten Musters mit einem Verzeichnis von unterstützten Intentionen vorgesehen.
Erfindungsgemäß ist zudem vorgesehen, dass das Verzeichnis eine geeignete Datenstruktur aufweist, welche eine Zuordnung von Mustern und Intentionen ermöglicht. Dabei werden Muster als reguläre Ausdrücke und/oder mit einem Vokabular und/oder einer Grammatik interpretiert, wobei das System für das Vokabular auch andere Hilfsquellen wie ein Verzeichnis von Personen oder Organisationen verwenden kann.
Vorteilhafterweise weist das erfindungsgemäße System ferner Mittel/eine Einrichtung zur automatischen Anpassung der Mensch-Maschine-Schnittstelle, sogenannte adaptive Interfaces, auf. Das Benutzerinterface der Mensch- Maschine-Schnittstelle passt sich vorteilhafterweise der Text- oder auch Bild- und Toneingaben des Anwenders automatisch an und verändert nicht nur die Gestaltung, sondern auch Funktionen bzw. Handlungsoptionen. Vorteilhafterweise sind insbesondere die folgenden Merkmale und/oder Eigenschaften gegeben: Das System passt die Benutzeroberfläche und die Benutzerführung aufgrund der ermittelten Zuordnung an, wobei
- das System vorteilhaftenweise die Gestaltung eines Inhaltes und die angebotenen Handlungsoptionen anpasst; zum Beispiel zeigt die Benutzeroberfläche nach der erkannten Intention einer Nachricht eine passende Formatierung mit Formularfeldern für Adressaten und ggf. des Themas (Subject) sowie eine Schaltfläche zum Absenden dieser Nachricht an; und/oder
- das Verhalten des Systems vorteilhafterweise ebenfalls in einer entsprechenden Datenstruktur hinterlegt ist bzw. wird, die auf die Zuordnung (Mapping) von Textmuster und Interpretation Bezug nimmt.
In einer weiteren vorteilhaften Ausgestaltung der Erfindung sind Mittel und/oder Einrichtungen mir den nachfolgenden Merkmale und/oder Eigenschaften vorgesehen, um mittels der Mensch-Maschine-Schnittsteile unmittelbar situationsgerechte Funktionen im Hinblick auf eine Interaktion eines Anwenders mit Daten bereitzustellen. Subsystem S5: Verbund von Endgeräten für die ergonomische, adaptive Einund/oder Ausgabe Inhalte repräsentierender Daten
Erfindungsgemäß ist ein System bzw. Datenverarbeitungssystem gegeben, welches vorteilhafterweise folgende Merkmale und/oder Eigenschaften aufweist:
- System mit mehreren, vorzugsweise verteilten Endgeräten, die mindestens eine der folgenden Merkmale und/oder Eigenschaften besitzen und in ihrer Kombination die ersten vier Eigenschaften abdecken:
- eine oder mehrere, vorzugsweise verteilte Recheneinheiten (insbesondere CPU und/oder GPU)
- eine oder mehrere, vorzugsweise verteilte Speichereinheiten mindestens einer Eingabeeinheit - vorzugsweise wenigstens für physikalische oder virtuelle Tasten und/oder eine Gestensteuerung und/oder Ton- oder Spracheingabe
- mindestens einer Audio- oder Video- (AV) Ausgabeeinheit
- optional wenigstens einem Anschluss, vorzugsweise gemäß USB-C und/oder microSD
- optional wenigstens einem Funkmodul, vorzugsweise gemäß WAN, LAN oder einem oder mehreren Mobilfunknetzen;
- die Endgeräte weisen vorteilhaftenweise wenigstens ein Funkmodul für die Kommunikation in einem lokalen Netz für die
- Verteilung von Rechenleistung, und/oder
- Verteilung von Speicher, vorzugsweise für die Berechnung oder Speicherung einschließlich Archivierung und Kopien (sogenanntes Auto-Backup) von Daten, auf.
Dieses System bzw. Subsystem trägt insbesondere zur Lösung der vorgenannten technischen Probleme 3. (Unvermittelte, direkte Bearbeitung von Inhalte repräsentierender Daten), 5. (Auflösung des ergonomischen Paradoxons und der damit bisher verbundenen Notwendigkeit mehrerer Endgeräte), und 6. (Auflösung der Abhängigkeit von Fremdsystemen als von über das Netzwerk verfügbaren Diensten, insbesondere sogenannten Cloud Services) bei.
Vorteilhafterweise sind dabei die nachfolgenden Ausprägungen vorgesehen:
5.1 Subsystem S5.1 : Verbund von Endgeräten
Das erfindungsgemäße System verwendet vorteilhaftenweise ein hochmobiles Endgerät als persönliche, zentrale Recheneinheit und Datenspeicher des Anwenders. Mit hochmobil sind im Sinne der vorliegenden Erfindung insbesondere solche Endgeräte gemeint, die nicht nur beweglich und nicht nur stationär genutzt werden können, sondern die vom Anwender ohne Last den ganzen Tag mitgeführt werden können. Dazu zählen Smartphones und insbesondere tragbare Endgeräte (Wearables) wie Smart Watches, Smart Glasses, Smart Clothes und dergleichen. Die Ausgestaltung des Endgeräts erfolgt vorteilhafterweise als Uhr oder Gürtelschnalle. Diese zentrale Recheneinheit mit Datenspeicher kommuniziert mit einer audiovisuellen Ein- und Ausgabeeinheit, sowie weiteren Endgeräten zur Dateneingabe und/oder Steuerung sowie erweiterten Rechen- und Datenkapazitäten.
Gegeben ist vorteilhafterweise das vorgenannte System das sich vorteilhafterweise durch folgende Merkmale und/oder Eigenschaften auszeichnet:
1. Ein hochmobiles Endgerät mit
- Recheneinheit
- Datenspeichereinheit
- Funkmodul zur Übertragung von
- AV Signalen von und/oder an weitere Endgeräte
- Steuersignalen von und/oder an weitere Endgeräte
- weiteren Daten an und/oder von weitere Endgeräte
- Rechenoperationen von und/oder an weitere Endgeräte
- Eingabeeinheit mit
- berührungsempfindliche Fläche (sogenanntes TouchPad)
- berührungsempfindliche Seitenränder (sogenannte TouchBars)
- optionaler visueller Anzeige
2. ein weiteres oder integriertes mobiles Endgerät mit mindestens einer AV Ein- und Ausgabeeinheit, vorzugsweise mit
- Videoausgabe, vorzugsweise als überlagerte Realität (sogenannte Augmented Reality oder Blended Reality)
- Audio-Ausgabe, vorzugsweise über Hörknochen
- optionale Videoeingabe über wenigstens eine Kamera
- optionale Audio-Eingabe über mindestens ein Mikrophon
- einer Steuereinrichtung,
- vorzugsweise eine Eingabe mit berührungsempfindlichen Flächen, vorzugsweise an den Seitenrändern des Endgeräts (sogenannte TouchBar) oder als sogenannte virtuelle Tastatur,
- einem Funkmodul zur Übertragung
- von AV Signalen von und/oder an das zentrale Endgerät
- optional von Steuersignalen von und/oder an das zentrale Endgerät
- einer vorzugsweise optionalen Recheneinheit zur Aufbereitung der Signale ein vorzugsweise optionales weiteres vorzugsweise mobiles
Endgerät mit
- einer physikalischen oder vorzugsweise virtuellen Tastatur
- einer berührungsempfindlichen Fläche (TouchPad)
- einem Funkmodul zur Übertragung - mindestens von Steuersignalen von und/oder an weitere Endgeräte
- optional von AV Signalen von und/oder an weitere Endgeräte
- optional von Daten an und/oder von weitere Endgeräte
- optional von Rechenoperationen von und/oder an weitere Endgeräte
- einer vorzugsweise optionalen Recheneinheit
- zur Übernahme von Rechenoperationen des zentralen Endgeräts
- einer vorzugsweise optionalen Konnektivität
- zu weiteren Endgeräten, vorzugsweise mittels USB-C
- zu Speichereinheiten, vorzugsweise mittels SD und/oder microSD ein vorzugsweise optionales weiteres, vorzugsweise stationäres
Endgerät mit
- einer Recheneinheit
- für die Bereitstellung von Diensten
- vorzugsweise optional für die Übernahme von teuren Rechenoperationen
- einem Funkmodul zur Übertragung
- von Steuersignalen von weiteren Endgeräten von Daten an und/oder von weiteren Endgeräten - für eine Datenkommunikation mit einem WAN und/oder LAN
- vorzugsweise optional von AV Signalen von und/oder an weitere Endgeräte
- vorzugsweise optional von Rechenoperationen von und/oder an weitere Endgeräte
- einer Speichereinheit für
- die Auslagerung von Daten des zentralen Endgeräts
- für die Sicherung (sogenanntes Backup) von Daten des zentralen Endgeräts ein vorzugsweise optionales weiteres, vorzugsweise stationäres
Endgerät mit
- mindestens einer AV Ausgabeeinheit
- zur großflächigen, transparenten Bild- und/oder Video- Anzeige
- zur Wiedergabe von Audio-Signalen
- einer vorzugsweise optionalen AV Eingabeeinheit
- einer vorzugsweise optionalen Recheneinheit
- für die Aufbereitung von AV Signalen
- für die Übernahme teurer Rechenoperationen einem Funkmodul für die Übertragung mindestens von AV Signalen von weiteren Endgeräten - vorzugsweise optional von AV Signalen an weitere Endgeräte
- vorzugsweise optional von Steuersignalen von und/oder an weitere Endgeräte
- vorzugsweise optional von Daten an und/oder von weiteren Endgeräten
- vorzugsweise optional von Rechenoperationen von und/oder an weitere Endgeräte
Das erfindungsgemäße System besteht vorteilhafterweise aus einer Kombination folgender Endgeräte:
- einer Uhr (SmartWatch) als zentrale Recheneinheit und Datenspeicher,
- einer Brille (sogenannte SmartGlasses) für die audiovisuelle Einund/oder Ausgabe,
- einer virtuellen Tastatur (sogenanntes TouchBoard),
- einer Speicher- und/oder Kommunikationseinheit (sogenannte AirBase) im Sinne einer privaten Cloud
Figure imgf000049_0001
- vorzugsweise optional einer großflächigen transparenten Anzeige (sogenanntes AirPanel) als Ersatz für heutige Bildschirme Subsystem S5.2: Verteilung von Daten
Neben der Kommunikation zum Austausch von Steuersignalen und AV Signalen ist der erfindungsgemäße Verbund von Endgeräten als ein Gesamtsystem vorteilhaftenweise in der Lage, Daten und auch Rechenoperationen auszutauschen. Gegeben ist vorteilhaften/veise das vorgenannte System das sich vorteilhafterweise durch folgende Merkmale und/oder Eigenschaften auszeichnet:
- Die zentrale Einheit lagert Daten auf ein anderes Endgerät im Verbund aus, die nicht häufig verwendet werden und/oder ein altes Erstellung- oder Änderungsdatum besitzen, wobei
- das System darauf achtet leeren Speicher in einem Umfang relativ zum Gesamtspeicher vorzuhalten,
- das System die Information über die Existenz der Datenobjekte vorzugsweise über eine Indexstruktur vorhält,
- das System die Entscheidung, welche Datenobjekte ausgelagert werden, nach einer Rangfolge (sogenanntem Ranking) und/oder der letzten zeitlichen Nutzung oder Änderung der Datenobjekte vornimmt.
Eine Formel für das Ranking kann die Parameter Änderungszeitpunkt, Verwendungshäufigkeit und letzte Nutzung einzeln oder kombiniert verwenden, vorzugsweise wie folgt: float score = sum ( 1 / eA(now - timeStampOfUse * factor) ) Subsystem S5.3: Verteilung von Rechenoperationen
Ausgehend von der hochmobilen zentralen Einheit, kann der erfindungsgemäße Verbund von Endgeräten vorteilhafterweise Rechenoperationen teilen.
Gegeben ist vorteilhafterweise das vorgenannte System das sich vorteilhaftenweise durch folgende Merkmale und/oder Eigenschaften auszeichnet:
- Wenigstens eins der Endgeräte des Verbunds kann eine führende, koordinierende Rolle für Rechenoperationen übernehmen, vorzugsweise die hochmobile zentrale Einheit mit zentralen Datenspeicher, wobei - teure Rechenoperationen auf ein anderes Endgerät A ausgelagert werden können,
- Rechenoperationen direkt auf eine andere Rechnereinheit (vorzugsweise Prozessor) übertragen oder auf einen Dienst delegiert werden können,
- das Kriterium das Auslagern, Rendering von Bildern und/oder Videos, Kodieren oder Dekodieren von Dateien, oder das Verteilen von Prozessen (sogenannte Threads) eines Programms oder des Betriebssystems selbst sein kann.
Gegenstand der vorliegenden Erfindung ist insofern ferner ein System zur verteilten Benutzerführung und Datenverarbeitung mit vernetzten Benutzerendgeräten, umfassend eine oder mehrere verteilte Recheneinheiten, eine oder mehrere verteilte Speichereinheiten, wenigstens eine Eingabeeinheit, wenigstens eine Ausgabeeinheit, ein Funkmodul zur Kommunikation in einem Netz, wobei ein Austausch von Steuersignalen und Ausgabesignalen zwischen den vernetzten Benutzerendgeräten vorgesehen ist. Hintergrund der Lösung: Die Evolution mobiler Endgeräte ist von einem zunehmenden Diskrepanz von Leichtigkeit und Ergonomie geprägt. Die Endgeräte werden auf der einen Seite kleiner, leichter und leistungsfähiger, auf der anderen Seite wird die Anzeige von Inhalten immer kleiner und die Eingabe von Daten und Steuerbefehlen immer unhandlicher. Zuletzt fokussieren sich die Hersteller auf die Sprachsteuerung, die nur für begrenzte Anwendungsfälle wie einfache Steuerbefehle oder Fragen einen Sinn macht. Nicht zuletzt ist hierbei die Tendenz zu beobachten, dass die Bedeutung von Schrift in seiner kulturellen Bedeutung weit unterschätzt wird. Zugleich geht mit mobilen Geräten und deren Bedienungskonzepten wie die Sprachsteuerung und der Verfügbarkeit von Daten über die Cloud ein umfassender Verlust der Privatsphäre verloren. Auch hier wird eine alternative Lösung benötigt. Das erfindungsgemäß vorgeschlagene System zur verteilten Benutzerführung und Datenverarbeitung mit vernetzten Benutzerendgeräten, verbindet nicht nur Mobilität und Ergonomie miteinander, sondern ermöglicht auch Mobilität und Datenschutz sowie Datensicherheit.
Vorteilhafterweise besteht ein solches erfindungsgemäßes System aus mehreren Elementen, die in einem vorzugsweise lokalen, sicheren Funknetz miteinander kommunizieren können. Das System besteht vorteilhafterweise beispielsweise aus der Kombination einer Uhr (sogenannte SmartWatch), welche als zentrale Recheneinheit und Datenspeicher dient, einer Brille (sogenannte SmartGlasses) für die audiovisuelle Ein- und Ausgabe, einer virtuellen Tastatur (sogenanntes TouchBoard), einer Speicher- und Kommunikationseinheit (sogenanntes AirBase) im Sinne einer privaten Cloud und optional aus einer großflächigen transparenten Anzeige (sogenanntes AirPanel) als Ersatz für heutige Bildschirme.
Erfindungsgemäß verwendet das System ein hochmobiles Endgerät als persönliche, zentrale Recheneinheit und Datenspeicher des Anwenders. Dies kann beispielsweise als Uhr oder als Gürtelschnalle ausgebildet sein und mittels einer audiovisuellen Ein- und Ausgabeeinheit mit weiteren Endgeräten zu Dateneingabe und Steuerung sowie zur Erweiterung von Rechen- und Datenkapazitäten kommunizieren.
Das erfindungsgemäße System umfasst insofern vorteilhafterweise ein hochmobiles Endgerät mit einer Recheneinheit, einer Datenspeichereinheit, einem Funkmodul zur Übertragung von AV-Signalen, Steuersignalen, Daten sowie Rechenoperationen von und an weitere Endgeräte, eine Eingabeeinheit mit berührungsempfindlichen Flächen (TouchPad) sowie berührungsempfindlichen Seitenrändern (TouchBars) und einer optional vorgesehenen visuellen Anzeige. Des Weiteren umfasst das System ein weiteres oder ein integriertes mobiles Endgerät mit mindestens einer AV-Ein- und Ausgabeeinheit zur Videoausgabe, vorzugsweise mit überlagerter Realität (Augmented Reality oder Blended Reality), zur Audio-Ausgabe vorzugsweise über Hörknochen, zur optionalen Videoeingabe über Kamera sowie zur optionalen Audioeingabe über mindestens ein Mikrofon, eine optionale Steureinrichtung mit berührungsempfindlichen Flächen, vorzugsweise an den Seitenrändern des Endgerätes (TouchBar), ein Funkmodul zu Übertragung von AV-Signalen sowie Steuersignalen von und an das zentrale Endgerät sowie eine optionale Recheneinheit zur Aufbereitung der Signale. Des Weiteren umfasst das System optional ein weiteres vorzugsweise mobiles Endgerät mit einer physikalischen Tastatur, vorzugsweise einer virtuellen Tastatur, einer berührungsempfindlichen Fläche (TouchPad), einem Funkmodul zu Übertragung von Steuersignalen von und an weitere Endgeräte sowie optional von AV-Signalen, Daten und Rechenoperationen von und an weitere Endgeräte, eine optionale Recheneinheit zur Übernahme von Rechenoperationen des zentralen Endgerät und eine optionale Konnektivität zu weiteren Endgeräten (mittels USB-C) und Speichereinheiten (mittels SD- Karten). Das erfindungsgemäße System kann zudem ein weiteres, vorzugsweise stationäres, Endgerät mit einer Recheneinheit für die Bereitstellung von Diensten und optional für die Übernahme von teuren Rechenoperationen, einem Funkmodul zu Übertragung von Steuersignalen sowie Daten an und von weiteren Endgeräten, für Datenkommunikation mit WAN und/oder LAN, sowie optional zur Übertragung von AV-Signalen und Rechenoperationen von und an weitere Endgeräte, und eine Speichereinheit für die Auslagerung von Daten des zentralen Endgerät als auch für die Sicherung (Backup) von Daten des zentralen Endgerät umfassen. Für das erfindungsgemäße System kann optional ein weiteres, vorzugsweise stationäres, Endgerät vorgesehen sein, umfassend mindestens eine AV- Ausgabeeinheit zur großflächigen transparenten Bild- und Videoanzeige sowie zur Wiedergabe von Audio-Signalen, eine optionale AV-Eingabeeinheit, eine optionale Recheneinheit für die Aufbereitung von AV-Signalen sowie die Übernahme teurer Rechenoperationen, und ein Funkmodul für die Übertragung von AV-Signalen von weiteren Endgeräten sowie optional die Übertragung von AV-Signalen an weitere Endgeräte, von Steuersignalen, Daten und Rechenoperationen von und an weitere Endgeräte.
Weitere Einzelheiten, Merkmale und Vorteile im Hinblick auf ein hochmobiles Endgerät als zentrale Rechen-, Speicher- und/oder Steuereinheit ergeben sich insbesondere im Zusammenhang mit dem in Fig. 7 dargestellten und nachfolgend näher erläuterten exemplarischen Ausführungsbeispiels, vorliegend in Form einer Uhr mit TouchPad und TouchBar.
Neben der Kommunikation zum Austausch von Steuersignalen und AV- Signalen ist der erfindungsgemäße Verbund von Endgeräten als ein
Gesamtsystem dazu in der Lage, Daten auszutauschen, sogenannte Verteilung der Daten.
Neben der Kommunikation zum Austausch von Steuersignalen und AV- Signalen ist der erfindungsgemäße Verbund von Endgeräten als ein
Gesamtsystem ferner dazu in der Lage, auch Rechenoperationen auszutauschen, sogenannte Verteilung von Rechenoperationen. Ausgehend von der hochmobilen zentralen Einheit, kann der Verbund von Endgeräten vorteilhafterweise Rechenoperationen teilen. Bei dem erfindungsgemäßen Verbund von Endgeräten als ein Gesamtsystem lagert dabei vorteilhafterweise die zentrale Einheit Daten auf ein anderes Endgerät im Verbund aus, welche nicht häufig verwendet werden und/oder ein altes Erstellungs- oder Änderungsdatum besitzen, wobei das System darauf achtet, leeren Speicher in einem Umfang relativ zum Gesamtspeicher vorzuhalten. Ferner hält das System die Informationen über die Existenz der Datenobjekte vorzugsweise über eine Indexstruktur vor und trifft die Entscheidung, welche Datenobjekte ausgelagert werden nach einer Rangfolge (Ranking) und/oder der letzten zeitlichen Nutzung oder Änderung der Datenobjekte.
Ausgehend von der hochmobilen zentralen Einheit kann der Verbund von Endgeräten Rechenoperationen vorteilhafterweise teilen. Dabei ist gemäß einer bevorzugten Ausgestaltung des Systems zur verteilten Benutzerführung und Datenverarbeitung mit vernetzten Benutzerendgeräten vorgesehen, dass eines der vernetzten Benutzerendgeräte eine führende bzw. koordinierende Rolle zur Delegation bzw. Auslagerung von Rechenoperationen übernimmt. Dies ist vorzugsweise die hochmobile zentrale Einheit mit zentralem Datenspeicher. Teure Rechenoperationen werden dabei auf ein anderes Endgerät ausgelagert. Rechenoperationen können direkt auf eine andere Recheneinheit (Prozessor) übertragen oder auf einen Dienst delegiert werden.
Gemäß einer weiteren zweckmäßigen Ausgestaltung des erfindungsgemäßen Systems zur verteilten Benutzerführung und Datenverarbeitung mit vernetzten Benutzerendgeräten sind als Kriterien für eine Delegation bzw. Auslagerung von Rechenoperationen das Rendering von Bildern und Videos, dass Codieren bzw. Decodieren von Dateien oder das Verteilen von Prozessen eines Programms bzw. eines Betriebssystems vorgesehen. Subsystem S6: Verbund von Endgeräten für die virtuelle, adaptive Einund/oder Ausgabe Inhalte repräsentierender Daten
Erfindungsgemäß ist ein System bzw. Datenverarbeitungssystem gegeben, welches vorteilhafterweise folgende Merkmale und/oder Eigenschaften aufweist:
Ein mobiles Endgerät mit
Recheneinheit Datenspeichereinheit
- Funkmodul zur Übertragung von
- AV Signalen von und/oder an weitere Endgeräte
- Steuersignalen von und/oder an weitere Endgeräte
- vorzugsweise optionaler Eingabeeinheit mit
- berührungsempfindlicher Fläche (TouchPad)
- berührungsempfindlichen Seitenrändern (TouchBars)
- vorzugsweise optionaler visueller Anzeige
- ein weiteres oder integriertes mobiles Endgerät mit
- mindestens einer AV Ein- und/oder Ausgabeeinheit für
- Videoausgabe von überlagerter Realität (Augmented Reality, Blended Reality)
- Audio-Ausgabe vorzugsweise über Hörknochen
- vorzugsweise optionaler Videoeingabe über eine Kamera
- vorzugsweise optionaler Audio-Eingabe über mindestens ein Mikrophon
- vorzugsweise optionalen berührungsempfindlichen Seitenrändern (Touch Bar)
- einem Funkmodul zur Übertragung
- von AV Signalen von und/oder an das zentrale Endgerät
- vorzugsweise optional von Steuersignalen von und/oder an das zentrale Endgerät - einer vorzugsweise optionalen Recheneinheit zur Aufbereitung der Signale
Dieses System bzw. Subsystem trägt insbesondere zur Lösung des vorgenannten technischen Probleme 5. (Auflösung des ergonomischen Paradoxons und der damit bisher verbundenen Notwendigkeit mehrerer Endgeräte) bei.
Vorteilhaftenweise sind dabei die nachfolgenden Ausprägungen vorgesehen:
6.1 Subsystem S6.1 : Virtuelle Anzeige
Die Ausgabe des Bildes erfolgt vorzugsweise über eine Brille mit einer Anzeige für digitale Objekte, die die Wirklichkeit überlagern (Augmented Reality oder Blended Reality).
Gegeben ist vorteilhaftenweise das vorgenannte System das sich vorteilhafterweise durch folgende Merkmale und/oder Eigenschaften auszeichnet:
- Der Anwender sieht die digitalen Inhalte überlagert zur Realität in frei wählbarer Größe und/oder Positionierung im Raum, beispielsweise Videos in einer großen Auflösung einer Kinoleinwand, Texte in passender Größe zur Bearbeitung und Notifikationen im peripheren Blickwinkel,
- wobei das System eine geeignete Größe für einen Inhalt vorschlagen kann und sich vorzugsweise Einstellungen eines Anwenders des Systems für eine Inhaltsart wie Video, Text oder Web merken kann.
- Die Anzeige erfolgt über eine Beschichtung der Linse und/oder einer optischen Projektion und Umleitung bzw. Brechung der Bildsignale beispielsweise per Prisma von der seitlichen Fassung der AR Brille. Subsystem S6.2: Mentale Steuerung
Die AR Anzeige kann vorteilhaftenweise durch die berührungsempfindliche Außenseiten der Bügel der Brille oder durch Sensoren auf der Innenseite der Bügel gesteuert werden, die vorteilhafterweise Hirnströme messen, die in der Brille oder einem vernetzten Endgerät ausgewertet werden.
Gegeben ist vorteilhaftenweise das vorgenannte System das sich vorteilhaftenweise durch folgende Merkmale und/oder Eigenschaften auszeichnet:
- Die AR-Brille verfügt über Brain Control System (BCS) zur Steuerung der digitalen Anzeige bzw. der angezeigten digitalen Inhalte, wobei
- Sensoren an der Innenseite der Bügel der AR Brille Sensoren Hirnströme messen, die in einer Recheneinheit der AR Brille oder einem vernetzten mobilen Endgerät ausgewertet werden,
- die Hirnströme die Bewegung eines Zeigers (Curser, Pointer) in Form eines Pfeils, Punktes, Kreises oder Kugel im dreidimensionalen kartesischen Raum, mindestens aber in einem zweidimensionalen Raum mit X- und Y-Koordinaten steuert,
- das System die Steuerung unterstützt, indem interaktive Elemente wie die Kopfleiste eines Anzeigebereichs (Air Panel) und/oder Schaltflächen sich selbst oder den Zeiger optisch verändern, insbesondere falls letzterer sich auf gleicher Position befindet,
- ein weiteres Hirnsignal, vorzugsweise ein Impuls für das Erkennen der intendierten Elements, für eine Selektion benutzt wird analog zum Mausklick, um beispielsweise Listenelemente oder andere virtuelle Objekte auszuwählen. Fig. 6 zeigt ein exemplarisches Ausführungsbeispiel der Systemkomponenten eines erfindungsgemäßen AR-Endgerätes. Fig. 6 weist dabei die folgenden Bezugszeichen auf:
10 Die Brille verwendet entweder in der Fassung eine Projektion der grafischen Anzeige oder hinter/vor/in den Gläsern eine Folie zur grafischen Anzeige.
1 1 Die Brillenbügel sind an der Außenseite berührungsempfindliche Flächen zur Gestensteuerung, insbesondere zum, Aufruf von Listen und der Auswahl von Listenelementen.
12 Die Brillenbügel enthalten an der Innenseite Sensoren für die Erfassung von Gehirnströmen und -Impulsen (Brain Control System).
13 Die Brillenbügel enthalten an der Innenseite eine Vorrichtung zur Erfassung und Ausgabe von Audiosignalen über den Gehörknochen.
14 Zwischen den Brillengläsern enthält die Fassung auf der Vorderseite eine Kamera zur Aufnahme von Bildern (Fotos) und Bewegtbildern (Videos), die das System unter anderem für die Erkennung von Objekten im Sichtfeld des Anwenders nutzen kann.
Fig. 7 zeigt ein exemplarisches Ausführungsbeispiel für die Anordnung virtueller Objekte. Fig. 7 weist dabei die folgenden Bezugszeichen auf:
15 Das Auge des Anwenders hinter dem Brillenglas, dass virtuelle Objekte im Raum sehen kann.
16. Virtuelle Objekte die im kartesischen Raum beliebig skaliert und angeordnet sein können.
In einer weiteren vorteilhaften Ausgestaltung der Erfindung sind Mittel und/oder Einrichtungen mir den nachfolgenden Merkmale und/oder Eigenschaften vorgesehen, um mittels der Mensch-Maschine-Schnittsteile insbesondere eine virtuelle Bildausgabe digitaler Inhalte zu ermöglichen. Wie bereits erläutert, bilden die Ergonomie und Mobilität von Benutzerendgeräten mehr und mehr einen Gegensatz. Werden Endgeräte kleiner und mobiler, ist die visuelle Anzeige immer kleiner und die Eingabeelemente immer kleiner. Ein offensichtliches Beispiel sind die jüngsten Smart Watches, die kaum noch zu bedienen sind und sich maximal für Notifikationen eignen. Alle führenden Gerätehersteller setzen derzeit auf die Sprachkommunikation mit Maschinen. Nachteilig ist dabei, dass die Bedeutung von Schrift und der Bedarf nichtöffentlicher Interaktion mit Maschinen für den Anwender unberücksichtigt bleiben.
Vorteilhafterweise weist das erfindungsgemäße System Mittel und/oder Einrichtungen auf, die diese Kluft überbrückt und Ergonomie und Mobilität wieder zusammenbringt. Ein solches erfindungsgemäßes System besteht vorteilhaftenweise aus einer Kombination einer mobilen Recheneinheit und virtuellen Anzeige für digitale Inhalte als vernetzte oder integrierte Endgeräte.
Für die Videoausgabe von überlagerter Realität, sogenannter Augmented Reality oder treffender Blended Reality, sind seitens des zweiten bzw. weiteren Endgerätes Mittel bzw. eine Einrichtung vorgesehen, sogenannte Augmented Reality Anzeige bzw. Blended Reality Anzeige.
Die Ausgabe des Bildes erfolgt vorzugsweise über eine Brille, deren digitale Bildausgabe vorteilhaftenweise nicht unmittelbar erkennbar ist, wie beispielsweise bei der ersten Generation von Google Glasses.
Gegenstand der vorliegenden Erfindung ist insofern vorzugsweise ein mobiles Benutzerendgerät, umfassend eine Recheneinheit, eine Datenspeichereinheit, ein Funkmodul zu Übertragung von Audio-A/ideosignalen, wenigstens eine Eingabeeinheit und wenigstens eine Ausgabe Einheit, welches dadurch gekennzeichnet ist, dass dieses als Mensch-Maschine-Schnittsteile eines Datenverarbeitungssystems zur situativen Bereitstellung von Funktionen vorgesehen sein kann. Der Schaffung eines derartigen mobilen Benutzergerätes liegt die Überlegung zugrunde, dass die Ergonomie und Mobilität von Benutzerendgeräten mehr und mehr einen Gegensatz bilden. So werden Endgeräte kleiner und mobiler, woraus jedoch auch folgt, dass sowohl die visuelle Anzeige als auch die Eingabeelemente immer kleiner werden, was beispielsweise an der Entwicklung der sogenannten SmartWatches erkennbar ist, welche schlecht zu bedienen sind und sich allenfalls für Modifikationen eignen. Führende Gerätehersteller setzen auf die Sprachkommunikation mit Maschinen und übersehen damit die Bedeutung von Schrift und dem Bedarf nicht-öffentlicher Interaktion mit Maschinen. Das erfindungsgemäße System überbrückt diese Kluft und bringt Ergonomie und Mobilität wieder zusammen, da ein solches System aus einer Kombination einer mobilen Recheneinheit und einer virtuellen Anzeige für digitale Inhalte als vernetzte oder integrierte Endgeräte besteht.
Das erfindungsgemäße mobile Endgerät umfasst neben einer Recheneinheit, einer Datenspeichereinheit, einem Funkmodul zu Übertragung von AV-Signalen von und an weitere Endgeräte sowie von Steuersignalen von und an weitere Endgeräte optional eine Eingabeeinheit mit einer berührungsempfindlichen Fläche (TouchPad) sowie berührungsempfindliche Seitenränder (TouchBars) sowie eine optionale visuelle Anzeige. Ferner kann vorgesehen sein, dass das Endgerät eine AV-Ein- und Ausgabeeinheit zur Videoausgabe von überlagerter Realität (Augmented Reality bzw. Blended Reality) sowie zur Audioausgabe vorzugsweise über Hörknochen aufweist. Des Weiteren kann die Audioeingabe über mindestens ein Mikrofon vorgesehen sein.
Eine weitere vorteilhafte Ausgestaltung der Erfindung sieht Mittel bzw. eine Einrichtung vor, die eine mentale Steuerung durch den Anwender ermöglichen.
Vorteilhafterweise ist die AR Anzeige durch berührungsempfindliche Außenseiten der Bügel der Brille oder durch Sensoren auf der Innenseite der Bügel der Brille durch den Anwender steuerbar. Die berührungsempfindlichen Außenseiten der Bügel der Brille oder die Sensoren auf der Innenseite der Bügel der Brille messen vorteilhaftenweise Hirnströme des Anwenders. Die gemessenen Hirnströme des Anwenders werden dann von einer Recheneinrichtung in der Brille oder von einer Recheneinrichtung in einem vernetzten Endgerät ausgewertet und in Steuersignale umgewandelt.
Weitere Einzelheiten, Merkmale und Vorteile einer erfindungsgemäßen AR- Brille ergeben sich insbesondere im Zusammenhang mit dem in Fig. 6 und Fig. 7 dargestellten Ausführungsbeispiel.
Weitere Einzelheiten, Merkmale und Vorteile der Erfindung werden nachfolgend anhand der in den Figuren der Zeichnungen dargestellten Ausführungsbeispiele näher erläutert. Dabei zeigen: Fig. 1 a ein Ausführungsbeispiel eines Endgerätes mit mittlerer
Anzeigefläche;
Fig. 1 b eine Seitenansicht links nach Fig. 1a;
Fig. 1 b eine Seitenansicht rechts nach Fig. 1 a;
Fig. 1d eine weitere Darstellung des Ausführungsbeispiels nach Fig. 1 a;
Fig. 2a ein Ausführungsbeispiel eines Endgerätes mit kleiner Anzeigefläche;
Fig. 2b eine Seitenansicht links nach Fig. 2a;
Fig. 2c eine Seitenansicht nach Fig. 2a;
Fig. 3 ein Ausführungsbeispiel eines Endgerätes mit großer Anzeigefläche;
Fig. 4 ein Flussdiagramm eines Ausführungsbeispiel für den Aufbau und
Datenverarbeitungsprozess eines erfindungsgemäßen
Datenverarbeitungssystems;
Fig. 5a und 5b ein Flussdiagramm eines Ausführungsbeispiels eines erfindungsgemäßen Datenverarbeitungsprozesses einer Interpretation von Texteingaben;
Fig. 6 ein Ausführungsbeispiel einer AR-Brille; und
Fig. 7 ein Ausführungsbeispiel für die Anwendung einer AR-Brille.
Die Fig. 1 a, 1 b, 1c und 1d, Fig. 2a, 2b und 2c sowie Fig. 3 zeigen exemplarisch Ausführungsbeispiele der erfindungsgemäßen Mensch-Maschine-Schnittstelle anhand von unterschiedlich groß ausgebildeten Ein- und Ausgabegeräten. Fig. 1a und Fig. 1 d zeigen exemplarisch eine Mensch-Maschine-Schnittstelle für Geräte mit einer mittleren Anzeigefläche von 3 Zoll bis 10 Zoll Diagonale, beispielsweise ein sogenanntes Tablet. Die Reihenfolge der Fig. 1a und Fig. 1d zeigt dabei ferner eine Nutzungsfolge bzw. einen Ablauf von Mensch-Maschine-Interaktionen. Fig. 2a zeigt exemplarisch eine Mensch-Maschine-Schnittstelle für Geräte mit einer kleinen Anzeigefläche von 1 Zoll bis 3 Zoll Diagonale, beispielsweise eine sogenannte Smart Watch. Fig. 3 zeigt exemplarisch eine Mensch-Maschine-Schnittstelle für Geräte mit einer großen Anzeigefläche von mehr als 10 Zoll Diagonale, beispielsweise ein sogenanntes Notebook oder Laptop.
Das in Fig. 4 dargestellte Flussdiagramm zeigt ein Ausführungsbeispiel des logischen Ablaufs für die Erfassung des situativen Bedarfs und der Ermittlung der passenden Inhalte repräsentierenden Daten, Programmen und/oder Funktionen.
Das in Fig. 5a und 5b dargestellte Flussdiagramm zeigt ein Ausführungsbeispiel zum erfindungsgemäßen Datenverarbeitungsprozess einer Interpretation von Texteingaben.
Die Fig. 6 und Fig. 7 zeigen ein Ausführungsbeispiel für ein System zur virtuellen Bildausgabe digitaler Inhalte. Dabei zeigt Fig. 6 ein Ausführungsbeispiel einer AR- Brille, welche entweder in der Fassung eine Projektion einer grafischen Anzeige oder hinter bzw. vor bzw. in den Gläsern 10 eine Folie zur grafischen Anzeige beinhaltet. Die Brillenbügel 1 1 sind an der Außenseite mit berührungsempfindlichen Flächen zur Gestensteuerung versehen, insbesondere zum Aufruf von Listen und der Auswahl von Listenelementen. An der Innenseite enthalten die Brillenbügel 1 1 hingegen Sensoren 12 für die Erfassung von Gehirnströmen und -Impulsen (Brain Control System). Die Sensoren an der Innenseite der Bügel der AR-Brille messen Hirnströme, welche in einer Recheneinheit der AR-Brille oder in einem vernetzten mobilen Endgerät ausgewertet werden. Die Hirnströme können dadurch die Bewegung eines Zeigers (Cursor, Pointer) in Form eines Pfeils, Punktes, Kreises oder einer Kugel im dreidimensionalen kartesischen Raum steuern, mindestens aber in einem 2-dimensionalen Raum mit X-und Y-Koordinaten. Systemseitig wird die Steuerung unterstützt, indem interaktive Elemente wie die Kopfleiste eines Anzeigebereich (Air Panel) oder die Schaltflächen sich selbst oder den Zeiger optisch verändern, falls letzterer sich auf gleicher Position befindet. Ein weiteres Hirnsignal, vorzugsweise ein Impuls für das Erkennen der intendierten Elemente, wird analog zu einem Mausklick für eine Selektion benutzt. Ferner enthalten die Brillenbügel 1 1 an der Innenseite eine Vorrichtung 13 zur Erfassung und Ausgabe von Audiosignalen über den Gehörknochen. Zwischen den Brillengläsern enthält die Fassung auf der Vorderseite eine Kamera 14 zur Aufnahme von Bildern (Fotos) und Bewegtbildern (Videos), welche das System unter anderem für die Erkennung von Objekten im Sichtfeld des Anwenders nutzen kann.
In Fig. 7 ist ein Ausführungsbeispiel für die Anwendung einer AR-Brille gezeigt, bei welcher das Auge 15 des Anwenders hinter dem Brillenglas virtuelle Objekte im Raum sehen kann. Diese virtuellen Objekte 16 werden im pathetischen Raum beliebig eskaliert und können in diesem beliebig angeordnet sein.
Die in den Figuren der Zeichnung dargestellten Ausführungsbeispiele und die im Zusammenhang mit diesen erläuterten Ausführungsbeispiele dienen lediglich einer Erläuterung der Erfindung und sind für die nicht beschränkend.
Bezuqszeichenliste:
1 berührungsempfindliche Aktivierungspunkte auf der Anzeige zum Aufruf von Funktionsgruppen
2 berührungsempfindliche Aktivierungsflächen auf der Anzeige zum Aufruf von Funktionsgruppen
3 berührungsempfindliche Aktivierungsflächen auf den Geräteseiten zum Aufruf von Funktionsgruppen
4 Funktionsgruppen für den Aufruf der systemweiten Basisfunktionen, nämlich Eingabe, Bearbeitung, Abruf, Anzeige und/oder Verteilung von Informationen repräsentierenden Daten, des Datenverarbeitungssystems
5 Eingeblendete Schaltflächen für ein Drei-Punkt-Menu für den Aufruf von Funktionsgruppen und intelligentes Eingabefeld
6 berührungsempfindliche Aktivierungsflächen auf den Geräteseiten zum Aufruf von Funktionsgruppen aus dem Gerät selbst oder einer mit diesem Gerät verbundenen Ausgabeeinheit, die zugleich eine weitere Eingabeeinheit sein kann.
7 freistehende oder am Rand ausgerichtete und überlagernde Funktionsgruppen für den Aufruf der systemweiten Basisfunktionen, nämlich Eingabe, Bearbeitung, Abruf, Anzeige und/oder Verteilung von Informationen repräsentierenden Daten, des Datenverarbeitungssystems
8 Anzeigebereich für eine Zusammenstellung einzelner Inhalte repräsentierender Daten und/oder ausführbarer Programme
9 Eingeblendete Schaltflächen für ein Drei-Punkt-Menu für den Aufruf von Funktionsgruppen und intelligentes Eingabefeld
10 AR-Projektion
1 1 Brillenbügel mit Touchbar
12 Sensoren zur Erfassung von Gehirnströmen und -Impulsen 13 Vorrichtung zur Erfassung/Ausgabe von Audiosignalen über den Gehörknochen
14 Kamera zur Aufnahme von FotosA/ideos
15 Auge eines Anwenders
16 Virtuelle Objekte
A Aktivität
S Selektion bzw. Deselektion
T Text
Z Zeitpunkt
AR Augmented Reality Anzeige bzw. Blended Reality Anzeige
AV Audio- und/oder Video

Claims

Ansprüche:
1. Datenverarbeitungssystem zur ergonomischen Interaktion eines Anwenders mit Daten, umfassend
- wenigstens eine Prozessoreinheit,
- wenigstens einen lokalen und/oder über ein Netzwerk zugänglichen Datenspeicher mit Daten,
- lokale und/oder über ein Netzwerk zugängliche Inhalte repräsentierende Datenobjekte,
- ein Verzeichnis von semantischen Inhaltsklassen der Datenobjekte und die technischen Kriterien der Inhaltsklassen,
- ein Verzeichnis von/enthaltend systemseitig zur Verfügung stehenden/r Funktionen für eine Interaktion mit Daten und die technischen Bedingungen der Funktionen,
und
- eine Mensch-Maschine-Schnittsteile zur Bereitstellung von Informationen und/oder Steuerelementen im Hinblick auf eine Interaktion eines Anwenders mit Daten,
mit
Mitteln zur, vorzugsweise ständig unmittelbaren Bereitstellung systemübergreifender Funktionen für eine Interaktion eines Anwenders mit Daten mittels der Mensch-Maschine-Schnittstelle mit mindestens zwei Optionen zur Handlung für den Anwender,
einer ersten Option im Hinblick auf eine Erfassung von vorzugsweise persistenten und/oder transienten Inhalten
und
einer zweiten Option im Hinblick auf einen Aufruf von Inhalte repräsentierenden Daten und/oder Apps,
wobei
die erste Option unter Nutzung des Verzeichnisses von systemseitig zur Verfügung stehenden Funktionen für eine Mensch-Maschine-Interaktion mit Daten und die technischen Bedingungen der Funktionen bestimmt wird bzw. bestimmbar ist
und
die zweite Option unter Nutzung des Verzeichnisses von semantischen Inhaltsklassen der Datenobjekte und die technischen Kriterien der Inhaltsklassen und/oder unter Nutzung des Verzeichnisses von/enthaltend systemseitig zur Verfügung stehenden Funktionen für eine Mensch- Maschine-Interaktion mit Daten und die technischen Bedingungen der Funktionen bestimmt wird bzw. bestimmbar ist.
2. Datenverarbeitungssystem nach Anspruch 1 , gekennzeichnet durch eine dritte Option zur Handlung für den Anwender im Hinblick auf ein Verknüpfen oder Teilen von Inhalten mit Dritten über Kommunikationskanäle, wenn ein einen Inhalt repräsentierendes Datenobjekt systemseitig angezeigt oder durch einen Anwender ausgewählt wird, wobei die dritte Option unter Nutzung des Verzeichnisses von systemseitig zur Verfügung stehenden Inhaltsklassen und/oder Inhaltsobjekten und/oder unter Nutzung des Verzeichnisses von systemseitig zur Verfügung stehenden Funktionen für eine Mensch-Maschineinteraktion mit Daten und die technischen Bedingungen der Funktionen bestimmt wird bzw. bestimmbar ist.
3. Datenverarbeitungssystem nach Anspruch 2, dadurch gekennzeichnet, dass dieses ferner ein Verzeichnis von systemseitig zur Verfügung stehenden Kommunikationskanälen im Hinblick auf ein Teilen von Inhalten des Anwenders mit Dritten Anwendern oder Systemen aufweist.
4. Datenverarbeitungssystem nach einem der Ansprüche 1 bis 3, gekennzeichnet durch eine vierte Option zur Handlung für den Anwender im Hinblick auf ein Löschen oder Schließen eines angezeigten Inhalts.
5. Datenverarbeitungssystem nach einem der Ansprüche 1 bis 4, gekennzeichnet durch wenigstens eine eine Anzeigefläche bereitstellende Ein- und/oder Ausgabevorrichtung, welche an, in und/oder auf den Randbereichen der Anzeigefläche und/oder des Endgerätes, vorzugsweise und/oder optional an, in und/oder auf den Bereichen der Ecken der Anzeigefläche, jeweils eine berührungsempfindliche Schaltfläche für eine der mindestens zwei, vorzugsweise drei bzw. auch vier Optionen zur Handlung für den Anwender aufweist.
6. Datenverarbeitungssystem nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass Inhalte repräsentierende Daten, Programme und/oder Funktionen, welche mindestens einen, die augenblickliche Situation oder zumindest einen Aspekt der Situation des Anwenders des
Datenverarbeitungssystems repräsentierenden Parameter enthalten oder von diesem Parameter direkt oder indirekt mittels Regeln oder Berechnungen referenziert werden, bereitgestellt werden, wobei jene Parameter vorzugsweise durch die Erfassung von Ort, Zeit, Bewegung, Ausrichtung des Endgerätes, verfügbares und/oder verwendetes Netzwerk, vernetzte Ein- und/oder Ausgabegeräte, Ereignisse, insbesondere Kalenderereignisse, aktive und/oder verwendete Anwendungsprogramme (Apps), angezeigte, ausgewählte und/oder eingegebene Texte, und/oder eingehende Ton-, Bild- und/oder Videodaten, ermittelt werden.
7. Datenverarbeitungssystem nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Mensch-Maschine-Schnittstelle adaptiv zur Erstellung oder Bearbeitung digitaler Inhalte durch den Anwender ausgebildet ist, wobei Mittel zur Auswertung einer Texteingabe des Anwenders mittels Mustererkennung vorgesehen sind, vorzugsweise derart, dass eine adaptive Benutzerführung gegeben ist, bei der das erfindungsgemäße System die Intention des Anwenders antizipiert bzw. erkennt und die Benutzerführung und/oder die Benutzerschnittstelle (sogenanntes User Interface) anpasst.
8. Datenverarbeitungssystem nach Anspruch 7, dadurch gekennzeichnet, dass Mittel zur Mustererkennung einer Zeichenkette nach einer definierten Syntax und/oder definierten Grammatik vorgesehen sind.
9. Datenverarbeitungssystem nach Anspruch 7 oder Anspruch 8, dadurch gekennzeichnet, dass Mittel zum Abgleich eines erkannten Musters mit einem Verzeichnis von unterstützten Intentionen vorgesehen sind.
10. Datenverarbeitungssystem nach Anspruch 9, dadurch gekennzeichnet, dass das Verzeichnis eine geeignete Datenstruktur aufweist, welche eine Zuordnung von Mustern und/oder Intentionen ermöglicht, wobei vorzugsweise die Muster als reguläre Ausdrücke und/oder mit einem Vokabular und/oder einer Grammatik interpretiert werden, wobei besonders vorzugsweise das Vokabular auch andere Hilfsquellen, insbesondere ein Verzeichnis von Personen und/oder Organisationen abgleicht.
1 1. Datenverarbeitungssystem nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass
1. der Anwender des Systems dynamische Zusammenstellungen von Inhalte repräsentierenden Daten und/oder Programmen definieren kann, wobei die Definition durch den Anwender vorzugsweise mit oder ohne expliziter oder impliziter Verknüpfung mit einem oder mehreren Inhalte repräsentierenden Daten erfolgt, und/oder
das System die Definitionen für die dynamischen Zusammenstellungen vorzugsweise in seinem Datenspeicher persistiert, um sie für den Aufruf der Zusammenstellungen anzuwenden;
2. der Anwender von dem System dynamische Zusammenstellungen von Inhalte repräsentierenden Daten und/oder Programme abrufen kann, wobei
der Aufruf vorzugsweise unabhängig oder abhängig von einem oder mehreren Inhalte repräsentierenden Daten erfolgt, die der Anwender explizit oder implizit ausgewählt hat,
das System Kriterien (Constraints) für die Selektion (S) von Inhalte repräsentierenden Daten mit Hilfe von Indizes ausführt,
und/oder
das System Ergebnisse der Selektion (S) aus verschiedenen Indizes oder Fremdsystemen zu einer Vereinigungsmenge zusammenführt; und/oder
3. das System die dynamischen Zusammenstellungen über eine Ausgabeeinheit wiedergibt, mit der ein Anwender die Inhalte repräsentierenden Datenobjekte und/oder ausführbare Programme aufrufen kann, wobei das System vorzugsweise die Elemente der Zusammenstellungen besonders bevorzugt nach einem Rang sortiert, den es nach zeitlichen, formalen oder semantischen Kriterien oder einer Kombination derselben berechnet.
12. Datenverarbeitungssystem nach Anspruch 11 , dadurch gekennzeichnet, dass die Ausgabe von Inhalte repräsentierenden Daten an den Anwender mittels dynamischer Mengen erfolgt, welche vorzugsweise stetig aktuelle Inhalte nach definierten Kriterien anbieten bzw. wiedergeben.
13. Datenverarbeitungssystem nach einem der Ansprüche 1 bis 12, gekennzeichnet durch inhaltliche Darstellungsbereiche seitens einer Anzeigevorrichtung, welche für die Ausgabe und/oder den Abruf von Inhalte repräsentierenden Daten vorgesehen sind und vorzugsweise ein oder mehrere Inhalte nebengeordnet oder untergeordnet darstellen bzw. wiedergeben.
14. Datenverarbeitungssystem, insbesondere nach einem der Ansprüche 1 bis 13, zur ergonomischen Interaktion eines Anwenders mit Daten, insbesondere mittels verteilter Benutzerführung und Datenverarbeitung mit vernetzten Benutzerendgeräten, umfassend - eine oder mehrere verteilte Recheneinheiten,
- eine oder mehrere verteilte Speichereinheiten,
- wenigstens eine Eingabeeinheit,
- wenigstens eine Ausgabeeinheit, und
- ein Funkmodul zur Kommunikation in einem Netz,
dadurch gekennzeichnet, dass
Mittel zum Austausch von Steuersignalen und/oder Ausgabesignalen zwischen den vernetzten Benutzerendgeräten vorgesehen sind.
15. Datenverarbeitungssystem nach Anspruch 14, dadurch gekennzeichnet, dass für eines der vernetzten Benutzerendgeräte eine führende bzw. koordinierende Rolle zur Delegation bzw. Auslagerung von Rechenoperationen vorgesehen ist.
16. Datenverarbeitungssystem nach Anspruch 14 oder Anspruch 15, dadurch gekennzeichnet, dass als Kriterien für eine Delegation bzw. Auslagerung von Rechenoperationen das Rendering von Bildern und Videos, das Codieren bzw. Decodieren von Dateien oder das Verteilen von Prozessen eines Programms bzw. eines Betriebssystems vorgesehen sind.
17. Datenverarbeitungssystem nach einem der Ansprüche 14 bis 16, dadurch gekennzeichnet, dass das Benutzerendgerät als Mensch-Maschine- Schnittsteile eines Datenverarbeitungssystems gemäß einem der Ansprüche 1 bis 14 vorgesehen ist.
18. Datenverarbeitungssystem nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass die Anzeige auf einer Anzeigefläche eines Bildschirms, insbesondere Displays oder Monitors, oder virtuell im Raum erfolgt, vorzugsweise seitens des Anzeigebereichs einer sogenannten Datenbrille (Smart Glass), besonders bevorzugt im Zusammenhang mit einer Vorrichtung zur virtuellen Ausgabe von digitalen Inhalten, dabei besonders bevorzugt jedoch nicht als Teil oder Erweiterung der Wirklichkeit (Augmented Reality), sondern als überlagerte Inhalte (Blended Reality).
19. Mobiles Benutzerendgerät, umfassend
- eine Recheneinheit,
- eine Datenspeichereinheit,
- ein Funkmodul zur Übertragung von Audio-A/ideo-Signalen,
- wenigstens eine Eingabeeinheit, und
- wenigstens eine Ausgabeeinheit, dadurch gekennzeichnet, dass
das mobile Benutzerendgerät als Mensch-Maschine-Schnittsteile eines Datenverarbeitungssystems gemäß einem der Ansprüche 1 bis 13 vorgesehen ist und vorzugsweise ein Benutzerendgerät eines Systems nach einem der Ansprüche 14 bis 18 ist.
20. Benutzerendgerät nach Anspruch 19, dadurch gekennzeichnet, dass dieses neben einer Recheneinheit, einer Datenspeichereinheit, einem Funkmodul zur Übertragung von AV-Signalen von und an weitere Endgeräte sowie von Steuersignalen von und an weitere Endgeräte vorzugsweise eine Eingabeeinheit mit einer berührungsempfindlichen Fläche (TouchPad) sowie berührungsempfindliche Seitenränder (TouchBars) sowie eine optionale visuelle Anzeige umfasst, wobei besonders bevorzugt vorgesehen ist, dass das Benutzerendgerät mit einer Audio- und/oder Video-Ein- und Ausgabeeinheit zur Videoausgabe von überlagerter Realität (Blended Reality) sowie zur Audioausgabe, vorzugsweise über Hörknochen, verbunden bzw. verbindbar ist.
21. Benutzerendgerät nach Anspruch 20, dadurch gekennzeichnet, dass die
Wiedergabe bzw. Anzeige einer überlagerten Realität (Blended Reality) durch eine transparente Anzeige oder Projektion erfolgt und durch berührungsempfindliche Außenseiten der Bügel der Datenbrille oder durch Sensoren auf der Innenseite der Bügel der Datenbrille durch den Anwender steuerbar ist, wobei die berührungsempfindlichen Außenseiten der Bügel der Datenbrille oder die Sensoren auf der Innenseite der Bügel der Datenbrille vorzugsweise Hirnströme des Anwenders messen bzw. messen können und die gemessenen Hirnströme des Anwenders von einer Recheneinrichtung in der Datenbrille oder von einer Recheneinrichtung in einem vernetzten Endgerät ausgewertet und in Steuersignale umgewandelt werden bzw. umwandelbar sind.
PCT/EP2018/067827 2018-07-02 2018-07-02 System zur ergonomischen interaktion eines anwenders mit daten WO2020007440A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18742946.9A EP3818433A1 (de) 2018-07-02 2018-07-02 System zur ergonomischen interaktion eines anwenders mit daten
US17/258,628 US20210271348A1 (en) 2018-07-02 2018-07-02 System for an ergonomic interaction of a user with data
PCT/EP2018/067827 WO2020007440A1 (de) 2018-07-02 2018-07-02 System zur ergonomischen interaktion eines anwenders mit daten

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2018/067827 WO2020007440A1 (de) 2018-07-02 2018-07-02 System zur ergonomischen interaktion eines anwenders mit daten

Publications (1)

Publication Number Publication Date
WO2020007440A1 true WO2020007440A1 (de) 2020-01-09

Family

ID=62976017

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/067827 WO2020007440A1 (de) 2018-07-02 2018-07-02 System zur ergonomischen interaktion eines anwenders mit daten

Country Status (3)

Country Link
US (1) US20210271348A1 (de)
EP (1) EP3818433A1 (de)
WO (1) WO2020007440A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220188273A1 (en) * 2020-12-14 2022-06-16 Dropbox, Inc. Per-node metadata for custom node behaviors across platforms

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130104062A1 (en) * 2011-09-27 2013-04-25 Z124 Unified desktop input segregation in an application manager
CN106974646A (zh) * 2016-01-22 2017-07-25 周常安 穿戴式生理监测装置
US20170287214A1 (en) * 2016-03-31 2017-10-05 Glen J. Anderson Path navigation in virtual environment
US20180095299A1 (en) * 2016-06-30 2018-04-05 Google Llc Wiring in a Head-Mountable Device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130104062A1 (en) * 2011-09-27 2013-04-25 Z124 Unified desktop input segregation in an application manager
CN106974646A (zh) * 2016-01-22 2017-07-25 周常安 穿戴式生理监测装置
US20170287214A1 (en) * 2016-03-31 2017-10-05 Glen J. Anderson Path navigation in virtual environment
US20180095299A1 (en) * 2016-06-30 2018-04-05 Google Llc Wiring in a Head-Mountable Device

Also Published As

Publication number Publication date
EP3818433A1 (de) 2021-05-12
US20210271348A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
DE112010004946B4 (de) Dynamisches Verwalten einer sozialen Netzwerkgruppe
DE202017002875U1 (de) Benutzerschnittstelle für Kameraeffekte
DE102016214955A1 (de) Latenzfreier digitaler Assistent
DE102018007060A1 (de) Hervorheben von Schlüsselabschnitten eines Texts innerhalb eines Dokuments
US11086916B2 (en) System and method for analyzing and visualizing team conversational data
DE112020002228T5 (de) Kognitive video- und audio-suchaggregation
DE202015005999U1 (de) Benutzerschnittstelle zum Einschränken von Meldungen und Alarmen
DE112016001453T5 (de) Navigieren von Ereignisinformation
DE112020002566T5 (de) Benutzerschnittstellen zur zyklusverfolgung
DE202014004544U1 (de) Vorrichtung und graphische Benutzerschnittstelle zum Bereitstellen von Navigations- und Suchfunktionalitäten
DE102013222290A1 (de) System und Verfahren zur gemeinsamen Nutzung von Ermittlungsergebnisdaten
DE202011110681U1 (de) Mobile Vorrichtung zur Anzeige einer Sofortnachricht
WO2009030246A1 (de) Erfassung von zusammenhängen zwischen informationen repräsentierenden daten
US11797258B2 (en) Conversational analytics with data visualization snapshots
DE202006021123U1 (de) Mobiles Kommunikationsgerät zur Nachrichtenanzeige
DE112016004579T5 (de) Mobile Anwenderschnittstelle
DE102016101373A1 (de) Anzeigesteuerverfahren, anzeigesteuervorrichtung und elektronisches gerät
US20230244707A1 (en) Management of event summary types
DE102019007354A1 (de) Narrationssystem für interaktive dashboards
DE102016125804A1 (de) Das Einbeziehen auswählbarer Anwendungslinks in Konversationen mit persönlichen Assistenz-Modulen
WO2020007440A1 (de) System zur ergonomischen interaktion eines anwenders mit daten
EP1685505B1 (de) Datenverarbeitungssystem
DE112013001829T5 (de) Verfahren, Gerät und Computerprogrammprodukt zur visuellen Gruppierung von Beziehungen von Datenbanken
US10762116B2 (en) System and method for analyzing and visualizing team conversational data
EP2193455A1 (de) Erfassung von zusammenhängen zwischen informationen repräsentierenden daten

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18742946

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018742946

Country of ref document: EP

Effective date: 20210202