WO2005064423A2 - Kontextabhängige bedienung von engineering-systemen über zeichnerische eingaben - Google Patents

Kontextabhängige bedienung von engineering-systemen über zeichnerische eingaben Download PDF

Info

Publication number
WO2005064423A2
WO2005064423A2 PCT/EP2004/052611 EP2004052611W WO2005064423A2 WO 2005064423 A2 WO2005064423 A2 WO 2005064423A2 EP 2004052611 W EP2004052611 W EP 2004052611W WO 2005064423 A2 WO2005064423 A2 WO 2005064423A2
Authority
WO
WIPO (PCT)
Prior art keywords
symbols
text elements
user
text
elements
Prior art date
Application number
PCT/EP2004/052611
Other languages
English (en)
French (fr)
Other versions
WO2005064423A3 (de
Inventor
Peter Heller
Thomas Jachmann
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Publication of WO2005064423A2 publication Critical patent/WO2005064423A2/de
Publication of WO2005064423A3 publication Critical patent/WO2005064423A3/de

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/056—Programming the PLC
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/10—Plc systems
    • G05B2219/13—Plc programming
    • G05B2219/13145—Graphical input of network of symbols, simulation on screen, translate to machine

Definitions

  • Automation systems must be engineered, i.e. In a comprehensive process, it is determined which bus parameterization, which hardware elements, which blocks, which user programs, etc. will later result in an executable automation system.
  • Engineering systems existing today are e.g. Step 7, PCS7 or Simotion Scout from Siemens A&D.
  • B&B systems for monitoring and operating an automation system or system also have an "engineering" aspect when it comes to creating and linking "screens" (differently designed user interfaces for the user).
  • the inputs to be made in the engineering system are also characterized by entirely different activities than are obvious to a commissioning engineer or an electrician, who are responsible for creating the corresponding function or circuit diagram.
  • the user has to adapt to an IT-heavy environment, which reduces his performance and, if necessary, even prevents the achievement of goals, since the user does not understand this environment or she understands it is counterintuitive. If necessary, specially trained experts must be available for implementation in the engineering system.
  • the invention is therefore based on the object of specifying a device and a method by means of which simple operation of an engineering system is made possible by creating sketches.
  • the object is achieved according to the invention by a device according to the features of claim 1.
  • the object is further achieved according to the invention by a method according to the features of claim 20.
  • the invention is based on the knowledge that the use of new form factors on devices, e.g. in the form of tablet PCs is able to greatly reduce the effort for the engineering activities described above and, what is even more important, to pick up the operators, typically commissioning engineers or electricians, more in their field.
  • the invention now describes a method that allows the use of the new effective possibilities of stylus-based operation for automation software. This is achieved by defining a gesture language through the user is executed using the stylus or similar future gesture-oriented input systems.
  • Tablet PCs e.g. with a Windows XP Tablet Editon are very good at text recognition. Your task is to provide the user with a writing surface where he can use a special pen to make written notes and sketches that are later used e.g. can be used as meeting notes.
  • Written text can be converted into text recognized by the computer using existing text recognition.
  • some graphics programs (which have been specially designed for tablet PCs) are able to recognize simple geometric shapes (lines, circles, ellipses, rectangles) and "draw them smooth" after they have been painted by the user.
  • the operating paradigm is now transferred to the application management of an engineering system and equipped with context-adaptive recognition of elements and symbols.
  • a gesture is a particularly simple sketch or a sign behind which there is a command (for example, a large X with a symbol if the symbol is to be deleted or a checkmark to confirm an entry).
  • selection options can e.g. by means of a matrix-like representation of the selection options (e.g. below the element). Ideal for this, however, is also the display as an expanded "pie menu” (see e.g. http://www.piemenus.com), as explained in more detail in the description of the figures.
  • Another alternative of choosing from a multitude of possibilities is to use pre-defined or user-defined symbols. Does the user want e.g. insert a frequently used block again and again, so it can provide it with a symbol. Once a gesture has been assigned, the associated building block can be selected by simply drawing (and recognizing) the symbolism.
  • Inserting symbols or text elements and linking them are already clear commands to the system. Deleting, confirming, etc. can also be traced back to simple gestures (e.g. a checkmark for confirmation, a ring around a selection option to accept it, a strikethrough for deletion or a rejection, etc.). There- the user is not forced to leave the paradigm and, for example, to confirm a dialog box.
  • simple gestures e.g. a checkmark for confirmation, a ring around a selection option to accept it, a strikethrough for deletion or a rejection, etc.
  • the principle described can be used over the entire life cycle of an automation system - from planning, engineering, commissioning, monitoring to maintenance.
  • the operation adapts to the application, but does not differ from its gestures etc.
  • the process can already be used in discussions with customers, where the task is outlined, can be changed quickly, and a direct result with the customer can be used to produce a result that can be reused (e.g. in the context of the hardware design of a system, which is then used directly in the system the hardware editor can flow.
  • the principle is not only used when engineering solutions are first created. Also in the further handling, e.g. simulation, forcing, etc., the user uses the same symbol language known to him.
  • the stylus or the drawing device can be used as a "test probe", which represents or triggers the special properties of a selected element.
  • the different editors who enter their rules for the respective application context for recognizing the input Symbols and text elements have changed on the user interface of the device when entered by the user. This change can again be made, for example, by the user of the device entering simple gestures using the drawing device on the user interface.
  • the first alternative it immediately converts the recognized symbol into a representative of the drawn element.
  • the representation drawn by the user is lost.
  • the advantage of this embodiment variant of the invention is that the drawn element is automatically "clean" or smoothed.
  • the system can immediately make it clear what the system has recognized the input. This is e.g. This is particularly necessary for blocks for which further information such as inputs and outputs must be displayed.
  • the second alternative would be to keep what the user has drawn (possibly with a slight smoothing of the drawn) and only to carry out a conversion in a second step.
  • this does not mean that the user receives no feedback about recognized elements. This can happen, for example, through stroke widths or colors (example: he paints in blue and all recognized components are in Changed to black).
  • the advantage here is that the user is not disturbed while entering. However, the drawings can get "messy" pretty quickly.
  • the creation is an iterative process, i.e. the user draws one element at a time. This means that every newly drawn symbol or text element can be immediately processed.
  • the interaction between the different users involved can be done via. an intranet or internet.
  • the users can work on an engineering solution using individual devices with appropriate user interfaces.
  • the user interfaces can be designed as clients, thin clients or PDAs if the functionality that is implemented in a tablet PC can be implemented there.
  • FIG. 1 shows a schematic representation of the device for operating an engineering system.
  • FIG. 2 shows an exemplary representation of the sketch entered in a LAD editor.
  • FIG. 3 shows an exemplary representation of the sketch entered in a FBD editor
  • FIG. 4 shows an example of the sketch entered in a CFC editor 5 shows an exemplary representation of a selection list as a pie menu
  • FIG. 1 shows a diagram of the device according to the invention with a user interface 1 for the input of symbols S and text elements T by a user U of the device.
  • the symbols S and text elements T are entered by the user U with the aid of a drawing device P, for example a stylus for operating a tablet PC.
  • the user U draws on the user interface 1 as he would on a normal sheet of paper with a pen.
  • Symbols S and text elements T drawn by the user on the user interface are determined by the determining means 2 in relation to their position on the user interface 1.
  • the position of the symbols S and text elements T is determined by their absolute position on the user interface 1, or the position is calculated by the relative position of the symbols S and text elements T to other symbols S and text elements T already entered. Based on the calculated
  • the position of the symbols S and text elements T is detected with the aid of the recognition means, the semantics lying behind the symbols S and text elements T. It is recognized here, for example, that a drawn line, which connects two already recognized symbols to one another, represents a connection for communication between the two already recognized symbols in the context of a contact plan.
  • context information KI can also be used for the recognition of the symbols S and text elements T.
  • the context information KI is provided by the provision means 4 for the recognition means 3 and the determination means 2.
  • the context information KI is symbols S and text elements T which have already been recognized and are determined in their position, which are used in the context of the editor used with its underlying rules to redraw elements or to be able to recognize other elements more easily in the context of the context.
  • the context information KI grows in the course of the use of the device by the user U, and the recognition of further symbols S and text elements T becomes ever easier in the course of creating an engineering solution.
  • the creation of the engineering solutions by means of the system according to the invention is an iterative process. The recognition does not have to take place "immediately" when entering. One can also remember when items were entered and know this then their order afterwards (eg press) ⁇ it.
  • a symbol S or text element T entered via the user interface 1 is separated from the elements already recognized.
  • the distance between the symbol S or text element T and the remaining, already recognized elements is calculated using the determination means 2.
  • the relative placement e.g. "above”, “below”, “directly adjacent to the left", “within”, ...) is now also determined. This relative placement can also be visualized on the user interface 1, as a result of which the user U is guided even further through the program when it is input.
  • the input of text elements T is critical here, since a scribbled line of lines is difficult to recognize as such from the outset. This can either be achieved by trying to interpret all ("text-like") elements and recognizing the text from the graphic input. Its quality (for example, meaningful words in a language) can then be included as a factor in the subsequent recognition algorithm of graphic primitives. Another option is to support the detection of Text with easily recognizable symbols or characters (e.g. arrows).
  • a selected recognition algorithm which may have already been selected on the basis of the absolute or relative position or weighted (parameterized) by its information, now interprets the symbol S or text element. If the shape or the position is "unique", the symbol S or text element T can already be clearly determined. If the symbol S or text element T has been recognized as valid, it is added to the set of elements already recognized and, through the provision means, also serves as context information KI for the next step.
  • the symbol S or text element T can only be assigned to one group of possibilities, e.g. B. "It is a building block", but it is not yet clear which one. In this case, a further determination by user U is necessary. In many cases the relative position "within” (in some cases also “above” or “below”) is of particular importance. Further graphic primitives can ultimately determine symbols S or text elements T that have not yet been clearly recognized.
  • the operation of the applications is therefore determined by the user U drawing graphical symbols S.
  • the visual language used largely corresponds to the intuitive wealth of experience of user U:
  • the graphic primitives underlying the elements (such as blocks, contacts, building blocks, etc.) are used. These are typically lines, rectangles, circles etc., which are also described in the standards that are often the basis of the environment.
  • FIG. 2 shows a ladder sketched with a tablet PC - still without applied analysis functionality of the drawn elements.
  • the user draws them in the current lines. If he wants to insert a branch, he draws it in. If he wants to negate a contact, he makes this clear, for example by crossing it out. If he wants to link a contact to a symbol, he simply notes the name of the symbol above a contact. If he wants to insert a block, he simply draws it as a box in a circuit diagram, after which he defines which it is. The definition can be made using selection lists, for example.
  • the traced elements can be traced back to graphic primitives e.g. Identify contacts by two vertical lines. If these are near a conductor rail, the contact is inserted into this.
  • FIG. 3 shows a FBD sketched with a tablet PC - without applied analysis functionality of the drawn elements.
  • the user U paints and and or members with boxes. If he wants to add a new input to such an And / Or link, he simply draws it in.
  • the blocks are linked by drawing lines between the blocks without paying much attention to the lines. If he wants to negate an input, this is marked on this, for example by ⁇ painting a circle in front of the input, as is common in such circuit diagrams.
  • FIG. 4 shows an outlined using a Tablet PC CFC - still without Applied analysis functionality of the drawn Ele ⁇ elements.
  • the user draws rectangles and defined to wel ⁇ che building blocks that could potentially arise.
  • the inputs and outputs are interconnected by painting lines.
  • FIG. 5 shows an example of the selection from lists using the example of the representation of selection options as a pie menu.
  • the user U draws a rectangle around the placement of one To symbolize building block or symbol S or text element T. It is still unclear which component it is.
  • user U would now search the library for the building block he wanted. However, this would hinder him in his work. Rather, it uses a filter as another element of this invention. He knows he needs a PID controller. He already indicated by drawing the rectangle that he wanted to place a block. So he simply writes a search criterion in the "module in spe". A restricted list of the possible blocks to be placed is then displayed on the spot. He selects one and the block is placed.
  • the device can recognize it as not yet present and mark it with the reference symbol M, as sketched in the figure. Then you can simply enter these symbols S or text elements T in the symbol table, for example by evaluating the position principle during the analysis, by sketching a link between the data (see e.g. the sketched FBD or CFC example).
  • plan or with connected objects can be linked locally with parts. This can be done, as in the picture, with the help of a speech bubble or with a link gesture (similar to the arrow with which you can, for example) symbol table entry).
  • user-defined symbols such as the jump function in the block in the CFC or FBD image
  • the catalog is displayed reduced to the entries linked to this symbol S or text element T.
  • the invention relates to a system, a device and a method for the context-dependent operation of engineering systems in the automation environment.
  • a tablet PC is used by a user to enter symbols or text elements when creating contact plans or function plans.
  • the user can virtually outline his engineering solution; similar to a drawing sheet.
  • the symbols and text elements are recognized by the device in terms of their semantics.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stored Programmes (AREA)

Abstract

Die Erfindung betrifft ein System, eine Vorrichtung sowie ein Verfahren zur kontextabhängigen Bedienung von Engineering-Systemen im Automatisierungsumfeld. Hierbei wird beispielsweise ein Tablet PC zur Eingabe von Symbolen oder Textelementen durch einen Benutzer bei der Erstellung von Kontakt- oder Funktionsplänen verwendet. Der Benutzer kann seine Engineering-Lösung quasi skizzieren; ähnlich wie auf einem Zeichenblatt. Die Symbole und Textelemente werden von der Vorrichtung in Bezug auf ihre Semantik erkannt.

Description

Kontextabhängige Bedienung von Engineering-Systemen über zeichnerische Eingaben
Automatisierungssysteme müssen engineered werden, d.h. in einem umfänglichen Prozess wird festgelegt welche Busparamet- rierung, welche Hardware-Elemente, welche Bausteine, welche Anwenderprogramme etc. später eine lauffähige Automatisie- rungsanlage ergeben. Heute existierende Engineering-Systeme sind z.B. Step 7, PCS7 oder Simotion Scout der Siemens A&D . Auch B&B Systeme zur Überwachung und Bedienung eines Automatisierungssystems bzw. einer Anlage haben einen "Engineering" Aspekt, wenn es um die Erstellung und Verknüpfung von "Screens" (verschieden gestaltete Bedienoberflächen für den Anwender) geht.
Grafische Oberflächen sind bei solchen Applikationen Stand der Technik. Die Bedienung heutiger Automatisierungs-Software (insbesondere Engineering-Systeme) erfolgt in der Regel mit der Tastatur und der Maus . Für Ungeübte gestaltet sich der schnelle Umgang mit der Maus schwierig. Die Tastatur ist typischerweise nur etwas für den Experten-Anwender, doch selbst der Einsteiger wird zu einem dauernden Wechsel zwischen Maus und Tastatur durch heutige Bedienkonzepte gezwungen. Dies reduziert die mögliche Arbeitsgeschwindigkeit des Anwenders deutlich, ist aber heute spätestens bei der Eingabe von Text (z.B. Symbol-Namen oder Kommentare) unerlässlich.
Hierbei sind die im Engineering-System zu tätigenden Eingaben zudem durch gänzlich andere Tätigkeiten gekennzeichnet, als sie einem Inbetriebsetzer oder einem Elektromeister, welche für die Erstellung des entsprechenden Funktions- bzw. Stromlaufplan verantwortlich sind, nahe liegen. Der Anwender muss sich an eine IT-lastige Umwelt anpassen, die seine Performanz und reduziert und ggf. die sogar Zielerreichung verhindert, da der Anwender diese Umwelt nicht versteht oder sie ihm nicht eingängig ist. Es müssen ggf. für die Umsetzung in das Engineering-System speziell ausgebildete Experten zur Verfügung stehen.
Der Erfindung liegt daher die Aufgabe zugrunde, eine Vorrichtung sowie ein Verfahren anzugeben, mit Hilfe dessen eine einfache Bedienung eines Engineering-Systems über die Erstellung von Skizzen ermöglicht wird.
Die Aufgabe wird erfindungsgemäß durch eine Vorrichtung gemäß den Merkmalen des Anspruchs 1 gelöst. Die Aufgabe wird erfindungsgemäß weiterhin durch ein Verfahren gemäß den Merkmalen des Anspruchs 20 gelöst.
Der Erfindung liegt die Erkenntnis zugrunde, dass der Einsatz neu auf dem Markt verfügbarer Formfaktoren an Geräten z.B. in Form von Tablet PCs den Aufwand für die oben beschriebenen Engineering-Tätigkeiten stark zu reduzieren vermag und, was noch viel wichtiger ist, die Bediener, typischerweise In- betriebsetzer oder Elektromeister, mehr in ihrem Metier abzuholen.
Hierbei existieren für die neuen Bedienanforderungen durch neue Formfaktoren bisher noch keine Konzepte. Obwohl hier mit dem Stylus als Zeichengerät ein neues Eingabegerät zur Verfügung steht, wird dieses lediglich als Maus-Ersatz verwendet.
Die bisher in den Engineering-Systemen bzw. speziellen Editoren eingesetzten Bedienphilosophien sind für den Umgang mit Stylus-basierten Systemen wie z.B. Tablet PCs nur begrenzt geeignet und lassen an vielen Stellen bezüglich ihrer Effektivität und Usability (Bedienbarkeit) zu wünschen übrig.
Die Erfindung beschreibt nun ein Verfahren, dass die Nutzung der neuen effektiven Möglichkeiten von Stylus-basierter Bedienung für Automatisierungs-Software erlaubt. Dies wird durch die Definition einer Gesten-Sprache erreicht, die durch den Anwender mit Hilfe des Stylus oder ähnlichen zukünftigen gestikorientierten Eingabesystemen ausgeführt wird.
Vorraussetzung für eine solche Vorgehensweise ist, dass es sich bei den zu bedienenden Applikationen um grafik-lastige Editoren handelt, die nur eine begrenzte Anzahl an Freiheitsgraden aufweisen. Weniger nützlich ist der Einsatz in text- lastigen Anwendungsfällen.
Tablet PCs z.B. mit einer Windows XP Tablet Editon sind sehr gut in der Text-Erkennung. Ihre Aufgabe ist es, dem Benutzer eine Schreibfläche zu bieten, wo er mit einem speziellen Stift schriftliche Notizen und Skizzen machen kann, die später z.B. als Besprechungsnotizen genutzt werden können. Ge- schriebener Text lässt sich durch die vorhandene Texterkennung in vom Computer erkannten Text konvertieren. Weiterhin sind einige Grafikprogramme (die speziell für Tablet PCs de- signed wurden) in der Lage einfache geometrische Formen (Linien, Kreise, Ellipsen, Rechtecke) zu erkennen und diese "glatt zu ziehen" nachdem sie vom Benutzer gemalt wurden. Im Rahmen der vorliegenden Erfindung wird nun das Bedien- Paradigma in die Applikationsführung eines Engineering- Systems übertragen und mit einer kontext-adaptiven Erkennung von Elementen und Symbolen ausgestattet.
Hierbei werden die einfachen Erkennungsalgorithmen für Grafik-Primitive sowie die Erkennung von Text genutzt, um deren Verhalten innerhalb einer beschränkten grafischen Applikation zur einfachen und natürlichen Bedienung von Engineering- Systemen heranzuziehen.
Wenn ein mittels Zeichnung eingegebenes Symbol oder Textelement nicht sofort endgültig erkannt werden kann, und man auf weiter einschränkende Eingaben warten kann, ist es im Rahmen einer vorteilhaften Ausbildung der Erfindung möglich, dem Benutzer eine Auswahl der möglichen Interpretationen anzubieten. Dies ist typischerweise der Fall, nachdem einem noch nicht eindeutig zuordenbaren Element ein einschränkendes Kriterium hinzugefügt wurde (typischerweise durch die Bestimmung einer relativen Position. Wird hier z.B. Text erkannt kann dieser als Filterkriterium für die Auswahlliste dienen (z.B. als "beginnt mit", oder "beinhaltet"-Einschränkung)
Besonders vorteilhaft ist es in diesem Falle, dem Benutzer die verbliebenen Auswahlmöglichkeiten visuell um die aktuell von ihm bearbeitete Stelle herum darzustellen werden. So muss er seinen Kontext nicht verlassen und kann mit einer einfachen "Geste" seine endgültige Auswahl treffen. Eine Geste ist hierbei eine besonders einfache Skizze oder ein Zeichen, hinter der ein Befehl liegt (beispielsweise ein großes X durch ein Symbol, wenn das Symbol gelöscht werden soll oder ein Ha- ken zur Bestätigung einer Eingabe.
Die Bereitstellung der Auswahlmöglichkeiten kann z.B. durch eine matrixartige Darstellung der Auswahlmöglichkeiten geschehen (z.B. unterhalb des Elementes). Ideal hierfür ist a- ber auch die Darstellung als ein erweitertes "Pie-Menu" (siehe z.B. auch http://www.piemenus.com), wie in der Figurenbeschreibung näher erläutert.
Eine andere Alternative der Auswahl aus einer Vielzahl an Möglichkeiten besteht durch vor- oder benutzerdefinierte Symboliken. Will der Benutzer z.B. einen häufig verwendeten Baustein immer wieder einfügen, so kann er diesen mit einem Symbol versehen. Ist erst einmal eine Geste zugeordnet, so kann der zugehörige Baustein durch das einfache Zeichnen (und Er- kennen) der Symbolik ausgewählt werden.
Einfügen von Symbolen oder Textelementen und deren Verknüpfung sind bereits deutliche Kommandos an das System. Aber auch das Löschen, Bestätigen etc. lässt sich auf einfache Gesten zurückführen (z.B. ein Haken für eine Bestätigung, ein Umkringeln einer Auswahlmöglichkeit zu dessen Übernahme, ein Durchstreichen für ein Löschen oder eine Ablehnung etc.). Da- durch wird der Benutzer nicht gezwungen das Paradigma zu verlassen und z.B. eine Dialogbox zu bestätigen.
Das beschriebene Prinzip ist über den kompletten Lebenszyklus einer Automatisierungsanlage einsetzbar - von der Planung, dem Engineering, der Inbetriebnahme, der Überwachung bis hin zur Wartung. Die Bedienung passt sich dabei zwar dem Anwendungsfall an, unterscheidet sich aber von ihrer Gestik etc. nicht. So kann das Verfahren bereits in Kundengesprächen Ein- satz, finden, wo die Aufgabe skizziert wird, schnell änderbar ist und so im direkten Dialog mit dem Kunden bereits ein weiterverwertbares Ergebnis entsteht (z.B. im Rahmen der Hardware-Auslegung einer Anlage, die dann direkt in den Hardware- Editor einfließen kann.
So findet das Prinzip nicht nur bei der Ersterstellung von Engineering-Lösungen Einsatz. Auch bei dem weiteren Umgang, z.B. der Simulation, dem Forcen etc. bedient sich der Anwender derselben, ihm bekannten Symbolsprache. Zusätzlich ist hier der Stylus bzw. das Zeichengerät als "Prüfspitze" einsetzbar, welche die spezielle Eigenschaften eines angewählten Elementes darstellt oder auslöst.
Weiterhin lassen sich so Anwenderszenarien in den Vordergrund rücken und die Grenzen der einzelnen Applikationen, die an einer Aufgabe beteiligt sind verwischen dabei. Kommentare, Anmerkungen, Fragen, Offene Punkte etc. können direkt in den Editoren frei platziert und vermerkt werden. Noch nicht bekannte Elemente (z.B. ein noch nicht definiertes Symbol oder eine Meldung) wird benutzt, vom System als noch nicht vorhanden erkannt und markiert und kann so mit einer einfachen Geste entsprechend erzeugt und verwendet werden (sozusagen: "Creation by using") .
Hierbei wird im Rahmen der erfindungsgemäßen Vorrichtung zwischen den unterschiedlichen Editoren, die ihre Regeln für den jeweiligen Anwendungs-Kontext zur Erkennung der eingegebenen Symbole und Textelemente haben, auf der Bedienoberfläche der Vorrichtung gewechselt, wenn dies vom Benutzer eingegeben wird. Dieser Wechsel kann beispielsweise wieder durch das Eingeben einfacher Gesten mittels des Zeichengeräts auf der Bedienoberfläche durch den Anwender bzw. Benutzer der Vorrichtung erfolgen.
Bei der Erkennung von gezeichneten Symbolen oder Textelementen sind zwei Möglichkeiten im Rahmen der Erfindung denkbar. In beiden Fällen erkennt das System unmittelbar nach dem
Zeichnen das Symbol bzw. Textelement und damit die Intention des Benutzers.
Bei der ersten Alternative wandelt es darauf hin sofort das erkannte Symbol in einen Repräsentanten des gezeichneten Elements um. Die vom Benutzer gezeichnete Darstellung geht dabei verloren. Der Vorteil bei dieser Ausführungsvariante der Erfindung liegt darin, dass das gezeichnete Element automatisch "sauber" bzw. geglättet dargestellt wird. Das System kann so- fort deutlich machen als was das System die Eingabe erkannt hat. Dies ist z.B. insbesondere bei Bausteinen notwendig, zu denen es weitere Informationen wie Eingänge und Ausgänge anzuzeigen gilt .
Dem Benutzer wird sein gezeichnetes Element hierbei jedoch
"unter der Nase" weggezogen. Eine Neuorientierung mag darauf hin notwendig sein. Gerade, wenn in diesem Fall auch Verbindungen durch Autorouter neu gezeichnet werden müssen, mag dies zu überraschenden Ergebnissen führen.
Die zweite Alternative wäre, das vom Benutzer Gezeichnete beizubehalten (ggf. unter leichter Glättung des Gezeichneten) und erst in einem zweiten Schritt eine Umwandlung durchzuführen. Dies bedeutet natürlich nicht, dass der Benutzer kein Feedback über erkannte Elemente erhält. Dies kann beispielsweise durch Strichstärken oder Farben passieren (Beispiel: Er malt in Blau und alle erkannten Bestandteile werden in Schwarz gewandelt) . Der Vorteil hierbei ist, dass der Benutzer nicht bei der Eingabe gestört wird. Die Zeichnungen können jedoch ziemlich schnell "chaotisch" werden.
Eine völlig freie Erkennung von gezeichneten Elementen ist extrem aufwändig, jedoch können typische Automatisierungs- Editoren ein Bewusstsein für ihre Umgebung besitzen: Hier ist nicht alles möglich, sondern das Platzieren von Blöcken, Verbinden von Kontakten etc. unterliegt strengen Regeln.
Weiterhin ist die Erstellung ein iterativer Prozess, d.h. der Benutzer zeichnet ein Element nach dem anderen. Dadurch kann jedes neu gezeichnete Symbol oder Textelement sofort einer Verarbeitung unterworfen werden.
Vor allem in der Inbetriebnahmephase einer engineerten Anlage kommen die Online- und Diagnose-Möglichkeiten eines Engineering-Systems ins Spiel. Hier besteht im Rahmen einer vorteilhaften Ausbildung der Erfindung die Möglichkeit, reale Werte in den Plänen anzuzeigen, die beispielsweise an den Eingängen bzw. Ausgängen von Bausteinen anliegen. Schon heute ist es möglich detailliertere Information (z.B. über Änderungszeitstempel des Wertes oder Quality of Service) zu erhalten, indem man mit der Maus über einen Eingang sich bewegt. Dieses Verhalten lässt sich mit einem Stylus viel einfacher Lösen, imitiert er doch die Verwendung einer Prüfspitze eines Messinstruments noch viel besser.
Im Rahmen der Erfindung besteht weiterhin die Möglichkeit Zeichenflächen mehrerer Vorrichtungen im Sinne eines Collabo- ration-Tool gemeinsam zu nutzen. Dies dient in erster Linie dazu, Skizzen zusammen zu erstellen und gemeinsam an einer (zeichnerischen) Lösung zu arbeiten. Durch die vorliegende Erfindung kann das heute in der Regel noch verwendete "dumme" Zeichenblatt in diesem Szenario mit intelligenten Erkennungsmechanismen kombiniert werden. Diese vorteilhafte Verwendung der erfindungsgemäßen Vorrichtung führt zu einer ganz neuen Qualität als Collaboration-Engineering Tool.
Die Interaktion zwischen den verschiedenen beteiligten Benut- zern kann hierbei über. ein Intra- oder Internet erfolgen. Die Benutzer können über einzelnen Vorrichtungen mit entsprechenden Bedienoberflächen an einer Engineering-Lösung arbeiten. Die Bedienoberflächen können hierbei als Clients, Thin Clients oder auch PDAs ausgebildet sein, wenn die Funktiona- lität, die heute in einem Tablet PC realisiert ist sich dort implementieren lässt.
Die Verknüpfung von Kontexten mit strukturierten grafisch skizzierten Elementen erhöht die Produktivität der Anwender und erlaubt sie, in ihrem Metier zu unterstützen. Dem Benutzer wird nicht mehr die Computer-Sicht der Dinge aufgezwungen, sondern er bewegt sich in einem Umfeld, wie er auch typischerweise seine Probleme sonst zu Papier bringen würde: Mit Stift und Block; nur ist hier der Block ein Tablet PC.
Weitere vorteilhafte Ausbildungen der Erfindung sind in den Unteransprüchen angegeben.
Im Folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsbeispiele näher beschrieben und erläutert .
Es zeigen:
FIG 1 Eine schematische Darstellung der Vorrichtung zur Bedienung eines Engineering-Systems FIG 2 Eine beispielhafte Darstellung der eingegebenen Skizze in einen KOP-Editor FIG 3 Eine beispielhafte Darstellung der eingegebenen Skizze in einen FUP-Editor
FIG 4 Eine beispielhafte Darstellung der eingegebenen Skizze in einen CFC-Editor FIG 5 Einen beispielhafte Darstellung einer Auswahlliste als Pie Menü
FIG 1 zeigt ein Schema der erfindungsgemäßen Vorrichtung mit einer Bedienoberfläche 1 zur Eingabe von Symbolen S und Textelementen T durch einen Benutzer U der Vorrichtung. Hierbei werden die Symbole S und Textelemente T mit Hilfe eines Zeichengeräts P, beispielsweise eines Stylus zur Bedienung eines Tablet PC vom Benutzer U eingegeben. Der Benutzer U zeichnet auf der Bedienoberfläche 1 so, wie er das auch auf einem normalen Blatt Papier mit einem Stift täte.
Vom Benutzer auf der Bedienoberfläche gezeichnete Symbole S und Textelemente T werden durch die Bestimmungsmittel 2 in Bezug auf ihre Position auf der Bedienoberfläche 1 bestimmt. Hierbei wird die Position der Symbole S und Textelemente T durch ihre absolute Lage auf der Bedienoberfläche 1 bestimmt oder die Position wird durch die relative Lage der Symbole S und Textelemente T zu anderen, bereits eingegebenen Symbolen S und Textelementen T berechnet. Auf Basis der berechneten
Position der Symbole S und Textelemente T wird mit Hilfe der Erkennungsmittel, die hinter den Symbolen S und Textelementen T liegende Semantik erkannt. Hierbei wird beispielsweise erkannt, dass eine gezeichnete Linie, welche zwei bereits er- kannte Symbole miteinander verbindet im Rahmen eines Kontaktplans eine Verbindung zur Kommunikation zwischen den zwei bereits erkannten Symbolen darstellt.
Zusätzlich kann für die Erkennung der Symbole S und Textele- mente T auch eine Kontext-Information KI zur Hilfe genommen werden. Die Kontext-Information KI wird von den Bereitstellungsmitteln 4 für die Erkennungsmittel 3 und die Bestimmungsmittel 2 zur Verfügung gestellt. Bei der Kontext-Information KI handelt es sich um bereits erkannte und in ihrer Position bestimmte Symbole S und Textelemente T, welche im Rahmen des verwendeten Editors mit seinen dahinter liegenden Regeln dazu verwendet werden, neu gezeichnete Elemente bzw. weitere Elemente auf einfachere Weise im Zusammenhang des Kontexts erkennen zu können. Die Kontext-Information KI wächst im Verlauf der Nutzung der Vorrichtung durch die Benutzer U an, und die Erkennung weiterer Symbole S und Text- elemente T wird im Verlauf des Erstellens einer Engineering- Lösung immer einfacher. Es handelt sich bei der Erstellung der Engineering-Lösungen mittels des erfindungsgemäßen Systems um einen iterativen Prozess. Die Erkennung muss hierbei nicht "augenblicklich" bei der Eingabe erfolgen. Man kann sich auch merken, wann Elemente eingegeben wurden und diese dann nach ihrer Reihenfolge danach (z.B. auf Tastendruck) er¬ kennen.
Im Folgenden wird das Verfahren der Erstellung einer Enginee- ring-Lösung schrittweise beschrieben:
Ein über die Bedienoberfläche 1 eingegebenes Symbol S oder Textelement T wird von den bisher schon erkannten Elementen separiert. Es wird die Entfernung zwischen dem Symbol S oder Textelement T und den restlichen, bereits erkannten, Elementen mithilfe der Bestimmungsmittel 2 berechnet . Bei den als "nah" eingestuften Elementen wird nun ebenfalls die relative Platzierung (z.B. "über", "unter", "links direkt angrenzend", "innerhalb", ...) bestimmt. Diese relative Platzierung kann auch auf der Bedienoberfläche 1 visualisiert werden, wodurch der Benutzer U noch weiter durch das Programm bei seiner Eingabe geführt wird.
Die Eingabe von Textelementen T ist hierbei kritisch, da ein gekritzelter Linienzug sich von vorne herein nur schwer als solcher erkennen lässt. Dies kann entweder durch den Versuch erreicht werden, alle ("textähnlichen") Elemente zu interpretieren, und aus der Grafikeingabe den Text zu erkennen. Dessen Qualität (z.B. handelt es sich dabei um sinnvolle Worte einer Sprache) kann dann als Faktor in den nachfolgenden Erkennungsalgorithmus von Grafik-Primitiven einfließen. Eine andere Möglichkeit ist die Unterstützung der Erkennung von Text durch einfach zu erkennenden Symbole oder Zeichen (z.B. Pfeile) .
Ein ausgewählter Erkennungsalgorithmus, der ggf. bereits auf- grund der absoluten oder der relativen Position ausgewählt wurde bzw. durch dessen Informationen gewichtet (paramet- riert) wird, interpretiert nun das Symbol S oder Textelement. Ist die Form oder die Lage "einzigartig", so kann das Symbol S oder Textelement T bereits eindeutig bestimmt werden. Wurde das Symbol S oder Textelement T als gültig erkannt wird es der Menge der bereits erkannten Elemente hinzugefügt und dient, durch die Bereitstellungsmittel, für den nächsten Schritt ebenfalls als Kontext-Information KI.
Häufiger ist es jedoch, dass das Symbol S oder Textelement T nur einer Gruppe von Möglichkeiten zugeordnet werden kann, z. B. "Es handelt sich um einen Baustein", klar ist dabei aber noch nicht, um welchen genau. In diesem Fall ist eine weitere Bestimmung durch den Benutzer U notwendig. In vielen Fällen kommt der relativen Position "innerhalb" (in manchen Fällen auch "über" oder "unter") eine besondere Bedeutung zu. Weitere Grafik-Primitive können so noch nicht eindeutig erkannte Symbole S oder Textelemente T letztlich exakt bestimmen.
Die Bedienung der Applikationen wird demnach durch das Zeichnen von grafischen Symbolen S durch den Benutzer U bestimmt. Die dabei eingesetzte Bildsprache entspricht weitgehend dem intuitiven Erfahrungsschatz des Benutzers U: Es werden die den Elementen (wie Blöcken, Kontakten, Bausteinen, etc.) zugrunde liegenden Grafik-Primitive verwendet. Dabei handelt es sich typischerweise um Linien, Rechtecke, Kreise etc., die auch in den, dem Umfeld häufig zugrunde liegenden Normen, beschrieben sind.
FIG 2 zeigt einen mit einem Tablet PC skizzierten KOP - noch ohne angewandte Analyse-Funktionalität der gezeichneten Elemente . Statt dass der Benutzer Kontakte in einen Stromlaufplan einfügt, malt er diese in die Stromlinien. Will er einen Abzweig einfügen, zeichnet er diesen ein. Will er einen Kontakt negieren macht er dies an diesem deutlich, z.B. indem er ihn durchstreicht . Will er einen Kontakt mit einem Symbol verknüpfen, notiert er den Namen des Symbols einfach über einem Kontakt. Will er einen Baustein einfügen, malt er diesen einfach als Kasten in einen Stromlaufplan, danach definiert er, um welche es sich dabei handelt. Die Definition kann bei- spielsweise über Auswahllisten erfolgen.
Beim KOP lassen sich durch die Zurückführung der gezeichneten Elemente auf Grafikprimitive z.B. Kontakte durch zwei senkrechte Linien erkennen. Sind diese in der Nähe einer Strom- laufschiene, so wird der Kontakt in diese eingefügt.
FIG 3 zeigt einen mit einem Tablet PC skizzierten FUP - ohne angewandte Analyse-Funktionalität der gezeichneten Elemente.
Der Benutzer U malt Und- und Oder-Glieder durch Kästen. Will er an einem solchen Und/Oder Glied einen neuen Eingang hinzufügen, zeichnet er ihn einfach ein. Die Verknüpfung der Bausteine erfolgt durch das Ziehen von Linien zwischen den Bausteinen, ohne auf die Linienführung groß zu achten. Will er einen Eingang negieren, markiert es dies an diesem, z.B. in¬ dem er einen Kreis vor dem Eingang malt, wie es in solchen Schaltplänen üblich ist.
FIG 4 zeigt einen mit einem Tablet PC skizzierten CFC - noch ohne angewandte Analyse Funktionalität der gezeichneten Ele¬ mente. Der Benutzer zeichnet Rechtecke und definiert, um wel¬ che Bausteine es sich dabei handelt. Die Verschaltung der Ein- und Ausgänge geschieht durch das Malen von Linien.
FIG 5 zeigt ein Beispiel für die Auswahl aus Listen am Beispiel der Darstellung von Auswahlmöglichkeiten als Pie Menü. Der Benutzer U zieht z.B. ein Rechteck um das Plazieren eines Bausteins bzw. Symbols S oder Textelements T zu symbolisieren. Noch ist unklar, um welchen Baustein es sich dabei handelt. Typischerweise würde der Benutzer U jetzt die Bibliothek nach dem Baustein durchsuchen, den er möchte. Dies würde ihn jedoch bei seiner Arbeit behindern. Vielmehr nutzt er einen Filter als ein weiteres Element dieser Erfindung. Er weiß, er benötigt einen PID Regler. Er hat bereits durch das Zeichnen des Rechtecks signalisiert, dass er einen Block platzieren möchte. So schreibt er einfach in den "Baustein in spe" ein Suchkriterium. Daraufhin wird ihm eine eingeschränkte Liste der möglichen zu platzierenden Bausteine an Ort und Stelle angezeigt. Er wählt einen aus und der Baustein ist platziert .
Ebenso kann dies bei Eindeutigkeit auch sofort erfolgen. Erkennt die Analyse beispielsweise ein "&" in einem Block oder ein ">= 1", so ist dies typischerweise (in einem FUP oder CFC) eindeutig und kann dann ohne Nachfrage zum Einfügen eines Und bzw. Oder Glieds führen.
Will man in einem Editor ein nicht verwendetes Symbol S oder Textelement T verwenden, kann die Vorrichtung es als noch nicht vorhanden erkennen und wie in der Figur skizziert, hier mit dem Bezugszeichen M versehen, markieren. Dann kann man vor Ort, wieder durch Auswertung des Positionsprinzips bei der Analyse, diese Symbole S oder Textelemente T beispielsweise einfach in die Symboltabelle eintragen, indem eine Verknüpfung der Daten skizziert wird (siehe z.B. das skizzierte FUP oder CFC Beispiel) .
Ein weiteres typisches Einsatzgebiet sind beispielsweise Kom¬ mentare, die vor Ort mit Teilen den Plänen oder auch mit verbundenen Objekten verknüpft werden können. Dies kann, wie im Bild mit Hilfe einer Sprechblase oder mit einer Verknüpfungs- geste (ähnlich dem Pfeil, mit dem man beispielsweise einen neuen Symboltabelleneintrag erreichen kann) durchgeführt werden.
Im Rahmen der Vorrichtung und des Verfahrens können benutzer- definierte Symboliken, wie beispielsweise die Sprungfunktion im Block im CFC oder FUP Bild erstellt werden. Diese könnte einer oder einer Reihe von Elementen aus dem Bausteinkatalog zugeordnet sein. Durch Eingabe des zugeordneten Symbols S oder Textelement T wird dadurch der Katalog auf die mit die- sem Symbol S oder Textelement T verknüpften Einträge reduziert angezeigt.
Zusammenfassend betrifft die Erfindung ein System, eine Vorrichtung sowie ein Verfahren zur kontextabhängigen Bedienung von Engineering-Systemen im Automatisierungsumfeld. Hierbei wird beispielsweise ein Tablet PC zur Eingabe von Symbolen oder Textelementen durch einen Benutzer bei der Erstellung von Kontakt- oder Funktionsplänen verwendet. Der Benutzer kann seine Engineering-Lösung guasi skizzieren; ähnlich wie auf einem Zeichenblatt. Die Symbole und Textelemente werden von der Vorrichtung in Bezug auf ihre Semantik erkannt.

Claims

Patentansprüche
1. Vorrichtung zur Bedienung von Engineering-Systemen, insbesondere im Automatisierungsumfeld, mit - einer Bedienoberfläche (1) zur Eingabe von grafischen Symbolen und/oder Textelementen (S,T) durch einen Benutzer (U) mittels eines Zeichengeräts (P) ,
- Bestimmungsmitteln (2) zur Bestimmung der absoluten Position der eingegebenen Symbole und/oder Textelemente (S,T) und/oder zur Bestimmung der relativen Position (Pos) der eingegebenen Symbole und/oder Textelemente (S,T) im Verhältnis zu bereits vorhandenen Symbolen und/oder Textelementen (S, T) ,
- Erkennungsmitteln (3) zur Erkennung der eingegebenen Sym- bole und/oder Textelemente (S,T) durch Interpretation der absoluten und/oder relativen Position (Pos) und/oder einer vorhandenen Kontext-Information (KI) und/oder durch vom Benutzer (U) über die Benutzeroberfläche (1) tätigbare Eingaben und - Bereitstellungsmitteln (4) zur Bereitstellung erkannter Symbole und/oder Textelemente (S,T) für die Bestimmungsmittel (1) und/oder die Erkennungsmittel (2) als Kontext- Information (KI) zur Bestimmung der Position und Erkennung weiterer Symbole und/oder Textelemente (S,T).
2. Vorrichtung nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t, dass ein Anwendungs-Kontext (AK) , in dem die Eingabe durch den Anwender erfolgt vorgebbar ist, wobei der Anwendungs- Kontext (AK) während der Benutzung wechselbar ist.
3. Vorrichtung nach den Ansprüchen 1 oder 2, d a d u r c h g e k e n n z e i c h n e t, dass in Abhängigkeit des Anwendungs-Kontexts (AK) Regeln für die Bestimmung der Position und die Erkennung der Symbole und/oder Textelemente (S,T) vorgesehen sind.
4. Vorrichtung nach einem der Ansprüche 1 bis 3, d a d u r c h g e k e n n z e i c h n e t, dass die Bestimmungsmittel (2) zur Bestimmung der Position neu eingegebener Symbole und/oder Textelemente (S,T) durch Berechnung der Entfernung zu bereits bestehenden und/oder erkannten Symbolen und/oder Textelementen (S) vorgesehen sind.
5. Vorrichtung nach einem der Ansprüche 1 bis 4, d a d u r c h g e k e n n z e i c h n e t, dass die Bedienoberfläche (1) zur Visualisierung der Position der Symbole und/oder Textelemente (S,T) vorgesehen ist.
6. Vorrichtung nach einem der Ansprüche 1 bis 5, d a d u r c h g e k e n n z e i c h n e t, dass die Erkennungsmittel (3) zur Erkennung von Textelementen (T) anhand ihrer sprachlichen Qualität vorgesehen sind.
7. Vorrichtung nach einem der Ansprüche 1 bis 5, d a d u r c h g e k e n n z e i c h n e t, dass die Erkennungsmittel (3) zur Erkennung von Textelementen (T) durch die Zuweisung spezifischer Symbole (S) vorgesehen sind.
8. Vorrichtung nach einem der Ansprüche 1 bis 7, d a d u r c h g e k e n n z e i c h n e t, dass die Erkennungsmittel (3) zur Auswahl von Erkennungsalgorithmen auf Basis der bestimmten Position (Pos) und/oder einer Kontext-Information (KI) vorgesehen sind.
9. Vorrichtung nach Anspruch 8, d a d u r c h g e k e n n z e i c h n e t, dass ein ausgewählter Erkennungsalgorithmus auf Basis der bestimmten Position (Pos) und/oder einer Kontext-Information (KI) parametrierbar ist.
10. Vorrichtung nach einem der Ansprüche 1 bis 9, d a d u r c h g e k e n n z e i c h n e t, dass die Vorrichtung zur Darstellung und/oder zum Angebot von Auswahllisten (L) mit spezifischen Symbolen und/oder Textelementen (S,T) und/oder zusätzliche Angaben zu vom Benutzer (U) gezeichneten Symbolen (S) vorgesehen ist.
11. Vorrichtung nach Anspruch 10, d a d u r c h g e k e n n z e i c h n e t, dass die Auswahllisten (L) durch vom Benutzer (U) eingebbare Filter-Kriterien einschränkbar sind.
12. Vorrichtung nach einem der Ansprüche 10 oder 11, d a d u r c h g e k e n n z e i c h n e t, dass die Elemente einer Auswahlliste (L) auf der Bedienoberfläche (1) dem zu spezifizierenden Symbol und/oder Textele- ment (S,T) räumlich zugeordnet und zur direkten Auswahl durch den Benutzer vorgesehen sind.
13. Vorrichtung nach einem der Ansprüche 1 bis 12, d a d u r c h g e k e n n z e i c h n e t, dass die Eingabe von Befehlen durch einen Benutzer (U) mittels spezieller Gesten vorgesehen ist.
14. Vorrichtung nach einem der Ansprüche 1 bis 13, d a d u r c h g e k e n n z e i c h n e t, dass die Definition von Symboliken für ausgewählte Bausteine durch den Benutzer (U) vorgesehen ist.
15. Vorrichtung nach einem der Ansprüche 1 bis 14, d a d u r c h g e k e n n z e i c h n e t, dass das Zeichengerät (P) zur Verwendung als Erfassungsmittel, insbesondere als Prüfspitze für eine Online-Diagnose und/oder eine Simulation vorgesehen ist.
16. Vorrichtung nach einem der Ansprüche 1 bis 15, d a d u r c h g e k e n n z e i c h n e t, dass die Vorrichtung zur automatischen Umwandlung der auf der Bedienoberfläche (1) gezeichneten Symbole und/oder Textele- mente (S,T) in Repräsentanten nach Bestimmung der Position und Erkennung vorgesehen ist.
17. Vorrichtung nach einem der Ansprüche 1 bis 15, d a d u r c h g e k e n n z e i c h n e t, dass die Vorrichtung zur Umwandlung der auf der Bedienoberfläche (1) gezeichneten Symbole und/oder Textelemente in Repräsentanten auf Befehl vom Benutzer hin vorgesehen ist.
18. Vorrichtung nach Anspruch 17, d a d u r c h g e k e n n z e i c h n e t, dass die Vorrichtung zur Visualisierung der bereits bestimmten und erkannten Symbole und/oder Textelemente (S,T) durch spezielle grafische Darstellung vorgesehen ist.
19. System bestehend aus zwei oder mehr Vorrichtungen nach einem der Ansprüche 1 bis 18, d a d u r c h g e k e n n z e i c h n e t, dass die Vorrichtungen zur Bedienung eines Engineering- Systems durch mehrere Anwender vorgesehen sind.
20. Verfahren zur Bedienung von Engineering-Systemen, insbesondere im Automatisierungsum eld, bei dem
- grafische Symbole und/oder Textelemente (S,T) durch einen Benutzer (U) mittels eines Zeichengeräts (P) eingegeben werden,
- die absolute Position der eingegebenen Symbole und/oder Textelemente (S,T) und/oder die relative Position (Pos) der eingegebenen Symbole und/oder Textelemente (S,T) im Verhältnis zu bereits vorhandenen Symbolen und/oder Textelementen (S,T) bestimmt wird,
- die eingegebenen Symbole und/oder Textelemente (S,T) durch Interpretation der absoluten und/oder relativen Position (Pos) und/oder einer vorhandenen Kontext-Information (KI) und/oder durch vom Benutzer (U) über die Benutzeroberfläche (1) eingebbare Signale erkannt werden und - erkannte Symbole und/oder Textelemente (S,T) für die Bestimmungsmittel (1) und/oder die Erkennungsmittel (2) als Kontext-Information (KI) zur Bestimmung der Position und Erkennung neuer Symbole und/oder Textelemente (S,T) be- reitgestellt werden.
21. Verfahren nach Anspruch 20, d a d u r c h g e k e n n z e i c h n e t, dass ein Anwendungs-Kontext (AK) , in dem die Eingabe durch den Anwender erfolgt vorgegeben wird, wobei der Anwendungs- Kontext (AK) während der Benutzung gewechselt werden kann.
22. Verfahren nach den Ansprüchen 20 oder 21, d a d u r c h g e k e n n z e i c h n e t, dass in Abhängigkeit des Anwendungs-Kontexts (AK) Regeln für die Bestimmung der Position und die Erkennung der Symbole und/oder Textelemente (S,T) vorgegeben werden.
23. Verfahren nach einem der Ansprüche 20 bis 22, d a d u r c h g e k e n n z e i c h n e t, dass die Position der Symbole und/oder Textelemente (S,T) durch die Entfernung zu bereits bestehenden und/oder erkannten Symbolen und/oder Textelementen (S) berechnet wird.
24. Verfahren nach einem der Ansprüche 20 bis 23, d a d u r c h g e k e n n z e i c h n e t, dass die Position der Symbole und/oder Textelemente (S,T) vi- sualisiert wird.
25. Verfahren nach einem der Ansprüche 20 bis 24, d a d u r c h g e k e n n z e i c h n e t, dass Textelemente (T) durch ihre sprachliche Qualität erkannt werden.
26. Verfahren nach einem der Ansprüche 20 bis 24, d a d u r c h g e k e n n z e i c h n e t, dass Textelemente (T) durch die Zuweisung spezifischer Symbole (S) erkannt werden.
27. Verfahren nach einem der Ansprüche 20 bis 26, d a d u r c h g e k e n n z e i c h n e t, dass Erkennungsalgorithmen auf Basis der bestimmten Position (Pos) und/oder einer Kontext-Information (KI) ausgewählt werden.
28. Verfahren nach Anspruch 27, d a d u r c h g e k e n n z e i c h n e t, dass ein ausgewählter Erkennungsalgorithmus auf Basis der bestimmten Position (Pos) und/oder einer Kontext-Information (KI) parametriert wird.
29. Verfahren nach einem der Ansprüche 20 bis 28, d a d u r c h g e k e n n z e i c h n e t, dass Auswahllisten (L) mit spezifischen Symbolen und/oder Textelementen (S,T) und/oder zusätzliche Angaben zu vom Be- nutzer (U) gezeichneten Symbolen (S) dargestellt werden.
30. Verfahren nach Anspruch 29, d a d u r c h g e k e n n z e i c h n e t, dass die Auswahllisten (L) durch vom Benutzer (U) eingebbare Filter-Kriterien eingeschränkt werden.
31. Verfahren nach einem der Ansprüche 29 oder 30, d a d u r c h g e k e n n z e i c h n e t, dass die Elemente einer Auswahlliste (L) auf der Bedienober- fläche (1) dem zu spezifizierenden Symbol und/oder Textelement (S,T) räumlich zugeordnet sind und durch den Benutzer direkt ausgewählt werden.
32. Verfahren nach einem der Ansprüche 20 bis 31, d a d u r c h g e k e n n z e i c h n e t, dass Befehle durch einen Benutzer (U) mittels spezieller Gesten eingegeben werden.
33. Verfahren nach einem der Ansprüche 20 bis 32, d a d u r c h g e k e n n z e i c h n e t, dass ausgewählte Bausteine durch den Benutzer (U) über Symbo- liken definiert werden.
34. Verfahren nach einem der Ansprüche 20 bis 33, d a d u r c h g e k e n n z e i c h n e t, dass die Zeichenmittel (P) als Erfassungsmittel, insbesondere Prüfspitze, für eine Online-Diagnose und/oder eine Simulation verwendet werden.
35. Verfahren nach einem der Ansprüche 20 bis 34, d a d u r c h g e k e n n z e i c h n e t, dass die auf der Bedienoberfläche (1) gezeichneten Symbole und/oder Textelemente (S,T) nach Bestimmung der Position und Erkennung automatisch in Repräsentanten umgewandelt werden.
36. Verfahren nach einem der Ansprüche 20 bis 34, d a d u r c h g e k e n n z e i c h n e t, dass die auf der Bedienoberfläche (1) gezeichneten Symbole und/oder Textelemente auf Befehl vom Benutzer hin in Repräsentanten umgewandelt werden.
37. Verfahren nach Anspruch 36, d a d u r c h g e k e n n z e i c h n e t, dass die bereits bestimmten und erkannten Symbole und/oder Textelemente (S,T) durch spezielle grafische Darstellung vi- sualisiert werden.
38. Verfahren nach einem der Ansprüche 20 bis 37, d a d u r c h g e k e n n z e i c h n e t, dass mehrere Anwender ein Engineering-System gemeinsam bedienen.
PCT/EP2004/052611 2003-12-23 2004-10-21 Kontextabhängige bedienung von engineering-systemen über zeichnerische eingaben WO2005064423A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10361511.3 2003-12-23
DE10361511A DE10361511A1 (de) 2003-12-23 2003-12-23 Kontextabhängige Bedienung von Engineering-Systemen über zeichnerische Eingaben

Publications (2)

Publication Number Publication Date
WO2005064423A2 true WO2005064423A2 (de) 2005-07-14
WO2005064423A3 WO2005064423A3 (de) 2005-10-20

Family

ID=34706648

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2004/052611 WO2005064423A2 (de) 2003-12-23 2004-10-21 Kontextabhängige bedienung von engineering-systemen über zeichnerische eingaben

Country Status (2)

Country Link
DE (1) DE10361511A1 (de)
WO (1) WO2005064423A2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8627278B2 (en) 2004-06-07 2014-01-07 The Mathworks, Inc. Freehand system and method for creating, editing, and manipulating block diagrams
US10346510B2 (en) * 2015-09-29 2019-07-09 Apple Inc. Device, method, and graphical user interface for providing handwriting support in document editing

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1876553A1 (de) * 2006-07-07 2008-01-09 Abb Research Ltd. Verfahren und System für die Konstruktion von Prozessgrafiken mittels Skizzenerkennung
EP2328050A1 (de) * 2009-11-30 2011-06-01 Siemens Aktiengesellschaft Verfahren zum Betreiben eines Engineering-Systems und Engineering-System

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0279158A2 (de) * 1987-02-19 1988-08-24 GTX Corporation Verfahren und Gerät zur Erkennung graphischer Symbole
EP0283267A2 (de) * 1987-03-17 1988-09-21 Kabushiki Kaisha Toshiba Einrichtung und Schnittstelle zur Wiederauffindung von Informationen
US20020141643A1 (en) * 2001-02-15 2002-10-03 Denny Jaeger Method for creating and operating control systems

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5463696A (en) * 1992-05-27 1995-10-31 Apple Computer, Inc. Recognition system and method for user inputs to a computer system
JPH06168019A (ja) * 1992-11-30 1994-06-14 Matsushita Electric Ind Co Ltd Ｎｃ自動プログラミング装置
US5613019A (en) * 1993-05-20 1997-03-18 Microsoft Corporation System and methods for spacing, storing and recognizing electronic representations of handwriting, printing and drawings
DE20101768U1 (de) * 2001-01-31 2002-03-14 Siemens Ag Anzeige- und Bedienvorrichtung, insbesondere Touch Panel

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0279158A2 (de) * 1987-02-19 1988-08-24 GTX Corporation Verfahren und Gerät zur Erkennung graphischer Symbole
EP0283267A2 (de) * 1987-03-17 1988-09-21 Kabushiki Kaisha Toshiba Einrichtung und Schnittstelle zur Wiederauffindung von Informationen
US20020141643A1 (en) * 2001-02-15 2002-10-03 Denny Jaeger Method for creating and operating control systems

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PATENT ABSTRACTS OF JAPAN Bd. 018, Nr. 500 (P-1802), 19. September 1994 (1994-09-19) & JP 06 168019 A (MATSUSHITA ELECTRIC IND CO LTD), 14. Juni 1994 (1994-06-14) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8627278B2 (en) 2004-06-07 2014-01-07 The Mathworks, Inc. Freehand system and method for creating, editing, and manipulating block diagrams
US10346510B2 (en) * 2015-09-29 2019-07-09 Apple Inc. Device, method, and graphical user interface for providing handwriting support in document editing
US11481538B2 (en) 2015-09-29 2022-10-25 Apple Inc. Device, method, and graphical user interface for providing handwriting support in document editing

Also Published As

Publication number Publication date
WO2005064423A3 (de) 2005-10-20
DE10361511A1 (de) 2005-07-28

Similar Documents

Publication Publication Date Title
DE10006126B4 (de) Tragbarer Computer in einer Prozesssteuerungsumgebung
EP3570164B1 (de) Verfahren und system zum generieren einer mobilen applikation aus einer desktop-anwendung
EP1638028A2 (de) Rechnergestützte Erzeugung und Änderungsmanagement für Bedienoberflächen
DE202024102344U1 (de) Auf künstlicher Intelligenz basierendes intelligentes Benutzeroberflächen-Bewertungssystem
EP0859987A2 (de) Computergestütztes arbeits- und informationssystem und zugehöriger baustein
EP0838054B1 (de) Verfahren und steuereinrichtung für eine graphische steuerung von abläufen in einem netzwerkmanagementsystem
WO2005064423A2 (de) Kontextabhängige bedienung von engineering-systemen über zeichnerische eingaben
DE4027348A1 (de) Baumodell einer menschlichen schnittstelle
EP3956750A1 (de) System und verfahren zur simulation von industrieprozessen
WO2013000689A1 (de) Steuerung eines technischen systems mittels digitalstift
DE102017216359A1 (de) Verfahren und System zur Kommunikation und Zugänglichmachung von Information
WO2022207027A1 (de) Verfahren und vorrichtung zur automatischen analyse eines schaltbildes
WO2016188669A1 (de) Verfahren und system zur rechnergestützten überführung eines architektur-konzepts eines technischen systems in eine architekturspezifikation
DE69811127T2 (de) Verfahren um objekte in den arbeitsbereich in eine rechneranwendung einzubringen
WO2013037987A1 (de) Identifikation wiederverwendbarer mechatronischer komponenten in der fabrikautomation
DE102004010203B4 (de) Verfahren, Vorrichtung und Computerprogramm zur Erstellung einer Projektierung für ein Bediengerät einer Automatisierungskomponente
EP1226475B1 (de) Verfahren zum erstellen von leittechnik-programmcode
EP0588108A2 (de) Anordnung für die Bedienung einer rechnergesteuerten Fertigungseinrichtung
EP2942678B1 (de) Zuweisungsrevolver
DE69228296T2 (de) System zur Verknüpfung von Audiokomponenten mit Stellen auf einer Datenverarbeitungssystemanzeige zum Erzeugen von Audioausgängen
EP1043657A1 (de) Softwareobjekt, System und Verfahren für ein Automatisierungsprogramm mit Funktionsregeln mit Mehrfachnutzung für verschiedene Programmierwerkzeuge
EP1349057A2 (de) Verfahren zur optischen Hervorhebung von Informationen eines Bereichs der Benutzeroberfläche einer Computeranwenderstation
EP4270124A1 (de) Verfahren zum betreiben einer fertigungsanlage, computerprogramm und elektronisch lesbarer datenträger
EP1122632A1 (de) Verfahren und Datenverarbeitungssystem zur Koordinierung von Anwendungen einer Computer-Software
EP2180440A1 (de) Verfahren zum rechnergestützten Verarbeiten von digitalen Beschreibungsdaten eines technischen Systems

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase