WO2008052789A2 - Digitales informationsverarbeitungssystem mit benutzerinteraktionselement - Google Patents

Digitales informationsverarbeitungssystem mit benutzerinteraktionselement Download PDF

Info

Publication number
WO2008052789A2
WO2008052789A2 PCT/EP2007/009519 EP2007009519W WO2008052789A2 WO 2008052789 A2 WO2008052789 A2 WO 2008052789A2 EP 2007009519 W EP2007009519 W EP 2007009519W WO 2008052789 A2 WO2008052789 A2 WO 2008052789A2
Authority
WO
WIPO (PCT)
Prior art keywords
user interaction
information processing
processing system
digital information
application
Prior art date
Application number
PCT/EP2007/009519
Other languages
English (en)
French (fr)
Other versions
WO2008052789A3 (de
Inventor
Andreas Butz
Lucia Terrenghi
Otmar Hilliges
Original Assignee
Ludwig-Maximilians-Universität
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ludwig-Maximilians-Universität filed Critical Ludwig-Maximilians-Universität
Publication of WO2008052789A2 publication Critical patent/WO2008052789A2/de
Publication of WO2008052789A3 publication Critical patent/WO2008052789A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04807—Pen manipulated menu
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the invention relates to a digital information processing system having a display device for displaying information and a physical user interaction element.
  • a man-machine interface of a digital information processing system is essentially formed of all the interaction elements with which the user can perform interactions.
  • Such user interaction elements can be virtual or physical in nature.
  • Virtual user interaction elements are programmatically associated with certain functions and are used in particular in graphical user interface systems to perform standard operations. Examples of such virtual user interaction elements are buttons, scrollbars or checkboxes, but also links and menus. These are also called “widgets" virtual interaction elements of a graphical user interface usually with a physical interaction element, such as a mouse, which in turn is controlled by a user (human).
  • the usual workplace-bound digital information processing systems with their virtual and physical user interaction elements are subject to severe restrictions, in particular with regard to the ease of use.
  • the physical user interaction elements (keyboard, mouse, etc.) used on a typical PC workstation are general purpose tools that can handle a variety of applications, but for that very reason can not allow for a specific ease of use tailored to a particular application.
  • the present invention is based on a future presentation in which digital information processing systems are ubiquitous and fit seamlessly into the work and home environment. So z. B. the walls of a dwelling or furnishings such as tables in addition to their actual function additionally serve as interactive display devices of information processing systems.
  • the invention relates to the operation of the digital information processing systems in such an environment that does not provide fixed workstations with a personal computer and associated video display, but large integrated interactive displays or even a "continuous information space" with numerous interaction possibilities (see the publication "A mixed reality room following the generalized peephole metaphor" by A. Butz and A. Krüger, in IEEE Computer Graphics & Applications, 2006.)
  • the motivation of the invention is the effort to create an equivalent of purely virtual widgets. create in a new environment that does not include standard displays in the form of ordinary monitors and no computer-bound input devices such as a keyboard or mouse.
  • the object of the invention is to provide a digital information processing system with a new type of user interaction, the one to the respective
  • Application tailored and comfortable operation is particularly suitable for an environment with a contiguous information space and for the simultaneous interaction of multiple users.
  • a digital information processing system with a display device for reproducing information and a physical user interaction element, which is characterized in that the user interaction element is assigned a specific virtual application that makes use of the display device, and that the user interaction element as a movable control element the application serves.
  • An application is by no means to be understood here as a driver program for a physical device or any other operating or supporting system or auxiliary program, but as a special application program that performs useful functions for the user.
  • the invention of systems with previously common input devices such as mouse, keyboard, etc. should be differentiated.
  • the invention provides for user interaction with a virtual application that is started and operated by a physical control specifically tailored to that application.
  • a virtual application that is started and operated by a physical control specifically tailored to that application.
  • hybrid widget which has a physical component (hardware) and a virtual component (application program with graphical interaction elements) assigned to it, but can be considered as an object overall.
  • the hardware component of the user interaction element is preferably designed so that it suggests the associated application already by their appearance, as is the case with many everyday objects of the real environment.
  • the possibility of personalization allows the user an external customization of "his" user interaction element, thus also solving the identification problem of using a display device through multiple user interaction elements, as will be explained later.
  • the virtual application associated with the physical part of the user interaction element enables sophisticated graphical representations and operations on digital data. This creates a strong connection between the application and the physical control.
  • the user interaction element meets some requirements for comfortable manual handling, but is not subject to the limitations of a purely physical object.
  • the logical union of the virtual and physical parts of the user interaction element can actually be expressed in the form that at least part of the application is stored in the user interaction element. This has the advantage that the application in the respective digital information processing system does not have to be (completely) preinstalled and is therefore not localized.
  • Spatial constraints within a contiguous information space environment are eliminated by rendering the information of the application on the display device dependent on the position of the user interaction element on the display device.
  • the user can use the application anywhere on the display device, which may have a very large display or a plurality of spatially separated displays coupled together.
  • This data can be specific user-specific settings, but also content (images, music, etc.). This way the content can be optional at an other place,
  • the application should be started automatically. This is helped by a recognizer that launches the application as soon as it detects the presence of the user interaction element. Presence here is to be understood in particular as meaning the placement of the user interaction element on the display device.
  • the detection itself can be done in a known manner z. B. by means of contact, camera, RFI D technology or the like.
  • the user interaction element can be assigned to a specific user.
  • the system can distinguish from which user which entries originate.
  • the invention provides that the user interaction element carries an individual coding and is therefore uniquely identifiable.
  • the user interaction element In many applications it is expedient for the user interaction element to have input means and / or output means for inputting or outputting application-specific information. Enhanced ease of use can be achieved in some applications by having the input means movable and movement of the input means inducing an action in the application that correlates to the movement of the input means. Further features and advantages of the invention will become apparent from the following description of specific embodiments and from the accompanying drawings, to which reference is made.
  • Figures 1 and 2 are illustrations of a first embodiment of the invention.
  • FIG. 3 to 10 illustrations of a second embodiment of the invention.
  • the invention will first be described using the example of managing, in particular viewing and sorting, the images of a digital photo album.
  • the digital information processing system comprises in this application, a display device 10, the z. B. is inserted into the surface of a table, and a user interaction element 12 in the form of a small scissors-like device (see Figures 1 and 2), which is hereinafter referred to as scissors for simplicity.
  • the application associated with the pair of scissors 12 is started with the aid of a recognition device, wherein the application-related information and virtual instruments are displayed in the immediate vicinity of the pair of scissors 12.
  • the pair of scissors 12 is associated with a particular user and is recognized as such by the information handling system.
  • On the display device 10 previously created image collections of the user in the form of image stacks 14 are displayed.
  • the user can now use the pair of scissors 12 to move a virtual lens 16 over the image stacks 14, which then unfold in preview views 18 (thumbnail views) as shown in FIG. Only images that pass user-defined filters will be displayed. In this way, it is possible to "browse" through the image collections using personal search criteria.
  • the scissors-like device 12 is modeled on a common everyday object, namely an ordinary pair of scissors, and suggests this
  • a further development of this embodiment provides that the user uses another physical user interaction element with the other hand.
  • the user can use a pen 20 to process the images in the zoom view determined by the scissors 12.
  • the non-dominant hand 22 operates the scissors while the dominant hand 24 performs the machining with the stylus 20.
  • Images selected from the image collections can be stored in temporary collections in virtual boxes. These images can be shared with another user who is at the same time with their own
  • User interaction element on the display device 10 acts to be pushed.
  • the user interaction element 12 is freely positionable on the display device, wherein the position of the user interaction element 12 is queried by the application and a change in position (movement of the entire pair of scissors 12 or only their gripper arms 12a, 12b) an input for the
  • the information processing system may further include a projector or a vertical display so that selected images may be displayed as decorative virtual wallpaper.
  • the digital information processing system in this case comprises a display device 10 and a physical user interaction element 12 '(control element) and a virtual application associated therewith.
  • the user interaction element 12 'and the application will be described below
  • other components such as a pen and a projector may be provided.
  • PhotoHelix is based on an event-based classification of images, i. H.
  • the images are not only sorted chronologically, but can also be used for certain events (Christmas, birthday,
  • the physical control element 12 'of the PhotoHelix consists essentially of a rotatable input device, i. H. the whole device or a part thereof is rotatable (see Figure 3). For certain operations, it may be useful for the control 12 'to have one or more keys.
  • a spiral 26 is represented, which represents a chronological timeline.
  • the oldest images or events are the beginning of the spiral 26 in the middle, the youngest images / events associated with the outer end of the spiral 26.
  • the application further displays on the display 10 a virtual lens 28, and a virtual soap bubble 32.
  • the lens 28 is initially positioned over the end of the scroll 26 where, in addition to the time indications 34 (eg, year, month, day, time), also timed events in the form of boxes 36 or the like are shown (see Figure 4).
  • the time indications 34 eg, year, month, day, time
  • timed events in the form of boxes 36 or the like are shown (see Figure 4).
  • previews 38 of the images of the events detected therein are displayed in the area adjacent to the lens 28, previews 38 of the images of the events detected therein are displayed.
  • the soap bubble 32 is a tool for exchanging and presenting images, which will be explained later.
  • Rotation of the control element 12 causes rotation of the virtual scroll 26 under the lens 28. In this way, preview views 38 of images of other events may be made visible.
  • the rotation of the operating element 12 is preferably carried out with the non-dominant hand 22.
  • Creation date directly connected to the timeline.
  • the associated images are displayed, preferably with the dominant nant hand 24 - circled by means of a pen 20 or with a finger and grouped with it.
  • the name of the event can also be done by means of the pen 20 or finger.
  • the new event and associated images are linked to the timeline (see Figures 5 and 6).
  • Images can be drawn into the soap bubble 32.
  • the content of the soap bubble 32 is displayed enlarged elsewhere, for. B. by means of a projector on a wall or in a wall-integrated display 40 (see Figure 7).
  • Images can be freely placed in the soap bubble 32 (see Figure 8), erased by extraction, or copied by dragging them onto the timeline (see Figure 9).
  • By a short “blow” on the soap bubble 32 with the pin 20 or finger it can be made to burst, which corresponds to the cancellation of the grouping of images therein (see Figures 10a and 10b).

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Ein digitales Informationsverarbeitungssystem umfaßt eine Anzeigevorrichtung (10) zur Wiedergabe von Informationen und ein physikalisches Benutzerinteraktionselement (12; 12'). Dem Benutzerinteraktionselement (12; 12') ist eine bestimmte virtuelle Anwendung zugeordnet, die Gebrauch von der Anzeigevorrichtung (10) macht. Das Benutzerinteraktionselement (12; 12') dient als bewegbares Bedienelement der Anwendung.

Description

Digitales Informationsverarbeitungssystem mit Benutzerinteraktionselement
Die Erfindung betrifft ein digitales Informationsverarbeitungssystem mit einer Anzeigevorrichtung zur Wiedergabe von Informationen und einem physikalischen Benutzerinteraktionselement.
Auf dem Gebiet der Mensch-Computer-Interaktion werden fortlaufend Anstrengungen unternommen, digitale Informationsverarbeitungssysteme und deren Mensch-Maschine-Schnittstellen benutzergerechter zu gestalten. Eine Mensch- Maschine-Schnittstelle eines digitalen Informationsverarbeitungssystems wird im wesentlichen aus allen Interaktionselementen gebildet, mit denen der Benutzer Interaktionen durchführen kann. Solche Benutzerinteraktionselemente können virtueller oder physikalischer Natur sein. Virtuelle Benutzerinteraktionselemente sind programmtechnisch mit bestimmten Funktionen verknüpft und werden insbesondere bei Systemen mit grafischer Benutzeroberfläche zur Durchführung von Standardoperationen verwendet. Beispiele für solche virtuelle Benutzerinteraktionselemente sind Schaltflächen (Buttons), Bildlaufleisten oder Checkboxes, aber auch Links und Menüs. Bedient werden diese auch als „Widgets" bezeichneten virtuellen Interaktionselemente einer grafischen Benutzeroberfläche in der Regel mit einem physikalischen Interaktionselement, wie z. B. einer Maus, das wiederum von einem Benutzer (Mensch) gesteuert wird.
Die bislang üblichen arbeitsplatzgebundenen digitalen Informationsverarbeitungssysteme mit ihren virtuellen und physikalischen Benutzerinteraktionselementen sind starken Einschränkungen unterworfen, insbesondere in bezug auf den Bedienkomfort. Die an einem typischen PC- Arbeitsplatz eingesetzten physikalischen Benutzerinteraktionselemente (Tastatur, Maus etc.) sind Allzweckinstrumente, mit denen zwar eine Vielzahl von Anwendungen bedienbar sind, die aber genau deshalb keinen spezifischen, auf eine bestimmte Anwendung abgestimmten Bedienkomfort gestatten können. Die vorliegende Erfindung geht von einer Zukunftsyorstellung aus, in der digitale Informationsverarbeitungssysteme allgegenwärtig sind und sich nahtlos in die Arbeits- und Wohnumgebung einfügen. So können z. B. die Wände einer Wohnung oder Einrichtungsgegenstände wie Tische neben ihrer eigentlichen Funktion zusätzlich als interaktive Anzeigeeinrichtungen der Informationsverarbeitungssysteme dienen. Die Erfindung befaßt sich insbesondere mit der Bedienung der digitalen Informationsverarbeitungssysteme in einer solchen Umgebung, die keine festen Arbeitsstationen mit einem PC und einem zugehörigen Bildschirm, sondern große integrierte interaktive Displays oder sogar einen „zusammenhängenden Informationsraum" (continuous information space) mit zahlreichen Interaktionsmöglichkeiten vorsieht (siehe hierzu die Veröffentlichung "A mixed reality room following the generalized peephole metaphor" von A. Butz und A. Krüger, in IEEE Computer Graphics & Applications, 2006). Die Motivation der Erfindung ist das Bestreben, ein Äquivalent der rein virtuellen „Widgets" in einer neuen Umgebung zu erschaffen, in der keine Standard- Displays in Form von gewöhnlichen Monitoren und keine rechnergebundenen Eingabegeräte wie Tastatur oder Maus vorgesehen sind.
Aus dem Stand der Technik sind einige Interaktionstechniken bekannt, die hochentwickelte virtuelle Interaktionselemente einsetzen. So wird z. B. in der Veröffentlichung "Toolglass and Magic Lenses: The See-Through Interface" von E. A. Bier, M. C Stone, K. Pier, W. Buxton und T. D. DeRose, in Proceedings of SIGGRAPH '93, S. 73-80, eine Technik vorgestellt, die es dem Benutzer ermöglicht, mit Hilfe einer zwischen Cursor und Anwendung erscheinenden virtuellen Glasscheibe (Toolglass) und zugehörigen Filtern (Magic Lenses) unterschiedliche visuelle Darstellungen von Daten innerhalb eines definierten Bereichs zu erhalten (siehe auch http://www.billbuxton.com/papers. html#anchor1437661).
Darüber hinaus sind Interaktionstechniken bekannt, die erweiterte Systeme voraussetzen und über die oben beschriebenen rein virtuellen Technologien hi- nausgehen. Ein Ansatz für eine Interaktionsmöglichkeit, bei der sowohl physikalische als auch damit verbundene virtuelle Komponenten zum Einsatz kommen, wird in der Veröffentlichung "DataTiles: A Modular Platform for Mixed Physical and Graphical Interactions" von J. Rekimoto, B. Ullmer und H. Oba, in Proceedings of CHI2001 , vorgestellt (siehe auch http://www.csl.sony.co.jp/person/rekimoto/ datatile/). In einem digitalen Informationsverarbeitungssystem können transparente physikalische Platten auf vorgegebene Stellen einer Anzeigevorrichtung plaziert werden, wo sie durch darunter angezeigte variierende Grafiken ergänzt werden.
Diese bekannten Interaktionstechniken sind aber nicht auf mehrere Benutzer ausgerichtet, die gleichzeitig an einer einzigen Anzeigeeinrichtung arbeiten.
Aufgabe der Erfindung ist es, ein digitales Informationsverarbeitungssystem mit einer neuen Art der Benutzerinteraktion zu schaffen, die eine auf die jeweilige
Anwendung zugeschnittene komfortable Bedienung ermöglicht und insbesondere für eine Umgebung mit einem zusammenhängenden Informationsraum und für die gleichzeitige Interaktion mehrerer Benutzer geeignet ist.
Gelöst wird diese Aufgabe erfindungsgemäß durch ein digitales Informationsverarbeitungssystem mit einer Anzeigevorrichtung zur Wiedergabe von Informationen und einem physikalischen Benutzerinteraktionselement, das dadurch gekennzeichnet ist, daß dem Benutzerinteraktionselement eine bestimmte virtuelle Anwendung zugeordnet ist, die Gebrauch von der Anzeigevorrichtung macht, und daß das Benutzerinteraktionselement als bewegbares Bedienelement der Anwendung dient. Unter einer Anwendung ist hier keinesfalls ein Treiberprogramm für ein physikalisches Gerät oder ein sonstiges betriebsermöglichendes oder -unterstützendes System- bzw. Hilfsprogramm zu verstehen, sondern ein spezielles Anwendungsprogramm, das für den Benutzer nützliche Funktionen ausführt. Insofern ist die Erfindung von Systemen mit bisher üblichen Eingabegeräten wie Maus, Tastatur etc. abzugrenzen.
Die Erfindung sieht vielmehr eine Benutzerinteraktion mit einer virtuellen Anwendung vor, die durch ein speziell auf diese Anwendung zugeschnittenes physikalisches Bedienelement gestartet und bedient wird. Bei dieser Art der Benutzerinteraktion ist es nicht mehr sinnvoll, zwischen virtuellen und physikalischen Interaktionskomponenten zu unterscheiden. Insofern kann von einem gemischten Benutzerinteraktionselement („Hybrid Widget") gesprochen werden, das eine physikalische Komponente (Hardware) und eine dieser zugeordnete virtuelle Komponente (Anwendungsprogramm mit grafischen Interaktionselementen) aufweist, insgesamt aber als ein Objekt angesehen werden kann. Die Hardware-Komponente des Benutzerinteraktionselements ist vorzugsweise so gestaltet, daß sie die damit verknüpfte Anwendung bereits durch ihre äußere Erscheinung suggeriert, wie es bei vielen Alltagsgegenständen der realen Umgebung der Fall ist. Die Möglichkeit einer persönlichen Gestaltung erlaubt dem Benutzer eine äußerliche Individualisierung „seines" Benutzerinteraktionselements. Auf diese Weise kann auch das Identifikationsproblem bei gleichzeitiger Nutzung einer Anzeigevorrichtung durch mehrere Benutzerinteraktionselemente gelöst werden, wie später noch erläutert wird.
Die dem physikalischen Teil des Benutzerinteraktionselements zugeordnete virtuelle Anwendung ermöglicht anspruchsvolle grafische Darstellungen und Operationen mit digitalen Daten. Dadurch wird eine starke Verbindung zwischen der Anwendung und dem physikalischen Bedienelement geschaffen. Das Benutzerinteraktionselement erfüllt gewisse Anforderungen an eine komfortable manuelle Handhabung, ist aber nicht den Einschränkungen eines rein physikalischen Objekts unterworfen.
Die logische Vereinigung von virtuellem und physikalischem Teil des Benutzerinteraktionselements kann real in der Form zum Ausdruck kommen, daß zumindest ein Teil der Anwendung im Benutzerinteraktionselement gespeichert ist. Dies hat den Vorteil, daß die Anwendung im jeweiligen digitalen Informationsver- arbeitungssystem nicht (vollständig) vorinstalliert sein muß und dadurch nicht ortsgebunden ist.
Räumliche Beschränkungen innerhalb einer Umgebung mit einem zusammenhängenden Informationsraum werden dadurch eliminiert, daß die Wiedergabe der Informationen der Anwendung auf der Anzeigevorrichtung von der Position des Benutzerinteraktionselements auf der Anzeigevorrichtung abhängt. So kann der Benutzer die Anwendung an einer beliebigen Stelle der Anzeigevorrichtung nutzen, die ein sehr großes Display oder eine Mehrzahl von räumlich getrennten Displays aufweisen kann, die miteinander gekoppelt sind.
Zur weiteren Personalisierung des virtuellen Teils des Benutzerinteraktions- elements trägt die Möglichkeit bei, im Benutzerinteraktionselement anwendungsspezifische Daten zu speichern. Diese Daten können bestimmte benutzerspezifische Einstellungen sein, aber auch Inhalte (Bilder, Musik etc.). Auf diese Weise können die Inhalte optional an einem anderen Ort,
zu einer anderen Zeit,
im selben oder in einem anderen digitalen Informationsverarbeitungssystem,
- einem anderem Benutzer
zugänglich gemacht werden, ohne daß die Anwendung und die Inhalte separat gespeichert werden müssen und womöglich eine Neuinstallation der Anwendung erforderlich ist.
Wie bereits erwähnt, soll die Anwendung automatisch gestartet werden. Hierzu ist eine Erkennungseinrichtung hilfreich, die die Anwendung startet, sobald sie die Anwesenheit des Benutzerinteraktionselements erkennt. Unter Anwesenheit ist hier insbesondere die Plazierung des Benutzerinteraktionselements auf der Anzeigevorrichtung zu verstehen. Die Erkennung selbst kann auf bekannte Weise z. B. mittels Berührungs-, Kamera-, RFI D-Technologie oder dergleichen erfolgen.
Besondere Vorteile des erfindungsgemäßen Systems ergeben sich, wenn das Benutzerinteraktionselement einem bestimmten Benutzer zugeordnet werden kann. Insbesondere bei gleichzeitiger Nutzung mehrerer Benutzerinteraktionselemente kann das System unterscheiden, von welchem Nutzer welche Eingaben stammen. Hierzu sieht die Erfindung vor, daß das Benutzerinteraktionselement eine individuelle Kodierung trägt und dadurch eindeutig identifizierbar ist.
In vielen Anwendungsfällen ist es zweckmäßig, daß das Benutzerinteraktionselement Eingabemittel und/oder Ausgabemittel zur Eingabe bzw. Ausgabe anwendungsspezifischer Informationen aufweist. Ein erhöhter Bedienkomfort kann in einigen Anwendungsfällen dadurch erreicht werden, daß die Eingabemittel bewegbar sind und eine Bewegung der Eingabemittel eine Aktion in der Anwendung hervorruft, die mit der Bewegung des Eingabemittels korreliert. Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung konkreter Ausführungsbeispiele und aus den beigefügten Zeichnungen, auf die Bezug genommen wird. In den Zeichnungen zeigen:
Figuren 1 und 2 Illustrationen eines ersten Ausführungsbeispiels der Erfindung; und
Figuren 3 bis 10 Illustrationen eines zweiten Ausführungsbeispiels der Erfindung.
Die Erfindung wird zunächst am Beispiel des Verwaltens, insbesondere des Betrachtens und Sortierens, der Bilder eines digitalen Fotoalbums beschrieben.
Das erfindungsgemäße digitale Informationsverarbeitungssystem umfaßt in diesem Anwendungsfall eine Anzeigevorrichtung 10, die z. B. in die Oberfläche eines Tisches eingefügt ist, und ein Benutzerinteraktionselement 12 in Form einer kleinen scherenartigen Vorrichtung (siehe Figuren 1 und 2), die nachfolgend der Einfachheit halber als Schere bezeichnet wird.
Durch Auflegen der Schere 12 auf die Anzeigevorrichtung 10 wird mit Hilfe einer Erkennungseinrichtung die der Schere 12 zugeordnete Anwendung gestartet, wobei die anwendungsbezogenen Informationen und virtuellen Instrumente in unmittelbarer Nähe der Schere 12 angezeigt werden. Die Schere 12 ist einem bestimmten Benutzer zugeordnet und wird vom Informationsverarbeitungssystem als solche erkannt. Auf der Anzeigevorrichtung 10 werden zuvor angelegte Bildersammlungen des Benutzers in Form von Bilderstapeln 14 angezeigt. Der Benutzer kann nun mit der Schere 12 eine virtuelle Linse 16 über die Bilderstapel 14 bewegen, die sich daraufhin in Vorschauansichten 18 (Thumbnail Views) entfalten, wie in Figur 1 dargestellt. Es werden nur Bilder angezeigt, die vom Benutzer festgelegte Filter passieren. Auf diese Weise ist es möglich, unter Anwendung persönlicher Suchkriterien durch die Bildersammlungen zu „blättern".
Die scherenartige Vorrichtung 12 ist einem im Alltag gebräuchlichen Gegen- stand, nämlich einer gewöhnlichen Schere, nachgebildet und suggeriert dem
Benutzer gemäß dem bekannten Scherenmechanismus die Möglichkeit, den
Abstand zwischen Daumen und Zeigefinger zu verkleinern oder zu vergrößern. Diese Bewegung korreliert in der virtuellen Anwendung mit einer Zoomfunktion, d. h. die aktuelle Ansicht unter der virtuellen Linse 16 wird verkleinert oder vergrößert, indem die beiden Griffarme 12a und 12b der Schere zusammen- bzw. auseinandergeschoben werden.
Eine Weiterbildung dieses Ausführungsbeispiels sieht vor, daß der Benutzer mit der anderen Hand ein weiteres physikalisches Benutzerinteraktionselement benutzt. Wie in Figur 2 angedeutet, kann der Benutzer mit einem Stift 20 die Bilder in der durch die Schere 12 bestimmten Zoomansicht bearbeiten. Gemäß dem Modell der „kinematischen Kette" (vorgestellt in der Veröffentlichung "Asymmetrie Division of Labor in Human Skilied Bimanual Action: The Kinematic Chain as a Model" von Y. Guiard, in J. Motor Behavior, 19 (4), 1987, 486-517), bedient vorzugsweise die nicht-dominante Hand 22 die Schere, während die dominante Hand 24 die Bearbeitung mit dem Stift 20 vornimmt.
Aus den Bildersammlungen ausgewählte Bilder können in temporären Kollektionen in virtuellen Schachteln abgelegt werden. Diese Bilder können einem anderen Benutzer, der gleichzeitig mit einem eigenen
Benutzerinteraktionselement auf der Anzeigevorrichtung 10 agiert, zugeschoben werden.
Allgemein ist das Benutzerinteraktionselement 12 auf der Anzeigevorrichtung frei positionierbar, wobei die Position des Benutzerinteraktionselements 12 von der Anwendung abgefragt wird und eine Positionsveränderung (Bewegung der gesamten Schere 12 oder nur deren Greifarme 12a, 12b) eine Eingabe für die
Anwendung darstellt.
Das Informationsverarbeitungssystem kann des weiteren einen Projektor oder eine vertikales Display umfassen, so daß ausgewählte Bilder als dekorative virtuelle Tapeten dargestellt werden können.
Ein weiteres Ausführungsbeispiel der Erfindung, das ebenfalls ein digitales Fotoalbum betrifft, wird anhand der Figuren 3 bis 10 erläutert. Das erfindungsgemäße digitale Informationsverarbeitungssystem umfaßt in diesem Fall eine Anzeigevorrichtung 10 sowie ein physikalisches Benutzerinteraktionselement 12' (Bedienelement) und eine diesem zugeordnete virtuelle Anwendung. Das Benutzerinteraktionselement 12' und die Anwendung werden im folgenden unter dem Begriff „PhotoHelix" zusammengefaßt. Zusätzlich können weitere Komponenten wie ein Stift und ein Projektor vorgesehen sein.
Das Konzept der PhotoHelix beruht auf einer Ereignis-basierten Einordnung von Bildern, d. h. die Bilder werden nicht nur chronologisch sortiert, sondern können darüber hinaus bestimmten Ereignissen (Weihnachten, Geburtstag,
Urlaub etc.) zugeordnet werden, die der Benutzer selbst festlegen kann.
Außerdem ist es möglich, Bilder anderen Benutzern zugänglich zu machen.
Das physikalische Bedienelement 12' der PhotoHelix besteht im wesentlichen aus einem drehbaren Eingabegerät, d. h. das ganze Gerät oder ein Teil davon ist drehbar (siehe Figur 3). Für gewisse Operationen kann es sinnvoll sein, daß das Bedienelement 12' eine oder mehrere Tasten aufweist.
Das Aufsetzen des Bedienelements 12' auf die Anzeigevorrichtung 10 startet automatisch die virtuelle Anwendung. Um das Bedienelement 12' herum wird eine Spirale 26 dargestellt, die einen chronologischen Zeitstrahl repräsentiert. Die ältesten Bilder bzw. Ereignisse sind dem Anfang der Spirale 26 in deren Mitte, die jüngsten Bilder/Ereignisse dem äußeren Ende der Spirale 26 zugeordnet.
Die Anwendung zeigt auf der Anzeigevorrichtung 10 des weiteren eine virtuelle Linse 28, und eine virtuelle Seifenblase 32 an. Die Linse 28 ist anfänglich über dem Ende der Spirale 26 positioniert, wo neben den Zeitangaben 34 (z. B. Jahr, Monat, Tag, Uhrzeit) auch zeitlich eingeordnete Ereignisse in Form von Schachteln 36 oder dergleichen dargestellt (siehe Figur 4) werden. Außerdem werden in dem an die Linse 28 angrenzenden Bereich Vorschauansichten 38 der Bilder der darin erfaßten Ereignisse angezeigt. Die Seifenblase 32 ist ein Hilfsmittel zum Tauschen und Präsentieren von Bildern, das später erläutert wird.
Eine Drehung des Bedienelements 12' bewirkt eine Drehung der virtuellen Spirale 26 unter der Linse 28. Auf dieses Weise können Vorschauansichten 38 von Bildern anderer Ereignisse sichtbar gemacht werden. Die Drehung des Bedienelements 12" erfolgt vorzugsweise mit der nicht-dominanten Hand 22.
Bevor Bilder einem Ereignis zugeordnet werden, sind sie entsprechend ihrem
Erstellungsdatum unmittelbar mit dem Zeitstrahl verbunden. Zur Erzeugung eines neuen Ereignisses werden die zugehörigen Bilder - vorzugsweise mit der domi- nanten Hand 24 - mittels eines Stifts 20 oder mit einem Finger eingekreist und damit gruppiert. Die Bezeichnung des Ereignisses kann ebenfalls mittels des Stifts 20 oder Fingers erfolgen. Das neue Ereignis und die zugeordneten Bilder werden mit dem Zeitstrahl verknüpft (siehe Figuren 5 und 6).
Es sind eine Vielzahl weiterer Aktionen denkbar, die mit dem Bedienelement
12' und dem Stift 20 bzw. Finger durchführbar sind (Zuordnen von Bildern zu existierenden Ereignissen, Löschen von Ereignissen etc.). Es wird im folgenden nur noch kurz auf einige Funktionen in Verbindung mit der Seifenblase 32 eingegangen.
Bilder können in die Seifenblase 32 gezogen werden. Der Inhalt der Seifenblase 32 wird an anderer Stelle vergrößert angezeigt, z. B. mittels eines Projektors an einer Wand oder in einem in die Wand integrierten Display 40 (siehe Figur 7). Bilder können in der Seifenblase 32 frei plaziert (siehe Figur 8), durch Herausziehen gelöscht oder kopiert werden, indem sie auf den Zeitstrahl gezogen werden (siehe Figur 9). Durch einen kurzen „Hieb" auf die Seifenblase 32 mit dem Stift 20 oder Finger, kann diese zum Zerplatzen gebracht werden, was der Aufhebung der Gruppierung der darin befindlichen Bilder entspricht (siehe Figuren 10a und 10b).
Ähnliche, hier nicht im Detail beschriebene Ausführungsbeispiele der Erfindung betreffen die Verwaltung einer digitalen Musiksammlung und die Verwaltung einer digitalen Videosammlung. In diesen Anwendungsfällen kommen ähnliche Benutzerinteraktionselemente und ähnliche virtuelle Anwendungen zum Einsatz. Das grundlegende Konzept ist das gleiche wie bei den zuvor beschriebenen Anwendungsfällen betreffend die Bilderverwaltung.
Die beschriebenen Ausführungsbeispiele der Erfindung sind nicht einschränkend zu verstehen, sondern dienen lediglich der beispielhaften Veranschaulichung des erfindungsgemäßen digitalen
Informationsverarbeitungssystems in konkreten Anwendungsfällen.

Claims

Patentansprüche
1. Digitales Informationsverarbeitungssystem, mit einer Anzeigevorrichtung (10) zur Wiedergabe von Informationen und einem physikalischen Benutzerinteraktionselement (12; 12'), dadurch gekennzeichnet, daß dem Benutzerinteraktionselement (12; 12") eine bestimmte virtuelle Anwendung zugeordnet ist, die Gebrauch von der Anzeigevorrichtung (10) macht, und daß das Benutzerinteraktionselement (12; 12') als bewegbares Bedienelement der Anwendung dient.
2. Digitales Informationsverarbeitungssystem nach Anspruch 1 , dadurch ge- kennzeichnet, daß zumindest ein Teil der Anwendung im Benutzerinteraktionselement (12; 12') gespeichert ist.
3. Digitales Informationsverarbeitungssystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die Wiedergabe der Informationen der Anwendung auf der Anzeigevorrichtung (10) von der Position des Benutzerinteraktionselements (12; 12') auf der Anzeigevorrichtung (10) abhängt.
4. Digitales Informationsverarbeitungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß im Benutzerinteraktionselement (12; 12') anwendungsspezifische Daten speicherbar sind.
5. Digitales Informationsverarbeitungssystem nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Erkennungseinrichtung, die die Anwendung startet, sobald sie die Anwesenheit des Benutzerinteraktionselements (12; 12') erkennt.
6. Digitales Informationsverarbeitungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das
Benutzerinteraktionselement (12; 12') eine individuelle Kodierung trägt und dadurch eindeutig identifizierbar ist.
7. Digitales Informationsverarbeitungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das Benutzerinteraktionselement (12; 12') Eingabemittel (12a, 12b) und/oder Ausgabemittel zur Eingabe bzw. Ausgabe anwendungsspezifischer Informationen aufweist.
8. Digitales Informationsverarbeitungssystem nach Anspruch 7, dadurch gekennzeichnet, daß die Eingabemittel (12a, 12b) bewegbar sind und eine Bewe- gung der Eingabemittel (12a, 12b) eine Aktion in der Anwendung hervorruft, die mit der Bewegung des Eingabemittels (12a, 12b) korreliert.
9. Digitales Informationsverarbeitungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das Benutzerinteraktionselement (12; 12') auf der Anzeigevorrichtung (10) positionierbar ist, wobei die Position des Benutzerinteraktionselements (12; 12') von der Anwendung kontrolliert wird und eine Positionsveränderung eine Eingabe für die Anwendung darstellt.
10. Digitales Informationsverarbeitungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das Benutzerinteraktionselement (12; 12') drehbar ist oder einen drehbaren Teil aufweist.
11. Digitales Informationsverarbeitungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Anwendung die Verwaltung einer digitalen Bildersammlung ist.
12. Digitales Informationsverarbeitungssystem nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, daß die Anwendung die Verwaltung einer digitalen Musiksammlung ist.
13. Digitales Informationsverarbeitungssystem nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Mehrzahl von Benutzerinteraktionselementen (12; 12').
14. Digitales Informationsverarbeitungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Anzeigevorrichtung (10) Teil einer Wohnung oder eines Wohnungseinrichtungsgegenstands ist.
15. Digitales Informationsverarbeitungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Anzeigevorrichtung (10) eine Mehrzahl von räumlich getrennten Displays aufweist, die miteinander gekoppelt sind.
PCT/EP2007/009519 2006-11-03 2007-11-02 Digitales informationsverarbeitungssystem mit benutzerinteraktionselement WO2008052789A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006051967.1 2006-11-03
DE200610051967 DE102006051967A1 (de) 2006-11-03 2006-11-03 Digitales Informationsverarbeitungssystem mit Benutzerinteraktionselement

Publications (2)

Publication Number Publication Date
WO2008052789A2 true WO2008052789A2 (de) 2008-05-08
WO2008052789A3 WO2008052789A3 (de) 2008-09-18

Family

ID=39264848

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2007/009519 WO2008052789A2 (de) 2006-11-03 2007-11-02 Digitales informationsverarbeitungssystem mit benutzerinteraktionselement

Country Status (2)

Country Link
DE (1) DE102006051967A1 (de)
WO (1) WO2008052789A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2936326A1 (fr) * 2008-09-22 2010-03-26 Stantum Dispositif pour le controle d'appareil electronique par la manipulation d'objets graphiques sur un ecran tactile multicontacts

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040233223A1 (en) * 2003-05-22 2004-11-25 Steven Schkolne Physical/digital input methodologies for spatial manipulations and entertainment

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10343967A1 (de) * 2003-09-19 2005-04-28 Icido Ges Fuer Innovative Info Räumliche Benutzungsschnittstelle zur Steuerung eines Graphiksystems der virtuellen Realität mittels einer Funktionsauswahl

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040233223A1 (en) * 2003-05-22 2004-11-25 Steven Schkolne Physical/digital input methodologies for spatial manipulations and entertainment

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TERRENGHI L ET AL: "Design for Collaboration on a Table-top Display in the Home" 2006 INTERNATIONAL CONFERENCE ON INTELLIGENT USER INTERFACES. IUI 06. SYDNEY, AUSTRALIA, JAN. 29 - FEB. 1, 2006; [ANNUAL INTERNATIONAL CONFERENCE ON INTELLIGENT USER INTERFACES], NEW YORK, NY : ACM, US, [Online] 29. Januar 2006 (2006-01-29), Seite 3pp, XP009103089 ISBN: 978-1-59593-287-7 Gefunden im Internet: URL:http://www.medien.ifi.lmu.de/pubdb/pub lications/pub/terrenghi2006mu3i /terrenghi2006mu3i.pdf> [gefunden am 2008-07-11] *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2936326A1 (fr) * 2008-09-22 2010-03-26 Stantum Dispositif pour le controle d'appareil electronique par la manipulation d'objets graphiques sur un ecran tactile multicontacts
WO2010103195A2 (fr) * 2008-09-22 2010-09-16 Stantum Dispositif pour le controle d'appareil electronique par la manipulation d'objets graphiques sur un ecran tactile multicontacts
WO2010103195A3 (fr) * 2008-09-22 2011-04-07 Stantum Dispositif pour le controle d'appareil electronique par la manipulation d'objets graphiques sur un ecran tactile multicontacts

Also Published As

Publication number Publication date
DE102006051967A1 (de) 2008-05-08
WO2008052789A3 (de) 2008-09-18

Similar Documents

Publication Publication Date Title
EP1272921B1 (de) Verfahren zum navigieren zwischen ausschnitten in einem darstellungsraum
DE60024655T2 (de) Verfahren zur benutzung von mit einem anzeigegerät verbundenen tasten für den zugriff und die ausführung von damit verbundenen funktionen
DE102009011687B4 (de) Berührungsereignismodell
EP2017756A1 (de) Verfahren zur Anzeige und/oder Bearbeitung bzw. Verarbeitung von Bilddaten medizinischen oder medizintechnischen Ursprungs mit Gestenerkennung
DE112010003834T5 (de) Verfahren und Vorrichtung zur Verwendung verschiedener grafischer Display-Technologien, um die Interaktivität des Benutzers zu ermöglichen
EP2955614A1 (de) Anwenderschnittstelle und verfahren zum anpassen einer semantischen skalierung einer kachel
DE102012220062A1 (de) Einstellung mehrerer benutzereingabeparameter
WO2003023592A2 (de) Desktopmanager
DE10084249T5 (de) Zusätzliches LCD-Feld mit Sensorbildschirm
EP1573502A2 (de) Schnell-eingabevorrichtung
WO2020156854A1 (de) Verfahren und anordnung zur ausgabe eines head up display auf einem head mounted display
AT10187U1 (de) Vorrichtung, verfahren, webserver und programmlogik zur online-reservierungsabfrage
DE112019002798T5 (de) Informationsverarbeitungsvorrichtung, informationsverabeitungsverfahren und programm
WO2008052789A2 (de) Digitales informationsverarbeitungssystem mit benutzerinteraktionselement
WO2006032442A1 (de) Steuereinrichtung für anzeigen
DE102009003995A1 (de) Verfahren zur Vergrößerung eines Darstellungsbereichs auf einer Darstellungseinrichtung
WO2003042802A2 (de) Eingabegerät, webcam und bildschirm mit spracheingabefunktion
WO2006024623A2 (de) Grafische benutzeroberfläche, computervorrichtung, verwendung, verfahren zur darstellung von informationen mit einer benutzeroberfläche, computerprogramm-produkt und computerlesbares medium
EP1256043B1 (de) Verfahren und datenverarbeitungssystem zur koordinierung von anwendungen einer computer-software
WO2011103938A1 (de) Feldgerät der prozessautomatisierungstechnik, sowie verfahren zum editieren von text und/oder zahlen, und vorrichtung mit einer anzeigeeinheit und mit einer bedieneinheit
DE102011116187A1 (de) Verfahren und Vorrichtung zum Bereitstellen einer Nutzerschnittstelle
DE202009006321U1 (de) Endloser Navigator
DE19720051A1 (de) Verfahren zur Eingabe einer Information in einen Rechner
EP3342622B1 (de) Verfahren zum betreiben einer bedienschnittstelle und bedienschnittstelle
DE102004027289A1 (de) Verfahren und Anordnung zur berührungslosen Navigation in einem Dokument

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07819545

Country of ref document: EP

Kind code of ref document: A2

122 Ep: pct application non-entry in european phase

Ref document number: 07819545

Country of ref document: EP

Kind code of ref document: A2