WO2019020782A1 - Vorrichtung zur interaktiven präsentation von visuellen inhalten - Google Patents

Vorrichtung zur interaktiven präsentation von visuellen inhalten Download PDF

Info

Publication number
WO2019020782A1
WO2019020782A1 PCT/EP2018/070388 EP2018070388W WO2019020782A1 WO 2019020782 A1 WO2019020782 A1 WO 2019020782A1 EP 2018070388 W EP2018070388 W EP 2018070388W WO 2019020782 A1 WO2019020782 A1 WO 2019020782A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
region
area
image data
projection surface
Prior art date
Application number
PCT/EP2018/070388
Other languages
English (en)
French (fr)
Inventor
Ulrich Emanuel ANDEL
Original Assignee
Andel Ulrich Emanuel
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Andel Ulrich Emanuel filed Critical Andel Ulrich Emanuel
Publication of WO2019020782A1 publication Critical patent/WO2019020782A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Definitions

  • the invention relates to a device for interactive presentation of visual content comprising a memory for providing the visual content, a
  • Projection surface a projector connected to the memory for projecting the visual contents on the projection surface, a camera for detecting at least one located in an interaction area object, preferably at least one person, and connected to the memory and the camera evaluation unit for processing by the Camera captured image of the
  • the invention relates to a method for the interactive presentation of visual content.
  • Presentation of visual content In particular, devices are known which contain means for detection, projection and evaluation and allow the interaction of a person with the displayed visual contents. In this case, the movement of the person in a defined interaction area is detected and evaluated, wherein the displayed content is adjusted depending on the position of the person.
  • the object of the invention is to overcome the disadvantages of the prior art and to provide a device for presenting visual content which enables the simultaneous execution of a plurality of interaction sequences.
  • the interaction area has at least a first area and a second area and the evaluation unit is designed to store the image data from the first area and from the second area into
  • the collection and evaluation is not restricted to a single object, for example a person
  • Interaction area any number of objects, in particular persons, recorded
  • Essentially flat surface such as a work table, or an uneven surface, such as an architectural model is.
  • the visual content may be projected directly onto a shop window of a store, and the user may interact directly with the contents displayed on the shop window with his interactions.
  • Projection surface is arranged. It is thus possible to assign interactions that take place in the vicinity of the projection surface, the first area.
  • buttons in the form of tracking zones can be defined in the first area in any number, size and position.
  • additional areas may also be provided that any number of areas are provided which can be parameterized by means of three-dimensional coordinates and preferably do not overlap, so that the image data from these areas can be evaluated in different forms.
  • an at least partially transparent holographic foil on the projection surface, preferably on the side of the projection surface facing the projector, preferably an at least partially transparent holographic foil
  • Transparency level between 90% and 100% is applied. It thereby provides a representation of the projected visual content on an at least partially transparent surface, such as a shop window. According to the invention, it may further be provided that the projector is designed to provide a holographic film attached to the projection surface
  • the pane is at least partially transparent to give the impression of a shop window.
  • the camera is a 3D camera, in particular a depth image camera, preferably a Time of Flight (TOF) camera, a strip light optometric camera, or a stereoscopic camera, wherein the camera has at least a resolution of 160 ⁇ 120 pixels and at least a
  • Refresh rate of 20 frames / second is determined for every pixel of an image.
  • the evaluation unit is designed to adapt the visual content projected by the projector in real time in response to the image data from the first region, from the second region, or from both regions. This allows a delay-free adaptation of the
  • the interaction region has at least a first region and at least a second region, and the image data from the first region and from the second region are evaluated in different forms.
  • Process step the projected visual content is adjusted depending on the evaluated image data.
  • Projection surface is arranged. For this purpose, it can be provided according to the invention that during the detection of an object in the first interaction region, the region is evaluated separately from the second interaction region at a distance of preferably less than 5 cm from the projection surface.
  • the first area and the second area do not overlap.
  • a position determination of the object in the interaction area is made from the image data by a computational method, preferably by a point cloud segmentation method or by
  • Interaction room people such as hands, fingers, or the head are detected independently.
  • the initial detection of users is slower in skeletal tracking, but the method offers extended possibilities of control in the immediate vicinity of the projection surface.
  • the computational method takes place in real time so that a tracking of the movement of the object in the
  • Interaction area is enabled. According to the invention, it can further be provided that the image data from the first area for controlling the visual content and the image data from the second area are used to adapt the visual content to the position of the object.
  • the motion data associated with the first region may be interpreted as a selection function, but not necessarily under physical interaction with the projection surface.
  • the evaluation unit can record the following user behavior by active users: how many users were active and when did this interaction take place, how long did the interaction last in the first area (short-range) and in the second area (long-range), with what content was in the vicinity interacts, how long was the average
  • Dwell time For example, the following parameters can be analyzed by the other persons who were detected by the method according to the invention: when were they detected, how many persons were detected, and how long were they in the respective area.
  • Fig. 1 is a schematic view of an embodiment of a device according to the invention.
  • Fig. 2 is a schematic view of the embodiment of Figure 1 from above.
  • Figs. 3a-3b is a schematic flow diagram of some steps of a
  • Fig. 1 shows a schematic view of an embodiment of a
  • FIG. 2 shows the same embodiment in a representation from above. Shown is a projector 3 and a camera 4, which are located in a common housing and are each connected to a memory 1 and an evaluation unit 6. Evaluation unit 6 and memory 1 are realized in this embodiment in the form of a personal computer. In this embodiment, all the hardware components are arranged in a single housing, so that only a single central power supply is required.
  • Interaction area needs no power supply.
  • a projection surface in the form of a shop window 2 is arranged.
  • the projector 3 and the camera 4 are in this embodiment, slightly above the central region of the shop window 2, for example, on a ceiling of the sales room of a shop.
  • the disc of the shop window 2 is executed in a simple glazed form. In other embodiments, however, this may also have double or multiple glazing.
  • the camera 4 is a 3D camera, namely a depth image camera, or Time of Flight (TOF) camera, a strip light optometric camera, or a stereoscopic camera.
  • the camera is set up in a known manner to determine the distance of the imaged object for each pixel.
  • the camera 4 has a resolution of 1 ⁇ 60 ⁇ 120 pixels and a refresh rate of 20 frames / second.
  • the memory 1, the projector 3, the camera 4, and the evaluation unit 6 are installed in this embodiment in a single housing and have a single common power supply. In other embodiments, it may also be provided that memory 1 and / or evaluation unit 6 are arranged separately from the projector 3 and the camera 4 and are in communication with them via a particularly wireless data connection. Memory 1 and evaluation unit 6 can be realized, for example, on a server in the Internet.
  • Three-dimensional areas provided, namely a first area 7 in the immediate vicinity of the shop window 2 and a second area 8 spaced from the first area 7. Schematically, a person 5 in the second area 8 is indicated.
  • the areas 7, 8 are determined by the receiving area or acceptance angle of the camera 4, in other words, objects within the areas 7, 8 are located in the image area of the camera 4.
  • the first region 7 is arranged slightly spaced from the side of the shop window 2 facing away from the projector 3. The distance is about 1 cm. In a further embodiment of the invention, not shown, the first region 7 is arranged directly adjacent to this side.
  • the first area 7 extends in this embodiment about 5 cm, so that a hand movement of a user in this first area 7 is detectable.
  • the distance of the first area 7 from the second area 8 is about 10 cm and can be up to 30 cm to ensure that the hand movement of a person can be recognized regardless of the position of the person.
  • the position as well as the possibility of interaction with the first area 7 and the second area 8 remain constant at all times.
  • the functionality of the second area 8 is not restricted if an object is detected in the first area 7.
  • the evaluation unit 6 is designed to display the visual content projected by the projector 3 in real time in response to the image data taken by the camera 4 from the first area 7, from the second area 8, or from both areas 7, 8. adapt.
  • a holographic film 9 is arranged on the projector 3 side facing the shop window 2.
  • This film 9 is in this embodiment, a partially transparent holographic film with a degree of transparency between 90% and 100%.
  • the film 9 is two meters wide and two meters high. In an alternative embodiment, this film 9 may be two meters wide and up to 50 meters long. Multiple slides can be glued together seamlessly.
  • the holographic film 9 shown in this embodiment is also a permanently adhesive and scratch-resistant film. In a further embodiment, the film 9 may also be designed as a non-permanently adhesive film.
  • the projector 3 projects on this slide 9 a visual content, for example a picture.
  • the light emitted by the projector 3 in the direction of the shop window 2 light signal is indicated in dashed lines.
  • the image output from the projector 3 has a resolution of 1024x768 pixels. In order to increase the image quality, projectors with higher resolution can be used.
  • the user is recognized by means of a point cloud segmentation method.
  • the stabilization of detection over long periods of time is done with a shortest distance algorithm.
  • the user identifier can be done by means of skeleton tracking.
  • Figs. 3a and 3b show a schematic flow diagram of some steps of a
  • Embodiment of a method according to the invention The steps illustrated in FIG. 3 a are performed in the camera 4 and in the evaluation unit 6. In this case, two areas defined independently of one another are used, namely the first area 7 in the form of the touch area, and the second area 8 in the form of the position area 8.
  • the user interaction is recorded by the 3D camera and taking into account the two Areas are voxel-filtered.
  • a voxel denotes a three-dimensional pixel with x, y and y coordinates. It can
  • centroid in the near range is interpreted as a touch input; a centroid in the far field as a recognized position of a person. In the far range, if necessary, the active user is determined,
  • the detected Centroid data is sent to the visualization component via a network protocol such as UDP, TCP or a Websocket (Figure 3b).
  • the visualization component can be realized for example by the interaction of the projector 3, evaluation unit 6 and memory 1.
  • the position of the centroid determines the transformation of the 2D or 3D objects, using information from the memory 1.
  • a virtual camera is used to render the objects and finally output them via the projector 3. LIST OF REFERENCE NUMBERS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Vorrichtung zur interaktiven Präsentation von visuellen Inhalten umfassend einen Speicher (1) zur Bereitstellung der visuellen Inhalte, eine Projektionsfläche, einen mit dem Speicher (1) verbundenen Projektor (3) zum Projizieren der visuellen Inhalte auf die Projektionsfläche, eine Kamera (4) zur Erfassung zumindest eines in einem Interaktionsbereich befindlichen Objekts, vorzugsweise zumindest einer Person (5), sowie eine mit dem Speicher (1) und der Kamera (4) verbundene Auswerteeinheit (6) die zur Verarbeitung des durch die Kamera (4) aufgenommenen Bildes des Interaktionsbereichs und zur Erstellung von Bilddaten eingerichtet ist, wobei der Interaktionsbereich zumindest einen ersten Bereich (7) und einen zweiten Bereich (8) aufweist und die Auswerteeinheit (6) dazu ausgebildet ist, die Bilddaten aus dem ersten Bereich (7) und aus dem zweiten Bereich (8) in unterschiedlicher Form auszuwerten, sowie ein Verfahren zu interaktiven Präsentation von visuellen Inhalten mit einer derartigen Vorrichtung.

Description

Vorrichtung zur interaktiven Präsentation von visuellen Inhalten
Die Erfindung betrifft eine Vorrichtung zur interaktiven Präsentation von visuellen Inhalten umfassend einen Speicher zur Bereitstellung der visuellen Inhalte, eine
Projektionsfläche, einen mit dem Speicher verbundenen Projektor zum Projizieren der visuellen Inhalte auf die Projektionsfläche, eine Kamera zur Erfassung zumindest eines in einem Interaktionsbereich befindlichen Objekts, vorzugsweise zumindest einer Person, sowie eine mit dem Speicher und der Kamera verbundene Auswerteeinheit die zur Verarbeitung des durch die Kamera aufgenommenen Bildes des
Interaktionsbereichs und zur Erstellung von Bilddaten eingerichtet ist.
Darüber hinaus betrifft die Erfindung ein Verfahren zur interaktiven Präsentation von visuellen Inhalten.
Dem Stand der Technik sind gattungsgemäß Vorrichtungen zur interaktiven
Präsentation von visuellen Inhalten zu entnehmen. Insbesondere sind Vorrichtungen bekannt, welche Mittel zur Erfassung, Projektion und Auswertung enthalten und die Interaktion einer Person mit den dargestellten visuellen Inhalten erlauben. Dabei wird die Bewegung der Person in einem definierten Interaktionsbereich erfasst und ausgewertet wobei der dargestellte Inhalt in Abhängigkeit der Position der Person angepasst wird.
Derartige Präsentationsvorrichtungen leiden jedoch darunter, dass die Interaktionen des Benutzers im Interaktionsbereich nicht eindeutig erkennbar sind, insbesondere bei der gleichzeitigen Ausführung von Interaktionen. Aufgabe der Erfindung ist es unter anderem, die Nachteile des Standes der Technik zu überwinden und eine Vorrichtung zur Präsentation von visuellen Inhalten zu schaffen, die die gleichzeitige Ausführung mehrerer Interaktionsabläufe ermöglicht.
Diese und weitere Aufgaben werden erfindungsgemäß durch die unabhängigen
Patentansprüche gelöst.
Erfindungsgemäß ist vorgesehen, dass der Interaktionsbereich zumindest einen ersten Bereich und einen zweiten Bereich aufweist und die Auswerteeinheit dazu ausgebildet ist, die Bilddaten aus dem ersten Bereich und aus dem zweiten Bereich in
unterschiedlicher Form auszuwerten. Dabei ist die Erfassung und Auswertung nicht auf ein einziges Objekt, beispielsweise eine Person, beschränkt: Es können im
Interaktionsbereich beliebig viele Objekte, insbesondere Personen, erfasst
werden. Auch im ersten Bereich und zweiten Bereich ist die Auswerteeinheit
nicht auf ein einziges Objekt beschränkt, sondern kann grundsätzlich auch
mehrere Objekte in diesen Bereichen erfassen.
Dadurch ergibt sich der Vorteil, dass die Interaktionen in unterschiedlichen Bereichen auf unterschiedliche Art verarbeitet werden können. Beispielsweise kann die
Handbewegung einer Person unabhängig von der Position der Person detektiert werden.
Erfindungsgemäß kann vorgesehen sein, dass die Projektionsfläche eine im
Wesentlichen ebene Fläche, beispielsweise ein Arbeitstisch, oder eine unebene Fläche, beispielsweise ein Architekturmodell, ist.
Erfindungsgemäß kann auch vorgesehen sein, dass die Projektionsfläche eine zumindest teilweise für sichtbares Licht transparente Fläche oder Scheibe,
beispielsweise ein Schaufenster ist. Beispielsweise kann der visuelle Inhalt direkt auf ein Schaufenster eines Geschäftslokals projiziert werden, und der Benutzer kann mit seinen Interaktionen direkt die auf dem Schaufenster dargestellten Inhalte beeinflussen. Erfindungsgemäß kann weiters vorgesehen sein, dass der erste Bereich angrenzend an die Projektionsfläche oder in einem Abstand von vorzugsweise unter 5cm zur
Projektionsfläche angeordnet ist. Es wird dadurch ermöglicht, Interaktionen, die im Nahbereich der Projektionsfläche stattfinden, dem ersten Bereich zuzuordnen.
Beispielsweise kann dadurch eine Touchscreen-ähnliche Funktion realisiert werden, indem Bewegungen, die im ersten Bereich stattfinden von der Auswerteeinheit als Auswahlvorgang interpretiert werden.
Auf der Projektionsfläche können im ersten Bereich in beliebiger Anzahl, Größe und Position Schaltflächen in Form von Trackingzonen definiert werden. Die
Interaktionsmöglichkeiten dieser Trackingzonen sind dabei frei definierbar.
Erfindungsgemäß kann weiters vorgesehen sein, dass der erste Bereich und der zweite Bereich nicht überlappen. Es wird damit eine definierte Trennung zwischen den beiden Bereichen erreicht. Interaktionen werden können eindeutig lokalisiert werden, was eine möglichst fehlerfreie Verarbeitung der Bilddaten erlaubt.
Erfindungsgemäß kann auch vorgesehen sein, dass neben dem ersten und zweiten Bereich weitere Bereiche vorgesehen sind. Insbesondere kann vorgesehen sein, dass eine beliebige Anzahl von Bereichen vorgesehen sind, die mittels dreidimensionaler Koordinaten parametrisierbar sind und vorzugsweise nicht überlappen, sodass die Bilddaten aus diesen Bereichen in unterschiedlicher Form ausgewertet werden können.
Erfindungsgemäß kann weiters vorgesehen sein, dass auf der Projektionsfläche, vorzugsweise auf der dem Projektor zugewandten Seite der Projektionsfläche, eine zumindest teiltransparente holographische Folie vorzugsweise mit einem
Transparenzgrad zwischen 90% und 100% aufgebracht ist. Es wird dadurch eine Darstellung der projizierten visuellen Inhalte auf einer zumindest teilweise transparenten Oberfläche, wie beispielsweise einem Schaufenster, ermöglicht. Erfindungsgemäß kann weiters vorgesehen sein, dass der Projektor ausgebildet ist, um an der auf der Projektionsfläche angebrachten holographischen Folie eine
dreidimensionale visuelle Darstellung zu generieren. Durch die Verwendung einer holographischen Folie ist eine für die betrachtende Person realitätsnahe Darstellung der visuellen Inhalte möglich. Dennoch ist die Scheibe zumindest teilweise transparent, um den Eindruck eines Schaufensters zu erhalten.
Erfindungsgemäß kann weiters vorgesehen sein, dass die Kamera eine 3D-Kamera, insbesondere eine Tiefenbildkamera, vorzugsweise eine Time of Flight (TOF)-Kamera, eine streifenlichtoptometrische Kamera, oder eine stereoskopische Kamera ist, wobei die Kamera wenigstens eine Auflösung von 160x120 Pixel und wenigstens eine
Bildwiederholrate von 20 Bildern/Sekunde aufweist. Dabei wird zu jedem Bildpunkt eines Bildes auch dessen Entfernung zur Kamera festgestellt.
Es wird dadurch eine Positionsbestimmung der Person durch Verwendung einer einzelnen Kamera ermöglicht, was den technischen Aufwand der Vorrichtung im
Vergleich zu anderen Aufnahmetechniken, insbesondere derer, welche die Methode der Triangulation unter Verwendung von wenigstens zwei Kameras verwenden, reduziert. Ferner wird die zu verarbeitende Datenmenge reduziert und die Qualität der Detektion kann verbessert werden.
Erfindungsgemäß kann weiters vorgesehen sein, dass die Auswerteeinheit dazu ausgebildet ist, den vom Projektor projizierten visuellen Inhalt in Echtzeit in Reaktion auf die Bilddaten aus dem ersten Bereich, aus dem zweiten Bereich, oder aus beiden Bereichen anzupassen. Dies erlaubt eine verzögerungsfreie Anpassung der
Bewegungen der Person an die dargestellten visuellen Inhalte, beispielsweise eine gleichzeitige Veränderung der Darstellung während sich die Person im
Interaktionsbereich bewegt.
Erfindungsgemäß kann vorgesehen sein, dass die Hardwarekomponenten, also insbesondere der Speicher, der Projektor, die Kamera und die Auswerteeinheit in einem einzigen Gehäuse integriert und mit einer zentralen Energieversorgung versehen sind. Dadurch ergibt sich eine einfache Montage der erfindungsgemäßen Vorrichtung. Aus dem Stand der Technik sind für gattungsgemäße Vorrichtungen Verfahren zur interaktiven Präsentation von visuellen Inhalten bekannt, bei denen zunächst visueller Inhalt auf eine Projektionsfläche projiziert wird, und danach zumindest ein Objekt, vorzugsweise zumindest eine Person, innerhalb eines Interaktionsbereichs durch eine Kamera erfasst wird und sodann die Auswertung des durch die Kamera
aufgenommenen Bildes und eine Erstellung von Bilddaten erfolgt. Derartige Verfahren haben die oben beschriebenen Nachteile.
Eine Aufgabe der Erfindung besteht somit auch darin, bekannte Verfahren zur interaktiven Präsentation derartiger visueller Inhalte auf einer Präsentationsfläche derart zu verbessern, dass die gleichzeitige Ausführung mehrerer komplexer
Interaktionsabläufe ermöglicht wird.
Diese Aufgabe wird erfindungsgemäß dadurch gelöst, dass der Interaktionsbereich zumindest einen ersten Bereich und zumindest einen zweiten Bereich aufweist, und die Bilddaten aus dem ersten Bereich und aus dem zweiten Bereich in unterschiedlicher Form ausgewertet werden. Dadurch können auch komplexe Bewegungsabläufe, insbesondere mehrere gleichzeitige Bewegungen einer oder mehrerer Person, detektiert werden.
Erfindungsgemäß kann weiters vorgesehen sein, dass in einem weiteren
Verfahrensschritt der projizierte visuelle Inhalt in Abhängigkeit von den ausgewerteten Bilddaten angepasst wird.
Erfindungsgemäß kann weiters vorgesehen sein, dass der erste Bereich angrenzend an die Projektionsfläche oder in einem Abstand von vorzugsweise unter 5cm zur
Projektionsfläche angeordnet ist. Zu diesem Zweck kann erfindungsgemäß vorgesehen sein, dass bei der Erfassung eines Objekts im ersten Interaktionsbereich der Bereich in einem Abstand von vorzugsweise unter 5cm zur Projektionsfläche gesondert vom zweiten Interaktionsbereich ausgewertet wird.
Erfindungsgemäß kann weiters vorgesehen sein, dass der erste Bereich und der zweite Bereich nicht überlappen. Erfindungsgemäß kann weiters vorgesehen sein, dass eine Positionsbestimmung des Objekts im Interaktionsbereich aus den Bilddaten durch ein rechnerisches Verfahren, vorzugsweise durch ein Pointcloud-Segmentierungsverfahren oder durch
Skeletontracking erfolgt.
Dadurch wird eine fehlerarme und effiziente Verfolgung von Objekten im
Interaktionsraum ermöglicht. Es können auch einzelne Körperteile von im
Interaktionsraum befindlichen Personen, beispielsweise Hände, Finger, oder der Kopf unabhängig voneinander erkannt werden.
Im Vergleich zum Pointcloud-Segmentierungsverfahren ist beim Skeletontracking die Ersterkennung der Benutzer zwar langsamer, jedoch bietet das Verfahren erweiterte Möglichkeiten der Steuerung in unmittelbarer Nähe der Projektionsfläche.
Erfindungsgemäß kann weiters vorgesehen sein, dass das rechnerische Verfahren in Echtzeit erfolgt sodass eine Verfolgung der Bewegung des Objekts im
Interaktionsbereich ermöglicht wird. Erfindungsgemäß kann weiters vorgesehen sein, dass die Bilddaten aus dem ersten Bereich zur Steuerung des visuellen Inhalts und die Bilddaten aus dem zweiten Bereich zur Anpassung des visuellen Inhalts an die Position des Objekts verwendet werden.
Beispielsweise können die dem ersten Bereich zugeordneten Bewegungsdaten als Auswahlfunktion, jedoch nicht notwendigerweise unter physischer Interaktion mit der Projektionsfläche, interpretiert werden.
Dadurch kann für den Benutzer das Vorhandensein eines Touchscreens simuliert werden. Die dem zweiten Bereich zugeordneten Bewegungen führen beispielsweise lediglich zu einer Anpassung der Darstellung an die Bewegung. Insbesondere kann eine Anpassung, beispielsweise Drehung, Bewegung oder Skalierung eines projizierten Inhalts erfolgen, wenn sich die Person im Interaktionsbereich bewegt. Dies kann genutzt werden, um ein Schaufenster möglichst realitätsnah zu simulieren. Erfindungsgemäß kann vorgesehen sein, dass eine Analyse der Bilddaten durchgeführt wird, um das Benutzerverhalten zu detektieren. Insbesondere kann zwischen der Benutzung durch aktive Benutzer des Interaktionsbereichs und sonstigen Personen, die erfasst werden, unterschieden werden. Durch die Auswerteeinheit kann beispielsweise folgendes Benutzerverhalten von aktiven Benutzern erfasst werden: Wie viele Benutzer waren aktiv und wann fanden diese Interaktion statt, wie lange dauerten die Interaktion in ersten Bereich (Nahbereich) und im zweiten Bereich (Fernbereich), mit welchen Inhalten wurde im Nahbereich interagiert, wie lang war die durchschnittliche
Verweildauer. Von den weiteren Personen, die durch das erfindungsgemäße Verfahren erfasst wurden, können beispielsweise folgende Parameter analysiert werden: Wann wurden sie detektiert, wie viele Personen wurden detektiert, und wie lange waren sie im jeweiligen Bereich.
Weitere erfindungsgemäße Merkmale ergeben sich aus den Patentansprüchen, der Beschreibung der Ausführungsbeispiele, sowie den Figuren.
Die Erfindung wird nun an Hand eines exemplarischen Ausführungsbeispiels näher erläutert. Es zeigen:
Fig. 1 eine schematische Ansicht eines Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung;
Fig. 2 eine schematische Ansicht des Ausführungsbeispiels aus Fig. 1 von oben;
Figs. 3a - 3b ein schematisches Flussdiagramm einiger Schritte eines
Ausführungsbeispiels eines erfindungsgemäßen Verfahrens.
Fig. 1 zeigt eine schematische Ansicht eines Ausführungsbeispiels einer
erfindungsgemäßen Vorrichtung. Fig. 2 zeigt dasselbe Ausführungsbeispiel in einer Darstellung von oben. Dargestellt ist ein Projektor 3 sowie eine Kamera 4, die sich in einem gemeinsamen Gehäuse befinden und jeweils mit einem Speicher 1 und einer Auswerteeinheit 6 verbunden sind. Auswerteeinheit 6 und Speicher 1 sind in diesem Ausführungsbeispiel in Form eines PCs realisiert. In diesem Ausführungsbeispiel sind sämtliche Hardwarekomponenten in einem einzigen Gehäuse angeordnet, sodass nur eine einzige zentrale Energieversorgung erforderlich ist. Der
Interaktionsbereich benötigt keine Energieversorgung. Beabstandet von dem Projektor 3 und der Kamera 4 ist eine Projektionsfläche in Form eines Schaufensters 2 angeordnet. Der Projektor 3 und die Kamera 4 befinden sich in diesem Ausführungsbeispiel etwas oberhalb des mittleren Bereichs des Schaufensters 2, beispielsweise an einer Decke des Verkaufsraums eines Geschäftslokals.
In diesem Ausführungsbeispiel ist die Scheibe des Schaufensters 2 in einfach verglaster Form ausgeführt. In anderen Ausführungsbeispielen kann diese jedoch auch Doppel- oder Mehrfachverglasung aufweisen.
Bei der Kamera 4 handelt es sich um eine 3D-Kamera, nämlich eine Tiefenbildkamera, oder Time of Flight (TOF)-Kamera, eine streifenlichtoptometrische Kamera, oder eine stereoskopische Kamera. Die Kamera ist in bekannter Weise dazu eingerichtet, für jeden Bildpunkt die Entfernung des abgebildeten Objektes zu bestimmen.
Im vorliegenden Ausführungsbeispiel weist die Kamera 4 eine Auflösung von 1 60x120 Pixel und eine Bildwiederholrate von 20 Bildern/Sekunde auf.
Der Speicher 1 , der Projektor 3, die Kamera 4, sowie die Auswerteeinheit 6 sind in diesem Ausführungsbeispiel in einem einzigen Gehäuse verbaut und besitzen eine einzige gemeinsame Energieversorgung. In anderen Ausführungsbeispielen kann auch vorgesehen sein, dass Speicher 1 und/oder Auswerteeinheit 6 getrennt von dem Projektor 3 und der Kamera 4 angeordnet sind und mit diesen über eine insbesondere drahtlose Datenverbindung in Verbindung stehen. Speicher 1 und Auswerteeinheit 6 können beispielsweise auf einem Server im Internet realisiert sein.
Auf der dem Projektor 3 abgewandten Seite des Schaufensters 2 sind zwei
dreidimensionale Bereiche vorgesehen, nämlich ein erster Bereich 7 in unmittelbarer Nähe des Schaufensters 2 und ein zweiter Bereich 8 beabstandet zum ersten Bereich 7. Schematisch ist eine Person 5 im zweiten Bereich 8 angedeutet. Die Bereiche 7, 8 sind durch den Aufnahmebereich bzw. Aufnahmewinkel der Kamera 4 bestimmt, mit anderen Worten, Objekte innerhalb der Bereiche 7, 8 befinden sich im Bildbereich der Kamera 4. Im vorliegenden Ausführungsbeispiel ist der erste Bereich 7 leicht beabstandet von der dem Projektor 3 abgewandten Seite des Schaufensters 2 angeordnet. Der Abstand beträgt etwa 1 cm. In einem nicht dargestellten, weiteren Ausführungsbeispiel der Erfindung ist der erste Bereich 7 unmittelbar angrenzend an diese Seite angeordnet.
Der erste Bereich 7 erstreckt sich in diesem Ausführungsbeispiel etwa 5 cm, sodass eine Handbewegung eines Benutzers in diesem ersten Bereich 7 detektierbar ist.
Der Abstand der ersten Bereichs 7 vom zweiten Bereich 8 beträgt etwa 10cm und kann bis zu 30cm betragen, um sicherzustellen, dass die Handbewegung einer Person unabhängig von der Position der Person erkannt werden kann.
In diesem Ausführungsbeispiel bleiben die Position sowie die Möglichkeit der Interaktion mit dem ersten Bereich 7 und dem zweiten Bereich 8 zu jedem Zeitpunkt konstant. So wird beispielsweise nicht die Funktionalität des zweiten Bereichs 8 eingeschränkt, wenn im ersten Bereich 7 ein Objekt detektiert wird.
Die Auswerteeinheit 6 ist dazu ausgebildet, den vom Projektor 3 projizierten visuellen Inhalt in Echtzeit in Reaktion auf die durch die Kamera 4 aufgenommenen Bilddaten aus dem ersten Bereich 7, aus dem zweiten Bereich 8, oder aus beiden Bereichen 7 ,8. anzupassen.
Auf der dem Projektor 3 zugewandten Seite des Schaufensters 2 ist eine holografische Folie 9 angeordnet. Bei dieser Folie 9 handelt es sich in diesem Ausführungsbeispiel um eine teiltransparente holographische Folie mit einem Transparenzgrad zwischen 90% und 100%.
In diesem Ausführungsbeispiel ist die Folie 9 zwei Meter breit und zwei Meter hoch. In einem alternativen Ausführungsbeispiel kann diese Folie 9 zwei Meter breit und bis zu 50 Meter lang sein. Mehrere Folien können nahtlos aneinander geklebt werden. Die in diesem Ausführungsbeispiel dargestellte holographische Folie 9 ist ferner eine permanent klebende und kratzfeste Folie. In einem weiteren Ausführungsbeispiel kann die Folie 9 auch als nicht-permanent klebende Folie ausgeführt sein.
Der Projektor 3 projiziert auf diese Folie 9 einen visuellen Inhalt, zum Beispiel ein Bild. Das vom Projektor 3 in Richtung zum Schaufenster 2 ausgesandte Lichtsignal ist in strichlierten Linien angedeutet. In diesem Ausführungsbeispiel hat das vom Projektor 3 ausgegebene Bild eine Auflösung von 1024x768 Bildpunkten. Um die Bildqualität zu erhöhen, können auch Projektoren mit höherer Auflösung eingesetzt werden.
In diesem Ausführungsbeispiel erfolgt die Erkennung des Benutzers mit Hilfe eines Pointcloud-Segmentierungsverfahrens. Die Stabilisierung der Erkennung über lange Zeiträume erfolgt mit einem Shortest-Distance-Algorithmus. In einem anderen
Ausführungsbeispiel kann die Benutzerkennung mit Hilfe von Skeletontracking erfolgen.
Figs. 3a und 3b zeigen ein schematisches Flussdiagramm einiger Schritte eines
Ausführungsbeispiels eines erfindungsgemäßen Verfahrens. Die in Fig. 3a dargestellten Schritte werden in der Kamera 4 und in der Auswerteeinheit 6 vorgenommen. Dabei werden zwei voneinander unabhängig definierte Bereiche verwendet, nämlich der erste Bereich 7 in Form des Touch-Bereichs, und der zweite Bereich 8 in Form des Positions- Bereichs 8. Die User-Interaktion wird von der 3D-Kamera aufgenommen und unter Berücksichtigung der beiden Bereiche erfolgt eine Voxel-Filterung. Dabei bezeichnet ein Voxel ein dreidimensionales Pixel mit x-, y- und y-Koordinate. Dabei können
herkömmliche Programmbibliotheken eingesetzt werden. Vorab wurden die Eckpunkte der Projektion definiert und die Bilddaten der 3D-Kamera entsprechend kalibriert, sowie die Kalibrationsdaten als Datei im Speicher 1 abgespeichert. Bei der Voxel-Filterung werden im Fernbereich alle Voxel, die näher als eine minimale Entfernung oder weiter als eine maximale Entfernung sind, herausgefiltert. Im Nahbereich werden alle Voxel, die nicht in dem definierten, zu erkennenden Bereich vor der Scheibe sind, verworfen. Nach der Voxel-Filterung erfolgt ein Clustering, das heißt eine Segmentierung der nach der Filterung verbliebenen Voxel in Cluster, und zwar jeweils im Fernbereich (zweiter Bereich 8) und Nahbereich (erster Bereich 7). Das Clustering kann auf Grundlage einer beliebigen Norm erfolgen, beispielsweise euklidisch oder nearest neighbour.
Danach erfolgt eine Filterung der Cluster nach Parameter, wiederum jeweils im
Fernbereich und im Nahbereich. Im Fernbereich werden alle Cluster, die nicht den Parametern entsprechen (größer als Maximalgröße oder kleiner als Minimalgröße einer Person) entfernt. Im Nahbereich werden alle Cluster, die nicht den Parametern entsprechen (größer als Maximalgröße oder kleiner als Minimalgröße der zu
erkennenden Elemente) entfernt.
Schließlich werden die Centroide (x-, y-, z-Koordinaten) der verbliebenen Cluster im Fernbereich und Nahbereich bestimmt und ausgegeben. Ein Centroid im Nahbereich wird als Touch-Eingabe interpretiert; ein Centroid im Fernbereich als erkannte Position einer Person. Im Fernbereich wird gegebenenfalls der aktive User bestimmt,
beispielsweise auf Grund der Verweildauer vor der Scheibe (am längsten im
Sichtbereich) oder der Position zur Scheibe (am nächsten zur Scheibe).
Die erkannten Centroid-Daten werden über ein Netzwerkprotokoll wie UDP, TCP oder einen Websocket an die Visualisierungskomponente weitergesendet (Fig. 3b). Die Visualisierungskomponente kann beispielsweise durch das Zusammenwirken von Projektor 3, Auswerteeinheit 6 und Speicher 1 realisiert sein. Die Position der Centroide bestimmt die Transformation der 2D oder 3D Objekte, wobei auf Informationen aus dem Speicher 1 zurückgegriffen wird. Über eine virtuelle Kamera erfolgt ein Rendering der Objekte und schließlich die Ausgabe über den Projektor 3. Bezugszeichenliste
1 Speicher
2 Schaufenster
3 Projektor
Kamera
Person
6 Auswerteeinheit Erster Bereich Zweiter Bereich Holographische Folie

Claims

Patentansprüche
1 . Vorrichtung zur interaktiven Präsentation von visuellen Inhalten umfassend einen Speicher (1 ) zur Bereitstellung der visuellen Inhalte, eine Projektionsfläche, einen mit dem Speicher (1 ) verbundenen Projektor (3) zum Projizieren der visuellen Inhalte auf die Projektionsfläche, eine Kamera (4) zur Erfassung zumindest eines in einem Interaktionsbereich befindlichen Objekts, vorzugsweise zumindest einer Person (5), sowie eine mit dem Speicher (1 ) und der Kamera (4) verbundene Auswerteeinheit (6) die zur Verarbeitung des durch die Kamera (4)
aufgenommenen Bildes des Interaktionsbereichs und zur Erstellung von Bilddaten eingerichtet ist,
dadurch gekennzeichnet, dass
der Interaktionsbereich zumindest einen ersten Bereich (7) und einen zweiten Bereich (8) aufweist und die Auswerteeinheit (6) dazu ausgebildet ist, die
Bilddaten aus dem ersten Bereich (7) und aus dem zweiten Bereich (8) in unterschiedlicher Form auszuwerten.
2. Vorrichtung nach Anspruch 1 , dadurch gekennzeichnet, dass die Projektionsfläche eine im Wesentlichen ebene Fläche, beispielsweise ein Arbeitstisch, oder eine unebene Fläche, beispielsweise ein Architekturmodell, ist.
3. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die
Projektionsfläche eine zumindest teilweise für sichtbares Licht transparente Fläche oder Scheibe, beispielsweise ein Schaufenster (2) ist.
4. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der erste Bereich (7) angrenzend an die Projektionsfläche oder in einem Abstand von vorzugsweise unter 5cm zur Projektionsfläche angeordnet ist.
5. Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass der erste Bereich (7) und der zweite Bereich (8) nicht überlappen.
6. Vorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass der Interaktionsbereich eine beliebige Anzahl von Bereichen umfasst, die
vorzugsweise nicht überlappen, und wobei die Auswerteeinheit (6) dazu
ausgebildet ist, die Bilddaten aus den Bereichen in unterschiedlicher Form auszuwerten.
7. Vorrichtung nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass auf der Projektionsfläche, vorzugsweise auf der dem Projektor (3) zugewandten Seite der Projektionsfläche, eine zumindest teiltransparente holographische Folie (9) vorzugsweise mit einem Transparenzgrad zwischen 90% und 100% aufgebracht ist.
8. Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass der Projektor (3) ausgebildet ist, um an der auf der Projektionsfläche angebrachten
holographischen Folie (9) aus den vom Speicher (1 ) bereitgestellten visuellen Inhalten eine dreidimensionale visuelle Darstellung zu generieren.
9. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass die Kamera (4) eine 3D-Kamera, insbesondere eine
Tiefenbildkamera, vorzugsweise eine Time of Flight (TOF)-Kamera, eine
streifenlichtoptometrische Kamera, oder eine stereoskopische Kamera ist, wobei die Kamera (4) vorzugsweise wenigstens eine Auflösung von 1 60x120 Pixel und vorzugsweise wenigstens eine Bildwiederholrate von 20 Bildern/Sekunde aufweist.
10. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass die Auswerteeinheit (6) dazu ausgebildet ist, den vom Projektor (3) projizierten visuellen Inhalt in Echtzeit in Reaktion auf die Bilddaten aus dem ersten Bereich (7), aus dem zweiten Bereich (8), oder aus beiden
Bereichen (7 ,8) anzupassen.
1 1 . Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass der Speicher (1 ), der Projektor (3), die Kamera (4) und die Auswerteeinheit (6) in einem Gehäuse integriert und mit einer zentralen
Energieversorgung versehen sind.
12. Verfahren zur interaktiven Präsentation von visuellen Inhalten, umfassend die folgenden Schritte:
a. Projizieren eines visuellen Inhalts auf eine Projektionsfläche,
b. Erfassung zumindest eines Objekts, vorzugsweise zumindest einer
Person (5), innerhalb eines Interaktionsbereichs durch eine Kamera (4), sowie Auswertung des durch die Kamera (4) aufgenommenen Bildes und Erstellung von Bilddaten,
dadurch gekennzeichnet, dass der Interaktionsbereich zumindest einen ersten Bereich (7) und einen zweiten Bereich (8) aufweist, und die Bilddaten aus dem ersten Bereich (7) und aus dem zweiten Bereich (8) in unterschiedlicher Form ausgewertet werden.
13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass in einem weiteren Schritt der projizierte visuelle Inhalt in Abhängigkeit von den ausgewerteten Bilddaten angepasst wird.
14. Verfahren nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass der erste Bereich (7) angrenzend an die Projektionsfläche oder in einem Abstand von vorzugsweise unter 5cm zur Projektionsfläche angeordnet ist.
15. Verfahren nach einem der Ansprüche 12 bis 14, dadurch gekennzeichnet, dass der erste Bereich (7) und der zweite Bereich (8) nicht überlappen.
16. Verfahren nach einem der Ansprüche 12 bis 15, dadurch gekennzeichnet, dass der Interaktionsbereich eine beliebige Anzahl von Bereichen umfasst, die vorzugsweise nicht überlappen, und wobei die Bilddaten aus den Bereichen in unterschiedlicher Form ausgewertet werden.
17. Verfahren nach einem der Ansprüche 12 bis 1 6, dadurch gekennzeichnet, dass in Schritt b) eine Positionsbestimmung des Objekts im Interaktionsbereich aus den Bilddaten durch ein rechnerisches Verfahren, vorzugsweise durch ein Pointcloud- Segmentierungsverfahren oder durch Skeletontracking erfolgt.
18. Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass das rechnerische Verfahren in Echtzeit erfolgt sodass eine Verfolgung der Bewegung des Objekts im Interaktionsbereich ermöglicht wird.
19. Verfahren nach einem der Ansprüche 12 bis 18, dadurch gekennzeichnet, dass die Bilddaten aus dem ersten Bereich (7) zur Steuerung des visuellen Inhalts und die Bilddaten aus dem zweiten Bereich (8) zur Anpassung des visuellen Inhalts an die Position des Objekts verwendet werden.
PCT/EP2018/070388 2017-07-27 2018-07-27 Vorrichtung zur interaktiven präsentation von visuellen inhalten WO2019020782A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ATA50624/2017A AT520234B1 (de) 2017-07-27 2017-07-27 Vorrichtung zur interaktiven Präsentation von visuellen Inhalten
ATA50624/2017 2017-07-27

Publications (1)

Publication Number Publication Date
WO2019020782A1 true WO2019020782A1 (de) 2019-01-31

Family

ID=63036079

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/070388 WO2019020782A1 (de) 2017-07-27 2018-07-27 Vorrichtung zur interaktiven präsentation von visuellen inhalten

Country Status (2)

Country Link
AT (1) AT520234B1 (de)
WO (1) WO2019020782A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050110964A1 (en) * 2002-05-28 2005-05-26 Matthew Bell Interactive video window display system
US20060132432A1 (en) * 2002-05-28 2006-06-22 Matthew Bell Interactive video display system
WO2009035705A1 (en) * 2007-09-14 2009-03-19 Reactrix Systems, Inc. Processing of gesture-based user interactions

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6346933B1 (en) * 1999-09-21 2002-02-12 Seiko Epson Corporation Interactive display presentation system
US8786667B2 (en) * 2011-04-26 2014-07-22 Lifesize Communications, Inc. Distributed recording of a videoconference in multiple formats
CN106469531A (zh) * 2015-08-20 2017-03-01 嘉兴市全程信息科技有限公司 一种橱窗展示系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050110964A1 (en) * 2002-05-28 2005-05-26 Matthew Bell Interactive video window display system
US20060132432A1 (en) * 2002-05-28 2006-06-22 Matthew Bell Interactive video display system
WO2009035705A1 (en) * 2007-09-14 2009-03-19 Reactrix Systems, Inc. Processing of gesture-based user interactions

Also Published As

Publication number Publication date
AT520234A1 (de) 2019-02-15
AT520234B1 (de) 2019-05-15

Similar Documents

Publication Publication Date Title
DE102018109463B3 (de) Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung
DE60133386T2 (de) Vorrichtung und verfahren zur anzeige eines ziels mittels bildverarbeitung ohne drei dimensionales modellieren
DE102009037835B4 (de) Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
WO2017211817A1 (de) Bedienvorrichtung mit eyetrackereinheit und verfahren zum kalibrieren einer eyetrackereinheit einer bedienvorrichtung
DE112015005721T5 (de) Elektives paarweises zuordnen einer in einem virtuellen bereich dargestellten anwendung zu einer physischen anzeige
DE102014006732B4 (de) Bildüberlagerung von virtuellen Objekten in ein Kamerabild
DE69715816T2 (de) Videoanzeigesystem zum Darstellen einer virtuellen dreidimensionalen Bildanzeige
EP3012712A1 (de) Virtuelles zeichnen in realer umgebung
DE102014114131A1 (de) Verfahren zur Informationsverarbeitung und elektronisches Gerät
DE102014010309B4 (de) Anzeigen von zusätzlichen Inhalten in einer virtuellen Szenerie
AT520234B1 (de) Vorrichtung zur interaktiven Präsentation von visuellen Inhalten
DE102009031158A1 (de) Vorrichtung und Verfahren zur Erkennung einer Zeigegeste eines Nutzers zur Interaktion mit einer Eingabefläche
EP3534240A1 (de) Verfahren und vorrichtung zur daten-annotation
DE102010052291B4 (de) Verfahren und Vorrichtung zum Anzeigen von Informationen in einem Fahrzeug
DE102015011590B4 (de) Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
DE102015007245B4 (de) Verfahren zum Betreiben einer Datenbrilleneinrichtung und Datenbrilleneinrichtung
DE102015201642B4 (de) Vorrichtung und Verfahren zur Darstellung einer Umgebung eines Fahrzeuges
WO2015024685A1 (de) Verfahren zur darstellung eines in einem volumendatensatz abgebildeten objektes auf einem bildschirm
DE102012010799A1 (de) Verfahren zur räumlichen Visualisierung von virtuellen Objekten
EP2940624A1 (de) Verfahren zum Erstellen eines dreidimensionalen virtuellen Modells einer Umgebung für Anwendungen zur Positionsbestimmung
WO2007048674A1 (de) System und verfahren für ein kamerabasiertes tracking
DE102019219244B3 (de) Verfahren zur Darstellung von Teilen eines Bildes auf einer Bildschirmanordnung, Computerprogrammprodukt, Kraftfahrzeuganzeigevorrichtung sowie Kraftfahrzeug
DE102014011163A1 (de) Vorrichtung zum Anzeigen eines virtuellen Raums und Kamerabildern
AT503007B1 (de) Verfahren und anordnung zum abbilden eines gegenstandes
DE102004027289A1 (de) Verfahren und Anordnung zur berührungslosen Navigation in einem Dokument

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18746189

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: ESTSTELLUNG EINES RECHTSVERLUSTS NACH REGEL 112(1) EPUE (EPA FORM 1205A VOM 6.05.2020)

122 Ep: pct application non-entry in european phase

Ref document number: 18746189

Country of ref document: EP

Kind code of ref document: A1