WO2019145534A1 - Virtual reality conference system - Google Patents

Virtual reality conference system Download PDF

Info

Publication number
WO2019145534A1
WO2019145534A1 PCT/EP2019/051999 EP2019051999W WO2019145534A1 WO 2019145534 A1 WO2019145534 A1 WO 2019145534A1 EP 2019051999 W EP2019051999 W EP 2019051999W WO 2019145534 A1 WO2019145534 A1 WO 2019145534A1
Authority
WO
WIPO (PCT)
Prior art keywords
participant
virtual view
virtual
pointing
avatar
Prior art date
Application number
PCT/EP2019/051999
Other languages
German (de)
French (fr)
Inventor
Florian VAN DE CAMP
Adrian HOPPE
Original Assignee
Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Karlsruher Institut für Technologie
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V., Karlsruher Institut für Technologie filed Critical Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Publication of WO2019145534A1 publication Critical patent/WO2019145534A1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Definitions

  • the present invention relates to a VR conferencing system.
  • HMD Head-mounted displays
  • FIG. 8 shows example, a problem that arises in the cooperation of several people in this way.
  • Fig. 8 shows two persons 10 and 12 sitting together on a table 14, on opposite sides of the table, and both see on the table the same contents 16, the one, namely the person 12, right around, and the others, the person 10, standing upside down. Not all persons thus see the displayed information or objects 16 from the same perspective and, above all, not from the favorable perspective, from which, for example, the font of the content 16 can be read. This requires rethinking of most people involved, such as: For example, employees of a company provoke mistakes.
  • Another example of such a problem would be that, for example, several people are standing around a map. Few of the people involved could see this card genuinely. Most people then need to look at the map from a rotated perspective, as well as the person 10 in the example of FIG. 8, who must even view the content 16 upside down.
  • Matsukage et al. [1] a collaborative system connecting two physically remote users through a videoconference.
  • his pointing gestures are also transmitted to objects that are on the table in front of the respective monitor.
  • the hand of the user is detected with a camera on the screen edge and then a section of the hand by means of a projector on the desk of the other Benut zers mapped.
  • the projection of the hand is done according to the position of the object, which means that the objects on the desks of the two users need not be the same.
  • [2] present a system where two physically remote users can collaborate on a digital whiteboard.
  • the system consists of a large touchscreen monitor and a camera.
  • the camera captures the users and their shape is then displayed to the other user on the monitor.
  • Targeted transformation of the camera image preserves the eye and gesture direction and the intention of the user.
  • videoconferencing systems or whiteboard systems are problematic because, for example, scaling with the number of participants is difficult, proprietary, infrequent utensils such As whiteboards or projectors are needed, or the user must abide by certain rules of conduct, so as not to obtain the concordance on all participating participant pages.
  • the object of the present invention is to create a VR conference system which enables a more effective cooperation of the participating conference participants.
  • a VR conferencing system can be used for more effective collaboration, if the usual attempt to reconstruct a virtual world, in this case the cooperation of the participants, as realistically as possible, is used. Rather, it is favorable if, in a second view, the second object is displayed in its virtual view in addition to the first participant's avatar in a manner in which the object differs from the second viewpoint in this virtual view Referenzpositi on, such as relative to the same rotational offset, translational offset and / or scaled, where the object in the virtual view of this second participant for the avatar of the first participant as in the first virtual point of view, that is, if the Both participants just do not see a common same scene in which the participants are virtually.
  • the object can look for both participants be the same or similar perspective visible, such as from a front view or the like, although in the virtual view, the avatar of the other party is located elsewhere, ie, for example, sitting on a common virtual conference table on another page or the like.
  • Such a system is then arbitrarily scalable in terms of the number of participants and can also be configured so that each participant can set the session with respect to the arrangement of each other participants relative to himself freely according to his preferences. It has now been recognized, in particular, that such a system need not suffer from the fact that the participants could not interact with each other by pointing gestures due to the non-conformity of the perceived conference scene.
  • pointing gesture information of the first party is used to determine a relative location of a point on, on, or in the object, and for that point - the highlight point - a pointing gesture on and / or highlighting it is added to the virtual view of the site second participant.
  • the system takes into account the fact that the conference participants see different scenes of participants and objects. In this way, for example, it is possible for a pointer, which is made by the first participant by means of a hand-held pointing device and / or its viewing direction with respect to the object in its own virtual view, to one or more corresponding gestures of the avatar of the first one Participant in the virtual view of the second participant.
  • the avatar of the first participant is pointing and / or looking at the corresponding highlighting point in the virtual view of the second participant.
  • the virtual view of the second participant ie the point with the same relative position to the object.
  • Fig. 1 shows a schematic representation of a VR conference system according to an exemplary embodiment
  • Fig. 2 shows schematic tasks performed by the VR conferencing system to illustrate the interaction with the object for all participants in a personal perspective
  • Fig. 3 schematically illustrates how a pointing gesture information of a subscriber is detected and converted in a pointing position for a pointing position
  • FIG. 4 shows schematically for a subscriber how the other participants as an avatar are also shown in the view of one subscriber
  • Figure 5 shows schematically a resulting virtual view of a conference attendee, showing the object in it, and an avatar pointing to a highlight point corresponding to the point of view pointed to by the participant represented by the avatar;
  • Fig. 6 is a schematic plan view of a virtual two-party conference system
  • FIG. 7 is a schematic plan view of a virtual two-way communication system in which the avatar of one subscriber is adapted to the virtual world of the other subscriber; FIG. and
  • Fig. 8 is a schematic plan view of a real opposite two participants at a common table.
  • the VR conferencing system 20 of FIG. 1 includes a processor 22 that is communicatively coupled to VR devices 26-26 2 by a plurality of subscribers via a network 24, such as the Internet, the index of reference numerals being between different subscribers To differentiate participants.
  • the number of participants is two in the description of most embodiments in the present application, but as indicated by dashed lines in Fig. 1, an increase in the number is readily possible.
  • the VR devices 26 ⁇ 26 2 of the participants may be a combination of VR glasses 28 with one or more hand-pointing devices 30, as is symbolized in Fig. 1.
  • the display function could be taken over by the use of an HMD (Head- ounted Display), such as a video goggles, a helmet display or VR helmet, also from a head-up display. Portions of the functionalities described below with respect to the processor 22 may also be swapped out on a processor in the VR device 26.
  • the VR glasses 28 include, for example, the functionality of inserting a virtual image into the eyes of the user, namely the virtual view of the respective participant, as described below. will be described later.
  • the hand-pointing device 30 and optionally also the VR glasses 28 are equipped with inertial sensors, in order, for example, in the case of the hand-held device 30 to be able to determine the relative position thereof to the VR glasses 28 or to determine at least one spatial orientation of the hand-pointing device 30 to Kings.
  • the VR goggles 28 may be equipped with inertial sensors to detect the head alignment.
  • cameras or light-house technology or deep-camera-based "inside-out tracking" can be used to detect head movement.
  • the VR glasses can have an eye tracker in order to determine an instantaneous line of sight of the respective participant.
  • gesture recognition via a camera could also be used.
  • each VR device 26 is connectable to the processor 22 via a communicative link 32, and for each of the participants, so that the VR conferencing system 20 is capable of having remote participants in one attend a virtual conference session. The details are described below.
  • FIG. 1 it should also be mentioned that it would also be possible for the processor tasks described below to be partially transferred from the processor 22 shown in FIG. 1, which acts quasi as a server, into the VR devices 26, 26 2 and, respectively outsourced in this Pro processors, or even the entire functionality. In the latter case, the participants in Fig. 1 would be via the network 24, such. As the Internet, connected without a separate processor 22 would be necessary. Additionally, it should be noted that the VR devices may be part of the system 20 or may be external system compatible components that interact with corresponding interfaces of the system 20.
  • Fig. 2 shows schematically the VR devices 26, and 26 2 of two participating conference participants, where, as already mentioned, the number is not limited to two.
  • the processor tasks of the conference system 20 now include, in particular, presenting each participant with a respective virtual view.
  • the presentation 32, the participant with the VR device 26, opposite and the presentation 32 2 facing the participant with the VR device 26 2 are provided with different indexes to indicate that the virtual views are different.
  • the scenes are also different.
  • the result of the presentations 32, 2 may be, for example, in a still picture or a video. Sel biges is then in the respective VR device 26, or. 26 2 is displayed.
  • the presentations 32 1 2 include in particular the projection of an object 34, which is the same for all conference participants and quasi forms the subject of the conference session, from egg nem subscriber-specific coordinate system 36 ! or 36 2 in the respective view of the participant.
  • the object 34 is a virtual object, ie, a model, an image, a vector graphic, a text, or the like.
  • the object 34 is exemplified as a document which is angeord net in the coordinate system 36-i and in the coordinate system 36 2 of the other participant.
  • the projection depends 32 ! or 32 2 of the subscriber's own Koordinatensys system 36i and 36 2 in the own view, for example, from the head position of the respective participant from.
  • the object 34 in both coordinate systems 36i and 36 2 arranged so that the respective projection 32i or 32 2 causes that both participants see the object 34 from the same or approximately the same perspective.
  • FIG. 3 shows, for example, a subscriber 38i who carries the VR device 26i or, in this case, the VR glasses 28 and virtually looks at the object 34 over it.
  • the participant 38i points to a pointing point 40, which here exemplarily lies on the object 34, but positions 40 in a three-dimensional object would also be possible, or positions close to the object 34.
  • FIG. 3 indicates that the Subscriber 38i performs pointing to the pointing point 40 by means of the hand pointing device 30, but as already mentioned, such pointing gesture information could also be obtained from a head alignment or a viewing direction of the eyes of the participant 38i.
  • the obtained Zeigegestein formation of sensor data of the VR device 26i is then used by the VR conference system 20 to locate from the same point 40 relative to the object 34, ie its relative position to the object 34 such. B. its position within the document sheet or the like.
  • the VR conference system determines, for example, from the pointer gesture information of the subscriber 38i a pointer straight in the subscriber's own coordinate system 36i, wherein the line is indicated in Fig. 3 with a dashed line 42, and determines an intersection of this line 42 with the ob jekt 34 or the intersection of the line 42 with a virtual plane on which the ob jekt 34, for example, such. B. the level of a virtual conference table.
  • the videoconferencing system obtains the pointing location of the pointing point 40 in the subscriber's own coordinate system 36i.
  • Another processor task of the conference The system 20 now consists of mapping the point of the indexing point 40 into the second coordinate system 36 2 using a transformation provided for this purpose, the reference numeral 44 12 being used for this transformation in FIG. 2 in order to indicate with the indices that this point Transformation for images from the coordinate system 36 t to the coordinate system 36 2 is provided. It should be remembered that the number of participants may be larger, so that at N subscribers N (N-1) transformations of this kind may exist.
  • the transformation 44 21 is determined to be the object 34 in the coordinate system 36 ! onto the object 34 in the coordinate system 36 2 .
  • Fig. 2 the pixel of the display point 40 in the second coordinate system 36 2 is indicated at 45.
  • This point 45 is the one which is to be used by the participants of the conference 38 ! is to be displayed, ie that of the VR device 26 2 in the case of Fig. 2.
  • This process can ge in different ways, as will be discussed in more detail below.
  • transformations 44 ⁇ 2 and 44 2i may be purely translational and / or rotational transformations, ie, the objects 34 may be congruent, but it is also possible that the transformations 44 12 and 44 2I additionally but also, for example, could have an isotropic or else anistropic scaling.
  • the processor task which is described in an exemplary manner with reference to FIG. 4 for the user of the VR device 26 2 , is the Display of the avatar of the one or more other participants in the view of the respective participant, here the participant 26 2 .
  • the presentation 32 2 of the virtual view for this participant comprises, in addition to the representation of the object 34, the at least partial representation of the avatar 46 of the other participant, in this case the participant 38.
  • "Partial" refers to the fact that, for example, only the face and Arms of the avatar are simulated or synthesized.
  • the VR conferencing system allows each participant to place the avatars themselves around the object 34 in their respective virtual views.
  • the system 20 could also rely on personal data of the participants to define their avatars in the views of the other participants.
  • FIG. 4 it is indicated that the avatar of the subscriber 38 ! has been placed to the right of the second party with the VR device 26 2 and therefore can be seen on the right in the virtual view of the second party.
  • the avatar 46 is, for example, a model of a person who is superimposed on the projection 32 2 in the view.
  • FIG. 5 shows by way of example a view as it is superimposed on the view of the participant of the VR device 26 2 .
  • the view shown in Fig. 5 48 2 shows the avatar 46 on the right side, with the object 34 lying in front of it.
  • the object 34 is advantageously aligned with the eye point of the participant of the VR device 26 2 , such as, for example, that any writing on the object 34 is not upside down, as is ver anschaulicht in Fig. 5, or a possible front of the viewer is facing, or a map, for example, appears to have been ordered.
  • FIG. 5 shows the highlighting point 45 in the view 48 2. It may be blinking, eigged, or otherwise identified by the VR conference system in the view 48 2 , optionally additionally provided with information in the view 48 2 , through which Participants, here 38 ! , this point was highlighted. Additionally or alternatively, the VR conferencing system parameterizes avatar 46 model parameters according to the location of the point 45. For example, the VR conferencing system has the avatar 46 pointed to the 45 position with the hand or finger 50. Additionally or alternatively, the VR conferencing system may overlay a pointing line from the avatar's hand or finder to point 45 in the view.
  • the VR conferencing system may parameterize the avatar 46 with respect to its header alignment, that the view of the avatar 46 is aligned to the point 45, so that gives the participants with this view, a harmonious impression in which the pointing avatar also looks at the point on which he also shows in the scene.
  • the appropriate parameterization of the avatar 46 of that participant from whose pointing position 40 the highlighting point 45 has been determined, naturally allows the observer of the view 48 2 to recognize which conference participant is responsible for the pointing gesture. An additional audio discussion among the participants of the conference can thus be conducted without any problems.
  • the eyepoints 52 of the one or more avatars are placed in the view of a respective participant to be disposed about a common axis of rotation 54.
  • a common axis of rotation 54 Such is shown by way of example in FIG. 5.
  • the transformation 44 of Fig. 2 could be limited to a rotation about this axis 54, which could in this case, for example, the vertical axis of the z z own coordinate systems 36, together.
  • the above exemplary embodiments thus solve the problem presented in the introduction to the description of the effective cooperation of conference participants by a manipulated manipulation of virtual worlds.
  • the contents, such as 34 can be displayed to each participant in the same, for example in some optimal, per spectroscopic way. So it could be achieved that with these execution examples two participants, as shown in Fig. 6, have a two-party with each other, each participant 36 n and 36 2 a personal, virtual world is displayed, in which the contents 34 for both participants are shown optimally. Both sit at a conference table 55 opposite each other, but everyone sees in his view, the object 34 from an optimal perspective, namely 34 'for the subscriber 36 T and 34 "for the participants 36 participants. 2 For both, in the example of FIG. 6, the font is correct or readable.
  • the rotation of the user avatar may then be adjusted accordingly so that the gaze and the hands point in the direction of the respective transformed position 45, as illustrated with reference to FIG.
  • the transformation of the contents may include a modification by translation, rotation or scaling.
  • the modification made by the user 36 2 in the case of FIG. 6 into the personal perspective of the user 36 ! or the transformation 44 21 could be described, for example, with the following formula: where x m is the resulting modified position in the world of user B, ie from user 36 ! , X, is the intersection 40 in the world of the user 36 2 , A, x p is the pivot point at which the modification is to be performed, i.e. the center of the conference table 55.
  • R AB is a rotation matrix representing the object 34 from the user A transformed into the world by user B. For example, a rotation of the table contents by 180 ° can be performed here, but scaling is also possible.
  • the axis of rotation is indicated in Fig. 5 at 54.
  • S AB is a vector which allows a shift of the contents. In the case of the rotated table surface, for example, no translation is carried out or the vector is 0. At least that would be a possibility.
  • the object 34 in the virtual view of the first participant and in the second virtual view 48 2 is arranged to be identical relative to the rotation axis 54, or at least would have a matching orientation to the axis 54.
  • the above embodiments thus enable collaboration of participants of a conference system in virtual reality.
  • the above embodiments provide advantages in terms of time and error, which also overcomes limitations in the real world.
  • the embodiments are also very well scalable in terms of the number of participants in the conference.
  • the above embodiments are primarily based on 2D contents as the conference object 34, it is clear that the above embodiments Also examples of 3D content as the object 34 are applicable.
  • the above embodiments provide, in particular, a high immersion / co-presence, so that the participants get the feeling that they really are facing the other participants.
  • the modification or transformation in addition to a translation and rotation and scaling could also include other changes, in addition or alternatively, that could make the virtual worlds look completely different.
  • the above embodiments thus allow conferences in virtual reality, which in reality might not be possible at all. réellekei th for the above embodiments would not be limited in particular to work environments. Also in the games industry would be opportunities.
  • aspects have been described in the context of a device, it should be understood that these aspects also constitute a description of the corresponding method, so that a block or device of a device is also to be understood as a corresponding method step or as a feature of a method step , Similarly, aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device.
  • Some or all of the method steps may be performed by a hardware device (or using hardware - Apparatus), such as a microprocessor, a programmable computer or an electronic circuit can be performed. In some embodiments, some or more of the most important method steps may be performed by such an apparatus.
  • embodiments of the invention may be implemented in hardware or in software.
  • the implementation may be performed using a digital storage medium, such as a floppy disk, a DVD, a Blu-ray Disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or FLASH memory, a hard disk, or other magnetics or optical memory are stored on the electronically read STEU ersignale that can sammen penetrate with a programmable computer system to such or cooperating that the respective method is performed. Therefore, the digital storage medium can be computer readable.
  • Some embodiments according to the invention thus comprise a data carrier which has electronically readable control signals which are capable of being used with a pro- programmable computer system such that one of the methods described herein be performed.
  • embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product runs on a computer.
  • the program code can also be stored, for example, on a machine-readable carrier.
  • inventions include the computer program for performing any of the methods described herein, wherein the computer program is stored on a machine-readable medium.
  • an embodiment of the method according to the invention is thus a computer program which has a program code for carrying out one of the methods described herein when the computer program runs on a computer.
  • a further exemplary embodiment of the method according to the invention is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program is recorded for performing one of the methods described herein.
  • the data carrier, the digital storage medium or the computer-readable medium are typically representational and / or non-transient or not transient.
  • a further exemplary embodiment of the method according to the invention is thus a data stream or a sequence of signals which represents the computer program for performing one of the methods described herein.
  • the data stream or the sequence of signals may be configured, for example, to be transferred via a data communication connection, for example via the Internet.
  • Another embodiment includes a processing device, such as a computer or programmable logic device, configured or adapted to perform any of the methods described herein.
  • Another embodiment includes a computer on which the computer program is installed to perform one of the methods described herein.
  • Another embodiment according to the invention comprises a device or system adapted to transmit a computer program for performing at least one of the methods described herein to a receiver.
  • the transmission can be done for example electronically or optically.
  • the receiver may be, for example, a computer, a mobile device, a storage device or a similar device.
  • the device or system may include a file server for transmitting the computer program to the recipient.
  • a programmable logic device eg, a field programmable gate array, an FPGA
  • a field programmable gate array may cooperate with a microprocessor to perform any of the methods described herein.
  • the methods are performed by any hardware device. This may be a universal hardware such as a computer processor (CPU) or hardware specific to the process, such as an ASIC.
  • the devices described herein may be implemented, for example, using a hardware device, or using a computer, or using a combination of a hardware device and a computer.
  • the devices described herein, or any components of the devices described herein, may be implemented at least in part in hardware and / or in software (computer program).
  • the methods described herein may be implemented, for example, using a hardware device, or using a computer, or using a combination of a hard disk adapter and a computer.
  • the methods described herein, or any components of the methods described herein, may be performed, at least in part, by hardware and / or by software.

Abstract

The invention relates to a VR conference system which can be used for more effective collaboration. The invention does not attempt to produce a virtual world, i.e. a collaboration between the participants, which is as real as possible. Instead, in addition to the avatar of a participant, a common object is displayed to the other participant's point of view in such a manner that both participants do not see a common identical scene in which the participants are virtually located. Rather, the object is visible to both participants from the same perspective or from similar perspectives, such as from a front view or the like for example.

Description

Virtual-Reality-Konferenzsystem  Virtual Reality conference system
Beschreibung description
Die vorliegende Erfindung bezieht sich auf ein VR-Konferenzsystem. The present invention relates to a VR conferencing system.
Virtual-Reality- (VR-; VR = Virtuelle Realität) Anwendungen erfreuen sich immer größerer Beliebtheit. Head-Mounted-Displays (HMD-) Displays mit integrierten Inertialsensoren zur Erfassung der Kopfbewegung des Benutzers mit zugehörigen Handgeräten zur Interaktion mit der virtuellen Welt sind immer kostengünstiger verfügbar und prinzipiell ist es mit sol- chen Systemen möglich, virtuelle Konferenzen abzuhalten, bei denen die Teilnehmer an ganz unterschiedlichen Orten sitzen können. Virtual Reality (VR) applications are becoming increasingly popular. Head-mounted displays (HMD) displays with integrated inertial sensors for detecting the head movement of the user with associated hand devices for interacting with the virtual world are becoming increasingly cost-effective and, in principle, such systems are able to hold virtual conferences in which the Participants can sit in very different places.
Ein Problem, das in der realen Welt ebenso wie in der virtuellen Welt auftritt, ist die unterschiedliche Perspektive auf einen gemeinsam betrachteten Gegenstand, wenn die be- sprechenden Teilnehmer um das Objekt herum angeordnet sind. Fig. 8 zeigt beispiels weise ein Problem, das sich bei der Zusammenarbeit mehrerer Personen auf diese Weise ergibt. Fig. 8 zeigt zwei Personen 10 und 12, die gemeinsam an einem Tisch 14 sitzen, und zwar an gegenüberliegenden Seiten des Tisches, und beide sehen auf dem Tisch den gleichen Inhalt 16, der eine, nämlich die Person 12, richtig herum, und die andere, die Person 10, auf dem Kopf stehend. Nicht alle Personen sehen also die angezeigten Infor mationen oder Objekte 16 aus der gleichen Perspektive und vor allem nicht aus der güns tigen Perspektive, aus der beispielsweise die Schrift des Inhalts 16 lesbar ist. Dies erfor dert Umdenken bei den meisten beteiligten Personen, wie z. B. Mitarbeitern eines Unter nehmens, und provoziert so Fehler. Ein weiteres Beispiel für ein solches Problem bestün de darin, dass beispielsweise mehrere Personen um eine Landkarte herumstehen. Nur wenige der beteiligten Personen könnten diese Karte genordet sehen. Die meisten Per sonen müssen die Landkarte dann aus einer gedrehten Perspektive betrachten, ebenso wie die Person 10 in dem Beispiel von Fig. 8, die den Inhalt 16 sogar auf dem Kopf ste hend betrachten muss. A problem that occurs in the real world as well as in the virtual world is the different perspective on a common object when the participants in discussion are arranged around the object. Fig. 8 shows example, a problem that arises in the cooperation of several people in this way. Fig. 8 shows two persons 10 and 12 sitting together on a table 14, on opposite sides of the table, and both see on the table the same contents 16, the one, namely the person 12, right around, and the others, the person 10, standing upside down. Not all persons thus see the displayed information or objects 16 from the same perspective and, above all, not from the favorable perspective, from which, for example, the font of the content 16 can be read. This requires rethinking of most people involved, such as: For example, employees of a company provoke mistakes. Another example of such a problem would be that, for example, several people are standing around a map. Few of the people involved could see this card genuinely. Most people then need to look at the map from a rotated perspective, as well as the person 10 in the example of FIG. 8, who must even view the content 16 upside down.
Es gibt bereits Lösungen zur entfernten Zusammenarbeit, die allerdings spezielle Voraus setzungen mit sich bringen. Solche Beispiele stammen aus dem Telefon- oder Videokon ferenzbereich. Beispielsweise demonstrieren Matsukage et al. [1] ein kollaboratives Sys tem, welches zwei physikalisch entfernte Benutzer durch eine Videokonferenz verbindet. Zusätzlich zum Videobild des anderen Benutzers werden auch dessen Zeigegesten auf Gegenstände, die sich auf dem Tisch vor dem jeweiligen Monitor befinden, übertragen. Hierzu wird mit einer Kamera am Bildschirm rand die Hand des Benutzers erfasst und dann ein Ausschnitt der Hand mittels Projektor auf den Schreibtisch des anderen Benut zers abgebildet. Die Projektion der Hand erfolgt entsprechend der Position des Objektes, was bedeutet, dass die Gegenstände auf den Schreibtischen der beiden Benutzer nicht gleich angeordnet sein müssen. Higuchi et al. [2] präsentieren ein System, bei dem zwei physikalisch entfernte Benutzer auf einem digitalen Whiteboard Zusammenarbeiten kön- nen. Das System besteht aus einem großen Touchscreen-Monitor und einer Kamera. Die Kamera erfasst die Benutzer und ihre Gestalt wird dann beim jeweils anderen Benutzer auf dem Monitor angezeigt. Durch gezielte Transformation des Kamerabilds bleiben die Blick- und Gestenrichtung und die Absicht der Benutzer erhalten. There are already remote collaboration solutions that have specific requirements. Such examples are from the telephone or video conferencing area. For example, Matsukage et al. [1] a collaborative system connecting two physically remote users through a videoconference. In addition to the video image of the other user, his pointing gestures are also transmitted to objects that are on the table in front of the respective monitor. For this purpose, the hand of the user is detected with a camera on the screen edge and then a section of the hand by means of a projector on the desk of the other Benut zers mapped. The projection of the hand is done according to the position of the object, which means that the objects on the desks of the two users need not be the same. Higuchi et al. [2] present a system where two physically remote users can collaborate on a digital whiteboard. The system consists of a large touchscreen monitor and a camera. The camera captures the users and their shape is then displayed to the other user on the monitor. Targeted transformation of the camera image preserves the eye and gesture direction and the intention of the user.
Videokonferenzsysteme oder Systeme mit Whiteboards sind allerdings problembehaftet, da beispielsweise die Skalierung mit der Anzahl der Teilnehmer schwierig ist, proprietäre, selten vorkommende Utensilien, wie z. B. Whiteboards oder Projektoren, benötigt werden, oder sich die Benutzer an bestimmte Verhaltensregeln halten müssen, um nicht die Kon- kordanz auf allen beteiligten Teilnehmerseiten zu erhalten. However, videoconferencing systems or whiteboard systems are problematic because, for example, scaling with the number of participants is difficult, proprietary, infrequent utensils such As whiteboards or projectors are needed, or the user must abide by certain rules of conduct, so as not to obtain the concordance on all participating participant pages.
Die Aufgabe der vorliegenden Erfindung besteht darin, ein VR-Konferenzsystem zu schaf- fen, das eine effektivere Zusammenarbeit der beteiligten Konferenzteilnehmer ermöglicht. The object of the present invention is to create a VR conference system which enables a more effective cooperation of the participating conference participants.
Diese Aufgabe wird durch den Gegenstand der unabhängigen Patentansprüche gelöst. This object is solved by the subject matter of the independent patent claims.
Ein Kerngedanke der vorliegenden Erfindung besteht darin, dass ein VR- Konferenzsystem zur effektiveren Zusammenarbeit verwendet werden kann, wenn von dem üblichen Versuch abgegangen wird, eine virtuelle Welt, hier also die Zusammenar beit der Teilnehmer, so real wie möglich nachzustellen. Vielmehr ist es günstig, wenn ei nem zweiten Teilnehmer in seine virtuelle Sicht zusätzlich zu dem Avatar des ersten Teil- nehmers das gemeinsame Objekt auf eine Art und Weise angezeigt wird, bei der das Ob jekt in dieser virtuellen Sicht des zweiten Teilnehmers anders als in einer Referenzpositi on angeordnet ist, wie z.B. relativ zu derselben rotatorisch versetzt, translatorisch versetzt und/oder skaliert, bei der das Objekt in der virtuellen Sicht dieses zweiten Teilnehmers für den Avatar des ersten Teilnehmers wie in der ersten virtuellen Sicht erschiene, das heißt, wenn die beiden Teilnehmer eben nicht eine gemeinsame gleiche Szene sehen, in der sich die Teilnehmer virtuell befinden. Vielmehr kann das Objekt für beide Teilnehmer aus der gleichen oder ähnlichen Perspektive sichtbar sein, wie z.B. aus einer Vorderansicht oder dergleichen, obwohl in der virtuellen Sicht der Avatar des jeweils anderen Teilneh- mers woanders angeordnet ist, d.h. beispielsweise an einem gemeinsamen virtuellen Konferenztisch an einer anderen Seite sitzt oder dergleichen. Ein solches System ist dann auch beliebig skalierbar hinsichtlich der Anzahl der Teilnehmer und lässt sich auch so konfigurieren, dass jeder Teilnehmer die Sitzung hinsichtlich der Anordnung der einzelnen anderen Teilnehmer relativ zu sich selbst frei nach seinen Vorlieben einstellen kann. Nun ist insbesondere erkannt worden, dass ein solches System nicht daran leiden muss, dass die Teilnehmer aufgrund der Nicht-Übereinstimmung der wahrgenommenen Konferenz szene nicht miteinander durch Zeigegesten miteinander interagieren könnten. Vielmehr wird eine Zeigegesteninformation des ersten Teilnehmers verwendet, um eine relative Lage eines Punktes an, auf oder in dem Objekt zu bestimmen, und für diesen Punkt - den Hervorhebungspunkt - wird eine Zeigegeste darauf, und/oder eine Hervorhebung desselben, in die virtuelle Sicht des zweiten Teilnehmers eingeblendet. Das System berücksich- tigt demnach die Tatsache, dass die Konferenzteilnehmer unterschiedliche Szenen aus Teilnehmern und Objekt sehen. Beispielsweise ist es auf diese Weise möglich, eine Zei- gegeste, die von dem ersten Teilnehmer mittels eines Handzeigegerätes und/oder seiner Blickrichtung, in Bezug auf das Objekt in seiner eigenen virtuellen Sicht getätigt wird, in eine oder mehrere entsprechende Gesten des Avatars dieses ersten Teilnehmers in der virtuellen Sicht des zweiten Teilnehmers zu übersetzen. Während also der erste Teilneh- mer auf einen Zeigepunkt in seiner eigenen virtuellen Sicht zeigt oder schaut, zeigt und/oder schaut der Avatar des ersten Teilnehmers in der virtuellen Sicht des zweiten Teilnehmers auf den korrespondierenden Hervorhebepunkt. In der virtuellen Sicht des zweiten Teilnehmers, d. h. den Punkt mit der gleichen relativen Lage zum Objekt. It is a core idea of the present invention that a VR conferencing system can be used for more effective collaboration, if the usual attempt to reconstruct a virtual world, in this case the cooperation of the participants, as realistically as possible, is used. Rather, it is favorable if, in a second view, the second object is displayed in its virtual view in addition to the first participant's avatar in a manner in which the object differs from the second viewpoint in this virtual view Referenzpositi on, such as relative to the same rotational offset, translational offset and / or scaled, where the object in the virtual view of this second participant for the avatar of the first participant as in the first virtual point of view, that is, if the Both participants just do not see a common same scene in which the participants are virtually. Rather, the object can look for both participants be the same or similar perspective visible, such as from a front view or the like, although in the virtual view, the avatar of the other party is located elsewhere, ie, for example, sitting on a common virtual conference table on another page or the like. Such a system is then arbitrarily scalable in terms of the number of participants and can also be configured so that each participant can set the session with respect to the arrangement of each other participants relative to himself freely according to his preferences. It has now been recognized, in particular, that such a system need not suffer from the fact that the participants could not interact with each other by pointing gestures due to the non-conformity of the perceived conference scene. Rather, pointing gesture information of the first party is used to determine a relative location of a point on, on, or in the object, and for that point - the highlight point - a pointing gesture on and / or highlighting it is added to the virtual view of the site second participant. The system takes into account the fact that the conference participants see different scenes of participants and objects. In this way, for example, it is possible for a pointer, which is made by the first participant by means of a hand-held pointing device and / or its viewing direction with respect to the object in its own virtual view, to one or more corresponding gestures of the avatar of the first one Participant in the virtual view of the second participant. Thus, while the first participant is pointing or looking at a pointing point in his own virtual view, the avatar of the first participant is pointing and / or looking at the corresponding highlighting point in the virtual view of the second participant. In the virtual view of the second participant, ie the point with the same relative position to the object.
Vorteilhafte Ausgestaltungen sind Gegen der abhängigen Patentansprüche. Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die Figuren näher erläutert, unter denen: Advantageous embodiments are against the dependent claims. Preferred embodiments of the present invention will be explained in more detail below with reference to the figures, in which:
Fig. 1 eine schematische Darstellung eines VR-Konferenzsystems gemäß einem Aus führungsbeispiel zeigt; Fig. 1 shows a schematic representation of a VR conference system according to an exemplary embodiment;
Fig. 2 schematische Aufgaben zeigt, die von dem VR-Konferenzsystem durchgeführt werden, um die Interaktion mit dem Objekt für alle Teilnehmer in einer persönli chen Perspektive darzustellen; Fig. 3 schematisch darstellt, wie eine Zeigegesteninformation eines Teilnehmers erfasst und in einem Zeigeort für eine Zeigeposition umgewandelt wird; Fig. 2 shows schematic tasks performed by the VR conferencing system to illustrate the interaction with the object for all participants in a personal perspective; Fig. 3 schematically illustrates how a pointing gesture information of a subscriber is detected and converted in a pointing position for a pointing position;
Fig. 4 schematisch für einen Teilnehmer darstellt, wie in die Sicht eines Teilnehmers auch die anderen Teilnehmer als Avatar eingeblendet wird; FIG. 4 shows schematically for a subscriber how the other participants as an avatar are also shown in the view of one subscriber; FIG.
Fig. 5 schematisch eine entstehende virtuelle Sicht eines Konferenzteilnehmers zeigt, wobei in ihr das Objekt zu sehen ist sowie ein Avatar, der auf einen Hervorhebepunkt zeigt, der dem Zeigepunkt entspricht, auf den der Teilnehmer zeigt, den der Avatar repräsentiert; Figure 5 shows schematically a resulting virtual view of a conference attendee, showing the object in it, and an avatar pointing to a highlight point corresponding to the point of view pointed to by the participant represented by the avatar;
Fig. 6 eine schematische Aufsicht auf ein virtuelles Zweierkonferenzsystem darstellt; Fig. 6 is a schematic plan view of a virtual two-party conference system;
Fig. 7 eine schematische Aufsicht auf ein virtuelles Zwe i e rko nfe re nzsy ste m darstellt, bei dem der Avatar des einen Teilnehmers an die virtuelle Welt des anderen Teilnehmers angepasst ist; und FIG. 7 is a schematic plan view of a virtual two-way communication system in which the avatar of one subscriber is adapted to the virtual world of the other subscriber; FIG. and
Fig. 8 eine schematische Aufsicht eines realen Gegenübers zweier Teilnehmer an einem gemeinsamen Tisch. Fig. 8 is a schematic plan view of a real opposite two participants at a common table.
Fig. 1 zeigt ein Ausführungsbeispiel eines VR-Konferenzsystems gemäß einem Ausfüh- rungsbeispiel. Das VR-Konferenzsystem 20 von Fig. 1 umfasst insbesondere einen Pro- zessor 22, der über ein Netzwerk 24, wie z.B. das Internet, mit VR-Geräten 26^ 262 von mehreren Teilnehmern kommunikativ verbunden ist, wobei der Index der Bezugszeichen zwischen unterschiedlichen Teilnehmern differenzieren soll. Die Anzahl der Teilnehmer ist bei der Schilderung der meisten Ausführungsbeispiele in der vorliegenden Anmeldung zwei, aber wie es mit gestrichelten Linien in Fig. 1 angedeutet ist, ist eine Erhöhung der Anzahl ohne Weiteres möglich. Bei den VR-Geräten 26^ 262 der Teilnehmer kann es sich um eine Kombination aus VR-Brille 28 mit einem oder mehreren Handzeigegeräten 30 handeln, wie es in Fig. 1 versinnbildlicht ist. Die Anzeigefunktion könnte abstelle der Ver- wendung eines HMDs (Head- ounted Displays), wie z.B. einer Videobrille, eines Helm- displays oder VR-Helms, auch von einem Head-Up-Display übernommen werden. Teile der Funktionalitäten, die im Folgenden in Bezug auf den Prozessor 22 beschrieben sind, können auch auf einem Prozessor in dem VR-Gerät 26^ ausgelagert sein. Die VR-Brille 28 umfasst beispielsweise die Funktionalität des Einblendens eines virtuellen Bildes in die Augen des Nutzers, nämlich die virtuelle Sicht des jeweiligen Teilnehmers, wie es im Fol- genden noch beschrieben wird. Das Handzeigegerät 30 und optional auch die VR-Brille 28 sind mit Inertialsensoren ausgestattet, um beispielsweise in dem Fall des Handzeige- gerätes 30 die relative Lage desselben zu der VR-Brille 28 bestimmen zu können, oder um wenigstens eine räumliche Ausrichtung des Handzeigegerätes 30 bestimmen zu kön nen. Auf ähnliche Weise kann die VR-Brille 28 mit Inertialsensoren ausgestattet sein, um die Kopfausrichtung zu erfassen. Alternativ oder zusätzlich können Kameras oder Light- house Technologie oder ein Tiefenkamera-basiertes "inside-out-tracking" zur Erfassung der Kopfbewegung verwendet werden. Ferner kann die VR-Brille alternativ oder zusätzlich zur Einblendfunktion einen Augenverfolger aufweisen, um eine augenblickliche Blickrich- tung des jeweiligen Teilnehmers zu bestimmen. Anstelle einer Handzeigegerätes könnte auch eine Gestenerkennung über eine Kamera verwendet werden. Wie bereits erwähnt, ist jedes VR-Gerät 26, über eine kommunikative Verbindung 32 mit dem Prozessor 22 verbunden bzw. verbindbar, und das für jeden der Teilnehmer, so dass insgesamt das VR-Konferenzsystem 20 in der Lage ist, entfernt angeordnete Teilnehmer an einer virtuel- len Konferenzsitzung teilnehmen zu lassen. Die Details hierzu werden im Folgenden be schrieben. 1 shows an exemplary embodiment of a VR conference system according to an exemplary embodiment. In particular, the VR conferencing system 20 of FIG. 1 includes a processor 22 that is communicatively coupled to VR devices 26-26 2 by a plurality of subscribers via a network 24, such as the Internet, the index of reference numerals being between different subscribers To differentiate participants. The number of participants is two in the description of most embodiments in the present application, but as indicated by dashed lines in Fig. 1, an increase in the number is readily possible. In the VR devices 26 ^ 26 2 of the participants may be a combination of VR glasses 28 with one or more hand-pointing devices 30, as is symbolized in Fig. 1. The display function could be taken over by the use of an HMD (Head- ounted Display), such as a video goggles, a helmet display or VR helmet, also from a head-up display. Portions of the functionalities described below with respect to the processor 22 may also be swapped out on a processor in the VR device 26. The VR glasses 28 include, for example, the functionality of inserting a virtual image into the eyes of the user, namely the virtual view of the respective participant, as described below. will be described later. The hand-pointing device 30 and optionally also the VR glasses 28 are equipped with inertial sensors, in order, for example, in the case of the hand-held device 30 to be able to determine the relative position thereof to the VR glasses 28 or to determine at least one spatial orientation of the hand-pointing device 30 to Kings. Similarly, the VR goggles 28 may be equipped with inertial sensors to detect the head alignment. Alternatively or additionally, cameras or light-house technology or deep-camera-based "inside-out tracking" can be used to detect head movement. Furthermore, as an alternative or in addition to the overlay function, the VR glasses can have an eye tracker in order to determine an instantaneous line of sight of the respective participant. Instead of a hand-pointing device, gesture recognition via a camera could also be used. As already mentioned, each VR device 26 is connectable to the processor 22 via a communicative link 32, and for each of the participants, so that the VR conferencing system 20 is capable of having remote participants in one attend a virtual conference session. The details are described below.
In Bezug auf Fig. 1 sei noch erwähnt, dass es ebenfalls möglich wäre, die nachfolgend beschriebenen Prozessoraufgaben teilweise von dem in Fig. 1 gezeigten Prozessor 22, der quasi als Server fungiert, in die VR-Geräte 26,, 262 bzw. in darin angeordnete Pro zessoren auszulagern, oder sogar die gesamte Funktionalität. In letzterem Fall wären in Fig. 1 die Teilnehmer über das Netzwerk 24, wie z. B. das Internet, verbunden, ohne dass ein eigener Prozessor 22 nötig wäre. Zudem sei erwähnt, dass die VR-Geräte teil des Systems 20 sein können oder externe, mit dem System kompatible Komponentensein können, die mit entsprechenden Schnittstellen des Systems 20 interagieren. With reference to FIG. 1, it should also be mentioned that it would also be possible for the processor tasks described below to be partially transferred from the processor 22 shown in FIG. 1, which acts quasi as a server, into the VR devices 26, 26 2 and, respectively outsourced in this Pro processors, or even the entire functionality. In the latter case, the participants in Fig. 1 would be via the network 24, such. As the Internet, connected without a separate processor 22 would be necessary. Additionally, it should be noted that the VR devices may be part of the system 20 or may be external system compatible components that interact with corresponding interfaces of the system 20.
Fig. 2 zeigt nun schematisch die VR-Geräte 26, und 262 zweier beteiligter Konferenzteil nehmer, wobei wie bereits schon erwähnt die Anzahl nicht auf zwei eingeschränkt ist. Zu den Prozessoraufgaben des Konferenzsystems 20 gehört nun insbesondere, jedem Teil nehmer eine jeweilige virtuelle Sicht zu präsentieren. Die Präsentation 32, dem Teilneh mer mit dem VR-Gerät 26, gegenüber und die Präsentation 322 dem Teilnehmer mit dem VR-Gerät 262 gegenüber sind mit unterschiedlichen Indizes versehen, um anzuzeigen, dass die virtuellen Sichten unterschiedlich sind. Wie es aus der nachfolgenden Beschrei bung deutlich werden wird, sind auch die Szenen unterschiedlich. Das Ergebnis der Prä sentationen 32, 2 kann beispielsweise in einem Standbild oder einem Video münden. Sel biges wird dann in dem jeweiligen VR-Gerät 26,bzw. 262 angezeigt. Die Präsentationen 321 2 umfassen dabei insbesondere die Projektion eines Objektes 34, das für alle Konfe renzteilnehmer gleich ist und quasi den Gegenstand der Konferenzsitzung bildet, aus ei nem teilnehmerspezifischen Koordinatensystem 36! bzw. 362 in die jeweilige Sicht des Teilnehmers. Bei dem Objekt 34 handelt es sich um ein virtuelles Objekt, d. h. ein Modell, ein Bild, eine Vektorgraphik, einen Text oder dergleichen. In Figur 2 ist das Objekt 34 exemplarisch als ein Dokument angedeutet, das in dem Koordinatensystem 36-i angeord net ist sowie in dem Koordinatensystem 362 des anderen Teilnehmers. Für jeden Teilnehmer hängt die Projektion 32! bzw. 322 von dem Teilnehmer-eigenen Koordinatensys tem 36i bzw. 362 in die eigene Sicht beispielsweise von der Kopfstellung des jeweiligen Teilnehmers ab. Wie es bereits in Fig. 2 angedeutet ist, und wie es noch aus der nachfol genden Beschreibung deutlicher werden wird, ist das Objekt 34 in beiden Koordinatensys temen 36i und 362 so angeordnet, dass die jeweilige Projektion 32i bzw. 322 dazu führt, dass beide Teilnehmer das Objekt 34 aus der gleichen, oder in etwa aus der gleichen Perspektive sehen. Fig. 2 shows schematically the VR devices 26, and 26 2 of two participating conference participants, where, as already mentioned, the number is not limited to two. The processor tasks of the conference system 20 now include, in particular, presenting each participant with a respective virtual view. The presentation 32, the participant with the VR device 26, opposite and the presentation 32 2 facing the participant with the VR device 26 2 are provided with different indexes to indicate that the virtual views are different. As will be clear from the description below, the scenes are also different. The result of the presentations 32, 2 may be, for example, in a still picture or a video. Sel biges is then in the respective VR device 26, or. 26 2 is displayed. The presentations 32 1 2 include in particular the projection of an object 34, which is the same for all conference participants and quasi forms the subject of the conference session, from egg nem subscriber-specific coordinate system 36 ! or 36 2 in the respective view of the participant. The object 34 is a virtual object, ie, a model, an image, a vector graphic, a text, or the like. In Figure 2, the object 34 is exemplified as a document which is angeord net in the coordinate system 36-i and in the coordinate system 36 2 of the other participant. For each participant, the projection depends 32 ! or 32 2 of the subscriber's own Koordinatensys system 36i and 36 2 in the own view, for example, from the head position of the respective participant from. As it is already indicated in Fig. 2, and as it will become more apparent from the fol lowing description, the object 34 in both coordinate systems 36i and 36 2 arranged so that the respective projection 32i or 32 2 causes that both participants see the object 34 from the same or approximately the same perspective.
Eine weitere Prozessoraufgabe des VR-Konferenzsystems 20 besteht darin, von den Teilnehmern Zeigegesteninformationen bezogen auf das Objekt zu erhalten. Fig. 3 zeigt beispielsweise einen Teilnehmer 38i, der das VR-Gerät 26i bzw. hier die VR-Brille 28 trägt und darüber virtuell auf das Objekt 34 sieht. Zusätzlich zeigt der Teilnehmer 38i auf einen Zeigepunkt 40, der hier exemplarisch auf dem Objekt 34 liegt, wobei aber auch Po sitionen 40 in einem dreidimensionalen Objekt möglich wären, oder Positionen in der Nä he des Objektes 34. Fig. 3 zeigt an, dass der Teilnehmer 38i das Zeigen auf den Zeige punkt 40 mittels des Handzeigegerätes 30 durchführt, aber wie bereits erwähnt, könnte eine solche Zeigegesteninformation auch aus einer Kopfausrichtung oder einer Blickrich tung der Augen des Teilnehmers 38i gewonnen werden. Die gewonnene Zeigegestenin formation aus Sensordaten des VR-Gerätes 26i wird dann von dem VR-Konferenzsystem 20 verwendet, um aus derselben den Zeigepunkt 40 relativ zu dem Objekt 34 zu lokalisie ren, d. h. seine relative Lage zu dem Objekt 34 wie z. B. seine Position innerhalb des Do- kumentenblattes oder dergleichen. Dazu bestimmt das VR-Konferenzsystem beispiels weise aus der Zeigegesteninformation des Teilnehmers 38i eine Zeigegerade in dem teil- nehmereigenen Koordinatensystem 36i, wobei die Gerade in Fig. 3 mit einer gestrichelten Linie 42 angedeutet ist, und bestimmt einen Schnittpunkt dieser Geraden 42 mit dem Ob jekt 34 oder den Schnittpunkt der Geraden 42 mit einer virtuellen Ebene, auf der das Ob jekt 34 beispielsweise liegt, wie z. B. der Ebene eines virtuellen Konferenztisches. Auf diese Weise erhält das Videokonferenzsystem den Zeigeort des Zeigepunktes 40 in dem teilnehmereigenen Koordinatensystem 36i . Eine weitere Prozessoraufgabe des Konfe- renzsystems 20 besteht nun darin, den Zeigeort des Zeigepunktes 40 unter Verwendung einer hierfür vorgesehenen Transformation in das zweite Koordinatensystem 362 abzubil- den, wobei für diese Transformation in Fig. 2 das Bezugszeichen 4412 verwendet wird, um mit den Indizes anzuzeigen, dass diese Transformation für Abbildungen von dem Koordi- natensystem 36t zu dem Koordinatensystem 362 vorgesehen ist. Es sei daran erinnert, dass die Teilnehmeranzahl größer sein kann, so dass bei N Teilnehmern N (N-1 ) Transformationen solcher Art existieren können. Fig. 2 zeigt exemplarisch beispielsweise auch die Transformation 4421, die von dem VR-Konferenzsystem verwendet werden würde, um einen entsprechenden Zeigeort eines Zeigepunktes von dem Koordinatensystem 362 in das Koordinatensystem 36T abzubilden. Die Transformation 4412 bestimmt sich so, dass sie das Objekt 34 in dem Koordinatensystem 36! auf das Objekt 34 in dem Koordinaten- system 362 abbildet. Another processor task of the VR conferencing system 20 is to obtain from the subscribers pointing gesture information related to the object. FIG. 3 shows, for example, a subscriber 38i who carries the VR device 26i or, in this case, the VR glasses 28 and virtually looks at the object 34 over it. In addition, the participant 38i points to a pointing point 40, which here exemplarily lies on the object 34, but positions 40 in a three-dimensional object would also be possible, or positions close to the object 34. FIG. 3 indicates that the Subscriber 38i performs pointing to the pointing point 40 by means of the hand pointing device 30, but as already mentioned, such pointing gesture information could also be obtained from a head alignment or a viewing direction of the eyes of the participant 38i. The obtained Zeigegestein formation of sensor data of the VR device 26i is then used by the VR conference system 20 to locate from the same point 40 relative to the object 34, ie its relative position to the object 34 such. B. its position within the document sheet or the like. For this purpose, the VR conference system determines, for example, from the pointer gesture information of the subscriber 38i a pointer straight in the subscriber's own coordinate system 36i, wherein the line is indicated in Fig. 3 with a dashed line 42, and determines an intersection of this line 42 with the ob jekt 34 or the intersection of the line 42 with a virtual plane on which the ob jekt 34, for example, such. B. the level of a virtual conference table. In this way, the videoconferencing system obtains the pointing location of the pointing point 40 in the subscriber's own coordinate system 36i. Another processor task of the conference The system 20 now consists of mapping the point of the indexing point 40 into the second coordinate system 36 2 using a transformation provided for this purpose, the reference numeral 44 12 being used for this transformation in FIG. 2 in order to indicate with the indices that this point Transformation for images from the coordinate system 36 t to the coordinate system 36 2 is provided. It should be remembered that the number of participants may be larger, so that at N subscribers N (N-1) transformations of this kind may exist. By way of example, FIG. 2 also shows, for example, the transformation 44 21 that would be used by the VR conferencing system to map a corresponding pointing location of a pointing point from the coordinate system 36 2 into the coordinate system 36 T. The transformation 44 12 is determined to be the object 34 in the coordinate system 36 ! onto the object 34 in the coordinate system 36 2 .
In Fig. 2 ist der Bildpunkt des Zeigepunktes 40 in dem zweiten Koordinatensystem 362 mit 45 angezeigt. Bei diesem Punkt 45 handelt es sich um denjenigen, der den Konferenzmit- teilnehmern des Teilnehmers 38! angezeigt werden soll, d. h. demjenigen des VR- Gerätes 262 in dem Fall von Fig. 2. Dieser Vorgang kann auf unterschiedliche Weise ge schehen, wie es im Folgenden noch näher erörtert wird. In Fig. 2, the pixel of the display point 40 in the second coordinate system 36 2 is indicated at 45. This point 45 is the one which is to be used by the participants of the conference 38 ! is to be displayed, ie that of the VR device 26 2 in the case of Fig. 2. This process can ge in different ways, as will be discussed in more detail below.
Bevor allerdings auf andere Details eingegangen wird, sei noch darauf hingewiesen, dass die Transformationen 44Ί2 und 442i rein translatorisch und/oder rotatorische Transformati- onen sein können, d. h. die Objekte 34 deckungsgleich sein können, aber es wäre ferner möglich, dass die Transformationen 4412 und 442I zusätzlich aber auch beispielsweise eine isotrope oder aber auch anistrope Skalierung aufweisen könnten. However, before discussing other details, it should be noted that the transformations 44 Ί2 and 44 2i may be purely translational and / or rotational transformations, ie, the objects 34 may be congruent, but it is also possible that the transformations 44 12 and 44 2I additionally but also, for example, could have an isotropic or else anistropic scaling.
Bevor auf die weiteren Aufgaben des VR-Konferenzsystems 20 eingegangen wird, soll noch darauf hingewiesen werden, dass im Vorhergehenden bei der Beschreibung von Fig. 2 zwar lediglich auf die Übertragung einer Zeigegesteninformation von einem Teil nehmer, nämlich dem ersten Teilnehmer auf der linken Seite, zu derjenigen des zweiten Teilnehmers auf der rechten Seite eingegangen wurde, das VR-Konferenzsystem diese Aufgabe aber natürlich für alle Teilnehmer durchführt, d. h. deren Zeigegesteninformation in die Sichten der anderen Teilnehmer überträgt. Before discussing the further tasks of the VR conference system 20, it should also be pointed out that in the description of FIG. 2 above, although only the transmission of pointer gesture information from a subscriber, namely the first subscriber on the left, to that of the second participant on the right hand side, but the VR conferencing system, of course, performs this task for all participants, d. H. transmit their pointing gesture information in the views of the other participants.
Eine weitere Prozessoraufgabe des VR-Konferenzsystems 20 wird nun Bezug nehmend auf Fig. 4 beschrieben. Bei der Prozessoraufgabe, die Bezug nehmend auf Fig. 4 exemp- larisch für den Teilnehmer des VR-Gerätes 262 beschrieben wird, handelt es sich um die Einblendung des Avatars des einen oder der mehreren anderen Teilnehmer in die Sicht des jeweiligen Teilnehmers, hier des Teilnehmers 262. Die Präsentation 322 der virtuellen Sicht für diesen Teilnehmer umfasst zusätzlich zu der Darstellung des Objektes 34 noch die zumindest teilweise Darstellung des Avatars 46 des anderen Teilnehmers, hier des Teilnehmers 38i.„Teilweise“ bezieht sich auf die Tatsache, dass beispielweise nur das Gesicht und Arme des Avatars simuliert bzw. synthetisiert werden. Gemäß einem Ausfüh- rungsbeispiel ermöglicht es das VR-Konferenzsystem jedem Teilnehmer, die Avatare in seiner jeweiligen virtuellen Sicht selbst um das Objekt 34 herum anzuordnen. Er kann sie quasi um einen virtuellen Konferenztisch herum„platzieren“. Ggf. kann er sogar noch wei- tere Einstellungen der Avatare vornehmen, wie z.B. ihr Aussehen anpassen. Das System 20 könnte zudem auf persönliche Daten der Teilnehmer zurückgreifen, um die Ihre Avata- re in den Sichten der anderen Teilnehmer zu definieren. In Fig. 4 ist es beispielsweise angedeutet, dass der Avatar des Teilnehmers 38! zur Rechten des zweiten Teilnehmers mit dem VR-Gerät 262 platziert worden ist und demnach in der virtuellen Sicht des zweiten Teilnehmers rechts zu sehen ist. Der Avatar 46 ist beispielsweise ein Modell eines Men- schen, der über die Projektion 322 in die Sicht eingeblendet wird. Another processor task of VR conferencing system 20 will now be described with reference to FIG. 4. The processor task, which is described in an exemplary manner with reference to FIG. 4 for the user of the VR device 26 2 , is the Display of the avatar of the one or more other participants in the view of the respective participant, here the participant 26 2 . The presentation 32 2 of the virtual view for this participant comprises, in addition to the representation of the object 34, the at least partial representation of the avatar 46 of the other participant, in this case the participant 38. "Partial" refers to the fact that, for example, only the face and Arms of the avatar are simulated or synthesized. According to one embodiment, the VR conferencing system allows each participant to place the avatars themselves around the object 34 in their respective virtual views. He can virtually "place" them around a virtual conference table. Possibly. He can even make other avatar settings, such as adjusting their appearance. The system 20 could also rely on personal data of the participants to define their avatars in the views of the other participants. In FIG. 4, for example, it is indicated that the avatar of the subscriber 38 ! has been placed to the right of the second party with the VR device 26 2 and therefore can be seen on the right in the virtual view of the second party. The avatar 46 is, for example, a model of a person who is superimposed on the projection 32 2 in the view.
Fig. 5 zeigt exemplarisch eine Sicht, wie sie in die Sicht des Teilnehmers des VR-Gerätes 262 eingeblendet wird. Die Sicht, die in Fig. 5 dargestellt ist, 482 zeigt den Avatar 46 auf der rechten Seite, wobei vor sich liegend das Objekt 34 zu sehen ist. Das Objekt 34 ist vorteilhaft zum Augpunkt des Teilnehmers des VR-Gerätes 262 ausgerichtet, wie z.B. so, dass eventuelle Schrift auf dem Objekt 34 nicht auf dem Kopf steht, wie es in Fig. 5 ver anschaulicht ist, oder eine eventuelle Vorderseite dem Betrachter zugewandt ist, oder eine Karte beispielsweise eingenordet erscheint. 5 shows by way of example a view as it is superimposed on the view of the participant of the VR device 26 2 . The view shown in Fig. 5 48 2 shows the avatar 46 on the right side, with the object 34 lying in front of it. The object 34 is advantageously aligned with the eye point of the participant of the VR device 26 2 , such as, for example, that any writing on the object 34 is not upside down, as is ver anschaulicht in Fig. 5, or a possible front of the viewer is facing, or a map, for example, appears to have been ordered.
Eine weitere Aufgabe des VR-Konferenzsystems soll anhand von Fig. 5 verdeutlicht wer den. Insbesondere zeigt Fig. 5 in der Sicht 482 den Hervorhebepunkt 45. Er mag blinken, eigefärbt oder sonstig kenntlich gemacht sein durch das VR-Konferenzsystem in der Sicht 482, ggf. zusätzlich versehen mit einer Information in der Sicht 482, durch welchen Teil nehmer, hier 38!, dieser Punkt hervorgehoben wurde. Zusätzlich oder alternativ paramet- risiert das VR-Konferenzsystem Modellparameter des Avatars 46 entsprechend der Lage des Punktes 45. Beispielsweise lässt das VR-Konferenzsystem den Avatar 46 mit der Hand bzw. dem Finger 50 auf die Position 45 zeigen. Zusätzlich oder alternativ kann das VR-Konferenzsystem eine Zeigelinie von der Hand oder dem Finder des Avatars zu dem Punkt 45 in die Sicht einblenden. Zusätzlich oder alternativ kann das VR- Konferenzsystem den Avatar 46 hinsichtlich dessen Kopfausrichtung so parametrisieren, dass der Blick des Avatars 46 auf den Punkt 45 ausgerichtet ist, so dass sich für den Teil nehmer mit dieser Sicht ein stimmiger Eindruck ergibt, bei dem der zeigende Avatar auch auf den Punkt schaut, au f den er in der Szene auch zeigt. Andere Möglichkeiten bestün den natürlich ebenfalls. Die geeignete Parametrisierung des Avatars 46 von demjenigen Teilnehmer, aus dessen Zeigeposition 40 der Hervorhebepunkt 45 ermittelt wurde, ermöglicht auf natürliche Weise dem Betrachter der Sicht 482 zu erkennen, welcher Konferenz teilnehmer für die Zeigegeste verantwortlich ist. Eine zusätzlich stattfindende Audiodis- kussion unter den Teilnehmern der Konferenz kann so ohne Probleme geführt werden. Another object of the VR conference system is illustrated with reference to FIG. 5 who the. In particular, FIG. 5 shows the highlighting point 45 in the view 48 2. It may be blinking, eigged, or otherwise identified by the VR conference system in the view 48 2 , optionally additionally provided with information in the view 48 2 , through which Participants, here 38 ! , this point was highlighted. Additionally or alternatively, the VR conferencing system parameterizes avatar 46 model parameters according to the location of the point 45. For example, the VR conferencing system has the avatar 46 pointed to the 45 position with the hand or finger 50. Additionally or alternatively, the VR conferencing system may overlay a pointing line from the avatar's hand or finder to point 45 in the view. Additionally or alternatively, the VR conferencing system may parameterize the avatar 46 with respect to its header alignment, that the view of the avatar 46 is aligned to the point 45, so that gives the participants with this view, a harmonious impression in which the pointing avatar also looks at the point on which he also shows in the scene. Of course, other possibilities also exist. The appropriate parameterization of the avatar 46 of that participant, from whose pointing position 40 the highlighting point 45 has been determined, naturally allows the observer of the view 48 2 to recognize which conference participant is responsible for the pointing gesture. An additional audio discussion among the participants of the conference can thus be conducted without any problems.
Bei der Implementierung des oben beschriebenen VR-Konferenzsystems kann es vorteilhaft sein, wenn die Augpunkte 52 des einen oder der mehreren Avatare in der Sicht eines jeweiligen Teilnehmers so platziert werden, dass sie um eine gemeinsame Rotationsach se 54 angeordnet sind. Eine solche ist in Fig. 5 exemplarisch dargestellt. Auf diese Weise könnte sich beispielsweise die Transformation 44 von Fig. 2 auf eine Rotation um diese Achse 54 beschränken, die in diesem Fall beispielsweise die vertikale Achse z der teil nehmereigenen Koordinatensysteme 36, gemeinsam bilden könnte. In implementing the VR conferencing system described above, it may be advantageous if the eyepoints 52 of the one or more avatars are placed in the view of a respective participant to be disposed about a common axis of rotation 54. Such is shown by way of example in FIG. 5. In this way, for example, the transformation 44 of Fig. 2 could be limited to a rotation about this axis 54, which could in this case, for example, the vertical axis of the z z own coordinate systems 36, together.
Obige Ausführungsbeispiele lösen somit das in der Beschreibungseinleitung vorgestellte Problem des effektiven Zusammenarbeitens von Konferenzteilnehmern durch eine perso nalisierte Manipulation virtueller Welten. Die Inhalte, wie z.B. 34, können dabei jedem Teilnehmer in der gleichen, beispielsweise in einer irgendwie gearteten optimalen, Per spektive dargestellt werden. So könnte es erzielt werden, dass mit diesen Ausführungs beispielen zwei Teilnehmer, wie in Fig. 6 dargestellt, eine Zweierkonferenz miteinander haben, bei jedem Teilnehmer 36n und 362 eine persönliche, virtuelle Welt dargestellt wird, in der die Inhalte 34 für beide Teilnehmer optimal dargestellt sind. Beide sitzen an einem Konferenztisch 55 aneinander gegenüber, aber jeder sieht in seiner Sicht das Objekt 34 aus einer optimalen Perspektive, nämlich 34‘ für den Teilnehmer 36T und 34“ für den Teil nehmer 362. Für beide ist in dem Beispiel von Fig. 6 die Schrift richtig herum bzw. lesbar. Um eine Zusammenarbeit trotz dieser verschiedenen Welten zu ermöglichen, können alle Interaktionen, wie z.B. Zeigerichtung und Blickrichtung, zwischen den Welten transfor miert werden, so dass ein stimmiges Verhalten für alle Teilnehmer entsteht. Das ist bei spielsweise in Fig. 7 dargestellt. Der Teilnehmer 362 zeigt mit seinem rechten Arm in sei ner Sicht bzw. Welt auf den Zeigepunkt 40, wobei in der Sicht für den Teilnehmer 36-, der Avatar des Teilnehmers 362, nämlich 462, auf den dem Zeigepunkt 40 in der Sicht des Teilnehmers 362 korrespondierenden Hervorhebepunkt 45 in der Sicht des Teilnehmers 36i zeigt, d. h. der Arm 56 des Avatars 462 auf diesen Punkt 45 zeigt. Die Anpassung des Benutzeravatars 462 erfolgt, wie im Vorhergehenden beschrieben, indem die Blickrichtung und die Vorwärtsrichtung der Hand beispielsweise mit der Tischebene des Tisches 55 geschnitten wird. Das wurde bereits Bezug nehmend auf Fig. 3 erläutert. Die entspre- chenden Schnittpunkte können dann in die persönliche Perspektive des anderen Benut zers transformiert werden. The above exemplary embodiments thus solve the problem presented in the introduction to the description of the effective cooperation of conference participants by a manipulated manipulation of virtual worlds. The contents, such as 34, can be displayed to each participant in the same, for example in some optimal, per spectroscopic way. So it could be achieved that with these execution examples two participants, as shown in Fig. 6, have a two-party with each other, each participant 36 n and 36 2 a personal, virtual world is displayed, in which the contents 34 for both participants are shown optimally. Both sit at a conference table 55 opposite each other, but everyone sees in his view, the object 34 from an optimal perspective, namely 34 'for the subscriber 36 T and 34 "for the participants 36 participants. 2 For both, in the example of FIG. 6, the font is correct or readable. In order to enable cooperation despite these different worlds, all interactions, such as pointing direction and viewing direction, can be transformed between the worlds, so that a harmonious behavior is created for all participants. This is shown in example in Fig. 7. The participant 36 2 points with his right arm in his view or world on the point of 40, wherein in the view for the participant 36-, the avatar of the participant 36 2 , namely 46 2 , on the point of view 40 in the view of the participant 36 2 corresponding highlighting point 45 in the view of the participant 36i shows, ie the arm 56 of the avatar 46 2 points to this point 45. The adaptation of the User avatar 46 2 , as described above, by cutting the viewing direction and the forward direction of the hand with, for example, the table plane of the table 55. This has already been explained with reference to FIG. The corresponding intersections can then be transformed into the personal perspective of the other user.
Die Rotation des Benutzeravatars kann anschließend entsprechend angepasst werden, so dass der Blick und die Hände in die Richtung der jeweils transformierten Position 45 zeigen, wie es Bezug nehmend auf Fig. 5 veranschaulicht wurde. Die Transformation der Inhalte kann eine Modifikation durch Translation, Rotation oder Skalierung enthalten. Die durchgeführte Modifikation vom Benutzer 362 in dem Fall von Fig. 6 in die persönliche Perspektive vom Benutzer 36! bzw. die Transformation 4421, könnte beispielsweise mit folgender Formel beschrieben werden:
Figure imgf000011_0001
wobei xm die resultierende modifizierte Position in der Welt vom Benutzer B ist, d.h. vom Teilnehmer 36!. X, ist der Schnittpunkt 40 in der Welt vom Benutzer 362, A, xp ist der Pivotpunkt, an dem die Modifikation durchgeführt werden soll, also beispielsweise die Mitte des Konferenztisches 55. RAB ist eine Rotationsmatrix, welche das Objekt 34 vom Benutzer A in die Welt vom Benutzer B transformiert. Beispielsweise kann hier eine Rota- tion des Tischinhaltes um 180° durchgeführt werden, aber auch eine Skalierung ist mög lich. Die Rotationsachse ist in Fig. 5 bei 54 angedeutet. SAB ist ein Vektor, welcher eine Verschiebung der Inhalte erlaubt. Bei der gedrehten Tischfläche wird aber beispielsweise keine Translation durchgeführt oder der Vektor ist 0. Zumindest wäre das eine Möglich- keit. Das Objekt 34 in der virtuellen Sicht des ersten Teilnehmers und in der zweiten virtu- ellen Sicht 482 relativ zu der Rotationsachse 54 gleich angeordnet ist oder besäße in dem Fall eines nicht Nullvektors für sAB, zumindest eine übereinstimmende Ausrichtung zu der Achse 54.
The rotation of the user avatar may then be adjusted accordingly so that the gaze and the hands point in the direction of the respective transformed position 45, as illustrated with reference to FIG. The transformation of the contents may include a modification by translation, rotation or scaling. The modification made by the user 36 2 in the case of FIG. 6 into the personal perspective of the user 36 ! or the transformation 44 21 , could be described, for example, with the following formula:
Figure imgf000011_0001
where x m is the resulting modified position in the world of user B, ie from user 36 ! , X, is the intersection 40 in the world of the user 36 2 , A, x p is the pivot point at which the modification is to be performed, i.e. the center of the conference table 55. R AB is a rotation matrix representing the object 34 from the user A transformed into the world by user B. For example, a rotation of the table contents by 180 ° can be performed here, but scaling is also possible. The axis of rotation is indicated in Fig. 5 at 54. S AB is a vector which allows a shift of the contents. In the case of the rotated table surface, for example, no translation is carried out or the vector is 0. At least that would be a possibility. In the case of a non-zero vector for s AB , the object 34 in the virtual view of the first participant and in the second virtual view 48 2 is arranged to be identical relative to the rotation axis 54, or at least would have a matching orientation to the axis 54.
Obige Ausführungsbeispiele ermöglichen somit eine Zusammenarbeit von Teilnehmern eines Konferenzsystems in Virtual Reality. Obige Ausführungsbeispiele liefern Vorteile im Hinblick auf Zeitbedarf und Fehleranfälligkeit, die auch Einschränkungen in der realen Welt überwindet. Die Ausführungsbeispiele sind auch sehr gut skalierbar hinsichtlich der Anzahl an Teilnehmern der Konferenz. Obwohl obige Ausführungsbeispiele vornehmlich auf 2D-lnhalte als den Konferenzgegenstand 34 eingehen, ist klar, dass obige Ausfüh- rungsbeispiele auch auf 3D-lnhalte als das Objekt 34 anwendbar sind. Obige Ausfüh rungsbeispiele liefern insbesondere eine hohe Immersion/Ko-Präsenz, so dass die Teil- nehmer das Gefühl erhalten, den anderen Teilnehmern wirklich gegenüberzustehen bzw. zu sitzen. Abschließend sei noch darauf hingewiesen, dass die Modifikation bzw. Trans- formation neben einer Translation und Rotation und Skalierung auch weitere Änderungen umfassen könnte, zusätzlich oder alternativ, die die virtuellen Welten völlig verschieden aussehen lassen könnten. Obige Ausführungsbeispiele ermöglichen also Konferenzen in Virtual Reality, die in der Realität ggf. überhaupt nicht möglich wären. Einsatzmöglichkei ten für obige Ausführungsbeispiele wären insbesondere nicht auf Arbeitsumgebungen beschränkt. Auch in der Spieleindustrie ergäben sich Möglichkeiten. The above embodiments thus enable collaboration of participants of a conference system in virtual reality. The above embodiments provide advantages in terms of time and error, which also overcomes limitations in the real world. The embodiments are also very well scalable in terms of the number of participants in the conference. Although the above embodiments are primarily based on 2D contents as the conference object 34, it is clear that the above embodiments Also examples of 3D content as the object 34 are applicable. The above embodiments provide, in particular, a high immersion / co-presence, so that the participants get the feeling that they really are facing the other participants. Finally, it should be noted that the modification or transformation in addition to a translation and rotation and scaling could also include other changes, in addition or alternatively, that could make the virtual worlds look completely different. The above embodiments thus allow conferences in virtual reality, which in reality might not be possible at all. Einsatzmöglichkei th for the above embodiments would not be limited in particular to work environments. Also in the games industry would be opportunities.
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Ver fahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu ver stehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfahrensschritte können durch einen Hardware-Apparat (oder unter Verwen dung eines Hardware- Apparats), wie zum Beispiel einen Mikroprozessor, einen program mierbaren Computer oder eine elektronische Schaltung ausgeführt werden. Bei einigen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden. Although some aspects have been described in the context of a device, it should be understood that these aspects also constitute a description of the corresponding method, so that a block or device of a device is also to be understood as a corresponding method step or as a feature of a method step , Similarly, aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device. Some or all of the method steps may be performed by a hardware device (or using hardware - Apparatus), such as a microprocessor, a programmable computer or an electronic circuit can be performed. In some embodiments, some or more of the most important method steps may be performed by such an apparatus.
Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magneti schen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steu ersignale gespeichert sind, die mit einem programmierbaren Computersystem derart Zu sammenwirken können oder Zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein. Depending on particular implementation requirements, embodiments of the invention may be implemented in hardware or in software. The implementation may be performed using a digital storage medium, such as a floppy disk, a DVD, a Blu-ray Disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or FLASH memory, a hard disk, or other magnetics or optical memory are stored on the electronically read STEU ersignale that can sammenwirken with a programmable computer system to such or cooperating that the respective method is performed. Therefore, the digital storage medium can be computer readable.
Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem pro- grammierbaren Computersystem derart zusammenzuwirken, dass eines der hierin be schriebenen Verfahren durchgeführt wird. Some embodiments according to the invention thus comprise a data carrier which has electronically readable control signals which are capable of being used with a pro- programmable computer system such that one of the methods described herein be performed.
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerpro- grammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerpro- grammprodukt auf einem Computer abläuft. In general, embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product runs on a computer.
Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger ge- speichert sein. The program code can also be stored, for example, on a machine-readable carrier.
Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist. Other embodiments include the computer program for performing any of the methods described herein, wherein the computer program is stored on a machine-readable medium.
Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin be schriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer ab- läuft. In other words, an embodiment of the method according to the invention is thus a computer program which has a program code for carrying out one of the methods described herein when the computer program runs on a computer.
Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Daten- träger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren auf gezeichnet ist. Der Datenträger, das digitale Speichermedium oder das computerlesbare Medium sind typischerweise gegenständlich und/oder nicht-vergänglich bzw. nicht vorübergehend. A further exemplary embodiment of the method according to the invention is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program is recorded for performing one of the methods described herein. The data carrier, the digital storage medium or the computer-readable medium are typically representational and / or non-transient or not transient.
Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Da tenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Da tenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden. Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfigu- riert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen. A further exemplary embodiment of the method according to the invention is thus a data stream or a sequence of signals which represents the computer program for performing one of the methods described herein. The data stream or the sequence of signals may be configured, for example, to be transferred via a data communication connection, for example via the Internet. Another embodiment includes a processing device, such as a computer or programmable logic device, configured or adapted to perform any of the methods described herein.
Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerpro- gramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist. Another embodiment includes a computer on which the computer program is installed to perform one of the methods described herein.
Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumin- dest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vor richtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen. Another embodiment according to the invention comprises a device or system adapted to transmit a computer program for performing at least one of the methods described herein to a receiver. The transmission can be done for example electronically or optically. The receiver may be, for example, a computer, a mobile device, a storage device or a similar device. For example, the device or system may include a file server for transmitting the computer program to the recipient.
Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (bei- spielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor Zusammenwirken, um eines der hierin beschriebenen Verfahren durchzu führen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC. In some embodiments, a programmable logic device (eg, a field programmable gate array, an FPGA) may be used to perform some or all of the functionality of the methods described herein. In some embodiments, a field programmable gate array may cooperate with a microprocessor to perform any of the methods described herein. In general, in some embodiments, the methods are performed by any hardware device. This may be a universal hardware such as a computer processor (CPU) or hardware specific to the process, such as an ASIC.
Die hierin beschriebenen Vorrichtungen können beispielsweise unter Verwendung eines Hardware-Apparats, oder unter Verwendung eines Computers, oder unter Verwendung einer Kombination eines Hardware-Apparats und eines Computers implementiert werden. The devices described herein may be implemented, for example, using a hardware device, or using a computer, or using a combination of a hardware device and a computer.
Die hierin beschriebenen Vorrichtungen, oder jedwede Komponenten der hierin beschrie benen Vorrichtungen können zumindest teilweise in Hardware und/oder in Software (Computerprogramm) implementiert sein. The devices described herein, or any components of the devices described herein, may be implemented at least in part in hardware and / or in software (computer program).
Die hierin beschriebenen Verfahren können beispielsweise unter Verwendung eines Hardware-Apparats, oder unter Verwendung eines Computers, oder unter Verwendung einer Kombination eines H a rd wa re-Ap pa rats und eines Computers implementiert werden. Die hierin beschriebenen Verfahren, oder jedwede Komponenten der hierin beschriebe nen Verfahren können zumindest teilweise durch Hardware und/oder durch Software aus geführt werden. The methods described herein may be implemented, for example, using a hardware device, or using a computer, or using a combination of a hard disk adapter and a computer. The methods described herein, or any components of the methods described herein, may be performed, at least in part, by hardware and / or by software.
Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Ein- zelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei. The embodiments described above are merely illustrative of the principles of the present invention. It will be understood that modifications and variations of the arrangements and details described herein will be apparent to others of ordinary skill in the art. Therefore, it is intended that the invention be limited only by the scope of the appended claims and not by the specific details presented with the description and explanation of the embodiments herein.
Referenzen references
[1] Ryo Matsukage, Daisuke Iwai, and Kosuke Sato, 2015. Consistent desktop shar- ing based on document coordinate System for face-to-face online meeting. In SIGGRAPH Asia 2015 Emerging Technologies. ACM, 6. [1] Ryo Matsukage, Daisuke Iwai, and Kosuke Sato, 2015. Consistent desktop sharing based on document coordinate System for face-to-face online meeting. In SIGGRAPH Asia 2015 Emerging Technologies. ACM, 6.
[2] Kelta Higuchi, Yinpeng Chen, Philip A Chou, Zhengyou Zhang, and Zicheng Liu, 2015. ImmerseBoard: Immersive telepresence experience using a digital white- board in Proceedings of the 33 rd Annual ACM Conference on Human Factors in Computing Systems. ACM, 2383-2392. [2] Kelta Higuchi, Yinpeng Chen, Philip A Chou, Zhengyou Zhang, and Zicheng Liu, 2015. ImmerseBoard: Immersive telepresence experience using a digital white board in Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. ACM, 2383-2392.

Claims

Patentansprüche claims
1. Virtual-Reality- (VR-) Konferenzsystem, wobei das VR-Konferenzsystem konfigu riert ist, um einem ersten Teilnehmer (38T ) des VR-Konferenzsystems eine erste virtuelle Sicht zu präsentieren, wobei die virtuelle Sicht zumindest ein Objekt (34) zeigt; von dem ersten Teilnehmer (38T ) eine Zeigegesteninformation bezogen auf das Objekt zu erhalten; einem zweiten Teilnehmer des VR-Konferenzsystems eine zweite virtuelle Sicht (482) zu präsentieren, wobei 1. Virtual Reality (VR) conference system, the VR conference system is confi riert to a first subscriber (38 T) to present the VR conference system, a first virtual point of view, wherein the virtual point of view at least one object (34) shows; receive from the first user (38 T ) pointer gesture information related to the object; to present a second virtual view (48 2 ) to a second participant of the VR conference system, wherein
in der zweiten virtuellen Sicht ein Avatar (46) des ersten Teilnehmers zu- mindest teilweise sowie das Objekt (34) zu sehen ist,  in the second virtual view, an avatar (46) of the first participant is at least partially visible and the object (34) can be seen,
wobei das Objekt (34) in der zweiten virtuellen Sicht relativ zu einer Refe- renzposition, bei der das Objekt in der zweiten virtuellen Sicht für den Ava tar (46) des ersten Teilnehmers wie in der ersten virtuellen Sicht erschiene, versetzt angeordnet ist; aus der Zeigegesteninformation des ersten Teilnehmers (38T ) auf eine relative Lage eines Zeigepunktes (40) auf, in oder in der Nähe des Objektes (34) relativ zu dem Objekt (34) zu schließen; und in der zweiten virtuellen Sicht (482) eine Zeigegeste auf einen, oder eine Hervor hebung von einem, Hervorhebepunkt (45) einzublenden, der in der zweiten virtuel len Sicht die relative Lage bezogen auf das Objekt besitzt. wherein the object (34) is staggered in the second virtual view relative to a reference position where the object in the second virtual view is for the first participant's avatar (46) as in the first virtual view; from the first gesture pointer information (38 T ), to infer a relative location of a pointing point (40) on, in or near the object (34) relative to the object (34); and in the second virtual view (48 2 ), display a pointing gesture at, or highlighting from, a highlighting point (45) having the relative position relative to the object in the second virtual view.
2. VR-Konferenzsystem gemäß Anspruch 1 , wobei das VR-Konferenzsystem so kon figuriert ist, dass in der ersten virtuellen Sicht ein Avatar des zweiten Teilnehmers zu sehen ist. 2. VR conference system according to claim 1, wherein the VR conference system is con figured so that in the first virtual view, an avatar of the second participant is visible.
3. VR-Konferenzsystem gemäß Anspruch 1 oder 2, das so konfiguriert ist, dass in der ersten virtuellen Sicht Augpunkte (52) des ersten Teilnehmers und des Avatars des zweiten Teilnehmers und in der zweiten virtuellen Sicht Augpunkte des zwei- ten Teilnehmers und des Avatars des ersten Teilnehmers um eine gemeinsame Rotationsachse (54) herum angeordnet sind. 3. VR conference system according to claim 1 or 2, which is configured such that in the first virtual view, eye points (52) of the first participant and the avatar of the second participant and in the second virtual view, eye points of the second participant. ten participant and the avatar of the first participant around a common axis of rotation (54) are arranged around.
4. VR-Konferenzsystem gemäß Anspruch 3, das so konfiguriert ist, dass das Objekt (34) in der ersten virtuellen Sicht und in der zweiten virtuellen Sicht (482) relativ zu der Rotationsachse (54) gleich angeordnet ist oder zumindest eine übereinstim- mende Ausrichtung zu derselben aufweist. 4. The VR conferencing system of claim 3, configured such that the object (34) in the first virtual view and in the second virtual view (48 2 ) is arranged the same or at least one coincident relative to the rotation axis (54). mende alignment with the same has.
5. VR-Konferenzsystem gemäß einem der Ansprüche, das konfiguriert ist, um aus der Zeigeinformation des ersten Teilnehmers (38·]) einen Zeigeort des Zeige punktes (40) in einem ersten Koordinatensystem (36]) zu bestimmen, den Zeigeort unter Verwendung einer dem zweiten Teilnehmer für den ersten Teil- nehmer zugeordneten Transformation (4412) in ein zweites Koordinatensystem (362) abzubilden, um den Hervorhebepunkt (45) zu erhalten. 5. VR conference system according to one of the claims, which is configured from the pointing information of the first subscriber (·] 38) a Zeigeort of the pointing point (40) to determine in a first coordinate system (36]), the Zeigeort using a mapping the transformation (44 12 ) associated with the second participant for the first participant into a second coordinate system (36 2 ) in order to obtain the highlighting point (45).
6. VR-Konferenzsystem gemäß Anspruch 5, das konfiguriert ist, sodass die dem zweiten Teilnehmer für den ersten Teilnehmer zugeordnete Trans- formation (4412) eine Rotation um eine Rotationsachse (54) mit einem Winkel um fasst, der einem Winkelversatz der Augpunkte des zweiten Teilnehmers und des Avatars des ersten Teilnehmers um die Rotationsachse (54) in der zweiten virtuel len Sicht entspricht. (44 12) a rotation about an axis of rotation (54) to summarizes 6. VR conference system according to claim 5, which is configured so that the second subscriber assigned for the first subscriber transformation with an angle of an angular displacement of the eye points of the second participant and the avatar of the first participant to the rotation axis (54) in the second virtual len view corresponds.
7. VR-Konferenzsystem gemäß Anspruch 5 oder 6, wobei dasselbe konfiguriert ist, aus der Zeigegesteninformation des ersten Teilnehmers (38]) eine Zeigegerade (42) in dem ersten Koordinatensystem (36] ) zu extrahieren und einen Schnittpunkt der Zeigegerade (42) mit dem Objekt (34) oder einer virtuellen Ebene, auf der das Objekt liegt, als den Zeigeort zu bestimmen, und um das Objekt (34) aus dem ersten Koordinatensystem (36h ) in die erste virtuelle Sicht zu projizieren. The VR conferencing system according to claim 5 or 6, wherein it is configured to extract a pointing straight line (42) in the first coordinate system (36 ] ) from the first-gesture pointer information (38 ] ) and an intersection of the pointing straight line (42) to determine the object (34) or a virtual plane on which the object resides as the pointing location, and to project the object (34) from the first coordinate system (36h) into the first virtual view.
8. VR-Konferenzsystem gemäß einem der Ansprüche 5 bis 7, wobei das VR- Konferenzsystem konfiguriert ist, um das Objekt (34) aus dem zweiten Koordinatensystem (362) in die zweite virtuel le Sicht (482) zu projizieren, wobei das Objekt (34) in den ersten und zweiten Ko ordinatensystemen (36!, 362) so angeordnet ist, dass es durch die dem zweiten Teilnehmer für den ersten Teilnehmer zugeordnete Transformation (4412) von sei ner Position in dem ersten Koordinatensystem in seine Position in dem zweiten Koordinatensystem überführbar ist. The VR conferencing system of one of claims 5 to 7, wherein the VR conferencing system is configured to project the object (34) from the second coordinate system (36 2 ) into the second virtual view (48 2 ), wherein the Object (34) in the first and second Ko ordinatensystemen (36 ! , 36 2 ) is arranged so that it by the second participant for the first participant associated transformation (44 12 ) from his ner position in the first coordinate system in position in the second coordinate system is convertible.
9. VR-Konferenzsystem gemäß einem der vorhergehenden Ansprüche, wobei das System für mehr als zwei Teilnehmer ausgelegt ist. The VR conferencing system of any of the preceding claims, wherein the system is configured for more than two participants.
10. VR-Konferenzsystem gemäß einem der vorhergehenden Ansprüche, wobei das VR- Ko nf e re nzsyste m jedem Teilnehmer eine Einstellmöglichkeit bezüglich der Positionierung der Avatare der anderen Teilnehmer in der eigenen virtuellen Sicht bietet. 10. VR conference system according to one of the preceding claims, wherein the VR co nf e re nzsyste m each participant provides a setting option with respect to the positioning of the avatars of other participants in their own virtual view.
1 1. V R- Ko nf e re n zs yste m gemäß einem der vorhergehenden Ansprüche, das konfigu riert ist, um die Zeigegeste in der zweiten virtuellen Sicht dadurch anzuzeigen, dass der Avatar (46) des ersten Teilnehmers in der zweiten virtuellen Sicht mit der Hand oder dem Finder (50) auf den Hervorhebepunkt (45) zeigt. 1 1. The V R-matching network according to one of the preceding claims, configured to display the pointing gesture in the second virtual view by having the first party's avatar (46) in the second virtual view with the hand or the finder (50) on the highlighting point (45).
12. VR-Konferenzsystem gemäß einem der vorhergehenden Ansprüche, bei dem das konfiguriert ist, so dass in der zweiten virtuellen Sicht ein Gesicht des Avatars (46) des ersten Teilnehmers erscheint, und zwar dem Hervorhebepunkt (45) zuge wandt. The VR conferencing system of any one of the preceding claims, wherein the one is configured such that in the second virtual view, a face of the avatar (46) of the first participant appears facing the highlighting point (45).
13. VR-Konferenzsystem gemäß einem der vorhergehenden Ansprüche, bei dem das konfiguriert ist, um die Zeigegesteninformation aus einer Ausrichtung eines Hand- zeigegeräts (30) der ersten Teilnehmers (36^ oder einer Blickrichtung der ersten Teilnehmers (36-! ) zu erhalten. 13. The VR conferencing system of claim 1, wherein the VR system is configured to obtain the pointing gesture information from an orientation of a handset (30) of the first party (36) or a line of sight of the first party (36- ! ).
14. VR-Konferenzsystem gemäß einem der vorhergehenden Ansprüche, das ausge bildet ist, zur Präsentation der ersten und zweiten virtuellen Sicht jeweils Bild/Videosignal zu erzeugen. 14. VR conference system according to one of the preceding claims, which is out forms to produce each of the first and second virtual view image / video signal.
15. VR-Konferenzsystem gemäß einem der vorhergehenden Ansprüche, das ausge bildet ist, die Zeigegesteninformation über eine VR-Brille (28), eine Handzeigege- rät (30) oder durch videogestützte Gestenerkennung zu erhalten. 15. The VR conference system according to claim 1, which is designed to obtain the pointing gesture information via VR glasses (28), a hand-held device (30) or by video-based gesture recognition.
16. VR-Konferenzsystem gemäß einem der vorhergehenden Ansprüche, bei dem die Teilnehmer örtlich entfernt angeordnet sind und das VR-Konferenzsystem inter netbasiert arbeitet. 16. VR conference system according to one of the preceding claims, in which the subscribers are located remotely located and the VR conference system is internet-based.
17. VR-Konferenzsystem gemäß einem der vorhergehenden Ansprüche, bei dem das Objekt (34) ein Dokument mit zweidimensionalem Inhalt ist. A VR conferencing system as claimed in any one of the preceding claims, wherein the object (34) is a two-dimensional content document.
18. VR-Konferenzsystem gemäß einem der vorhergehenden Ansprüche, bei dem das Objekt (34) ein Dokument mit zweidimensionalem Inhalt ist. A VR conferencing system as claimed in any one of the preceding claims, wherein the object (34) is a two-dimensional content document.
19. Verfahren zum Konferieren, mit 19. Method of conferencing, with
Präsentieren einem ersten Teilnehmer (38-|) einer ersten virtuellen Sicht, wobei die virtuelle Sicht zumindest ein Objekt (34) zeigt; Presenting a first participant (38- | ) of a first virtual view, the virtual view showing at least one object (34);
Erhalten von dem ersten Teilnehmer (38t ) einer Zeigegesteninformation bezogen auf das Objekt; Obtaining from the first participant (38t) a pointer gesture information related to the object;
Präsentieren einem zweiten Teilnehmer einer zweiten virtuellen Sicht (482), wobei in der zweiten virtuellen Sicht ein Avatar (46) des ersten Teilnehmers zu mindest teilweise sowie das Objekt (34) zu sehen ist, Presenting a second participant of a second virtual view (48 2 ), wherein in the second virtual view an avatar (46) of the first participant is at least partially visible and the object (34) is visible,
wobei das Objekt (34) in der zweiten virtuellen Sicht relativ zu einer Refe renzposition, bei der das Objekt in der zweiten virtuellen Sicht für den Ava tar (46) des ersten Teilnehmers wie in der ersten virtuellen Sicht erschiene, versetzt angeordnet ist;  wherein the object (34) in the second virtual view is offset relative to a reference position where the object in the second virtual view is for the first participant's avatar (46) as in the first virtual view;
Schließen aus der Zeigegesteninformation des ersten Teilnehmers (38T ) auf eine relative Lage eines Zeigepunktes (40) auf, in oder in der Nähe des Objektes (34) relativ zu dem Objekt (34); und Einblenden in der zweiten virtuellen Sicht (482) einer Zeigegeste auf einen, oder eine Hervorhebung von einem, Hervorhebepunkt (45), der in der zweiten virtuellen Sicht die relative Lage bezogen auf das Objekt besitzt. Closing, from the first-to-last pointer information (38 T ), a relative location of a pointing point (40) on, in or near the object (34) relative to the object (34); and Fading in the second virtual view (48 2 ) of a pointing gesture to, or highlighting, a highlighting point (45) having the relative position relative to the object in the second virtual view.
20. Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens nach Anspruch 19, wenn das Programm auf einem Computer abläuft. A computer program comprising program code for performing the method of claim 19 when the program is run on a computer.
PCT/EP2019/051999 2018-01-29 2019-01-28 Virtual reality conference system WO2019145534A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018201336.5A DE102018201336A1 (en) 2018-01-29 2018-01-29 Virtual Reality conference system
DE102018201336.5 2018-01-29

Publications (1)

Publication Number Publication Date
WO2019145534A1 true WO2019145534A1 (en) 2019-08-01

Family

ID=65268921

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/051999 WO2019145534A1 (en) 2018-01-29 2019-01-28 Virtual reality conference system

Country Status (2)

Country Link
DE (1) DE102018201336A1 (en)
WO (1) WO2019145534A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114201039A (en) * 2020-09-18 2022-03-18 聚好看科技股份有限公司 Display equipment for realizing virtual reality

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120204120A1 (en) * 2011-02-08 2012-08-09 Lefar Marc P Systems and methods for conducting and replaying virtual meetings
US20120249416A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Modular mobile connected pico projectors for a local multi-user collaboration
US20120281059A1 (en) * 2011-05-04 2012-11-08 Microsoft Corporation Immersive Remote Conferencing
US20150123966A1 (en) * 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
DE102015100930A1 (en) * 2014-01-24 2015-08-13 Avaya Inc. Management of enhanced communication between remote participants using advanced and virtual reality
US20150378157A1 (en) * 2014-06-26 2015-12-31 Audi Ag Method for operating virtual reality glasses and system with virtual reality glasses
US20160027218A1 (en) * 2014-07-25 2016-01-28 Tom Salter Multi-user gaze projection using head mounted display devices
US20170326457A1 (en) * 2016-05-16 2017-11-16 Google Inc. Co-presence handling in virtual reality
EP3264371A1 (en) * 2016-06-28 2018-01-03 Nokia Technologies Oy Apparatus for sharing objects of interest and associated methods
WO2018005692A1 (en) * 2016-06-28 2018-01-04 Against Gravity Corp . Systems and methods for detecting collaborative virtual gestures

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7007236B2 (en) * 2001-09-14 2006-02-28 Accenture Global Services Gmbh Lab window collaboration
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
DE102008056917A1 (en) * 2008-11-12 2010-06-02 Universität Konstanz Cooperation window / wall
WO2016099563A1 (en) * 2014-12-19 2016-06-23 Hewlett Packard Enterprise Development Lp Collaboration with 3d data visualizations

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120204120A1 (en) * 2011-02-08 2012-08-09 Lefar Marc P Systems and methods for conducting and replaying virtual meetings
US20120249416A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Modular mobile connected pico projectors for a local multi-user collaboration
US20120281059A1 (en) * 2011-05-04 2012-11-08 Microsoft Corporation Immersive Remote Conferencing
US20150123966A1 (en) * 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
DE102015100930A1 (en) * 2014-01-24 2015-08-13 Avaya Inc. Management of enhanced communication between remote participants using advanced and virtual reality
US20150378157A1 (en) * 2014-06-26 2015-12-31 Audi Ag Method for operating virtual reality glasses and system with virtual reality glasses
US20160027218A1 (en) * 2014-07-25 2016-01-28 Tom Salter Multi-user gaze projection using head mounted display devices
US20170326457A1 (en) * 2016-05-16 2017-11-16 Google Inc. Co-presence handling in virtual reality
EP3264371A1 (en) * 2016-06-28 2018-01-03 Nokia Technologies Oy Apparatus for sharing objects of interest and associated methods
WO2018005692A1 (en) * 2016-06-28 2018-01-04 Against Gravity Corp . Systems and methods for detecting collaborative virtual gestures

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KELTA HIGUCHI; YINPENG CHEN; PHILIP A CHOU; ZHENGYOU ZHANG; ZICHENG LIU: "ImmerseBoard: Immersive telepresence experience using a digital whiteboard in Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems", ACM, 2015, pages 2383 - 2392
RYO MATSUKAGE; DAISUKE IWAI; KOSUKE SATO: "Consistent desktop sharing based on document coordinate system for face-to-face online meeting", IN SIGGRAPH ASIA 2015 EMERGING TECHNOLOGIES. ACM, 6, 2015

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114201039A (en) * 2020-09-18 2022-03-18 聚好看科技股份有限公司 Display equipment for realizing virtual reality
CN114201039B (en) * 2020-09-18 2023-08-29 聚好看科技股份有限公司 Display device for realizing virtual reality

Also Published As

Publication number Publication date
DE102018201336A1 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
DE102015100930B4 (en) Management of enhanced communication between remote participants using advanced and virtual reality
US8395655B2 (en) System and method for enabling collaboration in a video conferencing system
CN104284133B (en) System and method for blank cooperation
US11488363B2 (en) Augmented reality conferencing system and method
DE60133386T2 (en) DEVICE AND METHOD FOR DISPLAYING A TARGET BY IMAGE PROCESSING WITHOUT THREE DIMENSIONAL MODELING
DE602004008397T2 (en) Video conference system with physical notes
DE69820112T2 (en) IMPROVED IMAGE DETECTION SYSTEM WITH VIRTUAL CAMERA
DE112018000311T5 (en) Stereoscopic rendering using raymarching and a virtual view broadcaster for such rendering
Barakonyi et al. Remote collaboration using augmented reality videoconferencing
US20140098179A1 (en) Video conferencing enhanced with 3-d perspective control
DE102017115208A1 (en) 2D video with the option for projected viewing in a modeled 3D room
EP2661077A1 (en) System and method for eye alignment in video
Kunz et al. Collaboard: a novel interactive electronic whiteboard for remote collaboration with people on content
DE102011050682A1 (en) 2D quality enhancers in polarized 3D systems for 2D-3D coexistence
DE102014114131A1 (en) Information processing and electronic device
WO2019145534A1 (en) Virtual reality conference system
DE102014115363A1 (en) Virtual character in real environment
DE102008056917A1 (en) Cooperation window / wall
Wolff et al. Communicating eye gaze across a distance without rooting participants to the spot
DE112019002798T5 (en) INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
DE112018006602T5 (en) VIRTUAL WINDOW FOR TELEPHONE CONFERENCES
WO2014044661A1 (en) Client device for displaying images of a controllable camera, method, computer program and monitoring system comprising said client device
DE112020000573T5 (en) VIEWING REPRESENTATIONS OF ENVIRONMENTS
WO2020110811A1 (en) Image processing device, image processing method, and program
Vertegaal et al. Look who's talking: the GAZE groupware system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19702554

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19702554

Country of ref document: EP

Kind code of ref document: A1