WO2019219357A1 - Verfahren und system zum animieren eines 3d-avatars - Google Patents

Verfahren und system zum animieren eines 3d-avatars Download PDF

Info

Publication number
WO2019219357A1
WO2019219357A1 PCT/EP2019/060863 EP2019060863W WO2019219357A1 WO 2019219357 A1 WO2019219357 A1 WO 2019219357A1 EP 2019060863 W EP2019060863 W EP 2019060863W WO 2019219357 A1 WO2019219357 A1 WO 2019219357A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
avatar
model
terminal
properties
Prior art date
Application number
PCT/EP2019/060863
Other languages
English (en)
French (fr)
Inventor
Rebecca Johnson
Robert Wilde
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Publication of WO2019219357A1 publication Critical patent/WO2019219357A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information

Definitions

  • the present invention relates to a method for Animie ren a 3D avatar and a system for animating the 3D avatar.
  • a user of a communication platform can receive an avatar, in particular a 3D avatar, from a communication partner.
  • the avatar enables a visual representation of the communication partner on the side of the receiving user. It is desirable to improve the communication perception.
  • an object of the present invention is to improve communication between users.
  • a method for animating a 3D avatar of a first user of a communication platform at a communicating via the communication platform with the first user second user of commu nikations is proposed.
  • the method comprises:
  • the communication platform is a platform via which users of the communication platform can exchange data and thus communicate with each other.
  • the first and second users hereafter also just “users”, can both be users of the communication platform
  • the users are in particular not in the same place, for example communicating via the Internet the users in a virtual reality environment (also VR environment) or in an augmented reality environment (also AR environment).
  • the first and second users are in particular persons.
  • the first user may be assigned a first terminal, and the second user may be assigned a second terminal.
  • the terminals are, for example, computers or smartphones.
  • the communication platform when users communicate with each other via the communication platform, they use their respective terminals and exchange data through these terminals.
  • the data exchanged during the communication comprise, for example, text, image, sound and / or video data.
  • the exchanged data may include the 3D avatar.
  • the 3D avatar of the first user is in particular a three-dimensional digital representation of the first user.
  • the 3D avatar can be true to reality.
  • the first user properties are data describing an appearance of the first user (shape, colors and the like).
  • the first user properties describe the user's appearance from all sides.
  • one or more 3D scanners and / or one or more camera devices can be used.
  • the 3D scanner and / or the camera device may be part of the first terminal or sepa rat be provided.
  • the first user rotates about his vertical axis while the 3D scanner and / or the camera device detects the first user properties. It is also possible for the 3D scanner and / or the camera device to rotate around the first user so as to obtain information about all pages of the first user as first user properties. If several 3D scanners and / or camera devices are used, the first user properties can also be acquired without the first user turning and without the 3D scanner and / or the camera device turning around the first user.
  • the first user properties can be evaluated by the first terminal to create the 3D model.
  • the first terminal can use a suitable 3D processing software.
  • the 3D model is in particular a network that reproduces the scanned image of the first user.
  • the 3D model maps the scanned shape and colors of the first user.
  • the 3D model is, for example, a static representation of the first user, in particular the canned representation.
  • the 3D model can form the basis for the 3D avatar of the first user.
  • the created 3D model can be transmitted as the 3D avatar of the first user from the first terminal to the second terminal. This takes place in particular via the communication platform which the first and second users also use for communication.
  • the second user properties can be detected. Similar to the first user properties, the second user properties are also data describing an appearance of the first user (shape, colors and the like). A difference between the first and the second user properties arises in particular from the time at which they are taken.
  • the second user properties may be processed by the first terminal to determine the joint data.
  • the joint data indicates where the joints, such as the shoulders, elbows, wrists, vertebrae or knees, of the first user are located and how they are aligned.
  • the determined joint data can be transmitted from the first to the second terminal.
  • the joint data serve to animate the 3D avatar of the first user at the second user.
  • an animating of the 3D avatar based on the second terminal is to be understood in particular.
  • animating the 3D avatar of the first user is real-time animating: when the first user moves, the 3D avatar moves accordingly.
  • the 3D avatar transmitted to the second terminal as a 3D model is particularly static, but it can be animated based on the joint data.
  • To animate the 3D avatar of the first user in particular only the joint data transmit the second terminal. For example, animating the 3D avatar does not require retransmitting a 3D model.
  • the joint data for animating the 3D avatar It is particularly advantageous to transmit only the joint data for animating the 3D avatar, because a transfer of the joint data can be faster than a transfer of 3D models.
  • the preparation of the joint data for the first terminal is less expensive than the creation of 3D models.
  • the articulation data may take up less storage space than 3D models, and therefore can be transmitted via the communication platform without disturbing the communication between the users. In particular, a bandwidth necessary for transmitting the data used to animate the 3D avatar is minimal.
  • new 3D models are not created each time, but rather only joint data are determined, as a result of which computational effort can be reduced.
  • the animation of the 3D avatar can thus be done with a reduced computational effort.
  • creating the 3D model of the first user comprises:
  • the 3D model may already include information about the position and / or orientation of the user's joints.
  • the second terminal may receive the information obtained in the 3D model Update the position and / or orientation of the joints and thus animate the 3D avatar. Animating the 3D avatar can thus be simplified.
  • the steps of detecting the second user properties, determining the joint data, transmitting the joint data, and animating the 3D avatar are performed during communication of the first and second users via the communication platform.
  • the steps of capturing the first user properties, creating the 3D model, and transmitting the 3D model prior to communicating the first and second users through the communications platform are performed. It is also conceivable that the 3D model of the first user is created before it is even clear who the first user will communicate with.
  • the steps of detecting the second user characteristics, determining the joint data, transmitting the joint data, and animating the 3D avatar are repeated sequentially during communication of the first and second users via the communication platform.
  • the second terminal receives in particular always, especially involuntarily agreed or at indefinite intervals, new Gelenkda th, the current position and / or orientation of the Ge steering of the first user specify.
  • the 3D avatar can be animated based on the sequentially received joint data. So with a real-time representation of the first user can be enabled by his 3D avatar.
  • the step of transmitting the 3D model from the first to the second end device takes place once.
  • the first user properties are also captured once and / or the 3D model is created only once. As a result, the computational effort can be reduced.
  • animating the 3D avatar of the first user comprises moving the joints of the 3D avatar corresponding to the joint data such that the 3D avatar is moved to image real movements of the first user.
  • the animating of the 3D avatar of the first user takes place by displaying the 3D avatar of the first user on a 2D screen, on a screen of a virtual reality headset and / or on a screen of an augmented reality screen. Headsets of the second terminal.
  • the screen of the virtual reality headset and / or the screen of the augmented reality headset enables a 3D representation of the 3D avatar.
  • the method further comprises:
  • the first user can customize the 3D model before transferring it to the second terminal.
  • the first user may change the position and / or orientation of the joints, modify the shape and color of his body, add certain items (glasses, jewelry, and the like) to the 3D model, and / or present existing items from the 3D model remove. These changes can be made via a user interface, for example via a touchscreen of the first terminal.
  • the detection of the second user properties takes place at a later time than the transmission of the 3D model.
  • the second user properties, which are used to determine the joint data are detected in particular only after the 3D model has been transmitted to the second terminal.
  • the method further comprises:
  • the 3D model which can form the basis for the 3D avatar, is deposited in particular in the cloud storage device. Individual users who want to communicate with the first user (for example, the second user) can then obtain the 3D model directly from the cloud storage device. In particular, the 3D model is not transmitted directly from the first to the second terminal but is buffered in the cloud storage device.
  • the 3D model may be associated with the first user.
  • the first user communicates with a new communication partner of the plurality of users, he or she can get the 3D model of the first user as a 3D avatar.
  • the 3D avatar can then be animated during the communication between the first user and the new communication partner on the basis of joint data.
  • Storing the 3D model in the cloud storage device is particularly advantageous because the 3D model can thus be reused by any number of users.
  • the first user can take his 3D avatar stored in the cloud storage device everywhere and animate it.
  • the 3D avatar of the first user is a full body representation of the first user.
  • a computer program product which allows the execution of the method according to the first aspect or according to an embodiment of the first aspect on a program-controlled device.
  • a computer program product such as a computer program means may, for example, be used as a storage medium, e.g.
  • a system for animating a 3D avatar of a first user of a communication platform at a communication via the communication platform with the first user communicating second user of communication platform is proposed.
  • the system includes:
  • a 3D scanner and / or camera device for capturing first user properties of the first user and capturing second user properties of the first user
  • a model creating unit for creating a 3D model of the first user in consideration of the first user characteristics and determining joint data indicating positions and / or orientations of steering of the first user based on the second user properties;
  • a transmission unit for transmitting the 3D model as the first user's 3D avatar from a first end device of the first user to a second end device of the second user via the communication platform and for transferring the 3D model carrying the joint data from the first to the second terminal via the communication platform;
  • an animation unit for animating the 3D avatar of the first user at the second user in consideration of the received joint data.
  • the respective unit for example the model creation unit, the transfer unit or the animation unit, can be implemented in terms of hardware and / or software.
  • the respective unit can be designed as a device or as part of a device, for example as a computer or as a microprocessor or as a control computer of a vehicle.
  • the respective unit can be designed as a computer program product, as a function, as a routine, as part of a program code or as an executable object.
  • the system is suitable for carrying out the method according to the first aspect or according to an embodiment of the first aspect.
  • Fig. Fig. 1 shows an example of first and second users communicating with each other
  • FIG. Figure 2 shows a method for animating a 3D avatar
  • Fig. FIG. 3 shows an example of detecting first user properties
  • Fig. 4 shows an example of a 3D model
  • Fig. Fig. 5 shows an example of joint data
  • Fig. Fig. 6 shows an example of an animated 3D avatar
  • Fig. 7 shows an example of a communication system
  • Fig. shows a system for animating a 3D avatar.
  • FIG. 1 shows an example of the first and second users 1, 2 communicating with each other.
  • the users 1, 2 communicate with each other via a communication platform 3.
  • the first user 1 uses a first terminal 11 and the second user 2 uses a second terminal 12.
  • the two terminals 11, 12 are portable computers, also called laptops.
  • users 1, 2 exchange data. For example, they write messages on the keyboards of their respective terminals 11, 12. The selected exchanged messages are then displayed on screens of the receiving terminals 11, 12.
  • a 3D avatar 8 of the first user 1 is animated in the second user 2.
  • the 3D avatar 8 is a realistic representation of the first user 1 and moves according to the first user 1.
  • a 3D avatar of the second user 2 is also animated in the case of the first user 1.
  • the 3D avatar 8 of the first user 1 is animated by means of a method for animating the 3D avatar 8. Such a method is shown in FIG.
  • the method according to FIG. 2 comprises the following steps S1 to S7:
  • first user properties of the first user 1 are detected.
  • a single 3D scanner 4 is used.
  • the 3D scanner 4 scans the entire body of the first user 1 by rotating the first user 1 about its vertical axis VA along the rotation arrow R.
  • the 3D scanner 4 detects surface properties (color, shape) of the first user 1 as first user properties.
  • the 3D scanner 4 transmits the detected first user properties via a cable 5 to the first terminal 11.
  • the first terminal 11 creates a 3D model on the basis of the first user properties.
  • the first terminal 11 uses a pre-stored 3D
  • the 3D model 6 is a static 3D representation of the first user 1, which holds the detected first user properties ent.
  • the 3D model 6 is determined by the appearance of the first user 1.
  • the 3D model 6 contains information about positions and orientation of joints 7a-71 of the first embodiment. user 1, which were also by the 3D processing program be true.
  • the first user 1 has also changed the 3D model 6 by adding a hat 15 to the 3D model 6.
  • the 3D model 6 is transmitted via the communication platform 3 from the first terminal 11 to the second terminal 12.
  • the second terminal 12 stores the received 3D model 6.
  • step S4 second user properties of the first user 1 are detected.
  • the detection of the second user properties is analogous to the detection of the first user properties, as already described with reference to FIG. 3.
  • the first user 1 does not rotate about its vertical axis VA when detecting the second user properties.
  • the second user properties are transmitted to the first terminal 11 via the cable 5.
  • the first terminal 11 determines Gelenkda th 7.
  • the joint data 7 are determined based on the second user properties.
  • Fig. 5 shows an example of Ge steering data 7.
  • the joint data 7 is information on the positioning and orientation of the joints 7a - 71 of the first user 1 at the time at which the second user properties are detected.
  • the joint data 7 can be compressed for transmission.
  • a step S6 the joint data 7 are transmitted from the first terminal 11 to the second terminal 12. This transmission over the joint data 7 takes place via the communication platform 3.
  • a step S7 the 3D avatar 8 of the first user 1 is animated in the second user 2.
  • the animating of the 3D avatar 8 takes place taking into account the joint data 7, which has received the second terminal 12.
  • the animation of the 3D avatar 8 is shown in FIG.
  • the 3D avatar 8 is moved in such a way that its movements reflect the Bewegun gene of the first user 1.
  • the positions and orientations of the joints 7a-71 of the 3D model 6 are updated on the basis of the joint data 7.
  • the wrist 7e is at the level of the shoulder 7b, and the intervening elbow 7d is lower. Accordingly, the position and orientation of the arm of the 3D avatar 8 are adjusted as shown in FIG. 6.
  • the animated 3D avatar 8 is displayed on a virtual reality screen 9 of the second terminal 12 is.
  • the steps that are within the dashed frame in FIG. 2 are repeated during communication between the first and second users 1, 2 sequentially, for example every half second.
  • the hinge data 7 are sequentially transmitted to the second terminal 12 where the position and orientation of the joints 7a-71 of the 3D avatar 8 are sequentially changed so as to animate the 3D avatar 8.
  • the steps S1 to S3 apply as preparatory steps that are executed only once.
  • the 3D model 6 is determined only once by the first terminal 11 and also transmitted only once to the second terminal 12.
  • FIG. 7 shows an example of a communication system 20.
  • the communication system 20 comprises a cloud storage device 16, the first terminal 11, the second terminal 12, and further terminals 17 and 18.
  • the terminals 11, 12, 17, 18 are respectively over the Communication platform 3 connected to the cloud storage device 16.
  • the 3D model 6 of the first user 1 can also be stored in the cloud storage device 16 are stored.
  • the first terminal 11 transmits the 3D model 6 to the cloud storage device 16 via the communication platform 3.
  • the terminal 12, 17, 18 can retrieve the 3D model 6 from the cloud storage device 16.
  • the 3D model 6 can then be animated during communication with the first terminal 11 based on the joint data 7 of the first Endge device 11 at the terminals 12, 17, 18.
  • the 8 shows a system 10 for animating a 3D avatar 8.
  • the system 10 comprises the 3D scanner 4, a model setting unit 13, a transmission unit 14 and an animation unit 19, which are connected to one another via an internal bus 21.
  • the 3D scanner 4 is suitable for capturing the first user properties of the first user 1 and for detecting the second user properties of the first user 1.
  • the model creation unit 13 is adapted to create the 3D model 6 of the first user 1 taking into account the detected first user properties. Further, the Mo deller einsaku 13 is suitable to determine based on the second Benut zereigenschaften joint data 7, the positions and / or orientations of the joints 7a-71 of the first user 1.
  • the transmission unit 14 is adapted to transfer the 3D model 6 as the 3D avatar 8 of the first user 1 from a first terminal 11 of the first user 1 to a second terminal 12 of the second user 2 via the communication platform 3, and the joint data 7 from the first to the two te terminal 11, 12 via the communication platform 3 to transmit.
  • the animation unit 19 is suitable, taking into account the received joint data 7 to animate the 3D avatar 8 of the first user 1 in the second user 2.
  • the present invention has been described with reference tossensbei games, it is variously modifiable.
  • the second user 2 can also provide the first user 1 with his 3D avatar.
  • three or more communication partners can communicate with each other via the communication platform 3 and exchange 3D avatars.
  • a camera device can also be used to record the first and / or second user properties.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Es wird ein Verfahren zum Animieren eines 3D-Avatars eines ersten Benutzers einer Kommunikationsplattform bei einem zweiten Benutzer vorgeschlagen. Das Verfahren umfasst: Erfassen von ersten Benutzereigenschaften des ersten Benutzers mit einem 3D-Scanner und/oder einer Kameraeinrichtung; Erstellen eines 3D-Modells des ersten Benutzers unter Berücksichtigung der erfassten ersten Benutzereigenschaften durch ein erstes Endgerät des ersten Benutzers; Übertragen des 3D-Modells als den 3D-Avatar des ersten Benutzers von dem ersten Endgerät an ein zweites Endgerät des zweiten Benutzers; Erfassen von zweiten Benutzereigenschaften des ersten Benutzers mit dem 3D-Scanner und/oder der Kameraeinrichtung; Ermitteln von Gelenkdaten, die Positionen und/oder Orientierungen von Gelenken des ersten Benutzers angeben, anhand der zweiten Benutzereigenschaften; Übertragen der Gelenkdaten von dem ersten an das zweite Endgerät; und Animieren des 3D-Avatars bei dem zweiten Benutzer unter Berücksichtigung der empfangenen Gelenkdaten. Beim Kommunizieren mit einem Kommunikationspartner kann ein Benutzer einen animierten 3D-Avatar des Kommunikationspartners sehen.

Description

Beschreibung
Verfahren und System zum Animieren eines 3D-Avatars
Die vorliegende Erfindung betrifft ein Verfahren zum Animie ren eines 3D-Avatars sowie ein System zum Animieren des 3D- Avatars .
Ein Benutzer einer Kommunikationsplattform kann von einem Kommunikationspartner einen Avatar, insbesondere einen 3D- Avatar, erhalten. Der Avatar ermöglicht insbesondere eine vi suelle Darstellung des Kommunikationspartners auf Seite des empfangenden Benutzers. Es ist erwünscht, die Kommunikations wahrnehmung zu verbessern.
Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, eine Kommunikation zwischen Benutzern zu verbessern .
Gemäß einem ersten Aspekt wird ein Verfahren zum Animieren eines 3D-Avatars eines ersten Benutzers einer Kommunikations plattform bei einem über die Kommunikationsplattform mit dem ersten Benutzer kommunizierenden zweiten Benutzer der Kommu nikationsplattform vorgeschlagen. Das Verfahren umfasst:
Erfassen von ersten Benutzereigenschaften des ersten Be nutzers mit einem 3D-Scanner und/oder einer Kameraeinrich tung;
Erstellen eines 3D-Modells des ersten Benutzers unter Be rücksichtigung der erfassten ersten Benutzereigenschaften durch ein erstes Endgerät des ersten Benutzers;
Übertragen des 3D-Modells als den 3D-Avatar des ersten Benutzers von dem ersten Endgerät an ein zweites Endgerät des zweiten Benutzers über die Kommunikationsplattform;
Erfassen von zweiten Benutzereigenschaften des ersten Be nutzers mit dem 3D-Scanner und/oder der Kameraeinrichtung;
Ermitteln von Gelenkdaten, die Positionen und/oder Orien tierungen von Gelenken des ersten Benutzers angeben, anhand der zweiten Benutzereigenschaften, durch das erste Endgerät; Übertragen der Gelenkdaten von dem ersten an das zweite Endgerät über die Kommunikationsplattform; und
Animieren des 3D-Avatars des ersten Benutzers bei dem zweiten Benutzer unter Berücksichtigung der empfangenen Ge lenkdaten .
Die Kommunikationsplattform ist insbesondere eine Plattform, über die Benutzer der Kommunikationsplattform Daten austau- schen können und somit miteinander kommunizieren können. Der erste und der zweite Benutzer, im Folgenden auch nur „Benut zer", können beide Benutzer der Kommunikationsplattform sein. Beim Kommunizieren über die Kommunikationsplattform sind die Benutzer insbesondere nicht am gleichen Ort. Sie kommunizie ren zum Beispiel über das Internet. In Ausführungsformen kom munizieren die Benutzer in einer Virtual-Reality-Umgebung (auch VR-Umgebung) oder in einer Augmented-Reality-Umgebung (auch AR-Umgebung) .
Der erste und der zweite Benutzer sind insbesondere Personen. Dem ersten Benutzer kann ein erstes Endgerät zugeordnet sein, und dem zweiten Benutzer kann ein zweites Endgerät zugeordnet sein. Bei den Endgeräten handelt es sich zum Beispiel um Com puter oder Smartphones.
Wenn die Benutzer über die Kommunikationsplattform miteinan der kommunizieren, verwenden sie insbesondere ihre jeweiligen Endgeräte und tauschen über diese Endgeräte Daten aus. Die bei der Kommunikation ausgetauschten Daten umfassen zum Bei spiel Text-, Bild-, Ton- und/oder Videodaten. Ferner können die ausgetauschten Daten den 3D-Avatar umfassen.
Der 3D-Avatar des ersten Benutzers ist insbesondere eine dreidimensionale digitale Darstellung des ersten Benutzers.
Es kann sich dabei um eine Ganzkörperdarstellung oder um eine Teilkörperdarstellung handeln. Der 3D-Avatar kann Realitäts treu sein. Zum Erstellen der 3D-Avatars können zunächst die ersten Be nutzereigenschaften des ersten Benutzers erfasst werden. Die ersten Benutzereigenschaften sind insbesondere Daten, die ein Aussehen des ersten Benutzers (Form, Farben und dergleichen) beschreiben. Insbesondere beschreiben die ersten Benutzerei genschaften das Aussehen des Benutzers von allen Seiten. Zum Erfassen der ersten Benutzereigenschaften können ein oder mehrere 3D-Scanner und/oder eine oder mehrere Kameraeinrich tungen eingesetzt werden. Der 3D-Scanner und/oder die Kamera einrichtung können Teil des ersten Endgeräts sein oder sepa rat davon vorgesehen sein.
Zum Erfassen der ersten Benutzereigenschaften dreht sich der erste Benutzer zum Beispiel um seine vertikale Achse, während der 3D-Scanner und/oder die Kameraeinrichtung die ersten Be nutzereigenschaften erfasst. Es ist auch möglich, dass sich der 3D-Scanner und/oder die Kameraeinrichtung um den ersten Benutzer dreht, um so Informationen über alle Seiten des ers ten Benutzers als erste Benutzereigenschaften zu erhalten. Falls mehrere 3D-Scanner und/oder Kameraeinrichtungen verwen det werden, können die ersten Benutzereigenschaften auch er fasst werden, ohne dass sich der erste Benutzer dreht und oh ne dass sich der 3D-Scanner und/oder die Kameraeinrichtung um den ersten Benutzer dreht.
Die ersten Benutzereigenschaften können durch das erste End gerät ausgewertet werden, um das 3D-Modell zu erstellen.
Hierzu kann das erste Endgerät eine geeignete 3D- Verarbeitungssoftware verwenden. Das 3D-Modell ist insbeson dere ein Netz, dass die eingescannte Darstellung des ersten Benutzers wiedergibt. Das 3D-Modell bildet insbesondere die eingescannte Form und Farben des ersten Benutzers ab. Bei dem 3D-Modell handelt es sich beispielsweise um eine statische Darstellung des ersten Benutzers, insbesondere um die einges cannte Darstellung. Das 3D-Modell kann die Grundlage für den 3D-Avatar des ersten Benutzers bilden. Das erstellte 3D-Modell kann als der 3D-Avatar des ersten Be nutzers von dem ersten Endgerät an das zweite Endgerät über tragen werden. Dieses erfolgt insbesondere über die Kommuni kationsplattform, die der erste und zweite Benutzer auch zur Kommunikation benutzen.
Anhand der Kameraeinrichtung und/oder des 3D-Scanners können zweite Benutzereigenschaften erfasst werden. Ähnlich zu den ersten Benutzereigenschaften sind auch die zweiten Benutzer eigenschaften Daten, die ein Aussehen des ersten Benutzers (Form, Farben und dergleichen) beschreiben. Ein Unterschied zwischen den ersten und den zweiten Benutzereigenschaften ergibt sich insbesondere aus dem Zeitpunkt, zu dem diese er fasst werden.
Die zweiten Benutzereigenschaften können durch das erste End gerät verarbeitet werden, um die Gelenkdaten zu bestimmen.
Die Gelenkdaten geben insbesondere an, wo sich die Gelenke, zum Beispiel die Schultern, Ellbogen, Handgelenke, Wirbel oder Knie, des ersten Benutzers befinden und wie diese ausge richtet sind.
Die ermittelten Gelenkdaten können von dem ersten an das zweite Endgerät übertragen werden. In Ausführungsformen wer den die Gelenkdaten komprimiert an das zweite Endgerät über tragen. Die Gelenkdaten dienen insbesondere dazu, den 3D- Avatar des ersten Benutzers bei dem zweiten Benutzer zu ani mieren. Unter dem Animieren des 3D-Avatars des ersten Benut zers bei dem zweiten Benutzer ist insbesondere ein Animieren des 3D-Avatars anhand des zweiten Endgeräts zu verstehen. Das Animieren des 3D-Avatars des ersten Benutzers ist insbesonde re ein Realtime-Animieren : wenn sich der erste Benutzer be wegt, bewegt sich der 3D-Avatar entsprechend.
Der an das zweite Endgerät als 3D-Modell übertragene 3D- Avatar ist insbesondere statisch, er kann jedoch anhand der Gelenkdaten animiert werden. Zum Animieren des 3D-Avatars des ersten Benutzers werden insbesondere nur die Gelenkdaten an das zweite Endgerät übertragen. Zum Animieren des 3D-Avatars wird zum Beispiel kein erneutes Übertragen eines 3D-Modells benötigt .
Es ist insbesondere vorteilhaft, zum Animieren des 3D-Avatars nur die Gelenkdaten zu übertragen, weil ein Übertragen der Gelenkdaten schneller erfolgen kann als ein Übertragen von 3D-Modellen. Zudem ist die Aufbereitung der Gelenkdaten für das erste Endgerät weniger aufwendig als das Erstellen von 3D-Modellen. Ferner können die Gelenkdaten weniger Speicher platz einnehmen als 3D-Modelle, und können deshalb über die Kommunikationsplattform übertragen werden, ohne die Kommuni kation zwischen den Benutzern zu stören. Eine Bandbreite, die für das Übertragen der für das Animieren des 3D-Avatars ver wendeten Daten notwendig ist, ist insbesondere minimal.
Für einzelne Positionen und/oder Bewegungen des ersten Benut zers werden insbesondere nicht jedes Mal neue 3D-Modelle er stellt, sondern nur Gelenkdaten bestimmt, wodurch ein Rechen aufwand reduziert werden kann. Das Animieren des 3D-Avatars kann somit mit einem reduzierten Rechenaufwand erfolgen.
Hierdurch kann die Kommunikation zwischen dem ersten und dem zweiten Benutzer verbessert werden.
Gemäß einer Ausführungsform umfasst das Erstellen des 3D- Modells des ersten Benutzers:
Ermitteln eines Aussehens des ersten Benutzers sowie von Positionen und/oder Orientierungen der Gelenke des ersten Be nutzers anhand der ersten Benutzereigenschaften; und
Erstellen des 3D-Modells des ersten Benutzers unter Be rücksichtigung des ermittelten Aussehens des ersten Benutzers sowie der ermittelten Positionen und/oder Orientierungen der Gelenke des ersten Benutzers.
Das 3D-Modell kann bereits Informationen über die Position und/oder Orientierung der Gelenke des Benutzers umfassen.
Wenn das zweite Endgerät anschließend die Gelenkdaten emp fängt, kann es die in dem 3D-Modell erhaltene Informationen über die Position und/oder Orientierung der Gelenke aktuali sieren und somit den 3D-Avatar animieren. Das Animieren des 3D-Avatars kann somit vereinfacht werden.
Gemäß einer weiteren Ausführungsform werden die Schritte des Erfassens der zweiten Benutzereigenschaften, des Ermittelns der Gelenkdaten, des Übertragens der Gelenkdaten und des Ani- mierens des 3D-Avatars während einer Kommunikation des ersten und des zweiten Benutzers über die Kommunikationsplattform durchgeführt .
In Ausführungsformen werden die Schritte des Erfassens der ersten Benutzereigenschaften, des Erstellens des 3D-Modells und des Übertragens des 3D-Modells vor der Kommunikation des ersten und des zweiten Benutzers über die Kommunikations plattform durchgeführt. Es ist auch denkbar, dass das 3D- Modell des ersten Benutzers erstellt wird, bevor überhaupt feststeht, mit wem der erste Benutzer kommunizieren wird.
Gemäß einer weiteren Ausführungsform werden die Schritte des Erfassens der zweiten Benutzereigenschaften, des Ermittelns der Gelenkdaten, des Übertragens der Gelenkdaten und des Ani- mierens des 3D-Avatars während der Kommunikation des ersten und des zweiten Benutzers über die Kommunikationsplattform sequenziell wiederholt.
Während der Kommunikation zwischen den Benutzern erhält das zweite Endgerät insbesondere stets, insbesondere in vorbe stimmten oder in unbestimmten Zeitabständen, neue Gelenkda ten, die eine aktuelle Position und/oder Orientierung der Ge lenke des ersten Benutzers angeben. Der 3D-Avatar kann anhand der sequentiell empfangenen Gelenkdaten animiert werden. So mit kann eine Realtime-Darstellung des ersten Benutzers durch sein 3D-Avatar ermöglicht werden.
Gemäß einer weiteren Ausführungsform erfolgt der Schritt des Übertragens des 3D-Modells von dem ersten an das zweite End gerät einmalig. In Ausführungsformen werden auch die ersten Benutzereigen schaften ein einziges Mal erfasst und/oder das 3D-Modell wird nur einmalig erstellt. Dadurch kann der Rechenaufwand redu ziert werden.
Gemäß einer weiteren Ausführungsform umfasst das Animieren des 3D-Avatars des ersten Benutzers ein den Gelenkdaten ent sprechendes Bewegen der Gelenke des 3D-Avatars, so dass der 3D-Avatar derart bewegt wird, dass reale Bewegungen des ers ten Benutzers abgebildet werden.
Gemäß einer weiteren Ausführungsform erfolgt das Animieren des 3D-Avatars des ersten Benutzers durch ein Anzeigen des 3D-Avatars des ersten Benutzers auf einem 2D-Bildschirm, auf einem Bildschirm eines Virtual-Reality-Headsets und/oder auf einem Bildschirm eines Augmented-Reality-Headsets des zweiten Endgeräts. Der Bildschirm des Virtual-Reality-Headsets und/oder der Bildschirm des Augmented-Reality-Headsets ermög licht insbesondere eine 3D-Darstellung des 3D-Avatars.
Gemäß einer weiteren Ausführungsform umfasst das Verfahren ferner :
Berichtigen und/oder Verändern des 3D-Modells des ersten Benutzers durch den ersten Benutzer, bevor das 3D-Modell an das zweite Endgerät übertragen wird.
Der erste Benutzer kann das 3D-Modell anpassen, bevor es an das zweite Endgerät übertragen wird. Der erste Benutzer kann zum Beispiel die Position und/oder Orientierung der Gelenke ändern, die Form und Farbe seines Körpers modifizieren, dem 3D-Modell gewisse Gegenstände (Brille, Schmuck und derglei chen) hinzufügen und/oder solche vorhandenen Gegenstände aus dem 3D-Modell entfernen. Diese Änderungen können über eine Benutzerschnittstelle, zum Beispiel über einen Touchscreen des ersten Endgeräts, durchgeführt werden. Gemäß einer weiteren Ausführungsform erfolgt das Erfassen der zweiten Benutzereigenschaften zu einem späteren Zeitpunkt als das Übertragen des 3D-Modells. Die zweiten Benutzereigen schaften, die zum Bestimmen der Gelenkdaten dienen, werden insbesondere erst erfasst, nachdem das 3D-Modell an das zwei te Endgerät übertragen wurde.
Gemäß einer weiteren Ausführungsform umfasst das Verfahren ferner :
Speichern des 3D-Modells des ersten Benutzers in einer Cloud-Speichereinrichtung, die durch eine Vielzahl von Benut zern, die über die Kommunikationsplattform mit dem ersten Be nutzer kommunizieren, abrufbar ist.
Das 3D-Modell, welches die Grundlage für den 3D-Avatar bilden kann, wird insbesondere in der Cloud-Speichereinrichtung ab gelegt. Einzelne Benutzer, die mit dem ersten Benutzer kommu nizieren möchten (zum Beispiel der zweite Benutzer), können das 3D-Modell dann direkt aus der Cloud-Speichereinrichtung erhalten. Das 3D-Modell wird insbesondere nicht direkt von dem ersten an das zweite Endgerät übertragen, sondern in der Cloud-Speichereinrichtung zwischengespeichert .
Das 3D-Modell kann dem ersten Benutzer zugeordnet sein. Wenn der erste Benutzer mit einem neuen Kommunikationspartner der Vielzahl von Benutzern kommuniziert, kann dieser das 3D- Modell des ersten Benutzers als 3D-Avatar bekommen. Der 3D- Avatar kann anschließend während der Kommunikation zwischen dem ersten Benutzer und dem neuen Kommunikationspartner an hand von Gelenkdaten animiert werden.
Das Speichern des 3D-Modells in der Cloud-Speichereinrichtung ist insbesondere vorteilhaft, weil das 3D-Modell somit belie big oft von beliebig vielen Benutzern wiederverwendet werden kann. Der erste Benutzer kann seinen in der Cloud- Speichereinrichtung gespeicherten 3D-Avatar überall mitnehmen und diesen animieren. Gemäß einer weiteren Ausführungsform ist der 3D-Avatar des ersten Benutzers eine Ganzkörperdarstellung des ersten Benut zers .
Gemäß einem zweiten Aspekt wird ein Computerprogrammprodukt vorgeschlagen, welches auf einer programmgesteuerten Einrich tung die Durchführung des Verfahrens gemäß dem ersten Aspekt oder gemäß einer Ausführungsform des ersten Aspekts veran lasst .
Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm- Mittel, kann beispielsweise als Speichermedium, wie z.B.
Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form ei ner herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertra gung einer entsprechenden Datei mit dem Computerprogrammpro dukt oder dem Computerprogramm-Mittel erfolgen.
Gemäß einem dritten Aspekt wird ein System zum Animieren ei nes 3D-Avatars eines ersten Benutzers einer Kommunikations plattform bei einem über die Kommunikationsplattform mit dem ersten Benutzer kommunizierenden zweiten Benutzer der Kommu nikationsplattform vorgeschlagen. Das System umfasst:
einen 3D-Scanner und/oder eine Kameraeinrichtung zum Er fassen von ersten Benutzereigenschaften des ersten Benutzers und zum Erfassen von zweiten Benutzereigenschaften des ersten Benutzers ;
eine Modellerstellungseinheit zum Erstellen eines 3D- Modells des ersten Benutzers unter Berücksichtigung der er fassten ersten Benutzereigenschaften und zum Ermitteln von Gelenkdaten, die Positionen und/oder Orientierungen von Ge lenken des ersten Benutzers angeben, anhand der zweiten Be nutzereigenschaften;
eine Übertragungseinheit zum Übertragen des 3D-Modells als den 3D-Avatar des ersten Benutzers von einem ersten End gerät des ersten Benutzers an ein zweites Endgerät des zwei ten Benutzers über die Kommunikationsplattform und zum Über- tragen der Gelenkdaten von dem ersten an das zweite Endgerät über die Kommunikationsplattform; und
eine Animierungseinheit zum Animieren des 3D-Avatars des ersten Benutzers bei dem zweiten Benutzer unter Berücksichti gung der empfangenen Gelenkdaten.
Die jeweilige Einheit, zum Beispiel die Modellerstellungsein heit, die Übertragungseinheit oder die Animierungseinheit, kann hardwaretechnisch und/oder auch softwaretechnisch imple mentiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit als Vorrichtung oder als Teil ei ner Vorrichtung, zum Beispiel als Computer oder als Mikropro zessor oder als Steuerrechner eines Fahrzeuges ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funk tion, als eine Routine, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein.
Gemäß einer Ausführungsform ist das System geeignet, das Ver fahren gemäß dem ersten Aspekt oder gemäß einer Ausführungs form des ersten Aspekts durchzuführen.
Die für das vorgeschlagene Verfahren gemäß dem ersten Aspekt oder gemäß einer Ausführungsform des ersten Aspekts beschrie benen Ausführungsformen und Merkmale gelten für das vorge schlagene System gemäß dem dritten Aspekt oder gemäß einer Ausführungsform des dritten Aspekts entsprechend.
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der je weiligen Grundform der Erfindung hinzufügen.
Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfin dung sind Gegenstand der Unteransprüche sowie der im Folgen den beschriebenen Ausführungsbeispiele der Erfindung. Im Wei- teren wird die Erfindung anhand von bevorzugten Ausführungs formen unter Bezugnahme auf die beigelegten Figuren näher er läutert .
Fig . 1 zeigt ein Beispiel von miteinander kommunizierenden ersten und zweiten Benutzern;
Fig . 2 zeigt ein Verfahren zum Animieren eines 3D-Avatars; Fig . 3 zeigt ein Beispiel eines Erfassens von ersten Be nutzereigenschaften;
Fig. 4 zeigt ein Beispiel eines 3D-Modells; Fig . 5 zeigt ein Beispiel von Gelenkdaten; Fig . 6 zeigt ein Beispiel eines animierten 3D-Avatars; Fig. 7 zeigt ein Beispiel eines Kommunikationssystems; und
Fig . zeigt ein System zum Animieren eines 3D-Avatars.
In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.
Die Fig. 1 zeigt ein Beispiel von miteinander kommunizieren den ersten und zweiten Benutzern 1, 2. Die Benutzer 1, 2 kom munizieren über eine Kommunikationsplattform 3 miteinander. Hierzu verwendet der erste Benutzer 1 ein erstes Endgerät 11 und der zweite Benutzer 2 benutzt ein zweites Endgerät 12.
Bei den beiden Endgeräten 11, 12 handelt es sich um tragbare Computer, auch Laptops genannt.
Im Rahmen der Kommunikation tauschen die Benutzer 1, 2 Daten aus. Beispielsweise schreiben sie sich Nachrichten über die Tastaturen ihrer jeweiligen Endgeräte 11, 12. Die ausge- tauschten Nachrichten werden dann auf Bildschirmen der emp fangenden Endgeräte 11, 12 angezeigt.
Während der Kommunikation wird bei dem zweiten Benutzer 2 ein 3D-Avatar 8 des ersten Benutzers 1 animiert. Der 3D-Avatar 8 ist eine realistische Darstellung des ersten Benutzers 1 und bewegt sich dem ersten Benutzer 1 entsprechend. In Ausfüh rungsformen wird auch bei dem ersten Benutzer 1 ein 3D-Avatar des zweiten Benutzers 2 animiert.
Der 3D-Avatar 8 des ersten Benutzers 1 wird anhand eines Ver fahrens zum Animieren des 3D-Avatars 8 animiert. Solch ein Verfahren ist in der Fig. 2 dargestellt. Das Verfahren nach Fig. 2 umfasst die folgenden Schritte S1 bis S7 :
In einem Schritt S1 werden erste Benutzereigenschaften des ersten Benutzers 1 erfasst. Hierzu wird, wie in der Fig. 3 dargestellt, ein einziger 3D-Scanner 4 verwendet. Der 3D- Scanner 4 scannt den gesamten Körper des ersten Benutzers 1, indem sich der erste Benutzer 1 um seine vertikale Achse VA entlang des Rotationspfeils R dreht. Der 3D-Scanner 4 erfasst Oberflächeneigenschaften (Farbe, Form) des ersten Benutzers 1 als erste Benutzereigenschaften. Der 3D-Scanner 4 übermittelt die erfassten ersten Benutzereigenschaften über ein Kabel 5 an das erste Endgerät 11.
In einem Schritt S2 erstellt das erste Endgerät 11 anhand der ersten Benutzereigenschaften ein 3D-Modell. Hierzu verwendet das erste Endgerät 11 ein vorgespeichertes 3D-
Verarbeitungsprogramm. Ein Beispiel für ein in dem Schritt S2 erstelltes 3D-Modell 6 ist in der Fig. 4 gezeigt. Das 3D- Modell 6 ist eine statische 3D-Darstellung des ersten Benut zers 1, die die erfassten ersten Benutzereigenschaften ent hält. Insbesondere ist das 3D-Modell 6 durch das Aussehen des ersten Benutzers 1 bestimmt.
Darüber hinaus enthält das 3D-Modell 6 Informationen über Po sitionen und Orientierung von Gelenken 7a - 71 des ersten Be- nutzers 1, welche auch durch das 3D-Verarbeitungsprogramm be stimmt wurden.
In dem Beispiel aus der Fig. 4 hat der erste Benutzer 1 das 3D-Modell 6 zudem geändert, indem er dem 3D-Modell 6 einen Hut 15 hinzugefügt hat.
In einem Schritt S3 wird das 3D-Modell 6 über die Kommunika tionsplattform 3 von dem ersten Endgerät 11 an das zweite Endgerät 12 übertragen. Das zweite Endgerät 12 speichert das empfangene 3D-Modell 6.
In einem darauffolgenden Schritt S4 werden zweite Benutzerei genschaften des ersten Benutzers 1 erfasst. Das Erfassen der zweiten Benutzereigenschaften erfolgt analog zum Erfassen der ersten Benutzereigenschaften, wie bereits in Bezug auf die Fig. 3 beschrieben. Alternativ dreht sich der erste Benutzer 1 beim Erfassen der zweiten Benutzereigenschaften nicht um seine vertikale Achse VA. Die zweiten Benutzereigenschaften werden über das Kabel 5 an das erste Endgerät 11 übertragen.
In einem Schritt S5 ermittelt das erste Endgerät 11 Gelenkda ten 7. Die Gelenkdaten 7 werden anhand der zweiten Benutzer eigenschaften bestimmt. Die Fig. 5 zeigt ein Beispiel von Ge lenkdaten 7. Bei den Gelenkdaten 7 handelt es sich um Infor mationen über die Positionierung und Orientierung der Gelenke 7a - 71 des ersten Benutzers 1 zum Zeitpunkt, zu dem die zweiten Benutzereigenschaften erfasst werden. Optional können die Gelenkdaten 7 für die Übertragung komprimiert werden.
In einem Schritt S6 werden die Gelenkdaten 7 von dem ersten Endgerät 11 an das zweite Endgerät 12 übertragen. Diese Über tragung der Gelenkdaten 7 erfolgt über die Kommunikations plattform 3.
In einem Schritt S7 wird der 3D-Avatar 8 des ersten Benutzers 1 bei dem zweiten Benutzer 2 animiert. Das Animieren des 3D- Avatars 8 erfolgt unter Berücksichtigung der Gelenkdaten 7, die das zweite Endgerät 12 empfangen hat. Das Animieren des 3D-Avatars 8 ist in der Fig. 6 dargestellt. Der 3D-Avatar 8 wird dabei derart bewegt, dass seine Bewegungen die Bewegun gen des ersten Benutzers 1 wiederspiegeln. Hierzu werden die Positionen und Orientierungen der Gelenke 7a - 71 des 3D- Modells 6 anhand der Gelenkdaten 7 aktualisiert. Wie aus der Fig. 5 ersichtlich, liegt zum Beispiel das Handgelenk 7e auf Höhe der Schulter 7b, der dazwischenliegende Ellbogen 7d liegt niedriger. Dementsprechend werden die Position und Ori entierung des Arms des 3D-Avatars 8 wie in der Fig. 6 darge stellt angepasst. Der animierte 3D-Avatar 8 wird auf einem Virtual-Reality-Bildschirm 9 des zweiten Endgeräts 12 ange zeigt .
Optional werden die Schritte, die in der Fig. 2 innerhalb des gestrichelten Rahmens sind, während der Kommunikation zwi schen dem ersten und zweiten Benutzer 1, 2 sequentiell, zum Beispiel jede halbe Sekunde wiederholt. Das heißt, dass in regelmäßigen Abständen zweite Benutzereigenschaften erfasst werden, mit welchen Gelenkdaten 7 erzeugt werden. Die Gelenk daten 7 werden sequentiell an das zweite Endgerät 12 übertra gen, wo die Position und Orientierung der Gelenke 7a - 71 des 3D-Avatars 8 sequentiell verändert werden, um so den 3D- Avatar 8 zu animieren.
Im Gegensatz hierzu gelten die Schritte S1 bis S3 als Vorbe reitungsschritte, die nur ein einziges Mal ausgeführt werden. So wird das 3D-Modell 6 nur einmalig durch das erste Endgerät 11 bestimmt und auch nur einmalig an das zweite Endgerät 12 übertragen .
Der 3D-Avatar 8 wird anhand der Gelenkdaten 7 animiert. Der zweite Benutzer 2 kann somit während der Kommunikation mit dem ersten Benutzer 1 anhand des 3D-Avatars 8 auch die Bewe gungen des ersten Benutzers 1 verfolgen. Diese Bewegungen werden realistisch auf dem Bildschirm 9 dargestellt. Die Fig. 7 zeigt ein Beispiel eines Kommunikationssystems 20. Das Kommunikationssystem 20 umfasst eine Cloud- Speichereinrichtung 16, das erste Endgerät 11, das zweite Endgerät 12 und weitere Endgeräte 17 und 18. Die Endgeräte 11, 12, 17, 18 sind jeweils über die Kommunikationsplattform 3 mit der Cloud-Speichereinrichtung 16 verbunden.
Statt das 3D-Modell 6 direkt von dem ersten Endgerät 11 an das zweite Endgerät 12 zu übertragen, wie dieses in Bezug auf die Fig. 1 bis 6 beschrieben wurde, kann das 3D-Modell 6 des ersten Benutzers 1 auch in der Cloud-Speichereinrichtung 16 abgespeichert werden. Hierzu überträgt das erste Endgerät 11 das 3D-Modell 6 an die Cloud-Speichereinrichtung 16 über die Kommunikationsplattform 3.
Wenn ein Benutzer der Endgeräte 12, 17, 18 mit dem ersten Be nutzer 1 kommunizieren möchte, kann das Endgerät 12, 17, 18 das 3D-Modell 6 von der Cloud-Speichereinrichtung 16 abrufen. Das 3D-Modell 6 kann dann während der Kommunikation mit dem ersten Endgerät 11 anhand der Gelenkdaten 7 des ersten Endge räts 11 bei den Endgeräten 12, 17, 18 animiert werden.
Fig. 8 zeigt ein System 10 zum Animieren eines 3D-Avatars 8. Das System 10 umfasst den 3D-Scanner 4, eine Modellerstel lungseinheit 13, eine Übertragungseinheit 14 und eine Animie- rungseinheit 19, die über einen internen Bus 21 miteinander verbunden sind.
Der 3D-Scanner 4 ist, wie zuvor bereits beschrieben, zum Er fassen der ersten Benutzereigenschaften des ersten Benutzers 1 und zum Erfassen der zweiten Benutzereigenschaften des ers ten Benutzers 1 geeignet.
Die Modellerstellungseinheit 13 ist geeignet, das 3D-Modell 6 des ersten Benutzers 1 unter Berücksichtigung der erfassten ersten Benutzereigenschaften zu erstellen. Ferner ist die Mo dellerstellungseinheit 13 geeignet, anhand der zweiten Benut zereigenschaften Gelenkdaten 7 zu ermitteln, die Positionen und/oder Orientierungen der Gelenke 7a - 71 des ersten Benut zers 1 angeben.
Die Übertragungseinheit 14 ist geeignet, das 3D-Modell 6 als den 3D-Avatar 8 des ersten Benutzers 1 von einem ersten End gerät 11 des ersten Benutzers 1 an ein zweites Endgerät 12 des zweiten Benutzers 2 über die Kommunikationsplattform 3 zu übertragen, und die Gelenkdaten 7 von dem ersten an das zwei te Endgerät 11, 12 über die Kommunikationsplattform 3 zu übertragen .
Die Animierungseinheit 19 ist geeignet, unter Berücksichti gung der empfangenen Gelenkdaten 7 den 3D-Avatar 8 des ersten Benutzers 1 bei dem zweiten Benutzer 2 zu animieren.
Obwohl die vorliegende Erfindung anhand von Ausführungsbei spielen beschrieben wurde, ist sie vielfältig modifizierbar. Es ist zum Beispiel möglich, dass auch der zweite Benutzer 2 dem ersten Benutzer 1 seinen 3D-Avatar bereitstellt . Ferner können auch drei oder mehr Kommunikationspartner über die Kommunikationsplattform 3 miteinander kommunizieren und 3D- Avatare austauschen. Alternativ oder zusätzlich zum 3D- Scanner 4 kann auch eine Kameraeinrichtung verwendet werden, um die ersten und/oder zweiten Benutzereigenschaften zu er fassen .

Claims

Patentansprüche
1. Verfahren zum Animieren eines 3D-Avatars (8) eines ersten Benutzers (1) einer Kommunikationsplattform (3) bei einem über die Kommunikationsplattform (3) mit dem ersten Benutzer (1) kommunizierenden zweiten Benutzer (2) der Kommunikations plattform (3), wobei das Verfahren umfasst:
Erfassen (Sl) von ersten Benutzereigenschaften des ersten Benutzers (1) mit einem 3D-Scanner (4) und/oder einer Kamera einrichtung;
Erstellen (S2) eines 3D-Modells (6) des ersten Benutzers (1) unter Berücksichtigung der erfassten ersten Benutzerei genschaften durch ein erstes Endgerät (11) des ersten Benut zers ( 1 ) ;
Übertragen (S3) des 3D-Modells (6) als den 3D-Avatar (8) des ersten Benutzers (1) von dem ersten Endgerät (11) an ein zweites Endgerät (12) des zweiten Benutzers (2) über die Kom munikationsplattform (3) ;
Erfassen (S4) von zweiten Benutzereigenschaften des ers ten Benutzers (1) mit dem 3D-Scanner (4) und/oder der Kamera einrichtung;
Ermitteln (S5) von Gelenkdaten (7), die Positionen und/oder Orientierungen von Gelenken (7a - 71) des ersten Be nutzers (1) angeben, anhand der zweiten Benutzereigenschaf ten, durch das erste Endgerät (11);
Übertragen (S6) der Gelenkdaten (7) von dem ersten an das zweite Endgerät (12) über die Kommunikationsplattform (3); und
Animieren (Sl) des 3D-Avatars (8) des ersten Benutzers (1) bei dem zweiten Benutzer (2) unter Berücksichtigung der empfangenen Gelenkdaten (7).
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Erstellen (S2) des 3D-Modells (6) des ersten Benutzers (1) umfasst:
Ermitteln eines Aussehens des ersten Benutzers (1) sowie von Positionen und/oder Orientierungen der Gelenke (7a - 71) des ersten Benutzers (1) anhand der ersten Benutzereigen schaften; und
Erstellen (S2) des 3D-Modells (6) des ersten Benutzers (1) unter Berücksichtigung des ermittelten Aussehens des ers ten Benutzers (1) sowie der ermittelten Positionen und/oder Orientierungen der Gelenke (7a - 71) des ersten Benutzers (1) ·
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Schritte des Erfassens (S4) der zweiten Benutzerei genschaften, des Ermittelns (S5) der Gelenkdaten (7), des Übertragens (S6) der Gelenkdaten (7) und des Animierens (S7) des 3D-Avatars (8) während einer Kommunikation des ersten und des zweiten Benutzers (1, 2) über die Kommunikationsplattform (3) durchgeführt werden.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Schritte des Erfassens (S4) der zweiten Benutzereigen schaften, des Ermittelns (S5) der Gelenkdaten (7), des Über tragens (S6) der Gelenkdaten (7) und des Animierens (S7) des 3D-Avatars (8) während der Kommunikation des ersten und des zweiten Benutzers (1, 2) über die Kommunikationsplattform (3) sequenziell wiederholt werden.
5. Verfahren nach einem der Ansprüche 1 - 4, dadurch gekenn zeichnet, dass der Schritt des Übertragens (S3) des 3D- Modells (6) von dem ersten an das zweite Endgerät (11, 12) einmalig erfolgt.
6. Verfahren nach einem der Ansprüche 1 - 5, dadurch gekenn zeichnet, dass das Animieren (S7) des 3D-Avatars (8) des ers ten Benutzers (1) ein den Gelenkdaten (7) entsprechendes Be wegen der Gelenke (7a - 71) des 3D-Avatars (8) umfasst, so dass der 3D-Avatar (8) derart bewegt wird, dass reale Bewe gungen des ersten Benutzers (1) abgebildet werden.
7. Verfahren nach einem der Ansprüche 1 - 6, dadurch gekenn zeichnet, dass das Animieren (S7) des 3D-Avatars (8) des ers- ten Benutzers (1) durch ein Anzeigen des 3D-Avatars (8) des ersten Benutzers (1) auf einem 2D-Bildschirm, auf einem Bild schirm (9) eines Virtual-Reality-Headsets und/oder auf einem Bildschirm eines Augmented-Reality-Headsets des zweiten End geräts (12) erfolgt.
8. Verfahren nach einem der Ansprüche 1 - 7,
gekennzeichnet durch:
Berichtigen und/oder Verändern des 3D-Modells (6) des ersten Benutzers (1) durch den ersten Benutzer (1), bevor das 3D-Modell (6) an das zweite Endgerät (12) übertragen wird.
9. Verfahren nach einem der Ansprüche 1 - 8, dadurch gekenn zeichnet, dass das Erfassen (S4) der zweiten Benutzereigen schaften zu einem späteren Zeitpunkt als das Übertragen (S3) des 3D-Modells (6) erfolgt.
10. Verfahren nach einem der Ansprüche 1 - 9, gekennzeichnet durch :
Speichern des 3D-Modells (6) des ersten Benutzers (1) in einer Cloud-Speichereinrichtung (16), die durch eine Vielzahl von Benutzern (1, 2), die über die Kommunikationsplattform (3) mit dem ersten Benutzer (1) kommunizieren, abrufbar ist.
11. Verfahren nach einem der Ansprüche 1 - 10, dadurch ge kennzeichnet, dass der 3D-Avatar (8) des ersten Benutzers (1) eine Ganzkörperdarstellung des ersten Benutzers (1) ist.
12. Computerprogrammprodukt, welches auf einer programmge steuerten Einrichtung die Durchführung des Verfahrens nach einem der Ansprüche 1 - 11 veranlasst.
13. System (10) zum Animieren eines 3D-Avatars (8) eines ers ten Benutzers (1) einer Kommunikationsplattform (3) bei einem über die Kommunikationsplattform (3) mit dem ersten Benutzer (1) kommunizierenden zweiten Benutzer (2) der Kommunikations plattform (3), wobei das System (10) umfasst: einen 3D-Scanner (4) und/oder eine Kameraeinrichtung zum Erfassen von ersten Benutzereigenschaften des ersten Benut zers (1) und zum Erfassen von zweiten Benutzereigenschaften des ersten Benutzers (1);
eine Modellerstellungseinheit (13) zum Erstellen eines 3D-Modells (6) des ersten Benutzers (1) unter Berücksichti gung der erfassten ersten Benutzereigenschaften und zum Er mitteln von Gelenkdaten (7), die Positionen und/oder Orien tierungen von Gelenken (7a - 71) des ersten Benutzers (1) an geben, anhand der zweiten Benutzereigenschaften;
eine Übertragungseinheit (14) zum Übertragen des 3D- Modells (6) als den 3D-Avatar (8) des ersten Benutzers (1) von einem ersten Endgerät (11) des ersten Benutzers (1) an ein zweites Endgerät (12) des zweiten Benutzers (2) über die Kommunikationsplattform (3) und zum Übertragen der Gelenkda ten (7) von dem ersten an das zweite Endgerät (12) über die Kommunikationsplattform (3) ; und
eine Animierungseinheit (19) zum Animieren des 3D-Avatars (8) des ersten Benutzers (1) bei dem zweiten Benutzer (2) un ter Berücksichtigung der empfangenen Gelenkdaten (7).
14. System nach Anspruch 13, dadurch gekennzeichnet, dass es geeignet ist, das Verfahren nach einem der Ansprüche 1 - 11 durchzuführen .
PCT/EP2019/060863 2018-05-15 2019-04-29 Verfahren und system zum animieren eines 3d-avatars WO2019219357A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018207518.2A DE102018207518A1 (de) 2018-05-15 2018-05-15 Verfahren und System zum Animieren eines 3D-Avatars
DE102018207518.2 2018-05-15

Publications (1)

Publication Number Publication Date
WO2019219357A1 true WO2019219357A1 (de) 2019-11-21

Family

ID=66529978

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/060863 WO2019219357A1 (de) 2018-05-15 2019-04-29 Verfahren und system zum animieren eines 3d-avatars

Country Status (2)

Country Link
DE (1) DE102018207518A1 (de)
WO (1) WO2019219357A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3114429A1 (fr) 2020-09-23 2022-03-25 Squaremind Systeme et procede pour generer un modele de corps humain
FR3114428A1 (fr) 2020-09-23 2022-03-25 Squaremind Systeme pour generer un modele de corps humain et un avatar numerique dans un afficheur d’un casque de realite virtuelle, procede associe

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
DE102022004326A1 (de) 2022-11-21 2024-05-23 Mercedes-Benz Group AG Verfahren zum Betreiben eines Unterstützungssystems für eine Person in einem Kraftfahrzeug, Computerprogrammprodukt sowie Unterstützungssystem

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030020718A1 (en) * 2001-02-28 2003-01-30 Marshall Carl S. Approximating motion using a three-dimensional model
US20120130717A1 (en) * 2010-11-19 2012-05-24 Microsoft Corporation Real-time Animation for an Expressive Avatar
US20150356767A1 (en) * 2014-04-23 2015-12-10 University Of Southern California Rapid avatar capture and simulation using commodity depth sensors
US20160353056A1 (en) * 2013-08-09 2016-12-01 Samsung Electronics Co., Ltd. Hybrid visual communication
US20170111614A1 (en) * 2012-04-09 2017-04-20 Intel Corporation Communication using interactive avatars
US20180025506A1 (en) * 2013-06-04 2018-01-25 Intel Corporation Avatar-based video encoding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014036708A1 (en) * 2012-09-06 2014-03-13 Intel Corporation System and method for avatar creation and synchronization
US9094576B1 (en) * 2013-03-12 2015-07-28 Amazon Technologies, Inc. Rendered audiovisual communication
US9269012B2 (en) * 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030020718A1 (en) * 2001-02-28 2003-01-30 Marshall Carl S. Approximating motion using a three-dimensional model
US20120130717A1 (en) * 2010-11-19 2012-05-24 Microsoft Corporation Real-time Animation for an Expressive Avatar
US20170111614A1 (en) * 2012-04-09 2017-04-20 Intel Corporation Communication using interactive avatars
US20180025506A1 (en) * 2013-06-04 2018-01-25 Intel Corporation Avatar-based video encoding
US20160353056A1 (en) * 2013-08-09 2016-12-01 Samsung Electronics Co., Ltd. Hybrid visual communication
US20150356767A1 (en) * 2014-04-23 2015-12-10 University Of Southern California Rapid avatar capture and simulation using commodity depth sensors

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3114429A1 (fr) 2020-09-23 2022-03-25 Squaremind Systeme et procede pour generer un modele de corps humain
FR3114428A1 (fr) 2020-09-23 2022-03-25 Squaremind Systeme pour generer un modele de corps humain et un avatar numerique dans un afficheur d’un casque de realite virtuelle, procede associe
WO2022063862A2 (fr) 2020-09-23 2022-03-31 Squaremind Systeme et procede pour generer un modele de corps humain
WO2022063856A2 (fr) 2020-09-23 2022-03-31 Squaremind Systeme pour generer un modele de corps humain et un avatar numerique dans un afficheur d'un casque de realite virtuelle, procede associe
FR3146533A1 (fr) 2020-09-23 2024-09-13 Squaremind Systeme pour generer un modele de corps humain et un avatar numerique dans un afficheur d’un casque de realite virtuelle, procede associe

Also Published As

Publication number Publication date
DE102018207518A1 (de) 2019-11-21

Similar Documents

Publication Publication Date Title
WO2019219357A1 (de) Verfahren und system zum animieren eines 3d-avatars
DE69629983T2 (de) Verfahren zum anteiligen Nutzen eines dreidimensionalen Raumes in virtueller Realität und System dafür
DE69705890T4 (de) Sender/Empfänger von dreidimensionalen Skelettstrukturbewegungen und Verfahren davon
DE102018121808A1 (de) Verfeinern von synthetischen daten mit einem generative adversarial network unter verwendung von hilfseingaben
EP3872766A2 (de) Verfahren und vorrichtung zur verarbeitung eines bildes, zugehörige elektronische vorrichtung und speichermedium
DE102017009049A1 (de) Ermöglichen von Transformationen Skizze-zu-Gemälde
CN108520504A (zh) 一种基于生成对抗网络端到端的模糊图像盲复原方法
EP3789962B1 (de) Verfahren und vorrichtung zum erzeugen von daten für eine zwei- oder dreidimen-sionale darstellung zumindest eines teils eines objekts und zum erzeugen der zwei- oder dreidimensionalen darstellung zumindest des teils des objekts
DE112017003723B4 (de) Verbesserte Steuerung einer robotischen Prothese durch ein kognitives System
CN112991231B (zh) 单图像超分与感知图像增强联合任务学习系统
DE202016008004U1 (de) Automatische Verbindung von Bildern unter Verwendung visueller Eigenschaftsquerverweise auf zugehörige Anwendungen
WO2018162509A2 (de) Vorrichtung und verfahren zur darstellung eines raumbilds von einem objekt in einer virtuellen umgebung
DE112019001702T5 (de) Verfahren, systeme, herstellungsgegenstände und vorrichtungen zur erzeugung digitaler szenen
DE102021127175A1 (de) Delta-ausbreitung in cloud-zentrierten plattformen für zusammenarbeit und konnektivität
DE102021006022A1 (de) Webbasierte Digitalbildbearbeitung in Echtzeit unter Einsatz eines Latentvektorstreamwiedergebers und eines bildmodifizierenden neuronalen Netzwerkes
EP3716014B1 (de) Übertragen eines zustands zwischen vr-umgebungen
CN115051974A (zh) 一种远程指导方法、远程指导系统、电子设备及存储介质
DE102021104110A1 (de) Verfahren zur Parametrierung einer Bildsynthese aus einem 3D-Modell
DE102020104356A1 (de) Aufstellort eines Robotermanipulators
CN117974394B (zh) 一种基于虚拟现实的陵园数字化祭扫智能服务系统
WO2024152697A1 (zh) 数据处理方法、装置、计算机设备以及可读存储介质
DE102024109180A1 (de) One-shot-pifu-registrierung
DE60109813T2 (de) Verfahren und vorrichtung zur darstellung dreidimensionaler szenen in virtueller realität
CN109325439B (zh) 一种基于cnn的驾驶违规行为的识别方法
DE102023134277A1 (de) Bildbeleuchtungsübertragung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19723689

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19723689

Country of ref document: EP

Kind code of ref document: A1