WO2021238080A1 - 跨平台交互方法、ar装置及服务器和vr装置及服务器 - Google Patents

跨平台交互方法、ar装置及服务器和vr装置及服务器 Download PDF

Info

Publication number
WO2021238080A1
WO2021238080A1 PCT/CN2020/127361 CN2020127361W WO2021238080A1 WO 2021238080 A1 WO2021238080 A1 WO 2021238080A1 CN 2020127361 W CN2020127361 W CN 2020127361W WO 2021238080 A1 WO2021238080 A1 WO 2021238080A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
cross
client
platform
interaction
Prior art date
Application number
PCT/CN2020/127361
Other languages
English (en)
French (fr)
Inventor
尚家乐
姜滨
迟小羽
Original Assignee
歌尔股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 歌尔股份有限公司 filed Critical 歌尔股份有限公司
Priority to US17/996,461 priority Critical patent/US20230214003A1/en
Publication of WO2021238080A1 publication Critical patent/WO2021238080A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Definitions

  • the purpose of this application is to provide a cross-platform interaction method of VR and AR, AR device, AR server, VR device and VR server, which can realize the information and data interaction between VR and AR with high efficiency and stability, reduce the resource consumption of the server, and improve Data synchronization efficiency.
  • the obtaining the first cross-platform interaction data corresponding to the AR client includes:
  • the acquiring user viewpoint information corresponding to the three-axis acceleration data collected by the acceleration sensor in the headset sent by the AR client includes:
  • the receiving the three-axis acceleration data sent by the AR client includes:
  • the method further includes:
  • the method further includes:
  • a generating module configured to generate a first XML data interaction file corresponding to the first cross-platform interaction data; wherein, the first XML data interaction file is a data structure of a tree node;
  • the cross-platform sending module is configured to send the first XML data interaction file to the VR server corresponding to the target VR client, so that the target VR client performs corresponding collaborative operations according to the first cross-platform interaction data.
  • This application also provides a cross-platform interaction method between VR and AR, which is applied to a VR server, including:
  • the first XML data interaction file is a data structure of a tree node
  • the first cross-platform interaction data is sent to the VR client corresponding to the target AR client, so that the VR client executes the collaborative operation corresponding to the first cross-platform interaction data.
  • the method further includes:
  • the same-platform interaction data is sent to the VR client, so that the VR client executes a coordinated operation corresponding to the same-platform interaction data.
  • sending the first cross-platform interaction data to the VR client corresponding to the target AR client includes:
  • a cross-platform interaction method between VR and AR provided in this application is applied to an AR server and includes: obtaining first cross-platform interaction data corresponding to an AR client; wherein, the first cross-platform interaction data includes: user viewpoint information, At least one of model location information and user communication information; generating a first XML data interaction file corresponding to the first cross-platform interaction data; wherein the first XML data interaction file is a data structure of a tree node; interacting with the first XML data
  • the file is sent to the VR server corresponding to the target VR client, so that the target VR client performs corresponding collaborative operations according to the first cross-platform interaction data;
  • FIG. 4 is a schematic flowchart of another cross-platform interaction method between VR and AR provided by an embodiment of the application
  • the AR client in this step may be an AR device running an AR client program.
  • the AR server in this embodiment may be a server corresponding to the AR client in the AR platform.
  • the first cross-platform interaction data in this step may be cross-platform interaction data that the AR client needs to send to the target client.
  • Axis acceleration data calculate the corresponding user's viewpoint information, or directly receive the user's viewpoint information corresponding to the three-axis acceleration data collected by the acceleration sensor sent by the headset.
  • the AR server can generate the first cross-platform interaction data corresponding to the AR client based on the received original interaction data collected by the AR client.
  • the three-axis acceleration data in the collected original interactive data generates user viewpoint information corresponding to the AR client, that is, the AR client collects the three-axis acceleration data collected by the acceleration sensor in the connected headset.
  • the AR client when the headset paired and connected with the AR client is a Bluetooth headset (such as a TWS headset), the AR client can use the SPP (Serial Port) in the Bluetooth protocol. Profile, a Bluetooth serial protocol)
  • SPP Serial Port
  • Profile a Bluetooth serial protocol
  • the data transmission channel receives the data sent by the headset.
  • the AR client can receive the three-axis acceleration data sent by the headset through the SPP channel, that is, the AR server can receive the headset sent by the AR client to the AR through the SPP channel.
  • the purpose of this step can be that the AR server organizes the cross-platform interaction data (that is, the first cross-platform interaction data) that the AR client needs to send to the target VR client in a tree node data structure of XML language.
  • the corresponding XML data interaction file ie, the first XML data interaction file
  • the VR platform and the AR platform can establish a lightweight database through XML for data synchronization between platforms.
  • the AR server of the AR platform can generate the relative coordinate position information of the virtual model of the engine (ie, the model position Information) the corresponding XML data interaction file (ie the first XML data interaction file) and send it to the VR server corresponding to the VR client (ie the target VR client) of the VR platform, so that the VR server can read in and parse the XML data interaction files, synchronize the corresponding model data in the VR platform, so that the target VR client can obtain the relative coordinate position information of the virtual model, so that different users can realize real-time synchronization and collaboration on the dual platforms of AR and VR.
  • the model position Information the relative coordinate position information of the virtual model of the engine
  • the VR server corresponding to the VR client ie the target VR client
  • the target VR client in this embodiment may perform corresponding collaborative operations according to the received first cross-platform interaction data.
  • the target VR client can synchronize the model position of the corresponding virtual model according to the model position information in the first cross-platform interactive data; the target VR client can also synchronize the corresponding model position according to the user viewpoint information in the first cross-platform interactive data.
  • the rendering angle of the virtual model; the target VR client can also exchange information with the user in the first cross-platform interaction data, the display shows the corresponding text or the speaker plays the corresponding voice.
  • the embodiments of the present application also provide an AR device.
  • the AR device described below and the cross-platform interaction method of VR and AR described above can be referred to each other.
  • the obtaining module 10 is configured to obtain the first cross-platform interaction data corresponding to the AR client; wherein the cross-platform interaction data includes at least one of user viewpoint information, model location information, and user communication information;
  • the generating module 20 is configured to generate a first XML data interaction file corresponding to the first cross-platform interaction data; wherein, the first XML data interaction file is a data structure of a tree node;
  • the obtaining module 10 may include:
  • the calculation sub-module is used to calculate the user's viewpoint information based on the three-axis acceleration data.
  • the calculation sub-module may include:
  • Perspective calculation unit for passing Calculate the user's viewpoint information; where P user is the user's viewpoint information, P world is the position of the viewpoint in the headset coordinate system, R Gsensor is the rotation matrix, T offset is the preset translation offset, and R offset is the preset rotation offset .
  • the receiving submodule may be specifically configured to receive three-axis acceleration data sent by the AR client to the AR client through the SPP channel by the headset.
  • the device may also include:
  • the cross-platform generation module is used to obtain the second cross-platform interaction data according to the second XML data interaction file
  • the device may also include:
  • the first same-platform receiving module is used to receive the same-platform interactive data sent by the interactive AR client corresponding to the AR client;
  • the first same-platform execution module is used to send the same-platform interactive data to the AR client, so that the AR client executes the coordinated operation corresponding to the same-platform interactive data.
  • the embodiment of the present application generates the first XML data interaction file corresponding to the first cross-platform interaction data through the generation module 20, and uses the cross-platform feature of XML (EXtensible Markup Language) to combine VR and AR
  • the cross-platform interactive data is organized through the tree node data structure of the XML language, which can realize the data interconnection and intercommunication between the AR platform and the VR platform in the form of a lightweight database, and realize the collaboration and data synchronization between the AR and VR platforms.
  • This improves the synchronization efficiency of cross-platform interaction data between VR and AR platforms, and can regulate the management of data on different platforms, and because of the cross-platform characteristics of XML, it can be invested in the collaborative development of different VR and AR programs. There are fewer resources and higher development efficiency.
  • the embodiment of the present application also provides an AR server, including: a memory and a processor; wherein the memory is used to store a computer program, and the processor is used to execute the computer program to implement the application as described above.
  • FIG. 7 is a flowchart of another VR and AR cross-platform interaction method provided by an embodiment of the application. This method is applied to a VR server and can include:
  • Step 203 Send the first cross-platform interaction data to the VR client corresponding to the target AR client, so that the VR client executes the collaborative operation corresponding to the first cross-platform interaction data.
  • this step can be that the VR server sends the first cross-platform interaction data to the VR client corresponding to the target AR client, that is, the VR client that the target AR client needs to interact with, so that the VR client
  • the collaborative operation corresponding to the received first cross-platform interaction data can be performed, and the cross-platform interaction between the target AR client and the VR client can be completed.
  • this step it may also include: the step of the VR client executing the coordinated operation corresponding to the first cross-platform interaction data.
  • an interactive VR client can send the same-platform interaction data to the VR server through RPC, so that the VR server can forward the same-platform interaction data to the VR client through RPC, that is, the VR client can receive interaction from the VR server through RPC Interaction data sent by the VR client on the same platform.
  • the VR client can also send the same-platform interaction data that it needs to send to the interactive VR client to the VR server through RPC, and then forward it to the interactive VR client.
  • the same-platform interaction data sent by the interactive VR client can be interactive and collaborative data between VR clients in the VR platform, and the specific data type of the same-platform interaction data can be the second cross-platform interaction data and the first cross-platform interaction
  • the data is the same or similar.
  • the same-platform interaction data may also include at least one of user viewpoint information, model location information, and user communication information.
  • the embodiment of the application receives the first XML data interaction file sent by the AR server corresponding to the target AR client through the VR server, and uses the cross-platform feature of XML (EXtensible Markup Language) to combine VR and AR's cross-platform interactive data is organized through the tree node data structure of XML language, which can realize the data interconnection between AR platform and VR platform in the form of a lightweight database, and realize the collaboration and data synchronization between AR and VR platforms , Thereby improving the synchronization efficiency of cross-platform interactive data between VR and AR platforms, and can conduct standardized management of data on different platforms, and due to the cross-platform nature of XML, it can enable different VR and AR programs to be collaboratively integrated and developed. Less resources are invested and development efficiency is higher.
  • XML EXtensible Markup Language
  • the embodiment of the present application also provides a VR device.
  • the VR device described below and the cross-platform interaction method of VR and AR applied to the VR server described above can correspond to each other. Reference.
  • the VR device may include:
  • the receiving module 40 is configured to receive the first XML data interaction file sent by the AR server corresponding to the target AR client; wherein, the first XML data interaction file is a data structure of a tree node;
  • the parsing module 50 is configured to obtain first cross-platform interaction data corresponding to the first XML data interaction file; wherein, the first cross-platform interaction data includes at least one of user viewpoint information, model location information, and user communication information;
  • the same-platform sending module 60 is configured to send the first cross-platform interaction data to the VR client corresponding to the target AR client, so that the VR client executes the coordinated operation corresponding to the first cross-platform interaction data.
  • the device may also include:
  • the cross-platform acquisition module is used to acquire the second cross-platform interaction data corresponding to the VR client;
  • the cross-platform conversion module is used to generate a second XML data interaction file corresponding to the second cross-platform interaction data
  • the cross-platform forwarding module is used to send the second XML data interaction file to the AR server, so that the target AR client can perform corresponding collaborative operations according to the second cross-platform interaction data.
  • the device may also include:
  • the second same-platform receiving module is used to receive the same-platform interactive data sent by the interactive VR client corresponding to the VR client;
  • the second same-platform execution module is used to send the same-platform interactive data to the VR client, so that the VR client executes the coordinated operation corresponding to the same-platform interactive data.
  • the same-platform sending module 60 may be specifically configured to send the first cross-platform interaction data to the VR client through RPC.
  • the embodiment of the present application receives the first XML data interaction file sent by the AR server corresponding to the target AR client through the receiving module 40, and uses the cross-platform feature of XML (EXtensible Markup Language) to convert VR
  • the cross-platform interaction data with AR is organized by the tree node data structure of XML language, which can realize the data interconnection between AR platform and VR platform in the form of a lightweight database, and realize the collaboration and data between AR and VR platforms Synchronization, thereby improving the synchronization efficiency of cross-platform interaction data between VR and AR platforms, and can conduct standardized management of data on different platforms, and due to the cross-platform nature of XML, it can enable different VR and AR programs to be collaboratively integrated during development. Less resources are invested and development efficiency is higher.
  • the steps of the method or algorithm described in combination with the embodiments disclosed herein can be directly implemented by hardware, a software module executed by a processor, or a combination of the two.
  • the software module can be placed in random access memory (RAM), internal memory, read-only memory (ROM), electrically programmable ROM, electrically erasable programmable ROM, registers, hard disks, removable disks, CD-ROMs, or all areas in the technical field. Any other known storage media.
  • the steps of the method or algorithm described in combination with the embodiments disclosed herein can be directly implemented by hardware, a software module executed by a processor, or a combination of the two.
  • the software module can be placed in random access memory (RAM), internal memory, read-only memory (ROM), electrically programmable ROM, electrically erasable programmable ROM, registers, hard disks, removable disks, CD-ROMs, or all areas in the technical field. Any other known storage media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种VR和AR的跨平台交互方法、AR装置、AR服务器、VR装置和VR服务器，该方法应用于AR服务器，包括：获取AR客户端对应的第一跨平台交互数据（S101）；生成第一跨平台交互数据对应的第一XML数据交互文件（S102）；将第一XML数据交互文件发送到目标VR客户端对应的VR服务器，以使目标VR客户端根据第一跨平台交互数据进行相应的协同操作（S103）；利用XML的跨平台特性，将VR和AR的跨平台交互数据以XML语言的树状节点数据结构组织起来，能够以一种轻量化数据库的形式实现两个平台间的数据互联互通，提高跨平台交互数据的同步效率，且能够规范管理不同平台的数据，使不同VR和AR程序的协同融合开发时投入的资源更少。

Description

跨平台交互方法、AR装置及服务器和VR装置及服务器
本申请要求于2020月5月25日提交中国专利局、申请号为202010449860.9、发明名称为“跨平台交互方法、AR装置及服务器和VR装置及服务器”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及虚拟现实和增强现实技术领域，特别涉及一种VR和AR的跨平台交互方法、AR装置、AR服务器、VR装置和VR服务器。
背景技术
随着VR(Virtual Reality，虚拟现实)技术可以为用户提供高沉浸性的虚拟现实环境，从而以一种低成本高仿真的形式为工业培训和仿真教学等领域提供服务，但VR环境具有一定的封闭性；而AR(Augmented Reality，增强现实)技术可以通过增强现实的方式将虚实叠加，实现与真实世界的联通，但AR环境亦存在沉浸性不足的局限。
现有技术中，AR和VR协同交互技术大多采用底层融合的方法，常常存在跨平台数据同步效率低、耗费资源大和数据管理混乱等问题，这些问题会导致AR和VR协同过程出现延迟和崩溃等问题，且开发投入大，不利于第三方VR与AR程序的灵活接入。因此，如何一种高效率且稳定的跨平台交互方法实现VR与AR的信息数据交互，降低服务器的资源耗费，提高数据同步效率，从而实现多个用户在AR和VR的不同平台上的灵活高效协同，是现今急需解决的问题。
发明内容
本申请的目的是提供一种VR和AR的跨平台交互方法、AR装置、AR服务器、VR装置和VR服务器，以高效率且稳定实现VR与AR的信息数据交互，降低服务器的资源耗费，提高数据同步效率。
为解决上述技术问题，本申请提供一种VR和AR的跨平台交互方法，应用于AR服务器，包括：获取AR客户端对应的第一跨平台交互数据；其中，所述第一跨平台交互数据包括：用户视点信息、模型位置信息和用户交流信息中至少一项；
生成所述第一跨平台交互数据对应的第一XML数据交互文件；其中，所述第一XML数据交互文件为树状节点的数据结构；
将所述第一XML数据交互文件发送到目标VR客户端对应的VR服务器，以使所述目标VR客户端根据所述第一跨平台交互数据进行相应的协同操作。
可选的，所述跨平台交互数据包括所述用户视点信息时，所述获取AR客户端对应的第一跨平台交互数据，包括：
获取所述AR客户端发送的耳机中的加速度传感器采集的三轴加速度数据对应的用户视点信息。
可选的，所述获取所述AR客户端发送的耳机中的加速度传感器采集的三轴加速度数据对应的用户视点信息，包括：
接收所述AR客户端发送的所述三轴加速度数据；
根据所述三轴加速度数据，计算所述用户视点信息。
可选的，所述根据所述三轴加速度数据，计算所述用户视点信息，包括：
根据所述三轴加速度数据，计算耳机坐标系下的俯仰角、侧偏角和偏航角；
生成所述俯仰角、所述侧偏角和所述偏航角共同对应的旋转矩阵；
通过
Figure PCTCN2020127361-appb-000001
计算所述用户视点信息；其中，P user为所述用户视点信息，P world为耳机坐标系下的视点位置，R Gsensor为所述旋转矩阵，T offset为预设平移偏置量，R offset为预设旋转偏置量。
可选的，所述接收所述AR客户端发送的所述三轴加速度数据，包括：
接收所述AR客户端发送的所述耳机通过SPP通道向所述AR客户端发送的所述三轴加速度数据。
可选的，该方法还包括：
接收所述VR服务器发送的第二XML数据交互文件；其中，所述第二 XML数据交互文件与所述目标VR客户端对应的第二跨平台交互数据相对应；
根据所述第二XML数据交互文件，获取所述第二跨平台交互数据；将所述第二跨平台交互数据发送到所述AR客户端，以使所述AR客户端执行所述第二跨平台交互数据对应的协同操作。
可选的，该方法还包括：
接收所述AR客户端对应的交互AR客户端发送的同平台交互数据；
将所述同平台交互数据发送到所述AR客户端，以使所述AR客户端执行所述同平台交互数据对应的协同操作。
可选的，所述获取AR客户端对应的第一跨平台交互数据，包括：
通过RPC接收所述AR客户端发送的所述第一跨平台交互数据。
本申请还提供了一种AR装置，包括：
获取模块，用于获取AR客户端对应的第一跨平台交互数据；其中，所述第一跨平台交互数据包括：用户视点信息、模型位置信息和用户交流信息中至少一项；
生成模块，用于生成所述第一跨平台交互数据对应的第一XML数据交互文件；其中，所述第一XML数据交互文件为树状节点的数据结构；
跨平台发送模块，用于将所述第一XML数据交互文件发送到目标VR客户端对应的VR服务器，以使所述目标VR客户端根据所述第一跨平台交互数据进行相应的协同操作。
本申请还提供了一种AR服务器，包括：存储器和处理器；其中，所述存储器，用于存储计算机程序，所述处理器用于执行所述计算机程序时实现如上述所述的应用于AR服务器的VR和AR的跨平台交互方法的步骤。
本申请还提供了一种VR和AR的跨平台交互方法，应用于VR服务器，包括：
接收目标AR客户端对应的AR服务器发送的第一XML数据交互文件；其中，所述第一XML数据交互文件为树状节点的数据结构；
获取所述第一XML数据交互文件对应的第一跨平台交互数据；其中，所述第一跨平台交互数据包括：用户视点信息、模型位置信息和用户交流信息中至少一项；
将所述第一跨平台交互数据发送到所述目标AR客户端对应的VR客户端，以使所述VR客户端执行所述第一跨平台交互数据对应的协同操作。
可选的，该方法还包括：
获取所述VR客户端对应的第二跨平台交互数据；
生成所述第二跨平台交互数据对应的第二XML数据交互文件；
将所述第二XML数据交互文件发送到所述AR服务器，以使所述目标AR客户端根据所述第二跨平台交互数据进行相应的协同操作。
可选的，该方法还包括：
接收所述VR客户端对应的交互VR客户端发送的同平台交互数据；
将所述同平台交互数据发送到所述VR客户端，以使所述VR客户端执行所述同平台交互数据对应的协同操作。
可选的，将所述第一跨平台交互数据发送到所述目标AR客户端对应的VR客户端，包括：
通过RPC将所述第一跨平台交互数据发送到所述VR客户端。
本申请还提供了一种VR装置，包括：
接收模块，用于接收目标AR客户端对应的AR服务器发送的第一XML数据交互文件；其中，所述第一XML数据交互文件为树状节点的数据结构；
解析模块，用于获取所述第一XML数据交互文件对应的第一跨平台交互数据；其中，所述第一跨平台交互数据包括：用户视点信息、模型位置信息和用户交流信息中至少一项；
同平台发送模块，用于将所述第一跨平台交互数据发送到所述目标AR客户端对应的VR客户端，以使所述VR客户端执行所述第一跨平台交互数据对应的协同操作。
本申请还提供了一种VR服务器，包括：存储器和处理器；其中，所述存储器，用于存储计算机程序，所述处理器用于执行所述计算机程序时实现如上述所述的应用于VR服务器的VR和AR的跨平台交互方法的步骤。
本申请所提供的一种VR和AR的跨平台交互方法，应用于AR服务器，包括：获取AR客户端对应的第一跨平台交互数据；其中，第一跨平台交互数据包括：用户视点信息、模型位置信息和用户交流信息中至少一项；生成第一跨平台交互数据对应的第一XML数据交互文件；其中，第一XML数据 交互文件为树状节点的数据结构；将第一XML数据交互文件发送到目标VR客户端对应的VR服务器，以使目标VR客户端根据第一跨平台交互数据进行相应的协同操作；
可见，本申请通过生成第一跨平台交互数据对应的第一XML数据交互文件，利用XML(EXtensible Markup Language，可扩展标记语言)的跨平台特性，将VR和AR的跨平台交互数据通过XML语言的树状节点数据结构组织起来，能够以一种轻量化数据库的形式实现AR平台和VR平台的数据互联互通，实现AR和VR平台之间的协同和数据同步，从而提高了VR和AR平台之间跨平台交互数据的同步效率，并且能对不同平台的数据进行规范管理，而且由于XML的跨平台特性，能够使不同VR和AR程序进行协同融合开发时所投入的资源更少，开发效率更高。此外，本申请还提供了一种应用于VR服务器的VR和AR的跨平台交互方法、AR装置、AR服务器、VR装置和VR服务器，同样具有上述有益效果。
发明内容
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一部分附图，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种VR和AR的跨平台交互方法的流程图；
图2为本申请实施例所提供的一种XML数据交互文件的数据结构示意图；
图3为本申请实施例所提供的一种XML数据交互文件的数据示例图；
图4为本申请实施例所提供的另一种VR和AR的跨平台交互方法的流程示意图；
图5为本申请实施例所提供的另一种VR和AR的跨平台交互方法的架构示意图；
图6为本申请实施例所提供的一种AR装置的结构框图；
图7为本申请实施例所提供的另一种VR和AR的跨平台交互方法的流程图；
图8为本申请实施例所提供的一种VR装置的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例所提供的一种VR和AR的跨平台交互方法的流程图。该方法应用于AR服务器，可以包括：
步骤101：获取AR客户端对应的第一跨平台交互数据；其中，第一跨平台交互数据包括：用户视点信息、模型位置信息和用户交流信息中至少一项。
可以理解的是，本步骤中的AR客户端可以为运行有AR客户端程序的AR设备。本实施例中的AR服务器可以为AR平台中AR客户端对应的服务器。本步骤中的第一跨平台交互数据可以为AR客户端需要向目标客户端发送的跨平台交互数据。
具体的，对于本步骤中AR服务器获取的第一跨平台交互数据的具体数据内容，即AR平台的AR客户端与VR平台的VR客户端(即目标VR客户端)之间的跨平台交互数据的具体数据内容，可以由设计人员或用户根据实用场景和用户需求自行设置，如第一跨平台交互数据可以包括用于体现用户的视点变化的用户视点信息、用于体现虚拟模型的相对坐标位置变化的模型位置信息和用户交流信息(如用户的语言和文字等交流数据)中的任意一项或多项；第一跨平台交互数据还可以包括虚拟模型具体的模型数据。本实施例对此不做任何限制。
对应的，对于本步骤中AR服务器获取AR客户端对应的第一跨平台交互数据的具体方式，可以由设计人员根据实用场景和用户需求自行设置，如AR服务器可以直接接收AR客户端采集的第一跨平台交互数据，即本步骤之前还可以包括AR客户端采集第一跨平台交互数据的步骤，例如AR客户端可以采用与现有技术中AR客户端获取需要向目标VR客户端发送的跨平台交互数据的方法相同或相似的方式，采集第一跨平台交互数据并发送到AR服务器；为了提高AR客户端采集的用户视点信息的准确性，本实施例中可以将与AR客户端连接的耳机(如TWS耳机)中的加速度传感器(Gsensor)作为用户使用AR客户端时头部位姿数据的输入接口，从而为AR客户端提供更为准确的用户视点信息；也就是说，第一跨平台交互数据包括用户视点信息时，AR客户端可以获取配对连接的耳机中的加速度传感器采集的三轴加速度数据对应的用户视点信息，即AR客户端可以利用接收的耳机中的加速度传感器采集的三轴加速度数据，计算相应的用户视点信息，或者可以直接接收耳机发送的加速度传感器采集的三轴加速度数据对应的用户视点信息。AR服务器可以根据接收的AR客户端采集的原始交互数据，生成AR客户端对应的第一跨平台交互数据，如第一跨平台交互数据包括用户视点信息时，AR服务器可以根据接收的AR客户端采集的原始交互数据中的三轴加速度数据，生成AR客户端对应的用户视点信息，即AR客户端采集所连接耳机中的加速度传感器采集的三轴加速度数据。只要AR服务器可以获取AR客户端需要向目标VR客户端发送的第一跨平台交互数据，本实施例对此不做任何限制。
需要说明的是，对于AR服务器获取AR客户端所连接的耳机中的加速度传感器采集的三轴加速度数据对应的用户视点信息的具体方式，可以由设计人员自行设置，AR服务器可以直接接收AR客户端发送的AR客户端所连接的耳机中的加速度传感器采集的三轴加速度数据；根据接收的三轴加速度数据，计算耳机坐标系下的俯仰角、侧偏角和偏航角；生成俯仰角、侧偏角和偏航角共同对应的旋转矩阵；通过
Figure PCTCN2020127361-appb-000002
计算用户视点信息；其中，P user为用户视点信息，P world为耳机坐标系下的视点位置，R Gsensor为旋转矩 阵，T offset为预设平移偏置量，R offset为预设旋转偏置量。AR服务器也可以接收AR客户端发送的AR客户端所连接的耳机中的加速度传感器采集的三轴加速度数据对应的耳机坐标系下的俯仰角、侧偏角和偏航角；生成俯仰角、侧偏角和偏航角共同对应的旋转矩阵；通过
Figure PCTCN2020127361-appb-000003
计算用户视点信息。AR客户端还可以直接接收耳机发送的该耳机中的加速度传感器采集的三轴加速度数据对应的用户视点信息。AR服务器还可以接收AR客户端发送的AR客户端所连接的耳机中的加速度传感器采集的三轴加速度数据对应的用户视点信息，即AR客户端或AR客户端所连接的耳机中的处理器可以计算耳机中的加速度传感器采集的三轴加速度数据对应的用户视点信息。
例如，当用户利用手机(即AR客户端)作为AR设备来使用AR应用(即AR客户端程序)与VR平台进行工业领域内的虚拟协同装配时，用户所佩戴的与该手机配对连接的TWS耳机的主耳的Gsensor(加速度传感器)就会打开自身的FIFO(先进先出的数据缓存器)进行耳机在XYZ三轴上加速度数据的收集，然后进行滤波等去噪处理后提取出特征量，然后再基于这些特征量所包含的各轴加速度信息，计算出TWS耳机在自身坐标系下的俯仰角(pitch)、侧偏角(yaw)和偏航角(roll，即横滚角)，每个采样时刻的角度计算可以如下式：
α1＝arctan(Ax/squr(Ay*Ay+Az*Az))
β1＝arctan(Ay/squr(Ax*Ax+Az*Az))
γ1＝arctan(Az/squr(Ax*Ax+Ay*Ay))
上式中，α1、β1和γ1可以分别代表Gsensor在X、Y、Z三轴上在用户进行加密动作时在采样时刻的俯仰角、侧偏角和偏航角；Ax为当前采样时刻X轴上的加速度分量、Ay为当前采样时刻Y轴上的加速度分量、Az为当前采样时刻Z轴上的加速度分量。将这些角度信息通过旋转矩阵R Gsensor代表，由于TWS耳机坐标和用户头部的视点中心的坐标存在着一定的偏移，因此通过设定R offset和T offset来使计算出的R Gsensor从TWS耳机坐标下转换到用户的视点 中心坐标下，从而得出在当前数据采集窗口下代表用户视点6Dof旋转量的R Gsensor，即P world；用户视点中心坐标系下的视点位置P user与世界坐标系(即TWS耳机坐标)下的视点位置P world存在下式关系：
P world＝R GsensorR offsetP user+T offset
进一步的，为了提高VR和AR平台之间跨平台交互数据的同步效率，与AR客户端配对连接的耳机为蓝牙耳机(如TWS耳机)时，AR客户端可以通过蓝牙协议中的SPP(Serial Port Profile，一种蓝牙串口协议)数据传输通道接收耳机发送的数据，如AR客户端可以接收耳机通过SPP通道发送的三轴加速度数据，即AR服务器可以接收AR客户端发送的耳机通过SPP通道向AR客户端发送的三轴加速度数据；或者AR客户端可以接收耳机通过SPP通道发送的三轴加速度数据对应的用户视点信息，即AR服务器可以接收AR客户端发送的耳机通过SPP通道向AR客户端发送的三轴加速度数据对应的用户视点信息。
步骤102：生成第一跨平台交互数据对应的第一XML数据交互文件；其中，第一XML数据交互文件为树状节点的数据结构。
可以理解的是，本步骤的目的可以为AR服务器将AR客户端需要向目标VR客户端发送的跨平台交互数据(即第一跨平台交互数据)以XML语言的树状节点数据结构组织起来，得到相应的XML数据交互文件(即第一XML数据交互文件)，从而VR平台和AR平台可以通过XML来建立起一种轻量级的数据库，用来进行平台间的数据同步。
例如，在工业领域中的虚拟现实装配应用中，当对发动机这一复杂工业器件进行虚拟装配时，单一的VR环境可能会因为其封闭性，而造成无法实现多领域的灵活协同，此时通过本实施例所提供的方法可以按如图2所示的树状数据结构来将发动机模型的相关数据进行组织，如AR平台的AR服务器可以生成发动机的虚拟模型的相对坐标位置信息(即模型位置信息)对应的XML数据交互文件(即第一XML数据交互文件)并发送到VR平台的VR客户端(即目标VR客户端)所对应的VR服务器，使该VR服务器可以通过读入并解析该XML数据交互文件，同步VR平台内相对应的模型数据，使目标VR客户端可以获取该虚拟模型的相对坐标位置信息，从而让不同的用户可以在AR和VR的双平台上实现实时同步协同。
具体的，图3中的装配零件可以为图2中的根节点数据，图3中的零件名称和零件原点坐标可以为图2中的子节点数据，图3中的具体的坐标“x”、“y”和“z”可以为“零件原点坐标”这一子节点数据之下的数据。
步骤103：将第一XML数据交互文件发送到目标VR客户端对应的VR服务器，以使目标VR客户端根据第一跨平台交互数据进行相应的协同操作。
可以理解的是，本步骤中的目标VR客户端可以为需要根据AR客户端发送的第一跨平台交互数据进行相应协同操作的VR客户端，即AR客户端发送第一跨平台交互数据的目标地址对应的VR客户端。本步骤中的目标VR客户端对应的VR服务器可以为接收AR服务器发送的第一XML数据交互文件，并将对第一XML数据交互文件解析得到的第一跨平台交互数据发送到目标VR客户端的VR服务器。
对应的，本步骤之后还可以包括：VR服务器获取接收的第一XML数据交互文件对应的第一跨平台交互数据，并将第一跨平台交互数据发送到目标VR客户端；目标VR客户端执行第一跨平台交互数据对应的协同操作。
具体的，本实施例中目标VR客户端可以根据接收的第一跨平台交互数据进行相应的协同操作。例如目标VR客户端可以根据第一跨平台交互数据中的模型位置信息，同步相应的虚拟模型的模型位置；目标VR客户端也可以根据第一跨平台交互数据中的用户视点信息，同步对相应的虚拟模型的渲染角度；目标VR客户端还可以第一跨平台交互数据中的用户交流信息，显示器显示相应的文字或扬声器播放相应的语音。
进一步的，由于传统的多人协同系统常基于HTTP(Hyper Text Transfer Protocol，超文本传输协议)进行开发，这种方式在多人的VR和AR协同的数据同步过程中会产生较多的无用信息，且字节大小和序列化等操作会更加耗费性能，因此，本实施例中为了提高VR和AR平台之间跨平台交互数据的同步效率，AR客户端可以将第一跨平台交互数据通过RPC(Remote Procedure Call Protocol，远程过程调用协议)发送到AR服务器(即AR服务端)，这样可以避免http的三次握手等数据同步中的冗余操作，以更高的性能进行多人协同过程中的数据同步，即步骤101可以为AR服务器通过RPC接收AR客户端发送的第一跨平台交互数据。如图4和图5所示，AR平台内的AR客户端可以将第一跨平台交互数据通过RPC发送到AR服务器，AR服务器将生成的第一跨平台交互 数据对应的第一XML数据交互文件转发到目标VR客户端所对应的VR服务器，再由VR服务器通过RPC将解析的第一XML数据交互文件对应的第一跨平台交互数据发送到相应的VR客户端(即目标VR客户端)。
需要说明的是，本实施例所提供的VR和AR的跨平台交互方法，还可以包括：AR客户端根据接收的VR客户端发送的第二跨平台交互数据，执行相应的协同操作的步骤，从而实现VR平台和AR平台的双向交互协同。例如AR服务器可以接收VR服务器发送的第二XML数据交互文件；其中，第二XML数据交互文件与目标VR客户端对应的第二跨平台交互数据相对应；根据第二XML数据交互文件，获取第二跨平台交互数据；将第二跨平台交互数据发送到AR客户端，以使AR客户端执行第二跨平台交互数据对应的协同操作。也就是说，AR客户端可以接收目标VR客户端发送的第二跨平台交互数据，并执行第二跨平台交互数据对应的协同操作。相应的，AR客户端可以通过RPC从AR服务器接收目标VR客户端发送的第二XML数据交互文件。
其中，第二跨平台交互数据可以为VR客户端(如目标VR客户端)向AR客户端发送的跨平台交互数据，第二跨平台交互数据的具体数据类型可以与第一跨平台交互数据的相同或相似，如第二跨平台交互数据也可以包括：用户视点信息、模型位置信息和用户交流信息中至少一项；第二跨平台交互数据对应的第二XML数据交互文件可以为该VR客户端所对应的VR客户端生成的第二跨平台交互数据对应的XML数据交互文件，即以XML语言的树状节点数据结构组织起来的第二跨平台交互数据。
对应的，本实施例所提供的VR和AR的跨平台交互方法，还可以包括：AR服务器接收AR客户端对应的交互AR客户端发送的同平台交互数据；将同平台交互数据发送到AR客户端，以使AR客户端执行同平台交互数据对应的协同操作。也就是说，AR客户端根据接收的其他需要与该AR客户端交互的AR客户端(即交互AR客户端)发送的同平台交互数据，执行同平台交互数据对应的协同操作。即AR客户端与交互AR客户端之间可以相互发送同平台交互数据，以实现同平台内协同和数据同步。例如，交互AR客户端可以通过RPC将同平台交互数据发送到AR服务器，从而使AR服务器可以通过RPC将该同平台交互数据转发到AR客户端，即AR客户端可以通过RPC从AR服务器接收交互AR客户端发送的同平台交互数据。相应的，AR客户端 也可以通过RPC将自身需要向交互AR客户端发送的同平台交互数据发送到AR服务器，从而转发给交互AR客户端。
其中，交互AR客户端发送的同平台交互数据可以为AR平台内的AR客户端间交互协同的数据，该同平台交互数据的具体数据类型可以与第二跨平台交互数据和第一跨平台交互数据的相同或相似，如该同平台交互数据也可以包括：用户视点信息、模型位置信息和用户交流信息中至少一项。
本实施例中，本申请实施例通过生成第一跨平台交互数据对应的第一XML数据交互文件，利用XML(EXtensible Markup Language，可扩展标记语言)的跨平台特性，将VR和AR的跨平台交互数据通过XML语言的树状节点数据结构组织起来，能够以一种轻量化数据库的形式实现AR平台和VR平台的数据互联互通，实现AR和VR平台之间的协同和数据同步，从而提高了VR和AR平台之间跨平台交互数据的同步效率，并且能对不同平台的数据进行规范管理，而且由于XML的跨平台特性，能够使不同VR和AR程序进行协同融合开发时所投入的资源更少，开发效率更高。
相应于上面的方法实施例，本申请实施例还提供了一种AR装置，下文描述的AR装置与上文描述的VR和AR的跨平台交互方法可相互对应参照。
请参考图6，该AR装置，可以包括：
获取模块10，用于获取AR客户端对应的第一跨平台交互数据；其中，跨平台交互数据包括：用户视点信息、模型位置信息和用户交流信息中至少一项；
生成模块20，用于生成第一跨平台交互数据对应的第一XML数据交互文件；其中，第一XML数据交互文件为树状节点的数据结构；
跨平台发送模块30，用于将第一XML数据交互文件发送到目标VR客户端对应的VR服务器，以使目标VR客户端根据第一跨平台交互数据进行相应的协同操作。
可选的，跨平台交互数据包括用户视点信息时，获取模块10可以具体用于获取AR客户端发送的耳机中的加速度传感器采集的三轴加速度数据对应的用户视点信息。
可选的，获取模块10，可以包括：
接收子模块，用于接收AR客户端发送的三轴加速度数据；
计算子模块，用于根据三轴加速度数据，计算用户视点信息。
可选的，计算子模块，可以包括：
角度计算单元，用于根据三轴加速度数据，计算耳机坐标系下的俯仰角、侧偏角和偏航角；
生成计算单元，用于生成俯仰角、侧偏角和偏航角共同对应的旋转矩阵；
视角计算单元，用于通过
Figure PCTCN2020127361-appb-000004
计算用户视点信息；其中，P user为用户视点信息，P world为耳机坐标系下的视点位置，R Gsensor为旋转矩阵，T offset为预设平移偏置量，R offset为预设旋转偏置量。
可选的，接收子模块可以具体用于接收AR客户端发送的耳机通过SPP通道向AR客户端发送的三轴加速度数据。
可选的，该装置还可以包括：
跨平台接收模块，用于接收VR服务器发送的第二XML数据交互文件；其中，第二XML数据交互文件与目标VR客户端对应的第二跨平台交互数据相对应；
跨平台生成模块，用于根据第二XML数据交互文件，获取第二跨平台交互数据；
跨平台执行模块，用于将第二跨平台交互数据发送到AR客户端，以使AR客户端执行第二跨平台交互数据对应的协同操作。
可选的，该装置还可以包括：
第一同平台接收模块，用于接收AR客户端对应的交互AR客户端发送的同平台交互数据；
第一同平台执行模块，用于将同平台交互数据发送到AR客户端，以使AR客户端执行同平台交互数据对应的协同操作。
可选的，获取模块10可以具体用于通过RPC接收AR客户端发送的第一跨平台交互数据。
本实施例中，本申请实施例通过生成模块20生成第一跨平台交互数据对应的第一XML数据交互文件，利用XML(EXtensible Markup Language，可扩 展标记语言)的跨平台特性，将VR和AR的跨平台交互数据通过XML语言的树状节点数据结构组织起来，能够以一种轻量化数据库的形式实现AR平台和VR平台的数据互联互通，实现AR和VR平台之间的协同和数据同步，从而提高了VR和AR平台之间跨平台交互数据的同步效率，并且能对不同平台的数据进行规范管理，而且由于XML的跨平台特性，能够使不同VR和AR程序进行协同融合开发时所投入的资源更少，开发效率更高。
相应于上面的方法实施例，本申请实施例还提供了一种AR服务器，包括：存储器和处理器；其中，存储器，用于存储计算机程序，处理器用于执行计算机程序时实现如上述的应用于AR服务器的VR和AR的跨平台交互方法的步骤。
请参考图7，图7为本申请实施例所提供的另一种VR和AR的跨平台交互方法的流程图。该方法应用于VR服务器，可以包括：
步骤201：接收目标AR客户端对应的AR服务器发送的第一XML数据交互文件；其中，第一XML数据交互文件为树状节点的数据结构。
可以理解的是，本步骤中的VR客户端可以为运行有VR客户端程序的VR设备。本实施例中的VR服务器可以为VR平台中VR客户端对应的服务器。本步骤中的目标AR客户端可以为需要与VR客户端进行协同操作的AR客户端。
具体的，本步骤中第一XML数据交互文件的具体数据内容，与上述应用于AR服务器的VR和AR的跨平台交互方法中的第一XML数据交互文件相对应，在此不再赘述。
步骤202：获取第一XML数据交互文件对应的第一跨平台交互数据；其中，第一跨平台交互数据包括：用户视点信息、模型位置信息和用户交流信息中至少一项。
具体的，本步骤中第一跨平台交互数据的具体数据内容，与上述应用于AR服务器的VR和AR的跨平台交互方法中的第一跨平台交互数据相对应，在此不再赘述。
可以理解的是，本步骤的目的可以为VR客户端通过解析接收的第一 XML数据交互文件，得到目标AR客户端需要向AR客户端发送的第一跨平台交互数据。
步骤203：将第一跨平台交互数据发送到目标AR客户端对应的VR客户端，以使VR客户端执行第一跨平台交互数据对应的协同操作。
可以理解的是，本步骤的目的可以为VR服务器通过将第一跨平台交互数据发送到目标AR客户端对应的VR客户端，即目标AR客户端需要进行交互的VR客户端，使VR客户端能够执行接收的第一跨平台交互数据对应的协同操作，完成目标AR客户端与VR客户端的跨平台交互。对应的，本步骤之后还可以包括：VR客户端执行第一跨平台交互数据对应的协同操作的步骤。
需要说明的是，本实施例所提供的VR和AR的跨平台交互方法，还可以包括：获取VR客户端对应的第二跨平台交互数据；生成第二跨平台交互数据对应的第二XML数据交互文件；将第二XML数据交互文件发送到AR服务器，以使目标AR客户端根据第二跨平台交互数据进行相应的协同操作。相应的，VR服务器生成并向目标AR客户端发送第二XML数据交互文件的具体过程，与上述应用于AR服务器的VR和AR的跨平台交互方法中AR服务器生成并向目标VR客户端发送第一XML数据交互文件的具体过程相似，在此不再赘述。
对应的，本实施例所提供的VR和AR的跨平台交互方法，还可以包括：VR服务器可以接收VR客户端对应的交互VR客户端发送的同平台交互数据；将同平台交互数据发送到VR客户端，以使VR客户端执行同平台交互数据对应的协同操作。也就是说，VR客户端根据接收的其他需要与该VR客户端交互的VR客户端(即交互VR客户端)发送的同平台交互数据，执行同平台交互数据对应的协同操作。即VR客户端与交互VR客户端之间可以相互发送同平台交互数据，以实现同平台内协同和数据同步。例如，交互VR客户端可以通过RPC将同平台交互数据发送到VR服务器，从而使VR服务器可以通过RPC将该同平台交互数据转发到VR客户端，即VR客户端可以通过RPC从VR服务器接收交互VR客户端发送的同平台交互数据。相应的，VR客户端也可以通过RPC将自身需要向交互VR客户端发送的同平台交互数据发送到VR服务器，从而转发给交互VR客户端。
其中，交互VR客户端发送的同平台交互数据可以为VR平台内的VR客户 端间交互协同的数据，该同平台交互数据的具体数据类型可以与第二跨平台交互数据和第一跨平台交互数据的相同或相似，如该同平台交互数据也可以包括：用户视点信息、模型位置信息和用户交流信息中至少一项。
本实施例中，本申请实施例通过VR服务器接收目标AR客户端对应的AR服务器发送的第一XML数据交互文件，利用XML(EXtensible Markup Language，可扩展标记语言)的跨平台特性，将VR和AR的跨平台交互数据通过XML语言的树状节点数据结构组织起来，能够以一种轻量化数据库的形式实现AR平台和VR平台的数据互联互通，实现AR和VR平台之间的协同和数据同步，从而提高了VR和AR平台之间跨平台交互数据的同步效率，并且能对不同平台的数据进行规范管理，而且由于XML的跨平台特性，能够使不同VR和AR程序进行协同融合开发时所投入的资源更少，开发效率更高。
相应于上面应用于VR服务器的方法实施例，本申请实施例还提供了一种VR装置，下文描述的VR装置与上文描述的应用于VR服务器的VR和AR的跨平台交互方法可相互对应参照。
请参考图8，该VR装置，可以包括：
接收模块40，用于用于接收目标AR客户端对应的AR服务器发送的第一XML数据交互文件；其中，第一XML数据交互文件为树状节点的数据结构；
解析模块50，用于获取第一XML数据交互文件对应的第一跨平台交互数据；其中，第一跨平台交互数据包括：用户视点信息、模型位置信息和用户交流信息中至少一项；
同平台发送模块60，用于将第一跨平台交互数据发送到目标AR客户端对应的VR客户端，以使VR客户端执行第一跨平台交互数据对应的协同操作。
可选的，该装置还可以包括：
跨平台获取模块，用于获取VR客户端对应的第二跨平台交互数据；
跨平台转换模块，用于生成第二跨平台交互数据对应的第二XML数据交互文件；
跨平台转发模块，用于将第二XML数据交互文件发送到AR服务器，以使目标AR客户端根据第二跨平台交互数据进行相应的协同操作。
可选的，该装置还可以包括：
第二同平台接收模块，用于接收VR客户端对应的交互VR客户端发送的同平台交互数据；
第二同平台执行模块，用于将同平台交互数据发送到VR客户端，以使VR客户端执行同平台交互数据对应的协同操作。
可选的，同平台发送模块60可以具体用于通过RPC将第一跨平台交互数据发送到VR客户端。
本实施例中，本申请实施例通过接收模块40接收目标AR客户端对应的AR服务器发送的第一XML数据交互文件，利用XML(EXtensible Markup Language，可扩展标记语言)的跨平台特性，将VR和AR的跨平台交互数据通过XML语言的树状节点数据结构组织起来，能够以一种轻量化数据库的形式实现AR平台和VR平台的数据互联互通，实现AR和VR平台之间的协同和数据同步，从而提高了VR和AR平台之间跨平台交互数据的同步效率，并且能对不同平台的数据进行规范管理，而且由于XML的跨平台特性，能够使不同VR和AR程序进行协同融合开发时所投入的资源更少，开发效率更高。
相应于上面应用于VR服务器的方法实施例，本申请实施例还提供了一种VR服务器，包括：存储器和处理器；其中，存储器，用于存储计算机程序，处理器用于执行计算机程序时实现如上述的应用于VR服务器的VR和AR的跨平台交互方法的步骤。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置和服务器而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本说明书中各个实施例采用并列或者递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处可参见方法部分说明。
本领域普通技术人员还可以理解，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (16)

  1. 一种VR和AR的跨平台交互方法，应用于AR服务器，其特征在于，包括：
    获取AR客户端对应的第一跨平台交互数据；其中，所述第一跨平台交互数据包括：用户视点信息、模型位置信息和用户交流信息中至少一项；
    生成所述第一跨平台交互数据对应的第一XML数据交互文件；其中，所述第一XML数据交互文件为树状节点的数据结构；
    将所述第一XML数据交互文件发送到目标VR客户端对应的VR服务器，以使所述目标VR客户端根据所述第一跨平台交互数据进行相应的协同操作。
  2. 根据权利要求1所述的VR和AR的跨平台交互方法，其特征在于，所述跨平台交互数据包括所述用户视点信息时，所述获取AR客户端对应的第一跨平台交互数据，包括：
    获取所述AR客户端发送的耳机中的加速度传感器采集的三轴加速度数据对应的用户视点信息。
  3. 根据权利要求2所述的VR和AR的跨平台交互方法，其特征在于，所述获取所述AR客户端发送的耳机中的加速度传感器采集的三轴加速度数据对应的用户视点信息，包括：
    接收所述AR客户端发送的所述三轴加速度数据；
    根据所述三轴加速度数据，计算所述用户视点信息。
  4. 根据权利要求3所述的VR和AR的跨平台交互方法，其特征在于，所述根据所述三轴加速度数据，计算所述用户视点信息，包括：
    根据所述三轴加速度数据，计算耳机坐标系下的俯仰角、侧偏角和偏航角；
    生成所述俯仰角、所述侧偏角和所述偏航角共同对应的旋转矩阵；
    通过
    Figure PCTCN2020127361-appb-100001
    计算所述用户视点信息；其中，P user为所述用户视点信息，P world为耳机坐标系下的视点位置，R Gsensor为所述旋转矩阵，T offset为预设平移偏置量，R offset为预设旋转偏置量。
  5. 根据权利要求3所述的VR和AR的跨平台交互方法，其特征在于， 所述接收所述AR客户端发送的所述三轴加速度数据，包括：
    接收所述AR客户端发送的所述耳机通过SPP通道向所述AR客户端发送的所述三轴加速度数据。
  6. 根据权利要求1所述的VR和AR的跨平台交互方法，其特征在于，还包括：
    接收所述VR服务器发送的第二XML数据交互文件；其中，所述第二XML数据交互文件与所述目标VR客户端对应的第二跨平台交互数据相对应；
    根据所述第二XML数据交互文件，获取所述第二跨平台交互数据；将所述第二跨平台交互数据发送到所述AR客户端，以使所述AR客户端执行所述第二跨平台交互数据对应的协同操作。
  7. 根据权利要求1所述的VR和AR的跨平台交互方法，其特征在于，还包括：
    接收所述AR客户端对应的交互AR客户端发送的同平台交互数据；
    将所述同平台交互数据发送到所述AR客户端，以使所述AR客户端执行所述同平台交互数据对应的协同操作。
  8. 根据权利要求1至7任一项所述的VR和AR的跨平台交互方法，其特征在于，所述获取AR客户端对应的第一跨平台交互数据，包括：
    通过RPC接收所述AR客户端发送的所述第一跨平台交互数据。
  9. 一种AR装置，其特征在于，包括：
    获取模块，用于获取AR客户端对应的第一跨平台交互数据；其中，所述第一跨平台交互数据包括：用户视点信息、模型位置信息和用户交流信息中至少一项；
    生成模块，用于生成所述第一跨平台交互数据对应的第一XML数据交互文件；其中，所述第一XML数据交互文件为树状节点的数据结构；
    跨平台发送模块，用于将所述第一XML数据交互文件发送到目标VR客户端对应的VR服务器，以使所述目标VR客户端根据所述第一跨平台交互数据进行相应的协同操作。
  10. 一种AR服务器，其特征在于，包括：存储器和处理器；其中，所述存储器，用于存储计算机程序，所述处理器用于执行所述计算机程序时实 现如权利要求1至8任一项所述的VR和AR的跨平台交互方法的步骤。
  11. 一种VR和AR的跨平台交互方法，应用于VR服务器，其特征在于，包括：
    接收目标AR客户端对应的AR服务器发送的第一XML数据交互文件；其中，所述第一XML数据交互文件为树状节点的数据结构；
    获取所述第一XML数据交互文件对应的第一跨平台交互数据；其中，所述第一跨平台交互数据包括：用户视点信息、模型位置信息和用户交流信息中至少一项；
    将所述第一跨平台交互数据发送到所述目标AR客户端对应的VR客户端，以使所述VR客户端执行所述第一跨平台交互数据对应的协同操作。
  12. 根据权利要求11所述的VR和AR的跨平台交互方法，其特征在于，还包括：
    获取所述VR客户端对应的第二跨平台交互数据；
    生成所述第二跨平台交互数据对应的第二XML数据交互文件；
    将所述第二XML数据交互文件发送到所述AR服务器，以使所述目标AR客户端根据所述第二跨平台交互数据进行相应的协同操作。
  13. 根据权利要求11所述的VR和AR的跨平台交互方法，其特征在于，还包括：
    接收所述VR客户端对应的交互VR客户端发送的同平台交互数据；
    将所述同平台交互数据发送到所述VR客户端，以使所述VR客户端执行所述同平台交互数据对应的协同操作。
  14. 根据权利要求11至13任一项所述的VR和AR的跨平台交互方法，其特征在于，将所述第一跨平台交互数据发送到所述目标AR客户端对应的VR客户端，包括：
    通过RPC将所述第一跨平台交互数据发送到所述VR客户端。
  15. 一种VR装置，其特征在于，包括：
    接收模块，用于接收目标AR客户端对应的AR服务器发送的第一XML数据交互文件；其中，所述第一XML数据交互文件为树状节点的数据结构；
    解析模块，用于获取所述第一XML数据交互文件对应的第一跨平台交互数据；其中，所述第一跨平台交互数据包括：用户视点信息、模型位置信息 和用户交流信息中至少一项；
    同平台发送模块，用于将所述第一跨平台交互数据发送到所述目标AR客户端对应的VR客户端，以使所述VR客户端执行所述第一跨平台交互数据对应的协同操作。
  16. 一种VR服务器，其特征在于，包括：存储器和处理器；其中，所述存储器，用于存储计算机程序，所述处理器用于执行所述计算机程序时实现如权利要求11至14任一项所述的VR和AR的跨平台交互方法的步骤。
PCT/CN2020/127361 2020-05-25 2020-11-07 跨平台交互方法、ar装置及服务器和vr装置及服务器 WO2021238080A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/996,461 US20230214003A1 (en) 2020-05-25 2020-11-07 Cross-platform interaction method, ar device and server, and vr device and server

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010449860.9 2020-05-25
CN202010449860.9A CN111610861A (zh) 2020-05-25 2020-05-25 跨平台交互方法、ar装置及服务器和vr装置及服务器

Publications (1)

Publication Number Publication Date
WO2021238080A1 true WO2021238080A1 (zh) 2021-12-02

Family

ID=72199042

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/127361 WO2021238080A1 (zh) 2020-05-25 2020-11-07 跨平台交互方法、ar装置及服务器和vr装置及服务器

Country Status (3)

Country Link
US (1) US20230214003A1 (zh)
CN (1) CN111610861A (zh)
WO (1) WO2021238080A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111610861A (zh) * 2020-05-25 2020-09-01 歌尔科技有限公司 跨平台交互方法、ar装置及服务器和vr装置及服务器
CN112884906A (zh) * 2021-01-11 2021-06-01 宁波诺丁汉大学 一种实现多人混合虚拟和增强现实交互的系统及方法
CN112379861A (zh) * 2021-01-15 2021-02-19 北京安泰伟奥信息技术有限公司 一种事项管理器及其工作方法
CN114169546A (zh) * 2021-11-24 2022-03-11 中国船舶重工集团公司第七一六研究所 一种基于深度学习的mr远程协同装配系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119204A (zh) * 2019-04-26 2019-08-13 北京知感科技有限公司 编辑一次vr/ar/mr内容即可匹配任意vr/ar/mr装置的处理方法
US20190370932A1 (en) * 2018-06-04 2019-12-05 Simon Romanus Systems And Methods For Transforming Media Artifacts Into Virtual, Augmented and Mixed Reality Experiences
CN110869889A (zh) * 2017-06-08 2020-03-06 霍尼韦尔国际公司 用于工业自动化系统和其他系统中增强/虚拟现实的视觉辅助训练、协作和监视的装置和方法
CN110945405A (zh) * 2017-05-31 2020-03-31 奇跃公司 眼睛跟踪校准技术
CN111610861A (zh) * 2020-05-25 2020-09-01 歌尔科技有限公司 跨平台交互方法、ar装置及服务器和vr装置及服务器

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102277259B1 (ko) * 2014-11-26 2021-07-14 엘지전자 주식회사 디바이스 제어 시스템, 디지털 디바이스 및 디지털 디바이스 제어 방법
JP6689694B2 (ja) * 2016-07-13 2020-04-28 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
CA3046077A1 (en) * 2016-12-05 2018-06-14 Case Western Reserve University Systems, methods, and media for displaying interactive augmented reality presentations
WO2018199701A1 (en) * 2017-04-28 2018-11-01 Samsung Electronics Co., Ltd. Method for providing content and apparatus therefor
WO2019090150A1 (en) * 2017-11-02 2019-05-09 Measur3D, Inc. Clothing model generation and display system
JP2020003898A (ja) * 2018-06-26 2020-01-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
EP3823274A4 (en) * 2018-07-13 2022-03-30 LG Electronics Inc. METHOD AND DEVICE FOR TRANSMITTING AND RECEIVING METADATA ON A DYNAMIC POINT COORDINATE SYSTEM

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110945405A (zh) * 2017-05-31 2020-03-31 奇跃公司 眼睛跟踪校准技术
CN110869889A (zh) * 2017-06-08 2020-03-06 霍尼韦尔国际公司 用于工业自动化系统和其他系统中增强/虚拟现实的视觉辅助训练、协作和监视的装置和方法
US20190370932A1 (en) * 2018-06-04 2019-12-05 Simon Romanus Systems And Methods For Transforming Media Artifacts Into Virtual, Augmented and Mixed Reality Experiences
CN110119204A (zh) * 2019-04-26 2019-08-13 北京知感科技有限公司 编辑一次vr/ar/mr内容即可匹配任意vr/ar/mr装置的处理方法
CN111610861A (zh) * 2020-05-25 2020-09-01 歌尔科技有限公司 跨平台交互方法、ar装置及服务器和vr装置及服务器

Also Published As

Publication number Publication date
CN111610861A (zh) 2020-09-01
US20230214003A1 (en) 2023-07-06

Similar Documents

Publication Publication Date Title
WO2021238080A1 (zh) 跨平台交互方法、ar装置及服务器和vr装置及服务器
JP7104683B2 (ja) 情報を生成する方法および装置
US7287057B2 (en) Accessing information using an instant messaging system
US8918452B2 (en) Web API framework
CN110765744B (zh) 多人协同文档编辑方法及系统
US20220156986A1 (en) Scene interaction method and apparatus, electronic device, and computer storage medium
JP5063898B2 (ja) 分散アプリケーションのオブジェクト指向表現とサービス指向表現との間のマッピング
CN108334411A (zh) 一种BMC中基于Redfish的资源调用方法及装置
WO2021164620A1 (zh) 运动数据处理方法、装置、设备和存储介质
Cheriton Dissemination-oriented communication systems
CN114221995B (zh) 服务调用方法、装置及电子设备
US20040243944A1 (en) Graphical user interface for viewing interactions between web service objects
CN103997482B (zh) 桌面云业务中用户登录的方法、系统
JP2009123201A (ja) データを処理するためのサーバ‐プロセッサ・ハイブリッド・システムおよび方法
CN107493299A (zh) 一种基于三层架构的用户行为溯源方法
US20050171999A1 (en) Methods and apparatus for utilizing user software to communicate with network-resident services
Kennedy et al. StoRHm: a protocol adapter for mapping SOAP based Web Services to RESTful HTTP format
WO2023221644A1 (zh) 一种基于云边协同系统的AIoT设备复用建模化方法
CN110633162B (zh) 远程调用实现方法、装置、计算机设备及存储介质
CN116489149A (zh) 面向工业应用的云边端协同混合现实协作环境构建方法
US20030110275A1 (en) Apparatus and method of using XML documents to perform network protocol simulation
JP6949931B2 (ja) 情報を生成するための方法および装置
KR20010006794A (ko) 애플리케이션 프리젠테이션 동기 장치
CN112291202B (zh) 报文数据的可视化方法、装置和计算机可读存储介质
CN114244557B (zh) 基于用户特征的开发操作日志隔离方法和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20938083

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20938083

Country of ref document: EP

Kind code of ref document: A1