WO2017161660A1 - 增强现实设备、系统、图像处理方法及装置 - Google Patents

增强现实设备、系统、图像处理方法及装置 Download PDF

Info

Publication number
WO2017161660A1
WO2017161660A1 PCT/CN2016/082754 CN2016082754W WO2017161660A1 WO 2017161660 A1 WO2017161660 A1 WO 2017161660A1 CN 2016082754 W CN2016082754 W CN 2016082754W WO 2017161660 A1 WO2017161660 A1 WO 2017161660A1
Authority
WO
WIPO (PCT)
Prior art keywords
augmented reality
image
user
reality device
environment
Prior art date
Application number
PCT/CN2016/082754
Other languages
English (en)
French (fr)
Inventor
武乃福
Original Assignee
京东方科技集团股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京东方科技集团股份有限公司 filed Critical 京东方科技集团股份有限公司
Priority to US15/536,259 priority Critical patent/US10665021B2/en
Publication of WO2017161660A1 publication Critical patent/WO2017161660A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Definitions

  • the augmented reality device can only collect an image of the user's surroundings through a camera disposed outside the device, and the image captured by the augmented reality device is relatively simple, so that the augmented reality server performs the image according to the augmented reality device.
  • the flexibility of image processing is low.
  • a device body that can be worn by a first user
  • the communication module is connected to the facial image acquisition component, and configured to send the facial image to an augmented reality server,
  • An environmental image acquisition component disposed outside the device body and configured to acquire an image of a surrounding environment of the second user
  • a detecting submodule configured to detect whether an image of the first augmented reality device exists in an image of the environment surrounding the second user
  • An environment image acquisition component the environment image acquisition component is disposed outside the device body, and the environment image acquisition component is configured to collect an image of the environment surrounding the user;
  • the environment image acquisition component is further configured to detect a calibration signal sent by another augmented reality device when acquiring an image of the environment of the user, and determine the other according to the detected calibration signal. Identifying an identity of the augmented reality device and obtaining location information of the other augmented reality device in an image of the environment surrounding the user;
  • the device further includes:
  • the calibration device comprises an infrared emitter.
  • the device body comprises glasses or a helmet.
  • the device body of the first augmented reality device is provided with a mark pattern for indicating the first augmented reality device
  • the detecting whether the image of the first augmented reality device exists in the image of the environment surrounding the second user includes:
  • a processing module configured to perform an augmented reality process on the image of the environment surrounding the second user according to the facial image of the first user;
  • a replacement submodule configured to replace an image of the first augmented reality device with a facial image of the first user when an image of the first augmented reality device exists in an image of the environment surrounding the second user.
  • a third receiving module configured to receive the location information sent by the second augmented reality device and the identifier of the first augmented reality device corresponding to the location information, where the location information is used to indicate the first augmented reality device a location in an image of the environment surrounding the second user;
  • the detection submodule is also configured to:
  • the device body of the first augmented reality device is provided with a mark pattern for indicating the first augmented reality device
  • the first motion state data includes a first deflection angle of the first user's head in a preset reference coordinate system
  • the second motion state data includes the second user's head is in advance a second deflection angle in the reference coordinate system
  • An augmented reality system includes: an augmented reality server and at least two augmented reality devices, the at least two augmented reality devices including a first augmented reality device and a second augmented reality device.
  • the first augmented reality device may collect the facial image of the first user in addition to the image of the environment surrounding the first user.
  • the augmented reality server is capable of receiving the facial image of the first user, and performing augmented reality processing on the image of the environment surrounding the second user sent by the second augmented reality device according to the facial image of the first user, thereby enriching
  • FIG. 1 is a schematic structural diagram of an augmented reality system according to an embodiment of the present invention.
  • FIG. 4F is a schematic diagram of an image of a second user's surrounding environment after augmented reality processing according to an embodiment of the present invention.
  • FIG. 5A is a schematic structural diagram of an image processing apparatus according to an embodiment of the present invention.
  • the device body 20 may be glasses or a helmet to facilitate wearing by a user.
  • the facial image acquisition component 201 can be a wide-angle camera.
  • the wide-angle camera has a large viewing angle range, so when the wide-angle camera is close to the user's face, the user's face image can be effectively collected.
  • the communication module 21 can be a Bluetooth module, a Wireless Fidelity (WiFi) module, or a network interface.
  • the communication module may be connected to the facial image capturing component through a processor in the augmented reality device, or may be directly connected to the facial image capturing component. This embodiment of the invention is not limited thereto.
  • the location information of the other augmented reality device in the image of the user's surroundings may be the coordinates of the calibration signal transmission point in the image of the user's surroundings.
  • the environment image acquisition component may separately acquire coordinates of each calibration signal transmission point in an image of the environment surrounding the user. If the image of the environment surrounding the user includes a calibration signal sent by a plurality of other augmented reality devices, the environment image acquisition component may establish a correspondence between the location information and the identifier of the augmented reality device according to the augmented reality device indicated by each calibration signal. relationship.
  • the augmented reality device may further include: a motion sensor 204, configured to acquire motion state data of the user's head.
  • the communication module 21 is connected to the motion sensor 204, and the motion state data can also be transmitted to the augmented reality server.
  • the motion sensor 204 can be a six-axis sensor including a three-axis accelerator and a three-axis gyroscope, wherein the three-axis accelerator can detect the acceleration in the horizontal direction of the augmented reality device, and the three-axis gyroscope can detect the augmented reality. The angle at which the device rotates.
  • Step 301 Receive a facial image of the first user sent by the first augmented reality device.
  • the acquired location information of the first augmented reality device in the image of the second user's surrounding environment, and the location information corresponding to the location information may be The identity of the first augmented reality device is sent to the augmented reality server.
  • the first user 41 in FIG. 4C is wearing the first augmented reality device, and the first augmented reality device is provided with two calibration devices, and the second augmented reality device is calibrated according to the two calibration devices.
  • the signal, the acquired position information of the first augmented reality device in the image of the environment surrounding the second user is the coordinates of the two calibration signal transmission points.
  • the location information can be: (1.5, 0.8) and (1.65, 0.86).
  • the second augmented reality device may further acquire an identifier of the first augmented reality device, such as 001, according to the two calibration signals. Further, since the third augmented reality device worn by the third user 43 can also issue a calibration signal, the second enhanced device can also obtain the location of the third user device in the image of the environment surrounding the second user. Information: (1.3, 0.85); (1.5, 0.92), and the identifier of the third augmented reality device corresponding to the location information: 003. Therefore, the second augmented reality device can transmit a correspondence relationship between the location information shown in Table 1 and the identifier of the augmented reality device to the augmented reality server.
  • the augmented reality server may determine that the image 410 of the augmented reality device is the first augmented reality The image of the device.
  • the method then proceeds to step 404, when the image of the environment surrounding the second user exists
  • the augmented reality server replaces the image of the first augmented reality device with the facial image of the first user.
  • the augmented reality server may use the image of the first augmented reality device in the image of the environment surrounding the second user in the process of performing augmented reality processing on the image of the environment surrounding the second user.
  • the facial image replaces the image of the first augmented reality device, that is, the facial image of the first user is superimposed on the image of the first augmented reality device according to a preset image superposition algorithm.
  • the specific implementation process of superimposing the facial image according to the preset image superposition algorithm may refer to related technologies, and no further description is provided herein.
  • the second augmented reality device transmits the motion state data of the second head of the second user to the augmented reality server.
  • the second augmented reality device may also be provided with a motion sensor, and the second augmented reality device may also send the second motion state data of the second user's head to the augmented reality server in real time, the second motion state.
  • the data may include a deflection angle of the second user's head in a preset reference coordinate system.
  • the motion sensors in the plurality of augmented reality devices may be based on the coordinate system when collecting the motion state data.
  • the same preset reference coordinate system is used to facilitate the augmented reality server to process the motion state data sent by each augmented reality device.
  • the processing module 503 can perform augmented reality processing on the image of the environment surrounding the second user according to the facial image of the first user.
  • the sending module 504 can send the processed image of the environment of the second user to the second augmented reality device Ready.
  • the third receiving module 505 can receive the location information sent by the second augmented reality device and the identifier of the first augmented reality device corresponding to the location information, where the location information is used to indicate that the first augmented reality device is in the second user environment. The location in the image.
  • the fourth receiving module 506 can receive the first motion state data of the first user's head sent by the first augmented reality device.
  • the fifth receiving module 507 can receive the second motion state data of the second user's head sent by the second augmented reality device.
  • the adjustment module 508 can adjust the setting angle of the facial image of the first user in the image of the environment surrounding the second user according to the first motion state data and the second motion state data.
  • the first augmented reality device 20 can also issue a calibration signal, the calibration signal being used to indicate the first augmented reality device.
  • the device body of the first augmented reality device may be provided with a calibration device (for example, an infrared emitter), and the first augmented reality device may be modulated with the first augmented reality by a calibration signal sent by the calibration device.
  • a calibration device for example, an infrared emitter
  • the identification of the device such that other augmented reality devices can identify the first augmented reality device based on the calibration signal.
  • the first motion state data includes a first deflection angle of the first user's head in a preset reference coordinate system
  • the second motion state data includes the second user's head at the preset reference The second angle of deflection in the coordinate system.
  • the augmented reality server 10 can adjust a setting angle of the face image of the first user in an image of the environment surrounding the second user according to the first deflection angle and the second deflection angle.
  • first augmented reality device and “second augmented reality device” do not necessarily mean that the first augmented reality device is prior to the second augmented reality device in ordering or prioritization. In fact, these phrases are only used to identify different augmented reality devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种增强现实设备、系统、图像处理方法及装置，属于可穿戴设备领域。该增强现实系统包括：增强现实服务器和至少两个增强现实设备，该至少两个增强现实设备包括第一增强现实设备和第二增强现实设备。其中，该第一增强现实设备可以采集第一用户的脸部图像，该增强现实服务器能够接收该第一用户的脸部图像，并根据该第一用户的脸部图像，对第二增强现实设备所发送的第二用户周围环境的图像进行增强现实处理，因此丰富了该第一增强现实设备的功能，并提高了增强现实服务器对图像进行增强现实处理时的处理灵活性，解决了相关技术中增强现实设备功能单一，增强现实服务器图像处理灵活性较低的问题。

Description

增强现实设备、系统、图像处理方法及装置 技术领域
本公开涉及可穿戴设备领域，特别涉及一种增强现实设备、系统、图像处理方法及装置。
背景技术
增强现实技术(英文：Augmented Reality；简称：AR)是一种基于虚拟现实(英文：Virtual Reality；简称：VR)技术的改进技术。其中，VR技术是一种利用计算机图形系统和各种接口设备，在计算机上生成可交互的三维环境(即虚拟场景)，并通过该三维环境为用户提供沉浸感的技术，而AR技术则能够将现实场景与虚拟场景进行实时叠加，为用户提供更加逼真的增强现实场景，进一步增强了用户的沉浸感。其中，沉浸感是指当用户把增强现实中的场景当做真实场景来感知时，在空间意义上置身于该增强现实场景中的感觉。
相关技术中，用户可以通过佩戴增强现实设备，体验增强现实场景。该增强现实设备能够通过设置在设备上的摄像头实时获取该用户周围环境的图像，并发送至增强现实服务器中，以便增强现实服务器能够将该用户周围环境的图像与计算机图形系统产生的虚拟场景进行处理和叠加，生成增强现实场景，再通过增强现实设备中的显示装置将该增强现实场景呈现给用户。如果同一个现实场景中存在多个佩戴有增强现实设备的用户，则每个增强现实设备所采集的用户周围的环境图像中，还可以包括其他用户的人像。
但是，相关技术中，增强现实设备只能通过设置在设备外侧的摄像头采集用户周围环境的图像，该增强现实设备所采集的图像较为单一，使得增强现实服务器根据该增强现实设备所采集的图像进行图像处理时的灵活性较低。
发明内容
为了解决相关技术中增强现实设备采集图像单一，增强现实服务器图像处理灵活性较低的问题，提供一种能够解决上述问题的增强现实设备、系统、图像处理方法及装置是合乎期望的。
根据本发明的一个方面，提供了一种增强现实系统，所述系统包括：
增强现实服务器和至少两个增强现实设备，所述至少两个增强现实设备包括第一增强现实设备和第二增强现实设备，
所述第一增强现实设备包括：
可被第一用户佩戴的设备主体；
设置在所述设备主体内侧的脸部图像采集组件，当所述设备主体被第一用户佩戴时，所述脸部图像采集组件朝向第一用户脸部，且与所述第一用户脸部存在预设距离，所述脸部图像采集组件被配置用于采集所述第一用户的脸部图像；和
第一通信模块，所述通信模块与所述脸部图像采集组件连接，配置用于向增强现实服务器发送所述脸部图像，
所述第二增强现实设备包括：
可被第二用户佩戴的设备主体；
环境图像采集组件，所述环境图像采集组件设置在所述设备主体的外侧，被配置用于采集第二用户周围环境的图像；和
第二通信模块，第二通信模块与所述环境图像采集组件连接，被配置用于并向所述增强现实服务器发送所述第二用户周围环境的图像，所述第一用户和所述第二用户位于同一现实场景中，
所述增强现实服务器包括：
接收模块，被配置用于接收所述第一用户的脸部图像和所述第二用户周围环境的图像；
处理模块，被配置用于根据所述第一用户的脸部图像，对所述第二用户周围环境的图像进行增强现实处理；和
发送模块，被配置用于并将处理后的所述第二用户周围环境的图像发送至所述第二增强现实设备。
可选地，所述增强现实服务器还包括：
检测子模块，被配置用于检测所述第二用户周围环境的图像中是否存在第一增强现实设备的图像；和
替换子模块，被配置用于当所述第二用户周围环境的图像中存在第一增强现实设备的图像时，用所述第一用户的脸部图像替换所述第一增强现实设备的图像。
可选地，所述第一增强现实设备还包括标定装置，所述标定装置设置在所述设备主体的外侧，被配置用于发出标定信号，所述标定信号用于指示所述第一增强现实设备，
所述第二增强现实设备的环境图像采集组件还被配置用于检测所述标定信号，并且根据所述标定信号，确定所述第一增强现实设备的标识，获取所述第一增强现实设备在所述第二用户周围环境的图像中的位置信息，所述第二通信模块被配置用于向所述增强现实服务器发送所述位置信息以及所述位置信息对应的所述第一增强现实设备的标识，
所述检测子模块还被配置用于：
检测所述第二用户周围环境的图像中，所述位置信息指示的位置是否存在增强现实设备的图像；和
当所述第二用户周围环境的图像中，所述位置信息指示的位置存在增强现实设备的图像时，根据所述第一增强现实设备的标识，确定所述位置信息指示的位置的增强现实设备的图像为所述第一增强现实设备的图像。
可选地，所述第一增强现实设备的设备主体上设置有用于指示所述第一增强现实设备的标记图案，
所述检测子模块还被配置用于：
检测所述第二用户周围环境的图像中是否存在增强现实设备的图像；
当所述第二用户周围环境的图像中存在增强现实设备的图像时，检测所述增强现实设备的图像中是否存在所述标记图案；
当所述增强现实设备的图像中存在所述标记图案时，确定所述增强现实设备的图像为所述第一增强现实设备的图像。
可选地，所述第一增强现实设备还包括第一运动传感器，被配置用于获取所述第一用户头部的第一运动状态数据，所述第一通信模块还被配置用于向所述增强现实服务器发送所述第一运动状态数据，
所述第二增强现实设备还包括第二运动传感器，被配置用于获取所述第二用户头部的第二运动状态数据，所述第二通信模块还被配置用于向所述增强现实服务器发送所述第二运动状态数据，
所述增强现实服务器还包括调整模块，被配置用于根据所述第一 运动状态数据和所述第二运动状态数据，调整所述第一用户的脸部图像在所述第二用户周围环境的图像中的设置角度。
可选地，所述第一运动状态数据包括所述第一用户头部在预设的基准坐标系中的第一偏转角度，所述第二运动状态数据包括所述第二用户头部在预设的基准坐标系中的第二偏转角度；
所述调整模块被配置用于：根据所述第一偏转角度和所述第二偏转角度，调整所述第一用户的脸部图像在所述第二用户周围环境的图像中的设置角度。
根据本发明另一个方面，提供了一种增强现实设备，所述设备包括：
可被用户佩戴的设备主体；
设置在所述设备主体内侧的脸部图像采集组件，当所述设备主体被用户佩戴时，所述脸部图像采集组件朝向用户脸部，且与所述用户脸部存在预设距离，所述脸部图像采集组件被配置用于采集所述用户的脸部图像；以及
通信模块，所述通信模块与所述脸部图像采集组件连接，被配置用于向增强现实服务器发送所述脸部图像。
可选地，所述设备还包括：标定装置，所述标定装置设置在所述设备主体的外侧，所述标定装置被配置用于发出标定信号，所述标定信号用于指示所述增强现实设备。
可选地，所述设备还包括：
环境图像采集组件，所述环境图像采集组件设置在所述设备主体的外侧，所述环境图像采集组件被配置用于采集所述用户周围环境的图像；
所述通信模块与所述环境图像采集组件连接，还被配置用于向所述增强现实服务器发送所述用户周围环境的图像。
可选地，所述环境图像采集组件还被配置用于在采集所述用户周围环境的图像时，检测其它增强现实设备发出的标定信号，并根据检测到的所述标定信号，确定所述其它增强现实设备的标识，并获取所述其它增强现实设备在所述用户周围环境的图像中的位置信息；
所述通信模块，还被配置用于向所述增强现实服务器发送所述位置信息以及所述位置信息对应的所述其它增强现实设备的标识。
可选地，所述设备还包括：
运动传感器，被配置用于获取所述用户头部的运动状态数据；
所述通信模块与所述运动传感器连接，还被配置用于将所述运动状态数据发送至增强现实服务器。
可选地，所述设备主体上设置有用于指示所述增强现实设备的标记图案。
可选地，所述脸部图像采集组件包括广角摄像头。
可选地，所述标定装置包括红外发射器。
可选地，所述运动传感器包括六轴传感器。
可选地，所述设备主体包括眼镜或者头盔。
根据本发明另一个方面，提供一种图像处理方法，该图像处理方法用于增强现实服务器，所述方法包括：
接收第一增强现实设备发送的第一用户的脸部图像；
接收第二增强现实设备发送的第二用户周围环境的图像，所述第一用户和所述第二用户位于同一现实场景中；
根据所述第一用户的脸部图像，对所述第二用户周围环境的图像进行增强现实处理；
将处理后的所述第二用户周围环境的图像发送至所述第二增强现实设备。
可选地，所述根据所述第一用户的脸部图像，对所述第二用户周围环境的图像进行增强现实处理，包括：
检测所述第二用户周围环境的图像中是否存在第一增强现实设备的图像；
当所述第二用户周围环境的图像中存在第一增强现实设备的图像时，用所述第一用户的脸部图像替换所述第一增强现实设备的图像。
可选地，所述方法还包括：
接收所述第二增强现实设备发送的位置信息以及所述位置信息对应的第一增强现实设备的标识，所述位置信息用于指示所述第一增强现实设备在所述第二用户周围环境的图像中的位置；
所述检测所述第二用户周围环境的图像中是否存在第一增强现实设备的图像包括：
检测所述第二用户周围环境的图像中，所述位置信息指示的位置 是否存在增强现实设备的图像；
当所述第二用户周围环境的图像中，所述位置信息指示的位置存在增强现实设备的图像时，根据所述第一增强现实设备的标识，确定所述位置信息指示的位置的增强现实设备的图像为所述第一增强现实设备的图像。
可选地，所述第一增强现实设备的设备主体上设置有用于指示所述第一增强现实设备的标记图案；
所述检测所述第二用户周围环境的图像中是否存在第一增强现实设备的图像包括：
检测所述第二用户周围环境的图像中是否存在增强现实设备的图像；
当所述第二用户周围环境的图像中存在增强现实设备的图像时，检测所述增强现实设备的图像中是否存在所述标记图案；
当所述增强现实设备的图像中存在所述标记图案时，确定所述增强现实设备的图像为所述第一增强现实设备的图像。
可选地，所述方法还包括：
接收所述第一增强现实设备发送的所述第一用户的头部的第一运动状态数据；
接收所述第二增强现实设备发送的所述第二用户的头部的第二运动状态数据；
根据所述第一运动状态数据和所述第二运动状态数据，调整所述第一用户的脸部图像在所述第二用户周围环境的图像中的设置角度。
可选地，所述第一运动状态数据包括所述第一用户头部在预设的基准坐标系中的第一偏转角度，所述第二运动状态数据包括所述第二用户头部在预设的基准坐标系中的第二偏转角度；
所述根据所述第一运动状态数据和所述第二运动状态数据，调整所述第一用户的脸部图像在所述第二用户周围环境的图像中的设置角度，包括：
根据所述第一偏转角度和所述第二偏转角度，调整所述第一用户的脸部图像在所述第二用户周围环境的图像中的设置角度。
根据本发明另一个方面，提供了一种图像处理装置，该图像处理装置用于增强现实服务器，所述图像处理装置包括：
第一接收模块，被配置用于接收第一增强现实设备发送的第一用户的脸部图像；
第二接收模块，被配置用于接收第二增强现实设备发送的第二用户周围环境的图像，所述第一用户和所述第二用户位于同一现实场景中；
处理模块，被配置用于根据所述第一用户的脸部图像，对所述第二用户周围环境的图像进行增强现实处理；
发送模块，被配置用于将处理后的所述第二用户周围环境的图像发送至所述第二增强现实设备。
可选地，所述处理模块进一步包括：
检测子模块，被配置用于检测所述第二用户周围环境的图像中是否存在第一增强现实设备的图像；
替换子模块，被配置用于当所述第二用户周围环境的图像中存在第一增强现实设备的图像时，用所述第一用户的脸部图像替换所述第一增强现实设备的图像。
可选地，所述图像处理装置还包括：
第三接收模块，被配置用于接收所述第二增强现实设备发送的位置信息以及所述位置信息对应的第一增强现实设备的标识，所述位置信息用于指示所述第一增强现实设备在所述第二用户周围环境的图像中的位置；
所述检测子模块还被配置用于：
检测所述第二用户周围环境的图像中，所述位置信息指示的位置是否存在增强现实设备的图像；
当所述第二用户周围环境的图像中，所述位置信息指示的位置存在增强现实设备的图像时，根据所述第一增强现实设备的标识，确定所述位置信息指示的位置的增强现实设备的图像为所述第一增强现实设备的图像。
可选地，所述第一增强现实设备的设备主体上设置有用于指示所述第一增强现实设备的标记图案；
所述检测子模块还被配置用于：
检测所述第二用户周围环境的图像中是否存在增强现实设备的图像；
当所述第二用户周围环境的图像中存在增强现实设备的图像时，检测所述增强现实设备的图像中是否存在所述标记图案；
当所述增强现实设备的图像中存在所述标记图案时，确定所述增强现实设备的图像为所述第一增强现实设备的图像。
可选地，所述图像处理装置还包括：
第四接收模块，用于接收所述第一增强现实设备发送的所述第一用户的头部的第一运动状态数据；
第五接收模块，用于接收所述第二增强现实设备发送的所述第二用户的头部的第二运动状态数据；
调整模块，用于根据所述第一运动状态数据和所述第二运动状态数据，调整所述第一用户的脸部图像在所述第二用户周围环境的图像中的设置角度。
可选地，所述第一运动状态数据包括所述第一用户头部在预设的基准坐标系中的第一偏转角度，所述第二运动状态数据包括所述第二用户头部在预设的基准坐标系中的第二偏转角度，
所述调整模块还被配置用于根据所述第一偏转角度和所述第二偏转角度，调整所述第一用户的脸部图像在所述第二用户周围环境的图像中的设置角度。
本发明上述实施例提供的技术方案可以实现如下有有益效果中的至少一个有益效果和/或其它有益效果：
根据本发明一些实施例提供的增强现实系统包括：增强现实服务器和至少两个增强现实设备，该至少两个增强现实设备包括第一增强现实设备和第二增强现实设备。其中，该第一增强现实设备除了可以采集第一用户周围环境的图像之外，还可以采集第一用户的脸部图像。该增强现实服务器能够接收该第一用户的脸部图像，并根据该第一用户的脸部图像，对第二增强现实设备所发送的第二用户周围环境的图像进行增强现实处理，因此丰富了该第一增强现实设备的功能，并提高了增强现实服务器对图像进行增强现实处理时的处理灵活性。
附图说明
为了更清楚地说明本发明一些实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。应当意识到，下面描述 中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，所述其它的附图也在本发明的范围内。
图1是根据本发明一个实施例提供的一种增强现实系统的结构示意图；
图2A是根据本发明一个实施例提供的一种增强现实设备内侧的结构框图；
图2B是根据本发明一个实施例提供的一种增强现实设备外侧的结构框图
图3是根据本发明一个实施例提供的一种图像处理方法的流程图；
图4A是根据本发明一个实施例提供的另一种图像处理方法的流程图；
图4B是根据本发明一个实施例提供的一种第一增强现实设备所采集的第一用户的脸部图像的示意图；
图4C是根据本发明一个实施例提供的一种第二增强现实设备所采集的第二用户周围环境的图像的示意图；
图4D是根据本发明一个实施例提供的一种增强现实服务器检测是否存在第一增强现实设备的图像的方法流程图；
图4E是根据本发明一个实施例提供的另一种增强现实服务器检测是否存在第一增强现实设备的图像的方法流程图；
图4F是根据本发明一个实施例提供的一种增强现实处理后的第二用户周围环境的图像的示意图；
图5A是根据本发明一个实施例提供的一种图像处理装置的结构示意图；
图5B是根据本发明一个实施例提供的另一种图像处理装置的结构示意图；
图5C是根据本发明一个实施例提供的一种处理模块的结构示意图。
具体实施方式
为使本发明一些实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1是根据本发明一个实施例提供的一种增强现实系统的结构示意图。参见图1，该系统可以包括：增强现实服务器10和两个增强现实设备，该至少两个增强现实设备可以包括第一增强现实设备20和第二增强现实设备30。需要指出的是，尽管为了简洁起见，图1仅仅图示了两个增强现实设备，但是本领域普通技术人员知道，所述系统可以包括更多的增强现实设备，本发明在这方面没有限制。
该第一增强现实设备20可以采集第一用户的脸部图像，并向该增强现实服务器10发送该第一用户的脸部图像。该第二增强现实设备30可以采集第二用户周围环境的图像，并向该增强现实服务器10发送该第二用户周围环境的图像，该第一用户和该第二用户位于同一现实场景中。关于该第一增强现实设备20和第二增强现实设备30的具体结构，下文参照图2详细描述了它们的一种具体实现方式。
该增强现实服务器10可以接收该第一用户的脸部图像和该第二用户周围环境的图像，根据该第一用户的脸部图像，对该第二用户周围环境的图像进行增强现实处理，并将处理后的该第二用户周围环境的图像发送至该第二增强现实设备30。关于该增强现实服务器10的具体结构，下文参照图5详细描述了它的一种具体实现方式。综上所述，根据本发明一些实施例提供了一种增强现实系统，该系统包括：增强现实服务器和至少两个增强现实设备，该至少两个增强现实设备包括第一增强现实设备和第二增强现实设备。其中，该第一增强现实设备除了可以采集第一用户周围环境的图像之外，还可以采集第一用户的脸部图像。该增强现实服务器能够接收该第一用户的脸部图像，并根据该第一用户的脸部图像，对第二增强现实设备所发送的第二用户周围环境的图像进行增强现实处理，因此丰富了该第一增强现实设备的功能，并提高了增强现实服务器对图像进行增强现实处理时的处理灵活性。
图2A是根据本发明一个实施例提供的一种增强现实设备内侧的结构框图。该增强现实设备可以应用于如图1所示的增强现实系统中。如图2A所示，该增强现实设备可以包括可被用户佩戴的设备主体20、和通信模块21。该增强现实设备还可以包括设置在该设备主体20内侧的脸部图像采集组件201。当该设备主体被用户佩戴时，该脸部图像采集组件201朝向用户脸部，且与该用户脸部存在预设距离(也即是不 直接与用户的脸部接触)，该脸部图像采集组件201用于采集该用户的脸部图像。该通信模块21与该脸部图像采集组件201连接，用于向增强现实服务器发送该脸部图像。
综上所述，根据本发明一些实施例提供了一种增强现实设备，该增强现实设备的设备主体内侧设置有脸部图像采集组件，该脸部图像采集组件能够采集用户的脸部图像，使得该增强现实设备能够通过通信模块将该脸部图像发送至增强现实服务器，因此增加了增强现实设备所能够采集的图像的种类，丰富了增强现实设备的功能，提高了增强现实设备的使用灵活性。
需要说明的是，在本发明的一些实施例中，该设备主体20可以为眼镜或者头盔，以便于用户的佩戴。该脸部图像采集组件201可以为广角摄像头。广角摄像头的视角范围较大，所以当该广角摄像头与用户脸部的距离较近时，也能有效采集用户的脸部图像。该通信模块21可以为蓝牙模块、无线保真(英文：Wireless Fidelity；简称：WiFi)模块或者网络接口。该通信模块可以通过该增强现实设备中的处理器与该脸部图像采集组件连接，也可以直接与该脸部图像采集组件电连接，本发明实施例对此不做限定。
图2B是根据本发明一个实施例提供的一种增强现实设备外侧的结构框图。如图2B所示，该增强现实设备还可以包括标定装置202。该标定装置202设置在该设备主体20的外侧，该标定装置202用于发出标定信号，该标定信号用于指示该增强现实设备。
在本发明的一些实施例中，该标定装置202可以为红外发射器。该设备主体20的外侧可以设置有多个标定装置，该多个标定装置可以沿设备主体的外部轮廓排布，以便通过每个标定装置发出的标定信号，向其它增强现实设备指示该增强现实设备以及该增强现实设备的位置。示例地，如图2B所示，该设备主体20的外侧可以设置有4个红外发射器202，该四个红外发射器202分别设置在设备主体20的四角。该四个红外发射器202可以发出标定信号(在这个例子中为红外信号)，该红外信号中可以调制有该增强现实设备的标识。当其它增强现实设备通过环境图像采集组件(例如摄像头)检测到该红外信号后，即可确定该增强现实设备的方位，并能够对该红外信号进行解调，进而可以确定该增强现实设备的标识。
进一步地，如图2B所示，该增强现实设备还可以包括环境图像采集组件203。该环境图像采集组件203设置在该设备主体20的外侧，该环境图像采集组件203用于采集该用户周围环境的图像。该通信模块21与该环境图像采集组件203连接，还用于向增强现实服务器发送该用户周围环境的图像。示例地，在本发明一些实施例中，该环境图像采集组件203可以为摄像头。在一个实施例中，该设备主体20的外侧可以对称设置有两个摄像头，且该两个摄像头可以设置在设备主体外侧对应于用户人眼的位置，以便更加真实地模拟人眼视觉。
此外，该环境图像采集组件203还可以在采集该用户周围环境的图像时，检测其它增强现实设备发出的标定信号，并根据检测到的该标定信号，确定该其它增强现实设备的标识，并获取该其它增强现实设备在该用户周围环境的图像中的位置信息。该通信模块21还可以向该增强现实服务器发送该位置信息以及该位置信息对应的该其它增强现实设备的标识。
在本发明一些实施例中，该其它增强现实设备在该用户周围环境的图像中的位置信息可以为该标定信号发射点在该用户周围环境的图像中的坐标。若某个增强现实设备发出的标定信号包括多个，则该环境图像采集组件可以分别获取每个标定信号发射点在该用户周围环境的图像中的坐标。若该用户周围环境的图像中包括多个其它增强现实设备发出的标定信号，则该环境图像采集组件可以根据每个标定信号所指示的增强现实设备，建立位置信息与增强现实设备的标识的对应关系。
可选地，如图2B所述，该增强现实设备还可以包括：运动传感器204，用于获取该用户头部的运动状态数据。通信模块21与该运动传感器204连接，还可以将该运动状态数据发送至增强现实服务器。其中，该运动传感器204可以为六轴传感器，该六轴传感器包括可以三轴加速器和三轴陀螺仪，其中三轴加速器能够检测增强现实设备的水平方向的加速度，三轴陀螺仪能够检测增强现实设备旋转的角度。该六轴传感器可以实时获取用户头部的运动状态数据，该运动状态数据可以包括用户的头部在预设的基准坐标系中的偏转角度，该预设的基准坐标系可以为该运动传感器的基准坐标系。通过通信模块将该运动状态数据发送至增强现实服务器后，该增强现实服务器可以根据该用 户的头部在预设的基准坐标系中的偏转角度，对增强现实图像进行处理，提高了该增强现实图像处理的灵活性。
可选地，如图2B所示，该设备主体20上还可以设置有用于指示该增强现实设备的标记图案205。该标记图案可以是由特定的几何图形按照预设规律所形成的图案，例如二维码或者图形码等。该标记图案能够唯一标识该增强现实设备。当其它增强现实设备采集的用户周围环境的图像中包括该标记图案，并将该用户周围环境的图像发送至增强现实服务器后，增强现实服务器可以根据该标记图案，确定该标记图案所对应的增强现实设备。
综上所述，根据本发明一些实施例提供了一种增强现实设备，该增强现实设备的设备主体内侧设置有脸部图像采集组件。该脸部图像采集组件能够采集用户的脸部图像，使得该增强现实设备能够通过通信模块将该脸部图像发送至增强现实服务器，因此增加了该增强现实设备所能够采集的图像的种类，丰富了增强现实设备的功能，提高了增强现实设备的使用灵活性。
图3是根据本发明一个实施例提供的一种图像处理方法的流程图，该方法可以应用于图1所示的增强现实服务器中。如图3所示，该方法可以包括：
步骤301、接收第一增强现实设备发送的第一用户的脸部图像。
步骤302、接收第二增强现实设备发送的第二用户周围环境的图像，该第一用户和该第二用户位于同一现实场景中。
步骤303、根据该第一用户的脸部图像，对该第二用户周围环境的图像进行增强现实处理。
步骤304、将处理后的该第二用户周围环境的图像发送至该第二增强现实设备。
综上所述，根据本发明一些实施例提供了一种图像处理方法，增强现实服务器能够接收第一增强现实设备发送的第一用户的脸部图像，并根据该第一用户的脸部图像，对从第二增强现实设备接收的第二用户周围环境的图像进行增强现实处理，因此提高了该增强现实服务器对图像进行增强现实处理时的灵活性。
图4A是根据本发明一个实施例提供的另一种图像处理方法的流程图。该方法可以应用于图1所示的增强现实系统中。如图4A所示， 该方法可以包括步骤401、第一增强现实设备向增强现实服务器发送第一用户的脸部图像。在本发明一些实施例中，参考图2A，该第一增强现实设备的设备主体内侧可以设置有脸部图像采集组件。当该设备主体被该第一用户佩戴时，该脸部图像采集组件朝向第一用户脸部，且与该第一用户脸部存在预设距离，该脸部图像采集组件能够采集该第一用户的脸部图像。该第一增强现实设备还可以包括通信模块，第一增强现实设备可以通过该通信模块将该第一用户的脸部图像发送至该增强现实服务器中。示例地，该第一增强现实设备的设备主体内侧设置的图像采集组件可以为广角摄像头，该第一增强现实设备通过该广角摄像头采集的第一用户的脸部图像400可以如图4B所示。
该方法然后进行到步骤402、第二增强现实设备向增强现实服务器发送第二用户周围环境的图像。第二用户周围环境的图像为第二增强现实设备采集的，且该第一用户和该第二用户位于同一现实场景中。在本发明的一些实施例中，该第二增强现实设备的设备主体外侧可以设置有环境图像采集组件(例如摄像头)，该环境图像采集组件能够采集该第二用户周围环境的图像。该第二增强现实设备中还可以设置有通信模块，第二增强现实设备可以通过该通信模块将该第二用户周围环境的图像发送至该增强现实服务器中。示例地，如图4C所示，假设该第二用户(图4C中未示出)正在会议室中与第一用户41、第三用户43和第四用户44进行虚拟会议，其中每个用户均佩戴有增强现实设备，且该各个增强现实设备均与同一个增强现实服务器建立连接，则该第二用户佩戴的第二增强现实设备所采集的该第二用户周围环境的图像即可如图4C所示。
然后进行到步骤403、增强现实服务器检测该第二用户周围环境的图像中是否存在第一增强现实设备的图像。增强现实服务器接收到第一用户的脸部图像以及第二用户周围环境的图像后，为了根据该第一用户的脸部图像对该第二用户周围环境的图像进行处理，可以先检测该第二用户周围环境的图像中是否存在第一增强现实设备的图像。该检测第一增强现实设备的图像的过程可以通过两种方式实现，分别在图4D和图4E所示的流程图中示出。
作为第一种实现方式，图4D示出了该增强现实服务器检测该第二用户周围环境的图像中是否存在第一增强现实设备的图像的一中方法 流程。
首先在步骤4031a、增强现实服务器接收第二增强现实设备发送的位置信息以及该位置信息对应的第一增强现实设备的标识。
该位置信息用于指示该第一增强现实设备在该第二用户周围环境的图像中的位置。该第二增强现实设备通过环境图像采集组件采集该第二用户周围环境的图像时，还可以检测其它增强现实设备(例如第一增强现实设备)发出的标定信号，该标定信号用于指示该其它增强现实设备。例如该标定信号中可以调制有该其它增强现实设备的标识，因此该第二增强现实设备可以根据检测到的该标定信号，获取该其它增强现实设备在该第二用户周围环境的图像中的位置信息，并能够对该标定信号进行解调，进而确定该位置信息对应的该其它增强现实设备的标识。当该第二增强现实设备检测到第一增强现实设备的标定信号时，可以将获取到的该第一增强现实设备在该第二用户周围环境的图像中的位置信息，以及该位置信息对应的第一增强现实设备的标识发送至增强现实服务器。示例地，假设图4C中的第一用户41佩戴有该第一增强现实设备，且该第一增强现实设备上设置有两个标定装置，第二增强现实设备根据该两个标定装置发出的标定信号，获取到的第一增强现实设备在该第二用户周围环境的图像中位置信息为该两个标定信号发射点的坐标。例如，该位置信息可以为：(1.5，0.8)和(1.65，0.86)。该第二增强现实设备还可以根据该两个标定信号获取到该第一增强现实设备的标识，例如001。进一步地，由于该第三用户43所佩戴的第三增强现实设备也可以发出标定信号，则该第二增强设备也可以获取到该第三用户设备在该第二用户周围环境的图像中的位置信息：(1.3，0.85)；(1.5，0.92)，以及该位置信息对应的第三增强现实设备的标识：003。因此，该第二增强现实设备可以向增强现实服务器发送如表1所示的位置信息与增强现实设备的标识的对应关系。
表1
增强现实设备的标识 001 003
位置信息 (1.5，0.8)；(1.65，0.86) (1.3，0.85)；(1.5，0.92)
然后进行到步骤4032a、检测该第二用户周围环境的图像中，该位置信息指示的位置是否存在增强现实设备的图像。增强现实服务器根 据该位置信息确定了该第一增强现实设备在该第二用户周围环境的图像中的位置后，可以检测该位置是否存在增强现实设备的图像。具体地，该增强现实服务器中可以存储有设备图案模板，该增强现实服务器可以获取该位置信息指示的位置处的图像，并将该图像与设备图案模板进行对比，当该位置信息指示的位置处的图像与设备图案模板匹配时，增强现实服务器可以确定该位置信息指示的位置存在增强现实设备的图像。示例地，假设第二用户周围环境的图像如图4C所示，增强现实服务器获取到的位置信息与增强现实设备的标识的对应关系如表1所示，则对于第一增强现实设备001所对应的位置信息：(1.5，0.8)，(1.65，0.86)，增强现实服务器可以将该两个坐标点作为矩形对角线的端点，并将该矩形所包围区域内的图像410与设备图案模板进行对比，若该矩形所包围区域内的图像410与设备图案模板匹配，则确定该位置信息指示的位置存在增强现实设备的图像。
然后进行到步骤4033a、当该第二用户周围环境的图像中，该位置信息指示的位置存在增强现实设备的图像时，根据该第一增强现实设备的标识，确定该位置信息指示的位置的增强现实设备的图像为该第一增强现实设备的图像。由于该位置信息所对应的增强现实设备的标识为第一增强现实设备的标识，因此当该第二用户周围环境的图像中，该位置信息指示的位置存在增强现实设备的图像时，增强现实服务器可以确定该位置信息指示的位置的增强现实设备的图像为该第一增强现实设备的图像。示例地，增强现实服务器可以确定位置信息：(1.5，0.8)，(1.65，0.86)指示的位置的增强现实设备的图像410为该第一增强现实设备的图像。
在第二种实现方式中，该第一增强现实设备的设备主体上可以设置有用于指示该第一增强现实设备的标记图案，该标记图案可以唯一指示该第一增强现实设备。图4E示出了该增强现实服务器检测该第二用户周围环境的图像中是否存在第一增强现实设备的图像的方法的第二种实现方式。
首先在步骤4031b、检测该第二用户周围环境的图像中是否存在增强现实设备的图像。增强现实服务器中接收到第二用户周围环境的图像后，还可以对该第二用户周围环境的图像进行检测，判断该图像中是否存在与设备图案模板匹配的增强现实设备的图像。示例地，假设 增强现实服务器中接收到的第二用户周围环境的图像如图4C所示，则增强现实服务器对该图像进行检测后，可以确定该第二用户周围环境的图像中存在两个增强现实设备的图像410和430，其中410为第一用户41所佩戴的第一增强现实设备的图像，430为第三用户43所佩戴的第三增强现实设备的图像。
然后在步骤4032b、当该第二用户周围环境的图像中存在增强现实设备的图像时，检测该增强现实设备的图像中是否存在该标记图案。在本发明一些实施例中，该增强现实服务器中可以存储有增强现实设备的标识与标记图案的对应关系。当该第二用户周围环境的图像中存在增强现实设备的图像时，增强现实服务器可以根据增强现实设备与标记图案的对应关系，确定第一增强现实设备对应的标记图案，并检测该第二用户周围环境的图像中存在的增强现实设备的图像中是否存在与该第一增强现实设备对应的标记图案。可替换地，该标记图案中可以编译有增强现实设备的标识。增强现实服务器检测到第二用户周围环境的图像中存在标记图案时，可以对该标记图案进行解码，并获取到与该标记图案对应的增强现实设备的标识，进而再判断该标记图案对应的增强现实设备的标识是否为第一增强现实设备的标识。
示例地，假设增强现实服务器中存储的第一增强现实设备的标识001所对应的标记图案为图2B中的标记图案205，则当该增强现实服务器从第二用户周围环境的图像中检测出增强现实设备的图像410和430后，可以继续检测该两个增强现实设备的图像中是否存在图2B中所示的标记图案205。可替换地，该增强现实服务器还可以直接对该两个增强现实设备的图像410和430进行检测，当在任一增强现实设备的图像中检测到标记图案时，对该标记图案进行解码，获取到该标记图案对应的增强现实设备的标识，从而可以确定该标记图案是否为与第一增强现实设备对应的标记图案。
然后在步骤4033b、当该增强现实设备的图像中存在该标记图案时，确定该增强现实设备的图像为该第一增强现实设备的图像。
示例地，当增强现实服务器在增强现实设备的图像410中检测出第一增强现实设备所对应的标记图案205时，该增强现实服务器即可确定该增强现实设备的图像410为该第一增强现实设备的图像。
然后该方法进行到步骤404、当该第二用户周围环境的图像中存在 第一增强现实设备的图像时，增强现实服务器用该第一用户的脸部图像替换该第一增强现实设备的图像。增强现实服务器在对该第二用户周围环境的图像进行增强现实处理的过程中，如果检测到该第二用户周围环境的图像中存在第一增强现实设备的图像，则可以用该第一用户的脸部图像替换该第一增强现实设备的图像，也即是，根据预设的图像叠加算法，将该第一用户的脸部图像叠加在该第一增强现实设备的图像上。其中，根据预设的图像叠加算法进行脸部图像的叠加的具体实现过程可以参考相关技术，本文对此不做赘述。
示例地，当增强现实服务器在图4C所示的第二用户周围环境的图像中检测到该第一增强现实设备的图像410时，该增强现实服务器可以用如图4B所示的该第一用户的脸部图像400替换该图4C中的第一增强现实设备的图像410。同样地，在图4C中，该第三用户43所佩戴的第三增强现实设备430也可以将采集到的第三用户43的脸部图像发送至该增强现实服务器，以便该增强现实服务器可以用该第三用户43的脸部图像来替换该第二用户周围环境的图像中该第三增强现实设备的图像430。增强现实服务器根据接收到的脸部图像对该第二用户周围环境的图像进行处理后的效果图可以如图4F所示。从图4F中可以看出，处理后的该第二用户周围环境的图像中，第一用户41和第三用户43的脸部图像得以完整显示，而没有被增强现实设备所遮挡。该增强现实图像的处理显示效果较好，提高了用户在增强现实场景中的沉浸感。
然后在步骤405、增强现实服务器将处理后的第二用户周围环境的图像发送至该第二增强现实设备。在本发明一些实施例中，增强现实服务器根据第一用户的脸部图像对第二用户周围环境的图像处理完成后，还可以将该处理后的第二用户周围环境的图像与图形系统产生的虚拟场景进行处理和叠加，得到增强现实图像，并将该增强现实图像发送至该第二增强现实设备中。该第二增强现实设备的内侧可以设置有显示装置，第二用户可以通过该显示装置观看该增强现实图像。
然后在步骤406、第一增强现实设备向增强现实服务器发送第一用户的头部的第一运动状态数据。在本发明一些实施例中，该第一增强现实设备中还可以设置有运动传感器，第一增强现实设备可以通过该运动传感器实时采集第一用户的头部的第一运动状态数据，并通过通 信模块将采集到的第一运动状态数据实时发送至该增强现实服务器。其中，该第一运动状态数据可以包括该第一用户的头部在预设的基准坐标系中的偏转角度，该预设的基准坐标系可以为该运动传感器的基准坐标系。
然后在步骤407、第二增强现实设备向增强现实服务器发送第二用户的第二头部的运动状态数据。同样地，该第二增强现实设备中也可以设置有运动传感器，该第二增强现实设备也可以向增强现实服务器实时发送该第二用户的头部的第二运动状态数据，该第二运动状态数据中可以包括第二用户的头部在预设的基准坐标系中的偏转角度。
需要说明的是，在实际应用中，若多个增强现实设备位于同一个增强现实系统中，则该多个增强现实设备中的运动传感器在采集运动状态数据时，所依据的坐标系可以均为同一个预设的基准坐标系，以便于增强现实服务器对各个增强现实设备所发送的运动状态数据进行处理。
然后在步骤408、增强现实服务器根据该第一运动状态数据和第二运动状态数据，调整该第一用户的脸部图像在该第二用户周围环境的图像中的设置角度。在本发明的一些实施例中，该增强现实服务器可以根据第一用户的头部在预设的基准坐标系中的第一偏转角度以及第二用户的头部在该预设的基准坐标系中的第二偏转角度，确定该第一用户和第二用户之间的相对位置。之后，该增强现实服务器可以根据该相对位置，实时调整该第一用户的脸部图像在该第二用户周围环境的图像中的设置角度。因此当第一用户或者第二用户的头部转动，使得该第二用户周围环境的图像发生变化时，该第一用户的脸部图像也可以根据两个用户之间的相对位置实时变化，使得第二用户所看到的增强现实图像更接近真实环境，提高了用户的沉浸感。其中，根据第一用户与第二用户的相对位置，调整第一用户的脸部图像在该第二用户周围环境的图像中的设置角度的具体过程可以参考相关技术中的图像叠加算法，本文对此不做赘述。
需要说明的是，根据本发明的一些实施例提供的图像处理方法的步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减。本领域的普通技术人员根据本文详细描述的实施例，可以想到该方法的其它变型，这些变型都应涵盖在本发明的保护范围之内，在此 不再赘述。
综上所述，根据本发明的一些实施例提供了一种图像处理方法，增强现实服务器能够接收第一增强现实设备发送的第一用户的脸部图像，并根据该第一用户的脸部图像，对第二增强现实设备所发送的第二用户周围环境的图像进行增强现实处理，因此该增强现实服务器对图像进行增强现实处理时的灵活性较高，并且处理效果较好，改善了用户体验，提高了用户的沉浸感。
图5A是根据本发明一个实施例提供的一种图像处理装置的结构示意图。该图像处理装置可以用于增强现实服务器中。如图5A所示，该图像处理装置包括：第一接收模块501、第二接收模块502、处理模块503和发送模块504。第一接收模块501可以接收第一增强现实设备发送的第一用户的脸部图像。第二接收模块502可以接收第二增强现实设备发送的第二用户周围环境的图像，该第一用户和该第二用户位于同一现实场景中。处理模块503可以根据该第一用户的脸部图像，对该第二用户周围环境的图像进行增强现实处理。发送模块504可以将处理后的该第二用户周围环境的图像发送至该第二增强现实设备。
综上所述，根据本发明一些实施例提供了一种图像处理装置，该图像处理装置位于增强现实服务器中。该图像处理装置能够通过第一接收模块接收第一增强现实设备发送的第一用户的脸部图像，并根据该第一用户的脸部图像，通过处理模块对第二增强现实设备所发送的第二用户周围环境的图像进行增强现实处理，该图像处理装置对图像进行增强现实处理时的灵活性较高，处理效果较好。
图5B是根据本发明一个实施例提供的另一种图像处理装置的结构示意图。该图像处理装置可以用于增强现实服务器中。如图5B所示，该图像处理装置包括：第一接收模块501、第二接收模块502、处理模块503、发送模块504、第三接收模块505、第四接收模块506、第五接收模块507和调整模块508。第一接收模块501可以接收第一增强现实设备发送的第一用户的脸部图像。第二接收模块502可以接收第二增强现实设备发送的第二用户周围环境的图像，该第一用户和该第二用户位于同一现实场景中。处理模块503可以根据该第一用户的脸部图像，对该第二用户周围环境的图像进行增强现实处理。发送模块504可以将处理后的该第二用户周围环境的图像发送至该第二增强现实设 备。第三接收模块505可以接收该第二增强现实设备发送的位置信息以及该位置信息对应的第一增强现实设备的标识，该位置信息用于指示该第一增强现实设备在该第二用户周围环境的图像中的位置。第四接收模块506可以接收该第一增强现实设备发送的该第一用户的头部的第一运动状态数据。第五接收模块507可以接收该第二增强现实设备发送的该第二用户的头部的第二运动状态数据。调整模块508可以根据该第一运动状态数据和第二运动状态数据，调整该第一用户的脸部图像在该第二用户周围环境的图像中的设置角度。
图5C是根据本发明一个实施例提供的一种处理模块的结构示意图。如图5C所示，该处理模块503可以包括：检测子模块5031和替换子模块5032。检测子模块5031可以检测该第二用户周围环境的图像中是否存在第一增强现实设备的图像。当该第二用户周围环境的图像中存在第一增强现实设备的图像时，替换子模块5032可以用该第一用户的脸部图像替换该第一增强现实设备的图像。
该检测子模块5031还可以检测该第二用户周围环境的图像中，该位置信息指示的位置是否存在增强现实设备的图像。当该第二用户周围环境的图像中，该位置信息指示的位置存在增强现实设备的图像时，该检测子模块5031根据该第一增强现实设备的标识，确定该位置信息指示的位置的增强现实设备的图像为该第一增强现实设备的图像。
可选地，该第一增强现实设备的设备主体上可以设置有用于指示该第一增强现实设备的标记图案。该检测子模块5031可以检测该第二用户周围环境的图像中是否存在增强现实设备的图像。当该第二用户周围环境的图像中存在增强现实设备的图像时，该检测子模块5031检测该增强现实设备的图像中是否存在该标记图案。当该增强现实设备的图像中存在该标记图案时，该检测子模块5031确定该增强现实设备的图像为该第一增强现实设备的图像。
可选地，该第一运动状态数据包括该第一用户的头部在预设的基准坐标系中的偏转角度。该调整模块507可以根据该偏转角度，调整该第一用户的脸部图像在该第二用户周围环境的图像中的设置角度。
正如前面参考图4所讨论的，在该图像处理装置分别从两个增强现实设备接收到两个用户的头部在预设的基准坐标系中的两个偏转角度时，该调整模块507可以根据所述两个偏转角度来确定两个用户之 间的相对位置。之后，该调整模块507可以根据该相对位置，实时调整任意一个用户的脸部图像在另一个用户的周围环境图像中的设置角度。因此当一个用户的头部转动，使得该另一个用户的周围环境的图像发生变化时，所述一个用户的脸部图像也可以根据两个用户之间的相对位置实时变化，使得另一个用户所看到的增强现实图像更接近真实环境，提高了用户的沉浸感。根据两个用户的相对位置，调整一个用户的脸部图像在另一个用户的周围环境的图像中的设置角度的具体过程可以参考相关技术中的图像叠加算法，本文对此不做赘述。
综上所述，根据本发明一些实施例提供了一种图像处理装置，该图像处理装置可以位于增强现实服务器中。该图像处理装置能够通过第一接收模块接收第一增强现实设备发送的第一用户的脸部图像，并根据该第一用户的脸部图像，通过处理模块对第二增强现实设备所发送的第二用户周围环境的图像进行增强现实处理，该图像处理装置对图像进行增强现实处理时的灵活性较高，处理效果较好。
根据本发明一些实施例提供了另一种增强现实系统。如图1所示，该系统可以包括：增强现实服务器10和至少两个增强现实设备，该至少两个增强现实设备可以包括第一增强现实设备20和第二增强现实设备30。该第一增强现实设备20和第二增强现实设备30可以为如图2A和/或图2B所示的增强现实设备。
该第一增强现实设备30可以采集第一用户的脸部图像，并向该增强现实服务器发送该第一用户的脸部图像，即该第一增强现实设备可以用于实现上述步骤401中所示的功能。
该第二增强现实设备30可以采集第二用户周围环境的图像，并向该增强现实服务器发送该第二用户周围环境的图像，该第一用户和该第二用户位于同一现实场景中。即该第二增强现实设备30可以用于实现上述步骤402中所示的功能。
该增强现实服务器10可以接收该第一用户的脸部图像和该第二用户周围环境的图像，根据该第一用户的脸部图像，对该第二用户周围环境的图像进行增强现实处理，并将处理后的该第二用户周围环境的图像发送至该第二增强现实设备30。即该增强现实服务器10可以用于实现上述步骤403至步骤405中所示的功能。
可选地，参考上述步骤403和步骤404，该增强现实服务器10可 以检测该第二用户周围环境的图像中是否存在第一增强现实设备的图像，以及当该第二用户周围环境的图像中存在第一增强现实设备的图像时，可以用该第一用户的脸部图像替换该第一增强现实设备的图像。
可选地，该第一增强现实设备20还可以发出标定信号，该标定信号用于指示该第一增强现实设备。
参考图2B可知，该第一增强现实设备的设备主体外侧可以设置有标定装置(例如红外发射器)，该第一增强现实设备通过该标定装置发出的标定信号中可以调制有该第一增强现实设备的标识，以便其它增强现实设备可以根据该标定信号识别出该第一增强现实设备。
该第二增强现实设备30还可以在检测到该标定信号时，根据该标定信号，获取该第一增强现实设备在该第二用户周围环境的图像中的位置信息，并向该增强现实服务器发送该位置信息以及该位置信息对应的该第一增强现实设备的标识。即该第二强现实设备30可用于实现上述步骤4031a中所示的功能。
该增强现实服务器10还可以检测该第二用户周围环境的图像中，该位置信息指示的位置是否存在增强现实设备的图像。当该第二用户周围环境的图像中，该位置信息指示的位置存在增强现实设备的图像时，该增强现实服务器10根据该第一增强现实设备的标识，确定该位置信息指示的位置的增强现实设备的图像为该第一增强现实设备的图像。即该增强现实服务器10可用于实现上述步骤4032a和步骤4033a所示的功能。
可选地，如图2B所示，该第一增强现实设备20的设备主体上还可以设置有用于指示该第一增强现实设备20的标记图案。
该增强现实服务器10可以检测该第二用户周围环境的图像中是否存在增强现实设备的图像。当该第二用户周围环境的图像中存在增强现实设备的图像时，该增强现实服务器10检测该增强现实设备的图像中是否存在该标记图案。当该增强现实设备的图像中存在该标记图案时，该增强现实服务器10确定该增强现实设备的图像为该第一增强现实设备的图像。即该增强现实服务器10还可以用于实现上述步骤4031b至步骤4033b中所示的功能。
可选地，该第一增强现实设备20还可以获取该第一用户头部的第一运动状态数据，并向该增强现实服务器10发送该第一运动状态数据。 该第一增强现实设备20还可以用于实现上述步骤406中所示的功能。
该第二增强现实设备30还可以获取该第二用户头部的第二运动状态数据，并向该增强现实服务器10发送该第二运动状态数据。即该第二增强现实设备30还可以用于实现上述步骤407中所示的功能。
该增强现实服务器10还可以根据该第一运动状态数据和该第二运动状态数据，调整该第一用户的脸部图像在该第二用户周围环境的图像中的设置角度。即该增强现实服务器10还可以用于实现上述步骤408中所示的功能。
可选地，该第一运动状态数据包括该第一用户头部在预设的基准坐标系中的第一偏转角度，该第二运动状态数据包括该第二用户头部在该预设的基准坐标系中的第二偏转角度。该增强现实服务器10可以根据该第一偏转角度和该第二偏转角度，调整该第一用户的脸部图像在该第二用户周围环境的图像中的设置角度。
综上所述，根据本发明一些实施例提供了一种增强现实系统，该增强现实系统包括：增强现实服务器和至少两个增强现实设备，该至少两个增强现实设备包括第一增强现实设备和第二增强现实设备。其中，该第一增强现实设备除了可以采集第一用户周围环境的图像之外，还可以采集第一用户的脸部图像。该增强现实服务器能够接收该第一用户的脸部图像，并根据该第一用户的脸部图像，对第二增强现实设备所发送的第二用户周围环境的图像进行增强现实处理，因此丰富了该第一增强现实设备的功能，并提高了增强现实服务器对图像进行增强现实处理时的处理灵活性。
本领域的普通技术人员可以清楚地了解到，上文描述的系统、装置和模块的具体工作过程可以参考前述方法实施例中的对应过程，为描述的方便和简洁起见，在此不再赘述。
可以理解的是，以上所述仅为本发明的示例性实施方式，但本发明的保护范围并不局限于此，本领域的普通技术人员根据本文详细描述的具体实施方式，能够想到各种变化或替换，这些变化或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所附权利要求的保护范围为准。
需要说明的是，上述实施例仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要将上述功能分配给不同的功能模块 完成。可以将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述一个模块的功能可以由多个模块来完成，上述多个模块的功能也可以集成到一个模块中完成。
本申请所使用的术语“和/或”仅仅是被用来描述一种关联对象的关联关系，表示可以存在三种关系。例如，“A和/或B”可以表示如下这三种情况：单独存在A，同时存在A和B，单独存在B。另外，本文中字符“/”一般表示前后关联对象是一种“或”的关系。
本申请使用了诸如“第一”、“第二”、“第三”等之类的措词。在无附加上下文时，使用这样的措词并不旨在暗示排序，实际上它们仅仅用于标识目的。例如短语“第一增强现实设备”和“第二增强现实设备”未必意味着第一增强现实设备在排序或优先级上在第二增强现实设备之前。实际上，这些短语仅仅用来标识不同的增强现实设备。
在权利要求书中，任何置于括号中的附图标记都不应当解释为限制权利要求。术语“包括”并不排除除了权利要求中所列出的元件或步骤之外的元件或步骤的存在。本发明可以借助于包括若干分离元件的硬件来实现，也可以通过适当编程的软件或固件来实现，或者通过它们的任意组合来实现。
在列举了若干装置的设备或系统权利要求中，这些装置中的一个或多个能够在同一个硬件项目中体现。仅仅某个措施记载在相互不同的从属权利要求中这个事实并不表明这些措施的组合不能被有利地使用。

Claims (16)

  1. 一种增强现实系统，其特征在于，所述系统包括：
    增强现实服务器和至少两个增强现实设备，所述至少两个增强现实设备包括第一增强现实设备和第二增强现实设备，
    所述第一增强现实设备包括：
    可被第一用户佩戴的设备主体；
    设置在所述设备主体内侧的脸部图像采集组件，当所述设备主体被第一用户佩戴时，所述脸部图像采集组件朝向第一用户脸部，且与所述第一用户脸部存在预设距离，所述脸部图像采集组件被配置用于采集所述第一用户的脸部图像；和
    第一通信模块，所述通信模块与所述脸部图像采集组件连接，配置用于向增强现实服务器发送所述脸部图像，
    所述第二增强现实设备包括：
    可被第二用户佩戴的设备主体；
    环境图像采集组件，所述环境图像采集组件设置在所述设备主体的外侧，被配置用于采集第二用户周围环境的图像；和
    第二通信模块，第二通信模块与所述环境图像采集组件连接，被配置用于并向所述增强现实服务器发送所述第二用户周围环境的图像，所述第一用户和所述第二用户位于同一现实场景中，
    所述增强现实服务器包括：
    接收模块，被配置用于接收所述第一用户的脸部图像和所述第二用户周围环境的图像；
    处理模块，被配置用于根据所述第一用户的脸部图像，对所述第二用户周围环境的图像进行增强现实处理；和
    发送模块，被配置用于并将处理后的所述第二用户周围环境的图像发送至所述第二增强现实设备。
  2. 根据权利要求1所述的系统，其特征在于，所述增强现实服务器还包括：
    检测子模块，被配置用于检测所述第二用户周围环境的图像中是否存在第一增强现实设备的图像；和
    替换子模块，被配置用于当所述第二用户周围环境的图像中存在 第一增强现实设备的图像时，用所述第一用户的脸部图像替换所述第一增强现实设备的图像。
  3. 根据权利要求2所述的系统，其特征在于，
    所述第一增强现实设备还包括标定装置，所述标定装置设置在所述设备主体的外侧，被配置用于发出标定信号，所述标定信号用于指示所述第一增强现实设备，
    所述第二增强现实设备的环境图像采集组件还被配置用于检测所述标定信号，并且根据所述标定信号，确定所述第一增强现实设备的标识，获取所述第一增强现实设备在所述第二用户周围环境的图像中的位置信息，所述第二通信模块被配置用于向所述增强现实服务器发送所述位置信息以及所述位置信息对应的所述第一增强现实设备的标识，
    所述检测子模块还被配置用于：
    检测所述第二用户周围环境的图像中，所述位置信息指示的位置是否存在增强现实设备的图像；和
    当所述第二用户周围环境的图像中，所述位置信息指示的位置存在增强现实设备的图像时，根据所述第一增强现实设备的标识，确定所述位置信息指示的位置的增强现实设备的图像为所述第一增强现实设备的图像。
  4. 根据权利要求2所述的系统，其特征在于，所述第一增强现实设备的设备主体上设置有用于指示所述第一增强现实设备的标记图案，
    所述检测子模块还被配置用于：
    检测所述第二用户周围环境的图像中是否存在增强现实设备的图像；
    当所述第二用户周围环境的图像中存在增强现实设备的图像时，检测所述增强现实设备的图像中是否存在所述标记图案；
    当所述增强现实设备的图像中存在所述标记图案时，确定所述增强现实设备的图像为所述第一增强现实设备的图像。
  5. 根据权利要求2至4任一所述的系统，其特征在于，
    所述第一增强现实设备还包括第一运动传感器，被配置用于获取所述第一用户头部的第一运动状态数据，
    所述第一通信模块还被配置用于向所述增强现实服务器发送所述第一运动状态数据，
    所述第二增强现实设备还包括第二运动传感器，被配置用于获取所述第二用户头部的第二运动状态数据，
    所述第二通信模块还被配置用于向所述增强现实服务器发送所述第二运动状态数据，
    所述增强现实服务器还包括调整模块，被配置用于根据所述第一运动状态数据和所述第二运动状态数据，调整所述第一用户的脸部图像在所述第二用户周围环境的图像中的设置角度。
  6. 根据权利要求5所述的系统，其特征在于，
    所述第一运动状态数据包括所述第一用户头部在预设的基准坐标系中的第一偏转角度，所述第二运动状态数据包括所述第二用户头部在所述预设的基准坐标系中的第二偏转角度，；
    所述调整模块被配置用于：根据所述第一偏转角度和所述第二偏转角度，调整所述第一用户的脸部图像在所述第二用户周围环境的图像中的设置角度。
  7. 一种增强现实设备，其特征在于，所述设备包括：
    可被用户佩戴的设备主体；
    设置在所述设备主体内侧的脸部图像采集组件，当所述设备主体被用户佩戴时，所述脸部图像采集组件朝向用户脸部，且与所述用户脸部存在预设距离，所述脸部图像采集组件被配置用于采集所述用户的脸部图像；以及
    通信模块，所述通信模块与所述脸部图像采集组件连接，被配置用于向增强现实服务器发送所述脸部图像。
  8. 根据权利要求7所述的设备，其特征在于，所述设备还包括：
    标定装置，所述标定装置设置在所述设备主体的外侧，所述标定装置被配置用于发出标定信号，所述标定信号用于指示所述增强现实设备。
  9. 根据权利要求7所述的设备，其特征在于，所述设备还包括：
    环境图像采集组件，所述环境图像采集组件设置在所述设备主体的外侧，所述环境图像采集组件被配置用于采集所述用户周围环境的图像；
    所述通信模块与所述环境图像采集组件连接，还被配置用于向所述增强现实服务器发送所述用户周围环境的图像。
  10. 根据权利要求9所述的设备，其特征在于，
    所述环境图像采集组件还被配置用于在采集所述用户周围环境的图像时，检测其它增强现实设备发出的标定信号，并根据检测到的所述标定信号，确定所述其它增强现实设备的标识，并获取所述其它增强现实设备在所述用户周围环境的图像中的位置信息；
    所述通信模块还被配置用于向所述增强现实服务器发送所述位置信息以及所述位置信息对应的所述其它增强现实设备的标识。
  11. 根据权利要求7所述的设备，其特征在于，所述设备还包括：
    运动传感器，被配置用于获取所述用户头部的运动状态数据；
    所述通信模块与所述运动传感器连接，还被配置用于将所述运动状态数据发送至增强现实服务器。
  12. 根据权利要求7至11任一所述的设备，其特征在于，
    所述设备主体上设置有用于指示所述增强现实设备的标记图案。
  13. 一种图像处理方法，其特征在于，该图像处理方法用于增强现实服务器，所述方法包括：
    接收第一增强现实设备发送的第一用户的脸部图像；
    接收第二增强现实设备发送的第二用户周围环境的图像，所述第一用户和所述第二用户位于同一现实场景中；
    根据所述第一用户的脸部图像，对所述第二用户周围环境的图像进行增强现实处理；
    将处理后的所述第二用户周围环境的图像发送至所述第二增强现实设备。
  14. 根据权利要求13所述的方法，其特征在于，
    所述根据所述第一用户的脸部图像，对所述第二用户周围环境的图像进行增强现实处理，包括：
    检测所述第二用户周围环境的图像中是否存在第一增强现实设备的图像；
    当所述第二用户周围环境的图像中存在第一增强现实设备的图像时，用所述第一用户的脸部图像替换所述第一增强现实设备的图像。
  15. 一种图像处理装置，其特征在于，该图像处理装置用于增强 现实服务器，所述图像处理装置包括：
    第一接收模块，被配置用于接收第一增强现实设备发送的第一用户的脸部图像；
    第二接收模块，被配置用于接收第二增强现实设备发送的第二用户周围环境的图像，所述第一用户和所述第二用户位于同一现实场景中；
    处理模块，被配置用于根据所述第一用户的脸部图像，对所述第二用户周围环境的图像进行增强现实处理；
    发送模块，被配置用于将处理后的所述第二用户周围环境的图像发送至所述第二增强现实设备。
  16. 根据权利要求15所述的图像处理装置，其特征在于，
    所述处理模块进一步包括：
    检测子模块，被配置用于检测所述第二用户周围环境的图像中是否存在第一增强现实设备的图像；
    替换子模块，被配置用于当所述第二用户周围环境的图像中存在第一增强现实设备的图像时，用所述第一用户的脸部图像替换所述第一增强现实设备的图像。
PCT/CN2016/082754 2016-03-25 2016-05-20 增强现实设备、系统、图像处理方法及装置 WO2017161660A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/536,259 US10665021B2 (en) 2016-03-25 2016-05-20 Augmented reality apparatus and system, as well as image processing method and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610179196.4 2016-03-25
CN201610179196.4A CN105867617B (zh) 2016-03-25 2016-03-25 增强现实设备、系统、图像处理方法及装置

Publications (1)

Publication Number Publication Date
WO2017161660A1 true WO2017161660A1 (zh) 2017-09-28

Family

ID=56624962

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/082754 WO2017161660A1 (zh) 2016-03-25 2016-05-20 增强现实设备、系统、图像处理方法及装置

Country Status (3)

Country Link
US (1) US10665021B2 (zh)
CN (1) CN105867617B (zh)
WO (1) WO2017161660A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198874B2 (en) * 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
WO2018026893A1 (en) * 2016-08-03 2018-02-08 Google Llc Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments
US20180077092A1 (en) * 2016-09-09 2018-03-15 Tariq JALIL Method and system for facilitating user collaboration
US11218431B2 (en) 2016-09-09 2022-01-04 Tariq JALIL Method and system for facilitating user collaboration
CN107168619B (zh) * 2017-03-29 2023-09-19 腾讯科技（深圳）有限公司 用户生成内容处理方法和装置
CN107203263A (zh) * 2017-04-11 2017-09-26 北京峰云视觉技术有限公司 一种虚拟现实眼镜系统及图像处理方法
CN108805984B (zh) * 2017-04-28 2021-05-04 京东方科技集团股份有限公司 显示系统和图像显示方法
US10216333B2 (en) * 2017-06-30 2019-02-26 Microsoft Technology Licensing, Llc Phase error compensation in single correlator systems
US11145124B2 (en) 2017-08-30 2021-10-12 Ronald H. Winston System and method for rendering virtual reality interactions
CN116700489A (zh) * 2018-03-13 2023-09-05 罗纳德·温斯顿 虚拟现实系统和方法
CN108551420B (zh) * 2018-04-08 2021-12-14 北京灵犀微光科技有限公司 增强现实设备及其信息处理方法
CN109597484A (zh) * 2018-12-03 2019-04-09 山东浪潮商用系统有限公司 一种基于vr虚拟现实的自助办税系统及方法
US11016630B2 (en) * 2019-01-31 2021-05-25 International Business Machines Corporation Virtual view-window
CN109978945B (zh) * 2019-02-26 2021-08-31 浙江舜宇光学有限公司 一种增强现实的信息处理方法和装置
CN111698481B (zh) * 2020-06-23 2021-07-23 湖北视纪印象科技股份有限公司 基于云计算的智能交互机器人监测系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120256820A1 (en) * 2011-04-08 2012-10-11 Avinash Uppuluri Methods and Systems for Ergonomic Feedback Using an Image Analysis Module
US20120327196A1 (en) * 2010-05-24 2012-12-27 Sony Computer Entertainment Inc. Image Processing Apparatus, Image Processing Method, and Image Communication System
CN103257703A (zh) * 2012-02-20 2013-08-21 联想(北京)有限公司 一种增强现实装置及方法
CN104935866A (zh) * 2014-03-19 2015-09-23 华为技术有限公司 实现视频会议的方法、合成设备和系统
CN205430495U (zh) * 2016-03-25 2016-08-03 京东方科技集团股份有限公司 增强现实设备及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100164990A1 (en) * 2005-08-15 2010-07-01 Koninklijke Philips Electronics, N.V. System, apparatus, and method for augmented reality glasses for end-user programming
JP2013186691A (ja) * 2012-03-08 2013-09-19 Casio Comput Co Ltd 画像処理装置及び画像処理方法並びにプログラム
JP5966510B2 (ja) * 2012-03-29 2016-08-10 ソニー株式会社 情報処理システム
CN102866506A (zh) * 2012-09-21 2013-01-09 苏州云都网络技术有限公司 增强现实眼镜及其实现方法
US9851787B2 (en) * 2012-11-29 2017-12-26 Microsoft Technology Licensing, Llc Display resource management
KR102019124B1 (ko) * 2013-01-04 2019-09-06 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 제어 방법
EP3042152B1 (en) * 2013-09-04 2022-11-09 Essilor International Navigation method based on a see-through head-mounted device
US9672416B2 (en) * 2014-04-29 2017-06-06 Microsoft Technology Licensing, Llc Facial expression tracking
US9719871B2 (en) * 2014-08-09 2017-08-01 Google Inc. Detecting a state of a wearable device
CN104571532B (zh) * 2015-02-04 2018-01-30 网易有道信息技术（北京）有限公司 一种实现增强现实或虚拟现实的方法及装置
US9910275B2 (en) * 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices
US10165949B2 (en) * 2015-06-14 2019-01-01 Facense Ltd. Estimating posture using head-mounted cameras
CN104966318B (zh) * 2015-06-18 2017-09-22 清华大学 具有图像叠加和图像特效功能的增强现实方法
CN105183147A (zh) * 2015-08-03 2015-12-23 众景视界（北京）科技有限公司 头戴式智能设备及其建模三维虚拟肢体的方法
CN205430995U (zh) 2016-03-01 2016-08-10 陈东彩 简易烟苗移植定距滚轮

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120327196A1 (en) * 2010-05-24 2012-12-27 Sony Computer Entertainment Inc. Image Processing Apparatus, Image Processing Method, and Image Communication System
US20120256820A1 (en) * 2011-04-08 2012-10-11 Avinash Uppuluri Methods and Systems for Ergonomic Feedback Using an Image Analysis Module
CN103257703A (zh) * 2012-02-20 2013-08-21 联想(北京)有限公司 一种增强现实装置及方法
CN104935866A (zh) * 2014-03-19 2015-09-23 华为技术有限公司 实现视频会议的方法、合成设备和系统
CN205430495U (zh) * 2016-03-25 2016-08-03 京东方科技集团股份有限公司 增强现实设备及系统

Also Published As

Publication number Publication date
CN105867617B (zh) 2018-12-25
US10665021B2 (en) 2020-05-26
US20180061133A1 (en) 2018-03-01
CN105867617A (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
WO2017161660A1 (zh) 增强现实设备、系统、图像处理方法及装置
KR101761751B1 (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
CN108369653B (zh) 使用眼睛特征的眼睛姿态识别
US9460340B2 (en) Self-initiated change of appearance for subjects in video and images
US20210042992A1 (en) Assisted augmented reality
US10802606B2 (en) Method and device for aligning coordinate of controller or headset with coordinate of binocular system
KR101822471B1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
JP2021530817A (ja) 画像ディスプレイデバイスの位置特定マップを決定および／または評価するための方法および装置
WO2014071254A4 (en) Wireless wrist computing and control device and method for 3d imaging, mapping, networking and interfacing
US20190215505A1 (en) Information processing device, image generation method, and head-mounted display
JP2005500757A (ja) ３ｄビデオ会議システム
TW201937922A (zh) 場景重建系統、方法以及非暫態電腦可讀取媒體
US10838515B1 (en) Tracking using controller cameras
CN109155055B (zh) 关注区域图像生成装置
WO2018146922A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN111179341B (zh) 一种增强现实设备与移动机器人的配准方法
CN105893452B (zh) 一种呈现多媒体信息的方法及装置
WO2017163648A1 (ja) 頭部装着装置
CN205430495U (zh) 增强现实设备及系统
WO2022176450A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN105894581B (zh) 一种呈现多媒体信息的方法及装置
US20230028976A1 (en) Display apparatus, image generation method, and program
JP2014155635A (ja) 視線計測装置、注視領域の表示方法および注視点のガウス分布の表示方法
TWI460683B (zh) The way to track the immediate movement of the head
WO2017098999A1 (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、コンピュータープログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 15536259

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16895012

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16895012

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 19/02/2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16895012

Country of ref document: EP

Kind code of ref document: A1