WO2017054421A1 - 调整虚拟现实图像的方法及装置 - Google Patents

调整虚拟现实图像的方法及装置 Download PDF

Info

Publication number
WO2017054421A1
WO2017054421A1 PCT/CN2016/076543 CN2016076543W WO2017054421A1 WO 2017054421 A1 WO2017054421 A1 WO 2017054421A1 CN 2016076543 W CN2016076543 W CN 2016076543W WO 2017054421 A1 WO2017054421 A1 WO 2017054421A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinate system
target
projection
dimensional
posture angle
Prior art date
Application number
PCT/CN2016/076543
Other languages
English (en)
French (fr)
Inventor
张大为
龙寿伦
李刚
张丰学
熊旭
Original Assignee
深圳多新哆技术有限责任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳多新哆技术有限责任公司 filed Critical 深圳多新哆技术有限责任公司
Priority to US15/763,718 priority Critical patent/US11151790B2/en
Priority to KR1020187011775A priority patent/KR102068801B1/ko
Priority to JP2018516785A priority patent/JP6622395B2/ja
Priority to EP16850049.4A priority patent/EP3358524A4/en
Publication of WO2017054421A1 publication Critical patent/WO2017054421A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Definitions

  • the present invention relates to the field of virtual reality, and in particular, to a method and apparatus for adjusting a virtual reality image.
  • Virtual Realiy (VR) technology refers to the use of electronic devices to construct a virtual space, and according to the virtual space, to provide users with a technique for visual, auditory and other sensory simulation.
  • the use of virtual reality technology allows the user to interact with virtual objects in the virtual space, providing the user with an experience of visual, auditory, tactile, and the like.
  • the virtual reality device In order to enhance the authenticity of the virtual space and provide the user with an immersive visual experience, the virtual reality device often needs to provide different images for the user as the user's posture is adjusted.
  • VR glasses when a user wears VR glasses, the position and posture angle of the VR glasses change with the movement of the user or the posture of the user's head, and the image content provided by the VR glasses also needs to follow. A change has occurred. For example, if the user walks forward, the VR glasses need to adjust the provided image of the VR glasses according to the distance and speed at which the user walks forward; if the user makes an action such as turning or turning, the VR glasses also need to be oriented according to the direction of the action. Amplitude, adjusting the image provided by the VR glasses to provide the user with an immersive visual experience.
  • Embodiments of the present invention provide a method and apparatus for adjusting a virtual reality image to meet a technical requirement for adjusting a virtual reality image provided by a virtual reality device according to a position change and a posture angle change of a virtual reality device in reality.
  • an embodiment of the present invention provides a method for adjusting a virtual reality image, the method comprising: acquiring a first three-dimensional coordinate and a first posture angle of a positioning component of the virtual reality device in a real space coordinate system, where
  • the real space coordinate system is a three-dimensional coordinate system established with a specified point in the real space as an origin; the first three-dimensional coordinate is converted into a second three-dimensional coordinate according to a preset first conversion relationship, and Converting the first attitude angle to a second attitude angle, wherein the second three-dimensional coordinate is a coordinate of a focus of the display module of the virtual reality device in the real space coordinate system, and the second posture angle is the Displaying an attitude angle of the module in the real space coordinate system; converting the second three-dimensional coordinate into a target three-dimensional coordinate in a virtual space according to a preset second conversion relationship, and converting the second posture angle into a virtual a target attitude angle in the space; a point indicated by the three-dimensional coordinate of the target in any one of the
  • the converting the second three-dimensional coordinates into target three-dimensional coordinates in a virtual space according to a preset second conversion relationship, and Converting the two attitude angles into the target attitude angles in the virtual space comprises: converting the second three-dimensional coordinates into target three-dimensional coordinates in the virtual space, keeping the second attitude angles consistent with the target attitude angles;
  • a point indicated by the three-dimensional coordinate of the target in any one of the specified coordinate systems in the space is a projection center, and determining a projection surface in the virtual space according to the target posture angle includes: acquiring a second attitude angle corresponding to a visual field direction of the display module a first dimension value of the dimension; a dimension value corresponding to the dimension of the perspective projection direction is set as the first dimension value; a point indicated by the target three-dimensional coordinate is used as a projection center, and a projection surface is determined according to the perspective projection direction;
  • the real space coordinate system is a virtual point in the real space with the specified point as the origin
  • the converting the second three-dimensional coordinate into a target three-dimensional coordinate in a virtual space according to a preset second conversion relationship, and Converting the two attitude angles into the target attitude angles in the virtual space comprises: converting the second three-dimensional coordinates into target three-dimensional coordinates in the virtual space, keeping the second attitude angles consistent with the target attitude angles;
  • the difference between the conversion relationship and the reference conversion relationship is a fixed value in a specified time period, where
  • the reference conversion relationship is a conversion relationship between the real space coordinate system and the real space reference coordinate system used when the observer observes the virtual space through the virtual reality device.
  • the origin of the specified coordinate system is a position in the virtual space when the reference observer observes the virtual space through the virtual reality device .
  • a point indicated by the three-dimensional coordinate of the target in any one of the specified coordinate systems in the virtual space is a projection center, and the virtual target is determined according to the target posture angle.
  • the projection surface in the space includes: determining a reference projection point set by the reference observer; calculating a position difference value between the reference projection point and the projection center at a specific moment; converting the specified coordinate system into a reference coordinate system; a point indicated by the three-dimensional coordinate of the target in the reference coordinate system is a projection center, and a projection surface in the virtual space is determined according to the target posture angle.
  • the embodiment of the present invention further provides an apparatus for adjusting a virtual reality image
  • the apparatus includes: an acquiring unit, configured to acquire a first three-dimensional coordinate of a positioning component of the virtual reality device in a real space coordinate system, and a posture angle, the real space coordinate system is a three-dimensional coordinate system established with a specified point in the real space as a origin; the first conversion unit is configured to convert the first three-dimensional coordinate according to a preset first conversion relationship a second three-dimensional coordinate, and converting the first attitude angle to a second posture angle, wherein the second three-dimensional coordinate is a coordinate of a focus of the display module of the virtual reality device in the real space coordinate system, The second attitude angle is an attitude angle of the display module in the real space coordinate system, and the second conversion unit is configured to convert the second three-dimensional coordinate into a virtual space according to a preset second conversion relationship.
  • a target three-dimensional coordinate for specifying a sitting in any one of the virtual spaces a point indicated by the target three-dimensional coordinate in the system is a projection center, and a projection surface in the virtual space is determined according to the target posture angle; and a projection unit is configured to view the virtual object in the virtual space in a perspective projection manner
  • the imaging area in the projection surface generates a two-dimensional image; and the display unit is configured to display the two-dimensional image on a display screen of the display module.
  • the second converting unit is specifically configured to convert the second three-dimensional coordinates into target three-dimensional coordinates in a virtual space, and maintain the second The attitude angle is consistent with the target attitude angle;
  • the projection surface determining unit includes: a first dimension value acquisition subunit, configured to acquire a first dimension value of a dimension corresponding to a view direction of the display module in the second posture angle; a first projection direction determining subunit configured to set a dimension value of the corresponding dimension of the perspective projection direction to the first dimension value; the first projection a surface determining subunit, configured to use a point indicated by the target three-dimensional coordinate as a projection center, and determine a projection surface according to the perspective projection direction; wherein the real space coordinate system is a point in a real space with a specified point as an origin.
  • the direction of gravity is the axis of the first coordinate axis
  • the virtual reality device observes the three-dimensional coordinate system established by the observer of the virtual space on the real world level as the axis of the second coordinate axis; the specified coordinate Is the world coordinate system in the virtual space.
  • the second converting unit is specifically configured to convert the second three-dimensional coordinate into a target three-dimensional coordinate in a virtual space, and maintain the second
  • the attitude angle determining unit includes: a second dimension value determining subunit, configured to acquire a second dimension value of a dimension corresponding to a visual field direction of the display module in the second posture angle; a projection direction determining subunit, configured to set a dimension value corresponding to a dimension of the perspective projection direction to the second dimension value; and a second projection surface determining subunit configured to use a point indicated by the target three-dimensional coordinate as a projection center, Determining a projection surface according to the perspective projection direction; wherein a conversion relationship between the real space coordinate system and the real space reference coordinate system is the same as a conversion relationship between the specified coordinate system and the world coordinate system in the virtual space,
  • the real-space reference coordinate system takes the specified point as the origin in the real space, and the gravity direction of the real space is the first coordinate axis,
  • the projection surface determining unit includes: a projection point determining subunit, configured to determine a reference projection point set by a reference observer; and a difference calculation subunit For calculating a position difference between the reference projection point and the projection center at a specific time; a coordinate system conversion subunit, configured to convert the specified coordinate system into a reference coordinate system according to the position difference value; And a surface determining subunit, wherein a point indicated by the target three-dimensional coordinate in the reference coordinate system is a projection center, and a projection surface in the virtual space is determined according to the target posture angle.
  • the first three-dimensional coordinates and the first posture angle of the positioning component of the virtual reality device in the real space coordinate system are acquired, wherein the real space coordinate system is established by using the specified point as the origin in the real space.
  • a three-dimensional coordinate system converting the first three-dimensional coordinates into second three-dimensional coordinates according to a preset first conversion relationship, and converting the first posture angle into a second attitude angle, wherein the second three-dimensional coordinates are a coordinate of a focus of the display module of the virtual reality device in the real space coordinate system, the second posture angle being an attitude angle of the display module in the real space coordinate system; according to a preset second Converting the second three-dimensional coordinates into target three-dimensional coordinates in the virtual space, and converting the second posture angle into a target attitude angle in the virtual space; the target in the specified coordinate system in any one of the virtual spaces The point at which the three-dimensional coordinates are indicated is in the projection And determining a projection surface in the virtual space according to the target attitude angle;
  • the projection surface can be determined according to the position and attitude angle of the VR device in the real space, and a two-dimensional image can be generated, so that the VR device can generate the position when the position or the attitude angle changes.
  • the 2D image is adjusted.
  • the virtual reality image provided by the virtual reality device can be adjusted according to the position change and the attitude angle change of the virtual reality device in reality.
  • FIG. 1 is a schematic flow chart of an embodiment of a method for adjusting a virtual reality image according to the present invention
  • FIG. 2 is a schematic structural diagram of an embodiment of an apparatus for adjusting a virtual reality image according to the present invention.
  • FIG. 1 is a schematic flowchart diagram of an embodiment of a method for adjusting a virtual reality image according to the present invention.
  • the method may be performed by a Virtual Reality (VR) device, and the VR device may be a VR glasses, a VR helmet, or the like.
  • the positioning component of the virtual reality device may have a real space location and a spatial attitude angle acquisition and reporting. Capable equipment.
  • the method comprises the following steps:
  • Step 101 Acquire a first three-dimensional coordinate and a first posture angle of a positioning component of the virtual reality device in a real space coordinate system.
  • the position and attitude angle of the VR device positioning component in the real space can reflect the position and attitude angle of the VR device in the real space. Therefore, the VR device can first obtain the first three-dimensional coordinates and the first posture angle of the positioning component in the real space coordinate system, wherein the real space coordinate system is a three-dimensional coordinate system established by using the specified point as the origin in the real space. .
  • the first three-dimensional coordinate can be regarded as the coordinate of the VR device in the real space coordinate system
  • the first posture angle can be reflected as the posture of the VR device in the display space coordinate system.
  • Step 102 Convert the first three-dimensional coordinates into second three-dimensional coordinates according to a preset first conversion relationship, and convert the first posture angle into a second posture angle.
  • the first three-dimensional coordinates may be converted into second three-dimensional coordinates according to a preset first conversion relationship, and the first posture angle is converted into a second posture angle, wherein the second three-dimensional coordinates are in the virtual
  • the focus of the display module of the real device is the coordinate in the real space coordinate system
  • the second posture angle is the attitude angle of the display module in the real space coordinate system.
  • the posture of the display module in the real space may be determined according to the second attitude angle, and the position of the focus of the display module in the real space may be determined according to the second three-dimensional coordinates.
  • the display module may be composed of a display screen and an optical component.
  • Step 103 Convert the second three-dimensional coordinates into target three-dimensional coordinates in the virtual space according to a preset second conversion relationship, and convert the second posture angle into a target posture angle in the virtual space.
  • the second three-dimensional coordinates may be converted into target three-dimensional coordinates in the virtual space according to a preset second conversion relationship, and the The second attitude angle is converted to a target attitude angle in the virtual space.
  • the second conversion relationship may be set as needed.
  • the coordinate value of the second three-dimensional coordinate may be directly used as the coordinate value of the target three-dimensional coordinate while maintaining the second posture angle and the target posture angle; or
  • the second three-dimensional coordinates are converted into target three-dimensional coordinates according to a predetermined coordinate conversion relationship, and the second posture angle is converted into the target posture angle according to a predetermined attitude angle conversion relationship.
  • Step 104 A point indicated by the three-dimensional coordinate of the target in any one of the designated coordinate systems in the virtual space is a projection center, and a projection surface in the virtual space is determined according to the target posture angle.
  • the projection surface in the virtual space can be determined according to the target three-dimensional coordinates and the target attitude angle.
  • the VR device may first obtain a first dimension value of a dimension corresponding to a view direction of the display module in the second posture angle; and then set a dimension value of the corresponding dimension of the perspective projection direction to the first dimension value; a point indicated by the target three-dimensional coordinate is used as a projection center, and a projection surface is determined according to the perspective projection direction, wherein the real space coordinate system is a target point in a real space with a specified point, and a gravity direction is a first coordinate axis.
  • the virtual reality device Observing, by the virtual reality device, a three-dimensional coordinate system established by an observer of the virtual space on the real world level surface as a second coordinate axis axial direction; the specified coordinate system is a world coordinate in the virtual space system.
  • the VR device may obtain a second dimension value of a dimension corresponding to a view direction of the display module in the second posture angle; and then set a dimension value of the corresponding dimension of the perspective projection direction to the second dimension value; a point indicated by the three-dimensional coordinates as a projection center, and a projection surface is determined according to the perspective projection direction; wherein a conversion relationship between the real space coordinate system and the real space reference coordinate system and the specified coordinate system and the virtual space The conversion relationship between the world coordinate systems is the same.
  • the real-space reference coordinate system is based on the specified point in the real space, the gravity direction of the real space is the axis of the first coordinate axis, and the guide direction or north in the real space.
  • the direction is the axis of the second coordinate axis, the established three-dimensional coordinate system.
  • the difference between the conversion relationship and the reference conversion relationship may be a fixed value within a specified time period, and the reference conversion relationship is a real space coordinate used when the reference observer observes the virtual space through the virtual reality device.
  • the origin of the specified coordinate system may be a position in the virtual space when the reference observer observes the virtual space through the virtual reality device.
  • the fact that the difference between the conversion relationship and the reference conversion relationship is a fixed value within a specified time period means that the reference conversion relationship can be converted into the conversion relationship in a fixed conversion manner within a specified time period.
  • the VR device may also first determine a reference projection point set by the reference observer; then calculate a position difference between the reference projection point and the projection center at a specific moment; and then specify the indication according to the position difference value.
  • the coordinate system is converted into a reference coordinate system; finally, a point indicated by the target three-dimensional coordinate in the reference coordinate system is a projection center, and a projection surface in the virtual space is determined according to the target posture angle.
  • a plane perpendicular to the projection direction in the virtual space may be selected as the projection surface, and the distance of the projection surface from the projection center may be different from the focus distance of the display module.
  • the distance between the displays is equal or proportional.
  • Step 105 Generate a two-dimensional image of the virtual object in the virtual space in a perspective projection manner on an imaging area in the projection surface.
  • the VR device may generate a two-dimensional image of the virtual object in the virtual space in a perspective projection manner in an imaging region in the projection surface.
  • the principle and implementation of the perspective projection can be seen in the prior art, and will not be described here.
  • Step 106 Display the two-dimensional image on a display screen of the display module.
  • the two-dimensional image After generating the two-dimensional image by perspective projection, the two-dimensional image may be displayed on a display screen of the display module.
  • the VR device can determine the projection surface according to the position and posture angle of the VR device in the real space, and generate a two-dimensional image, so that the VR device can generate the generated two-dimensional when the position or posture angle changes.
  • the image is adjusted.
  • the virtual reality image provided by the virtual reality device can be adjusted according to the position change and the attitude angle change of the virtual reality device in reality.
  • FIG. 2 is a schematic structural diagram of an apparatus for adjusting a virtual reality image according to the present invention.
  • the apparatus may include an acquisition unit 201, a first conversion unit 202, a second conversion unit 203, a projection surface determination unit 204, a projection unit 205, and a display unit 206.
  • the acquiring unit 201 is configured to acquire a first three-dimensional coordinate and a first posture angle of the positioning component of the virtual reality device in a real space coordinate system, where the real space coordinate system is established by using a specified point as a origin in the real space.
  • the three-dimensional coordinate system is configured to acquire a first three-dimensional coordinate and a first posture angle of the positioning component of the virtual reality device in a real space coordinate system, where the real space coordinate system is established by using a specified point as a origin in the real space.
  • the first converting unit 202 is configured to convert the first three-dimensional coordinates into a second three-dimensional coordinate according to a preset first conversion relationship, and convert the first posture angle into a second posture angle, wherein the second The coordinates of the three-dimensional coordinates in the display unit of the virtual reality device are in the real space coordinate system, and the second posture angle is an attitude angle of the display module in the real space coordinate system.
  • a second converting unit 203 configured to convert the second three-dimensional coordinates into target three-dimensional coordinates in a virtual space according to a preset second conversion relationship, and convert the second posture angle into a target attitude angle in the virtual space .
  • the projection surface determining unit 204 is configured to use a point indicated by the target three-dimensional coordinate in any one of the specified coordinate systems as a projection center, and determine a projection surface in the virtual space according to the target posture angle.
  • the projection unit 205 is configured to generate a two-dimensional image in a perspective area of the virtual object in the virtual space in a perspective area.
  • the display unit 206 is configured to display the two-dimensional image on a display screen of the display module.
  • the second converting unit 203 is specifically configured to convert the second three-dimensional coordinates into target three-dimensional coordinates in the virtual space, and keep the second posture angle consistent with the target posture angle.
  • the projection surface determining unit 204 includes: a first dimension value acquiring subunit, configured to acquire a first dimension value of a dimension corresponding to a visual field direction of the display module in the second posture angle; and a first projection direction determining subunit a dimension value for the corresponding dimension of the perspective projection direction is set as the first dimension value; a first projection surface determining subunit for using a point indicated by the target three-dimensional coordinate as a projection center, according to the perspective projection Determining a projection surface; wherein the real space coordinate system is an object in a real space with a specified point as an origin, and a direction of gravity is a first coordinate axis, and the observer observing the virtual space through the virtual reality device is at a real world level Set up
  • the predetermined forward direction is a three-dimensional coordinate system established by the axial direction of the second coordinate axis; the specified coordinate system is a world coordinate system in the virtual space.
  • the projection surface determining unit 204 includes: a second dimension value determining subunit, configured to acquire a second dimension value of a dimension corresponding to a visual field direction of the display module in the second posture angle; and a first projection direction determining subunit a dimension value for the corresponding dimension of the perspective projection direction is set as the second dimension value; a second projection surface determining subunit for using a point indicated by the target three-dimensional coordinate as a projection center, according to the perspective projection Determining a projection surface; wherein a conversion relationship between the real space coordinate system and the real space reference coordinate system is the same as a conversion relationship between the specified coordinate system and a world coordinate system in the virtual space, the real space reference The coordinate system is based on the specified point in the real space, the gravity direction of the real space is the axis of the first coordinate axis, the guide direction in the real space or the north direction is the axis of the second coordinate axis, and the established three-dimensional coordinate system .
  • the projection surface determining unit 204 includes: a projection point determining subunit, configured to determine a reference projection point set by a reference observer; and a difference calculation subunit, configured to calculate the reference projection point and the specific moment a position difference value of the projection center; a coordinate system conversion subunit for converting the specified coordinate system into a reference coordinate system according to the position difference value; and a third projection surface determining subunit for using the reference coordinate system
  • the point indicated by the target three-dimensional coordinate is a projection center, and the projection surface in the virtual space is determined according to the target posture angle.
  • the VR device can determine the projection surface according to the position and posture angle of the VR device in the real space, and generate a two-dimensional image, so that the VR device can generate the generated two-dimensional when the position or posture angle changes.
  • the image is adjusted.
  • the virtual reality image provided by the virtual reality device can be adjusted according to the position change and the attitude angle change of the virtual reality device in reality.
  • the techniques in the embodiments of the present invention can be implemented by means of software plus a necessary general hardware platform. Based on such understanding, the technical solution in the embodiments of the present invention may be embodied in the form of a software product in essence or in the form of a software product, which may be stored in a storage medium such as a ROM/RAM. , a disk, an optical disk, etc., including instructions for causing a computer device (which may be a personal computer, server, or network device, etc.) to perform the methods described in various embodiments of the present invention or portions of the embodiments.
  • a computer device which may be a personal computer, server, or network device, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种调整虚拟现实图像的方法及装置。所述方法包括：获取定位部件的第一三维坐标及第一姿态角（101）；将第一三维坐标转换为第二三维坐标，并将第一姿态角转换为第二姿态角（102）；将第二三维坐标转换为虚拟空间中的目标三维坐标，并将第二姿态角转换为虚拟空间中的目标姿态角（103）；确定虚拟空间中的投影面（104）；将虚拟空间中的虚拟物件以透视投影方式在投影面中的成像区域生成二维图像（105）；在显示模块的显示屏上显示二维图像（106）。该方法及装置，可以根据VR设备在现实空间中的位置及姿态角确定投影面并生成二维图像，从而可以实现根据虚拟现实设备在现实中的位置变化及姿态角变化，调整虚拟现实设备所提供的虚拟现实图像。

Description

调整虚拟现实图像的方法及装置
本申请要求于2015年9月30日提交中国专利局、申请号为201510638940.8、发明名称为“调整虚拟现实图像的方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及虚拟现实领域，尤其涉及调整虚拟现实图像的方法及装置。
背景技术
虚拟现实(Virtual Realiy，简称VR)技术是指利用电子设备构建一个虚拟空间，并且根据该虚拟空间为用户提供关于视觉、听觉等感官模拟的一种技术。采用虚拟现实技术可以使用户与该虚拟空间内的虚拟物件进行互动，为用户提供如同身历其境的视觉、听觉、触觉等体验。
为增强虚拟空间的真实性，为用户提供身临其境的视觉体验，虚拟现实设备常常需要随着用户的姿态调整为用户提供不同的图像。以VR眼镜为例，当用户头戴VR眼镜时，VR眼镜的位置及姿态角会随着用户的运动或用户头部姿态的变化而变化，并且VR眼镜所提供的图像内容，也需要随之发生变化。例如，如果用户向前行走，VR眼镜需要根据用户向前行走的距离和速度，调整VR眼镜的所提供的图像；如果用户做出扭头或转身等动作时，VR眼镜同样需要根据动作的方向和幅度，调整VR眼镜的所提供的图像，从而为用户提供身临其境的视觉体验。
因此需要一种方法，可以根据虚拟现实设备在现实中的位置变化及姿态角变化，调整虚拟现实设备所提供的虚拟现实图像。
发明内容
本发明实施例提供了调整虚拟现实图像的方法及装置，以满足根据虚拟现实设备在现实中的位置变化及姿态角变化，调整虚拟现实设备所提供的虚拟现实图像的技术需求。
第一方面，本发明实施例提供了一种调整虚拟现实图像的方法，该方法包括：获取虚拟现实设备的定位部件在现实空间坐标系中的第一三维坐标及第一姿态角，其 中，所述现实空间坐标系为以现实空间中以指定点为原点所建立的三维坐标系；根据预设的第一转换关系将所述第一三维坐标转换为第二三维坐标，并将所述第一姿态角转换为第二姿态角，其中所述第二三维坐标在所述虚拟现实设备的显示模块的焦点在所述现实空间坐标系中的坐标，所述第二姿态角为所述显示模块在所述现实空间坐标系中的姿态角；根据预设的第二转换关系将所述第二三维坐标转换为虚拟空间中的目标三维坐标，并将所述第二姿态角转换为虚拟空间中的目标姿态角；以虚拟空间中任意一个指定坐标系中所述目标三维坐标作指示的点为投影中心，并根据所述目标姿态角确定虚拟空间中的投影面；将所述虚拟空间中的虚拟物件以透视投影方式在所述投影面中的成像区域生成二维图像；在所述显示模块的显示屏上显示所述二维图像。
结合第一方面，在第一方面第一种可能的实现方式中，所述根据预设的第二转换关系将所述第二三维坐标转换为虚拟空间中的目标三维坐标，并将所述第二姿态角转换为虚拟空间中的目标姿态角包括：将所述第二三维坐标转换为虚拟空间中的目标三维坐标，保持所述第二姿态角与所述目标姿态角一致；所述以虚拟空间中任意一个指定坐标系中所述目标三维坐标作指示的点为投影中心，并根据所述目标姿态角确定虚拟空间中的投影面包括：获取第二姿态角中与显示模块视野方向相对应维度的第一维度值；将透视投影方向对应维度的维度值设置为所述第一维度值；以所述目标三维坐标所指示的点作为投影中心，根据所述透视投影方向确定投影面；其中，所述现实空间坐标系为以现实空间中以指定点为原点，重力方向为第一坐标轴轴向，通过所述虚拟现实设备观察虚拟空间的观察者在现实世界水平面上设定的正前方作为第二坐标轴轴向所建立的三维坐标系；所述指定坐标系为虚拟空间中的世界坐标系。
结合第一方面，在第一方面第二种可能的实现方式中，所述根据预设的第二转换关系将所述第二三维坐标转换为虚拟空间中的目标三维坐标，并将所述第二姿态角转换为虚拟空间中的目标姿态角包括：将所述第二三维坐标转换为虚拟空间中的目标三维坐标，保持所述第二姿态角与所述目标姿态角一致；所述以虚拟空间中任意一个指定坐标系中所述目标三维坐标作指示的点为投影中心，并根据所述目标姿态角确定虚拟空间中的投影面包括：获取第二姿态角中与显示模块视野方向相对应维度的第二维度值；将透视投影方向对应维度的维度值设置为所述第二维度值；以所述目标三维坐标所指示的点作为投影中心，根据所述透视投影方向确定投影面；其中，所述现实空间坐标系与现实空间参考坐标系之间的转换关系与所述指定坐标系与虚拟空间中的世界坐标系之间的转换关系相同，所述现实空间参考坐标系为以现实空间中以指定点为原点，现实空间的重力方向为第一坐标轴轴向，现实空间中的指南方向或指北方向 为第二坐标轴轴向，所建立的三维坐标系。
结合第一方面第二种可能的实现方式，在第一方面第三种可能的实现方式中，所述转换关系与参考转换关系之间的差值在指定时间段内的为固定值，其中所述参考转换关系为参考观察者通过虚拟现实设备观察虚拟空间时，所采用的现实空间坐标系与现实空间参考坐标系之间的转换关系。
结合第一方面第三种可能的实现方式，在第一方面第四种可能的实现方式中，所述指定坐标系的原点为参考观察者通过虚拟现实设备观察虚拟空间时虚拟空间中的一个位置。
结合第一方面，在第一方面第五种可能的实现方式中，以虚拟空间中任意一个指定坐标系中所述目标三维坐标作指示的点为投影中心，并根据所述目标姿态角确定虚拟空间中的投影面包括：确定参考观察者设定的参考投影点；计算特定时刻所述参考投影点与所述投影中心的位置差值；根据所述位置差值将所述指定坐标系转换为参考坐标系；以所述参考坐标系中所述目标三维坐标作指示的点为投影中心，并根据所述目标姿态角确定虚拟空间中的投影面。
第二方面，本发明实施例还提供了一种调整虚拟现实图像的装置，所述装置包括：获取单元，用于获取虚拟现实设备的定位部件在现实空间坐标系中的第一三维坐标及第一姿态角，所述现实空间坐标系为以现实空间中以指定点为原点所建立的三维坐标系；第一转换单元，用于根据预设的第一转换关系将所述第一三维坐标转换为第二三维坐标，并将所述第一姿态角转换为第二姿态角，其中所述第二三维坐标在所述虚拟现实设备的显示模块的焦点在所述现实空间坐标系中的坐标，所述第二姿态角为所述显示模块在所述现实空间坐标系中的姿态角；第二转换单元，用于根据预设的第二转换关系将所述第二三维坐标转换为虚拟空间中的目标三维坐标，并将所述第二姿态角转换为虚拟空间中的目标姿态角；投影面确定单元，用于以虚拟空间中任意一个指定坐标系中所述目标三维坐标作指示的点为投影中心，并根据所述目标姿态角确定虚拟空间中的投影面；投影单元，用于将所述虚拟空间中的虚拟物件以透视投影方式在所述投影面中的成像区域生成二维图像；显示单元，用于在所述显示模块的显示屏上显示所述二维图像。
结合第二方面，在第二方面第一种可能的实现方式中，所述第二转换单元，具体用于将所述第二三维坐标转换为虚拟空间中的目标三维坐标，保持所述第二姿态角与所述目标姿态角一致；所述投影面确定单元包括：第一维度值获取子单元，用于获取 第二姿态角中与显示模块视野方向相对应维度的第一维度值；第一投影方向确定子单元，用于将透视投影方向对应维度的维度值设置为所述第一维度值；第一投影面确定子单元，用于以所述目标三维坐标所指示的点作为投影中心，根据所述透视投影方向确定投影面；其中，所述现实空间坐标系为以现实空间中以指定点为原点，重力方向为第一坐标轴轴向，通过所述虚拟现实设备观察虚拟空间的观察者在现实世界水平面上设定的正前方作为第二坐标轴轴向所建立的三维坐标系；所述指定坐标系为虚拟空间中的世界坐标系。
结合第二方面，在第二方面第二种可能的实现方式中，所述第二转换单元，具体用于将所述第二三维坐标转换为虚拟空间中的目标三维坐标，保持所述第二姿态角与所述目标姿态角一致；所述投影面确定单元包括：第二维度值确定子单元，用于获取第二姿态角中与显示模块视野方向相对应维度的第二维度值；第一投影方向确定子单元，用于将透视投影方向对应维度的维度值设置为所述第二维度值；第二投影面确定子单元，用于以所述目标三维坐标所指示的点作为投影中心，根据所述透视投影方向确定投影面；其中，所述现实空间坐标系与现实空间参考坐标系之间的转换关系与所述指定坐标系与虚拟空间中的世界坐标系之间的转换关系相同，所述现实空间参考坐标系为以现实空间中以指定点为原点，现实空间的重力方向为第一坐标轴轴向，现实空间中的指南方向或指北方向为第二坐标轴轴向，所建立的三维坐标系。
结合第二方面，在第二方面第三种可能的实现方式中，所述投影面确定单元包括：投影点确定子单元，用于确定参考观察者设定的参考投影点；差值计算子单元，用于计算特定时刻所述参考投影点与所述投影中心的位置差值；坐标系转换子单元，用于根据所述位置差值将所述指定坐标系转换为参考坐标系；第三投影面确定子单元，用于以所述参考坐标系中所述目标三维坐标作指示的点为投影中心，并根据所述目标姿态角确定虚拟空间中的投影面。
本发明实施例中，获取虚拟现实设备的定位部件在现实空间坐标系中的第一三维坐标及第一姿态角，其中，所述现实空间坐标系为以现实空间中以指定点为原点所建立的三维坐标系；根据预设的第一转换关系将所述第一三维坐标转换为第二三维坐标，并将所述第一姿态角转换为第二姿态角，其中所述第二三维坐标在所述虚拟现实设备的显示模块的焦点在所述现实空间坐标系中的坐标，所述第二姿态角为所述显示模块在所述现实空间坐标系中的姿态角；根据预设的第二转换关系将所述第二三维坐标转换为虚拟空间中的目标三维坐标，并将所述第二姿态角转换为虚拟空间中的目标姿态角；以虚拟空间中任意一个指定坐标系中所述目标三维坐标作指示的点为投影中 心，并根据所述目标姿态角确定虚拟空间中的投影面；将所述虚拟空间中的虚拟物件以透视投影方式在所述投影面中的成像区域生成二维图像；在所述显示模块的显示屏上显示所述二维图像。采用本发明所提供的方法及装置，可以根据VR设备在现实空间中的位置及姿态角确定投影面，并生成二维图像，从而使VR设备可以在自身位置或姿态角发生变化时能够对生成的二维图像进行调整。从而可以实现根据虚拟现实设备在现实中的位置变化及姿态角变化，调整虚拟现实设备所提供的虚拟现实图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明调整虚拟现实图像的方法一个实施例的流程示意图；
图2为本发明调整虚拟现实图像的装置的一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，为本发明调整虚拟现实图像的方法一个实施例的流程示意图。该方法可以由虚拟现实(Virtual Reality，简称VR)设备执行，所述VR设备可以是VR眼镜、VR头盔等，所述虚拟现实设备的定位部件可以是具有现实空间位置和空间姿态角获取和上报能力的设备。该方法包括如下步骤：
步骤101，获取虚拟现实设备的定位部件在现实空间坐标系中的第一三维坐标及第一姿态角。
由于VR设备定位部件在现实空间中的位置及姿态角可以反映VR设备在现实空间中的位置及姿态角。因此，VR设备首先可以获取定位部件在现实空间坐标系中的第一三维坐标及第一姿态角，其中，所述现实空间坐标系为以现实空间中以指定点为原点所建立的三维坐标系。通常情况下可以认为第一三维坐标即为VR设备在现实空间坐标系中的坐标，第一姿态角可以反映为VR设备在显示空间坐标系中的姿态。
步骤102，根据预设的第一转换关系将所述第一三维坐标转换为第二三维坐标，并将所述第一姿态角转换为第二姿态角。
由于在VR设备上，定位部件的位置与显示模块的位置之间相对固定，因此定位部件的位置与显示模块的焦点的位置之间也相对固定。同样的，定位部件的姿态角与显示模块的姿态角也是相对固定。因此可以根据预设的第一转换关系将所述第一三维坐标转换为第二三维坐标，并将所述第一姿态角转换为第二姿态角，其中所述第二三维坐标在所述虚拟现实设备的显示模块的焦点在所述现实空间坐标系中的坐标，所述第二姿态角为所述显示模块在所述现实空间坐标系中的姿态角。根据第二姿态角可以确定显示模块在现实空间中的姿态，而根据第二三维坐标可以确定显示模块的焦点在现实空间中的位置。在此需要说明的是，所述显示模块可以由显示屏及光学组件构成。
步骤103，根据预设的第二转换关系将所述第二三维坐标转换为虚拟空间中的目标三维坐标，并将所述第二姿态角转换为虚拟空间中的目标姿态角。
在确定了显示模块的姿态角及显示模块的焦点的第二三维坐标之后，可以根据预设的第二转换关系将所述第二三维坐标转换为虚拟空间中的目标三维坐标，并将所述第二姿态角转换为虚拟空间中的目标姿态角。
第二转换关系可以根据需要进行设定，例如，可以直接第二三维坐标的坐标值作为目标三维坐标的坐标值，同时保持所述第二姿态角与所述目标姿态角一致；或者，也可以按照预定的坐标转换关系将所述第二三维坐标转换为目标三维坐标，并按照预定在姿态角转换关系将所述第二姿态角转换为所述目标姿态角。
步骤104，以虚拟空间中任意一个指定坐标系中所述目标三维坐标作指示的点为投影中心，并根据所述目标姿态角确定虚拟空间中的投影面。
在目标三维坐标及目标姿态角确定之后，可以根据目标三维坐标及目标姿态角确定虚拟空间中的投影面。
可选的，VR设备可以首先获取第二姿态角中与显示模块视野方向相对应维度的第一维度值；然后将透视投影方向对应维度的维度值设置为所述第一维度值；在以所述目标三维坐标所指示的点作为投影中心，根据所述透视投影方向确定投影面，其中，所述现实空间坐标系为以现实空间中以指定点为原点，重力方向为第一坐标轴轴向，通过所述虚拟现实设备观察虚拟空间的观察者在现实世界水平面上设定的正前方作为第二坐标轴轴向所建立的三维坐标系；所述指定坐标系为虚拟空间中的世界坐标 系。
可选的，VR设备可以获取第二姿态角中与显示模块视野方向相对应维度的第二维度值；然后将透视投影方向对应维度的维度值设置为所述第二维度值；以所述目标三维坐标所指示的点作为投影中心，根据所述透视投影方向确定投影面；其中，所述现实空间坐标系与现实空间参考坐标系之间的转换关系与所述指定坐标系与虚拟空间中的世界坐标系之间的转换关系相同，所述现实空间参考坐标系为以现实空间中以指定点为原点，现实空间的重力方向为第一坐标轴轴向，现实空间中的指南方向或指北方向为第二坐标轴轴向，所建立的三维坐标系。其中，所述转换关系与参考转换关系之间的差值可以在指定时间段内的为固定值，所述参考转换关系为参考观察者通过虚拟现实设备观察虚拟空间时，所采用的现实空间坐标系与现实空间参考坐标系之间的转换关系。所述指定坐标系的原点可以为参考观察者通过虚拟现实设备观察虚拟空间时，虚拟空间中的一个位置。所述转换关系与参考转换关系之间的差值在指定时间段内的为固定值是指，在指定时间段内，所述参考转换关系可以以固定的转换方式转换为所述转换关系。
可选的，VR设备也可以首先确定参考观察者设定的参考投影点；然后计算特定时刻所述参考投影点与所述投影中心的位置差值；再根据所述位置差值将所述指定坐标系转换为参考坐标系；最后以所述参考坐标系中所述目标三维坐标作指示的点为投影中心，并根据所述目标姿态角确定虚拟空间中的投影面。
VR设备在根据投影中心及透视投影方向确定投影面时，可以选择虚拟空间内垂直于有投影方向的一个平面作为投影面，该投影面距离投影中心的距离可以与显示模块的焦点距离显示模块的显示屏之间的距离相等或成预定比例。
步骤105，将所述虚拟空间中的虚拟物件以透视投影方式在所述投影面中的成像区域生成二维图像。
在投影点、投影方向及投影面都确定之后，VR设备可以将所述虚拟空间中的虚拟物件以透视投影方式在所述投影面中的成像区域生成二维图像。透视投影的原理和实现方式可以参见现有技术，在此就不再赘述。
步骤106，在所述显示模块的显示屏上显示所述二维图像。
在通过透视投影生成二维图像之后，可以在所述显示模块的显示屏上显示所述二维图像。
采用本实施例，VR设备可以根据VR设备在现实空间中的位置及姿态角确定投影面，并生成二维图像，从而使VR设备可以在自身位置或姿态角发生变化时能够对生成的二维图像进行调整。从而可以实现根据虚拟现实设备在现实中的位置变化及姿态角变化，调整虚拟现实设备所提供的虚拟现实图像。
参见图2，为本发明调整虚拟现实图像的装置一个实施例的结构示意图。
如图2所示，所述装置可以包括：获取单元201，第一转换单元202，第二转换单元203，投影面确定单元204，投影单元205，显示单元206。
其中，获取单元201，用于获取虚拟现实设备的定位部件在现实空间坐标系中的第一三维坐标及第一姿态角，所述现实空间坐标系为以现实空间中以指定点为原点所建立的三维坐标系。
第一转换单元202，用于根据预设的第一转换关系将所述第一三维坐标转换为第二三维坐标，并将所述第一姿态角转换为第二姿态角，其中所述第二三维坐标在所述虚拟现实设备的显示模块的焦点在所述现实空间坐标系中的坐标，所述第二姿态角为所述显示模块在所述现实空间坐标系中的姿态角。
第二转换单元203，用于根据预设的第二转换关系将所述第二三维坐标转换为虚拟空间中的目标三维坐标，并将所述第二姿态角转换为虚拟空间中的目标姿态角。
投影面确定单元204，用于以虚拟空间中任意一个指定坐标系中所述目标三维坐标作指示的点为投影中心，并根据所述目标姿态角确定虚拟空间中的投影面。
投影单元205，用于将所述虚拟空间中的虚拟物件以透视投影方式在所述投影面中的成像区域生成二维图像。
显示单元206，用于在所述显示模块的显示屏上显示所述二维图像。
可选的，所述第二转换单元203，具体用于将所述第二三维坐标转换为虚拟空间中的目标三维坐标，保持所述第二姿态角与所述目标姿态角一致。
可选的，所述投影面确定单元204包括：第一维度值获取子单元，用于获取第二姿态角中与显示模块视野方向相对应维度的第一维度值；第一投影方向确定子单元，用于将透视投影方向对应维度的维度值设置为所述第一维度值；第一投影面确定子单元，用于以所述目标三维坐标所指示的点作为投影中心，根据所述透视投影方向确定投影面；其中，所述现实空间坐标系为以现实空间中以指定点为原点，重力方向为第一坐标轴轴向，通过所述虚拟现实设备观察虚拟空间的观察者在现实世界水平面上设 定的正前方作为第二坐标轴轴向所建立的三维坐标系；所述指定坐标系为虚拟空间中的世界坐标系。
可选的，所述投影面确定单元204包括：第二维度值确定子单元，用于获取第二姿态角中与显示模块视野方向相对应维度的第二维度值；第一投影方向确定子单元，用于将透视投影方向对应维度的维度值设置为所述第二维度值；第二投影面确定子单元，用于以所述目标三维坐标所指示的点作为投影中心，根据所述透视投影方向确定投影面；其中，所述现实空间坐标系与现实空间参考坐标系之间的转换关系与所述指定坐标系与虚拟空间中的世界坐标系之间的转换关系相同，所述现实空间参考坐标系为以现实空间中以指定点为原点，现实空间的重力方向为第一坐标轴轴向，现实空间中的指南方向或指北方向为第二坐标轴轴向，所建立的三维坐标系。
可选的，所述投影面确定单元204包括：投影点确定子单元，用于确定参考观察者设定的参考投影点；差值计算子单元，用于计算特定时刻所述参考投影点与所述投影中心的位置差值；坐标系转换子单元，用于根据所述位置差值将所述指定坐标系转换为参考坐标系；第三投影面确定子单元，用于以所述参考坐标系中所述目标三维坐标作指示的点为投影中心，并根据所述目标姿态角确定虚拟空间中的投影面。
采用本实施例，VR设备可以根据VR设备在现实空间中的位置及姿态角确定投影面，并生成二维图像，从而使VR设备可以在自身位置或姿态角发生变化时能够对生成的二维图像进行调整。从而可以实现根据虚拟现实设备在现实中的位置变化及姿态角变化，调整虚拟现实设备所提供的虚拟现实图像。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明 的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

  1. 一种调整虚拟现实图像的方法，其特征在于，包括：
    获取虚拟现实设备的定位部件在现实空间坐标系中的第一三维坐标及第一姿态角，其中，所述现实空间坐标系为以现实空间中以指定点为原点所建立的三维坐标系；
    根据预设的第一转换关系将所述第一三维坐标转换为第二三维坐标，并将所述第一姿态角转换为第二姿态角，其中所述第二三维坐标在所述虚拟现实设备的显示模块的焦点在所述现实空间坐标系中的坐标，所述第二姿态角为所述显示模块在所述现实空间坐标系中的姿态角；
    根据预设的第二转换关系将所述第二三维坐标转换为虚拟空间中的目标三维坐标，并将所述第二姿态角转换为虚拟空间中的目标姿态角；
    以虚拟空间中任意一个指定坐标系中所述目标三维坐标作指示的点为投影中心，并根据所述目标姿态角确定虚拟空间中的投影面；
    将所述虚拟空间中的虚拟物件以透视投影方式在所述投影面中的成像区域生成二维图像；
    在所述显示模块的显示屏上显示所述二维图像。
  2. 如权利要求1所述的方法，其特征在于，所述根据预设的第二转换关系将所述第二三维坐标转换为虚拟空间中的目标三维坐标，并将所述第二姿态角转换为虚拟空间中的目标姿态角包括：
    将所述第二三维坐标转换为虚拟空间中的目标三维坐标，保持所述第二姿态角与所述目标姿态角一致；
    所述以虚拟空间中任意一个指定坐标系中所述目标三维坐标作指示的点为投影中心，并根据所述目标姿态角确定虚拟空间中的投影面包括：
    获取第二姿态角中与显示模块视野方向相对应维度的第一维度值；
    将透视投影方向对应维度的维度值设置为所述第一维度值；
    以所述目标三维坐标所指示的点作为投影中心，根据所述透视投影方向确定投影面；
    其中，所述现实空间坐标系为以现实空间中以指定点为原点，重力方向为第一坐标轴轴向，通过所述虚拟现实设备观察虚拟空间的观察者在现实世界水平面上设定的正前方作为第二坐标轴轴向所建立的三维坐标系；所述指定坐标系为虚 拟空间中的世界坐标系。
  3. 如权利要求1所述的方法，其特征在于，所述根据预设的第二转换关系将所述第二三维坐标转换为虚拟空间中的目标三维坐标，并将所述第二姿态角转换为虚拟空间中的目标姿态角包括：
    将所述第二三维坐标转换为虚拟空间中的目标三维坐标，保持所述第二姿态角与所述目标姿态角一致；
    所述以虚拟空间中任意一个指定坐标系中所述目标三维坐标作指示的点为投影中心，并根据所述目标姿态角确定虚拟空间中的投影面包括：
    获取第二姿态角中与显示模块视野方向相对应维度的第二维度值；
    将透视投影方向对应维度的维度值设置为所述第二维度值；
    以所述目标三维坐标所指示的点作为投影中心，根据所述透视投影方向确定投影面；
    其中，所述现实空间坐标系与现实空间参考坐标系之间的转换关系与所述指定坐标系与虚拟空间中的世界坐标系之间的转换关系相同，所述现实空间参考坐标系为以现实空间中以指定点为原点，现实空间的重力方向为第一坐标轴轴向，现实空间中的指南方向或指北方向为第二坐标轴轴向，所建立的三维坐标系。
  4. 如权利要求3所述方法，其特征在于，所述转换关系与参考转换关系之间的差值在指定时间段内的为固定值，其中所述参考转换关系为参考观察者通过虚拟现实设备观察虚拟空间时，所采用的现实空间坐标系与现实空间参考坐标系之间的转换关系。
  5. 如权利要求4所述的方法，其特征在于，所述指定坐标系的原点为参考观察者通过虚拟现实设备观察虚拟空间时虚拟空间中的一个位置。
  6. 如权利要求1所述的方法，其特征在于，以虚拟空间中任意一个指定坐标系中所述目标三维坐标作指示的点为投影中心，并根据所述目标姿态角确定虚拟空间中的投影面包括：
    确定参考观察者设定的参考投影点；
    计算特定时刻所述参考投影点与所述投影中心的位置差值；
    根据所述位置差值将所述指定坐标系转换为参考坐标系；
    以所述参考坐标系中所述目标三维坐标作指示的点为投影中心，并根据所述目标姿态角确定虚拟空间中的投影面。
  7. 一种调整虚拟现实图像的装置，其特征在于，包括：
    获取单元，用于获取虚拟现实设备的定位部件在现实空间坐标系中的第一三维坐标及第一姿态角，所述现实空间坐标系为以现实空间中以指定点为原点所建立的三维坐标系；
    第一转换单元，用于根据预设的第一转换关系将所述第一三维坐标转换为第二三维坐标，并将所述第一姿态角转换为第二姿态角，其中所述第二三维坐标在所述虚拟现实设备的显示模块的焦点在所述现实空间坐标系中的坐标，所述第二姿态角为所述显示模块在所述现实空间坐标系中的姿态角；
    第二转换单元，用于根据预设的第二转换关系将所述第二三维坐标转换为虚拟空间中的目标三维坐标，并将所述第二姿态角转换为虚拟空间中的目标姿态角；
    投影面确定单元，用于以虚拟空间中任意一个指定坐标系中所述目标三维坐标作指示的点为投影中心，并根据所述目标姿态角确定虚拟空间中的投影面；
    投影单元，用于将所述虚拟空间中的虚拟物件以透视投影方式在所述投影面中的成像区域生成二维图像；
    显示单元，用于在所述显示模块的显示屏上显示所述二维图像。
  8. 如权利要求7所述的装置，其特征在于，
    所述第二转换单元，具体用于将所述第二三维坐标转换为虚拟空间中的目标三维坐标，保持所述第二姿态角与所述目标姿态角一致；
    所述投影面确定单元包括：
    第一维度值获取子单元，用于获取第二姿态角中与显示模块视野方向相对应维度的第一维度值；
    第一投影方向确定子单元，用于将透视投影方向对应维度的维度值设置为所述第一维度值；
    第一投影面确定子单元，用于以所述目标三维坐标所指示的点作为投影中心，根据所述透视投影方向确定投影面；
    其中，所述现实空间坐标系为以现实空间中以指定点为原点，重力方向为第一坐标轴轴向，通过所述虚拟现实设备观察虚拟空间的观察者在现实世界水平面 上设定的正前方作为第二坐标轴轴向所建立的三维坐标系；所述指定坐标系为虚拟空间中的世界坐标系。
  9. 如权利要求7所述的装置，其特征在于，
    所述第二转换单元，具体用于将所述第二三维坐标转换为虚拟空间中的目标三维坐标，保持所述第二姿态角与所述目标姿态角一致；
    所述投影面确定单元包括：
    第二维度值确定子单元，用于获取第二姿态角中与显示模块视野方向相对应维度的第二维度值；
    第一投影方向确定子单元，用于将透视投影方向对应维度的维度值设置为所述第二维度值；
    第二投影面确定子单元，用于以所述目标三维坐标所指示的点作为投影中心，根据所述透视投影方向确定投影面；
    其中，所述现实空间坐标系与现实空间参考坐标系之间的转换关系与所述指定坐标系与虚拟空间中的世界坐标系之间的转换关系相同，所述现实空间参考坐标系为以现实空间中以指定点为原点，现实空间的重力方向为第一坐标轴轴向，现实空间中的指南方向或指北方向为第二坐标轴轴向，所建立的三维坐标系。
  10. 如权利要求7所述的装置，其特征在于，所述投影面确定单元包括：
    投影点确定子单元，用于确定参考观察者设定的参考投影点；
    差值计算子单元，用于计算特定时刻所述参考投影点与所述投影中心的位置差值；
    坐标系转换子单元，用于根据所述位置差值将所述指定坐标系转换为参考坐标系；
    第三投影面确定子单元，用于以所述参考坐标系中所述目标三维坐标作指示的点为投影中心，并根据所述目标姿态角确定虚拟空间中的投影面。
PCT/CN2016/076543 2015-09-30 2016-03-16 调整虚拟现实图像的方法及装置 WO2017054421A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/763,718 US11151790B2 (en) 2015-09-30 2016-03-16 Method and device for adjusting virtual reality image
KR1020187011775A KR102068801B1 (ko) 2015-09-30 2016-03-16 가상 현실 화상을 조정하기 위한 방법 및 장치
JP2018516785A JP6622395B2 (ja) 2015-09-30 2016-03-16 バーチャルリアリティ画像を調整する方法及び装置
EP16850049.4A EP3358524A4 (en) 2015-09-30 2016-03-16 Method and device for tweaking virtual reality image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510638940.8A CN105354820B (zh) 2015-09-30 2015-09-30 调整虚拟现实图像的方法及装置
CN201510638940.8 2015-09-30

Publications (1)

Publication Number Publication Date
WO2017054421A1 true WO2017054421A1 (zh) 2017-04-06

Family

ID=55330787

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/076543 WO2017054421A1 (zh) 2015-09-30 2016-03-16 调整虚拟现实图像的方法及装置

Country Status (6)

Country Link
US (1) US11151790B2 (zh)
EP (1) EP3358524A4 (zh)
JP (1) JP6622395B2 (zh)
KR (1) KR102068801B1 (zh)
CN (1) CN105354820B (zh)
WO (1) WO2017054421A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI642903B (zh) * 2017-10-13 2018-12-01 緯創資通股份有限公司 用於頭戴式顯示裝置的定位方法、定位器以及定位系統
CN109657387A (zh) * 2018-12-27 2019-04-19 重庆上丞科技有限公司 一种基于混合现实场景的家居模型定位放置方法
CN110322484A (zh) * 2019-05-29 2019-10-11 武汉幻石佳德数码科技有限公司 多设备共享的增强现实虚拟空间的校准方法及系统
CN110766752A (zh) * 2019-10-09 2020-02-07 中国航空工业集团公司洛阳电光设备研究所 一种带反光标志点的虚拟现实交互眼镜及空间定位方法
WO2020101197A1 (ko) * 2018-11-15 2020-05-22 유엔젤주식회사 증강현실 콘텐츠 공유 방법 및 시스템
CN116433826A (zh) * 2023-06-08 2023-07-14 北京百度网讯科技有限公司 虚拟形象驱动方法、装置、设备和介质
CN117475099A (zh) * 2023-11-20 2024-01-30 北京达美盛软件股份有限公司 一种基于gis的管道模型生成系统及方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354820B (zh) * 2015-09-30 2018-05-22 深圳多新哆技术有限责任公司 调整虚拟现实图像的方法及装置
CN105930044A (zh) * 2016-04-20 2016-09-07 乐视控股（北京）有限公司 一种显示页面定位的方法和系统
CN106095102A (zh) * 2016-06-16 2016-11-09 深圳市金立通信设备有限公司 一种虚拟现实显示界面处理的方法及终端
CN106454311B (zh) * 2016-09-29 2019-09-27 北京德火新媒体技术有限公司 一种led三维成像系统及方法
CN106598277B (zh) * 2016-12-19 2019-09-17 网易（杭州）网络有限公司 虚拟现实交互系统
CN106814856B (zh) * 2017-01-20 2020-10-13 凤阳凤辰电子科技有限公司 一种通过虚拟眼镜将商品在虚拟空间展示的方法和系统
CN107170024A (zh) * 2017-04-01 2017-09-15 武汉市真意境文化科技有限公司 一种基于vr环境二维视图生成方法及系统
CN107134000B (zh) * 2017-05-23 2020-10-23 张照亮 一种融合现实的三维动态图像生成方法及系统
CN107239333B (zh) * 2017-05-24 2020-10-09 歌尔科技有限公司 应用切换处理方法和装置
EP3460394B1 (en) * 2017-09-26 2020-06-03 Hexagon Technology Center GmbH Surveying instrument, augmented reality (ar)-system and method for referencing an ar-device relative to a reference system
CN109102571B (zh) * 2018-07-16 2023-05-12 深圳超多维科技有限公司 一种虚拟影像的控制方法、装置、设备及其存储介质
CN109085931A (zh) * 2018-07-25 2018-12-25 南京禹步信息科技有限公司 一种虚实结合的交互式输入方法、装置和存储介质
CN109710056A (zh) * 2018-11-13 2019-05-03 宁波视睿迪光电有限公司 虚拟现实交互装置的显示方法及装置
CN109669602B (zh) * 2018-11-13 2020-04-24 宁波视睿迪光电有限公司 虚拟现实的数据交互方法、装置及系统
CN109785392B (zh) * 2018-12-17 2022-07-29 中国航空工业集团公司洛阳电光设备研究所 一种用于桌面级虚拟现实系统的标定装置及方法
CN109920519B (zh) * 2019-02-20 2023-05-02 东软医疗系统股份有限公司 处理影像数据的方法、装置及设备
CN110196638B (zh) * 2019-05-17 2023-10-13 中电海康集团有限公司 基于目标检测和空间投影的移动端增强现实方法和系统
CN110688002B (zh) * 2019-09-06 2023-12-19 广东虚拟现实科技有限公司 虚拟内容的调整方法、装置、终端设备及存储介质
CN110675313A (zh) * 2019-09-27 2020-01-10 珠海金山网络游戏科技有限公司 一种二维平面中的定位方法及装置
CN110689624B (zh) * 2019-10-11 2023-03-03 北京华宁全视科技有限公司 一种将混合现实场景中虚拟模型与实物配准的方法
CN111739169B (zh) * 2019-10-31 2024-09-20 北京京东尚科信息技术有限公司 基于增强现实的产品展示方法、系统、介质及电子设备
CN111127661B (zh) * 2019-12-17 2023-08-29 北京超图软件股份有限公司 一种数据处理方法、装置及电子设备
CN111476876B (zh) * 2020-04-02 2024-01-16 北京七维视觉传媒科技有限公司 一种三维影像渲染方法、装置、设备及可读存储介质
CN113763520A (zh) * 2020-06-01 2021-12-07 北京沃东天骏信息技术有限公司 一种指示三维模型方位的方法和装置
CN112642141B (zh) * 2020-12-02 2022-02-25 北京利亚德装备技术有限公司 模拟射击系统及其坐标转换方法
CN113160421B (zh) * 2021-01-22 2024-05-31 杭州师范大学 一种基于投影的空间式实物交互虚拟实验方法
CN112817453A (zh) * 2021-01-29 2021-05-18 聚好看科技股份有限公司 虚拟现实设备和虚拟现实场景中物体的视线跟随方法
US11551402B1 (en) 2021-07-20 2023-01-10 Fmr Llc Systems and methods for data visualization in virtual reality environments
CN113438463B (zh) * 2021-07-30 2022-08-19 贝壳找房(北京)科技有限公司 正交相机图像的模拟方法和装置、存储介质、电子设备
CN114627270B (zh) * 2022-03-16 2023-02-03 深圳市博乐信息技术有限公司 一种基于ar/vr技术的虚拟空间共享方法及系统
US20230377223A1 (en) * 2022-05-18 2023-11-23 Snap Inc. Hand-tracked text selection and modification

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0451875A2 (en) * 1990-04-13 1991-10-16 Matsushita Electric Industrial Co., Ltd. Image displaying system
CN102023700A (zh) * 2009-09-23 2011-04-20 吴健康 一种三维人机交互系统
CN104427230A (zh) * 2013-08-28 2015-03-18 北京大学 增强现实的方法和增强现实的系统
CN105354820A (zh) * 2015-09-30 2016-02-24 深圳多新哆技术有限责任公司 调整虚拟现实图像的方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3944019B2 (ja) 2002-07-31 2007-07-11 キヤノン株式会社 情報処理装置および方法
JP2004151085A (ja) * 2002-09-27 2004-05-27 Canon Inc 情報処理方法及び情報処理装置
JP2012068481A (ja) 2010-09-24 2012-04-05 Asia Air Survey Co Ltd 拡張現実表現システムおよび方法
US8854298B2 (en) * 2010-10-12 2014-10-07 Sony Computer Entertainment Inc. System for enabling a handheld device to capture video of an interactive application
JP5764390B2 (ja) * 2011-06-06 2015-08-19 任天堂株式会社 画像生成プログラム、画像生成方法、画像生成装置及び画像生成システム
CN102314682B (zh) * 2011-07-11 2014-07-02 深圳超多维光电子有限公司 一种标定摄像头的方法、装置和系统
US9709806B2 (en) * 2013-02-22 2017-07-18 Sony Corporation Head-mounted display and image display apparatus
CN103226838A (zh) * 2013-04-10 2013-07-31 福州林景行信息技术有限公司 地理场景中移动监控目标的实时空间定位方法
CN104375626B (zh) 2013-08-14 2017-10-17 华为技术有限公司 显示指示标识的处理方法、装置和系统
CN104134235B (zh) * 2014-07-25 2017-10-10 深圳超多维光电子有限公司 真实空间和虚拟空间的融合方法和融合系统
JP6417797B2 (ja) * 2014-09-03 2018-11-07 株式会社リコー 情報端末装置、情報処理方法、システムおよびプログラム
JP6505556B2 (ja) * 2015-09-07 2019-04-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0451875A2 (en) * 1990-04-13 1991-10-16 Matsushita Electric Industrial Co., Ltd. Image displaying system
CN102023700A (zh) * 2009-09-23 2011-04-20 吴健康 一种三维人机交互系统
CN104427230A (zh) * 2013-08-28 2015-03-18 北京大学 增强现实的方法和增强现实的系统
CN105354820A (zh) * 2015-09-30 2016-02-24 深圳多新哆技术有限责任公司 调整虚拟现实图像的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3358524A4 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI642903B (zh) * 2017-10-13 2018-12-01 緯創資通股份有限公司 用於頭戴式顯示裝置的定位方法、定位器以及定位系統
WO2020101197A1 (ko) * 2018-11-15 2020-05-22 유엔젤주식회사 증강현실 콘텐츠 공유 방법 및 시스템
CN109657387A (zh) * 2018-12-27 2019-04-19 重庆上丞科技有限公司 一种基于混合现实场景的家居模型定位放置方法
CN109657387B (zh) * 2018-12-27 2022-12-23 重庆上丞科技有限公司 一种基于混合现实场景的家居模型定位放置方法
CN110322484A (zh) * 2019-05-29 2019-10-11 武汉幻石佳德数码科技有限公司 多设备共享的增强现实虚拟空间的校准方法及系统
CN110322484B (zh) * 2019-05-29 2023-09-08 武汉幻石佳德数码科技有限公司 多设备共享的增强现实虚拟空间的校准方法及系统
CN110766752A (zh) * 2019-10-09 2020-02-07 中国航空工业集团公司洛阳电光设备研究所 一种带反光标志点的虚拟现实交互眼镜及空间定位方法
CN116433826A (zh) * 2023-06-08 2023-07-14 北京百度网讯科技有限公司 虚拟形象驱动方法、装置、设备和介质
CN116433826B (zh) * 2023-06-08 2023-09-29 北京百度网讯科技有限公司 虚拟形象驱动方法、装置、设备和介质
CN117475099A (zh) * 2023-11-20 2024-01-30 北京达美盛软件股份有限公司 一种基于gis的管道模型生成系统及方法

Also Published As

Publication number Publication date
JP2018535477A (ja) 2018-11-29
KR20180061274A (ko) 2018-06-07
CN105354820B (zh) 2018-05-22
US11151790B2 (en) 2021-10-19
KR102068801B1 (ko) 2020-01-21
EP3358524A4 (en) 2019-01-02
US20180276897A1 (en) 2018-09-27
CN105354820A (zh) 2016-02-24
EP3358524A1 (en) 2018-08-08
JP6622395B2 (ja) 2019-12-18

Similar Documents

Publication Publication Date Title
WO2017054421A1 (zh) 调整虚拟现实图像的方法及装置
US11386611B2 (en) Assisted augmented reality
US10701509B2 (en) Emulating spatial perception using virtual echolocation
CN116310218B (zh) 表面建模系统和方法
WO2017012364A1 (zh) 调整虚拟物件位置及姿态角的方法及装置
Pfeiffer Measuring and visualizing attention in space with 3D attention volumes
CN103941851B (zh) 一种实现虚拟触摸校准的方法以及系统
CN110447224B (zh) 在显示器中控制虚像的方法
JP2016522463A5 (zh)
US10235806B2 (en) Depth and chroma information based coalescence of real world and virtual world images
IL308285A (en) System and method for augmentation and virtual reality
CN104765156B (zh) 一种三维显示装置和三维显示方法
WO2019171557A1 (ja) 画像表示システム
WO2017012361A1 (zh) 调整虚拟物件在虚拟空间中位置的方法及装置
US11302023B2 (en) Planar surface detection
WO2017012363A1 (zh) 虚拟空间中虚拟物件的投影显示方法及装置
WO2017101780A1 (zh) 一种三维立体显示处理方法、装置、存储介质和电子设备
Solari et al. Natural perception in dynamic stereoscopic augmented reality environments
WO2017054420A1 (zh) 确定虚拟物件在虚拟空间中位置的方法及装置
JP6800599B2 (ja) 情報処理装置、方法及びプログラム
Caruso et al. Augmented reality video see-through HMD oriented to product design assessment
Prima et al. A Pointing Device for 3D Interactive Spherical Displays
WO2021075113A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2022051977A (ja) 情報処理装置、情報処理方法、およびプログラム
Chessa et al. Veridical perception of 3D objects in a dynamic stereoscopic augmented reality system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16850049

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15763718

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2018516785

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20187011775

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2016850049

Country of ref document: EP