WO2017107537A1 - 虚拟现实设备及避障方法 - Google Patents
虚拟现实设备及避障方法 Download PDFInfo
- Publication number
- WO2017107537A1 WO2017107537A1 PCT/CN2016/096987 CN2016096987W WO2017107537A1 WO 2017107537 A1 WO2017107537 A1 WO 2017107537A1 CN 2016096987 W CN2016096987 W CN 2016096987W WO 2017107537 A1 WO2017107537 A1 WO 2017107537A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- obstacle
- virtual reality
- reality device
- primitive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
Definitions
- the present application relates to the field of communications, and in particular, to a virtual reality device and an obstacle avoidance method.
- a head mounted display is a device for displaying images and colors.
- the display is placed close to the user's eyes, and the focal length is adjusted by the optical path to project the image to the eye at a close distance.
- One solution to this problem is to integrate a 3D camera in the head mounted device to detect the environment in which the user is located.
- holographic 3D cameras usually require more than 5 lenses, which brings about a significant increase in manufacturing costs for equipment manufacturing.
- the 3D camera only reports the image, but can not give the user the pre-judgment of avoiding obstacles, and the effectiveness of the user's potential safety hazard is insufficient.
- an obstacle avoidance method for effectively solving the obstacle avoidance effectiveness of a head-mounted virtual reality device by a user and a virtual reality device having an effective obstacle avoidance function are provided.
- an obstacle avoidance method for guiding a user of a virtual reality device to effectively avoid obstacles and experience satisfactory satisfaction.
- an obstacle avoidance method is applied to a virtual reality device, including the following steps:
- the obstacle avoidance instruction is made according to the relative motion speed of the virtual reality device and the obstacle, the distance of the virtual reality device from the obstacle at the second time point, and the acceleration of the virtual reality device at the second time point.
- the embodiment of the present application further provides a virtual reality device, including:
- Binocular camera module for:
- the relative motion speed of the virtual reality device and the obstacle is obtained, and the virtual reality device is at the second time point and the obstacle Distance of matter
- Acceleration module for:
- the computing module is further configured to:
- the obstacle avoidance instruction is made according to the relative motion speed of the virtual reality device and the obstacle, the distance of the virtual reality device from the obstacle at the second time point, and the acceleration of the virtual reality device at the second time point.
- the embodiment of the present application provides an electronic device, including the virtual reality device described in any of the foregoing embodiments.
- the embodiment of the present application provides a non-transitory computer readable storage medium, wherein the non-transitory computer readable storage medium can store computer instructions, which can implement the obstacle avoidance method provided by the embodiments of the present application. Some or all of the steps in each implementation.
- An embodiment of the present application provides an electronic device, including: one or more processors; and a memory; Wherein the memory stores instructions executable by the one or more processors, the instructions being arranged to perform any of the above-described obstacle avoidance methods of the present application.
- An embodiment of the present application provides a computer program product, the computer program product comprising a computer program stored on a non-transitory computer readable storage medium, the computer program comprising program instructions, when the program instructions are executed by a computer, The computer is caused to perform the above-mentioned obstacle avoidance method according to the embodiment of the present application.
- the user of the virtual reality device can be guided according to the relative motion speed of the virtual reality device and the obstacle, the distance of the virtual reality device from the obstacle at the second time point, and the acceleration of the virtual reality device at the second time point. Effective obstacle avoidance and good experience satisfaction.
- FIG. 1 is a schematic flowchart of a method for avoiding obstacles in an embodiment of the present application.
- FIG. 2 is a schematic diagram of measuring the distance of a virtual reality device from an obstacle at a second point in time.
- FIG. 3 is a schematic structural diagram of a virtual reality device according to an embodiment of the present disclosure.
- FIG. 4 is a schematic structural diagram of an electronic device according to an embodiment of the present application.
- FIG. 1 is a flowchart of a method for avoiding obstacles in an embodiment of the present application, which specifically includes the following steps:
- S01 At a first time point, acquire a first image of the obstacle photographed by the first camera at the first angle and a second image of the obstacle photographed by the second camera at the second angle.
- the virtual reality device includes, but is not limited to, an eye-catching device, a helmet, a glasses, and the like, and an electronic virtual reality device that integrates sound, light, electricity, and the like with a computer chip as a core, and integrates visual, acoustic, and tactile sensors.
- the virtual reality device of the embodiment of the present invention is configured with a binocular camera module, a calculation module, an acceleration module, and the like.
- the binocular camera module can refer to an integrated camera formed by two cameras arranged in a position similar to a human body.
- the binocular camera module here includes, in addition to the two cameras, auxiliary components such as corresponding signal transmission lines.
- the first camera in the binocular camera module captures the obstacle at a first angle to form a first image; the second camera in the binocular camera module takes a second angle An obstacle forms a second image.
- the obstacle here can be regarded as a target object. In reality, it can be correspondingly a street light pole, a parked car, a person near the user, and the like. These target objects are presented in the background image in the foreground image in the first image and the second image. In practical applications, in order to speed up the speed of information processing, in the design of the computer-specific algorithm, some target objects that are obviously impossible to become obstacles can be pre-filtered out to prevent these target objects from adversely affecting the detection of obstacles. .
- first and second are used merely for the convenience of the description, and do not imply a certain order or a continuous relationship.
- first angle refers to the manner in which the obstacle is imaged on the first camera. Different obstacles are imaged differently on the first camera, and the same obstacles are imaged differently on different cameras.
- first and second herein refer only to the logical difference of this narrative.
- S02 At a second time point, acquire a third image of the obstacle photographed by the first camera at the third angle and a fourth image of the obstacle photographed by the second camera at the fourth angle.
- step S01 when the user wears the virtual reality device, at the second time, the first camera in the binocular camera module captures the obstacle at a third angle to form a third image; the second camera in the binocular camera module The obstacle is photographed at a fourth angle to form a fourth image.
- first”, “second”, “third”, “fourth” are similar to “first” and “second” above, which means that the narrative is logically different.
- S03 Deriving the relative motion speed of the virtual reality device and the obstacle according to the first image, the second image, the third image, and the fourth image, and the distance between the virtual reality device and the obstacle at the second time point.
- the computing module of the virtual reality device is based on an obstacle in the double
- the third image and the fourth image formed by the camera module are derived, and the distance between the virtual reality device and the obstacle at the second time is obtained, which specifically includes:
- a computing module of the virtual reality device calculates a parallax (L1-L2) of the obstacle in the third image and the fourth image;
- f is the focal length of the first camera and the second camera.
- FIG. 2 is a schematic diagram of measuring the distance of the virtual reality device from the obstacle at the second time.
- the distance between the virtual reality device and the obstacle at the second time point can be derived from the position of the obstacle in the third image and the fourth image.
- point P is assumed to be any target point on the obstacle.
- C1 and C2 are assumed to be the optical center of the first camera and the optical center of the second camera, respectively, and the distance between the optical center C1 and the optical center C2 is b.
- the focal lengths of the first camera and the second camera are both f.
- the projection point of the point P on the imaging plane of the first camera is P1
- the projection point of the point P on the imaging plane of the second camera is P2.
- Point P the distance from the line connecting optical center C1 and optical center C2 is d.
- the passing center C1 is perpendicular to the imaging plane, and the foot is A1.
- the optical center C2 is perpendicular to the imaging plane, and the foot is A2.
- P is perpendicular to the imaging plane, and the foot is B.
- the distance d is related to b, f and L1-L2.
- L1-L2 is called the parallax of the point P on the imaging planes of the first camera and the second camera.
- the corresponding points of the two image responses have parallax only in the horizontal direction, and the coordinate values in the Y direction are equal.
- the values of the parameters b and f have been determined, and only the corresponding pixel parallax needs to be obtained for the image to obtain the distance of the obstacle.
- the distance between the virtual reality device and the obstacle can be derived at the first time point in the first image and the second image.
- the computing module of the virtual reality device is derived according to the first image, the second image, the third image, and the fourth image formed by the obstacle in the binocular camera module.
- the relative motion speed of the virtual reality device and the obstacle includes:
- a computing module of the virtual reality device calculates a parallax of the obstacle in the first image and the second image
- the distance between the virtual reality device and the obstacle at the first time point is set to d1
- the distance between the virtual reality device and the obstacle at the second time point is d2
- the time difference t between the two is known, thereby obtaining
- the average value of the relative motion speed of the virtual reality device and the obstacle can be approximated as the second time point virtual The relative speed of movement of realistic equipment and obstacles.
- the motion of the obstacle in the three-dimensional scene is considered to correspond to the projection of the obstacle in the two-dimensional image plane.
- the flow of this motion in the form of image plane brightness is called optical flow.
- the brightness between the first image and the third image is constant, and the brightness between the second image and the fourth image is constant;
- the time interval between the first time point and the second time point is small, so that the obstacle has a small variation distance in the first image and the third image;
- the obstacles in the first camera imaging process, the pixels constituting the first image have substantially the same motion, thereby forming a third image.
- the computing module of the virtual reality device derives the virtuality according to the first image, the second image, the third image, and the fourth image formed by the obstacle in the binocular camera module.
- the relative movement speed of the actual equipment and obstacles including:
- the relative motion speed of the virtual reality device and the obstacle can be obtained
- I(x, y, t) I(x+dx, y+dy, t+dt);
- the partial derivatives of the gray value pairs x, y, t, respectively, can be estimated from the image, which has two unknowns, V x and V y .
- the V x and V y of all the primitives or pixels in the tiny distance are the same, two unknowns, multiple equations, and the least squares method is easy. Find the values of V x and V y . Then, according to the projection relationship, the relative motion speed of the virtual reality device and the obstacle can be obtained.
- the computing module of the virtual reality device derives the virtual reality according to the first image, the second image, the third image, and the fourth image formed by the obstacle in the binocular camera module.
- the relative movement speed of the device and the obstacle, and the distance between the virtual reality device and the obstacle at the second time point specifically include:
- the relative motion speed of the virtual reality device and the obstacle is obtained, and the distance between the virtual reality device and the obstacle at the second time point is derived.
- the first primitive is determined from the first image
- the second primitive and the third primitive corresponding to the first primitive are respectively determined from the second image, the third image, and the fourth image.
- the picture element and the fourth picture element specifically include:
- big data technology can be used to establish a physical feature database of obstacles.
- a physical feature database of obstacles For example, it can be built The shape parameters of the contours of the head, shoulders, and feet of the human body. These contours and environmental backgrounds tend to have higher contrast in each image. It is assumed that according to the shape, contrast and other parameters of the contour, a certain pixel or pixel in the first image is found to be the head feature of the human body. In addition, according to the shape, the contrast and other parameters of the contour, a certain pixel or pixel in the second image is found as the head feature of the human body. Then, it can be considered that the primitive representing the human head feature in the first image is identical to the body unit of the human body represented by the primitive representing the human head feature in the second image.
- the third picture element and the fourth picture element that represent the same physical feature of the obstacle may be searched from the third image and the fourth image. Therefore, on the basis of this, the relative motion speed of the virtual reality device and the obstacle and the distance between the virtual reality device and the obstacle can be calculated.
- the first primitive is determined from the first image
- the second primitive and the third primitive corresponding to the first primitive are respectively determined from the second image, the third image, and the fourth image.
- the picture element and the fourth picture element specifically include:
- the sift feature in each image can be found, and then the relative motion speed of the virtual reality device and the obstacle and the distance between the virtual reality device and the obstacle are calculated according to the same sift feature in different images.
- the first primitive is determined from the first image
- the second primitive and the third primitive corresponding to the first primitive are respectively determined from the second image, the third image, and the fourth image.
- the picture element and the fourth picture element specifically include:
- the first primitive, the second primitive, the third primitive, and the fourth primitive that can match each other are searched from the first image, the second image, the third image, and the fourth image by using an image convolution method.
- the corresponding area in different images may be determined by using image convolution, so that the relative motion speed of the virtual reality device and the obstacle and the distance between the virtual reality device and the obstacle may be calculated.
- the method further includes:
- the relative motion speed of the virtual reality device and the obstacle repeatedly acquired repeatedly and the distance between the virtual reality device and the obstacle at the second time point are optimized by the least squares method to obtain the relative motion speed of the optimized virtual reality device and the obstacle. And the distance of the optimized virtual reality device from the obstacle at the second point in time.
- the least moving method can be used to optimize the relative motion speed of the virtual reality device and the obstacle calculated according to different target points and the distance between the virtual reality device and the obstacle.
- the acceleration module can be an electronic device capable of measuring acceleration forces.
- the piezoelectric effect of the piezoelectric ceramic or the quartz crystal can be utilized, and when the acceleration module is vibrated, the force applied to the piezoelectric element by the mass is also changed.
- the measured vibration frequency is much lower than the natural frequency of the accelerometer, the change in force is proportional to the measured acceleration.
- the acceleration module of the virtual reality device can acquire the acceleration of the virtual reality device at the second time point.
- S05 Perform an obstacle avoidance instruction according to the relative motion speed of the virtual reality device and the obstacle, the distance of the virtual reality device from the obstacle at the second time point, and the acceleration of the virtual reality device at the second time point.
- the computing module of the virtual reality device can calculate the relative motion speed of the virtual reality device and the obstacle, the distance of the virtual reality device from the obstacle at the second time point, and the acceleration of the virtual reality device at the second time point. Obtain the expectation that the virtual reality device will collide with the obstacle, so that the obstacle avoidance instruction fed back to the user can be made in time.
- the computing module of the virtual reality device is based on the relative motion speed of the virtual reality device and the obstacle, the distance of the virtual reality device from the obstacle at the second time, and the virtual reality device at the second time.
- the acceleration makes an obstacle avoidance instruction, so that the user of the virtual reality device can be guided to effectively avoid obstacles, and the experience satisfaction is good.
- the non-transitory computer readable storage medium may be a magnetic disk, an optical disk, a read-only memory (ROM), or a random access memory (RAM).
- FIG. 3 Providing a virtual reality device 1 comprising:
- Binocular camera module 11 for:
- the calculation module 12 is configured to:
- the relative motion speed of the virtual reality device 1 and the obstacle is obtained, and the virtual reality device 1 is in the second time.
- Acceleration module 13 for:
- the calculation module 12 is further configured to:
- the obstacle avoidance instruction is made according to the relative movement speed of the virtual reality device 1 and the obstacle, the distance of the virtual reality device 1 from the obstacle at the second time point, and the acceleration of the virtual reality device 1 at the second time point.
- the calculating module 12 is configured to:
- f is the focal length of the first camera and the second camera.
- the calculating module 12 is further configured to:
- Calculating the virtual reality device 1 and the obstacle according to the distance of the virtual reality device 1 from the obstacle at the first time point, the distance of the virtual reality device 1 from the obstacle at the second time point, and the time difference between the first time point and the second time point The relative speed of movement of objects.
- the calculating module 12 is configured to:
- the relative motion speed of the virtual reality device 1 and the obstacle can be obtained
- the calculating module 12 is configured to:
- the relative motion speed of the virtual reality device 1 and the obstacle is obtained, and the virtual reality device 1 is at the second time point and the obstacle the distance.
- the calculating module 12 is configured to:
- the calculating module 12 is configured to:
- the calculating module 12 is configured to:
- the first primitive, the second primitive, the third primitive, and the fourth primitive that can match each other are searched from the first image, the second image, the third image, and the fourth image by using an image convolution method.
- the calculating module 12 is further configured to:
- Determining the first primitive, the second primitive, the third primitive, and the fourth primitive independently and repeatedly, each time The first picture element, the second picture element, the third picture element, and the fourth picture element are different;
- the relative motion speed of the virtual reality device 1 and the obstacle that are independently acquired repeatedly and the distance between the virtual reality device 1 and the obstacle at the second time point are optimized by the least squares method to obtain the optimized virtual reality device 1 and the obstacle.
- the relative motion speed and the distance of the optimized virtual reality device 1 from the obstacle at the second time point are optimized by the least squares method to obtain the optimized virtual reality device 1 and the obstacle.
- an electronic device including the virtual reality device described in any of the foregoing embodiments.
- a non-transitory computer readable storage medium is also provided, the non-transitory computer readable storage medium storing computer executable instructions executable by any of the above methods The obstacle avoidance method in the example.
- FIG. 4 is a schematic diagram of a hardware structure of an electronic device for performing an obstacle avoidance method according to an embodiment of the present application. As shown in FIG. 4, the device includes:
- processors 410 and memory 420 One or more processors 410 and memory 420, one processor 410 is exemplified in FIG.
- the apparatus for performing the obstacle avoidance method may further include: an input device 430 and an output device 440.
- the processor 410, the memory 420, the input device 430, and the output device 440 may be connected by a bus or other means, as exemplified by a bus connection in FIG.
- the memory 420 is used as a non-transitory computer readable storage medium, and can be used to store non-volatile software programs, non-volatile computer-executable programs, and modules, such as program instructions corresponding to the obstacle avoidance method in the embodiment of the present application. Modules (eg, binocular camera module 11, calculation module 12, and acceleration module 13 shown in FIG. 3).
- the processor 410 executes various functional applications and data processing of the electronic device by executing non-volatile software programs, instructions, and modules stored in the memory 420, that is, implementing the above-described method embodiment obstacle avoidance method.
- the memory 420 may include a storage program area and an storage data area, wherein the storage program area may store an operating system, an application required for at least one function; the storage data area may store data created according to usage of the virtual reality device, and the like.
- memory 420 can include high speed random access memory, and can also include non-volatile memory, such as at least one magnetic disk storage device, flash memory device, or other non-volatile solid state storage device.
- memory 420 can optionally include remotely with respect to processor 410 Set up memory that can be connected to a virtual reality device over a network. Examples of such networks include, but are not limited to, the Internet, intranets, local area networks, mobile communication networks, and combinations thereof.
- Input device 430 can receive input numeric or character information and generate key signal inputs related to user settings and function control of the virtual reality device.
- Output device 440 can include a display device such as a display screen.
- the one or more modules are stored in the memory 420, and when executed by the one or more processors 410, perform the obstacle avoidance method in any of the above method embodiments.
- the electronic device of the embodiment of the present application exists in various forms, including but not limited to:
- Mobile communication devices These devices are characterized by mobile communication functions and are mainly aimed at providing voice and data communication.
- Such terminals include: smart phones (such as iPhone), multimedia phones, functional phones, and low-end phones.
- Ultra-mobile personal computer equipment This type of equipment belongs to the category of personal computers, has computing and processing functions, and generally has mobile Internet access.
- Such terminals include: PDAs, MIDs, and UMPC devices, such as the iPad.
- Portable entertainment devices These devices can display and play multimedia content. Such devices include: audio, video players (such as iPod), handheld game consoles, e-books, and smart toys and portable car navigation devices.
- the server consists of a processor, a hard disk, a memory, a system bus, etc.
- the server is similar to a general-purpose computer architecture, but because of the need to provide highly reliable services, processing power and stability High reliability in terms of reliability, security, scalability, and manageability.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例公开了一种虚拟现实设备及避障方法。在本申请提供的实施例中，根据虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指令，从而可以引导虚拟现实设备的用户有效避障，体验满意度好。
Description
本申请要求于2015年12月21日提交中国专利局、申请号为201510976181.6、申请名称为“虚拟现实设备及虚拟现实设备提供的避障方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
本申请涉及通信领域，尤其涉及一种虚拟现实设备及避障方法。
头戴式显示器是用于显示图像及色彩的设备。通常是用眼罩或头盔的形式，把显示屏贴近用户的眼睛，通过光路调整焦距以在近距离中对眼睛投射画面。
在实现现有技术过程中，发明人发现现有技术中至少存在如下问题：
在使用头戴式虚拟现实设备，例如，眼罩或头盔的过程中，由于用户的注意力主要集中于头戴式显示器，无法有效感知用户所处的环境中的障碍物，容易给用户带来安全隐患。
一种解决该问题的措施是，在头戴式设备中集成3D摄像头，用以侦测用户所处的环境。然而，一方面，全息3D摄像头通常需要5个以上镜头，给设备制造带来制造成本的大幅上升。另一方面，3D摄像头所反馈的仅是图像，而无法给出用户避障的预判，对用户可能撞击障碍的安全隐患解决得有效性有所欠缺。
因此，在本申请中提供一种有效解决用户使用头戴式虚拟现实设备避障有效性的避障方法和具有有效避障功能的虚拟现实设备。
发明内容
本申请实施例提供一种引导虚拟现实设备的用户有效避障，体验满意度好的避障方法。具体的，一种避障方法，应用于虚拟现实设备，包括以下步骤：
在第一时点，获取第一摄像头以第一角度拍摄的障碍物的第一图像和第二摄像头以第二角度拍摄的障碍物第二图像；
在第二时点，获取第一摄像头以第三角度拍摄的障碍物的第三图像和第二摄像头以第四角度拍摄的障碍物第四图像；
根据第一图像、第二图像、第三图像和第四图像，推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离；
获取虚拟现实设备在第二时点的加速度；
根据虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指令。
本申请实施例还提供一种虚拟现实设备，包括：
双目摄像头模块，用于：
在第一时点，获取第一摄像头以第一角度拍摄的障碍物的第一图像和第二摄像头以第二角度拍摄的障碍物第二图像；
在第二时点，获取第一摄像头以第三角度拍摄的障碍物的第三图像和第二摄像头以第四角度拍摄的障碍物第四图像；
计算模块，用于：
根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像，推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离；
加速度模块，用于：
获取，虚拟现实设备在第二时点的加速度；
其中，所述计算模块还用于：
根据虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指令。
本申请实施例提供一种电子设备，包括前述任一实施例所述的虚拟现实设备。
本申请实施例提供一种非暂态计算机可读存储介质，其中，该非暂态计算机可读存储介质可存储有计算机指令，该计算机指令执行时可实现本申请实施例提供的避障方法的各实现方式中的部分或全部步骤。
本申请实施例提供一种电子设备，包括：一个或多个处理器；以及，存储器；
其中，所述存储器存储有可被所述一个或多个处理器执行的指令，所述指令被设置为用于执行本申请上述任一项避障方法。
本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本申请实施例上述任一项避障方法。
本申请实施例提供的虚拟现实设备及避障方法，至少具有如下有益效果：
根据虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指令，从而可以引导虚拟现实设备的用户有效避障，体验满意度好。
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中避障方法的流程图示意图。
图2为测量虚拟现实设备在第二时点与障碍物的距离的原理图。
图3为本申请实施例提供的虚拟现实设备的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例中避障方法的流程图，具体包括以下步骤：
S01：在第一时点，获取第一摄像头以第一角度拍摄的障碍物的第一图像和第二摄像头以第二角度拍摄的障碍物第二图像。
虚拟现实设备包括但不限于眼罩、头盔、眼镜等以计算机芯片为核心，结合声、光、电等多种传感器而成的视、听、触一体的电子化虚拟现实设备。其中，本发明实施例的虚拟现实设备配置有双目摄像头模块、计算模块和加速度模块等。
双目摄像头模块可以指，两个摄像头按照类似人体双目的位置进行排列形成的集成摄像头。当然，这里的双目摄像头模块，除两个摄像头外，还包括对应的信号传输线路等辅助配件。
当用户穿戴虚拟现实设备时，在第一时点，双目摄像头模块中的第一摄像头以第一角度拍摄障碍物，形成第一图像；双目摄像头模块中的第二摄像头以第二角度拍摄障碍物，形成第二图像。
应当指出的是，这里的障碍物可以看作是一种目标对象，在现实中，可以对应地为路灯杆、停靠的汽车、用户附近的人等。这些目标对象，在第一图像和第二图像中，以前景的形式呈现于环境背景中。在实际应用中，为了加速信息处理的速度，在计算机对应的算法的设计中，可以将一些明显不可能成为障碍物的目标对象预先过滤掉，避免这些目标对象对障碍物的侦测产生不利影响。
这里的“第一”、“第二”仅是为了叙述的方便而采取的措辞，并不意味着存在确定的先后顺序或连续的关系。对于第一摄像头以第一角度拍摄障碍物，形成第一图像而言，这里的“第一角度”是指障碍物在第一摄像头的上的成像的方式。不同的障碍物在第一摄像头上的成像不同，相同的障碍物在不同的摄像头上成像不同。这里的“第一”、“第二”仅指这种叙述逻辑上的不同。
S02：在第二时点，获取第一摄像头以第三角度拍摄的障碍物的第三图像和第二摄像头以第四角度拍摄的障碍物第四图像。
与步骤S01类似，当用户穿戴虚拟现实设备时，在第二时点，双目摄像头模块中的第一摄像头以第三角度拍摄障碍物，形成第三图像；双目摄像头模块中的第二摄像头以第四角度拍摄障碍物，形成第四图像。
这里的“第一”“第二”“第三”、“第四”与上面的“第一”、“第二”类似，是指这种叙述逻辑上的不同。
S03：根据第一图像、第二图像、第三图像和第四图像，推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离。
在本申请提供的一种实施例中，虚拟现实设备的计算模块，根据障碍物在双
目摄像头模块所成的第三图像和第四图像，推导获得虚拟现实设备在第二时点与障碍物的距离，具体包括：
虚拟现实设备的计算模块计算障碍物在第三图像和第四图像中的视差(L1-L2)；
根据公式d＝bf/(L1-L2)推导获得虚拟现实设备在第二时点与障碍物的距离；其中，b为第一摄像头的光心C1和第二摄像头光心C2之间的距离；
f为第一摄像头和第二摄像头的焦距。
请参见图2，图2为测量虚拟现实设备在第二时点与障碍物的距离的原理图。
具体的，这里可以仅根据障碍物在第三图像和第四图像中的位置，推导获得虚拟现实设备在第二时点与障碍物的距离。
在图2中，点P假设为障碍物上任意一个目标点。C1、C2假设分别为第一摄像头的光心、第二摄像头的光心，光心C1和光心C2的距离为b。第一摄像头和第二摄像头的焦距均为f。点P在第一摄像头的成像平面上的投影点为P1，点P在第二摄像头的成像平面上的投影点为P2。点P，与光心C1、光心C2的连线的距离为d。过光心C1向成像平面做垂线，垂足为A1。过光心C2向成像平面做垂线，垂足为A2。过P向成像平面做垂线，垂足为B。设定，A1P1＝L1，A2P2＝L2，P2B＝a。
由相似三角形关系得：
d-f/d＝a/(a+L2)；
d-f/d＝(b-L1+L2+a)/(a+b+L2)；
由以上两公式可以算得：
d＝f(a+L2)/L2＝bf/(L1-L2)
由此可见，距离d与b、f和L1-L2有关。L1-L2称为点P在第一摄像头和第二摄像头成像平面上的视差。两个图像响应的对应点只在水平方向存在视差，而Y方向的坐标值是相等的。对于固定的双目摄像头模块而言，参数b、f取值已经确定，仅需要对图像求取对应像素视差即可获得障碍物的距离。
同样，可以根据上述公式d＝bf/(L1-L2)，在第一图像和第二图像中求得在第一时点，推导获得虚拟现实设备与障碍物的距离。
进一步的，在本申请提供的又一实施例中，虚拟现实设备的计算模块，根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像，推导获得虚拟现实设备与障碍物的相对运动速度，具体包括：
虚拟现实设备的计算模块计算障碍物在第一图像和第二图像中的视差；
根据公式d＝bf/(L1-L2)推导获得虚拟现实设备在第一时点与障碍物的距离；
根据虚拟现实设备在第一时点与障碍物的距离、虚拟现实设备在第二时点与障碍物的距离和第一时点与第二时点的时间差，计算虚拟现实设备与障碍物的相对运动速度。
为了区分，设定第一时点虚拟现实设备与障碍物的距离为d1，第二时点虚拟现实设备与障碍物的距离为d2，两者之间的时间差t已知，从而，可以求得虚拟现实设备与障碍物的相对运动速度的均值v＝(d2-d1)/t，这里，时间差较短时，可以近似认为虚拟现实设备与障碍物的相对运动速度的均值为第二时点虚拟现实设备与障碍物的相对运动速度。
本申请实施例提供的另一种可实现方式中，认为障碍物在三维场景中的运动，与障碍物在二维图像平面中的投影是对应的。这种运动以图像平面亮度方式表现出来的流动就称为光流。
按照这种算法进行计算时，可以假设：
(1)相邻帧之间的亮度恒定；
(2)相邻视频帧的取帧时间连续，或者，相邻帧之间物体的运动比较微小；
(3)保持空间一致性；即，同一子图像的像素点具有相同的运动。
对应的，第一图像、第三图像之间的亮度恒定，第二图像、第四图像之间的亮度恒定；
第一时点、第二时点之间的时间间隔小，以致障碍物在第一图像中和第三图像中变动距离微小；
障碍物在第一摄像头成像过程中，构成第一图像的各像素点具有大致相同的运动，从而形成第三图像。
在本申请提供的又一实施例中，虚拟现实设备的计算模块，根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像，推导获得虚拟
现实设备与障碍物的相对运动速度，具体包括：
根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像，以及方程Ix*Vx+Iy*Vy＝-It求得Vx和Vy；
根据投影关系可以求得虚拟现实设备与障碍物的相对运动速度；
其中，
分别为灰度值对x，y，t的偏导数。
根据障碍物在第一图像中和第三图像中变动距离微小和第一图像、第三图像之间的亮度恒定、第二图像、第四图像之间的亮度恒定这两个假设，也就是说，在2D+t维(空间二维加时间维度)的情况下，假设位于(x,y,t)的障碍物的某体单元的亮度是I(x,y,t)。该体单元在两个图像帧之间移动了dx、dy、dt。于是根据亮度相同的假设：
I(x,y,t)＝I(x+dx,y+dy,t+dt)；
将上面的公式根据泰勒级数得出：
即：
或
令
可得：Ix*Vx+Iy*Vy＝-It
从而，
分别为灰度值对x，y，t的偏导数，可以从图像中估计出来，该方程具有Vx和Vy两个未知数。
根据障碍物在第一图像中和第三图像中变动距离微小的假设，在微小距离内
所有图元或像素点的Vx和Vy相同，两个未知数，多个方程，采用最小二乘法容易求得Vx和Vy的值。然后，根据投影关系可以求得虚拟现实设备与障碍物的相对运动速度。
同样，在第二时点，可以根据上述公式d＝bf/(L1-L2)，推导获得虚拟现实设备与障碍物的距离。
在以上的计算中，直接给出了障碍物的同一体单元在不同的图像中的成像。然而，如何确定一个图像中的某一图元或像素点与另一图像中的另一图元或像素点表示的是障碍物的同一体单元，是一个复杂的问题。
在本申请提供的又一种实施例中，虚拟现实设备的计算模块，根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像，推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离，具体包括：
从第一图像中确定第一图元，该第一图元为障碍物的一个体单元在第一图像的成像；
分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元；
根据第一图元、第二图元、第三图元、第四图元的对应关系，推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离。
在本申请提供的可实现方式中，给出了一种检测不同图像中的图元或像素点是否对应的方法。
在本申请提供的又一实施例中，从第一图像确定第一图元，分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元，具体包括：
从第一图像中查找表征障碍物物理特征的图元；
分别从第二图像、第三图像、第四图像中查找表征障碍物同一物理特征的图元的第二图元、第三图元、第四图元。
具体的，可以利用大数据技术建立障碍物的物理特征数据库。例如，可以建
立人体的头、肩、脚等轮廓的形状参数。这些轮廓与环境背景往往在各图像中具有较高对比度。假设，根据轮廓的形状、对比度等参数，查找到第一图像中某一图元或像素点为人体的头特征。另外，还根据轮廓的形状、对比度等参数，查找到第二图像中某一图元或像素点为人体的头特征。则，可以认为第一图像中表示人体头特征的图元，与第二图像中的表示人体头特征的图元表示的人体的体单元是一致的。同样，可以从第三图像、第四图像中查找表征障碍物同一物理特征的第三图元、第四图元。从而可以在此基础上，计算虚拟现实设备与障碍物的相对运动速度和虚拟现实设备与障碍物的距离。
在本申请提供的又一实施例中，从第一图像确定第一图元，分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元，具体包括：
从第一图像、第二图像、第三图像、第四图像中查找表征同一sift(Scale-invariant feature transform，尺度不变特征变换)特征的第一图元、第二图元、第三图元、第四图元。
具体的，可以将各图像中的sift特征找出，然后根据不同图像中同一sift特征，计算虚拟现实设备与障碍物的相对运动速度和虚拟现实设备与障碍物的距离。
在本申请提供的又一实施例中，从第一图像确定第一图元，分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元，具体包括：
利用图像卷积方法从第一图像、第二图像、第三图像、第四图像中查找可以相互匹配的第一图元、第二图元、第三图元、第四图元。
具体的，可以利用图像卷积的方式，确定不同图像中的对应区域，从而可以在此基础上，计算虚拟现实设备与障碍物的相对运动速度和虚拟现实设备与障碍物的距离。
进一步的，在本申请提供的又一实施例中，所述方法还包括：
多次独立重复确定第一图元、第二图元、第三图元、第四图元，其中每次确定的第一图元、第二图元、第三图元、第四图元不同；
推导获得多次独立重复的虚拟现实设备与障碍物的相对运动速度、虚拟现实
设备在第二时点与障碍物的距离；
将多次独立重复获取的虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离利用最小二乘法优化，获得优化的虚拟现实设备与障碍物的相对运动速度和优化的虚拟现实设备在第二时点与障碍物的距离。
具体的，可以利用最小二乘法，优化根据不同的目标点计算得到的虚拟现实设备与障碍物的相对运动速度和虚拟现实设备与障碍物的距离。
S04：获取虚拟现实设备在第二时点的加速度。
加速度模块可以是一种能够测量加速力的电子设备。在本申请提供的一种可实现的实施方式中，可以利用压电陶瓷或石英晶体的压电效应，在加速度模块受振时，质量块加在压电元件上的力也随之变化。当被测振动频率远低于加速度计的固有频率时，则力的变化与被测加速度成正比。
虚拟现实设备的加速度模块，可以获取虚拟现实设备在第二时点的加速度。
S05：根据虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指令。
虚拟现实设备的计算模块，在获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度的基础上，可以计算得到虚拟现实设备是否会与障碍物发生碰撞的预计，从而可以及时作出向用户反馈的避障指令。
在本申请提供的实施例中，虚拟现实设备的计算模块，根据虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指令，从而可以引导虚拟现实设备的用户有效避障，体验满意度好。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非暂态计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的非暂态计算机可读存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上是本申请实施例中避障方法，基于同样的思路，请参照图3，本申请还
提供一种虚拟现实设备1，包括：
双目摄像头模块11，用于：
在第一时点，获取第一摄像头以第一角度拍摄的障碍物的第一图像和第二摄像头以第二角度拍摄的障碍物第二图像；
在第二时点，获取第一摄像头以第三角度拍摄的障碍物的第三图像和第二摄像头以第四角度拍摄的障碍物第四图像；
计算模块12，用于：
根据障碍物在双目摄像头模块11所成的第一图像、第二图像、第三图像和第四图像，推导获得虚拟现实设备1与障碍物的相对运动速度、虚拟现实设备1在第二时点与障碍物的距离；
加速度模块13，用于：
获取虚拟现实设备1在第二时点的加速度；
其中，所述计算模块12还用于：
根据虚拟现实设备1与障碍物的相对运动速度、虚拟现实设备1在第二时点与障碍物的距离、虚拟现实设备1在第二时点的加速度做出避障指令。
进一步的，在本申请提供的又一实施例中，所述计算模块12用于：
计算障碍物在第三图像和第四图像中的视差(L1-L2)；
根据公式d＝bf/(L1-L2)推导获得虚拟现实设备1在第二时点与障碍物的距离；其中，b为第一摄像头的光心C1和第二摄像头光心C2之间的距离；
f为第一摄像头和第二摄像头的焦距。
进一步的，在本申请提供的又一实施例中，所述计算模块12还用于：
计算障碍物在第一图像和第二图像中的视差；
根据公式d＝bf/(L1-L2)推导获得虚拟现实设备1在第一时点与障碍物的距离；
根据虚拟现实设备1在第一时点与障碍物的距离、虚拟现实设备1在第二时点与障碍物的距离和第一时点与第二时点的时间差，计算虚拟现实设备1与障碍物的相对运动速度。
进一步的，在本申请提供的又一实施例中，所述计算模块12用于：
根据障碍物在双目摄像头模块11所成的第一图像、第二图像、第三图像和第四图像，以及方程Ix*Vx+Iy*Vy＝-It求得Vx和Vy；
根据投影关系可以求得虚拟现实设备1与障碍物的相对运动速度；
其中，
分别为灰度值对x，y，t的偏导数。
进一步的，在本申请提供的又一实施例中，所述计算模块12用于：
从第一图像中确定第一图元，该第一图元为障碍物的一个体单元在第一图像的成像；
分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元；
根据第一图元、第二图元、第三图元、第四图元的对应关系，推导获得虚拟现实设备1与障碍物的相对运动速度、虚拟现实设备1在第二时点与障碍物的距离。
进一步的，在本申请提供的又一实施例中，所述计算模块12用于：
从第一图像中查找表征障碍物物理特征的图元；
分别从第二图像、第三图像、第四图像中查找表征障碍物同一物理特征的图元的第二图元、第三图元、第四图元。
进一步的，在本申请提供的又一实施例中，所述计算模块12用于：
从第一图像、第二图像、第三图像、第四图像中查找表征同一sift特征的第一图元、第二图元、第三图元、第四图元。
进一步的，在本申请提供的又一实施例中，所述计算模块12用于：
利用图像卷积方法从第一图像、第二图像、第三图像、第四图像中查找可以相互匹配的第一图元、第二图元、第三图元、第四图元。
进一步的，在本申请提供的又一实施例中，所述计算模块12还用于：
多次独立重复确定第一图元、第二图元、第三图元、第四图元，其中每次确
定的第一图元、第二图元、第三图元、第四图元不同；
推导获得多次独立重复的虚拟现实设备1与障碍物的相对运动速度、虚拟现实设备1在第二时点与障碍物的距离；
将多次独立重复获取的虚拟现实设备1与障碍物的相对运动速度、虚拟现实设备1在第二时点与障碍物的距离利用最小二乘法优化，获得优化的虚拟现实设备1与障碍物的相对运动速度和优化的虚拟现实设备1在第二时点与障碍物的距离。
在本申请另一实施例中，还提供一种电子设备，包括前述任一实施例所述的虚拟现实设备。
在本申请另一实施例中，还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的避障方法。
图4是本申请实施例提供的执行避障方法的电子设备的硬件结构示意图，如图4所示，该设备包括：
一个或多个处理器410以及存储器420，图4中以一个处理器410为例。
执行避障方法的设备还可以包括：输入装置430和输出装置440。
处理器410、存储器420、输入装置430和输出装置440可以通过总线或者其他方式连接，图4中以通过总线连接为例。
存储器420作为一种非暂态计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的避障方法对应的程序指令/模块(例如，附图3所示的双目摄像头模块11、计算模块12和加速度模块13)。处理器410通过运行存储在存储器420中的非易失性软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例避障方法。
存储器420可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据虚拟现实设备的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器420可选包括相对于处理器410远程
设置的存储器，这些远程存储器可以通过网络连接至虚拟现实设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可接收输入的数字或字符信息，以及产生与虚拟现实设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器420中，当被所述一个或者多个处理器410执行时，执行上述任意方法实施例中的避障方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中
还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (21)
- 一种避障方法，其特征在于，应用于虚拟现实设备，包括以下步骤：在第一时点，获取第一摄像头以第一角度拍摄的障碍物的第一图像和第二摄像头以第二角度拍摄的障碍物第二图像；在第二时点，获取第一摄像头以第三角度拍摄的障碍物的第三图像和第二摄像头以第四角度拍摄的障碍物第四图像；根据第一图像、第二图像、第三图像和第四图像，推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离；获取虚拟现实设备在第二时点的加速度；根据虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指令。
- 如权利要求1所述的避障方法，其特征在于，根据第三图像和第四图像，推导获得虚拟现实设备在第二时点与障碍物的距离，具体包括：计算障碍物在第三图像和第四图像中的视差(L1-L2)；根据公式d＝bf/(L1-L2)推导获得虚拟现实设备在第二时点与障碍物的距离；其中，b为第一摄像头的光心C1和第二摄像头光心C2之间的距离；f为第一摄像头和第二摄像头的焦距。
- 如权利要求2所述的避障方法，其特征在于，根据第一图像、第二图像、第三图像和第四图像，推导获得虚拟现实设备与障碍物的相对运动速度，具体包括：计算障碍物在第一图像和第二图像中的视差；根据公式d＝bf/(L1-L2)推导获得虚拟现实设备在第一时点与障碍物的距离；根据虚拟现实设备在第一时点与障碍物的距离、虚拟现实设备在第二时点与障碍物的距离和第一时点与第二时点的时间差，计算虚拟现实设备与障碍物的相对运动速度。
- 如权利要求1所述的避障方法，其特征在于，根据第一图像、第二 图像、第三图像和第四图像，推导获得虚拟现实设备与障碍物的相对运动速度，具体包括：根据第一图像、第二图像、第三图像和第四图像，以及方程Ix*Vx+Iy*Vy＝-It求得Vx和Vy；根据投影关系可以求得虚拟现实设备与障碍物的相对运动速度；其中，分别为灰度值对x，y，t的偏导数。
- 如权利要求1所述的避障方法，其特征在于，根据第一图像、第二图像、第三图像和第四图像，推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离，具体包括：从第一图像中确定第一图元，该第一图元为障碍物的一个体单元在第一图像的成像；分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元；根据第一图元、第二图元、第三图元、第四图元的对应关系，推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离。
- 如权利要求5所述的避障方法，其特征在于，从第一图像确定第一图元，分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元，具体包括：从第一图像中查找表征障碍物物理特征的图元；分别从第二图像、第三图像、第四图像中查找表征障碍物同一物理特征的图元的第二图元、第三图元、第四图元。
- 如权利要求5所述的避障方法，其特征在于，从第一图像确定第一图元，分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元，具体包括：从第一图像、第二图像、第三图像、第四图像中查找表征同一尺度不变特征变换sift特征的第一图元、第二图元、第三图元、第四图元。
- 如权利要求5所述的避障方法，其特征在于，从第一图像确定第一 图元，分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元，具体包括：利用图像卷积方法从第一图像、第二图像、第三图像、第四图像中查找可以相互匹配的第一图元、第二图元、第三图元、第四图元。
- 如权利要求5所述的避障方法，其特征在于，所述方法还包括：多次独立重复确定第一图元、第二图元、第三图元、第四图元，其中每次确定的第一图元、第二图元、第三图元、第四图元不同；推导获得多次独立重复的虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离；将多次独立重复获取的虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离利用最小二乘法优化，获得优化的虚拟现实设备与障碍物的相对运动速度和优化的虚拟现实设备在第二时点与障碍物的距离。
- 一种虚拟现实设备，其特征在于，包括：双目摄像头模块，用于：在第一时点，获取第一摄像头以第一角度拍摄的障碍物的第一图像和第二摄像头以第二角度拍摄的障碍物第二图像；在第二时点，获取第一摄像头以第三角度拍摄的障碍物的第三图像和第二摄像头以第四角度拍摄的障碍物第四图像；计算模块，用于：根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像，推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离；加速度模块，用于：获取虚拟现实设备在第二时点的加速度；其中，所述计算模块还用于：根据虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指令。
- 如权利要求10所述的虚拟现实设备，其特征在于，所述计算模块用于：计算障碍物在第三图像和第四图像中的视差(L1-L2)；根据公式d＝bf/(L1-L2)推导获得虚拟现实设备在第二时点与障碍物的距离；其中，b为第一摄像头的光心C1和第二摄像头光心C2之间的距离；f为第一摄像头和第二摄像头的焦距。
- 如权利要求11所述的虚拟现实设备，其特征在于，所述计算模块还用于：计算障碍物在第一图像和第二图像中的视差；根据公式d＝bf/(L1-L2)推导获得虚拟现实设备在第一时点与障碍物的距离；根据虚拟现实设备在第一时点与障碍物的距离、虚拟现实设备在第二时点与障碍物的距离和第一时点与第二时点的时间差，计算虚拟现实设备与障碍物的相对运动速度。
- 如权利要求11所述的虚拟现实设备，其特征在于，所述计算模块用于：根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像，以及方程Ix*Vx+Iy*Vy＝-It求得Vx和Vy；根据投影关系可以求得虚拟现实设备与障碍物的相对运动速度；其中，分别为灰度值对x，y，t的偏导数。
- 如权利要求10所述的虚拟现实设备，其特征在于，所述计算模块用于：从第一图像中确定第一图元，该第一图元为障碍物的一个体单元在第一图像的成像；分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元；根据第一图元、第二图元、第三图元、第四图元的对应关系，推导获得 虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离。
- 如权利要求14所述的虚拟现实设备，其特征在于，所述计算模块用于：从第一图像中查找表征障碍物物理特征的图元；分别从第二图像、第三图像、第四图像中查找表征障碍物同一物理特征的图元的第二图元、第三图元、第四图元。
- 如权利要求14所述的虚拟现实设备，其特征在于，所述计算模块用于：从第一图像、第二图像、第三图像、第四图像中查找表征同一尺度不变特征变换sift特征的第一图元、第二图元、第三图元、第四图元。
- 如权利要求14所述的虚拟现实设备，其特征在于，所述计算模块用于：利用图像卷积方法从第一图像、第二图像、第三图像、第四图像中查找可以相互匹配的第一图元、第二图元、第三图元、第四图元。
- 如权利要求14所述的虚拟现实设备，其特征在于，所述计算模块还用于：多次独立重复确定第一图元、第二图元、第三图元、第四图元，其中每次确定的第一图元、第二图元、第三图元、第四图元不同；推导获得多次独立重复的虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离；将多次独立重复获取的虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离利用最小二乘法优化，获得优化的虚拟现实设备与障碍物的相对运动速度和优化的虚拟现实设备在第二时点与障碍物的距离。
- 一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1-9任一所述方法。
- 一种电子设备，其特征在于，包括：一个或多个处理器；以及，与所述一个或多个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器能够：在第一时点，获取第一摄像头以第一角度拍摄的障碍物的第一图像和第二摄像头以第二角度拍摄的障碍物第二图像；在第二时点，获取第一摄像头以第三角度拍摄的障碍物的第三图像和第二摄像头以第四角度拍摄的障碍物第四图像；根据第一图像、第二图像、第三图像和第四图像，推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离；获取虚拟现实设备在第二时点的加速度；根据虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指令。
- 一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行权利要求1-9所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510976181.6 | 2015-12-21 | ||
| CN201510976181.6A CN105893928A (zh) | 2015-12-21 | 2015-12-21 | 虚拟现实设备及虚拟现实设备提供的避障方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2017107537A1 true WO2017107537A1 (zh) | 2017-06-29 |
Family
ID=57002448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2016/096987 Ceased WO2017107537A1 (zh) | 2015-12-21 | 2016-08-26 | 虚拟现实设备及避障方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN105893928A (zh) |
| WO (1) | WO2017107537A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109212536A (zh) * | 2017-06-30 | 2019-01-15 | 蒋昊 | 一种虚拟现实眼镜避障辅助装置、系统及控制方法 |
| US10375365B2 (en) | 2014-02-07 | 2019-08-06 | Samsung Electronics Co., Ltd. | Projection system with enhanced color and contrast |
| US10453371B2 (en) | 2014-02-07 | 2019-10-22 | Samsung Electronics Co., Ltd. | Multi-layer display with color and contrast enhancement |
| US10554962B2 (en) | 2014-02-07 | 2020-02-04 | Samsung Electronics Co., Ltd. | Multi-layer high transparency display for light field generation |
| US10565925B2 (en) | 2014-02-07 | 2020-02-18 | Samsung Electronics Co., Ltd. | Full color display with intrinsic transparency |
| CN119254941A (zh) * | 2024-09-27 | 2025-01-03 | 芜湖汽车前瞻技术研究院有限公司 | 虚拟现实显示系统、方法、装置、设备、介质 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105893928A (zh) * | 2015-12-21 | 2016-08-24 | 乐视致新电子科技（天津）有限公司 | 虚拟现实设备及虚拟现实设备提供的避障方法 |
| CN107980138B (zh) | 2016-12-28 | 2021-08-17 | 达闼机器人有限公司 | 一种虚警障碍物检测方法及装置 |
| CN106843475A (zh) * | 2017-01-03 | 2017-06-13 | 京东方科技集团股份有限公司 | 一种实现虚拟现实交互的方法及系统 |
| CN106971501B (zh) * | 2017-03-09 | 2019-07-26 | 广州三星通信技术研究有限公司 | 用于虚拟现实设备的提醒方法和提醒装置 |
| US10500496B2 (en) | 2018-01-12 | 2019-12-10 | International Business Machines Corporation | Physical obstacle avoidance in a virtual reality environment |
| CN113671953A (zh) * | 2021-07-31 | 2021-11-19 | 河南中烟工业有限责任公司 | 基于vr技术的agv避障系统及方法 |
| US11835718B1 (en) | 2022-06-22 | 2023-12-05 | International Business Machines Corporation | Augmented notifications for vibrations |
| CN115981468A (zh) * | 2022-12-29 | 2023-04-18 | 维沃移动通信有限公司 | 保护方法、装置、穿戴设备及可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101359229A (zh) * | 2008-08-18 | 2009-02-04 | 浙江大学 | 一种基于障碍物运动预测的移动机器人避障方法 |
| CN103231708A (zh) * | 2013-04-12 | 2013-08-07 | 安徽工业大学 | 一种基于双目视觉的智能车辆避障方法 |
| CN103480154A (zh) * | 2012-06-12 | 2014-01-01 | 索尼电脑娱乐公司 | 障碍物规避装置及障碍物规避方法 |
| WO2014156033A1 (en) * | 2013-03-26 | 2014-10-02 | Seiko Epson Corporation | Head-mounted display device, control method of head-mounted display device, and display system |
| CN105893928A (zh) * | 2015-12-21 | 2016-08-24 | 乐视致新电子科技（天津）有限公司 | 虚拟现实设备及虚拟现实设备提供的避障方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4707109B2 (ja) * | 2006-03-02 | 2011-06-22 | アルパイン株式会社 | 複数カメラ撮影画像処理方法及び装置 |
| CN102176232B (zh) * | 2011-01-26 | 2014-05-28 | 新疆中钜电子科技有限公司 | 单兵安全定位导向操作系统及其应用方法 |
| CN103714532A (zh) * | 2013-12-09 | 2014-04-09 | 广西科技大学 | 一种基于双目视觉自动检测障碍物的方法 |
| CN103744656A (zh) * | 2013-12-23 | 2014-04-23 | 乐视网信息技术（北京）股份有限公司 | 一种数据解析方法及装置 |
| CN104021388B (zh) * | 2014-05-14 | 2017-08-22 | 西安理工大学 | 基于双目视觉的倒车障碍物自动检测及预警方法 |
-
2015
- 2015-12-21 CN CN201510976181.6A patent/CN105893928A/zh active Pending
-
2016
- 2016-08-26 WO PCT/CN2016/096987 patent/WO2017107537A1/zh not_active Ceased
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101359229A (zh) * | 2008-08-18 | 2009-02-04 | 浙江大学 | 一种基于障碍物运动预测的移动机器人避障方法 |
| CN103480154A (zh) * | 2012-06-12 | 2014-01-01 | 索尼电脑娱乐公司 | 障碍物规避装置及障碍物规避方法 |
| WO2014156033A1 (en) * | 2013-03-26 | 2014-10-02 | Seiko Epson Corporation | Head-mounted display device, control method of head-mounted display device, and display system |
| CN103231708A (zh) * | 2013-04-12 | 2013-08-07 | 安徽工业大学 | 一种基于双目视觉的智能车辆避障方法 |
| CN105893928A (zh) * | 2015-12-21 | 2016-08-24 | 乐视致新电子科技（天津）有限公司 | 虚拟现实设备及虚拟现实设备提供的避障方法 |
Non-Patent Citations (1)
| Title |
|---|
| WANG, YIFAN ET AL.: "A Fast Parallax Distance Measuring Method For Small UAV Obstacle Avoiding", CHINA MEASUREMENT & TESTING TECHNOLOGY, vol. 34, no. 3, 31 May 2008 (2008-05-31), pages 114 - 116 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10375365B2 (en) | 2014-02-07 | 2019-08-06 | Samsung Electronics Co., Ltd. | Projection system with enhanced color and contrast |
| US10453371B2 (en) | 2014-02-07 | 2019-10-22 | Samsung Electronics Co., Ltd. | Multi-layer display with color and contrast enhancement |
| US10554962B2 (en) | 2014-02-07 | 2020-02-04 | Samsung Electronics Co., Ltd. | Multi-layer high transparency display for light field generation |
| US10565925B2 (en) | 2014-02-07 | 2020-02-18 | Samsung Electronics Co., Ltd. | Full color display with intrinsic transparency |
| CN109212536A (zh) * | 2017-06-30 | 2019-01-15 | 蒋昊 | 一种虚拟现实眼镜避障辅助装置、系统及控制方法 |
| CN119254941A (zh) * | 2024-09-27 | 2025-01-03 | 芜湖汽车前瞻技术研究院有限公司 | 虚拟现实显示系统、方法、装置、设备、介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105893928A (zh) | 2016-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017107537A1 (zh) | 虚拟现实设备及避障方法 | |
| AU2021215179B2 (en) | Virtual try-on systems and methods for spectacles | |
| CN111242908B (zh) | 一种平面检测方法及装置、平面跟踪方法及装置 | |
| CN103136744B (zh) | 用于计算特征点的三维位置的装置和方法 | |
| JP7748401B2 (ja) | アモーダル中心予測のためのオブジェクト認識ニューラルネットワーク | |
| US20210241495A1 (en) | Method and system for reconstructing colour and depth information of a scene | |
| CN106663334B (zh) | 通过计算装置执行的方法、移动通信装置和存储介质 | |
| JP7711002B2 (ja) | 動的オクルージョンのための高速の手のメッシュ化 | |
| CN110276317A (zh) | 一种物体尺寸检测方法、物体尺寸检测装置及移动终端 | |
| US20210125307A1 (en) | System and method for providing dolly zoom view synthesis | |
| KR102461232B1 (ko) | 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체 | |
| TW202332263A (zh) | 立體影像播放裝置及其立體影像產生方法 | |
| WO2019196745A1 (zh) | 人脸建模方法及相关产品 | |
| CN105979360A (zh) | 一种渲染图像的处理方法及装置 | |
| WO2020036114A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| US10147240B2 (en) | Product image processing method, and apparatus and system thereof | |
| CN111866492A (zh) | 基于头戴显示设备的图像处理方法、装置及设备 | |
| TWI779332B (zh) | 擴增實境系統與其錨定顯示虛擬物件的方法 | |
| KR20220083166A (ko) | 인체 추정 방법 및 장치 | |
| TWM630947U (zh) | 立體影像播放裝置 | |
| US20250209732A1 (en) | Three-dimentional scene reconstruction method and apparatus, device, and storage medium | |
| US20230260222A1 (en) | Efficient dynamic occlusion based on stereo vision within an augmented or virtual reality application | |
| WO2018000610A1 (zh) | 一种基于图像类型判断的自动播放方法和电子设备 | |
| CN116612234A (zh) | 基于增强或虚拟现实应用程序内立体视觉的高效动态遮挡 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16877349 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 16877349 Country of ref document: EP Kind code of ref document: A1 |