WO2017092528A1 - 基于虚拟现实的光标操控方法及系统 - Google Patents

基于虚拟现实的光标操控方法及系统 Download PDF

Info

Publication number
WO2017092528A1
WO2017092528A1 PCT/CN2016/103744 CN2016103744W WO2017092528A1 WO 2017092528 A1 WO2017092528 A1 WO 2017092528A1 CN 2016103744 W CN2016103744 W CN 2016103744W WO 2017092528 A1 WO2017092528 A1 WO 2017092528A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
virtual reality
cursor
gesture
track
Prior art date
Application number
PCT/CN2016/103744
Other languages
English (en)
French (fr)
Inventor
郑少华
黎剑辉
张圳
朱一伟
罗海彬
湛浩
Original Assignee
丰唐物联技术（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 丰唐物联技术（深圳）有限公司 filed Critical 丰唐物联技术（深圳）有限公司
Publication of WO2017092528A1 publication Critical patent/WO2017092528A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Definitions

  • Virtual reality technology is a computer simulation system that can create and experience a virtual world. It uses a computer to generate a simulation environment. It is an interactive three-dimensional dynamic view of multi-source information fusion. And system simulation of physical behavior, enabling users to feel and immersed in the environment; therefore, when the user simulates a work scene based on virtual reality technology, the control of the cursor displayed on the display screen is also more flexible.
  • a virtual reality-based cursor manipulation method is disclosed in the embodiment of the present invention, including the following steps: [0006] monitoring a gesture action of a user, and acquiring a gesture track corresponding to the monitored gesture action of the user; [0007] Parsing the obtained user gesture track;
  • the analysis result of the user gesture track is: the user gesture track is forward in a three-dimensional plane After moving, the cursor in the virtual reality preset scene is controlled to execute a double-click operation command, and the file or folder corresponding to the location of the cursor is opened.
  • the controlling the movement of the cursor in the virtual reality preset scene according to the gesture trajectory according to the parsing result of the user gesture trajectory comprises:
  • the user gesture track is a movement in a two-dimensional plane, and the cursor in the virtual reality preset scene is controlled to be in the same direction as the gesture track. mobile.
  • the monitoring user's gesture actions include:
  • the present invention also discloses a virtual reality-based cursor manipulation system, including:
  • a monitoring module configured to monitor a gesture action of the user, and obtain a gesture track corresponding to the monitored gesture action of the user;
  • a parsing module configured to parse the acquired user gesture track
  • the snoring module is configured to control, according to the parsing result of the user gesture trajectory, the file or folder corresponding to the cursor snoring in the virtual reality preset scene.
  • the snoring module is further configured to:
  • the parsing module parses the user gesture trajectory as follows: the user gesture trajectory is a forward movement ⁇ in a three-dimensional plane, and then the cursor in the virtual reality preset scene is controlled to perform a double-click operation. Command to open the file or folder corresponding to the location of the cursor.
  • the virtual reality based cursor manipulation system further comprises:
  • a movement module configured to control, according to the parsing result of the user gesture trajectory, the cursor in the virtual reality preset scene to move according to the gesture trajectory.
  • the mobile module is further configured to: [0026]
  • the parsing module parses the user gesture trajectory as follows: the user gesture trajectory is a movement ⁇ in a two-dimensional plane, and the cursor in the virtual reality preset scene is controlled according to the gesture trajectory Move in the same direction.
  • the monitoring module is further configured to:
  • Two cameras mounted on the virtual reality device are used to monitor the hand movement of a user's hand in a three-dimensional plane.
  • the virtual reality-based cursor control method and system can achieve the following beneficial effects: [0030] monitoring the gesture action of the user, and acquiring the gesture track corresponding to the monitored user's gesture action; The user gesture track; controlling the file or folder corresponding to the cursor hiccup in the virtual reality preset scene according to the parsing result of the user gesture track; having flexible operation by acquiring the moving direction of the user gesture
  • the utility model also controls the beneficial effects of the cursor in the virtual reality preset scene, and improves the flexibility and convenience of operating and controlling the cursor in the virtual reality preset scene.
  • FIG. 1 is a schematic flow chart of an embodiment of a virtual reality-based cursor manipulation method according to the present invention
  • FIG. 2 is a schematic flow chart of another embodiment of a virtual reality-based cursor manipulation method according to the present invention
  • 3 is a block diagram of an embodiment of a virtual reality based cursor manipulation system of the present invention
  • FIG. 4 is a block diagram of another embodiment of a virtual reality based cursor manipulation system of the present invention.
  • the present invention provides a virtual reality based cursor manipulation method and system, aiming at: acquiring a user The direction of movement of the gesture to flexibly manipulate and control the cursor in the virtual reality preset scene.
  • the virtual reality-based cursor manipulation method of the present invention can be implemented as steps S10-S30 described in the embodiment of FIG.
  • Step S10 Monitor a gesture action of the user, and obtain a gesture track corresponding to the monitored gesture action of the user;
  • the purpose of the cursor in the virtual reality preset scene is achieved by monitoring the gesture action of the user, that is, the present invention monitors the gesture action of the user through the system, and monitors the The user's gesture action is converted into a cursor operation in the virtual reality preset scene to achieve the object of the present invention.
  • the system monitors the gesture of a user's hand by utilizing two cameras disposed on the virtual reality device.
  • the user can wear the virtual reality device on the body, for example, installing two cameras on the helmet of the virtual reality device worn by the user, and monitoring the gesture action of the user's one hand through the camera, thereby monitoring the
  • the gesture action of the user is converted into a cursor operation in the virtual reality preset scene; for example, the system converts the monitored gesture action of the user into a specific scene of the simulated office computer desktop, and the cursor on the virtual display corresponding to the mouse Double click the operation.
  • the preset scene described can be understood as: by controlling the mouse, the application scene of the cursor corresponding to the mouse on the display screen can be controlled.
  • the system utilizes two cameras on the virtual reality device to monitor gestures of the user's hand in a three-dimensional plane; for example, the system monitors the user up, down, and left through two cameras. Gestures in a three-dimensional plane, right or forward, backward, etc. Since the dual camera is used, the two cameras cooperate to test the distance, and then the user can judge the forward gesture.
  • the system acquires a gesture track corresponding to the gesture action of the user. For example, if the gesture action of the user is monitored, the corresponding gesture track is obtained as the forward direction. traces of.
  • Step S20 Parsing the acquired user gesture track
  • the system can analyze the acquired user gesture track. It is determined whether the gesture action of the user is a forward movement operation in a three-dimensional plane or a movement operation in a two-dimensional plane.
  • the movement operation of the gesture action of the user in the two-dimensional plane includes, but is not limited to, a movement operation in a two-dimensional plane direction such as left, right, up, down, upper left, lower left, upper right, and lower right.
  • Step S30 Control, according to the parsing result of the user gesture track, the file or folder corresponding to the cursor hiccup in the virtual reality preset scene.
  • the system parses the obtained user gesture trajectory, the obtained parsing result is: the user gesture trajectory is a forward movement ⁇ in a three-dimensional plane, and the system controls the cursor in the virtual reality preset scene. Execute the double-click operation command, that is, hit the file or folder corresponding to the location of the cursor.
  • the virtual reality-based cursor manipulation method monitors a user's gesture action, and acquires a gesture trajectory corresponding to the monitored user's gesture action; parses the acquired user gesture trajectory; according to the user gesture trajectory
  • the analysis result of the cursor controls the corresponding file or folder in the virtual reality preset scene; and has the beneficial effect of flexibly operating and controlling the cursor in the virtual reality preset scene by acquiring the moving direction of the user gesture Improves the flexibility and convenience of operating and controlling the cursor in the virtual reality preset scene.
  • the virtual reality based cursor manipulation method of the present invention is "step S20" in the embodiment of FIG.
  • Step S40 Control, according to the parsing result of the user gesture track, the cursor in the virtual reality preset scene to move according to the gesture track.
  • the system parses the obtained user gesture trajectory, the obtained analysis result is: the user gesture trajectory is a mobile ⁇ in a two-dimensional plane, and the system controls the virtual reality preset scene.
  • the cursor in the movement moves according to the gesture trajectory.
  • the system controls the cursor in the virtual reality scene to move according to the corresponding gesture track, and the moving direction of the cursor is the same as the direction of the gesture track, that is, controlling the cursor according to the The gesture track moves in the same direction.
  • the gesture track obtained is the upper left, then Controlling the cursor also moves to the upper left.
  • the system acquires a gesture trajectory of the user to move to the lower left, and then controls a corresponding cursor in the specific environment to the lower left.
  • the square moves, that is, the direction of movement of the user's gesture action.
  • the virtual reality-based cursor manipulation method monitors a user's gesture action, and acquires a gesture trajectory corresponding to the monitored user's gesture action; parses the acquired user gesture trajectory; according to the user gesture trajectory
  • the cursor in the virtual reality preset scene is controlled to move according to the gesture track; and the beneficial effect of flexibly moving the cursor in the virtual reality preset scene by acquiring the moving direction of the user gesture is improved.
  • the flexibility and convenience of cursor movement in virtual reality preset scenes are examples of cursor movement in virtual reality preset scenes.
  • the present invention further provides a virtual reality-based cursor manipulation system.
  • the virtual reality-based cursor manipulation system of the present invention includes: The monitoring module 60, the parsing module 70 and the snore module 80; wherein:
  • the monitoring module 60 is configured to monitor a gesture action of the user, and acquire a gesture track corresponding to the monitored gesture action of the user;
  • the monitoring module 60 monitors the gesture action of the user to achieve the purpose of operating and controlling the cursor in the virtual reality preset scene. That is, the present invention monitors the user through the monitoring module 60.
  • the gesture action the system converts the gesture action of the user monitored by the monitoring module 60 into a cursor operation in the virtual reality preset scene to achieve the object of the present invention.
  • the monitoring module 60 monitors the gesture action of the user's one hand by utilizing two cameras disposed on the virtual reality device.
  • the user can wear the virtual reality device on the body, for example, two cameras are installed on the helmet of the virtual reality device worn by the user, and the monitoring module 60 monitors the gesture action of the user by one hand through the camera. Therefore, the gesture action of the monitored user is converted into a cursor operation in the virtual reality preset scene; for example, the snoring module 80 converts the gesture action of the user monitored by the monitoring module 60 into a simulated office computer desktop. In a specific scene, the double-click operation of the cursor on the virtual display corresponding to the mouse.
  • the preset scene described can be understood as: by controlling the mouse, the application scene of the cursor corresponding to the mouse on the display screen can be controlled.
  • the monitoring module 60 uses two cameras on the virtual reality device to monitor the gesture action of the user's hand in a three-dimensional plane; for example, the monitoring module 60 monitors through two cameras.
  • the user gestures in a three-dimensional plane such as up, down, left, right or forward, backward, etc. Since the dual camera is used, the two cameras cooperate to test the distance, and then the user can judge the forward gesture.
  • the monitoring module 60 acquires a gesture track corresponding to the gesture action of the user according to the monitored gesture action of the user. For example, the monitoring module 60 monitors the gesture action of the user, and obtains The corresponding gesture track is a track corresponding to the forward direction.
  • the parsing module 70 is configured to parse the acquired user gesture track
  • the monitoring module 60 uses the two cameras on the virtual reality device to monitor the gesture of the user's one hand, and then acquires the corresponding gesture track. Therefore, the parsing module 70 can obtain the obtained gesture.
  • the user gesture track determines whether the user's gesture action is a forward movement operation in a three-dimensional plane or a movement operation in a two-dimensional plane.
  • the moving operation of the user's gesture action in a two-dimensional plane includes, but is not limited to, a moving operation in a two-dimensional plane direction such as left, right, up, down, top left, bottom left, top right, and bottom right.
  • the snoring module 80 is configured to control, according to the parsing result of the user gesture trajectory, a file or a folder corresponding to the cursor snoring in the virtual reality preset scene.
  • the parsing module 70 parses the obtained user gesture trajectory
  • the obtained parsing result is: the user gesture trajectory is a forward movement ⁇ in a three-dimensional plane, and the snoring module 80 controls the virtual The cursor in the realistic preset scene performs an operation command of double-clicking, that is, a file or a folder corresponding to the location of the cursor.
  • the virtual reality-based cursor control system monitors the gesture action of the user, and acquires the gesture track corresponding to the monitored user's gesture action; parses the acquired user gesture track; according to the user gesture track
  • the analysis result of the cursor controls the corresponding file or folder in the virtual reality preset scene; and has the beneficial effect of flexibly operating and controlling the cursor in the virtual reality preset scene by acquiring the moving direction of the user gesture , improving the virtual reality preset scene into the cursor Flexibility and convenience of operation and control.
  • the virtual gesture-based cursor manipulation system parses the acquired user gesture trajectory into a movement operation in a two-dimensional plane, the system controls the cursor to perform a movement operation.
  • the virtual reality based cursor manipulation system of the present invention further includes:
  • the moving module 90 is configured to control, according to the parsing result of the user gesture trajectory, the cursor in the virtual reality preset scene to move according to the gesture trajectory.
  • the parsing module 70 parses the acquired user gesture trajectory
  • the obtained parsing result is: the user gesture trajectory is a mobile ⁇ in a two-dimensional plane, and the mobile module 90 controls the virtual The cursor in the realistic preset scene moves according to the gesture trajectory.
  • the moving module 90 controls the cursor in the virtual reality scene to move according to the corresponding gesture track, and the moving direction of the cursor is the same as the direction of the gesture track, that is, the mobile module 90 controls the The cursor moves in the same direction as the gesture trajectory.
  • the parsing result of the parsing module 70 is: the gesture track is the upper left, then the moving module 90 controls the cursor to also move to the upper left.
  • the computer desktop in the office environment is simulated by the virtual reality technology, and the parsing module 70 parses the gesture track of the user to move to the lower left, and the mobile module 90 controls the corresponding environment.
  • the cursor also moves to the lower left, which is consistent with the moving direction of the user's gesture
  • the virtual reality-based cursor control system monitors the gesture action of the user, and acquires the gesture track corresponding to the monitored user's gesture action; parses the acquired user gesture track; according to the user gesture track
  • the cursor in the virtual reality preset scene is controlled to move according to the gesture track; and the beneficial effect of flexibly moving the cursor in the virtual reality preset scene by acquiring the moving direction of the user gesture is improved.
  • the flexibility and convenience of cursor movement in virtual reality preset scenes are examples of cursor movement in virtual reality preset scenes.
  • the foregoing embodiment method can be implemented by means of software plus a necessary general hardware platform, and of course, can also be through hardware, but in many cases, the former It is a better implementation.
  • the technical solution of the present invention which is essential or contributes to the prior art, may be embodied in the form of a software product stored in a storage medium (such as ROM/RAM, disk,
  • the optical disc includes a number of instructions for causing a terminal device (which may be a mobile phone, a computer, a server, or a network device, etc.) to perform the methods described in various embodiments of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种基于虚拟现实的光标操控方法及系统，旨在：通过获取用户手势的移动方向，来灵活地操作并控制虚拟现实预设场景中的光标。基于虚拟现实的光标操控方法及系统通过监控用户的手势动作，并获取监控到的用户的手势动作所对应的手势轨迹（S10）；解析获取的所述用户手势轨迹（S20）；根据对所述用户手势轨迹的解析结果，控制虚拟现实预设场景中的所述光标打开对应的文件或者文件夹（S30）；具有通过获取用户手势的移动方向，来灵活地操作并控制虚拟现实预设场景中的光标的有益效果，提高了虚拟现实预设场景中对光标进行操作和控制的灵活性和便捷性。

Description

发明名称：基于虚拟现实的光标操控方法及系统 技术领域
[0001] 本发明涉及虚拟现实技术领域， 尤其涉及一种基于虚拟现实的光标操控方法及 系统。
背景技术
[0002] 随着虚拟现实技术的迅猛发展， 随之而不断幵发或者更新的利用虚拟现实技术 的产品也越来越多。 虚拟现实技术具有如下基本的特点： 虚拟现实技术是一种 可以创建和体验虚拟世界的计算机仿真系统， 它利用计算机生成一种模拟环境 ， 是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真， 使用 户能够真实感受并沉浸到该环境中； 因此， 在用户基于虚拟现实技术模拟工作 场景等活动吋， 要求对显示屏上显示的光标的控制也会更灵活。
[0003] 目前， 在利用虚拟现实技术模拟显示屏上的光标操作吋， 容易出现对显示屏上 鼠标对应的光标控制操作不够灵活的问题。
技术问题
[0004] 鉴于此， 有必要提供一种基于虚拟现实的光标操控方法及系统， 旨在： 通过获 取用户手势的移动方向， 来灵活地操作并控制虚拟现实预设场景中的光标。 问题的解决方案
技术解决方案
[0005] 本发明实施例公幵了一种基于虚拟现实的光标操控方法， 包括以下步骤： [0006] 监控用户的手势动作， 并获取监控到的用户的手势动作所对应的手势轨迹； [0007] 解析获取的所述用户手势轨迹；
[0008] 根据对所述用户手势轨迹的解析结果， 控制虚拟现实预设场景中的所述光标打 幵对应的文件或者文件夹。
[0009] 优选地， 所述根据对所述用户手势轨迹的解析结果， 控制虚拟现实预设场景中 的所述光标打幵对应的文件或者文件夹， 包括：
[0010] 当对所述用户手势轨迹的解析结果为： 所述用户手势轨迹为三维平面内的向前 移动吋， 则控制虚拟现实预设场景中的所述光标执行双击的操作命令， 打幵所 述光标所在位置对应的文件或者文件夹。
[0011] 优选地， 所述解析获取的所述用户手势轨迹的步骤之后， 还包括：
[0012] 根据对所述用户手势轨迹的解析结果， 控制虚拟现实预设场景中的所述光标按 照所述手势轨迹进行移动。
[0013] 优选地， 所述根据对所述用户手势轨迹的解析结果， 控制虚拟现实预设场景中 的所述光标按照所述手势轨迹进行移动， 包括：
[0014] 当对所述用户手势轨迹的解析结果为： 所述用户手势轨迹为二维平面内的移动 吋， 控制虚拟现实预设场景中的所述光标按照与所述手势轨迹相同的方向进行 移动。
[0015] 优选地， 所述监控用户的手势动作包括：
[0016] 利用虚拟现实装置上安装的两个摄像头来监控用户的一只手在三维平面内的手 势动作。
[0017] 对应于以上所公幵的一种基于虚拟现实的光标操控方法， 本发明还公幵了一种 基于虚拟现实的光标操控系统， 包括：
[0018] 监控模块， 用于监控用户的手势动作， 并获取监控到的用户的手势动作所对应 的手势轨迹；
[0019] 解析模块， 用于解析获取的所述用户手势轨迹；
[0020] 打幵模块， 用于根据对所述用户手势轨迹的解析结果， 控制虚拟现实预设场景 中的所述光标打幵对应的文件或者文件夹。
[0021] 优选地， 所述打幵模块还用于：
[0022] 当所述解析模块对所述用户手势轨迹的解析结果为： 所述用户手势轨迹为三维 平面内的向前移动吋， 则控制虚拟现实预设场景中的所述光标执行双击的操作 命令， 打幵所述光标所在位置对应的文件或者文件夹。
[0023] 优选地， 所述基于虚拟现实的光标操控系统还包括：
[0024] 移动模块， 用于根据对所述用户手势轨迹的解析结果， 控制虚拟现实预设场景 中的所述光标按照所述手势轨迹进行移动。
[0025] 优选地， 所述移动模块还用于： [0026] 当所述解析模块对所述用户手势轨迹的解析结果为： 所述用户手势轨迹为二维 平面内的移动吋， 控制虚拟现实预设场景中的所述光标按照与所述手势轨迹相 同的方向进行移动。
[0027] 优选地， 所述监控模块还用于：
[0028] 利用虚拟现实装置上安装的两个摄像头来监控用户的一只手在三维平面内的手 势动作。
发明的有益效果
有益效果
[0029] 本发明一种基于虚拟现实的光标操控方法及系统可以达到如下有益效果： [0030] 通过监控用户的手势动作， 并获取监控到的用户的手势动作所对应的手势轨迹 ； 解析获取的所述用户手势轨迹； 根据对所述用户手势轨迹的解析结果， 控制 虚拟现实预设场景中的所述光标打幵对应的文件或者文件夹； 具有通过获取用 户手势的移动方向， 来灵活地操作并控制虚拟现实预设场景中的光标的有益效 果， 提高了虚拟现实预设场景中对光标进行操作和控制的灵活性和便捷性。 对附图的简要说明
附图说明
[0031] 图 1是本发明基于虚拟现实的光标操控方法的一种实施方式的流程示意图； [0032] 图 2是本发明基于虚拟现实的光标操控方法的另一种实施方式的流程示意图； [0033] 图 3是本发明基于虚拟现实的光标操控系统的一种实施方式的框图；
[0034] 图 4是本发明基于虚拟现实的光标操控系统的另一种实施方式的框图。
[0035] 本发明实施例目的的实现、 功能特点及优点将结合实施例， 参照附图做进一步 说明。
本发明的实施方式
[0036] 以下结合说明书附图及具体实施例进一步说明本发明的技术方案。 应当理解， 此处所描述的具体实施例仅仅用以解释本发明， 并不用于限定本发明。
[0037] 本发明提供了一种基于虚拟现实的光标操控方法及系统， 旨在： 通过获取用户 手势的移动方向， 来灵活地操作并控制虚拟现实预设场景中的光标。
[0038] 如图 1所示， 本发明基于虚拟现实的光标操控方法可以实施为图 1所述实施例描 述的步骤 S10-S30:
[0039] 步骤 S10、 监控用户的手势动作， 并获取监控到的用户的手势动作所对应的手 势轨迹；
[0040] 本发明实施例中， 通过监控用户的手势动作， 来达到操作并控制虚拟现实预设 场景中光标的目的， 也就是说， 本发明通过系统监控用户的手势动作， 并将监 控到的用户的手势动作转换为虚拟现实预设场景中的光标操作， 来达到本发明 的发明目的。
[0041] 在一优选的实施例中， 系统通过利用虚拟现实装置上设置的两个摄像头来监控 用户一只手的手势动作。 本发明实施例中， 用户可以将虚拟现实装置穿戴在身 上， 比如在用户穿戴的虚拟现实装置的头盔上安装两个摄像头， 通过该摄像头 来监控用户一只手的手势动作， 从而将监控到的用户的手势动作转换为虚拟现 实预设场景中的光标操作； 例如， 系统将监控到的用户的手势动作转换为模拟 办公电脑桌面这一特定的场景中， 鼠标对应的虚拟显示屏上的光标的双击操作 。 本发明实施例中， 所描述的预设场景可以理解为： 通过控制鼠标， 即可控制 显示屏上该鼠标所对应的光标的应用场景中。
[0042] 在一优选的实施例中， 系统利用虚拟现实装置上的两个摄像头来监控用户的手 在三维平面内的手势动作； 例如， 系统通过两个摄像头监控用户向上、 向下、 向左、 向右或者向前、 向后等三维平面内的手势动作。 由于采用的是双摄像头 ， 因此， 这两个摄像头配合可以测试距离， 进而即可判断出用户向前的手势动 作。
[0043] 根据监控到的用户的手势动作， 系统获取该用户的手势动作所对应的手势轨迹 ， 例如， 监控到用户的手势动作向前吋， 则获取到对应的手势轨迹为向前方向 所对应的轨迹。
[0044] 步骤 S20、 解析获取的所述用户手势轨迹；
[0045] 由于系统利用虚拟现实装置上的两个摄像头来同吋监控用户一只手的手势动作 ， 进而获取对应的手势轨迹， 因此， 系统可以通过解析所获取的用户手势轨迹 来判断用户的手势动作为三维平面内的向前移动操作， 还是二维平面内的移动 操作。 其中， 用户的手势动作在二维平面内的移动操作包括但不限于： 左、 右 、 上、 下、 左上、 左下、 右上和右下等二维平面方向内的移动操作。
[0046] 步骤 S30、 根据对所述用户手势轨迹的解析结果， 控制虚拟现实预设场景中的 所述光标打幵对应的文件或者文件夹。
[0047] 根据系统对上述获取的用户手势轨迹的解析结果， 即获取到用户手势轨迹为三 维平面内的向前移动， 还是二维平面内其他方向的移动。
[0048] 若系统对获取的所述用户手势轨迹进行解析， 得到的解析结果为： 所述用户手 势轨迹为三维平面内的向前移动吋， 则系统控制虚拟现实预设场景中的所述光 标执行双击的操作命令， 即打幵所述光标所在位置对应的文件或者文件夹。
[0049] 本发明基于虚拟现实的光标操控方法通过监控用户的手势动作， 并获取监控到 的用户的手势动作所对应的手势轨迹； 解析获取的所述用户手势轨迹； 根据对 所述用户手势轨迹的解析结果， 控制虚拟现实预设场景中的所述光标打幵对应 的文件或者文件夹； 具有通过获取用户手势的移动方向， 来灵活地操作并控制 虚拟现实预设场景中的光标的有益效果， 提高了虚拟现实预设场景中对光标进 行操作和控制的灵活性和便捷性。
[0050] 基于图 1所述实施例的描述， 当系统解析获取的所述用户手势轨迹为二维平面 内的移动操作吋， 系统控制光标执行移动的操作。
[0051] 如图 2所示， 本发明基于虚拟现实的光标操控方法在图 1所述实施例的 "步骤 S20
、 解析获取的所述用户手势轨迹"之后， 还包括步骤：
[0052] 步骤 S40、 根据对所述用户手势轨迹的解析结果， 控制虚拟现实预设场景中的 所述光标按照所述手势轨迹进行移动。
[0053] 本发明实施例中， 若系统对获取的所述用户手势轨迹进行解析， 得到的解析结 果为： 所述用户手势轨迹为二维平面内的移动吋， 则系统控制虚拟现实预设场 景中的所述光标按照所述手势轨迹进行移动。
[0054] 在一个优选的实施例中， 系统控制虚拟现实场景中的光标按照对应的手势轨迹 进行移动吋， 该光标的移动方向与所述手势轨迹的方向相同， 即控制该光标按 照与所述手势轨迹相同的方向进行移动。 例如， 获取的手势轨迹为左上方， 则 控制该光标也向左上方移动。
[0055] 在一具体的应用场景中， 例如， 通过虚拟现实技术模拟办公环境中的电脑桌面 ， 系统获取到用户的手势轨迹为向左下方移动， 则控制该特定环境中对应的光 标也向左下方移动， 即与用户的手势动作的移动方向一致。
[0056] 本发明基于虚拟现实的光标操控方法通过监控用户的手势动作， 并获取监控到 的用户的手势动作所对应的手势轨迹； 解析获取的所述用户手势轨迹； 根据对 所述用户手势轨迹的解析结果， 控制虚拟现实预设场景中的所述光标按照所述 手势轨迹进行移动； 具有通过获取用户手势的移动方向， 来灵活地移动虚拟现 实预设场景中的光标的有益效果， 提高了虚拟现实预设场景中光标移动的灵活 性和便捷性。
[0057] 对应于上述图 1、 图 2所述实施例的描述， 本发明还提供了一种基于虚拟现实的 光标操控系统； 如图 3所示， 本发明基于虚拟现实的光标操控系统包括： 监控模 块 60、 解析模块 70和打幵模块 80; 其中：
[0058] 所述监控模块 60， 用于监控用户的手势动作， 并获取监控到的用户的手势动作 所对应的手势轨迹；
[0059] 本发明实施例中， 所述监控模块 60通过监控用户的手势动作， 来达到操作并控 制虚拟现实预设场景中光标的目的， 也就是说， 本发明通过所述监控模块 60监 控用户的手势动作， 系统将监控模块 60监控到的用户的手势动作转换为虚拟现 实预设场景中的光标操作， 来达到本发明的发明目的。
[0060] 在一优选的实施例中， 所述监控模块 60通过利用虚拟现实装置上设置的两个摄 像头来监控用户一只手的手势动作。 本发明实施例中， 用户可以将虚拟现实装 置穿戴在身上， 比如在用户穿戴的虚拟现实装置的头盔上安装两个摄像头， 所 述监控模块 60通过该摄像头来监控用户一只手的手势动作， 从而将监控到的用 户的手势动作转换为虚拟现实预设场景中的光标操作； 例如， 所述打幵模块 80 将所述监控模块 60监控到的用户的手势动作转换为模拟办公电脑桌面这一特定 的场景中， 鼠标对应的虚拟显示屏上的光标的双击操作。 本发明实施例中， 所 描述的预设场景可以理解为： 通过控制鼠标， 即可控制显示屏上该鼠标所对应 的光标的应用场景中。 [0061] 在一优选的实施例中， 所述监控模块 60利用虚拟现实装置上的两个摄像头来监 控用户的手在三维平面内的手势动作； 例如， 所述监控模块 60通过两个摄像头 监控用户向上、 向下、 向左、 向右或者向前、 向后等三维平面内的手势动作。 由于采用的是双摄像头， 因此， 这两个摄像头配合可以测试距离， 进而即可判 断出用户向前的手势动作。
[0062] 所述监控模块 60根据监控到的用户的手势动作， 系统获取该用户的手势动作所 对应的手势轨迹， 例如， 所述监控模块 60监控到用户的手势动作向前吋， 则获 取到对应的手势轨迹为向前方向所对应的轨迹。
[0063] 所述解析模块 70， 用于解析获取的所述用户手势轨迹；
[0064] 由于所述监控模块 60利用虚拟现实装置上的两个摄像头来同吋监控用户一只手 的手势动作， 进而获取对应的手势轨迹， 因此， 所述解析模块 70可以通过解析 所获取的用户手势轨迹来判断用户的手势动作为三维平面内的向前移动操作， 还是二维平面内的移动操作。 其中， 用户的手势动作在二维平面内的移动操作 包括但不限于： 左、 右、 上、 下、 左上、 左下、 右上和右下等二维平面方向内 的移动操作。
[0065] 所述打幵模块 80， 用于根据对所述用户手势轨迹的解析结果， 控制虚拟现实预 设场景中的所述光标打幵对应的文件或者文件夹。
[0066] 根据解析模块 70对上述获取的用户手势轨迹的解析结果， 即获取到用户手势轨 迹为三维平面内的向前移动， 还是二维平面内其他方向的移动。
[0067] 若所述解析模块 70对获取的所述用户手势轨迹进行解析， 得到的解析结果为： 所述用户手势轨迹为三维平面内的向前移动吋， 则所述打幵模块 80控制虚拟现 实预设场景中的所述光标执行双击的操作命令， 即打幵所述光标所在位置对应 的文件或者文件夹。
[0068] 本发明基于虚拟现实的光标操控系统通过监控用户的手势动作， 并获取监控到 的用户的手势动作所对应的手势轨迹； 解析获取的所述用户手势轨迹； 根据对 所述用户手势轨迹的解析结果， 控制虚拟现实预设场景中的所述光标打幵对应 的文件或者文件夹； 具有通过获取用户手势的移动方向， 来灵活地操作并控制 虚拟现实预设场景中的光标的有益效果， 提高了虚拟现实预设场景中对光标进 行操作和控制的灵活性和便捷性。
[0069] 基于图 3所述实施例的描述， 当基于虚拟现实的光标操控系统解析获取的所述 用户手势轨迹为二维平面内的移动操作吋， 系统控制光标执行移动的操作。
[0070] 如图 4所示， 本发明基于虚拟现实的光标操控系统还包括：
[0071] 移动模块 90， 用于根据对所述用户手势轨迹的解析结果， 控制虚拟现实预设场 景中的所述光标按照所述手势轨迹进行移动。
[0072] 本发明实施例中， 若解析模块 70对获取的所述用户手势轨迹进行解析， 得到的 解析结果为： 所述用户手势轨迹为二维平面内的移动吋， 则移动模块 90控制虚 拟现实预设场景中的所述光标按照所述手势轨迹进行移动。
[0073] 在一个优选的实施例中， 移动模块 90控制虚拟现实场景中的光标按照对应的手 势轨迹进行移动吋， 该光标的移动方向与所述手势轨迹的方向相同， 即移动模 块 90控制该光标按照与所述手势轨迹相同的方向进行移动。 例如， 解析模块 70 的解析结果为： 手势轨迹为左上方， 则移动模块 90控制该光标也向左上方移动
[0074] 在一具体的应用场景中， 例如， 通过虚拟现实技术模拟办公环境中的电脑桌面 ， 解析模块 70解析得到用户的手势轨迹为向左下方移动， 则移动模块 90控制该 特定环境中对应的光标也向左下方移动， 即与用户的手势动作的移动方向一致
[0075] 本发明基于虚拟现实的光标操控系统通过监控用户的手势动作， 并获取监控到 的用户的手势动作所对应的手势轨迹； 解析获取的所述用户手势轨迹； 根据对 所述用户手势轨迹的解析结果， 控制虚拟现实预设场景中的所述光标按照所述 手势轨迹进行移动； 具有通过获取用户手势的移动方向， 来灵活地移动虚拟现 实预设场景中的光标的有益效果， 提高了虚拟现实预设场景中光标移动的灵活 性和便捷性。
[0076] 需要说明的是， 在本文中， 术语"包括"、 "包含 "或者其任何其他变体意在涵盖 非排他性的包含， 从而使得包括一系列要素的过程、 方法、 物品或者装置不仅 包括那些要素， 而且还包括没有明确列出的其他要素， 或者是还包括为这种过 程、 方法、 物品或者装置所固有的要素。 在没有更多限制的情况下， 由语句 "包 括一个 ...... "限定的要素， 并不排除在包括该要素的过程、 方法、 物品或者装置 中还存在另外的相同要素。
[0077] 上述本发明实施例序号仅仅为了描述， 不代表实施例的优劣。
[0078] 通过以上的实施方式的描述， 本领域的技术人员可以清楚地了解到上述实施例 方法可借助软件加必需的通用硬件平台的方式来实现， 当然也可以通过硬件， 但很多情况下前者是更佳的实施方式。 基于这样的理解， 本发明的技术方案本 质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来， 该计 算机软件产品存储在一个存储介质 （如 ROM/RAM、 磁碟、 光盘） 中， 包括若干 指令用以使得一台终端设备 （可以是手机， 计算机， 服务器， 或者网络设备等 ) 执行本发明各个实施例所述的方法。
[0079] 以上所述仅为本发明的优选实施例， 并非因此限制其专利范围， 凡是利用本发 明说明书及附图内容所作的等效结构或等效流程变换， 直接或间接运用在其他 相关的技术领域， 均同理包括在本发明的专利保护范围内。

Claims

权利要求书
一种基于虚拟现实的光标操控方法， 其特征在于， 包括以下步骤： 监控用户的手势动作， 并获取监控到的用户的手势动作所对应的手势 轨迹；
解析获取的所述用户手势轨迹；
根据对所述用户手势轨迹的解析结果， 控制虚拟现实预设场景中的所 述光标打幵对应的文件或者文件夹。
如权利要求 1所述的方法， 其特征在于， 所述根据对所述用户手势轨 迹的解析结果， 控制虚拟现实预设场景中的所述光标打幵对应的文件 或者文件夹， 包括：
当对所述用户手势轨迹的解析结果为： 所述用户手势轨迹为三维平面 内的向前移动吋， 则控制虚拟现实预设场景中的所述光标执行双击的 操作命令， 打幵所述光标所在位置对应的文件或者文件夹。
如权利要求 1所述的方法， 其特征在于， 所述解析获取的所述用户手 势轨迹的步骤之后， 还包括：
根据对所述用户手势轨迹的解析结果， 控制虚拟现实预设场景中的所 述光标按照所述手势轨迹进行移动。
如权利要求 3所述的方法， 其特征在于， 所述根据对所述用户手势轨 迹的解析结果， 控制虚拟现实预设场景中的所述光标按照所述手势轨 迹进行移动， 包括：
当对所述用户手势轨迹的解析结果为： 所述用户手势轨迹为二维平面 内的移动吋， 控制虚拟现实预设场景中的所述光标按照与所述手势轨 迹相同的方向进行移动。
如权利要求 1至 4任一项所述的方法， 其特征在于， 所述监控用户的手 势动作包括：
利用虚拟现实装置上安装的两个摄像头来监控用户的一只手在三维平 面内的手势动作。
一种基于虚拟现实的光标操控系统， 其特征在于， 包括： 监控模块， 用于监控用户的手势动作， 并获取监控到的用户的手势动 作所对应的手势轨迹；
解析模块， 用于解析获取的所述用户手势轨迹；
打幵模块， 用于根据对所述用户手势轨迹的解析结果， 控制虚拟现实 预设场景中的所述光标打幵对应的文件或者文件夹。
如权利要求 6所述的系统， 其特征在于， 所述打幵模块还用于： 当所述解析模块对所述用户手势轨迹的解析结果为： 所述用户手势轨 迹为三维平面内的向前移动吋， 则控制虚拟现实预设场景中的所述光 标执行双击的操作命令， 打幵所述光标所在位置对应的文件或者文件 夹。
如权利要求 6所述的系统， 其特征在于， 所述基于虚拟现实的光标操 控系统还包括：
移动模块， 用于根据对所述用户手势轨迹的解析结果， 控制虚拟现实 预设场景中的所述光标按照所述手势轨迹进行移动。
如权利要求 8所述的系统， 其特征在于， 所述移动模块还用于： 当所述解析模块对所述用户手势轨迹的解析结果为： 所述用户手势轨 迹为二维平面内的移动吋， 控制虚拟现实预设场景中的所述光标按照 与所述手势轨迹相同的方向进行移动。
如权利要求 6至 9任一项所述的系统， 其特征在于， 所述监控模块还用 于：
利用虚拟现实装置上安装的两个摄像头来监控用户的一只手在三维平 面内的手势动作。
PCT/CN2016/103744 2015-11-30 2016-10-28 基于虚拟现实的光标操控方法及系统 WO2017092528A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510860251.1 2015-11-30
CN201510860251.1A CN106814843A (zh) 2015-11-30 2015-11-30 基于虚拟现实的光标操控方法及系统

Publications (1)

Publication Number Publication Date
WO2017092528A1 true WO2017092528A1 (zh) 2017-06-08

Family

ID=58796231

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/103744 WO2017092528A1 (zh) 2015-11-30 2016-10-28 基于虚拟现实的光标操控方法及系统

Country Status (2)

Country Link
CN (1) CN106814843A (zh)
WO (1) WO2017092528A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201030562A (en) * 2009-02-03 2010-08-16 Hui-Hu Liang A method of image controlled cursor
CN102156859A (zh) * 2011-04-21 2011-08-17 刘津甦 手部姿态与空间位置的感知方法
CN102662577A (zh) * 2012-03-29 2012-09-12 华为终端有限公司 一种基于三维显示的光标操作方法及移动终端
CN102981742A (zh) * 2012-11-28 2013-03-20 无锡市爱福瑞科技发展有限公司 基于计算机视觉的手势交互系统
CN104541232A (zh) * 2012-09-28 2015-04-22 英特尔公司 多模态触摸屏仿真器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201030562A (en) * 2009-02-03 2010-08-16 Hui-Hu Liang A method of image controlled cursor
CN102156859A (zh) * 2011-04-21 2011-08-17 刘津甦 手部姿态与空间位置的感知方法
CN102662577A (zh) * 2012-03-29 2012-09-12 华为终端有限公司 一种基于三维显示的光标操作方法及移动终端
CN104541232A (zh) * 2012-09-28 2015-04-22 英特尔公司 多模态触摸屏仿真器
CN102981742A (zh) * 2012-11-28 2013-03-20 无锡市爱福瑞科技发展有限公司 基于计算机视觉的手势交互系统

Also Published As

Publication number Publication date
CN106814843A (zh) 2017-06-09

Similar Documents

Publication Publication Date Title
JP5599400B2 (ja) 画像センサベースのヒューマンマシンインタフェースを提供する方法システムおよびソフトウェア
WO2017076224A1 (zh) 基于虚拟现实的用户交互方法及系统
CN109557998B (zh) 信息交互方法、装置、存储介质和电子装置
JP5417495B2 (ja) マウスを用いてタッチスクリーン操作をシミュレーションする方法
JP2016126766A (ja) 仮想環境における仮想センサ
KR20120045744A (ko) 체험형 학습 콘텐츠 저작 장치 및 방법
CN103309592B (zh) 一种调整屏幕的方法及电子设备
JP2013530587A5 (zh)
US20170177077A1 (en) Three-dimension interactive system and method for virtual reality
JP2018142313A (ja) 仮想感情タッチのためのシステム及び方法
US20170031452A1 (en) Manipulation determination apparatus, manipulation determination method, and, program
CN103365402A (zh) 显示设备的控制方法和装置
CN106681506A (zh) 一种终端设备中非vr应用的交互方法及终端设备
WO2017092528A1 (zh) 基于虚拟现实的光标操控方法及系统
WO2017092530A1 (zh) 基于虚拟现实的光标移动方法及系统
CN107102725B (zh) 一种基于体感手柄进行虚拟现实移动的控制方法及系统
CN105843479A (zh) 一种内容交互方法及其系统
CN109558020A (zh) 存储设备、展示系统及其脚控式操作接口和控制方法
WO2009016186A3 (de) Verfahren zur computerunterstützten erzeugung einer interaktiven dreidimensionalen virtuellen realität
CN106933647A (zh) 一种生成模拟器按键控制信息的方法、装置及系统
Acuna et al. Toward a two-handed gesture-based visual 3d interactive object-oriented environment for software development
CN104679283A (zh) 利用输入装置进行互动的方法
CN106325655B (zh) 应用于触摸终端的3d应用图标交互方法及触摸终端
CN106484102A (zh) 一种根据手势识别用户操作动作的方法及系统
Greene et al. Computational cognitive modeling of touch and gesture on mobile multitouch devices: Applications and challenges for existing theory

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16869838

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16869838

Country of ref document: EP

Kind code of ref document: A1