WO2015014135A1 - 鼠标指针的控制方法、装置及终端设备 - Google Patents

鼠标指针的控制方法、装置及终端设备 Download PDF

Info

Publication number
WO2015014135A1
WO2015014135A1 PCT/CN2014/076097 CN2014076097W WO2015014135A1 WO 2015014135 A1 WO2015014135 A1 WO 2015014135A1 CN 2014076097 W CN2014076097 W CN 2014076097W WO 2015014135 A1 WO2015014135 A1 WO 2015014135A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile terminal
click
image
mouse pointer
displacement vector
Prior art date
Application number
PCT/CN2014/076097
Other languages
English (en)
French (fr)
Inventor
邢鑫岩
纪东方
刘道宽
Original Assignee
小米科技有限责任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 小米科技有限责任公司 filed Critical 小米科技有限责任公司
Publication of WO2015014135A1 publication Critical patent/WO2015014135A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks

Definitions

  • the present invention is based on a Chinese patent application with the application number 201310329836.1 and the application date of 2013/7/31, and claims the priority of the Chinese patent application, the entire contents of which are This application is hereby incorporated by reference.
  • the present disclosure relates to the field of information processing technologies, and in particular, to a method, an apparatus, and a terminal device for controlling a mouse pointer. Background technique
  • the mobile terminal can be connected to a connected device such as a display, a projector, and the like, and projected on the connected device.
  • a connected device such as a display, a projector, and the like
  • the operation management of the projected content can be realized by controlling the mouse pointer on the connected device.
  • embodiments of the present disclosure provide a method, an apparatus, and a terminal device for controlling a mouse pointer.
  • a method for controlling a mouse pointer comprising: acquiring an image currently collected by a mobile terminal and an image acquired last time;
  • An acquiring module configured to acquire an image currently collected by the mobile terminal and an image acquired last time
  • a second determining unit configured to determine a displacement vector of the mouse pointer according to the displacement vector and the moving angle of the mobile terminal determined by the first determining unit.
  • a display module configured to display the divided click area on the screen of the mobile terminal, so that the user performs a click action according to the displayed click area.
  • a terminal device including a memory, and one or more programs, wherein one or more programs are stored in a memory and configured to be one or one
  • the above processor executing the one or more programs includes instructions for: obtaining an image currently acquired by the mobile terminal and the last acquired image;
  • the content displayed on the mobile terminal is projected onto the connected device, and is displayed by the connected device.
  • the technical solutions provided by the embodiments of the present disclosure may include the following beneficial effects:
  • step 101 the image currently collected by the mobile terminal and the image captured last time are obtained; wherein the content displayed on the mobile terminal is projected onto the connected device and displayed by the connected device;
  • step 102 determining a coincidence area and an image topology change amount of the image currently acquired by the mobile terminal and the image acquired last time
  • step 103 determining a displacement vector of the mouse pointer displayed on the connected device according to the overlap region and the image topology change amount
  • step 104 the movement of the mouse pointer is controlled in accordance with the displacement vector of the mouse pointer.
  • the method before determining the operation corresponding to the click position, the method further includes: dividing at least two click areas on the screen of the mobile terminal, and setting an operation corresponding to each click area;
  • the method provided in this embodiment obtains the image currently collected by the mobile terminal and the image acquired last time, After determining the coincidence region and the image topology change amount, the displacement vector of the mouse pointer displayed on the connected device is determined according to the coincidence region and the image topology change amount, thereby controlling the movement of the mouse pointer according to the displacement vector of the mouse pointer, The user can concentrate on looking at the connected device, and the user can control the mouse pointer on the connected device by performing corresponding operations on the mobile terminal, thereby conveniently and quickly managing the operation of the projected content, thereby improving the user experience.
  • Embodiment 2 Embodiment 2
  • the mobile terminal will collect the image once every preset time and store the collected image in the storage medium.
  • the preset time may be 10 seconds.
  • the preset time may be other values, for example, 5 seconds or 15 seconds, etc., and the preset time is not the size of the preset time. Specific restrictions are made.
  • the storage medium may be a memory card.
  • the type of the storage medium may be other types of storage media, such as a memory or a cache.
  • the type of the storage medium is not specifically limited in this embodiment.
  • the preset time is 10 seconds, and the current image acquisition time is 10:00:00. For example, the last image captured refers to the image captured at 09:59:50.
  • step 202 determining a coincidence area and an image topology change amount of the image currently collected by the mobile terminal and the image acquired last time
  • the embodiment when determining the overlapping area of the image currently collected by the mobile terminal and the image of the previous acquired image and the amount of image topology change, the embodiment does not limit the implementation manner.
  • the image recognition algorithm may be implemented by an image recognition algorithm.
  • the implementation of the step includes, but is not limited to: separately dividing the two images, detecting each object in each image, and respectively, and respectively, the image of each object and the background image. Separating, extracting features of each object, and finally determining a coincidence area and an image topology change amount of the image currently acquired by the mobile terminal and the image acquired last time based on the characteristics of the two images.
  • the wavelet transform can be used to implement, of course, in addition to the wavelet transform for feature extraction, other extraction methods can be adopted, for example, feature extraction using Fourier transform, this embodiment No specific limitation.
  • step 203 the displacement vector and the movement angle of the mobile terminal are determined according to the coincidence area and the image topology change amount
  • the image calculation technology when the displacement vector and the movement angle of the mobile terminal are determined according to the overlap region and the image topology change amount, the image calculation technology may be used, and the implementation manner of the step includes but is not limited to:
  • the two images are overlapped, and the geometric center of the overlapped image is taken as the origin, and the coordinates of the coincident regions in the two images are respectively acquired, and the acquired image is calculated twice according to the coordinates of the coincident regions in the two images.
  • the displacement vector in the motion vector is proportional to the displacement vector of the coincident region in the acquired image. Therefore, after acquiring the displacement vector of the coincident region in the acquired image and the ratio of the displacement vector of the mobile terminal to the displacement vector of the coincident region in the acquired image, the movement can be determined according to the above data.
  • the displacement vector of the terminal; and the angle of movement of the mobile terminal can be determined according to the angle between the line segment formed by the coincident region in the coordinate system and the horizontal axis in the two images.
  • the left image is overlapped with the right image to obtain Figure 4.
  • the geometric center of the overlapped image is taken as the origin. It is assumed that in the formed coordinate system, the coordinates of the coincident region in the left image are (al, bl), the coordinates of the coincident area in the right image are (a2, b2), and the displacement vector size of the coincident region in the acquired image is (al-a2) 2 + ( M-b2) 2 , If the ratio of the displacement vector of the mobile terminal to the displacement vector of the coincident region in the acquired image is c, the displacement vector size of the mobile terminal is CXV( «l-a2) 2 + (M-b2) 2 , direction Point (al, bl) from (a2, b2). Further, the moving angle of the mobile terminal can be determined according to the magnitude of the angle (a) between the vector and the X-axis.
  • step 204 determining a displacement vector of the mouse pointer on the connected device according to the displacement vector and the moving angle of the mobile terminal;
  • the movement control of the mouse pointer can be implemented.
  • the method can be performed on the mobile terminal or on the connected device, which is not used in this embodiment. limited.
  • the connection device performs the above step 201, after the image is acquired twice by the mobile terminal, the collected image is sent to the connected device, and then the connected device continues the processing according to the steps of steps 202 to 205.
  • the mobile terminal performs the step 201 to the step 204, the mobile terminal may first send the determined displacement vector of the mouse pointer on the connected device to the connected device, and the connected device accordingly Controls the movement of the mouse pointer on the connected device.
  • This embodiment does not limit the execution subject of the method provided in the embodiment, and may be preferably executed by a party having more powerful processing performance.
  • the preset time may be 0.1 milliseconds.
  • the preset time may be other values, such as 0.05 milliseconds, etc., and the preset time is not the size of the preset time. Specific restrictions are made.
  • other detection manners may be adopted, which is not specifically limited in this embodiment.
  • the left click area, the scroll area and the right click area are divided, the left click area and the right click area are used to simulate the left and right keys of the mouse, and the scroll area is used to simulate the mouse.
  • the scroll wheel set its corresponding operation to page turning operation and so on.
  • the operation of the mobile terminal is divided into several click areas, and the operation is not specifically limited in this embodiment. The specific implementation may be determined according to actual conditions.
  • the method further includes: displaying the divided click area on the screen of the mobile terminal, so that the user performs a click action according to the displayed click area.
  • the method provided in this embodiment further includes the step of displaying the divided click area on the screen of the mobile terminal after the at least two click areas are divided on the screen of the mobile terminal.
  • the divided regions are displayed with a clear line as a dividing line, and since the range covered by each divided region is defined by lines in a clear manner, it is convenient for the user to display according to the The area performs a quick click action without having to carefully identify each divided area.
  • the set operation is to select the operation, close the window operation, open the file operation, etc.; right click on the locale to delete or rename the operation. If it is detected that the user performs a click action on the screen of the mobile terminal and determines that the click position corresponding to the click action is located in the left click area, the operation corresponding to the left click area is performed. For example, if the user clicks on the graphic of a file before the user performs a click action on the screen of the mobile terminal, and the user performs a click action, the folder is selected; if the user performs two consecutive clicks Action, it means to open the selected file.
  • the embodiment of the present disclosure provides a control device for the mouse pointer, which is used to perform the method provided in the first embodiment or the second embodiment.
  • the control device includes:
  • the obtaining module 61 is configured to acquire an image currently collected by the mobile terminal and the image that is collected last time.
  • the first determining module 62 is configured to determine a coincident area and an image of the image currently collected by the mobile terminal and the image that was last collected. Topological change amount;
  • a second determining module 63 configured to determine, according to the overlap region and the image topology change determined by the first determining module 62, a displacement vector of the mouse pointer displayed on the connected device;
  • the control module 64 is configured to control the movement of the mouse pointer according to the displacement vector of the mouse pointer determined by the second determining module 63;
  • the content displayed on the mobile terminal is projected onto the connected device and displayed by the connected device.
  • the second determining module 63 includes:
  • a first determining unit 631 configured to determine a displacement vector and a moving angle of the mobile terminal according to the overlapping area and the image topology change amount
  • control device further includes:
  • the detecting module 65 is configured to detect a click action of the user on the screen of the mobile terminal;
  • the third determining module 66 is configured to determine a click position corresponding to the click action detected by the detecting module 66.
  • the fourth determining module 67 is configured to determine an operation corresponding to the click position determined by the third determining module 66, and perform a corresponding operation of the click position. operating.
  • control device further includes: a dividing module 68, configured to divide at least two click areas on a screen of the mobile terminal;
  • a setting module 69 configured to set an operation corresponding to each click area
  • the fourth determining module 67 is configured to determine a click area corresponding to the click position, and determine an operation corresponding to the click area as an operation corresponding to the click position.
  • control device further includes:
  • the control device acquires the image currently collected by the mobile terminal and the image acquired last time, and determines the overlap region and the image topology change amount of the mobile terminal, according to the coincidence region and The image topology change determines the displacement vector of the mouse pointer displayed on the connected device, thereby controlling the movement of the mouse pointer according to the displacement vector of the mouse pointer, so that the user can concentrate on the connected device, and the user performs the corresponding operation on the mobile terminal.
  • the purpose of controlling the mouse pointer on the connected device can be controlled, and the operation and management of the projected content can be conveniently and quickly performed, thereby improving the user experience.
  • Embodiment 4 Embodiment 4
  • the terminal device 700 can include a communication unit 110, a memory 120 including one or more computer readable storage media, an input unit 130, a display unit 140, a sensor 150, an audio circuit 160, a WiFi (wireless fidelity) module 170.
  • a processor 180 having one or more processing cores, and a power supply 190 and the like. It will be understood by those skilled in the art that the terminal device structure shown in FIG. 11 does not constitute a limitation of the terminal device, and may include more or less components than those illustrated, or may combine some components, or different component arrangements.
  • the communication unit 110 can be used for transmitting and receiving information and receiving and transmitting signals during a call.
  • the memory 120 can be used to store software programs and modules, and the processor 180 stores them in storage.
  • the software program and modules of the storage 120 perform various functional applications and data processing.
  • the memory 120 may mainly include a storage program area and a storage data area, wherein the storage program area may store an operating system, an application required for at least one function (such as a sound playing function, an image playing function, etc.), and the like; the storage data area may be stored according to Data created by the use of the terminal device 700 (such as audio data, phone book, etc.) and the like.
  • Input unit 130 can be used to receive input numeric or character information, as well as to generate keyboard, mouse, joystick, optical or trackball signal inputs related to user settings and function controls.
  • input unit 130 can include touch sensitive surface 131 and other input devices 132.
  • Touch-sensitive surface 131 also referred to as a touch display or trackpad, can collect touch operations on or near the user (eg, the user uses a finger, stylus, etc., on any touch-sensitive surface 131 or on the touch-sensitive surface 131 The operation near the touch-sensitive surface 131) and driving the corresponding connecting device according to a preset program.
  • the touch-sensitive surface 131 may include two portions of a touch detection device and a touch controller.
  • the touch detection device detects the touch orientation of the user, and detects a signal brought by the touch operation, and transmits the signal to the touch controller; the touch controller receives the touch information from the touch detection device, converts the touch information into contact coordinates, and sends the touch information
  • the processor 180 is provided and can receive commands from the processor 180 and execute them.
  • the touch-sensitive surface 131 can be implemented in various types such as resistive, capacitive, infrared, and surface acoustic waves.
  • the input unit 130 can also include other input devices 132.
  • other input devices 132 may include, but are not limited to, one or more of a physical keyboard, function keys (such as volume control buttons, switch buttons, etc.), trackballs, mice, joysticks, and the like.
  • Display unit 140 can be used to display information entered by the user or information provided to the user as well as various graphical user interfaces of terminal device 700, which can be constructed from graphics, text, icons, video, and any combination thereof.
  • the display unit 140 may include a display panel 141.
  • the display panel 141 may be configured in the form of an LCD (Liquid Crystal Display), an OLED (Organic Light-Emitting Diode), or the like.
  • the touch-sensitive surface 131 may cover the display panel 141, and when the touch-sensitive surface 131 detects a touch operation thereon or nearby, it is transmitted to the processor 180 to determine the type of the touch event, and then the processor 180 according to the touch event The type provides a corresponding visual output on display panel 141.
  • touch-sensitive surface 131 and display panel 141 are implemented as two separate components to implement input and input functions, in some embodiments, touch-sensitive surface 131 can be integrated with display panel 141 for input. And output function.
  • Terminal device 700 can also include at least one type of sensor 150, such as a light sensor, motion sensor, and other sensors.
  • the light sensor may include an ambient light sensor and a proximity sensor, wherein the ambient light sensor may adjust the brightness of the display panel 141 according to the brightness of the ambient light, and the proximity sensor may close the display panel 141 when the terminal device 700 moves to the ear. And / or backlight.
  • the gravity acceleration sensor can detect the magnitude of acceleration in all directions (usually three axes). When it is stationary, it can detect the magnitude and direction of gravity.
  • the gesture of the mobile phone such as horizontal and vertical screen switching, related Game, magnetometer attitude calibration), vibration recognition related functions (such as pedometer, tapping), etc.; as for the terminal device 700 can also be configured with gyroscope, barometer, hygrometer, thermometer, red Other sensors, such as external sensors, will not be described here.
  • the audio circuit 160, the speaker 161, and the microphone 162 provide an audio interface between the user and the terminal device 700.
  • the audio circuit 160 can transmit the converted electrical data of the received audio data to the speaker 161 for conversion to the sound signal output by the speaker 161; on the other hand, the microphone 162 converts the collected sound signal into an electrical signal by the audio circuit 160. After receiving, it is converted into audio data, and then processed by the audio data output processor 180, transmitted to the terminal device, for example, by the RF circuit 110, or outputted to the memory 120 for further processing.
  • the audio circuit 160 may also include an earbud jack to provide communication of the peripheral earphones with the terminal device 700.
  • the terminal device may be configured with a wireless communication unit 170, which may be a WiFi module.
  • WiFi is a short-range wireless transmission technology, and the terminal device 700 can help users to send and receive emails, browse web pages, and access streaming media through the wireless communication unit 170, which provides users with wireless broadband Internet access.
  • FIG. 11 shows the wireless communication unit 170, it can be understood that it does not belong to the essential configuration of the terminal device 700, and may be omitted as needed within the scope of not changing the essence of the disclosure.
  • the processor 180 is the control center of the terminal device 700, which connects various portions of the entire handset using various interfaces and lines, by running or executing software programs and/or modules stored in the memory 120, and recalling data stored in the memory 120.
  • the various functions and processing data of the terminal device 700 are executed to perform overall monitoring of the mobile phone.
  • the processor 180 may include one or more processing cores.
  • the processor 180 may integrate an application processor and a modem processor, where the application processor mainly processes an operating system, a user interface, an application, and the like.
  • the modem processor primarily handles wireless communications. It will be appreciated that the above described modem processor may also not be integrated into the processor 180.
  • the terminal device 700 further includes a power source 190 (such as a battery) for supplying power to the various components.
  • a power source 190 such as a battery
  • the power source can be logically connected to the processor 180 through the power management system to manage functions such as charging, discharging, and power management through the power management system.
  • Power supply 190 may also include any one or more of a DC or AC power source, a recharging system, a power failure detection circuit, a power converter or inverter, a power status indicator, and the like.
  • the terminal device 700 may further include a camera, a Bluetooth module, and the like, and details are not described herein.
  • the display unit of the terminal device is a touch screen display
  • the terminal device further includes a memory, and one or more programs, wherein one or more programs are stored in the memory, and configured to be one or one
  • the above processor executing the one or more programs includes instructions for performing the following operations:
  • the content displayed on the mobile terminal is projected onto the connected device, and is displayed by the connected device.
  • the memory further includes instructions to:
  • Determine the displacement vector of the mouse pointer based on the coincidence area and the amount of image topology change including: The displacement vector and the movement angle of the mobile terminal are determined according to the coincidence area and the image topology change amount; the displacement vector of the mouse pointer is determined according to the displacement vector and the movement angle of the mobile terminal.
  • Detecting a click action of the user on the screen of the mobile terminal determining a click position corresponding to the click action; determining an operation corresponding to the click position, and performing an operation corresponding to the click position.
  • the method further includes: displaying the divided click area on the screen of the mobile terminal, so that the user performs a click action according to the displayed click area.
  • the device acquires the image currently collected by the mobile terminal and the image acquired last time, and determines the overlap region and the image topology change amount of the mobile terminal, according to the coincidence region and the image.
  • the amount of topological change determines the displacement vector of the mouse pointer displayed on the connected device, thereby controlling the movement of the mouse pointer according to the displacement vector of the mouse pointer, so that the user can concentrate on the connected device, and the user can perform corresponding operations on the mobile terminal.
  • the purpose of controlling the mouse pointer on the connected device is to conveniently and quickly manage the operation of the projected content, thereby improving the user experience.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

本公开实施例公开了一种鼠标指针的控制方法、装置及终端设备，属于信息处理技术领域。方法包括：获取移动终端当前采集到的图像及上一次采集到的图像；确定移动终端当前采集到的图像与上一次采集到的图像的重合区域及图像拓扑变化量；根据重合区域和图像拓扑变化量，确定连接设备上显示的鼠标指针的位移矢量；根据鼠标指针的位移矢量对鼠标指针的移动进行控制。本公开在确定移动终端当前采集到的图像及上一次采集到的图像的重合区域及图像拓扑变化量后，根据二者确定连接设备上显示的鼠标指针的位移矢量，从而根据鼠标指针的位移矢量对鼠标指针进行控制，实现用户可专心看连接设备，提升了用户体验度。

Description

鼠标指针的控制方法、 装置及终端设备 本申请基于申请号为 201310329836.1、 申请日为 2013/7/31的中国专利申请提出， 并 要求该中国专利申请的优先权， 该中国专利申请的全部内容在此引入本申请作为参考。 技术领域
本公开涉及信息处理技术领域，特别涉及一种鼠标指针的控制方法、装置及终端设备。 背景技术
随着通讯技术的不断发展， 移动终端所具备的处理能力越来越强。 比如， 移动终端可 连接显示器、 投影仪等连接设备， 并在连接设备上进行投影。 当移动终端中的内容投影到 连接设备后， 为了便于对投影内容进行操作管理， 可通过对连接设备上的鼠标指针进行控 制实现对投影内容的操作管理。
目前， 移动终端中的内容投影到连接设备后， 用户需同时査看移动终端和连接设备， 以在移动终端的屏幕上进行触碰操作， 得到鼠标指针的控制信息， 该控制信息包括鼠标指 针的移动位移矢量等等， 进而根据该控制信息对鼠标指针进行控制。 例如， 以用户欲将连 接设备上的鼠标指针由连接设备上的当前位置移动到连接设备上的另一位置为例，则用户 在移动终端的屏幕上执行点击操作后，根据用户的点击位置与鼠标指针在移动终端屏幕上 的原始位置计算出连接设备上鼠标指针的移动位移矢量，从而根据该移动位移矢量控制鼠 标指针由连接设备上的当前位置移动到连接设备的另一位置上。
在实现本发明的过程中， 发现目前技术至少存在以下问题：
在对鼠标指针进行控制的过程中， 由于用户需同时査看移动终端和连接设备， 因此， 用户注意力较为分散， 在控制鼠标指针的过程中较易出错， 导致用户体验度不高。 发明内容
为了解决目前的问题， 本公开实施例提供了一种鼠标指针的控制方法、 装置及终端设 备。
根据本公开实施例的第一方面， 提供了一种鼠标指针的控制方法， 所述方法包括： 获取移动终端当前采集到的图像及上一次采集到的图像；
确定所述移动终端当前采集到的图像与所述上一次采集到的图像的重合区域及图像 拓扑变化量；
根据所述重合区域和图像拓扑变化量， 确定连接设备上显示的鼠标指针的位移矢量； 根据所述鼠标指针的位移矢量对所述鼠标指针的移动进行控制；
其中，所述移动终端上显示的内容投影到所述连接设备上，由所述连接设备进行显示。 在一个实施例中， 所述根据所述重合区域和图像拓扑变化量确定鼠标指针的位移矢 量， 包括：
根据所述重合区域和图像拓扑变化量确定所述移动终端的位移矢量和移动角度； 根据所述移动终端的位移矢量和移动角度确定所述鼠标指针的位移矢量。
在一个实施例中， 所述方法还包括：
检测用户在所述移动终端屏幕上的点击动作；
确定所述点击动作对应的点击位置；
确定所述点击位置对应的操作， 并执行所述点击位置。
在一个实施例中， 所述确定所述点击位置对应的操作之前， 还包括： 在所述移动终端 的屏幕上划分至少两个点击区域， 并设置每个点击区域对应的操作；
所述确定所述点击位置对应的操作， 包括：
确定所述点击位置对应的点击区域，将所述点击区域对应的操作确定为所述点击位置 对应的操作。
在一个实施例中，所述在所述移动终端的屏幕上划分至少两个点击区域之后，还包括: 在所述移动终端的屏幕上显示划分的点击区域，使用户根据显示的点击区域执行点击 动作。
根据本公开实施例的第二方面， 提供了一种鼠标指针的控制装置， 所述鼠标指针的控 制装置包括：
获取模块， 用于获取移动终端当前采集到的图像及上一次采集到的图像；
第一确定模块，用于确定所述移动终端当前采集到的图像与所述上一次采集到的图像 的重合区域及图像拓扑变化量；
第二确定模块，用于根据所述第一确定模块确定的重合区域和图像拓扑变化量确定连 接设备上显示的鼠标指针的位移矢量；
控制模块，用于根据所述第二确定模块确定的鼠标指针的位移矢量对所述鼠标指针的 移动进行控制；
其中，所述移动终端上显示的内容投影到所述连接设备上，由所述连接设备进行显示。 在一个实施例中， 所述第二确定模块， 包括：
第一确定单元，用于根据所述重合区域和图像拓扑变化量确定所述移动终端的位移矢 量和移动角度；
第二确定单元，用于根据所述第一确定单元确定的移动终端的位移矢量和移动角度确 定所述鼠标指针的位移矢量。
在一个实施例中， 所述终端还包括：
检测模块， 用于检测用户在所述移动终端屏幕上的点击动作；
第三确定模块， 用于确定所述检测模块检测到的点击动作对应的点击位置； 第四确定模块， 用于确定所述第三确定模块确定的点击位置对应的操作， 并执行所述 点击位置对应的操作。 在一个实施例中， 所述终端， 还包括：
划分模块， 用于在所述移动终端的屏幕上划分至少两个点击区域；
设置模块， 用于设置每个点击区域对应的操作；
所述第四确定模块， 用于确定所述点击位置对应的点击区域， 将所述点击区域对应的 操作确定为所述点击位置对应的操作。
在一个实施例中， 所述终端， 还包括：
显示模块， 用于 在所述移动终端的屏幕上显示划分的点击区域， 使用户根据显示的 点击区域执行点击动作。
根据本公开实施例的第三方面， 提供了一种终端设备， 终端设备包括有存储器， 以及 一个或者一个以上的程序， 其中一个或者一个以上程序存储于存储器中， 且经配置以由一 个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令： 获取移动终端当前采集到的图像及上一次采集到的图像；
确定所述移动终端当前采集到的图像与所述上一次采集到的图像的重合区域及图像 拓扑变化量；
根据所述重合区域和图像拓扑变化量， 确定连接设备上显示的鼠标指针的位移矢量； 根据所述鼠标指针的位移矢量对所述鼠标指针的移动进行控制；
其中，所述移动终端上显示的内容投影到所述连接设备上，由所述连接设备进行显示。 本公开的实施例提供的技术方案可以包括以下有益效果：
在获取到移动终端当前采集到的图像及上一次采集到的图像，且确定二者的重合区域 及图像拓扑变化量后，根据重合区域和图像拓扑变化量确定连接设备上显示的鼠标指针的 位移矢量， 从而根据鼠标指针的位移矢量对鼠标指针的移动进行控制， 达到了用户可专心 看连接设备，而用户通过对移动终端执行相应操作便可对连接设备上的鼠标指针进行控制 的目的， 进而可方便快捷地对投影内容进行操作管理， 提升了用户体验度。
应当理解的是， 以上的一般描述和后文的细节描述仅是示例性和解释性的， 并不能限 制本发明。 附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的 附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本公开的一些实施例， 对于本 领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的 附图。
图 1是根据一示例性实施例示出的鼠标指针的控制方法流程图；
图 2是根据一示例性实施例示出的鼠标指针的控制方法流程图；
图 3是根据一示例性实施例示出的一种移动终端采集的图像示意图；
图 4是根据一示例性实施例示出的另一种移动终端采集的图像示意图； 图 5是根据一示例性实施例示出的移动终端的屏幕示意图；
图 6是根据一示例性实施例示出的一种鼠标指针的控制装置结构示意图；
图 7是根据一示例性实施例示出的一种第二确定模块的内部结构示意图；
图 8是根据一示例性实施例示出的另一种鼠标指针的控制装置结构示意图； 图 9是根据一示例性实施例示出的又一种鼠标指针的控制装置结构示意图； 图 10是根据一示例性实施例示出的再一种鼠标指针的控制装置结构示意图;
图 11是根据一示例性实施例示出的一种终端设备结构示意图。 具体实施方式
为使本公开的目的、技术方案和优点更加清楚， 下面将结合附图对本公开实施方式作 进一步地详细描述。
实施例一
本公开实施例提供了一种鼠标指针的控制方法， 参见图 1， 本实施例提供的方法流程 包括：
在步骤 101中， 获取移动终端当前采集到的图像及上一次采集到的图像； 其中， 移动 终端上显示的内容投影到连接设备上， 由连接设备进行显示；
在步骤 102中，确定移动终端当前采集到的图像与上一次采集到的图像的重合区域及 图像拓扑变化量；
在步骤 103中， 根据重合区域和图像拓扑变化量， 确定连接设备上显示的鼠标指针的 位移矢量；
在步骤 104中， 根据鼠标指针的位移矢量对鼠标指针的移动进行控制。
在一个实施例中， 根据重合区域和图像拓扑变化量确定鼠标指针的位移矢量， 包括但 不限于：
根据重合区域和图像拓扑变化量， 确定移动终端的位移矢量和移动角度；
根据移动终端的位移矢量和移动角度， 确定鼠标指针的位移矢量。
在一个实施例中， 该方法还包括： 检测用户在移动终端屏幕上的点击动作； 确定点击 动作对应的点击位置； 确定点击位置对应的操作， 并执行点击位置对应的操作。
在一个实施例中， 确定点击位置对应的操作之前， 还包括： 在移动终端的屏幕上划分 至少两个点击区域， 并设置每个点击区域对应的操作；
确定点击位置对应的操作， 包括：
确定点击位置对应的点击区域， 将点击区域对应的操作确定为点击位置对应的操作。 在一个实施例中， 在移动终端的屏幕上划分至少两个点击区域之后， 还包括： 在移动终端的屏幕上显示划分的点击区域， 使用户根据显示的点击区域执行点击动 作。
本实施例提供的方法， 在获取到移动终端当前采集到的图像及上一次采集到的图像， 且确定二者的重合区域及图像拓扑变化量后，根据重合区域和图像拓扑变化量确定连接设 备上显示的鼠标指针的位移矢量，从而根据鼠标指针的位移矢量对鼠标指针的移动进行控 制， 达到了用户可专心看连接设备， 而用户通过对移动终端执行相应操作便可对连接设备 上的鼠标指针进行控制的目的， 进而可方便快捷地对投影内容进行操作管理， 提升了用户 体验度。 实施例二
本公开实施例提供了一种鼠标指针的控制方法，应用场景为移动终端上显示的内容投 影到连接设备上， 由连接设备进行显示。 其中， 连接设备可为计算机、 投影仪或电视机等 等。 而移动终端与连接设备的连接既可为物理连接， 即二者通过数据线进行连接， 也可为 无线连接， 具体连接方式可视实施时的实际情况而定， 本实施例对此不作具体限定。 当移 动终端与连接设备连接后， 为了便于对连接设备上的投影内容进行操作管理， 可通过对连 接设备上的鼠标指针进行控制实现对投影内容的操作管理。现结合上述内容及上述实施例 一的内容， 对本实施例提供的鼠标指针的控制方式进行详细地解释说明。 参见图 2， 本实 施例提供的方法流程包括：
在步骤 201中， 获取移动终端当前采集到的图像及上一次采集到的图像；
针对该步骤， 移动终端的摄像头开启后， 移动终端将每隔预设时间采集一次图像， 并 将采集到的图像存储在存储介质中。 其中， 预设时间的大小可为 10秒， 当然， 预设时间 的大小除 10秒外， 还可为其他数值， 例如， 5秒或 15秒等等， 本实施例地预设时间的大 小不进行具体限定。 存储介质可为内存卡， 当然， 存储介质的类型除内存卡外， 还可为其 他类型的存储介质， 例如， 内存或缓存等等， 本实施例对存储介质的类型同样不作具体限 定。 以预设时间为 10秒， 当前采集图像的时间为 10:00:00为例， 则上一次采集到的图像 即指代 09:59:50采集到的图像。 由于已将移动终端采集到的图像存储在移动终端的存储介质中， 因此， 在获取移动终 端上一次采集到的图像时， 可从移动终端的存储介质中获取。 而在获取移动终端当前采集 到的图像时， 可直接获取移动终端摄像头当前采集到的图像。
在步骤 202中，确定移动终端当前采集到的图像与上一次采集到的图像的重合区域及 图像拓扑变化量；
针对该步骤，在确定移动终端当前采集到的图像与上一次采集到的图像的重合区域及 图像拓扑变化量时， 本实施例不对实现方式进行限定。 具体实施时， 可通过图像识别算法 实现， 则该步骤的实现方式包括但不限于： 先分别对两张图像进行分割， 检测出每张图像 中的各个物体， 并将各个物体的图像与背景图像进行分离， 对各个物体的特征进行提取， 最后基于两张图像的特征确定移动终端当前采集到的图像与上一次采集到的图像的重合 区域及图像拓扑变化量。 其中， 在进行特征提取时， 可采用小波变换来实现， 当然除采取小波变换进行特征提 取的方式外， 还可采取其他提取方式， 例如， 采用傅里叶变换进行特征提取， 本实施例对 此不作具体限定。
以图 3所示的图像为例， 左边图像为移动终端上一次采集到的图像， 右边图像为移动 终端当前采集到的图像。 通过图像识别算法按照上述过程对两张图像进行分割、 检测、 分 离和特征提取等过程后， 得到左边图像中的右下角部分（对应图 3中左边图像的框体内部 区域） 与右边图像中的左上角部分 （对应图 3中右边图像的框体内部区域） 的内容一致， 即移动终端当前采集到的图像的左上角部分为两张图像的重合区域； 由于两张图像中除框 体区域以外其他部分并不一致， 即移动终端当前采集到的图像中除框体以外的部分与移动 终端上一次采集到的图像中除框体以外的部分相比， 存在变化的部分， 而该变化的部分便 指代图像的拓扑变化量。
在步骤 203 中， 根据重合区域和图像拓扑变化量确定移动终端的位移矢量和移动角 度；
其中， 在根据重合区域和图像拓扑变化量确定移动终端的位移矢量和移动角度时， 可 利用图像计算技术实现， 则该步骤的实现方式包括但不限于：
首先， 将两张图像重叠， 以重叠后的图像的几何中心为原点， 分别获取两张图像中重 合区域的坐标，进而根据两张图像中重合区域的坐标计算重合区域在两次获取到的图像中 的位移矢量， 由于移动终端的位移矢量与重合区域在两次获取到的图像中的位移矢量对应 成比例。 因此， 获取到重合区域在两次获取到的图像中的位移矢量、 以及移动终端的位移 矢量与重合区域在两次获取到的图像中的位移矢量的比例后，便可根据上述数据确定出移 动终端的位移矢量；而根据两张图像中重合区域在坐标系中形成的线段与横轴之间的角度 便可确定出移动终端的移动角度。
继续以图 3为例， 首先将左边的图像与右边的图像进行重叠， 得到图 4， 取重叠后的 图像的几何中心为原点，假设在形成的坐标系中，左边图像中重合区域的坐标为（al，bl )， 右边图像中重合区域的坐标为 ( a2， b2) ， 则重合区域在两次获取到的图像中的位移矢量 大小为 (al-a2)2 + ( M-b2)2，若移动终端的位移矢量与重合区域在两次获取到的图像中的 位移矢量的比例为 c，则移动终端的位移矢量大小为 C X V(«l-a2)2 + ( M-b2)2，方向由（a2， b2) 指向 （al， bl ) 。 进一步地， 根据矢量 (^^ΟΪ^与 X轴的夹角 a的大小便可确 定出移动终端的移动角度。
需要说明的是，除上述根据重合区域和图像拓扑变化量确定移动终端的位移矢量和移 动角度的方式外， 还可采取其他确定方式， 本实施例对此不做具体限定， 在此仅给出一种 可能的确定方式。
在步骤 204中，根据移动终端的位移矢量和移动角度确定连接设备上鼠标指针的位移 矢量；
其中， 在根据移动终端的位移矢量和移动角度确定连接设备上鼠标指针的位移矢量 时， 包括但不限于： 先通过移动终端的位移矢量和移动角度确定移动终端的屏幕上鼠标指 针的位移矢量，而后根据移动终端屏幕的大小与连接设备的显示区域的大小之比及移动终 端屏幕上鼠标指针的位移矢量确定出连接设备上鼠标指针的位移矢量。由于连接设备上显 示的投影内容仅是将移动终端屏幕上显示的内容进行放大， 因此， 在获取到移动终端的屏 幕上鼠标指针的位移矢量及移动终端屏幕的大小与连接设备的显示区域的大小之比后，便 可直接将二者的乘积大小确定为连接设备上鼠标指针的位移矢量。以移动终端的屏幕上鼠 标指针的位移矢量为 A， 移动终端屏幕的大小与连接设备显示区域的大小之比为 1/C， 以 符号 B代表连接设备上鼠标指针的位移矢量为例， 则 A/B=l/C， 则连接设备上鼠标指针的 位移矢量 B=AX C。
在步骤 205中， 根据连接设备上鼠标指针的位移矢量对鼠标指针的移动进行控制。 针对该步骤， 在得到连接设备上鼠标指针的位移矢量后， 根据该位移矢量便可在连接 设备上将鼠标指针由其当前所在位置移动到距离当前所在位置为该位移矢量大小的位置， 从而实现对鼠标指针的移动进行控制。 以连接设备的几何中心为坐标系原点， 移动之前鼠 标指针的位置坐标为 （ml,nl ) ， 鼠标指针的位移矢量为 L， 以坐标 （m2,n2) 标识移动之 后鼠标指针的位置坐标为例， 则由于
Figure imgf000009_0001
因此， 可根据该公式得到 移动之后鼠标指针的位置坐标 （m2,n2) 的数值， 并将鼠标指针移动到位置坐标 （m2,n2) 对应的位置上。
在一个实施例中，通过对鼠标指针的移动进行控制还可进一步实现对投影对象的操作 管理。 例如， 以鼠标指针的位移矢量为 L， 鼠标指针在移动之前位于连接设备上的一个选 中的文件夹的图形之上为例， 则在得到鼠标指针的位移矢量后， 根据该位移矢量 L将鼠标 指针由当前位置移动到与当前位置的距离为 L的位置，而根据该位移矢量移动鼠标指针的 过程中， 便可实现将选中的文件夹进行移动， 即文件夹的位置由当前位置移动到与当前位 置的距离为 L的位置， 从而通过对鼠标指针的控制实现对投影内容进行操作管理。
需要说明的是， 通过本实施例提供的方法可实现对鼠标指针进行移动控制， 在具体实 施上述方法时，既可在移动终端上执行，也可在连接设备上执行，本实施例对此不作限定。 在连接设备上执行时，连接设备在执行上述步骤 201时，可由移动终端两次采集图像之后， 将采集到的图像发送至连接设备，之后再由连接设备按照步骤 202至 205的步骤继续处理。 在移动设备上执行时， 通过移动终端执行步骤 201至步骤 204之后， 该移动终端在执行步 骤 205时， 可先将确定的连接设备上鼠标指针的位移矢量发送至连接设备， 由连接设备据 此控制连接设备上鼠标指针的移动。本实施例不对执行本实施例提供的方法的执行主体进 行限定， 实施时， 可优选由处理性能更强大的一方执行即可。
在一个实施例中， 本实施例提供的方法在实现对鼠标指针的移动进行控制的基础上， 还支持通过移动终端来模拟鼠标的操作， 即实现将移动终端作为鼠标使用， 从而实现对投 影内容进行管理。 具体实施时， 本实施例提供的方法还包括如下步骤：
检测用户在移动终端屏幕上的点击动作； 确定点击动作对应的点击位置；
确定点击位置对应的操作， 并执行点击位置对应的操作。
关于确定点击位置对应的操作的方式， 本实施例不作具体限定， 确定点击位置对应的 操作之前， 本实施例提供的方法还包括： 在移动终端的屏幕上划分至少两个点击区域， 并 设置每个点击区域对应的操作；
确定点击位置对应的操作， 包括但不限于：
确定点击位置对应的点击区域， 将点击区域对应的操作确定为点击位置对应的操作。 其中， 检测用户在移动终端屏幕上的点击动作的具体实现方式包括但不限于： 利用热 敏元件检测用户是否触碰了移动终端的屏幕，若用户触碰了移动终端的屏幕且触碰时间小 于预设时间， 则检测到用户在移动终端屏幕上的执行了点击动作。
需要说明的是： 规定的预设时间具体可为 0.1毫秒， 当然， 预设时间的大小除 0.1毫 秒外，还可为其他数值，例如 0.05毫秒等等，本实施例对预设时间的大小不进行具体限定。 其中， 除上述检测用户在移动终端屏幕上的点击动作的方式外， 还可采取其他检测方式， 本实施例对此不作具体限定。
此外， 为了使移动终端能更好地模拟实现鼠标具有的功能， 则本实施例提供的方法还 包括在移动终端的屏幕上划分至少两个点击区域的步骤，如果在移动终端的屏幕上划分两 个点击区域， 则以移动终端屏幕的竖中界线为界， 划分出左点击区域和右点击区域， 左点 击区域用来模拟鼠标的左键， 设置其对应的操作， 包括但不限于为选中操作、 关闭窗口操 作、 打开文件操作等等； 右点击区域用来模拟鼠标的右键， 设置其对应的操作， 包括但不 限于为删除操作或重命名操作等等。如果在移动终端的屏幕上划分三个点击区域， 则划分 出左点击区域、滚轮区域和右点击区域，左点击区域和右点击区域用来模拟鼠标的左右键， 而滚轮区域用来模拟鼠标的滚轮， 设置其对应的操作为翻页操作等等。 具体在移动终端的 屏幕上划分几个点击区域， 以及设置何种操作， 本实施例对此均不作具体限定， 具体实施 时可视实际情况而定。
在一个实施例中， 在移动终端的屏幕上划分至少两个点击区域之后， 还包括： 在移动终端的屏幕上显示划分的点击区域， 使用户根据显示的点击区域执行点击动 作。
其中， 在移动终端的屏幕上划分至少两个点击区域之后， 本实施例提供的方法还包括 在移动终端的屏幕上显示划分的点击区域的步骤。例如， 在移动终端的屏幕上以明显的线 条为分界线显示出划分的各个区域， 由于用线条以显现的方式对每个划分区域所涵盖的范 围进行了界定， 因此， 可方便用户根据显示的区域快速的执行点击动作， 而无需再仔细对 各个划分区域进行识别。
下面以以图 5为例，对本实施例提供的通过移动终端来模拟鼠标的操作的步骤进行详 细地解释说明。
在移动终端的屏幕上划分了两个点击区域， 即左点击区域和右点击区域， 左点击区域 设置的操作为选中操作、 关闭窗口操作、 打开文件操作等等； 右点击区域设置的操作为删 除操作或重命名操作等等。若检测到用户在移动终端的屏幕上进行了点击动作且确定该点 击动作对应的点击位置位于左点击区域， 则执行左点击区域对应的操作。 例如， 若用户在 移动终端的屏幕上执行点击动作之前， 鼠标指针位于一个文件的图形之上， 且用户执行了 一次点击动作， 则代表将该文件夹选中； 若用户执行了两次连续的点击动作， 则代表打开 该选中文件。
本实施例提供的方法， 在获取到移动终端当前采集到的图像及上一次采集到的图像， 且确定二者的重合区域及图像拓扑变化量后，根据重合区域和图像拓扑变化量确定连接设 备上显示的鼠标指针的位移矢量，从而根据鼠标指针的位移矢量对鼠标指针的移动进行控 制， 达到了用户可专心看连接设备， 而用户通过对移动终端执行相应操作便可对连接设备 上的鼠标指针进行控制的目的， 进而可方便快捷地对投影内容进行操作管理， 提升了用户 体验度。 实施例三
本公开实施例提供了一种鼠标指针的控制装置，用于执行上述实施例一或实施例二所 提供的方法， 参见图 6， 该控制装置包括：
获取模块 61， 用于获取移动终端当前采集到的图像及上一次采集到的图像； 第一确定模块 62，用于确定移动终端当前采集到的图像与上一次采集到的图像的重合 区域及图像拓扑变化量；
第二确定模块 63， 用于根据第一确定模块 62确定的重合区域和图像拓扑变化量确定 连接设备上显示的鼠标指针的位移矢量；
控制模块 64， 用于根据第二确定模块 63确定的鼠标指针的位移矢量对鼠标指针的移 动进行控制；
其中， 移动终端上显示的内容投影到连接设备上， 由连接设备进行显示。
在一个实施例中， 参见图 6， 第二确定模块 63， 包括：
第一确定单元 631， 用于根据重合区域和图像拓扑变化量确定移动终端的位移矢量和 移动角度；
第二确定单元 632， 用于根据第一确定单元确定的移动终端的位移矢量和移动角度确 定鼠标指针的位移矢量。
在一个实施例中， 参见图 7， 该控制装置还包括：
检测模块 65， 用于检测用户在移动终端屏幕上的点击动作；
第三确定模块 66， 用于确定检测模块 66检测到的点击动作对应的点击位置； 第四确定模块 67， 用于确定第三确定模块 66确定的点击位置对应的操作， 并执行点 击位置对应的操作。
在一个实施例中， 参见图 8， 该控制装置， 还包括： 划分模块 68， 用于在移动终端的屏幕上划分至少两个点击区域；
设置模块 69， 用于设置每个点击区域对应的操作；
第四确定模块 67，用于确定点击位置对应的点击区域，将点击区域对应的操作确定为 点击位置对应的操作。
在一个实施例中， 参见图 9， 该控制装置， 还包括：
显示模块 70， 用于 在移动终端的屏幕上显示划分的点击区域， 使用户根据显示的点 击区域执行点击动作。
综上所述， 本公开实施例提供的控制装置， 在获取到移动终端当前采集到的图像及上 一次采集到的图像， 且确定二者的重合区域及图像拓扑变化量后， 根据重合区域和图像拓 扑变化量确定连接设备上显示的鼠标指针的位移矢量，从而根据鼠标指针的位移矢量对鼠 标指针的移动进行控制， 达到了用户可专心看连接设备， 而用户通过对移动终端执行相应 操作便可对连接设备上的鼠标指针进行控制的目的，进而可方便快捷地对投影内容进行操 作管理， 提升了用户体验度。 实施例四
图 11是本公开实施例提供的一种终端设备结构示意图。 参见图 11， 该终端设备可以 用于实施上述实施例中提供的鼠标指针的控制方法。 其中， 该终端可以为手机、 平板电脑 pad, 穿戴式移动设备 （如智能手表） 等。 优先的：
终端设备 700可以包括通信单元 110、 包括有一个或一个以上计算机可读存储介质的 存储器 120、输入单元 130、显示单元 140、传感器 150、音频电路 160、 WiFi(wireless fidelity, 无线保真；)模块 170、 包括有一个或者一个以上处理核心的处理器 180、 以及电源 190等部 件。本领域技术人员可以理解， 图 11中示出的终端设备结构并不构成对终端设备的限定， 可以包括比图示更多或更少的部件， 或者组合某些部件， 或者不同的部件布置。 其中： 通信单元 110可用于收发信息或通话过程中， 信号的接收和发送， 该通信单元 110可 以为 RF (Radio Frequency, 射频） 电路、 路由器、 调制解调器、 等网络通信设备。 特别 地， 当通信单元 110为 RF电路时， 将基站的下行信息接收后， 交由一个或者一个以上处 理器 180处理； 另外， 将涉及上行的数据发送给基站。 通常， 作为通信单元的 RF电路包 括但不限于天线、 至少一个放大器、 调谐器、 一个或多个振荡器、 用户身份模块 （SIM) 卡、 收发信机、 耦合器、 LNA (Low Noise Amplifier, 低噪声放大器） 、 双工器等。 此外， 通信单元 no还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通 信标准或协议， 包括但不限于 GSM(Global System of Mobile communication, 全球移动通 讯系统）、 GPRS(General Packet Radio Service, 通用分组无线服务)、 CDMA(Code Division
Multiple Access, 码分多址）、 WCDMA(Wideband Code Division Multiple Access, 宽带码分 多址）、 LTE(Long Term Evolution,长期演进)、 电子邮件、 SMS(Short Messaging Service, 短 消息服务)等。 存储器 120可用于存储软件程序以及模块， 处理器 180通过运行存储在存 储器 120的软件程序以及模块， 从而执行各种功能应用以及数据处理。存储器 120可主要 包括存储程序区和存储数据区， 其中， 存储程序区可存储操作系统、 至少一个功能所需的 应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据终端设备 700 的使用所创建的数据 （比如音频数据、 电话本等）等。 此外， 存储器 120可以包括高速随 机存取存储器， 还可以包括非易失性存储器， 例如至少一个磁盘存储器件、 闪存器件、 或 其他易失性固态存储器件。 相应地， 存储器 120还可以包括存储器控制器， 以提供处理器 180和输入单元 130对存储器 120的访问。
输入单元 130可用于接收输入的数字或字符信息， 以及产生与用户设置以及功能控制 有关的键盘、 鼠标、 操作杆、 光学或者轨迹球信号输入。 优选地， 输入单元 130可包括触 敏表面 131 以及其他输入设备 132。 触敏表面 131， 也称为触摸显示屏或者触控板， 可收 集用户在其上或附近的触摸操作（比如用户使用手指、 触笔等任何适合的物体或附件在触 敏表面 131上或在触敏表面 131附近的操作）， 并根据预先设定的程式驱动相应的连接装 置。 可选的， 触敏表面 131可包括触摸检测装置和触摸控制器两个部分。 其中， 触摸检测 装置检测用户的触摸方位， 并检测触摸操作带来的信号， 将信号传送给触摸控制器； 触摸 控制器从触摸检测装置上接收触摸信息， 并将它转换成触点坐标， 再送给处理器 180， 并 能接收处理器 180发来的命令并加以执行。 此外， 可以采用电阻式、 电容式、 红外线以及 表面声波等多种类型实现触敏表面 131。 除了触敏表面 131， 输入单元 130还可以包括其 他输入设备 132。 优选地， 其他输入设备 132可以包括但不限于物理键盘、 功能键 （比如 音量控制按键、 开关按键等） 、 轨迹球、 鼠标、 操作杆等中的一种或多种。
显示单元 140可用于显示由用户输入的信息或提供给用户的信息以及终端设备 700的 各种图形用户接口， 这些图形用户接口可以由图形、 文本、 图标、 视频和其任意组合来构 成。 显示单元 140可包括显示面板 141， 可选的， 可以采用 LCD(Liquid Crystal Display, 液晶显示器)、 OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板 141。进一步的， 触敏表面 131可覆盖显示面板 141， 当触敏表面 131检测到在其上或附近 的触摸操作后， 传送给处理器 180以确定触摸事件的类型， 随后处理器 180根据触摸事件 的类型在显示面板 141上提供相应的视觉输出。 虽然在图 11中， 触敏表面 131与显示面 板 141是作为两个独立的部件来实现输入和输入功能， 但是在某些实施例中， 可以将触敏 表面 131与显示面板 141集成而实现输入和输出功能。
终端设备 700还可包括至少一种传感器 150， 比如光传感器、 运动传感器以及其他传 感器。 优选地， 光传感器可包括环境光传感器及接近传感器， 其中， 环境光传感器可根据 环境光线的明暗来调节显示面板 141的亮度，接近传感器可在终端设备 700移动到耳边时， 关闭显示面板 141 和 /或背光。 作为运动传感器的一种， 重力加速度传感器可检测各个方 向上（一般为三轴）加速度的大小， 静止时可检测出重力的大小及方向， 可用于识别手机 姿态的应用 （比如横竖屏切换、 相关游戏、 磁力计姿态校准） 、 振动识别相关功能 （比如 计步器、 敲击） 等； 至于终端设备 700还可配置的陀螺仪、 气压计、 湿度计、 温度计、 红 外线传感器等其他传感器， 在此不再赘述。
音频电路 160、扬声器 161， 传声器 162可提供用户与终端设备 700之间的音频接口。 音频电路 160可将接收到的音频数据转换后的电信号， 传输到扬声器 161， 由扬声器 161 转换为声音信号输出； 另一方面， 传声器 162将收集的声音信号转换为电信号， 由音频电 路 160接收后转换为音频数据， 再将音频数据输出处理器 180处理后， 经 RF电路 110以 发送给比如另一终端设备， 或者将音频数据输出至存储器 120以便进一步处理。 音频电路 160还可能包括耳塞插孔， 以提供外设耳机与终端设备 700的通信。
为了实现无线通信，该终端设备上可以配置有无线通信单元 170，该无线通信单元 170 可以为 WiFi模块。 WiFi属于短距离无线传输技术， 终端设备 700通过无线通信单元 170 可以帮助用户收发电子邮件、 浏览网页和访问流式媒体等， 它为用户提供了无线的宽带互 联网访问。虽然图 11示出了无线通信单元 170， 但是可以理解的是， 其并不属于终端设备 700的必须构成， 完全可以根据需要在不改变公开的本质的范围内而省略。
处理器 180是终端设备 700的控制中心，利用各种接口和线路连接整个手机的各个部 分， 通过运行或执行存储在存储器 120 内的软件程序和 /或模块， 以及调用存储在存储器 120内的数据， 执行终端设备 700的各种功能和处理数据， 从而对手机进行整体监控。 可 选的， 处理器 180可包括一个或多个处理核心； 优选的， 处理器 180可集成应用处理器和 调制解调处理器， 其中， 应用处理器主要处理操作系统、 用户界面和应用程序等， 调制解 调处理器主要处理无线通信。可以理解的是， 上述调制解调处理器也可以不集成到处理器 180中。
终端设备 700还包括给各个部件供电的电源 190 (比如电池） ， 优选的， 电源可以通 过电源管理系统与处理器 180逻辑相连， 从而通过电源管理系统实现管理充电、 放电、 以 及功耗管理等功能。电源 190还可以包括一个或一个以上的直流或交流电源、再充电系统、 电源故障检测电路、 电源转换器或者逆变器、 电源状态指示器等任意组件。
尽管未示出， 终端设备 700还可以包括摄像头、 蓝牙模块等， 在此不再赘述。 具体在 本实施例中， 终端设备的显示单元是触摸屏显示器， 终端设备还包括有存储器， 以及一个 或者一个以上的程序， 其中一个或者一个以上程序存储于存储器中， 且经配置以由一个或 者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
获取移动终端当前采集到的图像及上一次采集到的图像；
确定所述移动终端当前采集到的图像与所述上一次采集到的图像的重合区域及图像 拓扑变化量；
根据所述重合区域和图像拓扑变化量， 确定连接设备上显示的鼠标指针的位移矢量； 根据所述鼠标指针的位移矢量对所述鼠标指针的移动进行控制；
其中，所述移动终端上显示的内容投影到所述连接设备上，由所述连接设备进行显示。 在一个实施例中， 存储器还包括进行以下操作的指令：
根据重合区域和图像拓扑变化量确定鼠标指针的位移矢量， 包括： 根据重合区域和图像拓扑变化量确定移动终端的位移矢量和移动角度；根据移动终端 的位移矢量和移动角度确定鼠标指针的位移矢量。
在一个实施例中， 存储器还包括进行以下操作的指令：
检测用户在移动终端屏幕上的点击动作； 确定点击动作对应的点击位置； 确定点击位 置对应的操作， 并执行点击位置对应的操作。
在一个实施例中， 存储器还包括进行以下操作的指令：
确定点击位置对应的操作之前，还包括：在移动终端的屏幕上划分至少两个点击区域， 并设置每个点击区域对应的操作； 确定点击位置对应的操作， 包括： 确定点击位置对应的 点击区域， 将点击区域对应的操作确定为点击位置对应的操作。
在一个实施例中， 存储器还包括进行以下操作的指令：
在移动终端的屏幕上划分至少两个点击区域之后， 还包括： 在移动终端的屏幕上显示 划分的点击区域， 使用户根据显示的点击区域执行点击动作。
上述功能的实施方式举例在方法实施例中已经详述， 这里不再赘述。
综上所述， 本公开实施例提供的设备， 在获取到移动终端当前采集到的图像及上一次 采集到的图像， 且确定二者的重合区域及图像拓扑变化量后， 根据重合区域和图像拓扑变 化量确定连接设备上显示的鼠标指针的位移矢量，从而根据鼠标指针的位移矢量对鼠标指 针的移动进行控制， 达到了用户可专心看连接设备， 而用户通过对移动终端执行相应操作 便可对连接设备上的鼠标指针进行控制的目的，进而可方便快捷地对投影内容进行操作管 理， 提升了用户体验度。 需要说明的是： 上述实施例提供的装置和终端设备在对鼠标指针进行控制时， 仅以上 述各功能模块的划分进行举例说明， 实际应用中， 可以根据需要而将上述功能分配由不同 的功能模块完成， 即将装置和设备的内部结构划分成不同的功能模块， 以完成以上描述的 全部或者部分功能。另外， 上述实施例提供的装置和设备与鼠标指针的控制方法实施例属 于同一构思， 其具体实现过程详见方法实施例， 这里不再赘述。
上述本公开实施例序号仅仅为了描述， 不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完 成， 也可以通过程序来指令相关的硬件完成， 所述的程序可以存储于一种计算机可读存储 介质中， 上述提到的存储介质可以是只读存储器， 磁盘或光盘等。
以上所述仅为本发明的较佳实施例， 并不用以限制本发明， 凡在本发明的精神和原则 之内， 所作的任何修改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。

Claims

权利要求
1、 一种鼠标指针的控制方法， 其特征在于， 所述方法包括：
获取移动终端当前采集到的图像及上一次采集到的图像；
确定所述移动终端当前采集到的图像与所述上一次采集到的图像的重合区域及图像 拓扑变化量；
根据所述重合区域和图像拓扑变化量， 确定连接设备上显示的鼠标指针的位移矢量; 根据所述鼠标指针的位移矢量对所述鼠标指针的移动进行控制；
其中，所述移动终端上显示的内容投影到所述连接设备上，由所述连接设备进行显示。
2、 根据权利要求 1所述的方法， 其特征在于， 所述根据所述重合区域和图像拓扑变 化量确定鼠标指针的位移矢量， 包括：
根据所述重合区域和图像拓扑变化量确定所述移动终端的位移矢量和移动角度； 根据所述移动终端的位移矢量和移动角度确定所述鼠标指针的位移矢量。
3、 根据权利要求 1或 2所述的方法， 其特征在于， 所述方法还包括：
检测用户在所述移动终端屏幕上的点击动作；
确定所述点击动作对应的点击位置；
确定所述点击位置对应的操作， 并执行所述点击位置对应的操作。
4、 根据权利要求 3所述的方法， 其特征在于， 所述确定所述点击位置对应的操作之 前， 还包括： 在所述移动终端的屏幕上划分至少两个点击区域， 并设置每个点击区域对应 的操作；
所述确定所述点击位置对应的操作， 包括：
确定所述点击位置对应的点击区域，将所述点击区域对应的操作确定为所述点击位置 对应的操作。
5、 根据权利要求 4所述的方法， 其特征在于， 所述在所述移动终端的屏幕上划分至 少两个点击区域之后， 还包括：
在所述移动终端的屏幕上显示划分的点击区域，使用户根据显示的点击区域执行点击 动作。
6、 一种鼠标指针的控制装置， 其特征在于， 包括：
获取模块， 用于获取移动终端当前采集到的图像及上一次采集到的图像；
第一确定模块，用于确定所述移动终端当前采集到的图像与所述上一次采集到的图像 的重合区域及图像拓扑变化量；
第二确定模块，用于根据所述第一确定模块确定的重合区域和图像拓扑变化量确定连 接设备上显示的鼠标指针的位移矢量；
控制模块，用于根据所述第二确定模块确定的鼠标指针的位移矢量对所述鼠标指针的 移动进行控制；
其中，所述移动终端上显示的内容投影到所述连接设备上，由所述连接设备进行显示。
7、 根据权利要求 6所述的控制装置， 其特征在于， 所述第二确定模块， 包括： 第一确定单元，用于根据所述重合区域和图像拓扑变化量确定所述移动终端的位移矢 量和移动角度；
第二确定单元，用于根据所述第一确定单元确定的移动终端的位移矢量和移动角度确 定所述鼠标指针的位移矢量。
8、 根据权利要求 6或 7所述的控制装置， 其特征在于， 所述控制装置还包括： 检测模块， 用于检测用户在所述移动终端屏幕上的点击动作；
第三确定模块， 用于确定所述检测模块检测到的点击动作对应的点击位置； 第四确定模块，用于确定所述第三确定模块确定的点击位置对应的操作，并执行所述 点击位置对应的操作。
9、 根据权利要求 8所述的控制装置， 其特征在于， 所述控制装置， 还包括： 划分模块， 用于在所述移动终端的屏幕上划分至少两个点击区域；
设置模块， 用于设置每个点击区域对应的操作；
所述第四确定模块，用于确定所述点击位置对应的点击区域，将所述点击区域对应的 操作确定为所述点击位置对应的操作。
10、 根据权利要求 9所述的控制装置， 其特征在于， 所述控制装置还包括： 显示模块， 用于 在所述移动终端的屏幕上显示划分的点击区域， 使用户根据显示的 点击区域执行点击动作。
11、 一种终端设备， 其特征在于， 终端设备包括有存储器， 以及一个或者一个以上的 程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理 器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
获取移动终端当前采集到的图像及上一次采集到的图像；
确定所述移动终端当前采集到的图像与所述上一次采集到的图像的重合区域及图像 拓扑变化量；
根据所述重合区域和图像拓扑变化量， 确定连接设备上显示的鼠标指针的位移矢量; 根据所述鼠标指针的位移矢量对所述鼠标指针的移动进行控制；
其中，所述移动终端上显示的内容投影到所述连接设备上，由所述连接设备进行显示。
PCT/CN2014/076097 2013-07-31 2014-04-24 鼠标指针的控制方法、装置及终端设备 WO2015014135A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310329836.1A CN103399657B (zh) 2013-07-31 2013-07-31 鼠标指针的控制方法、装置及终端设备
CN201310329836.1 2013-07-31

Publications (1)

Publication Number Publication Date
WO2015014135A1 true WO2015014135A1 (zh) 2015-02-05

Family

ID=49563297

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/076097 WO2015014135A1 (zh) 2013-07-31 2014-04-24 鼠标指针的控制方法、装置及终端设备

Country Status (2)

Country Link
CN (1) CN103399657B (zh)
WO (1) WO2015014135A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399657B (zh) * 2013-07-31 2016-09-28 小米科技有限责任公司 鼠标指针的控制方法、装置及终端设备
CN105739881B (zh) * 2014-12-12 2019-04-23 联想(北京)有限公司 一种信息处理方法及电子设备
CN106155529A (zh) * 2015-04-10 2016-11-23 中兴通讯股份有限公司 移动终端控制方法及移动终端
CN107728908B (zh) * 2017-09-29 2021-06-11 深圳Tcl数字技术有限公司 移动终端鼠标实现方法、移动终端以及可读存储介质
CN112083973A (zh) * 2020-09-18 2020-12-15 珠海豹趣科技有限公司 一种窗口关闭方法、装置、电子设备及存储介质
CN115729399A (zh) * 2021-08-30 2023-03-03 荣耀终端有限公司 窗口内指针的显示控制方法及装置、设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1991709A (zh) * 2005-10-24 2007-07-04 索尼爱立信移动通信日本株式会社 移动终端,鼠标应用程序,以及利用移动终端作为无线鼠标装置的方法
CN103200327A (zh) * 2013-04-08 2013-07-10 上海斐讯数据通信技术有限公司 一种在手机上实现鼠标功能的方法
CN103399657A (zh) * 2013-07-31 2013-11-20 北京小米科技有限责任公司 鼠标指针的控制方法、装置及终端设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10334138B4 (de) * 2003-07-23 2006-03-09 Siemens Ag Kommunikationssystem
US20100066672A1 (en) * 2008-09-15 2010-03-18 Sony Ericsson Mobile Communications Ab Method and apparatus for mobile communication device optical user interface

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1991709A (zh) * 2005-10-24 2007-07-04 索尼爱立信移动通信日本株式会社 移动终端,鼠标应用程序,以及利用移动终端作为无线鼠标装置的方法
CN103200327A (zh) * 2013-04-08 2013-07-10 上海斐讯数据通信技术有限公司 一种在手机上实现鼠标功能的方法
CN103399657A (zh) * 2013-07-31 2013-11-20 北京小米科技有限责任公司 鼠标指针的控制方法、装置及终端设备

Also Published As

Publication number Publication date
CN103399657B (zh) 2016-09-28
CN103399657A (zh) 2013-11-20

Similar Documents

Publication Publication Date Title
WO2018103525A1 (zh) 人脸关键点跟踪方法和装置、存储介质
TWI672629B (zh) 表情展示方法、裝置及電腦可讀取儲存媒體
WO2017088131A1 (zh) 一种快速分屏的方法、装置、电子设备、显示界面以及存储介质
TWI520043B (zh) 消息查看方法、裝置和移動終端
US20170199662A1 (en) Touch operation method and apparatus for terminal
CN109710139B (zh) 一种页面处理方法、装置、终端以及存储介质
WO2017125027A1 (zh) 一种进行信息展示的方法和装置、计算机存储介质
WO2015035796A1 (zh) 桌面显示方法、装置及终端
WO2014206101A1 (zh) 一种基于手势的会话处理方法、装置及终端设备
CN108415641B (zh) 一种图标的处理方法及移动终端
CN105975190B (zh) 一种图形界面的处理方法、装置及系统
CN106445340B (zh) 一种双屏终端显示立体图像的方法和装置
WO2017129053A1 (zh) 数据传输方法及装置
WO2019000287A1 (zh) 一种图标显示方法及装置
WO2014086218A1 (zh) 界面调整方法、装置及终端
WO2015043194A1 (zh) 虚拟键盘显示方法、装置及终端
WO2015014135A1 (zh) 鼠标指针的控制方法、装置及终端设备
WO2018177207A1 (zh) 操作控制方法、装置及存储介质
WO2019184947A1 (zh) 图像查看方法及移动终端
US10463965B2 (en) Control method of scene sound effect and related products
CN108228902B (zh) 一种文件显示方法及移动终端
CN107741814B (zh) 一种显示控制方法及移动终端
WO2019169991A1 (zh) 显示方法及移动终端
WO2013135169A1 (zh) 一种输入法键盘的调整方法及其移动终端
WO2018137304A1 (zh) 一种2d应用在vr设备中的显示方法及终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14831998

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14831998

Country of ref document: EP

Kind code of ref document: A1