WO2020147258A1 - 一种远程桌面操作方法、装置、可读存储介质及终端设备 - Google Patents

一种远程桌面操作方法、装置、可读存储介质及终端设备 Download PDF

Info

Publication number
WO2020147258A1
WO2020147258A1 PCT/CN2019/091528 CN2019091528W WO2020147258A1 WO 2020147258 A1 WO2020147258 A1 WO 2020147258A1 CN 2019091528 W CN2019091528 W CN 2019091528W WO 2020147258 A1 WO2020147258 A1 WO 2020147258A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature vector
sub
coordinate
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/091528
Other languages
English (en)
French (fr)
Inventor
王科
官民
李海林
杨开济
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2020147258A1 publication Critical patent/WO2020147258A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Definitions

  • This application belongs to the field of computer technology, and in particular relates to a remote desktop operation method, device, computer-readable storage medium, and terminal equipment.
  • RPA Robotic Process Automation
  • the embodiments of the present application provide a remote desktop operation method, device, computer readable storage medium, and terminal device to solve the problem of the extremely low success rate of operation of the operation object in the remote desktop in the prior art.
  • the first aspect of the embodiments of the present application provides a remote desktop operation method, which may include:
  • the operation instruction is executed at the third coordinate in the local desktop.
  • the second aspect of the embodiments of the present application provides a remote desktop operating device, which may include a module for implementing the steps of the foregoing remote desktop operating method.
  • a third aspect of the embodiments of the present application provides a computer-readable storage medium, the computer-readable storage medium stores computer-readable instructions, and when the computer-readable instructions are executed by a processor, the remote desktop operation method described above is implemented step.
  • the fourth aspect of the embodiments of the present application provides a terminal device, including a memory, a processor, and computer-readable instructions stored in the memory and running on the processor, and the processor executes the computer
  • the steps of the above remote desktop operation method are realized when the instructions are readable.
  • the embodiment of this application no longer uses the traditional method of determining the operation object through the window handle, but uses the image matching method to search for the operation object in the remote desktop, and determines the operation object through the coordinate transformation between the local desktop and the remote desktop. Specific location, which greatly improves the success rate of the operation.
  • FIG. 1 is a flowchart of an embodiment of a remote desktop operation method in an embodiment of this application
  • Figure 2 is a schematic flow chart of searching for a target sub-image matching a template image in a window image of a remote desktop
  • Figure 3 is a schematic flow chart of calculating the feature vector set of the template image
  • FIG. 4 is a structural diagram of an embodiment of a remote desktop operating device in an embodiment of the application.
  • FIG. 5 is a schematic block diagram of a terminal device in an embodiment of the application.
  • an embodiment of a remote desktop operation method in the embodiment of the present application may include:
  • Step S101 Receive a remote desktop operation request issued by a user, and extract a preset template image and operation instruction from the remote desktop operation request.
  • the template image is the image of the object that the user wants to operate on the remote desktop.
  • the template image can be selected by the user in advance according to actual needs. For example, if the object that the user wants to operate is a document in the remote desktop, You can capture the image of the document as a template image in the remote desktop.
  • the handle information of the screenshot area can be recorded.
  • the handle is the remote desktop.
  • the operation instructions include, but are not limited to, specific operation instructions such as mouse click, mouse double click, mouse hover, and text input.
  • Step S102 Obtain a window image of the remote desktop, and search for a target sub-image matching the template image in the window image of the remote desktop.
  • step S1021 each sub-image is sequentially intercepted from the window image of the remote desktop.
  • the image of the area where each icon in the remote desktop window image is located is regarded as a sub-image, so that a large number of sub-images can be intercepted from the remote desktop window image.
  • the remote desktop The number of sub-images in the window image is SN, and the sequence numbers of each sub-image are marked as 1, 2, 3,..., s,..., SN, where 1 ⁇ s ⁇ SN.
  • Step S1022 Calculate the feature vector set of the template image and the feature vector set of each sub-image.
  • the feature vector set includes feature vectors of each feature point.
  • the process of calculating the feature vector set of the template image may specifically include the following steps:
  • Step S10221 Use each smoothing function in the preset smoothing function set to perform smoothing processing on the template image to obtain a smoothed image sequence corresponding to the template image.
  • the weighted average method may be used to perform gray-scale processing on the color image to obtain the gray-scale image.
  • the gray-scale processing may be performed according to the following formula:
  • R, G, and B respectively represent the red component, green component and blue component of the pixel
  • Gray represents the gray value of the pixel
  • f is the serial number of each smoothing function, 1 ⁇ f ⁇ FN, FN is the number of smoothing functions in the set of smoothing functions, exp is the natural exponential function, ⁇ f is the standard deviation of the f-th smoothing function, and ⁇ f ⁇ f+1 , G f (x,y) is the f-th smooth function.
  • the image is smoothed and blurred by smoothing functions of different scales (standard deviation). In this way, after the original image is convolved, multiple images with different degrees of blur are added.
  • Step S10222 Construct a differential image sequence corresponding to the smooth image sequence.
  • the differential image sequence includes a total of FN differential images, wherein the f-th differential image in the differential image sequence is the difference between the f-th smooth image and the f-1th smooth image in the smooth image sequence.
  • the difference image is an image obtained by subtracting the gray values of the corresponding pixels of the f-th smooth image and the f-1th smooth image.
  • the first difference image in the sequence of differential images is the difference image between the first smooth image and the zeroth smooth image in the sequence of smooth images, where the zeroth smooth image is The original image without smoothing.
  • Step S10223 Select each feature point from the differential image sequence, and calculate the feature vector of each feature point.
  • the difference image reflects the difference of the smoothed and blurred image, and the pixels with large differences are the feature points.
  • the following Taylor expansion is used to convert discrete to continuous:
  • the required precise feature points are basically obtained, and then the feature points of the differential image are finitely differentiated according to the following formula to obtain the angle and amplitude of the image gradient in the region:
  • (x, y) is the coordinate of the feature point
  • L (x+1, y) is the gray value of the pixel with the coordinate (x+1, y)
  • L (x-1, y) is the coordinate
  • the gray value of the pixel of (x-1,y) is the gray value of the pixel with coordinates (x,y+1)
  • L(x,y-1) is The gray value of the pixel with coordinates (x,y-1)
  • m(x,y) is the magnitude of the image gradient
  • ⁇ (x,y) is the magnitude of the image gradient.
  • Step S10224 Construct the feature vector set of each feature point as the feature vector set of the template image.
  • Step S1023 Calculate the correlation between the feature vector set of the template image and the feature vector set of each sub-image.
  • the second feature points corresponding to each first feature point are respectively searched in the sth sub-image.
  • the first feature point is a feature point in the template image
  • the second feature point is a feature point in the sth sub-image.
  • p is the sequence number of the feature point, 1 ⁇ p ⁇ PN
  • PN is the number of the first feature point
  • d is the dimensional sequence number of the feature vector
  • 1 ⁇ d ⁇ DN is the dimensional number of the feature vector
  • FtVal p,d is the value of the feature vector of the p-th first feature point in the d-th dimension
  • SvFtVal s,p,d is the feature vector of the second feature point corresponding to the p-th first feature point. The value on the d-th dimension.
  • Step S1024 Select a sub-image with a correlation degree greater than a preset correlation degree threshold from the respective sub-images as the target sub-image.
  • the correlation threshold can be set according to actual conditions, for example, it can be set to 90%, 95%, 98% or other values.
  • Step S103 Obtain the first coordinate of the target sub-image in the window image, and obtain the second coordinate of the window image of the remote desktop in the local desktop.
  • the pixel at the upper left corner of the window image can be taken as the origin of the coordinate, the direction from left to right is taken as the positive X axis, and the direction from top to bottom can be taken as the positive Y axis. to.
  • the above is only one feasible coordinate definition method, and other coordinate definition methods can also be selected according to actual conditions.
  • the target sub-image is a region, the coordinates of any pixel point can be selected as the first coordinates.
  • the coordinates of the center point of the target sub-image can be used as the first coordinates, and
  • the first coordinate mark is (AxisX 1 , AxisY 1 ).
  • the pixel point at the upper left corner of the local desktop can be used as the coordinate origin, the direction from left to right is used as the positive direction of the X axis, and the direction from top to bottom is used as the positive direction of the Y axis.
  • the above is only one feasible coordinate definition method, and other coordinate definition methods can also be selected according to actual conditions. Select the coordinates of the upper-left pixel point from the window image of the remote desktop as the second coordinates, and mark the second coordinates as (AxisX 2 , AxisY 2 ).
  • Step S104 Calculate the third coordinate of the target sub-image in the local desktop according to the first coordinate and the second coordinate.
  • the third coordinate can be calculated according to the following formula:
  • (AxisX 3 , AxisY 3 ) is the third coordinate.
  • Step S105 Execute the operation instruction at the third coordinate in the local desktop.
  • the operation instruction can be executed on the operation object at the third coordinate in the local desktop, for example, the operation object can be clicked with a mouse , Double-click the mouse, hover the mouse, input text and other specific operations, so as to achieve precise operations on the operating objects in the remote desktop.
  • the embodiment of the present application no longer uses the traditional method of determining the operation object through the window handle, but uses the image matching method to search for the operation object in the remote desktop, and use the coordinates between the local desktop and the remote desktop
  • the transformation determines the specific location of the operation object, thereby greatly improving the operation success rate.
  • FIG. 4 shows a structural diagram of an embodiment of a remote desktop operating device provided in an embodiment of the present application.
  • a remote desktop operating device may include:
  • the operation request receiving module 401 is configured to receive a remote desktop operation request issued by a user, and extract preset template images and operation instructions from the remote desktop operation request;
  • the target image searching module 402 is configured to obtain a window image of a remote desktop, and search for a target sub-image matching the template image in the window image of the remote desktop;
  • the coordinate obtaining module 403 is configured to obtain the first coordinate of the target sub-image in the window image, and obtain the second coordinate of the window image of the remote desktop in the local desktop;
  • the coordinate calculation module 404 is configured to calculate the third coordinate of the target sub-image in the local desktop according to the first coordinate and the second coordinate;
  • the operation execution module 405 is configured to execute the operation instruction at the third coordinate in the local desktop.
  • the target image search module may include:
  • a sub-image interception unit configured to sequentially intercept each sub-image from the window image of the remote desktop
  • a feature vector set calculation unit configured to calculate the feature vector set of the template image and the feature vector set of each sub-image, the feature vector set includes the feature vector of each feature point;
  • the correlation calculation unit is configured to calculate the correlation between the feature vector set of the template image and the feature vector set of each sub-image
  • the target image selecting unit is configured to select a sub-image with a correlation degree greater than a preset correlation degree threshold from the respective sub-images as the target sub-image.
  • the feature vector set calculation unit may include:
  • the smoothing processing subunit is used to perform smoothing processing on the template image using each smoothing function in the preset smoothing function set to obtain a smoothing image sequence corresponding to the template image, and each smoothing function in the smoothing function set
  • the function is as follows:
  • f is the serial number of each smoothing function, 1 ⁇ f ⁇ FN, FN is the number of smoothing functions in the set of smoothing functions, exp is the natural exponential function, ⁇ f is the standard deviation of the f-th smoothing function, and ⁇ f ⁇ f+1 , G f (x,y) is the f-th smooth function;
  • the differential image sequence construction subunit is used to construct a differential image sequence corresponding to the smooth image sequence, wherein the f-th differential image in the differential image sequence is the f-th smooth image in the smooth image sequence and The difference image between the f-1th smooth image;
  • the feature point selection subunit is used to select each feature point from the differential image sequence and calculate the feature vector of each feature point;
  • the feature vector set construction subunit is used to construct the feature vector set of each feature point as the feature vector set of the template image.
  • the correlation calculation unit may include:
  • the feature point search subunit is used to search for second feature points corresponding to each first feature point in the sth sub-image, where the first feature point is a feature point in the template image, and the second feature Point is the feature point in the s-th sub-image, 1 ⁇ s ⁇ SN, and SN is the number of sub-images;
  • the correlation calculation subunit is used to calculate the correlation between the feature vector set of the template image and the feature vector set of the s-th sub-image according to the following formula:
  • p is the sequence number of the feature point, 1 ⁇ p ⁇ PN, PN is the number of the first feature point, d is the dimensional sequence number of the feature vector, 1 ⁇ d ⁇ DN, DN is the dimensional number of the feature vector, MtDeg s,p Is the matching degree between the p-th first feature point and the corresponding second feature point, and FtVal p,d is the value of the feature vector of the p-th first feature point in the d-th dimension, SvFtVal s,p,d is the feature vector of the second feature point corresponding to the p-th first feature point in The value on the d-th dimension, MatchDeg s is the correlation degree between the feature vector set of the template image and the feature vector set of the s-th sub-image.
  • the coordinate calculation module is specifically configured to calculate the third coordinate according to the following formula:
  • (AxisX 1 , AxisY 1 ) is the first coordinate
  • (AxisX 2 , AxisY 2 ) is the second coordinate
  • (AxisX 3 , AxisY 3 ) is the third coordinate.
  • Fig. 5 shows a schematic block diagram of a terminal device provided by an embodiment of the present application. For ease of description, only parts related to the embodiment of the present application are shown.
  • the terminal device 5 may be a computing device such as a desktop computer, a notebook, a palmtop computer, and a cloud server.
  • the terminal device 5 may include: a processor 50, a memory 51, and computer-readable instructions 52 that are stored in the memory 51 and can run on the processor 50, such as a computer-readable instruction that executes the aforementioned remote desktop operation method. instruction.
  • the processor 50 executes the computer-readable instructions 52, the steps in the foregoing embodiments of the remote desktop operation method are implemented.
  • each functional unit in each embodiment of the present application When each functional unit in each embodiment of the present application is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a computer-readable storage medium.
  • the technical solution of the present application essentially or the part that contributes to the existing technology or all or part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium , Including several computer-readable instructions to enable a computer device (which may be a personal computer, a server, or a network device, etc.) to perform all or part of the steps of the methods described in the various embodiments of the present application.
  • the aforementioned storage media include: U disk, mobile hard disk, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), magnetic disks or optical disks, etc., which can store computer readable instructions. Medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请属于计算机技术领域，尤其涉及一种远程桌面操作方法、装置、计算机可读存储介质及终端设备。所述方法接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；在所述本地桌面中的第三坐标处执行所述操作指令。即使用图像匹配的方式搜寻操作对象，并通过坐标变换确定操作对象的具体位置，从而大大提高了操作成功率。

Description

一种远程桌面操作方法、装置、可读存储介质及终端设备
本申请要求于2019年1月14日提交中国专利局、申请号为201910032791.9、发明名称为“一种远程桌面操作方法、装置、可读存储介质及终端设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请属于计算机技术领域，尤其涉及一种远程桌面操作方法、装置、计算机可读存储介质及终端设备。
背景技术
随着技术的发展，越来越多的企业开始采用机器人流程自动化(Robotic Process Automation，RPA)来执行一些例行的操作，但是，现有的RPA技术往往局限于对本地的一些操作对象等做一下简单的操作，而面对远程桌面上的操作对象，由于无法直接获取远程桌面上的操作对象的窗口句柄，难以确定操作对象所处的位置，操作成功率极低。
技术问题
有鉴于此，本申请实施例提供了一种远程桌面操作方法、装置、计算机可读存储介质及终端设备，以解决现有技术对远程桌面中的操作对象的操作成功率极低的问题。
技术解决方案
本申请实施例的第一方面提供了一种远程桌面操作方法，可以包括：
接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；
获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；
获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；
根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；
在所述本地桌面中的第三坐标处执行所述操作指令。
本申请实施例的第二方面提供了一种远程桌面操作装置，可以包括用于实现上述远程桌面操作方法的步骤的模块。
本申请实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述远程桌面操作方法的步骤。
本申请实施例的第四方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述远程桌面操作方法的步骤。
有益效果
本申请实施例不再采用传统的通过窗口句柄确定操作对象的方法，而是使用图像匹配的方式在远程桌面中搜寻到操作对象，并通过本地桌面与远程桌面之间的坐标变换确定操作对象的具体位置，从而大大提高了操作成功率。
附图说明
图1为本申请实施例中一种远程桌面操作方法的一个实施例流程图；
图2为在远程桌面的窗口图像中搜寻与模板图像匹配的目标子图像的示意流程图；
图3为计算模板图像的特征向量集合的示意流程图；
图4为本申请实施例中一种远程桌面操作装置的一个实施例结构图；
图5为本申请实施例中一种终端设备的示意框图。
本发明的实施方式
请参阅图1，本申请实施例中一种远程桌面操作方法的一个实施例可以包括：
步骤S101、接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令。
所述模板图像即为在远程桌面中用户想要操作的对象的图像，该模板图像可以由用户预先根据实际需求进行选择，例如，若用户想要操作的对象为远程桌面中的一个文档，则可以在远程桌面中截取该文档的图像作为模板图像。在用户进行截图时，可以记录截图区域所属句柄信息，在此处，句柄即为远程桌面。所述操作指令包括但不限于：鼠标单击、鼠标双击、鼠标悬停、输入文本等具体的操作指令。
步骤S102、获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像。
执行操作时，首先找到预先记录的句柄信息，也即远程桌面，置顶该远程桌面的窗口，目的是保证鼠标可以点击在该窗口上。然后截取该窗口的当前图像，也即所述远程桌面的窗口图像，并通过如图2所示的过程在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像：
步骤S1021、从所述远程桌面的窗口图像中依次截取各个子图像。
也即将所述远程桌面的窗口图像中的各个图标所在区域的图像均作为一个子图像，从而可以从所述远程桌面的窗口图像中截取出众多的子图像，此处，将所述远程桌面的窗口图像中的子图像数目即为SN，将各个子图像的序号依次标记为1、2、3、…、s、…、 SN，其中，1≤s≤SN。
步骤S1022、计算所述模板图像的特征向量集合以及所述各个子图像的特征向量集合。
所述特征向量集合中包括各个特征点的特征向量。
如图3所示，计算所述模板图像的特征向量集合的过程具体可以包括如下步骤：
步骤S10221、分别使用预设的平滑函数集合中的各个平滑函数对所述模板图像进行平滑处理，得到与所述模板图像对应的平滑图像序列。
优选地，在进行平滑处理之前，可以首先使用用加权平均法对彩色图像进行灰度化处理得到灰度化图像，具体地，可以根据下式进行灰度化处理：
Gray＝0.30×R+0.59×G+0.11×B
其中，R、G、B分别代表像素点的红色分量、绿色分量和蓝色分量，Gray代表像素点的灰度值。
所述平滑函数集合中的各个平滑函数如下所示：
Figure PCTCN2019091528-appb-000001
其中，f为各个平滑函数的序号，1≤f≤FN，FN为所述平滑函数集合中的平滑函数的数目，exp为自然指数函数，σ f为第f个平滑函数的标准差，且σ f<σ f+1，G f(x,y)为第f个平滑函数。
用不同尺度(标准差)的平滑函数对图像进行平滑模糊，这样一来，原本的图像卷积后增加了多张不同模糊程度下的图像。
步骤S10222、构造与所述平滑图像序列对应的差分图像序列。
所述差分图像序列中共包括FN个差分图像，其中，所述差分图像序列中的第f个差分图像为所述平滑图像序列中的第f个平滑图像与第f-1个平滑图像之间的差分图像，也即将第f个平滑图像与第f-1个平滑图像对应像素点的灰度值相减所得到的图像。
特殊地，所述差分图像序列中的第1个差分图像为所述平滑图像序列中的第1个平滑图像与第0个平滑图像之间的差分图像，此处的第0个平滑图像即为未进行平滑处理的原始图像。
步骤S10223、从所述差分图像序列中选取各个特征点，并分别计算各个特征点的特征向量。
差分图像反映的是平滑模糊后图像的差别，差别大的像素就是特征点。首先，用每个像素点与其周围的像素点比较，当其大于或者小于所有相邻点时，即可将其作为极值点。但这一极值点是在高斯差分之后所确定下来的，那么其是属于离散空间上的 点，不一定是真正意义上的极值点。还需使用一条曲线来进行拟合，本实施例中采用如下的泰勒展开式将离散转换为连续：
Figure PCTCN2019091528-appb-000002
则对应的真正意义上的极值点为：
Figure PCTCN2019091528-appb-000003
将其作为特征点。
经过以上步骤，基本上得到了所需的精确特征点，接下来根据下式对差分图像的特征点进行有限差分，求得区域内图像梯度的幅角和幅值：
Figure PCTCN2019091528-appb-000004
Figure PCTCN2019091528-appb-000005
其中，(x,y)为特征点的坐标，L(x+1,y)为坐标为(x+1,y)的像素点的灰度值，L(x-1,y)为坐标为(x-1,y)的像素点的灰度值，L(x,y+1)为坐标为(x,y+1)的像素点的灰度值，L(x,y-1)为坐标为(x,y-1)的像素点的灰度值，m(x,y)为图像梯度的幅值，θ(x,y)为图像梯度的幅角。
在对每个特征点进行描述时，在特征点邻域范围划定4×4共16个子区域，在每个子区域，将0～360°全方向划分为8个子方向(每个子方向宽度为45°)，统计各子方向梯度强度，构建8维子区域描述向量。对于16个子区域，则最终生成4×4×8＝128维描述向量，也即特征点的特征向量。
步骤S10224、将各个特征点的特征向量集合构造为所述模板图像的特征向量集合。
以上所述为计算所述模板图像的特征向量集合的过程，所述各个子图像的特征向量集合的计算过程与之类似，具体可参照上述具体叙述内容，此处不再赘述。
步骤S1023、分别计算所述模板图像的特征向量集合与所述各个子图像的特征向量集合之间的相关度。
首先在第s个子图像中分别查找与各个第一特征点对应的第二特征点。
所述第一特征点为所述模板图像中的特征点，所述第二特征点为第s个子图像中的特征点。
然后，根据下式计算所述模板图像的特征向量集合与第s个子图像的特征向量集合之间的相关度：
Figure PCTCN2019091528-appb-000006
其中，p为特征点的序号，1≤p≤PN，PN为第一特征点的数目，d为特征向量的维度序号，1≤d≤DN，DN为特征向量的维度数目，MtDeg s,p为第p个第一特征点与 对应的第二特征点之间的匹配度，且
Figure PCTCN2019091528-appb-000007
FtVal p,d为第p个第一特征点的特征向量在第d个维度上的取值，SvFtVal s,p,d为与第p个第一特征点对应的第二特征点的特征向量在第d个维度上的取值，特殊地，如果在第s个子图像中不存在与第p个第一特征点对应的第二特征点，则有MtDeg s,p＝0，MatchDeg s为所述模板图像的特征向量集合与第s个子图像的特征向量集合之间的相关度。
步骤S1024、从所述各个子图像中选取相关度大于预设的相关度阈值的子图像作为所述目标子图像。
所述相关度阈值可以根据实际情况进行设置，例如，可以将其设置为90％、95％、98％或者其它取值。
步骤S103、获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标。
一般地，对于所述第一坐标而言，可以将所述窗口图像最左上角的像素点作为坐标原点，从左到右的方向作为X轴正向，从上到下的方向作为Y轴正向。当然，以上仅为一种可行的坐标定义方式，也可以根据实际情况选取其它的坐标定义方式。由于所述目标子图像是一个区域，可以从中选取任意一个像素点的坐标作为所述第一坐标，优选地，可以将所述目标子图像的中心点的坐标作为所述第一坐标，并将所述第一坐标记为(AxisX 1，AxisY 1)。
对于所述第二坐标而言，可以将所述本地桌面最左上角的像素点作为坐标原点，从左到右的方向作为X轴正向，从上到下的方向作为Y轴正向。当然，以上仅为一种可行的坐标定义方式，也可以根据实际情况选取其它的坐标定义方式。从所述远程桌面的窗口图像选取最左上角的像素点的坐标作为所述第二坐标，并将所述第二坐标记为(AxisX 2，AxisY 2)。
步骤S104、根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标。
具体地，可以根据下式计算所述第三坐标：
Figure PCTCN2019091528-appb-000008
其中，(AxisX 3，AxisY 3)为所述第三坐标。
步骤S105、在所述本地桌面中的第三坐标处执行所述操作指令。
在确定出所述目标子图像(也即操作对象)的坐标后，即可在所述本地桌面中的 第三坐标处对操作对象执行所述操作指令，例如，可以对操作对象进行鼠标单击、鼠标双击、鼠标悬停、输入文本等具体的操作，从而实现对远程桌面中操作对象的精确操作。
综上所述，本申请实施例不再采用传统的通过窗口句柄确定操作对象的方法，而是使用图像匹配的方式在远程桌面中搜寻到操作对象，并通过本地桌面与远程桌面之间的坐标变换确定操作对象的具体位置，从而大大提高了操作成功率。
对应于上文实施例所述的一种远程桌面操作方法，图4示出了本申请实施例提供的一种远程桌面操作装置的一个实施例结构图。
本实施例中，一种远程桌面操作装置可以包括：
操作请求接收模块401，用于接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；
目标图像搜寻模块402，用于获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；
坐标获取模块403，用于获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；
坐标计算模块404，用于根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；
操作执行模块405，用于在所述本地桌面中的第三坐标处执行所述操作指令。
进一步地，所述目标图像搜寻模块可以包括：
子图像截取单元，用于从所述远程桌面的窗口图像中依次截取各个子图像；
特征向量集合计算单元，用于计算所述模板图像的特征向量集合以及所述各个子图像的特征向量集合，所述特征向量集合中包括各个特征点的特征向量；
相关度计算单元，用于分别计算所述模板图像的特征向量集合与所述各个子图像的特征向量集合之间的相关度；
目标图像选取单元，用于从所述各个子图像中选取相关度大于预设的相关度阈值的子图像作为所述目标子图像。
进一步地，所述特征向量集合计算单元可以包括：
平滑处理子单元，用于分别使用预设的平滑函数集合中的各个平滑函数对所述模板图像进行平滑处理，得到与所述模板图像对应的平滑图像序列，所述平滑函数集合中的各个平滑函数如下所示：
Figure PCTCN2019091528-appb-000009
其中，f为各个平滑函数的序号，1≤f≤FN，FN为所述平滑函数集合中的平滑函数的数目，exp为自然指数函数，σ f为第f个平滑函数的标准差，且σ f<σ f+1，G f(x,y)为第f个平滑函数；
差分图像序列构造子单元，用于构造与所述平滑图像序列对应的差分图像序列，其中，所述差分图像序列中的第f个差分图像为所述平滑图像序列中的第f个平滑图像与第f-1个平滑图像之间的差分图像；
特征点选取子单元，用于从所述差分图像序列中选取各个特征点，并分别计算各个特征点的特征向量；
特征向量集合构造子单元，用于将各个特征点的特征向量集合构造为所述模板图像的特征向量集合。
进一步地，所述相关度计算单元可以包括：
特征点查找子单元，用于在第s个子图像中分别查找与各个第一特征点对应的第二特征点，所述第一特征点为所述模板图像中的特征点，所述第二特征点为第s个子图像中的特征点，1≤s≤SN，SN为子图像的数目；
相关度计算子单元，用于根据下式计算所述模板图像的特征向量集合与第s个子图像的特征向量集合之间的相关度：
Figure PCTCN2019091528-appb-000010
其中，p为特征点的序号，1≤p≤PN，PN为第一特征点的数目，d为特征向量的维度序号，1≤d≤DN，DN为特征向量的维度数目，MtDeg s,p为第p个第一特征点与对应的第二特征点之间的匹配度，且
Figure PCTCN2019091528-appb-000011
FtVal p,d为第p个第一特征点的特征向量在第d个维度上的取值，SvFtVal s,p,d为与第p个第一特征点对应的第二特征点的特征向量在第d个维度上的取值，MatchDeg s为所述模板图像的特征向量集合与第s个子图像的特征向量集合之间的相关度。
进一步地，所述坐标计算模块具体用于根据下式计算所述第三坐标：
Figure PCTCN2019091528-appb-000012
其中，(AxisX 1，AxisY 1)为所述第一坐标，(AxisX 2，AxisY 2)为所述第二坐标，(AxisX 3，AxisY 3)为所述第三坐标。
图5示出了本申请实施例提供的一种终端设备的示意框图，为了便于说明，仅示 出了与本申请实施例相关的部分。
在本实施例中，所述终端设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备5可包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机可读指令52，例如执行上述的远程桌面操作方法的计算机可读指令。所述处理器50执行所述计算机可读指令52时实现上述各个远程桌面操作方法实施例中的步骤。
在本申请各个实施例中的各功能单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干计算机可读指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储计算机可读指令的介质。

Claims (20)

  1. 一种远程桌面操作方法，其特征在于，包括：
    接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；
    获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；
    获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；
    根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；
    在所述本地桌面中的第三坐标处执行所述操作指令。
  2. 根据权利要求1所述的远程桌面操作方法，其特征在于，所述在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像包括：
    从所述远程桌面的窗口图像中依次截取各个子图像；
    计算所述模板图像的特征向量集合以及所述各个子图像的特征向量集合，所述特征向量集合中包括各个特征点的特征向量；
    分别计算所述模板图像的特征向量集合与所述各个子图像的特征向量集合之间的相关度；
    从所述各个子图像中选取相关度大于预设的相关度阈值的子图像作为所述目标子图像。
  3. 根据权利要求2所述的远程桌面操作方法，其特征在于，所述计算所述模板图像的特征向量集合包括：
    分别使用预设的平滑函数集合中的各个平滑函数对所述模板图像进行平滑处理，得到与所述模板图像对应的平滑图像序列，所述平滑函数集合中的各个平滑函数如下所示：
    Figure PCTCN2019091528-appb-100001
    其中，f为各个平滑函数的序号，1≤f≤FN，FN为所述平滑函数集合中的平滑函数的数目，exp为自然指数函数，σ f为第f个平滑函数的标准差，且σ f<σ f+1，G f(x,y)为第f个平滑函数；
    构造与所述平滑图像序列对应的差分图像序列，其中，所述差分图像序列中的第f个差分图像为所述平滑图像序列中的第f个平滑图像与第f-1个平滑图像之间的差分图 像；
    从所述差分图像序列中选取各个特征点，并分别计算各个特征点的特征向量；
    将各个特征点的特征向量集合构造为所述模板图像的特征向量集合。
  4. 根据权利要求2所述的远程桌面操作方法，其特征在于，所述分别计算所述模板图像的特征向量集合与所述各个子图像的特征向量集合之间的相关度包括：
    在第s个子图像中分别查找与各个第一特征点对应的第二特征点，所述第一特征点为所述模板图像中的特征点，所述第二特征点为第s个子图像中的特征点，1≤s≤SN，SN为子图像的数目；
    根据下式计算所述模板图像的特征向量集合与第s个子图像的特征向量集合之间的相关度：
    Figure PCTCN2019091528-appb-100002
    其中，p为特征点的序号，1≤p≤PN，PN为第一特征点的数目，d为特征向量的维度序号，1≤d≤DN，DN为特征向量的维度数目，MtDeg s,p为第p个第一特征点与对应的第二特征点之间的匹配度，且
    Figure PCTCN2019091528-appb-100003
    FtVal p,d为第p个第一特征点的特征向量在第d个维度上的取值，SvFtVal s,p,d为与第p个第一特征点对应的第二特征点的特征向量在第d个维度上的取值，MatchDeg s为所述模板图像的特征向量集合与第s个子图像的特征向量集合之间的相关度。
  5. 根据权利要求1至4中任一项所述的远程桌面操作方法，其特征在于，所述根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标包括：
    根据下式计算所述第三坐标：
    Figure PCTCN2019091528-appb-100004
    其中，(AxisX 1，AxisY 1)为所述第一坐标，(AxisX 2，AxisY 2)为所述第二坐标，(AxisX 3，AxisY 3)为所述第三坐标。
  6. 一种远程桌面操作装置，其特征在于，包括：
    操作请求接收模块，用于接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；
    目标图像搜寻模块，用于获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；
    坐标获取模块，用于获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；
    坐标计算模块，用于根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；
    操作执行模块，用于在所述本地桌面中的第三坐标处执行所述操作指令。
  7. 根据权利要求6所述的远程桌面操作装置，其特征在于，所述目标图像搜寻模块包括：
    子图像截取单元，用于从所述远程桌面的窗口图像中依次截取各个子图像；
    特征向量集合计算单元，用于计算所述模板图像的特征向量集合以及所述各个子图像的特征向量集合，所述特征向量集合中包括各个特征点的特征向量；
    相关度计算单元，用于分别计算所述模板图像的特征向量集合与所述各个子图像的特征向量集合之间的相关度；
    目标图像选取单元，用于从所述各个子图像中选取相关度大于预设的相关度阈值的子图像作为所述目标子图像。
  8. 根据权利要求7所述的远程桌面操作装置，其特征在于，所述特征向量集合计算单元包括：
    平滑处理子单元，用于分别使用预设的平滑函数集合中的各个平滑函数对所述模板图像进行平滑处理，得到与所述模板图像对应的平滑图像序列，所述平滑函数集合中的各个平滑函数如下所示：
    Figure PCTCN2019091528-appb-100005
    其中，f为各个平滑函数的序号，1≤f≤FN，FN为所述平滑函数集合中的平滑函数的数目，exp为自然指数函数，σ f为第f个平滑函数的标准差，且σ f<σ f+1，G f(x,y)为第f个平滑函数；
    差分图像序列构造子单元，用于构造与所述平滑图像序列对应的差分图像序列，其中，所述差分图像序列中的第f个差分图像为所述平滑图像序列中的第f个平滑图像与第f-1个平滑图像之间的差分图像；
    特征点选取子单元，用于从所述差分图像序列中选取各个特征点，并分别计算各个特征点的特征向量；
    特征向量集合构造子单元，用于将各个特征点的特征向量集合构造为所述模板图像的特征向量集合。
  9. 根据权利要求7所述的远程桌面操作装置，其特征在于，所述相关度计算单元 包括：
    特征点查找子单元，用于在第s个子图像中分别查找与各个第一特征点对应的第二特征点，所述第一特征点为所述模板图像中的特征点，所述第二特征点为第s个子图像中的特征点，1≤s≤SN，SN为子图像的数目；
    相关度计算子单元，用于根据下式计算所述模板图像的特征向量集合与第s个子图像的特征向量集合之间的相关度：
    Figure PCTCN2019091528-appb-100006
    其中，p为特征点的序号，1≤p≤PN，PN为第一特征点的数目，d为特征向量的维度序号，1≤d≤DN，DN为特征向量的维度数目，MtDeg s,p为第p个第一特征点与对应的第二特征点之间的匹配度，且
    Figure PCTCN2019091528-appb-100007
    FtVal p,d为第p个第一特征点的特征向量在第d个维度上的取值，SvFtVal s,p,d为与第p个第一特征点对应的第二特征点的特征向量在第d个维度上的取值，MatchDeg s为所述模板图像的特征向量集合与第s个子图像的特征向量集合之间的相关度。
  10. 根据权利要求6至9中任一项所述的远程桌面操作装置，其特征在于，所述坐标计算模块具体用于根据下式计算所述第三坐标：
    Figure PCTCN2019091528-appb-100008
    其中，(AxisX 1，AxisY 1)为所述第一坐标，(AxisX 2，AxisY 2)为所述第二坐标，(AxisX 3，AxisY 3)为所述第三坐标。
  11. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如下步骤：
    接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；
    获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；
    获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；
    根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；
    在所述本地桌面中的第三坐标处执行所述操作指令。
  12. 根据权利要求11所述的计算机可读存储介质，其特征在于，所述在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像包括：
    从所述远程桌面的窗口图像中依次截取各个子图像；
    计算所述模板图像的特征向量集合以及所述各个子图像的特征向量集合，所述特征向量集合中包括各个特征点的特征向量；
    分别计算所述模板图像的特征向量集合与所述各个子图像的特征向量集合之间的相关度；
    从所述各个子图像中选取相关度大于预设的相关度阈值的子图像作为所述目标子图像。
  13. 根据权利要求12所述的计算机可读存储介质，其特征在于，所述计算所述模板图像的特征向量集合包括：
    分别使用预设的平滑函数集合中的各个平滑函数对所述模板图像进行平滑处理，得到与所述模板图像对应的平滑图像序列，所述平滑函数集合中的各个平滑函数如下所示：
    Figure PCTCN2019091528-appb-100009
    其中，f为各个平滑函数的序号，1≤f≤FN，FN为所述平滑函数集合中的平滑函数的数目，exp为自然指数函数，σ f为第f个平滑函数的标准差，且σ f<σ f+1，G f(x,y)为第f个平滑函数；
    构造与所述平滑图像序列对应的差分图像序列，其中，所述差分图像序列中的第f个差分图像为所述平滑图像序列中的第f个平滑图像与第f-1个平滑图像之间的差分图像；
    从所述差分图像序列中选取各个特征点，并分别计算各个特征点的特征向量；
    将各个特征点的特征向量集合构造为所述模板图像的特征向量集合。
  14. 根据权利要求12所述的计算机可读存储介质，其特征在于，所述分别计算所述模板图像的特征向量集合与所述各个子图像的特征向量集合之间的相关度包括：
    在第s个子图像中分别查找与各个第一特征点对应的第二特征点，所述第一特征点为所述模板图像中的特征点，所述第二特征点为第s个子图像中的特征点，1≤s≤SN，SN为子图像的数目；
    根据下式计算所述模板图像的特征向量集合与第s个子图像的特征向量集合之间的相关度：
    Figure PCTCN2019091528-appb-100010
    其中，p为特征点的序号，1≤p≤PN，PN为第一特征点的数目，d为特征向量的维度序号，1≤d≤DN，DN为特征向量的维度数目，MtDeg s,p为第p个第一特征点与对应的第二特征点之间的匹配度，且
    Figure PCTCN2019091528-appb-100011
    FtVal p,d为第p个第一特征点的特征向量在第d个维度上的取值，SvFtVal s,p,d为与第p个第一特征点对应的第二特征点的特征向量在第d个维度上的取值，MatchDeg s为所述模板图像的特征向量集合与第s个子图像的特征向量集合之间的相关度。
  15. 根据权利要求11至14中任一项所述的计算机可读存储介质，其特征在于，所述根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标包括：
    根据下式计算所述第三坐标：
    Figure PCTCN2019091528-appb-100012
    其中，(AxisX 1，AxisY 1)为所述第一坐标，(AxisX 2，AxisY 2)为所述第二坐标，(AxisX 3，AxisY 3)为所述第三坐标。
  16. 一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：
    接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；
    获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；
    获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；
    根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；
    在所述本地桌面中的第三坐标处执行所述操作指令。
  17. 根据权利要求16所述的终端设备，其特征在于，所述在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像包括：
    从所述远程桌面的窗口图像中依次截取各个子图像；
    计算所述模板图像的特征向量集合以及所述各个子图像的特征向量集合，所述特征向量集合中包括各个特征点的特征向量；
    分别计算所述模板图像的特征向量集合与所述各个子图像的特征向量集合之间的相关度；
    从所述各个子图像中选取相关度大于预设的相关度阈值的子图像作为所述目标子图像。
  18. 根据权利要求17所述的终端设备，其特征在于，所述计算所述模板图像的特征向量集合包括：
    分别使用预设的平滑函数集合中的各个平滑函数对所述模板图像进行平滑处理，得到与所述模板图像对应的平滑图像序列，所述平滑函数集合中的各个平滑函数如下所示：
    Figure PCTCN2019091528-appb-100013
    其中，f为各个平滑函数的序号，1≤f≤FN，FN为所述平滑函数集合中的平滑函数的数目，exp为自然指数函数，σ f为第f个平滑函数的标准差，且σ f<σ f+1，G f(x,y)为第f个平滑函数；
    构造与所述平滑图像序列对应的差分图像序列，其中，所述差分图像序列中的第f个差分图像为所述平滑图像序列中的第f个平滑图像与第f-1个平滑图像之间的差分图像；
    从所述差分图像序列中选取各个特征点，并分别计算各个特征点的特征向量；
    将各个特征点的特征向量集合构造为所述模板图像的特征向量集合。
  19. 根据权利要求17所述的终端设备，其特征在于，所述分别计算所述模板图像的特征向量集合与所述各个子图像的特征向量集合之间的相关度包括：
    在第s个子图像中分别查找与各个第一特征点对应的第二特征点，所述第一特征点为所述模板图像中的特征点，所述第二特征点为第s个子图像中的特征点，1≤s≤SN，SN为子图像的数目；
    根据下式计算所述模板图像的特征向量集合与第s个子图像的特征向量集合之间的相关度：
    Figure PCTCN2019091528-appb-100014
    其中，p为特征点的序号，1≤p≤PN，PN为第一特征点的数目，d为特征向量的维度序号，1≤d≤DN，DN为特征向量的维度数目，MtDeg s,p为第p个第一特征点与 对应的第二特征点之间的匹配度，且
    Figure PCTCN2019091528-appb-100015
    FtVal p,d为第p个第一特征点的特征向量在第d个维度上的取值，SvFtVal s,p,d为与第p个第一特征点对应的第二特征点的特征向量在第d个维度上的取值，MatchDeg s为所述模板图像的特征向量集合与第s个子图像的特征向量集合之间的相关度。
  20. 根据权利要求16至19中任一项所述的终端设备，其特征在于，所述根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标包括：
    根据下式计算所述第三坐标：
    Figure PCTCN2019091528-appb-100016
    其中，(AxisX 1，AxisY 1)为所述第一坐标，(AxisX 2，AxisY 2)为所述第二坐标，(AxisX 3，AxisY 3)为所述第三坐标。
PCT/CN2019/091528 2019-01-14 2019-06-17 一种远程桌面操作方法、装置、可读存储介质及终端设备 Ceased WO2020147258A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910032791.9 2019-01-14
CN201910032791.9A CN109871249B (zh) 2019-01-14 2019-01-14 一种远程桌面操作方法、装置、可读存储介质及终端设备

Publications (1)

Publication Number Publication Date
WO2020147258A1 true WO2020147258A1 (zh) 2020-07-23

Family

ID=66917584

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/091528 Ceased WO2020147258A1 (zh) 2019-01-14 2019-06-17 一种远程桌面操作方法、装置、可读存储介质及终端设备

Country Status (2)

Country Link
CN (1) CN109871249B (zh)
WO (1) WO2020147258A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871249B (zh) * 2019-01-14 2021-08-24 平安科技（深圳）有限公司 一种远程桌面操作方法、装置、可读存储介质及终端设备
CN110046658B (zh) * 2019-03-30 2021-08-20 华为技术服务有限公司 远程操作设备的方法和相关装置
CN114706642B (zh) * 2022-03-25 2023-07-25 曲阜师范大学 一种基于网页命令行与子图快速匹配的远程桌面操作方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013073100A1 (en) * 2011-11-16 2013-05-23 Sony Corporation Display control apparatus, display control method, and program
CN105989029A (zh) * 2015-02-02 2016-10-05 阿里巴巴集团控股有限公司 图像搜索方法及系统
CN108724174A (zh) * 2017-04-19 2018-11-02 富士施乐株式会社 机器人装置及其控制方法
CN109118347A (zh) * 2018-07-20 2019-01-01 苏宁易购集团股份有限公司 一种自动化协作方法及系统
CN109871249A (zh) * 2019-01-14 2019-06-11 平安科技（深圳）有限公司 一种远程桌面操作方法、装置、可读存储介质及终端设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101132571A (zh) * 2006-08-22 2008-02-27 薛飞 在手机上显示和操作远程计算机的方法和系统
US12321458B2 (en) * 2007-03-06 2025-06-03 Unisys Corporation Methods and systems for providing and controlling cryptographic secure communications terminal operable in a plurality of languages
CN103631551A (zh) * 2012-08-27 2014-03-12 深圳市蓝韵网络有限公司 医疗会诊系统中远程桌面的本地显示方法
CN103092518B (zh) * 2013-01-24 2016-06-01 福建升腾资讯有限公司 一种基于rdp协议的移动云桌面精确触控方法
CN104348878A (zh) * 2013-08-06 2015-02-11 好看科技（深圳）有限公司 用于远程控制移动终端的方法、装置、移动终端及系统
CN104951393B (zh) * 2014-03-25 2018-03-30 中国电信股份有限公司 测试方法和测试装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013073100A1 (en) * 2011-11-16 2013-05-23 Sony Corporation Display control apparatus, display control method, and program
CN105989029A (zh) * 2015-02-02 2016-10-05 阿里巴巴集团控股有限公司 图像搜索方法及系统
CN108724174A (zh) * 2017-04-19 2018-11-02 富士施乐株式会社 机器人装置及其控制方法
CN109118347A (zh) * 2018-07-20 2019-01-01 苏宁易购集团股份有限公司 一种自动化协作方法及系统
CN109871249A (zh) * 2019-01-14 2019-06-11 平安科技（深圳）有限公司 一种远程桌面操作方法、装置、可读存储介质及终端设备

Also Published As

Publication number Publication date
CN109871249B (zh) 2021-08-24
CN109871249A (zh) 2019-06-11

Similar Documents

Publication Publication Date Title
US12444060B2 (en) Scalable real-time hand tracking
US10769496B2 (en) Logo detection
US11321593B2 (en) Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device
TWI821671B (zh) 一種文本區域的定位方法及裝置
Hosny et al. Copy-move forgery detection of duplicated objects using accurate PCET moments and morphological operators
CN112990204B (zh) 目标检测方法、装置、电子设备及存储介质
CN110276366A (zh) 使用弱监督模型来检测对象
US11704357B2 (en) Shape-based graphics search
CN110852349A (zh) 一种图像处理方法、检测方法、相关设备及存储介质
JP2016206837A (ja) オブジェクト検出方法及び画像検索システム
WO2020147258A1 (zh) 一种远程桌面操作方法、装置、可读存储介质及终端设备
CN111598128A (zh) 用户界面的控件状态识别、控制方法、装置、设备及介质
US10733710B2 (en) System and method for drawing beautification
Pei et al. Salient instance segmentation via subitizing and clustering
JP2018206252A (ja) 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム
US11809520B1 (en) Localized visual similarity
Zhu et al. Global and local geometric constrained feature matching for high resolution remote sensing images
US20190149878A1 (en) Determining and correlating visual context on a user device with user behavior using digital content on the user device
WO2020132825A1 (zh) 图像处理装置和图像处理方法
CN104732188B (zh) 文本提取方法和装置
CN115331035A (zh) 图像定位方法、装置、计算机设备和存储介质
Biadgie et al. Speed-up feature detector using adaptive accelerated segment test
CN114529777A (zh) 一种商品特征识别模型的训练方法、装置以及设备
CN108038514A (zh) 一种用于识别图像的方法、设备和计算机程序产品
CN112419376B (zh) 图像配准方法、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19910001

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19910001

Country of ref document: EP

Kind code of ref document: A1