WO2022057362A1 - 图像处理方法及装置、云真机系统、存储介质和电子设备 - Google Patents

图像处理方法及装置、云真机系统、存储介质和电子设备 Download PDF

Info

Publication number
WO2022057362A1
WO2022057362A1 PCT/CN2021/102469 CN2021102469W WO2022057362A1 WO 2022057362 A1 WO2022057362 A1 WO 2022057362A1 CN 2021102469 W CN2021102469 W CN 2021102469W WO 2022057362 A1 WO2022057362 A1 WO 2022057362A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
similarity
images
similar
display image
Prior art date
Application number
PCT/CN2021/102469
Other languages
English (en)
French (fr)
Inventor
肖辉鉴
Original Assignee
深圳市欢太科技有限公司
Oppo广东移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市欢太科技有限公司, Oppo广东移动通信有限公司 filed Critical 深圳市欢太科技有限公司
Publication of WO2022057362A1 publication Critical patent/WO2022057362A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction

Definitions

  • the present disclosure relates to the technical field of image processing, and in particular, to an image processing method, an image processing apparatus, a cloud real machine system, a computer-readable storage medium, and an electronic device.
  • the screen image of the terminal device (such as a mobile phone, a tablet, etc.) can be provided to the front-end device, and the front-end device is usually a remote processing device. Then, the front-end device collects the real-time operation performed by the user on the front-end device on the screen image, and transmits the real-time operation back to the terminal device, so that the terminal device can respond to the real-time operation. That is to say, using the cloud real machine system, the terminal equipment can be controlled remotely.
  • the screen image is usually acquired in real time, and it is prone to image freezing on the front-end device.
  • an image processing method comprising: acquiring a display image of a terminal device; determining the similarity between the displayed image and an image in a similar image set; if the similarity between the displayed image and the image in the similar image set is If the similarity requirements are met, the rendering of the displayed image is prohibited.
  • an image processing apparatus comprising: an image acquisition module configured to acquire a display image of a terminal device; a similarity determination module configured to determine the difference between the displayed image and an image in a similar image set Similarity; an image processing module configured to prohibit rendering of the displayed image if the similarity between the displayed image and the images in the similar image set satisfies the similarity requirement.
  • a cloud real machine system including: an image acquisition device configured to acquire a display image of a terminal device; a server configured to acquire a display image and determine whether the displayed image is in a set of similar images The similarity of the image. If the similarity between the displayed image and the images in the similar image set meets the similarity requirements, the rendering of the displayed image is prohibited.
  • a computer-readable storage medium on which a computer program is stored, and when the program is executed by a processor, implements the above-mentioned image processing method.
  • an electronic device comprising a processor; a memory configured to store one or more programs, which, when executed by the processor, cause the processor to realize the above-mentioned image Approach.
  • FIG. 1 shows a schematic diagram of a cloud real machine system architecture according to some embodiments of the present disclosure
  • FIG. 2 shows a schematic diagram of a cloud real machine system architecture according to other embodiments of the present disclosure
  • FIG. 3 shows a schematic diagram of a cloud real machine system architecture according to further embodiments of the present disclosure
  • FIG. 4 schematically shows a flowchart of an image processing method according to an exemplary embodiment of the present disclosure
  • FIG. 5 shows a schematic diagram of the thread processing process involved in the exemplary solution of the present disclosure
  • FIG. 6 shows a schematic diagram of taking a screenshot of a terminal device by using a proxy device according to an embodiment of the present disclosure
  • FIG. 7 schematically shows a block diagram of an image processing apparatus according to an exemplary embodiment of the present disclosure
  • FIG. 8 schematically shows a block diagram of an electronic device according to an exemplary embodiment of the present disclosure.
  • Example embodiments will now be described more fully with reference to the accompanying drawings.
  • Example embodiments can be embodied in various forms and should not be construed as limited to the examples set forth herein; rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the concept of example embodiments to those skilled in the art.
  • the described features, structures, or characteristics may be combined in any suitable manner in one or more embodiments.
  • numerous specific details are provided in order to give a thorough understanding of the embodiments of the present disclosure.
  • those skilled in the art will appreciate that the technical solutions of the present disclosure may be practiced without one or more of the specific details, or other methods, components, devices, steps, etc. may be employed.
  • well-known solutions have not been shown or described in detail to avoid obscuring aspects of the present disclosure.
  • FIG. 1 shows a schematic diagram of a cloud real machine system architecture according to some embodiments of the present disclosure.
  • the cloud real machine system of this embodiment may include at least a terminal device 10 , an agent device 11 and a server 12 .
  • the terminal device 10 may also include a tablet, a smart wearable device, a personal computer, etc., which is not limited in the present disclosure.
  • the proxy device 11 is connected to the terminal device 10, and usually, the connection can be realized by a wired manner, so as to be able to transmit data.
  • the proxy device 11 can dynamically proxy the screen image of the terminal device 10 to the WebSocket server in the server 12 through WebSocket (a network protocol that maintains a long TCP connection between the client and the server), and can do so through the message center. message delivery.
  • the server 12 is used to centrally manage and schedule the terminal devices 10 .
  • the server 12 also includes a Web server, a dynamic proxy service, a message processing service, and a file storage service (mainly used for image storage).
  • the server 12 dynamically proxies the user's access to the corresponding Web server and WebSocket server, and transmits messages to the message center through the message processing service to realize interaction.
  • the cloud real machine system of this embodiment may further include a data storage module, which may be used to save the data of the entire cloud real machine system, such as the state of the terminal device, the image storage address, the user usage record, and the like.
  • the data storage module may include a MySQL database and a Remote Procedure Call (RPC) service.
  • the proxy device 11 can capture 60 images per second from the terminal device 10 and push them to the WebSocket server of the server 12 .
  • the WebSocket server can send 60 images per second to the front-end through the dynamic proxy, and the front-end Web interface renders the image data through the image tag and presents it to the user's eyes, thereby realizing the effect of a cloud-based real machine.
  • the purpose of remote viewing and manipulation of terminal equipment can be better achieved.
  • the image freeze may occur on the front-end web interface.
  • the reason is that the screen image of the terminal device 10 is acquired in real time, and it is very likely that the similarity between the two screen images before and after is too high. It is ideal to perform operations such as transmission and rendering.
  • the device resources and network resources are limited, or the network quality is not good, if each screen image is processed, it is easy to cause the front-end web interface to appear on the front-end web interface. Caton's problem.
  • exemplary embodiments of the present disclosure further provide a cloud real machine system.
  • the cloud real machine system may include a terminal device 21 , an agent device 22 , a server 23 and a front-end device 24 .
  • the proxy device 22 can be called an image acquisition device, and is connected to the terminal device 21 .
  • the proxy device 22 can capture the displayed image of the terminal device 21 by running a screen capture program and send the displayed image to the server 23 .
  • the server 23 can compare the displayed image with an image in a similar image set, and determine the similarity between the displayed image and the image in the similarity image set. If the determined similarity If the similarity requirement is met, rendering the display image is prohibited.
  • the server 23 Since rendering of the display image is prohibited, the server 23 does not need to send the display image to the front-end device 24 , thus reducing the bandwidth requirement of the cloud real machine and greatly alleviating the possible freezing problem on the front-end device 24 . In addition, since the front-end device 24 does not need to render similar images, the processing pressure of the front-end device 24 is also reduced.
  • the server 23 may send the display image to the front-end device 24 for rendering.
  • the terminal device can take screenshots by itself, and send the screenshots to the server.
  • the terminal device itself is the image acquisition device.
  • such a cloud real machine system may only include a terminal device 31 , a server 32 and a front-end device 33 .
  • the terminal device 31 may capture the display image and send the display image to the server 32 .
  • the server 32 After acquiring the display image, the server 32 performs the same operations as the server 23 shown in FIG. 2 , and details are not repeated here.
  • the cloud real machine system can also only include terminal equipment and front-end equipment.
  • the cloud real machine system only includes a terminal device and a front-end device
  • the terminal device can capture the display image by itself, and send the display image to the front-end device.
  • the front-end device performs the similar image determination process of the exemplary solution of the present disclosure by itself, and determines whether to render the display image according to the degree of similarity.
  • the terminal device can capture the displayed image by itself, and execute the similar image determination process of the exemplary solution of the present disclosure, and when it is determined that the displayed image is not similar to the previous image In the case of , that is, compared with the previous image, the display image captured this time belongs to another scene, the terminal device can send the display image to the front-end device, and the front-end device renders the display image. In addition, if it is determined that the displayed image is similar to the previous image, that is, compared with the previous image, the displayed image captured this time belongs to the same scene, the displayed image is not sent to the front-end device. In this case, for example, the display image can be directly discarded.
  • each step of the image processing method of the exemplary embodiment of the present disclosure may be executed by a server, and in this case, the image processing apparatus described below may be configured in the server.
  • FIG. 4 schematically shows a flowchart of an image processing method according to an exemplary embodiment of the present disclosure. 4, the image processing method may include the following steps:
  • the terminal device may be a device controlled in the cloud real machine system, such as a mobile phone, a tablet, a smart wearable device, a personal computer, and the like.
  • the displayed image may be the image displayed on the screen of the terminal device, especially the image currently displayed on the screen of the terminal device, for example, the graphical user interface of various APPs (application programs), video images, etc. limit.
  • an agent device such as a personal computer, is required to capture a screen capture of the terminal device.
  • the proxy device is connected to the terminal device.
  • the proxy device and the terminal device can be connected through a data line, so that the proxy device and the terminal device can perform data interaction.
  • wireless methods such as Bluetooth and WiFi may also be used to connect the proxy device with the terminal device, which is not limited in the present disclosure.
  • the proxy device can be used to take screenshots of the terminal device to obtain binary data of the display image of the terminal device.
  • a screenshot tool eg, minicap
  • a screenshot tool can be run on the proxy device to obtain binary data of the displayed image.
  • the proxy device can transmit the binary data of the displayed image to the server through WebSocket.
  • the server After acquiring the binary data of the display image of the terminal device, the server can use a conversion thread to convert the binary data into a picture, which is used as the display image of the terminal device.
  • the acquired display image may also be in the form of a binary stream, and the binary data is directly used to compare the similarity subsequently.
  • the server can acquire the display image sent by the terminal device.
  • the set of similar images includes one or more images, and these images may be images acquired by the server before acquiring the displayed images during the operation of the cloud real machine.
  • these images are similar to each other, that is, these images belong to one image scene, especially, these images have a relationship of consecutive frames in time.
  • the displayed image in step S44 is the image displayed by the current terminal device, and the set of similar images may be the most recent similar images. image collection.
  • the server acquires the first displayed image of the terminal device, it can be understood that the set of similar images is empty, that is, there is no image in the set of similar images.
  • the first displayed image is sent to the front end for rendering.
  • the first display image can be added to the similar image set, in which case the similar image set contains only the first display image.
  • the server may compare the similarity between the second display image and the first display image included in the similar image set, and determine whether to compare the first display image according to the result of the comparison.
  • Two display images are rendered.
  • the second display image can also be added to the similar images collection if the second display image meets the similarity requirements with the first display image.
  • the similar image collection can be cleared, and then the second display image is added to the similar image collection.
  • the acquired display image is added to the similar image set.
  • the similar image set can be emptied, and then the display image can be added to the similar image set.
  • the server may compare the displayed image for similarity with only one image in the set of similar images. Since the images in the similar image set are similar to each other, the similarity between the displayed image and any image in the similar image set can be determined. For the convenience of description, the image for similarity comparison in the similar image set is recorded as the target image, That is, the target image is any image in the set of similar images.
  • the target image may be the previous frame of the displayed image, that is, the screen image captured last time.
  • the present disclosure may include, but is not limited to: a method for determining the similarity based on the difference of RGB distribution values, a method for determining the similarity based on a histogram, and a method for determining the similarity based on image template matching. , similarity determination method based on Peak Signal to Noise Ratio (PSNR), similarity determination method based on Structural Similarity (SSIM), similarity based on perceptual hash algorithm (perceptual hash algorithm) determine the method, etc.
  • PSNR Peak Signal to Noise Ratio
  • SSIM Structural Similarity
  • perceptual hash algorithm perceptual hash algorithm
  • the server may perform similarity comparison between the displayed image and a plurality of images in the similar image set.
  • the similar image set contains n images, where n is a positive integer and n ⁇ 2.
  • the server may determine the degree of similarity between the displayed image and m images among the n images, where m is a positive integer and 2 ⁇ m ⁇ n.
  • the similarity between the displayed image and the images in the similar image set described in step S44 can be obtained by combining the determination results of the similarity of the m images.
  • the set of similar images contains 10 images
  • the server can select 5 images from the 10 images, specifically, it can be selected randomly or at equal intervals. Then, compare the similarity between the currently obtained display image and the five images, and then combine the determination results of the five similarities to obtain the similarity between the displayed image described in step S44 and the images in the similar image set .
  • the method for determining the similarity between the two images may include the above method, which will not be repeated here.
  • the similarity requirement may include that the similarity between the displayed image and the target image is greater than a first similarity threshold.
  • the similarity between the displayed image and the target image is greater than the first similarity threshold, it means that the displayed image is similar to the target image, and the displayed image may not be rendered, and the effect of a cloud real machine may also be achieved. In this case, rendering of the display image may be disabled.
  • prohibiting rendering means that the server can prohibit sending the display image to the front-end device.
  • the server may send the display image and the rendering prohibition instruction to the front-end device, so that the front-end device may prohibit rendering of the display image in response to the rendering prohibition instruction.
  • the purpose of still sending the display image to the front-end device is that the user of the front-end device can quickly view the display image as required, so as to perform operations such as statistics and manual rendering.
  • the server sends the display image to the front-end device so that the front-end device renders the display image.
  • the similarity requirement may include that the similarity between at least w images of the m images and the displayed image is greater than the second similarity threshold, wherein , w is a positive integer and 1 ⁇ w ⁇ m.
  • the second similarity threshold may be a different threshold from the first similarity threshold, or may be the same threshold as the first similarity threshold, which is not limited in the present disclosure.
  • the similarity between at least w of the m images and the displayed image is greater than the second similarity threshold, it means that the displayed image is similar to the images in the similar image set, and the displayed image may not be rendered, or the cloud real machine effect. In this case, rendering of the display image may be disabled.
  • the server sends the display image to the front-end device so that the front-end device renders the display image.
  • the similarity requirement may further include that the average of the similarity between the m images and the displayed image is greater than a third similarity threshold.
  • the third similarity threshold may be the same as or different from the first similarity threshold and the second similarity threshold.
  • the average value of the degrees of similarity between m images and the displayed image can be calculated. If the average value is greater than the third similarity threshold, rendering the display image is prohibited; if the average value is less than or equal to the third similarity threshold, the server may send the display image to the front-end device, so that the front-end device can render the display image .
  • the server may also add the displayed image to the similar image set.
  • the server may directly discard the displayed image.
  • the server may clear the similar image set, and the cleared similar image set is empty;
  • the display image may be added to the similar image set, and at this time, the similar image set only contains the display image, so as to be used for judging whether rendering is prohibited for subsequently received images.
  • the similar image comparison process of the exemplary embodiment of the present disclosure is implemented by the server through a thread, and the image processing process of the embodiment of the present disclosure will be described below with reference to FIG. 5 .
  • step S502 the proxy device uses a screenshot tool to take a screenshot of the terminal device, and outputs the binary data of the display image of the terminal device.
  • step S504 the proxy device stores the obtained binary data in the image data queue.
  • step S506 the server reads the image data through the image data conversion thread.
  • step S508 the binary data is converted into an image based on the data conversion thread.
  • step S510 the converted image is stored in the screenshot image queue.
  • step S512 the server determines whether the queue length of the screenshot image queue is greater than or equal to 2 through the image similarity comparison thread, and if the queue length is less than 2, execute step S524; S514.
  • step S514 the screenshot image, that is, the above-described display image is read.
  • step S516 compare the similarity between the displayed image and the images in the similar image set; in step S518, determine whether the result of the similarity comparison satisfies the similarity requirement, and in the case of meeting the similarity requirement, execute step S520; If the similarity requirement is not met, step S522 is executed.
  • step S520 the display image is stored in the similar image set, and the rendering process of the display image is prohibited.
  • step S522 the displayed image is stored in the image transmission queue.
  • step S524 the display image in the image transmission queue is sent to the front-end device, so that the front-end device renders the display image.
  • binary data can also be directly used for comparison to determine the similarity between the displayed image and the images in the similar image set.
  • the image data conversion thread is used to convert the binary data of the displayed image into an image, which is then sent to the front-end device.
  • an exemplary embodiment of the present disclosure also provides a solution for capturing and displaying an image, so as to adjust the image quality presented by the front-end device.
  • the screenshot parameters used for screenshots may be determined based on network quality.
  • the screenshot parameters described in this disclosure include the screenshot frequency and/or the image compression ratio. It is easy to understand that the screenshot frequency corresponds to the frame rate, which represents the number of images captured and sent per second. Image compression ratio can characterize the quality of screenshots.
  • Table 1 shows the corresponding relationship between image compression ratio and image size based on minicap:
  • Table 2 shows the actual traffic data generated by each frame rate and image compression ratio combination:
  • the image size does not decrease significantly.
  • the frame rate is 30 and the compression ratio is 50% as the medium quality screenshot parameters.
  • the frame rate of 15 and the compression ratio of 20% are used as low-quality screenshot parameters to ensure normal use in time when the network quality is poor.
  • step S602 it is determined whether the network quality is high, if so, step S604 is performed, and high-quality screenshot parameters are used; if not, step S606 is performed.
  • step S606 it is judged whether the network quality is medium, if so, step S608 is performed, and the medium-quality screenshot parameters are used; if not, step S610 is performed.
  • step S610 low-quality screenshot parameters are used.
  • step S612 no matter what screenshot parameters are determined, they are synchronized to the minicap service, so that minicap performs a screenshot operation on the terminal device based on the determined screenshot parameters.
  • the picture quality displayed by the front-end device can be adjusted, and the problem of large network bandwidth occupation can be alleviated. At the same time, it also ensures the normal transmission and display of the image, and avoids the phenomenon of dropped frames.
  • an image processing apparatus is also provided in this exemplary embodiment.
  • FIG. 7 schematically shows a block diagram of an image processing apparatus of an exemplary embodiment of the present disclosure.
  • the image processing apparatus 7 may include an image acquisition module 71, a similarity determination module 73, and an image processing module 75.
  • the image acquisition module 71 can be configured to acquire the display image of the terminal device; the similarity determination module 73 can be configured to determine the similarity between the displayed image and the images in the similar image set; the image processing module 75 can be configured to If the similarity between the image and the images in the similar image set satisfies the similarity requirement, rendering and display of the image is prohibited.
  • the rendering of similar images is reduced, that is, the server does not need to send similar display images to the front end for rendering, which reduces the number of pushed images and reduces network
  • the bandwidth requirement solves the problem of image freeze on the interface, so that the cloud real machine system can run smoothly; on the other hand, since the front end does not need to render similar images, repeated rendering can be avoided and the processing pressure of the front end is reduced.
  • the similarity determination module 73 may be configured to perform: determine the similarity between the displayed image and a target image in the similar image set, where the target image is any image in the similar image set; wherein the similarity The requirement includes that the similarity between the display image and the target image is greater than the first similarity threshold.
  • the set of similar images includes n images, where n is a positive integer and n ⁇ 2.
  • the similarity determination module 73 may also be configured to perform: respectively determining the similarity between the displayed image and m images among the n images, where m is a positive integer and 2 ⁇ m ⁇ n; wherein, the similarity requires The similarity between the displayed image and at least w of the m images is greater than the second similarity threshold, where w is a positive integer and 1 ⁇ w ⁇ m.
  • the image processing module 75 may be further configured to perform: adding the displayed image to the similar image set if the similarity between the displayed image and the images in the similar image set satisfies the similarity requirement.
  • the image processing module 75 may also be configured to perform: if the similarity between the displayed image and the images in the similar image set does not meet the similarity requirement, send the displayed image to the front-end device, so that the front-end device render the display image
  • the image processing module 75 may be further configured to perform: in the case that the similarity between the displayed image and the images in the similar image set does not meet the similarity requirement, clear the similar image set; After the collection is emptied, add the display image to the Similar Images collection.
  • the image acquisition module 71 may be configured to perform: acquiring binary data of a display image of the terminal device; converting the binary data into a picture as a display image.
  • the process of acquiring the binary data of the display image of the terminal device by the image acquisition module 71 includes: acquiring the binary data of the display image generated by the proxy device taking a screenshot of the terminal device.
  • a screenshot parameter used to perform a screenshot on a terminal device is determined based on network quality; wherein the screenshot parameter includes a screenshot frequency and/or an image compression ratio.
  • the process that the image processing module 75 prohibits rendering of the display image includes: prohibiting sending the display image to the front-end device; or sending the display image and a rendering prohibition instruction to the front-end device, so that the front-end device responds to the rendering prohibition instruction Suppresses rendering of display images.
  • a computer-readable storage medium on which a program product capable of implementing the above-described method of the present specification is stored.
  • aspects of the present invention can also be implemented in the form of a program product comprising program code for enabling the program product to run on a terminal device The terminal device performs the steps according to various exemplary embodiments of the present invention described in the "Example Method" section above in this specification.
  • a program product for implementing the above method according to an embodiment of the present invention may employ a portable compact disc read only memory (CD-ROM) and include program codes, and may run on a terminal device such as a personal computer.
  • CD-ROM compact disc read only memory
  • the program product of the present invention is not limited thereto, and in this document, a readable storage medium may be any tangible medium that contains or stores a program that can be used by or in conjunction with an instruction execution system, apparatus, or device.
  • the program product may employ any combination of one or more readable media.
  • the readable medium may be a readable signal medium or a readable storage medium.
  • the readable storage medium may be, for example, but not limited to, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus or device, or a combination of any of the above. More specific examples (non-exhaustive list) of readable storage media include: electrical connections with one or more wires, portable disks, hard disks, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory), optical disks, portable compact disk read only memory (CD-ROM), optical storage devices, magnetic storage devices, or any suitable combination of the foregoing.
  • a computer readable signal medium may include a propagated data signal in baseband or as part of a carrier wave with readable program code embodied thereon. Such propagated data signals may take a variety of forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the foregoing.
  • a readable signal medium can also be any readable medium, other than a readable storage medium, that can transmit, propagate, or transport the program for use by or in connection with the instruction execution system, apparatus, or device.
  • Program code embodied on a readable medium may be transmitted using any suitable medium, including but not limited to wireless, wireline, optical fiber cable, RF, etc., or any suitable combination of the foregoing.
  • Program code for carrying out operations of the present invention may be written in any combination of one or more programming languages, including object-oriented programming languages—such as Java, C++, etc., as well as conventional procedural Programming Language - such as the "C" language or similar programming language.
  • the program code may execute entirely on the user's computing device, partly on the user's device, as a stand-alone software package, partly on the user's computing device and partly on a remote computing device, or entirely on the remote computing device or server execute on.
  • the remote computing device may be connected to the user computing device through any kind of network, including a local area network (LAN) or a wide area network (WAN), or may be connected to an external computing device (eg, using an Internet service provider business via an Internet connection).
  • LAN local area network
  • WAN wide area network
  • an external computing device eg, using an Internet service provider business via an Internet connection
  • an electronic device capable of implementing the above method is also provided.
  • aspects of the present invention may be implemented as a system, method or program product. Therefore, various aspects of the present invention can be embodied in the following forms: a complete hardware implementation, a complete software implementation (including firmware, microcode, etc.), or a combination of hardware and software aspects, which may be collectively referred to herein as implementations "circuit", “module” or "system”.
  • FIG. 8 An electronic device 800 according to this embodiment of the present invention is described below with reference to FIG. 8 .
  • the electronic device 800 shown in FIG. 8 is only an example, and should not impose any limitation on the function and scope of use of the embodiments of the present invention.
  • electronic device 800 takes the form of a general-purpose computing device.
  • Components of the electronic device 800 may include, but are not limited to: the above-mentioned at least one processing unit 810 , the above-mentioned at least one storage unit 820 , a bus 830 connecting different system components (including the storage unit 820 and the processing unit 810 ), and a display unit 840 .
  • the storage unit stores program codes, and the program codes can be executed by the processing unit 810, so that the processing unit 810 executes various exemplary methods according to the present invention described in the above-mentioned “Exemplary Methods” section of this specification Implementation steps.
  • the processing unit 810 may execute various steps of the above-mentioned image processing method.
  • the storage unit 820 may include a readable medium in the form of a volatile storage unit, such as a random access storage unit (RAM) 8201 and/or a cache storage unit 8202 , and may further include a read only storage unit (ROM) 8203 .
  • RAM random access storage unit
  • ROM read only storage unit
  • the storage unit 820 may also include a program/utility 8204 having a set (at least one) of program modules 8205 including, but not limited to, an operating system, one or more application programs, other program modules, and program data, An implementation of a network environment may be included in each or some combination of these examples.
  • the bus 830 may be representative of one or more of several types of bus structures, including a memory cell bus or memory cell controller, a peripheral bus, a graphics acceleration port, a processing unit, or a local area using any of a variety of bus structures bus.
  • the electronic device 800 may also communicate with one or more external devices 900 (eg, keyboards, pointing devices, Bluetooth devices, etc.), with one or more devices that enable a user to interact with the electronic device 800, and/or with Any device (eg, router, modem, etc.) that enables the electronic device 800 to communicate with one or more other computing devices. Such communication may take place through input/output (I/O) interface 850 . Also, the electronic device 800 may communicate with one or more networks (eg, a local area network (LAN), a wide area network (WAN), and/or a public network such as the Internet) through a network adapter 860 . As shown, network adapter 860 communicates with other modules of electronic device 800 via bus 830 . It should be understood that, although not shown, other hardware and/or software modules may be used in conjunction with electronic device 800, including but not limited to: microcode, device drivers, redundant processing units, external disk drive arrays, RAID systems, tape drives and data backup storage systems.
  • the exemplary embodiments described herein may be implemented by software, or may be implemented by software combined with necessary hardware. Therefore, the technical solutions according to the embodiments of the present disclosure may be embodied in the form of software products, and the software products may be stored in a non-volatile storage medium (which may be CD-ROM, U disk, mobile hard disk, etc.) or on the network , including several instructions to cause a computing device (which may be a personal computer, a server, a terminal device, or a network device, etc.) to execute the method according to an embodiment of the present disclosure.
  • a computing device which may be a personal computer, a server, a terminal device, or a network device, etc.
  • modules or units of the apparatus for action performance are mentioned in the above detailed description, this division is not mandatory. Indeed, according to embodiments of the present disclosure, the features and functions of two or more modules or units described above may be embodied in one module or unit. Conversely, the features and functions of one module or unit described above may be further divided into multiple modules or units to be embodied.

Abstract

提供一种图像处理方法、图像处理装置、云真机系统、计算机可读存储介质和电子设备。该图像处理方法包括：获取终端设备的显示图像(S42)；确定显示图像与相似图像集合中图像的相似度(S44)；如果显示图像与相似图像集合中图像的相似度满足相似度要求，则禁止渲染显示图像(S46)。该方法可以有效缓解在实现云真机系统时出现图像卡顿的问题。

Description

图像处理方法及装置、云真机系统、存储介质和电子设备
相关申请的交叉引用
本申请要求于2020年09月18日提交的申请号为202010986310.0、名称为“图像处理方法及装置、云真机系统、存储介质和电子设备”的中国专利申请的优先权，该中国专利申请的全部内容通过引用全部并入本文。
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种图像处理方法、图像处理装置、云真机系统、计算机可读存储介质和电子设备。
背景技术
在云真机系统中，可以将终端设备(如手机、平板等)的屏幕图像提供给前端设备，该前端设备通常为远程处理设备。随后，前端设备采集用户在前端设备上针对屏幕图像进行的实时操作，将该实时操作再传输回终端设备，以便终端设备对该实时操作作出响应。也就是说，利用云真机系统，可以远程操控终端设备。
然而，屏幕图像通常是实时获取的，在前端设备上容易出现图像卡顿的情况。
发明内容
根据本公开的第一方面，提供了一种图像处理方法，包括：获取终端设备的显示图像；确定显示图像与相似图像集合中图像的相似度；如果显示图像与相似图像集合中图像的相似度满足相似度要求，则禁止渲染显示图像。
根据本公开的第二方面，提供了一种图像处理装置，包括：图像获取模块，被配置为获取终端设备的显示图像；相似度确定模块，被配置为确定显示图像与相似图像集合中图像的相似度；图像处理模块，被配置为如果显示图像与相似图像集合中图像的相似度满足相似度要求，则禁止渲染显示图像。
根据本公开的第三方面，提供了一种云真机系统，包括：图像采集设备，被配置为采集终端设备的显示图像；服务器，被配置为获取显示图像，确定显示图像与相似图像集合中图像的相似度，如果显示图像与相似图像集合中图像的相似度满足相似度要求，则禁止渲染显示图像。
根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的图像处理方法。
根据本公开的第五方面，提供了一种电子设备，包括处理器；存储器，被配置为存储一个或多个程序，当一个或多个程序被处理器执行时，使得处理器实现上述的图像处理方法。
附图说明
图1示出了本公开一些实施例的云真机系统架构的示意图；
图2示出了本公开另一些实施例的云真机系统架构的示意图；
图3示出了本公开又一些实施例的云真机系统架构的示意图；
图4示意性示出了根据本公开的示例性实施方式的图像处理方法的流程图；
图5示出了本公开示例性方案包含所涉线程处理过程的示意图；
图6示出了本公开实施例的利用代理设备对终端设备进行屏幕截图的示意图；
图7示意性示出了根据本公开的示例性实施方式的图像处理装置的方框图；
图8示意性示出了根据本公开的示例性实施方式的电子设备的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面所有的术语“第一”、“第二”、“第三”仅是为了区分的目的，不应作为本公开内容的限制。
图1示出了本公开一些实施例的云真机系统架构的示意图。
参考图1，该实施例的云真机系统至少可以包括终端设备10、代理设备11和服务器12。虽然图中以手机为例示出了终端设备10，然而，应当理解的是，终端设备10还可以包括平板、智能可穿戴设备、个人计算机等，本公开对此不做限制。
代理设备11与终端设备10连接，通常，可以通过有线的方式实现连接，进而能够传输数据。代理设备11可以通过WebSocket(一种在客户端与服务端之间保持TCP长连接的网络协议)，将终端设备10的屏幕图像动态代理到服务器12中的WebSocket服务器，并可以通过消息中心来进行消息的传递。
服务器12用于集中管理和调度终端设备10。除包括WebSocket服务器外，服务器12还包括Web服务器、动态代理服务、消息处理服务和文件存储服务(主要用于图像的存储)。服务器12将用户的访问动态代理到相应的Web服务器和WebSocket服务器，并通过消息处理服务向消息中心传递消息，实现交互。
此外，本实施例的云真机系统还可以包括数据存储模块，可以用于保存整个云真机系统的数据，例如，终端设备的状态、图像存储地址、用户使用记录等。参考图1，数据存储模块可以包括MySQL数据库和一个远程过程调用(Remote Procedure Call，RPC)服务。
下面通过举例的方式说明图1所示云真机系统的工作流程：
首先，代理设备11可以每秒从终端设备10上截取60张图像，推送至服务器12的WebSocket服务器。接下来，WebSocket服务器可以通过动态代理每秒下发60张图像至前端，由前端Web界面通过图像标签将图像数据渲染出，呈现到用户眼前，进而可以实现云真机的效果。
通过图1所示的云真机系统，可以较好地实现远程查看并操控终端设备的目的。然而，在前端Web界面上可能出现图像卡顿的情况，原因在于，终端设备10的屏幕图像是实时获取的，极有可能出现前后两个屏幕图像相似度过高的情况，对每个屏幕图像均执行传输、渲染等操作固然是比较理想的处理方式，然而，设备资源和网络资源有限，亦或者网络质量不佳，如果对每个屏幕图像均进行处理，则容易导致在前端Web界面上出现卡顿的问题。
发明人发现，即使不对所有相似的屏幕图像进行处理，也可以达到较好的云真机处理效果。
鉴于此，本公开的示例性实施方式另提供了一种云真机系统。
参考图2，该云真机系统可以包括终端设备21、代理设备22、服务器23和前端设备24。
具体的，代理设备22可被称为图像采集设备，与终端设备21连接，代理设备22通过运行一屏幕截取程序，可以截取终端设备21的显示图像，并将该显示图像发送给服务器23。
服务器23在获取到终端设备21的显示图像后，可以将该显示图像与一相似图像集合中的图像进行比较，确定该显示图像与相似度图像集合中图像的相似度，如果确定出的相似度满足相似度要求，则禁止渲染该显示图像。
由于禁止渲染该显示图像，服务器23可以无需向前端设备24发送该显示图像，因此，降低了云真机对带宽的要求，并大大缓解了前端设备24上可能出现的卡顿问题。另外，由于前端设备24无需对相似图像进行渲染，也减轻了前端设备24的处理压力。
在确定出显示图像与相似度图像集合中图像的相似度未满足相似度要求，则表明该显示图像与相似度图像集合中图像的相似度较弱，可以将该显示图像理解为一个新场景的图像，需要进行渲染。在这种情况下，服务器23可以将该显示图像发送至前端设备24进行渲染。
在本公开的另一些实施例中，终端设备可以自行进行屏幕截图，并发送给服务器。在这种情况下，终端设备自身就是图像采集设备，此时，云真机系统可以不存在被单独部署的代理设备。
参考图3，这种云真机系统可以仅包括终端设备31、服务器32和前端设备33。
具体的，终端设备31可以截取显示图像，并将该显示图像发送给服务器32。服务器32在获取显示图像后，执行与图2所示服务器23相同的操作，在此不再赘述。
此外，云真机系统还可以仅包括终端设备和前端设备。
针对云真机系统仅包括终端设备和前端设备的一些实施例，首先，终端设备可以自行截取显示图像，并将显示图像发送给前端设备。接下来，前端设备自行执行本公开示例性方案的相似图像确定过程，并根据相似程度确定是否渲染该显示图像。
针对云真机系统仅包括终端设备和前端设备的另一些实施例，终端设备可以自行截取显示图像，并执行本公开示例性方案的相似图像确定过程，在确定出显示图像与之前的图像不相似的情况下，也就是说，相比于之前的图像，本次截取的显示图像属于另一个场景，则终端设备可以将该显示图像发送至前端设备，由前端设备对该显示图像进行渲染。另外，在确定出显示图像与之前的图像相似的情况下，也就是说，相比于之前的图像，本次截取的显示图像属于同一场景，则不将该显示图像发送至前端设备。在这种情况下，例如可以直接丢弃该显示图像。
下面将对本公开示例性实施方式的基于云真机系统的图像处理方法进行说明。
需要说明的是，本公开示例性实施方式的图像处理方法的各个步骤可以由服务器执行，在这种情况下，下面所述的图像处理装置可以配置在服务器中。
图4示意性示出了本公开的示例性实施方式的图像处理方法的流程图。参考图4，图像处理方法可以包括以下步骤：
S42.获取终端设备的显示图像。
在本公开的示例性实施方式中，终端设备可以是在云真机系统中被操控的设备，例如手机、平板、智能可穿戴设备、个人计算机等。显示图像可以是终端设备屏幕上显示的图像，尤其是终端设备屏幕上当前显示的图像，例如，各种APP(应用程序)的图形用户界面、视频图像等，本公开对显示图像的内容不做限制。
根据本公开的一些实施例，鉴于包括截取屏幕图像在内的一些程序无法由终端设备自行运行，因此，需要代理(Agent)设备来对终端设备进行屏幕截图，该代理设备例如为个 人计算机。
代理设备与终端设备连接，具体的，可以通过数据线将代理设备与终端设备连接，以使代理设备与终端设备能够进行数据交互。另外，还可以采用例如蓝牙、WiFi等无线方式使代理设备与终端设备连接，本公开对此不做限制。
代理设备可以用于对终端设备进行屏幕截图，以得到终端设备的显示图像的二进制数据。具体的，在代理设备上可以运行截图工具(例如，minicap)，来获取显示图像的二进制数据。
随后，代理设备可以通过WebSocket将显示图像的二进制数据传送至服务器。
服务器在获取终端设备的显示图像的二进制数据后，可以利用一转换线程将二进制数据转换为图片，作为终端设备的显示图像。
另外，步骤S42中，获取的显示图像也可以是二进制流形式，后续直接利用二进制数据进行相似度的比较。
应当注意的是，在终端设备可以自行进行屏幕截图的情况下，服务器可以获取由终端设备发送的显示图像。
S44.确定显示图像与相似图像集合中图像的相似度。
相似图像集合中包含一个或多个图像，这些图像可以是服务器在本次云真机操作过程中，在获取显示图像之前获取到的图像。在相似图像集合包含多个图像的情况下，这些图像彼此相似，也就是说，这些图像均属于一个图像场景，尤其的，这些图像在时间上存在连续帧的关系。
在服务器从按时间先后顺序进行排列的消息队列中获取终端设备的屏幕截图的情况下，步骤S44中所述的显示图像即是当前终端设备显示的图像，相似图像集合可以是距当前最近的相似图像集合。
为了更好地说明相似图像集合的概念，自云真机系统开始工作起进行说明。
在服务器获取终端设备的第一个显示图像的情况下，可以理解的是，相似图像集合为空，也就是说，相似图像集合中没有图像。在这种情况下，第一个显示图像会被发送给前端进行渲染。同时，可以将第一个显示图像添加至相似图像集合，在这种情况下，相似图像集合仅包含第一个显示图像。
在服务器获取终端设备的第二个显示图像的情况下，服务器可以将第二个显示图像与相似图像集合中仅包含的第一个显示图像进行相似度比较，并根据比较的结果确定是否对第二个显示图像进行渲染。如果第二个显示图像与第一个显示图像满足相似度要求，还可以将第二个显示图像添加至相似图像集合。另外，如果第二个显示图像与第一个显示图像不满足相似度要求，则可以将相似图像集合清空，之后，将第二个显示图像添加至相似图像集合。
以此类推，在未出现与相似图像集合中图像不相似的情况下，将获取到的显示图像添加至相似图像集合。一旦出现与相似图像集合中图像不相似的显示图像的情况，可以将相似图像集合清空，之后，可以将该显示图像添加至相似图像集合。
针对确定显示图像与相似图像集合中图像的相似度的过程：
根据本公开的一些实施例，服务器可以仅将该显示图像与相似图像集合中一个图像进行相似比较。由于相似图像集合中各图像之间彼此相似，因此，可以确定该显示图像与相似图像集合中任意一个图像的相似度，为了描述方便，将相似图像集合中进行相似比较的图像记为目标图像，也就是说，目标图像为相似图像集合中任一图像。
应当理解的是，在一个实施例中，目标图像可以是该显示图像的上一帧图像，即上一次截取到的屏幕图像。
就该显示图像与目标图像的相似度确定方式，本公开可以包括但不限于：基于RGB分布值差异的相似度确定方法、基于直方图的相似度确定方法、基于图像模板匹配的相似 度确定方法、基于峰值信噪比(Peak Signal to Noise Ratio，PSNR)的相似度确定方法、基于结构相似性(Structural Similarity，SSIM)的相似度确定方法、基于感知哈希算法(perceptual hash algorithm)的相似度确定方法等。
根据本公开的另一些实施例，服务器可以将该显示图像与相似图像集合中多个图像进行相似比较。相似图像集合包含n个图像，其中，n为正整数且n≥2。在这种情况下，服务器可以确定该显示图像与n个图像中m个图像的相似度，其中，m为正整数且2≤m≤n。接下来，可以结合m个图像的相似度的确定结果，得到步骤S44中所述的显示图像与相似图像集合中图像的相似度。
例如，相似图像集合包含10个图像，服务器可以从这10个图像中挑选出5个图像，具体的，可以随机挑选或等间隔挑选。然后，将当前获取到的显示图像分别与这个5个图像进行相似比较，接下来，可以结合5个相似度的确定结果，得到步骤S44中所述的显示图像与相似图像集合中图像的相似度。
类似地，在这些实施例中，两个图像之间相似度的确定方法可以包括上述方法，不再赘述。
S46.如果显示图像与相似图像集合中图像的相似度满足相似度要求，则禁止渲染显示图像。
在服务器仅将显示图像与相似图像集合中目标图像进行相似比较的实施例中，相似度要求可以包括显示图像与目标图像的相似度大于第一相似度阈值。
在确定出显示图像与目标图像的相似度大于第一相似度阈值的情况下，说明显示图像与目标图像较相似，可以不对显示图像进行渲染，也可实现云真机的效果。在这种情况下，可以禁止渲染该显示图像。
具体的，禁止渲染指的是，服务器可以禁止将该显示图像发送给前端设备。或者，服务器可以将显示图像和渲染禁止指令发送给前端设备，以便前端设备可以响应该渲染禁止指令禁止对该显示图像进行渲染。将显示图像依旧发送给前端设备的目的在于，前端设备的用户可以根据需要快速查看到该显示图像，以便进行统计、手动渲染等操作。
在确定出显示图像与目标图像的相似度小于等于第一相似度阈值的情况下，即，未满足相似度要求，说明显示图像与目标图像不相似，也就是说，该显示图像与相似图像集合中图像不相似，说明显示图像与相似图像集合中图像属于不同的场景。在这种情况下，服务器将该显示图像发送给前端设备，以便前端设备对显示图像进行渲染。
在服务器将显示图像与相似图像集合中多个图像进行相似比较的实施例中，相似度要求可以包括m个图像中至少有w个图像与该显示图像的相似度大于第二相似度阈值，其中，w为正整数且1≤w≤m。另外第二相似度阈值可以是与第一相似度阈值不同的阈值，也可以是与第一相似度阈值相同的阈值，本公开对此不做限制。
在确定出m个图像中至少有w个图像与显示图像的相似度大于第二相似度阈值的情况下，说明显示图像与相似图像集合中图像相似，可以不对显示图像进行渲染，也可实现云真机的效果。在这种情况下，可以禁止渲染该显示图像。
例如，相似图像集合中进行相似比较的5个图像中，有3个图像与显示图像的相似度大于第二相似度阈值，则可以说明显示图像与相似图像集合中图像相似。
在确定出m个图像中未有w个图像与显示图像的相似度大于第二相似度阈值的情况下，即，未满足相似度要求，例如，5个图像中仅有1个图像与显示图像的相似度大于第二相似度阈值。在这种情况下，服务器将该显示图像发送给前端设备，以便前端设备对显示图像进行渲染。
另外，在服务器将显示图像与相似图像集合中多个图像进行相似比较的实施例中，相似度要求还可以包括m个图像与显示图像的相似度的平均值大于第三相似度阈值。其中，第三相似度阈值可以与第一相似度阈值、第二相似度阈值相同或不同。
也就是说，可以计算m个图像与显示图像的相似度的平均值。如果该平均值大于第三相似度阈值，则禁止渲染该显示图像；如果该平均值小于等于第三相似度阈值，则服务器可以将该显示图像发送给前端设备，以便前端设备对显示图像进行渲染。
应当注意的是，在本公开的一些实施例中，在显示图像与相似图像集合中图像的相似度满足相似度要求的情况下，服务器还可以将显示图像添加至相似图像集合。
另外，在为了方便处理而确保相似图像集合中图像数量一定的情况下，如果添加至相似图像集合中图像的数量达到一数量阈值，则停止继续添加显示图像。此时，服务器也可以直接将该显示图像丢弃。
在本公开的另一些实施例中，在显示图像与相似图像集合中图像的相似度未满足相似度要求的情况下，首先，服务器可以将相似图像集合清空，清空后的相似图像集合为空；接下来，可以将显示图像添加至相似图像集合，此时，相似图像集合仅包含有该显示图像，以用于对随后接收到的图像进行是否禁止渲染的判断。
本公开示例性实施方式的相似图像比较过程是服务器通过一个线程来实现的，下面结合图5对本公开实施例的图像处理过程进行说明。
在步骤S502中，代理设备利用截图工具对终端设备进行屏幕截图，输出终端设备的显示图像的二进制数据。在步骤S504中，代理设备将得到的二进制数据存入图像数据队列。
在步骤S506中，服务器通过图像数据转换线程，读取图像数据。在步骤S508中，基于数据转换线程将二进制数据转换为图像。在步骤S510中，将转换后的图像存入截图图像队列。
在步骤S512中，服务器通过图像相似度比较线程，判断截图图像队列的队列长度是否大于等于2，在队列长度小于2的情况下，执行步骤S524；在队列长度大于等于2的情况下，执行步骤S514。
在步骤S514中，读取截图图像，即，上面描述的显示图像。在步骤S516中，将显示图像与相似图像集合中图像进行相似度比较；在步骤S518中，判断相似度比较的结果是否满足相似度要求，在满足相似度要求的情况下，执行步骤S520；在未满足相似度要求的情况下，执行步骤S522。
在步骤S520中，将显示图像存入相似图像集合，禁止对该显示图像的渲染处理过程。
在步骤S522中，将显示图像存入图像传送队列。在步骤S524中，将图像传送队列中的显示图像发送给前端设备，以便前端设备对该显示图像进行渲染。
需要说明的是，本公开在进行相似比较时，还可以直接通过二进制数据进行比较，以确定显示图像与相似图像集合中图像的相似度。在基于二二进制数据进行比较之后，当确定出显示图像需要被渲染时，再利用图像数据转换线程将显示图像的二进制数据转换为图像，进而发送给前端设备。
为了进一步减少设备及网络的负担，本公开示例性实施方式还提供了一种截取显示图像的方案，以调节前端设备呈现的画质。
在本公开的示例性实施方式中，可以基于网络质量来确定屏幕截图所采用的截图参数。本公开所述的截图参数包括截图频率和/或图像压缩比。容易理解的是，截图频率对应帧率，表征的是每秒钟截取并发送出的图像数量。图像压缩比可以表征截图的质量。
表1示出了基于minicap而得到的图像压缩比与图像大小的对应关系：
表1
图像压缩比 图像大小
100％ 68.10KB
80％ 45.65KB
50％ 41.34KB
20％ 36.12KB
10％ 35.45KB
可以看出，当图像质量压缩到80％时，图像大小降低程度比较明显，而实验中发现图像的画质并未明显下降。若继续降低图像质量，图像大小降低程度不大。
表2示出了各帧率和图像压缩比组合所产生的实际流量数据：
表2
帧率 图像压缩比 实际流量
60 100％ 4.01M/S
60 80％ 2.72M/S
60 50％ 2.40M/S
30 80％ 1.44M/S
30 50％ 1.23M/S
30 20％ 1.12M/S
15 50％ 0.65M/S
15 20％ 0.55M/S
15 10％ 0.52M/S
从表2可以看出，在帧率为60且不进行压缩的组合下，流量达到了4.01M/S，而当使用80％压缩比时，流量减小到了2.72M/S。考虑到实际网络质量，在一些实施例中，将帧率为60且80％压缩比作为高画质截图参数。
当图像使用50％压缩比时，图像大小下降程度并不明显，此时通过将帧率降低到30，可以降低一半的流量，1.23M/S的流量可以满足大部分情况的使用，30帧率也可以保证云真机操作的流畅度。因此，将帧率为30且50％压缩比作为中画质截图参数。
另外，将帧率为15且20％压缩比作为低画质截图参数，以保证及时在网络质量较差的情况下能够正常使用。
应当理解的是，本公开实施例通过网络质量来确定选取哪一种截图参数。其中，也可以将网络质量划分为高、中、低三种情况，鉴于当前检测网络质量的方案较成熟，本公开对确定网络质量的方式不做限制。
参考图6，针对代理设备，在步骤S602中，判断网络质量是否为高，若是，则执行步骤S604，采用高画质截图参数；若否，则执行步骤S606。
在步骤S606中，判断网络质量是否为中，若是，则执行步骤S608，采用中画质截图参数；若否，则执行步骤S610。
在步骤S610中，采用低画质截图参数。
在步骤S612中，无论确定出何种截图参数，均同步给minicap服务，以便minicap基于确定出的截图参数对终端设备执行截图操作。
通过上述截图参数的方案，可以调节前端设备呈现出的画质，缓解网络带宽占用大的问题。同时，也保证了图像的正常传输和显示，避免发生掉帧现象。
应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
进一步的，本示例实施方式中还提供了一种图像处理装置。
图7示意性示出了本公开的示例性实施方式的图像处理装置的方框图。参考图7，根据本公开的示例性实施方式的图像处理装置7可以包括图像获取模块71、相似度确定模块 73和图像处理模块75。
具体的，图像获取模块71可以被配置为获取终端设备的显示图像；相似度确定模块73可以被配置为确定显示图像与相似图像集合中图像的相似度；图像处理模块75可以被配置为如果显示图像与相似图像集合中图像的相似度满足相似度要求，则禁止渲染显示图像。
基于本公开示例性实施方式的图像处理装置，一方面，减少了相似图像的渲染，也就是说，服务器可以无需将相似的显示图像发送给前端进行渲染，减少了推送图像的数量，降低了网络带宽的要求，解决了界面上图像卡顿的问题，使云真机系统可以顺畅地运行；另一方面，由于前端无需对相似图像进行渲染，可以避免重复渲染，减轻了前端的处理压力。
根据本公开的示例性实施例，相似度确定模块73可以被配置为执行：确定显示图像与相似图像集合中一目标图像的相似度，目标图像为相似图像集合中任一图像；其中，相似度要求包括显示图像与目标图像的相似度大于第一相似度阈值。
根据本公开的示例性实施例，相似图像集合包含n个图像，n为正整数且n≥2。在这种情况下，相似度确定模块73还可以被配置为执行：分别确定显示图像与n个图像中m个图像的相似度，m为正整数且2≤m≤n；其中，相似度要求包括m个图像中至少有w个图像与显示图像的相似度大于第二相似度阈值，w为正整数且1≤w≤m。
根据本公开的示例性实施例，图像处理模块75还可以被配置为执行：在显示图像与相似图像集合中图像的相似度满足相似度要求的情况下，将显示图像添加至相似图像集合。
根据本公开的示例性实施例，图像处理模块75还可以被配置为执行：如果显示图像与相似图像集合中图像的相似度未满足相似度要求，则将显示图像发送给前端设备，以便前端设备对显示图像进行渲染
根据本公开的示例性实施例，图像处理模块75还可以被配置为执行：在显示图像与相似图像集合中图像的相似度未满足相似度要求的情况下，将相似图像集合清空；在相似图像集合被清空后，将显示图像添加至相似图像集合。
根据本公开的示例性实施例，图像获取模块71可以被配置为执行：获取终端设备的显示图像的二进制数据；将二进制数据转换为图片，作为显示图像。
根据本公开的示例性实施例，图像获取模块71获取终端设备的显示图像的二进制数据的过程包括：获取由代理设备对终端设备进行屏幕截图而生成的显示图像的二进制数据。
根据本公开的示例性实施例，对终端设备进行屏幕截图所采用的截图参数基于网络质量而确定；其中，截图参数包括截图频率和/或图像压缩比。
根据本公开的示例性实施例，图像处理模块75禁止渲染显示图像的过程包括：禁止将显示图像发送给前端设备；或者将显示图像和渲染禁止指令发送给前端设备，以便前端设备响应渲染禁止指令禁止对显示图像进行渲染。
由于本公开实施方式的图像处理装置的各个功能模块与上述方法实施方式中相同，因此在此不再赘述。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
根据本发明的实施方式的用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光盘、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图8来描述根据本发明的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：上述至少一个处理单元810、上述至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830、显示单元840。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元810执行，使得所述处理单元810执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元810可以执行上述图像处理方法的各个步骤。
存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202，还可以进一步包括只读存储单元(ROM)8203。
存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204，这样的程序模块8205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备800也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备800交互的设备通信，和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调 器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且，电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器860通过总线830与电子设备800的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (20)

  1. 一种图像处理方法，包括：
    获取终端设备的显示图像；
    确定所述显示图像与相似图像集合中图像的相似度；
    如果所述显示图像与所述相似图像集合中图像的相似度满足相似度要求，则禁止渲染所述显示图像。
  2. 根据权利要求1所述的图像处理方法，其中，确定所述显示图像与相似图像集合中图像的相似度包括：
    确定所述显示图像与所述相似图像集合中一目标图像的相似度，所述目标图像为所述相似图像集合中任一图像；
    其中，所述相似度要求包括所述显示图像与所述目标图像的相似度大于第一相似度阈值。
  3. 根据权利要求1所述的图像处理方法，其中，所述相似图像集合包含n个图像，n为正整数且n≥2；其中，确定所述显示图像与相似图像集合中图像的相似度包括：
    分别确定所述显示图像与所述n个图像中m个图像的相似度，m为正整数且2≤m≤n；
    其中，所述相似度要求包括所述m个图像中至少有w个图像与所述显示图像的相似度大于第二相似度阈值，w为正整数且1≤w≤m。
  4. 根据权利要求1至3中任一项所述的图像处理方法，其中，在所述显示图像与所述相似图像集合中图像的相似度满足相似度要求的情况下，所述图像处理方法还包括：
    将所述显示图像添加至所述相似图像集合。
  5. 根据权利要求1至3中任一项所述的图像处理方法，其中，所述图像处理方法还包括：
    如果所述显示图像与所述相似图像集合中图像的相似度未满足所述相似度要求，则将所述显示图像发送给前端设备，以便所述前端设备对所述显示图像进行渲染。
  6. 根据权利要求5所述的图像处理方法，其中，在所述显示图像与所述相似图像集合中图像的相似度未满足所述相似度要求的情况下，所述图像处理方法还包括：
    将所述相似图像集合清空；
    在所述相似图像集合被清空后，将所述显示图像添加至所述相似图像集合。
  7. 根据权利要求1所述的图像处理方法，其中，获取终端设备的显示图像包括：
    获取所述终端设备的显示图像的二进制数据；
    将所述二进制数据转换为图片，作为所述显示图像。
  8. 根据权利要求7所述的图像处理方法，其中，获取所述终端设备的显示图像的二进制数据包括：
    获取由代理设备对所述终端设备进行屏幕截图而生成的所述显示图像的二进制数据。
  9. 根据权利要求8所述的图像处理方法，其中，对所述终端设备进行屏幕截图所采用的截图参数基于网络质量而确定；
    其中，所述截图参数包括截图频率和/或图像压缩比。
  10. 根据权利要求1所述的图像处理方法，其中，禁止渲染所述显示图像包括：
    禁止将所述显示图像发送给前端设备；或者
    将所述显示图像和渲染禁止指令发送给前端设备，以便所述前端设备响应所述渲染禁止指令禁止对所述显示图像进行渲染。
  11. 一种图像处理装置，包括：
    图像获取模块，被配置为获取终端设备的显示图像；
    相似度确定模块，被配置为确定所述显示图像与相似图像集合中图像的相似度；
    图像处理模块，被配置为如果所述显示图像与所述相似图像集合中图像的相似度满足相似度要求，则禁止渲染所述显示图像。
  12. 根据权利要求11所述的图像处理装置，其中，所述相似度确定模块被配置为执行：确定所述显示图像与所述相似图像集合中一目标图像的相似度，所述目标图像为所述相似图像集合中任一图像；
    其中，所述相似度要求包括所述显示图像与所述目标图像的相似度大于第一相似度阈值。
  13. 根据权利要求11所述的图像处理装置，其中，所述相似图像集合包含n个图像，n为正整数且n≥2；其中，所述相似度确定模块被配置为执行：分别确定所述显示图像与所述n个图像中m个图像的相似度，m为正整数且2≤m≤n；
    其中，所述相似度要求包括所述m个图像中至少有w个图像与所述显示图像的相似度大于第二相似度阈值，w为正整数且1≤w≤m。
  14. 根据权利要求11至13中任一项所述的图像处理装置，其中，所述图像处理模块还被配置为执行：在所述显示图像与所述相似图像集合中图像的相似度满足相似度要求的情况下，将所述显示图像添加至所述相似图像集合。
  15. 根据权利要求11至13中任一项所述的图像处理装置，其中，所述图像处理模块还被配置为执行：如果所述显示图像与所述相似图像集合中图像的相似度未满足所述相似度要求，则将所述显示图像发送给前端设备，以便所述前端设备对所述显示图像进行渲染。
  16. 根据权利要求15所述的图像处理装置，其中，所述图像处理模块还被配置为执行：在所述显示图像与所述相似图像集合中图像的相似度未满足所述相似度要求的情况下，将所述相似图像集合清空；在所述相似图像集合被清空后，将所述显示图像添加至所述相似图像集合。
  17. 一种云真机系统，包括：
    图像采集设备，被配置为采集终端设备的显示图像；
    服务器，被配置为获取所述显示图像，确定所述显示图像与相似图像集合中图像的相似度，如果所述显示图像与所述相似图像集合中图像的相似度满足相似度要求，则禁止渲染所述显示图像。
  18. 根据权利要求17所述的云真机系统，其中，所述云真机系统还包括：
    前端设备，被配置为在所述服务器确定出所述显示图像与所述相似图像集合中图像的相似度未满足所述相似度要求的情况下，接收由所述服务器发送的所述显示图像，并对所述显示图像进行渲染。
  19. 一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1至10中任一项所述的图像处理方法。
  20. 一种电子设备，包括：
    处理器；
    存储器，被配置为存储一个或多个程序，当所述一个或多个程序被所述处理器执行时，使得所述处理器实现如权利要求1至10中任一项所述的图像处理方法。
PCT/CN2021/102469 2020-09-18 2021-06-25 图像处理方法及装置、云真机系统、存储介质和电子设备 WO2022057362A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010986310.0A CN112085828B (zh) 2020-09-18 2020-09-18 图像处理方法及装置、云真机系统、存储介质和电子设备
CN202010986310.0 2020-09-18

Publications (1)

Publication Number Publication Date
WO2022057362A1 true WO2022057362A1 (zh) 2022-03-24

Family

ID=73738185

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/102469 WO2022057362A1 (zh) 2020-09-18 2021-06-25 图像处理方法及装置、云真机系统、存储介质和电子设备

Country Status (2)

Country Link
CN (1) CN112085828B (zh)
WO (1) WO2022057362A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114884931A (zh) * 2022-04-27 2022-08-09 京东科技控股股份有限公司 一种测试系统及其搭建方法、装置、设备、介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085828B (zh) * 2020-09-18 2024-04-26 深圳市欢太科技有限公司 图像处理方法及装置、云真机系统、存储介质和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080094500A1 (en) * 2006-10-20 2008-04-24 Hewlett-Packard Development Company Lp Frame filter
CN104853060A (zh) * 2015-04-14 2015-08-19 武汉基数星通信科技有限公司 高清视频前置处理方法和系统
CN105900071A (zh) * 2014-01-17 2016-08-24 富士通株式会社 图像处理程序、图像处理方法以及图像处理装置
CN105988688A (zh) * 2016-01-22 2016-10-05 腾讯科技（深圳）有限公司 一种截图的方法及装置
CN111314395A (zh) * 2018-12-11 2020-06-19 中兴通讯股份有限公司 一种图像的传输方法及终端、存储介质
CN112085828A (zh) * 2020-09-18 2020-12-15 深圳市欢太科技有限公司 图像处理方法及装置、云真机系统、存储介质和电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105988689A (zh) * 2015-02-11 2016-10-05 阿里巴巴集团控股有限公司 一种信息展示方法及装置
CN105450642B (zh) * 2015-11-17 2018-11-23 广州华多网络科技有限公司 一种基于在线直播的数据处理方法、相关装置及系统
CN108665521B (zh) * 2018-05-16 2020-06-02 京东方科技集团股份有限公司 图像渲染方法、装置、系统、计算机可读存储介质及设备
CN108833963B (zh) * 2018-05-31 2020-12-11 腾讯科技（上海）有限公司 显示界面画面的方法、计算机设备、可读存储介质和系统
CN109302637B (zh) * 2018-11-05 2023-02-17 腾讯科技(成都)有限公司 图像处理方法、图像处理装置和电子设备
CN109603152A (zh) * 2018-12-14 2019-04-12 北京智明星通科技股份有限公司 一种游戏场景图像处理方法、装置及终端
CN110222775B (zh) * 2019-06-10 2021-05-25 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111311758A (zh) * 2020-02-24 2020-06-19 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080094500A1 (en) * 2006-10-20 2008-04-24 Hewlett-Packard Development Company Lp Frame filter
CN105900071A (zh) * 2014-01-17 2016-08-24 富士通株式会社 图像处理程序、图像处理方法以及图像处理装置
CN104853060A (zh) * 2015-04-14 2015-08-19 武汉基数星通信科技有限公司 高清视频前置处理方法和系统
CN105988688A (zh) * 2016-01-22 2016-10-05 腾讯科技（深圳）有限公司 一种截图的方法及装置
CN111314395A (zh) * 2018-12-11 2020-06-19 中兴通讯股份有限公司 一种图像的传输方法及终端、存储介质
CN112085828A (zh) * 2020-09-18 2020-12-15 深圳市欢太科技有限公司 图像处理方法及装置、云真机系统、存储介质和电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114884931A (zh) * 2022-04-27 2022-08-09 京东科技控股股份有限公司 一种测试系统及其搭建方法、装置、设备、介质

Also Published As

Publication number Publication date
CN112085828A (zh) 2020-12-15
CN112085828B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
US20220038724A1 (en) Video stream decoding method and apparatus, terminal device, and storage medium
US10652506B2 (en) High quality multimedia transmission from a mobile device for live and on-demand viewing
WO2022057362A1 (zh) 图像处理方法及装置、云真机系统、存储介质和电子设备
WO2015101092A1 (zh) 一种传输机制调整方法和服务端、客户端
CN104394486A (zh) 一种基于云桌面的视频流处理方法及装置
US20150229960A1 (en) Information processing device, method, and terminal device
TW201246942A (en) Object of interest based image processing
US8842159B2 (en) Encoding processing for conferencing systems
CN105379261A (zh) 服务器节点装置与方法
DE102013021710A1 (de) Grafik-Dienstleister und Verfahren zur Datenstromübertragung von bilderzeugtem Inhalt über eine entfernte Grafikverarbeitungsdienstleistung
CN109168041B (zh) 一种移动终端监控方法及系统
WO2023040825A1 (zh) 媒体信息的传输方法、计算设备及存储介质
CN111031389A (zh) 视频处理方法、电子装置和存储介质
US20220255981A1 (en) Method and Apparatus for Adjusting Attribute of Video Stream
US10917611B2 (en) Video adaptation in conferencing using power or view indications
CN110727485A (zh) 一种屏幕界面可选择性共享方法及系统
JP2021100243A (ja) 画像保存サービス提供方法、コンピュータプログラム、及びコンピューティング装置
CN115209189B (zh) 一种视频流传输方法、系统、服务器及存储介质
US9819958B2 (en) Drawing system, information processing apparatus and drawing control method which switch drawing from still image data to video image data
US20170118528A1 (en) System and method for adaptive video streaming
WO2023011408A1 (zh) 一种多窗口视频通信方法、设备及系统
CN110798700B (zh) 视频处理方法、视频处理装置、存储介质与电子设备
TWI680668B (zh) 畫面影像傳輸方法、影像復原方法、畫面影像傳輸系統、影像復原系統、畫面影像傳輸程式、影像復原程式、影像壓縮方法、影像壓縮系統及影像壓縮程式
CN113411587B (zh) 视频压缩方法、装置及计算机可读存储介质
TWI523541B (zh) 無線影音傳輸系統及其方法，及其電腦程式產品

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21868191

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 31.07.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21868191

Country of ref document: EP

Kind code of ref document: A1