WO2019140880A1 - 屏幕录制方法、计算机可读存储介质、终端设备及装置 - Google Patents

屏幕录制方法、计算机可读存储介质、终端设备及装置 Download PDF

Info

Publication number
WO2019140880A1
WO2019140880A1 PCT/CN2018/097519 CN2018097519W WO2019140880A1 WO 2019140880 A1 WO2019140880 A1 WO 2019140880A1 CN 2018097519 W CN2018097519 W CN 2018097519W WO 2019140880 A1 WO2019140880 A1 WO 2019140880A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature vector
similarity
calculating
vector
Prior art date
Application number
PCT/CN2018/097519
Other languages
English (en)
French (fr)
Inventor
张远平
刘慧众
Original Assignee
深圳壹账通智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳壹账通智能科技有限公司 filed Critical 深圳壹账通智能科技有限公司
Publication of WO2019140880A1 publication Critical patent/WO2019140880A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4143—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Definitions

  • the present application belongs to the field of computer technology, and in particular, to a screen recording method, a computer readable storage medium, a terminal device and a device.
  • the existing screen recording technology tends to simply perform screen recording at a fixed recording frame rate, and also plays at the same playback frame rate during playback.
  • the change of the screen content is uneven.
  • the screen content does not change much for a long period of time (tens of seconds or even minutes). During this time, It does not give users new information, but it still takes up a lot of user time.
  • the embodiment of the present application provides a screen recording method, a computer readable storage medium, a terminal device, and a device, so as to solve the problem that the screen recording method does not change much in some time periods and cannot be brought to the user. When new information is used, it still takes up a lot of user time.
  • a first aspect of the embodiment of the present application provides a screen recording method, which may include:
  • the candidate image and the reference image are greater than a preset similarity threshold, deleting the candidate image from the image frame sequence; if the candidate image is If the image similarity between the reference images is less than or equal to the similarity threshold, determining the candidate image as a new reference image;
  • the sequence of image frames is played at a preset playback frame rate.
  • a second aspect of embodiments of the present application provides a computer readable storage medium storing computer readable instructions, the steps of implementing the screen recording method described above when executed by a processor .
  • a third aspect of an embodiment of the present application provides a screen recording terminal device including a memory, a processor, and computer readable instructions stored in the memory and executable on the processor, the processor executing the The steps of the above screen recording method are implemented when the computer readable instructions are described.
  • a fourth aspect of the embodiments of the present application provides a screen recording apparatus, which may include a module for implementing the steps of the above screen recording method.
  • the embodiment of the present application Compared with the prior art, the embodiment of the present application has the beneficial effects that: the embodiment of the present application collects an image frame sequence displayed on a target screen according to a preset recording frame rate, and randomly selects one frame image from the image frame sequence. Calculating, as a reference image, an image similarity between the candidate image and the reference image, the candidate image being a next frame image of the reference image in the image frame sequence, if the candidate image is If the image similarity between the reference images is greater than a preset similarity threshold, it indicates that the next frame image does not have enough new information to provide to the user, so the candidate image may be deleted from the image frame sequence.
  • the image similarity between the candidate image and the reference image is less than or equal to the similarity threshold, indicating that sufficient information is provided to the user in the next frame image, so it needs to be retained and used as a new The base image. Determining the next frame image of the reference image in the image frame sequence as a new candidate image, and repeating the above process, continuously deleting the useless image frame until the reference image does not exist next Up to the frame image, the processing of the image frame sequence is completed at this time, and finally the image frame sequence is played according to the preset playback frame rate, since the useless image frames have been deleted, which greatly saves the user's viewing. time.
  • FIG. 1 is a flowchart of an embodiment of a screen recording method according to an embodiment of the present application
  • step S103 of a screen recording method in an application scenario according to an embodiment of the present application is a schematic flowchart of step S103 of a screen recording method in an application scenario according to an embodiment of the present application
  • FIG. 3 is a structural diagram of an embodiment of a screen recording apparatus according to an embodiment of the present application.
  • FIG. 4 is a schematic block diagram of a screen recording terminal device according to an embodiment of the present application.
  • an embodiment of a screen recording method in an embodiment of the present application may include:
  • Step S101 Acquire a sequence of image frames displayed on the target screen according to a preset recording frame rate.
  • the normal screen recording frame rate is 24 frames/second.
  • Step S102 arbitrarily select one frame image from the image frame sequence as a reference image.
  • the first frame image of the image frame sequence may be selected as the reference image.
  • the image of the other frame may be selected as the reference image according to the actual situation, which is not specifically limited in this embodiment.
  • Step S103 Calculate an image similarity between the candidate image and the reference image.
  • the candidate image is a next frame image of the reference image in the sequence of image frames.
  • the image similarity may be calculated by performing pixel-by-pixel comparison, that is, calculating a gray value of each pixel, if the candidate image and the reference image are in a gray level of the pixel in the position of the image. If the value changes beyond the preset threshold, it is considered to have changed. If the threshold value is not exceeded, it is considered to have not changed. The ratio of the unchanging pixel points to the total number of pixel points is counted, and the ratio is determined as the candidate to be selected. The image similarity between the image and the reference image.
  • the image similarity can be calculated by comparing the feature vectors:
  • the first feature vector of the reference image may be calculated by a Local Binary Patterns (LBP) algorithm. Specifically, a relationship between each pixel and its surrounding pixel points is constructed. Each pixel in the reference image converts the gray value of the pixel into an eight-bit binary sequence by calculating the size relationship of each pixel and the central pixel in the neighborhood centered on it. The pixel value of the center point is a threshold value. If the pixel value of the neighborhood point is smaller than the center point, the neighborhood point is binarized to 0, otherwise it is 1; the 0, 1 sequence obtained by binarization is regarded as an 8 bit. Binary number, which converts the binary number to decimal to get the LBP value at the center point.
  • LBP Local Binary Patterns
  • the statistical histogram of the LBP feature spectrum is determined as the feature vector of the reference image, that is, the first feature vector. This point is quantized by utilizing the relationship of the surrounding points to the point. After quantization, the effect of illumination on the image can be more effectively eliminated. As long as the change of illumination is not enough to change the size relationship between the two pixel values, the LBP value will not change, which ensures the accuracy of feature information extraction.
  • the calculation process of the second feature vector is similar to the calculation process of the first feature vector. For details, refer to the description in step S1031, and details are not described herein again.
  • the calculation of the vector similarity can be various, and the following two calculation methods are only examples:
  • the vector similarity C(X, Y) can be calculated by:
  • the deviation degree being a ratio between the deviation distance and a reference distance
  • the deviation distance is the first feature vector in a current dimension
  • the reference distance being an absolute value of the value of the first feature vector in the current dimension and the second feature vector a sum of absolute values of values of the current dimension
  • calculating a third average of the degrees of deviation of the respective dimensions calculating a vector between the first feature vector and the second feature vector according to the third average value Similarity.
  • the vector similarity C(X, Y) can be calculated by:
  • Step S104 Determine whether the image similarity is greater than a preset similarity threshold.
  • step S105 and step S107 are performed, if the image similarity between the candidate image and the reference image is less than Or equal to the similarity threshold, step S106 and step S107 are performed.
  • Step S105 deleting the candidate image from the image frame sequence.
  • Step S106 determining the candidate image as a new reference image
  • Step S107 Determine whether the reference image has a next frame image.
  • step S108 is performed, and if the reference image does not have the next frame image, step S109 is performed.
  • Step S108 Determine a next frame image of the reference image in the image frame sequence as a new candidate image.
  • step S108 the process returns to step S103 and subsequent steps until the reference image does not have the next frame image.
  • Step S109 playing the sequence of image frames according to a preset play frame rate.
  • the playback frame rate can be set to 24 frames/second.
  • the method may further include:
  • the embodiment of the present application first obtains an event type of a target insurance claim event, and then determines an evaluation dimension required to evaluate the target insurance claim event according to the event type, and obtains the target insurance claim event. Determining the survey information on each evaluation dimension, finally determining a preset neural network model corresponding to the event type, and processing the survey information using the neural network model to obtain the risk of the target insurance claim event The assessed value. Since the neural network model is used instead of the manual evaluation to avoid the interference of human factors, the result is more objective, and the neural network model is obtained by using a machine learning algorithm to train a large number of real sample samples of specific event types and taking into account multiple evaluations. The survey information in the dimension is considered more comprehensive, and the specific type of event is more targeted, which greatly improves the accuracy of the evaluation results.
  • FIG. 3 is a structural diagram of an embodiment of a screen recording apparatus provided by an embodiment of the present application.
  • a screen recording apparatus may include:
  • the image frame sequence collection module 301 is configured to collect a sequence of image frames displayed on the target screen according to a preset recording frame rate
  • the reference image selection module 302 is configured to arbitrarily select one frame image from the image frame sequence as a reference image
  • the image similarity calculation module 303 is configured to calculate an image similarity between the candidate image and the reference image, where the candidate image is a next frame image of the reference image in the image frame sequence;
  • the image deletion module 304 is configured to: if the image similarity between the candidate image and the reference image is greater than a preset similarity threshold, delete the candidate image from the image frame sequence;
  • the reference image update module 305 is configured to determine the candidate image as a new reference image if an image similarity between the candidate image and the reference image is less than or equal to the similarity threshold;
  • the candidate image update module 306 is configured to determine a next frame image of the reference image in the image frame sequence as a new candidate image
  • the image frame sequence playing module 307 is configured to play the image frame sequence according to a preset playing frame rate.
  • the image similarity calculation module may include:
  • a first feature vector calculation unit configured to calculate a first feature vector of the reference image
  • a second feature vector calculation unit configured to calculate a second feature vector of the candidate image
  • a vector similarity calculation unit configured to calculate a vector similarity between the first feature vector and the second feature vector
  • an image similarity determining unit configured to determine the vector similarity as an image similarity between the candidate image and the reference image.
  • the vector similarity calculation unit may include:
  • a first average calculation subunit configured to calculate a first average value of values of each dimension in the first feature vector
  • a second average calculation subunit configured to calculate a second average value of values of each dimension in the second feature vector
  • a third feature vector calculation subunit configured to subtract a value of each dimension in the first feature vector from the first average value to obtain a third feature vector
  • a fourth feature vector calculation subunit configured to subtract a value of each dimension in the second feature vector from the second average value to obtain a fourth feature vector
  • a first mode calculation subunit configured to calculate a modulus of the third feature vector
  • a second modulus calculation subunit configured to calculate a modulus of the fourth feature vector
  • a vector product calculation subunit configured to calculate a product of a modulus of the third feature vector and a modulus of the fourth feature vector
  • a vector inner product calculation subunit configured to calculate an inner product of the third feature vector and the fourth feature vector
  • a first vector similarity calculation subunit configured to calculate a vector similarity between the first feature vector and the second feature vector according to the inner product and the product.
  • the vector similarity calculation unit may include:
  • a vector deviation degree calculation subunit configured to calculate a deviation degree of the first feature vector and the second feature vector in each dimension, where the deviation degree is a ratio between a deviation distance and a reference distance, and the deviation distance is An absolute value of a difference between a value of the current feature and a value of the second feature vector in the current dimension, where the reference distance is an absolute value of the first feature vector in the current dimension a sum of a value and an absolute value of the second feature vector in the current dimension;
  • a third average calculation subunit for calculating a third average of the degrees of deviation of the respective dimensions
  • a second vector similarity calculation subunit configured to calculate a vector similarity between the first feature vector and the second feature vector according to the third average value.
  • the screen recording apparatus may further include:
  • a first image processing module configured to remove a sub-image in a specified area from the candidate image, to obtain a candidate image that participates in image similarity calculation, where the designated area is an area that does not participate in the image similarity calculation;
  • a second image processing module configured to remove a sub-image in the designated area from the reference image to obtain a reference image that participates in image similarity calculation.
  • FIG. 4 is a schematic block diagram of a screen recording terminal device provided by an embodiment of the present application. For convenience of description, only parts related to the embodiment of the present application are shown.
  • the screen recording terminal device 4 may be a computing device such as a mobile phone, a tablet computer, a desktop computer, and a cloud server.
  • the screen recording terminal device 4 may include a processor 40, a memory 41, and computer readable instructions 42 stored in the memory 41 and operable on the processor 40, such as a computer executing the screen recording method described above. Read the instruction.
  • the processor 40 executes the computer readable instructions 42 to implement the steps in the various screen recording method embodiments described above, such as steps S101 through S109 shown in FIG.
  • the processor 40 when executing the computer readable instructions 42, implements the functions of the modules/units in the various apparatus embodiments described above, such as the functions of the modules 301 through 307 shown in FIG.
  • the computer readable instructions 42 may be partitioned into one or more modules/units that are stored in the memory 41 and executed by the processor 40, To complete this application.
  • the one or more modules/units may be a series of computer readable instruction segments capable of performing a particular function, the instruction segments being used to describe the execution of the computer readable instructions 42 in the screen recording terminal device 4.
  • the processor 40 may be a central processing unit (CPU), or may be other general-purpose processors, a digital signal processor (DSP), an application specific integrated circuit (ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic device, discrete gate or transistor logic device, discrete hardware components, etc.
  • the general purpose processor may be a microprocessor or the processor or any conventional processor or the like.
  • the memory 41 may be an internal storage unit of the screen recording terminal device 4, such as a hard disk or a memory of the screen recording terminal device 4.
  • the memory 41 may also be an external storage device of the screen recording terminal device 4, such as a plug-in hard disk equipped on the screen recording terminal device 4, a smart memory card (SMC), and a secure digital (Secure) Digital, SD) cards, flash cards, etc.
  • the memory 41 may also include both an internal storage unit of the screen recording terminal device 4 and an external storage device.
  • the memory 41 is for storing the computer readable instructions and other instructions and data required by the screen recording terminal device 4.
  • the memory 41 can also be used to temporarily store data that has been output or is about to be output.
  • the functional units in the various embodiments of the present application may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the above integrated unit can be implemented in the form of hardware or in the form of a software functional unit.
  • the integrated unit if implemented in the form of a software functional unit and sold or used as a standalone product, may be stored in a computer readable storage medium.
  • a computer readable storage medium A number of computer readable instructions are included to cause a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the methods described in various embodiments of the present application.
  • the foregoing storage medium includes: a U disk, a mobile hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk or an optical disk, and the like, and can store computer readable instructions. Medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于计算机技术领域，尤其涉及一种屏幕录制方法、计算机可读存储介质、终端设备及装置。所述方法包括：按照预设的录制帧率采集在目标屏幕中显示的图像帧序列；从所述图像帧序列中任意选取一帧图像作为基准图像；计算待选图像与所述基准图像之间的图像相似度；若所述图像相似度大于相似度阈值，则将所述待选图像从所述图像帧序列中删除；若所述图像相似度小于或等于相似度阈值，则将所述待选图像确定为新的基准图像；将在所述图像帧序列中所述基准图像的下一帧图像确定为新的待选图像，然后返回执行所述计算待选图像与所述基准图像之间的图像相似度的步骤，直至所述基准图像不存在下一帧图像为止；按照预设的播放帧率播放所述图像帧序列。

Description

屏幕录制方法、计算机可读存储介质、终端设备及装置
本申请要求于2018年1月22日提交中国专利局、申请号为201810060264.4、发明名称为“一种屏幕录制方法、存储介质及终端设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请属于计算机技术领域，尤其涉及一种屏幕录制方法、计算机可读存储介质、终端设备及装置。
背景技术
随着互联网技术的迅速发展，互联网终端的功能也越来丰富。用户在使用互联网终端时常常会希望将整个屏幕内容录制下来保存成视频，并进一步对视频进行编辑或共享，这一功能通常也称为屏幕录制。
现有的屏幕录制技术往往是简单地按照固定的录制帧率来进行屏幕录制，在回放时也以相同的播放帧率来进行播放。但在实际应用中，屏幕内容的变化是不均匀的，有的时候在相当长的一段时间内(几十秒，甚至几分钟)屏幕内容都不会有太大变化，在这段时间内，并不能带给用户新的信息，但是却仍然会占用用户大量的时间。
技术问题
有鉴于此，本申请实施例提供了一种屏幕录制方法、计算机可读存储介质、终端设备及装置，以解决现有的屏幕录制方法在某些时段屏幕内容没有太大变化，不能带给用户新信息时，仍会占用用户大量时间的问题。
技术解决方案
本申请实施例的第一方面提供了一种屏幕录制方法，可以包括：
按照预设的录制帧率采集在目标屏幕中显示的图像帧序列；
从所述图像帧序列中任意选取一帧图像作为基准图像；
计算待选图像与所述基准图像之间的图像相似度，所述待选图像为在所述图像帧序列中所述基准图像的下一帧图像；
若所述待选图像与所述基准图像之间的图像相似度大于预设的相似度阈值，则将所述待选图像从所述图像帧序列中删除；若所述待选图像与所述基准图像之间的图像相似度小于或等于所述相似度阈值，则将所述待选图像确定为新的基准图像；
将在所述图像帧序列中所述基准图像的下一帧图像确定为新的待选图像，然后返回执行所述计算待选图像与所述基准图像之间的图像相似度的步骤，直至所述基准图像不存在下一帧图像为止；
按照预设的播放帧率播放所述图像帧序列。
本申请实施例的第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述屏幕录制方法的步骤。
本申请实施例的第三方面提供了一种屏幕录制终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述屏幕录制方法的步骤。
本申请实施例的第四方面提供了一种屏幕录制装置，可以包括用于实现上述屏幕录制方法的步骤的模块。
有益效果
本申请实施例与现有技术相比存在的有益效果是：本申请实施例按照预设的录制帧率采集在目标屏幕中显示的图像帧序列，从所述图像帧序列中任意选取一帧图像作为基准图像，计算待选图像与所述基准图像之间的图像相似度，所述待选图像为在所述图像帧序列中所述基准图像的下一帧图像，若所述待选图像与所述基准图像之间的图像相似度大于预设的相似度阈值，则说明下一帧图像并没有足够的新信息提供给用户，因此可以将所述待选图像从所述图像帧序列中删除，若所述待选图像与所述基准图像之间的图像相似度小于或等于所述相似度阈值，则说明下一帧图像中有足够的信息提供给用户，因此需将其保留并作为新的基准图像。将在所述图像帧序列中所述基准图像的下一帧图像确定为新的待选图像，并不断重复以上过程，不断地将无用的图像帧删除掉，直至所述基准图像不存在下一帧图像为止，此时即完成了对所述图像帧序列的处理，最后按照预设的播放帧率播放所述图像帧序列，由于无用的图像帧均已被删除掉，大大节省了用户的观看时间。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例中一种屏幕录制方法的一个实施例流程图；
图2为本申请实施例中一种屏幕录制方法的步骤S103在一个应用场景下的示意流程图；
图3为本申请实施例中一种屏幕录制装置的一个实施例结构图；
图4为本申请实施例中一种屏幕录制终端设备的示意框图。
本发明的实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
请参阅图1，本申请实施例中一种屏幕录制方法的一个实施例可以包括：
步骤S101、按照预设的录制帧率采集在目标屏幕中显示的图像帧序列。
一般地，正常的屏幕录制帧率为24帧/秒。可以设置一个可调整的比例系数K，若取K＝2，则以正常速率的两倍，也即48帧/秒采集目标屏幕中显示的图像帧序列。该比例系数可以根据实际情况进行调整。
步骤S102、从所述图像帧序列中任意选取一帧图像作为基准图像。
一般地，可以将选取所述图像帧序列的第一帧图像作为所述基准图像，当然，也可以根据实际情况选取其它帧的图像作为基准图像，本实施例对此不作具体限定。
步骤S103、计算待选图像与所述基准图像之间的图像相似度。
所述待选图像为在所述图像帧序列中所述基准图像的下一帧图像。
可选地，可以通过进行逐个像素的对比来计算所述图像相似度，即计算出每个像素的灰度值，若所述待选图像与所述基准图像在图一位置的像素的灰度值变化超过了预设的阈值，则认为其发生了变化，若未超过阈值，则认为其未发生变化，统计未变化的像素点与像素点总数的比值，将该比值确定为所述待选图像与所述基准图像之间的图像相似度。
优选地，如图2所示，可以通过比较特征向量的方法来计算所述图像相似度：
S1031、计算所述基准图像的第一特征向量。
在本实施例中，可以通过局部二值模式(Local Binary Patterns，LBP)算法来计算所述基准图像的第一特征向量，具体地，构造一种衡量各个像素点与其周围像素点的关系，对所述基准图像中的每个像素，通过计算以其为中心的邻域内各像素和中心像素的大小关系，把像素的灰度值转化为一个八位二进制序列。以中心点的像素值为阈值，如果邻域点的像素值小于中心点，则邻域点被二值化为0，否则为1；将二值化得到的0、1序列看成一个8位二进制数，将该二进制数转化为十进制就可得到中心点处的LBP值。计算出每个像素点的LBP值后，将LBP特征谱的统计直方图确定为所述基准图像的特征向量，也即所述第一特征向量。由于利用了周围点与该点的关系对该点进行量化。量化后可以更有效地消除光照对图像的影响。只要光照的变化不足以改 变两个点像素值之间的大小关系，那么LBP值不会发生变化，即保证了特征信息提取的准确性。
S1032、计算所述待选图像的第二特征向量。
第二特征向量的计算过程同第一特征向量的计算过程类似，具体可参照步骤S1031中的叙述，在此不再赘述。
S1033、计算所述第一特征向量与所述第二特征向量之间的向量相似度。
对所述向量相似度的计算方式可以是多种多样的，下述两种计算方式仅作为示例：
向量相似度计算方式一：
计算所述第一特征向量中各个维度的取值的第一平均值，计算所述第二特征向量中各个维度的取值的第二平均值；将所述第一特征向量中各个维度的取值减去所述第一平均值，得到第三特征向量，将所述第二特征向量中各个维度的取值减去所述第二平均值，得到第四特征向量；计算所述第三特征向量的模，计算所述第四特征向量的模；计算所述第三特征向量的模与所述第四特征向量的模的乘积；计算所述第三特征向量与所述第四特征向量的内积；根据所述内积和所述乘积计算所述第一特征向量与所述第二特征向量之间的向量相似度。
假设所述第一特征向量为X＝(x 1,x 2,x 3,...,x N)，所述第二特征向量为Y＝(y 1,y 2,y 3,...,y N)，其中N为特征向量的维度，则所述向量相似度C(X,Y)可以通过下式计算：
Figure PCTCN2018097519-appb-000001
其中，
Figure PCTCN2018097519-appb-000002
向量相似度计算方式二：
计算所述第一特征向量和所述第二特征向量在各个维度的偏差度，所述偏差度为偏差距离与基准距离之间的比值，所述偏差距离为所述第一特征向量在当前维度的取值与所述第二特征向量在当前维度的取值之差的绝对值，所述基准距离为所述第一特征向量在当前维度的取值的绝对值与所述第二特征向量在当前维度的取值的绝对值之和；计算各个维度的所述偏差度的第三平均值；根据所述第三平均值计算所述第一特征向量与所述第二特征向量之间的向量相似度。
假设所述第一特征向量为X＝(x 1,x 2,x 3,...,x N)，所述第二特征向量为Y＝(y 1,y 2,y 3,...,y N)，其中N为特征向量的维度，则所述向量相似度C(X,Y)可以通过下式计算：
Figure PCTCN2018097519-appb-000003
特别需要说明的是，以上各种计算方式仅为示例，在此基础上还可以衍生出其它的计算方式。
S1034、将所述向量相似度确定为所述待选图像与所述基准图像之间的图像相似度。
步骤S104、判断所述图像相似度是否大于预设的相似度阈值。
若所述待选图像与所述基准图像之间的图像相似度大于所述相似度阈值，则执行步骤S105和步骤S107，若所述待选图像与所述基准图像之间的图像相似度小于或等于所述相似度阈值，则执行步骤S106和步骤S107。
步骤S105、将所述待选图像从所述图像帧序列中删除。
步骤S106、将所述待选图像确定为新的基准图像；
步骤S107、判断所述基准图像是否存在下一帧图像。
若所述基准图像存在下一帧图像，则执行步骤S108，若所述基准图像不存在下一帧图像，则执行步骤S109。
步骤S108、将在所述图像帧序列中所述基准图像的下一帧图像确定为新的待选图像。
在步骤S108之后，返回执行步骤S103及其后续步骤，直至所述基准图像不存在下一帧图像为止。
步骤S109、按照预设的播放帧率播放所述图像帧序列。
一般地，可以设置所述播放帧率为24帧/秒。
进一步地，考虑到在某些特别的屏幕录制场景下，例如在录制游戏过程屏幕的过程中，可能存在主画面并无明显变化，但是对话聊天窗口迅速变化的情况，一般地，对话聊天窗口中的信息用户并不关心。在步骤S103之前，还可以包括：
从所述待选图像中去除指定区域内的子图像，得到参与图像相似度计算的候选图像，所述指定区域为不参与所述图像相似度计算的区域；从所述基准图像中去除所述指定区域内的子图像，得到参与图像相似度计算的基准图像。
即在计算图像相似度时，预设一个不考虑进行计算的特殊区域，在进行计算的过程中，只对其它区域进行计算，从而使得计算结果更符合用户的预期。
综上所述，本申请实施例首先获取目标保险理赔事件的事件类型，然后根据所述事件类型确定对所述目标保险理赔事件进行评估所需的评估维度，并获取所述目标保险理赔事件在确定的各个评估维度上的查勘信息，最后确定与所述事件类型对应的预 设的神经网络模型，并使用所述神经网络模型对所述查勘信息进行处理，得到所述目标保险理赔事件的风险评估值。由于采用神经网络模型替代人工评估，避免了人为因素的干扰，所得结果更加客观，而且所述神经网络模型是使用机器学习算法对大量的特定事件类型的真实样本训练得到的且考虑到了多个评估维度上的查勘信息，考虑更加全面，对特定事件类型的针对性更强，大大提高了评估结果的准确率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的一种屏幕录制方法，图3示出了本申请实施例提供的一种屏幕录制装置的一个实施例结构图。
本实施例中，一种屏幕录制装置可以包括：
图像帧序列采集模块301，用于按照预设的录制帧率采集在目标屏幕中显示的图像帧序列；
基准图像选取模块302，用于从所述图像帧序列中任意选取一帧图像作为基准图像；
图像相似度计算模块303，用于计算待选图像与所述基准图像之间的图像相似度，所述待选图像为在所述图像帧序列中所述基准图像的下一帧图像；
图像删除模块304，用于若所述待选图像与所述基准图像之间的图像相似度大于预设的相似度阈值，则将所述待选图像从所述图像帧序列中删除；
基准图像更新模块305，用于若所述待选图像与所述基准图像之间的图像相似度小于或等于所述相似度阈值，则将所述待选图像确定为新的基准图像；
待选图像更新模块306，用于将在所述图像帧序列中所述基准图像的下一帧图像确定为新的待选图像；
图像帧序列播放模块307，用于按照预设的播放帧率播放所述图像帧序列。
进一步地，所述图像相似度计算模块可以包括：
第一特征向量计算单元，用于计算所述基准图像的第一特征向量；
第二特征向量计算单元，用于计算所述待选图像的第二特征向量；
向量相似度计算单元，用于计算所述第一特征向量与所述第二特征向量之间的向量相似度；
图像相似度确定单元，用于将所述向量相似度确定为所述待选图像与所述基准图像之间的图像相似度。
进一步地，所述向量相似度计算单元可以包括：
第一平均值计算子单元，用于计算所述第一特征向量中各个维度的取值的第一平均值；
第二平均值计算子单元，用于计算所述第二特征向量中各个维度的取值的第二平均值；
第三特征向量计算子单元，用于将所述第一特征向量中各个维度的取值减去所述第一平均值，得到第三特征向量；
第四特征向量计算子单元，用于将所述第二特征向量中各个维度的取值减去所述第二平均值，得到第四特征向量；
第一模计算子单元，用于计算所述第三特征向量的模；
第二模计算子单元，用于计算所述第四特征向量的模；
向量乘积计算子单元，用于计算所述第三特征向量的模与所述第四特征向量的模的乘积；
向量内积计算子单元，用于计算所述第三特征向量与所述第四特征向量的内积；
第一向量相似度计算子单元，用于根据所述内积和所述乘积计算所述第一特征向量与所述第二特征向量之间的向量相似度。
进一步地，所述向量相似度计算单元可以包括：
向量偏差度计算子单元，用于计算所述第一特征向量和所述第二特征向量在各个维度的偏差度，所述偏差度为偏差距离与基准距离之间的比值，所述偏差距离为所述第一特征向量在当前维度的取值与所述第二特征向量在当前维度的取值之差的绝对值，所述基准距离为所述第一特征向量在当前维度的取值的绝对值与所述第二特征向量在当前维度的取值的绝对值之和；
第三平均值计算子单元，用于计算各个维度的所述偏差度的第三平均值；
第二向量相似度计算子单元，用于根据所述第三平均值计算所述第一特征向量与所述第二特征向量之间的向量相似度。
进一步地，所述屏幕录制装置还可以包括：
第一图像处理模块，用于从所述待选图像中去除指定区域内的子图像，得到参与图像相似度计算的候选图像，所述指定区域为不参与所述图像相似度计算的区域；
第二图像处理模块，用于从所述基准图像中去除所述指定区域内的子图像，得到参与图像相似度计算的基准图像。
图4示出了本申请实施例提供的一种屏幕录制终端设备的示意框图，为了便于说 明，仅示出了与本申请实施例相关的部分。
在本实施例中，所述屏幕录制终端设备4可以是手机、平板电脑、桌上电脑及云端服务器等计算设备。该屏幕录制终端设备4可包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机可读指令42，例如执行上述的屏幕录制方法的计算机可读指令。所述处理器40执行所述计算机可读指令42时实现上述各个屏幕录制方法实施例中的步骤，例如图1所示的步骤S101至S109。或者，所述处理器40执行所述计算机可读指令42时实现上述各装置实施例中各模块/单元的功能，例如图3所示模块301至307的功能。
示例性的，所述计算机可读指令42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机可读指令42在所述屏幕录制终端设备4中的执行过程。
所述处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述屏幕录制终端设备4的内部存储单元，例如屏幕录制终端设备4的硬盘或内存。所述存储器41也可以是所述屏幕录制终端设备4的外部存储设备，例如所述屏幕录制终端设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述屏幕录制终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机可读指令以及所述屏幕录制终端设备4所需的其它指令和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产 品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干计算机可读指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储计算机可读指令的介质。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (20)

  1. 一种屏幕录制方法，其特征在于，包括：
    按照预设的录制帧率采集在目标屏幕中显示的图像帧序列；
    从所述图像帧序列中任意选取一帧图像作为基准图像；
    计算待选图像与所述基准图像之间的图像相似度，所述待选图像为在所述图像帧序列中所述基准图像的下一帧图像；
    若所述待选图像与所述基准图像之间的图像相似度大于预设的相似度阈值，则将所述待选图像从所述图像帧序列中删除；若所述待选图像与所述基准图像之间的图像相似度小于或等于所述相似度阈值，则将所述待选图像确定为新的基准图像；
    将在所述图像帧序列中所述基准图像的下一帧图像确定为新的待选图像，然后返回执行所述计算待选图像与所述基准图像之间的图像相似度的步骤，直至所述基准图像不存在下一帧图像为止；
    按照预设的播放帧率播放所述图像帧序列。
  2. 根据权利要求1所述的屏幕录制方法，其特征在于，所述计算待选图像与所述基准图像之间的图像相似度包括：
    计算所述基准图像的第一特征向量；
    计算所述待选图像的第二特征向量；
    计算所述第一特征向量与所述第二特征向量之间的向量相似度；
    将所述向量相似度确定为所述待选图像与所述基准图像之间的图像相似度。
  3. 根据权利要求2所述的屏幕录制方法，其特征在于，所述计算所述第一特征向量与所述第二特征向量之间的向量相似度包括：
    计算所述第一特征向量中各个维度的取值的第一平均值；
    计算所述第二特征向量中各个维度的取值的第二平均值；
    将所述第一特征向量中各个维度的取值减去所述第一平均值，得到第三特征向量；
    将所述第二特征向量中各个维度的取值减去所述第二平均值，得到第四特征向量；
    计算所述第三特征向量的模；
    计算所述第四特征向量的模；
    计算所述第三特征向量的模与所述第四特征向量的模的乘积；
    计算所述第三特征向量与所述第四特征向量的内积；
    根据所述内积和所述乘积计算所述第一特征向量与所述第二特征向量之间的向量相似度。
  4. 根据权利要求2所述的屏幕录制方法，其特征在于，所述计算所述第一特征向 量与所述第二特征向量之间的向量相似度包括：
    计算所述第一特征向量和所述第二特征向量在各个维度的偏差度，所述偏差度为偏差距离与基准距离之间的比值，所述偏差距离为所述第一特征向量在当前维度的取值与所述第二特征向量在当前维度的取值之差的绝对值，所述基准距离为所述第一特征向量在当前维度的取值的绝对值与所述第二特征向量在当前维度的取值的绝对值之和；
    计算各个维度的所述偏差度的第三平均值；
    根据所述第三平均值计算所述第一特征向量与所述第二特征向量之间的向量相似度。
  5. 根据权利要求1至4中任一项所述的屏幕录制方法，其特征在于，在计算待选图像与所述基准图像之间的图像相似度之前，还包括：
    从所述待选图像中去除指定区域内的子图像，得到参与图像相似度计算的候选图像，所述指定区域为不参与所述图像相似度计算的区域；
    从所述基准图像中去除所述指定区域内的子图像，得到参与图像相似度计算的基准图像。
  6. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如下步骤：
    按照预设的录制帧率采集在目标屏幕中显示的图像帧序列；
    从所述图像帧序列中任意选取一帧图像作为基准图像；
    计算待选图像与所述基准图像之间的图像相似度，所述待选图像为在所述图像帧序列中所述基准图像的下一帧图像；
    若所述待选图像与所述基准图像之间的图像相似度大于预设的相似度阈值，则将所述待选图像从所述图像帧序列中删除；若所述待选图像与所述基准图像之间的图像相似度小于或等于所述相似度阈值，则将所述待选图像确定为新的基准图像；
    将在所述图像帧序列中所述基准图像的下一帧图像确定为新的待选图像，然后返回执行所述计算待选图像与所述基准图像之间的图像相似度的步骤，直至所述基准图像不存在下一帧图像为止；
    按照预设的播放帧率播放所述图像帧序列。
  7. 根据权利要求6所述的计算机可读存储介质，其特征在于，所述计算待选图像与所述基准图像之间的图像相似度包括：
    计算所述基准图像的第一特征向量；
    计算所述待选图像的第二特征向量；
    计算所述第一特征向量与所述第二特征向量之间的向量相似度；
    将所述向量相似度确定为所述待选图像与所述基准图像之间的图像相似度。
  8. 根据权利要求7所述的计算机可读存储介质，其特征在于，所述计算所述第一特征向量与所述第二特征向量之间的向量相似度包括：
    计算所述第一特征向量中各个维度的取值的第一平均值；
    计算所述第二特征向量中各个维度的取值的第二平均值；
    将所述第一特征向量中各个维度的取值减去所述第一平均值，得到第三特征向量；
    将所述第二特征向量中各个维度的取值减去所述第二平均值，得到第四特征向量；
    计算所述第三特征向量的模；
    计算所述第四特征向量的模；
    计算所述第三特征向量的模与所述第四特征向量的模的乘积；
    计算所述第三特征向量与所述第四特征向量的内积；
    根据所述内积和所述乘积计算所述第一特征向量与所述第二特征向量之间的向量相似度。
  9. 根据权利要求7所述的计算机可读存储介质，其特征在于，所述计算所述第一特征向量与所述第二特征向量之间的向量相似度包括：
    计算所述第一特征向量和所述第二特征向量在各个维度的偏差度，所述偏差度为偏差距离与基准距离之间的比值，所述偏差距离为所述第一特征向量在当前维度的取值与所述第二特征向量在当前维度的取值之差的绝对值，所述基准距离为所述第一特征向量在当前维度的取值的绝对值与所述第二特征向量在当前维度的取值的绝对值之和；
    计算各个维度的所述偏差度的第三平均值；
    根据所述第三平均值计算所述第一特征向量与所述第二特征向量之间的向量相似度。
  10. 根据权利要求6至9中任一项所述的计算机可读存储介质，其特征在于，在计算待选图像与所述基准图像之间的图像相似度之前，还包括：
    从所述待选图像中去除指定区域内的子图像，得到参与图像相似度计算的候选图像，所述指定区域为不参与所述图像相似度计算的区域；
    从所述基准图像中去除所述指定区域内的子图像，得到参与图像相似度计算的基准图像。
  11. 一种屏幕录制终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读 指令时实现如下步骤：
    按照预设的录制帧率采集在目标屏幕中显示的图像帧序列；
    从所述图像帧序列中任意选取一帧图像作为基准图像；
    计算待选图像与所述基准图像之间的图像相似度，所述待选图像为在所述图像帧序列中所述基准图像的下一帧图像；
    若所述待选图像与所述基准图像之间的图像相似度大于预设的相似度阈值，则将所述待选图像从所述图像帧序列中删除；若所述待选图像与所述基准图像之间的图像相似度小于或等于所述相似度阈值，则将所述待选图像确定为新的基准图像；
    将在所述图像帧序列中所述基准图像的下一帧图像确定为新的待选图像，然后返回执行所述计算待选图像与所述基准图像之间的图像相似度的步骤，直至所述基准图像不存在下一帧图像为止；
    按照预设的播放帧率播放所述图像帧序列。
  12. 根据权利要求11所述的屏幕录制终端设备，其特征在于，所述计算待选图像与所述基准图像之间的图像相似度包括：
    计算所述基准图像的第一特征向量；
    计算所述待选图像的第二特征向量；
    计算所述第一特征向量与所述第二特征向量之间的向量相似度；
    将所述向量相似度确定为所述待选图像与所述基准图像之间的图像相似度。
  13. 根据权利要求12中所述的屏幕录制终端设备，其特征在于，所述计算所述第一特征向量与所述第二特征向量之间的向量相似度包括：
    计算所述第一特征向量中各个维度的取值的第一平均值；
    计算所述第二特征向量中各个维度的取值的第二平均值；
    将所述第一特征向量中各个维度的取值减去所述第一平均值，得到第三特征向量；
    将所述第二特征向量中各个维度的取值减去所述第二平均值，得到第四特征向量；
    计算所述第三特征向量的模；
    计算所述第四特征向量的模；
    计算所述第三特征向量的模与所述第四特征向量的模的乘积；
    计算所述第三特征向量与所述第四特征向量的内积；
    根据所述内积和所述乘积计算所述第一特征向量与所述第二特征向量之间的向量相似度。
  14. 根据权利要求12所述的屏幕录制终端设备，其特征在于，所述计算所述第一特征向量与所述第二特征向量之间的向量相似度包括：
    计算所述第一特征向量和所述第二特征向量在各个维度的偏差度，所述偏差度为偏差距离与基准距离之间的比值，所述偏差距离为所述第一特征向量在当前维度的取值与所述第二特征向量在当前维度的取值之差的绝对值，所述基准距离为所述第一特征向量在当前维度的取值的绝对值与所述第二特征向量在当前维度的取值的绝对值之和；
    计算各个维度的所述偏差度的第三平均值；
    根据所述第三平均值计算所述第一特征向量与所述第二特征向量之间的向量相似度。
  15. 根据权利要求11至14中任一项所述的屏幕录制终端设备，其特征在于，在计算待选图像与所述基准图像之间的图像相似度之前，还包括：
    从所述待选图像中去除指定区域内的子图像，得到参与图像相似度计算的候选图像，所述指定区域为不参与所述图像相似度计算的区域；
    从所述基准图像中去除所述指定区域内的子图像，得到参与图像相似度计算的基准图像。
  16. 一种屏幕录制装置，其特征在于，包括：
    图像帧序列采集模块，用于按照预设的录制帧率采集在目标屏幕中显示的图像帧序列；
    基准图像选取模块，用于从所述图像帧序列中任意选取一帧图像作为基准图像；
    图像相似度计算模块，用于计算待选图像与所述基准图像之间的图像相似度，所述待选图像为在所述图像帧序列中所述基准图像的下一帧图像；
    图像删除模块，用于若所述待选图像与所述基准图像之间的图像相似度大于预设的相似度阈值，则将所述待选图像从所述图像帧序列中删除；
    基准图像更新模块，用于若所述待选图像与所述基准图像之间的图像相似度小于或等于所述相似度阈值，则将所述待选图像确定为新的基准图像；
    待选图像更新模块，用于将在所述图像帧序列中所述基准图像的下一帧图像确定为新的待选图像；
    图像帧序列播放模块，用于按照预设的播放帧率播放所述图像帧序列。
  17. 根据权利要求16所述的屏幕录制装置，其特征在于，所述图像相似度计算模块包括：
    第一特征向量计算单元，用于计算所述基准图像的第一特征向量；
    第二特征向量计算单元，用于计算所述待选图像的第二特征向量；
    向量相似度计算单元，用于计算所述第一特征向量与所述第二特征向量之间的向 量相似度；
    图像相似度确定单元，用于将所述向量相似度确定为所述待选图像与所述基准图像之间的图像相似度。
  18. 根据权利要求17所述的屏幕录制装置，其特征在于，所述向量相似度计算单元包括：
    第一平均值计算子单元，用于计算所述第一特征向量中各个维度的取值的第一平均值；
    第二平均值计算子单元，用于计算所述第二特征向量中各个维度的取值的第二平均值；
    第三特征向量计算子单元，用于将所述第一特征向量中各个维度的取值减去所述第一平均值，得到第三特征向量；
    第四特征向量计算子单元，用于将所述第二特征向量中各个维度的取值减去所述第二平均值，得到第四特征向量；
    第一模计算子单元，用于计算所述第三特征向量的模；
    第二模计算子单元，用于计算所述第四特征向量的模；
    向量乘积计算子单元，用于计算所述第三特征向量的模与所述第四特征向量的模的乘积；
    向量内积计算子单元，用于计算所述第三特征向量与所述第四特征向量的内积；
    第一向量相似度计算子单元，用于根据所述内积和所述乘积计算所述第一特征向量与所述第二特征向量之间的向量相似度。
  19. 根据权利要求17所述的屏幕录制装置，其特征在于，所述向量相似度计算单元包括：
    向量偏差度计算子单元，用于计算所述第一特征向量和所述第二特征向量在各个维度的偏差度，所述偏差度为偏差距离与基准距离之间的比值，所述偏差距离为所述第一特征向量在当前维度的取值与所述第二特征向量在当前维度的取值之差的绝对值，所述基准距离为所述第一特征向量在当前维度的取值的绝对值与所述第二特征向量在当前维度的取值的绝对值之和；
    第三平均值计算子单元，用于计算各个维度的所述偏差度的第三平均值；
    第二向量相似度计算子单元，用于根据所述第三平均值计算所述第一特征向量与所述第二特征向量之间的向量相似度。
  20. 根据权利要求16至19中任一项所述的屏幕录制装置，其特征在于，还包括：
    第一图像处理模块，用于从所述待选图像中去除指定区域内的子图像，得到参与 图像相似度计算的候选图像，所述指定区域为不参与所述图像相似度计算的区域；
    第二图像处理模块，用于从所述基准图像中去除所述指定区域内的子图像，得到参与图像相似度计算的基准图像。
PCT/CN2018/097519 2018-01-22 2018-07-27 屏幕录制方法、计算机可读存储介质、终端设备及装置 WO2019140880A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810060264.4 2018-01-22
CN201810060264.4A CN108337551B (zh) 2018-01-22 2018-01-22 一种屏幕录制方法、存储介质及终端设备

Publications (1)

Publication Number Publication Date
WO2019140880A1 true WO2019140880A1 (zh) 2019-07-25

Family

ID=62925510

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/097519 WO2019140880A1 (zh) 2018-01-22 2018-07-27 屏幕录制方法、计算机可读存储介质、终端设备及装置

Country Status (2)

Country Link
CN (1) CN108337551B (zh)
WO (1) WO2019140880A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110865911A (zh) * 2019-10-23 2020-03-06 广州视源电子科技股份有限公司 图像测试方法、装置、存储介质、图像采集卡及上位机
CN112672201A (zh) * 2020-12-18 2021-04-16 努比亚技术有限公司 一种录屏帧率控制方法、设备及计算机可读存储介质
CN113688850A (zh) * 2020-05-14 2021-11-23 武汉Tcl集团工业研究院有限公司 一种图像处理的方法及终端
CN113808175A (zh) * 2021-08-31 2021-12-17 数坤（北京）网络科技有限公司 一种图像配准方法、装置、设备及可读存储介质
CN114189646A (zh) * 2020-09-15 2022-03-15 深圳市万普拉斯科技有限公司 终端控制方法、装置、电子设备和存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299000A (zh) * 2018-08-22 2019-02-01 中国平安人寿保险股份有限公司 一种网页响应测试方法、计算机可读存储介质及终端设备
CN109299692A (zh) * 2018-09-26 2019-02-01 深圳壹账通智能科技有限公司 一种身份识别方法、计算机可读存储介质及终端设备
CN109711250B (zh) * 2018-11-13 2024-02-02 深圳市深网视界科技有限公司 特征向量二值化、相似度评价、检索方法、设备和介质
CN109547989A (zh) * 2018-12-17 2019-03-29 深圳壹账通智能科技有限公司 基于指纹识别的蓝牙配对方法、装置、介质及终端设备
CN111866514B (zh) * 2019-04-25 2022-06-03 中国移动通信集团贵州有限公司 一种压缩视频、解压视频的方法和装置
CN111144241B (zh) * 2019-12-13 2023-06-20 深圳奇迹智慧网络有限公司 基于图像校验的目标识别方法、装置和计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8509538B2 (en) * 2007-12-20 2013-08-13 Intel Corporation Method and apparatus for obtaining and processing Gabor image features
CN105045900A (zh) * 2015-08-05 2015-11-11 石河子大学 数据提取的方法及装置
CN106658119A (zh) * 2017-01-10 2017-05-10 网易（杭州）网络有限公司 视频应用测试方法及装置
CN106910207A (zh) * 2017-02-27 2017-06-30 网易（杭州）网络有限公司 用于识别图像局部区域的方法、装置及终端设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070061727A1 (en) * 2005-09-15 2007-03-15 Honeywell International Inc. Adaptive key frame extraction from video data
JP2012110400A (ja) * 2010-11-22 2012-06-14 Konica Minolta Medical & Graphic Inc 動態診断支援情報生成システム
CN104079926B (zh) * 2014-07-04 2016-02-17 南京富士通南大软件技术有限公司 一种远程桌面软件的视频性能测试方法
CN106559631A (zh) * 2015-09-30 2017-04-05 小米科技有限责任公司 视频处理方法及装置
CN107229402B (zh) * 2017-05-22 2021-08-10 努比亚技术有限公司 终端的动态截屏方法、装置及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8509538B2 (en) * 2007-12-20 2013-08-13 Intel Corporation Method and apparatus for obtaining and processing Gabor image features
CN105045900A (zh) * 2015-08-05 2015-11-11 石河子大学 数据提取的方法及装置
CN106658119A (zh) * 2017-01-10 2017-05-10 网易（杭州）网络有限公司 视频应用测试方法及装置
CN106910207A (zh) * 2017-02-27 2017-06-30 网易（杭州）网络有限公司 用于识别图像局部区域的方法、装置及终端设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110865911A (zh) * 2019-10-23 2020-03-06 广州视源电子科技股份有限公司 图像测试方法、装置、存储介质、图像采集卡及上位机
CN110865911B (zh) * 2019-10-23 2024-03-05 广州视源电子科技股份有限公司 图像测试方法、装置、存储介质、图像采集卡及上位机
CN113688850A (zh) * 2020-05-14 2021-11-23 武汉Tcl集团工业研究院有限公司 一种图像处理的方法及终端
CN114189646A (zh) * 2020-09-15 2022-03-15 深圳市万普拉斯科技有限公司 终端控制方法、装置、电子设备和存储介质
CN114189646B (zh) * 2020-09-15 2023-03-21 深圳市万普拉斯科技有限公司 终端控制方法、装置、电子设备和存储介质
CN112672201A (zh) * 2020-12-18 2021-04-16 努比亚技术有限公司 一种录屏帧率控制方法、设备及计算机可读存储介质
CN112672201B (zh) * 2020-12-18 2023-12-12 努比亚技术有限公司 一种录屏帧率控制方法、设备及计算机可读存储介质
CN113808175A (zh) * 2021-08-31 2021-12-17 数坤（北京）网络科技有限公司 一种图像配准方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN108337551A (zh) 2018-07-27
CN108337551B (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
WO2019140880A1 (zh) 屏幕录制方法、计算机可读存储介质、终端设备及装置
US10728553B2 (en) Visual quality preserving quantization parameter prediction with deep neural network
US9330334B2 (en) Iterative saliency map estimation
US9299004B2 (en) Image foreground detection
US20210248356A1 (en) Method and apparatus for face recognition
US10019823B2 (en) Combined composition and change-based models for image cropping
CN111814620B (zh) 人脸图像质量评价模型建立方法、优选方法、介质及装置
Moorthy et al. Towards computational models of the visual aesthetic appeal of consumer videos
US11176355B2 (en) Facial image processing method and apparatus, electronic device and computer readable storage medium
US20110268369A1 (en) Generating a combined image from multiple images
WO2022042135A1 (zh) 人脸图像的选择方法、装置、设备及存储介质
WO2020056903A1 (zh) 用于生成信息的方法和装置
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
US10055671B2 (en) Automatic assessment of perceptual visual quality of different image sets
WO2021027325A1 (zh) 视频相似度获取方法、装置、计算机设备及存储介质
CN111127309B (zh) 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
US20100092026A1 (en) Method, apparatus and computer program product for providing pattern detection with unknown noise levels
JP2001325593A (ja) 自動アルバム化システムにおける重複写真検知方法
CN112818737A (zh) 视频识别方法、装置、存储介质及终端
JP2014215925A (ja) 画像処理装置、画像処理方法、画像処理制御プログラム、および記録媒体
CN111062426A (zh) 一种建立训练集的方法、装置、电子设备以及介质
CN109271929B (zh) 检测方法和装置
CN111161314A (zh) 目标对象的位置区域确定方法、装置、电子设备及存储介质
Xie et al. Hand detection using robust color correction and gaussian mixture model
WO2024011853A1 (zh) 人体图像质量检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18901734

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 18.11.2020)

122 Ep: pct application non-entry in european phase

Ref document number: 18901734

Country of ref document: EP

Kind code of ref document: A1