WO2023056896A1 - 清晰度的确定方法、装置及设备 - Google Patents
清晰度的确定方法、装置及设备 Download PDFInfo
- Publication number
- WO2023056896A1 WO2023056896A1 PCT/CN2022/123261 CN2022123261W WO2023056896A1 WO 2023056896 A1 WO2023056896 A1 WO 2023056896A1 CN 2022123261 W CN2022123261 W CN 2022123261W WO 2023056896 A1 WO2023056896 A1 WO 2023056896A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- video frame
- sequence
- frame sequence
- received video
- received
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
Definitions
- the present application relates to the technical field of the Internet, and in particular to a method, device and equipment for determining clarity.
- the clarity of the video received by the receiving end is a very important evaluation dimension. Often, human involvement is required to determine the clarity of the video received at the receiving end. However, there is a problem of high labor costs in the way of manually participating in the definition determination.
- the embodiments of the present application provide a definition determination method, device and equipment, which are used to solve the problem of high labor cost in the way of manual participation in definition determination in the prior art.
- the embodiment of the present application provides a method for determining clarity, including: acquiring the reference video frame sequence of the sending end and the received video frame sequence played by the receiving end correspondingly, and the video frames in the reference video frame sequence and the received video frame sequence There is a frame identifier, and the same frame identifier corresponds to the same video frame; according to the frame identifier of the received video frame in the received video frame sequence, the reference video frame corresponding to the received video frame is determined from the reference video frame sequence; according to the received video frame sequence.
- the received video frame and its corresponding reference video frame are calculated using a reference image definition evaluation algorithm to obtain the definition of the received video frame.
- the embodiment of the present application also provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, the computer program includes at least one piece of code, at least one piece of code can be executed by a computer, so as to control the computer to execute any one of the first aspect Methods.
- the embodiment of the present application also provides a computer program, which is used to implement the method according to any one of the first aspect when the computer program is executed by a computer.
- FIG. 1 is a schematic diagram of an application scenario of an embodiment of the present application
- FIG. 3 is a schematic flowchart of a method for determining clarity provided by an embodiment of the present application
- FIG. 4A is a schematic diagram of a video frame provided by an embodiment of the present application.
- FIG. 6A is a schematic diagram of determining a target reference video frame sequence and a target receiving video frame sequence provided by an embodiment of the present application
- FIG. 8A is a picture of a video frame provided by an embodiment of the present application.
- FIG. 8B is a picture of a video frame provided by another embodiment of the present application.
- FIG. 9 is a schematic diagram of splitting a test video frame sequence into multiple subsequences provided by an embodiment of the present application.
- FIG. 11 is a schematic structural diagram of an electronic device provided by an embodiment of the present application.
- the words “if”, “if” as used herein may be interpreted as “at” or “when” or “in response to determining” or “in response to detecting”.
- the phrases “if determined” or “if detected (the stated condition or event)” could be interpreted as “when determined” or “in response to the determination” or “when detected (the stated condition or event) )” or “in response to detection of (a stated condition or event)”.
- the definition method commonly used in the related art requires manual participation in determining the definition of the video received at the receiving end, and the labor cost is relatively high.
- methods 1 and 2 are specifically shown in the following methods for manually participating in determining the clarity.
- Method 1 select a group of observers, let them watch a "video pair" composed of multiple reference videos and distorted videos in a specific controlled environment, and watch the reference video first, and then watch the distorted video each time.
- the observer judges the overall impression of the video, expresses the judgment with a defined subjective degree, and scores the clarity effect of the video.
- the score is a 5-point system, and the scoring standards are shown in Table 1 below.
- Method 2 use the speaker wire part in the resolution test chart to evaluate the definition, cut out this part and embed it in the video, get a video containing the speaker wire part, and evaluate the clarity by observing the speaker wire in the video at the receiving end . Since the use of speaker wires requires manual reading of data, testers are required to participate.
- the definition method provided by this application can save labor costs by using technical means.
- an electronic device 14 other than the sending end 11 and the receiving end 12 is used as an example to execute the method provided by the embodiment of the present application. It can be understood that in other embodiments, the sending end 11 or the receiving end 12 can also The receiving end 12 executes the method provided in the embodiment of the present application.
- the method for determining the definition obtained by the embodiment of the present application obtains the reference video frame sequence of the sending end and the received video frame sequence played by the receiving end correspondingly, and the video frames in the reference video frame sequence and the received video frame sequence have frame identifiers, and are identical
- the frame identifier corresponds to the same video frame.
- the reference video frame corresponding to the received video frame is determined from the reference video frame sequence.
- the received video frame in the received video frame sequence and its corresponding The reference video frame using the reference image definition evaluation algorithm, calculates the definition of the received video frame, and realizes the automatic determination of the definition of the video frame at the receiving end without manual participation, thereby saving labor costs.
- step 21 the reference video frame sequence of the sending end and the receiving video frame sequence played by the receiving end are obtained, the video frames in the reference video frame sequence and the receiving video frame sequence have frame identifiers, and the same frame identifier corresponds to the same video frame;
- the test video frame sequence is a video frame sequence that is pre-made with a frame identification mark and used for testing the clarity of the receiving end in the video system.
- the specific manner of marking the frame identifier can be implemented flexibly.
- the frame identification of the test video frame sequence is included in the target area of the video frame in the form of image content.
- the reference video frame sequence and the frame identification of the video frame in the received video frame sequence may be included in the target area of the video frame in the form of image content.
- the test video frame sequence can be obtained by replacing the image content in the target area of each video frame in the original video frame sequence with the frame identification content.
- the video frame shown in FIG. 4B can be obtained.
- the image content "0123" in the target area in FIG. 4B is the frame identifier of the video frame.
- a wireless cloud router that implements the TC module—C1B router can be used to simulate a weak network environment.
- the sending end can be connected to the WAN port of the CIB router, the receiving end can be connected to the LAN port of the C1B router, and the C1B router is connected to the Internet.
- the weak network environment can be simulated by controlling the TC module of the C1B router.
- the TC module controls the export, and the WAN port and the LAN port of the C1B router can be the export of each other, so by using the WAN port and the LAN port of the C1B router as the export of each other, the sending end and the LAN port can be realized by controlling the TC module. Bi-directional flow control between receivers.
- the weak network environment may also be obtained in other ways, which is not limited in this application.
- a hardware hook technology may be used to inject the test video frame sequence into the sending end of the video system.
- the original video frame sequence can be collected by a terminal, and the original video frame sequence can be marked to obtain a test video frame sequence.
- the video capture card is connected to the terminal and the test video frame sequence is collected from the terminal.
- the video capture card is connected to the sending end And as a video acquisition device at the sending end, it is possible to inject test video frames into the sending end by using a hardware hook technology.
- the "video playback hook” in Fig. 3 can acquire the received video frame sequence at the receiving end by means of software hook technology.
- the receiving end can render the video data by calling the rendering function provided by the operating system, and the "video playback hook” module can obtain the The sequence of received video frames at the receiver.
- a hardware-based hook technology may be used to obtain the received video frame sequence at the receiving end.
- the receiving end can be connected with the video acquisition card, and the video acquisition card acquires the received video frame sequence from the receiving end.
- the frame identifier in the case that the frame identifier is included in the target area of the video frame in the form of image content, before step 22, it may also include: respectively identifying the reference video frame sequence and the received video frame sequence in each video frame The image content of the target area to obtain the frame identification of each video frame in the reference video frame sequence and the received video frame sequence.
- the recognition technology adopted can be, for example, optical character recognition (Optical Character Recognition, OCR), target detection technology, etc. Of course, in other embodiments, other types of technologies can also be used to identify the image content of the target area. No limit.
- the received video frame and its corresponding reference video frame can be calculated by using a reference image sharpness evaluation algorithm to obtain the received video frame.
- the sharpness of the video frame is determined in the reference video frame sequence.
- a certain video frame may exist in the reference video frame sequence but not in the received video frame sequence due to reasons such as packet loss.
- a certain video frame exists in the received video frame sequence but does not exist in the reference video frame sequence.
- the reference video frame sequence is the video frame sequence obtained by the sender's local rendering of the test video frame sequence
- frame loss may occur when the video frame sequence obtained by the local rendering is obtained through the hook technology, so some A video frame exists in the sequence of received video frames but not in the sequence of reference video frames.
- step 23 may include: arranging the specific frame identification sequence of the target reference video frame corresponding to the received video frame in the reference video frame sequence to obtain the target reference video frame sequence;
- the target received video frames of the video frames are arranged in a specific frame identification order to obtain the target received video frame sequence;
- Frame use the reference image sharpness evaluation algorithm to calculate the sharpness of the target received video frame.
- the target reference video frame sequence can be obtained only according to the received video frame sequence and the reference video frame sequence, and the target received video frame sequence can be compared with Receive the same video frame sequence.
- the obtained target reference video frame sequence may be a video frame sequence composed of video frames whose frame identifiers are 1, 2 and 3 in the reference video frame sequence.
- M ⁇ N indicates that the video frame X and the video frame Y are both M ⁇ N images
- x ij indicates the pixel value of the pixel whose pixel coordinates are (i, j) in the video frame X
- y ij indicates the pixel value in the video frame Y The pixel value of the pixel with coordinates (i, j).
- the method for determining the definition provided by the embodiment of the present application obtains the reference video frame sequence of the sending end and the received video frame sequence played by the receiving end correspondingly, for the received video frame in the received video frame sequence, according to the frame identification of the received video frame from Determining the reference video frame corresponding to the received video frame in the reference video frame sequence, and according to the received video frame in the received video frame sequence and its corresponding reference video frame, using a reference image definition evaluation algorithm to calculate the received video frame
- the clarity of the video frame at the receiving end is automatically determined without manual participation, which can save labor costs.
- the evaluation module 103 is configured to calculate the definition of the received video frame by using a reference image definition evaluation algorithm based on the received video frame and its corresponding reference video frame in the sequence of received video frames.
- the evaluation module 103 is configured to: arrange the sequence of specific frame identifiers of the target reference video frames corresponding to the received video frames in the reference video frame sequence to obtain the target reference video frame sequence;
- the target receiving video frames corresponding to the reference video frames are arranged in a specific frame identification order to obtain a target receiving video frame sequence; Refer to the video frame and use the referenced image sharpness evaluation algorithm to calculate the sharpness of the target received video frame.
- the device further includes a statistics module, which is used to perform statistical calculations on the sharpness of multiple received video frames in the sequence of received video frames to obtain sharpness statistical results.
- test video frame sequence sent from the sending end to the receiving end is divided into multiple subsequences, and the statistical module is used to: use each subsequence as a unit to determine the clearness of multiple received video frames corresponding to the same subsequence
- the sharpness statistics are carried out to obtain the clearness statistical results corresponding to multiple subsequences respectively.
- the device shown in FIG. 10 can execute the method provided by the embodiment shown in FIG. 2 .
- the parts not described in detail in this embodiment refer to the relevant description of the embodiment shown in FIG. 2 .
- the structure of the apparatus for determining the sharpness shown in FIG. 10 may be implemented as an electronic device.
- the electronic device may include: a processor 111 and a memory 112 .
- the memory 112 is used to store a program that supports the electronic device to execute the method for determining the clarity provided in the above embodiment shown in FIG. 2
- the processor 111 is configured to execute the program stored in the memory 112 .
- the program includes one or more computer instructions, wherein, when the one or more computer instructions are executed by the processor 111, the following steps can be implemented: obtain the reference video frame sequence of the sending end and the received video frame sequence played by the receiving end correspondingly, and refer to the video frame sequence and the video frame in the received video frame sequence has a frame identifier, and the same frame identifier corresponds to the same video frame; according to the frame identifier of the received video frame in the received video frame sequence, determine the reference video corresponding to the received video frame from the reference video frame sequence frame; according to the received video frame in the received video frame sequence and its corresponding reference video frame, the definition of the received video frame is calculated by using a reference image definition evaluation algorithm.
- the processor 111 is further configured to execute all or part of the steps in the foregoing embodiment shown in FIG. 2 .
- the structure of the electronic device may further include a communication interface 113 for the electronic device to communicate with other devices or a communication network.
- an embodiment of the present application provides a computer storage medium for storing computer software instructions used by an electronic device, which includes a program for executing the method for determining clarity in the above method embodiment shown in FIG. 2 .
- the method, device, and equipment for determining the definition obtained the reference video frame sequence of the sending end and the received video frame sequence played by the receiving end correspondingly, and for the received video frame in the received video frame sequence, according to the received video frame sequence
- the frame identification determines the reference video frame corresponding to the received video frame from the reference video frame sequence, and according to the received video frame in the received video frame sequence and its corresponding reference video frame, using a reference image definition evaluation algorithm, the calculation is obtained
- the resolution of the received video frame realizes automatic determination of the resolution of the video frame at the receiving end without manual participation, thereby saving labor costs.
- the device embodiments described above are only illustrative, and the units described as separate components may or may not be physically separated, and the components shown as units may or may not be physical units, that is, they may be located in one place , or can also be distributed to multiple network elements. Part or all of the modules can be selected according to actual needs to achieve the purpose of the solution of this embodiment. It can be understood and implemented by those skilled in the art without any creative efforts.
- each embodiment can be realized by means of a general hardware platform plus necessary, and of course, can also be realized by a combination of hardware and software.
- the above-mentioned technical solution essentially or the part that contributes to the prior art can be embodied in the form of a computer product, and this application can adopt one or more computer-usable storage devices that contain computer-usable program codes.
- media including but not limited to disk storage, CD-ROM, optical storage, etc.
- These computer program instructions may also be stored in a computer-readable memory capable of directing a computer or other programmable device to operate in a specific manner, such that the instructions stored in the computer-readable memory produce an article of manufacture comprising instruction means implementing A function specified in a process flow or processes and/or a block or blocks in a block diagram.
- These computer program instructions may also be loaded onto a computer or other programmable device, causing a series of operational steps to be performed on the computer or other programmable device to produce a computer-implemented process, whereby the instructions executed on the computer or other programmable device provide Steps for realizing the functions specified in the flow chart or flow charts and/or block diagram block or blocks.
- a computing device includes one or more processors (CPUs), input/output interfaces, network interfaces, and memory.
- processors CPUs
- input/output interfaces network interfaces
- memory volatile and non-volatile memory
- Memory may include non-permanent storage in computer-readable media, in the form of random access memory (RAM) and/or nonvolatile memory such as read-only memory (ROM) or flash RAM. Memory is an example of computer readable media.
- RAM random access memory
- ROM read-only memory
- flash RAM flash random access memory
- Computer-readable media including both permanent and non-permanent, removable and non-removable media, can be implemented by any method or technology for storage of information.
- Information may be computer readable instructions, data structures, modules of a program, or other data.
- Examples of computer storage media include, but are not limited to, phase change memory (PRAM), static random access memory (SRAM), dynamic random access memory (DRAM), other types of random access memory (RAM), read only memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Flash memory or other memory technology, Compact Disc Read-Only Memory (CD-ROM), Digital Versatile Disc (DVD) or other optical storage, Magnetic tape cartridge, tape magnetic disk storage or other magnetic storage device or any other non-transmission medium that can be used to store information that can be accessed by a computing device.
- computer-readable media excludes transitory computer-readable media, such as modulated data signals and carrier waves.
Abstract
本申请实施例提供一种清晰度的确定方法、装置及设备。该方法包括：获取发送端的参考视频帧序列以及接收端对应播放的接收视频帧序列，针对接收视频帧序列中的接收视频帧，根据接收视频帧的帧标识从参考视频帧序列中确定与接收视频帧对应的参考视频帧，并根据接收视频帧序列中的接收视频帧及其对应的参考视频帧，采用有参考的图像清晰度评估算法，计算得到接收视频帧的清晰度。本申请能够节省人工成本。
Description
本申请要求于2021年10月8日提交中国专利局、申请号为202111172751.8、发明名称为“清晰度的确定方法、装置及设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
本申请涉及互联网技术领域，尤其涉及一种清晰度的确定方法、装置及设备。
随着互联网技术的不断发展，视频会议系统、视频直播系统等视频系统的应用也越来越广泛。
在视频系统的视频质量评估体系中，接收端所接收视频的清晰度是非常重要的一个评估维度。通常，需要人工参与确定接收端所接收视频的清晰度。然而，人工参与清晰度确定的方式，存在人工成本较高的问题。
发明内容
本申请实施例提供一种清晰度的确定方法、装置及设备，用以解决现有技术中人工参与清晰度确定的方式，人工成本较高的问题。
第一方面，本申请实施例提供一种清晰度的确定方法，包括：获取发送端的参考视频帧序列以及接收端对应播放的接收视频帧序列，参考视频帧序列和接收视频帧序列中的视频帧具有帧标识，且同一帧标识对应同一视频帧；根据接收视频帧序列中接收视频帧的帧标识，从参考视频帧序列中确定与接收视频帧对应的参考视频帧；根据接收视频帧序列中的接收视频帧及其对应的参考视频帧，采用有参考的图像清晰度评估算法，计算得到接收视频帧的清晰度。
第二方面，本申请实施例提供一种清晰度的确定装置，包括：获取模块，用于获取发送端的参考视频帧序列以及接收端对应播放的接收视频帧序列，参考视频帧序列和接收视频帧序列中的视频帧具有帧标识，且同一帧标识对应同一视频帧；确定模块，用于根据接收视频帧序列中接收视频帧的帧标识，从参考视频帧序列中确定与接收视频帧对应的参考视频帧；评估模块，用于根据接收视频帧序列中的接收视频帧及其对应的参考视频帧，采用有参考的图像清晰度评估算法，计算得到接收视频帧的清晰度。
第三方面，本申请实施例提供一种电子设备，包括：存储器、处理器；其中，存储器用于存储一条或多条计算机指令，其中，一条或多条计算机指令被处理器执行时实现如第一方面中任一项的方法。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包含至少一段代码，至少一段代码可由计算机执行，以控制计算机执行如第一方面中任一项的方法。
本申请实施例还提供一种计算机程序，当计算机程序被计算机执行时，用于实现如第 一方面中任一项的方法。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本申请进一步的方面、实施方式和特征将会是容易明白的。
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。
图1为本申请实施例的应用场景示意图；
图2为本申请一实施例提供的清晰度的确定方法的流程示意图；
图3为本申请一实施例提供的清晰度的确定方法的流程示意图；
图4A为本申请一实施例提供的视频帧的示意图；
图4B为对图4A所示的视频帧进行帧标记之后所得到的视频帧的示意图；
图5为本申请另一实施例提供的清晰度的确定方法的流程示意图；
图6A为本申请一实施例提供的确定目标参考视频帧序列和目标接收视频帧序列的示意图；
图6B为本申请一实施例提供的确定目标参考视频帧序列的示意图；
图7为本申请一实施例提供的清晰度的曲线图；
图8A为本申请一实施例提供的视频帧的画面；
图8B为本申请另一实施例提供的视频帧的画面；
图9为本申请一实施例提供的将测试视频帧序列拆分为多个子序列的示意图；
图10为本申请一实施例提供的清晰度的确定装置的结构示意图；
图11为本申请一实施例提供的电子设备的结构示意图。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当…… 时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
为了方便本领域技术人员理解本申请实施例提供的技术方案，下面先对技术方案实现的技术环境进行说明。
相关技术中比较常用的清晰度的确定方法，需要人工参与确定接收端所接收视频的清晰度，人工成本较高。相关技术中人工参与确定清晰度的具体如下方式1和方式2所示。
方式1，选择一批观测者，让他们在一个特定的受控环境中，观看多个参考视频和失真视频组成的“视频对”，并且每次先观看参考视频，然后观看失真视频。观测者对视频的整体印象进行评判，用定义的主观测度来表达评判，对视频的清晰度效果进行评分。分数为5分制，评分的标准如下表1所示。
表1
| 评分 | 清晰度 |
| 5 | 优秀 |
| 4 | 良好 |
| 3 | 普通 |
| 2 | 较差 |
| 1 | 差 |
方式2，使用解析力测试图卡中的喇叭线部分进行清晰度评估，将这部分裁出来嵌入视频中，得到一个含有喇叭线部分的视频，通过观察接收端的视频中的喇叭线，评定清晰度。由于使用喇叭线是需要人工进行读取数据的，所以需要测试人员参与进来。
因此，相关技术中亟需一种能够节省人工成本的清晰度的确定方式。
基于类似于上文的实际技术需求，本申请提供的清晰度的确定方法可以利用技术化的手段节省人工成本。
下面通过一个示例性的应用场景具体说明本申请各个实施例提供的清晰度的方法。
如图1所示，本申请实施例的应用场景可以包括：视频系统中的发送端11和接收端12，发送端11和接收端12之间可以通过通信网络13连接。其中，发送端11可以用于发送视频帧序列，接收端12可以对应接收发送端11所发送的视频帧序列。发送端11和接收端12例如可以为手机、平板电脑、台式机、笔记本电脑等终端。视频系统例如可以为视频会议系统、视频直播系统等能够用于传输视频的系统。
一个实施例中，通信网络13可以是网络质量较差的弱网环境，以用于针对弱网环境下接收端的视频帧进行清晰度确定。
从发送端11可以获得清晰度确定所需要参考的参考视频帧的序列(以下记为参考视频帧序列)，从接收端12可以获得清晰度确定所针对的且与参考视频帧序列对应的接收视频帧的序列(以下记为接收视频帧序列)。其中，参考视频帧序列和接收视频帧序列中的视频帧具有帧标识，且同一帧标识对应同一视频帧。帧标识用于对视频帧进行唯一标识。需要说明的是，由于通信网络的影响，同一视频帧，其在参考视频帧序列中的视频帧数据，与其在接收视频帧序列时的视频帧数据可以不完全相同。
如图1所示，该应用场景中还可以包括用于进行清晰度确定的电子设备14，电子设备14可以采用本申请实施例提供的方法确定视频帧的清晰度。具体的，电子设备14可以获取发送端11的参考视频帧序列以及接收端12对应播放的接收视频帧序列，针对接收视频帧序列中的接收视频帧，根据接收视频帧的帧标识从参考视频帧序列中确定与接收视频帧对应的参考视频帧，并根据接收视频帧序列中的接收视频帧及其对应的参考视频帧，采用有参考的图像清晰度评估算法，计算得到接收视频帧的清晰度。
需要说明的是，图1中以电子设备14直接从发送端11和接收端12获取参考视频帧序列和接收视频帧序列为例，可以理解的是，在其他实施例中电子设备14也可以通过其他方式获取参考视频帧序列和接收视频帧序列。
需要说明的是，图1中以发送端11和接收端12之外的电子设备14执行本申请实施例提供的方法为例，可以理解的是，在其他实施例中，也可以发送端11或接收端12执行本申请实施例提供的方法。
本申请实施例提供的清晰度的确定方法，通过获取发送端的参考视频帧序列以及接收端对应播放的接收视频帧序列，参考视频帧序列和接收视频帧序列中的视频帧具有帧标识，且同一帧标识对应同一视频帧，根据接收视频帧序列中接收视频帧的帧标识，从参考视频帧序列中确定与接收视频帧对应的参考视频帧，根据接收视频帧序列中的接收视频帧及其对应的参考视频帧，采用有参考的图像清晰度评估算法，计算得到接收视频帧的清晰度，实现了自动确定接收端的视频帧的清晰度，无需人工参与，从而能够节省人工成本。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
图2为本申请一实施例提供的清晰度的确定方法的流程示意图，本实施例的执行主体可以为图1中的电子设备14。如图2所示，本实施例的方法可以包括步骤21至步骤23。
在步骤21，获取发送端的参考视频帧序列以及接收端对应播放的接收视频帧序列，参考视频帧序列和接收视频帧序列中的视频帧具有帧标识，且同一帧标识对应同一视频帧；
在步骤22，根据接收视频帧序列中接收视频帧的帧标识，从参考视频帧序列中确定与接收视频帧对应的参考视频帧；
在步骤23，根据接收视频帧序列中的接收视频帧及其对应的参考视频帧，采用有参考的图像清晰度评估算法，计算得到接收视频帧的清晰度。
如图3所示，可以通过“视频采集钩子”模块将预先做好帧标识标记的测试视频帧序列注入发送端，测试视频帧序列可以经发送端的“视频编码”模块进行编码之后，通过弱 网环境发送至接收端。在接收端，可以在通过“视频解码”模块对接收到的测试视频帧序列进行解码之后，通过“视频播放钩子”获取到接收视频帧序列。
其中，测试视频帧序列是预先做好帧标识标记的，用于对视频系统中接收端的清晰度进行测试的视频帧序列。对于标记帧标识的具体方式，可以灵活实现。一个实施例中，测试视频帧序列的帧标识是以图像内容的形式包含在视频帧的目标区域。相应的，参考视频帧序列和接收视频帧序列中视频帧的帧标识，可以是以图像内容的形式包含在视频帧的目标区域中。
一个实施例中，可以通过将原始视频帧序列中各视频帧的目标区域中的图像内容替换为帧标识内容的方式，得到测试视频帧序列。以原始视频帧序列中某一视频帧如图4A为例，对图4A所示的视频帧标记帧标识之后，可以获得如图4B所示的视频帧。图4B中目标区域中的图像内容“0123”即为该视频帧的帧标识。
需要说明的是，图4B中目标区域的位置以及形状仅为举例，在其他实施例中，目标区域还可以为其他形状，目标区域还可以位于其他位置。需要说明的是，图4B中以帧标识内容具体为数字编号为例，在其他实施例中帧标识还可以为其他形式，例如不同形状也可以作为帧标识内容。
示例性的，图3中的弱网环境可以通过模拟方式获得，以模拟网络传输中的各种网络损伤、例如丢包、延迟等。一个实施例中，可以基于Linux系统提供的流量控制器(Traffic Control，TC)模块来模拟弱网环境，其中，TC模块是软件模块，可以设置延迟、丢包率等。
例如，可以使用实现了TC模块的无线云路由——C1B路由器来模拟弱网环境。发送端可以与CIB路由器的WAN口连接，接收端可以与C1B路由器的LAN口连接，C1B路由器与互联网连接，通过控制C1B路由器的TC模块可以模拟弱网环境。另外，由于TC模块是针对出口做控制的，而C1B路由器的WAN口和LAN口可以互为出口，因此通过将C1B路由器的WAN口和LAN口互为出口，通过控制TC模块可以实现发送端与接收端之间的双向流量控制。当然，在其他实施例中也可以通过其他方式获得弱网环境，本申请对此不做限定。
图3中，“视频采集钩子”可以采用软件方式的钩子(hook)技术将测试视频帧序列注入到视频系统的发送端。视频系统中是通过调用操作系统提供的采集函数获取摄像头采集到的视频帧序列，“视频采集钩子”模块可以通过将调用采集函数替换为调用用于获取测试视频帧序列的特定函数，实现采用软件方式的钩子技术将测试视频帧序列注入到视频系统的发送端。
在一实施例中，可以采用硬件方式的钩子技术将测试视频帧序列注入到视频系统的发送端。可以由一终端采集获得原始视频帧序列并对原始视频帧序列做标记得到测试视频帧序列，视频采集卡与该终端连接并从该终端采集获得测试视频帧序列，该视频采集卡与发送端连接并作为发送端的视频采集设备，从而可以实现通过采用硬件方式的钩子技术将测试视频帧注入到发送端。
图3中“视频播放钩子”可以采用软件方式的钩子技术获取到接收端的接收视频帧序列。视频系统中，接收端可以是通过调用操作系统提供的渲染函数进行视频数据的渲染， “视频播放钩子”模块可以通过从该渲染函数中进行数据截取的方式，实现采用软件方式的钩子技术获取到接收端的接收视频帧序列。
在一实施例中，可以采用硬件方式的钩子技术获取到接收端的接收视频帧序列。可以将接收端与视频采集卡连接，视频采集卡从接收端采集获得接收视频帧序列。
一个实施例中，如图3所示，可以根据测试视频帧序列和接收视频帧序列确定清晰度，即，参考视频帧序列可以是输入发送端的测试视频帧序列。在此情况下，如果测试视频帧序列中的视频帧与接收视频帧序列中的视频帧像素未对齐，则可以针对视频帧进行裁剪缩放处理，使得两者能够实现像素对齐，进而可以采用有参考的图像清晰度算法进行清晰度确定。
另一个实施例中，如图5所示，可以根据发送端对输入发送端的测试视频帧序列进行本地渲染所得到的视频帧序列和接收视频帧序列确定清晰度，即参考视频帧序列可以是发送端对输入测试视频帧序列进行本地渲染所得到的视频帧序列。其中，对测试视频帧序列进行本地渲染所得到的视频帧序列可以通过钩子技术获得。
通过参考视频帧序列是发送端对测试视频帧序列进行本地渲染得到的视频帧序列，且发送端和接收端本地渲染所针对的用户界面的布局相同，使得参考视频帧序列中的视频帧与接收视频帧序列中的视频帧能够实现像素级对齐，从而能够省去为了实现像素对齐的裁剪缩放处理，有利于简化实现。
需要说明的是，关于图5中其他部分的内容与图3中类似，在此不再赘述。
本申请实施例中，在获取到参考视频帧序列和接收视频帧序列之后，可以根据接收视频帧序列中接收视频帧的帧标识，从参考视频帧序列中确定与接收视频帧对应的参考视频帧。应理解，参考视频帧序列中，与某一接收视频帧的帧标识相同的参考视频帧，即为该接收视频帧对应的参考视频帧。
在一实施例中，在帧标识是以图像内容的形式包含在视频帧的目标区域中的情况下，步骤22之前还可以包括：分别识别参考视频帧序列和接收视频帧序列的各视频帧中目标区域的图像内容，以得到参考视频帧序列和接收视频帧序列中各视频帧的帧标识。其中，所采用的识别技术例如可以为光学字符识别(Optical Character Recognition，OCR)、目标检测技术等，当然，在其他实施例中还可以采用其他类型技术识别目标区域的图像内容，本申请对此不做限定。
本申请实施例中，在参考视频帧序列中确定与接收视频帧对应的参考视频帧之后，可以根据接收视频帧及其对应的参考视频帧，采用有参考的图像清晰度评估算法，计算得到接收视频帧的清晰度。
在一实施例中，在帧标识是以图像内容的形式包含在视频帧的目标区域中的情况下，步骤23可以包括：裁剪掉参考视频帧和接收视频帧的目标区域；根据裁剪后的接收视频帧及其对应的裁剪后的参考视频帧，采用有参考的图像清晰度评估算法，计算得到接收视频帧的清晰度。通过裁减掉参考视频帧和接收视频帧的用于承载帧标识内容的目标区域，并根据裁剪结果进行清晰度的计算，能够避免帧标识内容对于清晰度计算的影响，有利于提高清晰度确定的准确性。
在实际应用中，由于丢包等原因可能出现导致某一视频帧在参考视频帧序列中存在， 而在接收视频帧序列中不存在的情况。
实际应用中，还可能会出现某一视频帧在接收视频帧序列中存在，而在参考视频帧序列中不存在的情况。例如，在参考视频帧序列是发送端对测试视频帧序列进行本地渲染所得到的视频帧序列时，由于通过钩子技术获得本地渲染所得到的视频帧序列时可能会出现丢帧，因此可能出现某一视频帧在接收视频帧序列中存在，而在参考视频帧序列中不存在的情况。
在此情况下，步骤23可以包括：将参考视频帧序列中存在对应接收视频帧的目标参考视频帧的特定帧标识顺序进行排列，得到目标参考视频帧序列；将接收视频帧序列中存在对应参考视频帧的目标接收视频帧按照特定帧标识顺序进行排列，得到目标接收视频帧序列；以及，根据目标接收视频帧序列中各个位置的目标接收视频帧以及目标参考视频帧序列中位置的目标参考视频帧，采用有参考的图像清晰度评估算法，计算得到目标接收视频帧的清晰度。
例如，如图6A所示，假设参考视频帧序列中所包含的视频帧分别为帧标识为1、2、4和5的视频帧，接收视频帧序列中所包含的视频帧分别为帧标识为1、2、3和5的视频帧，则所得到的目标参考视频帧序列可以是由参考视频帧序列中帧标识为1、2和5的视频帧所组成的视频帧序列，所得到的目标接收视频帧序列可以是由接收视频帧序列中帧标识为1、2和5的视频帧所组成的视频帧序列。需要说明的是，图6A中按照帧标识由小至大的顺序排列得到目标参考视频帧和目标接收视频帧仅为举例。
应理解，在接收视频帧序列中的视频帧是参考视频帧序列的子集的情况下，可以只根据接收视频帧序列和参考视频帧序列得到目标参考视频帧序列，目标接收视频帧序列可以与接收视频帧序列相同。例如，如图6B所示，假设参考视频帧序列中所包含的视频帧分别为帧标识为1、2、3和4的视频帧，接收视频帧序列中所包含的视频帧分别为帧标识为1、2和3的视频帧，则所得到目标参考视频帧序列可以是由参考视频帧序列中帧标识为1、2和3的视频帧所组成的视频帧序列。
以目标参考视频帧序列和目标接收视频帧序列中均包括帧标识为1、2和5的视频帧为例，根据目标接收视频帧序列中各个位置的目标接收视频帧以及目标参考视频帧序列中该位置的目标参考视频帧，采用有参考的图像清晰度评估算法，计算得到目标接收视频帧的清晰度，例如可以包括：首先根据目标参考视频帧序列中帧标识为1的视频帧和目标接收视频帧序列中帧标识为1的视频帧，采用有参考的图像清晰度评估算法进行计算，得到目标接收视频帧序列中帧标识为1的视频帧的清晰度；然后，根据目标参考视频帧序列中帧标识为2的视频帧和目标接收视频帧序列中帧标识为2的视频帧，采用有参考的图像清晰度评估算法进行计算，得到目标接收视频帧序列中帧标识为2的视频帧的清晰度；根据目标参考视频帧序列中帧标识为5的视频帧和目标接收视频帧序列中帧标识为5的视频帧，采用有参考的图像清晰度评估算法进行计算，得到目标接收视频帧序列中帧标识为5的视频帧的清晰度。
其中，有参考的图像清晰度评估算法例如可以为峰值信噪比(Peak Signal to Noise Ratio，PSNR)算法、视频多方法评价融合(Video Multimethod Assessment Fusion，VMAF)算法等。当然，在其他实施例中，也可以采用其他有参考的图像清晰度评估算法，本申请 对此不做限定。
以根据参考视频帧序列中某一帧标识的视频帧X和接收视频帧序列中该帧标识的视频帧Y，采用PSNR算法计算视频帧Y的清晰度为例，可以采用如下公式(1)计算出视频帧Y的清晰度P。
其中，L表示视频帧中可能的最大像素值，例如使用8bit表示像素值的视频帧其最大像素值可以为255；MSE满足如下公式(2)。
其中，M×N表示视频帧X和视频帧Y均为M×N的图像，x
ij表示视频帧X中像素坐标为(i，j)的像素的像素值，y
ij表示视频帧Y中像素坐标为(i，j)的像素的像素值。
以在人物运动的场景下，根据目标参考视频帧序列和目标接收视频帧序列，分别采用PSNR算法和VMAF算法计算目标接收视频帧序列中各视频帧的清晰度为例，所得到的各视频帧的清晰度例如可以如图7所示。图7中横坐标可以表示目标接收视频帧序列中的第0帧、第1帧、第2帧等，纵坐标可以表示清晰度，图7中上方的曲线可以表示采用VMAF算法计算得到清晰度曲线，图7中下方的曲线可以表示采用PSNR算法计算得到的清晰度曲线。
图7中清晰度越大可以表示视频帧越清晰，清晰度曲线的变化能够反映出对应画面实际的清晰度情况。例如，对于图7中清晰度较高的某一视频帧，查看该视频帧的画面(例如图8A所示)可以发现该视频帧的画面存在小幅运动。又例如，对于图7中清晰度较高的某一视频帧，查看该视频帧的画面(例如图8B所示)可以发现该视频帧的画面存在大幅度运动，运动程度较大时出现清晰度下降主要现象为画面产生了马赛克，是码率不足的表现。
本申请实施例中，在确定出接收视频帧的清晰度之后，还可以对接收视频帧序列中多个接收视频帧的清晰度进行统计计算，得到清晰度统计结果。通过对清晰度进行统计计算，获得清晰度统计结果，使得能够从统计角度获知接收端的清晰度情况。示例性的，统计方式可以为平均。
一个实施例中，测试视频帧序列被切分为多个子序列，对多个接收视频帧的清晰度进行统计计算，可以包括：以各子序列为单位，对对应同一子序列的多个接收视频帧的清晰度进行统计，得到多个子序列分别对应的清晰度统计结果。
例如，如图9所示，可以将测试视频帧序列按时间拆分为子序列1、子序列2和子序列3。假设子序列1中所包含的视频帧的帧标识为1至100，子序列2中所包含的视频帧的帧标识为101至200，子序列3中所包含的视频帧的帧标识为201至300，则可以将帧标识为1至100的接收视频帧的清晰度进行平均，得到子序列1对应的清晰度统计结果，可以将帧标识为101至200的接收视频帧的清晰度进行平均，得到子序列2对应的清晰度统计结果，可以将帧标识为201至300的接收视频帧的清晰度进行平均，得到子序列3对 应的清晰度统计结果。
本申请实施例提供的清晰度的确定方法，通过获取发送端的参考视频帧序列以及接收端对应播放的接收视频帧序列，针对接收视频帧序列中的接收视频帧，根据接收视频帧的帧标识从参考视频帧序列中确定与接收视频帧对应的参考视频帧，并根据接收视频帧序列中的接收视频帧及其对应的参考视频帧，采用有参考的图像清晰度评估算法，计算得到接收视频帧的清晰度，实现了自动确定接收端的视频帧的清晰度，无需人工参与，从而能够节省人工成本。
图10为本申请一实施例提供的清晰度的确定装置的结构示意图；参考附图10所示，本实施例提供了一种清晰度的确定装置，该装置可以执行上述清晰度的确定方法，该清晰度的确定装置可以包括获取模块101、确定模块102和评估模块103。
获取模块101，用于获取发送端的参考视频帧序列以及接收端对应播放的接收视频帧序列，参考视频帧序列和接收视频帧序列中的视频帧具有帧标识，且同一帧标识对应同一视频帧。
确定模块102，用于根据接收视频帧序列中接收视频帧的帧标识，从参考视频帧序列中确定与接收视频帧对应的参考视频帧。
评估模块103，用于根据接收视频帧序列中的接收视频帧及其对应的参考视频帧，采用有参考的图像清晰度评估算法，计算得到接收视频帧的清晰度。
在一实施例中，参考视频帧序列是发送端对测试视频帧序列进行本地渲染所得到的视频帧序列，测试视频帧序列由发送端发送至接收端，发送端和接收端本地渲染所针对的用户界面的布局相同。
在一实施例中，帧标识是以图像内容的形式包含在视频帧的目标区域中；确定模块102还用于：分别识别参考视频帧序列和接收视频帧序列的各视频帧中目标区域的图像内容，以得到参考视频帧序列和接收视频帧序列中各视频帧的帧标识。
在一实施例中，评估模块103用于：裁剪掉参考视频帧和接收视频帧的目标区域；以及，根据裁剪后的参考视频帧和视频帧，采用有参考的图像清晰度评估算法，计算得到接收视频帧的清晰度。
在一实施例中，评估模块103用于：将参考视频帧序列中存在对应接收视频帧的目标参考视频帧的特定帧标识顺序进行排列，得到目标参考视频帧序列；将接收视频帧序列中存在对应参考视频帧的目标接收视频帧按照特定帧标识顺序进行排列，得到目标接收视频帧序列；以及，根据目标接收视频帧序列中各个位置的目标接收视频帧以及目标参考视频帧序列中位置的目标参考视频帧，采用有参考的图像清晰度评估算法，计算得到目标接收视频帧的清晰度。
在一实施例中，装置还包括统计模块，统计模块用于对接收视频帧序列中多个接收视频帧的清晰度进行统计计算，得到清晰度统计结果。
在一实施例中，发送端向接收端发送的测试视频帧序列被切分为多个子序列，统计模块用于：以各子序列为单位，对对应同一子序列的多个接收视频帧的清晰度进行统计，得到多个子序列分别对应的清晰度统计结果。
图10所示装置可以执行图2所示实施例提供的方法，本实施例未详细描述的部分，可 参考对图2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图2所示实施例中的描述，在此不再赘述。
在一个可能的实现中，图10所示清晰度的确定装置的结构可实现为一电子设备。如图11所示，该电子设备可以包括：处理器111和存储器112。其中，存储器112用于存储支持电子设备执行上述图2所示实施例中提供的清晰度的确定方法的程序，处理器111被配置为用于执行存储器112中存储的程序。
程序包括一条或多条计算机指令，其中，一条或多条计算机指令被处理器111执行时能够实现如下步骤：获取发送端的参考视频帧序列以及接收端对应播放的接收视频帧序列，参考视频帧序列和接收视频帧序列中的视频帧具有帧标识，且同一帧标识对应同一视频帧；根据接收视频帧序列中接收视频帧的帧标识，从参考视频帧序列中确定与接收视频帧对应的参考视频帧；根据接收视频帧序列中的接收视频帧及其对应的参考视频帧，采用有参考的图像清晰度评估算法，计算得到接收视频帧的清晰度。
在一实施例中，处理器111还用于执行前述图2所示实施例中的全部或部分步骤。
其中，电子设备的结构中还可以包括通信接口113，用于电子设备与其他设备或通信网络通信。
另外，本申请实施例提供了一种计算机存储介质，用于储存电子设备所用的计算机软件指令，其包含用于执行上述图2所示方法实施例中清晰度的确定方法所涉及的程序。
本申请实施例提供的清晰度的确定方法、装置及设备，获取发送端的参考视频帧序列以及接收端对应播放的接收视频帧序列，针对接收视频帧序列中的接收视频帧，根据接收视频帧的帧标识从参考视频帧序列中确定与接收视频帧对应的参考视频帧，并根据接收视频帧序列中的接收视频帧及其对应的参考视频帧，采用有参考的图像清晰度评估算法，计算得到接收视频帧的清晰度，实现了自动确定接收端的视频帧的清晰度，无需人工参与，从而能够节省人工成本。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一 个机器，使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (16)
- 一种清晰度的确定方法，包括：获取发送端的参考视频帧序列以及接收端对应播放的接收视频帧序列，所述参考视频帧序列和所述接收视频帧序列中的视频帧具有帧标识，且同一帧标识对应同一视频帧；根据所述接收视频帧序列中接收视频帧的帧标识，从所述参考视频帧序列中确定与所述接收视频帧对应的参考视频帧；根据接收视频帧序列中的接收视频帧及其对应的参考视频帧，采用有参考的图像清晰度评估算法，计算得到所述接收视频帧的清晰度。
- 根据权利要求1所述的方法，所述参考视频帧序列是所述发送端对测试视频帧序列进行本地渲染所得到的视频帧序列，所述测试视频帧序列由所述发送端发送至所述接收端，所述发送端和所述接收端本地渲染所针对的用户界面的布局相同。
- 根据权利要求1所述的方法，所述帧标识是以图像内容的形式包含在视频帧的目标区域中；所述方法还包括：分别识别所述参考视频帧序列和所述接收视频帧序列的各视频帧中所述目标区域的图像内容，以得到所述参考视频帧序列和所述接收视频帧序列中各视频帧的帧标识。
- 根据权利要求3所述的方法，所述根据接收视频帧序列中的接收视频帧及其对应的参考视频帧，采用有参考的图像清晰度评估算法，计算得到所述接收视频帧的清晰度，包括：裁剪掉所述参考视频帧和所述接收视频帧的所述目标区域；根据裁剪后的接收视频帧及其对应的裁剪后的参考视频帧，采用有参考的图像清晰度评估算法，计算得到所述接收视频帧的清晰度。
- 根据权利要求1所述的方法，所述根据接收视频帧序列中的接收视频帧及其对应的参考视频帧，采用有参考的图像清晰度评估算法，计算得到所述接收视频帧的清晰度，包括：将所述参考视频帧序列中存在对应接收视频帧的目标参考视频帧的帧标识特定顺序进行排列，得到目标参考视频帧序列；将所述接收视频帧序列中存在对应参考视频帧的目标接收视频帧按照所述帧标识特定顺序进行排列，得到目标接收视频帧序列；根据所述目标接收视频帧序列中各个位置的目标接收视频帧以及目标参考视频帧序列中所述位置的目标参考视频帧，采用有参考的图像清晰度评估算法，计算得到所述目标接收视频帧的清晰度。
- 根据权利要求1-5任一项所述的方法，所述方法还包括：对所述接收视频帧序列中多个接收视频帧的清晰度进行统计计算，得到清晰度统计结果。
- 根据权利要求6所述的方法，所述发送端向所述接收端发送的测试视频帧序列被切分为多个子序列，所述对所述接收视频帧序列中多个接收视频帧的清晰度进行统计计算，得到清晰度统计结果，包括：以各子序列为单位，对对应同一子序列的多个接收视频帧的清晰度进行统计，得到所 述多个子序列分别对应的清晰度统计结果。
- 一种清晰度的确定装置，包括：获取模块，用于获取发送端的参考视频帧序列以及接收端对应播放的接收视频帧序列，所述参考视频帧序列和所述接收视频帧序列中的视频帧具有帧标识，且同一帧标识对应同一视频帧；确定模块，用于根据所述接收视频帧序列中接收视频帧的帧标识，从所述参考视频帧序列中确定与所述接收视频帧对应的参考视频帧；评估模块，用于根据接收视频帧序列中的接收视频帧及其对应的参考视频帧，采用有参考的图像清晰度评估算法，计算得到所述接收视频帧的清晰度。
- 根据权利要求8所述的装置，所述参考视频帧序列是所述发送端对测试视频帧序列进行本地渲染所得到的视频帧序列，所述测试视频帧序列由所述发送端发送至所述接收端，所述发送端和所述接收端本地渲染所针对的用户界面的布局相同。
- 根据权利要求8所述的装置，所述帧标识是以图像内容的形式包含在视频帧的目标区域中；所述确定模块还用于：分别识别所述参考视频帧序列和所述接收视频帧序列的各视频帧中所述目标区域的图像内容，以得到所述参考视频帧序列和所述接收视频帧序列中各视频帧的帧标识。
- 根据权利要求10所述的装置，所述评估模块用于：裁剪掉所述参考视频帧和所述接收视频帧的所述目标区域；根据裁剪后的所述参考视频帧和所述视频帧，采用有参考的图像清晰度评估算法，计算得到所述接收视频帧的清晰度。
- 根据权利要求8所述的装置，所述评估模块用于：将所述参考视频帧序列中存在对应接收视频帧的目标参考视频帧的特定帧标识顺序进行排列，得到目标参考视频帧序列；将所述接收视频帧序列中存在对应参考视频帧的目标接收视频帧按照所述特定帧标识顺序进行排列，得到目标接收视频帧序列；根据所述目标接收视频帧序列中各个位置的目标接收视频帧以及目标参考视频帧序列中所述位置的目标参考视频帧，采用有参考的图像清晰度评估算法，计算得到所述目标接收视频帧的清晰度。
- 根据权利要求8-12任一项所述的装置，所述装置还包括统计模块，用于对所述接收视频帧序列中多个接收视频帧的清晰度进行统计计算，得到清晰度统计结果。
- 根据权利要求13所述的装置，所述发送端向所述接收端发送的测试视频帧序列被切分为多个子序列，所述统计模块用于：以各子序列为单位，对对应同一子序列的多个接收视频帧的清晰度进行统计，得到所述多个子序列分别对应的清晰度统计结果。
- 一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如权利要求1至7中任一项所述的方法。
- 一种计算机存储介质，其上存储有计算机软件指令，当所述指令被执行时，使得处理器执行如权利要求1-7中任一项所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111172751.8 | 2021-10-08 | ||
| CN202111172751.8A CN114095722A (zh) | 2021-10-08 | 2021-10-08 | 清晰度的确定方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023056896A1 true WO2023056896A1 (zh) | 2023-04-13 |
Family
ID=80296533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2022/123261 WO2023056896A1 (zh) | 2021-10-08 | 2022-09-30 | 清晰度的确定方法、装置及设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114095722A (zh) |
| WO (1) | WO2023056896A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117041625A (zh) * | 2023-08-02 | 2023-11-10 | 成都梵辰科技有限公司 | 一种超高清视频图像质量检测网络构建方法及系统 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114095722A (zh) * | 2021-10-08 | 2022-02-25 | 钉钉(中国)信息技术有限公司 | 清晰度的确定方法、装置及设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109831680A (zh) * | 2019-03-18 | 2019-05-31 | 北京奇艺世纪科技有限公司 | 一种视频清晰度的评价方法及装置 |
| CN110366001A (zh) * | 2018-04-09 | 2019-10-22 | 腾讯科技（深圳）有限公司 | 视频清晰度的确定方法和装置、存储介质、电子装置 |
| CN111314733A (zh) * | 2020-01-20 | 2020-06-19 | 北京百度网讯科技有限公司 | 用于评估视频清晰度的方法和装置 |
| CN112233075A (zh) * | 2020-09-30 | 2021-01-15 | 腾讯科技（深圳）有限公司 | 视频清晰度评估方法、装置、存储介质及电子设备 |
| CN112435244A (zh) * | 2020-11-27 | 2021-03-02 | 广州华多网络科技有限公司 | 直播视频的质量评价方法、装置、计算机设备和存储介质 |
| CN112767313A (zh) * | 2020-12-31 | 2021-05-07 | 广州方硅信息技术有限公司 | 视频质量评价方法、装置、及电子设备 |
| CN113038165A (zh) * | 2021-03-26 | 2021-06-25 | 腾讯音乐娱乐科技（深圳）有限公司 | 确定编码参数组的方法、设备及存储介质 |
| WO2021129435A1 (zh) * | 2019-12-27 | 2021-07-01 | 百果园技术(新加坡)有限公司 | 视频清晰度评估模型训练方法、视频推荐方法及相关装置 |
| CN114095722A (zh) * | 2021-10-08 | 2022-02-25 | 钉钉(中国)信息技术有限公司 | 清晰度的确定方法、装置及设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9146990B2 (en) * | 2013-01-07 | 2015-09-29 | Gracenote, Inc. | Search and identification of video content |
| CN110532833A (zh) * | 2018-05-23 | 2019-12-03 | 北京国双科技有限公司 | 一种视频分析方法及装置 |
| CN111355950A (zh) * | 2020-03-13 | 2020-06-30 | 随锐科技集团股份有限公司 | 实时视频通信中的视频传输质量检测方法及系统 |
| CN112714309A (zh) * | 2020-12-22 | 2021-04-27 | 北京百度网讯科技有限公司 | 视频质量评估方法、装置、设备、介质及程序产品 |
-
2021
- 2021-10-08 CN CN202111172751.8A patent/CN114095722A/zh active Pending
-
2022
- 2022-09-30 WO PCT/CN2022/123261 patent/WO2023056896A1/zh unknown
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110366001A (zh) * | 2018-04-09 | 2019-10-22 | 腾讯科技（深圳）有限公司 | 视频清晰度的确定方法和装置、存储介质、电子装置 |
| CN109831680A (zh) * | 2019-03-18 | 2019-05-31 | 北京奇艺世纪科技有限公司 | 一种视频清晰度的评价方法及装置 |
| WO2021129435A1 (zh) * | 2019-12-27 | 2021-07-01 | 百果园技术(新加坡)有限公司 | 视频清晰度评估模型训练方法、视频推荐方法及相关装置 |
| CN111314733A (zh) * | 2020-01-20 | 2020-06-19 | 北京百度网讯科技有限公司 | 用于评估视频清晰度的方法和装置 |
| CN112233075A (zh) * | 2020-09-30 | 2021-01-15 | 腾讯科技（深圳）有限公司 | 视频清晰度评估方法、装置、存储介质及电子设备 |
| CN112435244A (zh) * | 2020-11-27 | 2021-03-02 | 广州华多网络科技有限公司 | 直播视频的质量评价方法、装置、计算机设备和存储介质 |
| CN112767313A (zh) * | 2020-12-31 | 2021-05-07 | 广州方硅信息技术有限公司 | 视频质量评价方法、装置、及电子设备 |
| CN113038165A (zh) * | 2021-03-26 | 2021-06-25 | 腾讯音乐娱乐科技（深圳）有限公司 | 确定编码参数组的方法、设备及存储介质 |
| CN114095722A (zh) * | 2021-10-08 | 2022-02-25 | 钉钉(中国)信息技术有限公司 | 清晰度的确定方法、装置及设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117041625A (zh) * | 2023-08-02 | 2023-11-10 | 成都梵辰科技有限公司 | 一种超高清视频图像质量检测网络构建方法及系统 |
| CN117041625B (zh) * | 2023-08-02 | 2024-04-19 | 成都梵辰科技有限公司 | 一种超高清视频图像质量检测网络构建方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114095722A (zh) | 2022-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2023056896A1 (zh) | 清晰度的确定方法、装置及设备 | |
| CN107967677B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| US10681336B2 (en) | Depth map generation | |
| US11589110B2 (en) | Digital media system | |
| WO2018214693A1 (zh) | 视频通信系统的检测方法、装置、存储介质和计算机设备 | |
| CN112954450B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| CN108347427B (zh) | 一种视频数据传输、处理方法、装置及终端、服务器 | |
| CN102572502B (zh) | 一种用于视频质量评价的关键帧的选取方法 | |
| CN107622497B (zh) | 图像裁剪方法、装置、计算机可读存储介质和计算机设备 | |
| CN108632666B (zh) | 一种视频检测方法及视频检测设备 | |
| CN105979363A (zh) | 一种身份识别法和装置 | |
| US20150213577A1 (en) | Zoom images with panoramic image capture | |
| WO2023193521A1 (zh) | 一种视频修复的方法、相关装置、设备以及存储介质 | |
| CN111131817A (zh) | 屏幕共享方法、设备、存储介质及屏幕共享系统 | |
| CN115396705A (zh) | 投屏操作验证方法、平台及系统 | |
| CN112422909A (zh) | 一种基于人工智能的视频行为分析管理系统 | |
| CN113573044B (zh) | 视频数据处理方法、装置、计算机设备及可读存储介质 | |
| KR20170010826A (ko) | 그림 처리 방법 및 전자 설비 | |
| WO2016192467A1 (zh) | 一种播放视频的方法及装置 | |
| CN107733874B (zh) | 信息处理方法、装置、计算机设备和存储介质 | |
| CN111311584B (zh) | 视频质量评估方法及装置、电子设备、可读介质 | |
| CN105809758B (zh) | 会场监控方法和系统 | |
| CN115115968A (zh) | 视频质量评价方法、装置及计算机可读存储介质 | |
| CN114387440A (zh) | 一种视频裁剪方法、装置及存储介质 | |
| CN114079777A (zh) | 视频处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22877915 Country of ref document: EP Kind code of ref document: A1 |