WO2020140863A1 - 视频编解码方法与装置 - Google Patents
视频编解码方法与装置 Download PDFInfo
- Publication number
- WO2020140863A1 WO2020140863A1 PCT/CN2019/129806 CN2019129806W WO2020140863A1 WO 2020140863 A1 WO2020140863 A1 WO 2020140863A1 CN 2019129806 W CN2019129806 W CN 2019129806W WO 2020140863 A1 WO2020140863 A1 WO 2020140863A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- knowledge
- cache
- index
- decoded
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Definitions
- the invention relates to a method and device for video encoding and a method and device for video decoding.
- the encoder when encoding (or decoding) an image, the encoder (or decoder) can select the current encoded image (or Decoded images) Images with similar texture content are used as reference images. Such reference images are called knowledge images.
- the database that stores the collection of reference images is called a knowledge base. At least one image in this video is referenced to at least one knowledge base image.
- the method of coding and decoding is called knowledge-based video coding (English: library-based video coding).
- Encoding a video sequence using knowledge-based video coding will produce a knowledge layer code stream containing the knowledge image coding code stream and a video layer code stream containing the code stream obtained by referring to the knowledge base image coding of each frame image of the video sequence ( Hereinafter referred to as the main code stream), the reference relationship between the two layers of code streams is shown in Figure 1.
- These two streams are similar to scalable video coding (English: scalable Video coding (SVC) generates the basic layer code stream and the enhancement layer code stream, that is, the sequence layer code stream depends on the knowledge layer code stream.
- SVC scalable Video coding
- the dependency relationship between the dual-stream organization of video coding based on the knowledge base and the hierarchical stream of SVC's hierarchical stream organization is different. The difference is that the dual-stream hierarchy of SVC is based on certain The alignment time period is dependent, and the video layer-dependent knowledge layer in the dual code stream based on knowledge-based video coding is dependent on the non-aligned time period.
- Existing codec technology needs to decode the image cache when encoding or decoding to store short-term reference images (short-term reference images are composed of reconstructed images of images that have been encoded or decoded between current images), the currently encoded or decoded images, and The image to be displayed, and the minimum decoded image buffer size required to encode or decode the code stream is recorded in the code stream.
- the decoder According to the minimum decoded image buffer size information provided by the code stream, the decoder provides a decoded image buffer of sufficient size, And carry out corresponding management operations to move the images in the decoded image buffer in and out to ensure the correct and real-time decoding of the code stream.
- the present invention proposes a video encoding and decoding method and device.
- the first object of the present invention is to provide a video decoding method for decoding the current image in the main stream, including:
- the method includes the updating of the decoded image cache in the following manner:
- the decoder of the main code stream provides the index number Lib_index of the knowledge image referenced by the current image to the outside, and obtains the knowledge corresponding to the index number Lib_index from the outside image;
- the image is described as a knowledge image and the index number of the image is Lib_index.
- the method further includes one of the following:
- the decoder of the main video stream sets the size of the knowledge image cache area in the decoded image cache to a fixed value of NL images according to prior agreement;
- the method includes that updating the decoded image cache is performed in one of the following ways:
- the decoder of the main stream provides the current The index number of the knowledge image referenced by the image is Lib_index, and the knowledge image corresponding to the index number Lib_index is obtained from the outside; the knowledge image is moved into the decoded image cache, and the image is recorded as a knowledge image and the index number of the image is Lib_index;
- the method further includes:
- the process of updating the decoded image cache includes one of the following:
- the method includes:
- the updated decoded image cache includes: the decoder of the main stream provides the index number Lib_index of the knowledge image referenced by the current image to the outside, and obtains the knowledge image corresponding to the index number Lib_index from the outside; moves the knowledge image into the decoding Image cache, which records that the image is a knowledge image and the index number of the image is Lib_index;
- the method for removing at least one frame of the knowledge image that is already in the decoded image cache according to the rule is one of the following:
- the method for updating the decoded image cache is:
- the size NL of the knowledge image cache area in the decoded image cache is 1, if the index number of the knowledge image referenced by the current image Lib_index is different from the index number of the knowledge image stored in the decoded image cache, it is removed from the decoded image cache.
- the original knowledge image; the decoder of the main stream provides the index number Lib_index of the knowledge image referenced by the current image to the outside, and obtains the knowledge image corresponding to the index number Lib_index from the outside; moves the knowledge image into the decoded image cache and records the
- the image is a knowledge image and the index number of the image is Lib_index.
- the second object of the present invention is to provide a video encoding method for encoding the current image in the main stream, including:
- the third object of the present invention is to provide a video decoding device, including:
- a module that decodes reference information of the current image in the main stream this module outputs information about whether the current image refers to the knowledge image, and the index number of the knowledge image referenced by the current image, Lib_index;
- a decoded image buffer module for storing reference images required for decoding the current image
- An update management module for the decoded image cache which updates the image cached in the decoded image cache module according to the index number Lib_index of the knowledge image;
- a module that decodes the current image and in this module, decodes the knowledge image stored in the decoded image buffer module to obtain a reconstructed image of the current image;
- the video decoding device further includes a port to output the index number Lib_index of the knowledge image to the outside and a port to input the knowledge image corresponding to the index number Lib_index.
- the present invention provides a video encoding and decoding method and device, so that when encoding or decoding images of the main stream, the encoder or decoder of the main stream can store the externally provided knowledge images in the decoded image cache for a long time, and it is effective Store and manage the short-term reference images referenced by the current encoded or decoded image to avoid the sum of the knowledge image and the short-term reference image exceeding the size of the decoded image buffer to ensure the availability of the reference image and the correctness of the encoding or decoding.
- the decoded image cache can efficiently manage the stored knowledge images, thereby avoiding the frequent movement of knowledge images into and out, so as to reduce the additional decoding capacity load caused by the knowledge images to the encoder or decoder, and reduce the knowledge images.
- the encoder or decoder and the external data transfer load which enables the decoder of the main stream to ensure real-time decoding of the stream.
- the knowledge image can also be stored in the extended buffer outside the main stream decoder, and the size of the extended buffer is flexible, which is developed according to the resources of the receiving end.
- the bandwidth for requesting data from the server or the source can be greatly reduced.
- the decoded image cache in the decoder of the main stream limits the number of knowledge images that can be saved, the decoder outside the basic main stream can flexibly prepare different sizes of cache to save knowledge images according to the specific resources. In order to obtain the corresponding performance.
- Figure 1 Schematic diagram of the image dependency relationship between the knowledge layer code stream and the video layer code stream (main code stream);
- FIG. 2 is a structural diagram of a device for a video decoding device according to an embodiment of the present invention.
- FIG. 3 is a structural diagram of another device of a video decoding device provided by an embodiment of the present invention.
- FIG. 4 is a device structure diagram of a video encoding device provided by an embodiment of the present invention.
- a video decoding method includes the following steps:
- the reference image configuration information is carried in the sequence header or image header or slice header or sequence level parameter set of the code stream, and the reference image configuration information includes whether the image referenced by the current decoded image is knowledge The identification of the image and the index number of the reference image. If the reference image is a knowledge image, the index number of the knowledge image is used by the decoder to locate the corresponding knowledge image from the outside.
- the current image refers to at least one knowledge image.
- the index number of the referenced knowledge image locate the corresponding knowledge image in the decoded image cache; when the knowledge image corresponding to the index number does not exist in the decoded image cache, obtain the corresponding Knowledge images, and perform operation 3;
- the update operation specifically includes one of the following operations:
- identification information is added to the knowledge image moved into the decoded image cache to distinguish it from the non-knowledge image in the decoded image cache.
- the decoded image buffer is divided into two parts, one part is only used to store knowledge images, and the other part is only used to store non-knowledge images.
- the knowledge image is stored at the end of the decoded image buffer.
- numbering information is added to the knowledge image moved into the decoded image cache to distinguish it from other knowledge images in the decoded image cache.
- the minimum cache capacity of the knowledge image describes the minimum cache capacity provided by the decoded image cache for the knowledge image.
- the cache capacity is in units of the number of images or in bytes.
- the minimum cache capacity of the knowledge image is carried in the sequence header, image header, stripe header, or sequence-level parameter set of the code stream, and the decoder analyzes the code stream to obtain the minimum cache capacity of the knowledge image .
- the minimum cache capacity of the knowledge image is the cache capacity defined by the encoding and decoding standards, for example, the cache capacity is limited by the level and level of the decoding capability. At this time, the decoding method selects the minimum knowledge image defined by the standard Cache capacity.
- the removal rule includes but is not limited to the following methods:
- the cache capacity NL of the knowledge image is 1, and the “unequal-out” rule is adopted, that is, as long as the index number of the knowledge image referenced by the current image and the knowledge image stored in the decoded image cache If the index number is different, the original knowledge image stored in the decoded image cache is removed.
- a video decoding method includes the following steps:
- the decoded image cache of the decoder of the main stream contains a knowledge image buffer area for storing knowledge images, and the size of the knowledge image buffer area is not less than the knowledge image cache capacity NL indicated in the main code stream .
- the decoder of the main stream provides the index number Lib_index of the knowledge image referenced by the current image to the outside, and obtains the corresponding index number Lib_index from the outside Knowledge image, update the knowledge image in the decoded image cache, the update process is as follows:
- the cache capacity NL of the knowledge image is 1, and the "unequal-out" rule is adopted, that is, as long as the index number of the knowledge image Lib_index referenced by the current image and the knowledge image stored in the decoded image cache If the index number is different, the original knowledge image stored in the decoded image cache is removed.
- the reference image of the current decoded image includes at least one knowledge image, and may also include other non-knowledge images.
- Embodiment 3 (implicitly limit the cache size occupied by knowledge images)
- a video decoding method includes the following steps:
- the decoder of the main video stream sets the size of the knowledge image cache area in the decoded image cache to a fixed value of NL images according to prior agreement.
- the decoder of the main stream provides the index number Lib_index of the knowledge image referenced by the current image to the outside, and obtains the corresponding index number Lib_index from the outside Knowledge image, update the knowledge image in the decoded image cache, the update process is as follows:
- the cache capacity NL of the knowledge image is 1, at this time, the rule of "not equal is out" is adopted, that is, as long as the index number of the knowledge image referenced by the current image Lib_index and the decoded image cache are stored If the index number of the knowledge image is different, the original knowledge image stored in the decoded image cache is removed.
- the reference image of the current decoded image includes at least one knowledge image, and may also include other non-knowledge images.
- Embodiment 4 (The size of the knowledge image cache is not limited, the total size is limited)
- a video decoding method includes the following steps:
- the decoded image buffer of the decoder of the main stream contains the current decoded image, the image to be displayed, and the reference image (including the referenced knowledge image).
- the cache capacity NL of the knowledge image is 1, at this time, the rule of "not equal is out" is adopted, that is, as long as the index number of the knowledge image referenced by the current image Lib_index and the decoded image cache are stored If the index number of the knowledge image is different, the original knowledge image stored in the decoded image cache is removed.
- the decoder of the main stream provides the index number Lib_index of the knowledge image referenced by the current image to the outside, and obtains the corresponding index number Lib_index from the outside Knowledge image, update the knowledge image in the decoded image cache, the update process is as follows:
- the cache capacity NL of the knowledge image is 1, at this time, the rule of "not equal is out" is adopted, that is, as long as the index number of the knowledge image referenced by the current image Lib_index and the decoded image cache are stored If the index number of the knowledge image is different, the original knowledge image stored in the decoded image cache is removed.
- the decoded image buffer in the decoder of the main stream is limited, the knowledge image can also be stored in an extended buffer outside the main stream decoder, and the size of the extended buffer is flexible, which is developed according to the resources of the receiving end When there is an extended cache, the bandwidth for requesting data from the server or the source can be greatly reduced. Therefore, although the decoded image cache in the decoder of the main stream limits the number of knowledge images that can be saved, the decoder outside the basic main stream can flexibly prepare different sizes of cache to save knowledge images according to the specific resources. , To get the performance of the corresponding size.
- the reference image of the current decoded image includes at least one knowledge image, and may also include other non-knowledge images.
- a video decoding method includes the following steps:
- the decoded image cache of the decoder of the main stream contains the current decoded image, the image to be displayed, and the reference image (including the referenced knowledge image), and the total number of these images cannot exceed the size of the decoded image cache NP images.
- the decoder of the main stream provides the index number Lib_index of the knowledge image referenced by the current image to the outside, and obtains the knowledge image corresponding to the index number Lib_index from the outside, moves it into the decoded image cache, and records the image as a knowledge image and the image’s
- the index number is Lib_index;
- the reference image of the current decoded image includes at least one knowledge image, and may also include other non-knowledge images.
- a video decoding device includes the following modules:
- a module that decodes the current image reference information in the main code stream (for example: a code stream parser). This module outputs the information of whether the current image refers to the knowledge image and the index number of the knowledge image referenced by the current image by analyzing the code stream.
- Lib_index a code stream parser
- the module parses the reference image configuration information from the sequence header or image header or stripe header or sequence-level parameters of the code stream.
- a decoded image cache module that stores reference images needed to decode the current image; the decoded image cache module can also store images other than the reference image needed to decode the current image;
- the module further includes a marking module, which adds identification information to the knowledge images moved into the decoded image cache to distinguish them from the non-knowledge images in the decoded image cache.
- the module divides the decoded image cache into two parts, one part is only used to store knowledge images, and the other part is only used to store non-knowledge images.
- the module stores the knowledge image at the end of the decoded image buffer.
- the module further includes a numbering module that adds numbering information to the knowledge images moved into the decoded image cache to distinguish them from other knowledge images in the decoded image cache.
- An update management module for the decoded image cache which updates the image cached in the decoded image cache module according to the index number Lib_index of the knowledge image; where the index number Lib_index of the knowledge image comes from the current image reference in the main decoding stream Information module; during the update process, this module passes the knowledge image index number Lib_index to the outside of the decoding device to obtain the knowledge image corresponding to the index number Lib_index that does not exist in the decoding image buffer in the decoding device from outside the decoding device, and According to the auxiliary information of the stored knowledge image (for example: the time when the knowledge image enters the cache; the number of times the knowledge image is used; the time when the knowledge image is used, etc.), select the removed knowledge image and move it into the index number Lib_index obtained from the outside Corresponding knowledge image;
- the update management module further includes a statistics module, and the statistics module is used to provide statistical information for rules used for removing knowledge images, including but not limited to:
- the statistics module records the time at which each knowledge image stored in the decoded image cache enters the cache; then the update management module removes at least 1 frame of the knowledge image already in the decoded image cache according to the rule of "first in first out", namely Select at least one frame of knowledge images that are first entered into the decoded image cache;
- the statistics module records the number of times each knowledge image stored in the decoded image cache is used; the update management module removes at least one frame of the knowledge image already in the decoded image cache according to the rule of "least frequently used", That is, at least choose to remove one frame of knowledge images that are already in the decoded image cache but are used the least;
- the statistics module records the time at which each knowledge image stored in the decoded image cache is used; the update management module removes at least 1 frame of knowledge that is already in the decoded image cache according to the rule of "the last one used the oldest out" An image, that is, at least one frame of the knowledge image that has been removed from the decoded image buffer but is the longest time to use the knowledge image to decode the current image from the current image.
- the cache capacity NL of the knowledge image is 1, and the update management module adopts the "out of equal" rule, that is, as long as the index number of the knowledge image referenced by the current image and the decoded image cache store If the index number of the knowledge image is different, the original knowledge image stored in the decoded image cache is removed.
- a module for decoding the current image reference the knowledge image stored in the decoded image buffer module to decode to obtain a reconstructed image of the current image; Reference the information of the knowledge image and the current image reference information including the index number Lib_index of the knowledge image referenced by the current image, obtain the reference image including the knowledge image from the decoded image cache, and obtain the current image by referring to these images Reconstructed image.
- the video decoding device further includes a port for outputting the index number Lib_index of the knowledge image to the outside and a port for inputting the knowledge image corresponding to the index number Lib_index.
- a video decoding device includes the following modules:
- a module that decodes the current image reference information in the main code stream (for example: a code stream parser). This module outputs information about whether the current image refers to the knowledge image and the index number of the knowledge image referenced by the current image through the analysis code stream.
- Lib_index a code stream parser
- a decoded image cache module that stores reference images needed to decode the current image; the decoded image cache module can also store images other than the reference image needed to decode the current image;
- An update management module for the decoded image cache which updates the image cached in the decoded image cache module according to the index number Lib_index of the knowledge image; where the index number Lib_index of the knowledge image comes from the current image reference in the main decoding stream Information module; during the update process, if the knowledge image corresponding to the index number Lib_index does not exist in the decoded image cache in the decoding device, the update management module of the decoded image cache will pass the index number Lib_index of the knowledge image to the system layer knowledge image cache Manager; the system layer knowledge image cache manager obtains the knowledge image corresponding to the index number Lib_index from the external knowledge image cache through the index number Lib_index; if the knowledge image corresponding to the index number Lib_index does not exist in the system layer external knowledge image cache, the system The layer knowledge image cache manager sends a request to the server to obtain the knowledge image corresponding to the index number Lib_index; the system layer knowledge image cache manager obtains the knowledge image and returns it to the decoded image cache
- the decoded image buffer in the main stream decoding device is limited, the knowledge image can also be stored in the external knowledge image cache outside the main stream decoding device, and the size of the external knowledge image buffer is flexible, according to the receiving end
- the resource situation is developed.
- the bandwidth for requesting data from the server or the source can be greatly reduced. Therefore, although the decoded image cache in the main stream decoding device limits the number of knowledge images that can be saved, other than the main stream decoding device, it is possible to flexibly prepare different sizes of cached and saved knowledge images according to the specific resources. , To get the performance of the corresponding size.
- a module for decoding the current image In this module, reference the knowledge image stored in the decoded image cache module to decode to obtain the reconstructed image of the current image; this module uses whether the module contains reference information for decoding the current image in the main code stream. Reference the information of the knowledge image and the current image reference information including the index number Lib_index of the knowledge image referenced by the current image, obtain the reference image including the knowledge image from the decoded image cache, and obtain the current image by referring to these images Reconstructed image.
- the video decoding device further includes a port to output the index number Lib_index of the knowledge image to the outside and a port to input the knowledge image corresponding to the index number Lib_index.
- a video encoding method includes the following steps:
- the knowledge image with the largest similarity is selected as the reference image for determining the current image.
- the knowledge image extracted from the nearest neighbor in time is selected as the reference image of the current image.
- only one knowledge image is available at any time, and the knowledge image is the reference image of the current image.
- the index number of the knowledge image is used by the decoder to locate the corresponding knowledge image from the outside.
- the current image refers to at least one knowledge image.
- the index number of the referenced knowledge image locate the corresponding knowledge image in the decoded image cache; when the knowledge image corresponding to the index number does not exist in the decoded image cache, obtain the corresponding Knowledge images, and perform operation 3;
- the update operation specifically includes one of the following operations:
- identification information is added to the knowledge image moved into the decoded image cache to distinguish it from the non-knowledge image in the decoded image cache.
- the decoded image buffer is divided into two parts, one part is only used to store knowledge images, and the other part is only used to store non-knowledge images.
- the knowledge image is stored at the end of the decoded image buffer.
- numbering information is added to the knowledge image moved into the decoded image cache to distinguish it from other knowledge images in the decoded image cache.
- the minimum cache capacity of the knowledge image describes the minimum cache capacity provided by the decoded image cache for the knowledge image.
- the cache capacity is in units of the number of images or in bytes.
- the minimum cache capacity information of the knowledge image is encoded into the code stream and carried in the sequence header, image header, stripe header, or sequence-level parameter set of the code stream.
- the minimum cache capacity of the knowledge image is the cache capacity defined by the encoding and decoding standards, for example, the cache capacity is limited by the level and level of the decoding capability. At this time, the encoding method selects the minimum knowledge image defined by the standard Cache capacity.
- the removal rule includes but is not limited to the following methods:
- the cache capacity of the knowledge image is 1, at this time, the rule of "unequal output” is adopted, that is, as long as the index number of the knowledge image referenced by the current image and the index of the knowledge image stored in the decoded image cache If the number is different, the original knowledge image stored in the decoded image cache is removed.
- a video encoding device includes the following modules:
- a module for obtaining reference information of the current image the module outputs information about whether the current image refers to the knowledge image, and the index number of the knowledge image referenced by the current image, Lib_index;
- the module further includes a selection module that selects the knowledge image with the largest similarity as the reference image for determining the current image according to the similarity of the image content.
- the module further includes a selection module, which selects the knowledge image extracted from the nearest position in time as the reference image of the current image according to time-domain continuity. In a realizable device, only one knowledge image is available at any time, then the module selects the knowledge image as the reference image of the current image.
- a decoded image buffer module that stores reference images needed to decode the current image
- the module further includes a marking module, the marking module adds identification information to the knowledge image moved into the decoded image cache to distinguish it from the non-knowledge image in the decoded image cache.
- the module divides the decoded image cache into two parts, one part is only used to store knowledge images, and the other part is only used to store non-knowledge images.
- the module stores the knowledge image at the end of the decoded image buffer.
- the module further includes a numbering module, which adds numbering information to the knowledge images moved into the decoded image cache to distinguish it from other knowledge images in the decoded image cache.
- An update management module for the decoded image cache which updates the image cached in the decoded image cache module according to the index number Lib_index of the knowledge image; where the index number Lib_index of the knowledge image comes from the current image reference in the main decoding stream Information module; during the update process, this module passes the knowledge image index number Lib_index to the outside of the decoding device to obtain the knowledge image corresponding to the index number Lib_index that does not exist in the decoding image buffer in the decoding device from outside the decoding device, and According to the auxiliary information of the stored knowledge image (for example: the time when the knowledge image enters the cache; the number of times the knowledge image is used; the time when the knowledge image is used, etc.), select the removed knowledge image and move it into the index number Lib_index obtained from the outside Corresponding knowledge image;
- the update management module further includes a statistics module, and the statistics module is used to provide statistical information for rules used for removing knowledge images, including but not limited to:
- the statistics module records the time at which each knowledge image stored in the decoded image cache enters the cache; then the update management module removes at least 1 frame of the knowledge image already in the decoded image cache according to the rule of "first in first out", namely Select at least one frame of knowledge images that are first entered into the decoded image cache;
- the statistics module records the number of times each knowledge image stored in the decoded image cache is used; the update management module removes at least one frame of the knowledge image already in the decoded image cache according to the rule of "least frequently used", That is, at least choose to remove one frame of knowledge images that are already in the decoded image cache but are used the least;
- the statistics module records the time at which each knowledge image stored in the decoded image cache is used; the update management module removes at least 1 frame of knowledge that is already in the decoded image cache according to the rule of "the last one used the oldest out" An image, that is, at least one frame of the knowledge image that has been removed from the decoded image buffer but is the longest time to use the knowledge image to decode the current image from the current image.
- the cache capacity NL of the knowledge image is 1, and the update management module adopts the "out of equal" rule, that is, as long as the index number of the knowledge image referenced by the current image and the decoded image cache store If the index number of the knowledge image is different, the original knowledge image stored in the decoded image cache is removed.
- a module for encoding the current image in which the code stream of the current image is obtained by referring to the knowledge image encoding stored in the decoded image cache module;
- the video decoding device further includes a port for outputting the index number Lib_index of the knowledge image to the outside and a port for inputting the knowledge image corresponding to the index number Lib_index.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了视频编码的方法和装置以及视频解码的方法和装置。通过有效地存储和管理当前编码或解码图像所参考的短期参考图像和由外部提供的知识图像，避免知识图像和短期参考图像的总和超出解码图像缓存的大小以保证参考图像的可用性和编码或解码的正确性，同时，避免知识图像的频繁移入移出，以降低知识图像对编码器或解码器带来的额外的解码能力负荷，并降低知识图像带来的编码装置或解码装置与外部数据的搬移负载，以保证解码装置对码流的实时解码。
Description
发明涉及一种视频编码的方法和装置以及视频解码的方法和装置。
基于知识库的编码方法：
为了挖掘和利用多个随机访问片段之间的图像在编码时相互参考的信息，在编码(或解码)一幅图像时，编码器(或解码器)可以从数据库中选择与当前编码图像(或解码图像)纹理内容相近的图像作为参考图像，这种参考图像称为知识图像，存储上述参考图像的集合的数据库称为知识库，这种视频中至少一幅图像参考至少一幅知识库图像进行编解码的方法称为基于知识库的视频编码(英文：library-based video coding)。采用基于知识库的视频编码对一个视频序列进行编码会产生一个包含知识图像编码码流的知识层码流和一个包含视频序列各帧图像参考知识库图像编码得到的码流的视频层码流（下文称为主码流），两层码流之间的参考关系如图1所示。这两种码流分别类似于可伸缩视频编码(英文：scalable
video coding，SVC)产生的基本层码流和增强层码流，即序列层码流依赖于知识层码流。然而，基于知识库的视频编码的双码流组织方式与SVC的分级码流组织方式的层级码流之间的依赖关系不同，不同之处在于，SVC的双码流层级之间是按照一定的对齐时间段依赖的，而基于知识库的视频编码的双码流中视频层依赖知识层是按照非对齐时间段依赖的。
现有编解码技术在编码或解码时，需要解码图像缓存来保存短期参考图像（短期参考图像由当前图像之间已经编码或解码过的图像的重建图像构成）、当前编码或解码的图像、和待显示的图像，并在码流中记录了编码或解码该码流需要的最小的解码图像缓存大小，根据码流提供的最小的解码图像缓存大小信息，解码器提供足够大小的解码图像缓存，并进行相应的管理操作来对解码图像缓存中的图像进行移入和移出以确保码流的正确和实时解码。
但是对于使用基于知识库的视频编码方法编码得到的码流，主码流中图像的编码或者解码需要使用外部提供的知识图像来作参考，现有编码方法使用的解码图像缓存并不能有效存储和管理外部提供的知识图像。
为克服现有技术上述缺陷，本发明提出了一种视频编解码方法及其装置。
本发明第一目的是提供一种视频解码方法，解码主码流中的当前图像，包括：
（1）解码主码流中的当前图像的参考信息，获得当前图像所参考的图像包含知识图像的信息、以及当前图像所参考的知识图像的索引号Lib_index；
（2）根据知识图像的索引号Lib_index, 更新解码图像缓存；
（3）利用包括解码图像缓存中索引号Lib_index对应的知识图像的参考图像，解码当前图像。
作为优选，所述方法包括所述的更新解码图像缓存通过如下方式进行：
若在解码图像缓存里不存在知识图像索引号为Lib_index的知识图像，则主码流的解码器向外部提供当前图像参考的知识图像的索引号Lib_index、并从外部获得索引号Lib_index所对应的知识图像；
将该知识图像移入解码图像缓存；
记载该图像为知识图像并且该图像的索引号为Lib_index。
作为优选，所述方法还包括以下之一：
（1）解码视频主码流中的知识图像缓存容量信息，得到解码图像缓存中知识图像缓存区的大小为NL个图像；
（2）视频主码流的解码器根据事先约定，设定解码图像缓存中知识图像缓存区的大小为固定值NL个图像；
（3）解码视频主码流中的解码图像缓存容量信息得到解码图像缓存的大小为NP个图像，或视频主码流的解码器根据事先约定，设定解码图像缓存的大小为NP个图像；根据解码图像缓存中非知识图像的数量ND个图像，得到解码图像缓存中知识图像缓存区的大小为NL个图像，其中NL＝NP-ND。
作为优选，所述方法包括所述更新解码图像缓存通过如下方式之一进行：
（1）当解码图像缓存内的知识图像数量小于知识图像缓存区的大小NL，且在解码图像缓存里不存在知识图像索引号为Lib_index的知识图像时：主码流的解码器向外部提供当前图像参考的知识图像的索引号Lib_index、并从外部获得索引号Lib_index所对应的知识图像；将该知识图像移入解码图像缓存，记载该图像为知识图像并且该图像的索引号为Lib_index；
（2）当解码图像缓存内的知识图像数量等于知识图像缓存区的大小NL，且在解码图像缓存里不存在知识图像索引号为Lib_index的知识图像时：按规则至少移出1帧已在解码图像缓存中的知识图像；主码流的解码器向外部提供当前图像参考的知识图像的索引号Lib_index、并从外部获得索引号Lib_index所对应的知识图像；将该知识图像移入解码图像缓存，记载该图像为知识图像并且该图像的索引号为Lib_index。
作为优选，所述方法还包括：
解码视频主码流中的解码图像缓存容量信息得到解码图像缓存的大小为NP个图像，或视频主码流的解码器根据事先约定，设定解码图像缓存的大小为NP个图像；
所述更新解码图像缓存，过程包括以下之一：
（1）当解码图像缓存内的图像数量小于解码图像缓存的大小NP时：将当前解码图像移入解码图像缓存；
（2）当解码图像缓存内的图像数量等于解码图像缓存的大小NP时：按规则至少移出1帧已在解码图像缓存中的知识图像，并将当前解码图像移入解码图像缓存。
作为优选，所述方法包括：
（1）所述更新解码图像缓存包括：主码流的解码器向外部提供当前图像参考的知识图像的索引号Lib_index、并从外部获得索引号Lib_index所对应的知识图像；将该知识图像移入解码图像缓存，记载该图像为知识图像并且该图像的索引号为Lib_index；
（2）解码完当前图像后，移出解码图像缓存中的所有知识图像。
作为优选，所述方法中所述按规则至少移出1帧已在解码图像缓存中的知识图像的方法为以下之一：
（1）在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像进入缓存的时刻；按“先进先出”的规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出最先进入解码图像缓存的1帧知识图像；
（2）在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像被使用的次数；按“最不常用者出”的规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出已在解码图像缓存中、但使用次数最少的1帧知识图像；
（3）在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像被使用到的时刻；按“最后一次使用最久远者出”规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出已在解码图像缓存中、但最近一次使用该知识图像距离所述当前图像的解码时间最久远的1帧知识图像。
作为优选，所述更新解码图像缓存的方法为：
当解码图像缓存中知识图像缓存区的大小NL为1时，如果当前图像所参考的知识图像的索引号Lib_index与解码图像缓存中存储的知识图像的索引号不同，就移出解码图像缓存中存储的原有的知识图像；主码流的解码器向外部提供当前图像参考的知识图像的索引号Lib_index、并从外部获得索引号Lib_index所对应的知识图像；将该知识图像移入解码图像缓存，记载该图像为知识图像并且该图像的索引号为Lib_index。
本发明第二目的是提供一种视频编码方法，编码主码流中的当前图像，包括：
（1） 获取当前图像参考的知识图像的索引号Lib_index；
（2）根据知识图像的索引号Lib_index, 更新解码图像缓存；
（3）利用包括解码图像缓存中索引号Lib_index对应的知识图像的参考图像，编码当前图像。
本发明第三目的是提供一种视频解码的装置，包括：
解码主码流中当前图像参考信息的模块，该模块输出当前图像是否参考知识图像的信息、以及当前图像所参考的知识图像的索引号Lib_index；
储存解码当前图像所需要的参考图像的解码图像缓存模块；
解码图像缓存的更新管理模块，该模块根据知识图像的索引号Lib_index来更新所述的解码图像缓存模块中所缓存的图像；
解码当前图像的模块，在该模块中参考解码图像缓存模块中所存储的知识图像解码获得当前图像的重构图像；
所述视频解码的装置还包括向外部输出知识图像的索引号Lib_index的端口和输入索引号Lib_index所对应的知识图像的端口。
本发明提供一种视频编解码方法与装置，使得在编码或者解码主码流的图像时，主码流的编码器或者解码器能够在解码图像缓存中长期存储由外部提供的知识图像，同时有效地存储和管理当前编码或解码图像所参考的短期参考图像，从而避免知识图像和短期参考图像的总和超出解码图像缓存的大小以保证参考图像的可用性和编码或解码的正确性。同时，也保证了解码图像缓存能够高效管理存储的知识图像，从而避免知识图像的频繁移入移出，以降低知识图像对编码器或解码器带来的额外的解码能力负荷，并降低知识图像带来的编码器或解码器与外部的数据搬移负载，这使得主码流的解码器能够保证对码流的实时解码。
当主码流的解码器内的解码图像缓存有限时，知识图像还可以保存在主码流解码器之外的扩展的缓存里，而扩展缓存的大小是灵活的，根据接收端的资源情况来开辟，当存在扩展缓存时，可以大大降低向服务器端或源端来请求数据的带宽。虽然主码流的解码器内的解码图像缓存限制了可保存的知识图像的数目，但基本主码流的解码器外面可以根据具体的资源的情况灵活的来准备不同大小的缓存保存知识图像，从而获得相应大小的性能。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1 知识层码流和视频层码流（主码流）的图像依赖关系示意图；
图2 本发明实施例提供的视频解码装置的一种装置结构图；
图3 本发明实施例提供的视频解码装置的另一种装置结构图；
图4 本发明实施例提供的视频编码装置的一种装置结构图。
在此处键入本发明的最佳实施方式描述段落。
一种视频解码方法，包括如下步骤：
1、根据当前解码图像的参考图像配置信息，获取当前图像参考的知识图像的索引编号。
其中，示例性的，所述参考图像配置信息携带在码流的序列头或图像头或条带头或序列级参数集中，所述参考图像配置信息包含了所述当前解码图像参考的图像是否为知识图像的标识，以及该参考图像的索引编号。其中如果参考图像是知识图像，所述知识图像的索引编号用于解码器从外部定位对应的知识图像。
其中，示例性的，当前图像参考至少一个知识图像。
2、根据所述被参考的知识图像的索引编号，在解码图像缓存中定位对应的知识图像；当所述索引编号对应的知识图像不存在于解码图像缓存中时，获取所述索引编号对应的知识图像，并执行操作3；
3、更新解码图像缓存中存储的图像；
其中，所述更新操作具体包括以下操作之一：
1）当解码图像缓存内的知识图像数量小于知识图像的最小缓存容量时，将所述索引编号对应的知识图像移入解码图像缓存；
其中，在一种实现方法中，为移入解码图像缓存的知识图像添加标识信息以和解码图像缓存中的非知识图像进行区分。在一种实现方法中，将解码图像缓存分割为两部分，一部分仅用于存储知识图像，另一部分仅用于存储非知识图像。在一种实现方法中，将知识图像存入解码图像缓存的末尾。
其中，在一种实现方法中，为移入解码图像缓存的知识图像添加编号信息以和解码图像缓存中的其他知识图像进行区分。
2）当解码图像缓存内的知识图像数量不小于知识图像的最小缓存容量时，按规则移出至少1帧已在解码图像缓存中的知识图像，将所述索引编号对应的知识图像移入解码图像缓存。
其中，所述知识图像的最小缓存容量描述了解码图像缓存为知识图像提供的最小的缓存容量，示例性的，缓存容量以图像个数为单位或以字节为单位。在一种实现方法下，所述知识图像的最小缓存容量为携带在码流的序列头或图像头或条带头或序列级参数集中，由解码器解析码流获取所述知识图像的最小缓存容量。在另一种实现方法下，所述知识图像的最小缓存容量为编码解码标准限定的缓存容量，例如以解码能力的档次和级别限定缓存容量，此时，解码方法选用标准限定的知识图像的最小缓存容量。
其中，所述移出规则包括但不限于以下方法：
在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像进入缓存的时刻；按“先进先出”的规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出最先进入解码图像缓存的1帧知识图像；
在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像被使用的次数；按“最不常用者出”的规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出已在解码图像缓存中、但使用次数最少的1帧知识图像；
在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像被使用到的时刻；按“最后一次使用最久远者出”规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出已在解码图像缓存中、但最近一次使用该知识图像距离所述当前图像的解码时间最久远的1帧知识图像。
作为此例中的一个特例，知识图像的缓存容量NL是1，此时采用“不等即出”规则，即只要当前图像所参考的知识图像的索引号与解码图像缓存中存储的知识图像的索引号不同，就移出解码图像缓存中存储的原有的知识图像。
3）将根据所述索引编号在解码图像缓存中定位的知识图像加入当前图像的参考队列，并根据参考队列中的参考图像对当前图像进行解码。
实施例二
一种视频解码方法，包括如下步骤：
1、解码视频主码流中的知识图像缓存容量信息（例如：知识图像缓存大小、知识图像缓存大小-1、规定了知识图像缓存大小的档次信息等），得到知识图像的缓存容量为NL个图像。根据知识图像的缓存容量，主码流的解码器的解码图像缓存中包含一个知识图像缓存区用于存放知识图像，该知识图像缓存区的大小不小于主码流中指示的知识图像缓存容量NL。
2、解码主码流中的当前图像，包括：
1）解码主码流中的当前图像的参考信息（例如：参考图像列表中的信息），获得当前图像所参考的图像包含知识图像的信息、 以及当前图像所参考的知识图像的索引号Lib_index；
2） 根据知识图像的索引号Lib_index, 更新解码图像缓存：
若在解码图像缓存里不存在与索引号Lib_index具有相同索引号的知识图像，则主码流的解码器向外部提供当前图像参考的知识图像的索引号Lib_index、并从外部获得索引号Lib_index所对应的知识图像，更新解码图像缓存中的知识图像，更新过程如下：
a）当解码图像缓存内的知识图像数量小于知识图像缓存区的大小NL时，则直接将知识图像索引号Lib_index所对应的知识图像移入解码图像缓存，记载该图像为知识图像并且该图像的索引号为Lib_index；
b）当解码图像缓存内的知识图像数量等于知识图像缓存区的大小NL时，则按规则移出至少1帧已在解码图像缓存中的知识图像，并移入知识图像索引号Lib_index所对应的知识图像，记载该图像为知识图像并且该图像的索引号为Lib_index。上述“规则”以及相应的“移出”具体化为以下方法之一：
i .在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像进入缓存的时刻；按“先进先出”的规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出最先进入解码图像缓存的1帧知识图像；
ii .在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像被使用的次数；按“最不常用者出”的规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出已在解码图像缓存中、但使用次数最少的1帧知识图像；
iii .在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像被使用到的时刻；按“最后一次使用最久远者出”规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出已在解码图像缓存中、但最近一次使用该知识图像距离所述当前图像的解码时间最久远的1帧知识图像。
作为此例中的一个特例，知识图像的缓存容量NL是1，此时采用“不等即出”规则，即只要当前图像所参考的知识图像的索引号Lib_index与解码图像缓存中存储的知识图像的索引号不同，就移出解码图像缓存中存储的原有的知识图像。
还可以有其它规则，以及对应的更新方法。
3）根据当前图像的参考信息，从解码图像缓存中的所有参考图像中定位索引号Lib_index对应的知识图像，并获得解码图像缓存中索引号Lib_index对应的知识图像；
4）利用包括解码图像缓存中索引号Lib_index对应的知识图像的参考图像，解码当前图像。当前解码图像的参考图像中至少包含一幅知识图像，还可以包含其它非知识图像。
实施例三（隐式限定知识图像占用的缓存大小）
一种视频解码方法，包括如下步骤：
1、视频主码流的解码器根据事先约定，设定解码图像缓存中知识图像缓存区的大小为固定值NL个图像。
2、解码主码流中的当前图像，包括：
1）解码主码流中的当前图像的参考信息（例如：参考图像列表中的信息），获得当前图像所参考的图像包含知识图像的信息、 以及当前图像所参考的知识图像的索引号Lib_index；
2）根据知识图像的索引号Lib_index, 更新解码图像缓存：
若在解码图像缓存里不存在与索引号Lib_index具有相同索引号的知识图像，则主码流的解码器向外部提供当前图像参考的知识图像的索引号Lib_index、并从外部获得索引号Lib_index所对应的知识图像，更新解码图像缓存中的知识图像，更新过程如下：
a) 当解码图像缓存内的知识图像数量小于知识图像缓存区的大小NL时，则直接将知识图像索引号Lib_index所对应的知识图像移入解码图像缓存，记载该图像为知识图像并且该图像的索引号为Lib_index；
b) 当解码图像缓存内的知识图像数量等于知识图像缓存区的大小NL时，则按规则至少移出1帧已在解码图像缓存中的知识图像，并移入知识图像索引号Lib_index所对应的知识图像，记载该图像为知识图像并且该图像的索引号为Lib_index。上述“规则”以及相应的“移出”具体化为：
i .在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像进入缓存的时刻；按“先进先出”的规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出最先进入解码图像缓存的1帧知识图像；
ii .在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像被使用的次数；按“最不常用者出”的规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出已在解码图像缓存中、但使用次数最少的1帧知识图像；
iii .在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像被使用到的时刻；按“最后一次使用最久远者出”规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出已在解码图像缓存中、但最近一次使用该知识图像距离所述当前图像的解码时间最久远的1帧知识图像。
iv .作为此例中的一个特例，知识图像的缓存容量NL是1，此时采用“不等即出”规则，即只要当前图像所参考的知识图像的索引号Lib_index与解码图像缓存中存储的知识图像的索引号不同，就移出解码图像缓存中存储的原有的知识图像。
v .还可以有其它规则，以及对应的更新方法。
3）根据当前图像的参考信息，从解码图像缓存中的所有参考图像中定位索引号Lib_index对应的知识图像，并获得解码图像缓存中索引号Lib_index对应的知识图像；
4）利用包括解码图像缓存中索引号Lib_index对应的知识图像的参考图像，解码当前图像。当前解码图像的参考图像中至少包含一幅知识图像，还可以包含其它非知识图像。
实施例四（不限定知识图像缓存大小，限定总大小）
一种视频解码方法，包括如下步骤：
1、解码视频主码流中的解码图像缓存容量信息得到解码图像缓存的大小为NP个图像，或视频主码流的解码器根据事先约定，设定解码图像缓存的大小为NP个图像。主码流的解码器的解码图像缓存中包含当前解码图像、待显示的图像、参考图像（包含被参考的知识图像）。
2、解码主码流中的当前图像，包括：
1）将当前解码图像移入解码图像缓存，并更新解码图像缓存中的图像，更新过程如下：
a) 当解码图像缓存内的图像数量小于解码图像缓存的大小NP时，则直接将当前解码图像移入解码图像缓存；
b) 当解码图像缓存内的图像数量等于解码图像缓存的大小NP时，则按规则至少移出1帧已在解码图像缓存中的知识图像，并移入当前解码图像。上述“规则”以及相应的“移出”具体化为，
i .在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像进入缓存的时刻；按“先进先出”的规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出最先进入解码图像缓存的1帧知识图像；
ii .在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像被使用的次数；按“最不常用者出”的规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出已在解码图像缓存中、但使用次数最少的1帧知识图像；
iii .在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像被使用到的时刻；按“最后一次使用最久远者出”规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出已在解码图像缓存中、但最近一次使用该知识图像距离所述当前图像的解码时间最久远的1帧知识图像。
iv .作为此例中的一个特例，知识图像的缓存容量NL是1，此时采用“不等即出”规则，即只要当前图像所参考的知识图像的索引号Lib_index与解码图像缓存中存储的知识图像的索引号不同，就移出解码图像缓存中存储的原有的知识图像。
v .还可以有其它规则，以及对应的更新方法。
2）解码主码流中的当前图像的参考信息（例如：参考图像列表中的信息），获得当前图像所参考的图像包含知识图像的信息、 以及当前图像所参考的知识图像的索引号Lib_index；
3）根据知识图像的索引号Lib_index, 更新解码图像缓存：
若在解码图像缓存里不存在与索引号Lib_index具有相同索引号的知识图像，则主码流的解码器向外部提供当前图像参考的知识图像的索引号Lib_index、并从外部获得索引号Lib_index所对应的知识图像，更新解码图像缓存中的知识图像，更新过程如下：
a) 统计并获得解码图像缓存中的非知识图像数量为ND个图像；
b) 根据解码图像缓存中非知识图像的数量ND个图像，得到解码图像缓存中知识图像缓存区的大小为NL个图像，其中NL＝NP-ND。
c) 当解码图像缓存内的知识图像数量小于知识图像缓存区的大小NL时，则直接将知识图像索引号Lib_index所对应的知识图像移入解码图像缓存，记载该图像为知识图像并且该图像的索引号为Lib_index；
d) 当解码图像缓存内的知识图像数量等于知识图像缓存区的大小NL时，则按规则至少移出1帧已在解码图像缓存中的知识图像，并移入知识图像索引号Lib_index所对应的知识图像，记载该图像为知识图像并且该图像的索引号为Lib_index。上述“规则”以及相应的“移出”具体化为：
i .在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像进入缓存的时刻；按“先进先出”的规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出最先进入解码图像缓存的1帧知识图像；
ii .在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像被使用的次数；按“最不常用者出”的规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出已在解码图像缓存中、但使用次数最少的1帧知识图像；
iii .在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像被使用到的时刻；按“最后一次使用最久远者出”规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出已在解码图像缓存中、但最近一次使用该知识图像距离所述当前图像的解码时间最久远的1帧知识图像。
iv .作为此例中的一个特例，知识图像的缓存容量NL是1，此时采用“不等即出”规则，即只要当前图像所参考的知识图像的索引号Lib_index与解码图像缓存中存储的知识图像的索引号不同，就移出解码图像缓存中存储的原有的知识图像。
v .还可以有其它规则，以及对应的更新方法。
虽然主码流的解码器内的解码图像缓存有限，但知识图像还可以保存在主码流解码器之外的扩展的缓存里，而扩展缓存的大小是灵活的，根据接收端的资源情况来开辟，当存在扩展缓存时，可以大大降低向服务器端或源端来请求数据的带宽。因此虽然主码流的解码器内的解码图像缓存限制了可保存的知识图像的数目，但基本主码流的解码器外面可以根据具体的资源的情况灵活的来准备不同大小的缓存保存知识图像，从而获得相应大小的性能。
4）根据当前图像的参考信息，从解码图像缓存中的所有参考图像中定位索引号Lib_index对应的知识图像，并获得解码图像缓存中索引号Lib_index对应的知识图像；
5）利用包括解码图像缓存中索引号Lib_index对应的知识图像的参考图像，解码当前图像。当前解码图像的参考图像中至少包含一幅知识图像，还可以包含其它非知识图像。
实施例五
一种视频解码方法，包括如下步骤：
1、解码视频主码流中的解码图像缓存容量信息得到解码图像缓存的大小为NP个图像，或视频主码流的解码器根据事先约定，设定解码图像缓存的大小为NP个图像。主码流的解码器的解码图像缓存中包含当前解码图像、待显示的图像、参考图像（包含被参考的知识图像），且这些图像的总数量不能超过解码图像缓存的大小NP个图像。
2、解码主码流中的当前图像，包括：
1）解码主码流中的当前图像的参考信息（例如：参考图像列表中的信息），获得当前图像所参考的图像包含知识图像的信息、 以及当前图像所参考的知识图像的索引号Lib_index；
2）主码流的解码器向外部提供当前图像参考的知识图像的索引号Lib_index、并从外部获得索引号Lib_index所对应的知识图像，移入解码图像缓存，记载该图像为知识图像并且该图像的索引号为Lib_index；
3）根据当前图像的参考信息，从解码图像缓存中的所有参考图像中定位索引号Lib_index对应的知识图像，并获得解码图像缓存中索引号Lib_index对应的知识图像；
4）利用包括解码图像缓存中索引号Lib_index对应的知识图像的参考图像，解码当前图像。当前解码图像的参考图像中至少包含一幅知识图像，还可以包含其它非知识图像。
5）解码完当前图像后，移出解码图像缓存中的所有知识图像。
实施例六
参见图2。一种视频解码的装置，包括以下模块：
1、解码主码流中当前图像参考信息的模块（例如：码流解析器），该模块通过解析码流输出当前图像是否参考知识图像的信息、以及当前图像所参考的知识图像的索引号Lib_index；
其中，在一种可实现的装置中，该模块从码流的序列头或图像头或条带头或序列级参数集中解析所述参考图像配置信息。
2、储存解码当前图像所需要的参考图像的解码图像缓存模块；该解码图像缓存模块还可以储存解码当前图像所需要的参考图像以外的图像；
其中，在一种可实现的装置中，该模块还包括标记模块，所述标记模块为移入解码图像缓存的知识图像添加标识信息以和解码图像缓存中的非知识图像进行区分。在一种可实现的装置中，该模块将解码图像缓存分割为两部分，一部分仅用于存储知识图像，另一部分仅用于存储非知识图像。在一种可实现的装置中，该模块将知识图像存入解码图像缓存的末尾。
其中，在一种可实现的装置中，该模块还包括编号模块，所述编号模块为移入解码图像缓存的知识图像添加编号信息以和解码图像缓存中的其他知识图像进行区分。
3、解码图像缓存的更新管理模块，该模块根据知识图像的索引号Lib_index来更新所述的解码图像缓存模块中所缓存的图像；其中知识图像的索引号Lib_index来自解码主码流中当前图像参考信息的模块；在更新过程中该模块通过传递知识图像的索引号Lib_index到解码装置外部，来从解码装置外部获得解码装置里的解码图像缓存里不存在的索引号Lib_index所对应的知识图像，并根据存储的知识图像的辅助信息（例如：知识图像进入缓存的时刻；知识图像被使用的次数；知识图像被使用到的时刻等）选择移出的知识图像，并移入从外部获得的索引号Lib_index所对应的知识图像；
其中，在一种可实现的装置中，所述更新管理模块还包括统计模块，所述统计模块用于为移出知识图像使用的规则提供统计信息，包括但不限于：
所述统计模块记载每一个存储在解码图像缓存中的知识图像进入缓存的时刻；则所述更新管理模块按“先进先出”的规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出最先进入解码图像缓存的1帧知识图像；
所述统计模块记载每一个存储在解码图像缓存中的知识图像被使用的次数；所述更新管理模块按“最不常用者出”的规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出已在解码图像缓存中、但使用次数最少的1帧知识图像；
所述统计模块记载每一个存储在解码图像缓存中的知识图像被使用到的时刻；所述更新管理模块按“最后一次使用最久远者出”规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出已在解码图像缓存中、但最近一次使用该知识图像距离所述当前图像的解码时间最久远的1帧知识图像。
作为此例中的一个特例，知识图像的缓存容量NL是1，所述更新管理模块采用“不等即出”规则，即只要当前图像所参考的知识图像的索引号与解码图像缓存中存储的知识图像的索引号不同，就移出解码图像缓存中存储的原有的知识图像。
4、解码当前图像的模块，在该模块中参考解码图像缓存模块中所存储的知识图像解码获得当前图像的重构图像；该模块利用来自解码主码流中当前图像参考信息的模块的包含是否参考知识图像的信息、以及当前图像所参考的知识图像的索引号Lib_index在内的当前图像参考信息，从解码图像缓存中获得包括知识图像在内的参考图像，并通过参考这些图像，获得当前图像的重构图像。
5、所述视频解码的装置还包括向外部输出知识图像的索引号Lib_index的端口和输入索引号Lib_index所对应的知识图像的端口。
实施例七
参见图3。一种视频解码的装置，包括以下模块：
1、解码主码流中当前图像参考信息的模块（例如：码流解析器），该模块通过解析码流输出当前图像是否参考知识图像的信息、以及当前图像所参考的知识图像的索引号Lib_index；
2、储存解码当前图像所需要的参考图像的解码图像缓存模块；该解码图像缓存模块还可以储存解码当前图像所需要的参考图像以外的图像；
3、解码图像缓存的更新管理模块，该模块根据知识图像的索引号Lib_index来更新所述的解码图像缓存模块中所缓存的图像；其中知识图像的索引号Lib_index来自解码主码流中当前图像参考信息的模块；在更新过程中若解码装置里的解码图像缓存里不存在的索引号Lib_index所对应的知识图像，解码图像缓存的更新管理模块将传递知识图像的索引号Lib_index到系统层知识图像缓存管理器；系统层知识图像缓存管理器通过索引号Lib_index从外部知识图像缓存中获得索引号Lib_index对应的知识图像；若系统层的外部知识图像缓存中不存在索引号Lib_index对应的知识图像，则系统层知识图像缓存管理器向服务器发送请求来获得索引号Lib_index对应的知识图像；系统层知识图像缓存管理器获得知识图像之后返回给解码图像缓存的更新管理模块；解码图像缓存的更新管理模块通过存储的知识图像的辅助信息（例如：知识图像进入缓存的时刻；知识图像被使用的次数；知识图像被使用到的时刻等）选择移出的知识图像，并移入从外部获得的索引号Lib_index所对应的知识图像；
虽然主码流的解码装置内的解码图像缓存有限，但知识图像还可以保存在主码流解码装置之外的外部知识图像缓存里，而外部知识图像缓存的大小是灵活的，可以根据接收端的资源情况来开辟，当存在外部知识图像缓存时，可以大大降低向服务器端或源端来请求数据的带宽。因此虽然主码流的解码装置内的解码图像缓存限制了可保存的知识图像的数目，但主码流的解码装置之外可以根据具体的资源的情况灵活地来准备不同大小的缓存保存知识图像，从而获得相应大小的性能。
4、解码当前图像的模块，在该模块中参考解码图像缓存模块中所存储的知识图像解码获得当前图像的重构图像；该模块利用来自解码主码流中当前图像参考信息的模块的包含是否参考知识图像的信息、以及当前图像所参考的知识图像的索引号Lib_index在内的当前图像参考信息，从解码图像缓存中获得包括知识图像在内的参考图像，并通过参考这些图像，获得当前图像的重构图像。
5、所述视频解码的装置还包括向外部输出知识图像的索引号Lib_index的端口和输入索引号Lib_index所对应的知识图像的端口。
实施例八
一种视频编码方法，包括如下步骤：
1、获取当前图像参考的知识图像的索引编号。
其中，在一种实现方法下，根据图像内容相似性，选择相似性最大的知识图像作为确定当前图像的参考图像。在一种实现方法下，根据时域连续性，选择时间上最邻近位置提取的知识图像作为当前图像的参考图像。在一种实现方法下，任意时刻只有一个知识图像可用，则该知识图像为当前图像的参考图像。其中，所述知识图像的索引编号用于解码器从外部定位对应的知识图像。
其中，示例性的，当前图像参考至少一个知识图像。
2、根据所述被参考的知识图像的索引编号，在解码图像缓存中定位对应的知识图像；当所述索引编号对应的知识图像不存在于解码图像缓存中时，获取所述索引编号对应的知识图像，并执行操作3；
3、更新解码图像缓存中存储的图像；
其中，所述更新操作具体包括以下操作之一：
1）当解码图像缓存内的知识图像数量小于知识图像的最小缓存容量时，将所述索引编号对应的知识图像移入解码图像缓存；
其中，在一种实现方法中，为移入解码图像缓存的知识图像添加标识信息以和解码图像缓存中的非知识图像进行区分。在一种实现方法中，将解码图像缓存分割为两部分，一部分仅用于存储知识图像，另一部分仅用于存储非知识图像。在一种实现方法中，将知识图像存入解码图像缓存的末尾。
其中，在一种实现方法中，为移入解码图像缓存的知识图像添加编号信息以和解码图像缓存中的其他知识图像进行区分。
2）当解码图像缓存内的知识图像数量不小于知识图像的最小缓存容量时，按规则移出至少1帧已在解码图像缓存中的知识图像，将所述索引编号对应的知识图像移入解码图像缓存。
其中，所述知识图像的最小缓存容量描述了解码图像缓存为知识图像提供的最小的缓存容量，示例性的，缓存容量以图像个数为单位或以字节为单位。在一种实现方法下，所述知识图像的最小缓存容量信息被编码放入码流中，携带在码流的序列头或图像头或条带头或序列级参数集中。在另一种实现方法下，所述知识图像的最小缓存容量为编码解码标准限定的缓存容量，例如以解码能力的档次和级别限定缓存容量，此时，编码方法选用标准限定的知识图像的最小缓存容量。
其中，所述移出规则包括但不限于以下方法：
在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像进入缓存的时刻；按“先进先出”的规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出最先进入解码图像缓存的1帧知识图像；
在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像被使用的次数；按“最不常用者出”的规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出已在解码图像缓存中、但使用次数最少的1帧知识图像；
在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像被使用到的时刻；按“最后一次使用最久远者出”规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出已在解码图像缓存中、但最近一次使用该知识图像距离所述当前图像的解码时间最久远的1帧知识图像。
作为此例中的一个特例，知识图像的缓存容量是1，此时采用“不等即出”规则，即只要当前图像所参考的知识图像的索引号与解码图像缓存中存储的知识图像的索引号不同，就移出解码图像缓存中存储的原有的知识图像。
3）将根据所述索引编号在解码图像缓存中定位的知识图像加入当前图像的参考队列，并根据参考队列中的参考图像对当前图像进行编码。
实施例九
参见图4。一种视频编码的装置，包括以下模块：
1、获取当前图像参考信息的模块，该模块输出当前图像是否参考知识图像的信息、以及当前图像所参考的知识图像的索引号Lib_index；
其中，在一种可实现的装置中，该模块还包括选择模块，所述选择模块根据图像内容相似性，选择相似性最大的知识图像作为确定当前图像的参考图像。在一种可实现的装置中，该模块还包括选择模块，所述选择模块根据时域连续性，选择时间上最邻近位置提取的知识图像作为当前图像的参考图像。在一种可实现的装置中，任意时刻只有一个知识图像可用，则该模块选择该知识图像为当前图像的参考图像。
2、储存解码当前图像所需要的参考图像的解码图像缓存模块；
其中，在一种可实现的装置中，该模块还包括标记模块，所述标记模块为移入解码图像缓存的知识图像添加标识信息以和解码图像缓存中的非知识图像进行区分。在一种可实现的装置中，该模块将解码图像缓存分割为两部分，一部分仅用于存储知识图像，另一部分仅用于存储非知识图像。在一种可实现的装置中，该模块将知识图像存入解码图像缓存的末尾。
其中，在一种可实现的装置中，该模块还包括编号模块，所述编号模块为移入解码图像缓存的知识图像添加编号信息以和解码图像缓存中的其他知识图像进行区分。
3、解码图像缓存的更新管理模块，该模块根据知识图像的索引号Lib_index来更新所述的解码图像缓存模块中所缓存的图像；其中知识图像的索引号Lib_index来自解码主码流中当前图像参考信息的模块；在更新过程中该模块通过传递知识图像的索引号Lib_index到解码装置外部，来从解码装置外部获得解码装置里的解码图像缓存里不存在的索引号Lib_index所对应的知识图像，并根据存储的知识图像的辅助信息（例如：知识图像进入缓存的时刻；知识图像被使用的次数；知识图像被使用到的时刻等）选择移出的知识图像，并移入从外部获得的索引号Lib_index所对应的知识图像；
其中，在一种可实现的装置中，所述更新管理模块还包括统计模块，所述统计模块用于为移出知识图像使用的规则提供统计信息，包括但不限于：
所述统计模块记载每一个存储在解码图像缓存中的知识图像进入缓存的时刻；则所述更新管理模块按“先进先出”的规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出最先进入解码图像缓存的1帧知识图像；
所述统计模块记载每一个存储在解码图像缓存中的知识图像被使用的次数；所述更新管理模块按“最不常用者出”的规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出已在解码图像缓存中、但使用次数最少的1帧知识图像；
所述统计模块记载每一个存储在解码图像缓存中的知识图像被使用到的时刻；所述更新管理模块按“最后一次使用最久远者出”规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出已在解码图像缓存中、但最近一次使用该知识图像距离所述当前图像的解码时间最久远的1帧知识图像。
作为此例中的一个特例，知识图像的缓存容量NL是1，所述更新管理模块采用“不等即出”规则，即只要当前图像所参考的知识图像的索引号与解码图像缓存中存储的知识图像的索引号不同，就移出解码图像缓存中存储的原有的知识图像。
4、编码当前图像的模块，在该模块中参考解码图像缓存模块中所存储的知识图像编码获得当前图像的码流；
5、所述视频解码的装置还包括向外部输出知识图像的索引号Lib_index的端口和输入索引号Lib_index所对应的知识图像的端口。
在此处键入工业实用性描述段落。
在此处键入序列表自由内容描述段落。
Claims (10)
- 一种视频解码方法，其特征在于，解码主码流中的当前图像，包括：（1）解码主码流中的当前图像的参考信息，获得当前图像所参考的图像包含知识图像的信息、以及当前图像所参考的知识图像的索引号Lib_index；（2）根据知识图像的索引号Lib_index, 更新解码图像缓存；（3）利用包括解码图像缓存中索引号Lib_index对应的知识图像的参考图像，解码当前图像。
- 如权利要求1所述的方法，其特征在于，所述的更新解码图像缓存通过如下方式进行：若在解码图像缓存里不存在知识图像索引号为Lib_index的知识图像，则主码流的解码器向外部提供当前图像参考的知识图像的索引号Lib_index、并从外部获得索引号Lib_index所对应的知识图像；将该知识图像移入解码图像缓存；记载该图像为知识图像并且该图像的索引号为Lib_index。
- 如权利要求1所述的方法，其特征在于，还包括以下之一：（1）解码视频主码流中的知识图像缓存容量信息，得到解码图像缓存中知识图像缓存区的大小为NL个图像；（2）视频主码流的解码器根据事先约定，设定解码图像缓存中知识图像缓存区的大小为固定值NL个图像；（3）解码视频主码流中的解码图像缓存容量信息得到解码图像缓存的大小为NP个图像，或视频主码流的解码器根据事先约定，设定解码图像缓存的大小为NP个图像；根据解码图像缓存中非知识图像的数量ND个图像，得到解码图像缓存中知识图像缓存区的大小为NL个图像，其中NL＝NP-ND。
- 如权利要求3所述的方法，其特征在于所述更新解码图像缓存通过如下方式之一进行：（1）当解码图像缓存内的知识图像数量小于知识图像缓存区的大小NL，且在解码图像缓存里不存在知识图像索引号为Lib_index的知识图像时：主码流的解码器向外部提供当前图像参考的知识图像的索引号Lib_index、并从外部获得索引号Lib_index所对应的知识图像；将该知识图像移入解码图像缓存，记载该图像为知识图像并且该图像的索引号为Lib_index；（2）当解码图像缓存内的知识图像数量等于知识图像缓存区的大小NL，且在解码图像缓存里不存在知识图像索引号为Lib_index的知识图像时：按规则至少移出1帧已在解码图像缓存中的知识图像；主码流的解码器向外部提供当前图像参考的知识图像的索引号Lib_index、并从外部获得索引号Lib_index所对应的知识图像；将该知识图像移入解码图像缓存，记载该图像为知识图像并且该图像的索引号为Lib_index。
- 如权利要求1所述的方法，其特征在于，还包括：解码视频主码流中的解码图像缓存容量信息得到解码图像缓存的大小为NP个图像，或视频主码流的解码器根据事先约定，设定解码图像缓存的大小为NP个图像；所述更新解码图像缓存，过程包括以下之一：（1）当解码图像缓存内的图像数量小于解码图像缓存的大小NP时：将当前解码图像移入解码图像缓存；（2）当解码图像缓存内的图像数量等于解码图像缓存的大小NP时：按规则至少移出1帧已在解码图像缓存中的知识图像，并将当前解码图像移入解码图像缓存。
- 如权利要求1所述的方法，其特征在于包括：（1）所述更新解码图像缓存包括：主码流的解码器向外部提供当前图像参考的知识图像的索引号Lib_index、并从外部获得索引号Lib_index所对应的知识图像；将该知识图像移入解码图像缓存，记载该图像为知识图像并且该图像的索引号为Lib_index；（2）解码完当前图像后，移出解码图像缓存中的所有知识图像。
- 如权利要求4-5任一所述的方法，其特征在于，所述按规则至少移出1帧已在解码图像缓存中的知识图像的方法为以下之一：（1）在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像进入缓存的时刻；按“先进先出”的规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出最先进入解码图像缓存的1帧知识图像；（2）在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像被使用的次数；按“最不常用者出”的规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出已在解码图像缓存中、但使用次数最少的1帧知识图像；（3）在解码图像缓存中记载每一个存储在解码图像缓存中的知识图像被使用到的时刻；按“最后一次使用最久远者出”规则至少移出1帧已在解码图像缓存中的知识图像，即至少选择移出已在解码图像缓存中、但最近一次使用该知识图像距离所述当前图像的解码时间最久远的1帧知识图像。
- 根据权利要求3所述的方法，其特征在于，所述更新解码图像缓存的方法为：当解码图像缓存中知识图像缓存区的大小NL为1时，如果当前图像所参考的知识图像的索引号Lib_index与解码图像缓存中存储的知识图像的索引号不同，就移出解码图像缓存中存储的原有的知识图像；主码流的解码器向外部提供当前图像参考的知识图像的索引号Lib_index、并从外部获得索引号Lib_index所对应的知识图像；将该知识图像移入解码图像缓存，记载该图像为知识图像并且该图像的索引号为Lib_index。
- 一种视频编码方法，其特征在于，编码主码流中的当前图像，包括：（1）获取当前图像参考的知识图像的索引号Lib_index；（2）根据知识图像的索引号Lib_index, 更新解码图像缓存；（3）利用包括解码图像缓存中索引号Lib_index对应的知识图像的参考图像，编码当前图像。
- 一种视频解码的装置，包括：解码主码流中当前图像参考信息的模块，该模块输出当前图像是否参考知识图像的信息、以及当前图像所参考的知识图像的索引号Lib_index；储存解码当前图像所需要的参考图像的解码图像缓存模块；解码图像缓存的更新管理模块，该模块根据知识图像的索引号Lib_index来更新所述的解码图像缓存模块中所缓存的图像；解码当前图像的模块，在该模块中参考解码图像缓存模块中所存储的知识图像解码获得当前图像的重构图像；所述视频解码的装置还包括向外部输出知识图像的索引号Lib_index的端口和输入索引号Lib_index所对应的知识图像的端口。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP19906898.2A EP3908001A4 (en) | 2019-01-02 | 2019-12-30 | METHOD AND DEVICE FOR VIDEO CODING AND DECODING |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910002807.1 | 2019-01-02 | ||
| CN201910002807.1A CN111405291B (zh) | 2019-01-02 | 2019-01-02 | 视频编解码方法与装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020140863A1 true WO2020140863A1 (zh) | 2020-07-09 |
Family
ID=71406989
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2019/129806 WO2020140863A1 (zh) | 2019-01-02 | 2019-12-30 | 视频编解码方法与装置 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP3908001A4 (zh) |
| CN (1) | CN111405291B (zh) |
| WO (1) | WO2020140863A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113347424A (zh) * | 2021-05-27 | 2021-09-03 | 上海国茂数字技术有限公司 | 视频编码数据存储方法、装置及可读存储介质 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111988626B (zh) * | 2020-07-22 | 2023-10-27 | 浙江大华技术股份有限公司 | 帧参考方法、设备及存储介质 |
| CN112055231B (zh) * | 2020-08-31 | 2021-10-15 | 浙江大华技术股份有限公司 | 视频解码方法、解码装置、解码器及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130170544A1 (en) * | 2010-09-10 | 2013-07-04 | Thomson Licensing | Methods and apparatus for pruning decision optimization in example-based data pruning compression |
| US20140086328A1 (en) * | 2012-09-25 | 2014-03-27 | Qualcomm Incorporated | Scalable video coding in hevc |
| CN104053012A (zh) * | 2014-05-28 | 2014-09-17 | 北京大学深圳研究生院 | 一种基于字典库的视频编解码方法及装置 |
| CN104768011A (zh) * | 2015-03-31 | 2015-07-08 | 浙江大学 | 图像编解码方法和相关装置 |
| CN107634930A (zh) * | 2016-07-18 | 2018-01-26 | 华为技术有限公司 | 一种媒体数据的获取方法和装置 |
| CN108243339A (zh) * | 2016-12-27 | 2018-07-03 | 浙江大学 | 图像编解码方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103796021B (zh) * | 2012-10-29 | 2018-03-16 | 浙江大学 | 视频编解码方法及装置 |
| CN107396138A (zh) * | 2016-05-17 | 2017-11-24 | 华为技术有限公司 | 一种视频编解码方法及设备 |
-
2019
- 2019-01-02 CN CN201910002807.1A patent/CN111405291B/zh active Active
- 2019-12-30 EP EP19906898.2A patent/EP3908001A4/en active Pending
- 2019-12-30 WO PCT/CN2019/129806 patent/WO2020140863A1/zh unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130170544A1 (en) * | 2010-09-10 | 2013-07-04 | Thomson Licensing | Methods and apparatus for pruning decision optimization in example-based data pruning compression |
| US20140086328A1 (en) * | 2012-09-25 | 2014-03-27 | Qualcomm Incorporated | Scalable video coding in hevc |
| CN104053012A (zh) * | 2014-05-28 | 2014-09-17 | 北京大学深圳研究生院 | 一种基于字典库的视频编解码方法及装置 |
| CN104768011A (zh) * | 2015-03-31 | 2015-07-08 | 浙江大学 | 图像编解码方法和相关装置 |
| CN107634930A (zh) * | 2016-07-18 | 2018-01-26 | 华为技术有限公司 | 一种媒体数据的获取方法和装置 |
| CN108243339A (zh) * | 2016-12-27 | 2018-07-03 | 浙江大学 | 图像编解码方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| See also references of EP3908001A4 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113347424A (zh) * | 2021-05-27 | 2021-09-03 | 上海国茂数字技术有限公司 | 视频编码数据存储方法、装置及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3908001A1 (en) | 2021-11-10 |
| CN111405291A (zh) | 2020-07-10 |
| CN111405291B (zh) | 2021-10-19 |
| EP3908001A4 (en) | 2022-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020140863A1 (zh) | 视频编解码方法与装置 | |
| US20150117545A1 (en) | Layered Video Encoding and Decoding | |
| US8918795B2 (en) | Handling and reporting of object state transitions on a multiprocess architecture | |
| CN111367687A (zh) | 进程间数据通信方法和装置 | |
| CN102067088A (zh) | 多处理器 | |
| WO2022121648A1 (zh) | 点云数据编码方法、解码方法、设备、介质及程序产品 | |
| CN113034648A (zh) | 图像处理方法、装置、设备和存储介质 | |
| CN112637634A (zh) | 一种多进程共享数据的高并发视频处理方法及系统 | |
| US10620950B2 (en) | Message parsing in a distributed stream processing system | |
| CN112449182A (zh) | 视频编码方法、装置、设备及存储介质 | |
| US11106514B2 (en) | Message stream processor microbatching | |
| CN116668691A (zh) | 一种图片压缩传输方法、装置及终端设备 | |
| US10477245B2 (en) | Methods and devices for coding and decoding depth information, and video processing and playing device | |
| CN114374848B (zh) | 一种视频编码优化方法和系统 | |
| CN115941972A (zh) | 图像传输方法、装置、设备及存储介质 | |
| CN116193160A (zh) | 一种数字水印嵌入方法、装置、设备和介质 | |
| CN115866331A (zh) | 视频抽帧分析方法、装置、设备及存储介质 | |
| CN110825920B (zh) | 数据处理方法和装置 | |
| CN112188235B (zh) | 媒体处理方式的选择方法及媒体处理方法 | |
| CN115080843A (zh) | 一种监控场景视频推荐方法、系统、装置及存储介质 | |
| TWI735297B (zh) | 具有初始化片段之視訊及音訊之寫碼 | |
| US10819622B2 (en) | Batch checkpointing for inter-stream messaging system | |
| WO2023142663A1 (zh) | 编码过程中的运动估计方法、装置、设备、存储介质及程序产品 | |
| CN114173134B (zh) | 视频编码方法、装置、电子设备和计算机可读介质 | |
| CN111625524B (zh) | 数据处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19906898 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| ENP | Entry into the national phase |
Ref document number: 2019906898 Country of ref document: EP Effective date: 20210802 |