WO2025123743A1 - 帧内模板匹配预测方法、处理节点及存储介质 - Google Patents

帧内模板匹配预测方法、处理节点及存储介质 Download PDF

Info

Publication number
WO2025123743A1
WO2025123743A1 PCT/CN2024/112975 CN2024112975W WO2025123743A1 WO 2025123743 A1 WO2025123743 A1 WO 2025123743A1 CN 2024112975 W CN2024112975 W CN 2024112975W WO 2025123743 A1 WO2025123743 A1 WO 2025123743A1
Authority
WO
WIPO (PCT)
Prior art keywords
template
search
candidate
area
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/CN2024/112975
Other languages
English (en)
French (fr)
Inventor
马思伟
李召雨
付迦叶
贾川民
张嘉琪
高莹
黄成�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
ZTE Corp
Original Assignee
Peking University
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University, ZTE Corp filed Critical Peking University
Publication of WO2025123743A1 publication Critical patent/WO2025123743A1/zh
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Definitions

  • the present application relates to the field of data processing technology, for example, to an intra-frame template matching prediction method, a processing node and a storage medium.
  • the prediction methods used by current mainstream video coding technologies mostly use local neighboring information as a reference, ignoring the non-local self-similarity in the spatial domain.
  • the encoder can use the reconstructed content as a template in intra-frame prediction and search for non-local similar blocks based on it.
  • the present application provides an intra-frame template matching prediction method, a processing node and a storage medium.
  • the present application provides an intra-frame template matching prediction method, including:
  • a target prediction block and a target search area corresponding to the current block to be predicted are determined according to the candidate prediction block corresponding to the candidate template, wherein the target search area is the area where the candidate template corresponding to the target prediction block is located, and the target search area is one of the at least two search sub-areas or the search area.
  • the embodiment of the present application also provides an intra-frame template matching prediction method, including:
  • the present application also provides a processing node, including: a memory, a processor, and a computer program stored in the memory and executable on the processor, wherein the processor executes the program to implement The above intra-frame template matching prediction method.
  • the embodiment of the present application further provides a computer-readable storage medium, on which a computer program is stored, and when the program is executed by a processor, the above-mentioned intra-frame template matching prediction method is implemented.
  • FIG1 is a flow chart of an intra-frame template matching prediction method provided by an embodiment
  • FIG2 is a flow chart of another intra-frame template matching prediction method provided by an embodiment
  • FIG3 is a schematic diagram of a search area provided by an embodiment
  • FIG4 is a schematic diagram of searching for candidate templates and performing weighted fusion on candidate prediction blocks provided by an embodiment. ;
  • FIG5 is a schematic diagram of the structure of an intra-frame template matching prediction device provided by an embodiment
  • FIG6 is a schematic diagram of the structure of another intra-frame template matching prediction device provided by an embodiment
  • FIG. 7 is a schematic diagram of a hardware structure of a processing node provided by an embodiment.
  • Intra-frame prediction mainly uses the correlation of video signals in the spatial domain, and uses the reconstructed pixels of the current image to predict the current pixel to remove the spatial redundancy of the video.
  • Intra-frame prediction mainly includes the following steps: 1) obtaining reference pixels 2) establishing a mapping from reference pixels to prediction values according to the selected prediction mode 3) filtering the prediction values 4) encoding the best intra-frame prediction mode.
  • the prediction methods used by the current mainstream video coding technology mostly use local neighboring information as a reference, ignoring the non-local self-similarity in the spatial domain.
  • the current intra-frame template matching prediction (Intra Template Matching Prediction, IntraTMP) performs the same intra-frame prediction process at the codec end, using the matching between the template corresponding to the block to be predicted and the candidate template, and selecting the prediction block corresponding to the optimal template as the prediction of the current block. Since the decoding end needs to perform the same search and matching operation as the encoding end, this will increase the decoding complexity and there will be a certain amount of information redundancy.
  • the embodiment of the present application proposes a prediction mode based on template matching on the basis of intra-frame prediction, using the reconstructed content as a template, and selecting the prediction block corresponding to the optimal template as the target prediction block of the current block to be predicted by matching the template corresponding to the block to be predicted with the candidate template.
  • a more accurate target search area can be determined for the target prediction block
  • a more accurate target search area can be determined for the target prediction block. It only needs to match the target prediction block in the search area, which reduces information redundancy, reduces decoding complexity, and improves video processing efficiency.
  • FIG1 is a flowchart of an intra-frame template matching prediction method provided by an embodiment, which can be applied to a first processing node, and the first processing node mainly refers to an encoding end.
  • the method provided by this embodiment includes the following steps:
  • step 110 a search template and a search area for the current block to be predicted are determined.
  • intra_tmp_flag i.e., first indication information
  • intra_tmp_reg i.e., second indication information
  • intra_tmp_flag 1 indication information
  • intra_tmp_reg 2 indication information
  • T-shaped template that is, extend the L-shaped template to the left or upper side, and the extension length can be freely controlled.
  • the reference template matching of the block to be predicted is performed in the entire search area, and the SSD function can be used to sort the block similarity of the matching results. If the similarity difference of the candidate prediction blocks in the top column of the sorting is within a certain threshold, and these candidate prediction blocks belong to different sub-search areas, the sub-area division switch is turned off (indicating that no area division is required), and the entire search area can be used as the target search area. If area division is required, refer to step 3 of embodiment 1 to determine the target search area.
  • Get the similarity ranking of all candidate templates in each search sub-region respectively use the predefined sub-template to match the candidate templates with the top similarity ranking in each search sub-region, select the corresponding candidate prediction blocks of the templates with the highest similarity after matching each sub-template as the object of weighted processing, thereby obtaining the final candidate prediction blocks of each sub-region, and on this basis calculate the target search region and record the index of the target search region.
  • the sub-template is a subset of the set search template, and the search template can be divided into several sub-templates.
  • This embodiment mainly describes syntax elements related to the intra-frame template matching prediction technology in the video coding bitstream.
  • IntraTMP switch In order to introduce the IntraTMP technology into the AVS next-generation video codec standard reference software EVM (Exploration Video Model), it is necessary to add an IntraTMP switch in the sequence header and picture header respectively.
  • intra_tmp_flag indicates whether the current CU uses the intraTMP mode
  • intra_tmp_reg indicates the sub-area index that the decoding end needs to search.
  • sequence header Sequence Header
  • the specific syntax and semantic description of the picture header (picture header) are shown in Table 2.
  • the specific syntax and semantic description of the coding unit (coding_unit) are shown in Table 3 or Table 4.
  • Intra_tmp_flag equal to 1 indicates that the current video sequence uses IntraTMP mode.
  • picture_intra_tmp_flag equal to 1 indicates that the current frame uses IntraTMP mode.
  • intra_tmp_flag is 1, indicating that the current coding block uses the IntraTMP technology. If the current block uses the IntraTMP technology, the best search area or full search area of the current block is identified by intra_tmp_reg. If intra_tmp_flag is 0, the sub-area index transmission is skipped.
  • intra_tmp_reg_div_flag is used to indicate whether to divide the search sub-area. If intra_tmp_reg_div_flag is 0, it means that the search sub-area is not divided. If intra_tmp_reg_div_flag is 1, intra_tmp_reg is used to identify the target search area of the current block.
  • the intra-frame template matching prediction method of the embodiment of the present application further divides the entire search area, performs template matching in each search sub-area, and after the candidate prediction blocks corresponding to the templates of each search sub-area and the current block to be predicted are determined by RDO, the identifier of the search sub-area where the template corresponding to the selected best candidate prediction block is located is sent to the decoding end, and the decoding end can directly perform template matching in the corresponding search sub-area according to the search sub-area identifier, thereby effectively reducing the search area range and achieving the purpose of reducing the complexity of the decoding end.
  • the prediction blocks corresponding to the templates with the top distortion ranking in each area are weighted to utilize more comprehensive non-local information.
  • the neighborhood L-shaped reconstructed area is used as a template in the search process, and the prediction block corresponding to the optimal template is selected as the prediction of the current block through matching between the template corresponding to the block to be predicted and the candidate template.
  • the shape of the template can be adjusted, for example, a cross shape or a T-shaped shape is selected, and the template coverage is only required to be a reconstructed area.
  • the present application also provides an intra-frame template matching prediction device.
  • a first determination module 310 is configured to determine a search template and a search area for a current block to be predicted
  • a division module 320 configured to determine at least two search sub-areas according to the search area
  • a search module 330 configured to search in each search sub-area for at least one candidate template matching the search template
  • the second determination module 340 is configured to determine a target prediction block and a target search area corresponding to the current block to be predicted according to the candidate prediction block corresponding to the candidate template, wherein the target search area is an area where the candidate template corresponding to the target prediction block is located.
  • the device further comprises:
  • the first indication module is configured to determine first indication information, where the first indication information is used to indicate whether to adopt an intra-frame template matching prediction mode.
  • the device further comprises:
  • the second indication module is configured to determine a second indication information target search area, where the second indication information is used to indicate an identifier of the target search area, where the identifier of the target search area is an identifier of the search area or an identifier of one of the at least two search sub-areas.
  • the device further comprises:
  • the third indication module is configured to determine third indication information, where the third indication information is used to indicate whether to determine at least two search sub-areas based on the search area.
  • the device further comprises:
  • a fourth indication module is configured to determine fourth indication information, wherein the fourth indication information is used to indicate the number of candidate templates in each search sub-area, and/or to indicate that the target prediction block is a single candidate prediction block or a weighted fusion of multiple candidate prediction blocks.
  • the search module 330 is configured as one of the following:
  • At least one candidate template matching the search template in each search sub-area is determined by a neural network or deep learning.
  • the search module 330 is configured to:
  • the template with the highest similarity to the search template in the search sub-region is determined as a candidate template.
  • the search module 330 includes:
  • a sorting unit configured to sort the templates according to the similarity between the search template and each template in the search sub-region
  • the template determination unit is configured to determine at least two templates with the highest ranking as candidate templates.
  • the second determination module 340 is configured to determine a target prediction block corresponding to the current block to be predicted according to a similarity between a candidate prediction block corresponding to the candidate template and the current prediction block.
  • the second determination module 340 is configured to: determine the candidate prediction block having the highest similarity with the current prediction block among the candidate prediction blocks corresponding to the candidate template as the target prediction block.
  • the candidate prediction blocks corresponding to the candidate templates are obtained by weighting the prediction blocks corresponding to the at least two templates ranked higher.
  • the search region division condition is not satisfied.
  • the search template includes one of the following:
  • An L-shaped template consisting of a reconstructed area on the top and a reconstructed area on the left of the current block to be predicted
  • a cross-shaped template obtained by extending the reconstructed area on the top and the reconstructed area on the left of the current block to be predicted;
  • a T-shaped template is obtained by extending the reconstructed area on the top and the reconstructed area on the left of the current block to be predicted.
  • the partitioning module 320 is configured as follows:
  • the search area is determined to be divided into at least two search sub-areas according to the size of the current block to be predicted and the search template.
  • the apparatus after searching for at least one candidate template matching the search template in each search sub-area, the apparatus further includes:
  • the matching module is configured to determine a candidate template among the at least one candidate template that matches a sub-template, wherein the sub-template belongs to a subset of the search template.
  • the intra-frame template matching prediction device proposed in this embodiment and the intra-frame template matching prediction method proposed in the above embodiment belong to the same inventive concept.
  • the technical details not described in detail in this embodiment can be referred to any of the above embodiments, and this embodiment has the same beneficial effects as executing the intra-frame template matching prediction method.
  • FIG6 is a schematic diagram of the structure of another intra-frame template matching prediction device provided by an embodiment. As shown in FIG6, the intra-frame template matching prediction device includes:
  • a determination module 410 is configured to determine a search template and a target search area for a current block to be predicted
  • a search module 420 configured to search within the target search area for at least one candidate template matching the search template
  • the prediction module 430 is configured to determine a target prediction block corresponding to the current block to be predicted according to the candidate prediction block corresponding to the candidate template.
  • the device before determining the search template and the target search area of the current block to be predicted, the device further includes: a mode determination module configured to determine to adopt the intra-frame template matching prediction mode according to the first indication information.
  • the device further comprises:
  • the area indication module is configured to determine second indication information, where the second indication information is used to indicate an identifier of the target search area, where the identifier of the target search area is an identifier of the search area of the current block to be predicted or an identifier of one of the at least two search sub-areas.
  • the device further comprises:
  • the division indication module is configured to determine third indication information, where the third indication information is used to indicate whether to determine at least two search sub-areas based on the search area.
  • the device further comprises:
  • a fusion indication module is configured to determine fourth indication information, wherein the fourth indication information is used to indicate the number of candidate templates in each search sub-area, and/or to indicate that the target prediction block is a single candidate prediction block or a weighted fusion of multiple candidate prediction blocks.
  • the search module 420 is configured to be one of the following:
  • At least one candidate template matching the search template in the target search area is determined by a neural network or deep learning.
  • the search module 420 is configured to:
  • the template with the highest similarity to the search template in the target search area is determined as a candidate template.
  • a sorting unit configured to sort the templates according to the similarity between the search template and each template in the target search area
  • the template determination unit is configured to determine at least two templates with the highest ranking as candidate templates.
  • the prediction module 430 is configured to: determine a target prediction block corresponding to the current block to be predicted according to a similarity between a candidate prediction block corresponding to the candidate template and the current prediction block.
  • the prediction module 430 is configured to: determine the candidate prediction block with the highest similarity to the current prediction block among the candidate prediction blocks corresponding to the candidate template as the target prediction block.
  • the prediction module 430 is configured to: in the case where the candidate template includes at least two templates with the highest similarity to the current prediction block, the candidate prediction block corresponding to the candidate template is weighted by the prediction blocks corresponding to the at least two templates with the highest similarity.
  • the prediction module 430 is configured to: determine whether the similarity between the candidate prediction block corresponding to the candidate template and the current prediction block meets the set conditions when there are at least two templates whose similarities with the search template meet the set conditions, and the at least two candidate prediction blocks belong to different search sub-areas, and the search area division conditions are not met.
  • the search template includes one of the following:
  • An L-shaped template consisting of a reconstructed area on the top and a reconstructed area on the left of the current block to be predicted
  • a cross-shaped template obtained by extending the reconstructed area on the top and the reconstructed area on the left of the current block to be predicted;
  • a T-shaped template is obtained by extending the reconstructed area on the top and the reconstructed area on the left of the current block to be predicted.
  • the device further comprises:
  • the division module is configured to determine the search area into at least two search sub-areas according to the size of the current block to be predicted and the search template.
  • the device after searching for at least one candidate template matching the search template in the target search area, the device further includes: a matching module configured to determine a candidate template matching a sub-template in the at least one candidate template, wherein the sub-template belongs to a subset of the search template.
  • a matching module configured to determine a candidate template matching a sub-template in the at least one candidate template, wherein the sub-template belongs to a subset of the search template.
  • the intra-frame template matching prediction device proposed in this embodiment and the intra-frame template matching prediction method proposed in the above embodiment belong to the same inventive concept.
  • the technical details not described in detail in this embodiment can be referred to any of the above embodiments, and this embodiment has the same beneficial effects as executing the intra-frame template matching prediction method.
  • FIG. 7 is a processing node provided by an embodiment.
  • the processing node provided in the present application includes a processor 510 and a memory 520; the processor 510 in the processing node may be one or more, and FIG7 takes one processor 510 as an example; the memory 520 is configured to store one or more programs; the one or more programs are executed by the one or more processors 510, so that the one or more processors 510 implement the intra-frame template matching prediction method as described in the embodiments of the present application.
  • the processing node further includes: a communication device 530 , an input device 540 and an output device 550 .
  • the processor 510, memory 520, communication device 530, input device 540 and output device 550 in the processing node may be connected via a bus or other means.
  • FIG. 7 takes the connection via a bus as an example.
  • the input device 540 may be used to receive input digital or character information and generate key signal input related to user settings and function control of the processing node.
  • the output device 550 may include a display device such as a display screen.
  • the communication device 530 may include a receiver and a transmitter.
  • the communication device 530 is configured to perform information transmission and reception communication according to the control of the processor 510.
  • the memory 520 may be configured to store software programs, computer executable programs, and modules, such as program instructions/modules corresponding to the intra-frame template matching prediction method described in the embodiment of the present application (e.g., the first determination module 310, the division module 320, the search module 330, and the second determination module 340 in the intra-frame template matching prediction device).
  • the memory 520 may include a storage program area and a storage data area, wherein the storage program area may store an operating system, an application required for at least one function; the storage data area may store data created according to the use of the processing node, etc.
  • the memory 520 may include a high-speed random access memory, and may also include a non-volatile memory, such as at least one disk storage device, a flash memory device, or other non-volatile solid-state storage device.
  • the memory 520 may further include a memory remotely arranged relative to the processor 510, and these remote memories may be connected to the processing node via a network. Examples of the above-mentioned network include, but are not limited to, the Internet, an intranet, a local area network, a mobile communication network, and combinations thereof.
  • the embodiment of the present application also provides a storage medium, the storage medium stores a computer program, and when the computer program is executed by a processor, it implements the intra-frame template matching prediction method described in any of the embodiments of the present application.
  • the intra-frame template matching prediction method includes: determining a search template and a search area of the current block to be predicted; determining at least two search sub-areas according to the search area; searching for at least one candidate template matching the search template in each search sub-area; determining a target prediction block and a target search area corresponding to the current block to be predicted according to the candidate prediction block corresponding to the candidate template, wherein the target search area is the area where the candidate template corresponding to the target prediction block is located.
  • the intra-frame template matching prediction method includes: determining a search template and a target search area of a current block to be predicted; searching within the target search area for at least one candidate template matching the search template; determining a target corresponding to the current block to be predicted based on a candidate prediction block corresponding to the candidate template; Prediction block.
  • the computer storage medium of the embodiment of the present application may adopt any combination of one or more computer-readable media.
  • the computer-readable medium may be a computer-readable signal medium or a computer-readable storage medium.
  • the computer-readable storage medium may be, for example, but not limited to: an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, device or device, or any combination of the above.
  • Computer-readable storage media include: an electrical connection with one or more wires, a portable computer disk, a hard disk, a random access memory (RAM), a read-only memory (ROM), an erasable programmable read-only memory (EPROM), a flash memory, an optical fiber, a portable compact disk read-only memory (CD-ROM), an optical storage device, a magnetic storage device, or any suitable combination of the above.
  • the computer-readable storage medium may be any tangible medium containing or storing a program that may be used by or in conjunction with an instruction execution system, device or device.
  • Computer-readable signal media may include data signals propagated in baseband or as part of a carrier wave, which carry computer-readable program code. Such propagated data signals may take a variety of forms, including but not limited to: electromagnetic signals, optical signals, or any suitable combination of the above. Computer-readable signal media may also be any computer-readable medium other than a computer-readable storage medium, which may send, propagate, or transmit a program for use by or in conjunction with an instruction execution system, apparatus, or device.
  • the program code contained on the computer-readable medium can be transmitted using any appropriate medium, including but not limited to: wireless, wire, optical cable, radio frequency (RF), etc., or any suitable combination of the above.
  • any appropriate medium including but not limited to: wireless, wire, optical cable, radio frequency (RF), etc., or any suitable combination of the above.
  • Computer program code for performing the operations of the present application may be written in one or more programming languages or a combination thereof, including object-oriented programming languages such as Java, Smalltalk, C++, and conventional procedural programming languages such as "C" language or similar programming languages.
  • the program code may be executed entirely on the user's computer, partially on the user's computer, as a separate software package, partially on the user's computer and partially on a remote computer, or entirely on a remote computer or server.
  • the remote computer may be connected to the user's computer via any type of network, including a Local Area Network (LAN) or a Wide Area Network (WAN), or may be connected to an external computer (e.g., via the Internet using an Internet service provider).
  • LAN Local Area Network
  • WAN Wide Area Network
  • Embodiments of the present application may be implemented by executing computer program instructions by a data processor of a mobile device, for example in a processor entity, or by hardware, or by a combination of software and hardware.
  • the computer program instructions may be assembly instructions, instruction set architecture (ISA) instructions, machine instructions, machine-dependent instructions, microcode, firmware instructions, state setting data, or source code or object code written in any combination of one or more programming languages.
  • ISA instruction set architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供一种帧内模板匹配预测方法、处理节点及存储介质。该帧内模板匹配预测方法包括确定当前待预测块的搜索模板和搜索区域；根据所述搜索区域确定至少两个搜索子区域；在每个搜索子区域内搜索与所述搜索模板匹配的至少一个候选模板；根据所述候选模板对应的候选预测块确定所述当前待预测块对应的目标预测块以及目标搜索区域，其中，所述目标搜索区域为所述目标预测块对应的候选模板所在的区域，所述目标搜索区域为所述至少两个搜索子区域中的一个搜索子区域或者所述搜索区域。

Description

帧内模板匹配预测方法、处理节点及存储介质 技术领域
本申请涉及数据处理技术领域，例如涉及一种帧内模板匹配预测方法、处理节点及存储介质。
背景技术
当前的主流视频编码技术所采用的预测方式多以局部邻近的信息作为参考，忽略了空域非局部自相似性。事实上，对于复杂的结构性纹理，在已重建的非局部区域中有概率捕捉到类似的结构，这对于当前块右下角区域的预测更友好。基于此，在帧内预测中编码端可使用已重建的内容作为模板并据此搜索非局部相似块。对于解码端，也需要执行与编码端同样的搜索匹配操作，解码复杂度较高，并且存在一定的信息冗余。
发明内容
本申请提供一种帧内模板匹配预测方法、处理节点及存储介质。
本申请实施例提供一种帧内模板匹配预测方法，包括：
确定当前待预测块的搜索模板和搜索区域；
根据所述搜索区域确定至少两个搜索子区域；
在每个搜索子区域内搜索与所述搜索模板匹配的至少一个候选模板；
根据所述候选模板对应的候选预测块确定所述当前待预测块对应的目标预测块以及目标搜索区域，其中，所述目标搜索区域为所述目标预测块对应的候选模板所在的区域，所述目标搜索区域为所述至少两个搜索子区域中的一个搜索子区域或者所述搜索区域。
本申请实施例还提供了一种帧内模板匹配预测方法，包括：
确定当前待预测块的搜索模板和目标搜索区域；
在所述目标搜索区域内搜索与所述搜索模板匹配的至少一个候选模板；
根据所述候选模板对应的候选预测块确定所述当前待预测块对应的目标预测块。
本申请实施例还提供了一种处理节点，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现 上述的帧内模板匹配预测方法。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述的帧内模板匹配预测方法。
附图说明
图1为一实施例提供的一种帧内模板匹配预测方法的流程图；
图2为一实施例提供的另一种帧内模板匹配预测方法的流程图；
图3为一实施例提供的一种搜索区域的示意图；
图4为一实施例提供的一种搜索候选模板以及对候选预测块进行加权融合的示意图。；
图5为一实施例提供的一种帧内模板匹配预测装置的结构示意图；
图6为一实施例提供的另一种帧内模板匹配预测装置的结构示意图；
图7为一实施例提供的一种处理节点的硬件结构示意图。
具体实施方式
下面结合附图和实施例对本申请进行说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
帧内预测主要是利用视频信号在空域中的相关性，使用当前图像已重建的像素来进行当前像素预测，以去除视频空域冗余。帧内预测主要包括如下环节：1)获取参考像素2)根据选择的预测模式建立参考像素到预测值的映射3)对预测值进行滤波4)对最佳帧内预测模式进行编码。目前的主流视频编码技术所采用的预测方式多以局部邻近的信息作为参考，忽略了空域非局部自相似性。此外，目前的帧内模板匹配预测(Intra Template Matching Prediction，IntraTMP)在编解码端执行同样的帧内预测过程，利用待预测块对应模板与候选模板之间的匹配，选取最优模板对应的预测块作为当前块的预测。由于解码端需要执行与编码端同样的搜索匹配操作，这会导致解码复杂度的增加，同时存在一定的信息冗余。本申请实施例在帧内预测的基础上提出一种基于模板匹配的预测模式，使用已重建的内容作为模板，通过待预测块对应的模板与候选模板之间的匹配，选取最优模板对应的预测块作为当前待预测块的目标预测块，对于编码端可以针对目标预测块确定一个更准确的目标搜索区域，对于解码端在目标搜 索区域中匹配目标预测块即可，减少了信息冗余，降低解码复杂度，提高视频处理效率。
图1为一实施例提供的一种帧内模板匹配预测方法的流程图，该方法可应用于第一处理节点，第一处理节点主要指编码端。如图1所示，本实施例提供的方法包括以下步骤：
在步骤110中，确定当前待预测块的搜索模板和搜索区域。
在步骤120中，根据所述搜索区域确定至少两个搜索子区域。
在步骤130中，在每个搜索子区域内搜索与所述搜索模板匹配的至少一个候选模板。
在步骤140中，根据所述候选模板对应的候选预测块确定所述当前待预测块对应的目标预测块以及目标搜索区域，其中，所述目标搜索区域为所述目标预测块对应的候选模板所在的区域,所述目标搜索区域为所述至少两个搜索子区域中的一个搜索子区域或者所述搜索区域。
本实施例中，搜索模板可以理解为当前待预测块对应的模板，搜索区域可以理解为当前待预测块之外的需要执行搜索操作的区域。根据搜索区域可以确定至少两个搜索子区域。候选模板可以理解为各搜索子区域内与所述搜索模板匹配的模板，每个候选模板对应一个候选预测块，多个候选预测块中，有一个最终被确定为当前待预测块对应的目标预测块。其中，候选模板与搜索模板匹配，可以理解为候选模板与搜索模板的相似度较高、失真较小或者具有一定的空域非局部自相似性等。候选模板与搜索模板的匹配程度越高，则相应的候选预测块有越大概率作为目标预测块，目标预测块可以为当前待预测块的预测和重建提供参考，提高预测准确性。此外，第一处理节点还可以将目标预测块所在的区域确定为目标搜索区域并指示给第二处理节点，第二处理节点主要指解码端，例如可以将目标搜索区域的标识、索引或坐标等指示给第二处理节点，在此基础上第二处理节点在解码过程中可以针对目标搜索区域搜索最优的目标预测块，在目标搜索区域指示为具体的搜索子区域的情况下，第二处理节点无需对整个搜索区域都进行搜索，可提高搜索效率；在目标搜索区域指示为整个搜索区域的情况下，也可以对整个搜索区域都进行搜索以提高匹配预测的准确性。
在一实施例中，根据所述候选模板对应的候选预测块确定所述当前待预测块对应的目标预测块，包括多种情况：例如，每个搜索子区域中搜索到一个与搜索模板最相似的模板作为候选模板，N(N＞2)个搜索子区域则对应于N个候选模板和N个候选预测块，再将N个候选预测块与当前待预测块最匹配的一个候选预测块作为目标预测块，其所在的区域作为目标搜索区域。又如，在单 个搜索子区域中可能搜索到M(M＞1)个与搜索模板相似的模板作为候选模板，M个候选模板对应于M个候选预测块，可以将M个候选预测块进行融合得到一个融合候选预测块，根据该融合候选预测块与当前待预测块的匹配程度确定该融合候选预测块是否作为目标预测块，如果是，则将该融合候选预测块所在的区域作为目标搜索区域。又如，部分搜索子区域中只有一个候选模板、对应于一个候选预测块，还有部分搜索子区域中有多个候选模板、对应于一个融合候选预测块，可根据各搜索子区域对应的候选预测块或融合候选预测块与当前待预测块的匹配程度确定目标预测块。
在一实施例中，一个预测块所在的搜索子区域可根据该预测块左上角的像素点所在的搜索子区域确定。
在一实施例中，该方法还包括：确定第一指示信息，所述第一指示信息用于指示是否采用帧内模板匹配预测模式。本实施例中，第一指示信息可以理解为IntraTMP模式开关信号，编码端可以确定第一指示信息并传输给解码端，以指示是否使用IntraTMP，若使用IntraTMP模式，则编码端执行上述实施例的帧内模板匹配预测方法，而解码端可执行与编码端类似的搜索预测操作，解码端只针对目标搜索区域进行搜索即可。
在一实施例中，该方法还包括：确定第二指示信息，所述第二指示信息用于指示目标搜索区域的标识，所述目标搜索区域的标识为所述搜索区域的标识或者为至少两个搜索子区域中的一个搜索子区域的标识。
本实施例中，第二指示信息主要用于指示目标预测块所在的区域，以指示解码端进行搜索的具体区域。第二指示信息的具体内容也可分为多种情况：例如，在目标搜索区域为整个搜索区域的情况下，或者与搜索模板较为匹配的候选模板(或者与当前待预测块较为匹配的目标预测块)分布在不同搜索子区域的情况下，这些情况下不同搜索子区域中都具有有效的候选模板和候选预测块，为保证搜索的全面性和准确性，可以将整个搜索区域作为目标搜索区域并指示给解码端，因此第二指示信息可以包括整个搜索区域的标识。又如，在目标搜索区域为其中一个搜索子区域的情况下，第二指示信息可以包括目标预测块所在的目标搜索区域的标识。
在一些实施例中，第二指示信息可以作为区域划分开关，即，利用第二指示信息可以表示整个搜索区域是否被划分为至少两个搜索子区域，如果第二指示信息包括目标搜索区域的标识，则表示搜索区域被划分为至少两个搜索子区域；如果第二指示信息包括搜索区域的标识(可能还包括每个搜索子区域的标识)，则表示搜索区域没有被划分为至少两个搜索子区域。在此基础上，可以向解码端指示需要执行搜索预测操作的具体区域。
在一实施例中，该方法还包括：确定第三指示信息，所述第三指示信息用于指示是否根据所述搜索区域确定至少两个搜索子区域，第三指示信息也可以理解为区域划分开关，也可以理解为用于指示目标搜索区域为搜索子区域还是整个搜索区域。本实施例中，第三指示信息可以作为区域划分开关，即，通过第三指示信息可以指示是否将搜索区域划分为至少两个搜索子区域，例如，在多个搜索子区域的候选模板与搜索模板的匹配程度都高于设定阈值、多个搜索子区域的候选模板与搜索模板的匹配程度相近、多个搜索子区域的候选预测块与当前预测块的匹配程度都高于设定阈值、多个搜索子区域的候选预测块与当前预测块的匹配程度相近等情况下，都可以不再划分至少两个搜索子区域，目标搜索区域为整个搜索区域，在此基础上解码端可以对整个搜索区域都执行搜索预测操作，而不局限于某个搜索子区域。
在一实施例中，该方法还包括：确定第四指示信息，所述第四指示信息用于指示每个搜索子区域内的候选模板的数量，和/或用于指示所述目标预测块为单个候选预测块或者为多个候选预测块加权融合得到。
本实施例中，第四指示信息可以理解为加权融合开关，用于指示每个搜索子区域内的候选模板的数量，和/或用于指示目标预测块是否可以由至少两个候选预测块加权融合得到。例如，每个搜索子区域内的候选模板的数量为1，或者目标预测块不可以由至少两个候选预测块加权融合得到，则每个搜索子区域内只有一个候选模板，对应一个候选预测块，目标预测块是由其中一个搜索子区域内的单个候选预测块确定的。又如，每个搜索子区域内的候选模板的数量大于1，或者目标预测块可以由至少两个候选预测块加权融合得到，则每个搜索子区域内可以有多个候选模板，对应多个预测块，目标预测块可以是由其中一个搜索子区域的多个预测块加权融合得到的。又如，每个搜索子区域内的候选模板的数量大于或等于1，或者目标预测块可以由至少两个候选预测块加权融合得到也可以由单个候选预测块确定，则每个搜索子区域内可以有一个或多个候选模板，对应一个或多个预测块，目标预测块可能是由其中一个搜索子区域的多个预测块加权融合得到的，也可能是由其中一个搜索子区域的单个预测块确定，具体可根据候选模板与搜索模板的匹配程度、以及候选预测块与当前待预测块的匹配程度确定。又如，可以既指示目标预测块是否可以由至少两个候选预测块加权融合得到，也指示每个搜索子区域内的候选模板的数量。
在一些实施例中，对于单个搜索子区域，如果与搜索模板较为匹配的至少两个候选模板匹配程度都高于指定程度、或者与搜索模板较为匹配的至少两个候选模板匹配程度较为相近，则可以允许该搜索子区域(或者各搜索子区域)的候选模板的数量大于1，也可以理解为，目标预测块可以由至少两个候选预测块加权融合得到。
在一实施例中，在每个搜索子区域内搜索与所述搜索模板匹配的至少一个候选模板，包括以下之一：对于每个搜索子区域，根据所述搜索模板与所述搜索子区域内的每个模板之间的相似度确定至少一个候选模板；通过神经网络或深度学习确定每个搜索子区域内与所述搜索模板匹配的至少一个候选模板。
本实施例中，相似度用于评价搜索子区域内的模板和搜索模板之间的差异或失真，相似度越高，则候选模板和搜索模板的匹配程度越高。本实施例中，在各搜索子区域内搜索候选模板，可以是计算各搜索子区域内的每个模板与搜索模板的相似度，并将相似度高于阈值或者将相似度最高的一个或多个模板作为候选模板，也可以利用神经网络或深度学习等构建并训练一个相似度预测模型，从而在每个搜索子区域内搜索相似度符合要求的模板作为候选模板。此外，也可以利用像素差的绝对值(Sum of Absolute Differences，SAD)或像素差的平方和(Sum of Squared Differences，SSD)等指标确定候选模板。
在一实施例中，根据所述搜索模板与所述搜索子区域内的每个模板之间的相似度确定至少一个候选模板，包括：将所述搜索子区域内与所述搜索模板之间的相似度最高的模板确定为候选模板。本实施例中，单个搜索子区域对应于一个候选模板和一个候选预测块。
在一实施例中，根据所述搜索模板与所述搜索子区域内的每个模板之间的相似度确定至少一个候选模板，包括：根据所述搜索模板与所述搜索子区域内的每个模板之间的相似度对模板进行排序；将排序靠前的至少两个模板确定为候选模板。本实施例中，单个搜索子区域内的模板可以按照与搜索模板的相似度由高到低排序，排序靠前的至少两个模板作为候选模板。
在一实施例中，根据所述候选模板对应的候选预测块确定所述当前待预测块对应的目标预测块，包括：根据所述候选模板对应的候选预测块与所述当前预测块的相似度确定所述当前待预测块对应的目标预测块。本实施例中，在从各搜索子区域中确定候选模板的基础上，可计算各候选模板对应的候选预测块与当前预测块的相似度，据此确定目标预测块。其中，如果单个搜索子区域对应于多个预测块，则多个预测块可以融合为一个候选预测块。
在一实施例中，根据所述候选模板对应的候选预测块与所述当前预测块的相似度确定所述当前待预测块对应的目标预测块，包括：将所述候选模板对应的候选预测块中与所述当前预测块的相似度最高的候选预测块确定为所述目标预测块。本实施例中，单个搜索子区域对应于一个候选预测块，目标预测块是由与其相似度最高的候选预测块确定。
在一实施例中，在所述候选模板为排序靠前的至少两个模板的情况下，所述候选模板对应的候选预测块由所述排序靠前的至少两个模板对应的预测块加 权得到。本实施例中，单个搜索子区域内的模板可以按照与搜索模板的相似度由高到低排序，排序靠前的至少两个模板作为候选模板，每个候选模板对应于一个预测块，至少两个模板对应的预测块可加权融合为一个候选预测块。其中，权重可以根据每个预测块的模板匹配代价计算，也可以使用基于维纳滤波器的权重推导方法等计算。
在一实施例中，在存在至少两个模板与所述搜索模板的相似度符合设定条件、且所述至少两个候选预测块属于不同的搜索子区域的情况下，不满足搜索区域划分条件。本实施例中，设定条件可以指相似度高于阈值或者相似度相近，这种情况下，与搜索模板较为匹配的候选模板(或者与当前待预测块较为匹配的目标预测块)分布在不同搜索子区域，则不满足搜索区域划分条件，可以不再划分搜索子区域。
在一实施例中，所述搜索模板包括以下之一：
所述当前待预测块顶部已重建区域和左侧已重建区域构成的L型模板；
根据所述当前待预测块顶部已重建区域和左侧已重建区域延伸得到的十字型模板；
根据所述当前待预测块顶部已重建区域和左侧已重建区域延伸得到的T字型模板。
在一实施例中，根据所述搜索区域确定至少两个搜索子区域，包括：
根据所述当前待预测块的尺寸以及所述搜索模板将所述搜索区域确定为至少两个搜索子区域。
本实施例中，划分搜索子区域的形状、尺寸和数量等可以根据当前待预测块的尺寸以及搜索模板的形状和尺寸等调整，以满足不同的实际需求。
在一实施例中，在每个搜索子区域内搜索与所述搜索模板匹配的至少一个候选模板之后，还包括：确定所述至少一个候选模板中与子模板匹配的候选模板，其中，所述子模板属于所述搜索模板的子集。
本实施例中，可以利用搜索模板的子模板对候选模板进行二次匹配或筛选。例如，在单个搜索子区域内搜索得到的多个候选模板与搜索模板的匹配程度都高于设定阈值、或者在单个搜索子区域内搜索得到的多个候选模板与搜索模板的匹配程度较为相近，则可以利用子模板再次对多个候选模板进行匹配，将与子模板匹配程度较高的候选模板确定为最终的候选模板，在此基础上，可以利用搜索模板的细节提高候选模板的匹配效果，从而提高匹配和预测的准确性。
图2为一实施例提供的另一种帧内模板匹配预测方法的流程图，该方法可应用于第二处理节点，第二处理节点可以为解码端。本申请实施例中，第二处 理节点与第一处理节点执行的搜索预测操作类似，主要区别在于第二处理节点可以只针对目标搜索区域进行搜索预测，未在本实施例中详尽描述的技术细节可参考上述任意实施例。
如图2所示，本实施例提供的方法包括以下步骤：
在步骤210中，确定当前待预测块的搜索模板和目标搜索区域。
在步骤220中，在所述目标搜索区域内搜索与所述搜索模板匹配的至少一个候选模板。
在步骤230中，根据所述候选模板对应的候选预测块确定所述当前待预测块对应的目标预测块。
本实施例中，第一处理节点可以将目标搜索区域的标识、索引或坐标等指示给第二处理节点，第二处理节点在解码过程中可以只针对目标搜索区域进行搜索预测即可得到最优的目标预测块。
在一实施例中，在确定当前待预测块的搜索模板和目标搜索区域之前，该方法还包括：
根据第一指示信息确定采用帧内模板匹配预测模式。如果采用帧内模板匹配预测模式，则执行上述实施例的帧内模板匹配预测方法。
在一实施例中，该方法还包括：确定第二指示信息，所述第二指示信息用于指示目标搜索区域的标识，所述目标搜索区域的标识为所述搜索区域的标识或者为至少两个搜索子区域中的一个搜索子区域的标识。
本实施例中，如果第二指示信息包括整个搜索区域的标识，则解码端对整个搜索区域执行搜索预测操作。如果第二指示信息可以包括目标预测块所在的目标搜索区域的标识，则解码端对目标搜索区域执行搜索预测操作。在此基础上解码端可明确执行搜索预测的具体区域。在一些实施例中，第二指示信息也可以作为区域划分开关，如果第二指示信息包括目标搜索区域的标识，则表示搜索区域被划分为至少两个搜索子区域；如果第二指示信息包括搜索区域的标识(可能还包括每个搜索子区域的标识)，这种情况下目标搜索区域即为整个搜索区域。
在一实施例中，该方法还包括：确定第三指示信息，所述第三指示信息用于指示是否根据所述搜索区域确定至少两个搜索子区域。
在一实施例中，该方法还包括：确定第四指示信息，所述第四指示信息用于指示每个搜索子区域内的候选模板的数量，和/或用于指示所述目标预测块为单个候选预测块或者为多个候选预测块加权融合得到。
在一实施例中，在所述目标搜索区域内搜索与所述搜索模板匹配的至少一个候选模板，包括以下之一：
根据所述搜索模板与所述目标搜索区域内的每个模板之间的相似度确定至少一个候选模板；
通过神经网络或深度学习确定所述目标搜索区域内与所述搜索模板匹配的至少一个候选模板。
在一实施例中，根据所述搜索模板与所述目标搜索区域内的每个模板之间的相似度确定至少一个候选模板，包括：
将所述目标搜索区域内与所述搜索模板之间的相似度最高的模板确定为候选模板。
在一实施例中，根据所述搜索模板与所述目标搜索区域内的每个模板之间的相似度确定至少一个候选模板，包括：
根据所述搜索模板与所述目标搜索区域内的每个模板之间的相似度对模板进行排序；
将排序靠前的至少两个模板确定为候选模板。
在一实施例中，根据所述候选模板对应的候选预测块确定所述当前待预测块对应的目标预测块，包括：
根据所述候选模板对应的候选预测块与所述当前预测块的相似度确定所述当前待预测块对应的目标预测块。
在一实施例中，根据所述候选模板对应的候选预测块与所述当前预测块的相似度确定所述当前待预测块对应的目标预测块，包括：
将所述候选模板对应的候选预测块中与所述当前预测块的相似度最高的候选预测块确定为所述目标预测块。
在一实施例中，在所述候选模板为排序靠前的至少两个模板的情况下，所述候选模板对应的候选预测块由所述排序靠前的至少两个模板对应的预测块加权得到。
在一实施例中，在存在至少两个模板与所述搜索模板的相似度符合设定条件、且所述至少两个候选预测块属于不同的搜索子区域的情况下，不满足搜索区域划分条件。
在一实施例中，所述搜索模板包括以下之一：
所述当前待预测块顶部已重建区域和左侧已重建区域构成的L型模板；
根据所述当前待预测块顶部已重建区域和左侧已重建区域延伸得到的十字型模板；
根据所述当前待预测块顶部已重建区域和左侧已重建区域延伸得到的T字型模板。
在一实施例中，根据所述搜索区域确定至少两个搜索子区域，包括：根据所述当前待预测块的尺寸以及所述搜索模板将所述搜索区域确定为至少两个搜索子区域。
在一实施例中，在所述目标搜索区域内搜索与所述搜索模板匹配的至少一个候选模板之后，还包括：确定所述至少一个候选模板中与子模板匹配的候选模板，其中，所述子模板属于所述搜索模板的子集。
以下通过一些实施例对本申请的帧内模板匹配预测方法进行示例性说明。
实施例一
对于编码端，可以包括以下流程：
1)确定搜索区域
为获取目标预测块(也可以理解为当前待预测块的非局部相似块)，首先对于当前待预测块确定搜索区域，图3为一实施例提供的一种搜索区域的示意图。如图3所示，搜索区域的总宽度为40，搜索区域的长度和宽度均可参考当前待预测块信息进行调整。由于非局部块不可与当前待预测块重叠，因此存在不可搜索的区域，如图3中的斜线阴影区域所示。需要说明的是，不可搜索区域的大小可以根据当前待预测块和/或模板类型来确定，也可能不存在不可搜索区域。
2)根据搜索区域确定至少两个搜索子区域
例如，整个搜索区域被进一步分为四个搜索子区域，该模板匹配算法在至少两个搜索子区域可得时才适用。由于模板匹配存在误差，在搜索区域内仅使用一个最优非局部块作为预测，可能错过较优的候选。通过划分搜索子区域可以增加编码端率失真优化(Rate-distortion optimization，RDO)次数，提高预测质量。在实际应用中，可以根据现实情况对搜索区域的划分规则进行调整，包括搜索子区域的个数、搜索子区域宽度和/或搜索子区域形状等，调整方式不仅限于修改配置数据，还可以根据当前待预测块的信息进行自适应调整。本实施例中，假设搜索区域的总宽度为40，四个搜索子区域对应的宽度分别设定为8，10，10，12，如图4所示这种递增的设计是考虑到在距离待预测块较近的搜索区域，有更大概率得到具有相似结构的候选预测块。
3)确定目标搜索区域
在每个搜索子区域内独立的进行匹配块的搜索过程。图4为一实施例提供的一种搜索候选模板以及对候选预测块进行加权融合的示意图。如图4所示，搜索步长可自由控制，搜索过程采用邻域L型已重建区域作为模板，即图中的L型填充区域，模板的宽度设置为2。使用SSD作为代价函数评估每个候选模板与待预测块模板之间的相似度，依据该相似度的评估结果对所有的模板位置进行排序。
根据排序结果得到每个搜索子区域的预测块向量，通过率失真过程计算得到当前待预测块的目标搜索区域(也可以理解为最佳搜索区域)，即为与当前待预测块最相似的候选预测块所在的区域，记录目标搜索区域的索引，目标搜索区域的索引可能是整个搜索区域的索引，也有可能是其中一个搜索子区域的索引。在加权预测的过程中，可以对于加权规则进行调整，例如调整进行加权的预测块数量、调整所选取的预测块的顺序位置和/或调整预测块加权方式选择的划分标准等。
4)编码传输语法元素
可以编码两个编码单元(Coding Unit，CU)级语法元素intra_tmp_flag(即第一指示信息)和intra_tmp_reg(即第二指示信息)，语法元素可传输至解码端，以指示是否采用IntraTMP模式以及目标搜索区域的标识。intra_tmp_flag为1时表示使用IntraTMP模式，intra_tmp_reg用于传输步骤3)中得到的目标搜索区域的索引。两个语法元素均采用基于上下文的自适应二进制算术编码上下文编码(Context-based Adaptive Binary Arithmetic Coding，CABAC)，intra_tmp_reg采用截断一元码进行二值化。该模式对亮色度块均可使用，色度块继承对应位置的亮度块的语法元素值。
对于解码端，可以包括以下流程：
1)获取语法元素
通过熵解码解析获取intra_tmp_flag和intra_tmp_reg语法元素。当intra_tmp_flag为1时表示使用IntraTMP模式，intra_tmp_reg表示当前块的最优搜索区域索引。若使用IntraTMP模式，则执行接下来的帧内模板匹配预测操作。
2)确定当前待预测块的目标搜索区域
搜索区域宽度、搜索子区域宽度、模板宽度均为可配置的参数，这些参数在解码端可以直接获得，不需要通过解码获得。通过预设的区域参数确定当前待预测块的整体可搜索区域并对可搜索区域按子区域宽度进行进一步划分，通过模板信息确定后续进行模板匹配所需的当前块的参考模板(即搜索模板)。通过解析得到的intra_tmp_reg最佳搜索区域的索引确定最终搜索区域(即目标搜索区域)。
3)确定当前待预测块的目标预测块
解码端仅在上述目标搜索区域内进行模板匹配搜索操作，可使用SSD代价函数对候选模板与待预测块模板之间的失真进行评估，获取当前目标搜索区域内候选预测块的相似度排序，依据排序结果获得当前待预测块的目标预测块。相比全区域搜索，子区域划分极大降低了解码端的搜索复杂度。
本实施例对搜索区域宽度、搜索子区域宽度、模板宽度、失真评估函数等数值与方式并不进行限定，可以根据实际需求自由控制与调整。
本实施例中的方法，在IntraTMP模式下，通过对于搜索区域进行进一步划分，通过在编码端计算最佳搜索区域(即目标搜索区域)并传输最佳搜索区域的标识，有效减少解码端的模式匹配搜索范围，这在极大程度上降低了解码端搜索的复杂度，同时子区域划分可以增加RDO次数，有助于获得更优预测结果。
实施例二
本实施例中，不局限于采用当前待预测块顶部和左侧的L型已重建区域作为搜索模板，考虑不同的图像纹理特征等因素，在模板匹配过程中可以支持不同的搜索模板形状。未在本实施例中详尽描述的技术细节可参考上述任意实施例。
编码端流程：
1)确定搜索区域
2)根据搜索区域确定至少两个搜索子区域
3)采用以下任意模板形状的每个搜索子区域内进行匹配搜索：
a.采用如图3竖线阴影区域所示的L型模板。
b.采用不同长度或宽度的L型模板。
c.采用十字型模板，即将L型模板向左侧与上侧延伸，延伸长度可自由控制。
d.采用T字型模板，即将L型模板向左侧或上侧延伸，延伸长度可自由控制。
4)对于匹配结果进行相似度排序，根据排序结果得到每个区域的预测块向量，确定目标搜索区域，记录目标搜索区域的索引。
5)编码传输语法元素。
实施例三
本实施例中，可以控制是否划分搜索子区域。考虑到对仅采用一个搜索子区域内的候选模板进行待预测块的预测值推导可能无法充分利用搜索区域中的 空域非局部信息，通过增加区域划分开关，进行搜索时间与预测质量之间的平衡。未在本实施例中详尽描述的技术细节可参考上述任意实施例。
编码端流程：
1)确定搜索区域
2)根据搜索区域确定至少两个搜索子区域
3)确定目标搜索区域，目标搜索区域可以是搜索区域(即全搜索区域)或任一搜索子区域
在全搜索区域内进行待预测块参考模板匹配，可利用SSD函数对匹配结果进行块相似度排序，若满足排序前列的候选预测块相似度差值在一定阈值内，且这些候选预测块属于不同的子搜索区域，则关闭子区域划分开关(指示不需要进行区域划分)，整个搜索区域可作为目标搜索区域。若需要区域划分，则参考实施例一步骤3确定目标搜索区域。
4)编码传输语法元素。
子区域划分开关可以通过单独的语法元素传输(第三指示信息)，也可以通过特定区域索引传输(利用第二指示信息)，不增加额外的语法元素。
实施例四
本实施例中，考虑到可能不同搜索子区域的排序前列的候选模板可能都与搜索模板有较高相似度，故可选择通过子模板二次匹配提高预测质量。
编码端流程：
1)确定搜索区域
2)根据搜索区域确定至少两个搜索子区域
3)确定目标搜索区域
分别获取各搜索子区域所有候选模板的相似度排序，使用预定义的子模板与每个搜索子区域相似度排序前列的候选模板进行匹配，分别选择各个子模版匹配后相似度最高的模板的对应候选预测块作为加权处理的对象，由此得到每个子区域最终的候选预测块，在此基础上计算目标搜索区域，记录目标搜索区域的索引。子模板为设定的搜索模板的子集，由搜索模板可划分得到若干子模板。
4)编码传输语法元素。
解码端流程：
1)获取语法元素。
所述语法元素包括第一指示信息、第二指示信息、第三指示信息以及第四指示信息中的一个或者多个。
2)确定当前待预测块的目标搜索区域。
根据第二指示信息或第三指示信息确定目标搜索区域。
具体的，如果存在第三指示信息，且第三指示信息指示关闭区域划分时，可以据此确定当前待预测块的目标搜索区域为全搜索区域；如果第三指示信息指示进行区域划分时，可以通过第二指示信息确定当前待预测块的目标搜索区域为目标搜索区域。如果当不存在指示信息，也可以通过第二指示信息所指示的标识确定是当前待预测块的目标搜索区域为全搜索区域还是目标搜索区域。
3)确定当前待预测块的目标预测块
在步骤2)中确定的目标搜索区域内进行模板匹配，使用预定义的子模板与相似度排序前列的候选模板进行匹配，分别选择各个子模版匹配后相似度最高的模板的对应候选预测块作为加权处理的对象，由此得到最终的最佳预测块(即目标预测块)。
实施例五
本实施例中主要描述视频编码码流中帧内模板匹配预测预测技术相关语法元素。
在AVS下一代视频编解码标准参考软件EVM(Exploration Video Model，探索视频模型)中引入IntraTMP技术，需要在sequence header和picture header中分别增加一个IntraTMP的开关。对于每个CU，需要标识两个CU级语法元素intra_tmp_flag和intra_tmp_reg。intra_tmp_flag表示当前CU是否使用intraTMP模式，intra_tmp_reg表示解码端需要搜索的子区域索引。序列头(Sequence Header)具体语法和语义描述如表1所示。图像头(picture header)具体语法和语义描述如表2所示。编码单元(coding_unit)具体语法和语义描述如表3或表4所示。
表1 Sequence Header的语法
语义：Intra_tmp_flag：等于1表示当前视频序列采用IntraTMP模式。
表2 picture header的语法
语义：picture_intra_tmp_flag：等于1表示当前帧采用IntraTMP模式。
表3 coding_unit的语法
语义：intra_tmp_flag为1表示当前编码块使用IntraTMP技术，若当前块使用IntraTMP技术，则通过intra_tmp_reg标识当前块的最佳搜索区域或全搜索区域。若intra_tmp_flag为0，则跳过子区域索引传输。
表4另一种coding_unit的语法

语义：参考表3的说明，若当前块使用IntraTMP技术，则通过intra_tmp_reg_div_flag指示是否划分搜索子区域。若intra_tmp_reg_div_flag为0，则表示不划分搜索子区域，若ntra_tmp_reg_div_flag为1，则通过intra_tmp_reg标识当前块的目标搜索区域。
本申请实施例的帧内模板匹配预测方法，通过将整个搜索区域进行进一步划分，在每个搜索子区域内分别进行模板匹配，并将各搜索子区域模板对应的候选预测块与当前待预测块经过RDO决策后，将选择的最佳候选预测块对应的模板所在搜索子区域的标识发送给解码端，解码端可以根据搜索子区域标识直接在对应的搜索子区域中进行模板匹配，从而有效减少搜索区域范围，实现降低解码端复杂度的目的。通过对每个区域中失真排序前列的模板对应的预测块进行加权处理，以利用更全面的非局部信息。通过搜索过程采用邻域L型已重建区域作为模板，通过待预测块对应模板与候选模板之间的匹配，选取最优模板对应的预测块作为当前块的预测。模板的形状可进行调整，例如选择十字型，T字型，仅要求模板覆盖范围为已重建区域。通过根据全搜索区域内候选模板与待预测模板的失真评估结果进行判断，选择是否进行搜索区域划分，以减少不必要的计算。在找到若干最佳匹配模板后，可以选择使用子模板对这些最佳匹配模板进行二次匹配，分别进行模板融合以获得最优模板预测。
本申请实施例还提供一种帧内模板匹配预测装置。图5为一实施例提供的 一种帧内模板匹配预测装置的结构示意图。如图5所示，所述帧内模板匹配预测装置包括：
第一确定模块310，设置为确定当前待预测块的搜索模板和搜索区域；
划分模块320，设置为根据所述搜索区域确定至少两个搜索子区域；
搜索模块330，设置为在每个搜索子区域内搜索与所述搜索模板匹配的至少一个候选模板；
第二确定模块340，设置为根据所述候选模板对应的候选预测块确定所述当前待预测块对应的目标预测块以及目标搜索区域，其中，所述目标搜索区域为所述目标预测块对应的候选模板所在的区域。
在一实施例中，该装置还包括：
第一指示模块，设置为确定第一指示信息，所述第一指示信息用于指示是否采用帧内模板匹配预测模式。
在一实施例中，该装置还包括：
第二指示模块，设置为确定第二指示信息目标搜索区域，所述第二指示信息用于指示目标搜索区域的标识，所述目标搜索区域的标识为所述搜索区域的标识或者为至少两个搜索子区域中的一个搜索子区域的标识。
在一实施例中，该装置还包括：
第三指示模块，设置为确定第三指示信息，所述第三指示信息用于指示是否根据所述搜索区域确定至少两个搜索子区域。
在一实施例中，该装置还包括：
第四指示模块，设置为确定第四指示信息，所述第四指示信息用于指示每个搜索子区域内的候选模板的数量，和/或用于指示所述目标预测块为单个候选预测块或者为多个候选预测块加权融合得到。
在一实施例中，搜索模块330，设置为以下之一：
对于每个搜索子区域，根据所述搜索模板与所述搜索子区域内的每个模板之间的相似度确定至少一个候选模板；
通过神经网络或深度学习确定每个搜索子区域内与所述搜索模板匹配的至少一个候选模板。
在一实施例中，搜索模块330，设置为：
将所述搜索子区域内与所述搜索模板之间的相似度最高的模板确定为候选模板。
在一实施例中，搜索模块330，包括：
排序单元，设置为根据所述搜索模板与所述搜索子区域内的每个模板之间的相似度对模板进行排序；
模板确定单元，设置为将排序靠前的至少两个模板确定为候选模板。
在一实施例中，第二确定模块340，设置为：根据所述候选模板对应的候选预测块与所述当前预测块的相似度确定所述当前待预测块对应的目标预测块。
在一实施例中，第二确定模块340，设置为：将所述候选模板对应的候选预测块中与所述当前预测块的相似度最高的候选预测块确定为所述目标预测块。
在一实施例中，在所述候选模板包括排序靠前的至少两个模板的情况下，所述候选模板对应的候选预测块由所述排序靠前的至少两个模板对应的预测块加权得到。
在一实施例中，在存在至少两个模板与所述搜索模板的相似度符合设定条件、且所述至少两个候选预测块属于不同的搜索子区域的情况下，不满足搜索区域划分条件。
在一实施例中，所述搜索模板包括以下之一：
所述当前待预测块顶部已重建区域和左侧已重建区域构成的L型模板；
根据所述当前待预测块顶部已重建区域和左侧已重建区域延伸得到的十字型模板；
根据所述当前待预测块顶部已重建区域和左侧已重建区域延伸得到的T字型模板。
在一实施例中，划分模块320设置为：
根据所述当前待预测块的尺寸以及所述搜索模板将所述搜索区域确定为至少两个搜索子区域。
在一实施例中，在每个搜索子区域内搜索与所述搜索模板匹配的至少一个候选模板之后，该装置还包括：
匹配模块，设置为确定所述至少一个候选模板中与子模板匹配的候选模板，其中，所述子模板属于所述搜索模板的子集。
本实施例提出的帧内模板匹配预测装置与上述实施例提出的帧内模板匹配预测方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述任意实施例，并且本实施例具备与执行帧内模板匹配预测方法相同的有益效果。
本申请实施例还提供一种帧内模板匹配预测装置。图6为一实施例提供的另一种帧内模板匹配预测装置的结构示意图。如图6所示，所述帧内模板匹配预测装置包括：
确定模块410，设置为确定当前待预测块的搜索模板和目标搜索区域；
搜索模块420，设置为在所述目标搜索区域内搜索与所述搜索模板匹配的至少一个候选模板；
预测模块430，设置为根据所述候选模板对应的候选预测块确定所述当前待预测块对应的目标预测块。
在一实施例中，在确定当前待预测块的搜索模板和目标搜索区域之前，该装置还包括：模式确定模块，设置为根据第一指示信息确定采用帧内模板匹配预测模式。
在一实施例中，该装置还包括：
区域指示模块，设置为确定第二指示信息，所述第二指示信息用于指示所述目标搜索区域的标识，所述目标搜索区域的标识为所述当前待预测块的搜索区域的标识或者为至少两个搜索子区域中的一个搜索子区域的标识。
在一实施例中，该装置还包括：
划分指示模块，设置为确定第三指示信息，所述第三指示信息用于指示是否根据所述搜索区域确定至少两个搜索子区域。
在一实施例中，该装置还包括：
融合指示模块，设置为确定第四指示信息，所述第四指示信息用于指示每个搜索子区域内的候选模板的数量，和/或用于指示所述目标预测块为单个候选预测块或者为多个候选预测块加权融合得到。
在一实施例中，搜索模块420，设置为以下之一：
根据所述搜索模板与所述目标搜索区域内的每个模板之间的相似度确定至少一个候选模板；
通过神经网络或深度学习确定所述目标搜索区域内与所述搜索模板匹配的至少一个候选模板。
在一实施例中，搜索模块420，设置为：
将所述目标搜索区域内与所述搜索模板之间的相似度最高的模板确定为候选模板。
在一实施例中，搜索模块420，包括：
排序单元，设置为根据所述搜索模板与所述目标搜索区域内的每个模板之间的相似度对模板进行排序；
模板确定单元，设置为将排序靠前的至少两个模板确定为候选模板。
在一实施例中，预测模块430，设置为：根据所述候选模板对应的候选预测块与所述当前预测块的相似度确定所述当前待预测块对应的目标预测块。
在一实施例中，预测模块430，设置为：将所述候选模板对应的候选预测块中与所述当前预测块的相似度最高的候选预测块确定为所述目标预测块。
在一实施例中，预测模块430，设置为：将所述候选模板对应的候选预测块中与所述当前预测块的相似度最在所述候选模板包括排序靠前的至少两个模板的情况下，所述候选模板对应的候选预测块由所述排序靠前的至少两个模板对应的预测块加权得到。
在一实施例中，预测模块430，设置为：将所述候选模板对应的候选预测块中与所述当前预测块的相似度在存在至少两个模板与所述搜索模板的相似度符合设定条件、且所述至少两个候选预测块属于不同的搜索子区域的情况下，不满足搜索区域划分条件。
在一实施例中，所述搜索模板包括以下之一：
所述当前待预测块顶部已重建区域和左侧已重建区域构成的L型模板；
根据所述当前待预测块顶部已重建区域和左侧已重建区域延伸得到的十字型模板；
根据所述当前待预测块顶部已重建区域和左侧已重建区域延伸得到的T字型模板。
在一实施例中，该装置还包括：
划分模块，设置为根据所述当前待预测块的尺寸以及所述搜索模板将所述搜索区域确定为至少两个搜索子区域。
在一实施例中，在所述目标搜索区域内搜索与所述搜索模板匹配的至少一个候选模板之后，该装置还包括：匹配模块，设置为确定所述至少一个候选模板中与子模板匹配的候选模板，其中，所述子模板属于所述搜索模板的子集。
本实施例提出的帧内模板匹配预测装置与上述实施例提出的帧内模板匹配预测方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述任意实施例，并且本实施例具备与执行帧内模板匹配预测方法相同的有益效果。
本申请实施例还提供了一种处理节点，图7为一实施例提供的一种处理节 点的硬件结构示意图，如图7所示，本申请提供的处理节点，包括处理器510以及存储器520；该处理节点中的处理器510可以是一个或多个，图7中以一个处理器510为例；存储器520配置为存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器510执行，使得所述一个或多个处理器510实现如本申请实施例中所述的帧内模板匹配预测方法。
处理节点还包括：通信装置530、输入装置540和输出装置550。
处理节点中的处理器510、存储器520、通信装置530、输入装置540和输出装置550可以通过总线或其他方式连接，图7中以通过总线连接为例。
输入装置540可用于接收输入的数字或字符信息，以及产生与处理节点的用户设置以及功能控制有关的按键信号输入。输出装置550可包括显示屏等显示设备。
通信装置530可以包括接收器和发送器。通信装置530设置为根据处理器510的控制进行信息收发通信。
存储器520作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序以及模块，如本申请实施例所述帧内模板匹配预测方法对应的程序指令/模块(例如，帧内模板匹配预测装置中的第一确定模块310、划分模块320、搜索模块330、和第二确定模块340)。存储器520可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据处理节点的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器520可进一步包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至处理节点。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例中任一所述的帧内模板匹配预测方法。该帧内模板匹配预测方法包括：确定当前待预测块的搜索模板和搜索区域；根据所述搜索区域确定至少两个搜索子区域；在每个搜索子区域内搜索与所述搜索模板匹配的至少一个候选模板；根据所述候选模板对应的候选预测块确定所述当前待预测块对应的目标预测块以及目标搜索区域，其中，所述目标搜索区域为所述目标预测块对应的候选模板所在的区域。
或者，该帧内模板匹配预测方法包括：确定当前待预测块的搜索模板和目标搜索区域；在所述目标搜索区域内搜索与所述搜索模板匹配的至少一个候选模板；根据所述候选模板对应的候选预测块确定所述当前待预测块对应的目标 预测块。
本申请实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(Local Area Network，LAN)或广域网(Wide Area Network，WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
以上所述，仅为本申请的示例性实施例而已，并非用于限定本申请的保护范围。
本领域内的技术人员应明白，术语用户终端涵盖任何适合类型的无线用户设备，例如移动电话、便携数据处理便携网络浏览器或车载移动台。
一般来说，本申请的多种实施例可以在硬件或专用电路、软件、逻辑或其任何组合中实现。例如，一些方面可以被实现在硬件中，而其它方面可以被实现在可以被控制器、微处理器或其它计算装置执行的固件或软件中，尽管本申请不限于此。
本申请的实施例可以通过移动装置的数据处理器执行计算机程序指令来实现，例如在处理器实体中，或者通过硬件，或者通过软件和硬件的组合。计算机程序指令可以是汇编指令、指令集架构(Instruction Set Architecture，ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码。
本申请附图中的任何逻辑流程的框图可以表示程序步骤，或者可以表示相互连接的逻辑电路、模块和功能，或者可以表示程序步骤与逻辑电路、模块和功能的组合。计算机程序可以存储在存储器上。存储器可以具有任何适合于本地技术环境的类型并且可以使用任何适合的数据存储技术实现，例如但不限于只读存储器(Read-Only Memory，ROM)、随机访问存储器(Random Access Memory，RAM)、光存储器装置和系统(数码多功能光碟(Digital Video Disc，DVD)或光盘(Compact Disk，CD)等。计算机可读介质可以包括非瞬时性存储介质。数据处理器可以是任何适合于本地技术环境的类型，例如但不限于通用计算机、专用计算机、微处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑器件(Field-Programmable Gate Array，FPGA)以及基于多核处理器架构的处理器。
通过示范性和非限制性的示例，上文已提供了对本申请的示范实施例的详细描述。但结合附图和权利要求来考虑，对以上实施例的多种修改和调整对本领域技术人员来说是显而易见的，但不偏离本申请的范围。因此，本申请的恰当范围将根据权利要求确定。

Claims (28)

  1. 一种帧内模板匹配预测方法，包括：
    确定当前待预测块的搜索模板和搜索区域；
    根据所述搜索区域确定至少两个搜索子区域；
    在每个搜索子区域内搜索与所述搜索模板匹配的至少一个候选模板；
    根据所述候选模板对应的候选预测块确定所述当前待预测块对应的目标预测块以及目标搜索区域，其中，所述目标搜索区域为所述目标预测块对应的候选模板所在的区域，所述目标搜索区域为所述至少两个搜索子区域中的一个搜索子区域或者所述搜索区域。
  2. 根据权利要求1所述的方法，还包括：
    确定第一指示信息，所述第一指示信息用于指示是否采用帧内模板匹配预测模式。
  3. 根据权利要求1所述的方法，还包括：
    确定第二指示信息，所述第二指示信息用于指示所述目标搜索区域的标识，所述目标搜索区域的标识为所述搜索区域的标识或者为所述至少两个搜索子区域中的一个搜索子区域的标识。
  4. 根据权利要求1所述的方法，还包括：
    确定第三指示信息，所述第三指示信息用于指示是否根据所述搜索区域确定至少两个搜索子区域。
  5. 根据权利要求1所述的方法，还包括：
    确定第四指示信息，所述第四指示信息用于指示以下至少之一：每个搜索子区域内的候选模板的数量，和所述目标预测块为单个候选预测块或者为多个候选预测块加权融合得到。
  6. 根据权利要求1所述的方法，其中，所述在每个搜索子区域内搜索与所述搜索模板匹配的至少一个候选模板，包括以下之一：
    对于每个搜索子区域，根据所述搜索模板与所述搜索子区域内的每个模板之间的相似度确定至少一个候选模板；
    通过神经网络或深度学习确定每个搜索子区域内与所述搜索模板匹配的至少一个候选模板。
  7. 根据权利要求6所述的方法，其中，所述根据所述搜索模板与所述搜索子区域内的每个模板之间的相似度确定至少一个候选模板，包括：
    将所述搜索子区域内与所述搜索模板之间的相似度最高的模板确定为候选 模板。
  8. 根据权利要求6所述的方法，其中，所述根据所述搜索模板与所述搜索子区域内的每个模板之间的相似度确定至少一个候选模板，包括：
    根据所述搜索模板与所述搜索子区域内的每个模板之间的相似度对模板进行排序；
    将排序靠前的至少两个模板确定为候选模板。
  9. 根据权利要求1所述的方法，其中，所述根据所述候选模板对应的候选预测块确定所述当前待预测块对应的目标预测块，包括：
    根据所述候选模板对应的候选预测块与所述当前预测块的相似度确定所述当前待预测块对应的目标预测块。
  10. 根据权利要求9所述的方法，其中，所述根据所述候选模板对应的候选预测块与所述当前预测块的相似度确定所述当前待预测块对应的目标预测块，包括：
    将所述候选模板对应的候选预测块中与所述当前预测块的相似度最高的候选预测块确定为所述目标预测块。
  11. 根据权利要求9所述的方法，其中，在所述候选模板为排序靠前的至少两个模板的情况下，所述候选模板对应的候选预测块由所述排序靠前的至少两个模板对应的预测块加权得到。
  12. 根据权利要求1所述的方法，其中，所述搜索模板包括以下之一：
    所述当前待预测块顶部已重建区域和左侧已重建区域构成的L型模板；
    根据所述当前待预测块顶部已重建区域和左侧已重建区域延伸得到的十字型模板；
    根据所述当前待预测块顶部已重建区域和左侧已重建区域延伸得到的T字型模板。
  13. 根据权利要求12所述的方法，其中，所述根据所述搜索区域确定至少两个搜索子区域，包括：
    根据所述当前待预测块的尺寸以及所述搜索模板将所述搜索区域确定为至少两个搜索子区域。
  14. 一种帧内模板匹配预测方法，包括：
    确定当前待预测块的搜索模板和目标搜索区域；
    在所述目标搜索区域内搜索与所述搜索模板匹配的至少一个候选模板；
    根据所述候选模板对应的候选预测块确定所述当前待预测块对应的目标预测块。
  15. 根据权利要求14所述的方法，在所述确定当前待预测块的搜索模板和目标搜索区域之前，还包括：
    根据第一指示信息确定采用帧内模板匹配预测模式。
  16. 根据权利要求14所述的方法，其中，所述目标搜索区域根据第二指示信息确定；
    所述方法还包括：
    确定第二指示信息，所述第二指示信息用于指示所述目标搜索区域的标识，所述目标搜索区域的标识为所述当前待预测块的搜索区域的标识或者为至少两个搜索子区域中的一个搜索子区域的标识。
  17. 根据权利要求14所述的方法，还包括：
    确定第三指示信息，所述第三指示信息用于指示是否根据所述搜索区域确定至少两个搜索子区域。
  18. 根据权利要求14所述的方法，还包括：
    确定第四指示信息，所述第四指示信息用于指示以下至少之一：每个搜索子区域内的候选模板的数量，和所述目标预测块为单个候选预测块或者为多个候选预测块加权融合得到。
  19. 根据权利要求14所述的方法，其中，在所述目标搜索区域内搜索与所述搜索模板匹配的至少一个候选模板，包括以下之一：
    根据所述搜索模板与所述目标搜索区域内的每个模板之间的相似度确定至少一个候选模板；
    通过神经网络或深度学习确定所述目标搜索区域内与所述搜索模板匹配的至少一个候选模板。
  20. 根据权利要求19所述的方法，其中，所述根据所述搜索模板与所述目标搜索区域内的每个模板之间的相似度确定至少一个候选模板，包括：
    将所述目标搜索区域内与所述搜索模板之间的相似度最高的模板确定为候选模板。
  21. 根据权利要求19所述的方法，其中，所述根据所述搜索模板与所述目标搜索区域内的每个模板之间的相似度确定至少一个候选模板，包括：
    根据所述搜索模板与所述目标搜索区域内的每个模板之间的相似度对模板进行排序；
    将排序靠前的至少两个模板确定为候选模板。
  22. 根据权利要求14所述的方法，其中，所述根据所述候选模板对应的候选预测块确定所述当前待预测块对应的目标预测块，包括：
    根据所述候选模板对应的候选预测块与所述当前预测块的相似度确定所述当前待预测块对应的目标预测块。
  23. 根据权利要求22所述的方法，其中，所述根据所述候选模板对应的候选预测块与所述当前预测块的相似度确定所述当前待预测块对应的目标预测块，包括：
    将所述候选模板对应的候选预测块中与所述当前预测块的相似度最高的候选预测块确定为所述目标预测块。
  24. 根据权利要求22所述的方法，其中，在所述候选模板为排序靠前的至少两个模板的情况下，所述候选模板对应的候选预测块由所述排序靠前的至少两个模板对应的预测块加权得到。
  25. 根据权利要求14所述的方法，其中，所述搜索模板包括以下之一：
    所述当前待预测块顶部已重建区域和左侧已重建区域构成的L型模板；
    根据所述当前待预测块顶部已重建区域和左侧已重建区域延伸得到的十字型模板；
    根据所述当前待预测块顶部已重建区域和左侧已重建区域延伸得到的T字型模板。
  26. 根据权利要求25所述的方法，还包括：
    根据所述当前待预测块的尺寸以及所述搜索模板将所述搜索区域确定为至少两个搜索子区域。
  27. 一种处理节点，包括：存储器，以及至少一个处理器；
    所述存储器，配置为存储至少一个程序；
    当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-26中任一项所述的帧内模板匹配预测方法。
  28. 一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-26中任一项所述的帧内模板匹配预测方法。
PCT/CN2024/112975 2023-12-12 2024-08-19 帧内模板匹配预测方法、处理节点及存储介质 Pending WO2025123743A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202311710164.9 2023-12-12
CN202311710164.9A CN120151545A (zh) 2023-12-12 2023-12-12 帧内模板匹配预测方法、处理节点及存储介质

Publications (1)

Publication Number Publication Date
WO2025123743A1 true WO2025123743A1 (zh) 2025-06-19

Family

ID=95951467

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2024/112975 Pending WO2025123743A1 (zh) 2023-12-12 2024-08-19 帧内模板匹配预测方法、处理节点及存储介质

Country Status (2)

Country Link
CN (1) CN120151545A (zh)
WO (1) WO2025123743A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110537370A (zh) * 2017-02-08 2019-12-03 弗劳恩霍夫应用研究促进协会 使用模板匹配的预测编码技术
US20220094910A1 (en) * 2019-06-17 2022-03-24 Zhejiang Dahua Technology Co., Ltd. Systems and methods for predicting a coding block
CN116074537A (zh) * 2022-12-30 2023-05-05 浙江大华技术股份有限公司 编码方法、解码方法、电子设备和计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110537370A (zh) * 2017-02-08 2019-12-03 弗劳恩霍夫应用研究促进协会 使用模板匹配的预测编码技术
US20220094910A1 (en) * 2019-06-17 2022-03-24 Zhejiang Dahua Technology Co., Ltd. Systems and methods for predicting a coding block
CN116074537A (zh) * 2022-12-30 2023-05-05 浙江大华技术股份有限公司 编码方法、解码方法、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN120151545A (zh) 2025-06-13

Similar Documents

Publication Publication Date Title
CN109688407B (zh) 编码单元的参考块选择方法、装置、电子设备及存储介质
CN116235496A (zh) 编码方法、解码方法、编码器、解码器以及编码系统
CA3028510C (en) Bidirectional interframe predictive coding method and device using forward and backward block weighting and block brightness weighting
CN114466221A (zh) 一种图像处理方法、装置、存储介质和电子设备
KR102895854B1 (ko) 프레임 간 예측 방법 및 장치, 기기, 저장 매체
WO2025092831A1 (zh) 处理方法、处理设备及存储介质
CN109618152B (zh) 深度划分编码方法、装置和电子设备
WO2025123743A1 (zh) 帧内模板匹配预测方法、处理节点及存储介质
CN120186338A (zh) 处理方法、处理设备及存储介质
WO2022115999A1 (zh) 一种数据处理方法及数据处理设备
TW202429889A (zh) 解碼方法、編碼方法、解碼器、編碼器、電子設備、儲存媒介、電腦程式產品和碼流
CN118842914A (zh) 色度编码方法、装置、设备及计算机可读存储介质
JP2026511705A (ja) 符号化方法及び復号方法、ビットストリーム、エンコーダ、デコーダ、並びに記憶媒体
CN116366839B (zh) 预测模式的决策方法、装置、设备及存储介质
WO2025194826A1 (zh) 视频块处理方法、电子设备及存储介质
RU2799709C1 (ru) Способ и устройство для кодирования видео на основании долговременного опорного кадра, вычислительное устройство и носитель данных
US12301830B2 (en) Systems and methods for video processing
CN119402656B (zh) 视频处理方法、装置及相关设备
WO2026086499A1 (zh) 运动信息确定方法、电子设备及存储介质
CN120186339B (zh) 处理方法、处理设备及存储介质
CN118612445B (zh) 一种视频编解码方法和相关装置
US20260082029A1 (en) Inter-frame prediction method, decoding method, electronic device, and storage medium
WO2025251670A1 (zh) 一种模式确定方法、通信节点、存储介质及程序产品
CN115883825A (zh) 视频处理方法、装置、电子设备及存储介质
CN120568056A (zh) 一种模板匹配预测方法和相关装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24902169

Country of ref document: EP

Kind code of ref document: A1