WO2024104503A1 - 图像编解码 - Google Patents
图像编解码 Download PDFInfo
- Publication number
- WO2024104503A1 WO2024104503A1 PCT/CN2024/072091 CN2024072091W WO2024104503A1 WO 2024104503 A1 WO2024104503 A1 WO 2024104503A1 CN 2024072091 W CN2024072091 W CN 2024072091W WO 2024104503 A1 WO2024104503 A1 WO 2024104503A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image block
- prediction
- processed
- information
- block
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 141
- 230000033001 locomotion Effects 0.000 claims description 125
- 238000012545 processing Methods 0.000 claims description 102
- 238000001914 filtration Methods 0.000 claims description 24
- 238000005516 engineering process Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 abstract description 10
- 239000013598 vector Substances 0.000 description 52
- 238000013139 quantization Methods 0.000 description 28
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 230000006835 compression Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 11
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 239000000872 buffer Substances 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000009795 derivation Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 4
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000007430 reference method Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009419 refurbishment Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请实施例提供一种图像编解码方法及装置,涉及图像编解码领域,在不增加传输码流的情况下,保证解码端不同权限等级用户对低权限等级区域解码结果一致。该方法包括:确定待处理图像块的预测模式以及待处理图像块的权限等级(S401);根据预测模式,确定待处理图像块的第一参考图像块(S402);若第一参考图像块的权限等级不满足参考条件,禁止使用第一参考图像块确定待处理图像块的预测块或使用允许导出的第二参考图像块确定待处理图像块的预测块(S403)。
Description
本申请实施例涉及图像编解码技术领域,尤其涉及一种图像编解码方法及装置。
监控领域在近几年发生了巨大的变革,数字化,高清化,使得图像的清晰度得到全面的提升,监控设备也是越来越普及,在交通、学校以及其他公共场所等都得到全面的应用。但是,为了实现不同用户访问不同区域,如何建立一个健全的具有权限等级保护的视频传输方案显得尤为重要。
当前,通常采用设定感兴趣区域,对感兴趣区域配置高权限等级,以限制低权限等级用户对感兴趣区域的访问。在视频图像传输的编解码过程中,涉及到不同权限等级区域之间的参考,当低权限等级区域需参考高权限等级区域的信息进行编解码时,如何保证解码端不同权限等级的用户对低权限等级区域的解码结果一致,是带权限等级编解码技术中的关键。
业界设计了多种方案以保证解码端不同权限等级的用户对低权限等级区域的解码结果一致。一种是对权限等级区域的配置进行限定,即将片(slice)内的所有图像块设置相同的权限等级,以避免不同权限等级的区域间的参考;但该方案导致权限等级区域配置不准确,无法实现准确的分权限等级访问不同区域。
发明内容
本申请提供一种图像编解码方法及装置,在不增加传输码流的情况下,实现准确的分权限等级访问不同的图像区域、保证解码端不同权限等级用户对低权限等级区域解码结果一致。
为达到上述目的,本申请实施例采用如下技术方案。
第一方面,本申请实施例提供一种图像编解码方法,该方法包括:确定待处理图像块的预测模式以及待处理图像块的权限等级;根据预测模式,确定待处理图像块的第一参考图像块;若第一参考图像块的权限等级不满足参考条件,禁止使用第一参考图像块确定待处理图像块的预测块或使用允许导出的第二参考图像块确定待处理图像块的预测块;其中,参考条件包括权限等级低于或等于待处理图像块的权限等级,或者,权限等级与待处理图像块的权限等级不同,或者,权限等级等于最低权限等级,或者,上、下、左、右距离s个像素内不存在高于所述待处理图像块的权限等级的像素块,所述s大于或等于1。
通过本申请提供的方案,在配置了权限等级的图像的编/解码过程中,当低权限等级区域的图像块(或像素)需参考高权限等级的图像块(或像素)时,禁止参考或者参考允许导出(任何权限等级的用户都可以获取到)的高权限等级的图像块(或像素)的替代值,编/解码端采用相同的操作进行参考,就可以实现对同一个低权限等级区域,无需传递补偿值也节省了传输码流,解码端不同权限的用户的解码结果一致。
作为一种可能的实现方式,该第二参考图像块由上述第一参考图像块的邻近图像块中,权限等级满足参考条件的图像块确定的图像块。
作为另一种可能的实现方式,该第二参考图像块是采用解码端的最低用户权限等级解码第一参考图像块得到的预测像素值。
作为另一种可能的实现方式,该第二参考图像块为默认像素值的图像块。
这样一来,若使用允许导出的第二参考图像块确定待处理图像块的预测块(即解码端用户的权限等级支持,且已经确定出预测像素值的图像块),根据部署处理装置的解码端不同的用户权限等级,对于同一个待处理图像块,在第一参考图像块的权限等级不满足参考条件时,确定的第二参考图像块一致,以实现不同权限等级的用户对同一个低权限等级区域的解码结果一致。
作为一种可能的实现方式,该方法还可以包括:若待处理图像块为最低权限等级,根据待处理图像块的预测参考信息,更新历史参考列表;若待处理图像块为非最低权限等级,禁止根据待处理图像块的预测参考信息更新历史参考列表。其中,历史参考列表
用于指示已处理图像块的预测参考信息的运动信息。图像块的预测参考信息用于指示待处理图像块的预测过程。非最低权限等级为一个或多个。这样一来,只有当待处理图像块为最低权限等级,历史参考列表才会更新,以保证不同权限等级用户对低权限等级区域解码的一致性。
作为另一种可能的实现方式,该方法还可以包括:若待处理图像块为最低权限等级,根据待处理图像块的预测参考信息,更新历史参考列表;若待处理图像块的权限等级为非最低权限等级,根据允许导出的替代预测参考信息,更新历史参考列表。这样一来,若待处理图像块的权限等级为非最低权限等级,以替代预测参考信息的方式(允许导出的替代预测参考信息,可以指解码端用户的权限等级支持,且已经确定出预测像素值的图像块的预测参考信息)更新历史参考列表,以保证不同权限等级用户对低权限等级区域解码的一致性。
作为另一种可能的实现方式,该方法还可以包括:若待处理图像块为最低权限等级,根据待处理图像块的预测参考信息,更新历史参考列表;若待处理图像块的权限等级为非最低权限等级,根据待处理图像块的预测参考信息,更新待处理图像块的权限等级对应的临时历史参考列表。这样一来,若待处理图像块的权限等级为非最低权限等级,可以根据待处理图像块的预测参考信息,更新待处理图像块的权限等级对应的临时历史参考列表(非原历史参考列表),而当处理最低权限的图像块后,根据最低权限的图像块的预测参考信息,更新原历史参考列表,以保证不同权限等级用户对低权限等级区域解码的一致性。
作为另一种可能的实现方式,该方法还可以包括:若待处理图像块为最低权限等级,且历史参考列表未被非最低权限等级图像块的预测参考信息更新,根据待处理图像块的预测参考信息,更新历史参考列表;若待处理图像块的权限等级为最低权限等级,且历史参考列表被非最低权限等级图像块的预测参考信息更新,根据待处理图像块的预测参考信息,重新构建历史参考列表;若待处理图像块为非最低权限等级,根据待处理图像块的预测参考信息,更新历史参考列表。这样一来,通过仅配置一个历史参考列表的方式,非最低权限的图像块也更新该历史参考列表,但处理到最低权限的图像块时,将历史参考列表初始化后重新构建及更新,以保证不同权限等级用户对低权限等级区域解码的一致性。
作为另一种可能的实现方式,该方法还可以包括:根据待处理图像块的预测参考信息,更新待处理图像块的所属的权限等级区域的历史参考列表;不同权限等级区域构建了不同的历史参考列表。
作为另一种可能的实现方式,部分权限等级区域构建了不同的历史参考列表,该方法还可以包括:若待处理图像块所在的权限等级区域配置了历史参考列表,根据待处理图像块的预测参考信息,更新待处理图像块的所属的权限等级区域的历史参考列表。若待处理图像块所在的权限等级区域未配置历史参考列表,按照其他可能的实现方式构建或更新历史参考列表。
作为另一种可能的实现方式,该方法还可以包括:若待处理图像块的权限等级高于前一个区域的权限等级,则根据待处理图像块的预测参考信息,更新历史参考列表;若待处理图像块的权限等级低于前一个区域的权限等级,根据替代预测参考信息,初始化历史参考列表。
这样一来,根据上述不同的更新历史参考列表的方式,以更新历史参考列表,编解码两端采用相同的方案即可。待处理图像块所采用的参考方式,由编码端决策,并编码随码流发送至解码端,以使得编解码两端采用相同的方案,以保证不同权限等级用户对低权限等级区域解码的一致性。
作为一种可能的实现方式,替代预测参考信息为默认预测参考信息。
作为另一种可能的实现方式,替代预测参考信息为默认图像块的预测参考信息。
作为另一种可能的实现方式,替代预测参考信息为编解码顺序中,待处理图像块之前,权限等级满足参考条件的图像块的预测参考信息。
作为另一种可能的实现方式,替代预测参考信息为编解码顺序中,待处理图像块之前,权限等级满足参考条件的图像块的预测参考信息导出的预测参考信息。
这样一来,根据最低权限的图像块的预测参考信息,构建及更新历史参考列表。当处理非最低权限的图像块后,根据允许导出的替代预测参考信息,更新历史参考列表,以保证不同权限等级用户对低权限等级区域解码的一致性。
作为一种可能的实现方式,预测参考信息包括下述信息中任一项:位置信息、模式
信息或者频数;历史参考列表包括下述列表中任一项:历史运动信息表、历史帧内复制信息表,或者,历史点预测信息表。
作为一种可能的实现方式,该方法还可以包括:若使用的相邻空域图像块的权限等级不满足参考条件,标记相邻空域图像块不存在。
作为另一种可能的实现方式,若相邻图像块的权限等级不满足参考条件,从码流中解析获取待处理图像块的空域预测信息。
作为另一种可能的实现方式,若使用的相邻空域图像块的权限等级不满足参考条件,按照允许导出的相邻图像块的替代空域预测信息,导出待处理图像块的空域预测信息。
这样一来,通过导出空域运动信息,采用待处理图像块相邻的周围图像块的运动信息,确定当前待处理图像块的运动信息。若使用的相邻空域图像块的权限等级不满足参考条件,可以根据上述不同的导出空域运动信息方式,以确定当前待处理图像块的运动信息,编解码两端采用相同的方案即可。待处理图像块所采用的参考方式,由编码端决策,并编码随码流发送至解码端,以使得编解码两端采用相同的方案,以保证不同权限等级用户对低权限等级区域解码的一致性。
作为一种可能的实现方式,替代空域预测信息为默认空域预测信息。
作为另一种可能的实现方式,替代空域预测信息为编解码顺序中,待处理图像块之前,权限等级满足参考条件的图像块的空域预测信息导出的空域预测信息。
作为一种可能的实现方式,该方法还可以包括:获取图像帧的权限等级配置信息,权限等级配置信息用于指示图像帧中区域位置与权限等级的对应关系;位置区域的图像块具有一个或多个等级的权限;将图像帧中图像块所在位置在权限等级配置信息中对应的权限等级,作为图像块的权限等级。这样一来,可以将图像帧中图像块所在位置在权限等级配置信息中对应的权限等级,作为图像块的权限等级,进而使得处理装置根据不同的权限等级进行限制操作。
作为一种可能的实现方式,当帧内预测滤波或帧间预测滤波或帧内参考像素滤波开启时,第一参考图像块为滤波时使用的参考图像块。
作为另一种可能的实现方式,当跨分量预测技术开启时,当待处理图像块为第一通道中的图像块,第一通道参考第二通道和/或第三通道中的图像块生成第一通道中图像块的预测块,第一参考图像块为第二通道和/或第三通道中的图像块。
这样一来,第一参考图像块可以根据待处理图像块预测模块,确定的获取待处理图像块的预测块时所要参考的图像块,在不同的预测模块下或不同的场景下,第一参考图像块的内容或位置可以不同。
作为一种可能的实现方式,该方法还可以包括:若第一参考图像块的权限等级满足参考条件,使用第一参考图像块,确定待处理图像块的预测块。
作为一种可能的实现方式,该方法还可以包括:若第一参考图像块的权限等级不满足参考条件,确定待处理图像块的目标参考方式;其中,目标参考方式包括:禁止使用第一参考图像块确定待处理图像块的预测块或使用允许导出的第二参考图像块确定待处理图像块的预测块;解码端根据码流中的指示信息确定目标参考方式,编码端决策确定目标参考方式。这样一来,在第一参考图像块的权限等级不满足参考条件的情况下,不同图像块可以采用上述确定待处理图像块的预测块中不同的处理方式,以获取待处理图像块的预测块,编解码两端采用相同的方案即可。待处理图像块所采用的参考方式,由编码端决策,并编码随码流发送至解码端,以使得编解码两端采用相同的方案,以保证不同权限等级用户对低权限等级区域解码的一致性。
第二方面,本申请实施例提供一种图像编解码装置,该装置包括确定模块和处理模块。
确定模块,用于确定待处理图像块的预测模式以及待处理图像块的权限等级。
确定模块还用于:根据预测模式,确定待处理图像块的第一参考图像块。
处理模块用于:若第一参考图像块的权限等级不满足参考条件,禁止使用第一参考图像块确定待处理图像块的预测块或使用允许导出的第二参考图像块确定待处理图像块的预测块。其中,参考条件包括权限等级低于或等于待处理图像块的权限等级,或者,权限等级与待处理图像块的权限等级不同,或者,权限等级等于最低权限等级,或者,上、下、左、右距离s个像素内不存在高于所述待处理图像块的权限等级的像素块,所述s大于或等于1。
作为一种可能的实现方式,第二参考图像块由第一参考图像块的邻近图像块中,权限等级满足参考条件的图像块确定的图像块。或者,第二参考图像块是采用解码端的最低用户权限等级解码第一参考图像块得到的预测像素值。或者,第二参考图像块为默认像素值的图像块。
作为一种可能的实现方式,处理模块还用于:若待处理图像块为最低权限等级,根据待处理图像块的预测参考信息,更新历史参考列表。若待处理图像块为非最低权限等级,禁止根据待处理图像块的预测参考信息更新历史参考列表。历史参考列表用于指示已处理图像块的预测参考信息的运动信息。图像块的预测参考信息用于指示待处理图像块的预测过程。非最低权限等级为一个或多个。
作为另一种可能的实现方式,处理模块还用于:若待处理图像块为最低权限等级,根据待处理图像块的预测参考信息,更新历史参考列表。若待处理图像块的权限等级为非最低权限等级,根据允许导出的替代预测参考信息,更新历史参考列表。
作为另一种可能的实现方式,处理模块还用于:若待处理图像块为最低权限等级,根据待处理图像块的预测参考信息,更新历史参考列表。若待处理图像块的权限等级为非最低权限等级,根据待处理图像块的预测参考信息,更新待处理图像块的权限等级对应的临时历史参考列表。
作为另一种可能的实现方式,处理模块还用于:若待处理图像块为最低权限等级,且历史参考列表未被非最低权限等级图像块的预测参考信息更新,根据待处理图像块的预测参考信息,更新历史参考列表。若待处理图像块的权限等级为最低权限等级,且历史参考列表被非最低权限等级图像块的预测参考信息更新,根据待处理图像块的预测参考信息,重新构建历史参考列表。若待处理图像块为非最低权限等级,根据待处理图像块的预测参考信息,更新历史参考列表。
作为另一种可能的实现方式,处理模块还用于:根据待处理图像块的预测参考信息,更新待处理图像块的所属的权限等级区域的历史参考列表。不同权限等级区域构建了不同的历史参考列表。
作为另一种可能的实现方式,处理模块还用于:若待处理图像块的权限等级高于前一个区域的权限等级,则根据待处理图像块的预测参考信息,更新历史参考列表。若待处理图像块的权限等级低于前一个区域的权限等级,根据替代预测参考信息,初始化历史参考列表。
作为一种可能的实现方式,替代预测参考信息为默认预测参考信息。或者,替代预测参考信息为默认图像块的预测参考信息。或者,替代预测参考信息为编解码顺序中,待处理图像块之前,权限等级满足参考条件的图像块的预测参考信息。或者,替代预测参考信息为编解码顺序中,待处理图像块之前,权限等级满足参考条件的图像块的预测参考信息导出的预测参考信息。
作为一种可能的实现方式,预测参考信息包括下述信息中任一项:位置信息、模式信息或者频数。历史参考列表包括下述列表中任一项:历史运动信息表、历史帧内复制信息表,或者,历史点预测信息表。
作为一种可能的实现方式,处理模块还用于:若使用的相邻空域图像块的权限等级不满足参考条件,标记相邻空域图像块不存在。或者,处理模块还用于:若相邻图像块的权限等级不满足参考条件,从码流中解析获取待处理图像块的空域预测信息。或者,处理模块还用于:若使用的相邻空域图像块的权限等级不满足参考条件,按照允许导出的相邻图像块的替代空域预测信息,导出待处理图像块的空域预测信息。
作为一种可能的实现方式,替代空域预测信息为默认空域预测信息。或者,替代空域预测信息为编解码顺序中,待处理图像块之前,权限等级满足参考条件的图像块的空域预测信息导出的空域预测信息。
作为一种可能的实现方式,确定模块具体用于:获取图像帧的权限等级配置信息,权限等级配置信息用于指示图像帧中区域位置与权限等级的对应关系。位置区域的图像块具有一个或多个等级的权限。将图像帧中图像块所在位置在权限等级配置信息中对应的权限等级,作为图像块的权限等级。
作为一种可能的实现方式,当帧内预测滤波或帧间预测滤波或帧内参考像素滤波开启时,第一参考图像块为滤波时使用的参考图像块。当跨分量预测技术开启时,当待处理图像块为第一通道中的图像块,第一通道参考第二通道和/或第三通道中的图像块生成第一通道中图像块的预测块,第一参考图像块为第二通道和/或第三通道中的图像块。
作为一种可能的实现方式,处理模块还用于:若第一参考图像块的权限等级满足参
考条件,使用第一参考图像块,确定待处理图像块的预测块。
作为一种可能的实现方式,处理模块还用于:若第一参考图像块的权限等级不满足参考条件,确定待处理图像块的目标参考方式。其中,目标参考方式包括:禁止使用第一参考图像块确定待处理图像块的预测块或使用允许导出的第二参考图像块确定待处理图像块的预测块。解码端根据码流中的指示信息确定目标参考方式,编码端决策确定目标参考方式。
第三方面,本申请实施例提供一种编码器,包括处理器,该处理器与存储器耦合。存储器用于存储计算机程序或指令。处理器用于执行存储器中存储的计算机程序或指令,以使得编码器用于执行第一方面及其可能的实现方式中任意之一所述的方法。
第四方面,本申请实施例提供一种解码器,包括处理器,该处理器与存储器耦合。存储器用于存储计算机程序或指令。处理器用于执行存储器中存储的计算机程序或指令,以使得解码器用于执行第一方面及其可能的实现方式中任意之一所述的方法。
第五方面,本申请提供一种计算机程序产品,包括程序代码,当其在计算机或处理器上执行时,用于执行第一方面及其可能的实现方式中任意之一所述的方法。
第六方面,本申请提供一种电子设备,包括第三方面所述的编码器,或者第四方面所述的解码器。
第七方面,本申请提供一种计算机可读存储介质,包括程序代码,当其由计算机设备执行时,用于执行第一方面及其可能的实现方式中任意之一所述的方法。
应当理解的是,本申请实施例的第二方面至第七方面技术方案及对应的可能的实施方式所取得的有益效果可以参见上述对第一方面及其对应的可能的实施方式的技术效果,此处不再赘述。
图1为本申请实施例提供的一种编解码系统的架构示意图;
图2为本申请实施例提供的一种编码器的示意性框图;
图3为本申请实施例提供的一种解码器的示意性框图;
图4为本申请实施例提供的一种图像编解码方法的流程示意图;
图5为本申请实施例提供的另一种图像编解码方法的流程示意图;
图6为本申请实施例提供的一种扫帧内预测模式示意图;
图7为本申请实施例提供的一种左/上相邻块与当前图像块的位置关系示意图;
图8为本申请实施例提供的一种周边块示意图;
图9为本申请实施例提供的一种图像编解码装置的结构示意图。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一预测模式和第二预测模式等是用于区别不同的预测模式,而不是用于描述预测模式的特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个图像块是指两个或两个以上的图像块。
本申请实施例提供的图像编解码方法可以应用于图像编码过程中获取预测块,也可以应用于图像解码过程获取预测块的过程。
首先,对本申请实施例涉及的技术术语进行介绍。
视频序列/图像序列:视频中完整的图像通常被称为“帧”,由许多帧按照时间顺序组成的视频被称为视频序列(video sequence),或者可以称为图像序列。
视频编码技术:视频序列存在空间冗余、时间冗余、视觉冗余、信息熵冗余、结构冗余、知识冗余、重要性冗余等一系列的冗余信息。为了尽可能的去除视频序列中的冗余信息,减少表征视频的数据量,提出了视频编码(video coding)技术,以达到减小存储空间和节省传输带宽的效果。视频编码技术也称为视频压缩技术。
权限等级:向图像中的区域配置的用于指示访问权限的等级信息。解码端的用户只能访问低于或等于自己权限等级的区域的信息。
帧内预测:指利用当前块的空域相邻块(与当前图像块处于同一帧图像)的重建像素值进行预测编码。
帧间预测:指利用当前块的时域相邻块(与当前图像块处于不同图像)的重建像素值进行预测编码。
预测像素:指从已经编解码的像素中导出的像素值,即图像块的预测块中的像素值。通过原始像素与预测像素之差可以获得残差,进而进行残差变换量化以及系数编码。特别的,帧间预测的预测像素指的是当前图像块从参考帧(重建像素帧)中的参考图像块导出的像素值,由于像素位置离散,需要通过插值运算来获取最终的预测像素。预测像素与原始像素越接近,两者相减得到的残差能量越小,编码压缩性能越高。
本申请提供一种图像编解码方案,在配置了权限等级的图像的编/解码过程中,当低权限等级区域的图像块(或像素)需参考高权限等级的图像块(或像素)时,禁止参考或者参考允许导出(任何权限等级的用户都可以获取到)的高权限等级的图像块(或像素)的替代值,编/解码端采用相同的操作进行参考,就可以实现对同一个低权限等级区域,解码端不同权限的用户的解码结果一致。由于本申请的方案,提供不同权限等级区域间的参考时的解决方案,因此划分图像块时就不存在将某些图像块强制划入其他权限等级,可以实现准确的分权限等级访问不同的图像区域。本申请采用允许导出的替代值进行参考,实现了不同权限等级用户解码的一致性,无需传递补偿值也节省了传输码流。
接下来,对本申请实施例的实施环境和应用场景进行简单介绍。本申请提供的视频编解码方法可以适用于如图1所示的视频编解码系统。
参见图1,给出了本申请实施例所应用的编解码系统(也可以称为编码及解码系统)10的架构示意图。如图1所示,编解码系统10可以包括源设备11和目的设备12,源设备11用于对图像进行编码,因此,源设备11可被称为视频编码装置。目的设备12用于对由源设备11所产生的经编码的图像数据进行解码,因此,目的设备12可被称为视频解码装置。
源设备11和目的设备12可以包括各种装置,例如,包含桌上型计算机、移动计算装置、笔记型(例如,膝上型)计算机、平板计算机、机顶盒、手机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机、无线通信设备等等。
在一个例子中,图1中的源设备11和目的设备12可以是两个单独的设备,或者,源设备11和目的设备12为同一设备,即源设备11或对应的功能以及目的设备12或对应的功能可以集成在同一个设备上。
源设备11和目的设备12之间可以进行通信,例如,目的设备12可从源设备11接收经编码图像数据。在一个实例中,源设备11和目的设备12之间可以包括一个或多个通信媒体,通过一个或多个通信媒体传输经编码图像数据,该一个或多个通信媒体可包含路由器、交换器、基站或促进从源设备11到目的设备12的通信的其它设备。
如图1所示,源设备11包括编码器112,在一个例子中,源设备11还可以包括图像预处理器111以及通信接口113。其中,图像预处理器111,用于对接收到的待编码图像执行预处理,例如,图像预处理器111执行的预处理可以包括整修、色彩格式转换(例如,从RGB格式转换为YUV格式)、调色或去噪等。编码器112,用于接收经预处理的图像,采用相关预测模式(如本文各个实施例中的预测模式)对经预处理的图像进行处理,从而提供经编码图像数据。在一些实施例中,编码器112可以用于执行下文中所描述的各个实施例中的图像编码过程。通信接口113,可用于将经编码图像数据传输至目的设备12或任何其它设备(如存储器),以用于存储或直接重构,其它设备可为任何用于解码或存储的设备。通信接口113也可以将经编码图像数据封装成合适的格式之后再传输。
在一个例子中,上述图像预处理器111、编码器112以及通信接口113可能是源设备11中的硬件部件,也可能是源设备11中的软件程序,本申请实施例不做限定。
继续如图1所示,目的设备12包括解码器122,在一个例子中,目的设备12还可以包括通信接口121、图像后处理器123。其中,通信接口121可用于从源设备11或任何其它源设备接收经编码图像数据,该任何其它源设备例如为存储设备。通信接口121还可以解封装通信接口113所传输的数据以获取经编码图像数据。解码器122,用于接收经编码图像数据并输出经解码图像数据(也称为经重构图像数据或已重构图像数据)。在一些实施例中,解码器122可以用于执行下文中所描述的各个实施例所述的图像解码过程。
图像后处理器123,用于对经解码图像数据执行后处理,以获得经后处理像数据。图像后处理器123执行的后处理可以包括:色彩格式转换(例如,从YUV格式转换为RGB格式)、调色、整修或重采样,或任何其它处理,还可用于将将经后处理图像数据传输至显示设备进行显示。
同理,在一个例子中,上述通信接口121、解码器122以及图像后处理器123可能是目的设备12中的硬件部件,也可能是目的设备12中的软件程序,本申请实施例不做限定。
下面对图1中的编码器和解码器的结构进行简单介绍。
参见图2,图2示出用于实现本申请实施例的编码器20的实例的示意性框图。在图2中,编码器包括预测处理单元201、残差计算单元202、变换处理单元203、量化单元204、熵编码单元205、反量化单元(也可以称为逆量化单元)206、反变换单元(也可以称为逆变换处理单元)207、重构单元(或者称为重建单元)208以及滤波器单元209。可选地,编码器20还可以包括缓冲器、经解码图像缓冲器,其中,缓冲器用于缓存重构单元208输出的重构图像块,经解码图像缓冲器用于缓存滤波器单元209输出的滤波后的图像块。
编码器20的输入为图像(可以称为待编码图像)的图像块,图像块也可以称为当前图像块或待编码图像块或待处理图像块。
编码器20中还可以包括分割单元(图2中未示出),该分割单元用于将待编码图像分割成多个图像块。编码器20用于逐块编码从而完成对待编码图像的编码,例如,对每个图像块执行编码过程。示例性的,分割单元可以根据指示感兴趣目标的位置区域的位置信息,对图像进行分割,使得一个图像块中仅包括一个权限等级的图像区域。
预测处理单元201,用于接收或获取图像块(当前待编码图像的当前待编码图像块,也可以称为当前图像块,该图像块可以理解为图像块的真实值)和已重构图像数据,基于已重构图像数据中的相关数据对当前图像块进行预测,得到当前图像块的预测块。可选地,预测处理单元201可以包含帧间预测单元、帧内预测单元和模式选择单元,模式选择单元用于选择帧内预测模式或者帧间预测模式,若选择帧内预测模式,则由帧内预测单元执行预测过程,若选择帧间预测模式,则由帧间预测单元执行预测过程。
残差计算单元202用于计算图像块的真实值和该图像块的预测块之间的残差,得到残差块。例如,通过逐像素将图像块的像素值减去预测块的像素值。
变换处理单元203用于对残差块进行例如离散余弦变换(discrete cosine transform,DCT)或离散正弦变换(discrete sine transform,DST)的变换,以在变换域中获取变换系数,变换系数也可以称为变换残差系数,该变换残差系数可以在变换域中表示残差块。
量化单元204用于通过应用标量量化或向量量化来量化变换系数,以获取经量化变换系数,经量化变换系数也可以称为经量化残差系数。量化过程可以减少与部分或全部变换系数有关的位深度。例如,可在量化期间将n位变换系数向下舍入到m位变换系数,其中n大于m。可通过调整量化参数(quantization parameter,QP)修改量化程度。例如,对于标量量化,可以应用不同的标度来实现较细或较粗的量化。较小量化步长对应较细量化,而较大量化步长对应较粗量化。可以通过量化参数(quantization parameter,QP)指示合适的量化步长。
熵编码单元205用于对上述经量化残差系数或变换系数进行编码,然后以一扫描方式和分组方式将系数编码排列为待解码单元,以编码比特流的形式输出的经编码图像数据(即待解码单元),然后可以将经编码比特流传输到解码器,或将其存储起来,后续传输至解码器或用于检索。编码单元205还可用于对当前图像块的其它语法元素进行编码,例如将预测模式编码至码流、将参考方式指示信息编码至码流等。熵编码算法包括但不限于可变长度编码(variable length coding,VLC)算法、上下文自适应VLC(context adaptive VLC,CAVLC)算法、算术编码算法、上下文自适应二进制算术编码(context adaptive binary arithmetic coding,CABAC)算法、基于语法的上下文自适应二进制算术编码(syntax-based context-adaptive binary arithmetic coding,SBAC)算法、概率区间分
割熵(probability interval partitioning entropy,PIPE)算法。
反量化单元206用于对上述经量化系数进行反量化,以获取经反量化系数,该反量化是上述量化单元204的反向应用,例如,基于或使用与量化单元204相同的量化步长,应用量化单元204应用的量化方案的逆量化方案。经反量化系数也可以称为经反量化残差系数。
反变换单元207用于对上述反量化系数进行反变换,应理解,该反变换是上述变换处理单元203的反向应用,例如,反变换可以包括逆离散余弦变换(discrete cosine transform,DCT)或逆离散正弦变换(discrete sine transform,DST),以在像素域(或者称为样本域)中获取逆变换块。逆变换块也可以称为逆变换经反量化块或逆变换残差块。
重构单元208用于将逆变换块(即逆变换残差块)添加至预测块,以在样本域中获取经重构块,重构单元208可以为求和器,例如,将残差块的样本值(即像素值)与预测块的样本值相加。该重构单元208输出的重构块可以后续用于预测其他图像块,例如,在帧内预测模式下使用。
滤波器单元209(或简称“滤波器”)用于对经重构块进行滤波以获取经滤波块,从而顺利进行像素转变或提高图像质量。滤波器单元可以为环路滤波器单元,旨在表示一个或多个环路滤波器,例如去块滤波器、样本自适应偏移(sample-adaptive offset,SAO)滤波器或其它滤波器,例如双边滤波器、自适应环路滤波器(adaptive loop filter,ALF),或锐化或平滑滤波器,或协同滤波器。可选地,该滤波单元209输出的经滤波块可以后续用于预测其他图像块,例如,在帧间预测模式下使用。
具体的,在本申请实施例中,编码器20用于实现后文实施例中描述的图像编解码方法。
参见图3,图3示出用于实现本申请实施例的解码器30的实例的示意性框图。解码器30用于接收例如由编码器20编码的经编码图像数据(即经编码比特流,例如,包括图像块的经编码比特流及相关联的语法元素),以获取经解码图像。解码器30包括熵解码单元301、反量化单元302、反变换单元303、预测处理单元304、重构单元305、滤波器单元306。在一些实例中,解码器30可执行大体上与图2的编码器20描述的编码遍次互逆的解码遍次。在一个例子中,解码器30还可以包括缓冲器、经解码图像缓冲器,其中,缓冲器用于缓存重构单元305输出的重构图像块,经解码图像缓冲器用于缓存滤波器单元306输出的滤波后的图像块。
熵解码单元301用于对经编码图像数据执行熵解码,以获取经量化系数和/或经解码的编码参数(例如,解码参数可以包括帧间预测参数、帧内预测参数、滤波器参数和/或其它语法元素中的任意一个或全部)。熵解码单元301还用于将上述经解码的编码参数转发至预测处理单元304,以供预测处理单元根据编码参数执行预测过程,得到当前图像块的预测块。
反量化单元302的功能可与编码器20的反量化单元206的功能相同,用于反量化(即,逆量化)在由熵解码单元301解码的经量化系数。
反变换单元303的功能可与编码器20的反变换单元207的功能相同,重构单元305(例如求和器)的功能可与编码器20的重构单元208的功能相同,用于对上述经量化系数进行逆变换(例如,逆DCT、逆整数变换或概念上类似的逆变换过程),得到逆变换块(也可以称为逆变换残差块),该逆变换块即为当前图像块在像素域中的残差块。
预测处理单元304,用于接收或获取经编码图像数据(例如当前图像块的经编码比特流)和已重构图像数据,预测处理单元301还可以从例如熵解码单元302接收或获取预测相关参数和/或关于所选择的预测模式的信息(即经解码的编码参数),并且基于已重构图像数据中的相关数据和经解码的编码参数对当前图像块进行预测,得到当前图像块的预测块。可选地,预测处理单元304可以包含帧间预测单元、帧内预测单元和模式选择单元,模式选择单元用于选择帧内预测模式或者帧间预测模式,若选择帧内预测模式,则由帧内预测单元执行预测过程,若选择帧间预测模式,则由帧间预测单元执行预测过程。
重构单元305用于将逆变换块(即逆变换残差块)添加到预测块,以在样本域中获取经重构块,例如将逆变换残差块的样本值与预测块的样本值相加。
滤波器单元306用于对经重构块进行滤波以获取经滤波块,该经滤波块即为经解码图像块。
具体的,在本申请实施例中,预测处理单元201/预测处理单元304用于实现后文实
施例中描述的图像编解码方法。
应当理解的是,在本申请实施例的编码器20和解码器30中,针对某个环节的处理结果也可以经过进一步处理后,输出到下一个环节。
一方面,本申请实施例提供一种图像编解码方法,由处理装置执行。该处理装置可以为前述编码器20,以执行编码过程。或者,该处理装置可以为前述解码器30,以执行解码过程。进一步的,该处理装置可以为前述预测处理单元201或预测处理单元304,以执行的预测过程。
其中,本申请实施例中的处理对象为图像块,对于图像块的分割方式以及图像块的大小,可以参照视频压缩编码标准实现,本申请实施例对此不予限定。
如前述,为了实现准确的分权限等级访问不同的图像区域,解码端的用户只能访问权限等级低于或等于自身权限的图像区域。编码端在进行块划分时,选择合适的块划分方案,使得划分后的一个图像块仅位于一个权限等级的区域内。若当前划分下的图像块中存在多个权限等级的区域,则对当前图像块继续划分,直至切分后的一个图像块仅位于一个权限等级的区域内。
其中,一个权限等级的图像区域,可以是编码单元CU、最大编码单元LCU、图像片(如slice,Tile,Patch)或帧级等,本申请实施例对此不予限定。一个图像块可以为LCU、CU或预测单元PU或其他。
处理装置对图像帧中的图像块,按照一定的顺序遍历逐个处理,下述实施例中将当前处理的图像块称之为待处理图像块。对于每一个待处理图像块,处理装置对其处理过程相同,下述实施例中仅描述对一个待处理图像块的处理过程,其他不再一一赘述。
需要说明的是,当处理装置部署于解码端时,不同的用户具有不同的权限等级,处理装置可以正确解码低于或等于用户权限的,获取其真实像素值。对于权限等级高于用户权限的图像块,可以不进行解码,或者解码获取错误的像素值记录。
示例性的,当一个低权限等级的用户,当前的待处理图像块为高权限等级图像块时,可以不进行解码直接跳过,或者,解码获取当前待处理图像块错误的像素值,作为该高权限等级图像块的预测像素值,当然,该预测像素值不是真实像素值。
如图4所示,该图像编解码方法可以包括S401至S403。
S401、处理装置确定待处理图像块的预测模式以及待处理图像块的权限等级。
其中,待处理图像块的预测模式包括帧间预测,和/或,帧内预测。对于帧间预测、帧内预测的具体内容,可以参照视频压缩编码标准,本申请实施例不予赘述。
示例性的,处理装置部署于编码端(即前述源设备11或编码器112),可以通过决策的方式确定待处理图像块的预测模式,本申请实施例对于决策内容不予限定。
示例性的,处理装置部署于解码端(即前述目的设备12或解码器122),可以从码流中解码获取语法元素中,指示待处理图像块的预测模式的指示信息,进而获取到待处理图像块的预测模式。
具体的,图像块的权限等级取决于图像块在图像帧中的位置区域,图像帧中的位置区域根据需求配置了不同的权限等级。本申请实施例提供的方法还可以包括确定图像帧中不同区域的权限等级的过程。
示例性的,确定图像帧中不同区域的权限等级的过程可以为:获取图像帧的权限等级配置信息,该权限等级配置信息用于指示图像帧中区域位置与权限等级的对应关系。
其中,权限等级配置信息可以由用户配置输入。编码端/解码端可以获取用户输入的权限等级配置信息即可。或者,编码端可以获取用户输入权限等级配置信息,编码发送给解码端,解码端从码流中解析获取权限等级配置信息。或者,编码端可以获取用户输入权限等级配置信息,然后确定每个图像块的权限等级,将图像块的权限等级编码发送给解码端,解码端从码流中解析获取图像块的权限等级。
示例性的,权限等级配置信息可以如表1所示。
进一步的,在确定图像帧中不同区域的权限等级后,处理装置可以将图像帧中图像块所在位置在权限等级配置信息中对应的权限等级,作为图像块的权限等级。具体的,处理装置可以根据图像块的坐标,确定图像块所在位置,然后确定图像块的权限等级。
例如,S401中处理装置确定待处理图像块的权限等级,可以将图像帧中该待处理图像块所在位置在权限等级配置信息中对应的权限等级,作为待处理图像块的权限等级。
例如,处理装置部署于解码端,S401中处理装置确定待处理图像块的权限等级,可以从码流中解析获取待处理图像块的权限等级。
S402、处理装置根据待处理图像块的预测模式,确定待处理图像块的第一参考图像块。
其中,处理装置可以根据视频压缩编码标准的规定,待处理图像块的预测模块以及待处理图像块的位置,来确定待处理图像块的参考图像块,本申请实施例将其称之为第一参考图像块。本申请实施例对于确定待处理图像块的第一参考图像块的过程不予限定。
一种可能的实现方式中,帧内预测时,第一参考图像块为待处理图像块所在的图像帧中的图像块。
另一种可能的实现方式中,帧间预测时,第一参考图像块为待处理图像块的参考图像帧中的图像块。
示例性的,在帧间预测时,视频压缩编码标准中规定了图像块的搜索区域,该搜索区域包括图像块的参考帧,以及参考帧中允许参考的图像块,S402中处理装置可以根据待处理图像块的预测模块,在搜索区域内选取最优的参考图像块,即第一参考图像块。
再一种可能的实现方式中,当帧内预测滤波或帧间预测滤波或帧内参考像素滤波开启时,该第一参考图像块可以为滤波时使用的参考图像块。
再一种可能的实现方式中,当跨分量预测技术开启时,当待处理图像块为第一通道中的图像块,第一通道参考第二通道和/或第三通道中的图像块生成第一通道中图像块的预测块,第一参考图像块为第二通道和/或第三通道中的图像块。
需要说明的是,第一参考图像块是根据待处理图像块预测模块,确定的获取待处理图像块的预测块时所要参考的图像块,在不同的预测模块下或不同的场景下,第一参考图像块的内容或位置可以不同,本申请实施例对于第一参考图像块的内容或位置均不进行具体限定,对于确定第一参考图像块的过程也不进行具体限定。
示例性的,第一参考图像块为编解码顺序中在待处理图像块之前,已经确定了预测块的图像块。
S403、若第一参考图像块的权限等级不满足参考条件,禁止使用第一参考图像块确定待处理图像块的预测块或使用允许导出的第二参考图像块确定待处理图像块的预测块。
示例性的,上述参考条件可以包括权限等级低于或等于待处理图像块的权限等级,或者,权限等级与待处理图像块的权限等级不同,或者,权限等级等于最低权限等级,或者,上、下、左、右距离s个像素内不存在高于所述待处理图像块的权限等级,s大于或等于1。本申请实施例对于该参考条件的内容不予限定。
例如,若当前图像块为n×m,则在(n+s)×(m+s)内不存在高于待处理图像块的权限等级,则符合参考条件。
下面对禁止使用第一参考图像块确定待处理图像块的预测块、使用允许导出的第二参考图像块确定待处理图像块的预测块,这两种方案分别进行详细描述。
第一种方案:禁止使用第一参考图像块确定待处理图像块的预测块。
具体的,第一种方案相当于限制参考不满足参考条件的图像块。在第一种方案中,可以采用视频压缩编码标准中规定的不存在参考图像块的处理方式,来处理待处理图像块,此处不再赘述。
进一步的,在第一种方案中,可以将第一参考图像块标记为不可用或者不允许参考。
第二种方案:使用允许导出的第二参考图像块确定待处理图像块的预测块。
其中,允许导出的第二参考图像块,是指解码端用户的权限等级支持,且已经确定出预测像素值的图像块。对于不同权限等级的解码端用户,同一个第一参考图像块对应的第二参考图像块相同。
示例性的,第二参考图像块可以包括但不限于下述任一种情况:
情况1、第二参考图像块由第一参考图像块的邻近图像块中,权限等级满足参考条件的图像块确定的图像块。
一种可能的实现方式中,第二参考图像块可以为第一参考图像块的邻近图像块中,权限等级满足参考条件的图像块,也可以理解为,第二参考图像块的可以为第一参考图像块的邻近图像块中,权限等级满足参考条件的图像块。
其中,邻近图像块可以为周围图像块,其具体内容可以根据实际需求配置,本申请实施例对此不予限定。
示例性的,邻近图像块可以为左侧图像块、上方图像块、左上方图像块或其他。
另一种可能的实现方式中,第二参考图像块可以为第一参考图像块的邻近图像块中,
权限等级满足参考条件的图像块,进行计算后得到的图像块。
其中,该计算可以为叠加默认像素值或其他,本申请实施例对该计算的内容不予限定。
情况2、第二参考图像块是采用解码端的最低用户权限等级解码第一参考图像块得到的预测像素值。
在情况2中,采用解码端的最低用户权限等级解码第一参考图像块得到的预测像素值,并不是第一参考图像块的真实像素值,即前述的解码错误值。
情况3、第二参考图像块为默认像素值的图像块。
其中,该默认值可以根据实际需求确定,本申请实施例对此不予限定。
需要说明的是,部署处理装置的解码端不同的用户权限等级,对于同一个待处理图像块,在第一参考图像块的权限等级不满足参考条件时,确定的第二参考图像块一致,以实现不同权限等级的用户对同一个低权限等级区域的解码结果一致。
进一步的,示例性的,处理装置部署于编码端时,可以采用允许导出的第二参考图像块,确定待处理图像块的临时预测块;若临时预测块与待处理图像块的残差小于阈值,将临时预测块作为待处理图像的预测块;若临时预测块与待处理图像块的残差大于阈值,确定待处理图像块的参考图像块不可用,采用上述第一种方案确定待处理图像块的预测块。
具体的,在第二种方案中,处理装置确定待处理图像块的预测块,是处理装置基于第二参考图像块(已重构图像数据中的相关数据)对当前待处理图像块进行预测,得到当前待处理图像块的预测块,本申请对于具体过程不予赘述。
通过本申请提供的方案,提供可不同权限等级区域间的参考时的解决方案,因此划分图像块时就不存在将某些图像块强制划入其他权限等级,可以实现准确的分权限等级访问不同的图像区域。本申请采用允许导出的替代值进行参考,实现了不同权限等级用户对低权限等级区域解码的一致性,无需传递补偿值也节省了传输码流。
进一步的,如图5所示,在S402之后,本申请实施例提供的方法还可以包括S404。
S404、若第一参考图像块的权限等级满足参考条件,使用第一参考图像块,确定待处理图像块的预测块。
具体的,在S404中,处理装置确定待处理图像块的预测块,是处理装置基于第一参考图像块(已重构图像数据中的相关数据)对当前待处理图像块进行预测,得到当前待处理图像块的预测块,本申请对于具体过程不予赘述。
在一种可能的实现方式中,可以根据实际需求选取S403中的任一种方案来获取待处理图像块的预测块,编解码两端采用相同的方案即可。
另一种可能的实现方式中,在第一参考图像块的权限等级不满足参考条件的情况下,不同图像块可以采用上述S403中不同的处理方式,以获取待处理图像块的预测块,编解码两端采用相同的方案即可。待处理图像块所采用的参考方式,由编码端决策,并编码随码流发送至解码端,以使得编解码两端采用相同的方案。相应的,如图5所示,本申请实施例提供的方法还可以包括S405。
S405、若第一参考图像块的权限等级不满足参考条件,确定待处理图像块的目标参考方式。
其中,目标参考方式包括:禁止使用第一参考图像块确定待处理图像块的预测块,或,使用允许导出的第二参考图像块确定待处理图像块的预测块。
具体的,解码端根据码流中的指示信息确定所述目标参考方式,编码端决策确定目标参考方式。
在S405之后,按照目标参考方式执行S403。
进一步的,在S403之后,本申请实施例提供的方法还可以记录历史参考列表,历史参考列表用于指示已处理图像块的预测参考信息的运动信息或者频率信息。历史参考列表用于后续图像块进行帧间预测时参考。
其中,历史参考列表可以包括下述列表中任一项:历史运动信息表、历史帧内复制信息表,或者,历史点预测信息表。
如图5所示,本申请实施例提供的方法还可以包括S406。
S406、更新历史参考列表。
具体的,本申请实施例提供的更新历史参考列表的具体实现,可以包括但不限于下述方案中任一种。
方案1:仅根据最低权限等级的图像块的预测参考信息,更新历史参考列表。不根据非最低权限等级的图像块的预测参考信息,更新历史参考列表。
其中,非最低权限为一个或多个。
其中,图像块的预测参考信息用于指示所述待处理图像块的预测过程。
示例性的,预测参考信息可以包括下述信息中任一项:位置信息、模式信息或者频数。当然,可以根据实际需求配置预测参考信息的内容,本申请实施例不予限定。
在方案1中,在前述S403之后,S406具体可以实现为:若待处理图像块为最低权
限等级,根据待处理图像块的预测参考信息,更新历史参考列表。若待处理图像块为非最低权限等级,禁止根据待处理图像块的预测参考信息更新历史参考列表。
其中,禁止根据待处理图像块的预测参考信息更新历史参考列表,可以理解为:保持历史参考列表不变。
方案2:根据最低权限等级的图像块的预测参考信息,构建及更新历史参考列表;当处理非最低权限的图像块后,根据非最低权限的图像块的预测参考信息,更新历史参考列表作为权限内的历史参考列表;当处理最低权限的图像块后,根据最低权限的图像块的预测参考信息,更新原历史参考列表。
在方案2中,对每一个非最低权限区域配置一个临时历史参考列表,该历史参考列表供该权限等级区域内的图像块帧间预测用。应理解,在方案2中记录了多个历史参考列表。
在方案2中,在前述S403之后,S406具体可以实现为:若待处理图像块为最低权限等级,根据待处理图像块的预测参考信息,更新历史参考列表。若待处理图像块的权限等级为非最低权限等级,根据待处理图像块的预测参考信息,更新待处理图像块的权限等级对应的临时历史参考列表。
方案3:根据最低权限的图像块的预测参考信息,构建及更新历史参考列表。当处理非最低权限的图像块后,根据非最低权限的图像块的预测参考信息,更新历史参考列表。当处理最低权限的图像块后,初始化历史参考列表,根据最低权限的图像块的预测参考信息,重新构建历史参考列表。
在方案3中,仅配置一个历史参考列表,非最低权限的图像块也更新该历史参考列表,但处理到最低权限的图像块时,将历史参考列表初始化后重新构建及更新。
在方案3中,在前述S403之后,S406具体可以实现为:若待处理图像块为最低权限等级,且历史参考列表未被非最低权限等级图像块的预测参考信息更新,根据待处理图像块的预测参考信息,更新历史参考列表。若待处理图像块的权限等级为最低权限等级,且历史参考列表被非最低权限等级图像块的预测参考信息更新,根据待处理图像块的预测参考信息,重新构建历史参考列表;若待处理图像块为非最低权限等级,根据待处理图像块的预测参考信息,更新历史参考列表。
方案4:不同权限区域构建不同的历史参考列表。
在方案4中,对每一个权限等级区域配置一个历史参考列表,该历史参考列表供该权限等级区域内的图像块帧间预测用。待处理图像块用于更新其权限等级对应的历史参考列表。
在方案4中,在前述S403之后,S406具体可以实现为:根据待处理图像块的预测参考信息,更新待处理图像块的所属的权限等级区域的历史参考列表。
方案5:部分权限等级区域构建了不同的历史参考列表。
在方案5中,对部分权限等级区域配置一个历史参考列表,该历史参考列表供该权限等级区域内的图像块帧间预测用。待处理图像块用于更新其权限等级对应的历史参考列表。
在方案5中,在前述S403之后,S406具体可以实现为:若待处理图像块所在的权限等级区域配置了历史参考列表,根据待处理图像块的预测参考信息,更新待处理图像块的所属的权限等级区域的历史参考列表。若待处理图像块所在的权限等级区域未配置历史参考列表,按照其他方案,构建或更新历史参考列表。
方案6:根据最低权限的图像块的预测参考信息,构建及更新历史参考列表。当处理非最低权限的图像块后,根据允许导出的替代预测参考信息,更新历史参考列表。
其中,允许导出的替代预测参考信息,可以指解码端用户的权限等级支持,且已经确定出预测像素值的图像块的预测参考信息。
一种可能的实现方式中,替代预测参考信息可以为默认预测参考信息。
其中,默认预测参考信息可以为预先配置的固定信息,或者可以为动态生成的固定信息,本申请实施例对此不予限定。
另一种可能的实现方式中,替代预测参考信息可以为默认图像块的预测参考信息。
其中,默认图像块可以为预先指定的图像块,本申请实施例对于默认图像块的具体位置不予限定。
示例性的,默认图像块可以为最低权限等级的图像块。
另一种可能的实现方式中,替代预测参考信息为编解码顺序中,待处理图像块之前,权限等级满足参考条件的图像块的预测参考信息。
另一种可能的实现方式中,替代预测参考信息为编解码顺序中,待处理图像块之前,权限等级满足参考条件的图像块的预测参考信息导出的预测参考信息。
在方案6中,在前述S403之后,S406具体可以实现为:若待处理图像块为最低权限等级,根据待处理图像块的预测参考信息,更新历史参考列表;若待处理图像块的权限等级为非最低权限等级,根据允许导出的替代预测参考信息,更新历史参考列表。
方案7、若待处理图像块的权限高于前一个区域的权限,则根据待处理图像块的预
测参考信息,更新历史参考列表。若待处理图像块的权限低于前一个区域的权限,根据允许导出的替代预测参考信息,初始化历史参考列表。
需要说明的是,S406中的更新历史参考列表,本申请实施例提供了更新历史参考列表时的参考依据,具体的更新过程,可以参考视频压缩编码标准。
示例性的,可以参考视频压缩编码标准AVS3中9.5.6.7章节更新历史帧内复制信息表,更新历史参考列表,该过程可以如下。
示例1,参考列表为历史运动信息表(historical motion information list),用于帧间预测,由预测单元的运动信息构成。完成当前预测单元的解码后,如果满足以下条件之一,则不执行更新历史运动信息表的操作。
条件一:当前预测单元是仿射预测单元或角度加权预测单元。
条件二:当前编码单元的编码单元子类型为‘P_Skip_Mvap’或‘P_Direct_Mvap’或‘B_Skip_Mvap’或‘B_Direct_Mvap’。
条件三:当前编码单元的编码单元子类型为‘P_Skip_Etmvp’或‘P_Direct_Etmvp’或‘B_Skip_Etmvp’或‘B_Direct_Etmvp’。
条件四:当前编码单元的编码单元子类型为‘P_Skip_SbTemporal’或‘P_Direct_SbTemporal’或‘B_Skip_SbTemporal’或‘B_Direct_SbTemporal’。
条件五:当NumOfHmvpCand大于0时,根据当前预测块的运动信息、BgcFlag和BgcIndex更新历史运动信息表HmvpCandList;否则,不执行本条定义的操作。
具体的,更新历史运动信息表的方法如下:
a、将hmvpIndex初始化为0。
b、如果CntHmvp等于0,则HmvpCandList[CntHmvp]中的运动信息、BgcFlag和BgcIndex分别等于当前预测单元的运动信息、BgcFlag和BgcIndex,CntHmvp加1。
c、否则,判断当前预测块的运动信息和HmvpCandList[hmvpIndex]是否相同。如果运动信息相同,执行步骤d),否则,hmvpIndex加1;如果hmvpIndex小于CntHmvp,执行步骤c);否则,执行步骤d)。
d、如果hmvpIndex小于CntHmvp,则:
i、从hmvpIndex到CntHmvp-1,令HmvpCandList[i]等于HmvpCandList[i+1];HmvpCandList[CntHmvp-1]中的运动信息、BgcFlag和BgcIndex分别等于当前预测单元的运动信息、BgcFlag和BgcIndex。
e、如果hmvpIndex等于CntHmvp且CntHmvp等于NumOfHmvpCand,则:
i从0到CntHmvp-1,令HmvpCandList[i]等于HmvpCandList[i+1];HmvpCandList[CntHmvp-1]中的运动信息、BgcFlag和BgcIndex分别等于当前预测单元的运动信息、BgcFlag和BgcIndex。
f、如果hmvpIndex等于CntHmvp且CntHmvp小于NumOfHmvpCand,则HmvpCandList[CntHmvp]中的运动信息、BgcFlag和BgcIndex分别等于当前预测单元的运动信息、BgcFlag和BgcIndex,CntHmvp加1。
示例2,参考列表为历史帧内复制信息表(historical intra copy information list),用于块复制帧内预测或串复制帧内预测,由帧内复制信息构成。
历史帧内复制信息表中的历史帧内复制信息记为IntraHmvpCandList[X],包括位移矢量intraMvCandX,位置(xCandX,yCandX),尺寸sizeCandX和重复次数cntCandX。
令intraCur是当前块的帧内复制信息,包括位移矢量intraMvCur,位置(xCur,yCur),尺寸sizeCur和重复次数cntCur。更新历史帧内复制信息表的方法可以为:
a)将X和cntCur均初始化为0。
b)如果CntIntraHmvp等于0,则IntraHmvpCandList[CntIntraHmvp]为当前预测单元的帧内预测运动信息,CntIntraHmvp加1,结束本条的更新过程。
c)否则,根据intraMvCur和intraMvCandX是否相等判断当前预测块的帧内预测运动信息和IntraHmvpCandList[X]是否相同,
1)如果intraMvCur和intraMvCandX相同,执行步骤d);否则,X加1。
2)如果X小于CntIntraHmvp,执行步骤c);否则,执行步骤e)。
d)cntCur等于cntCandX的值加1。如果sizeCur小于sizeCandX,则xCur、yCur和sizeCur分别等于xCandx、yCandx和sizeCandX。
e)如果X小于CntIntraHmvp,则:
1)i从X到CntIntraHmvp-1,令IntraHmvpCandList[i]等于IntraHmvpCandList[i+1];
2)IntraHmvpCandList[CntIntraHmvp-1]等于当前预测单元的帧内预测运动信息。
f)否则,如果X等于CntIntraHmvp且CntIntraHmvp等于NumOfIntraHmvpCand,则:
1)i从0到CntIntraHmvp-1,令IntraHmvpCandList[i]等于IntraHmvpCandList[i+1];
2)IntraHmvpCandList[CntIntraHmvp-1]等于当前预测单元的帧内预测运动信息。否则,如果X等于CntIntraHmvp且CntIntraHmvp小于NumOfIntraHmvpCand,则IntraHmvpCandList[CntIntraHmvp]等于当前预测单元的帧内预测运动信息,
CntIntraHmvp加1。
示例3,参考列表为历史点预测信息表(historical point prediction information list),用于非普通串子模式,由预测单元的点预测信息表构成。
完成当前编码单元的解码后,如果当前编码单元采用串复制帧内预测非普通串子模式且(IscNumOfNewPv+IscNumofReusedPv)不等于0,则根据当前编码单元的点预测信息表PpInfoList更新历史点预测信息表PrevPpInfoList,并更新列表PrevFopYonly、PrevEvsDpbReactivatedYonly、PrevCompLumaFreqOccurPos和PrevEvsDpbIndex;否则,不执行本条定义的操作。
令PrevPvBufSize等于历史点预测信息表中点矢量的总数,PvBufSize等于当前编码单元的点预测信息表中点矢量的总数,tmpPvBuf[i]、tmpFlag[i]、tmpEvsDpbIndex[i]、tmpEvsDpbReactivatedYonly[i]和tmpCompLumaFreqOccurPos[i](i=0~27)是点预测信息临时缓冲区,串复制预测模式下更新历史点预测信息表的步骤可以为:
tmpIndex=0;
for(k=0;k<PrevPvBufSize;k++){
if(PrevPpInfoList[k][0]!=-1&&PrevPpInfoList[k][1]!=-1){
tmpPvBuf[tmpIndex][0]=PrevPpInfoList[k][0]
tmpPvBuf[tmpIndex][1]=PrevPpInfoList[k][1]
tmpFlag[tmpIndex]=PrevFopYonly[k]
tmpEvsDpbIndex[tmpIndex]=PrevEvsDpbIndex[k]
tmpEvsDpbReactivatedYonly[tmpIndex]=PrevEvsDpbReactivatedYonly[k]
tmpCompLumaFreqOccurPos[tmpIndex]=PrevCompLumaFreqOccurPos[k]
tmpIndex++
}
}
PrevPvBufSize=Min(28,PvNum+tmpIndex)
for(k=0;k<PrevPvBufSize;k++){
if(k<PvBufSize){
PrevPpInfoList[k][0]=PpInfoList[k][0]
PrevPpInfoList[k][1]=PpInfoList[k][1]
PrevFopYonly[k]=FopYonly[k]
PrevEvsDpbIndex[k]=EvsDpbIndex[k]
PrevCompLumaFreqOccurPos[k]=CompLumaFreqOccurPos[k]
PrevEvsDpbReactivatedYonly[k]=EvsDpbReactivatedYonly[k]
}
else{
PrevPpInfoList[k][0]=tmpPvBuf[k-PvNum][0]
PrevPpInfoList[k][1]=tmpPvBuf[k-PvNum][1]
PrevFopYonly[k]=tmpFlag[k-PvNum]
PrevEvsDpbIndex[k]=tmpEvsDpbIndex[k-PvNum]
PrevCompLumaFreqOccurPos[k]=tmpCompLumaFreqOccurPos[k-PvNum]
PrevEvsDpbReactivatedYonly[k]=tmpEvsDpbReactivatedYonly[k-PvNum]
}
}
当前编码单元使用的点矢量均存放在点预测信息表PpInfoList中。PpInfoList中的点矢量由两部分组成,一部分来自历史点预测信息表PrevPpInfoList[28][2],历史点预测信息表中的点矢量的数量不应大于28;另一部分是当前编码单元中新出现的点矢量。
如果当前编码单元使用普通串子模式,则匹配串的个数、至少包含一个匹配样本的不完全匹配串的个数、未匹配样本的个数,以及IscPartNumSplit四者之和应小于或等于当前编码单元样本数的四分之一;否则,如果当前编码单元使用非普通串子模式,则等值串的个数、单位基矢量串的个数、未匹配样本的个数,以及IscPartNumSplit四者之和应小于或等于当前编码单元样本数的四分之一。
进一步的,在S403之后,本申请实施例提供的方法导出空域运动信息。导出空域运动信息,是指采用待处理图像块相邻的周围图像块的运动信息,确定当前待处理图像块的运动信息。在帧内预测、帧间预测的P帧,B帧,通过导出空域运动信息,采用待处理图像块相邻的周围图像块的运动信息,确定当前待处理图像块的运动信息。
如图5所示,本申请实施例提供的方法还可以包括S407。
S407、导出空域运动信息。
具体的,本申请实施例提供的导出空域运动信息的具体实现,可以包括但不限于下述方案中任一种。
方案a、若使用的相邻空域图像块的权限等级不满足参考条件,标记相邻空域图像
块不存在。即待处理图像块不存在可以导出空域运动信息的相邻空域图像块。
方案b、若相邻图像块的权限等级不满足参考条件,从码流中解析获取待处理图像块的空域预测信息。
方案c、若使用的相邻空域图像块的权限等级不满足参考条件,按照允许导出的相邻图像块的替代空域预测信息,导出待处理图像块的空域预测信息。
其中,允许导出的相邻图像块的替代空域预测信息,可以指解码端用户的权限等级支持,且已经确定出预测像素值的图像块的空域预测信息。
一种可能的实现方式中,替代空域预测信息为默认空域预测信息。
其中,默认空域预测信息可以为预先配置的固定信息,或者可以为动态生成的固定信息,本申请实施例对此不予限定。
另一种可能的实现方式中,默认空域预测信息可以为默认图像块的空域预测信息。
一种可能的实现方式中,替代空域预测信息为编解码顺序中,待处理图像块之前,权限等级满足参考条件的图像块的空域预测信息导出的空域预测信息。
需要说明的是,S407中的导出空域预测信息,本申请实施例提供了导出空域预测信息是时的参考依据,具体的导出过程,可以参考视频压缩编码标准。
示例性的,可以参考视频压缩编码标准AVS3中9.5.7.8.3章节空域运动信息导出方法,导出空域预测信息,该过程可以如下。
示例1、P图像空域运动信息导出方法,运动信息、BgcFlag和BgcIndex导出方法如下:
a)如果当前预测单元的亮度预测块的相邻亮度预测块F、G、C、A、B、D六者(图8所示的相邻块的空间位置关系示意)中,预测参考模式为‘PRED_List0’的预测块的个数大于或等于1,则按F、G、C、A、B、D的顺序依次扫描相邻亮度预测块得到第一个扫描到的预测参考模式为‘PRED_List0’的预测块,将该预测块的空域运动信息存储单元的L0运动矢量和L0参考索引分别作为当前预测单元的L0运动矢量mvE0和L0参考索引refIndexL0。
b)否则,当前预测单元的L0运动矢量mvE0为零矢量,且当前预测单元的L0参考索引refIndexL0的值等于0;
c)interPredRefMode的值等于‘PRED_List0’,refIndexL1的值等于-1,mvE1是零矢量,BgcFlag和BgcIndex的值均置为0。
示例2、B图像空域运动信息导出方法1,运动信息、BgcFlag和BgcIndex导出方法1如下:
a)如果当前预测单元的亮度预测块的相邻亮度预测块F、G、C、A、B、D六者中预测参考模式为‘PRED_List01’的预测块的个数大于或等于1,则按F、G、C、A、B、D的顺序依次扫描相邻亮度预测块得到第一个扫描到的预测参考模式为‘PRED_List01’的预测块,将该预测块的空域运动信息存储单元的L0运动矢量和L1运动矢量分别作为当前预测单元的L0运动矢量mvE0和L1运动矢量mvE1,并将该空域运动信息存储单元的L0参考索引和L1参考索引分别作为当前预测单元的L0参考索引refIndexL0和L1参考索引refIndexL1,同时将该空域运动信息存储单元的BgcFlag和BgcIndex记为BgcFlagX和BgcIndexX,当前预测单元的BgcFlag和BgcIndex的值分别为(BgcFlagX&&!InterPcFlag)和(BgcIndexX&&!InterPcFlag);
b)否则,如果当前预测单元的亮度预测块的相邻亮度预测块F、G、C、A、B、D六者中预测参考模式为‘PRED_List0’的预测块的个数大于或等于1,且预测参考模式为‘PRED_List1’的预测块的不数大于或等于1,则按F、G、C、A、B、D的顺序依次扫描相邻亮度预测块得到第一个扫描到的预测参考模式为‘PRED_List0’的预测块和第一个扫描到的预测参考模式为‘PRED_List1’的预测块,将预测参考模式为‘PRED_List0’的预测块的空域运动信息存储单元的L0运动矢量和L0运动索引作为当前预测单元的L0运动矢量mvE0和L0运动索引refIndexL0;将预测参考模式为‘PRED_List1’的预测块的空域运动信息存储单元的L1运动矢量和L1参考索引作为当前预测单元的L1运动矢量mvE1和L1参考索引refIndexL1,并将当前预测单元的BgcFlag和BgcIndex均置为0;
c)否则,当前预测单元的L0运动矢量mvE0和L1运动矢量mvE1均为零矢量,且当前预测单元的L0参考索引refIndexL0和L1参考索引refIndexL1的值均等于0,并将当前预测单元的BgcFlag和BgcIndex均置为0;
d)interPredRefMode的值等于‘PRED_List01’。
示例3、B图像空域运动信息导出方法2,运动信息、BgcFlag和BgcIndex导出方法2如下:
a)如果当前预测单元的亮度预测块的相邻亮度预测块F、G、C、A、B、D六者中预测参考模式为‘PRED_List1’的预测块的个数大于或等于1,则按F、G、C、A、B、D的顺序依次扫描相邻亮度预测块得到第一个扫描到的预测参考模式为
‘PRED_List1’的预测块,将该预测块的空域运动信息存储单元的L1运动矢量和L1参考索引作为当前预测单元的L1运动矢量mvE1和L1参考索引refIndexL1;
b)否则,如果当前预测单元的亮度预测块的相邻亮度预测块F、G、C、A、B、D六者中预测参考模式为‘PRED_List01’的预测块的个数大于或等于1,则按D、B、A、C、G、F的顺序依次扫描相邻亮度预测块得到第一个扫描到的预测参考模式为‘PRED_List01’的预测块,将该预测块的空域运动信息存储单元的L1运动矢量和L1参考索引作为当前预测单元的L1运动矢量mvE1和L1参考索引refIndexL1;
c)否则,当前预测单元的L1运动矢量mvE1为零矢量,且当前预测单元的L1参考索引refIndexL1的值等于0;
d)interPredRefMode的值等于‘PRED_List1’,refIndexL0的值等于-1,mvE0是零矢量,BgcFlag和BgcIndex的值均置为0。
示例4、B图像空域运动信息导出方法3,运动信息、BgcFlag和BgcIndex导出方法如下:
a)如果当前预测单元的亮度预测块的相邻亮度预测块F、G、C、A、B、D六者中预测参考模式为‘PRED_List0’的预测块的个数大于或等于1,则按F、G、C、A、B、D的顺序依次扫描相邻亮度预测块得到第一个扫描到的预测参考模式为‘PRED_List0’的预测块,将该预测块的空域运动信息存储单元的L0运动矢量和L0参考索引作为当前预测单元的L0运动矢量mvE0和L0参考索引refIndexL0;
b)否则,如果当前预测单元的亮度预测块的相邻亮度预测块F、G、C、A、B、D六者中预测参考模式为‘PRED_List01’的预测块的个数大于或等于1,则按D、B、A、C、G、F的顺序依次扫描相邻亮度预测块得到第一个扫描到的预测参考模式为‘PRED_List01’的预测块,将该预测块的空域运动信息存储单元的L0运动矢量和L0参考索引作为当前预测单元的L0运动矢量mvE0和L0参考索引refIndexL0;
c)否则,当前预测单元的L0运动矢量mvE0为零矢量,且当前预测单元的L0参考索引refIndexL0的值等于0;
d)interPredRefMode的值等于‘PRED_List0’,refIndexL1的值等于-1,mvE1是零矢量,BgcFlag和BgcIndex的值均置为0。
下面通过具体的示例,对本申请提供的方案进行举例描述。
示例一:
帧内预测时,音视频编码标准第二版(audio video coding standard 2,AVS2)中共有33种帧内预测模式,包括30个角度模式和3个特殊模式,采用2最可能模式(MPM)编码,其余的模式采用5位定长编码。为支持更精细的角度预测,音视频编码标准第三版(audio video coding standard 3,AVS3)中将角度预测模式扩展为62个。如图6所示的帧内预测模式示意图,其中实线为原有的角度预测模式,虚线为新增的角度模式。原有角度模式编号不变,新增的角度模式编号为34到65。当某个预测方向上对应的参考像素的权限等级较高,当其他低权限等级区域参考该方向进行预测时,则禁止参考或使用允许导出的替代值作为参考进行预测。
示例二:
利用空域信息导出MPM列表,可以根据MPM列表导出当前块预测模式,MPM列表中储存左/上相邻块的预测模式,图7示意了左/上相邻块与当前图像块的位置关系。若左/上相邻块不存在或相等,则会使用某一个或两个固定模式填充列表。若当前图像块相邻块权限等级高于或不等于当前图像块权限等级时,构建空域信息导出时,则禁止根据左/上相邻块的预测模式导出当前图像块的预测模块,或者,根据左/上相邻块的替代图像块的预测模块,导出当前图像块的预测模块。
示例三:
在帧内参考像素滤波(intra reference pixel filtering,IRPF)场景中,AVS3第二阶段中帧内参考像素滤波的设计思路为:根据当前像素所在块的面积大小,确定一组(包含2个)候选滤波器。当面积小于等于Thd_Area=64个亮度像素时,选择第一组候选滤波器;否则,选择第二组候选滤波器。进一步的,根据当前像素所在当前块中的位置P(P 0),如果P小于第N行或者N列(计数从第0行,第0列起),则在确定的候选滤波器组中选择第一个候选滤波器;否则,选择第二个。
其中,第一组滤波器为{f3,f2},第二组滤波器{f2,f1},亮度分量N=1(即第一行第一列像素选择组内第一个滤波器,其余像素选择第二个滤波器),色度分量N=2(即第一、二行和底一、二列像素选择组内第一个滤波器,其余像素选择第二个滤波器)。上述f1、f2、f3、f4分别为四组不同滤波器。
当帧内参考像素中出现部分像素权限等级高于或不等于当前图像块预测块权限等级时,则禁止参考或使用允许导出的替代值作为参考进行预测。
示例四:
在帧内预测滤波(intra prediction filter,IPF)场景中,通过预测滤波的方式可以有效增强空间关联性,从而提升帧内预测精度。IPF使用了URB中的参考像素对帧内预测
块进行滤波。IPF中的滤波器包括三种类型,分别为水平2-tap滤波器(1)、竖直的2-tap滤波器(2)和同时对水平和垂直方向滤波的3-tap滤波器(3)。当滤波时不同滤波器对应的参考像素权限等级高于或不等于当前图像块权限时,则禁止参考或参考允许导出的替代值。
示例五:
两步跨分量预测模式(two step cross-component prediction code,TSCPM)和基于多分量的跨分量预测模式(extended prediction from multiple cross-components,EPMC)中应用本申请的方案。
TSCPM是一种分量间预测技术,通过探索不同分量之间的线性关系去除分量间冗余。TSCPM分为两个步骤执行:首先使用Co-located luma块通过参数α和β生成尺寸相同的临时预测块,第二步再进行下采样,得到色度分量的预测值。
首先根据相邻块像素的可用性分为了3种情况来得到4个可用的像素点对,通过4个可用的像素点对来计算α和β,当得到α和β后,根据亮度和色度之间的线性关系,通过亮度重构像素得到色度预测值。因此,在获取可用像素点时,需要考虑该像素的权限等级。当该像素的权限等级高于或等于当前块的权限等级时,可用将该像素标记为不可用,或使用其他像素代替,当标记为不可用后,像素的取值如下。
在选取4对可用像素点时,需要考虑上侧像素和左侧像素的可用性,分为一下3种情况。
情况A、如果当前块的正上侧和正左侧像素均“可用”,则2个像素点对从上侧选择,2个像素点对从左侧选择。
情况B、如果当前块只有上侧可用,则4个像素点对均从正上侧选择,选择的位置宽度为:0/4,1/4,2/4,3/4。
情况C、如果当前块只有左侧像素可用,则4个像素点对均从正左侧选择,选择的位置为高度的:0/4,1/4,2/4,3/4。
对于上述情况A,增强TSCPM提出了两种增强模式,分别为TSCPM_T和TSCPM_L:
一种模式:4个像素点对只来自正上侧(TSCPM_T)。
另一种模式:4个像素点对只来自正左侧(TSCPM_L)。
示例六:
基于历史信息的运动矢量预测(history based motion vector prediction,HMVP)技术,从先前编码块拷贝8个运动信息候选到先进先出队列(first input first output,FIFO)中,FIFO以先进先出的方式保持不断更新。如果FIFO中的运动候选与刚刚编码完成的运动信息相同,这个重复的候选首先会被移除,在FIFO的尾部会加入当前编码单元的运动信息。如果当前编码单元的运动信息与FIFO中任意候选的运动信息均不相同,就会去掉FIFO中第一个候选,再将最新的运动信息加到FIFO末尾,保证FIFO中永远保留8个最新的运动候选。若当前编码单元(待处理图像块)权限等级不为最低权限等级时,该候选列表的可用选择不更新该列表,或者为每个权限等级构造一个不同的候选列表。
示例七:
角度加权预测(angular weighted prediction,AWP)的候选运动矢量列表通过周边块(空域相邻块)的运动矢量来构建。先设置当前块周边位置(整像素位置以及亚像素位置)的参考权重值,而后利用角度预测的方法得到每个像素位置对应的权重值,再通过得到的权重实现两个不同的帧间预测值的加权。
参考权重配置是根据参考权重索引值得到的参考权重值的分布函数,以参考权重有效长度的8等分点位置为基准点进行非严格单调递增函数赋值,其中参考权重有效长度由预测角度以及当前块尺寸计算得到。将角度分为4个分区,根据角度所在区域不同,逐像素权重导出的公式稍有差异。记当前块的块尺寸为M×N,其中M为宽,N为高,X为log2(权重预测角度斜率绝对值),Y为权重预测位置。
1)以对于位于角度分区0的角度0以及角度1为例,其导出过程为:
计算参考权重有效长度ValidLenth,ValidLenth=(N+(M>>X))<<1。
设置参考权重值ReferenceWeights[x],其中x的取值范围是0~ValidLength-1。
FirstPos=(ValidLength>>1)-6+Y*((ValidLength-1)>>3)
ReferenceWeights[x]=Clip3(0,8,x-FirstPos)
逐像素导出权重SampleWeight[x][y]。
SampleWeight[x][y]=ReferenceWeights[(y<<1)+((x<<1)>>X)]
2)色度权重导出为:
色度权重导出直接取对应2×2亮度权重的左上角位置,记当前块的块尺寸为M×N,
其中M为宽,N为高,则x的取值范围是0~(M/2-1);y的取值范围是0~(N/2-1)。
SampleWeightChroma[x][y]=SampleWeight[x>>1][y>>1]。
角度加权模式的运动矢量存储方案与角度分区有关,记当前块的块尺寸为M×N,其中M为宽,N为高,X为log2(权重预测角度斜率绝对值),Y为权重预测位置以
对于位于角度分区0的角度0以及角度1为例,其运动矢量存储方案为:
计算参考权重有效长度ValidLenth,ValidLenth=(N+(M>>X))<<1
针对当前块每个4×4块,记其中心位置为(x,y)。
FirstPos=(ValidLength>>1)-6+Y*((ValidLength-1)>>3)。
若(y<<1)+((x<<1)>>X)大于等于FirstPos,存储第一运动信息;否则,存储第二运动信息。
角度加权预测需要有两个单向运动矢量进行加权预测,单向运动矢量根据码流中的index在单向候选运动矢量列表中选择,候选运动矢量列表通过周边块的运动矢量来构建,所用的周边块如图8所示,每个块都事先给定一个顺序号。具体构建候选运动矢量列表的过程如下。
根据T、F、G、C、A、B、D的顺序依次加入列表并查重(Worst case:18次单向查重);当相邻块权限等级高于或不等于当前图像块权限等级时,构建当前块候选运动矢量时,相邻块信息标记为不可用,或使用默认值信息代替该相邻块信息来构建列表。然后构建列表时,按照如下方案构建。
对于T时域块L0的运动信息可用,则采用L0的运动信息进行缩放获取运动信息;若时域块L0的运动信息不可用,则采用时域块L1的运动信息进行缩放获取运动信息。
对于空域块,若当前块运动信息为单向,直接取出单向运动信息并查重;若当前块运动信息为双向,根据编号奇偶性裁剪为单向运动信息并查重。若列表不满,根据单双向列表中的第一个运动信息进行最多4次Scale方案。
需要说明的是,上述示例仅是举例对本申请提供的方案进行说明,并不构成对本申请方案的应用场景的限定。
图9为本申请实施例提供的一种图像编解码装置90的结构示意图。该图像编解码装置90包括:确定模块901和处理模块902。
其中,确定模块901用于确定待处理图像块的预测模式以及待处理图像块的权限等级。示例性的,确定模块901可用于支持图像编解码装置90执行图4或图5中S401的过程。
作为一种可能的实现方式,确定模块901还可以用于根据待处理图像块的预测模式,确定待处理图像块的第一参考图像块。示例性的,确定模块901可用于支持图像编解码装置90执行图4或图5中S402的过程。
作为一种可能的实现方式,确定模块901还可以用于若第一参考图像块的权限等级不满足参考条件,确定待处理图像块的目标参考方式。其中,目标参考方式包括:禁止使用第一参考图像块确定待处理图像块的预测块,或,使用允许导出的第二参考图像块确定待处理图像块的预测块。示例性的,确定模块901可用于支持图像编解码装置90执行图5中S405的过程。
处理模块902用于判断若第一参考图像块的权限等级不满足参考条件,禁止使用第一参考图像块确定待处理图像块的预测块或使用允许导出的第二参考图像块确定待处理图像块的预测块。示例性的,处理模块902可用于支持图像编解码装置90执行图4或图5中S403的过程。
作为一种可能的实现方式,处理模块902还可以用于若第一参考图像块的权限等级满足参考条件,使用第一参考图像块,确定待处理图像块的预测块。示例性的,处理模块902可用于支持图像编解码装置90执行图5中S404的过程。
进一步的,处理模块902还可以用于更新历史参考列表。示例性的,处理模块902可用于支持图像编解码装置90执行图5中S406的过程。
作为一种可能的实现方式,处理模块902还用于:若待处理图像块为最低权限等级,根据待处理图像块的预测参考信息,更新历史参考列表;若待处理图像块为非最低权限等级,禁止根据待处理图像块的预测参考信息更新历史参考列表;历史参考列表用于指示已处理图像块的预测参考信息的运动信息;图像块的预测参考信息用于指示待处理图像块的预测过程;非最低权限等级为一个或多个。
作为另一种可能的实现方式,处理模块902还用于:若待处理图像块为最低权限等级,根据待处理图像块的预测参考信息,更新历史参考列表;若待处理图像块的权限等级为非最低权限等级,根据允许导出的替代预测参考信息,更新历史参考列表。
作为另一种可能的实现方式,处理模块902还用于:若待处理图像块为最低权限等级,根据待处理图像块的预测参考信息,更新历史参考列表;若待处理图像块的权限等级为非最低权限等级,根据待处理图像块的预测参考信息,更新待处理图像块的权限等级对应的临时历史参考列表。
作为另一种可能的实现方式,处理模块902还用于:若待处理图像块为最低权限等级,且历史参考列表未被非最低权限等级图像块的预测参考信息更新,根据待处理图像块的预测参考信息,更新历史参考列表;若待处理图像块的权限等级为最低权限等级,且历史参考列表被非最低权限等级图像块的预测参考信息更新,根据待处理图像块的预测参考信息,重新构建历史参考列表;若待处理图像块为非最低权限等级,根据待处理
图像块的预测参考信息,更新历史参考列表。
作为另一种可能的实现方式,处理模块902还用于:根据待处理图像块的预测参考信息,更新待处理图像块的所属的权限等级区域的历史参考列表;不同权限等级区域构建了不同的历史参考列表。
作为另一种可能的实现方式,处理模块902还用于:若待处理图像块的权限等级高于前一个区域的权限等级,则根据待处理图像块的预测参考信息,更新历史参考列表;若待处理图像块的权限等级低于前一个区域的权限等级,根据替代预测参考信息,初始化历史参考列表。
进一步的,处理模块902还可以用于导出空域运动信息。示例性的,处理模块902可用于支持图像编解码装置90执行图5中S407的过程。
作为一种可能的实现方式,处理模块902还用于:若使用的相邻空域图像块的权限等级不满足参考条件,标记相邻空域图像块不存在。
作为一种可能的实现方式,处理模块902还用于:若相邻图像块的权限等级不满足参考条件,从码流中解析获取待处理图像块的空域预测信息。
作为一种可能的实现方式,处理模块902还用于:若使用的相邻空域图像块的权限等级不满足参考条件,按照允许导出的相邻图像块的替代空域预测信息,导出待处理图像块的空域预测信息。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时,全部或部分地产生按照本申请实施例中的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))方式或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如,软盘、磁盘、磁带)、光介质(例如,数字视频光盘(digital video disc,DVD))、或者半导体介质(例如固态硬盘(solid state drives,SSD))等。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (16)
- 一种图像编解码方法,其特征在于,所述方法包括:确定待处理图像块的预测模式以及所述待处理图像块的权限等级;根据所述预测模式,确定所述待处理图像块的第一参考图像块;若所述第一参考图像块的权限等级不满足参考条件,禁止使用所述第一参考图像块确定所述待处理图像块的预测块或使用允许导出的第二参考图像块确定所述待处理图像块的预测块;其中,所述参考条件包括权限等级低于或等于所述待处理图像块的权限等级,或者,权限等级与所述待处理图像块的权限等级不同,或者,权限等级等于最低权限等级,或者,上、下、左、右距离s个像素内不存在高于所述待处理图像块的权限等级的像素块,所述s大于或等于1。
- 根据权利要求1所述的方法,其特征在于,所述第二参考图像块由所述第一参考图像块的邻近图像块中,权限等级满足所述参考条件的图像块确定的图像块;或者,所述第二参考图像块是采用解码端的最低用户权限等级解码所述第一参考图像块得到的预测像素值;或者,所述第二参考图像块为默认像素值的图像块。
- 根据权利要求1所述的方法,其特征在于,所述方法还包括:若所述待处理图像块为最低权限等级,根据所述待处理图像块的预测参考信息,更新历史参考列表;若所述待处理图像块为非最低权限等级,禁止根据所述待处理图像块的预测参考信息更新历史参考列表;所述历史参考列表用于指示已处理图像块的预测参考信息的运动信息;图像块的预测参考信息用于指示所述待处理图像块的预测过程;所述非最低权限等级为一个或多个;或者,若所述待处理图像块为最低权限等级,根据所述待处理图像块的预测参考信息,更新历史参考列表;若所述待处理图像块的权限等级为非最低权限等级,根据允许导出的替代预测参考信息,更新所述历史参考列表;或者,若所述待处理图像块为最低权限等级,根据所述待处理图像块的预测参考信息,更新历史参考列表;若所述待处理图像块的权限等级为非最低权限等级,根据所述待处理图像块的预测参考信息,更新所述待处理图像块的权限等级对应的临时历史参考列表;或者,根据所述待处理图像块的预测参考信息,更新所述待处理图像块的所属的权限等级区域的历史参考列表;不同权限等级区域构建了不同的历史参考列表;或者,若所述待处理图像块的权限等级高于前一个区域的权限等级,则根据待处理图像块的预测参考信息,更新所述历史参考列表;若所述待处理图像块的权限等级低于前一个区域的权限等级,根据替代预测参考信息,初始化所述历史参考列表。
- 根据权利要求3所述的方法,其特征在于,所述替代预测参考信息为默认预测参考信息;或者,所述替代预测参考信息为默认图像块的预测参考信息;或者,所述替代预测参考信息为编解码顺序中,所述待处理图像块之前,权限等级满足所述参考条件的图像块的预测参考信息;或者,所述替代预测参考信息为编解码顺序中,所述待处理图像块之前,权限等级满足所述参考条件的图像块的预测参考信息导出的预测参考信息。
- 根据权利要求3所述的方法,其特征在于,所述预测参考信息包括下述信息中任一项:位置信息、模式信息或者频数;所述历史参考列表包括下述列表中任一项:历史运动信息表、历史帧内复制信息表,或者,历史点预测信息表。
- 根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:若使用的相邻空域图像块的权限等级不满足所述参考条件,标记所述相邻空域图像块不存在;或者,若相邻图像块的权限等级不满足所述参考条件,从码流中解析获取所述待处理图像块的空域预测信息;或者,若使用的相邻空域图像块的权限等级不满足所述参考条件,按照允许导出的所述相邻图像块的替代空域预测信息,导出所述待处理图像块的空域预测信息。
- 根据权利要求6所述的方法,其特征在于,所述替代空域预测信息为默认空域预测信息;或者,所述替代空域预测信息为编解码顺序中,所述待处理图像块之前,权限等级满足所述参考条件的图像块的空域预测信息导出的空域预测信息。
- 根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:获取所述图像帧的权限等级配置信息,所述权限等级配置信息用于指示所述图像帧中区域位置与权限等级的对应关系;所述位置区域的图像块具有一个或多个等级的权限;将所述图像帧中图像块所在位置在所述权限等级配置信息中对应的权限等级,作为图像块的权限等级。
- 根据权利要求1-5任一项所述的方法,其特征在于,当帧内预测滤波或帧间预测滤波或帧内参考像素滤波开启时,所述第一参考图像块为滤波时使用的参考图像块;当跨分量预测技术开启时,当所述待处理图像块为第一通道中的图像块,所述第一通道参考第二通道和/或第三通道中的图像块生成所述第一通道中图像块的预测块,所述第一参考图像块为所述第二通道和/或所述第三通道中的图像块。
- 根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:若所述第一参考图像块的权限等级满足所述参考条件,使用所述第一参考图像块,确定所述待处理图像块的预测块。
- 根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:若所述第一参考图像块的权限等级不满足参考条件,确定所述待处理图像块的目标参考方式;其中,所述目标参考方式包括:禁止使用所述第一参考图像块确定所述待处理图像块的预测块或使用允许导出的第二参考图像块确定所述待处理图像块的预测块;解码端根据码流中的指示信息确定所述目标参考方式,编码端决策确定所述目标参考方式。
- 一种图像编解码装置,其特征在于,所述装置包括确定模块和处理模块;其中:所述确定模块,用于确定待处理图像块的预测模式以及所述待处理图像块的权限等级;所述确定模块还用于:根据所述预测模式,确定所述待处理图像块的第一参考图像块;所述处理模块用于:若所述第一参考图像块的权限等级不满足参考条件,禁止使用所述第一参考图像块确定所述待处理图像块的预测块或使用允许导出的第二参考图像块确定所述待处理图像块的预测块;其中,所述参考条件包括权限等级低于或等于所述待处理图像块的权限等级,或者,权限等级与所述待处理图像块的权限等级不同,或者,权限等级等于最低权限等级,或者,上、下、左、右距离s个像素内不存在高于所述待处理图像块的权限等级的像素块,所述s大于或等于1。
- 根据权利要求12所述的装置,其特征在于,所述第二参考图像块由所述第一参考图像块的邻近图像块中,权限等级满足所述参考条件的图像块确定的图像块;或者,所述第二参考图像块是采用解码端的最低用户权限等级解码所述第一参考图像块得到的预测像素值;或者,所述第二参考图像块为默认像素值的图像块;所述处理模块还用于:若所述待处理图像块为最低权限等级,根据所述待处理图像块的预测参考信息,更新历史参考列表;若所述待处理图像块为非最低权限等级,禁止根据所述待处理图像块的预测参考信息更新历史参考列表;所述历史参考列表用于指示已处理图像块的预测参考信息的运动信息;图像块的预测参考信息用于指示所述待处理图像块的预测过程;所述非最低权限等级为一个或多个;或者,所述处理模块还用于:若所述待处理图像块为最低权限等级,根据所述待处理图像块的预测参考信息,更新历史参考列表;若所述待处理图像块的权限等级为非最低权限等级,根据允许导出的替代预测参考信息,更新所述历史参考列表;或者,所述处理模块还用于:若所述待处理图像块为最低权限等级,根据所述待处理图像块的预测参考信息,更新历史参考列表;若所述待处理图像块的权限等级为非最低权限等级,根据所述待处理图像块的预测参考信息,更新所述待处理图像块的权限等级对应的临时历史参考列表;或者,或者,所述处理模块还用于:根据所述待处理图像块的预测参考信息,更新所述待处理图像块的所属的权限等级区域的历史参考列表;不同权限等级区域构建了不同的历史参考列表;或者,所述处理模块还用于:若所述待处理图像块的权限等级高于前一个区域的权限等级,则根据待处理图像块的预测参考信息,更新所述历史参考列表;若所述待处理图像块的权限等级低于前一个区域的权限等级,根据替代预测参考信息,初始化所述历史参考列表;所述替代预测参考信息为默认预测参考信息;或者,所述替代预测参考信息为默认 图像块的预测参考信息;或者,所述替代预测参考信息为编解码顺序中,所述待处理图像块之前,权限等级满足所述参考条件的图像块的预测参考信息;或者,所述替代预测参考信息为编解码顺序中,所述待处理图像块之前,权限等级满足所述参考条件的图像块的预测参考信息导出的预测参考信息;所述预测参考信息包括下述信息中任一项:位置信息、模式信息或者频数;所述历史参考列表包括下述列表中任一项:历史运动信息表、历史帧内复制信息表,或者,历史点预测信息表;所述处理模块还用于:若使用的相邻空域图像块的权限等级不满足所述参考条件,标记所述相邻空域图像块不存在;或者,所述处理模块还用于:若相邻图像块的权限等级不满足所述参考条件,从码流中解析获取所述待处理图像块的空域预测信息;或者,所述处理模块还用于:若使用的相邻空域图像块的权限等级不满足所述参考条件,按照允许导出的所述相邻图像块的替代空域预测信息,导出所述待处理图像块的空域预测信息;所述替代空域预测信息为默认空域预测信息;或者,所述替代空域预测信息为编解码顺序中,所述待处理图像块之前,权限等级满足所述参考条件的图像块的空域预测信息导出的空域预测信息;所述确定模块还用于:获取所述图像帧的权限等级配置信息,所述权限等级配置信息用于指示所述图像帧中区域位置与权限等级的对应关系;所述位置区域的图像块具有一个或多个等级的权限;将所述图像帧中图像块所在位置在所述权限等级配置信息中对应的权限等级,作为图像块的权限等级;当帧内预测滤波或帧间预测滤波或帧内参考像素滤波开启时,所述第一参考图像块为滤波时使用的参考图像块;当跨分量预测技术开启时,当所述待处理图像块为第一通道中的图像块,所述第一通道参考第二通道和/或第三通道中的图像块生成所述第一通道中图像块的预测块,所述第一参考图像块为所述第二通道和/或所述第三通道中的图像块;所述处理模块还用于:若所述第一参考图像块的权限等级满足所述参考条件,使用所述第一参考图像块,确定所述待处理图像块的预测块;所述处理模块还用于:若所述第一参考图像块的权限等级不满足参考条件,确定所述待处理图像块的目标参考方式;其中,所述目标参考方式包括:禁止使用所述第一参考图像块确定所述待处理图像块的预测块或使用允许导出的第二参考图像块确定所述待处理图像块的预测块;解码端根据码流中的指示信息确定所述目标参考方式,编码端决策确定所述目标参考方式。
- 一种编码器,其特征在于,包括处理器,所述处理器与存储器耦合;存储器,用于存储计算机程序或指令;处理器,用于执行所述存储器中存储的计算机程序或指令,以使得所述编码器执行权利要求1至11任一项所述的方法。
- 一种解码器,其特征在于,包括处理器,所述处理器与存储器耦合;存储器,用于存储计算机程序或指令;处理器,用于执行所述存储器中存储的计算机程序或指令,以使得所述解码器执行权利要求1至11任一项所述的方法。
- 一种计算机可读存储介质,其特征在于,包括程序代码,当其由计算机设备执行时,如权利要求1至11中任意一项所述的方法被执行。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211422461.9 | 2022-11-14 | ||
CN202211422461.9A CN118042158A (zh) | 2022-11-14 | 2022-11-14 | 一种图像编解码方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024104503A1 true WO2024104503A1 (zh) | 2024-05-23 |
Family
ID=90984605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2024/072091 WO2024104503A1 (zh) | 2022-11-14 | 2024-01-12 | 图像编解码 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN118042158A (zh) |
WO (1) | WO2024104503A1 (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101389005A (zh) * | 2007-09-11 | 2009-03-18 | 华为技术有限公司 | 一种对图像特定位置进行遮挡的方法及装置 |
US20150023407A1 (en) * | 2012-06-25 | 2015-01-22 | Sony Corporation | Image decoding device, image decoding method, image encoding device, and image encoding method |
US20150245059A1 (en) * | 2014-02-21 | 2015-08-27 | Panasonic Corporation | Image decoding method, image encoding method, image decoding apparatus, and image encoding apparatus |
JP2016005235A (ja) * | 2014-06-19 | 2016-01-12 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
CN110036640A (zh) * | 2016-12-14 | 2019-07-19 | 深圳市大疆创新科技有限公司 | 用于支持视频比特流切换的系统和方法 |
CN111416981A (zh) * | 2019-01-07 | 2020-07-14 | 华为技术有限公司 | 视频图像解码、编码方法及装置 |
US20210195238A1 (en) * | 2018-06-18 | 2021-06-24 | Industry Academy Cooperation Foundation Of Sejong University | Method and apparatus for encoding/decoding image |
US20210392339A1 (en) * | 2020-06-10 | 2021-12-16 | Kt Corporation | Method and apparatus for encoding/decoding a video signal, and a recording medium storing a bitstream |
WO2022078339A1 (zh) * | 2020-10-18 | 2022-04-21 | 腾讯科技(深圳)有限公司 | 参考像素候选列表构建方法、装置、设备及存储介质 |
-
2022
- 2022-11-14 CN CN202211422461.9A patent/CN118042158A/zh active Pending
-
2024
- 2024-01-12 WO PCT/CN2024/072091 patent/WO2024104503A1/zh unknown
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101389005A (zh) * | 2007-09-11 | 2009-03-18 | 华为技术有限公司 | 一种对图像特定位置进行遮挡的方法及装置 |
US20150023407A1 (en) * | 2012-06-25 | 2015-01-22 | Sony Corporation | Image decoding device, image decoding method, image encoding device, and image encoding method |
US20150245059A1 (en) * | 2014-02-21 | 2015-08-27 | Panasonic Corporation | Image decoding method, image encoding method, image decoding apparatus, and image encoding apparatus |
JP2016005235A (ja) * | 2014-06-19 | 2016-01-12 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
CN110036640A (zh) * | 2016-12-14 | 2019-07-19 | 深圳市大疆创新科技有限公司 | 用于支持视频比特流切换的系统和方法 |
US20210195238A1 (en) * | 2018-06-18 | 2021-06-24 | Industry Academy Cooperation Foundation Of Sejong University | Method and apparatus for encoding/decoding image |
CN111416981A (zh) * | 2019-01-07 | 2020-07-14 | 华为技术有限公司 | 视频图像解码、编码方法及装置 |
US20210392339A1 (en) * | 2020-06-10 | 2021-12-16 | Kt Corporation | Method and apparatus for encoding/decoding a video signal, and a recording medium storing a bitstream |
WO2022078339A1 (zh) * | 2020-10-18 | 2022-04-21 | 腾讯科技(深圳)有限公司 | 参考像素候选列表构建方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN118042158A (zh) | 2024-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7071603B1 (ja) | ビデオコーディングのためにブロックの複数のクラスのためのフィルタをマージすること | |
TWI819100B (zh) | 用於仿射模式之以歷史為基礎之運動向量預測 | |
CN111955007B (zh) | 视频解码的方法和装置 | |
CN111988619B (zh) | 视频编解码方法、装置、计算机设备和存储介质 | |
CN111031316B (zh) | 视频解码的方法和装置、计算机设备及存储介质 | |
TW201818720A (zh) | 使用解耦樹結構之視訊內寫碼 | |
CN113615185B (zh) | 用于视频编解码的方法和装置 | |
CN113615187A (zh) | 用于改进的隐式变换选择的方法和装置 | |
JP2016501483A (ja) | ビデオコーディングにおけるhevc拡張用の多重レイヤの低複雑度サポート | |
CN113557527A (zh) | 通用视频编解码中色彩变换的方法和装置 | |
TW202135530A (zh) | 用於編碼和解碼視訊樣本區塊的方法、設備及系統 | |
TW202112135A (zh) | 用於視訊寫碼之色度內預測單元 | |
CN115550644A (zh) | 视频编码的方法和装置、计算机设备和存储介质 | |
CN115428445A (zh) | 用于视频编码的方法和装置 | |
CN115088260A (zh) | 视频编解码方法和装置 | |
KR20220122809A (ko) | 비디오 코딩을 위한 위치 종속 공간 가변 변환 | |
WO2022022299A1 (zh) | 视频编解码中的运动信息列表构建方法、装置及设备 | |
WO2024104503A1 (zh) | 图像编解码 | |
CN116325723A (zh) | 交叉分量块结束标志编码 | |
CN116076074A (zh) | 用于视频编码中的时域滤波的方法和设备 | |
CN115104308A (zh) | 视频编解码的方法和装置 | |
WO2019219066A1 (zh) | 一种编解码方法及装置 | |
CN112399186A (zh) | 视频解码方法、装置及存储介质 | |
TW202029747A (zh) | 對於視訊寫碼中最壞情況頻寬縮減之限制 | |
CN116868567B (zh) | 视频解码方法、装置、计算机设备及存储介质 |