TWI670972B - 視頻編解碼的方法以及裝置 - Google Patents

視頻編解碼的方法以及裝置 Download PDF

Info

Publication number
TWI670972B
TWI670972B TW107108634A TW107108634A TWI670972B TW I670972 B TWI670972 B TW I670972B TW 107108634 A TW107108634 A TW 107108634A TW 107108634 A TW107108634 A TW 107108634A TW I670972 B TWI670972 B TW I670972B
Authority
TW
Taiwan
Prior art keywords
image
coding units
coding unit
candidate coding
size
Prior art date
Application number
TW107108634A
Other languages
English (en)
Other versions
TW201840193A (zh
Inventor
莊子德
陳慶曄
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201840193A publication Critical patent/TW201840193A/zh
Application granted granted Critical
Publication of TWI670972B publication Critical patent/TWI670972B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明一方面包括一處理電路的視頻解碼裝置。該處理電路用於接收與包括一編碼圖像的一圖像幀有關的編碼的視頻資料,該圖像幀是對應於該圖像幀的一第一色彩空間分量的至少一第一圖像以及對應於該圖像幀的一第二色彩空間分量的一第二圖像的一組合,以及決定用於將該第一圖像分割成一第一複數個編碼單元的一第一編碼樹結構。此外,該處理電路用於基於該第一複數個候選編碼單元,決定用於將該第二圖像分割成一第二複數個編碼單元的一第二編碼樹結構,以及根據該第二複數個編碼單元重構該第二圖像用於輸出。

Description

視頻編解碼的方法以及裝置 【交叉引用】
本發明要求提交於2017年3月15日的美國臨時申請案,號碼為62/471,388,標題為“Methods of Coding Unit Coding”的優先權,其整體通過引用納入其中。
本發明涉及視訊編解碼技術,特別地,本發明涉及塊分割約束。
此處所提供的背景描述用於總體上呈現本發明的背景的目的。在本背景部分中所描述的範圍內的當前署名的發明者的工作,以及在提交時可能不符合現有技術的說明書的各方面,這些內容既不明示地承認為本發明的現有技術也不暗示地承認為本發明的現有技術。
許多視訊編解碼標準將一輸入視訊的一圖像幀拆分成一或複數個編碼樹單元(coding tree units,CTUs),以及每一CTU對一原始圖像進行編碼,該原始圖像可以被處理作為三個圖像的組合,該三個圖像可以分別對應於一預定色彩空間的不同色彩空間分量。在一些應用中,預定色彩空間可以包括具有紅色分量(R)、綠色分量(G)以及藍色分量(B)的一RGB色彩空間;具有一亮度分量(Y)、一藍色差異(blue- difference)色度分量(Cb)以及一紅色差異(red-difference)色度分量(Cr)的一YCbCr的色彩空間;具有一亮度分量(Y)、一橙色(orange)色度分量(Co)以及綠色色度分量(Cg)的一YCoCg色彩空間,諸如此類。在一些示例中,不同色彩空間分量的複數個圖像可能具有相對於對應的原始圖像不同的空間解析度。
在一些應用中,根據一編碼樹結構,特定色彩分量的每一圖像可以被編碼為一編碼樹塊(coding tree block,CTB)以及可以被分割成複數個編碼單元(coding units,CUs),其中該編碼樹結構的每一節點對應於圖像的一細分(subdivision),以及該編解碼結構的每一葉節點(leaf node)對應於該圖像複數個編碼單元中相應的一編碼單元。當編碼一編碼單元的一圖像時,該編碼單元的該圖像可以被拆分成將要根據一預定視訊編碼標準被編碼的一預測部分以及一殘差部分(也就是預測誤差)。當解碼該編碼單元的時候,可以根據一相同的預定視訊編碼標準,通過生成及組合該編碼單元的該預測部分以及該殘差部分來獲得該編碼單元的一重構圖像。
有鑑於此,本發明的多個方面提供了包括一處理電路的視訊解碼裝置,該處理電路用於接收與包括一編碼圖像的一圖像幀有關的編碼的視訊資料,該圖像幀是對應於該圖像幀的一第一色彩空間分量的至少一第一圖像與對應於該圖像幀的一第二色彩空間分量的一第二圖像的一組合,以及決定用於將該第一圖像分割成一第一複數個編碼單元的一第一編碼樹結構。該處理電路也用於決定將該第二圖像分割成一第二 複數個編碼單元的一第二編碼樹結構,包括根據該第一複數個編碼單元對應的一或複數個編碼單元,決定將該第二圖像的一特定塊拆分成複數個分支候選編碼單元是否是無效的。此外,該處理電路也用於基於該第二複數個編碼單元重構該第二圖像用於輸出。
在一實施例中,該處理電路進一步用於,對於該特定塊的一組下一層級分支候選編碼單元的每一分支候選編碼單元,從對應於該分支候選編碼單元的該第一複數個編碼單元中識別一基準編碼單元,以及決定關於該編碼圖像的該分支候選編碼單元的一尺寸是否小於關於該編碼圖像的該基準編碼單元的一尺寸。該處理電路進一步用於在關於該編碼圖像的該組下一層級分支候選編碼單元中的一分支編碼單元的尺寸小於關於該編碼圖像的對應的基準編碼單元的尺寸的情況下,決定該組下一層級分支候選編碼單元是無效的。
在一實施例中,基於對應於一特定分支候選編碼單元的該編碼圖像中一第一區域的一面積,決定該第二圖像的該特定分支候選編碼單元的尺寸,以及基於對應於該基準編碼單元的該編碼圖像中一第二區域的一面積,決定該第一圖像的該基準編碼單元的尺寸。在另一實施例中,基於對應於一特定分支候選編碼單元的該編碼圖像中一第一區域的一寬度或一高度,決定該第二圖像的該特定分支候選編碼單元的尺寸,以及基於對應於該基準編碼單元的該編碼圖像中以第二區域的一寬度或一高度,決定該第一圖像的該基準編碼單元的尺寸。
在一實施例中,將該第二圖像的該特定塊拆分成該等分支候選編碼單元是否是無效的可以被決定為與該第一圖像的一配對塊的一 對應的設定相同。
在一實施例中,該處理電路進一步用於,在根據該第二圖像的該特定塊的一尺寸以及該第一複數個編碼單元的對應的一編碼單元的一尺寸,將該第二圖像的該特定塊拆分成該等分支候選編碼單元被決定是無效的情況下,決定不大於來自該特定塊拆分層級的一預定數目的該特定塊的複數個候選細分是有效的。該預定數目是1或者2。
在一實施例中,該處理電路進一步用於識別該第二圖像的該特定塊的複數個相鄰編碼單元,該等相鄰編碼單元鄰近於該特定塊,以及,在該特定塊的一尺寸大於或大於等於所識別的該等相鄰編碼單元的一對應的尺寸的情況下,決定將該第二圖像的該特定塊拆分成該等分支候選編碼單元是有效的。
在一實施例中,該處理電路進一步用於,在根據該第二圖像的該特定塊的一尺寸以及所識別的該等相鄰編碼單元的對應的尺寸,將該第二圖像的該特定塊拆分成該等分支候選編碼單元被決定是無效的情況下,決定不大於來自該特定塊拆分層級的一預定數目的該特定塊的複數個候選細分是有效的。
本發明的一方面進一步提供了一種視訊解碼方法,包括接收與包括一編碼圖像的一圖像幀有關的一編碼的視訊資料,該圖像幀是對應於該圖像幀的一第一色彩空間分量的至少一第一圖像以及對應於該圖像幀的一第二色彩空間分量的一第二圖像的組合,由一處理電路決定用於將該第一圖像分割成一第一複數個編碼單元的一第一編碼樹結構。該方法進一步包括由該處理電路決定用於將該第二圖像分割成一第二 複數個編碼單元的一第二編碼樹結構,包括根據該第一複數個編碼單元的對應的一或複數個編碼單元,決定將該第二圖像的一特定塊拆分成複數個分支候選編碼單元是否是無效的。此外,該方法包括基於該第二複數個編碼單元重構該第二圖像用於輸出。
在一實施例中,決定將該第二圖像的該特定塊拆分成該等分支候選編碼單元是否是無效的可以包括,對於該特定塊的一組下一層級分支候選編碼單元的每一分支候選編碼單元,在對應於該分支候選編碼單元的該第一複數個編碼單元中識別一基準編碼單元,以及決定關於該編碼圖像的該分支候選編碼單元的一尺寸是否小於關於該編碼圖像的該基準編碼單元的一尺寸。該方法也可也包括在關於該編碼圖像的該組下一層級分支候選編碼單元中的一分支候選編碼單元的尺寸小於關於該編碼圖像的對應的基準編碼單元的尺寸的情況下,決定該組下一層級候選編碼單元是無效的。
在一實施例中,基於對應於一特定分支候選編碼單元的該編碼圖像中一第一區域的一面積,決定該第二圖像的該特定分支候選編碼單元的尺寸;以及基於對應於該基準編碼單元的該編碼圖像中一第二區域的一面積,決定該第一圖像的該基準編碼單元的尺寸。在另一實施例中,基於對應於一特定分支候選編碼單元的該編碼圖像中一第一區域的一寬度或一高度,決定該第二圖像的該特定分支候選編碼單元的尺寸;以及基於對應於該基準編碼單元的該編碼圖像中一第二區域的一寬度或一高度,決定該第一圖像的該基準編碼單元的尺寸。
在一實施例中,將該第二圖像的該特定塊拆分成該等分支 候選編碼單元是否是無效的可以被決定為與該第一圖像的一配對塊的一對應的設定相同。
在一實施例中,該方法進一步包括,在根據該第二圖像的該特定塊的一尺寸以及該第一複數個編碼單元中對應的一編碼單元的一尺寸決定將該第二圖像的該特定塊拆分成該等分支候選編碼單元是無效的情況下,決定不大於來自該特定塊拆分層級的一預定數目的該特定塊的複數個候選細分是有效的。該預定數目可以是1或者2。
在一實施例中,該方法進一步包括識別該第二圖像的該特定塊的複數個相鄰編碼單元,該等相鄰編碼單元鄰近於該特定塊,以及,在該特定塊的一尺寸大於或大於等於所識別的該等相鄰編碼單元的一對應尺寸的情況下,決定將該第二圖像的該特定塊拆分成該等分支候選編碼單元是有效的。
在一實施例中,該處理電路進一步包括在根據該第二圖像的該特定塊的一尺寸以及所識別的該等相鄰編碼單元的對應的尺寸決定將該第二圖像的該特定塊拆分成該等分支候選編碼單元是無效的情況下,決定不大於來自該特定塊拆分層級的一預定數目的該特定塊的複數個候選細分是有效的。
本發明的一方面提供了包括一處理電路的一種視訊編碼裝置,該處理電路用於接收包括一原始圖像的一圖像幀,該圖像幀是對應於該圖像幀一第一色彩空間分量的至少一第一圖像以及對應於該圖像幀一第二色彩空間分量的一第二圖像的組合,以及決定用於將該第一圖像分割成一第一複數個編碼單元的一第一編碼樹結構。該處理電路也用於 決定用於分割該第二圖像的複數個候選編碼單元,包括根據該第一複數個編碼單元的對應的一或複數個編碼單元,決定將一特定塊拆分成複數個分支候選編碼單元是否是無效的。此外,該處理電路用於基於該等候選編碼單元決定用於將該第二圖像拆分成一第二複數個編碼單元的一第二編碼樹結構;以及根據該第二複數個編碼單元生成表述該第二圖像的編碼資料用於輸出。
在一實施例中,該處理電路進一步用於,對於該特定塊的一組下一層級分支候選編碼單元的每一分支候選編碼單元,從對應於該分支候選編碼單元的該第一複數個編碼單元中識別一基準編碼單元,以及決定關於該原始圖像的該分支候選編碼單元的一尺寸是否小於關於該原始圖像的該基準編碼單元的一尺寸。該處理電路進一步用於在關於該原始圖像的該組下一層級分支候選編碼單元的一分支候選編碼單元的尺寸小於關於該原始圖像的對應的基準編碼單元的尺寸的情況下,決定該組下一層級分支候選編碼單元是無效的。
基於對應於一特定分支候選編碼單元的該原始圖像中一第一區域的一面積,決定該第二圖像的該特定分支候選編碼單元的尺寸,以及基於對應於該基準編碼單元的該原始圖像中一第二區域的一面積,決定該第一圖像的該基準編碼單元的尺寸。另外,基於對應於一特定分支候選編碼單元的該原始圖像中一第一區域的一寬度或一高度,決定該第二圖像的該特定分支候選編碼單元的尺寸,以及基於對應於該基準編碼單元的該原始圖像中一第二區域的一寬度或一高度,決定該第一圖像的該基準編碼單元的尺寸。
在至少一實施例中,將該第二圖像的該特定塊拆分成該特定候選編碼單元的複數個分支候選編碼單元是否是無效的被決定為與該第一圖像的一配對圖像的一對應的設定相同。
在一實施例中,該處理電路進一步用於基於該第一編碼樹結構決定用於分割該第二圖像的一組初始候選編碼單元,對於該組初始候選編碼單元的一葉候選編碼單元,識別不大於來自該葉候選編碼單元拆分層級的一預定數目的複數個擴展分支候選編碼單元,以及獲得該等候選編碼單元來包括該組初始候選編碼單元以及所識別的該等擴展分支候選編碼單元。該預定數目是1或者2。
在一實施例中,該處理電路進一步用於基於該第一分割樹結構決定用於分割該第二圖像的一組初始候選編碼單元,以及,對於該組初始候選編碼單元的一葉候選編碼單元,識別該第二圖像的複數個相鄰編碼單元,該等相鄰編碼單元鄰近於該葉候選編碼單元,以及,在該葉候選編碼單元的一尺寸大於或大於等於所識別的該等相鄰編碼單元的一對應的尺寸的情況下,識別該葉候選編碼單元的複數個擴展分支候選編碼單元。該處理電路可以獲得該等候選編碼單元來包括該組初始候選編碼單元以及所識別的該等擴展分支候選編碼單元。
在一實施例中,該處理電路進一步用於對於該組初始候選編碼單元的該葉候選編碼單元,在該葉候選編碼單元的尺寸大於或大於等於所識別的該等相鄰編碼單元的對應的尺寸的情況下,識別不大於來自該葉候選編碼單元拆分層級的一預定數目的該葉候選編碼單元的該等擴展分支候選編碼單元。
本發明的一方面進一步提供了一種視訊編碼方法,包括接收包括一原始圖像的一圖像幀,該圖像幀是對應於該圖像幀一第一色彩空間分量的至少一第一圖像以及對應於該圖像幀一第二色彩空間分量的一第二圖像的一組合,以及決定用於將該第一圖像分割成一第一複數個編碼單元的一第一編碼結構。該方法包括由一處理電路決定用於分割該第二圖像的複數個候選編碼單元,包括根據該第一複數個編碼單元的對應的一或複數個編碼單元,決定將一特定塊拆分成複數個分支候選編碼單元是否是無效的。該方法也包括基於該等候選編碼單元,由該處理電路決定用於將該第二圖像拆分成一第二複數個編碼單元的一第二編碼樹結構,以及根據該第二複數個編碼單元,由該處理電路生成表示該第二圖像的編碼資料用於輸出。
在一實施例中,決定將該特定塊拆分成該特定候選編碼單元的該等分支候選編碼單元是否是無效的可以包括,對於該特定塊的一組下一層級分支候選編碼單元的每一分支候選編碼單元,從對應於該分支候選編碼單元的該第一複數個編碼單元中識別一基準編碼單元,以及決定關於該原始圖像的該分支候選編碼單元的一尺寸是否小於關於該原始圖像的該基準編碼單元的一尺寸。該方法可以進一步包括在關於該原始圖像的該組下一層級分支候選編碼單元的一分支候選編碼單元的尺寸小於關於該原始圖像的對應的基準編碼單元的尺寸的情況下,決定該組下一層級分支候選編碼單元是無效的。
本發明通過適應性的使用對亮度編碼單元及色度編碼單元的拆分結構的塊約束,進而減少編碼執行時間來提高編解碼的效率。並藉由不編碼出現機率小的色度編碼單元來增加編碼效率。
110‧‧‧編碼樹單元
120、130、140‧‧‧編碼樹塊
121~143‧‧‧編碼單元
210‧‧‧圖像
222~252‧‧‧細分
N210~N252‧‧‧節點
300‧‧‧視訊編碼系統
302‧‧‧輸入幀
304‧‧‧編碼的視訊資料
310‧‧‧編碼電路
311‧‧‧預測子估計器
312‧‧‧預測子生成器
314‧‧‧殘差編碼器
316‧‧‧編碼控制器
318‧‧‧分割結構估計器
322‧‧‧記憶體
324‧‧‧處理器
330‧‧‧解碼電路
332‧‧‧預測子生成器
334‧‧‧殘差解碼器
336‧‧‧解碼控制器
338‧‧‧分割結構估計器
342‧‧‧記憶體
344‧‧‧處理器
306‧‧‧輸出圖像幀
410‧‧‧部分
411~418‧‧‧編碼單元
421~427‧‧‧候選編碼單元
420、510‧‧‧細分
522~538‧‧‧相鄰編碼單元
S601~S699、S701~S799、S801~S899‧‧‧步骤
作為示例提出的本發明的各種實施例將參考後續的附圖進行詳細描述,其中,相同的標號表示相同的元件,其中:
第1圖示出了根據本發明一示例性實施例的一編碼樹單元(CTU)以及對應的複數個編碼樹塊(CTBs)的圖式。
第2A圖示出了根據本發明一實施例的一CTB的一圖像的一示例性分割;第2B圖示出了根據本發明一實施例的第2A圖中CTB的一示例性編碼樹結構。
第3圖示出了根據本發一實施例的一視訊編解碼系統的一示例性功能塊圖。
第4A-4C圖示出了根據本發明一實施例的基於對應於另外色彩分量的相同原始圖像或編碼圖像的一配對圖像的複數個編碼單元,用於決定對應於一色彩分量的複數個分支候選編碼單元的有效性的示例性約束。
第5A-5B圖示出了根據本發明一實施例基於圖像的複數個相鄰編碼單元,用於決定複數個分支候選編碼單元用於對應於一色彩分量的圖像的示例性約束。
第6A圖示出了根據本發明一實施例的概括了使用如第3圖中用於視訊編碼的處理電路的一處理電路的示例性編碼進程的一流程圖。
第6B圖示出了根據本發明一實施例的概括了用於決定如第6A圖中S630的一分割結構的示例性操作的流程圖。
第7圖示出了根據本發明一實施例的概括了用於決定一組下一層級分支候選編碼單元是否無效的示例性進程的流程圖。
第8A圖示出了根據本發明一實施例的概括使用如第3圖中用於視訊解碼的處理電路的一處理電路的一示例性解碼進程的流程圖。以及第8B圖示出了根據本發明一實施例的概括了用於決定如第8A圖中S830的一部分的一分割結構示例性操作的一流程圖。
與本發明的一些示例一致,當編碼一圖像幀的時候,該圖像幀可能被拆分成複數個CTU,該等CTU可以基於具有複數個色彩空間分量的預定色彩空間進一步被拆分成複數個CTB。例如,當該圖像幀使用YCbCr色彩空間的時候,該圖像幀的一CTB可以對應於YCbCr色彩空間中亮度分量(Y)、藍色差異色度分量(Cb)或者紅色差異色度分量(Cr)之一。一圖像幀可以因此被拆分成對應於複數個CTU的複數個原始圖像,以及CTU的每一原始圖像可以是對應於一亮度色彩空間分量的亮度(Y)圖像、對應於一藍色差異色度色彩空間分量的一藍色差異色度(Cb)圖像以及對應於一紅色差異色度色彩空間分量的一紅色差異色度(Cr)圖像的一組合。
此外,當編碼該圖像幀的時候,每一CTB圖像基於預定的分割結構可以進一步被拆分成一或複數個編碼單元。在一些示例中,基於分析該候選編碼單元以及一或複數個預定編碼標準,一編碼電路可以決定用於編碼一特定CTB的候選編碼單元的複數個可能性組合以及決定用於將一圖像分割成複數個編碼單元的一最終編碼樹結構。在決定 用於對應於一第一色彩空間分量的一圖像的一第一編碼樹結構之後,例如一原始圖像的亮度圖像,可以基於該第一編碼樹結構決定用於對應於一第二色彩空間分量的一配對圖像的一第二編碼樹結構,例如該相同原始圖像的一色度圖像,以限制複數個候選編碼單元的範圍並因此減少計算複雜度或者減少用於決定該第二編碼樹結構的編碼單元結構邊資訊的開銷。
根據本發明的一些示例,當解碼一圖像幀的時候,在決定用於對應於一第一色彩空間分量的圖像,例如原始圖像的亮度圖像,的第一編碼樹結構以後,可以基於該第一編碼樹結構來獲得用於對應於第二色彩空間分量的配對圖像,例如該相同原始圖像的色度圖像,的第二編碼樹結構的估計約束(estimated constraint),以在解碼該編碼的視訊資料中提供的關於該第二編碼樹結構資訊的時候,優化用於解碼這一配對圖像的計算資源的使用或者減少編碼單元結構邊資訊的開銷。
第1圖示出了根據本發明一示例性實施例的一編碼樹單元(CTU)110以及對應的複數個編碼樹塊(CTB)120、130以及140的圖式。CTU110可以包括圖像幀的圖像塊,該圖像幀可以由對應於預定色彩空間的複數個色彩空間分量的複數個圖像所表示。該預定色彩空間可以是RBG、YUV、YCbCr或者YCoCg色彩空間,諸如此類。例如,CTU110的圖像塊可以使用YCbCr色彩空間所表示,該YCbCr色彩空間可以包括亮度分量(Y)、藍色差異色度分量(Cb)以及紅色差異色度分量(Cr)。因此,該CTU110可以被拆分成三個CTB120、130以及140,其中每一CTB對應於該色彩空間分量中相應的一分量。例如, CTB120可以對應於亮度分量,CTB130可以對應於藍色差異色度分量,以及CTB140可以對應於紅色差異色度分量。由CTU110(也就是CTU110的原始圖像)編碼的圖像塊可以是三個圖像的組合,其中每一圖像由各自的CTB所編碼並對應於相應的色彩空間分量。
每一CTB120、130以及140可以進一步被拆分成複數個編碼單元。例如,CTB120可以包括編碼單元121-127,CTB130可以包括編碼單元131-133,以及CTB140可以包括編碼單元141-143。每一編碼單元可以包括一預測部分以及一殘差部分,該預測部分可以使用幀內或幀間預測進程進行編碼以及該殘差部分是編碼單元的圖像與預測部分之間的差異。另外,基於所選擇的色彩格式,CTB120中的像素數目可以不同於CTB130或140中的像素數目。可以使用四叉樹(QT)分割結構或者四叉樹加二叉樹(QTBT)分割結構記錄CTB120、CTB130以及CTB140的複數個編碼單元。在一實施例中,Cb以及Cr可以共用一相同的編碼單元樹結構,例如,CTB130以及CTB140中的編碼樹結構是相同的。
在本發明中,當兩個編碼單元對應於原始圖像中至少一共同像素的時候,這兩個編碼單元是同位編碼單元(collocated coding unit)。可以通過使用當前編碼單元的預定像素位置識別用於當前CTB的當前編碼單元的另一CTB中的同位編碼單元。在一些示例中,當前編碼單元的預定像素位置可以是左上角像素、中心像素、任何預定角落像素、在預定位置處的像素,諸如此類。在本發明中,當第一以及第二編碼單元是同位編碼單元的時候,第一色彩空間的該第一編碼單元被認 為是對應於第二色彩空間的第二編碼單元。當然,根據其他適用規則可以決定該第一色彩空間的第一編碼單元與第二色彩空間的第二編碼單元之間的對應關係(correspondence)。
第2A圖示出了根據本發明一實施例的使用QTBT分割結構的CTB的一圖像210的一示例性分割。該圖像以及該CTB可以對應於特定的色彩空間分量,例如亮度分量或者色度分量。圖像210可以被分割成各種細分222、224、226、232、234、242、244a、244b、245、246、248、249以及252。複數個細分222、224、226、232、234、242、244a、244b、245、246、248、249以及252中每一對應於該CTB相應的編碼單元。
第2B圖示出了根據本發明一實施例的第2A圖中CTB的示例性編碼樹結構260。該編碼樹結構260與QTBT分割結構一致,並包括對應於整個圖像210的根節點(root node)N210。四個分支節點(branch node)N220、N230、N240以及N252從根節點N210延伸出來,其中節點N252是葉節點,沒有進一步分支節點從此處延伸出來以及其對應於細分252的編碼單元。節點N220對應於圖像210的細分或塊,節點N220所對應之細分或塊是細分222、224以及226的組合。從具有指示符V的節點N220延伸出來的兩個分支節點N221以及N226,指示符V指示對應的細分沿著垂直分割線(dividing line)進行分割,其中節點N226是葉節點並對應於細分226的編碼單元。節點221對應於圖像210的細分或塊,節點221所對應之細分或塊是細分222以及224的組合。從具有指示符V的節點N221延伸出來的兩個分支節點N222以及N224,指示符V指示對應的細分沿著垂直分割線進行分割,其中節點N222以及節點N224是葉節點並分別對應於細分222以及224的編碼單元。節點N230對應於圖像210的細分或塊,其所對應之細分或塊是細分232以及234的組合,從具有指示符H的節點N230延伸出來的兩個分支節點N232以及N234,該指示符H指示對應的細分沿著水平分割線進行分割,其中節點N232以及節點N234是葉節點並分別對應於細分232以及234的編碼單元。
節點N240對應於圖像210的分割或塊,節點N240所對應之分割或塊是細分242-249的組合。四個分支節點N241、N245、N246以及N247從節點N240延伸出來,其中節點N245以及節點N246是葉節點並分別對應於細分245及246的編碼單元。從具有指示符V的節點N241延伸出來的兩個分支節點N242以及N243,指示符V指示對應的細分沿著垂直分割線進行分割,其中節點N242是葉節點並對應於細分242的編碼單元。從具有指示符H的節點N243延伸出來的兩個分支節點N244a以及N244b,指示符H指示對應的細分沿著水平分割線進行分割,其中節點N244a以及節點N244b是葉節點並分別對應於細分244a以及分割244b的編碼單元。另外,從具有指示符H的節點N247延伸出來的兩個分支節點N248以及N249,指示符H指示對應的細分沿著一水平分割線進行分割,其中節點N248以及N249是葉節點並分別對應於細分248以及249的編碼單元。
此外,當決定用於編碼CTB的複數個可能候選編碼單元的時候,複數個細分中的每一細分以及與QTBT分割結構一致的複數 個細分的各種組合可以是候選編碼單元。
第3圖示出了根據本發明一實施例的視訊編碼系統300的一示例性功能框圖。該視訊編碼系統300包括一用於視訊編碼的處理電路(也就是編碼電路)310以及用於視訊解碼的處理電路(也就是解碼電路)330。該編碼電路310接收輸入幀302作為輸入資料並通過對輸入幀302進行編碼來生成編碼的視訊資料304。例如,該編碼的視訊資料304可以在一位元流中,該位元流包括壓縮格式的資料並可以存儲於非暫態電腦可讀媒介(non-transitory computer-readable medium)中。解碼電路330接收編碼的視訊資料304作為輸入資料,並通過對該編碼的視訊資料304進行解碼來生成輸出幀306。該視訊編解碼系統300可以通過一或複數個視訊編解碼裝置來實施,視訊編解碼裝置可以包括編碼電路310、解碼電路330或者編碼電路310以及解碼電路330兩者。
編碼電路310可以包括至少一預測子估計器311、預測子生成器312、殘差編碼器314以及編碼控制器316。該編碼控制器316進一步包括分割結構估計器318,該分割結構估計器318可以分析輸入幀302並決定將特定色彩空間分量的圖像拆分成複數個候選編碼單元的不同組合的各種方案。
該預測子估計器311可以分析特定候選編碼單元並決定用於編碼候選編碼單元的預測資訊。該預測資訊可以指定一種類型的預測,例如將要被編碼的候選編碼單元是否使用幀內預測、幀間預測或者其他適用的預測機制。該預測資訊也可以包括預測參數,用於生成使用指定 的預測機制的候選編碼單元的預測部分。預測子生成器312可以基於由預測子估計器311所提供的預測資訊生成候選編碼單元的預測部分。可以基於預測部分與候選編碼單元的對應的原始圖像之間差異生成候選編碼單元的殘差部分。該參考編碼器314可以接收殘差部分並將該殘差部分編碼成編碼的殘差數據。
編碼控制器316可以分析來自預測子估計器311的預測資訊以及來自殘差編碼器314的編碼的殘差數據,以及決定候複數個選編碼單元的哪一組合用於對正被處理的特定色彩空間分量的圖像進行編碼。在一些實施例中,關於第二圖像的特定細分或塊是否是可拆分的資訊可以被包括於最終編碼的視訊資料304中。在一些示例中,可以由解碼器推測的關於塊是否是可拆分的資訊並因此可以從編碼的視訊資料304中省略該資訊(也就是,編碼器以及解碼器使用相同的規則來決定塊是否是可拆分的)。編碼控制器316也可以監督輸入幀302的編碼,包括預測子估計器311、預測子生成器312以及殘差編碼器314的操作,以及可以基於用於將特定色彩空間分量的圖像分割成各種編碼單元所決定的分割結構以及對應的編碼資訊,例如預測資訊、編碼的殘差數據以及其他編碼資訊,生成編碼的視訊資料304,和/或控制預測子估計器311、預測子生成器312以及殘差編碼器314的操作。
在運作中,分割結構估計器318可以使用預定的分割結構決定複數個候選編碼單元,例如QT分割結構或者QTBT分割結構。在一些示例中,在已經識別用於對應於第一色彩空間分量的第一圖像的第一分割結構以後,可以基於該第一圖像的複數個編碼單位,通過分割結 構估計器318決定用於對應於第二色彩空間分量的第二圖像的複數個候選編碼單元。該第一圖像以及第二圖像可以對應於相同原始圖像的不同色彩空間分量,在一些示例中,為了確定用於分割第二圖像的複數個候選編碼單元,該第二圖像的一特定塊可以對應於候選編碼單元,以及可以根據第一複數個編碼單元中對應的一或複數個編碼單元,確定將該第二圖像的一特定塊拆分成該特定候選編碼單元的複數個分支候選編碼單元是否是無效的。
例如,可以根據預定的分割結構決定第二圖像的特定塊的各組下一層級的分支候選編碼單元。在一些示例中,對於該特定塊的一組下一層級分支候選編碼單元的每一分支候選編碼單元,分割結構估計器318可以在對應於分支候選編碼單元的第一圖像的複數個編碼單元中識別一基準編碼單元(benchmark coding unit),以及決定關於原始圖像的分支候選編碼單元的尺寸是否小於關於該原始圖像的所識別的基準編碼單元的尺寸。在一些示例中,在一組下一層級分支候選編碼單元的尺寸小於對應的基準編碼單元的尺寸的情況下,分割結構估計器318可以決定該組下一層級分支候選編碼單元是無效的,其中關於第一圖像以及第二圖像的原始圖像的尺寸是可測量的。
在一示例中,可以基於對應於特定分支候選編碼單元的原始圖像中一第一區域的面積決定第二圖像的一特定分支候選編碼單元的尺寸,以及可以基於對應於基準編碼單元的原始圖像中一第二區域的面積決定對應於特定分支候選編碼單元的該第一圖像的該基準編碼單元的尺寸。在另一示例中,可以基於對應於特定分支候選編碼單元的原始圖像中第一區域的寬度或高度決定第二圖像的特定分支候選編碼單元的尺寸,以及可以基於對應於編碼單元的原始圖像中第二區域的寬度或高度決定對應於該特定分支候選編碼單元的該第一圖像的基準編碼單元的尺寸。
在一些示例中,分割結構估計器318可以以一種用於第二圖像的候選編碼單元與第一圖像的編碼單元相匹配的方式來確定用於該第二圖像的候選編碼單元。在這種示例中,將第二圖像的特定塊拆分成複數個分支候選編碼單元是否是無效可以被決定為與第一圖像的匹配塊的對應的配置相同。
關於決定將第二圖像的特定塊拆分成特定候選編碼單元的複數個分支候選編碼單元是否是無效的的複數個示例將進一步參考第4A-4C圖示出。
分割結構估計器318可以基於如上所示的第一圖像的編碼樹結構決定用於分割第二圖像的一組初始候選編碼單元(preliminary candidate coding units),以及進一步決定基於該組初始候選編碼單元決定擴展複數個分支候選編碼單元(extension branch candidate coding unit)。因此,分割結構估計器318可以通過囊括該組初始候選編碼單元以及後續所識別的擴展分支候選編碼單元來獲得用於第二圖像的複數個候選編碼單元。例如,分割結構估計器318可以為還未被拆分成複數個分支候選編碼單元的該組初始候選編碼單元的每一葉候選編碼單元識別該葉候選編碼單元的複數個擴展分支候選編碼單元。例如,分割結構估計器318可以為該組初始候選編碼單元的一葉候選編碼單元識 別複數個擴展分支候選編碼單元,該等擴展分支候選編碼單元不大於來自該葉候選編碼單元的預定數目的拆分級別。該拆分級別可以根據預定的分割結構來決定。
另外,在另一示例中,對於還未被拆分成複數個分支候選編碼單元的該組初始候選編碼單元的每一葉候選編碼單元,分割結構估計器318可以識別第二圖像的複數個相鄰編碼單元。在一些示例中,該等相鄰編碼單元鄰近于葉候選編碼單元並已經確認為第二複數個編碼單元的一部分。在葉候選編碼單元的尺寸大於所識別的相鄰編碼單元的對應的尺寸的情況下,分割結構估計器318可以識別葉候選編碼單元的擴展分支候選編碼單元。在葉候選編碼單元的尺寸大於或等於所識別的相鄰編碼單元的對應尺寸的另一種情況下,分割結構估計器318可以識別該葉候選編碼單元的複數個擴展分支候選編碼單元。對於一組初始候選編碼單元的一葉候選編碼單元,分割結構估計器318可以識別複數個擴展分支候選編碼單元,並且該等擴展分支候選編碼單元的拆分等級不會大於該葉候選編碼單元的拆分層級的一預定數目。在一些示例中,該預定數目可以被設置為1或者2,另外,該拆分層級可以根據預定分割結構所決定。
關於基於複數個相鄰編碼單元識別複數個擴展分支候選編碼單元的複數個示例將進一步參考第5A-5B圖示出。
該編碼電路310可以進一步包括一記憶體322以及一處理器324。該記憶體322可以用於存儲程式指令、對應於所決定的編碼樹結構的資訊、候選編碼單元、預測模式、預測參數、輸入圖像幀、生成的預測子、殘差塊和/或用於執行該編碼電路310各種功能的中間資料(intermediate)。在一些示例中,該記憶體322包括非暫態電腦可讀媒介,例如半導體(semiconductor)或固態記憶體(solid-state memory)、隨機存取記憶體(random access memory,簡稱RAM)、唯讀記憶體(read-only memory,簡稱ROM)、硬碟、光碟或者其他合適的存儲媒介。在一些實施例中,記憶體322包括上面列出的複數個非暫態電腦可讀媒介的兩個或複數個的組合。
處理器324電性地耦合於記憶體322並可以用於執行存儲於該記憶體322中的程式指令來執行各種功能。該處理器324可以包括單個或複數個處理核心。編碼電路310的各種元件,如預測子估計器310、預測子生成器312、殘差編碼器314和/或編碼控制器316,可以以硬體元件、執行程式指令的處理器324或其組合來實施。當然,處理器324也執行程式指令來控制輸入圖像幀320的接收以及編碼的視訊資料304的輸出。在一些示例中,處理器324可以執行程式指令來執行與編碼輸入圖像幀302不直接相關的功能。
此外,如第3圖所述,解碼電路330可以包括至少一預測子生成器332、殘差解碼器334以及解碼控制器336。該解碼控制器336進一步包括分割結構估計器338。分割結構估計器338可以在解碼特定圖像幀(例如,輸出圖像幀306)的時候分析編碼的視訊資料304並決定用於一特定色彩空間分量的圖像的一估計的分割樹結構。隨著這種資訊,解碼控制器336可以在將編碼的視訊資料內提供的編碼樹結構實際上或充分解碼之前可優化解碼進程,或者完全或部分省略該編碼的視 訊資料所提供的關於編碼樹結構資訊的資訊。
預測子生成器322可以基於編碼的視訊資料304所提供的預測資訊生成圖像幀中編碼單元的預測部分,可以使用幀內預測和/或幀間預測生成該編碼單元的預測部分。殘差解碼器334可以基於編碼的視訊資料304所提供的殘差資訊生成編碼單元的殘差部分,解碼控制器336可以監督該編碼的視訊資料304的解碼,包括使用分割結構估計器338估計一圖像幀的編碼樹結構,決定圖像幀的編碼樹結構,基於預測資訊決定預測參數,提供該預測參數至預測子生成器332,基於該殘差資訊決定殘差參數,提供該殘差參數至殘差解碼器334,和/或控制分割結構估計器338、預測器生成器332和/或殘差解碼器334的操作。
在操作中,解碼控制器336可以接收編碼的視訊資料304,包括將由解碼電路330進行解碼的圖像幀的資訊。分割結構估計器338可以分析編碼的視訊資料304以及以參考分割結構估計器318所描述的方式,估計關於解碼分割樹結構用於一特定色彩空間分量的一圖像的約束。解碼控制器336可以使用估計約束來提高在決定一實際分割樹結構用於特定色彩空間分量的圖像上的效率或者在解碼該編碼的視訊資料304所提供的關於編碼樹結構的資訊時候,減少編碼單元結構邊資訊(side information)開銷。
例如,在操作中,分割結構估計器338可以根據預定的分割結構通過在不同的拆分層級將第二圖像拆分成各種塊來分析第二圖像,例如根據QT分割結構或QTBT分割結構。在一些示例中,在已經識別了用於對應於第一色彩空間分量的第一圖像的第一分割結構以後,可以 基於第一圖像的複數個編碼單元通過分割結構估計器338決定第二分割結構,第二分割結構用於將該第二圖像分割成第二複數個編碼單元。該第一圖像以及第二圖像可以對應於相同的編碼圖像的不同色彩空間分量。在一些示例中,對於決定用於分割該第二圖像的該第二分割結構,根據第一複數個編碼單元中對應的一或複數個編碼單元,可以決定將該第二圖像的一特定塊拆分成該特定候選編碼單元的複數個分支候選編碼單元是否無效。
例如,可以根據一預定分割結構決定第二圖像的一特定塊的各組下一層級分支候選編碼單元。在一些示例中,對於該特定塊的一組下一層級分支候選編碼單元的每一分支候選編碼單元,分割結構估計器338可以在對應於與分支候選編碼單元的第一圖像的複數個編碼單元中識別基準編碼單元,以及決定關於編碼圖像的分支候選編碼單元的尺寸是否小於關於該編碼圖像的所識別的基準編碼單元的尺寸。在一些示例中,在一組下一層級分支候選編碼單元中一分支候選編碼單元的尺寸小於對應的基準編碼單元的尺寸的情況下,分割結構估計器338可以決定該組下一層級分支候選編碼單元是無效的,其中關於第一圖像以及第二圖像的編碼圖像的尺寸是可測量的。
在一示例中,基於對應於特定分支候選編碼單元的編碼圖像中第一區域的面積可以決定第二圖像的特定分支候選編碼單元的尺寸,以及基於對應於基準編碼單元的編碼圖像中第二區域的面積可以決定對應於特定分支候選編碼單元的第一圖像的該基準編碼單元的尺寸。在另一示例中,基於對應於特定分支候選編碼單元的編碼圖像中第一區域的 寬度或高度可以決定該第二圖像的特定分支候選編碼單元的尺寸,以及基於對應於編碼單元的編碼圖像中第二區域的寬度或高度可以決定對應於特定分支候選編碼單元的第一圖像的基準編碼單元的尺寸。
在一些示例中,將第二圖像的特定塊拆分成複數個分支候選編碼單元是否是無效的可以被決定與該第一圖像的配對塊對應的設置相同。
在一些示例中,分割結構估計器338可用首先檢查特定塊是否已被決定是可拆分的以及可以跳過決定將該第二圖像的該特定塊拆分成複數個分支候選編碼單元是否是無效的。否則,在根據該第二圖像的該特定塊的尺寸以及第一複數個編碼單元中對應的一編碼單元的尺寸,將該第二圖像的該特定塊拆分成複數個分支候選編碼單元被決定是無效的情況下,分割結構估計器338可以決定不大於來自於該特定塊拆分層級的預定數目該特定塊的複數個候選細分是有效的,該拆分層級可以根據預定的分割結構決定,在一些示例中,該預定數目是1或者2。
在一些示例中,分割結構估計器338可以識別第二圖像的特定塊的複數個相鄰編碼單元,其中該等相鄰編碼單元鄰近於該特定塊。在該特定塊的尺寸大於或大於等於所識別的複數個相鄰編碼單元的對應尺寸的情況下,分割結構估計器338可以決定將該第二圖像的該特定塊拆分成複數個分支候選編碼單元是有效的,在一些示例中,在根據該第二圖像的該特定塊的尺寸以及該所識別的複數個相鄰編碼單元的對應尺寸,將該第二圖像的特定塊拆分成複數個分支候選編碼單元被決定是無效的情況下,該分割結構估計器338可以決定該特定塊的不大於來自於 該特定塊拆分等級的一預定數目的複數個候選細分是有效的。
因此,解碼控制器336可以決定是否通過提取對應於塊的編碼單元或者提取關於各種塊的資訊來處理一特定塊,該各種塊是該特定塊的下一層級的複數個細分。
此外,在識別編碼單元以後,解碼控制器336可以從編碼的視訊資料304中提取預測資訊用於生成該編碼單元的預測部分,該預測資訊包括預測類型以及對應的預測參數。解碼控制器336可以從該編碼的視訊資料304中提取編碼的殘差數據用於生成該編碼單元的殘差部分。預測子生成器332可以基於由解碼控制器336提供的預測資訊生成該當前塊的預測部分,殘差解碼器334可以基於由該解碼控制器336所提供的編碼的殘差數據生成該當前塊的殘差部分。最終,該解碼控制器336可以基於解碼的編碼單元生成輸出圖像幀306,該解碼的編碼單元基於編碼單元的所生成的預測部分以及重構的殘差部分所生成。
解碼電路330可以進一步包括記憶體342以及處理器344,該記憶體342可以用於存儲程式指令、用於決定編碼樹結構的對應於估計約束的資訊、實際編碼樹結構、候選編碼單元、預測模式、預測參數、編碼的視訊資料、重構幀、所生成的預測子、重構殘差部分和或用於執行該解碼電路330各種功能的中間資料。在一些示例中,記憶體342包括非暫態電腦可讀媒介,例如半導體或固態記憶體、隨機存取記憶體、唯讀記憶體、硬碟、光碟或者其他適當的存儲媒介。在一些實施例中,記憶體342包括上面所列出的複數個非暫態電腦可讀媒介的兩個或複數個的組合。
處理器344電性地耦合於記憶體342以及可以用於執行存儲於記憶體342中的程式指令來執行各種功能,處理器344可以包括單個或複數個處理核心。解碼電路的各種元件,例如預測子生成器332、殘差解碼器334和/或解碼控制器336,可以以硬體元件、執行程式指令處理器344或其組合來實施。當然,處理器344也可以執行程式指令來控制編碼的視訊資料304的接收以及輸出圖像幀306的輸出。在一些示例中,處理器344可以執行程式指令來執行與解碼該編碼的視訊資料304不直接相關的功能。
此外,編碼電路310以及解碼電路330可以以相同的電子裝置來實施,可以共用或者重新使用該編碼電路310以及該解碼電路330的各種元件。例如,編碼電路310中的記憶體322、處理器324、預測子生成器312以及估計的編碼樹結構318也可以分別用於起到解碼電路330中記憶體342、處理器344、預測子生成器332以及估計的編碼樹結構338的作用。
第4A圖示出了根據本發明一實施例的基於對應於另一色彩分量的相同原始圖像或編碼圖像的配對圖像的複數個編碼單元,用於決定用於對應於一色彩分量的圖像的複數個分支候選編碼單元的有效性的第一組示例性約束。在第4A圖中,對應於第一色彩分量的第一圖像的一部分410被均勻地分割成了四個編碼單元412-418。對應於第二色彩分量的第二圖像的細分或塊420可以被拆分成3組分支候選編碼單元,(i)沿著水平分割線的兩個分支候選編碼單元421以及425;(ii)沿著垂直分割線的兩個分支候選編碼單元423以及427;或者(iii)沿著水平分割線以及垂直分割線兩者的四個分支候選編碼單元422、424、426以及428,該第二圖像的分割或塊420對應於原始圖像或編碼圖像中與第一圖像的部分410相同的區域。
在一些示例中,細分或塊420以及部分410不必要完全對應於原始圖像或編碼圖像中相同的部分。另外,在本發明所描述的各種實施例中,由分割結構估計器318/338進行的面積、長度和/或寬度的比較是基於關於原始或編碼圖像所測量的面積、長度和/或寬度進行的。
在一些示例中,分割結構估計器318/338可以基於分支候選編碼單元的尺寸以及第一圖像的部分410中對應的基準編碼單元的尺寸,決定每一基準候選編碼單元是否有效。在一些示例中,當兩個編碼單元的左上角可以被映射到原始或編碼圖像中相同的像素的時候,這兩個編碼單元被認為是對應的編碼單元。因此,編碼單元412對應於分支候選編碼單元421,以及編碼單元416對應於分支候選編碼單元425。
在一示例中,因為分支候選編碼單元421或425的面積不小於對應的編碼單元412或416的面積,分割結構估計器318/338可以決定分支候選編碼單元421以及425兩者是有效的。在另一示例中,因為分支候選編碼單元421或425的長度或寬度不小於對應的編碼單元412或416的長度或寬度,分割結構估計器318/338可以決定分支候選編碼單元421以及425兩者是有效的。
然而,在又一示例中,因為分支候選編碼單元421或425不匹配對應的編碼單元412或416,分割結構估計器318/338可以決定分支候選編碼單元421以及425兩者是無效的。
關於該組分支候選編碼單元423以及427,對應的編碼單元可以是編碼單元412以及414。在一示例中,因為分支候選編碼單元423以及427的面積不小於對應的編碼單元412或414的面積,分割結構估計器318/338可以決定分支候選編碼單元423以及427兩者是有效的。在另一示例中,因為分支候選編碼單元423以及427的長度或寬度不小於對應的編碼單元412或414的長度或寬度,分割結構估計器318/338可以決定分支候選編碼單元423以及427兩者是有效的。當然,在又一示例中,因為分支候選編碼單元421或者425不匹配對應的編碼單元412或414,分割結構估計器318/338可以決定分支候選編碼單元423以及427兩者是無效的。
關於該組分支候選編碼單元422、424、426以及428,分別對應的編碼單元可以是編碼單元412、414、416以及418。在一些示例中,分割結構估計器318/338可以決定所有分支候選編碼單元422、424、426以及428是有效的,因為這些細分也能通過基於比較面積、長度/寬度或者匹配編碼單元的測試。
第4B圖示出了根據本發明一實施例的基於對應於另一色彩分量的相同圖像幀的配對圖像的編碼單元,用於決定用於對應於色彩分量的圖像的複數個分支候選編碼單元的有效性的第二組示例性約束。在第4B圖中,第一圖像的部分410沿著水平分割線被拆分成兩個編碼單元411以及415。
關於該組分支候選編碼單元421以及425,對應的編碼單元可以是編碼單元411以及415。在一示例中,因為該分支候選編碼單 元421以及425的面積不小於對應的編碼單元411或415的面積,分割結構估計器318/338可以決定分支候選編碼單元421以及425是有效的。在另一示例中,因為分支候選編碼單元421以及425的長度或寬度不小於對應的編碼單元411或415的長度或寬度,分割結構估計器318/338可以決定分支候選編碼單元421以及425兩者是有效的。在又一示例中,因為該分支候選編碼單元421以及425匹配對應的編碼單元411以及415,分割結構估計器318/338可以決定分支候選編碼單元421以及425兩者是有效的。
關於該組分支候選編碼單元423以及427,分支候選單元兩者的對應的編碼單元可以是編碼單元411。在一示例中,因為該分支候選編碼單元423以及427的面積不小於對應的編碼單元411的面積,分割結構估計器318/338可以決定分支候選編碼單元423以及427兩者是有效的。在另一示例中,因為該分支候選編碼單元423以及427的寬度小於對應的編碼單元411的寬度,分割結構估計器318/338可以決定分支候選編碼單元423以及427是無效的。在又一示例中,因為未能匹配對應的編碼單元411,分割結構估計器318/338可以決定分支候選編碼單元423以及427兩者是無效的。
此外,關於該組分支候選編碼單元422、424、426以及428,分支候選編碼單元422以及424的對應的編碼單元可以是編碼單元411,以及分支候選編碼單元426以及428的對應的編碼單元可以是編碼單元415。在一些示例中,分割結構估計器318/338可以決定所有分支候選編碼單元422/424/426以及428是無效的,因為這些細分 未能通過基於比較面積、長度/寬度或匹配編碼單元的任何測試。
第4C圖示出了根據本發明實施例的基於對應於另一色彩分量的相同圖像幀的配對圖像的複數個編碼單元,用於決定用於對應於一色彩分量的圖像的複數個分支候選編碼單元有效性的第三組示例性約束。在第4C圖中,第一圖像的部分410沿著垂直分割線被分割成兩個編碼單元413以及417。
關於該組分支候選編碼單元423以及427,分別對應的編碼單元可以是編碼單元413以及417。在一示例中,因為分支候選編碼單元423以及427的面積不小於對應的編碼單元413以及417的面積,分割結構估計器318/338可以決定分支候選編碼單元423以及427兩者是有效的。在另一示例中,因為分支候選編碼單元423以及427的長度或寬度不小於對應的編碼單元413或417的長度或寬度,分割結構估計器318/338可以決定分支候選編碼單元423以及427是有效的。在又一實施例中,因為分支候選編碼單元423以及427匹配對應的編碼單元413以及417,分割結構估計器318/338可以決定分支候選編碼單元423以及427是有效的。
關於該組分支候選編碼單元421以及425,分支候選編碼單元兩者對應的編碼單元可以是編碼單元413。在一示例中,因為分支候選編碼單元421以及425的面積不小於對應的編碼單元413的面積,分割結構估計器318/338可以決定分支候選編碼單元423以及427是有效的。在另一示例中,因為分支候選編碼單元421或425的長度小於對應的編碼單元413的長度,分割結構估計器318/338可以決定分 支候選編碼單元421以及425兩者是無效的。在又一示例中,因為未能匹配對應的編碼單元413,分割結構估計器318/338可以決定分支候選編碼單元421以及425兩者是無效的。
此外,關於該組分支候選編碼單元422、424、426以及428,分支候選編碼單元422以及426的對應的編碼單元可以是編碼單元413,以及分支候選編碼單元424以及428對應的編碼單元可以是編碼單元417。在一些示例中,分割結構估計器318/338可以決定所有分支候選編碼單元422/424/426以及428是無效的,因為細分未能通過基於比較面積、長度/寬度或者匹配編碼單元的任何測試。
第5A圖以及第5B圖示出了根據本發明一實施例的基於圖像的複數個相鄰編碼單元,用於決定對應於一色彩分量的圖像的擴展分支候選編碼單元的示例性約束。在第5A圖中,對應於特定色彩分量的圖像的細分或塊510具有鄰近於塊510上邊緣的相鄰編碼單元522以及鄰近于塊510左邊緣的相鄰編碼單元524。在第5B圖中,塊510具有鄰近於塊510上邊緣的兩個相鄰編碼單元532與534以及鄰近于塊510左邊緣的兩個相鄰編碼單元536與538。
在本發明的一實施例中,如果塊510的面積、長度和/或寬度大於或等於複數個相鄰編碼單元的面積、長度和/或寬度,候選編碼單元的擴展分支候選編碼單元是有效的。例如,分割結構估計器318/388可以識別相鄰編碼單元522以及524,或者相鄰編碼單元532-538,以及基於相鄰編碼單元522以及524的尺寸(或相鄰編碼單元532-538的尺寸)以及塊510的尺寸,決定塊510是否允許被進一步 拆分成複數個擴展分支候選編碼單元。例如,因為塊510的面積、長度和/或寬度大於等於複數個相鄰編碼單元522與524以及相鄰編碼單元532-538的面積、長度和/或寬度,分割結構估計器318/338可以決定塊510的擴展分支候選編碼單元是有效的。
在本發明的另一實施例中,如果塊510的面積、長度和/或寬度大於複數個相鄰編碼單元的面積、長度和/或寬度,候選編碼單元的複數個擴展分支候選編碼單元是有效的,否則,塊510的該等擴展分支候選編碼單元是無效的。例如,分割結構估計器318/338可以識別相鄰編碼單元522以及524,並基於相鄰編碼單元522與524的尺寸以及塊510的尺寸,決定塊510是否允許被進一步拆分成複數個擴展分支候選編碼單元。例如,因為塊510的面積、長度和/或寬度不大於相鄰編碼單元522與524的面積、長度和/或寬度,分割結構估計器318/338可以決定候選編碼單元510的複數個擴展分支候選編碼單元是無效的。分割結構估計器318/338可以識別相鄰編碼單元532-538,以及基於相鄰編碼單元532-538的尺寸以及塊510的尺寸,決定塊510是否允許進一步被拆分成複數個擴展分支候選編碼單元。例如,因為塊510的面積、長度和/或寬度大於相鄰編碼單元532-538的面積、長度和/或寬度,分割結構估計器318/338可以決定塊510的擴展分支候選編碼單元是有效的。
在一些示例中,分割結構估計器318/338可以決定不大於來自於該特定塊的拆分層級的預定數目的該特定塊的複數個候選細分是有效的。在一些實施例中,拆分層級的預定數目可以是1或2,或者任 何合適的數目。
第6A圖示出了根據本發明一實施例的概括了使用如第3圖中用於視訊編碼的處理電路310的處理電路的示例性編碼進程600的流程圖。可以理解的是,在第6A圖所描述的進程600之前、之中和/或之後,可以執行一額外的操作,在步驟S601開始進程600並前進到步驟S610。
在步驟S610,接收包括一原始圖像的一圖像幀,該圖像幀是至少一第一圖像以及一第二圖像的組合,其中該第一圖像以及該第二圖像對應於該圖像幀的該原始圖像的不同色彩空間分量。例如,編碼控制器316可以接收包括一圖像幀的一相同原始圖像的一第一圖像以及一第二圖像的輸入圖像幀302。在一些示例中,該第一圖像對應於一亮度色彩空間分量,以及該第二圖像對應於一色度色彩空間分量。在又一實施例中,該第一圖像對應於將在更高空間解析度進行編碼的一第一色彩空間分量,以及該第二圖像對應於將在比該第一色彩空間分量更低的空間解析度進行編碼的一第二色彩空間分量。
在步驟S620中,決定用於將第一圖像分割成一第一複數個編碼單元的一第一分割結構。在一些實施例中,根據一預定的分割結構,基於該第一識別的各種細分的可能組合以及第一圖像的對應候選編碼單元,可以決定該第一分割結構。編碼該候選編碼單元,並選擇候選編碼單元的一組合作為遵從一組預定編碼標準的最終編碼單元,以及基於該第一圖像如何被分割成複數個最終編碼單元以及該預定的分割結構,記錄第一分割結構中該第一圖像的分割。
例如,編碼控制器316使用分割結構估計器318,可以決定候選編碼單元並使用預測估計器311、預測子生成器312以及殘差編碼器314測試各種編碼方案。最終識別的編碼單元也記錄於該第一圖像的一第一分割結構中並可以存儲於記憶體322中。
在步驟S630,根據用於分割該第一圖像的該第一分割結構,決定用於分割該第二圖像的一複數個候選編碼單元。可以用基於用於分割該第一圖像的該第一分割結構所決定的約束,決定用於分割該第二圖像的該等候選編碼單元。例如,基於比較分支候選編碼單元的一尺寸與該第一圖像的該第一複數個編碼單元中對應的基準編碼單元的一尺寸,可以決定進一步將該第二圖像的一特定塊拆分成複數個分支候選編碼單元是否是無效的。
例如,編碼控制器316使用分割結構估計器318,基於參考第3、4A-4B圖和/或第5A-5B圖所描述的約束,可以決定用於該第二圖像的候選編碼單元。
在一些示例中,對於該第二圖像的一特定塊的一提出的一組下一層級分支候選編碼單元的每一分支候選編碼單元,可以從對應於該分支候選編碼單元的該第一複數個編碼單元中識別一基準編碼單元,以及可以決定關於原始圖像的該分支候選編碼單元的尺寸是否小於編碼單元的尺寸,該編碼單元對應於關於原始圖像的該分支候選編碼單元。在關於原始圖像的一組下一層級分支候選編碼單元中一分支候選編碼單元的尺寸小於編碼單元的尺寸的情況下,可以決定該組下一層級分支候選編碼單元是無效的,該編碼單元對應於關於該原始圖像的該組下一層級分支候選編碼單元中的該分支候選編碼單元。
在一示例中,基於對應於特定分支候選編碼單元的原始圖像中一第一區域的一面積,可以決定第二圖像的一特定分支候選編碼單元的尺寸,以及基於對應於編碼單元的該原始圖像中一第二區域的一面積,可以決定對應於該特定分支候選編碼單元的該第一圖像的編碼單元的尺寸。在另一示例中,基於對應於特定分支候選編碼單元的原始圖像中第一區域的寬度或高度,可以決定第二圖像的特定分支候選編碼單元的尺寸,以及基於對應於編碼單元的該原始圖像中第二區域的寬度或高度,可以決定對應於該特定分支候選編碼單元的該第一圖像的編碼單元的尺寸。
當然,在至少一示例中,匹配第一圖像的第一複數個編碼單元的複數個候選編碼單元被決定是第二圖像的複數個候選編碼單元。在這種情況下,將第二圖像的特定塊拆分成複數個分支候選編碼單元是否是無效可以決定為與第一圖像的配對塊的對應的設定相同。
在一些示例中,在步驟S630中,基於用於分割第一圖像的第一分割結構,決定一組初始候選編碼單元,根據一預定的規則可以識別複數個額外的擴展分支候選編碼單元。將參考第6B圖說明步驟S630的一示例性實施方式,另外,將參考第7圖說明決定一組下一層級分支候選編碼單元是否是有效的一示例性實施方式。
在步驟S640,基於來自步驟S630的該等候選編碼單元,決定用於將該第二圖像拆分成一第二複數個編碼單元的一第二分割結構。在一些示例中,基於對候選編碼單元進行編碼以及選擇候選編碼單元的 一組合作為將滿足一組預定的編碼標準的最終編碼單元,可以決定該第二分割結構,以及基於該第二圖像如何被分割成複數個最終編碼單元,記錄該第二分割結構中該第二圖像的分割。
例如,基於使用預測子估計器311、預測子生成器312以及殘差編碼器314在步驟630所決定的複數個候選編碼單元,編碼控制器316使用分割結構估計器318可以測試各種編碼方案。最終所識別的第二分割結構的結果可以被存儲於記憶體322中。
在步驟S650中,當前圖像幀被編碼,包括基於第一複數個編碼單元生成用於輸出的表示第一圖像的編碼資料,以及基於第二複數個編碼單元生成用於輸出的表示第二圖像的編碼資料。例如,基於對應的分割結構以及編碼單元,編碼控制器316可以對第一圖像以及第二圖像進行編碼。
在步驟S650以後,進程前進到步驟S699並結束。
第6B圖示出了根據本發明一實施例的概括用於決定如第6A圖步驟S630的分割結構的示例性操作的流程圖。應當理解的是,在第6B圖描述的進程630之前、之中和/或之後,可以執行額外的操作,該進程630可以由編碼控制器316使用分割結構估計器318來執行。
在步驟S620以後,進程630前進到步驟S632,其中根據第一分割結構可以決定一組初始候選編碼單元。例如,可以用約束決定該組初始候選編碼單元,該約束基於比較第二圖像的分支候選編碼單元尺寸與對應於如上所描述的分支候選編碼單元的該第一圖像的基準 編碼單元的尺寸所決定。
在步驟S634,根據預定的規則可以識別複數個額外的擴展分支候選編碼單元。在一些示例中,在基於第一編碼樹結構決定用於分割第二圖像的一組初始候選編碼單元之後,對於該組初始候選編碼單元的每一葉候選編碼單元,複數個擴展分支候選編碼單元可以被識別為複數個分支候選編碼單元,在一些示例中,該等擴展分支候選編碼單元被設置為不大於來自該葉候選編碼單元的拆分層級的一預定數目。
在一些其他示例中,在基於第一編碼樹結構決定用於分割第二圖像的一組初始候選編碼單元以後,對於該組初始候選編碼單元的每一葉候選編碼單元,識別該第二圖像的複數個相鄰編碼單元,其中該等相鄰編碼單元鄰近于葉候選編碼單元以及可以屬於第二複數個編碼單元(例如,已經被測試並決定為用於第二圖像的最終編碼單元)。在葉候選編碼單元的尺寸大於或大於等於所識別的複數個相鄰編碼單元的對應尺寸的情況下,可以從葉候選編碼單元決定該等擴展分支候選編碼單元。
在一些示例中,預定數字可以被設置為1或者2,同樣,可以根據預定分割結構決定拆分層級。
在步驟S636,囊括該組初始候選編碼單元以及所識別的擴展分支候選編碼單元來獲取複數個候選編碼單元。
在步驟S636以後,進程前進到第6A圖中的步驟S640。
第7圖示出了根據本發明一實施例的概括了用於決定一組下一層級分支候選編碼單元是否是無效的示例性進程700的一流程圖。 能夠理解的是,可以在第7圖描述的進程700之前、之中和/或之後執行額外的操作。可以在第6A圖中的步驟S630或者第6B圖中的步驟S632執行進程700來決定約束,該約束用於決定用於第二圖像的複數個候選編碼單元,以及可以由編碼控制器316使用分割結構估計器318執行進程700。也可以在進程第8A圖中的步驟S830或者第8B圖中的步驟S834執行進程700來決定估計約束,該估計約束用於決定第二圖像的編碼樹結構,以及可以由解碼控制器336使用分割結構估計器338執行進程700。
進程700開始於步驟S701並前進到步驟S710。
在步驟S710,對於該第二圖像的一特定塊,可以識別該第二圖像的一組下一層級分支候選編碼單元。例如,參考第4A-4C圖,可以識別用於塊420的至少三組不同的下一層級的分支候選編碼單元。
在步驟S720,對於一目標分支候選編碼單元,識別對應於該目標分支候選編碼單元的第一圖像的編碼單元。例如,可以以參考第4A-4C圖所描述的方式識別第一圖像的對應的編碼單元。
在步驟S730,決定該目標分支候選編碼單元的一尺寸是否小於第一圖像的對應的編碼單元的一尺寸。尺寸是關於圖像幀的原始圖像的複數個編碼單元的對應的尺寸。尺寸可以是關於該圖像幀的原始圖像或編碼圖像的編碼單元的面積、長度或寬度。例如,可以以參考第4A-4C圖所描述的方式比較該目標分支編碼單元的尺寸以及第一圖像的對應的編碼單元的尺寸。
在步驟S740中,根據步驟S720以及S730決定所有分支候選編碼單元是否已經被處理。在所有分支候選編碼單元的尺寸已經與第一圖像相應的編碼單元完成比較之前,進程前進到步驟S720來重複步驟S720以及步驟S730。然後,進程前進到步驟S750。
在步驟S750中,基於來自步驟S720-S740的結果,決定一組下一層級分支候選編碼單元是否是無效的。在一些示例中,當特定一組下一層級分支候選編碼單元的一分支候選編碼單元的尺寸小於第一圖像的對應的編碼單元的時候,整組下一層級分支候選編碼單元被決定是無效的。例如,當所有分支候選編碼單元的尺寸大於或等於第一圖像的對應編碼單元的尺寸的時候,一組下一層級分支候選編碼單元可以被決定是有效的並被包括作為候選編碼單元。例如,在第4A圖中,所有三組下一層級分支候選編碼單元可以被決定是有效的。在第4B圖以及第4C圖中,基於比較的規則,包括分支候選編碼單元422、424、426以及428的一組下一層級分支候選編碼單元可以被決定是無效的。
在步驟S750以後,進程前進到步驟S799並結束。
第8A圖示出了根據本發明一實施例的概括了使用如第3圖中用於視訊解碼的處理電路330的處理電路的示例性解碼進程800的流程圖。能夠理解的是,在第8A圖描述的進程800之前、之前和/或之後,可以執行額外的操作,進程800開始在步驟S801並前進到步驟S810。
在步驟S810,接收與包括編碼圖像的圖像幀相關聯的編碼視訊資料,該圖像幀是至少一第一圖像以及一第二圖像的組合,其 中該第一圖像以及該第二圖像對應於該圖像幀相同原始圖像的不同色彩空間分量。例如,解碼控制器336可以接收包括編碼資料的編碼視訊資料304,該編碼資料表示一圖像幀的相同編碼圖像的第一圖像以及第二圖像。在一些實施例中,該第一圖像對應於一亮度色彩空間分量,以及該第二圖像對應於一色度色彩空間分量。在又一實施例中,該第一圖像對應於一將在更高空間解析度進行編碼的第一色彩空間分量,以及該第二圖像對應於將在比該第一色彩空間分量更低的空間解析度進行編碼的一第二色彩空間分量。
在步驟S820,決定用於將第一圖像分割成一第一複數個編碼單元的一第一分割結構。可以通過對編碼的視訊資料進行解碼獲得該第一分割結構,例如,解碼控制器336可以對編碼的視訊資料304進行解碼來獲得該第一分割結構以及來識別該第一圖像的該第一複數個編碼單元。
在步驟S830,利用該第一分割結構來識別用於將該第二圖像分割成第二複數個編碼單元的第二分割結構。例如,在使用分割結構估計器338來決定各種估計約束的時候,如參考第7圖以及第4A-4C圖或者進一步參考第8B圖所示出的將第二圖像的特定塊拆分成複數個分支候選編碼單元是否是有效的,解碼控制器336可以對該編碼的視訊資料304進行解碼來獲得第二圖像的一些編碼單元。通過這樣,解碼控制器336可以優化用於解碼第二分割結構的計算資源並因此提高解碼效率。利用分割約束資訊可以從編碼的視訊資料304中充分解碼該第二分割結構的最終結果以優化進程執行緒。也可以從編碼的視訊資料 304中部分地解碼以及從分割約束資訊中部分地推導出該第二分割結構的最終結果。
在步驟S840,基於該第二複數個編碼單元,可以重構圖像幀的第二圖像用於輸出。例如,基於來自於步驟S830的第二分割結構以及對應的解碼單元,解碼控制器336可以與預測子生成器332以及殘差解碼器334一起重構該第二圖像。
在步驟S840後,進程前進到步驟S899並結束。
第8B圖示出了根據本發明一實施例的概括了用於決定如第8A圖中步驟S830一部分的一分割結構的示例性操作的流程圖。進程830對應於分析拆分一特定塊是否是無效的並相應地決定該特定塊的分割結構。能夠理解的是在第8B圖描述的進程830之前、之中和/或之後可以執行額外的操作。該進程830可以重複地執行以在各種拆分層級處理圖像的各種細分或塊。該進程830可以由解碼控制器336使用分割結構估計器338來執行。
該進程830開始於步驟S831並前進到步驟S832。
在步驟S832,檢查對應於圖像幀的一第二色彩空間分量的一第二圖像的一特定塊是否先前已經決定是可拆分的。例如,因為基於參考第4A-5C圖描述的識別複數個擴展分支候選編碼單元或者來自於進程830的先前迭代運算的步驟S836的結果的規則,是否將特定塊拆分成複數個分支候選編碼單元可以已經決定為有效的。在一些示例中,在特定塊已經決定為可拆分,或者已經決定將特定塊拆分成複數個分割候選編碼單元是有效的情況下,進程可以前進到步驟S838而不需 要執行步驟S834和/或步驟S836。在一些示例中,當執行進程830的先前迭代運算中略過了步驟S836時,也可以在執行進程830的當前迭代運算中略過步驟S832。
在步驟S834,根據用於分割第一圖像的第一分割結構,基於用於第二圖像的特定塊的至少一組分支候選編碼單元是否是有效的,決定拆分該特定塊是否是無效的。在一些示例中,基於比較該第二圖像的分支候選編碼單元的尺寸與對應於如參考第7圖所描述的該分支候選編碼單元的第一圖像的基準編碼單元的尺寸,可以識別該特定塊的一組分支候選編碼單元以及可以決定該組分支候選編碼單元是否是有效的。在一些示例中,在該特定塊被決定是可拆分或者在步驟S834決定將特定塊拆分成複數個分支候選編碼單元是有效的情況下,進程可以前進到步驟S838而不需要執行步驟S836。在一些示例中,步驟S832以及步驟S836可以略過。
在步驟S836,基於用於特定塊的至少一組擴展分支候選編碼單元是否是有效的,決定拆分該特定塊是否是無效的。
在一些示例中,在已經在步驟S832決定特定塊是否是可拆分的以及根據第二圖像的特定塊的尺寸以及第一複數個編碼單元中對應的一編碼單元尺寸在步驟S834決定將第二圖像的特定塊拆分成複數個分支候選編碼單元是無效的情況下,將特定塊拆分成特定塊的複數個候選細分可以被決定是有效的。在一些示例中,只要候選分割不大於來自特定塊拆分層級的一預定數目,複數個候選細分可以是有效的。
在一些示例中,在步驟S832已經決定特定塊是否是可 拆分的情況下,可以根據第二圖像的特定塊的尺寸以及相鄰編碼單元的對應尺寸以參考第5A-5B圖所描述的方式進一步決定是否將特定塊拆分成複數個分支編碼單元。該第二圖像的特定塊的複數個相鄰編碼單元可以被識別為鄰近於該特定塊。在一些示例中,在特定塊的尺寸大於或者大於等於所識別的相鄰編碼單元的對應尺寸的時候,決定將第二圖像的特定塊拆分成複數個分支候選編碼單元是有效的。此外,在一些示例中,在步驟S832還未決定特定塊是否是可拆分的以及根據第二圖像的特定塊的尺寸以及所識別的複數個相鄰編碼單元對應的尺寸將該第二圖像的該特定塊拆分成複數個分支候選編碼單元被決定是無效的情況下,將特定塊拆分成該特定塊的複數個候選細分可以決定為有效的。在一些示例中,只要該等候選細分不大於來自特定塊拆分層級的一預定數目,該等候選細分可以是有效的。
在步驟S838,基於來自步驟S832、S834和/或S836的結果,可以決定特定塊的分割結構。
在步驟S838後,進程830前進到步驟S899並結束。可以重複地執行進程830用於在各種拆分層級處理圖像的各種細分或塊。
雖然本發明的各方面已經結合作為示例提出的特定的實施例進行描述,可以對這些實施例進行替換、修改和變化。因此,本文所述之實施例旨在是說明性的而非限制性的,在不脫離下述提出的專利申請範圍的情況下,可用進行改變。

Claims (36)

  1. 一種視訊解碼裝置,包括:一處理電路,用於:接收與包括一編碼圖像的一圖像幀有關的編碼的視訊資料,該圖像幀是對應於該圖像幀的一第一色彩空間分量的至少一第一圖像以及對應於該圖像幀的一第二色彩空間分量的一第二圖像的一組合;決定用於將該第一圖像分割成一第一複數個編碼單元的一第一編碼樹結構;決定用於將該第二圖像分割成一第二複數個編碼單元的一第二編碼樹結構,包括根據該第一複數個編碼單元對應的一或複數個編碼單元,決定將該第二圖像的一特定塊拆分成複數個分支候選編碼單元是否是無效的;以及基於該第二複數個編碼單元重構該第二圖像用於輸出。
  2. 如申請專利範圍第1項所述之視訊解碼裝置,其中該處理電路進一步用於:對於該特定塊的一組下一層級分支候選編碼單元的每一分支候選編碼單元,從對應於該分支候選編碼單元的該第一複數個編碼單元中識別一基準編碼單元,以及決定與該編碼圖像相關的該分支候選編碼單元的一尺寸是否小於與該編碼圖像相關的該基準編碼單元的一尺寸;以及 在與該編碼圖像相關的該組下一層級分支候選編碼單元中的一分支編碼單元的尺寸小於與該編碼圖像相關的對應的基準編碼單元的尺寸的情況下,決定該組下一層級分支候選編碼單元是無效的。
  3. 如申請專利範圍第2項所述之視訊解碼裝置,其中基於對應於一特定分支候選編碼單元的該編碼圖像中一第一區域的一面積,決定該第二圖像的該特定分支候選編碼單元的尺寸;以及基於對應於該基準編碼單元的該編碼圖像中一第二區域的一面積,決定該第一圖像的該基準編碼單元的尺寸。
  4. 如申請專利範圍第2項所述之視訊解碼裝置,其中基於對應於一特定分支候選編碼單元的該編碼圖像中一第一區域的一寬度或以高度,決定該第二圖像的該特定分支候選編碼單元的尺寸;以及基於對應於該基準編碼單元的該編碼圖像中以第二區域的一寬度或一高度,決定該第一圖像的該基準編碼單元的尺寸。
  5. 如申請專利範圍第1項所述之視訊解碼裝置,其中將該第二圖像的該特定塊拆分成該等分支候選編碼單元是否是無效的被決定為與該第一圖像的一配對塊的一對應的設定相同。
  6. 如申請專利範圍第1項所述之視訊解碼裝置,其中該處理電路進一步用於:在根據該第二圖像的該特定塊的一尺寸以及該第一複數個編碼單元的對應的一編碼單元的一尺寸,該第二圖像的該特定塊拆分成該等分支候選編碼單元被決定是無效的情況下,決定不大於來自該特定 塊拆分層級的一預定數目的該特定塊的複數個候選細分是有效的。
  7. 如申請專利範圍第6項所述之視訊解碼裝置,其中該預定數目是1或者2。
  8. 如申請專利範圍第1項所述之視訊解碼裝置,其中該處理電路進一步用於:識別該第二圖像的該特定塊的複數個相鄰編碼單元,該等相鄰編碼單元鄰近於該特定塊;以及在該特定塊的一尺寸大於或大於等於所識別的該等相鄰編碼單元的一對應的尺寸的情況下,決定將該第二圖像的該特定塊拆分成該等分支候選編碼單元是有效的。
  9. 如申請專利範圍第8項所述之視訊解碼裝置,其中該處理電路進一步用於:在根據該第二圖像的該特定塊的一尺寸以及所識別的該等相鄰編碼單元的對應的尺寸,該第二圖像的該特定塊拆分成該等分支候選編碼單元被決定是無效的情況下,決定不大於來自該特定塊拆分層級的一預定數目的該特定塊的複數個候選細分是有效的。
  10. 一視訊解碼方法,包括:接收與包括一編碼圖像的一圖像幀有關的一編碼的視訊資料,該圖像幀是對應於該圖像幀的一第一色彩空間分量的至少一第一圖像以及對應於該圖像幀的一第二色彩空間分量的一第二圖像的組合;決定用於將該第一圖像分割成一第一複數個編碼單元的一第一編碼樹結構; 決定用於將該第二圖像分割成一第二複數個編碼單元的一第二編碼樹結構,包括根據該第一複數個編碼單元的對應的一或複數個編碼單元,決定將該第二圖像的一特定塊拆分成複數個分支候選編碼單元是否是無效的;以及基於該第二複數個編碼單元重構該第二圖像用於輸出。
  11. 如申請專利範圍第10項所述之視訊解碼方法,其中決定將該第二圖像的該特定塊拆分成該等分支候選編碼單元是否是無效的包括:對於該特定塊的一組下一層級分支候選編碼單元的每一分支候選編碼單元,在對應於該分支候選編碼單元的該第一複數個編碼單元中識別一基準編碼單元,以及決定關於該編碼圖像的該分支候選編碼單元的一尺寸是否小於關於該編碼圖像的該基準編碼單元的一尺寸;以及在關於該編碼圖像的該組下一層級分支候選編碼單元中的一分支候選編碼單元的尺寸小於關於該編碼圖像的對應的基準編碼單元的尺寸的情況下,決定該組下一層級候選編碼單元是無效的。
  12. 如申請專利範圍第11項所述之視訊解碼方法,其中基於對應於一特定分支候選編碼單元的該編碼圖像中一第一區域的一面積,決定該第二圖像的該特定分支候選編碼單元的尺寸;以及基於對應於該基準編碼單元的該編碼圖像中一第二區域的一面積,決定該第一圖像的該基準編碼單元的尺寸。
  13. 如申請專利範圍第11項所述之視訊解碼方法,其中 基於對應於一特定分支候選編碼單元的該編碼圖像中一第一區域的一寬度或一高度,決定該第二圖像的該特定分支候選編碼單元的尺寸;以及基於對應於該基準編碼單元的該編碼圖像中一第二區域的一寬度或一高度,決定該第一圖像的該基準編碼單元的尺寸。
  14. 如申請專利範圍第10項所述之視訊解碼方法,其中將該第二圖像的該特定塊拆分成該等分支候選編碼單元是否是無效的被決定為與該第一圖像的一配對塊的一對應的設定相同。
  15. 如申請專利範圍第10項所述之視訊解碼方法,進一步包括:在根據該第二圖像的該特定塊的一尺寸以及該第一複數個編碼單元中對應的一編碼單元的一尺寸決定將該第二圖像的該特定塊拆分成該等分支候選編碼單元是無效的情況下,決定不大於來自該特定塊拆分層級的一預定數目的該特定塊的複數個候選細分是有效的。
  16. 如申請專利範圍第15項所述之視訊解碼方法,其中該預定數目是1或者2。
  17. 如申請專利範圍第10項所述之視訊解碼方法,進一步包括:識別該第二圖像的該特定塊的複數個相鄰編碼單元,該等相鄰編碼單元鄰近於該特定塊;以及在該特定塊的一尺寸大於或大於等於所識別的該等相鄰編碼單元的一對應尺寸的情況下,決定將該第二圖像的該特定塊拆分成該等分支候選編碼單元是有效的。
  18. 如申請專利範圍第17項所述之視訊解碼方法,進一步包括:在根據該第二圖像的該特定塊的一尺寸以及所識別的該等相鄰編碼單元的對應的尺寸,將該第二圖像的該特定塊拆分成該等分支候選編碼單元被決定是無效的情況下,決定不大於來自該特定塊的拆分層級的一預定數目的特定塊的該等候選細分是有效的。
  19. 一種視訊編碼裝置,包括:一處理電路,用於:接收包括一原始圖像的一圖像幀,該圖像幀是對應於該圖像幀一第一色彩空間分量的至少一第一圖像以及對應於該圖像幀一第二色彩空間分量的一第二圖像的組合;決定用於將該第一圖像分割成一第一複數個編碼單元的一第一編碼樹結構;決定用於分割該第二圖像的複數個候選編碼單元,包括根據該第一複數個編碼單元的對應的一或複數個編碼單元,決定將一特定塊拆分成複數個分支候選編碼單元是否是無效的;基於該等候選編碼單元決定用於將該第二圖像拆分成一第二複數個編碼單元的一第二編碼樹結構;以及根據該第二複數個編碼單元生成表示該第二圖像的編碼資料用於輸出。
  20. 如申請專利範圍第19項所述之視訊編碼裝置,其中該處理電路進一步用於:對於該特定塊的一組下一層級分支候選編碼單元的每一分支候選編碼單元, 從對應於該分支候選編碼單元的該第一複數個編碼單元中識別一基準編碼單元,以及決定關於該原始圖像的該分支候選編碼單元的一尺寸是否小於關於該原始圖像的該基準編碼單元的一尺寸;以及在關於該原始圖像的該組下一層級分支候選編碼單元的一分支候選編碼單元的尺寸小於關於該原始圖像的對應的基準編碼單元的尺寸的情況下,決定該組下一層級分支候選編碼單元是無效的。
  21. 如申請專利範圍第20項所述之視訊編碼裝置,其中基於對應於一特定分支編碼單元的該原始圖像中一第一區域的一面積,決定該第二圖像的該特定分支候選編碼單元的尺寸;以及基於對應於該基準編碼單元的該原始圖像中一第二區域的一面積,決定該第一圖像的該基準編碼單元的尺寸。
  22. 如申請專利範圍第20項所述之視訊編碼裝置,其中基於對應於一特定分支編碼單元的該原始圖像中一第一區域的一寬度或一高度,決定該第二圖像的該特定分支候選編碼單元的尺寸;以及基於對應於該基準編碼單元的該原始圖像中一第二區域的一寬度或一高度,決定該第一圖像的該基準編碼單元的尺寸。
  23. 如申請專利範圍第19項所述之視訊編碼裝置,其中將該第二圖像的該特定塊拆分成該特定候選編碼單元的複數個分支候選編碼單元是否是無效的被決定為與該第一圖像的一配對圖像的一對應的設定相同。
  24. 如申請專利範圍第19項所述之視訊編碼裝置,其中該處理電路進一步用於:基於該第一編碼樹結構決定用於分割該第二圖像的一組初始候選編碼單元;對於該組初始候選編碼單元的一葉候選編碼單元,識別不大於來自該葉候選編碼單元拆分層級的一預定數目的複數個擴展分支候選編碼單元;以及獲得該等候選編碼單元來包括該組初始候選編碼單元以及所識別的該等擴展分支候選編碼單元。
  25. 如申請專利範圍第24項所述之視訊編碼裝置,其中該預定數目是1或者2。
  26. 如申請專利範圍第19項所述之視訊編碼裝置,其中該處理電路進一步用於:基於該第一分割樹結構決定用於分割該第二圖像的一組初始候選編碼單元;對於該組初始候選編碼單元的一葉候選編碼單元,識別該第二圖像的複數個相鄰編碼單元,該等相鄰編碼單元鄰近于該葉候選編碼單元,以及在該葉候選編碼單元的一尺寸大於或大於等於所識別的該等相鄰編碼單元的一對應的尺寸的情況下,識別該葉候選編碼單元的複數個擴展分支候選編碼單元;以及獲得該等候選編碼單元來包括該組初始候選編碼單元以及所識別的 該等擴展分支候選編碼單元。
  27. 如申請專利範圍第26項所述之視訊編碼裝置,其中該處理電路進一步用於:對於該組初始候選編碼單元的該葉候選編碼單元,在該葉候選編碼單元的尺寸大於或大於等於所識別的該等相鄰編碼單元的對應的尺寸的情況下,識別不大於來自該葉候選編碼單元拆分層級的一預定數目的該葉候選編碼單元的該等擴展分支候選編碼單元。
  28. 一種視訊編碼方法,包括:接收包括一原始圖像的一圖像幀,該圖像幀是對應於該圖像幀一第一色彩空間分量的至少一第一圖像以及對應於該圖像幀一第二色彩空間分量的一第二圖像的一組合;決定用於將該第一圖像分割成一第一複數個編碼單元的一第一編碼結構;由一處理電路決定用於分割該第二圖像的複數個候選編碼單元,包括根據該第一複數個編碼單元的對應的一或複數個編碼單元,決定將一特定塊拆分成複數個分支候選編碼單元是否是無效的;基於該等候選編碼單元,由該處理電路決定用於將該第二圖像拆分成一第二複數個編碼單元的一第二編碼樹結構;以及根據該第二複數個編碼單元,由該處理電路生成表示該第二圖像的編碼資料用於輸出。
  29. 如申請專利範圍第28項所述之視訊編碼方法,其中決定將該特定塊拆分成該特定候選編碼單元的該等分支候選編碼單元是否是無效的 包括:對於該特定塊的一組下一層級分支候選編碼單元的每一分支候選編碼單元,從對應於該分支候選編碼單元的該第一複數個編碼單元中識別一基準編碼單元,以及決定關於該原始圖像的該分支候選編碼單元的一尺寸是否小於關於該原始圖像的該基準編碼單元的一尺寸;以及在關於該原始圖像的該組下一層級分支候選編碼單元的一分支候選編碼單元的尺寸小於關於該原始圖像的對應的基準編碼單元的尺寸的情況下,決定該組下一層級分支候選編碼單元是無效的。
  30. 如申請專利範圍第29項所述之視訊編碼方法,其中基於對應於一特定分支編碼單元的該原始圖像中一第一區域的一面積,決定該第二圖像的該特定分支候選編碼單元的尺寸;以及基於對應於該基準編碼單元的該原始圖像中一第二區域的一面積,決定該第一圖像的該基準編碼單元的尺寸。
  31. 如申請專利範圍第29項所述之視訊編碼方法,其中基於對應於一特定分支編碼單元的該原始圖像中一第一區域的一寬度或一高度,決定該第二圖像的該特定分支候選編碼單元的尺寸;以及基於對應於該基準編碼單元的該原始圖像中一第二區域的一寬度或一高度,決定該第一圖像的該基準編碼單元的尺寸。
  32. 如申請專利範圍第28項所述之視訊編碼方法,其中將該第二圖像的 該特定塊拆分成該等分支候選編碼單元是否是無效的被決定為與該第一圖像的一配對塊的一對應的設定相同。
  33. 如申請專利範圍第28項所述之視訊編碼方法,其中該決定該等候選編碼單元包括:基於該第一編碼樹結構決定用於分割該第二圖像的一組初始候選編碼單元;對於該組初始候選編碼單元中的一葉候選編碼單元,識別不大於來自該葉候選編碼單元拆分層級的一預定數目的複數個擴展分支候選編碼單元;以及獲得該等候選編碼單元來包括該組初始候選編碼單元以及所識別的該等擴展分支候選編碼單元。
  34. 如申請專利範圍第33項所述之視訊編碼方法,其中該預定數目是1或者2。
  35. 如申請專利範圍第28項所述之視訊編碼方法,其中該決定該等候選編碼單元包括:基於該第一編碼樹結構,決定用於分割該第二圖像的一組初始候選編碼單元;對於該組初始候選編碼單元的一葉候選編碼單元,識別該第二圖像的複數個相鄰編碼單元,該等相鄰編碼單元鄰近于該葉候選編碼單元,以及在該葉候選編碼單元的一尺寸大於或大於等於所識別的該等相鄰編碼單元的一對應的尺寸的情況下,識別該葉候選編碼單元的複數個 擴展分支候選編碼單元;以及獲得該等候選編碼單元來包括該組初始候選編碼單元以及所識別的該等擴展分支候選編碼單元。
  36. 如申請專利範圍第35項所述之視訊編碼方法,其中該決定該等候選編碼單元包括:對於該組初始候選編碼單元的該葉候選編碼單元,在該葉候選編碼單元尺寸大於或大於等於所識別的該等相鄰編碼單元的對應的尺寸的情況下,識別不大於來自該葉候選編碼單元拆分層級的一預定數目的該葉候選編碼單元的該等擴展分支候選編碼單元。
TW107108634A 2017-03-15 2018-03-14 視頻編解碼的方法以及裝置 TWI670972B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762471388P 2017-03-15 2017-03-15
US62/471,388 2017-03-15
US15/919,911 2018-03-13
US15/919,911 US10820017B2 (en) 2017-03-15 2018-03-13 Method and apparatus of video coding

Publications (2)

Publication Number Publication Date
TW201840193A TW201840193A (zh) 2018-11-01
TWI670972B true TWI670972B (zh) 2019-09-01

Family

ID=63519815

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107108634A TWI670972B (zh) 2017-03-15 2018-03-14 視頻編解碼的方法以及裝置

Country Status (3)

Country Link
US (1) US10820017B2 (zh)
TW (1) TWI670972B (zh)
WO (1) WO2018166490A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY167204A (en) 2011-06-28 2018-08-13 Sony Corp Image processing device and image processing method
US10609423B2 (en) 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
SG11202006004PA (en) * 2018-01-02 2020-07-29 Samsung Electronics Co Ltd Encoding method and apparatus therefor, and decoding method and apparatus therefor
US11012715B2 (en) * 2018-02-08 2021-05-18 Qualcomm Incorporated Intra block copy for video coding
KR102631517B1 (ko) 2018-08-28 2024-01-30 후아웨이 테크놀러지 컴퍼니 리미티드 픽처 분할 방법 및 장치
JP7317973B2 (ja) * 2019-01-08 2023-07-31 華為技術有限公司 画像予測方法、機器、及びシステム、装置、及び記憶媒体
US10970070B2 (en) * 2019-03-29 2021-04-06 Arm Limited Processing of iterative operation
CN114731402A (zh) 2019-10-07 2022-07-08 Sk电信有限公司 用于分割画面的方法和解码设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104081777A (zh) * 2012-01-30 2014-10-01 高通股份有限公司 用于视频译码的残余四叉树(rqt)译码
WO2016074567A1 (en) * 2014-11-11 2016-05-19 Mediatek Singapore Pte. Ltd Method of video coding using separate coding tree for luma and chroma

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3404918A1 (en) * 2010-09-30 2018-11-21 Samsung Electronics Co., Ltd. Video decoding method for decoding hierarchical-structure symbols
US10021384B2 (en) * 2010-12-23 2018-07-10 Samsung Electronics Co., Ltd. Method and device for encoding intra prediction mode for image prediction unit, and method and device for decoding intra prediction mode for image prediction unit
CA2840488A1 (en) * 2011-06-28 2013-01-03 Samsung Electronics Co., Ltd. Prediction method and apparatus for chroma component of image using luma component of image
FR2993084A1 (fr) * 2012-07-09 2014-01-10 France Telecom Procede de codage video par prediction du partitionnement d'un bloc courant, procede de decodage, dispositifs de codage et de decodage et programmes d'ordinateur correspondants
EP2952003B1 (en) * 2013-01-30 2019-07-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
EP3886433A3 (en) * 2013-03-07 2021-10-27 Telefonaktiebolaget LM Ericsson (publ) Video transcoding
US10531105B2 (en) * 2013-12-17 2020-01-07 Qualcomm Incorporated Signaling partition information for 3D lookup table for color gamut scalability in multi-layer video coding
CN106254870B (zh) * 2015-06-08 2020-08-18 财团法人工业技术研究院 采用自适性色彩转换的视频编码方法、系统和计算机可读取记录介质
CN115134609A (zh) * 2015-06-11 2022-09-30 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
US10735728B2 (en) * 2015-10-12 2020-08-04 Lg Electronics Inc. Method for processing image and apparatus therefor
US10200719B2 (en) * 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
US10567808B2 (en) * 2016-05-25 2020-02-18 Arris Enterprises Llc Binary ternary quad tree partitioning for JVET
US10609423B2 (en) * 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
EP3813375A1 (en) * 2017-01-31 2021-04-28 Sharp Kabushiki Kaisha Systems and methods for partitioning a picture into video blocks for video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104081777A (zh) * 2012-01-30 2014-10-01 高通股份有限公司 用于视频译码的残余四叉树(rqt)译码
WO2016074567A1 (en) * 2014-11-11 2016-05-19 Mediatek Singapore Pte. Ltd Method of video coding using separate coding tree for luma and chroma

Also Published As

Publication number Publication date
TW201840193A (zh) 2018-11-01
US20180270509A1 (en) 2018-09-20
US10820017B2 (en) 2020-10-27
WO2018166490A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
TWI670972B (zh) 視頻編解碼的方法以及裝置
US10284846B2 (en) Image predictive encoding and decoding device
WO2017157324A1 (en) Method and apparatus of video coding
US9596484B2 (en) Method of depth intra prediction using depth map modelling
US10735761B2 (en) Method and apparatus of video coding
TW201811031A (zh) 用於圖像和視訊編碼的基於模板的圖框內預測的方法和裝置
KR100968652B1 (ko) 이미지 프레임들의 비-프레임-에지 블록들을 표현함에있어서의 강화된 압축
TW201526617A (zh) 影像處理方法與系統、解碼方法、編碼器與解碼器
JP2017538381A (ja) ビデオ符号化における成分間予測
JP2016001858A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US10178405B2 (en) Enhanced coding and decoding using intra block copy mode
US20160100161A1 (en) Decoder, encoder, decoding method, encoding method, and codec system
TW201941602A (zh) 用於視訊編碼的可變仿射合併候選
US20150350677A1 (en) Encoding apparatus and decoding apparatus for depth image, and encoding method and decoding method
US20170041623A1 (en) Method and Apparatus for Intra Coding for a Block in a Coding System
US9762916B2 (en) Encoding apparatus and method
JP2018509069A (ja) 画像符号化方法及び装置並びに画像復号方法及び装置
US20240064284A1 (en) Methods, systems and encoded bitstream for combined lossless and lossy coding
KR102570374B1 (ko) 영상 부호화 장치, 영상 부호화 방법, 영상 부호화 프로그램, 영상 복호 장치, 영상 복호 방법, 및 영상 복호 프로그램
US20190089915A1 (en) Image processing device, image processing method, and non-transitory computer readable medium storing image processing program
JP2003244696A (ja) 符号化処理装置、復号処理装置、および方法、並びにコンピュータ・プログラム
KR20140007283A (ko) 깊이 영상의 부호화 장치 및 방법, 복호화 장치 및 방법
JP2002199395A (ja) 画像処理方法及び画像処理装置