TWI713356B - 樣本區域合併技術 - Google Patents

樣本區域合併技術 Download PDF

Info

Publication number
TWI713356B
TWI713356B TW109111740A TW109111740A TWI713356B TW I713356 B TWI713356 B TW I713356B TW 109111740 A TW109111740 A TW 109111740A TW 109111740 A TW109111740 A TW 109111740A TW I713356 B TWI713356 B TW I713356B
Authority
TW
Taiwan
Prior art keywords
block
prediction
data stream
information
blocks
Prior art date
Application number
TW109111740A
Other languages
English (en)
Other versions
TW202029762A (zh
Inventor
菲利浦 希利
西蒙 奧汀
馬汀 文肯
迪特利夫 馬皮
湯瑪士 威剛德
Original Assignee
美商Ge影像壓縮有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=44072790&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=TWI713356(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority claimed from PCT/EP2010/054833 external-priority patent/WO2011127963A1/en
Application filed by 美商Ge影像壓縮有限公司 filed Critical 美商Ge影像壓縮有限公司
Publication of TW202029762A publication Critical patent/TW202029762A/zh
Application granted granted Critical
Publication of TWI713356B publication Critical patent/TWI713356B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce

Abstract

依據一實施例,資訊樣本陣列細分而成的單純連結區有利地合併或分組係以較少資料量編碼。為了達成此項目的,針對單純連結區,界定一預定相對位置關係,其允許針對一預定單純連結區而識別在多個單純連結區內部與該預定單純連結區具有預定相對位置關係的單純連結區。換言之,若該數目為零,則在該資料串流內部可能不存在有針對該預定單純連結區之一合併指標。依據又其它實施例,將表示該二維資訊信號空間取樣之一樣本區藉遞歸地多重分割而空間細分成多個不同大小的單純連結區,係依據含在該資料串流之一第一語法元素子集執行,接著為依據在該資料串流內部之一第二語法元素子集與該第一子集不相連接之一空間上鄰近單純連結區之組合,來獲得該樣本陣列之一中間細分成單純連結區之不相連接集合,其聯合為該等多個單純連結區。當從該資料串流重建樣本陣列時係使用該中間細分。

Description

樣本區域合併技術
本發明係有關於用於二維取樣資訊信號諸如視訊或靜像之資訊樣本陣列之編碼方案。
於影像及視訊編碼中,圖像或針對該等圖像之特定樣本陣列集合通常分解成區塊,該等區塊與關聯特定編碼參數。圖像通常係由多個樣本陣列組成。此外,一圖像也可關聯額外輔助樣本陣列,該等樣本陣列例如載明透明資訊或深度對映表。一圖像的樣本陣列(包括輔助樣本陣列)也可集合成一或多個所謂的平面群組,此處各個平面群組係由一或多個樣本陣列組成。一圖像的平面群組可獨立地編碼,或若該圖像係關聯多於一個平面群組,則以來自同一圖像之其它平面群組的預測編碼。各平面群組通常分解成多個區塊。該等區塊(或樣本陣列之相對應區塊)係藉跨圖像預測或圖像內預測而預測。各區塊可具有不同尺寸且可以是二次方或矩形。一圖像分割成多個區塊可藉語法固定,或可(至少部分地)在位元串流內部傳訊。經常發送之語法元素傳訊針對預定大小之區塊的細分。此等語法元素可載明一區塊是否且如何細分成更小型區塊及相關聯之編碼參數,例如用於預測目的。針對一區塊(或樣本陣列之相對應區塊)的全部樣本,相關聯之編碼參數的解碼係以某個方式載明。於該實例中,於一區塊的全部樣本係使用相同預測參數集合預測,該等預測參數諸如參考指數(識別在已編碼圖像集合中之一參考圖像)、運動參數(載明一參考圖像與該目前圖像間之區塊移動之量測值)、載明間插濾波器之參數、內部預測模式等。運動參數可以具有一水平成分及一垂直成分之位移向量表示,或藉更高階運動參數表示,諸如仿射六成分組成之運動參數。也可能多於一個特定預測參數集合(諸如參考指數及運動參數)係與單一區塊相關聯。該種情況下,針對此等特定預測參數之各集合,產生針對該區塊(或樣本陣列之相對應區塊)之單一中間預測信號,及終預測信號係由包括疊置中間預測信號之一組合所建立。相對應加權參數及可能地,也包括一常數偏位(加至該加權和)可針對一圖像或一參考圖像或一參考圖像集合為固定,或其含括在針對相對應區塊之預測參數集合。原先區塊(或樣本陣列之相對應區塊)與其預測信號間之差,也稱作為殘差信號,該差通常係經變換及量化。經常,施加二維變換至該殘差信號(或針對該殘差區塊之相對應樣本陣列)。用於變換編碼,已經使用特定預測參數集合之區塊(或樣本陣列之相對應區塊)可在施加變換之前進一步分裂。變換區塊可等於或小於用於預測之區塊。也可能一變換區塊包括多於一個用來預測的區塊。不同變換區塊可具有不同大小,變換區塊可表示平方或矩形區塊。於變換後,所得變換係數經量化,獲得所謂的變換係數位準。變換係數位準及預測參數以及若存在時,細分資訊係經熵編碼。
於影像及視訊編碼標準中,由語法所提供的將一圖像(或一平面群組)細分成區塊之可能性極為有限。通常只能規定是否(以及可能地如何)具有預先界定尺寸之一區塊可細分成更小型區塊。舉個實例,於H.264之最大區塊尺寸為16×16。16×16區塊也稱作為巨集區塊,於第一步驟,各圖像分割成巨集區塊。針對各個16×16巨集區塊,可傳訊其是否編碼成16×16區塊,或兩個16×8區塊,或兩個8×16區塊,或四個8×8區塊。若16×16區塊被細分成四個8×8區塊,則各個8×8區塊可編碼為一個8×8區塊,或兩個8×4區塊,四個4×4區塊。在最先進影像及視訊編碼標準中載明分割成區塊的小集合可能性具有用以傳訊細分資訊之側邊資訊率可維持小之優點,但具有針對該等區塊傳輸預測參數所需位元率低之缺點,容後詳述。傳訊細分資訊之側邊資訊率確實通常表示針對一區塊之顯著大量總位元率。當達成此種側邊資訊時,編碼效率增高,例如可藉使用較大型區塊大小達成。視訊序列之實際影像或圖像係由具有特定性質之任意形狀物件組成。舉個實例,此等物件或物件部件係以獨特質地或獨特移動為其特徵。通常相同預測參數集合可獲加至此種物件或物件部件。但物件邊界通常並不吻合大型預測區塊(例如於H.264之16×16巨集區塊)可能的區塊邊界。
編碼器通常決定細分(在有限種可能性集合中)導致特定率失真成本量測之最小化。針對任意形狀物件,如此可能導致大量小區塊。且因此等小區塊係與需要傳輸的一預測參數集合相關聯,故側邊資訊率變成總位元率的一大部分。但因小區塊中之數者仍然表示同一物件或物件部件區,故對多個所得區塊之預測參數為相同或極為相似。
換言之,一圖像細分或拼貼成較小型部分或拼貼塊或區塊實質上影響編碼效率及編碼複雜度。如前文摘述,一圖像細分成多個較小區塊允許編碼參數之空間更精細設定,藉此允許此等編碼參數更佳適應於圖像/視訊材料。另一方面,以更細粒度設定編碼參數對通知解碼器有關需要的設定值之所需側邊資訊量加諸更高負荷。又復,須注意編碼器(進一步)空間上細分圖像/視訊成為區塊的任何自由度,劇增可能的編碼參數設定值量,及因而通常使得針對導致最佳率/失真折衷的編碼參數設定值之搜尋又更困難。
一個目的係提供一種用以編碼表示空間取樣二維資訊信號諸如但非限於視訊圖像或靜像之資訊樣本陣列之編碼方案,該方案允許達成在編碼複雜度與可達成的率失真比間更佳的折衷,及/或達成更佳率失真比。
此項目的可藉如申請專利範圍第1、8或9項之解碼器、如申請專利範圍第20、22、23或24項之編碼器、如申請專利範圍第19、20、25及26項之方法、如申請專利範圍第27項之電腦程式、及如申請專利範圍第28或30項之資料串流而達成。
依據一實施例,該資訊樣本陣列所細分而成的一單純連結區有利的合併或分組係以較少資料量編碼。為了達成此項目的,針對單純連結區,界定一預定相對位置關係,其允許針對一預定單純連結區而識別在多個單純連結區內部與該預定單純連結區具有預定相對位置關係的單純連結區。換言之,若該數目為零,則在該資料串流內部可能不存在有針對該預定單純連結區之一合併指標。又,若與該預定單純連結區具有預定相對位置關係之單純連結區數目為1,則可採用該單純連結區之編碼參數,或無需任何額外語法元素而可用來預測針對該預定單純連結區之編碼參數。否則,亦即若與該預定單純連結區具有預定相對位置關係之單純連結區數目為大於1,則可遏止一額外語法元素的導入,即便與此等經識別的單純連結區相關聯之編碼參數彼此為相同亦復如此。
依據一實施例,若該等鄰近單純連結區之編碼參數彼此為不等,則一參考鄰近識別符可識別與該預定單純連結區具有預定相對位置關係之單純連結區數目之一適當子集,及當採用該等編碼參數或預測該預定單純連結區之編碼參數時使用此一適當子集。
依據又其它實施例,藉遞歸地多重分割執行將表示該二維資訊信號之空間取樣的一樣本區而空間細分成多個具有不同大小的單純連結區係取決於在該資料串流中之一第一語法元素子集執行,接著為取決於與該第一子集不相連接之在該資料串流內部之一第二語法元素子集而組合空間鄰近單純連結區,來獲得將該樣本陣列中間細分成不相連接的單純連結區集合,其聯合為該等多個單純連結區。該中間細分係用在從該資料串流重建該樣本陣列時。如此允許使得就該細分而言之最佳化較為不具關鍵重要性,原因在於實際上過細的細分可藉隨後的合併加以補償。又,細分與合併的組合允許達成單獨藉遞歸多重分割所不可能達成的中間細分,因此藉使用不相連接的語法元素集合執行細分與合併的級聯(concatenation)允許有效或中間細分更佳地調整適應該二維資訊信號之實際內容。與其優點相比較,因用以指示合併細節之額外語法元素子集所導致的額外管理資料量乃可忽略。
依據一個實施例,首先表示空間取樣資訊信號之資訊樣本陣列於空間上置於樹根區,然後根據抽取自一資料串流之多元樹細分資訊,藉由遞歸地多次分割該樹根區之子集,而至少將該樹根區之一子集分割成不同尺寸的更小型單純連結區,為了允許找出就率失真意義上,過度細小細分與過度粗大細分間的良好折衷,資訊樣本陣列進行空間分割成的樹根區的最小區尺寸係含括在該資料串流且在解碼端從該資料串流抽取。據此,解碼器可包含一抽取器,其係組配來從資料串流抽取最大區尺寸及多元樹細分資訊;一細分器,其係組配來將表示空間取樣資訊信號之一資訊樣本陣列空間分割成最大區尺寸,及依據該多元樹細分資訊,將該等樹根區之至少一個子集藉遞歸地多重區分該等樹根區之該子集而細分成更小型單純連結不同尺寸區;及一重建器,其係組配來使用該細分而將來自該資料串流之資訊樣本陣列重建成多個較小型單純連結區。
依據一個實施例,資料串流也含有高達樹根區子集接受遞歸地多重區分的最高階層式層級。藉此辦法,多元樹細分資訊的傳訊變得更容易且需更少編碼位元。
此外,重建器可經組配來在取決於中間細分的粒度,執行下列措施中之一者或多者:至少在內-及跨-預測模式中決定欲使用哪一個預測模式;從頻域變換至空間域,執行及/或設定跨-預測之參數;執行及/或設定針對用於內-預測之參數。
此外,抽取器可經組配來以深度優先遍歷順序而從資料串流抽取與經區分的樹區塊之葉區相關聯的語法元素。藉由此種辦法,抽取器可探討已經編碼鄰近葉區之語法元素統計學,具有比使用寬度優先遍歷順序更高的機率。
依據另一個實施例,使用又一細分器來依據又一多元樹細分資訊來將該較小型單純連結區之至少一個子集細分成又更小型單純連結區。第一階段細分可由重建器用來執行資訊樣本區之預測,而第二階段細分可由重建器用來執行自頻域至空間域的再變換。定義殘差細分相對於預測細分為從屬,使得總細分的編碼較少耗用位元;另一方面,由從屬所得之殘差細分之限制度及自由度對編碼效率只有小量負面影響,原因在於大部分具有相似運動補償參數之圖像部係比具有相似頻譜性質之圖像部更大。
依據又另一實施例,又一最大區尺寸係含在該資料串流內,又一最大區尺寸界定樹根子區大小,該樹根子區係在該等樹根子區之至少一子集依據又更多元樹細分資訊而細分成為又更小型單純連結區之前先被分割。如此轉而允許一方面預測子區之最大區尺寸之獨立設定,及另一方面允許殘差細分,如此可找出較佳率/失真折衷。
依據本發明之又另一實施例,資料串流包含與第二語法元素子集不相交的第一語法元素子集形成該多元樹細分資訊,其中在該解碼端之一合併器允許依據第一語法元素子集而組合空間鄰近的多元樹細分之小型單純連結區來獲得該樣本陣列之一中間細分。重建器可經組配來使用中間細分而重建樣本陣列。藉此方式,編碼器更容易調適有效細分成為資訊樣本陣列之性質的空間分布,而找出最佳率/失真折衷。舉例言之,若最大區尺寸為大,則多元樹細分資訊可能因樹根區的變大而更複雜。但另一方面,若最大區尺寸為小,則更可能鄰近樹根區係有關具有相似性質的資訊內容,使得此等該樹根區也可一起處理。合併填補前述極端間之此一間隙,藉此允許接近最佳化的粒度細分。從編碼器觀點,合併語法元素允許更鬆弛的或更運算上不複雜的編碼程序,原因在於若編碼器錯誤使用太細小的細分,則此誤差可藉編碼器隨後補償,藉由隨後設定合併語法元素有或無只調整適應一小部分在合併語法元素設定前已經被設定的語法元素達成。
依據又另一實施例,最大區尺寸及多元樹細分資訊係用於殘差細分而非預測細分。
用來處理表示空間取樣資訊信號之一資訊樣本陣列之多元樹細分之單純連結區之一深度優先遍歷順序而非寬度優先遍歷順序係依據一實施例使用。藉由使用該深度優先遍歷順序,各個單純連結區有較高機率來具有已經被橫過的鄰近單純連結區,使得當重建個別目前單純連結區時,有關此等鄰近單純連結區資訊可被正面地探勘。
當資訊樣本陣列首先被分割成零層級的階層式尺寸的樹根區規則排列,然後再細分該等樹根區之至少一個子集成為不等大小的更小型單純連結區時,重建器可使用鋸齒形掃描順序來掃描該樹根區,針對各個欲區分的樹根區,以深度優先遍歷順序處理該等單純連結的葉區,隨後又更以鋸齒形掃描順序步入下個樹根區。此外,依據深度優先遍歷順序,具有相同階層式層級的單純連結的葉區也可以鋸齒形掃描順序橫過。如此,維持具有鄰近單純連結葉區的或然率增高。
依據一個實施例,雖然與多元樹結構節點相關聯之旗標係於深度優先遍歷順序循序排列,但旗標之循序編碼使用機率估算脈絡,其針對在多元樹結構的相同階層式層級內部與多元樹結構節點相關聯之旗標為相同,但針對在多元樹結構的不同階層式層級內部的多元樹結構節點相關聯之旗標為不同,藉此允許欲提供的脈絡數目間之良好折衷,及另一方面,調整適應旗標之實際符元統計數字。
依據一個實施例,針對所使用的預定旗標之機率估算脈絡也係取決於依據深度優先遍歷順序在該預定旗標前方的旗標,且係對應於與該預定旗標相對應之區具有預定相對位置關係之樹根區之各區。類似於前述構面下方潛在的構想,使用深度優先遍歷順序保證有高機率:已經編碼旗標也包含鄰近預定旗標區之該等區的對應旗標,使此一知識可用來更優異地調適脈絡用於該預定旗標。
可用於設定針對一預定旗標之旗標可以是對應於位在該預定旗標相對應區上區及/或左區的該等旗標。此外,用以選擇脈絡之旗標可限於與屬於預定旗標相關聯之節點相同階層式層級的旗標。
依據一個實施例,編碼傳訊包含最高階層式層級之指示及與不等於最高階層式層級之節點相關聯之一旗標序列,各個旗標載明相關聯節點是否為中間節點或子代節點,及於深度優先或寬度優先遍歷順序循序解碼得自該資料串流之旗標序列,跳過最高階層式層級之節點而自動地指向相同葉節點,因而減低編碼率。
依據又一個實施例,多元樹結構之編碼傳訊可包含最高階層式層級之指示。藉此方式,可能將旗標的存在限於最高階層式層級以外的階層式層級,原因在於總而言之排除具有最高階層式層級之區塊的進一步區分。
於空間多元樹細分屬於一次多元樹細分資訊之葉節點及未經區分樹根區之二次細分的一部分之情況下,用於編碼二次細分旗標的脈絡可經選擇使得該脈絡針對與相等大小區相關聯之旗標為相同。
於後文圖式之詳細說明中,出現在數幅圖間之元件係以共通元件符號指示來避免重複說明此等元件。反而有關一個圖式內部呈現之元件的解釋也適用於其中出現個別元件之其它圖式,只要於此等其它圖式所呈現之解釋指出其中的偏差即可。
又,後文說明始於就圖1至11解釋之編碼器及解碼器實施例。就此等圖式呈現之實施例組合本案之多個構面,但若個別對編碼方案內部實施也優異,如此,就隨後之圖式,實施例將簡短討論前述個別構面,此等實施例係以不同意義表示就圖1及圖11描述之實施例之摘要。
圖1顯示依據本發明之實施例之編碼器。圖1之編碼器10包含一預測器12、一殘差前置編碼器14、一殘差重建器16、一資料串流插入器18及一區塊分割器20。編碼器10係用以將一時空取樣資訊信號編碼成一資料串流22。時空取樣資訊信號例如可為視訊,亦即一序列圖像。各圖像表示一影像樣本陣列。時空資訊信號之其它實例例如包含藉例如光時(time-of-light)相機拍攝的深度影像。又須注意一空間取樣資訊信號可包含每個圖框或時間戳記多於一個陣列,諸如於彩色視訊之情況下,彩色視訊例如包含每個圖框一亮度樣本陣列連同二彩度樣本陣列。也可能對資訊信號之不同成分亦即亮度及彩度之時間取樣率可能不同。同理,適用於空間解析度。視訊也可伴隨有額外空間取樣資訊,諸如深度或透明度資訊。但後文描述的注意焦點將集中在此等陣列中之一者的處理來首先更明白瞭解本發明之主旨,然後轉向多於一個平面的處理。
圖1之編碼器10係組配來形成資訊串流22,使得資訊串流22中之語法元素描述粒度在全圖像與個別影像樣本間之圖像。為了達成此項目的,分割器20係組配來將各圖像24細分為不同大小的單純連接區26。後文中,此等區將簡稱為區塊或子區26。
容後詳述,分割器20使用多元素細分來將圖像24細分成不同尺寸的區塊26。為了又更精準,後文就圖1至圖11所摘述之特定實施例大部分使用四叉樹細分。容後詳述,分割器20內部可包含細分器28之級聯用來將圖像24細分成前述區塊26,接著為合併器30其允許將此等區塊26組合成群組來獲得位在圖像24之未經細分與細分器28所界定的細分間之有效細分或粒度。
如圖1之虛線舉例說明,預測器12、殘差預編碼器14、殘差重建器16及資料串流插入器18係在由分割器20所界定的圖像細分上操作。舉例言之,容後詳述,預測器12使用由分割器20所界定之預測細分來決定預測細分之個別子區是否個別子區應使用個別子區之相對應預測參數依據所選用之預測模式之設定值,接受圖像內預測或跨圖像預測。
殘差預編碼器14又轉而使用圖像類似之個別子區來編碼由預測器12所提供之圖像24之預測殘差。殘差重建器16從殘差預編碼器14所輸出之語法元素重建殘差,殘差重建器16也在前述殘差細分上操作。資料串流插入器18可探討前述分割,亦即預測細分及殘差細分,來利用例如熵編碼決定語法元素間之插入順序及鄰近關係用於將藉殘差預編碼器14及預測器12輸出的語法元素插入資料串流22。
如圖1所示,編碼器10包含一輸入端32,此處該原先資訊信號進入編碼器10。一減法器34、殘差預編碼器14及資料串流插入器18以所述順序在資料串流插入器18之輸入端32與編碼資料串流22輸出之輸出端間串聯。減法器34及殘差預編碼器14為預測回路之一部分,該預測回路係藉殘差重建器16、加法器及預測器12所關閉,該等元件係以所述順序在殘差預編碼器14之輸出端與減法器34之反相輸入端間串聯。預測器12之輸出端也係連結至加法器36之又一輸入端。此外,預測器12包含直接連結至輸入端32之一輸入端且可包含又另一輸入端,其也係透過選擇性回路內濾波器38而連結至加法器36之輸出端。又,預測器12於操作期間產生側邊資訊,因此預測器12之輸出端也耦接至資料串流插入器18。同理,分割器20包含一輸出端其係連結至資料串流插入器18之另一輸入端。
已經描述編碼器10之結構,其操作模式之進一步細節詳述如後。
如前述,分割器20針對各個圖像24決定如何將圖像細分成小區26。依據欲用於預測之圖像24之細分,預測器12針對相對應於此種細分之各個小區決定如何預測個別小區。預測器12輸出小區之預測給減法器34之反相輸入端,及輸出給加法器36之又一輸入端,及將反映預測器12如何從視訊之先前編碼部分獲得此項預測之方式的預測資訊輸出給資料串流插入器18。
於減法器34之輸出端,如此獲得預測殘差,其中殘差預編碼器14係依據也由分割器20所規定之殘差細分來處理此種預測殘差。如於後文中藉圖3至圖10進一步詳細說明,由殘差預編碼器14所使用之圖像24之殘差細分可與預測器12所使用之預測細分相關,使各預測子區採用作為殘差子區或更進一步細分成為更小的殘差子區。但也可能有全然獨立無關的預測細分及殘差細分。
殘差預編碼器14將各個殘差子區藉二維變換接受從空間至頻域的變換,接著為或特有地涉及所得變換區塊之所得變換係數量化,因此失真結果係來自於量化雜訊。例如資料串流插入器18例如可使用熵編碼而將描述前述變換係數的語法元素無損耗地編碼成資料串流22。
殘差重建器16又使用再量化接著為再變換,將變換係數重新轉換成殘差信號,其中該殘差信號係在加法器36內部組合藉減法器34所得的預測來獲得預測殘差,藉此獲得在加法器36之輸出端一目前圖像之重建部分或子區。預測器12可直接使用該重建圖像子區用於內-預測,換言之,用來藉由從先前在鄰近重建的預測子區外推法而用來預測某個預測子區。但藉由從鄰近頻譜預測目前子區頻譜而在頻域內部直接進行內-預測理論上也屬可能。
用於交互預測,預測器12可使用先前已經編碼及重建的圖像版本,據此已經藉選擇性回路內濾波器38濾波。濾波器38例如可包含一解區塊濾波器或一適應性濾波器,具有適合優異地形成前述量化雜訊之移轉功能。
預測器12選擇預測參數,顯示藉由使用與圖像24內部之原先樣本比較而預測某個預測子區之方式。容後詳述,預測參數對各個預測子區可包含預測模式之指示,諸如圖像內-預測及跨圖像預測。於圖像內-預測之情況下,預測參數也包含欲內-預測之預測子區內緣主要延伸的角度指示;及於跨圖像預測之情況下,移動向量、移動圖像指數及最終高次冪移動變換參數;及於圖像內部及/或跨圖像預測二者之情況下,用來預測重建影像樣本之選擇性濾波資訊,基於此可預測目前預測子區。
容後詳述,前述由分割器20所界定的細分實質上影響藉殘差預編碼器14、預測器12及資料串流插入器18所能達成的最高率/失真比。於細分太細的情況下,由預測器12所輸出欲插入資料串流22之預測參數40需要過高編碼速率,但藉預測器12所得之預測可能較佳,及藉殘差預編碼器14欲編碼之殘差信號可能較小使其可藉較少位元編碼。於細分太過粗大之情況下,則適用相反情況。又,前述思考也以類似方式適用於殘差細分:圖像使用個別變換區塊之較細粒度變換,結果導致用來運算變換之複雜度減低及結果所得變換之空間解析度增高。換言之,較少殘差子區允許在個別殘差子區內部之內容的頻譜分配更為一致。換言之,頻譜解析度減低,顯著係數及不顯著係數(亦即量化為零)之比變差。換言之,變換粒度須調整適應局部圖像內容。此外,與更細小粒度之正面效果獨立無關,更細小粒度規則地增加需要的側邊資訊量來指示對該解碼器所選用的細分。容後詳述,後述實施例對編碼器10提供極為有效的調整適應細分至欲編碼資訊信號內容,其藉指示資料串流插入器18將細分資訊插入資料串流22來傳訊欲用在解碼端的細分。細節顯示如下。
但在以進一步細節界定分割器20之細分之前,依據本發明之實施例的解碼器將就圖2以進一步細節詳細說明。
圖2之解碼器係以參考符號100指示及包含一抽取器102、一圖像分割器104、一殘差重建器106、一加法器108、一預測器110、一選擇性回路內濾波器112及一選擇性後濾波器114。抽取器102在解碼器100之輸入端116接收編碼資料串流,及從該編碼資料串流中抽取細分資訊118、預測參數120及殘差資料122,抽取器102分別將該等資訊輸出給圖像分割器104、預測器110及殘差重建器106。殘差重建器106具有一輸出端連結至加法器108之第一輸入端。加法器108之另一輸入端及其輸出端係連結至一預測回路,於該預測回路中選擇性回路內濾波器112及預測器110係以所述順序串聯從加法器108之輸出端至預測器110之旁通路徑,直接類似於前文於圖1所述加法器36與預測器12間之連結,換言之,一者用於圖像內-預測及另一者用於跨圖像預測。加法器108之輸出端或選擇性回路內濾波器112之輸出端可連結至解碼器100之輸出端124,此處重建資訊信號例如係輸出至複製裝置。選擇性後濾波器114可連結至前導至輸出端124之路徑來改良在輸出端124之重建信號的視覺印象之視覺品質。
概略言之,殘差重建器106、加法器108及預測器110之作用類似圖1之元件16、36及12。換言之,同樣仿真前述圖1元件之操作。為了達成此項目地,殘差重建器106及預測器110係藉預測參數120,及藉圖像分割器104依據得自抽取器102之細分資訊118載明的細分控制,來以預測器12所進行或決定進行之相同方式預測該預測子區,及如同殘差預編碼器14之方式,以相同粒度重新變換所接收的變換係數。圖像分割器104又仰賴細分資訊118以同步方式重建由分割器20所選用的細分。抽取器可使用細分資訊來控制資料抽取諸如就脈絡選擇、鄰近決定、機率估算、資料串流語法的剖析等。
對前述實施例可進行若干偏差。某些偏差將在後文詳細說明就細分器28所執行的細分及合併器30所執行的合併中述及,而其它偏差將就隨後圖12至16做說明。於無任何障礙存在下,全部此等偏差皆可個別地或呈子集而施加至前文圖1及圖2之詳細說明部分。舉例言之,分割器20及104並未決定預測細分而只決定每個圖像之殘差細分。反而其也可能針對選擇性回路內濾波器38及112決定濾波細分。其它預測細分或其它殘差編碼細分獨立無關或具有相依性。此外,藉此等元件決定細分可能並非以逐一框為基礎進行。反而對某個圖框所進行的細分可重新使用或採用於某個數目之下列圖框,單純隨後轉移新細分。
於提供有關圖像分割成為子區的進一步細節中,後文說明首先係把關注焦點集中在細分器28及104a推定所負責的細分部分。然後描述合併器30及合併器104b所負責進行的合併處理程序。最後,描述跨平面適應/預測。
細分器28及104a分割圖像之方式使得一圖像被再分割成為可能具有不同大小的多個區塊用於影像或視訊資料的預測編碼及殘差編碼。如前述,圖像24可用作為一個或多個影像樣本值陣列。於YUV/YCbCr彩色空間之情況下,例如第一陣列可表示亮度通道,而另二陣列表示彩度通道。此等陣列可具有不同維度。全部陣列可分組為一或多個平面群組,各個平面群組係由一或多個連續所組成,使得各平面係含在一且唯一平面群組。後文適用於各個平面群組。一特定平面群組之第一陣列可稱作為此一平面群組之一次陣列。可能的隨後陣列為從屬陣列。一次陣列之區塊分割可基於四叉樹辦法進行,容後詳述。從屬陣列之區塊分割可基於一次陣列的分割而導算出。
依據後述實施例,細分器28及104a係組配來將一次陣列分割成為多個相等大小的方形區塊,後文中稱作為樹區塊。當使用四叉樹時,樹區塊之邊長典型為2的倍數,諸如16、32或64。但為求完整,須注意使用其它類型的樹以及二元樹或有任何葉數目之樹皆屬可能。此外,樹的子代數目可取決於樹的層級且取決於該樹表示何種信號。
此外如前文說明,樣本陣列也表示視訊序列以外之其它資訊,諸如深度對映圖或光欄位。為求簡明,後文說明的關注焦點係聚焦在四叉樹作為多元樹之代表例。四叉樹為在各個內部節點恰有四個子代之樹。各個樹區塊組成一個一次四叉樹連同在該一次四叉樹之各個葉子的從屬四叉樹。一次四叉樹決定該給定樹區塊之細分用來預測,而從屬四叉樹決定一給定預測樹區塊的細分用以殘差編碼。
一次四叉樹之根節點係與完整樹區塊相對應。舉例言之,圖3a顯示一樹區塊150。須回應各個圖像被分割成此種樹區塊150之列及行的規則格網,因而無間隙地覆蓋樣本陣列。但須注意針對後文顯示之全部區塊細分,不含重疊的無縫細分不具關鍵重要性。反而鄰近區塊可彼此重疊,只要並無葉區塊為鄰近葉區塊之適當子部分即可。
連同樹區塊150之四叉樹結構,各個節點可進一步分割成為四個子代節點,於一次四叉樹之情況下,表示樹區塊150可分裂成四個子區塊,具有樹區塊150之半寬及半高。於圖3a中,此等子區塊係以元件符號152a至152d指示。以相同方式,此等子區塊各自進一步再分割成為四個更小的子區塊具有原先子區塊的半寬及半高。於圖3d中,係針對子區塊152c舉例顯示,子區塊152c被細分成為四個小型子區塊154a至154d。至目前為止,圖3a至圖3c顯示樹區塊150如何首先被分割成為四個子區塊152a至152d,然後左下子區塊152c又被分割成四個小型子區塊154a至154d;及最後如圖3c所示,此等小型子區塊之右上區塊154b再度被分割成為四個區塊,各自具有原先樹區塊150之八分之一寬度及八分之一長度,此等又更小的子區塊標示以156a至156d。
圖4顯示如圖3a至3d所示基於四叉樹分割實例之潛在樹結構。樹節點旁的數字為所謂的細分旗標值,將於後文討論四叉樹結構傳訊時進一步詳細說明。四叉樹之根節點顯示於該圖頂端(標示為層級「0」)。此根節點於層級1之四個分支係與圖3a所示四個子區塊相對應。因此等子區塊中之第三者又在圖3b中被細分成其四個子區塊,圖4於層級1的第三節點也具有四個分支。再度,與圖3c之第二(右上)子代節點的細分相對應,有四個子分支連結在四叉樹階層層級2之第二節點。於層級3之節點不再進一步細分。
一次四叉樹之各葉係與個別預測參數可載明之可變尺寸區塊相對應(亦即內部或跨、預測模式、移動參數等)。後文中,此等區塊稱做預測區塊。特別,此等葉區塊為圖3c所示區塊。簡短回頭參考圖1及圖2之說明,分割器20或細分器28決定如前文解說之四叉樹細分。細分器152a-d執行樹區塊150、子區塊152a-d、小型子區塊154a-d等再細分或更進一步分割的決策,目標係獲得如前文指示太過細小預測細分與太過粗大預測細分間的最佳折衷。預測器12轉而使用所載明的預測細分來以依據預測細分之粒度或針對例如圖3c所示區塊表示的各個預測子區來決定前述預測參數。
圖3c所示預測區塊可進一步分割成更小型區塊用以殘差編碼。針對各預測區塊,亦即針對一次四叉樹之各葉節點,藉一個或多個用於殘差編碼之從屬四叉樹決定相對應細分。例如,當允許16×16之最大殘差區塊大小時,一給定32×32預測區塊將分割成四個16×16區塊,各自係藉用於殘差編碼之從屬四叉樹決定。本實例中各個16×16區塊係與從屬四叉樹之根節點相對應。
恰如一給定樹區塊細分成預測區塊之情況所述,各預測區塊可使用從屬四叉樹分解來分割成多個殘差區塊。一從屬四叉樹之各葉係對應於一個殘差區塊,對該殘差區塊可藉殘差預編碼器14而載明個別殘差編碼參數(亦即變換模式、變換係數等),該等殘差編碼參數又轉而控制殘差重建器16及106。
換言之,細分器28可組配來針對各圖像或針對各圖像群組決定一預測細分及一從屬預測細分決定方式可首先將圖像分割成樹區塊150之規則排列,藉四叉樹細分而遞歸地區分此等樹區塊之一子集來獲得預測細分成預測區塊,若在個別樹區塊未進行區分,則該預測區塊可為樹區塊,或然後進一步細分此等預測區塊之一子集,則為四叉樹細分之葉區塊;同理,若一預測區塊係大於從屬殘差細分的最大尺寸,經由首先將個別預測區塊分割成子樹區塊之規則排列,然後依據四叉樹細分程序,將此等此樹區塊之一子集細分來獲得殘差區塊,若在個別預測區塊未進行分割成子樹區塊,則該殘差區塊可為預測區塊,或若該個別子樹區塊未進行分割成又更小區,則該殘差區塊為子樹區塊,或為殘差四叉樹細分的葉區塊。
如前文摘述,針對一次陣列所選用的細分可對映至從屬陣列。當考慮與一次陣列相同尺寸之從屬陣列時此點相當容易,但當從屬陣列維度係與一次陣列維度不同時必須採用特殊措施。概略言之,於不同尺寸情況下,一次陣列細分對映至從屬陣列可藉空間對映進行,亦即經由將一次陣列細分之區塊邊界空間對映至從屬陣列。特別,針對各個從屬陣列,在水平方向及垂直方向可有定標因數,其決定一次陣列對從屬陣列之維度比。從屬陣列分割成用於預測及殘差編碼的子區塊可藉一次四叉樹,一次陣列之共同定位樹區塊各自的從屬四叉樹決定,從屬陣列所得樹區塊係藉相對定標因數定標。當水平方向及垂直方向之定標因數相異(例如於4:2:2彩度次取樣中)時,所得從屬陣列之預測區塊及殘差區塊將不再是方形。此種情況下,可預先決定或適應性選擇(針對整個序列,該序列中之一個圖像或針對各個單一預測區塊或殘差區塊)非方形殘差區塊是否應分裂成方形區塊。例如於第一情況下,編碼器及解碼器將在每次對映區塊並非方形時於細分時同意細分成方形區塊。於第二情況下,細分器28將透過資料串流插入器18及資料串流22傳訊選擇給細分器104a。例如於4:2:2彩度次取樣之情況下,從屬陣列具有一次陣列的半寬但等高,殘差區塊之高度為寬度的兩倍。藉由將此區塊縱向分裂,可再度獲得兩個方形區塊。
如前述,細分器28或分割器20分別透過資料串流22傳訊基於四叉樹之分割給細分器104a。為了達成此項目的,細分器28通知資料串流插入器18有關針對圖像24所選用的細分。資料串流插入器又傳輸一次四叉樹及二次四叉樹的結構,因此,傳輸圖像陣列分割成為可變尺寸區塊用於在資料串流或位元串流22內部之預測區塊或殘差區塊給解碼端。
最小及最大可容許區塊大小傳輸作為側邊資訊且可依據不同圖像而改變。或最小或最大容許區塊大小可於編碼器及解碼器固定。此等最小及最大區塊大小可針對預測區塊及殘差區塊而有不同。用於四叉樹結構之傳訊,四叉樹必須被遍歷,針對各節點必須載明此特定節點是否為四叉樹之一葉節點(亦即相對應區塊不再進一步細分),或此特定節點是否分支成其四個子代節點(亦即相對應區塊以對半尺寸分割成四個子區塊)。
一個圖像內部的傳訊係以光柵掃描順序逐一樹區塊進行,諸如由左至右及由上至下,如圖5a於140顯示。此種掃描順序也可不同,例如以棋盤方式從右下至左上進行。於較佳實施例中,各樹區塊及因而各四叉樹係以深度優先方式遍歷用來傳訊該細分資訊。
於較佳實施例中,不僅細分資訊,亦即樹結構,同時預測資料等,亦即與該樹的葉節點相關聯之有效負載(亦稱“酬載”)係以深度優先順序傳輸/處理。如此進行之原因在於深度優先遍歷具有優於寬度優先順序之優點。於圖5b中,四叉樹結構係以葉節點標示為a、b、...、j呈現。圖5a顯示所得區塊分割。若區塊/葉節點係在寬度優先順序遍歷,則獲得下列順序:abjchidefg。但於深度優先順序,該順序為abc...ij。如從圖5a可知,於深度優先順序,左鄰近區塊及頂鄰近區塊經常性係在目前區塊之前傳輸/處理。如此,移動向量預測及脈絡模型經常性使用對左及頂鄰近區塊所載明的參數來達成改良編碼效率。用於寬度優先順序,並非此種情況,原因在於區塊j例如係在區塊e、g及i之前傳輸。
結果,針對各個樹區塊之傳訊係沿一次四叉樹的四叉樹結構遞歸進行,使得針對各個節點傳輸一旗標,載明相對應區塊是否分裂成四個子區塊。若此旗標具有值「1」(用於「真」),則此傳訊程序對全部四個子代節點遞歸地重複,亦即子區塊以光柵掃描順序(左上、右上、左下、右下)直到達到一次四叉樹的葉節點。注意葉節點之特徵為具有細分旗標之值為「0」。針對節點係駐在一次四叉樹的最低階層式層級及如此對應於最小容許預測區塊大小的情況,無須傳輸細分旗標。用於圖3a-c之實例,如圖6a之190所示,首先將傳輸「1」載明樹區塊150為分裂成為其四個子區塊152a-d。然後,以光柵掃描順序200遞歸地編碼全部四個子區塊152a-d之細分資訊。針對首二子區塊152a、b,將傳輸「0」,規定其未經細分(參考圖6a 202)。用於第三子區塊152c (左下),將傳輸「1」,載明此一區塊係經細分(參考圖6a 204)。現在依據遞歸辦法,將處理此一區塊之四個子區塊154a-d。此處將針對第一子區塊(206)傳輸「0」及針對第二(右上)子區塊(208)傳輸「1」。現在圖3c的最小子區塊大小之四個區塊156a-d將接受處理。若已經達到本實例的最小容許區塊大小,則無須再傳輸資料,原因在於不可能進一步細分。否則,載明此等區塊不再進一步細分之「0000」將傳輸,如圖6a於210指示。隨後,將對圖3b之下方兩個區塊傳輸「00」(參考圖6a 212),及最後對圖3a之右下區塊傳輸「0」(參考214)。故表示四叉樹結構的完整二進制串將為圖6a所示者。
於圖6a之此種二進制串表示型態之不同背景影線係對應於基於四叉樹細分的階層關係中的不同層級。影線216表示層級0(對應於區塊大小等於原先樹區塊大小),影線218表示層級1 (對應於區塊大小等於原先樹區塊大小之半),影線220表示層級2(對應於區塊大小等於原先樹區塊大小的四分之一),影線222表示層級3(對應於區塊大小等於原先樹區塊大小的八分之一)。相同階層式層級(對應於在二進制串表示型態中的相同區塊大小及相同色彩)之全部細分旗標例如可藉插入器18使用一個且同一個機率模型做熵編碼。
注意針對寬度優先遍歷之情況,細分資訊將以不同順序傳輸,顯示於圖6b。
類似於用於預測之各樹區塊的細分,所得預測區塊分割成殘差區塊必須於位元串流傳輸。又針對作為側邊資訊傳輸且可能依圖像而改變之殘差編碼可有最大及最小區塊大小。或針對殘差編碼之最大及最小區塊大小在編碼器及解碼器可固定。於一次四叉樹的各個葉節點,如第3c圖所示,相對應預測區塊可分割成最大容許大小之殘差區塊。此等區塊為從屬四叉樹結構用於殘差編碼的組成根節點。舉例言之,若圖像之最大殘差區塊大小為64×64及預測區塊大小為32×32,則整個預測區塊將對應於大小32×32的一個從屬(殘差)四叉樹根節點。另一方面,若針對圖像之最大殘差區塊為16×16,則32×32預測區塊將由四個殘差四叉樹根節點所組成,各自具有16×16之大小。在各個預測區塊內部,從屬四叉樹結構之傳訊係以光柵掃描順序以根節點逐一進行(左至右,上至下)。類似於一次(預測)四叉樹結構的情況,針對各節點,編碼一旗標,載明此一特定節點是否分裂成為四個子代節點。然後若此旗標具有值「1」,則針對全部四個相對應的子代節點及其相對應子區塊以光柵掃描順序(左上、右上、左下、右下)遞歸地重複直到達到從屬四叉樹的葉節點。如同一次四叉樹之情況,針對在從屬四叉樹最低階層式層級上的節點無須傳訊,原因在於該等節點係相對於最小可能殘差區塊大小的區塊而無法再進一步分割。
用於熵編碼,屬於相同區塊大小之殘差區塊的殘差區塊細分旗標可使用一個且同一個機率模型編碼。
如此,依據前文就圖3a至6a所呈現的實例,細分器28界定用於預測之一次細分及用於殘差編碼目的之一次細分的具有不同大小區塊的子從屬細分。資料串流插入器18係藉針對各樹區塊以鋸齒形掃描順序傳訊來編碼一次細分,位元順序係依據圖6a建立,連同編碼一次細分之最大一次區塊大小及最大階層式層級。針對各個如此界定的預測區塊,相關聯之預測參數已經含括在位元串流。此外,類似資訊亦即依據圖6a之最大尺寸大小、最大階層式層級及位元順序的編碼可針對各預測區塊進行,該預測區塊之大小係等於或小於殘差細分之最大尺寸大小;以及針對各個殘差樹根區塊進行,其中預測區塊已經被預先分割成超過對殘差區塊所界定之最大尺寸大小。針對各個如此界定之殘差區塊,殘差資料係插入該資料串流。
抽取器102在輸入端116從該資料串流抽取個別位元順序及通知圖像分割器104有關如此所得之細分資訊。此外,資料串流插入器18及抽取器102可使用前述順序用在預測區塊及殘差區塊間來傳輸額外語法元素,諸如藉殘差預編碼器14所輸出之殘差資料及藉預測器12所輸出之預測參數。使用此種順序之優點在於藉由探討鄰近區塊已經編碼/解碼的語法元素,可選擇針對某個區塊編碼個別語法元素之適當脈絡。此外,同理,殘差預編碼器14及預測器12以及殘差重建器106及預測器110可以前文摘述之順序處理個別預測區塊及殘差區塊。
圖7顯示步驟之流程圖,該等步驟可藉抽取器102執行來當編碼時以前文摘述之方式從資料串流22抽取細分資訊。於第一步驟中,抽取器102將圖像24劃分成為樹根區塊150。此步驟於圖7係以步驟300指示。步驟300涉及抽取器102從資料串流22抽取最大預測區塊大小。此外或另外,步驟300可涉及抽取器102從資料串流22抽取最大階層式層級。
其次於步驟302中,抽取器102從該資料串流解碼一旗標或一位元。進行第一時間步驟302,抽取器102知曉個別旗標為於樹根區塊掃描順序140屬於第一樹根區塊150之位元順序的第一旗標。因此一旗標為具有階層式層級0之旗標,於步驟302中,抽取器102可使用與該階層式層級0相關聯之脈絡模型來決定一脈絡。各脈絡具有個別機率估算用於與其相關聯之旗標的熵編碼。脈絡之機率估算可個別地適應脈絡於個別脈絡符號統計數字。例如,為了於步驟302決定用來解碼階層式層級0之旗標的適當脈絡,抽取器102可選擇一脈絡集合中之一個脈絡,其係與階層式層級0相關聯,取決於鄰近樹區塊之階層式層級0旗標,又更取決於界定目前處理樹區塊之鄰近樹區塊諸如頂及左鄰近樹區塊之四叉樹細分的位元串中所含之資訊。
次一步驟中,亦即步驟304,抽取器102檢查目前旗標是否提示區分。若屬此種情況,則抽取器102將目前區塊,目前為樹區塊區分,或於步驟306指示此一種區分給細分器104a,其於步驟308檢查目前階層式層級是否等於最大階層式層級減1。舉例言之,抽取器102例如也具有於步驟300從資料串留所抽取的最大階層式層級。若目前階層式層級不等於最大階層式層級減1,則於步驟310抽取器102將目前階層式層級遞增1及返回步驟302來從該資料串流解碼下一個旗標。本次,於步驟302欲解碼之旗標屬於另一個階層式層級,因此依據一實施例,抽取器102可選擇不同脈絡集合中之一者,該集合係屬於目前階層式層級。該選擇也可基於已經解碼的鄰近樹區塊依據圖6a之細分位元序列。
若解碼一旗標,及步驟304之檢查洩漏此旗標並未提示目前區塊的區分,則抽取器102前進步驟312來檢查目前階層式層級是否為0。若屬此種情況,抽取器102就步驟314於掃描順序140之下一個樹根區塊進行處理,或若未留下任何欲處理的樹根區塊,則停止處理抽取細分資訊。
須注意,圖7之描述關注焦點係聚焦在只有預測細分之細分指示旗標的解碼,故實際上,步驟314涉及有關例如目前樹區塊相關聯之其它倉(bin)或語法元素的解碼。該種情況下,若存在有又一個或下一個樹根區塊,則抽取器102由步驟314前進至步驟302,從細分資訊解碼下一個旗標,亦即有關新樹區塊之旗標序列的第一旗標。
於步驟312中,若階層式層級不等於0,則操作前進至步驟316,檢查是否存在有有關目前節點之其它子代節點。換言之,當抽取器102在步驟316進行檢查時,在步驟312已經檢查目前階層式層級為0階層式層級以外的階層式層級。如此又轉而表示存在有親代節點,其係屬於樹根區塊150或更小型區塊152a-d或又更小區塊152a-d等中之一者。目前解碼旗標所屬的樹結構節點具有一親代節點,該親代節點為該目前樹結構之另外三個節點所共用。具有一共用親代節點之此等子代節點間的掃描順序舉例說明於圖3a,針對階層式層級0具有元件符號200。如此,於步驟316中,抽取器102檢查是否全部四個子代節點皆已經在圖7之處理程序中被參訪。若非屬此種情況,亦即目前親代節點有額外子代節點,則圖7之處理程序前進至步驟318,此處在目前階層式層級內部依據鋸齒形掃描順序200之下一個子代節點被參訪,因此其相對應子區塊現在表示圖7之目前區塊,及隨後,於步驟302從有關區塊或目前節點之資料串流解碼一旗標。但於步驟316,若對目前親代節點並無額外子代節點,則圖7之方法前進至步驟320,此處目前階層式層級遞減1,其中隨後該方法係以步驟312進行。
藉由執行圖7所示步驟,抽取器102與細分器104a協力合作來在編碼器端從資料串流取回所選用的細分。圖7之方法關注焦點集中在前述預測細分之情況。組合圖7之流程圖,圖8顯示抽取器102及細分器104a如何協力合作來從資料串流取回殘差細分。
特定言之,圖8顯示針對從預測細分所得各個預測區塊,藉抽取器102及細分器104a分別所進行之步驟。如前述,此等預測區塊係在預測細分之樹區塊150間依據鋸齒掃描順序140遍歷,且例如圖3c所示使用在各樹區塊150內部目前參訪的深度優先遍歷來通過樹區塊。依據深度優先遍歷順序,經過區分之一次樹區塊之葉區塊係以深度優先遍歷順序參訪,以鋸齒形掃描順序200參訪具有共用目前節點之某個階層式層級的子區塊,以及在前進至此種鋸齒形掃描順序200的下一個子區塊之前首先主要掃描此等子區塊各自的細分。
用於圖3c之實例,樹區塊150之葉節點間所得掃描順序係以元件符號350顯示。
用於目前參訪的預測區塊,圖8之處理程序始於步驟400。於步驟400,標示目前區塊之目前大小的內部參數設定為等於殘差細分之階層式層級0的大小,亦即殘差細分之最大區塊大小。須回憶最大殘差區塊大小可小於預測細分的最小區塊大小,或可等於或大於後者。換言之,依據一個實施例,編碼器可自由選擇前述任一種可能。
於次一步驟,亦即步驟402,執行檢查有關目前參訪區塊的預測區塊大小是否大於標示為目前大小的內部參數。若屬此種情況,則可為預測細分之一葉區塊或預測細分之一樹區塊而未經任何進一步區分的目前參訪預測區塊係大於最大殘差區塊大小,此種情況下,圖8之處理程序前進至圖7之步驟300。換言之,目前參訪的預測區塊被分割成殘差樹根區塊,此種目前參訪預測區塊內部的第一殘差樹區塊之旗標順序的第一順序係在步驟302解碼等等。
但若目前參訪預測區塊具有大小等於或小於指示目前大小的內部參數,則圖8之處理程序前進至步驟404,此處檢查預測區塊大小來決定其是否等於指示目前大小的內部參數。若為是,則分割步驟300可跳過,處理程序直接前進至圖7之步驟302。
但若目前參訪預測區塊之預測區塊大小係小於指示目前大小的內部參數,則圖8之處理程序前進至步驟406,此處階層式層級遞增1,目前大小設定為新階層式層級之大小,諸如以2分割(於四叉樹細分之例中於二軸方向)。隨後,再度進行步驟404之檢查,藉步驟404及406所形成之回路效果為階層式層級經常性地與欲區分之相對應區塊大小相對應,而與具有小於或等於/大於最大殘差區塊大小之個別預測區塊獨立無關。如此,當於步驟302解碼旗標時,所進行的脈絡模型係同時取決於該旗標所指的階層式層級及區塊大小。針對不同階層式層級或區塊大小的旗標使用不同脈絡之優點在於機率估算極為適合旗標值發生的實際機率分佈,另一方面具有欲處理的中等脈絡數目,因而減少脈絡管理之額外管理資料量,以及增加脈絡調整適應於實際符元統計數字。
如前文已述,有多於一個樣本陣列,此等樣本陣列可分組成一個或多個平面群組。例如進入輸入端32之欲編碼輸入信號可為視訊序列或靜像之一個圖像。如此該圖像係呈一或多個樣本陣列形式。於視訊序列或靜像之一圖像編碼脈絡中,樣本陣列為指三個彩色平面,諸如紅、綠及藍,或指亮度平面及彩度平面例如於YUV或YCbCr之彩色表示型態。此外,也可呈現表示α亦即透明度及/或3-D視訊材料之深度資訊的樣本陣列。多個此等樣本陣列可一起分組成為所謂的平面群組。例如亮度(Y)可為只有一個樣本陣列之一個平面群組,及彩度諸如CbCr可為有兩個樣本陣列之另一個平面群組;或在另一實例中,YUV可為有三個矩陣之一個平面群組及3-D視訊材料之深度資訊可以是只有一個樣本陣列的不同平面群組。針對每個平面群組,一個一次四叉樹結構可在資料串流22內部編碼用來表示分割成預測區塊;及針對各個預測區塊,二次四叉樹結構表示分割成殘差區塊。如此,依據前述第一實例,亮度成分為一個平面群組,此處彩度成分形成另一個平面群組,一個四叉樹結構係針對亮度平面之預測區塊,一個四叉樹結構係針對亮度平面之殘差區塊,一個四叉樹結構係針對彩度平面之預測區塊,及一個四叉樹結構係針對彩度平面之殘差區塊。但於前述第二實例中,可能有一個四叉樹結構針對亮度及彩度一起的預測區塊(YUV),一個四叉樹結構針對亮度及彩度一起的殘差區塊(YUV),一個四叉樹結構針對3-D視訊材料之深度資訊的預測區塊,及一個四叉樹結構針對3-D視訊材料之深度資訊的殘差區塊。
又,於前文說明中,輸入信號係使用一次四叉樹結構分割成多個預測區塊,現在描述此等預測區塊如何使用從屬四叉樹結構而進一步細分成殘差區塊。依據另一實施例,細分並非結束在從屬四叉樹階段。換言之,使用從屬四叉樹結構從細分所得之區塊可能使用三元四叉樹結構進一步細分。此種分割又轉而用在使用額外編碼工具之目的,其可能協助殘差信號的編碼。
前文描述關注焦點集中在分別藉細分器28及細分器104a進行細分。如前述,分別藉細分器28及104a進行細分可控制前述編碼器10及解碼器100之模組的處理粒度。但依據後文敘述之實施例,細分器228及104a分別接著為合併器30及合併器104b。但須注意合併器30及104b為選擇性且可免除。
但實際上及容後詳述,合併器對編碼器提供以將預測區塊或殘差區塊中之若干者組合成群組或群簇的機會,使得其它模組或其它模組中之至少一部分可將此等區塊群組一起處理。舉例言之,預測器12可藉由使用細分器28的細分最佳化來犧牲所測定的部分預測區塊之預測參數間的偏差,及使用對全部此等預測區塊共用的預測參數來取代,只要預測區塊分組連同屬於該組的全部區塊之共用參數傳輸的傳訊就率/失真比意義上而言,比較全部此等預測區塊之預測參數個別地傳訊更具有展望性即可。基於此等共用預測參數,在預測器12及110取回預測之處理程序本身仍然係以預測區塊逐一進行。但也可能預測器12及110甚至對整個預測區塊群組一次進行預測程序。
容後詳述,也可能預測區塊群組不僅使用針對一組預測區塊之相同的或共用的預測參數,反而另外或此外,允許編碼器10發送針對此一群組之一個預測參數連同對屬於此一群組的預測區塊之預測殘差,因而可減少用來傳訊此一群組之預測參數之傳訊額外管理資料量。後述情況下,合併程序只影響資料串流插入器18而非影響由殘差預編碼器14及預測器12所做的決策。但進一步細節容後詳述。然而,為求完整,須注意前述構面也適用於其它細分,諸如前述殘差細分或濾波細分。
首先,樣本集合諸如前述預測區塊及殘差區塊的合併係以更一般性意義激勵,亦即並非限於前述多元樹細分。但隨後之說明焦點將集中在前述實施例由多元樹細分所得區塊之合併。
概略言之,用於傳輸相關聯之編碼參數之目的合併與特定樣本集合相關聯之語法元素,允許於影像及視訊編碼應用上減少側邊資訊率。舉例言之,欲編碼之樣本陣列通常係區分成特定樣本集合或樣本集合,其可表示矩形區塊或方形區塊,或樣本之任何其它集合,包括任意形狀區、三角形或其它形狀。於前述實施例中,單純連結區為從多元樹細分所得之預測區塊及殘差區塊。樣本陣列之細分可藉語法固定;或如前述,細分也可至少部分在位元串流內部傳訊。為了將用於傳訊細分資訊及側邊資訊率維持為小,語法通常只允許有限數目的選擇來導致簡單的區分,諸如將區塊細分成為更小型區塊。樣本集合係與特定編碼參數相關聯,其可載明預測資訊或殘差編碼模式等。有關此議題之細節係如前文說明。針對各樣本集合,可傳輸諸如用來載明預測編碼及/或殘差編碼之個別編碼參數。為了達成改良編碼效率,後文描述之合併構面,亦即將二或多個樣本集合合併成所謂的樣本集合群組,允許達成若干優點,容後詳述。舉例言之,樣本集合可經合併,使得此一群組的全部樣本集合共享相同編碼參數,其可連同群組中之樣本集合中之一者傳輸。藉此方式,編碼參數無須針對樣本集合群組中之各個樣本集合個別地傳輸,反而取而代之,編碼參數只對整個樣本集合群組傳輸一次。結果,用來傳輸編碼參數之側邊資訊例如減少,且總編碼效率可改良。至於替代之道,一或多個編碼參數之額外精製可針對一樣本集合群組中之一個或多個樣本集合傳輸。精製可施加至一群組中之全部樣本集合,或只施加至針對其傳輸之該樣本集合。
後文進一步描述之合併構面也對編碼器提供以形成位元串流22時的較高自由度,原因在於合併辦法顯著增加用來選擇區分一圖像樣本陣列之可能性數目。因編碼器可在較多選項間選擇,諸如用來減少特定率/失真測量值,故可改良編碼效率。操作編碼器有數種可能。於簡單辦法,編碼器可首先決定最佳樣本陣列的細分。簡短參考圖1,細分器28將在第一階段決定最佳細分。隨後,針對各樣本集合,檢查是否與另一樣本集合或另一樣本集合群組合併,減低特定率/失真成本量測值。就此方面而言,與一合併樣本集合群組相關聯之預測參數可重新估算,諸如藉由執行新的移動搜尋和估算;或已經針對共用樣本集合及候選樣本集合或用於合併的樣本集合群組已經測定之預測參數可針對所考慮的樣本集合群組而評估。更綜合性辦法中,特定率/失真成本測量值可對額外候選樣本集合群組評估。
須注意後文描述之合併辦法並未改變樣本集合之處理順序。換言之,合併構想可以一種方式具體實施,使得延遲不再增加,亦即各樣本集合維持可在同一個時間瞬間解碼而未使用合併辦法。
舉例言之,藉由減少編碼預測參數數目所節省的位元率係大於額外耗用在編碼合併資訊用來指示合併給解碼端的位元率,合併辦法(容後詳述)導致編碼效率增高。進一步須提及所述用於合併的語法延伸對編碼器提供額外自由度來選擇圖像或平面群組區分成多個區塊。換言之,編碼器並非限於首先進行細分及然後檢查所得區塊中之若干者是否具有預測參數相同集合或類似集合。至於一個簡單的替代之道,依據率-失真成本測量值,編碼器首先決定細分,及然後針對各個區塊編碼器可檢查與其鄰近區塊或相關聯已經測定的區塊群組中之一者合併是否減低率-失真成本測量值。如此,可重新估算與該新區塊群組相關聯之預測參數,諸如藉由進行新移動搜尋;或已經對目前區塊及鄰近區塊或區塊群組測定的該等預測參數可針對新區塊群組評估。合併資訊給予區塊為基礎傳訊。有效地,合併也可解譯為針對目前區塊之預測參數推論的結果,其中推論的預測參數係設定為等於鄰近區塊中之一者的預測參數。另外,針對一區塊群組中之區塊可傳輸殘差。
如此,容後描述之合併構想下方潛在的基本構想係藉由將鄰近區塊合併成為一區塊群組來減低傳輸預測參數或其它編碼參數所需的位元率,此處各區塊群組係與編碼參數諸如預測參數或殘差編碼參數之一個獨特集合相關聯。除了細分資訊(若存在)外,合併資訊也在位元串流內部傳訊。合併構想之優點為從編碼參數之側邊資訊減少導致編碼效率增高。須注意此處所述合併方法也可延伸至空間維度以外的其它維度。舉例言之,在數個不同視訊圖像的內部之一樣本或區塊集合群組可合併成一個區塊群組。合併也可適用於4-壓縮及光欄位編碼。
如此,簡短回頭參考前文圖1至圖8之說明,注意在細分後之合併程序為優異,而與細分器28及104a細分圖像之特定方式獨立無關。更明確言之,後者也可以類似於H.264之方式細分圖像,換言之,將各圖像細分成具有預定尺寸諸如16×16亮度樣本或在資料串流內部傳訊大小的矩形或方形聚集區塊之規則排列,各聚集區塊具有與其相關聯之若干編碼參數包含例如針對各聚集區塊界定區分成1、2、4或若干其它區分數目的規則子格用作為預測粒度或位元串流中之相對應預測參數以及用來界定殘差及相對應的殘差變換粒度之區分用的區分參數。
總而言之,合併提供前文簡短討論之優點,諸如減少於影像及視訊編碼應用中之側邊資訊率位元。表示矩形或方形區塊或任意形狀區或任何其它樣本集合諸如任何單純連結區或樣本之特定樣本集合通常係連結特定編碼參數集合;針對各樣本集合,編碼參數係含括在位元串流,編碼參數例如表示預測參數其規定相對應樣本集合係如何使用已編碼樣本加以預測。一圖像樣本陣列區分成樣本集合可藉語法固定,或可藉在該位元串流內部之相對應細分資訊傳訊。針對該樣本集合之編碼參數可以預定順序亦即語法所給定的順序傳輸。依據合併功能,合併器30可針對一共用樣本集合或一目前區塊諸如與一或多個其它樣本集合合併的預測區塊或殘差區塊,合併器30可傳訊入一樣本集合群組。一群組樣本集合之編碼參數因此只須傳輸一次。於特定實施例中,若目前樣本集合係與已經傳輸編碼參數之一樣本集合或既有樣本集合群組合併,則目前樣本集合之編碼參數未傳輸。反而,目前樣本集合之編碼參數係設定為等於目前樣本集合與其合併之該樣本集合或該樣本集合群組之編碼參數。至於替代之道,編碼參數中之一者或多者之額外精製可對目前樣本集合傳輸。精製可應用於一群組的全部樣本集合或只施加至針對其傳輸之該樣本集合。
依據一實施例,針對各樣本集合諸如前述預測區塊、前述殘差區塊或前述多元樹細分之葉區塊,全部先前編碼/解碼樣本集合之集合係稱作為「因果樣本集合之集合」。例如參考圖3c。本圖顯示之全部區塊皆為某種細分結果,諸如預測細分或殘差細分或任何多元樹細分等,此等區塊間定義之編碼/解碼順序係以箭頭350定義。考慮此等區塊間之某個區塊為目前樣本集合或目前單純連結區,其因果樣本集合之集合係由沿著順序350在目前區塊前方的全部區塊所組成。但須回應只要考慮後文有關合併原理之討論,則未使用多元樹細分之其它細分亦屬可能。
可用來與目前樣本集合合併之該等樣本集合於後文中稱作為「候選樣本集合之集合」,經常性為「因果樣本集合之集合」之一子集。如何形成該子集之方式為解碼器所已知,或可從編碼器至解碼器而在資料串流或位元串流內部載明。若特定目前樣本集合係經編碼/解碼,則此候選樣本集合之集合並非空白,其係在編碼器在資料串流內部傳訊,或在解碼器從該資料串流導算該共用樣本集合是否與本候選樣本集合之集合中之一個樣本集合合併,及若是,係與該等樣本集合中之哪一者合併。否則,合併無法用於本區塊,原因在於候選樣本集合之集合經常性為空白。
有不同方式來測定因果樣本集合之集合中將表示候選樣本集合之集合的該子集。舉例言之,候選樣本集合之測定可基於目前樣本集合內部之樣本,其具有獨特的幾何形狀定義,諸如矩形區塊或方形區塊之左上影像樣本。始於此種獨特幾何形狀定義樣本,決定特定非零數目樣本,表示此種獨特幾何形狀定義樣本之直接空間鄰近樣本。舉例言之,此種特定非零數目樣本包含目前樣本集合之獨特幾何定義樣本之上鄰近樣本及左鄰近樣本,故鄰近樣本之非零數目至多為2,或為1若上或左鄰近樣本中之一者無法取得或係位在該圖像外側;或為零,於缺失二鄰近樣本之情況下。
候選樣本集合之集合可經決定來涵蓋含有前述鄰近樣本之非零數目中之至少一者的該等樣本集合。例如參考圖9a。目前樣本集合目前考慮為合併物件,須為區塊X,而其幾何形狀獨特定義樣本須舉例說明為左上樣本,以400指示。樣本400之頂及左鄰近樣本分別指示為402及404。因果樣本幾何之集合及因果區塊之集合係以加影線方式強調。因此此等區塊中,區塊A及B包含鄰近樣本402及404中之一者,此等樣本形成候選區塊集合及候選樣本集合之集合。
依據另一實施例,用於合併目的所決定的候選樣本集合之集合可額外地或排它地包括含有一特定非零數目樣本之樣本集合,該數目可為1或2,二者具有相同空間位置,但係含在不同圖像,亦即先前編碼/解碼圖像。舉例言之,除了圖9a之區塊A及B之外,可使用先前編碼圖像之區塊,其包含在樣本400之相同位置的樣本。藉此方式,注意只有上鄰近樣本404或只有左鄰近樣本402可用來定義前述鄰近樣本之非零數目。大致上,候選樣本集合之集合可從在目前圖像或其它圖像內部先前經過處理之資料而導算出。導算可包括空間方向資訊,諸如與目前圖像之特定方向及影像梯度相關聯之變換係數;或可包括時間方向資訊,諸如鄰近移動表示型態。由此等在接收器/解碼器可利用的資料及在資料串流內部之其它資料及側邊資訊(若存在),可導算出候選樣本集合之集合。
須注意候選樣本集合之導算係藉在編碼器端之合併器30及在解碼器端之合併器104b並排執行。恰如前述,二者可基於對二者已知之預先界定之方式決定彼此獨立無關之候選樣本集合之集合;或編碼器可在位元串流內部傳訊暗示線索,其係將合併器104b帶到一個位置來以於在編碼器端決定候選樣本集合之集合的合併器30之相同方式,執行此等候選樣本集合之導算。
容後詳述,合併器30及資料串流插入器18合作來針對各樣本集合傳輸一或多個語法元素,其載明該樣本集合是否與另一樣本集合合併,該另一樣本集合又可為已經合併的樣本集合群組之一部分,以及候選樣本集合之該集合中之哪一者係用於合併。抽取器102轉而據此抽取此等語法元素及通知合併器104b。特別,依據後文描述之特定實施例,針對一特定樣本集合傳輸一或二個語法元素來載明合併資訊。第一語法元素載明目前樣本集合是否與另一樣本集合合併。若第一語法元素載明該目前樣本集合係與另一樣本集合合併,唯有此種情況才傳輸的第二語法元素載明候選樣本集合之集合中之哪一者用於合併。若導算出候選樣本集合之集合為空白,則可遏止第一語法元素之傳輸。換言之,若導算出之候選樣本集合之集合並非空白,則唯有此種情況才可傳輸第一語法元素。唯有導算出之候選樣本集合之集合含有多於一個樣本集合時才可傳輸第二語法元素,原因在於若在該候選樣本集合之集合中只含有一個樣本集合,則絕不可能做進一步選擇。又復,若候選樣本集合之集合包含多於一個樣本集合,則第二語法元素之傳輸可被遏止;但若候選樣本集合之集合中之全部樣本集合係與同一個編碼參數相關聯時則否。換言之,第二語法元素唯有在一導算出之候選樣本集合之集合中之至少兩個樣本集合係與不同編碼參數相關聯時才可傳輸。
於該位元串流內部,一樣本集合之合併資訊可在與該樣本集合相關聯之預測參數或其它特定編碼參數之前編碼。預測參數或編碼參數唯有在合併資訊傳訊目前樣本集合並未與任何其它樣本集合合併時才傳輸。
某個樣本集合例如一區塊之合併資訊可在適當預測參數子集之後編碼;或更一般性定義,已經傳輸與該個別樣本集合相關聯之編碼參數。預測/編碼參數子集可由一個或多個參考圖像指數、或一個或多個移動參數向量或參考指數組分、及一個或多個移動參數向量組分等所組成。已經傳輸之預測參數或編碼參數子集可用來從恰如前文說明已經導算之較大的候選樣本集合之臨時集合中導算出一候選樣本集合之集合。舉個實例,可計算目前樣本集合之已編碼預測參數及編碼參數與先前候選樣本集合之相對應預測參數或編碼參數間之差值測量值或依據預定距離測量值之距離。然後,只有計算得之差值測量值或距離係小於或等於預定臨界值或導算出之臨界值的該等樣本集合被含括在最終集合亦即縮小的候選樣本集合之集合。例如參考圖9a。目前樣本集合須為區塊X。有關本區塊之編碼參數之一子集須已經插入位元串流22。假設例如區塊X為預測區塊,該種情況下,適當編碼參數之子集可為此區塊X之預測參數子集,諸如包含圖像參考指數及移動對映資訊諸如移動向量之一集合中之一子集。若區塊X為殘差區塊,則編碼參數之子集為殘差資訊子集,諸如變換係數或對映表指示在區塊X內部之顯著變換係數位置。基於此項資訊,資料串流插入器18及抽取器102二者可使用此項資訊來決定區塊A及B中之一子集,該子集在本特定實施例中構成前述候選樣本集合之初步集合。特定言之,因區塊A及B屬於因果樣本集合之集合,及編碼參數為區塊X之編碼參數為目前編碼/解碼時由編碼器及解碼器二者可利用。因此,使用不同辦法之前述比較可用來排除候選樣本集合A及B之初步集合中之任何區塊數目。然後結果所得縮小的候選樣本集合之集合可如前文說明使用,換言之,用來決定合併指示器是否指示從該資料串流中傳輸合併或從該資料串流中抽取合併,取決於在該縮小候選樣本集合之集合內部的樣本集合數目以及第二語法元素是否必須在其中傳輸而定;或已經從該資料串流中抽取出,具有第二語法元素指示在該縮小候選樣本集合內部哪一個樣本集合須為合併伴侶區塊。換言之,針對一預定單純連結區個別合併語法元素之合併決策或傳送可取決於與該預定單純連結區具有預定相對位置關係之單純連結區數目,且同時,具有與其相關聯之編碼參數其係滿足與針對該預定單純連結區之第一編碼參數子集的預定關係,及採用或以抽取該預測殘差進行預測可在針對該預定單純連結區之該第二編碼參數子集執行。換言之,與該預定單純連結區具有預定相對位置關係之單純連結區數目且同時具有與其相關聯之編碼參數其係滿足與針對該預定單純連結區之第一編碼參數子集的預定關係中之一者或所識別的一者之僅只一編碼參數子集可被採用來形成該預定單純連結區之第二子集,或可用來預測該預定單純連結區之第二子集。
前述距離相對於其做比較之前述臨界值可為固定且為編碼器及解碼器二者所已知,或可基於計算得之距離而導算出,諸如不同值之中數或若干其它取中傾向等。此種情況下,無可避免地,縮小候選樣本集合之集合須為候選樣本集合之初步集合之適當子集。另外,唯有依據距離量測值為最小距離之該等樣本集合才從該候選樣本集合之初步集合中選出。另外,使用前述距離測量值,從該候選樣本集合之初步集合中只選出恰好一個樣本集合。於後述情況下,合併資訊只須載明哪一個目前樣本集合係欲與單一候選樣本集合合併即可。
如此,候選區塊集合可如後文就圖9a所示而形成或導算出。始於圖9a之目前區塊X之左上樣本位置400,在編碼器端及解碼器端導算出其左鄰近樣本402位置及其頂鄰近樣本404位置。如此,候選區塊集合至多只有兩個元素,亦即圖9a之加畫影線之因果集合中含有兩個樣本位置中之一者(屬於圖9a之情況)中之該等區塊為區塊B及A。如此,候選區塊集合只具有目前區塊之左上樣本位置的兩個直接相鄰區塊作為其元素。依據另一實施例,候選區塊集合可由在目前區塊之前已經編碼的全部區塊給定,且含有表示目前區塊任何樣本之直接空間鄰近樣本的一個或多個樣本。直接空間鄰近限於目前區塊之任何樣本之直接左鄰近樣本及/或直接頂鄰近樣本及/或直接右鄰近樣本及/或直接底鄰近樣本。例如參考圖9b顯示另一區塊細分。此種情況下,候選區塊包含四個區塊,亦即區塊A、B、C及D。
另外,候選區塊集合可額外地或排它地包括含有一個或多個樣本其係位在目前區塊之任何樣本相同位置,但含在不同圖像,亦即已編碼/解碼圖像之區塊。
又另外,候選區塊集合表示前述區塊集合之一子集,其係藉空間方向或時間方向之鄰近關係決定。候選區塊子集可經固定、傳訊或導算。候選區塊子集之導算可考慮在該圖像或其它圖像中對其它區塊所做的決策。舉個實例,與其它候選區塊相同或極為相似之編碼參數相關聯之區塊不可含括在候選區塊集合。
後文對實施例之描述適用於含有目前區塊之左上樣本之左及頂鄰近樣本只有兩個區塊被考慮作為至多可能的候選者之情況。
若候選區塊集合並非空白,則稱作為merge_flag之一個旗標載明目前區塊是否與任何候選區塊合併。若merge_flag係等於0 (用於「否」),則此區塊不會與其候選區塊中之一者合併,通常傳輸全部編碼參數。若merge_flag等於1 (用於「是」),則適用後述者。若候選區塊集合含有一個且只有一個區塊,則此候選區塊用於合併。否則,候選區塊集合恰含二區塊。若此二區塊之預測參數為相同,則此等預測參數用於目前區塊。否則(該二區塊具有不同預測參數),傳訊稱作為merge_left_flag之旗標。若merge_left_flag係等於1 (用於「是」),則含有目前區塊之左上樣本位置之左鄰近樣本位置之該區塊係從該候選區塊集合中被選出。若merge_left_flag係等於0 (用於「否」),則從該候選區塊集合中選出另一(亦即頂鄰近)區塊。所選定區塊之預測參數係用於目前區塊。
就合併摘述前述實施例中之數者,參考圖10顯示藉抽取器102執行來從進入輸入端116之資料串流22中抽取合併資訊所進行的步驟。
處理始於450,識別針對目前樣本集合或區塊之候選區塊或樣本集合。須回憶起區塊之編碼參數係以某個一維順序而在資料串流22內部傳輸,及據此,圖10係指針對目前參訪的樣本集合或區塊取回合併資訊之方法。
如前述,識別及步驟450包含基於鄰近構面而在先前解碼區塊亦即因果區塊集合中之識別。例如,該等鄰近區塊可指向候選者,候選者含有於空間或時間上在一個或多個目前區塊X之幾何形狀預定樣本鄰近的某個鄰近樣本。此外,識別步驟可包含兩個階段,亦即第一階段涉及基於鄰近恰如前述識別導致一初步候選區塊集合;及第二階段據此單純該等區塊為在步驟450前已經從資料串流解碼之指向區塊,該區塊已經傳輸之編碼參數滿足對目前區塊X之編碼參數之適當子集的某個關係。
其次,方法前進至步驟452,於該處決定候選區塊數目是否大於零。若屬此種情況,則於步驟454從資料串流中抽取merge_flag。抽取步驟454可涉及熵解碼。於步驟454用於熵解碼merge_flag之脈絡可基於屬於例如候選區塊集合或初步候選區塊集合之語法元素,其中對語法元素之相依性可限於下述資訊:屬於關注集合的區塊是否接受合併。選定脈絡之機率估算可經調整適應。
然而,若於步驟452中候選區塊數目決定為零時,圖10方法則前進至步驟456,此處目前區塊之編碼參數係從位元串流抽取,或於前述二階段性識別替代之道的情況下,其中於抽取器102以區塊掃描順序諸如圖3c所示順序350處理下一區塊進行後,其餘編碼參數。
參考步驟454,步驟454之後該方法前進,步驟458檢查所抽取的merge_flag是否提示目前區塊合併的出現或不存在。若未進行合併,則方法前進至前述步驟456。否則,方法以步驟460前進,包括檢查候選區塊數目是否等於1。若屬此種情況,候選區塊中某個候選區塊指示之傳輸並非必要,因此圖10方法前進至步驟462,據此目前區塊之合併伴侶設定為唯一候選區塊,其中於步驟464之後合併伴侶區塊之編碼參數係用來調整編碼參數或目前區塊之其餘編碼參數之調適或預測。以調適為例,目前區塊遺漏的編碼參數單純係拷貝自合併伴侶區塊。於另一種情況下,亦即預測之情況下,步驟464可涉及從資料串流進一步抽取殘差資料,有關目前區塊之遺漏編碼參數之預測殘差之殘差資料及得自合併伴侶區塊此種殘差資料與此等遺漏編碼參數之預測的組合。
然而,若候選區塊數目於步驟460決定為大於1時,圖10方法則前進至步驟466,此處進行檢查編碼參數或編碼參數之關注部分,亦即在目前區塊之資料串流內部尚未移轉的部分相關聯之子部分係彼此識別。若屬此種情況,此等共用編碼參數係設定為合併參考,或候選區塊係於步驟468設定為合併伴侶,或個別關注編碼參數係用在步驟464之調適或預測。
須注意合併伴侶本身可以是已經傳訊合併之區塊。於本例中,合併參數之經調適或經預測所得編碼參數係用於步驟464。
但否則,於編碼參數不同的情況下,圖10方法前進至步驟470,此處額外語法元素係抽取自資料串流,亦即此種merge_left_flag。脈絡之分開集合可用於熵解碼此旗標。用於熵解碼merge_left_flag之脈絡集合也可包含單純一個脈絡。於步驟470後,merge_left_flag指示的候選區塊在步驟472設定為合併伴侶,及在步驟464用於調適或預測。於步驟464後,抽取器102以區塊順序處理下一個區塊。
當然,可能有其它替代之道。例如,組合語法元素可在資料串流內部傳輸,而非如前述分開語法元素merge_flag及merge_left_flag,組合語法元素傳訊合併處理程序。又,前述merge_left_flag可在資料串流內部傳輸,而與兩個候選區塊是否具有相同預測參數獨立無關,藉此減低執行圖10處理程序之運算額外管理資料量。
如前文就例如圖9b已述,多於二區塊可含括在候選區塊集合。又,合併資訊亦即傳訊一區塊是否合併之一資訊;若是,欲合併的候選區塊可藉一或多個語法元素傳訊。一個語法元素可載明該區塊是否與前述候選區塊中之任一者諸如前述merge_flag合併。若候選區塊之集合非空白則可指傳輸旗標。第二語法元素可傳訊哪一個候選區塊採用於合併,諸如前述merge_left_flag,但通常指示兩個或多於兩個候選區塊間之選擇。唯有第一語法元素傳訊目前區塊欲合併候選區塊中之一者時才可傳輸第二語法元素。第二語法元素又更唯有在候選區塊集合含有多於一個候選區塊時,及/或候選區塊中之任一者具有於候選區塊之任何其它者不同的預測參數時才傳輸。語法可取決於給予多少候選區塊及/或不同預測參數如何與候選區塊相關聯。
傳訊欲使用候選區塊中之哪些區塊的語法可在編碼器端及解碼器端同時及/或並排設定。舉例言之,若於步驟450識別三項候選區塊選擇,語法係選用為只有三項選擇為可利用,例如在步驟470考慮用於熵編碼。換言之,語法元素係經選擇使得其符元字母表單純具有與所存在的候選區塊之選擇同樣多個元素。全部其它選擇機率可考慮為零,熵編碼/解碼可在編碼器及解碼器同時調整。
又,如前文就步驟464所記,稱作為合併方法結果之預測參數可表示與目前區塊相關聯之預測參數完整集合,或可表示此等預測參數之一子集,諸如針對其使用多重假說預測之區塊之一個假說的預測參數。
如前述,有關合併資訊之語法元素可使用脈絡模型進行熵編碼。語法元素可由前述merge_flag及merge_left_flag組成(或類似語法元素)。於一具體實例中,三個脈絡模型或脈絡中之一者可於步驟454用於編碼/解碼merge_flag。所使用的脈絡模型指數merge_flag_ctx可如下導算出:若候選區塊集合含有二元素,則merge_flag_ctx之值係等於兩個候選區塊之merge_flag之值之和。但若候選區塊集合含有一個元素,則merge_flag_ctx之值係等於此一候選區塊之merge_flag值的兩倍。因鄰近候選區塊之merge_flag可為1或0,針對merge_flag有三個脈絡可用。merge_left_flag可只使用單一機率模型編碼。
但依據替代實施例,可使用不同脈絡模型。例如非二進制語法元素可對映至一二進制符元序列,所謂的倉(bins)。界定合併資訊之若干語法元素或語法元素倉之脈絡模型可基於已經傳輸之語法元素或鄰近區塊或候選區塊數目或其它量測值而導算出,同時其它語法元素或語法元素倉可以固定脈絡模型編碼。
有關前文區塊合併之描述,須注意候選區塊集合也可以對前述任何實施例所述之相同方式導算出而有下列修正:候選區塊限於使用移動補償預測或解譯之區塊。唯有該等元素可為候選區塊集合之元素。合併資訊之傳訊及脈絡模型化可以前述方式進行。
轉向參考前述多元樹細分實施例之組合及現在描述之合併構面。若該圖像係藉使用基於四叉樹細分結構而分割成不等大小方形區塊,例如merge_flag及merge_left_flag或其它載明合併之語法元素可與針對四叉樹結構各個葉節點所傳輸之預測參數交插。再度考慮例如圖9a。圖9a顯示一圖像基於四叉樹細分成可變大小預測區塊之實例。最大尺寸之上二區塊為所謂的樹區塊,亦即其為最大可能尺寸之預測區塊。圖中之其它區塊係獲得為其相對應樹區塊的細分。目前區塊標示為「X」。全部影線區塊係在目前區塊之前編解碼,故形成因果區塊集合。如於針對實施例中之一者候選區塊集合之導算描述,唯有含有目前區塊之左上樣本位置之直接(亦即頂或左)鄰近樣本才可成為候選區塊集合的成員。如此,目前區塊合併區塊「A」或區塊「B」。若merge_flag係等於零(用於「否」),目前區塊「X」並未合併二區塊中之任一者。若區塊「A」及「B」具有相同預測參數,則無須做區別,原因在於與二區塊中之任一者合併將導致相同結果。因此,此種情況下,未傳輸merge_left_flag。否則,若區塊「A」及「B」具有不同預測參數,merge_left_flag=1 (用於「是」)將合併區塊「X」與「B」,而merge_left_flag等於0 (用於「否」)將合併區塊「X」與「A」。於另一較佳實施例中,額外鄰近(已經傳輸的)區塊表示合併候選者。
圖9b顯示另一實例。此處目前區塊「X」及左鄰近區塊「B」為樹區塊,亦即其具有最大容許區塊大小。頂鄰近區塊「A」之大小為樹區塊大小的四分之一。屬於因果區塊集合之元素的該等區塊加影線。注意依據較佳實施例中之一者,目前區塊「X」只可與二區塊「A」或「B」合併,而不可與任何其它頂相鄰區塊合併。於另一較佳實施例中,額外相鄰(已經傳輸的)區塊表示合併候選者。
繼續描述有關依據本案實施例如何處理圖像之不同樣本陣列之該構面之前,須注意前文討論有關多元樹細分,及一方面傳訊及另一方面合併構面顯然此等構面可提供彼此獨立探討之優點。換言之,如前文解釋,多元樹細分與合併之組合具有特定優點,但優點也來自於替代例,此處合併特徵例如係以藉細分器30及104a進行細分具體實現,而非基於多元樹細分之四叉樹,反而係與此等巨集區塊規則區分成為更小型區分的聚集區塊細分相對應。另一方面,多元樹細分連同位元串流內部之最大樹區塊大小傳輸的組合,以及多元樹細分連同深度優先遍歷順序傳送區塊之相對應編碼參數之使用具有與是否同時使用合併特徵獨立無關之優點。大致上,直覺地考慮當樣本陣列編碼語法係以不僅允許細分一區塊,同時也允許合併二或多個細分後所獲得之區塊之方式擴充時,編碼效率提高,可瞭解合併的優點。結果,獲得一組區塊其係以相同預測參數編碼。此組區塊之預測參數只須編碼一次。又,有關樣本集合之合併,再度須瞭解所考慮的樣本集合可為矩形區塊或方形區塊,該種情況下,合併樣本集合表示矩形區塊及/或方形區塊的集合。另外,所考慮的樣本集合為任意形狀圖像區,及合併樣本集合表示任意形狀圖像區之集合。
後文描述之關注焦點在於當每個圖像有多於一個樣本陣列時一圖像之不同樣本陣列的處理,後文次描述中摘述的若干構面為與所使用的細分種類獨立無關之優點,亦即與細分是否基於多元樹細分獨立無關且與是否使用合併獨立無關。始於描述有關圖像之不同樣本陣列之處理之特定實施例前,本實施例之主要議題係簡短介紹每個圖像不同樣本陣列之處理領域。
後文討論之目光焦點集中在一圖像之不同樣本陣列之區塊間之編碼參數用在影像或視訊編碼應用用途,特別一圖像之不同樣本陣列間適應性預測編碼參數之方式應用於例如圖1及2之編碼器及解碼器或其它影像或視訊編碼環境。如前述,樣本陣列表示與不同彩色成分相關聯之樣本陣列,或與額外資訊諸如透明度資訊或深度對映圖像關聯之圖像。與圖像之彩色成分相關之樣本陣列也稱作為彩色平面。後文描述之技術也稱作為跨平面採用/預測,可用在基於區塊之影像及視訊編碼器及解碼器,藉此針對一圖像之樣本陣列區塊的處理順序為任意順序。
影像及視訊編碼器典型係設計用於編碼彩色圖像(靜像或視訊序列圖像)。彩色圖像包含多個彩色平面,其表示不同彩色成分之樣本陣列。經常彩色圖像係以一亮度平面及二彩度平面組成的樣本陣列集合編碼,此處後者載明色差成分。於若干應用領域,也常見編碼樣本陣列集合係由表示三原色紅、綠、及藍之樣本陣列的三個彩色平面組成。此外,為了改良彩色表示型態,彩色圖像可由多於三個彩色平面組成。此外,一圖像可與載明該圖像之額外資訊之輔助樣本陣列相關聯。例如,此等輔助樣本陣列可以是載明相關彩色樣本之透明度之樣本陣列(適合用於載明顯示目的),或為載明深度對映圖之樣本陣列(適合用來呈現多個視線,例如用於3D顯示)。
於習知影像及視訊編碼標準(諸如H.264),彩色平面通常一起編碼,因而特定編碼參數諸如巨集區塊及次巨集區塊預測模式、參考指數及移動向量用於一區塊之全部彩色成分。亮度平面可考慮為一次彩色平面,在位元串流中載明特定編碼參數;而彩度平面可視為二次平面,相對應之編碼參數係從一次亮度平面推定。各亮度區塊係與表示該圖像中同一區的兩個彩度區塊相關聯。依據所使用的彩度取樣格式,彩度樣本陣列可比針對一區塊之亮度樣本陣列更小。針對由一亮度成分及二彩度成分所組成的各巨集區塊,使用在區分成更小型區塊(若巨集區塊經細分)。針對由一亮度樣本區塊及二彩度樣本區塊所組成之各區塊(可為巨集區塊本身或為巨集區塊之一子區塊),採用相同預測參數集合,諸如參考指數、移動參數及偶爾內-預測模式。於習知視訊編碼標準之特定輪廓中(諸如於H.264之4:4:4輪廓),可獨立編碼一圖像之不同彩色平面。於該組態中,可針對一巨集區塊之彩色成分分開選擇巨集區塊區分、預測模式、參考指數及移動參數。習知編碼標準或為全部彩色平面係使用相同特定編碼參數(諸如細分資訊及預測參數)集合一起編碼,或為全部彩色平面係各自完全獨立編碼。
若彩色平面係一起編碼,細分及預測參數之一個集合須用於一區塊之全部彩色成分。如此確保側邊資訊維持小量,但比較獨立編碼,可能導致編碼效率的減低,原因在於對不同色彩成分使用不同區塊分解及預測參數,可能導致率-失真成本的減低。舉例言之,針對彩度成分使用不同移動向量或參考圖框,可顯著減少彩度成分之殘差信號能,及增高其總編碼效率。若彩色平面係分開編碼,則編碼參數諸如區塊區分、參考指數及移動參數可針對各個彩色成分分開選擇來針對各個彩色成分最佳化編碼效率,但不可能採用彩色成分間之冗餘。特定編碼參數之多元傳輸確實導致側邊資訊的增加(比較組合編碼),此種提高側邊資訊率可能對總體編碼效率造成負面影響。又,於最先進視訊編碼標準(諸如H.264)中,支援輔助樣本陣列係限於輔助樣本陣列係使用其本身的編碼參數集合編碼。
如此,於至目前為止,所述全部實施例中,圖像平面可如前述處理,但如前文討論,多個樣本陣列之編碼的總編碼效率(可能與不同彩色平面及/或輔助樣本陣列有關)可能增高,此時可基於區塊基準例如決定對於一區塊之全部樣本陣列是否皆以相同編碼參數編碼,或是否使用不同編碼參數。後文跨平面預測之基本構想例如允許以區塊為基礎做出此種適應性決策。例如基於率失真標準,編碼器可選擇針對一特定區塊之全部或部分樣本陣列是否使用相同編碼參數編碼,或針對不同樣本陣列是否使用不同編碼參數編碼。藉由針對一特定樣本陣列區塊,傳訊從不同樣本陣列之已編碼共同定位區塊是否推論特定編碼參數,也可達成此項選擇。可能針對群組中之一圖像配置不同樣本陣列,其也稱作為樣本陣列群組或平面群組。另一平面群組可含有一圖像之一個或多個樣本陣列。然後,在一平面群組內部之樣本陣列區塊共享相同所選編碼參數,諸如細分資訊、預測模式及殘差編碼模式;而其它編碼參數諸如變換係數位準係針對該平面群組內部之各個樣本陣列分開傳輸。一個平面群組係編碼為一次平面群組,亦即從其它平面群組並未推定或預測編碼參數。針對二次平面群組之各區塊,適應性選擇所選編碼參數之一新集合是否傳輸,或所選編碼參數是否從一次平面集合或另一二次平面集合推定或預測。針對特定區塊所選編碼參數是否係推定或預測的決策係含括在該位元串流。跨平面預測允許側邊資訊率與預測品質間之折衷比較由多個樣本陣列所組成之最先進圖像編碼有更高自由度。優點為相對於由多個樣本陣列所組成之習知圖像編碼,編碼效率改良。
平面內採用/預測可擴充影像或視訊編碼器,諸如前述實施例之影像或視訊編碼器,使得可針對一彩色樣本陣列或輔助樣本陣列之一區塊或彩色樣本陣列及/或輔助樣本陣列之一集合,適應性選擇所選定之編碼參數集合是否從在同一個圖像內已經編碼之共同定位其它樣本陣列區塊推定或預測,或針對該區塊所選定之編碼參數集合是否分開編碼而未參考同一個圖像內部之共通定位的其它樣本陣列區塊。所選定之編碼參數集合是否針對一樣本陣列區塊或多個樣本陣列區塊推定或預測之決策可含括於該位元串流。與一圖像相關聯之不同樣本陣列無須具有相同大小。
如前述,與一圖像相關聯之樣本陣列(樣本陣列可表示彩色成分及/或輔助樣本陣列)可排列成二或多個所謂的平面群組,此處各平面群組係由一或多個樣本陣列組成。含在特定平面群組之樣本陣列無需具有相等大小。注意此種排列成平面群組包括各樣本陣列係分開編碼的情況。
更明確言之,依據一實施例,針對一平面群組之各區塊,適應性選擇編碼區塊是否載明一區塊如何從針對同一圖像之不同平面群組的已經編碼之共同定位區塊推定或預測,或此等編碼參數是否針對該區塊分開編碼。載明一區塊如何預測之編碼參數包括下列編碼參數中之一者或多者:區塊預測模式載明針對該區塊使用哪一種預測(內預測、使用單一移動向量及參考圖像之跨-預測、使用二移動向量及參考圖像之跨-預測、使用更高階之跨-預測,亦即非平移移動模型及單一參考圖像、使用多個移動模型及參考圖像之跨-預測),內-預測模式載明如何產生內-預測信號,一識別符載明多少預測信號組合來產生針對該區塊之終預測信號,參考指數載明哪一個(哪些)參考圖像用於移動補償預測,移動參數(諸如位移向量或仿射移動參數)載明預測信號如何使用參考圖像而產生,一識別符載明參考圖像如何濾波來產生移動補償預測信號。注意大致上,一區塊可只與所述編碼參數之一子集相關聯。舉例言之,若區塊預測模式載明一區塊為內-預測,則一區塊之編碼參數可額外地包括內-預測模式,但未載明如何產生跨-預測信號之編碼參數諸如參考指數及移動參數;或若區塊預測模式載明跨-預測,則相關聯之編碼參數可額外地包括參考指數及移動參數,但未載明內-預測模式。
二或多個平面群組中之一者可在該位元串流內部編碼或指示作為一次平面群組。針對此一次平面群組之全部區塊,載明預測信號如何產生之編碼參數經傳輸而未參考同一圖像之其它平面群組。其餘平面群組係編碼為二次平面群組。針對二次平面群組之各區塊,傳輸一或多個語法元素,該語法元素傳訊載明該區塊如何預測之編碼參數是否從其它平面群組之共同定位區塊推定或預測,或針對該區塊是否傳輸此等編碼參數之一新集合。一或多個語法元素中之一者可稱作為跨平面預測旗標或跨平面預測參數。若語法元素傳訊未推定或預測相對應編碼參數,則該區塊之相對應編碼參數之新集合在該位元串流內傳輸。若語法元素傳訊相對應編碼參數係經推定或預測,則決定在所謂之參考平面群組中之共同定位區塊。針對該區塊及參考平面群組之指定可以多種方式組配。一個實施例中,特定參考群組係針對各個二次平面群組指定;此種指定可為固定,或可於高階語法結構諸如參數集合、存取單元標頭、圖像標頭或截割片標頭中傳訊。
於第二實施例中,參考平面群組之指定係在位元串流內部編碼,及藉針對一區塊編碼的一個或多個語法元素傳訊來載明所選定之編碼參數是否經推定或預測或是否經分開編碼。
為了容易瞭解關聯跨平面預測及後文詳細說明實施例之前述可能,參考圖11,示意地顯示由三個樣本陣列502、504及506所組成之一圖像。為求更容易瞭解,圖11只顯示樣本陣列502-506之子部。樣本陣列顯示為彷彿其於空間中彼此對齊,使得樣本陣列502-506彼此沿方向508重疊,樣本陣列502-506之樣本沿方向508突起結果導致全部樣本陣列502-506之樣本係彼此於空間正確定位。換言之,平面502及506係沿水平方向及垂直方向展開來彼此調整適應其空間解析度及彼此對齊。
依據一實施例,一圖像之全部樣本陣列屬於空間景象之同一部分,其中沿垂直方向及水平方向之解析度在個別樣本陣列502-506間可不同。又,為了用於舉例說明目的,樣本陣列502及504被考慮屬於一個平面群組510,而樣本陣列506被考慮屬於另一個平面群組512。又,圖11顯示實例情況,此處沿樣本陣列504之水平軸之空間解析度為於樣本陣列502之水平方向之解析度的兩倍。此外,樣本陣列 504相對於樣本陣列502被視為形成一次陣列,樣本陣列502形成相關於一次陣列504之從屬陣列。如前文說明,此種情況下,如藉圖1細分器30決定,樣本陣列504被細分成多個區塊係由從屬陣列502所採用,其中依據圖11之實例,因樣本陣列502之垂直解析度為一次陣列504之垂直方向解析度之半,各個區塊已經對半平分成兩個水平並排區塊,當以樣本陣列502內部之樣本位置為單位測量時,各區塊由於對半故再度成為方形區塊。
如圖11舉例說明,對樣本陣列506所選用之細分係與其它樣本群組510之細分不同。如前述,細分器30可與平面群組510之細分分開地或獨立無關地選擇像素陣列506之細分。當然,樣本陣列506之解析度可與平面群組510之平面502及504之解析度不同。
現在當編碼個別樣本陣列502-506時,編碼器10開始例如以前述方式編碼平面群組510之一次陣列504。圖11所示區塊例如可為前述預測區塊。另外,區塊可為界定粒度用來定義某些編碼參數之殘差區塊或其它區塊。跨平面預測並未限於四叉樹或多元樹細分,但四叉樹或多元樹細分舉例說明於圖11。
於一次陣列504之語法元素傳輸後,編碼器10可決定宣布一次陣列504為從屬平面502之參考平面。編碼器10及抽取器30分別可透過位元串流22傳訊此項決定,同時從樣本陣列504形成平面群組510之一次陣列之事實顯然易明其中關聯性,該資訊又轉而也可為位元串流22之一部分。總而言之針對在樣本陣列502內部之各區塊,插入器18或編碼器10之任何其它模組連同插入器18可決定是否遏止此區塊之編碼參數在位元串流內部之移轉,以及在位元串流內部傳訊及取而代之針對該區塊在位元串流內部傳訊將使用在一次陣列504內部之共同定位區塊的編碼參數替代;或決定在一次陣列504內部之共同定位區塊之編碼參數是否將用作為樣本陣列502之目前區塊之編碼參數的預測,而只移轉在位元串流內部針對該樣本陣列502之目前區塊之其殘差資料。於負面決策之情況下,編碼參數如常在資料串流內部移轉。針對各區塊決策係在資料串流22中傳訊。於解碼器端,抽取器102使用針對各區塊之此種跨平面預測資訊來據此獲得樣本陣列502之個別區塊之編碼參數,換言之,若跨平面採用/預測資訊提示跨平面採用/預測,則藉由推論一次陣列504之共同定位區塊之編碼參數,或另外從該資料串流抽取該區塊之殘差資料且將此殘差資料與得自一次陣列504之共同定位區塊之編碼參數之預測組合;或如常與一次陣列504獨立無關,抽取樣本陣列502之目前區塊之編碼參數。
也如前述,參考平面並非限於駐在跨平面預測目前關注的該區塊所在相同位元平面。因此如前文說明,平面群組510表示一次平面群組或二次平面群組510之參考平面群組。此種情況下,位元串流可能含有一語法元素,該語法元素針對樣本陣列506之各區塊指示前述一次平面群組或參考平面群組510之任何平面502及504之共同定位巨集區塊的編碼參數之採用/預測是否應進行,於後述情況下,樣本陣列506之目前區塊之編碼參數係如常傳輸。
須注意針對在一平面群組內部之多個平面的細分/預測參數可相同,亦即由於其對一平面群組只編碼一次(一平面群組之全部二次平面係從同一個平面群組內部之一次平面推定細分資訊及/或預測參數),細分資訊及/或預測參數之適應性預測或干擾係在多個平面群組間進行。
須注意參考平面群組可為一次平面群組或二次平面群組。
於一平面群組內部之不同平面區塊間的共同定位容易瞭解一次樣本陣列504之細分係由從屬樣本陣列502於空間採用,但前述區塊細分來使所採用之葉區塊變成方形區塊除外。於不同平面群組間跨平面採用/預測之情況下,共同定位可以一種方式定義,因而允許此等平面群組之細分間的更高自由度。給定該參考平面群組,決定在該參考平面群組內部之共同定位區塊。共同定位區塊及參考平面群組之導算可藉類似後文說明之方法進行。選定二次平面群組512之樣本陣列506中之一者在目前區塊516內部之特定樣本514。目前區塊516之左上樣本亦同,如圖11顯示於514用於舉例說明目的;或於目前區塊516之樣本接近目前區塊516中央或目前區塊內部之任何其它樣本,其幾何形狀經獨特定義。計算在參考平面群組510之樣本陣列502及504內部之此種選定樣本515之位置。樣本陣列502及504內部之樣本514位置於圖11分別指示於518及520。參考平面群組510內實際上使用哪一個平面502及504可經預先決定或可在位元串流內部傳訊。決定在參考平面群組510之相對應樣本陣列502或504內部最接近位置518及520之樣本,含有此樣本之區塊被選用作為個別樣本陣列502及504內部的共同定位區塊。於圖11之情況下,分別為區塊522及524。用來於其它平面決定共同定位區塊之替代辦法容後詳述。
於一實施例中,載明目前區塊516之預測之編碼參數係在相同圖像500之不同平面群組510內部使用共同定位區塊522/524之相對應預測參數完全推定而未傳輸額外側邊資訊。推定可包含單純拷貝相對應編碼參數,或編碼參數之調整適應將目前平面群組512與參考平面群組510間之差異列入考慮。舉個實例,此種調整適應可包含加入移動參數校正(例如位移向量校正)用來考慮亮度及彩度樣本陣列間之相位差;或調整適應可包含修改移動參數之精度(例如修改位移向量之精度)來考慮亮度及彩度樣本陣列之不同解析度。於額外實施例中,用來載明預測信號產生之一個或多個所推定之編碼參數並未直接用於目前區塊516,反而係用作為目前區塊516之相對應編碼參數之預測,及目前區塊516之此等編碼參數之精製係於位元串流22傳輸。舉個實例,未直接使用推定的移動參數,反而載明移動參數間之偏差的移動參數差(諸如位移向量差)係用於目前區塊516,推定的移動參數係編碼於位元串流;於解碼器端,經由組合推定的移動參數及傳輸的移動參數差獲得實際使用的移動參數。
於另一實施例中,一區塊之細分,諸如前述預測細分成預測區塊之樹區塊(亦即使用相同預測參數集合之樣本區塊)係從根據圖6a或6b相同圖像亦即位元序列之不同平面群組已經編碼的共同定位區塊而適應性地推定或預測。一個實施例中,二或多個平面群組中之一者係編碼為一次平面群組。針對此一次平面群組之全部區塊,傳輸細分參數而未推定同一圖像內的其它平面群組。其餘平面群組係編碼為二次平面群組。針對二次平面群組之區塊,傳輸一個或多個語法元素,傳訊細分資訊是否從其它平面群組之共同定位區塊推定或預測,或細分資訊是否於該位元串流傳輸。一或多個語法元素中之一者可稱作為跨平面預測旗標或跨平面預測參數。若語法元素傳訊未推定或預測細分資訊,則該區塊之細分資訊係在該位元串流傳輸而未述及同一個圖像的其它平面群組。若語法元素傳訊該細分資訊係經推定或預測,則決定在所謂的參考平面群組中之共同定位區塊。該區塊之參考平面群組之組態可以多種方式組配。於一個實施例中,一特定參考平面群組指定給各個二次平面群組;此項指定可為固定,或可於高階語法結構傳訊作為參數集合、接取單元標頭、圖像標頭或截割片標頭。於第二實施例中,參考平面的指定係在位元串流內部編碼,及藉一個或多個語法元素傳訊,該等語法元素係針對一區塊編碼來載明細分資訊是否經推定或預測或分開編碼。參考平面群組可為一次平面群組或其它二次平面群組。給定參考平面群組,決定在該參考平面群組內部之共同定位區塊。共同定位區塊為對應於目前區塊之相同影像區的參考平面群組,或表示共享該影像區與目前區塊之最大部分的參考平面群組內部之區塊。共同定位區塊可被區分成更小型預測區塊。
於額外實施例中,目前區塊之細分資訊,諸如依據圖6a或6b之基於四叉樹之細分資訊係使用在同一個平面之不同群組的共同定位區塊之細分資訊推定,而未傳輸額外側邊資訊。舉一個特定實例,若共同定位區塊被區分成2或4個預測區塊,則該目前區塊也區分成2或4個子區塊用以預測目的。至於另一特定實例,若共同定位區塊被區分成四個子區塊,且此等子區塊中之一者進一步區分成四個更小型子區塊,則目前區塊也被區分成四個子區塊及此等子區塊中之一者(對應於共同定位區塊之該子區塊進一步分解者)也被區分成四個更小型子區塊。於又一較佳實施例中,推定的細分資訊並未直接用於目前區塊,反而係用作為目前區塊之實際細分資訊的預測,相對應精製資訊係於位元串流傳輸。舉個實例,由共同定位區塊所推定之細分資訊可進一步精製。針對與共同定位區塊中未被區分成更小型區塊之一子區塊相對應的各個子區塊,語法元素可於位元串流編碼,其載明子區塊是否在目前平面群組進一步分解。此種語法元素之傳輸可以子區塊的大小作為條件。或可於位元串流中傳訊在參考平面群組進一步區分之子區塊未在目前平面群組進一步區分成更小型區塊。
於又一實施例中,一區塊細分成預測區塊及編碼參數載明子區塊如何預測二者係從針對同一圖像之不同平面群組的已經編碼之共同定位區塊適應性推定或預測。於本發明之較佳實施例中,二或多個平面群組中之一者係編碼作為一次平面群組。針對此種一次平面群組之全部區塊,細分資訊之預測參數係未參考同一圖像的其它平面群組而傳輸。其餘平面群組編碼為二次平面群組。針對二次平面群組之區塊,傳輸一或多個語法元素,其傳訊細分資訊及預測參數是否從其它平面群組之共同定位區塊推定或預測;或細分資訊及預測參數是否在位元串流傳輸。一或多個語法元素中之一者可稱作為跨平面預測旗標或跨平面預測參數。若語法元素傳訊細分資訊及預測參數係未經推定或預測,則該區塊之細分資訊及結果所得子區塊之預測參數係於該位元串流傳輸而未述及相同圖像的其它平面群組。若語法元素傳訊針對該子區塊之細分資訊及預測參數係經推定或預測,則決定該所謂的參考平面群組中之共同定位區塊。針對該區塊之參考平面群組的指定可以多種方式組配。於一個實施例中,一特定參考平面群組指派給各個二次平面群組;此種指派可為固定或可於高階語法結構諸如參數集合、接取單元標頭、圖像標頭或截割片標頭傳訊。於第二實施例中,參考平面群組之指派係在位元串流內部編碼,及藉針對一區塊編碼之一或多個語法元素傳訊來載明細分資訊及預測參數是否經推定或預測或分開編碼。參考平面群組可為一次平面群組或其它二次平面群組。給定參考平面群組,決定在該參考平面群組內部的共同定位區塊。該共同定位區塊可以是在參考平面群組中與目前區塊的相同影像區相對應之區塊,或表示在該參考平面群組內部於該目前區塊共享最大部分影像區之區塊之該區塊。共同定位區塊可劃分成更小型預測區塊。於較佳實施例中,針對該目前區塊之細分資訊以及所得子區塊之預測參數係使用在相同圖像之不同平面群組中共同定位區塊之細分資訊及相對應子區塊之預測參數,而未傳輸額外側邊資訊。至於特定實例,若共同定位區塊被分割成2或4個預測區塊,則目前區塊也分割成2或4個子區塊用於預測目的,及針對目前區塊之子區塊的預測參數係如前述導算。舉另一個特定實例,若共同定位區塊被分割成四個子區塊,且此等子區塊中之一者被進一步分割成四個更小型子區塊,則目前區塊也分割成四個子區塊,且此等子區塊中之一者(與共同定位區塊被進一步分解之該子區塊相對應者)也分割成四個更小型子區塊,全部但未進一步區分的子區塊之預測參數係如前文說明推定。於又一較佳實施例中,細分資訊完全係基於在參考平面群組中之共同定位區塊的細分資訊推定,但該等子區塊推定之預測參數只用作為子區塊之實際預測參數之預測。實際預測參數與推定預測參數間之導算係在位元串流編碼。於又一實施例中,推定之細分資訊係用作為目前區塊之實際細分資訊的預測,差異係在位元串流(如前述)中傳輸,但預測參數完全經推定。於另一個實施例中,推定的細分資訊及推定的預測參數二者係用作為預測,而實際細分資訊與預測參數間之差及其推定值係在位元串流傳輸。
於另一實施例中,針對一平面群組之一區塊,適應性選擇殘差編碼模式(諸如變換類型)是否針對相同圖像從不同平面群組之已經編碼共同定位區塊推定或預測,或殘差編碼模式是否針對該區塊分開編碼。此一實施例係類似於前述針對預測參數之適應性推定/預測之實施例。
於另一實施例中,一區塊(例如一預測區塊)之細分成變換區塊(亦即施加二維變換之樣本區塊)係從針對同一圖像之不同平面群組的已經編碼之共同定位區塊適應性推定或預測。本實施例係類似前述細分成預測區塊之適應性推定/預測之實施例。
於另一實施例中,一區塊細分成變換區塊及所得變換區塊之殘差編碼模式(例如變換類型)係從針對同一區塊之不同平面群組的已經編碼之共同定位區塊推定或預測。本實施例係類似前文細分成預測區塊之適應性推定/預測及針對所得預測區塊之預測參數之實施例。
於另一實施例中,一區塊細分成預測區塊、相關聯之預測參數、預測區塊之細分資訊、及針對該變換區塊之殘差編碼模式係從針對同一圖像之不同平面群組已經編碼的共同定位區塊適應性推定或預測。本實施例表示前述實施例之組合。也可能只推定或預測所述編碼參數中之一部分。
如此,跨平面採用/預測可提高前述編碼效率。但藉跨平面採用/預測所得編碼效率增益也可在基於多元樹細分所使用的其它區塊細分取得,而與是否實施區塊合併獨立無關。
就跨平面適應/預測之前述實施例可應用於影像及視訊編碼器及解碼器,其將一圖像之彩色平面及(若存在)與該圖像相關聯之輔助樣本陣列分割成區塊及將此等區塊與編碼參數結合。用於各區塊,一編碼參數集合可含括在位元串流。例如,此等編碼參數可為描述在解碼器端一區塊如何預測和解碼之參數。至於特定實例,編碼參數可表示巨集區塊或區塊預測模式、細分資訊、內-預測模式、用於移動補償預測之參考指數、移動參數諸如位移向量、殘差編碼模式、變換係數等。與一圖像相關聯之不同樣本陣列可具有不同大小。
其次描述前文參考圖1至8所述在基於樹之分割方案內部用於編碼參數加強傳訊之一方案。至於其它方案,亦即合併及跨平面採用/預測,加強傳訊方案(後文中常稱作為繼承)之效果及優點係與前述實施例獨立描述,但後述方案可與前述實施例中之任一者或單獨或組合式組合。
大致上,在一基於樹之分割方案的內部用來編碼側邊資訊之改良編碼方案(稱作為繼承,說明如下)允許比較習知編碼參數處理獲得下列優點。
於習知影像及視訊編碼中,圖像或針對圖像之特定樣本陣列集合通常分解成多個區塊,該等區塊係與特定編碼參數相關聯。圖像通常係由多個樣本陣列組成。此外,圖像也可關聯額外輔助樣本陣列,其例如可載明透明資訊或深度對映圖。一圖像之樣本陣列(包括輔助樣本陣列)可分組成一或多個所謂的平面群組,此處各個平面群組係由一或多個樣本陣列組成。一圖像之平面群組可獨立編碼,或若該圖像係與多於一個平面群組相關聯,則一圖像之平面群組可從同一圖像之其它平面群組預測。各個平面群組通常分解成多個區塊。該等區塊(或樣本陣列之相對應區塊)係藉跨圖像預測或圖像內-預測而預測。區塊可具有不同大小且可為方形或矩形。一圖像分割成為多個區塊可藉語法固定,或可(至少部分)在位元串流內部傳訊。經常傳輸的語法元素傳訊具有預定大小區塊之細分。此等語法元素可載明一區塊是否細分及如何細分成更小型區塊,且與編碼參數關聯用於例如預測目的。針對一區塊的全部樣本(或相對應樣本陣列之區塊),相關聯編碼參數之解碼係以預定方式載明。於該實例中,一區塊的全部樣本係使用預測參數之同一集合預測,諸如參考指數(識別在已經編碼圖像集合中之一參考圖像)、移動參數(載明一參考圖像與目前圖像間之一區塊移動之測量)、載明內插濾波器之參數、內-預測模式等。移動參數可以具有水平成分及垂直成分之位移向量表示,或以更高階移動參數諸如六個成分所組成之仿射移動參數表示。可能有多於一個特定預測參數集合(諸如參考指數及移動參數)係與單一區塊相關聯。該種情況下,針對特定預測參數之各集合,產生針對該區塊(或樣本陣列之相對應區塊)之單一中間預測信號,最終預測信號係藉包括重疊中間預測信號之組合建立。相對應加權參數及可能也常數偏移(加至該加權和)可針對一圖像或一參考圖像或一參考圖像集合而固定;或可含括在針對相對應區塊之預測參數集合中。原先區塊(或相對應樣本陣列區塊)與其預測信號間之差也稱作為殘差信號通常經變換及量化。經常施加二維變換至殘差信號(或殘差區塊之相對應樣本陣列)。用於變換編碼,已經使用特定預測參數集合之區塊(或相對應樣本陣列區塊)可在施加變換之前進一步分割。變換區塊可等於或小於用於預測之區塊。也可能一變換區塊包括用於預測之區塊中之多於一者。不同變換區塊可具有不同大小,變換區塊可表示方形區塊或矩形區塊。於變換後,所得變換係數經量化,及獲得所謂之變換係數層次。變換係數層次以及預測參數及(若存在)細分資訊係經熵編碼。
於若干影像及視訊編碼標準中,藉語法提供將一圖像(或一平面群組)細分成多個區塊的可能性極為有限。通常只載明是否(以及可能地如何)具預定大小之區塊可細分成更小型區塊。舉例言之,於H.264之最大型區塊為16×16。16×16區塊也稱作為巨集區塊,於第一步驟各圖像分割成為巨集區塊。針對各個16×16巨集區塊,可傳訊是否編碼成16×16區塊,或編碼成兩個16×8區塊,或兩個8×16區塊,或四個8×8區塊。若一個16×16區塊細分成四個8×8區塊,則此等8×8區塊各自可編碼成一個8×8區塊,或兩個8×4區塊,或兩個4×8區塊或四個4×4區塊。在最先進影像及視訊編碼標準中載明細分成為多個區塊之可能性的最小集合具有用以傳訊細分資訊之側邊資訊率維持為小之優點,但具有傳輸針對該等區塊之預測參數所要求的位元率變顯著之缺點,容後詳述。用以傳訊預測參數之側邊資訊率通常確實表示一區塊之顯著量總位元率。及當此側邊資訊減少時,例如可使用較大型區塊大小達成時,可提高編碼效率。一視訊序列之實際影像或圖像係由具特定性質之任意形狀物件組成。舉個實例,此等物件或物件部分係以獨特紋理或獨特移動為其特徵。通常相同預測參數集合可應用於此種物件或物件部分。但物件邊界通常並未重合大型預測區塊可能的區塊邊界(例如於H.264之16×16巨集區塊)。編碼器通常決定導致最小型特定率-失真成本測量值之細分(於有限可能性集合中)。針對任意形狀物件,如此可導致大量小型區塊。且因此等小型區塊係與須傳輸之一預測參數集合相關聯,故側邊資訊率變成總位元率之顯著部分。但因若干小型區塊仍然表示相同物件或物件部分之區,多個所得區塊之預測參數為相同或極為相似。直覺上,當語法係以一種方式擴充,其不僅允許細分一區塊,同時也在細分後所得多個區塊間共享編碼參數時可提高編碼效率。於基於樹之細分中,藉由以基於樹之階層式關係指定編碼參數或其部分給一個或多個親代節點,可達成針對一給定區塊集合的編碼參數之共享。結果,共享參數或其部分可用來減少針對細分後所得區塊傳訊編碼參數實際選擇所需的側邊資訊。減少可藉刪除隨後區塊之參數之傳訊而達成,或可藉針對隨後區塊之參數的預測模型化及/或脈絡模型化之共享參數而達成。
後述繼承方案之基本構想係藉由沿該等區塊之基於樹的階層關係共享資訊,來減少傳輸編碼資訊所需的位元率。共享資訊係在位元串流內部傳訊(除細分資訊之外)。繼承方案之優點為針對編碼參數由減低側邊資訊率結果導致編碼效率增高。
為了減少側邊資訊率,根據後述實施例,針對特定樣本集合之個別編碼參數,亦即單純連結區,其可表示多元樹細分之矩形區塊或方形區塊或任意形狀區或任何其它樣本集合係以有效方式在資料串流內部傳訊。後述繼承方案允許編碼參數無須針對樣本集合中之各個樣本集合明確地含括在位元串流。編碼參數可表示預測參數,其載明對應樣本集合係使用已編碼樣本預測。多項可能及實例已經如前文說明確實也適用於此處。如前文已述,及容後詳述,有關下列幾種方案,一圖像之樣本陣列基於樹狀劃分成為多個樣本集合可藉語法固定,或可藉在位元串流內部之相對應細分資訊傳訊。如前述,針對樣本集合之編碼參數可以預先界定之順序傳輸,該順序係藉語法而給定。
依據繼承方案,解碼器或解碼器之抽取器102係組配來以特定方式導算出個別單純連結區或樣本集合之編碼參數。特定言之,編碼參數或其部分諸如用於預測目的之參數係沿該給定基於樹之分割方案而在各區塊間共享,沿該樹狀結構之共享群組分別係由編碼器或插入器18決定。於一特定實施例中,分割樹之一給定內部節點之全部子代節點之編碼參數的共享係使用特定二進制值共享旗標指示。至於替代之道,針對各節點可傳輸編碼參數之精製,使得沿基於樹之區塊的階層式關係,參數之累積精製可應用至在一給定頁節點之該區塊的全部樣本集合。於另一實施例中,沿基於樹之該等區塊階層關係傳輸用於內部節點之編碼參數部分可用於在一給定葉節點針對該區塊之編碼參數或其部分之脈絡適應性熵編碼及解碼。
圖12a及12b顯示使用基於四叉樹分割之特例的繼承之基本構想。但如前文指示數次,其它多元樹細分方案也可使用。該樹狀結構係顯示於圖12a,而與圖12a之樹狀結構相對應之空間分割係顯示於圖12b。其中所示分割係類似就圖3a至3c所示。概略言之,繼承方案將允許側邊資訊指派給在該樹結構內部之不同非葉層的節點。依據側邊資訊指派給在該樹之不同層的節點,諸如圖12a之樹之內部節點或其根節點,在圖12b所示區塊之樹階層式關係中可達成不同程度之共享側邊資訊。若決定在層4之全部葉節點,於圖12a之情況下全部具有相同親代節點,虛擬地共享側邊資訊,虛擬上,如此表示圖12b中以156a至156d指示的最小型區塊共享此側邊資訊,而不再需要針對全部此等小型區塊156a至156d完整傳輸側邊資訊,亦即傳輸四次,但如此維持為編碼器之選項。也可能決定圖12a之階層式層次1(層2)的全區,亦即在樹區塊150右上角之四分之一部分包括子區塊154a、154b及154d及前述又更小型子區塊156a至156d,係用作為其中共享編碼參數之區。如此,增加共享側邊資訊之區。下一個增加層次為加總層1的全部子區塊,亦即子區塊152a、152c及152d及前述更小型區塊。換言之,此種情況下,整個樹區塊具有指派給該區塊之側邊資訊,此樹區塊150之全部子區塊共享側邊資訊。
於後文繼承說明中,下列註記係用來描述該等實施例: a.目前葉節點之重建樣本: rb.相鄰葉之重建樣本: r’c.目前葉節點之預測器: pd.目前葉節點之殘差:Re se.目前葉節點之重建殘差:Re cRe sf.定標及反變換: SITg.共享旗標:f
至於繼承之第一實例,可描述在內部節點之內-預測傳訊。更精確言之,描述如何傳訊在基於樹區塊之內部節點劃分用之內-預測模式用以預測目的。藉由從樹的根節點通過至葉節點,內部節點(包括根節點)可傳遞部分側邊資訊,該等資訊將由其相對應之子代節點探討。更明確言之,共享旗標f係針對內部節點發射而具有下列意義: ․若f具有數值1 (「真」),則該給定內部節點的全部子代節點共享相同內-預測模式。除了共享具有數值1之旗標f之外,內部節點也傳訊內-預測模式參數來由全部子代節點使用。結果,全部隨後子代節點並未攜帶任何預測模式資訊及任何共享旗標。為了重建全部相關葉節點,解碼器從相對應內部節點施加內-預測模式。 ․若f具有數值0 (「偽」),則相對應內部節點之子代節點並未共享相同內-預測模式,屬於內部節點之各個子代節點攜帶一分開共享旗標。
圖12c顯示前述於內部節點之內-預測傳訊。於層1之內部節點傳遞由內-預測模式資訊所給定的共享旗標及側邊資訊,及子代節點並未攜帶任何側邊資訊。
至於第二繼承實例,可描述跨-預測精製。更明確言之,描述如何在基於樹之區塊分割內部模式,傳訊跨-預測模式之側邊資訊用於例如藉移動向量所給定之移動參數的精製目的。藉由從樹的根節點通過至葉節點,內部節點(包括根節點)可傳遞部分側邊資訊,該等資訊將由其相對應之子代節點探討。更明確言之,共享旗標f係針對內部節點發射而具有下列意義: ․若f具有數值1 (「真」),則該給定內部節點之全部子代節點共享相同移動向量參考。除了共享具有數值1之旗標f外,內部節點也傳訊移動向量及參考指數。結果全部隨後子代節點未攜帶額外共享旗標,反而可攜帶此一繼承的移動向量參考之精製。用於全部相關葉節點之重建目的,解碼器在該給定葉節點加移動向量精製給屬於其相對應內部親代節點具有共享旗標f之數值1的繼承的移動向量參考值。如此表示在一給定葉節點之移動向量精製為欲施加至自此葉節點用於移動補償預測的實際移動向量與其相對應內部親代節點之移動向量參考值間之差。 ․若f具有數值0 (「偽」),則相對應內部節點之子代節點並未必然共享相同跨-預測模式,以及在該等子代節點並未藉由使用得自相對應內部節點之移動參數而進行移動參數之精製,屬於內部節點之各個子代節點攜帶一分開共享旗標。
圖12d顯示前述移動參數精製。層1之內部節點係傳遞共享旗標及側邊資訊。屬於葉節點之子代節點只攜帶移動參數精製,例如層2的內部子代節點未攜帶側邊資訊。
現在參考圖13。圖13顯示流程圖,例示說明解碼器諸如圖2之解碼器用於從資料串流重建表示空間實例資訊信號之一資訊樣本陣列(其藉多元樹細分而細分成不同大小的葉區)之操作模式。如前述,各葉區具有選自於多元樹細分之一系列階層式層級中之一個階層式層級。例如,圖12b所示全部區塊皆為葉區。葉區156c例如係與階層式層級4(或層級3)相關聯。各葉區具有與其相關聯之編碼參數。此等編碼參數之實例已經說明如前。針對各葉區,編碼參數係以一個別語法元素集合表示。各個語法元素為選自於一語法元素類型集合中之一個個別語法元素類型。各語法元素類型例如為預測模式、移動向量成分、內-預測模式之指示等。依據圖13,解碼器進行下列步驟。
於步驟550,繼承資訊係抽取自資料串流。於圖2之情況下,抽取器102係負責步驟550。繼承資訊指示繼承是否用於目前資訊樣本陣列。後文描述將顯示繼承資訊有若干可能,諸如共享旗標f及多元樹結構劃分成一次部分及二次部分的傳訊。
資訊樣本陣列已經構成一圖像之一子部分,諸如樹區塊,例如圖12b之樹區塊150。如此繼承資訊指示針對特定樹區塊150是否使用繼承。此種繼承資訊例如可針對全部預測細分之樹區塊而插入資料串流。
又,若指示使用繼承,則繼承資訊指示由一葉區集合所組成的且對應於多元樹細分之該階層式層級序列之一階層式層級的該資訊樣本陣列之至少一個繼承區係低於該葉區集合相關聯之各個階層式層級。換言之,繼承資訊指示針對目前樣本陣列諸如樹區塊150是否使用繼承。若為是,表示此樹區塊150之至少一個繼承區或子區內部的葉區共享編碼參數。如此,繼承區可能非為葉區。於圖12b之實例中,繼承區例如可為由子區塊156a至156b所形成之區。另外,繼承區可更大,也額外涵蓋子區塊154a、b及d,及甚至另外,繼承區可為樹區塊150本身,其全部葉區塊共享與該繼承區相關聯之編碼參數。
但須注意,在一個樣本陣列或樹區塊150內部可界定多於一個繼承區。例如假設左下子區塊152c也分割成更小型區塊。此種情況下,子區塊152c可形成一繼承區。
於步驟552,檢查繼承資訊,是否使用繼承。若為是,圖13之處理程序前進至步驟554,此處相對於每個跨繼承區,包括預定語法元素類型之至少一個語法元素的繼承子集係從資料串流抽取出。隨後步驟556中,然後此繼承子集拷貝入在該語法元素集合內部之一相對應語法元素繼承子集,或用作為該繼承子集之預測,該繼承子集表示至少一個繼承區之葉區集合組成相關聯的編碼參數。換言之,針對在該繼承資訊內部指示的各個繼承區,資料串流包含語法元素之繼承子集。又換言之,繼承係有關可資利用於繼承之至少某一個語法元素類型或語法元素類別。舉例言之,預測模式或跨-預測模式或內-預測模式語法元素可接受繼承。例如針對繼承區在該資料串流內部所含的繼承子集可包括跨-預測模式語法元素。繼承子集也包含額外語法元素,其語法元素類型係取決於與該繼承方案相關聯之前述固定式語法元素類型之值。舉例言之,於跨-預測模式為繼承子集之固定式成分之情況下,定義移動補償之語法元素諸如移動向量成分可藉語法而可含括或可未含括於該繼承子集。例如假設樹區塊150之右上四分之一,亦即子區塊152b為繼承區,則單獨跨-預測模式可指示用於本繼承區,或連同移動向量及移動向量指標而用於跨-預測模式。
含在繼承子集之全部語法元素係拷貝入在該繼承區內部之葉區塊亦即葉區塊154a、b、d及156a至156d之相對應編碼參數,或用作為其預測。於使用預測之情況下,針對個別葉區塊傳輸殘差。
針對葉區塊150傳輸繼承資訊之一項可能性為前述共享旗標f之傳輸。於步驟550,繼承資訊之抽取於本例中包含後述。更明確言之,解碼器可經組配來使用從較低階層式層級至較高階層式層級之階層式層級順序,針對與該多元樹細分之至少一個階層式層級之任何繼承集合相對應之非葉區,抽取及檢查得自該資料串流之共享旗標f,有關是否個別繼承旗標或共享旗標載明繼承與否。舉例言之,階層式層級之繼承集合可藉圖12a之階層式層1至層3形成。如此,針對非屬葉節點且係位在於任何層1至層3之子樹結構之任何節點,可具有在該資料串流內部與其相關聯之一共享旗標。解碼器係以從層1至層3之順序諸如於深度優先或寬度優先遍歷順序抽取此等共享旗標。一旦共享旗標中之一者等於1,則解碼器知曉含在相對應繼承區之葉區塊共享該繼承子集,隨後接著於步驟554之抽取。針對目前節點之子代節點,不再需要繼承旗標之檢查。換言之,此等子代節點之繼承旗標並未在資料串流內部傳輸,原因在於顯然此等節點區已經屬於其中語法元素之繼承子集為共享之該繼承區。
共享旗標f可以前述傳訊四叉樹細分之位元交叉。例如,包括細分旗標及共享旗標二者之交叉位元序列可為: 1 0001 101(0000)000, 其為圖6a所示之相同細分資訊,具有二散置的共享旗標,該等旗標藉下方畫線強調來指示圖3c中在樹區塊150左下四分之一之子區塊共享編碼參數。
定義指示繼承區之繼承資訊之另一種方式係使用彼此以從屬方式定義之二細分,如前文分別參考預測細分及殘差細分之解釋。概略言之,一次細分之葉區塊可形成該繼承區,該繼承區界定其中語法元素之繼承子集為共享之區;而從屬細分定義此等繼承區內部之區塊,針對該等區塊語法元素之繼承子集係經拷貝或用作為預測。
例如考慮殘差樹作為預測樹的延伸。進一步考慮預測區塊可進一步分割成更小型區塊用於殘差編碼目的。針對與預測相關四叉樹之葉節點相對應之各預測區塊,用於殘差編碼之相對應細分係由一個或多個從屬四叉樹決定。
此種情況下,替代在內部節點使用任何預測參數,發明人考慮殘差樹係以下述方式解譯,殘差樹也載明預測樹之精製表示使用恆定預測模式(藉預測相關樹之相對應葉節點傳訊)但具有經過精製之參考樣本。後述實例舉例說明此種情況。
例如,圖14a及14b顯示用於內-預測之四叉樹分割,鄰近參考樣本係針對一次細分之一個特定葉節點強調,而圖14b顯示相同預測葉節點之殘差四叉樹細分帶有已精製的參考樣本。圖14b所示全部子區塊針對在圖14a強調之個別葉區塊共享含在資料串流內部之相同內-預測參數。如此,圖14a顯示習知用於內-預測之四叉樹分割實例,此處顯示一個特定葉節點之參考樣本。但於發明人之較佳實施例中,經由使用在殘差樹中已經重建的葉節點之鄰近樣本,諸如圖14b之灰色影線條文指示,針對殘差樹中各個葉節點計算一分開內-預測信號。然後藉將量化殘差編碼信號加至此預測信號而以尋常方式獲得一給定殘差葉節點之重建信號。然後此重建信號用作為隨後預測程序之參考信號。注意用於預測之解碼順序係與殘差解碼順序相同。
如圖15所示,於解碼程序中,針對各殘差葉節點,經由使用參考樣本 r’依據實際內-預測模式(藉預測相關四叉樹葉節點指示),計算預測信號 p
SIT處理程序後, Re cRe s= SIT(Re s) 計算重建的信號 r及儲存用於下一個預測計算程序: r=Re cRe s+ p用於預測之解碼程序係與圖16所示殘差解碼順序相同。
各個殘差葉節點係如前段所述解碼。重建信號 r係儲存於緩衝器,如圖16所示。本緩衝器中,參考樣本 r’將取用於下次預測及解碼程序。
於已經就圖1至16以前文摘述之各構面之組合式分開子集描述特定實施例後,將描述本案之額外實施例,關注焦點係集中在前述某些構面,但實施例表示前述若干實施例之普及化。
特定言之,有關圖1及2之架構的前述實施例主要組合本案之多個構面,也可優異地採用在其它應用用途或其它編碼領域。如前文經常述及,例如多元樹細分可未經合併及/或未經跨平面採用/預測及/或無繼承而使用。舉例言之,最大區塊大小之傳輸、深度優先遍歷順序之使用、依據個別細分旗標之階層式層級之脈絡適應、及在位元串流內部最大階層式層級之傳輸來節省側邊資訊位元率,全部此等構面皆優異但彼此獨立無關。當考慮合併方案時此點亦為真。合併之優點為與一圖像被細分成單純連結區之確切方式獨立無關,及其優點為與多於一個樣本陣列之存在或跨平面採用/預測及/或繼承的使用獨立無關。同樣適用於涉及跨平面採用/預測及/或繼承之優點。
據此,後文摘述之實施例籠統概括前述有關合併構面之實施例。至於表示前述實施例之概括說明的下列實施例,多個前述細節可視為與後文描述之實施例可相容。
圖17顯示依據本案實施例之解碼器。圖17之解碼器包括一抽取器600及一重建器602。該抽取器600係經組配來針對表示一空間取樣資訊信號之一資訊樣本陣列被細分而成之多個單純連結區之各區,從一資料串流604抽取有效負載資料。如前述,該資訊樣本陣列被細分成的單純連結區可植基於一多元樹細分,且可為方形或矩形形狀。又,特別描述之用來細分一樣本陣列之實施例僅為特定實施例,也可使用其它細分。若干可能性係顯示於圖18a-c。例如圖18a顯示一樣本陣列606細分成彼此毗連的非重疊樹區塊608之規則二維排列,其中部分樹區塊依據多元樹結構而被細分成具有不同大小的子區塊610。如前述,雖然四叉樹細分例示說明於圖18a,但於任何其它數目子代節點之各親代節點分割亦屬可能。圖18b顯示一實施例,據此,藉由直接施加多元樹細分至全像素陣列606上,一樣本陣列606被細分成具有不同大小之子區塊。換言之,全像素陣列606係為視為樹區塊處理。圖18c顯示另一實施例。依據此一實施例,樣本陣列係結構化成成彼此毗連的方形或矩形巨集區塊之規則二維排列,及各個此等巨集區塊612係個別地與分割資訊相關聯,據此,一巨集區塊612保留未經分割或而被分割成由該分割資訊所示大小的區塊之規則二維排列。如此可知,圖13a至13c之全部細分結果導致該樣本陣列606之細分成單純連結區,依據圖18a至18c之實施例,各單純連結區係以非重疊顯示。但數種替代之道亦屬可能。舉例言之,各區塊可彼此重疊。但重疊可限於各區塊有一部分未重疊任何鄰近區塊之程度,或使得各區塊樣本係沿一預定方向與目前區塊並排排列之該等鄰近區塊中之至多重疊一個區塊。換言之,後者表示左及右鄰近區塊可重疊目前區塊,因而完全覆蓋該目前區塊,但未彼此重疊,同理適用於垂直及對角線方向之鄰近區塊。
如前文就圖1至16所述,資訊樣本陣列並非必然表示一視訊或靜像圖像。樣本陣列606也可表示某個景物的深度對映圖或透明對映圖。
如前文討論,與多個單純連結區各自相關聯之有效負載資料可包含於空間域或於變換域之殘差資料,諸如變換係數及識別在一變換區塊內部與一殘差區塊相對應之顯著變換係數位置之一顯著性對映圖。籠統言之,從該資料串流604針對各個單純連結區而藉抽取器600抽取之有效負載資料為下述資料,其空間上於空間域或於頻譜域,且或為直接或例如作為殘差至其某種預測而描述其相關聯之單純連結區。
重建器602係經組配來針對各個單純連結區,藉由以與個別單純連結區相關聯之編碼參數描述之方式處理個別單純連結區之有效負載資料,來從該資訊樣本陣列之單純連結區之有效負載資料而重建該資訊樣本陣列。類似前文討論,編碼參數可以是預測參數及據此,圖18a至18b所示單純連結區可對應於前述預測區塊,亦即以資料串流604為單位之區塊界定用以預測個等個別單純連結區之預測細節。但編碼參數非僅限於預測參數。編碼參數子集可指示用以變換該有效負載資料之變換,或可定義一濾波器,其當重建該資訊樣本陣列時係用來重建該個別單純連結區。
抽取器600係經組配來針對一預定單純連結區,識別在多個單純連結區內部與該預定單純連結區具有預定相對位置關係之單純連結區。有關此一步驟細節在前文已就步驟450詳細說明。換言之,除了預定相對位置關係外,識別可取決於與該預定單純連結區相關聯之一編碼參數子集。於識別後,抽取器600從該資料串流604抽取針對該預定單純連結區之一合併指標。若與該預定單純連結區具有預定相對位置關係之單純連結區數目大於零。此係與步驟452及454之前文描述相對應。若合併指標提示作為該預定區塊之合併處理,則抽取器600係經組配來檢查與該預定單純連結區具有預定相對位置關係之單純連結區數目是否為1,或若與該預定單純連結區具有預定相對位置關係之單純連結區數目是否大於1但其編碼參數彼此相同。若二替代例中之一者適用,則恰如前文就步驟458至468所述,抽取器採用編碼參數或使用編碼參數用來預測預定單純連結區或其其餘子集之編碼參數。如前文就圖10所述,於抽取器檢查揭示與該預定單純連結區具有預定相對位置關係之單純連結區數目係大於1且彼此具有不同編碼參數之情況下,可藉抽取器600而從資料串流604抽取額外指標。
藉由使用後述檢查,指示候選單純連結區之一個或一子集之額外指標的發射可被遏止,因而減少側邊資訊額外管理資料量。
圖19顯示用以產生可藉圖17之解碼器解碼的資料串流之編碼器之大致結構。圖19之編碼器包含一資料產生器650及一插入器652。資料產生器650係經組配來針對資訊樣本陣列所細分而成的多個互連區各自連同與個別單純連結區相關聯之編碼參數,將該資訊樣本陣列編碼成有效負載資料,來指示如何重建個別單純連結區之有效負載資料。插入器652如同圖12之解碼器之抽取器600般執行識別及檢查,但係執行合併指標之插入而非其抽取,及遏止編碼參數之插入資料串流,或替代前文就圖12及圖10所述採用/預測,藉個別預測殘差之插入來完整置換編碼參數之插入資料串流。
又,須注意圖19之編碼器結構為相當示意性質,實際上,有效負載資料、編碼參數及合併指標之決定可能迭代重複處理程序。舉例言之,若鄰近單純連結區之編碼參數為相似,但非彼此相同,當考慮合併指標允許完全遏止單純連結區中之一者的編碼參數,及藉只遞交殘差來完整置換此等編碼參數之遞交時,迭代重複處理程序可判定放棄此等編碼參數間之小差異可能優於傳訊此等差值給解碼器。
圖20顯示解碼器之又一實施例。圖20之解碼器包含一細分器700、一合併器702及一重建器704。細分器係經組配來依據語法元素子集是否含在資料串流,將表示二維資訊信號之空間取樣的樣本陣列,藉遞歸地多重分割而空間地細分成多個具有不同大小的非重疊單純連結區。如此,多重分割可與前文就圖1至16或圖18a抑或圖18b摘述的實施例相對應。含在資料串流用以指示細分之語法元素可如前文就圖6a或6b指示定義或以其它方式定義。
合併器702可經組配來取決於資料串流中之第二語法元素子集與第一子集不相連接,組合多個單純連結區之空間上鄰近單純連結區而獲得樣本陣列之中間細分成不相連接的單純連結區集合,其聯合具有多個單純連結區。換言之,合併器702組合單純連結區,及係以獨特方式合併單純連結區群組。恰如前述之第二語法元素子集指示,合併資訊可以前文就圖19或圖10或若干其它方式呈現之方式界定。但編碼器藉由使用與指示合併之該子集不相連接之一子集而指示細分的能力,提高編碼器將樣本陣列細分調整適應實際樣本陣列內容之自由度,故可提高編碼效率。重建器704係經組配來使用中間細分而從資料串流重建樣本陣列。如前文指示,重建器可藉針對一目前單純連結區之合併伴侶的編碼參數之採用/預測而探討中間細分。另外,重建器704甚至可施加變換或預測程序至單純連結區之合併群組的組合區。
圖21顯示用來產生可藉圖15之解碼器解碼之一資料串流之可能的編碼器。該編碼器包含一細分/合併階段750及一資料串流產生器752。細分/合併階段係經組配來決定表示二維資訊信號及兩個不相連接單純連結區集合之一資訊樣本陣列的中間細分,其聯合為該等多個單純連結區,利用一第一語法元素子集定義此中間細分,據此藉遞歸地多重分割而將該資訊樣本陣列細分成多個不相重疊的不同大小單純連結區;及一第二語法元素子集與該第一子集不相連接,據此多個單純連結區之空間上鄰近單純連結區係組合而獲得中間細分。資料串流產生器752使用該中間細分來將資訊樣本陣列編碼成資料串流。細分/合併階段750也將第一及第二子集插入資料串流。
再度,如同圖14之情況,決定第一及第二子集及由資料串流產生器752產生語法元素之處理程序可以是迭代重複操作的處理程序。舉例言之,細分/合併階段750可初步地決定最佳細分,其中於資料串流產生器752以細分/合併階段使用樣本細分而決定用以編碼樣本陣列之相對應最佳語法元素集合後,設定描述合併的語法元素,因而減少側邊資訊額外管理資料量。但編碼程序可能未停在此處。反而,細分/合併階段750連同資料串流產生器752可協力合作,試圖偏離先前由資料串流產生器752所決定的細分及語法元素之最佳集合,來判定藉由探討合併的正向性質而是否達成較佳率/失真比。
如前述,就圖17至21所述實施例表示前文就圖1至16所示實施例之普及化,據此,可獨特地關聯圖1至16之元件至圖17至21所示元件。舉例言之,抽取器102連同細分器104a及合併器104b推定負責由圖17抽取器600所執行的工作。細分器負責個別單純連結區間之鄰近關係的細分與管理。合併器104b又轉成管理單純連結區之合併成一群組,於合併事件係由目前解碼合併資訊指示之情況下,定位欲拷貝或欲用作為目前單純連結區之預測的正確編碼參數。於使用熵解碼用於資料抽取之情況下,抽取器102推定負責使用正確脈絡而從該資料串流的實際資料抽取。圖2之其餘元件為重建器602之實例。當然,重建器602可與圖2所示差異地實施。舉例言之,重建器602可未使用運動補償預測及/或內-預測。反而,也適用其它種可能性。
又,如前述,關聯圖17之描述所述單純連結區,類似殘差細分或濾波細分,如前文指示係對應於前述預測區塊,或對應於前述其它細分中之任一者。
比較圖19之編碼器與圖1之實例,資料產生器650將涵括資料串流插入器18以外的全部元件,而後者係與圖19之插入器652相對應。再度,資料產生器650可使用圖1所示混成編碼辦法以外之其它編碼辦法。
比較圖20之解碼器與圖2所示實例,細分器104a及合併器104b分別將對應於圖20之細分器100及合併器102,而元件106及114將對應於重建器704。抽取器102常見參與圖20所示全部元件之功能。
至於圖21之編碼器,細分/合併階段750將對應於細分器28及合併器30,而資料串流產生器752將涵括圖10所示全部其它元件。
雖然已經就裝置脈絡說明數個構面,但顯然此等構面也表示相對應方法之說明,此處一區塊或一裝置係對應於一方法步驟或一方法步驟特徵。同理,於方法步驟脈絡中所描述之構面也表示對應區塊或項目或對應裝置之特徵的描述。部分或全部方法步驟可藉(或使用)硬體裝置,例如微處理器、可規劃電腦或電子電路執行。於若干實施例中,最重要方法步驟中之某一者或某多個可藉此種裝置執行。
本發明之編碼/壓縮信號可儲存在數位儲存媒體上,或可在傳輸媒體諸如無線傳輸媒體或有線傳輸媒體諸如網際網路傳輸。
依據若干具體實現要求,本發明之實施例可於硬體或軟體具體實現。具體實現可使用數位儲存媒體執行,例如軟碟、DVD、藍光碟、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體,其上儲存可電子式讀取之控制信號,其係與可規劃電腦系統協力合作(或可協力合作)因而執行個別方法。因此,數位儲存媒體可為電腦可讀取。
依據本發明之若干實施例包含具有可電子式讀取控制信號之資料載體,其可與可規劃電腦系統協力合作因而執行此處所述方法中之一者。
一般而言,本發明之實施例可實施為具有程式碼之一種電腦程式產品,該程式碼可操作用來當電腦程式產品在電腦上運行時執行該等方法中之一者。程式碼例如可儲存在機器可讀取載體上。
其它實施例包含儲存在機器可讀取載體上之用來執行此處所述方法中之一者之電腦程式。
換言之,因此,本發明方法之實施例為一種電腦程式,該電腦程式具有程式碼用來當該電腦程式在電腦上運行時執行此處所述方法中之一者。
因此本發明之又一實施例為一種資料載體(或數位儲存媒體或電腦可讀取媒體)包含於其上紀錄用來執行此處所述方法中之一者之電腦程式。
因此本發明方法之又一實施例為表示用來執行此處所述方法中之一者之電腦程式之資料串流或信號序列。該資料串流或信號序列例如係組配來透過資料通訊連結,例如透過網際網路傳輸。
又一實施例例如包含一種處理手段,例如電腦或可程式邏輯裝置,其係組配來或調適來執行此處所述方法中之一者。
又一實施例包含其上安裝有用以執行此處所述方法中之一者之電腦程式之電腦。
於若干實施例中,可規劃邏輯裝置(例如場可規劃閘陣列)可用來執行此處所述方法之部分或全部功能。於若干實施例中,場可規劃閘陣列可與微處理器協力合作來執行此處所述方法中之一者。概略言之,該等方法較佳係藉任一種硬體裝置執行。
由上述討論,將可理解,本發明可以多種實施例形式體現,包含但不限於下列:
實施例1:一種解碼器,其包含: 一抽取器,組配來針對表示一經空間上取樣資訊信號之一資訊樣本陣列所細分成的多個單純連結區中之各者而從一資料串流抽取有效負載資料;及 一重建器,組配來藉由以由與個別單純連結區相關聯之編碼參數所指定之方式,針對各個單純連結區處理個別單純連結區之有效負載資料,而從針對該資訊樣本陣列之該等單純連結區的該有效負載資料重建該資訊樣本陣列, 其中該抽取器進一步組配來: 針對一預定單純連結區,識別在該等多個單純連結區內與該預定單純連結區具有一預定相對位置關係之單純連結區, 若與該預定單純連結區具有該預定相對位置關係之單純連結區數目大於零,則從該資料串流抽取針對該預定單純連結區之一合併指標, 若該合併指標提示預定區塊之一合併處理, 若與該預定單純連結區具有該預定相對位置關係之單純連結區數目為一,則採用該單純連結區之編碼參數作為針對該預定單純連結區之編碼參數,或以從該資料串流抽取針對該預定單純連結區之一預測殘差而從與該預定單純連結區具有該預定相對位置關係之單純連結區的編碼參數來預測針對該預定單純連結區之編碼參數。
實施例2:如實施例1之解碼器,其中該抽取器進一步組配來:若與該預定單純連結區具有該預定相對位置關係之單純連結區數目大於1,則檢查與該等單純連結區相關聯之編碼參數是否彼此相同,及若是,則採用該等單純連結區之編碼參數作為針對該預定單純連結區之該等編碼參數,或以從該資料串流抽取該預測殘差來從與該預定單純連結區具有該預定相對位置關係之數個單純連結區的編碼參數預測針對該預定單純連結區之編碼參數。
實施例3:如實施例1或2之解碼器,其進一步包含: 一細分器,組配來使用一多元樹細分,藉遞歸地多重分割而將該資訊樣本陣列空間地細分成該等單純連結區,使得該等單純連結區具有不同大小,其中該抽取器組配來以一深度優先遍歷順序來處理該等單純連結區。
實施例4:如實施例1至3中任一者之解碼器,其中,細分器組配來將該資訊樣本陣列空間地劃分成具有一最大區大小之樹根區,及依據一多元樹細分資訊,藉遞歸地多重分割該等樹根區之一子集而將至少該等樹根區之該子集細分成具有不同大小之更小型單純連結區,該等樹根區未依據該多元樹細分資訊分割,及該等更小型單純連結區形成該等多個單純連結區。
實施例5:如實施例1至4中任一者之解碼器,其中該抽取器組配來,於識別與該預定單純連結區具有該預定相對位置關係之該等單純連結區時,識別其內部有與位在該預定單純連結區之邊界的一資訊樣本相鄰之任何資訊樣本之該等單純連結區。
實施例6:如實施例1至5中任一者之解碼器,其中該抽取器組配來在該識別之前,從該資料串流抽取針對該預定單純連結區之編碼參數之一第一子集, 於識別與該預定單純連結區具有該預定相對位置關係之該等單純連結區時,識別與該預定單純連結區具有該預定相對位置關係及同時具有與其相關聯之編碼參數之該等單純連結區,該等編碼參數係滿足與針對該預定單純連結區之編碼參數之該第一子集所具之一預定關係,及 在與編碼參數之該第一子集不相交的針對該預定單純連結區之編碼參數之一第二子集上,執行採用或以抽取該預測殘差之預測,其中條件式地取決於與該預定單純連結區具有該預定相對位置關係及同時具有與其相關聯之編碼參數的單純連結區之數目,該等編碼參數係滿足與針對該預定單純連結區之編碼參數之該第一子集所具之該預定關係。
實施例7:如實施例1至6中任一者之解碼器,其中該抽取器係組配成,若與該預定單純連結區具有該預定相對位置關係之該數目的單純連結區相關聯之編碼參數彼此不相等,則從該資料串流抽取一參考鄰近識別符,識別與該預定單純連結區具有該預定相對位置關係之該數目的單純連結區之一適當子集,及採用此適當子集之編碼參數作為針對該預定單純連結區之編碼參數,或以從該資料串流抽取一預測殘差而從該適當子集來預測該預定單純連結區之編碼參數。
實施例8:一種解碼器,包含: 一抽取器,組配來針對表示一經空間上取樣資訊信號之一資訊樣本陣列所細分成的多個單純連結區中之各者,而從一資料串流抽取有效負載資料;及 一重建器,組配來藉由針對各個單純連結區,以由與個別單純連結區相關聯之編碼參數所指定之方式,處理個別單純連結區之有效負載資料,而從針對該資訊樣本陣列之該等單純連結區的有效負載資料重建該資訊樣本陣列, 其中該抽取器係進一步組配來: 從該資料串流抽取針對該預定單純連結區之編碼參數之一第一子集, 針對一預定單純連結區,識別在該等多個單純連結區內與該預定單純連結區具有一預定相對位置關係之單純連結區, 若與該預定單純連結區具有該預定相對位置關係之單純連結區數目大於零,則從該資料串流抽取針對該預定單純連結區之一合併指標, 若該合併指標提示預定區塊之一合併處理,則: 針對與該預定單純連結區具有該預定相對位置關係之該等多個單純連結區中之各區,依據一預定距離量測而計算該預定單純連結區之編碼參數之該第一子集及與該預定單純連結區具有該預定相對位置關係之個別單純連結區之編碼參數之一相對應子集間之距離,及採用具有最小距離之該單純連結區之編碼參數之該相對應子集作為與該第一子集不相交之針對該預定單純連結區之編碼參數之一第二子集,或以從該資料串流抽取針對該預定單純連結區之一預測殘差而從具有最小距離之該單純連結區之編碼參數之該相對應子集來預測針對該預定單純連結區之編碼參數之該第二子集。
實施例9:一種用以將二維資訊信號所編碼成之資料串流解碼之解碼器,包含: 一細分器,組配來取決於含在該資料串流中之語法元素之一第一子集,藉遞歸地多重分割而將表示該二維資訊信號之一空間取樣之一資訊樣本陣列,空間地細分成具有不同大小之多個單純連結區; 合併器,組配來取決於與該第一子集不相交的在該資料串流內之語法元素之一第二子集,將該等多個單純連結區中之空間上鄰近單純連結區組合,來獲得將該資訊樣本陣列中間細分成不相交單純連結區集合,其聯合為該等多個單純連結區;及 一重建器,組配來使用該中間細分而從該資料串流重建該資訊樣本陣列。
實施例10:如實施例8之解碼器,其中該細分器組配來將該資訊樣本陣列空間上劃分成具有最大區大小之樹根區,及依據語法元素之該第一子集,藉遞歸地多重分割該等樹根區之一子集,而將樹根區之至少該子集細分成不同大小的更小型單純連結區,該等樹根區未依據多元樹細分資訊分割,及該等更小型單純連結區形成該等多個單純連結區。
實施例11:如實施例10之解碼器,其中該細分器組配來執行該資訊樣本陣列之劃分成樹根區,使得該等樹根區為由該最大區大小所決定之一大小的矩形區塊,其規則地排列來無間隙地覆蓋該資訊樣本陣列。
實施例12:如實施例10或11之解碼器,其中該細分器組配來在細分樹根區之該子集時: 針對各樹根區,檢查語法元素之該第一子集是否欲分割該個別樹根區,及 若欲分割該個別樹根區,則: 依據與一第一階系位準相關聯之一分割規則而將該個別樹根區分割成多個屬於該第一階系位準之區,及 針對該第一階系位準之該等區,遞歸地重覆該檢查及分割,以使用相關聯之分割規則來獲得更高階之階系位準之區, 當不再依據語法元素之該第一子集執行進一步分割或當達最大階系位準時,停止該遞歸重覆, 其中未依據語法元素之該第一子集進一步分割之樹根區之該子集中之區係分別表示該等更小型單純連結區及該多元樹細分之葉區。
實施例13:如實施例12之解碼器,其中該最大階系位準係由語法元素之該第一子集指示。
實施例14:如實施例12或13之解碼器,其中該細分器組配來依據與該第一及更高階之階系位準相關聯之分割規則,執行分割成具有相等大小之子區,如此所得子區數目為全部階系位準所共通。
實施例15:如實施例12至14中任一者之解碼器,其中該重建器組配來從該資料串流以一深度優先遍歷順序而抽取與該樹根區子集之該等葉區相關聯之第一語法元素。
實施例16:如實施例12至15中任一者之解碼器,其中語法元素之該第一子集具有分別地與各樹根區及不屬最大階系位準區之該第一及較高階之階系位準區相關聯之一分割指示旗標,該等分割指示旗標指示相關聯之樹根區及該第一及較高階之階系位準區是否分別被分割。
實施例17:如實施例9至16中任一者之解碼器,其中該重建器組配來以與該中間細分相對應之一粒度執行下列量測中之一者或多者: 至少在內預測及交互預測模式之間判定欲使用哪一個預測模式; 從譜域變換成空間域; 執行及/或設定針對交互預測之參數;及 執行及/或設定針對內預測之參數。
實施例18:如實施例9至16中任一者之解碼器,其中該重建器組配來以取決於該中間細分之一粒度來執行下列量測中之一者或多者: 至少在內預測及交互預測模式之間判定欲使用哪一個預測模式; 從譜域變換成空間域; 執行及/或設定針對交互預測之參數; 執行及/或設定針對內預測之參數; 抽取與設定編碼參數; 以抽取編碼參數殘差而抽取編碼參數預測,及以由該等小型單純連結區之細分所決定之更細小粒度,而藉由組合該等編碼參數預測與該等編碼參數殘差來設定編碼參數。
實施例19:一種解碼方法,包含: 針對表示一經空間上取樣資訊信號之一資訊樣本陣列所細分成的多個單純連結區中之各者,從一資料串流抽取有效負載資料;及 藉由針對各個單純連結區,以由與個別單純連結區相關聯之編碼參數所指定之方式,處理該個別單純連結區之有效負載資料,而從針對該資訊樣本陣列之該等單純連結區的有效負載資料重建該資訊樣本陣列, 其中該抽取包含: 針對一預定單純連結區,識別該等多個單純連結區內與該預定單純連結區具有一預定相對位置關係之單純連結區, 若與該預定單純連結區具有該預定相對位置關係之單純連結區數目大於零,則從該資料串流抽取針對該預定單純連結區之一合併指標, 若該合併指標提示預定區塊之一合併處理: 若與該預定單純連結區具有該預定相對位置關係之單純連結區數目為一,則採用該單純連結區之編碼參數作為針對該預定單純連結區之編碼參數,或以從該資料串流抽取針對該預定單純連結區之一預測殘差而從與該預定單純連結區具有該預定相對位置關係之單純連結區的編碼參數來預測針對該預定單純連結區之編碼參數。
實施例20:一種用以解碼二維資訊信號所編碼成之資料串流之方法,包含: 取決於含在該資料串流中之語法元素之一第一子集,藉遞歸地多重分割而將表示該二維資訊信號之一空間取樣之一資訊樣本陣列空間地細分成具有不同大小之多個單純連結區; 取決於與該第一子集不相交的在該資料串流內之語法元素之一第二子集,將該等多個單純連結區之空間上鄰近單純連結區組合來獲得將該資訊樣本陣列中間細分成不相交的單純連結區集合,其聯合為該等多個單純連結區;及 使用該中間細分而從該資料串流重建該資訊樣本陣列。
實施例21:一種編碼器,組配來將表示一經空間取樣之資訊信號之一資訊樣本陣列,編碼成針對該資訊樣本陣列所細分成的多個單純連結區中之各者的有效負載資料,及與個別單純連結區相關聯之編碼參數,以指定從針對該個別單純連結區之有效負載資料欲重建針對該個別單純連結區之有效負載資料之方式,其中該編碼器進一步組配來: 針對一預定單純連結區,識別該等多個單純連結區內與該預定單純連結區具有一預定相對位置關係之單純連結區, 若與該預定單純連結區具有該預定相對位置關係之單純連結區數目大於零,則將針對該預定單純連結區之合併指標插入該資料串流, 若該合併指標提示預定區塊之一合併處理: 若與該預定單純連結區具有該預定相對位置關係之單純連結區數目為一,則不將該單純連結區之編碼參數插入該資料串流,或以將針對該預定單純連結區之一預測殘差插入該資料串流而從與該預定單純連結區具有該預定相對位置關係之單純連結區的編碼參數來預測針對該預定單純連結區之編碼參數。
實施例22:如實施例21之編碼器,其進一步組配成若與該預定單純連結區具有該預定相對位置關係之單純連結區數目大於1,則檢查與該等單純連結區相關聯之編碼參數是否彼此相同,及若是,則不將針對該預定單純連結區之編碼參數插入該資料串流,或以將該預測殘差插入該資料串流,來從與該預定單純連結區具有該預定相對位置關係之該數目的單純連結區之編碼參數而預測針對該預定單純連結區之該等編碼參數。
實施例23:一種用以產生二維資訊信號所編碼成之資料串流之編碼器,包含: 一細分/合併階段,組配來決定語法元素之一第一子集及與該第一子集不相交之語法元素之第二子集,該第一子集界定出表示該二維資訊信號之空間取樣之一資訊樣本陣列藉遞歸地多重分割而空間細分成不同大小的多個單純連結區,該第二子集界定該等多個單純連結區中之空間鄰近單純連結區的組合而獲得該資訊樣本陣列之中間細分成不相交的單純連結區集合,其聯合為該等多個單純連結區;及 一資料串流產生器,其組配來使用該中間細分,以將語法元素之該第一及第二子集插入一資料串流,而將該資訊樣本陣列編碼成該資料串流。
實施例24:一種編碼器,其組配來將表示一經空間取樣之資訊信號之一資訊樣本陣列編碼成針對該資訊樣本陣列所細分成的多個單純連結區中之各者的有效負載資料,及與個別單純連結區相關聯之編碼參數,以指定從針對該個別單純連結區之有效負載資料欲重建針對該個別單純連結區之有效負載資料之方式,其中該編碼器進一步組配來: 將針對一預定單純連結區之編碼參數之一第一子集插入該資料串流, 針對該預定單純連結區,識別該等多個單純連結區內與該預定單純連結區具有一預定相對位置關係之單純連結區, 若與該預定單純連結區具有該預定相對位置關係之單純連結區數目大於零,則將針對該預定單純連結區之一合併指標插入該資料串流, 若該合併指標提示預定區塊之一合併處理,則: 針對與該預定單純連結區具有該預定相對位置關係之多個單純連結區中之各區,依據一預定距離量測而計算該預定單純連結區之編碼參數之該第一子集和與該預定單純連結區具有該預定相對位置關係之個別單純連結區之編碼參數之一相對應子集間之距離,及不將與該第一子集不相交之針對該預定單純連結區之編碼參數之一第二子集插入該資料串流,或從具有最小距離之該單純連結區之編碼參數之一相對應子集,以將針對該預定單純連結區之一預測殘差插入該資料串流來預測針對該預定單純連結區之編碼參數之該第二子集。
實施例25:一種編碼方法,用以將表示經空間取樣資訊信號之資訊樣本陣列編碼成針對該資訊樣本陣列所細分成的多個單純連結區中各者之有效負載資料,及與個別單純連結區相關聯之編碼參數,因而指定從針對該個別單純連結區之有效負載資料欲重建針對個別單純連結區之有效負載資料之方式,其中該方法包含: 針對一預定單純連結區,識別該等多個單純連結區內與該預定單純連結區具有一預定相對位置關係之單純連結區, 若與該預定單純連結區具有該預定相對位置關係之單純連結區數目大於零,則將針對該預定單純連結區之合併指標插入該資料串流, 若該合併指標提示預定區塊之一合併處理: 若與該預定單純連結區具有該預定相對位置關係之單純連結區數目為一,則不將該單純連結區之編碼參數插入該資料串流,或以將針對該預定單純連結區之一預測殘差插入該資料串流而從與該預定單純連結區具有該預定相對位置關係之該單純連結區的編碼參數來預測針對該預定單純連結區之編碼參數。
實施例26:一種用以產生二維資訊信號所編碼成之資料串流之方法,包含: 決定語法元素之一第一子集及與該第一子集不相交之語法元素之一第二子集,該第一子集界定出表示該二維資訊信號之空間取樣之一資訊樣本陣列藉遞歸地多重分割而空間細分成不同大小的多個單純連結區,該第二子集界定該等多個單純連結區中之空間鄰近單純連結區的組合,而獲得該資訊樣本陣列之中間細分成不相交的單純連結區集合,其聯合為該等多個單純連結區;及 使用該中間細分,以將語法元素之該第一及第二子集插入該資料串流而將該資訊樣本陣列編碼成一資料串流。
實施例27:一種儲存有電腦程式之電腦可讀數位儲存媒體,該電腦程式具有程式碼,當該程式碼在電腦上運行時用以執行如實施例19、20、25及26中任一者之方法。
實施例28:一種編碼有表示經空間取樣資訊信號之資訊樣本陣列之資料串流,該資料串流包含針對該資訊樣本陣列所細分成的多個單純連結區中之各者的有效負載資料,及與個別單純連結區相關聯之編碼參數,因而指定欲從針對該個別單純連結區之有效負載資料重建針對該個別單純連結區之有效負載資料的方式,其中該資料串流也包含: 針對該等預定單純連結區之一合併指標,針對該等預定單純連結區在該等多個單純連結區內與該等預定單純連結區具有一預定相對位置關係之單純連結區數目係大於零, 若針對一個別預定單純連結區之該合併指標提示一合併處理,及若與該個別預定單純連結區具有該預定相對位置關係之單純連結區數目為一,則不存在有在該資料串流內之該個別預定單純連結區之編碼參數,或藉由從與該個別預定單純連結區具有該預定相對位置關係之該等單純連結區的該等編碼參數來預測針對該個別預定單純連結區之編碼參數而用以重建的針對該個別預定單純連結區之一預測殘差。
實施例29:如實施例28之資料串流,其進一步包含: 若與該個別預定單純連結區具有該預定相對位置關係之單純連結區數目大於一,及若與該等單純連結區相關聯之編碼參數彼此相同,則不存在有針對該個別預定單純連結區之編碼參數,或藉由從與該個別預定單純連結區具有該預定相對位置關係之該等數個單純連結區的編碼參數來預測針對該個別預定單純連結區之編碼參數而用以重建之針對該個別預定單純連結區之該預測殘差。
實施例30:一種二維資訊信號所編碼成之資料串流,其包含: 語法元素之一第一子集,其界定表示該二維資訊信號之一空間取樣之一資訊樣本陣列藉遞歸地多重分割而空間細分成不同大小的多個單純連結區,及 與該第一子集不相交之語法元素之一第二子集,其界定該等多個單純連結區中之空間鄰近單純連結區的組合,而獲得該資訊樣本陣列之中間細分成不相交的單純連結區集合,其聯合為該等多個單純連結區;及 其中該資訊樣本陣列依據該中間細分而編碼成該資料串流。
前述實施例僅用於舉例說明本發明之原理。須瞭解此處所述配置之細節之修改及變化為熟諳技藝人士顯然易知。因此意圖僅受隨附之申請專利範圍之範圍所限而非受用於舉例說明此處實施例之特定細節所限。
10:編碼器 12,110:預測器 14:殘差預編碼器 16,106:殘差重建器 18:資料串流插入器 20:區塊分割器/分割器 22,604:資料串流 24,500:圖像 26:區塊或子區 28,104a:細分器 30,104b:合併器 32,116:輸入端 34:減法器 36,108:加法器 38:回路內濾波器 40,120:預測參數 100:解碼器 102,600:抽取器 104:圖像分割器/分割器 112:選擇性回路內濾波器 114:選擇性後濾波器 118:編碼資料串流細分資訊 122:殘差資料 124:輸出端 140,200:光柵掃描順序 150:樹區塊 152a-d:子區塊,葉區 154a-d:小型子區塊/葉區 156a-d:又更小型子區塊/葉區 190,204,208:傳輸1 202,206,214:傳輸0 210:傳輸0000 212:傳輸00 216:層級0 218:層級1 220:層級2 222:層級3 300-320,400-406,450-472,550-556:步驟 350:箭頭 400:左上樣本 402:左鄰近樣本 404:頂鄰近樣本 502,504,506:樣本陣列 508:方向 510,512:平面群組 514:選定樣本 516:目前區塊 518,520:位置 522,524:共同定位區塊 602:重建器 606:樣本陣列,像素陣列 608:非重疊樹區塊 610:子區塊 612:巨集區塊 650:資料產生器 652:插入器 700:細分器 702:合併器 704:重建器 750:細分/合併階段 752:資料串流產生器
後文將參考下列圖式描述本發明之較佳實施例,附圖中: 圖1顯示依據本案之一實施例編碼器之方塊圖; 圖2顯示依據本案之一實施例解碼器之方塊圖; 圖3a-c示意地顯示四叉樹細分之一具體實施例,其中圖3a顯示第一階層式層級,圖3b顯示第二階層式層級,及圖3c顯示第三階層式層級; 圖4示意地顯示依據一實施例針對圖3a至3c之說明性四叉樹細分之樹結構; 圖5a、b示意地顯示圖3a至3c之四叉樹細分及具有指標指示個別葉區塊之樹結構; 圖6a、b示意地顯示依據不同實施例表示圖4之樹結構及圖3a至3c之四叉樹細分的二進制串或旗標序列; 圖7顯示一流程圖,顯示依據一實施例藉資料串流抽取器所執行之步驟; 圖8顯示一流程圖,例示說明依據又一實施例資料串流抽取器之功能; 圖9a、b顯示依據一實施例例示說明性四叉樹細分之示意圖,強調一預定區塊之鄰近候選區塊; 圖10顯示依據又一實施例資料串流抽取器之功能之一流程圖; 圖11示意地顯示依據一實施例來自平面及平面群組中之一圖像之組成且例示說明使用跨平面適應/預測之編碼; 圖12a及12b示意地例示說明依據一實施例之一子樹結構及相對應細分來描述繼承方案; 圖12c及12d示意地例示說明依據一實施例之一子樹結構來描述分別使用採用及預測之繼承方案; 圖13顯示一流程圖,顯示依據一實施例藉編碼器實現繼承方案所執行之步驟; 圖14a及14b顯示一次細分及從屬細分,來例示說明依據一實施例具體實現關聯跨-預測之一繼承方案的可能性; 圖15顯示一方塊圖例示說明依據一實施例關聯該繼承方案之一種解碼方法; 圖16顯示圖14b之次細分及於該次細分之方塊間的一可能之順序; 圖17顯示依據一實施例解碼器之方塊圖; 圖18a-c顯示一示意圖,例示說明依據其它實施例不同的細分可能性; 圖19顯示依據一實施例編碼器之方塊圖; 圖20顯示依據又一實施例解碼器之方塊圖;及 圖21顯示依據又一實施例編碼器之方塊圖。
10:編碼器 12:預測器 14:殘差預編碼器 16:殘差重建器 18:資料串流插入器 20:分割器 22:資料串流 24:圖像 26:區塊或子區 28:細分器 30:合併器 32:輸入端 34:減法器 36:加法器 38:回路內濾波器 40:預測參數

Claims (30)

  1. 一種用於解碼資訊樣本陣列之解碼器,該等資訊樣本陣列編碼在一資料串流中而各表示於一解析度層級之一圖像,該解碼器包含: 一抽取器,其組配來: 從該資料串流抽取關於在一資訊樣本陣列內目前正解碼的一區域之一合併指標,其中目前正解碼的該區域係藉由劃分該資訊樣本陣列所獲取之多個區域中之一者,且該合併指標指出目前正解碼的該區域是否要基於至少一個編碼參數來重建,該至少一個編碼參數係基於與該解析度層級之一選定候選區域相關聯之一或多個編碼參數來判定,其中該至少一個編碼參數與該一或多個編碼參數包括移動向量, 識別關於目前正解碼的該區域之該解析度層級的一組候選區域, 若該組候選區域中的候選區域之數目大於一,則: 從該資料串流抽取一候選識別符,及 依據該候選識別符,從該組候選區域中選擇該選定候選區域;以及 一重建器,其組配來: 若一指示係要複製,則複製該一或多個編碼參數之一移動向量作為該至少一個編碼參數之一移動向量, 若該指示係要運算,則基於該一或多個編碼參數來運算該至少一個編碼參數,該運算包括: 基於該一或多個編碼參數之一移動向量來判定該至少一個編碼參數之一移動向量之一預測, 從該資料串流抽取該至少一個編碼參數之一移動向量之一預測殘差,以及 結合該至少一個編碼參數之該移動向量之該預測以及該預測殘差來獲取該至少一個編碼參數之該移動向量,以及 基於該至少一個編碼參數之該移動向量來重建目前正解碼的該區域。
  2. 如請求項1之解碼器,其中該抽取器進一步組配來在該組候選區域中之至少數者共用至少一個相同編碼參數時,判定該至少一個編碼參數。
  3. 如請求項1之解碼器,其中該抽取器進一步組配來在該組候選區域未共用一相同編碼參數時,從該資料串流抽取該候選識別符。
  4. 如請求項1之解碼器,其中該資訊樣本陣列包括深度資訊。
  5. 如請求項1之解碼器,其中該圖像包括與不同色彩平面相關之資訊樣本陣列,且該解碼器組配來將該圖像之該等不同色彩平面獨立地解碼。
  6. 如請求項5之解碼器,其中該等不同色彩平面包含一亮度樣本陣列連同二個色度樣本陣列,其中針對在水平方向上相對於該亮度樣本陣列的該等色度樣本陣列的一空間解析度之一第一比例因數,係不同於針對在垂直方向上相對於該亮度樣本陣列的該等色度樣本陣列的一空間解析度之一第二比例因數。
  7. 如請求項1之解碼器,其進一步包含組配來藉由下列動作來獲取該等多個區域之一細分器: 依據從該資料串流抽取之一最大區域大小,將該資訊樣本陣列分割成一第一組區域,及 基於與其相關聯之一多元樹細分資訊,將該第一組區域中之一至少一子集加以次分割成一組子區域。
  8. 如請求項7之解碼器,其中該抽取器組配來以一深度優先遍歷順序處理該等多個區域。
  9. 如請求項1之解碼器,其進一步包含一熵解碼器,其組配來基於一第一多數脈絡而使用脈絡模型化來熵解碼該合併指標。
  10. 如請求項9之解碼器,其中該熵解碼器組配來基於一第二多數脈絡而使用脈絡模型化來熵解碼該候選識別符。
  11. 一種用於解碼資訊樣本陣列之方法,該等資訊樣本陣列編碼於一資料串流中而各表示於一解析度層級之一圖像,該方法包含: 從該資料串流抽取關於在一資訊樣本陣列內目前正解碼的一區域之一合併指標,其中目前正解碼的該區域係藉由劃分該資訊樣本陣列所獲取之多個區域中之一者,且該合併指標指出目前正解碼的該區域是否要基於至少一個編碼參數來重建,該至少一個編碼參數係基於與該解析度層級之一選定候選區域相關聯之一或多個編碼參數所判定,其中該至少一個編碼參數以及該一或多個編碼參數包括移動向量; 識別關於目前正解碼的該區域之該解析度層級的一組候選區域; 若該組候選區域中之候選區域的數目大於一,則: 從該資料串流抽取一候選識別符,以及 依據該候選識別符,從該組候選區域選擇該選定候選區域; 若一指示係要複製,則複製該一或多個編碼參數之一移動向量作為該至少一個編碼參數之一移動向量; 若該指示係要運算,則基於該一或多個編碼參數來運算該至少一個編碼參數,該運算包括: 基於該一或多個編碼參數之一移動向量來判定該至少一個編碼參數之一移動向量之一預測, 從該資料串流抽取該至少一個編碼參數之該移動向量之一預測殘差,以及 結合該至少一個編碼參數之該移動向量之該預測以及該預測殘差以獲取該至少一個編碼參數之該移動向量;以及 基於該至少一個編碼參數之該移動向量來重建目前正解碼的該區域。
  12. 如請求項11之方法,其中從該資料串流抽取該候選識別符,係在該組候選區域未共用一相同編碼參數時執行。
  13. 如請求項11之方法,其中該資訊樣本陣列包括深度資訊。
  14. 如請求項11之方法,其中該圖像包括與不同色彩平面相關之資訊樣本陣列,且該解碼器組配來將該圖像之該等不同色彩平面獨立地解碼。
  15. 如請求項14之方法,其中該等不同色彩平面包含一亮度樣本陣列連同二個色度樣本陣列,其中針對在水平方向上相對於該亮度樣本陣列的該等色度樣本陣列的一空間解析度之一第一比例因數,係不同於針對在垂直方向上相對於該亮度樣本陣列的該等色度樣本陣列的一空間解析度之一第二比例因數。
  16. 如請求項11之方法,進一步包含在該組候選區域中之至少數者共用至少一個相同編碼參數時,判定該至少一個編碼參數。
  17. 如請求項11之方法,其進一步包含藉由以下步驟獲取該等多個區域: 依據從該資料串流抽取之一最大區域大小,將該資訊樣本陣列分割成一第一組區域,及 基於與其相關聯之一多元樹細分資訊,將該第一組區域中之一至少一子集予以次分割成一組子區域。
  18. 如請求項17之方法,其中該等多個區域係以一深度優先遍歷順序來處理。
  19. 一種用於將資訊樣本陣列編碼進資料串流之編碼器,各陣列表示至一資料串流中之於一解析度層級之一圖像,該編碼器包含: 一細分器,其組配來將該資訊樣本陣列劃分成多個區域;以及 一資料串流產生器,其組配來: 將關於目前正編碼的該等多個區域中之一者的一合併指標編碼進該資料串流,其中該合併指標指出目前正編碼的該區域是否要基於至少一個編碼參數來重建,該至少一個編碼參數係基於與從該解析度層級之一組候選區域選出的一選定候選區域相關聯之一或多個編碼參數來判定,該解析度層級之該組候選區域係針對目前正編碼的該區域來識別,其中該至少一個編碼參數以及該一或多個編碼參數包括移動向量, 若該組候選區域中之候選區域數目大於一,則將一候選識別符編碼進該資料串流,該候選識別符識別該組候選區域中之一特定者作為該選定候選區域, 其中若一指示係要複製,則複製該一或多個編碼參數之一移動向量作為該至少一個編碼參數之一移動向量,及 其中若該指示係要運算,則該至少一個編碼參數係基於該一或多個編碼參數來運算,其中包括: 基於該一或多個編碼參數之一移動向量來判定該至少一個編碼參數之一移動向量之一預測,及 結合該至少一個編碼參數之一移動向量之該預測以及一預測殘差以獲取該至少一個編碼參數之該移動向量,以及 將與該選定候選區域相關聯之該一或多個編碼參數以及該至少一個編碼參數之該移動向量之該預測殘差編碼進該資料串流。
  20. 如請求項19之編碼器,其中該資料串流產生器進一步組配來在該組候選區域未共用一相同編碼參數時,將該候選識別符編碼進該資料串流。
  21. 如請求項19之編碼器,其中該資訊樣本陣列包括深度資訊。
  22. 如請求項19之編碼器,其中該圖像包括與不同色彩平面相關之資訊樣本陣列,且其中解碼器係組配來將該圖像之該等不同色彩平面獨立地解碼。
  23. 如請求項22之編碼器,其中該等不同色彩平面包含一亮度樣本陣列連同二個色度樣本陣列,其中針對在水平方向上相對於該亮度樣本陣列的該等色度樣本陣列的一空間解析度之一第一比例因數,係不同於針對在垂直方向上相對於該亮度樣本陣列的該等色度樣本陣列的一空間解析度之一第二比例因數。
  24. 如請求項19之編碼器,其中該資料串流產生器進一步組配來在該組候選區域中之至少數者共用至少一個相同編碼參數時,判定該至少一個編碼參數。
  25. 如請求項19之編碼器,其中該細分器係組配來藉由以下動作獲取該等多個區域: 依據編碼入該資料串流之一最大區域大小,將該資訊樣本陣列分割成一第一組區域,及 基於與其相關聯之一多元樹細分資訊,將該第一組區域中之一至少一子集予以次分割成一組子區域。
  26. 一種用於儲存與視訊相關聯之資料之非暫態電腦可讀媒體,其包含: 儲存在該非暫態電腦可讀媒體中之一資料串流,該資料串流包含經編碼資訊,該經編碼資訊包括各表示於一解析度層級之一圖像之資訊樣本陣列,該資料串流進一步包含: 關於在該資訊樣本陣列內目前正解碼的一區域之一合併指標,其中目前正解碼的該區域係藉由劃分該資訊樣本陣列所獲取之多個區域中的一者,且該合併指標指出目前正解碼的該區域是否要基於至少一個編碼參數來重建,該至少一個編碼參數係基於與該解析度層級之一選定候選區域相關聯之一或多個編碼參數來判定,該解析度層級的該選定候選區域係針對該區域來識別出;其中該至少一個編碼參數以及該一或多個編碼參數包括移動向量; 一候選識別符,其在該組候選區域中的候選區域數目大於一時,識別該組候選區域中之一特定者作為該選定候選區域, 該至少一個編碼參數之一移動向量之一預測殘差;以及 與該選定候選區域相關聯之一或多個編碼參數,該至少一個編碼參數係從該一或多個編碼參數複製或運算而得,且用以重建該區域, 其中若一指示係要複製,則該一或多個編碼參數之一移動向量被複製來作為該至少一個編碼參數之一移動向量;以及 若該指示係要運算,則該至少一個編碼參數係基於該一或多個編碼參數來運算,其中包括: 基於該一或多個編碼參數之一移動向量來判定該至少一個編碼參數之一移動向量之一預測, 從該資料串流抽取該至少一個編碼參數之該移動向量之預測殘差,以及 結合該至少一個編碼參數之該移動向量之該預測以及預測殘差以獲取該至少一個編碼參數之該移動向量。
  27. 如請求項26之電腦可讀媒體,其中該候選識別符係在該組候選區域未共用一相同編碼參數時,編碼進該資料串流。
  28. 如請求項26之電腦可讀媒體,其中該圖像包括與不同色彩平面相關之資訊樣本陣列,且其中解碼器係組配來將該圖像之不同色彩平面獨立地解碼。
  29. 如請求項26之電腦可讀媒體,其中該至少一個編碼參數係在該組候選區域中至少數者共用至少一個相同編碼參數時判定。
  30. 如請求項26之電腦可讀媒體,該資料串流進一步包含一最大區域大小,其中該等多個區域係藉由以下動作獲取: 依據該最大區域大小,將該資訊樣本陣列分割成一第一組區域,及 基於與其相關聯之一多元樹細分資訊,將該第一組區域中之一至少一子集予以次分割成一組子區域。
TW109111740A 2010-04-13 2011-04-13 樣本區域合併技術 TWI713356B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
PCT/EP2010/054833 WO2011127963A1 (en) 2010-04-13 2010-04-13 Sample region merging
EP10159799 2010-04-13
EP10159799.5 2010-04-13
WOPCT/EP2010/054833 2010-04-13

Publications (2)

Publication Number Publication Date
TW202029762A TW202029762A (zh) 2020-08-01
TWI713356B true TWI713356B (zh) 2020-12-11

Family

ID=44072790

Family Applications (13)

Application Number Title Priority Date Filing Date
TW110100258A TWI756010B (zh) 2010-04-13 2011-04-13 樣本區域合併技術
TW103137606A TWI605706B (zh) 2010-04-13 2011-04-13 樣本區域合倂技術
TW106133751A TWI675587B (zh) 2010-04-13 2011-04-13 樣本區域合併技術
TW109111740A TWI713356B (zh) 2010-04-13 2011-04-13 樣本區域合併技術
TW106133748A TWI678916B (zh) 2010-04-13 2011-04-13 樣本區域合倂技術
TW112131459A TW202349955A (zh) 2010-04-13 2011-04-13 樣本區域合併技術
TW108134069A TWI730420B (zh) 2010-04-13 2011-04-13 樣本區域合併技術
TW109139115A TWI757963B (zh) 2010-04-13 2011-04-13 樣本區域合併技術
TW112131306A TW202402058A (zh) 2010-04-13 2011-04-13 樣本區域合併技術
TW100112799A TWI466548B (zh) 2010-04-13 2011-04-13 樣本區域合併技術
TW106133750A TWI675586B (zh) 2010-04-13 2011-04-13 樣本區域合併技術
TW109113500A TWI718940B (zh) 2010-04-13 2011-04-13 樣本區域合併技術
TW111103939A TWI815295B (zh) 2010-04-13 2011-04-13 樣本區域合併技術

Family Applications Before (3)

Application Number Title Priority Date Filing Date
TW110100258A TWI756010B (zh) 2010-04-13 2011-04-13 樣本區域合併技術
TW103137606A TWI605706B (zh) 2010-04-13 2011-04-13 樣本區域合倂技術
TW106133751A TWI675587B (zh) 2010-04-13 2011-04-13 樣本區域合併技術

Family Applications After (9)

Application Number Title Priority Date Filing Date
TW106133748A TWI678916B (zh) 2010-04-13 2011-04-13 樣本區域合倂技術
TW112131459A TW202349955A (zh) 2010-04-13 2011-04-13 樣本區域合併技術
TW108134069A TWI730420B (zh) 2010-04-13 2011-04-13 樣本區域合併技術
TW109139115A TWI757963B (zh) 2010-04-13 2011-04-13 樣本區域合併技術
TW112131306A TW202402058A (zh) 2010-04-13 2011-04-13 樣本區域合併技術
TW100112799A TWI466548B (zh) 2010-04-13 2011-04-13 樣本區域合併技術
TW106133750A TWI675586B (zh) 2010-04-13 2011-04-13 樣本區域合併技術
TW109113500A TWI718940B (zh) 2010-04-13 2011-04-13 樣本區域合併技術
TW111103939A TWI815295B (zh) 2010-04-13 2011-04-13 樣本區域合併技術

Country Status (13)

Country Link
US (14) US10621614B2 (zh)
EP (5) EP3490257B1 (zh)
JP (9) JP5718453B2 (zh)
KR (13) KR102166519B1 (zh)
CN (12) CN106303536B (zh)
BR (4) BR112012026393B1 (zh)
DK (1) DK2559246T3 (zh)
ES (1) ES2590686T3 (zh)
HU (1) HUE030688T2 (zh)
PL (2) PL2559246T3 (zh)
PT (1) PT2559246T (zh)
TW (13) TWI756010B (zh)
WO (1) WO2011128366A1 (zh)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106231332B (zh) 2010-04-13 2020-04-14 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
EP3490257B1 (en) 2010-04-13 2024-01-10 GE Video Compression, LLC Sample region merging
CN105959703B (zh) * 2010-04-13 2019-06-04 Ge视频压缩有限责任公司 解码器、编码器、生成数据流的方法及解码数据流的方法
CN106060561B (zh) 2010-04-13 2019-06-28 Ge视频压缩有限责任公司 解码器、重建数组的方法、编码器、编码方法及数据流
KR101791242B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
KR101791078B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
JP2011259093A (ja) * 2010-06-07 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
KR101484281B1 (ko) * 2010-07-09 2015-01-21 삼성전자주식회사 블록 병합을 이용한 비디오 부호화 방법 및 그 장치, 블록 병합을 이용한 비디오 복호화 방법 및 그 장치
EP2897365B1 (en) 2010-07-09 2017-02-01 Samsung Electronics Co., Ltd Apparatus for decoding video by using block merging
KR101366648B1 (ko) * 2010-10-28 2014-02-27 경희대학교 산학협력단 영상 정보 복호화 장치
US9374576B2 (en) * 2011-06-13 2016-06-21 Dolby Laboratories Licensing Corporation Fused region-based VDR prediction
KR101672662B1 (ko) * 2011-06-20 2016-11-03 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램, 또한 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
CN102291583A (zh) * 2011-09-29 2011-12-21 中航华东光电有限公司 一种图像编码装置及其图像编码方法
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
EP2942961A1 (en) * 2011-11-23 2015-11-11 HUMAX Holdings Co., Ltd. Methods for encoding/decoding of video using common merging candidate set of asymmetric partitions
KR101909544B1 (ko) * 2012-01-19 2018-10-18 삼성전자주식회사 평면 검출 장치 및 방법
US9866829B2 (en) 2012-01-22 2018-01-09 Qualcomm Incorporated Coding of syntax elements that correspond to coefficients of a coefficient block in video coding
EP2629156B1 (en) * 2012-01-27 2024-04-17 Samsung Electronics Co., Ltd. Image processing apparatus and method
CN103389879B (zh) 2012-05-10 2016-08-17 慧荣科技股份有限公司 电子装置以及由电子装置传送数据至显示设备的方法
US9332266B2 (en) * 2012-08-24 2016-05-03 Industrial Technology Research Institute Method for prediction in image encoding and image encoding apparatus applying the same
GB2505408A (en) * 2012-08-24 2014-03-05 British Broadcasting Corp Video Encoding and Decoding with Chrominance Sub-sampling
TW201419862A (zh) * 2012-11-13 2014-05-16 Hon Hai Prec Ind Co Ltd 影像切割系統及方法
TW201419863A (zh) * 2012-11-13 2014-05-16 Hon Hai Prec Ind Co Ltd 影像切割系統及方法
TW201419865A (zh) * 2012-11-13 2014-05-16 Hon Hai Prec Ind Co Ltd 影像切割系統及方法
JP5719401B2 (ja) * 2013-04-02 2015-05-20 日本電信電話株式会社 ブロックサイズ決定方法、映像符号化装置、及びプログラム
WO2014163200A1 (ja) * 2013-04-05 2014-10-09 三菱電機株式会社 カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
US9686561B2 (en) * 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering
US9800895B2 (en) * 2013-06-27 2017-10-24 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
US20150063455A1 (en) * 2013-09-02 2015-03-05 Humax Holdings Co., Ltd. Methods and apparatuses for predicting depth quadtree in three-dimensional video
US20150089374A1 (en) * 2013-09-20 2015-03-26 Cyan Inc. Network visualization system and method
US10075266B2 (en) * 2013-10-09 2018-09-11 Qualcomm Incorporated Data transmission scheme with unequal code block sizes
US20150103883A1 (en) * 2013-10-11 2015-04-16 Mediatek Inc. Method and apparatus for fast intra prediction
EP3846469A1 (en) * 2013-10-18 2021-07-07 GE Video Compression, LLC Multi-component picture or video coding concept
US20150189269A1 (en) * 2013-12-30 2015-07-02 Google Inc. Recursive block partitioning
CA2946779C (en) * 2014-05-05 2019-10-01 Mediatek Singapore Pte. Ltd. Method and apparatus for determining residue transform tree representation
CN107734335B (zh) 2014-09-30 2020-11-06 华为技术有限公司 图像预测方法及相关装置
CN105828080B (zh) * 2015-01-26 2020-02-14 同济大学 图像编解码方法及装置
CN109005407B (zh) 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
CN106358042B (zh) * 2015-07-17 2020-10-09 恩智浦美国有限公司 使用视频图像的帧间预测的并行解码器
KR20180059443A (ko) * 2015-09-24 2018-06-04 엘지전자 주식회사 영상 코딩 시스템에서 움직임 벡터 정제 기반 인터 예측 방법 및 장치
CN105357530B (zh) * 2015-10-16 2018-06-19 广州市百果园网络科技有限公司 一种预测编码的方法及装置
EP3375188A1 (en) * 2015-11-10 2018-09-19 VID SCALE, Inc. Systems and methods for coding in super-block based video coding framework
US10306258B2 (en) * 2016-01-29 2019-05-28 Google Llc Last frame motion vector partitioning
US10469841B2 (en) 2016-01-29 2019-11-05 Google Llc Motion vector prediction using prior frame residual
EP3414907A1 (en) * 2016-02-09 2018-12-19 Fraunhofer Gesellschaft zur Förderung der Angewand Concept for picture/video data streams allowing efficient reducibility or efficient random access
US10609423B2 (en) 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
US10110914B1 (en) * 2016-09-15 2018-10-23 Google Llc Locally adaptive warped motion compensation in video coding
CN110178371A (zh) * 2017-01-16 2019-08-27 世宗大学校产学协力团 影像编码/解码方法及装置
EP3358754A1 (en) * 2017-02-02 2018-08-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Antenna array codebook with beamforming coefficients adapted to an arbitrary antenna response of the antenna array
US10430104B2 (en) 2017-05-08 2019-10-01 International Business Machines Corporation Distributing data by successive spatial partitionings
US11064217B2 (en) * 2017-09-18 2021-07-13 Intellectual Discovery Co., Ltd. Method and apparatus for coding video using merging candidate list according to block division
MX2019009406A (es) 2018-01-12 2019-09-26 Guangdong Oppo Mobile Telecommunications Corp Ltd Metodo y dispositivo para transmision de informacion.
JP7285789B2 (ja) * 2018-01-19 2023-06-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP6808889B2 (ja) * 2018-03-29 2021-01-06 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
KR102610110B1 (ko) * 2018-04-13 2023-12-06 엘지전자 주식회사 비디오 처리 시스템에서 인터 예측 방법 및 장치
US11128871B2 (en) 2018-04-25 2021-09-21 Panasonic Intellectual Property Corporation Of America Encoder for adaptively determining information related to splitting based on characteristics of neighboring samples
US10593097B2 (en) 2018-05-08 2020-03-17 Qualcomm Technologies, Inc. Distributed graphics processing
EP3811611A4 (en) * 2018-06-22 2022-06-15 OP Solutions, LLC BLOCK LEVEL GEOMETRIC PARTITIONING
CN109035267B (zh) * 2018-06-22 2021-07-27 华东师范大学 一种基于深度学习的图像目标抠取方法
KR20210020924A (ko) 2018-06-27 2021-02-24 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 삼차원 데이터 부호화 방법, 삼차원 데이터 복호 방법, 삼차원 데이터 부호화 장치, 및 삼차원 데이터 복호 장치
EP3588800A1 (en) 2018-06-29 2020-01-01 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Antenna array codebook with beamforming coefficients adapted to an arbitrary antenna response of the antenna array
JP2020065143A (ja) * 2018-10-16 2020-04-23 セイコーエプソン株式会社 画像処理装置、画像処理装置の制御方法、及び表示装置
JP7157246B2 (ja) 2018-11-06 2022-10-19 北京字節跳動網絡技術有限公司 ジオメトリック分割を用いたインター予測のためのサイド情報信号通知方法
WO2020140862A1 (en) 2018-12-30 2020-07-09 Beijing Bytedance Network Technology Co., Ltd. Conditional application of inter prediction with geometric partitioning in video processing
WO2020190084A1 (ko) * 2019-03-21 2020-09-24 에스케이텔레콤 주식회사 서브블록 단위 복원 방법 및 영상 복호화 장치
CN113924774A (zh) * 2019-05-10 2022-01-11 北京达佳互联信息技术有限公司 用于利用三角形预测进行视频编解码的方法和装置
CN110533454B (zh) * 2019-07-24 2023-07-07 创新先进技术有限公司 一种识别业务对象群体的方法及系统
EP4042686A4 (en) * 2019-10-10 2022-12-07 Beijing Dajia Internet Information Technology Co., Ltd. METHODS AND DEVICES FOR VIDEO CODING WITH TRIANGLE PARTITION
WO2021136821A1 (en) * 2019-12-30 2021-07-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding and decoding of color components in pictures
WO2021222038A1 (en) * 2020-04-27 2021-11-04 Bytedance Inc. Sublayers information in video coding
KR20230033954A (ko) 2021-09-02 2023-03-09 심준원 감염병 유행시 전자출입명부기록용 nfc태그를 사용한 전자출입명부카드와 전자출입명부카드 리더기

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080127597A1 (en) * 2006-11-10 2008-06-05 John Puchniak Portable hurricane and security window barrier
US20080310504A1 (en) * 2007-06-15 2008-12-18 Qualcomm Incorporated Adaptive coefficient scanning for video coding
TW200910977A (en) * 2006-12-28 2009-03-01 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatus therefor, programs therefor and storage media for storang the programs
TW200913726A (en) * 2007-03-28 2009-03-16 Toshiba Kk Image encoding method and device

Family Cites Families (262)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2633468B1 (fr) 1988-06-24 1990-11-09 France Etat Procede de codage de donnees d'assistance a la reconstruction d'images electroniques animees sous-echantillonnees
US5842033A (en) 1992-06-30 1998-11-24 Discovision Associates Padding apparatus for passing an arbitrary number of bits through a buffer in a pipeline system
US7095783B1 (en) 1992-06-30 2006-08-22 Discovision Associates Multistandard video decoder and decompression system for processing encoded bit streams including start codes and methods relating thereto
US5809270A (en) 1992-06-30 1998-09-15 Discovision Associates Inverse quantizer
US6408097B1 (en) 1993-08-30 2002-06-18 Sony Corporation Picture coding apparatus and method thereof
US5446806A (en) 1993-11-15 1995-08-29 National Semiconductor Corporation Quadtree-structured Walsh transform video/image coding
CA2145363C (en) 1994-03-24 1999-07-13 Anthony Mark Jones Ram interface
DE69527525T2 (de) 1995-08-21 2003-04-03 Alcatel Sa Verfahren zur Schachtelung von Datenrahmen, Übertragungsfehlerkorrekturanordnung und Modulator damit
CA2233023A1 (en) 1995-09-25 1997-04-03 Edward A. Taft Optimum access to electronic documents
WO1997015146A1 (en) * 1995-10-18 1997-04-24 Philips Electronics N.V. Method of encoding video images
US6084908A (en) 1995-10-25 2000-07-04 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation
TW346571B (en) 1996-02-06 1998-12-01 Matsushita Electric Ind Co Ltd Data reception apparatus, data transmission apparatus, information processing system, data reception method
US6005981A (en) 1996-04-11 1999-12-21 National Semiconductor Corporation Quadtree-structured coding of color images and intra-coded images
DE19615493A1 (de) * 1996-04-19 1997-10-23 Philips Patentverwaltung Verfahren zur Bildsegmentierung
CN100539695C (zh) 1996-05-28 2009-09-09 松下电器产业株式会社 图像预测编码/解码装置和方法以及记录媒体
US6639945B2 (en) * 1997-03-14 2003-10-28 Microsoft Corporation Method and apparatus for implementing motion detection in video compression
US6057884A (en) 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6269192B1 (en) 1997-07-11 2001-07-31 Sarnoff Corporation Apparatus and method for multiscale zerotree entropy encoding
CN1882093B (zh) 1998-03-10 2011-01-12 索尼公司 利用编码历史信息的编码转换系统
US6067574A (en) 1998-05-18 2000-05-23 Lucent Technologies Inc High speed routing using compressed tree process
US6269175B1 (en) 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6563953B2 (en) 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
US7085319B2 (en) 1999-04-17 2006-08-01 Pts Corporation Segment-based encoding system using segment hierarchies
JP2000350207A (ja) 1999-06-08 2000-12-15 Matsushita Electric Ind Co Ltd 低解像度ビデオ復号化のための一般化直交変換方法および装置
FI116992B (fi) 1999-07-05 2006-04-28 Nokia Corp Menetelmät, järjestelmä ja laitteet audiosignaalin koodauksen ja siirron tehostamiseksi
WO2001031497A1 (en) 1999-10-22 2001-05-03 Activesky, Inc. An object oriented video system
JP3957937B2 (ja) 1999-12-21 2007-08-15 キヤノン株式会社 画像処理装置及び方法並びに記憶媒体
WO2001046647A2 (en) 1999-12-22 2001-06-28 Honeywell International Inc. Method, apparatus and computer program product for estimating airplane attitude with reduced sensor set
EP1404135B1 (en) 2000-01-21 2016-12-14 Nokia Technologies Oy A motion estimation method and a system for a video coder
FI116819B (fi) 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi
US6502920B1 (en) 2000-02-04 2003-01-07 Lexmark International, Inc Ink jet print head having offset nozzle arrays
US6910001B2 (en) 2000-03-22 2005-06-21 Schlumberger Technology Corp. Distributed multiresolution geometry modeling system and method
US6785423B1 (en) 2000-05-26 2004-08-31 Eastman Kodak Company Producing a compressed digital image organized into layers having information relating to different viewing conditions and resolutions
JP2004503964A (ja) 2000-06-14 2004-02-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ カラービデオ符号化及び復号方法
KR20020064786A (ko) 2000-07-25 2002-08-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 웨이블릿 분해를 사용하는 비디오 인코딩 방법
AUPR063400A0 (en) 2000-10-06 2000-11-02 Canon Kabushiki Kaisha Xml encoding scheme
US7450641B2 (en) 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US7929610B2 (en) 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
JP2003018602A (ja) 2001-04-24 2003-01-17 Monolith Co Ltd 画像データ符号化および復号のための方法および装置
US6987866B2 (en) * 2001-06-05 2006-01-17 Micron Technology, Inc. Multi-modal motion estimation for video sequences
US7483581B2 (en) 2001-07-02 2009-01-27 Qualcomm Incorporated Apparatus and method for encoding digital image data in a lossless manner
JP2003018604A (ja) 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
KR100642043B1 (ko) 2001-09-14 2006-11-03 가부시키가이샤 엔티티 도코모 부호화 방법, 복호 방법, 부호화 장치, 복호 장치, 화상 처리 시스템, 및 저장 매체
US6950469B2 (en) 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
WO2003034743A1 (en) 2001-10-16 2003-04-24 Koninklijke Philips Electronics N.V. Video coding method and corresponding transmittable video signal
WO2003043345A1 (en) 2001-11-16 2003-05-22 Ntt Docomo, Inc. Image encoding method, image decoding method, image encoder, image decode, program, computer data signal, and image transmission system
RU2237284C2 (ru) 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Способ генерирования структуры узлов, предназначенных для представления трехмерных объектов с использованием изображений с глубиной
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
EP1324615A1 (en) * 2001-12-28 2003-07-02 Deutsche Thomson-Brandt Gmbh Transcoding MPEG bitstreams for adding sub-picture content
KR20030065606A (ko) 2002-01-30 2003-08-09 양송철 개인 자동독립코드를 이용한 멀티트리구조의 보너스 적립순환 시스템과 그 방법
CN101127899B (zh) 2002-04-12 2015-04-01 三菱电机株式会社 提示信息描述方法
JP4130780B2 (ja) 2002-04-15 2008-08-06 松下電器産業株式会社 画像符号化方法および画像復号化方法
US20030198290A1 (en) 2002-04-19 2003-10-23 Dynamic Digital Depth Pty.Ltd. Image encoding system
US7433526B2 (en) * 2002-04-30 2008-10-07 Hewlett-Packard Development Company, L.P. Method for compressing images and image sequences through adaptive partitioning
CN1666532A (zh) 2002-07-02 2005-09-07 松下电器产业株式会社 图像编码方法和图像解码方法
US7154952B2 (en) * 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US6975773B1 (en) 2002-07-30 2005-12-13 Qualcomm, Incorporated Parameter selection in data compression and decompression
JP3975188B2 (ja) 2002-09-30 2007-09-12 三星電子株式会社 色相の空間予測符号化を利用した映像の符号化及び復号化方法及び装置
JP3950777B2 (ja) 2002-09-30 2007-08-01 キヤノン株式会社 画像処理方法、画像処理装置および画像処理プログラム
JP2004135252A (ja) 2002-10-09 2004-04-30 Sony Corp 符号化処理方法、符号化装置及び復号化装置
US7254533B1 (en) 2002-10-17 2007-08-07 Dilithium Networks Pty Ltd. Method and apparatus for a thin CELP voice codec
EP1431919B1 (en) * 2002-12-05 2010-03-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding three-dimensional object data by using octrees
EP1604530A4 (en) 2003-03-03 2010-04-14 Agency Science Tech & Res FAST-DECISION ALGORITHM FOR INTRAPRADICTION FOR ADVANCED VIDEO CODING
US7366352B2 (en) * 2003-03-20 2008-04-29 International Business Machines Corporation Method and apparatus for performing fast closest match in pattern recognition
US7643558B2 (en) * 2003-03-24 2010-01-05 Qualcomm Incorporated Method, apparatus, and system for encoding and decoding side information for multimedia transmission
GB2454195A (en) * 2007-10-30 2009-05-06 Sony Corp Address generation polynomial and permutation matrix for DVB-T2 16k OFDM sub-carrier mode interleaver
DE602004001993T2 (de) 2003-03-28 2007-04-12 Digital Accelerator Corp., Vancouver Transformations basiertes restbewegungsrahmen kodierungsverfahren mit übervollständiger basis und zugehörige vorrichtung zur videokompression
HUP0301368A3 (en) 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
US7333544B2 (en) 2003-07-16 2008-02-19 Samsung Electronics Co., Ltd. Lossless image encoding/decoding method and apparatus using inter-color plane prediction
CN1578477B (zh) 2003-07-16 2011-05-04 三星电子株式会社 用于色彩图像的视频编码/解码装置和方法
US7010044B2 (en) 2003-07-18 2006-03-07 Lsi Logic Corporation Intra 4×4 modes 3, 7 and 8 availability determination intra estimation and compensation
FR2858741A1 (fr) 2003-08-07 2005-02-11 Thomson Licensing Sa Dispositif et procede de compression d'images numeriques
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
CN1322472C (zh) 2003-09-08 2007-06-20 中国人民解放军第一军医大学 基于小波变换的预测四叉树图像压缩及解压方法
EP1684435A4 (en) 2003-10-29 2007-01-10 Nec Corp DECODING DEVICE OR CODING DEVICE WHICH IS INSERTED BETWEEN AN ARITHMETIC SIGNATURE DECODER OR CODIER AND DEBINARIZER OR BINARIZER AN INTERMEDIATE BUFFER
KR20050045746A (ko) 2003-11-12 2005-05-17 삼성전자주식회사 계층 구조의 가변 블록 크기를 이용한 움직임 추정 방법및 장치
DE602004017689D1 (de) 2003-11-21 2008-12-24 Samsung Electronics Co Ltd Vorrichtung und Methode zur Erzeugung von kodierten Blockanordnungen für ein Alpha-Kanalbild sowie Alpha-Kanalkodierungs und -dekodierungsvorrichtung und -methode.
US7418455B2 (en) 2003-11-26 2008-08-26 International Business Machines Corporation System and method for indexing weighted-sequences in large databases
KR100556911B1 (ko) 2003-12-05 2006-03-03 엘지전자 주식회사 무선 동영상 스트리밍 서비스를 위한 동영상 데이터의 구조
US7362809B2 (en) 2003-12-10 2008-04-22 Lsi Logic Corporation Computational reduction in motion estimation based on lower bound of cost function
US7599435B2 (en) 2004-01-30 2009-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video frame encoding and decoding
US7649539B2 (en) * 2004-03-10 2010-01-19 Microsoft Corporation Image formats for video capture, processing and display
US20050206741A1 (en) 2004-03-19 2005-09-22 Raber Gregory W Law enforcement vehicle surveillance system
CN1691087B (zh) 2004-04-26 2011-07-06 图形安全系统公司 用于解码数字编码图像的系统和方法
EP1968063B1 (en) 2004-04-28 2010-06-16 Panasonic Corporation Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus
CN1281065C (zh) 2004-05-20 2006-10-18 复旦大学 基于树状结构的等级树集合划分视频图像压缩方法
CN100534196C (zh) 2004-05-25 2009-08-26 Nxp股份有限公司 用于编码数字视频数据的方法和设备
US20060002474A1 (en) 2004-06-26 2006-01-05 Oscar Chi-Lim Au Efficient multi-block motion estimation for video compression
CN1809161B (zh) * 2004-06-27 2010-11-17 苹果公司 对编码视频数据选择编码类型和预测模式
US7292257B2 (en) 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
CN1268136C (zh) 2004-07-02 2006-08-02 上海广电(集团)有限公司中央研究院 基于图像切片结构的帧场自适应编码方法
KR100657268B1 (ko) 2004-07-15 2006-12-14 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
CN101124589A (zh) 2004-08-09 2008-02-13 图形安全系统公司 通过使用多级图像编码和解码来认证对象的系统和方法
CN1589022A (zh) 2004-08-26 2005-03-02 中芯联合(北京)微电子有限公司 多模式运动估计中由朝向树决定的宏块分割模式选择方法
DE102004059993B4 (de) 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
CN101416149A (zh) 2004-10-21 2009-04-22 索尼电子有限公司 以高级视频编解码器文件格式支持保真度范围扩展
CN1780278A (zh) 2004-11-19 2006-05-31 松下电器产业株式会社 子载波通信系统中自适应调制与编码方法和设备
US20060120454A1 (en) 2004-11-29 2006-06-08 Park Seung W Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
CN101073265B (zh) * 2004-12-03 2012-08-22 汤姆森许可贸易公司 可缩放视频编码方法
KR100703734B1 (ko) * 2004-12-03 2007-04-05 삼성전자주식회사 Dct 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치
KR101138392B1 (ko) 2004-12-30 2012-04-26 삼성전자주식회사 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치
US7970219B2 (en) 2004-12-30 2011-06-28 Samsung Electronics Co., Ltd. Color image encoding and decoding method and apparatus using a correlation between chrominance components
US20060153300A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for motion vector prediction in scalable video coding
US20060153295A1 (en) 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
US20080267291A1 (en) 2005-02-18 2008-10-30 Joseph J. Laks Thomson Licensing Llc Method for Deriving Coding Information for High Resolution Images from Low Resolution Images and Coding and Decoding Devices Implementing Said Method
EP1849303A2 (en) * 2005-02-18 2007-10-31 THOMSON Licensing Method for deriving coding information for high resolution pictures from low resolution pictures
JP4504230B2 (ja) * 2005-03-02 2010-07-14 株式会社東芝 動画像処理装置、動画像処理方法、及び動画像処理プログラム
TWI259727B (en) * 2005-03-09 2006-08-01 Sunplus Technology Co Ltd Method for rapidly determining macroblock mode
US7961963B2 (en) 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
EP1711018A1 (en) 2005-04-08 2006-10-11 Thomson Licensing Method and apparatus for encoding video pictures, and method and apparatus for decoding video pictures
US20060233262A1 (en) 2005-04-13 2006-10-19 Nokia Corporation Signaling of bit stream ordering in scalable video coding
KR101246915B1 (ko) 2005-04-18 2013-03-25 삼성전자주식회사 동영상 부호화 또는 복호화 방법 및 장치
KR100763181B1 (ko) * 2005-04-19 2007-10-05 삼성전자주식회사 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
CN101189641B (zh) 2005-05-12 2012-05-02 布雷克成像有限公司 编码数字图像的像素或体素的方法及处理数字图像的方法
US7548853B2 (en) 2005-06-17 2009-06-16 Shmunk Dmitry V Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
WO2007000657A1 (en) 2005-06-29 2007-01-04 Nokia Corporation Method and apparatus for update step in video coding using motion compensated temporal filtering
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP4444180B2 (ja) 2005-07-20 2010-03-31 株式会社東芝 テクスチャ符号化装置、テクスチャ復号化装置、方法、およびプログラム
KR20070012201A (ko) 2005-07-21 2007-01-25 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
MX2008000906A (es) 2005-07-21 2008-03-18 Thomson Licensing Metodo y aparato para la prediccion ponderada para la codificacion escalable de video.
EP1909508A4 (en) 2005-07-22 2011-05-25 Mitsubishi Electric Corp Image Coding Device, Image Decoding Device, Image Coding Method, Image Decoding Method, Image Coding Program, Image Decoding Program, Computer Readable Recording Medium With Image Recoding Program Recorded Thereon, and Computer Readable Recording Medium With Image Image Coding Program Recorded Thereon
US9113147B2 (en) 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information
US8625678B2 (en) 2005-09-29 2014-01-07 Telecom Italia S.P.A. Method for scalable video coding on a plurality of space resolution levels
WO2007047271A2 (en) 2005-10-12 2007-04-26 Thomson Licensing Methods and apparatus for weighted prediction in scalable video encoding and decoding
KR100763196B1 (ko) 2005-10-19 2007-10-04 삼성전자주식회사 어떤 계층의 플래그를 계층간의 연관성을 이용하여부호화하는 방법, 상기 부호화된 플래그를 복호화하는방법, 및 장치
WO2007047736A2 (en) 2005-10-19 2007-04-26 Thomson Licensing Multi-view video coding using scalable video coding
JP2007135252A (ja) 2005-11-08 2007-05-31 Hitachi Ltd 電力変換装置
KR100873636B1 (ko) 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
KR100717055B1 (ko) * 2005-11-18 2007-05-10 삼성전자주식회사 Cabac 복호기에서 복수의 이진 값들을 파이프라인방식에 의하여 복호화하는 방법 및 이를 위한 복호화 장치
CN101129063B (zh) 2005-11-18 2010-05-19 索尼株式会社 编码设备和方法、解码设备和方法以及传输系统
GB0600141D0 (en) 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
US8446956B2 (en) 2006-01-05 2013-05-21 Thomson Licensing Inter-layer motion prediction method using resampling
JP4991758B2 (ja) 2006-01-09 2012-08-01 エルジー エレクトロニクス インコーポレイティド 映像信号のエンコーディング/デコーディング方法
KR20070074453A (ko) 2006-01-09 2007-07-12 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
US8315308B2 (en) 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
US8861585B2 (en) 2006-01-20 2014-10-14 Qualcomm Incorporated Method and apparatus for error resilience algorithms in wireless video communication
US7929608B2 (en) 2006-03-28 2011-04-19 Sony Corporation Method of reducing computations in intra-prediction and mode decision processes in a digital video encoder
US8234537B2 (en) 2006-03-31 2012-07-31 Intel Corporation Layered decoder and method for performing layered decoding
US7916934B2 (en) 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
CN101047733B (zh) 2006-06-16 2010-09-29 华为技术有限公司 短信处理方法以及装置
CN101502120B (zh) * 2006-08-02 2012-08-29 汤姆逊许可公司 用于视频解码的自适应几何分割方法和设备
US20080086545A1 (en) 2006-08-16 2008-04-10 Motorola, Inc. Network configuration using configuration parameter inheritance
US8363936B2 (en) 2006-08-25 2013-01-29 Thomson Licensing Method and apparatus for reduced resolution partitioning
US8401085B2 (en) 2006-09-07 2013-03-19 Lg Electronics Inc. Method and apparatus for decoding/encoding of a video signal
CN100471275C (zh) 2006-09-08 2009-03-18 清华大学 用于h.264/avc编码器的运动估计方法
CN100486336C (zh) * 2006-09-21 2009-05-06 上海大学 基于h.264压缩域运动对象实时分割方法
WO2008044511A1 (en) 2006-10-12 2008-04-17 Kabushiki Kaisha Toshiba Method and apparatus for encoding image
US9014280B2 (en) 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
EP2077038B1 (en) 2006-10-18 2013-01-30 Apple Inc. Scalable video coding with filtering of lower layers
CN101401430B (zh) 2006-11-17 2012-02-29 Lg电子株式会社 用于解码/编码视频信号的方法及装置
EP1933564A1 (en) 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
RU2426267C2 (ru) 2007-01-08 2011-08-10 Нокиа Корпорейшн Усовершенствованное межуровневое предсказание для расширенной пространственной масштабируемости при кодировании видеосигнала
EP2105025B1 (en) 2007-01-11 2021-04-07 InterDigital VC Holdings, Inc. Methods and apparatus for using syntax for the coded_block_flag syntax element and the coded_block_pattern syntax element for the cavlc 4:4:4 intra, high 4:4:4 intra, and high 4:4:4 predictive profiles in mpeg-4 avc high level coding
CN101222641B (zh) 2007-01-11 2011-08-24 华为技术有限公司 帧内预测编解码方法及其装置
JP2008193627A (ja) 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
JP5026092B2 (ja) 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
US8718139B2 (en) 2007-01-12 2014-05-06 Mitsubishi Electric Corporation Image decoding device and image decoding method
CN101018333A (zh) 2007-02-09 2007-08-15 上海大学 空域可分级信噪比精细可分级视频编码方法
WO2008127597A2 (en) * 2007-04-12 2008-10-23 Thomson Licensing Method and apparatus for context dependent merging for skip-direct modes for video encoding and decoding
WO2008127072A1 (en) 2007-04-16 2008-10-23 Electronics And Telecommunications Research Institute Color video scalability encoding and decoding method and device thereof
TW200845723A (en) 2007-04-23 2008-11-16 Thomson Licensing Method and apparatus for encoding video data, method and apparatus for decoding encoded video data and encoded video signal
US20090165041A1 (en) * 2007-12-21 2009-06-25 Penberthy John S System and Method for Providing Interactive Content with Video Content
CN100515087C (zh) 2007-05-30 2009-07-15 威盛电子股份有限公司 决定二相邻的宏区块是否位于相同条带区域的方法和装置
KR100906243B1 (ko) 2007-06-04 2009-07-07 전자부품연구원 Rgb 색 공간 신호의 영상 부호화 방법
CN100496129C (zh) 2007-06-05 2009-06-03 南京大学 基于h.264多路视频转码复用的方法
CN101321283B (zh) 2007-06-10 2010-04-07 华为技术有限公司 兼容不同大小块变换的编解码方法及编解码器
WO2008156548A1 (en) 2007-06-12 2008-12-24 Thomson Licensing Methods and apparatus supporting multi-pass video syntax structure for slice data
JP2008311781A (ja) 2007-06-12 2008-12-25 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
CN101325714B (zh) 2007-06-13 2010-10-27 华为技术有限公司 变换数据处理方法和装置以及编码、解码方法和装置
JP4551948B2 (ja) 2007-06-13 2010-09-29 シャープ株式会社 線状光源装置、面発光装置、面状光源装置、および、液晶表示装置
JP5467651B2 (ja) 2007-06-14 2014-04-09 トムソン ライセンシング 符号化ビット・ストリームの修正
US8085852B2 (en) 2007-06-26 2011-12-27 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding
US20090003449A1 (en) 2007-06-28 2009-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
CN100534186C (zh) 2007-07-05 2009-08-26 西安电子科技大学 基于码率预分配的jpeg2000自适应率控制系统及方法
US8458612B2 (en) * 2007-07-29 2013-06-04 Hewlett-Packard Development Company, L.P. Application management framework for web applications
TWI338869B (en) 2007-08-03 2011-03-11 Via Tech Inc Method and apparatus for block-based digital encoded picture
CN101119493B (zh) 2007-08-30 2010-12-01 威盛电子股份有限公司 区块式数字编码图像的译码方法及装置
KR20090030681A (ko) 2007-09-20 2009-03-25 삼성전자주식회사 영상처리장치, 디스플레이장치, 디스플레이 시스템 및 그제어방법
JP4461165B2 (ja) * 2007-09-26 2010-05-12 株式会社東芝 画像処理装置、方法およびプログラム
WO2009041843A1 (en) 2007-09-28 2009-04-02 Vsevolod Yurievich Mokrushin Method of encoding digital signals (variants), method of decoding digital signals (variants), device for implementation thereof (variants), and system for image transmission via limited throughput communication channels (variants)
KR101403343B1 (ko) 2007-10-04 2014-06-09 삼성전자주식회사 부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치
BRPI0818344A2 (pt) 2007-10-12 2015-04-22 Thomson Licensing Métodos e aparelhos para codificação e decodificação de vídeo de partições de modo bi-preditivo geometricamente particionadas
US7777654B2 (en) * 2007-10-16 2010-08-17 Industrial Technology Research Institute System and method for context-based adaptive binary arithematic encoding and decoding
KR101681443B1 (ko) 2007-10-16 2016-11-30 톰슨 라이센싱 기하학적으로 분할된 수퍼 블록들의 비디오 인코딩 및 디코딩 방법 및 장치
CN101415149B (zh) 2007-10-19 2010-12-08 华为技术有限公司 一种bc业务改进的方法和设备
CN101676744B (zh) 2007-10-31 2012-07-11 北京航空航天大学 一种复杂背景低信噪比下弱小目标高精度跟踪方法
US8270472B2 (en) 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
US8553781B2 (en) 2007-12-07 2013-10-08 Thomson Licensing Methods and apparatus for decoded picture buffer (DPB) management in single loop decoding for multi-view video
US8540158B2 (en) 2007-12-12 2013-09-24 Yiwu Lei Document verification using dynamic document identification framework
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
US8531610B2 (en) 2007-12-28 2013-09-10 Entropic Communications, Inc. Arrangement and approach for image data processing
US8126054B2 (en) 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
CN101911700A (zh) 2008-01-11 2010-12-08 汤姆逊许可证公司 视频和深度编码
US8155184B2 (en) 2008-01-16 2012-04-10 Sony Corporation Video coding system using texture analysis and synthesis in a scalable coding framework
US8311353B2 (en) 2008-01-21 2012-11-13 Telefonaktiebolaget Lm Ericsson (Publ) Prediction-based image processing
JP5214742B2 (ja) 2008-01-21 2013-06-19 テレフオンアクチーボラゲット エル エム エリクソン(パブル) 予測に基づく画像処理
KR101291196B1 (ko) 2008-01-25 2013-07-31 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8179974B2 (en) 2008-05-02 2012-05-15 Microsoft Corporation Multi-level representation of reordered transform coefficients
US20100220469A1 (en) 2008-05-23 2010-09-02 Altair Engineering, Inc. D-shaped cross section l.e.d. based light
TWI373959B (en) 2008-06-09 2012-10-01 Kun Shan University Of Technology Wavelet codec with a function of adjustable image quality
KR101517768B1 (ko) 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20100018810A (ko) 2008-08-07 2010-02-18 전자부품연구원 초고화질 영상 부호화, 복호화 방법 및 장치 및 컴퓨터로판독가능한 기록매체
US8406307B2 (en) 2008-08-22 2013-03-26 Microsoft Corporation Entropy coding/decoding of hierarchically organized data
EP2161936A1 (en) 2008-09-04 2010-03-10 Panasonic Corporation Locally adaptive filters for video coding controlled by local correlation data
US8750379B2 (en) 2008-09-11 2014-06-10 General Instrument Corporation Method and apparatus for complexity-scalable motion estimation
JP5422168B2 (ja) 2008-09-29 2014-02-19 株式会社日立製作所 動画像符号化方法および動画像復号化方法
US7837355B2 (en) 2008-09-30 2010-11-23 Disney Enterprises, Inc. Kinetic flame device
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
US8634456B2 (en) 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks
US20100086031A1 (en) 2008-10-03 2010-04-08 Qualcomm Incorporated Video coding with large macroblocks
US8619856B2 (en) 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
CN101404774B (zh) 2008-11-13 2010-06-23 四川虹微技术有限公司 运动搜索中宏块划分模式的选择方法
JP5394212B2 (ja) 2008-12-19 2014-01-22 トムソン ライセンシング データを挿入する方法、挿入されたデータを読み出す方法
JP5001964B2 (ja) 2009-02-18 2012-08-15 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、方法およびプログラム、並びに、画像復号装置、方法およびプログラム
CN101493890B (zh) * 2009-02-26 2011-05-11 上海交通大学 基于特征的动态视觉注意区域提取方法
WO2010131903A2 (en) 2009-05-12 2010-11-18 Lg Electronics Inc. Method and apparatus for processing a video signal
US8810562B2 (en) 2009-05-19 2014-08-19 Advanced Micro Devices, Inc. Hierarchical lossless compression
US8306355B2 (en) 2009-07-13 2012-11-06 Sharp Laboratories Of America, Inc. Methods and systems for reducing compression artifacts
US8395708B2 (en) * 2009-07-21 2013-03-12 Qualcomm Incorporated Method and system for detection and enhancement of video images
KR101624649B1 (ko) 2009-08-14 2016-05-26 삼성전자주식회사 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101456498B1 (ko) 2009-08-14 2014-10-31 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101452860B1 (ko) 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR101698499B1 (ko) 2009-10-01 2017-01-23 에스케이텔레콤 주식회사 분할 레이어를 이용한 영상 부호화/복호화 방법 및 장치
KR101457418B1 (ko) 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US8594200B2 (en) 2009-11-11 2013-11-26 Mediatek Inc. Method of storing motion vector information and video decoding apparatus
JP5475409B2 (ja) 2009-11-20 2014-04-16 三菱電機株式会社 動画像符号化装置および動画像符号化方法
CN102792699A (zh) 2009-11-23 2012-11-21 通用仪表公司 作为到视频序列的附加通道的深度代码化
US8315310B2 (en) 2010-01-08 2012-11-20 Research In Motion Limited Method and device for motion vector prediction in video transcoding using full resolution residuals
US20110170608A1 (en) 2010-01-08 2011-07-14 Xun Shi Method and device for video transcoding using quad-tree based mode selection
KR20110135471A (ko) 2010-06-11 2011-12-19 (주)휴맥스 블록 병합을 이용한 영상 부호화/복호화 장치 및 방법
US20120300850A1 (en) 2010-02-02 2012-11-29 Alex Chungku Yie Image encoding/decoding apparatus and method
US20110194613A1 (en) 2010-02-11 2011-08-11 Qualcomm Incorporated Video coding with large macroblocks
KR101847072B1 (ko) * 2010-04-05 2018-04-09 삼성전자주식회사 영상 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101750046B1 (ko) * 2010-04-05 2017-06-22 삼성전자주식회사 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
KR101529992B1 (ko) 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
US20110249743A1 (en) 2010-04-09 2011-10-13 Jie Zhao Super-block for high performance video coding
US8942282B2 (en) 2010-04-12 2015-01-27 Qualcomm Incorporated Variable length coding of coded block pattern (CBP) in video compression
CN106231332B (zh) 2010-04-13 2020-04-14 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
EP3490257B1 (en) 2010-04-13 2024-01-10 GE Video Compression, LLC Sample region merging
CN106060561B (zh) 2010-04-13 2019-06-28 Ge视频压缩有限责任公司 解码器、重建数组的方法、编码器、编码方法及数据流
CN105915924B (zh) 2010-04-13 2019-12-06 Ge视频压缩有限责任公司 跨平面预测
CN106028045B (zh) 2010-04-13 2019-06-25 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法及其解码器
CN105959703B (zh) 2010-04-13 2019-06-04 Ge视频压缩有限责任公司 解码器、编码器、生成数据流的方法及解码数据流的方法
CN106878726B (zh) 2010-10-08 2020-01-17 Ge视频压缩有限责任公司 编码器和编码方法与解码器和解码方法
CN107071487B (zh) 2010-11-04 2020-09-15 Ge视频压缩有限责任公司 支持区块合并和跳过模式的图像编码
US20120170648A1 (en) 2011-01-05 2012-07-05 Qualcomm Incorporated Frame splitting in video coding
CN103119944B (zh) 2011-05-20 2017-04-12 太阳专利托管公司 用于使用色彩平面间预测对视频进行编码和解码的方法和装置
IL290229B2 (en) 2011-06-16 2023-04-01 Ge Video Compression Llc Entropy coding of motion vector differences
WO2014043828A1 (en) 2012-09-24 2014-03-27 Qualcomm Incorporated Depth map coding
JP2016519898A (ja) 2013-04-08 2016-07-07 ジーイー ビデオ コンプレッション エルエルシー コンポーネント間予測
US9264728B2 (en) 2014-01-10 2016-02-16 Sony Corporation Intra-plane and inter-plane predictive method for Bayer image coding
EP3173295B1 (en) 2014-07-22 2019-04-24 Autoliv Development AB Side air-bag device
KR102149827B1 (ko) 2015-01-21 2020-08-31 삼성전자주식회사 인터 레이어 비디오 복호화 방법 및 그 장치 및 인터 레이어 비디오 부호화 방법 및 그 장치
CN106325631B (zh) * 2015-07-10 2023-03-07 宸鸿科技(厦门)有限公司 一种具有压力侦测的触控显示模组及其驱动方法
US11284080B2 (en) 2016-12-30 2022-03-22 Telefonaktiebolaget Lm Ericsson (Publ) Decoded picture buffer management for handling cross-picture data prediction
CN113454999A (zh) 2019-01-02 2021-09-28 北京字节跳动网络技术有限公司 划分模式之间的运动矢量推导
CN113711591B (zh) 2019-04-20 2023-10-27 北京字节跳动网络技术有限公司 用于色度残差的联合编解码的语法元素的信令
BR112022003641A2 (pt) 2019-09-01 2022-05-24 Beijing Bytedance Network Tech Co Ltd Método e aparelho para processar dados de vídeo, e, meios de armazenamento e de gravação legíveis por computador não transitórios
WO2021197447A1 (en) 2020-04-01 2021-10-07 Beijing Bytedance Network Technology Co., Ltd. Controlling quantization parameter delta signaling
US20220103847A1 (en) 2020-09-29 2022-03-31 Lemon Inc. Dependent random access point indication in video bitstreams

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080127597A1 (en) * 2006-11-10 2008-06-05 John Puchniak Portable hurricane and security window barrier
TW200910977A (en) * 2006-12-28 2009-03-01 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatus therefor, programs therefor and storage media for storang the programs
TW200913726A (en) * 2007-03-28 2009-03-16 Toshiba Kk Image encoding method and device
US20080310504A1 (en) * 2007-06-15 2008-12-18 Qualcomm Incorporated Adaptive coefficient scanning for video coding

Also Published As

Publication number Publication date
TW201828701A (zh) 2018-08-01
JP5911028B2 (ja) 2016-04-27
EP3703369A1 (en) 2020-09-02
JP2023126788A (ja) 2023-09-12
CN106162189A (zh) 2016-11-23
KR20220020425A (ko) 2022-02-18
US20200019986A1 (en) 2020-01-16
KR102166520B1 (ko) 2020-10-16
CN106303522B9 (zh) 2020-01-31
WO2011128366A1 (en) 2011-10-20
KR20190115119A (ko) 2019-10-10
CN106162171A (zh) 2016-11-23
US10803483B2 (en) 2020-10-13
US20200410532A1 (en) 2020-12-31
TWI718940B (zh) 2021-02-11
KR101754507B1 (ko) 2017-07-06
KR20130020890A (ko) 2013-03-04
TW202114425A (zh) 2021-04-01
US20230098693A1 (en) 2023-03-30
EP3490257B1 (en) 2024-01-10
CN106162169A (zh) 2016-11-23
KR20180108896A (ko) 2018-10-04
JP2013524709A (ja) 2013-06-17
JP6845282B2 (ja) 2021-03-17
US20210304248A1 (en) 2021-09-30
US11810019B2 (en) 2023-11-07
KR20180105277A (ko) 2018-09-27
TWI756010B (zh) 2022-02-21
US10248966B2 (en) 2019-04-02
KR20170078881A (ko) 2017-07-07
TWI605706B (zh) 2017-11-11
CN106162173B (zh) 2020-02-28
KR20200119355A (ko) 2020-10-19
TWI678916B (zh) 2019-12-01
US20200320570A1 (en) 2020-10-08
US11900415B2 (en) 2024-02-13
CN106162172A (zh) 2016-11-23
CN106303522A (zh) 2017-01-04
EP3490257A1 (en) 2019-05-29
JP6778496B2 (ja) 2020-11-04
CN102939754A (zh) 2013-02-20
US20230099885A1 (en) 2023-03-30
PL3089450T3 (pl) 2023-01-09
TWI730420B (zh) 2021-06-11
BR122020007920B1 (pt) 2022-08-23
HUE030688T2 (en) 2017-05-29
CN106303523A (zh) 2017-01-04
KR101549644B1 (ko) 2015-09-03
CN102939754B (zh) 2016-09-07
TW202031043A (zh) 2020-08-16
US20200065855A1 (en) 2020-02-27
BR112012026393A2 (pt) 2020-04-14
KR101903919B1 (ko) 2018-10-02
TW201517598A (zh) 2015-05-01
BR112012026393B1 (pt) 2022-08-23
ES2590686T3 (es) 2016-11-23
JP2014195261A (ja) 2014-10-09
JP2019198081A (ja) 2019-11-14
KR20200098721A (ko) 2020-08-20
TW202349955A (zh) 2023-12-16
EP2559246B1 (en) 2016-06-08
TW202224433A (zh) 2022-06-16
US10460344B2 (en) 2019-10-29
TWI675586B (zh) 2019-10-21
CN106162189B (zh) 2020-03-24
EP4057628A1 (en) 2022-09-14
CN106303536A (zh) 2017-01-04
TWI815295B (zh) 2023-09-11
KR20140074402A (ko) 2014-06-17
KR20230003428A (ko) 2023-01-05
KR20200119353A (ko) 2020-10-19
US10621614B2 (en) 2020-04-14
US11087355B2 (en) 2021-08-10
CN106303523B (zh) 2020-09-11
CN106210736B (zh) 2020-06-16
JP2020092449A (ja) 2020-06-11
KR102360146B1 (ko) 2022-02-08
US10748183B2 (en) 2020-08-18
JP5718453B2 (ja) 2015-05-13
US20190164188A1 (en) 2019-05-30
KR102145722B1 (ko) 2020-08-20
US20200372537A1 (en) 2020-11-26
KR102030951B1 (ko) 2019-10-10
CN106210736A (zh) 2016-12-07
US11734714B2 (en) 2023-08-22
KR102337744B1 (ko) 2021-12-09
EP3089450B1 (en) 2022-08-31
CN106162170B (zh) 2019-07-02
KR102166519B1 (ko) 2020-10-16
US20190197579A1 (en) 2019-06-27
US11037194B2 (en) 2021-06-15
US10719850B2 (en) 2020-07-21
CN106101700B (zh) 2019-08-13
EP3089450A1 (en) 2016-11-02
JP2016158259A (ja) 2016-09-01
CN106303522B (zh) 2019-08-16
DK2559246T3 (en) 2016-09-19
TWI675587B (zh) 2019-10-21
KR20150022020A (ko) 2015-03-03
JP6909818B2 (ja) 2021-07-28
JP2022188123A (ja) 2022-12-20
CN106303536B (zh) 2021-01-08
EP2559246A1 (en) 2013-02-20
TWI757963B (zh) 2022-03-11
TW202029762A (zh) 2020-08-01
JP2021101548A (ja) 2021-07-08
US10672028B2 (en) 2020-06-02
US20200074503A1 (en) 2020-03-05
CN106162170A (zh) 2016-11-23
US20190087857A1 (en) 2019-03-21
CN106162171B (zh) 2020-09-11
TW201828702A (zh) 2018-08-01
KR102480988B1 (ko) 2022-12-26
US10803485B2 (en) 2020-10-13
TW202139705A (zh) 2021-10-16
PL2559246T3 (pl) 2017-02-28
CN106162172B (zh) 2020-06-02
JP2019083583A (ja) 2019-05-30
BR122020007918B1 (pt) 2022-11-29
BR122020007916B1 (pt) 2022-08-23
CN106101700A (zh) 2016-11-09
KR102360005B1 (ko) 2022-02-08
TW202402058A (zh) 2024-01-01
TW201204047A (en) 2012-01-16
TW201828703A (zh) 2018-08-01
US20130039423A1 (en) 2013-02-14
TWI466548B (zh) 2014-12-21
US20180218397A1 (en) 2018-08-02
KR101626688B1 (ko) 2016-06-01
CN106162173A (zh) 2016-11-23
CN106162169B (zh) 2020-02-28
KR20200019794A (ko) 2020-02-24
PT2559246T (pt) 2016-09-14
TW202025758A (zh) 2020-07-01

Similar Documents

Publication Publication Date Title
TWI713356B (zh) 樣本區域合併技術
TWI711280B (zh) 在樣本陣列多元樹細分中之繼承技術
TWI726635B (zh) 解碼器、編碼器、及相關聯方法與資料串流
KR20170076811A (ko) 평면 간 예측