TW201946455A - 用於逐區塊圖像寫碼之內預測模式技術 - Google Patents

用於逐區塊圖像寫碼之內預測模式技術 Download PDF

Info

Publication number
TW201946455A
TW201946455A TW108111307A TW108111307A TW201946455A TW 201946455 A TW201946455 A TW 201946455A TW 108111307 A TW108111307 A TW 108111307A TW 108111307 A TW108111307 A TW 108111307A TW 201946455 A TW201946455 A TW 201946455A
Authority
TW
Taiwan
Prior art keywords
frame prediction
block
current block
prediction signal
template
Prior art date
Application number
TW108111307A
Other languages
English (en)
Other versions
TWI763987B (zh
Inventor
強納森 帕雅夫
菲利浦 希利
飛利浦 馬克爾
柏喬恩 史泰倫柏格
米斯洽 希克曼
馬汀 文肯
亞當 維克沃斯基
沃杰西曲 沙美克
史蒂芬 瓦坦斯塔德勒
希可 史瓦茲
迪特利夫 馬皮
湯瑪士 威剛德
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW201946455A publication Critical patent/TW201946455A/zh
Application granted granted Critical
Publication of TWI763987B publication Critical patent/TWI763987B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop

Abstract

揭示用於逐區塊圖像寫碼之框內預測模式概念。詳言之，揭示一種用於自一資料串流逐區塊解碼一圖像及/或將一圖像編碼成一資料串流的設備，該設備支援至少一個框內預測模式，根據該至少一個框內預測模式，用於該圖像之具有一預定大小之一區塊的框內預測信號藉由將鄰近當前區塊之樣本之一第一範本應用至一神經網路上而加以判定。該設備可針對不同於該預定大小之一當前區塊經組配以：
重新取樣鄰近該當前區塊之樣本之一第二範本，以便與該第一範本一致，從而獲得一經重新取樣之範本；
將樣本之該經重新取樣之範本應用至該神經網路上以便獲得一初步框內預測信號；及
重新取樣該初步框內預測信號以便與該當前區塊一致，從而獲得用於該當前區塊之該框內預測信號。

Description

用於逐區塊圖像寫碼之內預測模式技術
發明領域
本申請案係關於用於諸如可用於視訊編解碼器中之逐區塊圖像寫碼(諸如HEVC或HEVC之任何後續者)之改良的框內預測模式概念。
發明背景
框內預測模式廣泛地用於圖像及視訊寫碼中。在視訊寫碼中，框內預測模式與其他預測模式競爭，諸如框間預測模式，諸如運動補償預測模式。在框內預測模式中，基於相鄰樣本預測當前區塊，該等相鄰樣本亦即就編碼器側而言已經編碼且就解碼器側而言已經解碼之樣本。相鄰樣本值經外推至當前區塊中以便形成用於當前區塊之預測信號，其中預測殘差在用於當前區塊之資料串流中傳輸。預測信號越佳，則預測殘差越低，且相應地必需較低數目的位以對預測殘差進行寫碼。
為了有效，應考慮若干態樣以便在逐區塊圖像寫碼環境中形成用於框內預測之有效框架。舉例而言，由編解碼器支援之框內預測模式之數目越大，則旁側資訊速率消耗越大，以便將選擇用信號通知給解碼器。另一方面，所支援之框內預測模式之集合應能夠提供良好預測信號，亦即導致低預測殘差之預測信號。
本申請案力圖提供一種允許在使用改良之框內預測模式概念之情況下的逐區塊圖像編解碼器之更有效壓縮的框內預測模式概念。
此目標係藉由本申請案之獨立技術方案的主題來達成。
發明概要
揭示一種用於自一資料串流逐區塊解碼一圖像的設備(例如解碼器)，該設備支援至少一個框內預測模式，根據該至少一個框內預測模式，用於該圖像之具有一預定大小的一區塊之框內預測信號藉由將鄰近當前區塊之樣本之一第一範本應用至一神經網路上而加以判定，其中該設備針對不同於該預定大小之一當前區塊經組配以：
重新取樣鄰近該當前區塊之樣本之一第二範本，以便與該第一範本一致，從而獲得一經重新取樣之範本；
將樣本之該經重新取樣之範本應用至該神經網路上以便獲得一初步框內預測；及
重新取樣初步框內預測信號以便與該當前區塊一致從而獲得用於該當前區塊之該框內預測信號。
亦揭示一種用於將一圖像逐區塊編碼成一資料串流之設備(例如編碼器)，該設備支援至少一個框內預測模式，根據該至少一個框內預測模式，用於該圖像之具有一預定大小的一區塊之框內預測信號藉由將鄰近當前區塊之樣本之一第一範本應用至一神經網路上而加以判定，其中該設備針對不同於該預定大小之一當前區塊經組配以：
重新取樣鄰近該當前區塊之樣本之一第二範本，以便與該第一範本一致，從而獲得一經重新取樣之範本；
將樣本之該經重新取樣之範本應用至該神經網路上以便獲得一初步框內預測；及
重新取樣初步框內預測信號以便與該當前區塊一致從而獲得用於該當前區塊之該框內預測信號。
該設備可經組配以藉由對該第二範本減少取樣而重新取樣以獲得該第一範本。
該設備可經組配以藉由對該初步框內預測信號增加取樣而重新取樣該初步框內預測信號。
該設備可經組配以將該初步框內預測信號自一空間域變換至一變換域中；及重新取樣該變換域中之該初步框內預測信號。
該設備可經組配以藉由按比例調整該初步框內預測信號之係數而重新取樣變換域初步框內預測信號。
該設備可經組配以
藉由以下操作重新取樣該變換域初步框內預測信號：
增加該框內預測信號之尺寸以與該當前區塊之尺寸一致；及
對該初步框內預測信號之經添加係數中之係數墊零，該等經添加係數與更高頻率區間相關。
該設備可經組配以將該變換域初步框內預測信號與一預測殘差信號之一經反量化版本組合。
該設備可經組配以重新取樣該空間域中之該初步框內預測信號。
該設備可經組配以藉由執行一雙線性內插而重新取樣該初步框內預測信號。
該設備可經組配以在一資料欄位中編碼關於該重新取樣及/或用於不同尺寸之神經網路之使用的資訊。
亦揭示一種用於自一資料串流逐區塊解碼一圖像之設備(例如解碼器)，該設備支援至少一個框內預測模式，根據該至少一個框內預測模式，用於該圖像之一當前區塊之框內預測信號藉由以下操作加以判定：
將該當前區塊之相鄰樣本之一第一集合應用至一神經網路上以獲得該當前區塊之一變換之一組變換係數的一預測。
亦揭示一種用於將一圖像逐區塊編碼成一資料串流之設備(例如編碼器)，該設備支援至少一個框內預測模式，根據該至少一個框內預測模式，用於該圖像之一當前區塊之框內預測信號藉由以下操作加以判定：
將該當前區塊之相鄰樣本之一第一集合應用至一神經網路上以獲得該當前區塊之一變換之一組變換係數的一預測。
該設備中之一者可經組配以變換該預測從而獲得一經重建信號。
該設備中之一者可經組配以：使用一可變長度碼自該資料串流解碼一索引；及使用該索引執行選擇。
該設備中之一者可經組配以：判定框內預測模式之集合之一排序；及隨後重新取樣該第二範本。
揭示一種方法，其包含：
重新取樣鄰近該當前區塊之樣本之一第二範本，以便與該第一範本一致，從而獲得一經重新取樣之範本；
將樣本之該經重新取樣之範本應用至一神經網路上以便獲得一初步框內預測信號，及
重新取樣該初步框內預測信號以便與該當前區塊一致從而獲得用於該當前區塊之該框內預測信號。
揭示一種用於自一資料串流逐區塊解碼一圖像的方法，其包含：
將一當前區塊之相鄰樣本之一第一集合應用至一神經網路上以獲得一當前區塊之一變換之一組變換係數的一預測。
揭示一種用於將一圖像逐區塊編碼成一資料串流之方法，其包含：
將一當前區塊之相鄰樣本之一第一集合應用至一神經網路上以獲得一當前區塊之一變換之一組變換係數的一預測。
上文及/或下文之方法可使用包含如上所述及/或如下所述之至少一個設備的設備。
亦揭示一種電腦可讀儲存媒體，其包含在由一電腦執行時使得該電腦執行如上所述及/或如下所述之一方法的指令，及/或該電腦可讀儲存媒體實施上文及/或下文之設備之至少一個組件。
亦揭示一種資料串流，其藉由如上所述及/或如下所述之一方法及/或藉由如上所述及/或如下所述之一設備獲得。
較佳實施例之詳細說明
實例
在下文中，描述各種實例，其輔助當使用框內預測時實現更有效壓縮。一些實例藉由花費一組基於神經網路之框內預測模式來實現壓縮效率增加。後面的實例可添加至例如經探索性設計地其他框內預測模式，或可專門地提供。其他實例使用神經網路以便在多個框內預測模式當中進行選擇。且甚至其他實例利用剛剛論述之二種特例。
為了易於理解本申請案之以下實例，本說明書開始呈現可能的編碼器及適合其之解碼器，隨後概述之本申請案之實例可經構建至該呈現中。圖1展示用於將圖像10逐區塊編碼成資料串流12之設備。該設備使用參考符號14指示且可為靜止圖像編碼器或視訊編碼器。換言之，當編碼器14經組配以將包括圖像10之視訊16組配成資料串流12或編碼器14可僅將圖像10編碼成資料串流12時，圖像10可為視訊16當中之當前圖像。
如所提及，編碼器14以逐區塊方式或基於區塊執行編碼。為此，編碼器14將圖像10細分成區塊，該編碼器14之單元將圖像10編碼成資料串流12。在下文更詳細地闡述將圖像10可能細分成區塊18之實例。通常，細分可能諸如藉由使用分層多樹細分而最終變成具有恆定大小之區塊18，諸如以列及行配置之區塊之陣列，或可能最終變成具有不同區塊大小之區塊18，其中多樹細分起始於圖像10之整個圖像區域或開始於圖像10預分割成樹型區塊之陣列，其中此等實例不應被視為排除將圖像10細分成區塊18之其他可能方式。
此外，編碼器14為經組配以將圖像10預測性地編碼成資料串流12之預測性編碼器。對於特定區塊18，此意謂編碼器14判定用於區塊18之預測信號且將預測殘差(亦即，預測信號偏離區塊18內之實際圖像內容之預測誤差)編碼成資料串流12。
編碼器14可支援不同預測模式以便導出用於特定區塊18之預測信號。在以下實例中具有重要性之預測模式為框內預測模式，根據該等框內預測模式，區塊18之內部根據圖像10之相鄰已經編碼樣本而在空間上預測。將圖像10編碼成資料串流12且因此對應的解碼程序可基於在區塊18當中定義之特定寫碼次序20。舉例而言，寫碼次序20可以光柵掃描次序(諸如自上而下逐列)遍歷區塊18，其中例如自左至右遍歷每一列。在基於分層多樹之細分之狀況下，光柵掃描排序可應用在每一層級層次內，其中可應用深度優先遍歷次序，亦即，特定層級層次之區塊內之葉注可根據寫碼次序20在同一層級層次之具有相同父區塊之區塊之前。取決於寫碼次序20，區塊18之相鄰已經編碼樣本通常可定位在區塊18之一或多個側處。在本文中所呈現之實例之狀況下，例如區塊18之相鄰已經編碼樣本定位在區塊18之頂部及左邊。
框內預測模式可能並非編碼器14支援之僅有框內預測模式。在編碼器14為視訊編碼器之狀況下，例如編碼器14亦可支援框內預測模式，根據該等框內預測模式，區塊18暫時根據視訊16之先前編碼之圖像來預測。此框內預測模式可為運動補償預測模式，根據該運動補償預測模式，將移動向量用信號通知給此區塊18，從而指示區塊18之預測信號將從其導出作為複本之部分的相對空間偏移。另外或替代地，其他非框內預測模式亦可為可用的，諸如在編碼器14為多視圖編碼器之狀況下之視圖間預測模式，或非預測性模式，根據該等非預測性模式，區塊18之內部按原樣，亦即無任何預測之情況下，經寫碼。
在開始將本申請案之說明書集中於框內預測模式之前，關於圖2描述用於基於可能區塊之編碼器(亦即用於編碼器14之可能實施)之更特定實例，接著分別呈現用於適合圖1及圖2之解碼器中二個對應的實例。
圖2展示圖1之編碼器14之可能實施，亦即其中編碼器經組配以使用變換寫碼以用於編碼預測殘差之實施，但此近似實例且本申請案並不限於彼類別之預測殘差寫碼。根據圖2，編碼器14包含減法器22，其經組配以自入站信號(亦即圖像10或在區塊基礎上自塊18)減去對應的預測信號24以便獲得預測殘差信號26，該預測殘差信號接著由預測殘差編碼器28編碼成資料串流12。預測殘差編碼器28由有損編碼級28a及無損編碼級28b構成。有損級28a接收預測殘差信號26且包含量化器30，該量化器量化預測殘差信號26之樣本。如上文已經提及，本發明實例使用預測殘差信號26之變換寫碼，且因此有損編碼級28a包含連接於減法器22與量化器30之間的變換級32以便變換此經頻譜分解之預測殘差26，其中量化器30之量化關於呈現殘差信號26之經變換係數進行。該變換可為DCT、DST、FFT、哈達馬德(Hadamard)變換等等。經變換且經量化預測殘差信號34接著藉由無損編碼級28b進行無損寫碼，該無損編碼級為將經量化預測殘差信號34熵寫碼成資料串流12之熵寫碼器。編碼器14進一步包含預測殘差信號重建級36，其連接至量化器30之輸出以便以亦可用在解碼器處之方式自經變換且經量化預測殘差信號34重建預測殘差信號，亦即考慮寫碼損失為量化器30。為此目的，預測殘差重建級36包含反量化器38，其執行量化器30之量化之逆，接著包含反變換器40，其相對於由變換器32執行之變換執行反變換，諸如頻譜分解之逆，諸如以上提及之具體變換實例中之任一者之逆。編碼器14包含加法器42，其添加由反變換器40輸出之經重建預測殘差信號及預測信號24以便輸出經重建信號，亦即經重建樣本。此輸出經饋送至編碼器14之預測器44中，該預測器接著基於其判定預測信號24。預測器44支援上文已經關於圖1所論述的所有預測模式。圖2亦說明在編碼器14為視訊編碼器之狀況下，編碼器14亦可包含環路內濾波器46，其對經重建圖像進行完全濾波，該等經重建圖像在已經濾波之後關於經框間預測區塊形成用於預測器44之參考圖像。
如上文已經提及，編碼器14基於區塊操作。對於隨後描述，感興趣之區塊基礎為將圖像10細分成區塊之區塊基礎，用於該等區塊之框內預測模式係自分別由預測器44或編碼器14支援之一組或多個框內預測模式當中選擇，且選定的框內預測模式經個別地執行。然而，亦可存在將圖像10細分成其他類別的區塊。舉例而言，無論圖像10經框間寫碼抑或經框內寫碼，以上提及之決策均可以粒度或以自區塊18偏離之區塊之單位來進行。舉例而言，框間/框內模式決策可以圖像10細分成之寫碼區塊之級別來執行，且每一寫碼區塊細分成預測區塊。具有已經決定使用框內預測之編碼區塊之預測區塊各自細分成框內預測模式決策。為此，對於此等預測區塊中之每一者，決定各別預測區塊應使用哪一經支援框內預測模式。此等預測區塊將形成此處感興趣之區塊18。與框間預測相關聯之寫碼區塊內的預測區塊將由預測器44以不同方式處理。該等預測區塊將藉由判定運動向量且自參考圖片中由運動向量指向之位置複製用於此區塊之預測信號而自參考圖像經框間預測。另一區塊細分關於細分成變換區塊，在該等變換區塊之單元處，藉由變換器32及反向變換器40執行變換。經變換區塊可例如為進一步細分寫碼區塊之結果。自然地，本文中所闡述之實例不應被視為限制性的且亦存在其他實例。僅出於完整性起見，應注意，細分成寫碼區塊可例如使用多樹細分，且預測區塊及/或變換區塊亦可藉由使用多樹細分進一步細分寫碼區塊而獲得。
圖3中描繪適合圖1之編碼器14之用於逐區塊解碼之解碼器或設備。此解碼器54與編碼器14之行為相反，亦即其以逐區塊方式自資料串流12解碼圖像10且為此目的支援多個框內預測模式。舉例而言，解碼器54可包含殘差提供器156。上文關於圖1所論述的所有其他可能性對於解碼器54亦有效。為此，解碼器54可為靜止圖像解碼器或視訊解碼器且所有預測模式及預測可能性亦由解碼器54支援。編碼器14與解碼器54之間的差異主要在於編碼器14根據某一最佳化選擇寫碼決策例如以便最小化可取決於寫碼速率及/或寫碼失真之某一成本函數之事實。此等寫碼選項或寫碼參數中之一者可涉及可用或經支援框內預測模式當中之待用於當前區塊18之一系列框內預測模式。選定的框內預測模式接著可在資料串流12內由編碼器14用信號通知給當前區塊18，其中解碼器54使用用於區塊18之資料串流12中之此發信重新進行選擇。同樣地，圖像10細分成區塊18可在編碼器14內進行最佳化，且對應的細分資訊可在資料串流12內傳送，其中解碼器54基於細分資訊恢復將圖像10細分成區塊18。綜上所述，解碼器54可為在區塊基礎上進行操作之預測性解碼器，且除框內預測模式之外，解碼器54可支援其他預測模式，諸如在例如解碼器54為視訊解碼器之狀況下之框間預測模式。在解碼時，解碼器54亦可使用關於圖1論述的寫碼次序20，且因為編碼器14及解碼器54均遵守此寫碼次序20，所以相同相鄰樣本可用於編碼器14及解碼器54處之當前區塊18。因此，為了避免不必要的重複，就圖像10細分成區塊而言，例如就預測而言及就預測殘差之寫碼而言，編碼器14之操作模式之描述亦應適用於解碼器54。差異在於以下事實：編碼器14藉由最佳化選擇一些寫碼選項或寫碼參數，且在資料串流12內用信號發送寫碼參數或將寫碼參數插入至資料串流12中，該等寫碼參數接著藉由解碼器54自資料串流12導出以便重新進行預測、細分等等。
圖4展示圖3之解碼器54之可能實施，亦即適合圖1之編碼器14之實施的實施，如圖2中所展示。因為圖4的編碼器54之許多元件與出現在圖2之對應的編碼器中之元件相同，所以圖4中使用帶有撇號之參考符號以便指示此等元件。詳言之，加法器42´、任選的環路內濾波器46´及預測器44´以與其在圖2之編碼器中相同之方式連接至預測環路中。應用於加法器42´之經重建，亦即經去量化及經再變換預測殘差信號藉由以下各者之序列導出：熵解碼器56，其反向轉換熵編碼器28b之熵編碼；接著是殘差信號重建級36´，其由反量化器38´及反變換器40´構成，正好與編碼側之狀況相同。解碼器之輸出為圖像10之重建。圖像10之重建可直接在加法器42´之輸出處或替代地在環路內濾波器46´之輸出處獲得。一些後置濾波器可配置在解碼器之輸出處以便使圖像10之重建進行一些後置濾波，以便改良圖像品質，但圖4中並未描繪此選項。
再次，關於圖4，上面關於圖2提出之描述對於圖4亦應有效，除了僅編碼器執行最佳化任務及關於寫碼選項之相關聯決策之外。然而，關於區塊細分、預測、反量化及再變換的所有描述對於圖4之解碼器54亦有效。
在繼續描述本申請案之可能實例之前，應關於以上實例做出一些註釋。儘管上文未明確提及，但顯然區塊18可具有任何形狀。舉例而言，其可為矩形或正方形形狀。此外，儘管上文對編碼器14及解碼器54之操作模式的描述經常提及「當前區塊」18，但顯而易見的是，編碼器14及解碼器54相應地對於要為其選擇框內預測模式的每一區塊起作用。如上文所描述，亦可存在其他區塊，但以下描述集中於圖像10被細分成的彼等區塊18，該等區塊將選擇框內預測模式。
為了概述將選擇框內預測模式之特定區塊18之情形，參考圖5。圖5展示當前區塊18，亦即當前待編碼或解碼之區塊。圖5展示相鄰樣本62之集合60，亦即具有在空間上相鄰區塊18之樣本62。將預測區塊18內之樣本64。因此，將導出之預測信號為針對區塊18內之每一樣本64之預測。如上文已經論述，多個預測模式66可用於每一區塊18且若區塊18將經框內預測，則此多個模式66僅僅包含框間預測模式。在編碼器及解碼器側處執行選擇68以便基於相鄰樣本集合60判定將用於預測(71)區塊18之預測信號之多個框內預測模式66當中之框內預測模式中之一者。下文進一步描述之實例在可用的框內預測模式66及關於選擇68之操作模式方面不同，例如，是否針對關於區塊18之選擇68在數據流12中設置了旁側資訊。然而，此等實例之描述以提供數學細節之具體描述開始。根據此初始實例，對於將經框內預測之特定區塊18之選擇係與對應的旁側資訊發信70及資料串流相關聯，且多個框內預測模式66包含基於神經網路之框內預測模式之集合72以及探索性設計之其他框內預測模式之集合74。集合74之框內預測模式中之一者可例如為DC預測模式，根據該DC預測模式，基於相鄰樣本集合60判定某一平均值，且此平均值經指派至區塊18內之所有樣本64。另外或替代地，集合74可包含框間預測模式，其可被稱作角度框間預測模式，根據該等角度框間預測模式，相鄰樣本集合60之樣本值沿著特定框內預測方向經複製至區塊18中，其中此框內預測方向在此類角度框內預測模式當中不同。圖5展示除了關於多個框內預測模式66當中的選擇68之任選地存在之旁側資訊70之外，資料串流12亦包含預測殘差編碼成之部分76，該寫碼如上文所論述任選地涉及具有變換域中之量化之變換寫碼。
詳言之，為了易於理解本申請案之具體實例之以下描述，圖6展示用於編碼器及解碼器處之框內預測區塊之一般操作模式。圖6展示基於其執行框內預測之區塊18連同相鄰樣本集合60。應注意，此集合60可在基數方面在多個框內預測模式66當中之框內預測模式之間變化，亦即，根據用於判定區塊18之預測信號之各別框內預測模式而實際使用的集合60之樣本之數目。然而，此係為了易於理解，未在圖6中描繪。圖6展示編碼器及解碼器針對集合72之基於神經網路之框內預測模式中之每一者具有一個神經網路800 至80KB -1。集合60應用於各別神經網路以便導出集合72當中之對應的框內預測模式。除此之外，圖6實際上代表性地展示一個區塊82，其基於輸入(亦即相鄰樣本中集合60)提供集合74之一或多個框內預測模式之一或多個預測信號，例如DC模式預測信號及/或角度框內預測模式預測信號。以下描述將展示關於如何可有利地判定用於神經網路80i之參數，其中i=0…KB -1。下文闡述之具體實例亦提供具有另一神經網路84之編碼器及解碼器，該神經網路專用於基於可或可不與集合60重合之相鄰樣本之集合86提供用於集合72內之每一基於神經網路之框內預測模式之機率值。因此，當神經網路84輔助使用於模式選擇之旁側資訊70更有效時，提供機率值。舉例而言，在下文所描述之實例中，假設可變長度碼用於指向框內預測模式中之一者，且至少就集合72而言，由神經網路84提供之機率值使得能夠將旁側資訊70內之可變長度碼用作框內預測模式之有序清單內的索引，藉此最佳化或縮減旁側資訊70之寫碼速率，該等框內預測模式根據由神經網路84針對集合72內之基於神經網路之框內預測模式輸出之機率值排序。為此，如圖6中所描繪，取決於以下二者有效地執行模式選擇68：由其他神經網路84提供之機率值以及資料串流12內之旁側資訊70。
1.用以訓練執行框內預測之神經網路之參數的演算法
使為視訊圖框之，亦即區塊18。假設具有個像素。對於固定顏色分量，使為上之視訊信號之內容。吾等將視為。假設存在的鄰域，其具有個像素且其上已經重建之影像係可用的，亦即樣品集合60及86，儘管其可替代地不同。藉由框內預測函數，吾等意指函數。吾等將視為用於之預測符。
接下來描述用以經由資料驅動最佳化方法設計用於若干區塊之框內預測函數的演算法，該演算法可以典型的混合視訊寫碼標準(亦即集合72)進行。為了實現彼目標，吾等考慮以下主要設計特徵：
1.在吾等所實行之最佳化演算法中，吾等想要使用成本函數之良好近似，其尤其涉及吾人可預期用信號發送預測殘差所花費之位元數。
2.吾等想要聯合地訓練若干框內預測以便能夠處置不同信號特性。
3.當訓練框內預測時，吾人必須考慮用信號發送將使用之框內模式所需之位元數。
4.吾等想要保留一組已經定義之框內預測，例如HEVC框內預測，且訓練吾等的預測作為互補預測。
5.典型的混合視訊寫碼標準通常支援給定區塊可分割成之若干區塊形狀。
在下面四個章節中，可能會描述吾人如何可應對此等要求中之每一者。更精確地，在章節1.1中，吾等應描述如何應對第一條目。在章節1.2中，描述如何處置條目2至3。在章節1.4中，描述如何考慮條目4。最終，在章節1.5中，描述如何應對最後一個條目。
1.1用以訓練近似視訊編解碼器之速率函數之損失函數的演算法
用以判定用於視訊編解碼器中之未知參數之資料驅動方法通常設定為最佳化演算法，其嘗試最小化關於訓練實例之給定集合的預定義損失函數。通常，對於在實踐中起作用之數值最佳化演算法，後一損失函數應符合一些平滑度要求。
另一方面，如同HEVC之視訊編碼器在其藉由最小化速率失真成本而做出決策時表現最佳。此處，為經解碼視訊信號之重建誤差且為速率，亦即寫碼視訊信號所需之位元數。此外，為拉格朗日(Lagrangian)參數，其取決於所選擇的量化參數。
真函數通常非常複雜且並非由吾人可供應資料驅動最佳化演算法所運用之閉合表達式給定。因此，吾等藉由分段平滑函數來近似整個函數或近似至少速率函數。
更精確地，如前所述，使為視訊圖框10之給定區塊1/，且使為固定顏色分量中之上的對應的視訊信號。假設具有個像素。接著對於預測候選項，吾等考慮預測殘差。對於給定量化參數及給定變換，使為真實視訊編碼器需要用信號通知之經量化變換的速率。此外，使為藉由之反量化及逆變換產生之重建誤差。接著吾等想要判定函數，其為分段平滑的使得充當之良好近似且使得充當之良好近似。
吾等修復了某一且修復了預定義「架構」，亦即分段平滑函數

且接著尋求，使得吾等將吾等的函數及模型化為
。
為了判定權重及，在使用給定混合視訊寫碼標準之典型的編碼器上，吾等收集了預測殘差,及對應的速率失真值之訓練實例的大集合，其分別僅為用於某一有限較大索引集合之速率值。接著吾等嘗試找到及，使得其最小化以下表達式或至少使該等表達式變小
為了彼任務，吾等通常使用(隨機)梯度下降方法。
1.2用於固定區塊形狀之預測的訓練
此章節中，吾等描述吾等設定的用以設計用於給定區塊18之框內預測(st 72之預測)及用於已經重建樣本之區域60之演算法。
吾等假設吾等被給予吾等的預測之預定義「架構」。藉此，吾等意謂對於某一固定，吾等被給予函數
(1)
且吾等想要判定「權重」，使得吾等的框內預測如下給定

其中，對於，吾等整理成
(2)
以下章節就此而言提供細節。(2)中之函數定義圖6中之神經網路800 - 80KB -1。
接下來，吾等模型化吾等嘗試藉由使用第二參數相關函數設計之框內模式之發信成本
(3)
再次，對於，吾等定義

藉由
(4)
再次，章節1.3中給定實例，其中(4)之函數表示圖6之神經網路84。
吾等假設吾等被給予函數
舉例而言，此函數定義用於旁側資訊70之VLC碼長度分佈，亦即藉由旁側資訊70與集合72之較多cad ponite相關聯之碼長度。
接著吾等定義

藉由
目前之第分量

應模型化用信號通知吾等訓練之第框內模式所需之位元數。
若為章節2.1中定義之函數，則對於給定、經重建影像及原始影像，吾等使

指代具有如下屬性之最小

其中所有。
由於模型化用於框內模式之發信之真實位元數，因此其梯度為零抑或不確定。因此，獨自不足以經由基於梯度下降之演算法最佳化權重。因此，吾等亦藉由使用softmax函數將函數變換成機率分佈而調用框內模式之交叉熵。吾等再調用後一函數之定義。對於，使指代之第i分量。接著softmax函數被定義為
為了梯度更新，吾等將嘗試最小化殘差之速率及關於後一機率分佈之模式之交叉熵的總和。因此吾等將用於區塊之吾等的損失函數定義如下

(5)
其中
給定(5)中之損失函數，吾等判定藉由資料驅動最佳化權重。因此，若對於有限較大索引集合，吾等被給予上之影像及上之對應的經重建影像之一組訓練實例

則吾等例如基於(隨機)梯度下降方法應用最佳化演算法以找到最小化以下表達式之權重
(6)
1.3 函數及之規範
在此章節中，吾等更精確地定義函數及之形式。再次，前已述及，一些人定義了神經網路神經80及84。此等函數中之每一者由函數之組成之序列組成，該等函數為：1)仿射變換；或2)非線性激發函數。
藉由仿射變換，吾等意指具有以下形式之映射

其中為線性變換，亦即，滿足

其中所有,，且其中。每一線性映射完全由中之矩陣判定，亦即對應於向量。每一仿射函數:因此完全由權重亦即由向量判定。對於每一，吾等應以前述方式為對應於之唯一仿射變換編寫。
對於非線性激發函數，吾等意指具有以下形式之函數
此處，指代之第分量，且指代之第分量。最終，可具有以下形式
(7)
或具有以下形式
(8)
但此等實例不應解譯為將本申請案之實例限制為此等明確實例。亦可使用其他公式，諸如或任一其他非線性函數。舉例而言，可替代地為分段平滑函數。
吾等函數現在看起來如下。吾等假設對於固定，吾等被給予及，其中,，使得
此處，、及如(1)中一樣。接著，對於，其中，吾等定義

因此將描述使用參數神經網路80i 。其將為線性函數及非線性函數之序列，該等函數在本實例中在序列中交替地應用，其中參數包含中之線性函數權重。在線性函數及非線性函數之序列中，線性函數前面之非線性函數對將表示神經元層，例如，第j層，其中神經網路之前饋方向上之此神經元層j之前的舊版節點之數量由之維度m、之行數判定，且神經元層j本身之神經元數量由之維數n及其列數判定。之每一列倂有權重，該等權重控制關於m個舊版神經元中之每一者的信號強度或激活的強度經轉發至對應於各別列之神經元層j的各別神經元之強度。針對神經元層j之每一神經元控制其經轉發舊版神經元激活之線性組合至其自身激活上之非線性映射。在以上實例中，存在個此類神經元層。每一層之神經元數可不同。神經元層數在各種神經網路80j 當中(亦即針對不同j)可不同。應注意，每一神經元層或甚至每一神經元或一些其他單元處之非線性函數可不同。
類似地，吾等的函數看起來如下。吾等假設對於固定的，吾等被給予及，其中,，使得
此處，、及如(3)中一樣。接著，對於，其中，吾等定義

將因此描述使用參數參數化之神經網路84。其將為線性函數及非線性函數之序列，正如其相對於關於預測信號計算之神經元層在上文描述。神經網路84之神經元層之數量可不同於神經網路80i 之神經元層之數目中之一或多者。
1.4考慮現有預測之訓練
吾等擴展了先前章節之演算法使得吾等可訓練補充已經存在之框內預測之預測。
亦即，使

為已經可用之固定框內預測函數之集合。舉例而言，可由HEVC之DC或平面預測及根據HEVC定義之角度預測組成；所有彼等預測亦可包括經重建樣本之初步平滑。此外，吾等假設吾等被給予函數

使得在給定原始影像之情況下，模型化應用於之第框內預測函數之損失。
接著吾等將來自(5)之損失函數擴展為損失函數
(9)
保留前一章節末尾之註釋，吾等判定藉由最小化關於訓練實例之大集合之以下函數來判定權重
。(10)
出於彼目的，吾等通常首先藉由最佳化(6)來找到權重且接著初始化彼等權重以找到最佳化(10)之權重。
1.5用於若干區塊形狀之預測中聯合訓練
此章節中，吾等描述在訓練吾等的預測時，吾人如何可考慮到在典型的視訊寫碼標準中，通常有可能以各種方式將區塊拆分成更小的子區塊且對更小子區塊執行框內預測。
亦即，假設對於某一，吾等被給予可採納區塊之集合

以及區域之集合

使得每一為之鄰域。通常，為左側及上方之二個矩形之並集。
吾等假設存在區塊使得針對每一。使為之冪集合。接著對於，吾等假設給定集合

使得對於每一，區塊可寫成不相交並集。
對於給定的顏色分量，使為，藉由限制，針對每一吾等將其視為上之影像。此外，假設上存在經重建影像，藉由限制，針對每一，吾等將其視為上之影像。
保留章節1.2之註釋，對於每一，吾等尋求作為框內預測函數之權重的集合且吾等尋求作為模式預測函數之權重。吾等如下聯合地判定用於所有之此等權重。對於及權重、、、之給定集合，吾等整理成

此外，對於，吾等將定義為
。
如在章節1.4中，吾等假設對於每一，框內預測函數之有可能空的集合係可用的。吾等使
接著吾等如下定義損失函數。吾等經由包括集合而在集合上具有排序≤。使

為中之所有最小要素之集合。對於，吾等整理成

其中後一函數如在(9)中一樣。
接下來，使且假設已經針對所有加以定義，其中。
接著，吾等定義

最終，給定上之影像的訓練實例之固定集合

吾等藉由最小化以下表達式或至少使得該表達式變小判定,
吾等通常藉由首先最小化(9)而針對每一個別地初始化權重,。
2將經訓練神經網路整合至視訊編解碼器中
吾等考慮混合視訊寫碼標準，其中對於給定顏色分量，給定區塊上之視訊信號之內容將由解碼器生成。使為之像素之數量。此外，使為之固定鄰域，使得解碼器在上具有有其處置之經重建影像。使為之像素之數量。接著吾等將視為之要素。吾等假設編解碼器藉由當前區塊10上之預測性寫碼進行操作。接著吾等主張用於解碼器可執行以便生成上之預測信號之以下步驟的版權，吾等將其視為之要素：
1.解碼器具有由其處置之固定數字、函數，亦即)，及，亦即84，以及權重以及權重，其中後一權重藉由前一章節中所描述之訓練演算法提前判定。
2.解碼器自位元串流重建為旁側資訊70之一部分且指示以下選項中之一者是否確實為真實之旗標[標籤=)]
(i)將使用預測中之一者，亦即集合72當中之模式
(ii)舉例而言，將不使用預測中之任一者，亦即74當中之一者
此處，函數如在(2)中一樣。
3.若步驟2中之選項二為真，則解碼器針對給定區塊10繼續，如在基礎混合視訊寫碼標準中一樣。
4.若步驟2中之選項一為真，則解碼器將根據(4)定義之函數(亦即84)應用於經重建影像。使經定義為。接著標準以一方式改變使得解碼器確切藉由以下二個選項中之一者定義數值：
(i)解碼器藉由以下一者定義關於集合之機率分佈

且使用後一機率分佈來經由用於來自資料串流12之基礎標準中之熵寫碼引擎分析亦為旁側資訊70之一部分的索引，且定義。
(ii)解碼器藉由整理成來歸納地定義排列

其中在對於所有而之情況下且藉由整理成，為最小數值，其中為最小數值，使得一個數值對於所有具有。
接著，解碼器自位元串流12重建亦為資料串流12之一部分之唯一索引且整理成。
在解析後一索引之程式碼設計中，若並且若由熵編碼引擎使用的所有涉及的基礎機率經設置為相等的機率，則要求用信號通知索引所需的位元數小於或等於用信號通知索引之位元數。
5.若步驟2中之選項一為真且若解碼器根據先前步驟4判定索引，則解碼器生成71預測信號作為，亦即使用選定的神經網路80m 。接著，解碼器使用作為預測信號而繼續，如在基礎混合視訊寫碼標準中。
將設計係基於資料驅動學習方法之框內預測函數整合至現有中。本說明書具有主要。在第一部分中，吾等描述框內預測之訓練之具體演算法。在第二部分中，吾等描述視訊解碼器如何可後一預測函數以便生成用於給定之預測信號。
因此，上文在章節1.1至2中所描述之內容尤其為用於根據資料串流12逐區塊解碼圖像10之設備。該設備54支援多個框內預測模式，其包含至少框內預測模式之集合72，根據該等框內預測模式，用於圖像10之當前區塊18之框內預測信號藉由將當前區塊18之相鄰樣本之第一集合60應用至神經網路80i 上來判定。該設備54經組配以針對當前區塊18在多個框內預測模式66當中選擇(68)一個框內預測模式且使用一個框內預測模式(亦即使用已選定的對應的神經網路80m )預測(71)當前區塊18。儘管除了集合72中之基於神經網路之框內預測模式之外，章節2中所呈現之解碼器亦具有所支援之多個框內預測模式66內之框內預測模式74，但此僅僅為實例且不需如此。此外，章節1及2中之以上描述之不同之處可能在於解碼器54不使用且不包含其他神經網路84。關於上文所描述的最佳化，此意謂章節1.2中呈現之用於找到之內部品質之第二加法器將不必是應用於任何機率值神經網路函數GB 之函數MB 的級聯。最佳化演算法實際上以一方式判定用於神經網路80i 之合適參數使得選擇之頻率將適當地遵循MB 之碼速率指示。舉例而言，解碼器54可使用可變長度碼根據資料串流12解碼用於區塊18之索引，可變長度碼之碼長度在MB 中指示，且解碼器54將基於此索引執行選擇68。該索引將為旁側資訊70之一部分。
上文在章節2中提出之描述之另一替代方案為解碼器54可取決於關於當前區塊18之鄰域的資料串流之第一部分替代地導出基於神經網路之框內預測模式之集合72當中之排序以便獲得框內預測模式之有序清單，其中取決於資料串流之除該第一部分之外的第二部分選擇框內預測模式之有序清單當中的最終將使用之框內預測模式。「第一部分」可例如關於與鄰近當前區塊18之一個或多個區塊有關的寫碼參數或預測參數。「第二部分」接著可為索引，其例如指向基於神經網路之框內預測模式集合72或為該基於神經網路之框內預測模式集合之索引。當理解成與上文概述之章節2對齊時，解碼器54包含其他神經網路84，其針對框內預測模式之集合72之每一框內預測模式藉由將鄰近樣本之集合86應用於其且對此等機率值進行排序而判定機率值以便判定集合72之每一框內預測模式之排序，藉此獲得框內預測模式之有序清單。作為旁側資訊70之部分之資料串流12中的索引接著用作有序清單中之索引。此處，此索引可使用可變長度碼來寫碼，MB 針對可變長度碼指示碼長度。且如上文在章節2中所解釋，在條目4i中，根據另一替代實例，解碼器54可使用剛剛提及之由用於集合72之每一基於神經網路之框內預測模式的其他神經網路84判定之機率值以便高效地將索引熵寫碼至集合72中。詳言之，為旁側資訊70之一部分且用作集合72之索引的此索引之符號字母將包含用於集合72內之模式中之每一者的符號或值，且由神經網路84提供之機率值在根據上述描述之神經網路84之狀況下將提供機率值，其將促使有效熵寫碼，因為此等機率值密切地表示實際符號統計。對於此熵寫碼，可使用算術寫碼，或例如可使用機率區間分割熵(PIPE)寫碼。
有利地，對於集合72的任何框內預測模式，不需要額外資訊。每一神經網路80i 一旦根據例如章節1及2中之上述描述針對編碼器及解碼器有利地參數化，則會導出用於當前區塊18之預測信號而無需資料串流中之任何額外導引。如上文所述，除了集合72中之基於神經網路之框內預測模式之外的其他框內預測模式之存在係任選的。其在上文由集合74指示。就此而言，應注意，選擇集合60 (亦即形成用於框內預測71之輸入的鄰近樣本的集合)之一種可能方式可使得此集合60對於集合74之框內預測模式(亦即探索性框內預測模式)係相同的，其中用於基於神經網路之框內預測模式之集合60就包括在集合60中之鄰近樣本之數目而言更大且影響框內預測71。換言之，相較於集合74之其他模式，集合60之基數對於基於神經網路之框內預測模式72可更大。舉例而言，集合74之任何框內預測模式之集合60可僅僅包含沿著一維線之鄰近樣本，該一維線沿著區塊18之側(諸如左側及上側)延伸。基於神經網路之框內預測模式之集合60可覆蓋L形部分，該L形部分沿著區塊18之剛剛提及之側延伸但比用於集合74之框內預測模式之集合60僅寬一個樣本。該L形部分可另外延伸超出區塊18之剛提及之側。以此方式，基於神經網路之框內預測模式可產生具有對應的較低的預測殘差之較佳框內預測。
如上文在章節2中所描述，在資料串流12中傳送至經框內預測區塊18之旁側資訊70可包含標記，其通常指示用於區塊18之選定框內預測模式是否為集合72之成員或集合74之成員。然而，此標記僅為任選的，其中旁側資訊70指示例如包括集合72及74之整個多個框內預測模式66的索引。
在下文中，關於圖7a至圖7d簡單論述剛剛論述之替代方案。諸圖亦即就其關於經框內預測區塊18之功能性而言同時定義解碼器及編碼器二者。關於經框內寫碼區塊18之編碼器操作模式與解碼器操作模式之間的差異一方面在於以下事實：編碼器執行可用的框內預測模式66中之所有或至少一些以便在90處就例如某一成本函數最小化含義而言判定最佳的框內預測模式，且編碼器形成資料串流12，亦即將日期寫碼至其中，而解碼器分別藉由解碼及讀取而自其導出資料。圖7a展示用於上文所概述之替代方案之操作模式，根據該等操作模式，用於區塊18之旁側資訊70內之旗標70a指示將在步驟90中由編碼器判定為區塊18之最佳模式的框內預測模式是否在集合72內，亦即，是否為基於神經網路之框內預測模式，或是否在集合74內，亦即，是否為非基於神經網路之框內預測模式中之一者。編碼器因此將旗標70a插入至資料串流12中，而解碼器自其擷取旗標。圖7a假設經判定框內預測模式92在集合72內。單獨的神經網路84接著判定用於集合72之每一基於神經網路之框內預測模式的機率值且使用此等機率值集合72，或更精確言之，其中之基於神經網路之框內預測模式根據其機率值諸如按其機率值之降序排序，藉此產生框內預測模式之有序清單94。旁側資訊70之一部分之索引70b接著藉由編碼器寫碼至資料串流12中且藉由解碼器自其解碼。因此，解碼器能夠判定集合72及74。在將使用之框內預測模式位於集合72中之狀況下，將用於區塊18之框內預測模式以集合72之排序96定位且執行集合72之排序96。在經判定框內預測模式位於集合74中之狀況下，索引亦可在資料串流12中傳輸。因此，解碼器能夠使用經判定框內預測模式藉由相應地控制選擇68而生成用於區塊18之預測信號。
圖7b展示替代方案，根據該替代方案旗標70a不存在於資料串流12中。實情為，有序清單94將不僅包含集合72之框內預測模式，且亦包含集合74之框內預測模式。旁側資訊70內之索引將為此較大有序清單之索引且指示經判定框內預測模式，亦即，判定為最佳化90之框內預測模式。在神經網路84僅向72內之基於神經網路之框內預測模式提供機率值之狀況下，集合72之框內預測模式相對於集合74之框內預測模式的排序可藉由其他方式判定，諸如在有序清單94中勢必將集合72之基於神經網路之框內預測模式配置在集合74之模式之前或使其相對於彼此交替地配置。亦即，解碼器能夠自資料串流12導出索引，使用如有序清單94之索引的索引70，其中使用由神經網路84輸出之機率值自多個框內預測模式66導出有序清單94。圖7c展示另一變化形式。圖7c展示不使用旗標70a之狀況，但可替代地使用旗標。圖7c針對之問題係關於編碼器或解碼器均不使用神經網路84之可能性。實際上，排序96藉由其他方式導出，諸如寫碼參數在資料串流12內相對於一或多個相鄰塊18 (亦即，係關於此類一或多個相鄰塊之資料串流12的部分98)傳送。
圖7d展示圖7a之另一變化形式，亦即根據其索引70b使用熵寫碼來寫碼且使用熵解碼自資料串流12解碼(通常使用參考符號100指代)之變化形式。用於熵寫碼100之樣本統計或機率分佈受由如上文所解釋之神經網路84輸出的機率值控制，此使索引70b之熵寫碼非常有效。
對於所有實例7a至7d，集合74模式確實可能不存在。因此，各別模組82可缺少且不論如何旗標70a將為不必要的。
此外，儘管諸圖中未展示，但顯而易見的是，編碼器及解碼器側處之模式選擇68可彼此同步，且甚至無任何顯式發信70，亦即，未花費任何旁側資訊。實際上，選擇可自其他方式導出，諸如藉由勢必獲取有序清單94中之第一者，或藉由基於關於一或多個相鄰塊之寫碼參數導出有序清單94之索引。圖8展示用於設計將用於基於區塊之圖像寫碼之集合72的框內預測模式之集合的設備。該設備108包含可參數化網路109，其繼承或包含神經網路800 至80KB-1 以及神經網路84之可參數化版本。此處，在圖8中，描繪為個別單元，亦即，用於向基於神經網路之框內預測模式0提供機率值之神經網路840 至用於提供與基於神經網路之框內預測模式KB-1 相關聯之機率值之神經網路84KB-1 。用於參數化神經網路84之參數111及用於參數化神經網路800 至80KB-1 之參數113藉由更新器110經輸入或應用於此等神經網路之各別參數輸入。設備108可訪問儲存器或多個圖像測試區塊114連同對應的鄰近樣本集合116。此等區塊114之對及其相關聯鄰近樣品集合116依序供設備108使用。詳言之，當前圖像測試區塊114應用於可參數化神經網路109，使得神經網路80向集合72之每一基於神經網路之框內預測模式提供預測信號118，且每一神經網路80向此等模式中之每一者提供機率值。為此目的，此等神經網路使用其當前參數111及113。
在以上描述中，rec 已經用於指代圖像測試區塊114，且(rec)為用於模式B之預測殘差118且機率值為(rec)為機率值120。對於每一模式0……Kb-1 ，存在由設備108包含之成本估計器122，其基於針對各別模式獲得之預測信號118計算用於各別模式之成本估計。在以上實例中，成本估計器122計算如在章節1.2中之不等式的左手側及右手側上指示之成本估計。亦即，此處，成本估計器122針對每一模式亦使用對應的機率值120。然而，無需如此，如上文已經論述。然而，成本估算在任何狀況下均為二個加法項之總和，其中之一為對經指示為以上不等式中之具有的項的預測殘差之寫碼成本的估計，且另一者為估計用於指示該模式之寫碼成本之另一加法項。為了計算用於與預測殘差有關之寫碼成本之估計，成本估計器122亦獲得當前圖像測試區塊114之原始內容。神經網路80及84在其輸入處向其應用對應的鄰近樣品集合116。如由成本估計器122輸出之成本估計124係由最小成本選擇器126接收，該最小成本選擇器判定最小化或具有與其相關聯之最小成本估計。在以上數學註釋中，此已經為。更新器接收此最佳模式且使用寫碼成本函數，該寫碼成本函數具有取決於針對最低寫碼估計之框內預測模式獲得之預測信號118形成殘差速率估計之第一加法項及取決於針對如由選擇器126指示之最低寫碼成本估計之框內預測模式獲得之預測信號及機率值形成模式發信旁側資訊速率估計的第二加法項。如上文所指示，此可使用漸變距離進行。寫碼成本函數因此可區分且在以上數學表示中，在等式5中給定此函數之實例。此處，關於模式發信旁側資訊速率估計之第二加法項針對最低寫碼成本估計之框內預測模式計算交叉熵。
因此，更新器110尋求更新參數111及113以便縮減寫碼成本函數且接著此等經更新參數111及113供可參數化神經網路109使用以便處理多個圖像測試區塊112中之下一圖像測試區塊。如上文關於章節1.5所論述，可存在一種機構，其控制圖像測試區塊114及其相關聯鄰近樣品集合116之彼等配對主要應用於遞歸更新程序，對於該遞歸更新程序，框內預測在速率失真意義上較佳地進行而無任何區塊細分，藉此避免參數111及113基於圖像測試區塊經過多最佳化，對於圖像測試區塊，不論如何，其子塊之單元中之寫碼更具成本效益。
到目前為止，以上論述之實例主要關注編碼器及解碼器在其所支援之框內預測模式66內具有一組基於神經網路之框內預測模式之狀況。根據關於圖9a及圖9b所論述之實例，此無需必然如此。圖9a力圖根據以下實例輪廓編碼器及解碼器之操作模式：其中其描述以集中於上文關於圖7a提出之描述之差異的方式來提供。多個經支援框內預測模式66可或可不包含基於神經網路之框內預測模式且可或可不包含非基於神經網路之框內預測模式。因此，圖9a中之分別由編碼器及解碼器包含以便為經支援模式66中之每一者提供對應的預測信號之模組170未必為神經網路。如上文所述，此類框內預測模式可基於神經網路或其可經探索性地推動且基於DC框內預測模式或角度框內預測模式或任一其他預測模式計算預測信號。因此，此等模組170可經指代為預測信號電腦。然而，根據圖9a之實例之編碼器及解碼器包含神經網路84。神經網路84基於鄰近樣本集合86計算用於經支援框內預測模式66之機率值，使得多個框內預測模式66可變為有序清單94。用於區塊18之資料串流12內之索引70指向此有序清單94。因此，神經網路84輔助降低將針對框內預測模式發信所花費之旁側資訊速率。
圖9b展示圖9a之替代方案，其中代替排序，使用索引70之熵解碼/編碼100，其中根據針對多個模式66中之每一模式的神經網路84判定之機率值控制熵解碼/編碼之機率或簡單統計，亦即控制編碼器/解碼器中之熵解碼/編碼的熵機率分佈。
圖10展示用於設計或參數化神經網路84之設備。因此，設備108係用於設計輔助在框內預測模式之集合66當中進行選擇之神經網路。此處，對於集合66之每一模式，存在在一起形成神經網路84之對應的神經網路區塊，且設備108之可參數化神經網路109對於此等區塊僅為可參數化的。對於每一模式，亦存在預測信號電腦170，然而，其不需要根據圖10而可參數化。因此，圖10之設備108基於如由對應的預測信號電腦170計算之預測信號118且可選地基於如由對應的神經網路區塊針對此模式判定之對應的機率值而針對每一模式計算成本估計。基於所得成本估計124，最小成本選擇器126選擇最小成本估計之模式且更新器110更新類神經84之參數111。
關於圖7a至圖7d以及圖9a及圖9b之描述注意下文。圖9a及圖9b之實例之亦供圖7a至圖7d之實例中的一些使用的共同特徵為如下事實：神經網路值之機率值用以改良或縮減與旁側資訊70相關聯之額外負荷以用於將在最佳化程序90處關於編碼器側判定之模式用信號通知給解碼器。然而，如上文關於圖7a至圖7d之實例所指示，應清楚的是，圖9a及圖9b之實例可在關於模式選擇未在資料串流12中花費任何旁側資訊70之程度上不同。實際上，由神經網路84針對每一模式輸出之機率值可用於勢必使編碼器與解碼器之間的模式選擇同步。在彼狀況下，在編碼器側處關於模式選擇將不存在最佳化決策90。實際上，將在集合66當中使用之模式將關於編碼器及解碼器側以相同方式判定。關於圖7a至圖7d之對應實例的類似陳述在變化時為真實的以免使用資料串流12中之任何旁側資訊70。返回至圖9a及圖9b之實例，然而，有趣的是，雖然解碼器側處之選擇程序68取決於由神經網路輸出之機率值，因為就編碼器而言，對於機率值之排序或機率分佈估計依賴性使旁側資訊之解釋變化，但對機率值之依賴性可不僅使用例如有序清單之索引之各別可變長度寫碼或使用熵編碼/解碼及取決於神經網路的機率值之機率分佈估計來影響旁側資訊70寫碼至資料串流12中，且亦影響最佳化步驟90：此處，可考慮用於傳輸旁側資訊70之寫碼速率且可因此，影響判定90。
圖 11 - 1 之實例
圖11-1展示編碼器14-1之可能實施，亦即其中編碼器經組配以使用變換寫碼以用於編碼預測殘差之實施，但此近似實例且本申請案並不限於彼類別之預測殘差寫碼。根據圖11-1，編碼器14-1包含空間域減法器22，其經組配以自入站信號(亦即圖像10)或在區塊基礎上自當前區塊18減去對應的預測信號24-1以便獲得空間域預測殘差信號26，其接著由預測殘差編碼器28編碼成資料串流12。預測殘差編碼器28包含有損編碼級28a及無損編碼級28b。有損編碼級28a接收預測殘差信號26且包含量化器30，該量化器量化預測殘差信號26之樣本。本實例使用預測殘差信號26之變換寫碼且，因此有損編碼級28a包含連接於減法器22與量化器30之間的變換級32以便變換此經頻譜分解之預測殘差27，其中量化器30之量化關於呈現殘差信號26之經變換係數進行。該變換可為DCT、DST、FFT、哈達馬德變換等等。經變換且經變換域量化之預測殘差信號34接著藉由無損編碼級28b進行無損寫碼，該無損編碼級為將經量化預測殘差信號34熵寫碼成資料串流12之熵寫碼器。
編碼器14-1進一步包含連接至量化器30之變換域輸出的變換域預測殘差信號重建級36-1，以便以亦可用在解碼器處之方式自經變換且經量化預測殘差信號34 (在變換域中)重建預測殘差信號，亦即考慮量化器30之寫碼損失。為此目的，預測殘差重建級36-1包含反量化器38-1，其執行量化器30之量化之逆以獲得預測殘差信號34之經反量化版本39-1，接著包含反變換器40-1，其相對於由變換器32執行之變換執行反變換，諸如頻譜分解之逆，諸如以上提及之具體變換實例中之任一者之逆。在反變換器40-1下游，吾等具有空間域輸出60，其可包含將幫助獲得預測信號24-1之範本。詳言之，預測器44-1可提供變換域輸出45-1，其一旦在反變換器51-1處經反變換將在空間域中提供預測信號24-1 (預測信號24-1將自入站信號10減去以獲得時域中之預測殘差26)。亦有可能在框間模式中環路內濾波器46-1，其對經重建圖像60進行完全濾波，該經重建圖像在經濾波之後關於經框間預測區塊形成用於預測器44-1之參考圖像47-1 (因此，在此等狀況下，來自元件44-1及36-1之加法器57-1輸入係必要的，但如由虛線53-1指示，無需反變換器51-1將預測信號24-1提供至減法器22)。
然而，與圖2之編碼器14不同，編碼器14-1 (在預測殘差重建級36-1處)包含變換域加法器42-1，其定位於反量化器38-1與反變換器40-1之間。變換域加法器42-1向反變換器40-1提供預測殘差信號34 (如由反量化器38-1提供)之經反量化版本39-1與如由變換預測器44-1提供之變換域預測信號45-1的總和43-1 (在變換域中)。預測器44-1可自反變換器40-1獲得作為回饋輸入之輸出。
因此，空間域中之預測信號24-1係在變換域中由預測信號45-1獲得。又，可根據以上實例與神經網路一起操作之變換域預測器44-1係在空間域中由信號輸入但在變換域中輸出信號。
圖 11 - 2 之實例
圖11-2展示解碼器54-2之可能實施，亦即適合編碼器14-1之實施之實施。因為編碼器54-2之許多元件與圖11-1之對應的編碼器中出現的元件相同，所以圖11-2中使用帶有「-2」之相同參考符號以便指示此等元件。詳言之，加法器42-2、任選的環路內濾波器46-2及預測器44-2以與圖11-1之編碼器相同的方式連接至預測環路中。經重建，亦即經反量化及經再變換預測殘差信號24-2 (例如60)藉由以下各者之序列導出：熵解碼器56，其反向轉換熵編碼器28b之熵編碼；接著是殘差信號重建級36-2，其由反量化器38-2及反變換器40-2構成，正好與編碼側之狀況相同。解碼器之輸出為圖像10之重建。某一後置濾波器46-2可配置在解碼器的輸出處以便使圖像10之重建進行後置濾波以便改良圖像品質。再次，上面關於圖11-1提出之描述對於圖11-2亦應有效，除了僅編碼器執行最佳化任務及關於寫碼選項之相關聯決策之外。然而，關於區塊細分、預測、反量化及再變換的所有描述對於圖11-2之解碼器54亦有效。經重建信號24-2經提供至預測器44-2，其可根據圖5至圖10之實例與神經網路一起操作。預測器44-2可提供變換域預測值45-2。
與圖4中之實例相反，但類似於圖11-1之實例，反量化器38-2提供預測殘差信號34之經反量化版本39-2 (在變換域中)，其並非直接提供至反變換器40-2。反而，預測殘差信號34之經反量化版本39-2輸入至加法器42-2，以便與變換域預測值45-2組合。因此，獲得經變換域重建信號43-2，其在隨後由反變換器40-2進行反變換時變為待用於顯示影像10之空間域中的經重建信號24-2。
圖 12 之實例
現參看圖12。解碼器及編碼器同時，亦即就其關於經框內預測區塊18中功能性而言。關於經框內寫碼區塊18之編碼器操作模式與解碼器操作模式之間的差異一方面在於以下事實：編碼器執行可用的框內預測模式66中之所有或至少一些以便在90處就例如某一成本函數最小化含義而言判定最佳的框內預測模式，且編碼器形成資料串流12，亦即將日期寫碼至其中，而解碼器分別藉由解碼及讀取而自其導出資料。圖12展示用於上文所概述之替代方案之操作模式，根據該等操作模式，用於區塊18之旁側資訊70內之旗標70a指示將在步驟90中由編碼器判定為區塊18之最佳模式的框內預測模式是否在集合72內，亦即，是否為基於神經網路之框內預測模式，或是否在集合74內，亦即，是否為非基於神經網路之框內預測模式中之一者。編碼器因此將旗標70a插入至資料串流12中，而解碼器自其擷取旗標。圖12假設經判定框內預測模式92在集合72內。單獨的神經網路84接著判定用於集合72之每一基於神經網路之框內預測模式的機率值且使用此等機率值集合72，或更精確言之，其中之基於神經網路之框內預測模式根據其機率值諸如按其機率值之降序排序，藉此產生框內預測模式之有序清單94。旁側資訊70之一部分之索引70b接著藉由編碼器寫碼至資料串流12中且藉由解碼器自其解碼。因此，解碼器能夠判定集合72及74。在將使用之框內預測模式位於集合72中之狀況下，將用於區塊18之框內預測模式以集合72之排序96定位且執行集合72之排序96。在經判定框內預測模式位於集合74中之狀況下，索引亦可在資料串流12中傳輸。因此，解碼器能夠使用經判定框內預測模式藉由相應地控制選擇68而生成用於區塊18之預測信號。
如自圖12可見，預測殘差信號34 (在變換域中)在資料串流12中編碼。反量化器38-1、38-2導出經變換域反量化預測殘差信號39-1、39-2。變換域預測信號45-1、45-2自預測器44-1、44-2獲得。接著，加法器42-1將值39-1及45-1彼此求和(或加法器42-2將值39-2及45-2求和)以獲得經變換域重建信號43-1 (或43-2)。在反變換器40-1及40-2下游，空間域預測信號24-1、24-2 (例如範本60)經獲得且可用於重建區塊18 (其可例如經顯示)。
圖7b至圖7d之所有變化形式可用於體現圖11-1、圖11-2及圖12之實例。
論述
定義用以經由神經網路生成框內預測信號之方法且描述此方法將如何包括在視訊或靜止影像編解碼器中。在此等實例中，代替預測空間域，預測器44-1、44-2可針對預定義影像變換(例如離散餘弦變換)預測變換域，該預定義影像變換可能已經可用在基礎編解碼器處。其次，針對具有具體形狀之區塊上的影像定義之框內預測模式中之每一者誘發用於更大區塊上之影像之框內預測模式。
使B為具有M列及N行之像素的區塊，在該區塊上存在影像。假設存在B (區塊18)之鄰域Brec (範本60或86)，該B上之已經重建影像rec可用。接著在圖5至圖10之實例中，引入由神經網路定義之新的框內預測模式。此等框內預測模式中之每一者使用經重建樣本rec (24-1，24-2)生成預測信號pred (45-1，45-2)，其再次為Brec 上之影像。
使T 為關於B rec 上之影像定義的影像變換(例如如由元件30輸出之預測殘差信號34)且使S 為T 之反變換(例如在43-1或43-2處)。接著預測信號pred (45-1，45-2)將被視為T (im)之預測。此意謂在重建級處，在計算pred (45-1，45-2)之後，必須計算影像S (pred) (24-1，24-2)以獲得用於影像im (10)之實際預測。
已經注意到，吾等使用的變換T 在自然影像上具有一些能量壓縮特性。此可以按以下方式來利用。對於由神經網路定義之吾等的框內模式中之每一者，藉由預定義規則，變換域中之具體位置處之pred (45-1，45-2)之值獨立於輸入rec (24-1，24-2)經設定為零。此降低了在變換域中獲得預測信號pred (45-1，45-2)之計算複雜度。
( 參看圖 5 至圖 10 ，假設變換 T ( 在 32 處 ) 及反變換 S ( 在 40 處 ) 用於基礎編解碼器之變換殘差寫碼。 為了獲得B 上之重建信號(24 ，24 ') ， 預測殘差 res (34) 將藉由反變換S ( 在40 處) 經反變換 以獲得S(res) 且 S(res) 將經 添加至基礎預測信號(24) 從而獲得最終重建信號(24) 。
相比之下，圖11及圖12提及以下程序：在預測信號pred (45-1，45-2)藉由如上所述之神經網路框內預測方法生成之狀況下，最終重建信號(24-1，24-2)藉由pred+res之反變換(在40-1、40-2處)獲得(其中pred為45-1或45-2；且res為39-1或39-2，且其總和為43-1或43-2，此為最終重建信號24-1、24-2之變換域版本)。
吾等最終注意到由如上所述之神經網路執行之框內預測之以上修改為任選的且不一定彼此相關。此意謂對於給定變換T (在32處)及反變換S (在40-1、40-2處)且對於由如上所述之神經網路定義之框內預測模式中的一者，可自位元串流或自預定義設定獲取該模式是否被視為預測對應於T 之變換域。
圖 13a 及圖 13b
參看圖13a及圖13b，展示可應用於例如基於空間域之方法(例如圖11a及圖11b)及/或基於變換域之方法(例如圖1至圖4)的策略。
在一些狀況下，在處置時存在適於具有特定大小(例如M×N，其中M為列數且N為行數)之區塊的神經網路，而將重建之影像之真實區塊18具有不同大小(例如M1 ×N1 )。已經注意到，有可能執行准許利用適於特定大小(例如M×N)之神經網路而不一定使用經特別訓練之神經網路的操作。
詳言之，設備14或54可准許逐區塊解碼來自資料串流(例如12)之圖像(例如10)。設備14、54本身支援至少一個框內預測模式，根據該框內預測模式，用於圖像之具有預定大小(例如M×N)之區塊(例如136，172)的框內預測信號藉由將鄰近當前區塊(例如136、176)之樣本的第一範本(例如130，170)應用至神經網路(例如80)上來判定。該設備可針對不同於預定大小(例如M1 ×N1 )之當前區塊(例如18)經組配以：
- 重新取樣(例如D，134，166)鄰近當前區塊(例如18)之樣本之第二範本(例如60)，以便與第一範本(例如130、170)一致，從而獲得經重新取樣之範本(例如130、170)，
- 將樣本之經重新取樣之範本(例如130，170)應用至神經網路(例如80)上以便獲得初步框內預測信號(例如138)，及
- 重新取樣(例如U，V，182)初步框內預測信號(138)以便與當前區塊(18，B1 )一致從而獲得該當前區塊之框內預測信號。
圖13a展示空間域中之實例。空間域區塊18 (亦指示為B1 )可為M1 ×N1 區塊，對於該M1 ×N1 區塊，影像im1 將經重建(即使此時影像im1 仍不可用)。應注意，範本B1,rec ((例如集合60)具有已經重建之影像rec1 ，其中rec1 與im1 相鄰(且B1,rec 與B1 相鄰)。區塊18及範本60 (「第二範本」)可形成元件132。
有可能由於B1 之尺寸在處置時不存在用於重建B1 之神經網路。然而，在針對具有不同尺寸之區塊(例如「第一範本」)處置神經網路狀況下，可實施以下程序。
變換操作(此處經指示為D或134)可例如應用於元件130。然而，已經注意到，由於B1 仍未知，僅有可能將變換D (130)應用於B1,rec 一個。變換130可提供元件136，其由經變換(經重新取樣之)範本130及區塊138形成。
舉例而言，M1 ×N1 區塊 B1 (18) (具有未知係數)可理論上變換成M×N區塊B (138) (具有仍未知的係數)。然而，因為區塊B (138)之係數為未知的，所以實際上執行變換沒有實際的必要性。
類似地，變換D (134)將範本B1,rec (60)變換成具有不同尺寸之不同範本Brec (130)。範本130可為L形，其具有豎直厚度L (亦即，豎直部分中之L行)及水平厚度K (亦即，水平部分中之K列)，其中Brec =D(B1,rec )。可理解，範本130可包含：
- Brec (130)上之K×N區塊；
- Brec (130)左側之M×L區塊；及
- Brec (130)上K×N區塊左側且Brec (130)左側之M×L區塊上的K×L區塊。
在一些狀況下，變換操作D (134)可為減少取樣操作，其中M1 >M且N1 >N (且尤其其中M為M1 的倍數且N為N1 的倍數)。舉例而言，在M1 =2M且N1 =2N之狀況下，變換操作D可僅基於以類似棋之方式隱藏一些區間(例如藉由刪除來自B1,rec 60之對角線，以獲得Brec 130之值)。
此時，Brec (其中Brec = D(rec1 ))為M×N中之經重建影像。在通道138a處，設備14、54現可使用(例如在預測器44、44'處)針對M×N區塊在本地訓練之必要神經網路(例如藉由如圖5至圖10中一樣操作)。藉由應用上文所論述之通道(138a)，會獲得用於區塊B之影像im1 。(在一些實例中，通道138a不使用神經網路，但使用所屬領域中已知的其他技術)。
此時，區塊B (138)中之影像im1 具有大小M×N，同時請求將顯示之影像具有大小M1 ×N1 。然而，已經注意到，僅有可能執行變換(例如U) 140，其將區塊B (138)中之影像im1 輸送至M1 ×N1 中。
在134處執行之D為減少取樣操作之情況下，已經注意到，140處之U可為增加取樣操作。因此，除運用神經網路在操作138a處獲得之M×N區塊138中的係數之外，U (140)亦可藉由引入M1 ×N1 區塊中之係數來獲得。
舉例而言，在M1 =2M且N1 =2N之狀況下，僅有可能執行內插(例如雙線性內插)，以便近似(「猜測」)已藉由變換D捨棄之im1 的係數。因此獲得M1 ×N1 影像im1 作為元素142，且該影像可用於顯示作為影像10之部分的區塊影像。
值得注意的是，理論上亦有可能獲得區塊144，該區塊仍與範本60相同(除歸因於變換D及U之錯誤之外)。因此，有利地，沒有必要變換Brec 以用於獲得B1,rec 之新版本，其與範本60一樣已經被處置。
舉例而言，圖13a中所展示之操作可在預測器44或44'處執行。M1 ×N1 影像im1 (142)可因此理解為預測信號24 (圖2)或24' (圖4)與由反變換器40或40'輸出之預測殘差信號求和以用於獲得經重建信號。
圖13b展示變換域中之實例(例如在圖11-1、圖11-2之實例中)。元件162經表示為由空間域範本60 (已經解碼)及空間域區塊18 (具有未知係數)形成。區塊18可具有大小M1 ×N1 且可具有未知係數，該等未知係數將例如在預測器44-1或44-2處判定。
可能當針對經判定M×N大小處置神經網路時，不存在與變換域中之M1 ×N1 區塊一起直接操作的神經網路。
然而，已經注意到，有可能在預測器44-1、44-2處使用應用於範本60 (「第二範本」)之變換D (166)以獲得具有不同尺寸(例如縮減之尺寸)的空間域範本170。範本170 (「第一範本」)可具有L形形狀，例如，範本130之形狀(參見上文)。
此時，在通道170a處，神經網路(例如800 -80N )可根據以上實例中之任一者來應用(參見圖5至圖10)。因此，在通道170a之末端處，可獲得用於區塊18之版本172的已知係數。
然而，應注意，172之尺寸M×N不適合必須可視化之區塊18的尺寸M1 ×N1 。因此，可變換(例如在180處)成變換域。舉例而言，可獲得M×N變換域區塊T (176)。為了分別增加M1 及N1 之列數及行數，可使用已知為墊零之技術，例如，藉由對應於與M×N變換T(176)中不存在之頻率相關聯之頻率值引入值「0」。因此可使用墊零區域178 (其例如可具有L形狀)。值得注意的是，墊零區域178包含多個區間(均為零)，其經插入至區塊176以獲得區塊182。此可運用自T (自172變換)至T1 (182)之變換而獲得。雖然T (176)之尺寸與區塊18之尺寸不一致，但T1 (182)之尺寸藉助於插入墊零區域178而實際上與區塊18之尺寸一致。此外，墊零藉由插入更高頻率區間(其具有零值)而獲得，墊零與內插具有類似結果。
因此，在加法器42-1、42-2處有可能添加變換T1 (182)，其為45-1、45-2之版本。隨後，可執行反變換T-1 以獲得將用於視覺化圖像10之空間域中之經重建值60。
編碼器可在資料串流12中編碼關於重新取樣(及使用用於與區塊18具有不同大小之區塊之神經網路)之資訊，使得解碼器具有其知識。
論述
使B 1 (例如，18)為具有M 1 列及N 1 行之區塊且假設M 1 ≥M 且 N 1 ≥N 。使B 1 , rec為B 1 (例如鄰近於B 1 之範本60)的鄰域且假設區B rec (例如，130)被視為B 1 , rec 之子集。使im1 (例如138)為B 1 上之影像且使rec1 (例如B1,rec 上之係數)為B 1, rec 上已經重建之影像。以上解決方案係基於預定義的減少取樣操作D (例如134、166)，其將B 1 , rec上之影像映射至B 1 上之影像。舉例而言，若M 1 = 2M ,N 1 = 2N ，若B rec 由B 上方之K 列及B 左側之L 行以及B 之左上側的具有大小K ×L 之拐角組成，並且若B 1 , rec由B 1 上方之2K列及B左側之2L行以及B 1 之左上側之具有大小2K ×2L 之拐角組成，則D 可為應用平滑濾波器之操作，接著為在每一方向上之因數二減少取樣操作。因此，D (rec1 )可被視為B rec 上之經重建影像。在使用如上所述之吾等的基於神經網路之框內預測模式之情況下，吾等可自D (rec1 )形成預測信號pred (45-1)，其為B 上之影像。
現在吾等區分二種狀況：第一，吾等假設在B 上吾等的基於神經網路框內預測預測樣本(空間)域，如在圖2、圖4及圖13a中。使U (140)為固定的增加取樣濾波器，其將B (例如138)上之影像映射至B 1 (例如142)上之影像。舉例而言，若M 1 = 2M 且N 1 = 2N ，則U可為雙線性內插操作。接著吾等可形成U (pred)以獲得吾等視為用於im1 (例如10)之預測信號的B 1 (例如，45-1)上之影像。
第二，吾等假設如在圖11-1、圖11-2及圖13b中，在B 上，預測信號pred (例如45-2)將相對於具有B 上之反變換S 之影像變換T 被視為變換域中之預測信號。使T 1 為B 1 上之具有反變換S 1 之影像變換。假設給定預定義映射V ，其將來自變換域T 之影像映射至變換域T 1 。若例如T 為M ×N 區塊上之具有反變換S之離散餘弦變換且T 1 為M 1 ×N 1 上之具有反變換S 1 之離散餘弦變換，則B 上之變換係數的區塊可藉由墊零及按比例調整經映射至B 1 上之變換係數的區塊(參見例如178)。此意謂若頻率空間中之位置大於水平或豎直方向上之M 或N ，則吾人將B 1 上之所有變換係數設定為零，且吾人將B 上之經適當按比例調整之變換係數複製至B 1 上之剩餘的M *N 變換係數。接著吾等可形成V (pred)以獲得用於T 1 之變換域的元素，其將被視為用於T 1 之預測信號(im1 )。信號V (pred)現在可如上文所描述經進一步處理。
如上文關於圖1至圖10所解釋，吾等亦描述基於神經網路之操作如何可用於藉由在此等模式當中生成條件機率分佈而對給定區塊B 上之若干框內預測模式排序及此排序如何可用於用信號通知當前區塊處將應用哪一框內預測模式。在以與實際預測模式相同之方式生成後一排序之神經網路的輸入上使用減少取樣操作(例如166)產生用於預測模式擴展至剛剛描述之更大區塊B 1 之排序且可因此用於用信號通知區塊B 1 上將使用哪一擴展模式。在給定區塊B 1 上來自更小區塊B 之基於神經網路之框內預測模式是否將用於生成預測信號可經預定義或可作為基礎視訊編解碼器中之旁側資訊用信號通知。
其他實例
一般而言，如上所述之解碼器可為及/或包含如上所述之編碼器或反之亦然。舉例而言，編碼器14可為或包含解碼器54 (或反之亦然)；編碼器14-1可為解碼器54-2 (或反之亦然)等等。此外，編碼器14或14-1亦可理解為自身含有解碼器，因為經量化預測殘差信號34形成串流，該串流經解碼以獲得預測信號24或24-1。
儘管已在設備之上下文中描述一些態樣，但顯而易見的是，此等態樣亦表示對應方法之描述，其中區塊或裝置對應於方法步驟或方法步驟之特徵。類似地，方法步驟之上下文中所描述的態樣亦表示對應區塊或項目或對應設備之特徵的描述。可由(或使用)硬體設備(比如微處理器、可程式化電腦或電子電路)執行方法步驟中之一些或全部。在一些實例中，可由此類設備執行最重要之方法步驟中之一或多者。
本發明之經編碼資料串流可儲存於數位儲存媒體上或可在諸如無線傳輸媒體或有線傳輸媒體(諸如，網際網路)的傳輸媒體上傳輸。
取決於某些實施要求，本發明之實例可在硬體或軟體中實施。實施可使用數位儲存媒體來執行，該媒體例如軟性磁碟、DVD、Blu-Ray、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體，該媒體上儲存有電子可讀控制信號，該等電子可讀控制信號與可程式化電腦系統協作(或能夠協作)，使得執行各別方法。因此，數位儲存媒體可為電腦可讀的。
根據本發明之一些實例包含具有電子可讀控制信號之資料載體，其能夠與可程式化電腦系統協作，使得執行本文中所描述方法中之一者。
通常，本發明之實例可實施為具有程式碼之電腦程式產品，當電腦程式產品在電腦上執行時，程式碼操作性地用於執行該等方法中之一者。程式碼可例如儲存於機器可讀載體上。
其他實例包含用於執行本文中所描述之方法中之一者、儲存於機器可讀載體上的電腦程式。
換言之，本發明方法之實例因此為電腦程式，其具有用於在電腦程式於電腦上執行時執行本文中所描述之方法中之一者的程式碼。
因此，本發明方法之另一實例為資料載體(或數位儲存媒體或電腦可讀媒體)，其包含在其上記錄之用於執行本文中所描述方法中之一者的電腦程式。資料載體、數位儲存媒體或記錄媒體通常係有形的及/或非暫時性的。
因此，本發明方法之另一實例為表示用於執行本文中所描述之方法中之一者的電腦程式之資料串流或信號之序列。資料串流或信號序列可(例如)經組配以經由資料通訊連接(例如，經由網際網路)而傳送。
另一實例包含經組配以或經調適以執行本文中所描述之方法中之一者的處理構件，例如電腦或可規劃邏輯裝置。
另一實例包含電腦，該電腦具有安裝於其上的用於執行本文中所描述之方法中之一者的電腦程式。
根據本發明之另一實例包含經組配以(例如，電子地或光學地)傳送用於執行本文中所描述之方法中之一者的電腦程式至接收器的設備或系統。舉例而言，接收器可為電腦、行動裝置、記憶體裝置等等。該設備或系統可(例如)包含用於傳送電腦程式至接收器之檔案伺服器。
在一些實例中，可規劃邏輯裝置(例如，場可規劃閘陣列)可用以執行本文中所描述之方法的功能性中之一些或全部。在一些實例中，場可規劃閘陣列可與微處理器協作，以便執行本文中所描述之方法中之一者。通常，較佳由任何硬體設備來執行該等方法。
本文中所描述之設備可使用硬體設備或使用電腦或使用硬體設備與電腦之組合來實施。
本文中所描述之設備或本文中所描述之設備的任何組件可至少部分地以硬體及/或以軟體來實施。
本文中所描述之方法可使用硬體設備或使用電腦或使用硬體設備與電腦之組合來執行。
本文中所描述之方法或本文中所描述之設備的任何組件可至少部分地由硬體及/或軟體執行。
上文所描述之實例僅僅說明本發明之原理。應理解，對本文中所描述之配置及細節的修改及變化將對熟習此項技術者顯而易見。因此，其意欲由接下來之申請專利範圍之範疇限制，而非由藉助於本文中實例之描述及解釋所呈現的特定細節限制。
10‧‧‧圖像/入站信號
12‧‧‧資料串流
14‧‧‧設備/編碼器
14-1‧‧‧編碼器
16‧‧‧視訊
18、82、136、144、172、176、182‧‧‧區塊
20‧‧‧寫碼次序
22‧‧‧減法器
24、24-1、118‧‧‧預測信號
24-2‧‧‧預測殘差信號
24'‧‧‧重建信號
26、34‧‧‧預測殘差信號
27‧‧‧此經頻譜分解之預測殘差
28‧‧‧預測殘差編碼器
28a‧‧‧有損編碼級
28b‧‧‧無損編碼級
30‧‧‧量化器
32‧‧‧變換級
36‧‧‧預測殘差信號重建級
36-1‧‧‧變換域預測殘差信號重建級
36-2、36'‧‧‧殘差信號重建級
38、38-1、38-2、38'‧‧‧反量化器
39-1、39-2‧‧‧經反量化版本
40、40-1、40-2、40'、51-1‧‧‧反變換器
42、42'、42-2、57-1‧‧‧加法器
42-1‧‧‧變換域加法器
43-1‧‧‧總和
43-2‧‧‧經變換域重建信號
44、44-1、44-2、44'‧‧‧預測器
45-1‧‧‧變換域輸出/變換域預測信號
45-2‧‧‧變換域預測值
46、46-1、46-2、46'‧‧‧環路內濾波器
47-1‧‧‧參考圖像
53-1‧‧‧虛線
54、54-2‧‧‧解碼器
56‧‧‧熵解碼器
60‧‧‧經重建圖像/範本
62、64‧‧‧樣本
66‧‧‧多個框內預測模式
68‧‧‧選擇程序
70‧‧‧旁側資訊/索引
70a‧‧‧旗標
70b‧‧‧索引
71‧‧‧框內預測
72、74‧‧‧集合
76、98‧‧‧部分
80、800、80KB-1 、84、840、84KB-1‧‧‧神經網路
86‧‧‧範本
90‧‧‧最佳化程序
92‧‧‧經判定框內預測模式
94‧‧‧有序清單
96‧‧‧排序
100‧‧‧熵寫碼
108‧‧‧設備
109‧‧‧可參數化神經網路
110‧‧‧更新器
111、113‧‧‧參數
112、114‧‧‧多個圖像測試區塊
116‧‧‧鄰近樣本集合
120‧‧‧機率值
122‧‧‧成本估計器
124‧‧‧成本估計
126‧‧‧最小成本選擇器
130‧‧‧區塊/元件
132、162‧‧‧元件
134‧‧‧變換操作/減少取樣操作
138‧‧‧初步框內預測信號
138a‧‧‧通道
140‧‧‧變換
142‧‧‧元素
156‧‧‧殘差提供器
166‧‧‧減少取樣操作
170‧‧‧模組/預測信號電腦
178‧‧‧墊零區域
就以上提及之神經網路之設計而言，本申請案提供用於適當地判定其參數之許多實例。
本申請案之有利實施為附屬請求項之標的。以下關於諸圖描述本申請案中較佳實例，其中：
圖1展示作為一般實例說明用於將圖像編碼成資料串流之編碼器之示意性方塊圖，在該編碼器中可實施本申請案之實例；
圖2展示根據圖1之編碼器之更特定實例的方塊圖；
圖3展示一示意性方塊圖，其說明適合圖1之編碼器且充當可其中可實施本申請案之實例的解碼器之實例之解碼器；
圖4展示圖3之解碼器之更特定實例的方塊圖，該解碼器適合圖2之編碼器；
圖5展示一示意圖，其說明根據本申請案之實例之編碼器及解碼器關於使用框內預測處理區塊之操作模式；
圖6展示一示意性方塊圖，其說明包含基於若干神經網路之框內預測模式的根據本申請案之實例之解碼器；
圖7a展示一示意圖，其說明根據實例之編碼器及解碼器之操作模式，該操作模式支援此等模式之基於神經網路之框內預測模式及基於神經網路之排序，其中在資料串流內將索引連同指示待使用之框內預測模式是否為基於神經網路之框內預測模式之集合的成員的標記傳輸至基於神經網路之框內預測的有序清單中。毋庸置疑，該索引可使用可變長度寫碼來寫碼以便利用藉由判定90判定之不同頻率；
圖7b展示一示意圖，其與圖7a之不同之處在於未使用該標記；
圖7c展示一示意圖，其與圖7b之不同之處在於未使用神經網路控制模式排序；
圖7d展示一示意圖，其與圖7a之不同之處在於模式發信中之神經網路輔助用於控制熵編碼/解碼之機率分佈估計而非用於模式排序；
圖8展示根據實例之用於設計一組基於神經網路之框內預測模式的設備；
圖9a展示說明根據實例之編碼器及解碼器之操作模式的示意圖，根據該示意圖，神經網路係用於支援排序之框內預測模式，而無關於是否基於神經網路；
圖9b展示一示意圖，其與圖9a之不同之處在於神經網路基礎係用於控制將索引熵解碼/編碼成該組經支援框內預測模式之機率分佈估計；
圖10展示根據實例之用於設計神經網路之設備，該神經網路用於輔助用於基於區塊之圖像寫碼之一組框內預測模式及在該組框內預測模式當中進行選擇；
圖11-1展示根據一實例之編碼器；
圖11-2展示根據一實例之解碼器；
圖12展示說明根據一實例之編碼器及解碼器之操作模式的示意圖；
圖13a及圖13b展示根據實例之技術之示意圖。

Claims (39)

  1. 一種用於自一資料串流逐區塊解碼一圖像的設備，該設備支援至少一個框內預測模式，根據該至少一個框內預測模式，用於該圖像之具有一預定大小的一區塊之框內預測信號藉由將鄰近當前區塊之樣本之一第一範本應用至一神經網路上而加以判定，其中該設備針對不同於該預定大小之一當前區塊經組配以： 重新取樣鄰近該當前區塊之樣本之一第二範本，以便與該第一範本一致，從而獲得一經重新取樣之範本； 將樣本之該經重新取樣之範本應用至該神經網路上，以便獲得一初步框內預測信號；及 重新取樣該初步框內預測信號，以便與該當前區塊一致，從而獲得用於該當前區塊之該框內預測信號。
  2. 如請求項1之設備，其經組配以藉由對該第二範本減少取樣而重新取樣以獲得該第一範本。
  3. 如請求項1或2之設備，其經組配以藉由對該初步框內預測信號增加取樣而重新取樣該初步框內預測信號。
  4. 如前述請求項中任一項之設備，其經組配以： 將該初步框內預測信號自一空間域變換至一變換域中；及 重新取樣該變換域中之該初步框內預測信號。
  5. 如請求項4之設備，其經組配以： 藉由按比例調整該初步框內預測信號之數個係數而重新取樣該變換域初步框內預測信號。
  6. 如請求項4或5之設備，其經組配以： 藉由以下操作重新取樣該變換域初步框內預測信號： 增加該框內預測信號之尺寸，以與該當前區塊之尺寸一致；及 對該初步框內預測信號之數個經添加係數中之數個係數墊零，該等經添加係數與數個更高頻率區間相關。
  7. 如請求項4至6中任一項之設備，其經組配以： 將該變換域初步框內預測信號與一預測殘差信號之一經反量化版本組合。
  8. 如前述請求項中任一項之設備，其經組配以： 重新取樣該空間域中之該初步框內預測信號。
  9. 如請求項8之設備，其經組配以： 藉由執行一雙線性內插而重新取樣該初步框內預測信號。
  10. 如前述請求項中任一項之設備，其經進一步組配以： 在一資料欄位中編碼關於該重新取樣及/或用於不同尺寸之神經網路之使用的資訊。
  11. 如前述請求項中任一項之設備，該設備支援至少一個框內預測模式，根據該至少一個框內預測模式，用於該圖像之一當前區塊之該框內預測信號藉由以下操作加以判定： 將該當前區塊之數個相鄰樣本之一第一集合應用至一神經網路上，以獲得該當前區塊之一變換之一組變換係數的一預測。
  12. 一種用於自一資料串流逐區塊解碼一圖像之設備，該設備支援至少一個框內預測模式，根據該至少一個框內預測模式，用於該圖像之一當前區塊之該框內預測信號藉由以下操作加以判定： 將該當前區塊之數個相鄰樣本之一第一集合應用至一神經網路上，以獲得該當前區塊之一變換之一組變換係數的一預測。
  13. 如請求項12之設備，其經進一步組配為如請求項1至11中任一項之設備。
  14. 如前述請求項中任一項之設備，其經組配以： 反向變換該預測，以獲得一經重建信號。
  15. 如前述請求項中任一項之設備，其經組配以： 使用一可變長度碼自該資料串流解碼一索引；及 使用該索引執行選擇。
  16. 如前述請求項中任一項之設備，其經組配以： 判定框內預測模式之集合之一排序；及隨後， 重新取樣該第二範本。
  17. 一種用於將一圖像逐區塊編碼成一資料串流之設備，該設備支援至少一個框內預測模式，根據該至少一個框內預測模式，用於該圖像之具有一預定大小的一區塊之框內預測信號藉由將鄰近當前區塊之樣本之一第一範本應用至一神經網路上而加以判定，其中該設備針對不同於該預定大小之一當前區塊經組配以： 重新取樣鄰近該當前區塊之樣本之一第二範本，以便與該第一範本一致，從而獲得一經重新取樣之範本； 將樣本之該經重新取樣之範本應用至該神經網路上，以便獲得一初步框內預測信號；及 重新取樣該初步框內預測信號，以便與該當前區塊一致，從而獲得用於該當前區塊之該框內預測信號。
  18. 如請求項17之設備，其經組配以藉由對該第二範本減少取樣而重新取樣，以獲得該第一範本。
  19. 如請求項17或18之設備，其經組配以藉由對該初步框內預測信號增加取樣而重新取樣該初步框內預測信號。
  20. 如請求項17至19中任一項之設備，其經組配以： 將該初步框內預測信號自一空間域變換至一變換域中；及 重新取樣該變換域中之該初步框內預測信號。
  21. 如請求項20之設備，其經組配以： 藉由按比例調整該初步框內預測信號之數個係數而重新取樣該變換域初步框內預測信號。
  22. 如請求項20或21之設備，其經組配以： 藉由以下操作重新取樣該變換域初步框內預測信號： 增加該框內預測信號之尺寸，以與該當前區塊之尺寸一致；及 對該初步框內預測信號之數個經添加係數中之數個係數墊零，該等經添加係數與數個更高頻率區間相關。
  23. 如請求項20至22中任一項之設備，其經組配以： 將該變換域初步框內預測信號與一預測殘差信號之一經反量化版本組合。
  24. 如請求項17至23中任一項之設備，其經組配以： 重新取樣該空間域中之該初步框內預測信號。
  25. 如請求項24之設備，其經組配以： 藉由執行一雙線性內插而重新取樣該初步框內預測信號。
  26. 如請求項17至23中任一項之設備，其經進一步組配以： 在一資料欄位中編碼關於該重新取樣及/或用於不同尺寸之神經網路之使用的資訊。
  27. 如請求項17至26中任一項之設備，該設備支援至少一個框內預測模式，根據該至少一個框內預測模式，用於該圖像之一當前區塊之該框內預測信號藉由以下操作來判定： 將該當前區塊之數個相鄰樣本之一第一集合應用至一神經網路上，以獲得該當前區塊之一變換之一組變換係數的一預測。
  28. 一種用於自一資料串流逐區塊解碼一圖像及/或用於將一圖像逐區塊編碼成一資料串流之設備，該設備支援至少一個框內預測模式，根據該至少一個框內預測模式，用於該圖像之一當前區塊之該框內預測信號藉由以下操作加以判定： 將該當前區塊之數個相鄰樣本之一第一集合應用至一神經網路上，以獲得該當前區塊之一變換之一組變換係數的一預測。
  29. 如請求項28之設備，其經進一步組配為如請求項17至28中任一項之設備。
  30. 如請求項17至29中任一項之設備，其經組配以： 反向變換該預測，以獲得一經重建信號。
  31. 如請求項17至30中任一項之設備，其經組配以： 使用一可變長度碼自該資料串流解碼一索引；及 使用該索引執行選擇。
  32. 如請求項17至31中任一項之設備，其經組配以： 判定框內預測模式之集合之一排序；及隨後， 重新取樣該第二範本。
  33. 一種用於自一資料串流逐區塊解碼一圖像之方法，該方法支援至少一個框內預測模式，根據該至少一個框內預測模式，用於該圖像之具有一預定大小之一區塊的框內預測信號藉由將鄰近當前區塊之樣本之一第一範本應用至一神經網路上而加以判定，該方法包含： 重新取樣鄰近該當前區塊之樣本之一第二範本，以便與一第一範本一致，從而獲得一經重新取樣之範本， 將樣本之該經重新取樣之範本應用至一神經網路上，以便獲得一初步框內預測信號，及 重新取樣該初步框內預測信號，以便與該當前區塊一致，從而獲得用於該當前區塊之該框內預測信號。
  34. 一種用於將一圖像逐區塊編碼成一資料串流之方法，該方法支援至少一個框內預測模式，根據該至少一個框內預測模式，用於該圖像之具有一預定大小之一區塊的框內預測信號藉由將鄰近當前區塊之樣本之一第一範本應用至一神經網路上而加以判定，該方法包含： 重新取樣鄰近該當前區塊之樣本之一第二範本，以便與一第一範本一致，從而獲得一經重新取樣之範本， 將樣本之該經重新取樣之範本應用至一神經網路上，以便獲得一初步框內預測信號，及 重新取樣該初步框內預測信號，以便與該當前區塊一致，從而獲得用於該當前區塊之該框內預測信號。
  35. 一種用於自一資料串流逐區塊解碼一圖像之方法，其包含： 將一當前區塊之數個相鄰樣本之一第一集合應用至一神經網路上，以獲得一當前區塊之一變換之一組變換係數的一預測。
  36. 一種用於將一圖像逐區塊編碼成一資料串流之方法，其包含： 將一當前區塊之數個相鄰樣本之一第一集合應用至一神經網路上，以獲得一當前區塊之一變換之一組變換係數的一預測。
  37. 一種電腦可讀儲存媒體，其包含在由一電腦執行時使該電腦執行如請求項33至36中任一項之方法之指令。
  38. 一種資料串流，其編碼一圖像且係藉由支援至少一個框內預測模式之一方法獲得，根據該至少一個框內預測模式，用於該圖像之具有一預定大小之一區塊的框內預測信號藉由將鄰近當前區塊之樣本之一第一範本應用至一神經網路上而加以判定，該方法包含： 重新取樣鄰近該當前區塊之樣本之一第二範本，以便與一第一範本一致，從而獲得一經重新取樣之範本， 將樣本之該經重新取樣之範本應用至一神經網路上，以便獲得一初步框內預測信號，及 重新取樣該初步框內預測信號，以便與該當前區塊一致，從而獲得用於該當前區塊之該框內預測信號。
  39. 一種資料串流，其編碼一圖像且係藉由一方法獲得，該方法包含： 將一當前區塊之數個相鄰樣本之一第一集合應用至一神經網路上，以獲得一當前區塊之一變換之一組變換係數的一預測。
TW108111307A 2018-03-29 2019-03-29 用於逐區塊圖像寫碼之內預測模式技術 TWI763987B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18165224 2018-03-29
EP18165224.9 2018-03-29

Publications (2)

Publication Number Publication Date
TW201946455A true TW201946455A (zh) 2019-12-01
TWI763987B TWI763987B (zh) 2022-05-11

Family

ID=61868352

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108111307A TWI763987B (zh) 2018-03-29 2019-03-29 用於逐區塊圖像寫碼之內預測模式技術

Country Status (7)

Country Link
US (2) US11601672B2 (zh)
EP (1) EP3777141A1 (zh)
JP (2) JP7217288B2 (zh)
KR (2) KR20230057481A (zh)
CN (1) CN112204963A (zh)
TW (1) TWI763987B (zh)
WO (1) WO2019185808A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3562162A1 (en) * 2018-04-27 2019-10-30 InterDigital VC Holdings, Inc. Method and apparatus for video encoding and decoding based on neural network implementation of cabac
WO2020185022A1 (ko) 2019-03-12 2020-09-17 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2021069688A1 (en) * 2019-10-11 2021-04-15 Interdigital Vc Holdings France, Sas Deep intra predictor generating side information
CN115104301A (zh) * 2020-02-21 2022-09-23 交互数字Vc控股法国公司 用于视频编码或解码的基于神经网络的帧内预测
US11652994B2 (en) 2021-01-19 2023-05-16 Tencent America LLC Neural image compression with adaptive intra-prediction
US11595665B2 (en) * 2021-02-11 2023-02-28 Qualcomm Incorporated Upsampling reference pixels for intra-prediction in video coding
WO2022211657A1 (en) * 2021-04-01 2022-10-06 Huawei Technologies Co., Ltd. Configurable positions for auxiliary information input into a picture data processing neural network
WO2022216051A1 (ko) * 2021-04-08 2022-10-13 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
WO2023165596A1 (en) * 2022-03-03 2023-09-07 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for visual data processing
WO2023200246A1 (ko) * 2022-04-12 2023-10-19 엘지전자 주식회사 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
WO2023200237A1 (ko) * 2022-04-12 2023-10-19 엘지전자 주식회사 기하 분할된 블록에 대한 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
WO2023200243A1 (ko) * 2022-04-12 2023-10-19 엘지전자 주식회사 Mvd 부호 예측에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
WO2024058494A1 (ko) * 2022-09-13 2024-03-21 엘지전자 주식회사 예측 모델의 학습에 기반한 피쳐 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
WO2009028922A2 (en) 2007-09-02 2009-03-05 Lg Electronics Inc. A method and an apparatus for processing a video signal
US9467705B2 (en) * 2009-12-30 2016-10-11 Ariscale Inc. Video encoding apparatus, video decoding apparatus, and video decoding method for performing intra-prediction based on directionality of neighboring block
CN101854551B (zh) * 2010-06-08 2012-08-15 浙江大学 帧内预测模式编解码方法及装置
KR101675707B1 (ko) * 2011-06-23 2016-11-11 가부시키가이샤 제이브이씨 켄우드 화상 인코딩 장치, 화상 인코딩 방법 및 화상 인코딩 프로그램, 및 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램
GB2559062B (en) * 2011-10-17 2018-11-14 Kt Corp Video decoding method using transform method selected from a transform method set
CN105338348B (zh) * 2011-10-24 2018-11-13 英孚布瑞智有限私人贸易公司 用于图像解码的方法和装置
EP4161078A1 (en) * 2011-11-11 2023-04-05 GE Video Compression, LLC Effective wedgelet partition coding using spatial prediction
SG11201703015PA (en) * 2014-10-31 2017-05-30 Mediatek Inc Method of improved directional intra prediction for video coding
EP3310058B1 (en) * 2015-06-12 2023-02-22 Panasonic Intellectual Property Management Co., Ltd. Image coding method, image decoding method, image coding device and image decoding device
KR20180030791A (ko) * 2015-07-20 2018-03-26 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
US10397569B2 (en) * 2016-06-03 2019-08-27 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
US20170374369A1 (en) * 2016-06-24 2017-12-28 Mediatek Inc. Methods and Apparatuses of Decoder Side Intra Mode Derivation
WO2018021585A1 (ko) * 2016-07-26 2018-02-01 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 방법 및 장치
WO2018199051A1 (ja) 2017-04-25 2018-11-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
EP3685585A1 (en) * 2017-09-20 2020-07-29 Vid Scale, Inc. Handling face discontinuities in 360-degree video coding
KR102454936B1 (ko) 2017-10-13 2022-10-17 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 블록 단위의 화상 코딩을 위한 인트라 예측 모드 개념
US11350107B2 (en) * 2017-11-16 2022-05-31 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium storing bitstream

Also Published As

Publication number Publication date
JP2021519542A (ja) 2021-08-10
US20230254508A1 (en) 2023-08-10
US20210014531A1 (en) 2021-01-14
CN112204963A (zh) 2021-01-08
KR102524593B1 (ko) 2023-04-21
KR20230057481A (ko) 2023-04-28
US11601672B2 (en) 2023-03-07
JP2023052578A (ja) 2023-04-11
JP7217288B2 (ja) 2023-02-02
WO2019185808A1 (en) 2019-10-03
EP3777141A1 (en) 2021-02-17
TWI763987B (zh) 2022-05-11
KR20200128586A (ko) 2020-11-13

Similar Documents

Publication Publication Date Title
TWI763987B (zh) 用於逐區塊圖像寫碼之內預測模式技術
TWI794623B (zh) 用於逐塊圖片編碼的幀內預測模式概念
US10659804B2 (en) Method and apparatus for encoding/decoding images using adaptive motion vector resolution
TW202019183A (zh) 仿射線性加權畫面內預測技術
US11641481B2 (en) Method and apparatus for encoding/decoding images using adaptive motion vector resolution
CN104618719A (zh) 运动图像编码装置、运动图像解码装置、运动图像编码方法及运动图像解码方法
EP3590193B1 (en) Method and apparatus for encoding and decoding digital images or video streams
US10652541B2 (en) Method and device for encoding video data
CN105814890A (zh) 视频编解码器中的句法元素编码所用的方法和设备
García Aranda et al. Logarithmical hopping encoding: a low computational complexity algorithm for image compression
US10469874B2 (en) Method for encoding and decoding a media signal and apparatus using the same
US20240137500A1 (en) Intra-prediction mode concept for block-wise picture coding
JP2016165054A (ja) 符号化装置、復号装置、及びプログラム
JP2002335405A (ja) 画像データ処理装置および方法、記録媒体、並びにプログラム