TW202408235A - 視訊影像處理方法及裝置、編解碼器、碼流、儲存媒介 - Google Patents

視訊影像處理方法及裝置、編解碼器、碼流、儲存媒介 Download PDF

Info

Publication number
TW202408235A
TW202408235A TW112125657A TW112125657A TW202408235A TW 202408235 A TW202408235 A TW 202408235A TW 112125657 A TW112125657 A TW 112125657A TW 112125657 A TW112125657 A TW 112125657A TW 202408235 A TW202408235 A TW 202408235A
Authority
TW
Taiwan
Prior art keywords
sample
image
list
value
component
Prior art date
Application number
TW112125657A
Other languages
English (en)
Inventor
楊鈾
蔣小廣
劉瓊
Original Assignee
大陸商Ｏｐｐｏ廣東移動通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商Ｏｐｐｏ廣東移動通信有限公司 filed Critical 大陸商Ｏｐｐｏ廣東移動通信有限公司
Publication of TW202408235A publication Critical patent/TW202408235A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

視訊影像處理方法及裝置、編解碼器、碼流、儲存媒介，其中，方法包括：根據第一圖像中的樣本之間的差值對樣本進行排序處理，得到第一列表；根據樣本在第一列表中的索引序號和第一分量的位元位深，得到第二圖像中與樣本具有相同位置座標的第一分量的樣本值。

Description

視訊影像處理方法及裝置、編解碼器、碼流、儲存媒介
本申請實施例涉及視訊技術，涉及但不限於視訊影像處理方法及裝置、編解碼器、碼流、儲存媒介。
一些深度相機輸出的圖像為具有三通道的圖像(例如RGB圖像)。在基於此類相機輸出的圖像進行視訊編碼時，如圖1所示，需要先透過顏色空間變換將該類相機輸出的三通道圖像101(彩色圖像)轉換為二維編碼器要求的圖像格式(例如YUV420格式)的圖像102(彩色圖像)。轉換完成後，便可使用二維編碼器103，如VVC，對其進行壓縮。在解碼端，在透過二維解碼器104解碼得到YUV420格式的圖像105之後，將其轉換回RGB圖像106，再基於RGB圖像106與深度圖像的變換關係，恢復出對應的深度圖像。對於解碼端，需要已知RGB圖像與深度圖像的變換關係，才能夠將RGB圖像恢復為深度圖像。
本申請實施例提供的視訊影像處理方法及裝置、編解碼器、碼流、儲存媒介，在解碼端，能夠在第一圖像(例如RGB圖像)與第二圖像(如深度圖像)的變換關係不可知的情況下，將第一圖像恢復為第二圖像(例如深度圖像)；本申請實施例提供的視訊影像處理方法及裝置、編解碼器、碼流、儲存媒介，是這樣實現的：
根據本申請實施例的一個方面，提供一種視訊影像處理方法，所述方法應用於解碼器，所述方法包括：根據第一圖像中的樣本之間的差值對所述樣本進行排序處理，得到第一列表；根據所述樣本在所述第一列表中的索引序號和第一分量的位元位深，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
如此，對於解碼器而言，在第一圖像與第二圖像的變換關係不可知的情況下，也能夠將第一圖像恢復為第二圖像；編碼器無需將第一圖像與第二圖像的變換關係傳輸給解碼器，從而節約了傳輸資源；解碼器無需接收並解碼該變換關係，從而節約功耗。
根據本申請實施例的另一方面，提供一種視訊影像處理方法，所述方法應用於編碼器，所述方法包括：根據第一圖像中的樣本之間的差值對所述樣本進行排序處理，得到第一列表；根據所述樣本在所述第一列表中的索引序號和第一分量的位元位深，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
如此，對於編碼器而言，在第一圖像與第二圖像的變換關係不可知的情況下，能夠將第一圖像恢復為第二圖像；從而，一方面，由於是將第一圖像變換為單通道的第二圖像，即第一分量有內容，因此，在提高變換效率以及節約計算開銷的同時，也降低了第二圖像的資料量，進而在對第二圖像壓縮編碼時因工作量較小而節約了功耗，以及因壓縮編碼後的資料量較小而節約了傳輸帶來的開銷；另一方面，使得解碼器在解碼碼流得到第二圖像之後，無需再對其進行變換，相比於圖1所示的解碼器的處理過程，節約了兩次變換過程(例如RGB圖像到YUV420圖像的變換以及YUV420圖像到深度圖像的變換)，從而節約了解碼器的功耗，提高了解碼器的工作效率。
根據本申請實施例的又一方面，提供一種視訊影像處理裝置，所述裝置應用於解碼器，所述裝置包括：第一排序模組和第一映射模組；其中，所述第一排序模組，配置為根據第一圖像中的樣本之間的差值對所述樣本進行排序處理，得到第一列表；所述第一映射模組，配置為根據所述樣本在所述第一列表中的索引序號和第一分量的位元位深，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
根據本申請實施例的再一方面，提供一種視訊影像處理裝置，所述裝置應用於編碼器，所述裝置包括：第二排序模組和第二映射模組；其中，所述第二排序模組，配置為根據第一圖像中的樣本之間的差值對所述樣本進行排序處理，得到第一列表；所述第二映射模組，配置為根據所述樣本在所述第一列表中的索引序號和第一分量的位元位深，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
根據本申請實施例的另一方面，提供一種解碼器，包括第一記憶體和第一處理器；其中，所述第一記憶體，用於儲存能夠在所述第一處理器上運行的電腦程式；所述第一處理器，用於在運行所述電腦程式時，執行本申請實施例所述的應用於所述解碼器的視訊影像處理方法。
根據本申請實施例的又一方面，提供一種編碼器，包括第二記憶體和第二處理器；其中，所述第二記憶體，用於儲存能夠在所述第二處理器上運行的電腦程式；所述第二處理器，用於在運行所述電腦程式時，執行本申請實施例所述的應用於所述編碼器的視訊影像處理方法。
根據本申請實施例的再一方面，提供一種碼流，所述碼流是對第二圖像進行位元編碼生成的；其中，所述第二圖像是透過應用於所述編碼器的視訊影像處理方法中的步驟得到的。
根據本申請實施例的另一方面，提供一種電腦可讀儲存媒介，其中，所述電腦可讀儲存媒介儲存有電腦程式，所述電腦程式被執行時實現本申請實施例所述的應用於所述解碼器的視訊影像處理方法、或者實現本申請實施例所述的應用於所述編碼器的視訊影像處理方法。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，並不能限制本申請。
為使本申請實施例的目的、技術方案和優點更加清楚，下面將結合本申請實施例中的附圖，對本申請的具體技術方案做進一步詳細描述。以下實施例用於說明本申請，但不用來限制本申請的範圍。
除非另有定義，本文所使用的所有的技術和科學術語與屬於本申請的技術領域的技術人員通常理解的含義相同。本文中所使用的術語只是為了描述本申請實施例的目的，不是旨在限制本申請。
在以下的描述中，涉及到“一些實施例”，其描述了所有可能實施例的子集，但是可以理解，“一些實施例”可以是所有可能實施例的相同子集或不同子集，並且可以在不衝突的情況下相互結合。
需要指出，本申請實施例所涉及的術語“第一\第二\第三”是為了區別類似或不同的物件，不代表針對物件的特定排序，可以理解地，“第一\第二\第三”在允許的情況下可以互換特定的順序或先後次序，以使這裡描述的本申請實施例能夠以除了在這裡圖示或描述的以外的順序實施。
本申請實施例描述的編碼器、解碼器的框架以及業務場景是為了更加清楚的說明本申請實施例的技術方案，並不構成對於本申請實施例提供的技術方案的限定。本領域普通技術人員可知，隨著編碼器、解碼器的演變以及新業務場景的出現，本申請實施例提供的技術方案對於類似的技術問題，同樣適用。
本申請實施例可能適用的一種編解碼系統，如圖2和3所示，編解碼系統1包括圖2所示的編碼器20和圖3所示的解碼器30。
如圖2所示，編碼器(具體為“視訊編碼器”)20可以包括顏色空間變換模組200和編碼模組201；其中，編碼模組201包括：變換與量化單元2011、幀內估計單元2012、幀內預測單元2013、運動補償單元2014、運動估計單元2015、反變換與反量化單元2016、濾波器控制分析單元2017、濾波單元2018、編碼單元2019和解碼圖像緩存單元2010等；其中，濾波單元2018可以實現去方塊濾波及樣本自我調整縮進(Sample Adaptive Offset，SAO)濾波，編碼單元2019可以實現頭資訊編碼及基於上下文的自我調整二進位算術編碼(Context-based Adaptive Binary Arithmetic Coding，CABAC)。
首先，顏色空間變換模組200針對輸入的第一圖像，根據第一圖像中的樣本之間的差值對所述樣本進行排序處理，得到第一列表；根據所述樣本在所述第一列表中的索引序號和第一分量的位元位深，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值；然後，將得到的第二圖像輸出給編碼模組201；
編碼模組201，針對輸入的第二圖像，透過編碼樹塊(Coding Tree Unit，CTU)的劃分可以得到一個視訊編碼塊，然後對經過幀內或幀間預測後得到的殘差像素資訊透過變換與量化單元2011對該視訊編碼塊進行變換，包括將殘差資訊從像素域變換到變換域，並對所得的變換係數進行量化，用以進一步減少位元速率；幀內估計單元2012和幀內預測單元2013是用於對該視訊編碼塊進行幀內預測；明確地說，幀內估計單元2012和幀內預測單元2013用於確定待用以編碼該視訊編碼塊的幀內預測模式；運動補償單元2014和運動估計單元2015用於執行所接收的視訊編碼塊相對於一或多個參考幀中的一或多個塊的幀間預測編碼以提供時間預測資訊；由運動估計單元2015執行的運動估計為產生運動向量的過程，所述運動向量可以估計該視訊編碼塊的運動，然後由運動補償單元2014基於由運動估計單元2015所確定的運動向量執行運動補償；在確定幀內預測模式之後，幀內預測單元2013還用於將所選擇的幀內預測資料提供到編碼單元2019，而且運動估計單元2015將所計算確定的運動向量資料也發送到編碼單元2019；此外，反變換與反量化單元2016是用於該視訊編碼塊的重構建，在像素域中重構建殘差塊，該重構建殘差塊透過濾波器控制分析單元2017和濾波單元2018去除方塊效應偽影，然後將該重構殘差塊添加到解碼圖像緩存單元2010的幀中的一個預測性塊，用以產生經重構建的視訊編碼塊；編碼單元2019是用於編碼各種編碼參數及量化後的變換係數，在基於CABAC的編碼演算法中，上下文內容可基於相鄰編碼塊，可用於編碼指示所確定的幀內預測模式的資訊，輸出該第二圖像的碼流；而解碼圖像緩存單元2010是用於存放重構建的視訊編碼塊，用於預測參考。隨著視訊圖像編碼的進行，會不斷生成新的重構建的視訊編碼塊，這些重構建的視訊編碼塊都會被存放在解碼圖像緩存單元2010中。
如圖3所示，解碼器(具體為“視訊解碼器”)30包括解碼單元301、反變換與反量化單元302、幀內預測單元303、運動補償單元304、濾波單元305和解碼圖像緩存單元306等，其中，解碼單元301可以實現頭資訊解碼以及CABAC解碼，濾波單元305可以實現去方塊濾波以及SAO濾波。第二圖像經過圖2所示的編碼模組201的編碼處理之後，輸出該第二圖像的碼流；該碼流輸入至解碼器30中，首先經過解碼單元301，用於得到解碼後的變換係數；針對該變換係數透過反變換與反量化單元302進行處理，以便在像素域中產生殘差塊；幀內預測單元303可用於基於所確定的幀內預測模式和來自當前幀或圖片的先前經解碼塊的資料而產生當前視訊解碼塊的預測資料；運動補償單元304是透過剖析運動向量和其他關聯語法元素來確定用於視訊解碼塊的預測資訊，並使用該預測資訊以產生正被解碼的視訊解碼塊的預測性塊；透過對來自反變換與反量化單元302的殘差塊與由幀內預測單元303或運動補償單元304產生的對應預測性塊進行求和，而形成解碼的視訊塊；該解碼的視訊訊號透過濾波單元305以便去除方塊效應偽影，可以改善視訊品質；然後將經解碼的視訊塊儲存於解碼圖像緩存單元306中，解碼圖像緩存單元306儲存用於後續幀內預測或運動補償的參考圖像，同時也用於視訊訊號的輸出，即得到了所恢復的第二圖像。
本申請實施例可能適用的另一種編解碼系統，如圖4和5所示，編解碼系統2包括圖4所示的編碼器40和圖5所示的解碼器50。
如圖4所示，編碼器(具體為“視訊編碼器”)40包括：顏色空間變換模組400和編碼模組401；其中，編碼模組401的結構與圖2所示的編碼模組201的結構相同，因此這裡不再重複描述。顏色空間變換模組400的功能與顏色空間變換模組200的功能不同，其採用的顏色空間變換演算法不同。
首先，顏色空間變換模組400針對輸入的第一圖像，按照預先定義的偽彩變換關係(例如colormap)將第一圖像變換為與具有相同分量數目的第三圖像；其中，第三圖像與第二圖像的通道數目不同。例如，第三圖像為YUV420格式的圖像，第二圖像為深度圖像，第一圖像為RGB圖像(可以是任意格式的RGB圖像)；然後，將得到的第三圖像輸出給編碼模組401；
編碼模組401，針對輸入的第三圖像，透過編碼樹塊(Coding Tree Unit，CTU)的劃分可以得到一個視訊編碼塊，然後對經過幀內或幀間預測後得到的殘差像素資訊透過變換與量化單元4011對該視訊編碼塊進行變換，包括將殘差資訊從像素域變換到變換域，並對所得的變換係數進行量化，用以進一步減少位元速率；幀內估計單元4012和幀內預測單元4013是用於對該視訊編碼塊進行幀內預測；明確地說，幀內估計單元4012和幀內預測單元4013用於確定待用以編碼該視訊編碼塊的幀內預測模式；運動補償單元4014和運動估計單元4015用於執行所接收的視訊編碼塊相對於一或多個參考幀中的一或多個塊的幀間預測編碼以提供時間預測資訊；由運動估計單元4015執行的運動估計為產生運動向量的過程，所述運動向量可以估計該視訊編碼塊的運動，然後由運動補償單元4014基於由運動估計單元4015所確定的運動向量執行運動補償；在確定幀內預測模式之後，幀內預測單元4013還用於將所選擇的幀內預測資料提供到編碼單元4019，而且運動估計單元4015將所計算確定的運動向量資料也發送到編碼單元4019；此外，反變換與反量化單元4016是用於該視訊編碼塊的重構建，在像素域中重構建殘差塊，該重構建殘差塊透過濾波器控制分析單元4017和濾波單元4018去除方塊效應偽影，然後將該重構殘差塊添加到解碼圖像緩存單元4010的幀中的一個預測性塊，用以產生經重構建的視訊編碼塊；編碼單元4019是用於編碼各種編碼參數及量化後的變換係數，在基於CABAC的編碼演算法中，上下文內容可基於相鄰編碼塊，可用於編碼指示所確定的幀內預測模式的資訊，輸出該第三圖像的碼流；而解碼圖像緩存單元4010是用於存放重構建的視訊編碼塊，用於預測參考。隨著視訊圖像編碼的進行，會不斷生成新的重構建的視訊編碼塊，這些重構建的視訊編碼塊都會被存放在解碼圖像緩存單元4010中。
如圖5所示，解碼器(具體為“視訊解碼器”)50包括顏色空間變換模組501和解碼模組502；其中，解碼模組502的結構與圖3所示的解碼器30的結構相同，因此這裡不再重複描述。
輸入的第三圖像經過圖4所示的編碼模組401的編碼處理之後，輸出該第三圖像的碼流；該碼流輸入至解碼器50的解碼模組502中，首先經過解碼單元5021，用於得到解碼後的變換係數；針對該變換係數透過反變換與反量化單元5022進行處理，以便在像素域中產生殘差塊；幀內預測單元5023可用於基於所確定的幀內預測模式和來自當前幀或圖片的先前經解碼塊的資料而產生當前視訊解碼塊的預測資料；運動補償單元5024是透過剖析運動向量和其他關聯語法元素來確定用於視訊解碼塊的預測資訊，並使用該預測資訊以產生正被解碼的視訊解碼塊的預測性塊；透過對來自反變換與反量化單元5022的殘差塊與由幀內預測單元5023或運動補償單元5024產生的對應預測性塊進行求和，而形成解碼的視訊塊；該解碼的視訊訊號透過濾波單元5025以便去除方塊效應偽影，可以改善視訊品質；然後將經解碼的視訊塊儲存於解碼圖像緩存單元5026中，解碼圖像緩存單元5026儲存用於後續幀內預測或運動補償的參考圖像，同時也用於視訊訊號的輸出，即輸出第三圖像，以及，將第三圖像輸入至顏色空間變換模組501，該模組501配置為：利用與編碼端顏色空間變換模組400相反的變換關係，即基於預先定義的偽彩變換關係(例如colormap)，或者預先定義的偽彩反變換關係將第三圖像反變換為第一圖像；以及，根據第一圖像中的樣本之間的差值對所述樣本進行排序處理，得到第一列表；以及根據所述樣本在所述第一列表中的索引序號和第一分量的位元位深，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值，即恢復得到第二圖像。
如此，對於顏色空間變換模組501而言，無需已知第二圖像與第一圖像的變換關係，即可恢復得到第二圖像。因此，編碼器40無需將第一圖像與第二圖像的變換關係傳輸給解碼器50，從而節約了傳輸帶來的資源開銷；解碼端也無需接收並解碼該變換關係，從而節約了功耗。
而對於編解碼系統1而言，由於編碼器20中的顏色空間變換模組200針對輸入的第一圖像，在第一圖像與第二圖像的變換關係未知的情況下，將第一圖像直接變換為第二圖像，然後輸出給編碼模組201；如此，一方面，由於是將第一圖像變換為單通道的第二圖像，即第一分量有內容，因此，變換的樣本數量減少，從而在提高變換效率以及節約計算開銷的同時，也降低了第二圖像的資料量，進而在對第二圖像壓縮編碼時因工作量較小而節約可功耗，以及因壓縮編碼後的資料量較小而節約了傳輸帶來的開銷；另一方面，使得解碼器30在解碼碼流得到第二圖像之後，無需再對其進行變換，相比於圖5所示的解碼器50在透過解碼模組502得到第三圖像之後，還需要透過顏色空間變換模組501將第三圖像經過兩次變換恢復得到第二圖像的處理過程，解碼器30節約了兩次變換過程，從而節約了功耗，提高了解碼器30的工作效率。
需要說明的是，在視訊圖像中，一般採用三個顏色分量來表徵編碼塊(Coding Block，CB)；其中，這三個顏色分量分別為一個亮度分量、一個藍色色度分量和一個紅色色度分量。示例性地，亮度分量通常使用符號Y表示，藍色色度分量通常使用符號Cb或者U表示，紅色色度分量通常使用符號Cr或者V表示；這樣，視訊圖像可以用YCbCr格式表示，也可以用YUV格式表示。除此之外，視訊圖像也可以是RGB格式或YCgCo格式等，本申請實施例不作任何限定。
本申請實施例提供一種視訊影像處理方法，該方法可以應用於圖2所示的編碼器20，圖6為本申請實施例提供的視訊影像處理方法的實現流程示意圖，如圖6所示，該方法包括如下步驟601和步驟603：
步驟601，根據第一圖像中的樣本之間的差值對所述樣本進行排序處理，得到第一列表。
在對所述樣本進行排序處理時，是將同一位置座標的三個樣本作為一個組合或者一個整體進行排序。
在一些實施例中，可以透過如下實施例的步驟6011至步驟6019實現，這裡不再進行描述。
在一些實施例中，第一圖像為具有三個通道的圖像，例如，第一圖像為RGB圖像。相應地，所述的第一圖像中的樣本是指三個分量的樣本。例如，所述樣本包括R分量、G分量和B分量的樣本。
在本申請實施例中，對於第一圖像的格式不做限定，可以是任意格式的三通道圖像。總之，第一圖像是基於偽彩變換關係將某一單通道圖像變換為三通道的圖像。本質上是將該單通道圖像的資訊用三通道的圖像來表徵，對於這種場景，本申請實施例提供的視訊影像處理方法均適用。
舉例而言，基於圖7所示的colormap，將深度圖像進行變換，得到的變換結果即為第一圖像的一種示例；其中，colormap是預先定義的，只是為了便於人眼分辨，並無具體物理意義。在該colormap中，R分量、G分量和B分量隨著深度值的變化而變化，比如，隨著深度值的增大而增大，或者隨著深度值的增大而減小。
步驟602，根據所述樣本在所述第一列表中的索引序號和第一分量的位元位深，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
在本申請實施例中，對於第二圖像的格式不做限制，無論第二圖像是具有三個分量的圖像，還是具有一個分量的圖像，總之，某一分量的樣本值表徵的是實際資訊即可。例如，在編碼端，第一圖像是由深度圖像變換而來的，第二圖像的第一分量的樣本值表徵的是深度資訊即可，第二圖像的其餘分量的樣本值則無實際意義，各個位置座標的所述其餘分量的樣本值可設置為第一數值。
在一些實施例中，第二圖像的格式可以是YUV400，也可以是YUV420。在第二圖像的格式是YUV420的情況下，第一分量為亮度分量，第二分量和第三分量為色度分量；第二圖像的第二分量和第三分量的樣本值設置為第一數值。
其中，第一數值可以為任意數值。例如，第一數值為0或者 ，N為第一分量的位元位深。
步驟603，對所述第二圖像進行編碼，將所得到的編碼位元寫入碼流。
可以理解地，在本申請實施例中，編碼器20在無需已知第一圖像與第二圖像的變換關係的情況下，透過上述步驟601和步驟602即可將第一圖像變換為第二圖像；由於是將第一圖像變換為單通道的第二圖像，即第一分量有內容，因此，變換的樣本數量減少，從而在提高變換效率以及節約計算開銷的同時，也降低了第二圖像的資料量，進而在對第二圖像壓縮編碼時因工作量較小而節約可功耗，以及因壓縮編碼後的資料量較小而節約了傳輸帶來的開銷；另一方面，使得解碼器30在解碼碼流得到第二圖像之後，無需再對其進行變換，相比於圖5所示的解碼器50在透過解碼模組502得到第三圖像之後，還需要透過顏色空間變換模組501將第三圖像經過兩次變換恢復得到第二圖像的處理過程，解碼器30節約了兩次變換過程，從而節約了功耗，提高了解碼器30的工作效率。
以下分別對上述各個步驟的進一步的可選的實施方式以及相關名詞等進行說明。
在步驟601中，根據第一圖像中的樣本之間的差值對所述樣本進行排序處理，得到第一列表。
在一些實施例中，如圖8所示，可以透過如下步驟6011至步驟6019實現步驟601：
步驟6011，將所述第一圖像中的第一樣本在所述第一列表中的索引序號設置為第二數值。
在一些實施例中，在第一圖像是具有三分量的圖像的情況下，第一樣本包括第一圖像中同一位置座標的三個分量的樣本。可以將同一位置座標處的三個分量的樣本作為一個整體(即組合或向量)，對該整體賦予一個索引序號。
例如，在一些實施例中，透過鏈表的方式實現對第一圖像中的樣本的排序，那麼可以將同一位置座標的三個分量的樣本存入同一節點。
在本申請實施例中，第一樣本可以是第一圖像中的任一位置座標處的樣本，例如，可以是位置座標為(0，0)處的樣本。
在本申請實施例中，第二數值可以是任意數值，總之能夠準確表示第一樣本在第一列表中的排列位次，並能夠得到準確的第二圖像即可。例如，第二數值為1。
步驟6012，確定所述第一樣本與相鄰的第二樣本之間的差值。
在一些實施例中，所述相鄰是指位置座標相鄰。第二樣本為與第一樣本的位置座標相鄰的樣本。例如，第一樣本的位置座標為(i，j)，第二樣本的位置座標為(i+1，j)或者(i，j+1)。
在第一圖像是具有三分量的圖像的情況下，第一樣本包括第一圖像中同一位置座標的三個分量的樣本，第二樣本也是如此。相應地，第一樣本與第二樣本之間的差值是指三個分量的對應差值的總和。
在本申請實施例中，對於計算所述差值的方法不做限定，也就是說，對於表徵所述差值的參數不做限定，可以將第一樣本與第二樣本之間的曼哈頓距離作為所述差值，也可以將第一樣本與第二樣本之間的余弦相似度或者歐式距離作為所述差值。總之，能夠度量兩個樣本之間的樣本值的差異即可。
如下其他兩個樣本之間的差值計算方法如同第一樣本與第二樣本之間的差值計算方法，下文不再贅述。
步驟6013，確定第一樣本與第二樣本之間的差值的絕對值是否等於第二閾值；如果是，執行步驟6014；否則，執行步驟6015。
在一些實施例中，第二閾值等於0；也就是說，第二樣本的樣本值與第一樣本的樣本值相同。
例如，第一樣本中R分量的樣本值為R1，G分量的樣本值為G1，B分量的樣本值為B1；第二樣本中的R分量的樣本值也為R1，G分量的樣本值也為G1，B分量的樣本值也為B1；則第一樣本與第二樣本之間的差值的絕對值等於0，二者的樣本值相同；其中，R1、G1和B1為常數。
在本申請實施例中，對於第二閾值的大小不做限定，可以等於0，也可以是大於0的數值。在第二閾值大於0的情況下，是將兩個樣本值相近的索引序號設置為同一數值。
步驟6014，所述第二樣本的索引序號與所述第一樣本的索引序號相同；進入步驟6018；
步驟6015，確定第一樣本與第二樣本之間的差值的絕對值是否小於或等於第一閾值；如果是，執行步驟6017；否則，執行步驟6016；其中，第一閾值大於第二閾值。
在一些實施例中，在所述差值透過曼哈頓距離表徵的情況下，第一閾值為1，相應地，步驟6015為確定第一樣本與第二樣本之間的曼哈頓距離是否等於1；如果是，執行步驟6017；否則，執行步驟6016。
在本申請實施例中，對於第一閾值的大小不做限制，總之，能夠最終將第一圖像中的樣本按照大小關係，確定出各個樣本(這裡是指同一位置座標的樣本組合)的先後順序關係即可。
步驟6016，將所述第二樣本加入所述第一列表中，以及不對所述第二樣本排序；也就是，不對第二樣本設置索引序號；進入步驟6018；
步驟6017，將所述第二樣本在所述第一列表中的索引序號設置為第三數值；進入步驟6018；
在一些實施例中，第三數值大於第二數值；在另一些實施例中，第三數值小於第二數值。
在一些實施例中，第三數值與第二數值的差值的絕對值為1。例如，第二數值為1，第三數值為2。
當然，對於第三數值的大小不做限定，總之，能夠準確表示第二樣本在第一列表中的排列位次，並能夠得到準確的第二圖像即可。
步驟6018，對所述第一圖像中與所述第二樣本相鄰的未遍歷的第三樣本執行第一操作；
其中，所述第一操作包括：查找所述第一列表中與所述第三樣本之間的差值的絕對值等於第二閾值的第一目標樣本；在查找到所述第一目標樣本的情況下，所述第三樣本的索引序號與所述第一目標樣本的索引序號相同；在未查找到所述第一目標樣本的情況下，查找所述第一列表中與所述第三樣本之間的差值的絕對值小於或等於第一閾值且大於第二閾值的第二目標樣本，將所述第三樣本在所述第一列表中的索引序號設置為所述第二目標樣本的索引序號加第四數值；在未查找到所述第三樣本的第二目標樣本的情況下，將所述第三樣本加入所述第一列表中，以及不對所述第三樣本排序；然後，繼續對所述第一圖像中與所述第三樣本相鄰的未遍歷的樣本執行所述第一操作，直至遍歷至所述第一圖像的最後一個樣本為止，得到所述第一列表；然後，進入步驟6019。
需要說明的是，所謂未遍歷的樣本是指還未加入至第一列表中的樣本。對於設置了索引序號的樣本已經在第一列表中。
在一些實施例中，在未查找到所述第一目標樣本的情況下，如果查找到一個第二目標樣本，則將第三樣本在所述第一列表中的索引序號設置為該第二目標樣本的索引序號加第四數值；然後，繼續對所述第一圖像中與所述第三樣本相鄰的未遍歷的樣本執行所述第一操作，直至遍歷至所述第一圖像的最後一個樣本為止，得到所述第一列表；然後，進入步驟6019。
在本申請實施例中，第四數值可以是任意數值，例如，第四數值為1。總之能夠準確表示樣本在第一列表中的位元次，並能夠得到準確的第二圖像即可。
步驟6019，對所述第一列表中未排序的樣本執行第二操作；
其中，所述第二操作包括：選取所述第一列表中未排序的任一樣本作為當前樣本，從不同於所述當前樣本的其餘未排序的樣本中，確定與所述當前樣本之間的差值的絕對值最小的第三目標樣本；將所述第三目標樣本在所述第一列表中的索引序號設置為所述當前樣本的索引序號加第四數值。
然後，返回繼續執行所述第二操作，直至滿足截止條件為止，得到所述第一列表。這裡，截止條件為第一列表中未排序的樣本為2個，將這兩個樣本一個作為列表的起點，另一個作為列表的終點。
在本申請實施例中，可以透過任何方式實現上述步驟6011至步驟6019。對於第一列表的資料結構不做限定，可以是鏈表結構，也可以是其他類型的資料結構；總之，能夠實現表徵各個樣本的先後順序關係即可。
以第一列表為雙向鏈表為例，如圖9所示，可以這樣得到雙向鏈表(即步驟901至步驟908)：
步驟901，選取第一圖像中某一位置座標作為當前位置，將當前位置處的三個分量的樣本作為雙向鏈表的節點，該節點的指標指向NULL；然後進入步驟902；
步驟902，確定當前位置是否是第一圖像中的最後一個未遍歷的位置；如果是，執行步驟907；否則，執行步驟903；
步驟903，選取下一個位置座標作為當前位置，確定該當前位置處的三個分量的樣本是否已在鏈表中；如果是，返回執行步驟903；否則，執行步驟904；
步驟904，將該當前位置處的三個分量的樣本作為鏈表節點，該節點的指標指向NULL，然後進入步驟905；
步驟905，遍歷鏈表中的節點，計算該當前位置處的三個分量的樣本與鏈表中的其他節點的曼哈頓距離；確定該距離是否等於1；如果是，執行步驟906；否則，繼續遍歷鏈表中的下一節點，直至遍歷結束，然後，返回執行步驟903；
步驟906，將該當前位置對應的鏈表節點的指標指向該其他節點，將該其他節點的指標指向該當前位置對應的鏈表節點；然後，返回執行步驟903；
步驟907，確定鏈表端點數目是否大於2；如果是，執行步驟908；否則，結束；其中，所述鏈表端點是指鏈表中指標指向NULL的節點；
步驟908，選取任意鏈表端點作為當前節點，從鏈表中找到與當前節點的曼哈頓距離最小的目標端點，將當前節點的指標指向該目標端點，以及將該目標端點的指標指向該當前節點，然後返回執行步驟907。
在步驟602中，根據所述樣本在所述第一列表中的索引序號和第一分量的位元位深，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
在一些實施例中，在透過上述方法得到第一列表之後，透過如下步驟6021至步驟6022得到第二圖像，即實現步驟602：
步驟6021，根據第一分量的位元位深，確定表示所述第一分量的最大樣本值。
在一些實施例中，最大樣本值為 ，其中，N為第一分量的位元位深。
步驟6022，根據所述樣本在所述第一列表中的索引序號和所述最大樣本值，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
具體地，在一些實施例中，根據所述樣本在所述第一列表中的索引序號和所述第一列表中的索引序號總數，確定第一比值；其中，所述第一比值為(k-1)與(M-1)的比值；M為所述索引序號總數，k為所述樣本在所述第一列表中的索引序號；以及將所述第一比值與所述最大樣本值的乘積作為第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
例如，透過如下公式(1)得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值 ： (1)；
式(1)中，M為所述索引序號總數，k為所述樣本在所述第一列表中的索引序號。
如此，基於公式(1)，就建立起了第一圖像與第二圖像的對應關係，將第一圖像變換為第二圖像。
在步驟603中，對所述第二圖像進行編碼，將所得到的編碼位元寫入碼流。
具體地，在一些實施例中，可以將第二圖像送入編碼模組201中，從而實現對第二圖像的編碼。
在一些實施例中，所述方法還包括：將所述第二圖像的第二分量和第三分量的樣本值設置為第一數值。
在本申請實施例中，第一數值可以是任意值。例如，在一些實施例中，所述第一數值為0或2的(N-1)次方，其中，N為所述位元位深。
在一些實施例中，所述第一圖像的樣本表徵的是深度資訊。
在一些實施例中，所述第二圖像的第一分量的樣本表徵的是深度資訊。
需要說明的是，第一圖像與第二圖像的區別在於二者的格式不同。例如，第一圖像為RGB格式的圖像，第二圖像為YUV格式的圖像。
本申請實施例再提供一種視訊影像處理方法，該方法可以應用於圖5所示的解碼器50，圖10為本申請實施例提供的視訊影像處理方法的實現流程示意圖，如圖10所示，該方法包括如下步驟1001至步驟1004：
步驟1001，對接收的碼流進行解碼，得到第三圖像；
步驟1002，對所述第三圖像進行顏色空間變換，得到第一圖像；
步驟1003，根據第一圖像中的樣本之間的差值對所述樣本進行排序處理，得到第一列表；
步驟1004，根據所述樣本在所述第一列表中的索引序號和第一分量的位元位深，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
在一些實施例中，所述根據第一圖像中樣本之間的差值對所述樣本進行排序處理，包括：將所述第一圖像中的第一樣本在所述第一列表中的索引序號設置為第二數值，確定所述第一樣本與相鄰的第二樣本之間的差值；以及在所述第一樣本與所述第二樣本之間的差值的絕對值小於或等於第一閾值且大於第二閾值的情況下，將所述第二樣本在所述第一列表中的索引序號設置為第三數值；在所述第一樣本與所述第二樣本之間的差值的絕對值等於第二閾值的情況下，所述第二樣本的索引序號與所述第一樣本的索引序號相同；對所述第一圖像中與所述第二樣本相鄰的未遍歷的第三樣本執行第一操作，所述第一操作包括：查找所述第一列表中與所述第三樣本之間的差值的絕對值等於第二閾值的第一目標樣本；在查找到所述第一目標樣本的情況下，所述第三樣本的索引序號與所述第一目標樣本的索引序號相同；在未查找到所述第一目標樣本的情況下，查找所述第一列表中與所述第三樣本之間的差值的絕對值小於或等於第一閾值且大於第二閾值的第二目標樣本，將所述第三樣本在所述第一列表中的索引序號設置為所述第二目標樣本的索引序號加第四數值。
在一些實施例中，所述方法還包括：在所述第一樣本與所述第二樣本之間的差值的絕對值大於第一閾值的情況下，將所述第二樣本加入所述第一列表中，以及不對所述第二樣本排序；所述第一操作還包括：在未查找到所述第三樣本的第二目標樣本的情況下，將所述第三樣本加入所述第一列表中，以及不對所述第三樣本排序；相應地，遍歷至所述第一圖像的最後一個樣本之後，所述方法還包括：對所述第一列表中未排序的樣本執行第二操作；所述第二操作包括：選取所述第一列表中未排序的任一樣本作為當前樣本，從不同於所述當前樣本的其餘未排序的樣本中，確定與所述當前樣本之間的差值的絕對值最小的第三目標樣本；將所述第三目標樣本在所述第一列表中的索引序號設置為所述當前樣本的索引序號加第四數值。
在一些實施例中，所述根據所述樣本在所述第一列表中的索引序號和第一分量的位元位深，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值，包括：根據所述位元位深，確定表示所述第一分量的最大樣本值；根據所述樣本在所述第一列表中的索引序號和所述最大樣本值，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
進一步地，在一些實施例中，所述根據所述樣本在所述第一列表中的索引序號和所述最大樣本值，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值，包括：根據所述樣本在所述第一列表中的索引序號和所述第一列表中的索引序號總數，確定第一比值；其中，所述第一比值為(k-1)與(M-1)的比值；M為所述索引序號總數，k為所述樣本在所述第一列表中的索引序號；將所述第一比值與所述最大樣本值的乘積作為第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
在一些實施例中，所述方法還包括：將所述第二圖像的第二分量和第三分量的樣本值設置為第一數值。
進一步地，在一些實施例中，所述第一數值為0或2的(N-1)次方，其中，N為所述位元位深。
在一些實施例中，所述第一圖像的樣本表徵的是深度資訊。
在一些實施例中，所述第二圖像的第一分量的樣本表徵的是深度資訊。
需要說明的是，以上解碼器50側的實施例的描述，與上述編碼器20側的實施例的描述是類似的，對於具有相同技術特徵的實施例或實施步驟的未披露的技術細節，請參照上述編碼器20側的實施例的描述而理解。
下面將說明本申請實施例在一個實際的應用場景中的示例性應用。
一些用以採集深度資訊的相機輸出的圖像格式為RGB24格式，即輸出的是RGB深度序列。不同于可見光成像得到的RGB紋理圖序列，RGB深度序列來自於深度值的偽彩變換。偽彩變換的原理如圖11所示，透過紅色變換、綠色變換和藍色變換這三個變換關係將深度值變換為RGB三分量。
圖11中的偽彩變換關係是預先定義的，只是為了便於人眼分辨，並無具體物理意義。常用的偽彩變換關係是連續函數，將連續變化的深度值映射為連續的紅色、綠色或藍色分量。也就是說，R、G或B分量的樣本值隨著深度值的變化而變化。三個分量的變換關係確定了一個colormap。歸一化的深度值和colormap具有一一對應的關係。例如圖7所示，為常見的HSV colormap，基於該HSV colormap，如圖12所示，對深度圖1201進行偽彩變換，得到RGB24序列1202。
使用此類型相機得到的RGB24序列在進行視訊編碼時，如圖13所示，需要先透過顏色空間變換的方式將RGB24序列1202轉換為YUV420序列1301；轉換完成後，便可以用二維編碼器，如VVC，對其進行壓縮。在解碼端，解碼得到YUV420序列1302後，再轉換回RGB24序列1303。
然而，圖13所示的對編碼端RGB24序列1202的處理，忽略了RGB24序列1202的深度特性。在可見光成像得到的RGB圖像序列中，像素值離散分佈於RGB顏色空間中，沒有特定的規律。而在深度圖1201經過偽彩變換得到的RGB24序列1202中，像素值只分佈在偽彩變換所採用的colormap上，即只分佈在RGB顏色空間中的某一特定曲線上。
針對將深度圖1201進行偽彩變換得到的RGB序列的特殊性，在本申請實施例中，提供一種普適演算法，在偽彩變換關係(即colormap)不可知的前提下擬合出一種近似於偽彩變換的變換關係，恢復出歸一化的單通道灰度值。歸一化的單通道灰度值經過縮放後作為YUV420格式中的Y分量。本演算法的整體框架(即編解碼系統1的整體框架的一種示例)，如圖14所示，採用本演算法對RGB24序列1202(即編碼器20側的視訊影像處理方法中所述的第一圖像的一種示例)進行灰度值恢復，得到只有Y分量有內容的YUV420序列1401(即編碼器20側的視訊影像處理方法中所述的第二圖像的一種示例)；然後透過二維編碼器(如VVC，即編碼模組201的一種示例)對其進行壓縮。在解碼端，解碼得到只有Y分量有內容的YUV420序列1402；
如此，一方面，對於編碼端而言，輸入二維編碼器的YUV420序列1401只有Y分量有內容，因此便於壓縮和傳輸，減少了計算資源和傳輸頻寬的消耗；另一方面，對於解碼端而言，對於解碼得到的YUV240序列1402，無需再轉換為RGB24序列，即在colormap不可知的情況下能夠恢復出與深度值相近的灰度值。
對於輸入的深度圖的RGB24序列1202，本演算法的處理流程包括如下步驟1601至步驟1606：
步驟1601，選取RGB24序列1202的第一個像素(r1，g1，b1)作為當前像素，作為雙向鏈表的節點，指標指向NULL。
這裡，同一位置座標處的三個分量的樣本構成一個像素。
步驟1602，如果當前像素為最後一個像素，則轉到步驟1605。如果當前像素不是最後一個像素，選取下一個像素作為當前像素；
步驟1603，如果當前像素(rj，gj，bj)已在鏈表中，則轉到步驟1602；如果當前像素(rj，gj，bj)不在鏈表中，將其作為鏈表節點，指標指向NULL，然後轉到步驟1604；
步驟1604，遍歷鏈表中的節點：計算當前像素分別與鏈表中的節點的曼哈頓距離d(r，g，b)，如果d(r，g，b)=1，將當前像素的節點指向對應節點，以及將該對應節點指向當前像素的節點；如果d(r，g，b)≠1，繼續遍歷下一節點，直至遍歷完鏈表中的所有節點；轉到步驟1602；
步驟1605，如果鏈表端點(即至少一個指標指向NULL的節點)大於2，選取鏈表任意端點作為當前節點，轉到1606；如果鏈表端點數為2，則結束；
步驟1606，找到與當前節點的曼哈頓距離最小的鏈表端點。將當前節點指向該端點，該端點指向當前節點，轉到步驟1605；
經過上述處理，建立起一條鏈表。選取鏈表的一端作為起點，對應灰度值0，鏈表的另一端作為終點，對應灰度值為2N-1，其中N為位元位深。有M個節點的鏈表中，第k個節點對應的灰度值 。
由此建立起了RGB24圖像1202和灰度圖像的對應關係，將其映射為灰度圖，作為YUV420格式的Y分量，UV分量設置為0或者 。
相對於圖13所示的處理流程，本演算法一方面，能夠在colormap不可知的情況下恢復出與深度值相近的灰度值；另一方面，在本演算法中，得到的YUV420序列只有Y分量有內容。相對於圖13中的YUV420序列1301，本演算法得到的YUV420序列便於壓縮和傳輸。
應當注意，儘管在附圖中以特定順序描述了本申請中方法的各個步驟，但是，這並非要求或者暗示必須按照該特定順序來執行這些步驟，或是必須執行全部所示的步驟才能實現期望的結果。附加的或備選的，可以省略某些步驟，將多個步驟合併為一個步驟執行，以及/或者將一個步驟分解為多個步驟執行等；或者，將不同實施例中步驟組合為新的技術方案。
基於前述的實施例，本申請實施例提供一種視訊影像處理裝置，應用於解碼器(例如圖5所示的解碼器50)，圖15為本申請實施例提供的視訊影像處理裝置的結構示意圖，如圖15所示，視訊影像處理裝置150包括：第一排序模組1501和第一映射模組1502；其中，
第一排序模組1501，配置為根據第一圖像中的樣本之間的差值對所述樣本進行排序處理，得到第一列表；
第一映射模組1502，配置為根據所述樣本在所述第一列表中的索引序號和第一分量的位元位深，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
在一些實施例中，第一排序模組1501和第一映射模組1502配置在顏色空間變換模組501中。
在一些實施例中，視訊影像處理裝置150還包括解碼模組，配置為：對接收的碼流進行解碼，得到第三圖像；對所述第三圖像進行顏色空間變換，得到所述第一圖像。
在一些實施例中，第一排序模組1501，配置為：將所述第一圖像中的第一樣本在所述第一列表中的索引序號設置為第二數值，確定所述第一樣本與相鄰的第二樣本之間的差值；以及在所述第一樣本與所述第二樣本之間的差值的絕對值小於或等於第一閾值且大於第二閾值的情況下，將所述第二樣本在所述第一列表中的索引序號設置為第三數值；在所述第一樣本與所述第二樣本之間的差值的絕對值等於第二閾值的情況下，所述第二樣本的索引序號與所述第一樣本的索引序號相同；對所述第一圖像中與所述第二樣本相鄰的未遍歷的第三樣本執行第一操作，所述第一操作包括：查找所述第一列表中與所述第三樣本之間的差值的絕對值等於第二閾值的第一目標樣本；在查找到所述第一目標樣本的情況下，所述第三樣本的索引序號與所述第一目標樣本的索引序號相同；在未查找到所述第一目標樣本的情況下，查找所述第一列表中與所述第三樣本之間的差值的絕對值小於或等於第一閾值且大於第二閾值的第二目標樣本，將所述第三樣本在所述第一列表中的索引序號設置為所述第二目標樣本的索引序號加第四數值。
在一些實施例中，第一排序模組1501，還配置為：在所述第一樣本與所述第二樣本之間的差值的絕對值大於第一閾值的情況下，將所述第二樣本加入所述第一列表中，以及不對所述第二樣本排序；所述第一操作還包括：在未查找到所述第三樣本的第二目標樣本的情況下，將所述第三樣本加入所述第一列表中，以及不對所述第三樣本排序；相應地，遍歷至所述第一圖像的最後一個樣本之後，對所述第一列表中未排序的樣本執行第二操作；所述第二操作包括：選取所述第一列表中未排序的任一樣本作為當前樣本，從不同於所述當前樣本的其餘未排序的樣本中，確定與所述當前樣本之間的差值的絕對值最小的第三目標樣本；將所述第三目標樣本在所述第一列表中的索引序號設置為所述當前樣本的索引序號加第四數值。
在一些實施例中，第一映射模組1502，配置為：根據所述位元位深，確定表示所述第一分量的最大樣本值；根據所述樣本在所述第一列表中的索引序號和所述最大樣本值，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
進一步地，在一些實施例中，第一映射模組1502，配置為：根據所述樣本在所述第一列表中的索引序號和所述第一列表中的索引序號總數，確定第一比值；其中，所述第一比值為(k-1)與(M-1)的比值；M為所述索引序號總數，k為所述樣本在所述第一列表中的索引序號；將所述第一比值與所述最大樣本值的乘積作為第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
本申請實施例提供一種視訊影像處理裝置，應用於編碼器(例如圖2所示的編碼器20)，圖16為本申請實施例提供的視訊影像處理裝置的結構示意圖，如圖16所示，視訊影像處理裝置160包括：第二排序模組1601和第二映射模組1602；其中，
第二排序模組1601，配置為根據第一圖像中的樣本之間的差值對所述樣本進行排序處理，得到第一列表；
第二映射模組1602，配置為根據所述樣本在所述第一列表中的索引序號和第一分量的位元位深，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
在一些實施例中，第二排序模組1601和第二映射模組1602配置在顏色空間變換模組200中。
在一些實施例中，視訊影像處理裝置160還包括編碼模組，配置為：對所述第二圖像進行編碼，將所得到的編碼位元寫入碼流。
在一些實施例中，第二排序模組1601，配置為：將所述第一圖像中的第一樣本在所述第一列表中的索引序號設置為第二數值，確定所述第一樣本與相鄰的第二樣本之間的差值；以及在所述第一樣本與所述第二樣本之間的差值的絕對值小於或等於第一閾值且大於第二閾值的情況下，將所述第二樣本在所述第一列表中的索引序號設置為第三數值；在所述第一樣本與所述第二樣本之間的差值的絕對值等於第二閾值的情況下，所述第二樣本的索引序號與所述第一樣本的索引序號相同；對所述第一圖像中與所述第二樣本相鄰的未遍歷的第三樣本執行第一操作，所述第一操作包括：查找所述第一列表中與所述第三樣本之間的差值的絕對值等於第二閾值的第一目標樣本；在查找到所述第一目標樣本的情況下，所述第三樣本的索引序號與所述第一目標樣本的索引序號相同；在未查找到所述第一目標樣本的情況下，查找所述第一列表中與所述第三樣本之間的差值的絕對值小於或等於第一閾值且大於第二閾值的第二目標樣本，將所述第三樣本在所述第一列表中的索引序號設置為所述第二目標樣本的索引序號加第四數值。
在一些實施例中，第二排序模組1601，還配置為：在所述第一樣本與所述第二樣本之間的差值的絕對值大於第一閾值的情況下，將所述第二樣本加入所述第一列表中，以及不對所述第二樣本排序；所述第一操作還包括：在未查找到所述第三樣本的第二目標樣本的情況下，將所述第三樣本加入所述第一列表中，以及不對所述第三樣本排序；相應地，遍歷至所述第一圖像的最後一個樣本之後，對所述第一列表中未排序的樣本執行第二操作；所述第二操作包括：選取所述第一列表中未排序的任一樣本作為當前樣本，從不同於所述當前樣本的其餘未排序的樣本中，確定與所述當前樣本之間的差值的絕對值最小的第三目標樣本；將所述第三目標樣本在所述第一列表中的索引序號設置為所述當前樣本的索引序號加第四數值。
在一些實施例中，第二映射模組1602，配置為：根據所述位元位深，確定表示所述第一分量的最大樣本值；根據所述樣本在所述第一列表中的索引序號和所述最大樣本值，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
進一步地，在一些實施例中，第二映射模組1602，配置為：根據所述樣本在所述第一列表中的索引序號和所述第一列表中的索引序號總數，確定第一比值；其中，所述第一比值為(k-1)與(M-1)的比值；M為所述索引序號總數，k為所述樣本在所述第一列表中的索引序號；將所述第一比值與所述最大樣本值的乘積作為第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
以上裝置實施例的描述，與上述方法實施例的描述是類似的，具有同方法實施例相似的有益效果。對於本申請裝置實施例中未披露的技術細節，請參照本申請方法實施例的描述而理解。
需要說明的是，本申請實施例所述的裝置對模組的劃分是示意性的，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。另外，在本申請各個實施例中的各功能單元可以集成在一個處理單元中，也可以是單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。也可以採用軟體和硬體結合的形式實現。
需要說明的是，本申請實施例中，如果以軟體功能模組的形式實現上述的方法，並作為獨立的產品銷售或使用時，也可以儲存在一個電腦可讀取儲存媒介中。基於這樣的理解，本申請實施例的技術方案本質上或者說對相關技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存媒介中，包括若干指令用以使得電子設備執行本申請各個實施例所述方法的全部或部分。而前述的儲存媒介包括：USB、移動硬碟、唯讀記憶體(Read Only Memory，ROM)、磁碟或者光碟等各種可以儲存程式碼的媒介。這樣，本申請實施例不限制於任何特定的硬體和軟體結合。
本申請實施例提供一種電腦可讀儲存媒介，其中，所述電腦可讀儲存媒介儲存有電腦程式，所述電腦程式被執行時實現如編碼器側的視訊影像處理方法、或者實現如解碼器側的視訊影像處理方法。
本申請實施例提供一種解碼器，如圖17所示，解碼器170包括：第一通訊介面1701、第一記憶體1702和第一處理器1703；各個元件透過第一匯流排系統1704耦合在一起。可理解，第一匯流排系統1704用於實現這些元件之間的連接通訊。第一匯流排系統1704除包括資料匯流排之外，還包括電源匯流排、控制匯流排和狀態訊號匯流排。但是為了清楚說明起見，在圖17中將各種匯流排都標為第一匯流排系統1704。其中，
第一通訊介面1701，用於在與其他外部網元之間進行收發資訊過程中，訊號的接收和發送；
第一記憶體1702，用於儲存能夠在第一處理器1703上運行的電腦程式；
第一處理器1703，用於在運行所述電腦程式時，執行：
根據第一圖像中的樣本之間的差值對所述樣本進行排序處理，得到第一列表；
根據所述樣本在所述第一列表中的索引序號和第一分量的位元位深，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
可以理解，本申請實施例中的第一記憶體1702可以是易失性記憶體或非易失性記憶體，或可包括易失性和非易失性記憶體兩者。其中，非易失性記憶體可以是唯讀記憶體(Read-Only Memory，ROM)、可程式設計唯讀記憶體(Programmable ROM，PROM)、可擦除可程式設計唯讀記憶體(Erasable PROM，EPROM)、電可擦除可程式設計唯讀記憶體(Electrically EPROM，EEPROM)或快閃記憶體。易失性記憶體可以是隨機存取記憶體(Random Access Memory，RAM)，其用作外部快取記憶體。透過示例性但不是限制性說明，許多形式的RAM可用，例如靜態隨機存取記憶體(Static RAM，SRAM)、動態隨機存取記憶體(Dynamic RAM，DRAM)、同步動態隨機存取記憶體(Synchronous DRAM，SDRAM)、雙倍數據速率同步動態隨機存取記憶體(Double Data Rate SDRAM，DDRSDRAM)、增強型同步動態隨機存取記憶體(Enhanced SDRAM，ESDRAM)、同步連接動態隨機存取記憶體(Synchlink DRAM，SLDRAM)和直接記憶體匯流排隨機存取記憶體(Direct Rambus RAM，DRRAM)。本申請描述的系統和方法的第一記憶體1702旨在包括但不限於這些和任意其它適合類型的記憶體。
而第一處理器1703可能是一種積體電路晶片，具有訊號的處理能力。在實現過程中，上述方法的各步驟可以透過第一處理器1703中的硬體的集成邏輯電路或者軟體形式的指令完成。上述的第一處理器1703可以是通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、專用積體電路(Application Specific Integrated Circuit，ASIC)、現成可程式設計閘陣列(Field Programmable Gate Array，FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件。可以實現或者執行本申請實施例中的公開的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等。結合本申請實施例所公開的方法的步驟可以直接體現為硬體解碼處理器執行完成，或者用解碼處理器中的硬體及軟體模組組合執行完成。軟體模組可以位於隨機記憶體，快閃記憶體、唯讀記憶體，可程式設計唯讀記憶體或者電可讀寫可程式設計記憶體、寄存器等本領域成熟的儲存媒介中。該儲存媒介位於第一記憶體1702，第一處理器1703讀取第一記憶體1702中的資訊，結合其硬體完成上述方法的步驟。
可以理解的是，本申請描述的這些實施例可以用硬體、軟體、固件、中介軟體、微碼或其組合來實現。對於硬體實現，處理單元可以實現在一個或多個專用積體電路(Application Specific Integrated Circuits，ASIC)、數位訊號處理器(Digital Signal Processing，DSP)、數位訊號處理設備(DSP Device，DSPD)、可程式設計邏輯裝置(Programmable Logic Device，PLD)、現場可程式設計閘陣列(Field-Programmable Gate Array，FPGA)、通用處理器、控制器、微控制器、微處理器、用於執行本申請所述功能的其它電子單元或其組合中。對於軟體實現，可透過執行本申請所述功能的模組(例如過程、函數等)來實現本申請所述的技術。軟體代碼可儲存在記憶體中並透過處理器執行。記憶體可以在處理器中或在處理器外部實現。
可選地，作為另一個實施例，第一處理器1703還配置為在運行所述電腦程式時，執行前述解碼器50側的任一方法實施例。
本申請實施提供一種編碼器，如圖18所示，編碼器180包括：第二通訊介面1801、第二記憶體1802和第二處理器1803；各個元件透過第二匯流排系統1804耦合在一起。可理解，第二匯流排系統1804用於實現這些元件之間的連接通訊。第二匯流排系統1804除包括資料匯流排之外，還包括電源匯流排、控制匯流排和狀態訊號匯流排。但是為了清楚說明起見，在圖18中將各種匯流排都標為第二匯流排系統1804。其中，
第二通訊介面1801，用於在與其他外部網元之間進行收發資訊過程中，訊號的接收和發送；
第二記憶體1802，用於儲存能夠在第二處理器1803上運行的電腦程式；
第二處理器1803，用於在運行所述電腦程式時，執行：
根據第一圖像中的樣本之間的差值對所述樣本進行排序處理，得到第一列表；
根據所述樣本在所述第一列表中的索引序號和第一分量的位元位深，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
可選地，作為另一個實施例，第二處理器1803還配置為在運行所述電腦程式時，執行前述編碼器20側的方法實施例。
可以理解，第二記憶體1802與第一記憶體1702的硬體功能類似，第二處理器1803與第一處理器1703的硬體功能類似；這裡不再詳述。
這裡需要指出的是：以上儲存媒介和設備實施例的描述，與上述方法實施例的描述是類似的，具有同方法實施例相似的有益效果。對於本申請儲存媒介、儲存媒介和設備實施例中未披露的技術細節，請參照本申請方法實施例的描述而理解。
應理解，說明書通篇中提到的“一個實施例”或“一實施例”或“一些實施例”意味著與實施例有關的特定特徵、結構或特性包括在本申請的至少一個實施例中。因此，在整個說明書各處出現的“在一個實施例中”或“在一實施例中”或“在一些實施例中”未必一定指相同的實施例。此外，這些特定的特徵、結構或特性可以任意適合的方式結合在一個或多個實施例中。應理解，在本申請的各種實施例中，上述各過程的序號的大小並不意味著執行順序的先後，各過程的執行順序應以其功能和內在邏輯確定，而不應對本申請實施例的實施過程構成任何限定。上述本申請實施例序號僅僅為了描述，不代表實施例的優劣。上文對各個實施例的描述傾向於強調各個實施例之間的不同之處，其相同或相似之處可以互相參考，為了簡潔，本文不再贅述。
本文中術語“和/或”，僅僅是一種描述關聯物件的關聯關係，表示可以存在三種關係，例如物件A和/或物件B，可以表示：單獨存在物件A，同時存在物件A和物件B，單獨存在物件B這三種情況。
需要說明的是，在本文中，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，並不排除在包括該要素的過程、方法、物品或者設備中還存在另外的相同要素。
在本申請所提供的幾個實施例中，應該理解到，所揭露的設備和方法，可以透過其它的方式實現。以上所描述的實施例僅僅是示意性的，例如，所述模組的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，如：多個模組或元件可以結合，或可以集成到另一個系統，或一些特徵可以忽略，或不執行。另外，所顯示或討論的各組成部分相互之間的耦合、或直接耦合、或通訊連接可以是透過一些介面，設備或模組的間接耦合或通訊連接，可以是電性的、機械的或其它形式的。
上述作為分離部件說明的模組可以是、或也可以不是物理上分開的，作為模組顯示的部件可以是、或也可以不是物理模組；既可以位於一個地方，也可以分佈到多個網路單元上；可以根據實際的需要選擇其中的部分或全部模組來實現本實施例方案的目的。
另外，在本申請各實施例中的各功能模組可以全部集成在一個處理單元中，也可以是各模組分別單獨作為一個單元，也可以兩個或兩個以上模組集成在一個單元中；上述集成的模組既可以採用硬體的形式實現，也可以採用硬體加軟體功能單元的形式實現。
本領域普通技術人員可以理解：實現上述方法實施例的全部或部分步驟可以透過程式指令相關的硬體來完成，前述的程式可以儲存於電腦可讀取儲存媒介中，該程式在執行時，執行包括上述方法實施例的步驟；而前述的儲存媒介包括：移動存放裝置、唯讀記憶體(Read Only Memory，ROM)、磁碟或者光碟等各種可以儲存程式碼的媒介。
或者，本申請上述集成的單元如果以軟體功能模組的形式實現並作為獨立的產品銷售或使用時，也可以儲存在一個電腦可讀取儲存媒介中。基於這樣的理解，本申請實施例的技術方案本質上或者說對相關技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存媒介中，包括若干指令用以使得電子設備執行本申請各個實施例所述方法的全部或部分。而前述的儲存媒介包括：移動存放裝置、ROM、磁碟或者光碟等各種可以儲存程式碼的媒介。
本申請所提供的幾個方法實施例中所揭露的方法，在不衝突的情況下可以任意組合，得到新的方法實施例。
本申請所提供的幾個產品實施例中所揭露的特徵，在不衝突的情況下可以任意組合，得到新的產品實施例。
本申請所提供的幾個方法或設備實施例中所揭露的特徵，在不衝突的情況下可以任意組合，得到新的方法實施例或設備實施例。
以上所述，僅為本申請的實施方式，但本申請的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本申請揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本申請的保護範圍之內。因此，本申請的保護範圍應以申請專利範圍的保護範圍為准。
1:編解碼系統 101、102:圖像 103:二維編碼器 104:二維解碼器 105、106:圖像 2:編解碼系統 20:編碼器 200:顏色空間變換模組 201:編碼模組 2010:解碼圖像緩存單元 2011:變換與量化單元 2012:幀內估計單元 2013:幀內預測單元 2014:運動補償單元 2015:運動估計單元 2016:反變換與反量化單元 2017:濾波器控制分析單元 2018:濾波單元 2019:編碼單元 30:解碼器 301:解碼單元 302:反變換與反量化單元 303:幀內預測單元 304:運動補償單元 305:濾波單元 306:解碼圖像緩存單元 40:編碼器 400:顏色空間變換模組 401:編碼模組 4010:解碼圖像緩存單元 4011:變換與量化單元 4012:幀內估計單元 4013:幀內預測單元 4014:運動補償單元 4015:運動估計單元 4016:反變換與反量化單元 4017:濾波器控制分析單元 4018:濾波單元 4019:編碼單元 50:解碼器 501:顏色空間變換模組 502:解碼模組 5021:解碼單元 5022:反變換與反量化單元 5023:幀內預測單元 5024:運動補償單元 5025:濾波單元 5026:解碼圖像緩存單元 601~603:步驟 6011~6019:步驟 901~908:步驟 1001~1004:步驟 1201:深度圖 1202:RGB24序列 1301:YUV420序列 1302:YUV420序列 1303:RGB24序列 1401:YUV420序列 1402:YUV420序列 150:視訊影像處理裝置 1501:第一排序模組 1502:第一映射模組 160:視訊影像處理裝置 1601:第二排序模組 1602:第二映射模組 170:解碼器 1701:第一通訊介面 1702:第一記憶體 1703:第一處理器 1704:第一匯流排系統 180:編碼器 1801:第二通訊介面 1802:第二記憶體 1803:第二處理器 1804:第二匯流排系統
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本申請的實施例，並與說明書一起用於說明本申請的技術方案。顯而易見地，下面描述中的附圖僅僅是本申請的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
附圖中所示的流程圖僅是示例性說明，不是必須包括所有的內容和操作/步驟，也不是必須按所描述的循序執行。例如，有的操作/步驟還可以分解，而有的操作/步驟可以合併或部分合併，因此實際執行的順序有可能根據實際情況改變。
圖1為三通道圖像101的處理流程示意圖；
圖2為本申請實施例提供的編解碼系統1的編碼器20的結構示意圖；
圖3為本申請實施例提供的編解碼系統1的解碼器30的結構示意圖；
圖4為本申請實施例提供的編解碼系統2的編碼器40的結構示意圖；
圖5為本申請實施例提供的編解碼系統2的解碼器50的結構示意圖；
圖6為本申請實施例提供的視訊影像處理方法的實現流程示意圖；
圖7為colormap的示意圖；
圖8為本申請實施例提供的排序處理方法的實現流程示意圖；
圖9為本申請實施例提供的另一排序處理方法的實現流程示意圖；
圖10為本申請實施例提供的視訊影像處理方法的實現流程示意圖；
圖11為偽彩變換的原理示意圖；
圖12為對深度圖1201進行偽彩變換的示意圖；
圖13為RGB24序列1202的處理流程示意圖；
圖14為本申請實施例提供的RGB24序列1202的處理流程示意圖；
圖15為本申請實施例提供的視訊影像處理裝置的結構示意圖；
圖16為本申請實施例提供的另一視訊影像處理裝置的結構示意圖；
圖17為本申請實施例提供的解碼器的結構示意圖；
圖18為本申請實施例提供的編碼器的結構示意圖。
601~603:步驟

Claims (26)

  1. 一種視訊影像處理方法，所述方法應用於解碼器，所述方法包括： 根據第一圖像中的樣本之間的差值對所述樣本進行排序處理，得到第一列表； 根據所述樣本在所述第一列表中的索引序號和第一分量的位元位深，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
  2. 根據請求項1所述的方法，其中，所述方法還包括： 將所述第二圖像的第二分量和第三分量的樣本值設置為第一數值。
  3. 根據請求項1所述的方法，其中，所述根據第一圖像中樣本之間的差值對所述樣本進行排序處理，包括： 將所述第一圖像中的第一樣本在所述第一列表中的索引序號設置為第二數值，確定所述第一樣本與相鄰的第二樣本之間的差值；以及 在所述第一樣本與所述第二樣本之間的差值的絕對值小於或等於第一閾值且大於第二閾值的情況下，將所述第二樣本在所述第一列表中的索引序號設置為第三數值； 在所述第一樣本與所述第二樣本之間的差值的絕對值等於第二閾值的情況下，所述第二樣本的索引序號與所述第一樣本的索引序號相同； 對所述第一圖像中與所述第二樣本相鄰的未遍歷的第三樣本執行第一操作，所述第一操作包括：查找所述第一列表中與所述第三樣本之間的差值的絕對值等於第二閾值的第一目標樣本；在查找到所述第一目標樣本的情況下，所述第三樣本的索引序號與所述第一目標樣本的索引序號相同；在未查找到所述第一目標樣本的情況下，查找所述第一列表中與所述第三樣本之間的差值的絕對值小於或等於第一閾值且大於第二閾值的第二目標樣本，將所述第三樣本在所述第一列表中的索引序號設置為所述第二目標樣本的索引序號加第四數值。
  4. 根據請求項3所述的方法，其中，所述方法還包括： 在所述第一樣本與所述第二樣本之間的差值的絕對值大於第一閾值的情況下，將所述第二樣本加入所述第一列表中，以及不對所述第二樣本排序； 所述第一操作還包括：在未查找到所述第三樣本的第二目標樣本的情況下，將所述第三樣本加入所述第一列表中，以及不對所述第三樣本排序； 相應地，遍歷至所述第一圖像的最後一個樣本之後，所述方法還包括： 對所述第一列表中未排序的樣本執行第二操作；所述第二操作包括：選取所述第一列表中未排序的任一樣本作為當前樣本，從不同於所述當前樣本的其餘未排序的樣本中，確定與所述當前樣本之間的差值的絕對值最小的第三目標樣本；將所述第三目標樣本在所述第一列表中的索引序號設置為所述當前樣本的索引序號加第四數值。
  5. 根據請求項1至4任一項所述的方法，其中，所述根據所述樣本在所述第一列表中的索引序號和第一分量的位元位深，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值，包括： 根據所述位元位深，確定表示所述第一分量的最大樣本值； 根據所述樣本在所述第一列表中的索引序號和所述最大樣本值，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
  6. 根據請求項5所述的方法，其中，所述根據所述樣本在所述第一列表中的索引序號和所述最大樣本值，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值，包括： 根據所述樣本在所述第一列表中的索引序號和所述第一列表中的索引序號總數，確定第一比值；其中，所述第一比值為(k-1)與(M-1)的比值；M為所述索引序號總數，k為所述樣本在所述第一列表中的索引序號； 將所述第一比值與所述最大樣本值的乘積作為第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
  7. 根據請求項2所述的方法，其中，所述第一數值為0或2的(N-1)次方，其中，N為所述位元位深。
  8. 根據請求項1至4任一項所述的方法，其中，所述第一圖像的樣本表徵的是深度資訊。
  9. 根據請求項1至4任一項所述的方法，其中，所述第二圖像的第一分量的樣本表徵的是深度資訊。
  10. 根據請求項1至4任一項所述的方法，其中，所述方法還包括： 對接收的碼流進行解碼，得到第三圖像； 對所述第三圖像進行顏色空間變換，得到所述第一圖像。
  11. 一種視訊影像處理方法，所述方法應用於編碼器，所述方法包括： 根據第一圖像中的樣本之間的差值對所述樣本進行排序處理，得到第一列表； 根據所述樣本在所述第一列表中的索引序號和第一分量的位元位深，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
  12. 根據請求項11所述的方法，其中，所述方法還包括： 將所述第二圖像的第二分量和第三分量的樣本值設置為第一數值。
  13. 根據請求項11所述的方法，其中，所述根據第一圖像中樣本之間的差值對所述樣本進行排序處理，包括： 將所述第一圖像中的第一樣本在所述第一列表中的索引序號設置為第二數值，確定所述第一樣本與相鄰的第二樣本之間的差值；以及 在所述第一樣本與所述第二樣本之間的差值的絕對值小於或等於第一閾值且大於第二閾值的情況下，將所述第二樣本在所述第一列表中的索引序號設置為第三數值； 在所述第一樣本與所述第二樣本之間的差值的絕對值等於第二閾值的情況下，所述第二樣本的索引序號與所述第一樣本的索引序號相同； 對所述第一圖像中與所述第二樣本相鄰的未遍歷的第三樣本執行第一操作，所述第一操作包括：查找所述第一列表中與所述第三樣本之間的差值的絕對值等於第二閾值的第一目標樣本；在查找到所述第一目標樣本的情況下，所述第三樣本的索引序號與所述第一目標樣本的索引序號相同；在未查找到所述第一目標樣本的情況下，查找所述第一列表中與所述第三樣本之間的差值的絕對值小於或等於第一閾值且大於第二閾值的第二目標樣本，將所述第三樣本在所述第一列表中的索引序號設置為所述第二目標樣本的索引序號加第四數值。
  14. 根據請求項13所述的方法，其中，所述方法還包括： 在所述第一樣本與所述第二樣本之間的差值的絕對值大於第一閾值的情況下，將所述第二樣本加入所述第一列表中，以及不對所述第二樣本排序； 所述第一操作還包括：在未查找到所述第三樣本的第二目標樣本的情況下，將所述第三樣本加入所述第一列表中，以及不對所述第三樣本排序； 相應地，遍歷至所述第一圖像的最後一個樣本之後，所述方法還包括： 對所述第一列表中未排序的樣本執行第二操作；所述第二操作包括：選取所述第一列表中未排序的任一樣本作為當前樣本，從不同於所述當前樣本的其餘未排序的樣本中，確定與所述當前樣本之間的差值的絕對值最小的第三目標樣本；將所述第三目標樣本在所述第一列表中的索引序號設置為所述當前樣本的索引序號加第四數值。
  15. 根據請求項11至14任一項所述的方法，其中，所述根據所述樣本在所述第一列表中的索引序號和第一分量的位元位深，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值，包括： 根據所述位元位深，確定表示所述第一分量的最大樣本值； 根據所述樣本在所述第一列表中的索引序號和所述最大樣本值，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
  16. 根據請求項15所述的方法，其中，所述根據所述樣本在所述第一列表中的索引序號和所述最大樣本值，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值，包括： 根據所述樣本在所述第一列表中的索引序號和所述第一列表中的索引序號總數，確定第一比值；其中，所述第一比值為(k-1)與(M-1)的比值； M為所述索引序號總數，k為所述樣本在所述第一列表中的索引序號； 將所述第一比值與所述最大樣本值的乘積作為第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
  17. 根據請求項12所述的方法，其中，所述第一數值為0或2的(N-1)次方，其中，N為所述位元位深。
  18. 根據請求項11至14任一項所述的方法，其中，所述第一圖像的樣本表徵的是深度資訊。
  19. 根據請求項11至14任一項所述的方法，其中，所述第二圖像的第一分量的樣本表徵的是深度資訊。
  20. 根據請求項11至14任一項所述的方法，其中，所述方法還包括： 對所述第二圖像進行編碼，將所得到的編碼位元寫入碼流。
  21. 一種視訊影像處理裝置，應用於解碼器，所述裝置包括：第一排序模組和第一映射模組；其中， 所述第一排序模組，配置為根據第一圖像中的樣本之間的差值對所述樣本進行排序處理，得到第一列表； 所述第一映射模組，配置為根據所述樣本在所述第一列表中的索引序號和第一分量的位元位深，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
  22. 一種解碼器，包括第一記憶體和第一處理器；其中， 所述第一記憶體，用於儲存能夠在所述第一處理器上運行的電腦程式； 所述第一處理器，用於在運行所述電腦程式時，執行如請求項1至10任一項所述的方法。
  23. 一種視訊影像處理裝置，應用於編碼器，所述裝置包括：第二排序模組和第二映射模組；其中， 所述第二排序模組，配置為根據第一圖像中的樣本之間的差值對所述樣本進行排序處理，得到第一列表； 所述第二映射模組，配置為根據所述樣本在所述第一列表中的索引序號和第一分量的位元位深，得到第二圖像中與所述樣本具有相同位置座標的第一分量的樣本值。
  24. 一種編碼器，包括第二記憶體和第二處理器；其中， 所述第二記憶體，用於儲存能夠在所述第二處理器上運行的電腦程式； 所述第二處理器，用於在運行所述電腦程式時，執行如請求項11至20任一項所述的方法。
  25. 一種碼流，所述碼流是對第二圖像進行位元編碼生成的；其中，所述第二圖像是透過請求項11至20任一項而得到的。
  26. 一種電腦可讀儲存媒介，其中，所述電腦可讀儲存媒介儲存有電腦程式，所述電腦程式被執行時實現如請求項1至10任一項所述的方法、或者實現如請求項11至20任一項所述的方法。
TW112125657A 2022-07-11 2023-07-10 視訊影像處理方法及裝置、編解碼器、碼流、儲存媒介 TW202408235A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/CN2022/104980 2022-07-11
PCT/CN2022/104980 WO2024011370A1 (zh) 2022-07-11 2022-07-11 视频图像处理方法及装置、编解码器、码流、存储介质

Publications (1)

Publication Number Publication Date
TW202408235A true TW202408235A (zh) 2024-02-16

Family

ID=89535175

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112125657A TW202408235A (zh) 2022-07-11 2023-07-10 視訊影像處理方法及裝置、編解碼器、碼流、儲存媒介

Country Status (2)

Country Link
TW (1) TW202408235A (zh)
WO (1) WO2024011370A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9363517B2 (en) * 2013-02-28 2016-06-07 Broadcom Corporation Indexed color history in image coding
WO2017069419A1 (ko) * 2015-10-22 2017-04-27 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
CN109151436B (zh) * 2018-09-30 2021-02-02 Oppo广东移动通信有限公司 数据处理方法及装置、电子设备及存储介质
CN109618157A (zh) * 2018-12-29 2019-04-12 东南大学 一种视频显示流压缩编码的硬件实现系统及方法
CN109960738B (zh) * 2019-03-15 2020-12-08 西安电子科技大学 基于深度对抗哈希学习的大规模遥感影像内容检索方法
WO2021000658A1 (zh) * 2019-07-03 2021-01-07 Oppo广东移动通信有限公司 点云编解码方法、编码器、解码器及计算机存储介质
CA3156849A1 (en) * 2019-10-04 2021-04-08 Lg Electronics Inc. Transform-based image coding method, and apparatus therefor

Also Published As

Publication number Publication date
WO2024011370A1 (zh) 2024-01-18

Similar Documents

Publication Publication Date Title
WO2022104498A1 (zh) 帧内预测方法、编码器、解码器以及计算机存储介质
WO2021004152A1 (zh) 图像分量的预测方法、编码器、解码器以及存储介质
WO2020237646A1 (zh) 图像处理方法、设备及计算机可读存储介质
WO2020192085A1 (zh) 图像预测方法、编码器、解码器以及存储介质
WO2023130333A1 (zh) 编解码方法、编码器、解码器以及存储介质
WO2021134635A1 (zh) 变换方法、编码器、解码器以及存储介质
US12022078B2 (en) Picture processing method and apparatus
WO2023230996A1 (zh) 编解码方法、编码器、解码器以及可读存储介质
CN115836525B (zh) 用于从多个交叉分量进行预测的视频编码、解码方法和设备
CN113068025B (zh) 解码预测方法、装置及计算机存储介质
WO2022067775A1 (zh) 点云的编码、解码方法、编码器、解码器以及编解码系统
WO2021134327A1 (zh) 变换方法、编码器、解码器以及存储介质
WO2020186763A1 (zh) 图像分量预测方法、编码器、解码器以及存储介质
TW202420815A (zh) 使用神經網路進行圖像區域的並行處理－解碼、後濾波和ｒｄｏｑ
WO2024011370A1 (zh) 视频图像处理方法及装置、编解码器、码流、存储介质
AU2019357929A1 (en) Video image component prediction method and apparatus, and computer storage medium
WO2022227082A1 (zh) 块划分方法、编码器、解码器以及计算机存储介质
WO2022067776A1 (zh) 点云的解码、编码方法、解码器、编码器和编解码系统
CN113766233B (zh) 图像预测方法、编码器、解码器以及存储介质
WO2021134303A1 (zh) 变换方法、编码器、解码器以及存储介质
WO2024159534A1 (zh) 编解码方法、码流、编码器、解码器以及存储介质
US12101495B2 (en) Colour component prediction method, encoder, decoder, and computer storage medium
WO2024007144A1 (zh) 编解码方法、码流、编码器、解码器以及存储介质
WO2023201450A1 (zh) 编解码方法、码流、编码器、解码器以及存储介质
WO2024007116A1 (zh) 解码方法、编码方法、解码器以及编码器