TWI672941B - 影像處理方法、設備及系統 - Google Patents

影像處理方法、設備及系統 Download PDF

Info

Publication number
TWI672941B
TWI672941B TW107116651A TW107116651A TWI672941B TW I672941 B TWI672941 B TW I672941B TW 107116651 A TW107116651 A TW 107116651A TW 107116651 A TW107116651 A TW 107116651A TW I672941 B TWI672941 B TW I672941B
Authority
TW
Taiwan
Prior art keywords
image block
reconstructed
current
reconstructed image
block
Prior art date
Application number
TW107116651A
Other languages
English (en)
Other versions
TW201909635A (zh
Inventor
張紅
楊海濤
杉 劉
楓 吳
躍 李
東 劉
李厚強
Original Assignee
大陸商華為技術有限公司
中國科學技術大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商華為技術有限公司, 中國科學技術大學 filed Critical 大陸商華為技術有限公司
Publication of TW201909635A publication Critical patent/TW201909635A/zh
Application granted granted Critical
Publication of TWI672941B publication Critical patent/TWI672941B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申請提供一種影像處理方法、設備及系統，包括解析位元串流，以獲取當前圖像的當前待重建圖像區塊的編碼方式、當前待重建圖像區塊的殘差訊號、當前待重建圖像區塊對應的每個參考重建圖像區塊中的畫素，編碼方式為原解析度編碼方式或縮減取樣編碼方式，當前待重建圖像區塊對應M個參考重建圖像區塊；根據當前待重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待重建圖像區塊的多個參考畫素；根據多個參考畫素生成預測訊號；根據預測訊號和殘差訊號生成重建訊號，根據重建訊號重建當前待重建圖像區塊，得到當前重建圖像區塊。從而使得解碼端得到的重建圖像區塊效果更佳。

Description

影像處理方法、設備及系統
本發明涉及影像處理技術，尤其涉及一種影像處理方法、設備及系統。
數位影片是以數位形式記錄的影像。圖1為本發明提供的數位影片的示意圖，如圖1所示，數位影片由多序框(Frame)數位圖像組成。圖2為本發明提供的數位圖像的示意圖，如圖2所示，圖像由12*16個畫素(Pixel)組成，其中，每個畫素被稱為一個畫素，12*16表示圖像解析度。例如2K影像的圖像解析度是1920*1080，4K影像的圖像解析度是3840*2160。通常原始影像包括的資料量較大，不適合儲存和傳輸，需要利用高效的影片壓縮編碼技術來壓縮原始資料。
具體地，圖3為本發明提供的編碼端的編碼示意圖，如圖3所示，編碼端的編碼流程包括：編碼端接收到影像之後，對於構成影像的每序框圖像，將該圖像劃分成多個待編碼圖像區塊。對於當前待編碼圖像區塊，首先通過參考重建圖像區塊（該參考重建圖像區塊用於提供當前待編碼圖像區塊所需的參考畫素，該參考畫素用於對當前待編碼圖像區塊進行預測）對當前待編碼圖像區塊進行預測，得到當前待編碼圖像區塊的預測訊號；用當前待編碼圖像區塊的原始訊號減去預測訊號，得到殘差訊號。經過預測後，殘差訊號的振幅(Amplitude)遠小於原始訊號。將殘差訊號進行變換和量化操作。經過變換量化後，得到變換量化係數，再通過亂度編碼(Entropy encoding)技術編碼量化係數以及編碼中的其他指示資訊，得到位元串流。進一步地，編碼端還需要重建當前待編碼圖像區塊，以實現對後續待編碼圖像區塊的編碼提供參考畫素。具體地，在得到當前待編碼圖像區塊的變換量化係數之後，編碼端需要對當前待編碼圖像區塊的變換量化係數進行反量化和反變換，得到重建的殘差訊號，將重建的殘差訊號與當前待編碼圖像區塊對應的預測訊號相加，得到當前待編碼圖像區塊的重建訊號，根據該重建訊號得到重建圖像區塊。其中，該重建圖像區塊可以對後續待編碼圖像區塊進行預測。可選地，殘差訊號經過變換後得到變換係數，變換係數通過量化後會有資訊損失，該資訊損失不可逆。即經過反量化後的變換係數會有失真，從而使得重建訊號與原始訊號不一致，這種壓縮方式為失真壓縮。因此，對於失真壓縮，在得到重建圖像區塊後，需要對該重建圖像區塊進行濾波，從而去除失真壓縮引入的一些失真，例如方塊效應(Block effect)，漣波效應(Ringing effect)等。為了去除方塊效應，可以使用H.264、H.265標準中的DBK濾波器。為了去除漣波效應，可以使用H.265中的SAO濾波器，以及下一代標準中的ALF濾波器等。也有無失真壓縮方法，即殘差訊號使用無損的變換操作得到變換係數，不進行量化操作，將變換係數進行亂度編碼。對於無失真壓縮，一般不再進行濾波操作。進一步地，當前圖像的各個圖像區塊都完成重建之後，得到重建圖像，其中，該重建圖像可以對後續其他序框圖像進行預測。
圖4為本發明提供的解碼端的解碼示意圖，如圖4所示，解碼端獲取到位元串流之後，首先對位元串流進行亂度解碼，得到當前待重建圖像區塊的變換量化係數，然後對變換量化係數進行反量化和反變換，得到當前待重建圖像區塊的重建的殘差訊號。通過它的參考重建圖像區塊對當前待重建圖像區塊進行預測，得到當前待重建圖像區塊的預測訊號，然後將預測訊號和上述重建的殘差訊號相加，得到當前待重建圖像區塊的重建訊號，然後根據該重建訊號得到當前待重建圖像區塊對應的當前重建圖像區塊，其中，該當前重建圖像區塊可以對後續其他待重建圖像區塊進行預測。類似於上述編碼端的情況，可選地，在解碼端需要對當前重建圖像區塊進行濾波。進一步地，當前圖像的各個圖像區塊都完成重建之後，得到重建圖像，其中，該重建圖像可以對後續其他序框圖像進行預測。
為了降低編解碼複雜度，編碼端對每序框圖像先進行縮減取樣處理，圖5為本發明提供的編碼端的編碼示意圖，如圖5所示，編碼端對整幅圖像採用縮減取樣處理，然後對經過縮減取樣處理後的圖像中的每個待編碼圖像區塊進行編碼，得到位元串流。其中，每個待編碼圖像區塊對應的重建圖像區塊的解析度為縮減取樣解析度。相應的，解碼端解析位元串流，每個待重建圖像區塊的解析度均為縮減取樣解析度，得到對應的重建圖像區塊的解析度也為縮減取樣解析度，解碼端需要對重建圖像區塊採用升取樣(Upsampling)處理，以得到原始解析度的重建圖像區塊。
現有技術中，編碼端對整幅圖像都採用縮減取樣處理，然而，整幅圖像包括的各個圖像區塊的特性可能不同，例如，有些圖像區塊可能較為平坦，編碼端適合對其採用縮減取樣處理；有些圖像區塊可能細節比較多，這種情況下，縮減取樣處理會損失掉這些細節。這將導致編碼端的編碼效果不佳。相應的，這將導致解碼端得到的有些重建圖像區塊比較模糊，即解碼端得到的重建圖像區塊效果不佳。
本發明提供一種影像處理方法、設備及系統，從而使得解碼端得到的重建圖像區塊效果更佳，同時編碼端的編碼效果更好。
第一方面，本發明提供一種影像處理方法，包括：解析位元串流，以獲取當前圖像的當前待重建圖像區塊的編碼方式、當前待重建圖像區塊的殘差訊號、當前待重建圖像區塊對應的每個參考重建圖像區塊中的畫素，其中，編碼方式為原解析度編碼方式或者縮減取樣編碼方式，當前待重建圖像區塊對應M個參考重建圖像區塊，M為大於或者等於1的正整數；根據當前待重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待重建圖像區塊的多個參考畫素；根據多個參考畫素生成當前待重建圖像區塊的預測訊號；根據預測訊號和殘差訊號生成當前待重建圖像區塊的重建訊號，並根據重建訊號重建所述當前待重建圖像區塊，得到當前重建圖像區塊。
本發明實施例的功效是：本發明考慮到圖像區塊具有各自的特性，編碼端對它們所採用的編碼方式也不盡相同，基於此，解碼端將當前待重建圖像區塊的編碼方式和M個參考重建圖像區塊的編碼方式兩個因素考慮在內，以重建當前待重建圖像區塊。從而使得解碼端得到的重建圖像區塊效果更佳。
可選地，若當前重建圖像區塊的編碼方式為縮減取樣編碼方式，則方法還包括：基於當前重建圖像區塊進行升取樣處理時所需的相鄰重建圖像區塊的畫素，對當前重建圖像區塊進行升取樣處理。
可選方式一，升取樣處理是在當前圖像的所有圖像區塊都重建完成後進行的；相應的，位元串流包括：M個參考重建圖像區塊中的每個參考重建圖像區塊的編碼方式；根據當前待重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待重建圖像區塊的多個參考畫素，包括：根據當前待重建圖像區塊的編碼方式、M個參考重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待重建圖像區塊的多個參考畫素。
可選方式二，升取樣處理是在當前重建圖像區塊進行升取樣處理時所需的所有相鄰重建圖像區塊都重建完成後進行的；相應的，位元串流包括：M個參考重建圖像區塊中的每個參考重建圖像區塊的編碼方式；根據當前待重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待重建圖像區塊的多個參考畫素，包括：根據當前待重建圖像區塊的編碼方式、M個參考重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待重建圖像區塊的多個參考畫素。
可選方式三，對當前重建圖像區塊進行升取樣處理包括：根據所需的相鄰重建圖像區塊中的當前已完成重建的一部分相鄰重建圖像區塊的畫素，對當前重建圖像區塊進行一次升取樣處理；若所需的相鄰重建圖像區塊中的當前未完成重建的另一部分相鄰重建圖像區塊已完成重建，則根據另一部分相鄰重建圖像區塊對當前重建圖像區塊的部分邊界進行二次升取樣處理，其中，當前重建圖像區塊的部分邊界與另一部分相鄰重建圖像區塊鄰接。
可選方式四，對當前重建圖像區塊進行升取樣處理包括：根據所需的相鄰重建圖像區塊中的當前已完成重建的一部分相鄰重建圖像區塊的畫素，對當前重建圖像區塊進行一次升取樣處理；若當前圖像的所有圖像區塊均已完成重建，則根據在所需的相鄰重建圖像區塊中的另一部分相鄰重建圖像區塊對所述當前重建圖像區塊的部分邊界進行二次升取樣處理，其中，另一部分相鄰重建圖像區塊是在對當前重建圖像區塊進行第一次升取樣處理時未完成重建的圖像區塊；當前重建圖像區塊的部分邊界與另一部分相鄰重建圖像區塊鄰接。
綜上所述，通過上述四種方式對當前重建圖像區塊進行升取樣處理時，當前重建圖像區塊的部分邊界都是通過所需的相鄰重建圖像區塊進行升取樣處理的，而現有技術中，當前重建圖像區塊的部分邊界都是通過複製當前重建圖像區塊的畫素進行升取樣處理的，因此，本發明提供的方法可以避免當前重建圖像區塊邊界不連續的問題。
可選地，一部分相鄰重建圖像區塊為當前重建圖像區塊的上邊圖像區塊和左邊圖像區塊，另一部分相鄰重建圖像區塊為當前重建圖像區塊的下邊圖像區塊和右邊圖像區塊；或者，一部分相鄰重建圖像區塊為當前重建圖像區塊的左上圖像區塊，上邊圖像區塊，右上圖像區塊和左邊圖像區塊，另一部分相鄰重建圖像區塊為當前重建圖像區塊的右邊圖像區塊，左下圖像區塊，下邊圖像區塊和右下圖像區塊。
可選地，當前重建圖像區塊的部分邊界為當前重建圖像區塊的右邊界和下邊界。
可選地，所需的相鄰重建圖像區塊包括當前重建圖像區塊的上邊圖像區塊，下邊圖像區塊，左邊圖像區塊和右邊圖像區塊；或者，所需的相鄰重建圖像區塊包括當前重建圖像區塊的上邊圖像區塊，下邊圖像區塊，左邊圖像區塊，右邊圖像區塊，左上圖像區塊，左下圖像區塊，右上圖像區塊和右下圖像區塊。
可選地，對當前重建圖像區塊進行升取樣處理後，方法還包括：標識當前重建圖像區塊已完成升取樣處理。從而可以避免對當前重建圖像區塊的重複升取樣。
可選地，針對上述方式一和方式二，根據當前待重建圖像區塊的編碼方式、M個參考重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待重建圖像區塊的多個參考畫素，包括：若當前待重建圖像區塊的編碼方式為原解析度編碼方式，且M個參考重建圖像區塊包括編碼方式為原解析度編碼方式的參考重建圖像區塊，則在編碼方式為原解析度編碼方式的參考重建圖像區塊的畫素中確定當前待重建圖像區塊的參考畫素；若當前待重建圖像區塊的編碼方式為原解析度編碼方式，且M個參考重建圖像區塊包括編碼方式為縮減取樣編碼方式的參考重建圖像區塊，則從編碼方式為縮減取樣編碼方式的參考重建圖像區塊的畫素中獲取對當前待重建圖像區塊進行重建時所需的畫素，並對當前待重建圖像區塊進行重建時所需的畫素進行升取樣處理，以得到當前待重建圖像區塊的參考畫素；若當前待重建圖像區塊的編碼方式為縮減取樣編碼方式，且M個參考重建圖像區塊包括編碼方式為縮減取樣編碼方式的參考重建圖像區塊，則在編碼方式為縮減取樣編碼方式的參考重建圖像區塊的畫素中確定當前待重建圖像區塊的參考畫素；若當前待重建圖像區塊的編碼方式為縮減取樣編碼方式，且M個參考重建圖像區塊包括編碼方式為原解析度編碼方式的參考重建圖像區塊，則從編碼方式為原解析度編碼方式的參考重建圖像區塊的畫素中獲取對當前待重建圖像區塊進行重建時所需的畫素，對當前待重建圖像區塊進行重建時所需的畫素進行縮減取樣處理，以得到當前待重建圖像區塊的參考畫素。
可選地，針對上述方式三和方式四，根據當前待重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待重建圖像區塊的多個參考畫素，包括：若當前待重建圖像區塊的編碼方式為原解析度編碼方式，則在M個參考重建圖像區塊的畫素中獲取對當前待重建圖像區塊進行重建時所需的畫素，並在M個參考重建圖像區塊中確定當前待重建圖像區塊的參考畫素；若當前待重建圖像區塊的編碼方式為縮減取樣編碼方式，則對當前待重建圖像區塊進行重建時所需的畫素進行縮減取樣處理，以得到當前待重建圖像區塊的參考畫素。
通過上述這兩種可選方法可以有效的確定當前重建圖像區塊的參考畫素，進而實現對當前重建圖像區塊的重建。
第二方面，本發明提供一種影像處理方法，包括：獲取當前圖像的當前待編碼圖像區塊的編碼方式、當前待編碼圖像區塊對應的每個參考重建圖像區塊中的畫素，其中，編碼方式為原解析度編碼方式或者縮減取樣編碼方式，當前待編碼圖像區塊對應M個參考重建圖像區塊，M為大於或者等於1的正整數；根據當前待編碼圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待編碼圖像區塊的多個參考畫素；根據多個參考畫素生成當前待編碼圖像區塊的預測訊號；獲取當前待編碼圖像區塊的編碼訊號，其中，當當前待編碼圖像區塊的編碼方式是原解析度編碼方式時，編碼訊號為當前待編碼圖像區塊的原始訊號，當當前待編碼圖像區塊的編碼方式是縮減取樣編碼方式時，編碼訊號為當前待編碼圖像區塊的原始訊號經過縮減取樣處理後得到的訊號；根據預測訊號和編碼訊號生成當前待編碼圖像區塊的殘差訊號；對殘差訊號對進行編碼。
本發明實施例的功效是：本發明考慮到待編碼圖像區塊具有各自的特性，編碼端對它們所採用的編碼方式也不盡相同，基於此，編碼端將當前待重建圖像區塊的編碼方式和M個參考重建圖像區塊的編碼方式兩個因素考慮在內，以對當前待編碼圖像區塊進行編碼。從而使得編碼端的編碼效果更佳。
可選地，還包括：生成當前待編碼圖像區塊的重建訊號，並根據重建訊號重建當前待編碼圖像區塊，得到當前重建圖像區塊；若當前重建圖像的編碼方式為縮減取樣編碼方式，則基於當前重建圖像區塊進行升取樣處理時所需的相鄰重建圖像區塊的畫素，對當前重建圖像區塊進行升取樣處理。
可選方式一，升取樣處理是在當前圖像的所有圖像區塊都重建完成後進行的；相應的，根據當前待編碼圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定當前待重建圖像區塊的多個參考畫素，包括：獲取M個參考重建圖像區塊中的每個參考重建圖像區塊的編碼方式；根據當前待編碼圖像區塊的編碼方式、M個參考重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待編碼圖像區塊的多個參考畫素。
可選方式二，升取樣處理是在當前重建圖像區塊進行升取樣處理時所需的所有相鄰重建圖像區塊都重建完成後進行的；相應的，根據當前待編碼圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定當前待重建圖像區塊的多個參考畫素，包括：獲取M個參考重建圖像區塊中的每個參考重建圖像區塊的編碼方式；根據當前待編碼圖像區塊的編碼方式、M個參考重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待編碼圖像區塊的多個參考畫素。
可選方式三，對當前重建圖像區塊進行升取樣處理包括：根據所需的相鄰重建圖像區塊中的當前已完成重建的一部分相鄰重建圖像區塊的畫素，對當前重建圖像區塊進行一次升取樣處理；若所需的相鄰重建圖像區塊中的當前未完成重建的另一部分相鄰重建圖像區塊已完成重建，則根據另一部分相鄰重建圖像區塊對當前重建圖像區塊的部分邊界進行二次升取樣處理，其中，當前重建圖像區塊的部分邊界與另一部分相鄰重建圖像區塊鄰接。
可選方式四，對當前重建圖像區塊進行升取樣處理包括：根據所需的相鄰重建圖像區塊中的當前已完成重建的一部分相鄰重建圖像區塊的畫素，對當前重建圖像區塊進行一次升取樣處理；若當前圖像的所有圖像區塊均已完成重建，則根據在所需的相鄰重建圖像區塊中的另一部分相鄰重建圖像區塊對所述當前重建圖像區塊的部分邊界進行二次升取樣處理，其中，另一部分相鄰重建圖像區塊是在對當前重建圖像區塊進行第一次升取樣處理時未完成重建的圖像區塊；當前重建圖像區塊的部分邊界與另一部分相鄰重建圖像區塊鄰接。
綜上所述，通過上述四種方式對當前重建圖像區塊進行升取樣處理時，當前重建圖像區塊的部分邊界都是通過所需的相鄰重建圖像區塊進行升取樣處理的，而現有技術中，當前重建圖像區塊的部分邊界都是通過複製當前重建圖像區塊的畫素進行升取樣處理的，因此，本發明提供的方法可以避免當前重建圖像區塊邊界不連續的問題。
可選地，一部分相鄰重建圖像區塊為當前重建圖像區塊的上邊圖像區塊和左邊圖像區塊，另一部分相鄰重建圖像區塊為當前重建圖像區塊的下邊圖像區塊和右邊圖像區塊；或者，一部分相鄰重建圖像區塊為當前重建圖像區塊的左上圖像區塊，上邊圖像區塊，右上圖像區塊和左邊圖像區塊，另一部分相鄰重建圖像區塊為當前重建圖像區塊的右邊圖像區塊，左下圖像區塊，下邊圖像區塊和右下圖像區塊。
可選地，當前重建圖像區塊的部分邊界為當前重建圖像區塊的右邊界和下邊界。
可選地，所需的相鄰重建圖像區塊包括當前重建圖像區塊的上邊圖像區塊，下邊圖像區塊，左邊圖像區塊和右邊圖像區塊；或者，所需的相鄰重建圖像區塊包括當前重建圖像區塊的上邊圖像區塊，下邊圖像區塊，左邊圖像區塊，右邊圖像區塊，左上圖像區塊，左下圖像區塊，右上圖像區塊和右下圖像區塊。
可選地，對當前重建圖像區塊進行升取樣處理後，方法還包括：標識當前重建圖像區塊已完成升取樣處理。從而可以避免對當前重建圖像區塊的重複升取樣。
可選地，針對上述方式一和方式二，根據當前待編碼圖像區塊的編碼方式、M個參考重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待編碼圖像區塊的多個參考畫素，包括：若當前待編碼圖像區塊的編碼方式為原解析度編碼方式，且M個參考重建圖像區塊包括編碼方式為原解析度編碼方式的參考重建圖像區塊，則在編碼方式為原解析度編碼方式的參考重建圖像區塊的畫素中確定當前待編碼圖像區塊的參考畫素；若當前待編碼圖像區塊的編碼方式為原解析度編碼方式，且M個參考重建圖像區塊包括編碼方式為縮減取樣編碼方式的參考重建圖像區塊，則從編碼方式為縮減取樣編碼方式的參考重建圖像區塊的畫素中獲取對當前重建圖像區塊進行重建時所需的畫素，並對當前待編碼圖像區塊進行重建時所需的畫素進行升取樣處理，以得到當前待編碼圖像區塊的參考畫素；若當前待編碼圖像區塊的編碼方式為縮減取樣編碼方式，且M個參考重建圖像區塊包括編碼方式為縮減取樣編碼方式的參考重建圖像區塊，則在編碼方式為縮減取樣編碼方式的參考重建圖像區塊的畫素中確定當前待編碼圖像區塊的參考畫素；若當前待編碼圖像區塊的編碼方式為縮減取樣編碼方式，且M個參考重建圖像區塊包括編碼方式為原解析度編碼方式的參考重建圖像區塊，則從編碼方式為原解析度編碼方式的參考重建圖像區塊的畫素中獲取對當前待編碼圖像區塊進行重建時所需的畫素，對當前待編碼圖像區塊進行重建時所需的畫素進行縮減取樣處理，以得到當前待編碼圖像區塊的參考畫素。
可選地，針對上述方式三和方式四，根據當前待編碼圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待編碼圖像區塊的多個參考畫素，包括：若當前待編碼圖像區塊的編碼方式為原解析度編碼方式，則在M個參考重建圖像區塊的畫素中確定當前待編碼圖像區塊的參考畫素；若當前待編碼圖像區塊的編碼方式為縮減取樣編碼方式，則在M個參考重建圖像區塊的畫素中獲取對當前待編碼圖像區塊進行重建時所需的畫素，並對當前待編碼圖像區塊進行重建時所需的畫素進行縮減取樣處理，以得到當前待編碼圖像區塊的參考畫素。
通過上述兩種可選方法可以有效的確定當前重建圖像區塊的參考畫素，進而實現對當前重建圖像區塊的重建。
可選地，獲取當前待編碼圖像區塊的編碼方式，包括：確定當前待編碼圖像區塊採用原解析度編碼方式時的第一編碼代價值；確定當前待編碼圖像區塊採用縮減取樣編碼方式時的第二編碼代價值；將第一編碼代價值和第二編碼代價值中較小的編碼代價值對應的編碼方式作為當前待編碼圖像區塊的編碼方式。
本發明中，待編碼圖像區塊採用的編碼方式為編碼代價值較小的編碼方式，從而降低編碼端的編碼複雜度，進而提高編碼端的編碼效率。
下面對影像處理設備及系統進行介紹，其實現原理和技術效果與上述原理和技術效果類似，此處不再贅述。
第三方面，本發明提供一種影像處理設備，包括：解析模組，用於解析位元串流，以獲取當前圖像的當前待重建圖像區塊的編碼方式、當前待重建圖像區塊的殘差訊號、當前待重建圖像區塊對應的每個參考重建圖像區塊中的畫素，其中，編碼方式為原解析度編碼方式或者縮減取樣編碼方式，當前待重建圖像區塊對應M個參考重建圖像區塊，M為大於或者等於1的正整數；確定模組，用於根據當前待重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待重建圖像區塊的多個參考畫素；生成模組，用於根據多個參考畫素生成所述當前待重建圖像區塊的預測訊號；重建模組，用於根據預測訊號和殘差訊號生成當前待重建圖像區塊的重建訊號，並根據重建訊號重建當前待重建圖像區塊，得到當前重建圖像區塊。
第四方面，本發明提供一種影像處理設備，包括：獲取模組，用於獲取當前圖像的當前待編碼圖像區塊的編碼方式和當前待編碼圖像區塊對應的每個參考重建圖像區塊中的畫素，其中，編碼方式為原解析度編碼方式或者縮減取樣編碼方式，當前待編碼圖像區塊對應M個參考重建圖像區塊，M為大於或者等於1的正整數；確定模組，用於根據當前待編碼圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待編碼圖像區塊的多個參考畫素；生成模組，用於根據多個參考畫素生成當前待編碼圖像區塊的預測訊號；獲取模組，還用於獲取當前待編碼圖像區塊的編碼訊號，其中，當當前待編碼圖像區塊的編碼方式是原解析度編碼方式時，編碼訊號為當前待編碼圖像區塊的原始訊號，當當前待編碼圖像區塊的編碼方式是縮減取樣編碼方式時，編碼訊號為當前待編碼圖像區塊的原始訊號經過縮減取樣處理後得到的訊號；生成模組，還用於根據預測訊號和編碼訊號生成當前待編碼圖像區塊的殘差訊號；編碼模組，用於對殘差訊號進行編碼。
第五方面，本發明提供一種影像處理系統，包括：如第三方面所述之影像處理設備，以及如第四方面所述之影像處理設備。
第六方面，本發明提供一種影像處理設備，該設備包括經配置以進行以下操作的解碼器：
解析位元串流，以獲取當前圖像的當前待重建圖像區塊的編碼方式、當前待重建圖像區塊的殘差訊號、當前待重建圖像區塊對應的每個參考重建圖像區塊中的畫素，其中，編碼方式為原解析度編碼方式或者縮減取樣編碼方式，當前待重建圖像區塊對應M個參考重建圖像區塊，M為大於或者等於1的正整數；根據當前待重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待重建圖像區塊的多個參考畫素；根據多個參考畫素生成當前待重建圖像區塊的預測訊號；根據預測訊號和殘差訊號生成當前待重建圖像區塊的重建訊號，並根據重建訊號重建所述當前待重建圖像區塊，得到當前重建圖像區塊。
第七方面，本發明提供一種影像處理設備，該設備包括經配置以進行以下操作的編碼器：
獲取當前圖像的當前待編碼圖像區塊的編碼方式、當前待編碼圖像區塊對應的每個參考重建圖像區塊中的畫素，其中，編碼方式為原解析度編碼方式或者縮減取樣編碼方式，當前待編碼圖像區塊對應M個參考重建圖像區塊，M為大於或者等於1的正整數；根據當前待編碼圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待編碼圖像區塊的多個參考畫素；根據多個參考畫素生成當前待編碼圖像區塊的預測訊號；獲取當前待編碼圖像區塊的編碼訊號，其中，當當前待編碼圖像區塊的編碼方式是原解析度編碼方式時，編碼訊號為當前待編碼圖像區塊的原始訊號，當當前待編碼圖像區塊的編碼方式是縮減取樣編碼方式時，編碼訊號為當前待編碼圖像區塊的原始訊號經過縮減取樣處理後得到的訊號；根據預測訊號和編碼訊號生成當前待編碼圖像區塊的殘差訊號；對殘差訊號進行編碼。
第八方面，本發明提供一種電腦儲存媒介，用於儲存為上述第三方面或者第六方面涉及的影像處理設備所用的電腦軟體指令，其包含用於執行上述第三方面或者第六方面所設計的程式。
第九方面，本發明提供一種電腦程式產品，其包含指令，當所述電腦程式被電腦所執行時，該指令使得電腦執行第三方面或者第六方面中影像處理設備所執行的功能。
第十方面，本發明提供一種電腦儲存媒介，用於儲存為上述第四方面或者第七方面涉及的影像處理設備所用的電腦軟體指令，其包含用於執行上述第四方面或者第七方面所設計的程式。
第十一方面，本發明提供一種電腦程式產品，其包含指令，當所述電腦程式被電腦所執行時，該指令使得電腦執行第四方面或者第七方面中影像處理設備所執行的功能。
本發明提供一種影像處理方法、設備及系統，其中由於本發明考慮到圖像區塊具有各自的特性，編碼端對它們所採用的編碼方式也不盡相同，基於此，解碼端將當前待重建圖像區塊的編碼方式和M個參考重建圖像區塊的編碼方式兩個因素考慮在內，以重建當前待重建圖像區塊。從而使得解碼端得到的重建圖像區塊效果更佳。同樣的，編碼端將當前待重建圖像區塊的編碼方式和M個參考重建圖像區塊的編碼方式兩個因素考慮在內，以對當前待編碼圖像區塊進行編碼。從而使得編碼端的編碼效果更佳。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
以下，對本發明中的部分專業用語進行解釋說明，以便於本領域技術人員理解。
數位影片是以數位形式記錄的影像。數位影片由多序框數位圖像組成。通常原始影像包括的資料量較大，不適合儲存和傳輸，需要利用高效的影片壓縮編碼技術來壓縮原始資料。
影片壓縮技術是通過消除影像冗餘來達到壓縮的目的。影像冗餘主要包括如下幾項：空間冗余，時間冗餘，視覺冗餘和資訊亂度冗餘。
空間冗餘：它是靜態圖像存在的最主要的資料冗餘。它是指在一幅圖像中，相鄰的畫素的振幅都比較相近，這種空間連貫性被稱為空間相關或空間冗餘。空間冗餘主要是通過序框內預測方法來消除，序框內預測方法是指利用影像空間域的相關性，使用參考重建圖像區塊的畫素預測當前圖像區塊的畫素，以達到去除影像空間冗餘的目的。
時間冗餘：它是影像序列中經常包含的冗餘，由於影像的相鄰圖像往往包含相同或類似的背景和運動物體，只是運動物體所在的空間位置略有不同，這種相鄰圖像間的資料的高度相關性就稱為時間冗餘。時間冗餘主要是通過序框間預測技術來消除，序框間預測技術是指利用時間上相鄰圖像的畫素來預測當前畫素。
視覺冗餘：人眼視覺系統對圖像細節的變化不敏感，這些細微變化資訊即使丟失，人眼也感受不到。而在記錄原始影像資料時，通常假定視覺系統是對各種內容的敏感度是一致的，這樣就產生了比理想編碼更多的資料，稱為視覺冗餘。視覺冗餘主要是通過變換，量化技術來消除，該變換技術是指將圖像訊號變換到頻率域進行處理，根據不同頻率訊號對視覺品質的貢獻大小進行資料表達和位元(Bit)再分配，這樣可以糾正空間域上均勻取樣的不合理表達。同時在位元再分配過程中融合考慮去除視覺冗餘的需要，通過量化操作，省略過分精細的高頻分量表達，實現有效壓縮。
訊息亂度冗餘：由資訊理論可知，為表示圖像資料的一個畫素，只要按其資訊亂度的大小分配相應位元數即可，而對於圖像資料的每個畫素，在圖像獲取時很難得到它的資訊亂度，因此一般是對每個畫素採用相同的位元數來表示，這樣必然存在冗餘。資訊亂度冗餘主要是通過亂度編碼技術來消除亂度編碼技術是通過統計係數的資訊亂度分佈，為具有不同資訊亂度的資料分配不同的位元數。
當前主流的影片壓縮編碼架構是混合編碼架構，針對上述冗餘，採取不同的技術來消除冗餘，並將這些技術結合在一起，形成了影像編碼的混合架構。如圖3所示，編碼端接收到影像之後，對於構成影像的每序框圖像，將該圖像劃分成待編碼圖像區塊。對於當前待編碼圖像區塊，首先通過參考重建圖像區塊對當前待編碼圖像區塊進行預測，得到當前待編碼圖像區塊的預測訊號；用當前待編碼圖像區塊的原始訊號減去預測訊號，得到殘差訊號。經過預測後，殘差訊號的振幅遠小於原始訊號。將殘差訊號進行變換和量化操作。經過變換量化後，得到變換量化係數，再通過亂度編碼技術編碼量化係數以及編碼中的其他指示資訊，得到位元串流。進一步地，編碼端還需要重建當前待編碼圖像區塊，以實現對後續待編碼圖像區塊的編碼提供參考畫素。具體地，在得到當前待編碼圖像區塊的變換量化係數之後，編碼端需要對當前待編碼圖像區塊的變換量化係數進行反量化和反變換，得到重建的殘差訊號，將重建的殘差訊號與當前待編碼圖像區塊對應的預測訊號相加，得到當前待編碼圖像區塊的重建訊號，根據該重建訊號得到重建圖像區塊。
如圖4所示，解碼端獲取到位元串流之後，首先對位元串流進行亂度(Entropy)解碼，得到當前待重建圖像區塊的變換量化係數，然後對變換量化係數進行反量化和反變換，得到當前待重建圖像區塊的重建的殘差訊號。通過參考重建圖像區塊對當前待重建圖像區塊進行預測，得到當前待重建圖像區塊的預測訊號，然後將預測訊號和上述重建的殘差訊號相加，得到當前待重建圖像區塊的重建訊號，然後根據該重建訊號得到當前待重建圖像區塊對應的當前重建圖像區塊。
為了降低編解碼複雜度，編碼端對每序框圖像先進行縮減取樣處理，如圖5所示，編碼端對整幅圖像採用縮減取樣處理，然後對經過縮減取樣處理後的圖像中的每個待編碼圖像區塊進行編碼，得到位元串流。其中，每個待編碼圖像區塊對應的重建圖像區塊的解析度為縮減取樣解析度。相應的，解碼端解析位元串流，每個待重建圖像區塊的解析度均為縮減取樣解析度，得到對應的重建圖像區塊的解析度也為縮減取樣解析度，解碼端需要對重建圖像區塊採用升取樣處理，以得到原始解析度的重建圖像區塊。
其中，在編碼端和解碼端均涉及通過參考重建圖像區塊對當前圖像區塊（當前待編碼圖像區塊或者當前待重建圖像區塊）進行預測，得到當前圖像區塊的預測訊號。在本發明中，對當前圖像區塊的預測模式（主要是序框內預測方法）可以採用現有技術，具體如下：
例如：圖6為本發明一實施例提供的正在編碼的圖像的示意圖，如圖6所示，該圖像包括多個圖像區塊，其中，該圖像的編碼順序是：從上到下，從左到右。在圖6中，圖像區塊C、B、D、E和A表示已經完成重建的重建圖像區塊，圖像區塊F為當前待編碼圖像區塊，該圖像中的其他區域為未編碼的圖像區域。
這裡以H.265標準來說明序框內預測方法的具體過程，H.265支援將當前待編碼圖像區塊劃分成更小的子圖像區塊進行預測操作。子圖像區塊的劃分結構為四元樹(Q-tree)結構，即一個圖像區塊可以劃分成四個子圖像區塊，每個子圖像區塊可以繼續劃分成四個子圖像區塊。如圖6所示，假設當前待編碼圖像區塊被劃分成7個子圖像區塊進行預測操作，當前待編碼圖像區塊也可以劃分成更多的子圖像區塊進行預測操作。對於每個子圖像區塊，先進行預測操作，獲得預測訊號，然後根據預測訊號獲得子圖像區塊的殘差訊號，進一步對殘差訊號進行變換、量化和亂度編碼。對於預測操作，每個子圖像區塊可選的序框內預測方法有35種，包括Planar模式、DC模式以及33種角度預測模式。所有預測模式都使用相同的參考畫素範本（由多個參考畫素構成），圖7為本發明一實施例提供的參考畫素範本的示意圖，如圖7所示，P1,1 ，P2,1 ……PN,1 ……P1,N ，P2,N ……PN,N 這些畫素構成待編碼的子圖像區塊，例如：該待編碼的子圖像區塊可以是圖6中的子圖像區塊1。如圖7所示，除了待編碼的子圖像區塊，其他參考畫素R0,0 ，R1,0 ……R2N+1,0 ……R0,2N 構成參考畫素範本，假設該待編碼的子圖像區塊是圖6中的子圖像區塊1，這種情況下，這些參考畫素中的一部分畫素為參考重建圖像區塊B的最後一行的畫素，另一部分畫素為參考重建圖像區塊A的最右側一列的畫素。對於其他標準，這些參考畫素中的一部分畫素為參考重建圖像區塊B包括的下方多行的畫素，另一部分畫素為參考重建圖像區塊A包括的右側多列的畫素。即本發明對參考畫素範本不做限制。
Planar模式
Planar模式適用於畫素值緩慢變化的區域，圖8A和圖8B為本發明一實施例提供的Planar模式的示意圖，如圖8所示，使用水平和垂直方向的兩個線性濾波器，分別得到兩個預測值和，並將和的平均值作為畫素的預測訊號。
DC模式
DC模式適用於大面積平坦區域，當前待編碼的子圖像區塊的預測訊號可由其左側和上方的參考畫素的平均值得到，如圖7所示，待編碼的子圖像區塊中各個畫素的預測訊號可以通過的平均值得到。
角度模式
H.265/HEVC規定了33種角度預測模式，以更好地適應影像內容中不同方向的紋理。圖9為本發明一實施例提供的33種角度預測模式的具體方向示意圖，如圖9所示，33種角度預測模式分為水平類模式（2~17）和垂直類模式（18~34）。其中V0（模式26）和H0（模式10）分別表示垂直和水平方向，其餘角度預測模式的預測方向都可以看作是在垂直或水平方向上做一個角度偏移。這裡以垂直方向V0（26）為例說明角度預測過程，垂直方向預測是使用當前待編碼的子圖像區塊上方相鄰的一行參考畫素來預測當前待編碼的子圖像區塊，當前待編碼的子圖像區塊內每個畫素的預測訊號等於該畫素所在列對應的參考畫素的畫素值，即。對於其他角度預測模式，會與水平或垂直方向有一個角度偏移，根據這個角度偏移可以計算參考畫素的位置。該參考畫素的位置可能是兩個相鄰參考畫素之間的位置，若是這種情況，則需要在兩個參考畫素之間根據計算出來的位置插值得到一個參考畫素。通過得到的參考畫素生成預測訊號。
需要說明的是，上述序框內預測方法同樣適用於解碼端，本發明在此不再贅述。
進一步地，本發明還涉及到圖像縮減取樣處理和圖像升取樣處理。
其中，圖像縮減取樣處理涉及三個方面的資訊：1、縮減取樣比例；2、縮減取樣位置；3、縮減取樣所使用的濾波器。
縮減取樣比例是指原圖像與縮減取樣後的圖像的比例，可以分別在水平方向和垂直方向來描述。例如可以對圖像訊號進行水平方向2:1縮減取樣，垂直方向4:1縮減取樣；或者水平方向不縮減取樣，垂直方向2:1縮減取樣；或者水平和垂直方向都進行2:1縮減取樣等。
縮減取樣位置是指縮減取樣點與原取樣點的位置關係，例如，縮減取樣點的位置可以與部分原取樣點位置一樣，或者縮減取樣點落在幾個原取樣點之間。
縮減取樣濾波器可以是3-lobe Lanczos濾波器，Bilinear濾波器，Bicubic，Gauss濾波器等。
下面以解析度為16*16的圖像區塊（實際的圖像會比這大很多，例如1920*1080）為例來說明縮減取樣過程。圖10為本發明一實施例提供的圖像縮減取樣示意圖，假設水平方向和垂直方向的取樣比例均為2:1，水平方向上，縮減取樣點的位置落在兩個原取樣點的左側原取樣點位置，垂直方向上，縮減取樣點落在兩個原取樣點的上方原取樣點位置。如圖10所示，框出來的圓圈表示縮減取樣點的位置，縮減取樣的濾波器如下：
該濾波器是簡單的低通濾波器，該低通濾波器可以被看作是一個二維濾波器，也可以被看作是兩個一維濾波器。如果當作一個二維濾波器，可以在一次濾波操作中同時完成水平和垂直方向上的縮減取樣。如圖10所示，對縮減取樣點A進行縮減取樣時，用到了鄰近的8個原取樣點（用三角形框起的圓圈），根據上面濾波器計算出該縮減取樣點A的畫素值。如果當作是兩個一維濾波器，需要先完成水平或者垂直方向的縮減取樣，再對已完成水平或者垂直方向縮減取樣的結果進行垂直或水平方向縮減取樣。如圖10所示，對縮減取樣點A進行縮減取樣時，先利用縮減取樣點A左右各一個原取樣點進行水平縮減取樣，然後對縮減取樣後的結果利用縮減取樣點A上下各一個原取樣點進行垂直方向上的縮減取樣，根據上述濾波器計算出縮減取樣點A的畫素值。採用相同的方法，對整個16*16的圖像區塊進行縮減取樣處理，最終縮減取樣的結果如圖10所示，各個縮減取樣點的位置如框出來的圓圈所示，縮減取樣點的畫素值為通過濾波器操作後的數值。如圖10所示，縮減取樣後的圖像區塊的解析度為8*8。
通常編碼端或者解碼端需要對經過縮減取樣後的圖像進行升取樣處理，目的是為了得到原解析度的圖像。升取樣處理涉及三個方面的資訊：1、升取樣比例；2、升取樣位置；3升取樣所使用的濾波器。
升取樣比例是指升取樣前的圖像與升取樣後的圖像的比例，可以分別在水平方向和垂直方向來描述。例如可以對升取樣才的圖像訊號進行水平方向1:2升取樣，垂直方向1:4升取樣；或者水平方向不升取樣，垂直方向1:2升取樣；或者水平和垂直方向都進行1:2升取樣等。
升取樣位置是指升取樣後的取樣點與升取樣前的取樣點的位置關係，例如，圖11為本發明一實施例提供的圖像升取樣示意圖，如圖11所示，在第一行，採用水平1:2升取樣比例，升取樣後的取樣點的位置可以在升取樣前的取樣點的右側，其中×表示升取樣後的取樣點位置，圓圈表示升取樣前的取樣點位置。在第二行，採用水平1:2升取樣比例，升取樣後的取樣點的位置可以在升取樣前的取樣點的左側，其中×表示升取樣後的取樣點位置，圓圈表示升取樣前的取樣點位置。需要說明的是，升取樣後的取樣點的位置應與上述縮減取樣點的位置選取相對應，例如：在進行縮減取樣時，選擇縮減取樣點的位置為它的左側原取樣點的位置，那麼在進行升取樣時，選擇升取樣後的取樣點的位置為它的右側升取樣前的取樣點（縮減取樣點）的位置。
升取樣濾波器可以是DCTIF濾波器，雙線性插值濾波器，sinc濾波器等。下面以解析度為8*8的圖像區塊（即上述縮減取樣後的圖像區塊）為例來說明升取樣過程。假設水平方向和垂直方向的升取樣比例均為1:2，在水平方向上，升取樣後的取樣點的位置為右側升取樣前的取樣點的位置，在垂直方向上，升取樣後的取樣點的位置為下方升取樣前的取樣點的位置，這裡以水平方向和垂直方向分別升取樣為例，以及以DCTIF濾波器為例來說明升取樣處理過程。DCTIF濾波器為(-1, 4,-11, 40, 40, -11, 4, -1 )，假設當前要進行水平方向升取樣，在圖11中，假設需要插入B3取樣點，則採用如下公式確定B3的畫素值：
對於其他位置的插值取樣點，例如B7，需要用到B7右邊的四個畫素，這些畫素目前不可得，實際中一般會將A7重複4次，以用於計算B7的畫素值。在垂直方向上的升取樣與在水平方向上的升取樣類似，在此不再贅述。也可以先進行垂直方向上的升取樣，再進行水平方向上的升取樣。圖12為本發明一實施例提供的圖像升取樣示意圖，如圖12所示， ×表示升取樣後的取樣點，圓圈表示升取樣前的取樣點。
現有技術中，編碼端對整幅圖像都採用縮減取樣處理，然而，整幅圖像包括的各個圖像區塊的特性可能不同，例如，有些圖像區塊可能較為平坦，編碼端適合對其採用縮減取樣處理；有些圖像區塊可能細節比較多，這種情況下，縮減取樣處理會損失掉這些細節。這將導致編碼端的編碼效果不佳。相應的，這將導致解碼端得到的有些重建圖像區塊比較模糊，即解碼端得到的重建圖像區塊效果不佳。
為了解決上述技術問題，本發明提供一種影像處理方法、設備及系統。本發明基於圖3和圖5的編碼示意圖，如圖3和圖5所示，一幅圖像包括的待編碼圖像區塊的編碼方式可以是如圖3所示的原解析度編碼方式或者是如圖5所示的縮減取樣編碼方式。其中，原解析度編碼方式是指對當前待編碼圖像區塊直接進行編碼操作。縮減取樣編碼方式是指對當前待編碼圖像區塊先進行縮減取樣處理，然後對縮減取樣後的當前待編碼圖像區塊進行編碼操作。一般情況下，紋理圖像區塊採用原解析度編碼方式，平滑圖像區塊採用縮減取樣編碼方式。編碼端需要標記每個待編碼圖像區塊使用的編碼方式，並將該標記寫入位元串流中。使得解碼端，根據該標記對待重建圖像區塊進行相應的操作。本發明的主旨思想在於：解碼端根據當前待重建圖像區塊的編碼方式、當前待重建圖像區塊對應的M個參考重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待重建圖像區塊的多個參考畫素，根據多個參考畫素生成預測訊號，進而重建待重建圖像區塊。相應的，編碼端根據當前待編碼圖像區塊的編碼方式、當前待編碼圖像區塊對應的M個參考重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待編碼圖像區塊的多個參考畫素，根據多個參考畫素生成預測訊號，進而得到殘差訊號，對殘差訊號進行編碼。
具體地，圖13為本發明一實施例提供的一種影像處理方法的流程圖，如圖13所示，該方法包括：
步驟S1301：解析位元串流，以獲取當前圖像的當前待重建圖像區塊的編碼方式、當前待重建圖像區塊的殘差訊號、當前待重建圖像區塊對應的每個參考重建圖像區塊中的畫素；
其中，解碼端解析位元串流，該位元串流中攜帶有當前待重建圖像區塊的編碼方式對應的標記、以及當前待重建圖像區塊的變換量化係數。解碼端可以對變換量化係數進行反量化和反變換，得到當前待重建圖像區塊的殘差訊號。
當前待重建圖像區塊對應M個參考重建圖像區塊，M為大於或者等於1的正整數。參考重建圖像區塊用於確定待重建圖像區塊的多個參考畫素，其中，多個參考畫素用於生成當前重建圖像區塊的預測訊號。實際上，參考重建圖像區塊具體是哪個重建圖像區塊和解碼端採用的預測模式有關。當採用上述35中預測模式中的任一種時，可以參考如圖7所示的參考畫素範本。
步驟S1302：根據當前待重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待重建圖像區塊的多個參考畫素。
其中，若參考重建圖像區塊與當前待重建圖像區塊的解析度相同，則直接在該參考重建圖像區塊中確定至少一個參考畫素；若當前待重建圖像區塊是原解析度，參考重建圖像區塊的解析度為縮減取樣解析度，則從該參考重建圖像區塊中獲取對當前重建圖像區塊進行重建時所需的至少一個畫素，並對當前重建圖像區塊進行重建時所需的至少一個畫素進行升取樣處理，以得到當前待重建圖像區塊的至少一個參考畫素；若當前待重建圖像區塊是縮減取樣解析度，參考重建圖像區塊的解析度為原解析度，則從該參考重建圖像區塊中獲取對所述當前待重建圖像區塊進行重建時所需的至少一個畫素，對這些畫素進行縮減取樣處理，以得到當前待重建圖像區塊的至少一個參考畫素。
步驟S1303：根據多個參考畫素生成當前待重建圖像區塊的預測訊號；
步驟S1304：根據預測訊號和殘差訊號生成當前待重建圖像區塊的重建訊號，並根據重建訊號重建當前待重建圖像區塊，得到當前重建圖像區塊。
其中，根據多個參考畫素生成當前待重建圖像區塊的預測訊號，可以採用上述35中預測模式中的任一種預測模式，當然也可以採用現有技術中其他的預測模式，本發明對此不做限制。最後，將重建的殘差訊號與預測訊號相加，得到當前待重建圖像區塊的重建訊號，並根據重建訊號重建當前待重建圖像區塊，得到當前重建圖像區塊。
綜上所述，本發明考慮到圖像區塊具有各自的特性，編碼端對它們所採用的編碼方式也不盡相同，基於此，解碼端將當前待重建圖像區塊的編碼方式這個因素考慮在內，以重建當前待重建圖像區塊。從而使得解碼端得到的重建圖像區塊效果更佳。
進一步地，若當前重建圖像區塊的編碼方式為縮減取樣編碼方式，則影像處理方法還包括：基於當前重建圖像區塊進行升取樣處理時所需的相鄰重建圖像區塊的畫素，對當前重建圖像區塊進行升取樣處理。需要說明的是，所需的相鄰重建圖像區塊的畫素主要用於對當前重建圖像區塊的部分邊界進行升取樣處理，對於當前重建圖像區塊中除上述部分邊界之外的部分，均採用自己的畫素進行升取樣處理。其中，當解碼端採用濾波器對當前重建圖像區塊進行升取樣處理時，針對不同的濾波器，當前重建圖像區塊所需的相鄰重建圖像區塊也不同。假設濾波器是基於離散餘弦變換的插值濾波器（Discrete Cosine Transform-Based Interpolation Filter，DCTIF），這種情況下，當前重建圖像區塊所需的相鄰重建圖像區塊具體如下：圖14為本發明一實施例提供的4鄰域畫素的示意圖，如圖14所示，當前重建圖像區塊所需的相鄰重建圖像區塊包括：當前重建圖像區塊的上邊圖像區塊、下邊圖像區塊、左邊圖像區塊和右邊圖像區塊。假設濾波器是卷積神經網路（Convolutional Neural Network，CNN）濾波器。這種情況下，當前重建圖像區塊所需的相鄰重建圖像區塊具體如下：圖15為本發明一實施例提供的8鄰域畫素的示意圖，如圖15所示，當前重建圖像區塊所需的相鄰重建圖像區塊包括：當前重建圖像區塊的上邊圖像區塊、下邊圖像區塊、左邊圖像區塊、右邊圖像區塊、左上圖像區塊、左下圖像區塊、右上圖像區塊和右下圖像區塊。按照目前的編碼順序（從上至下，從左至右的編碼順序），目前當前重建圖像區塊的下邊圖像區塊、右邊圖像區塊、左下圖像區塊和右下圖像區塊都還沒有完成重建，現有技術是通過複製當前重建圖像區塊自己的畫素以實現升取樣處理，但是這種方式將導致經過升取樣處理後的當前重建圖像區塊存在右邊界和下邊界不連續的問題。為了解決這一問題，本發明提供如下四種可選方式：
方式一、升取樣處理是在當前重建圖像區塊進行升取樣處理時所需的所有相鄰重建圖像區塊都重建完成後進行的；相應的，位元串流包括：M個參考重建圖像區塊中的每個參考重建圖像區塊的編碼方式；根據當前待重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待重建圖像區塊的多個參考畫素，包括：根據當前待重建圖像區塊的編碼方式、M個參考重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待重建圖像區塊的多個參考畫素。
方式二、升取樣處理是在當前圖像的所有圖像區塊都重建完成後進行的；相應的，位元串流包括：M個參考重建圖像區塊中的每個參考重建圖像區塊的編碼方式；根據當前待重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待重建圖像區塊的多個參考畫素，包括：根據當前待重建圖像區塊的編碼方式、M個參考重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待重建圖像區塊的多個參考畫素。
方式三、根據所需的相鄰重建圖像區塊中的當前已完成重建的一部分相鄰重建圖像區塊的畫素，對當前重建圖像區塊進行一次升取樣處理；若所需的相鄰重建圖像區塊中的當前未完成重建的另一部分相鄰重建圖像區塊已完成重建，則根據另一部分相鄰重建圖像區塊對當前重建圖像區塊的部分邊界進行二次升取樣處理，其中，當前重建圖像區塊的部分邊界與另一部分相鄰重建圖像區塊鄰接。
方式四、對當前重建圖像區塊進行升取樣處理包括：根據所需的相鄰重建圖像區塊中的當前已完成重建的一部分相鄰重建圖像區塊的畫素，對當前重建圖像區塊進行一次升取樣處理；若當前圖像的所有圖像區塊均已完成重建，則根據在所需的相鄰重建圖像區塊中的另一部分相鄰重建圖像區塊對當前重建圖像區塊的部分邊界進行二次升取樣處理，其中，另一部分相鄰重建圖像區塊是在對當前重建圖像區塊進行第一次升取樣處理時未完成重建的圖像區塊；當前重建圖像區塊的部分邊界與另一部分相鄰重建圖像區塊鄰接。
其中，所述當前重建圖像區塊的部分邊界滿足條件：在對當前重建圖像區塊進行的第一次升取樣處理中，該部分邊界所需的另一部分相鄰重建圖像區塊未完成重建。
可選地，當前重建圖像區塊的部分邊界為當前重建圖像區塊的右邊界和下邊界。
可選地，所述一部分相鄰重建圖像區塊為所述當前重建圖像區塊的上邊圖像區塊和左邊圖像區塊，所述另一部分相鄰重建圖像區塊為所述當前重建圖像區塊的下邊圖像區塊和右邊圖像區塊。
或者，
所述一部分相鄰重建圖像區塊為所述當前重建圖像區塊的左上圖像區塊，上邊圖像區塊，右上圖像區塊和左邊圖像區塊，所述另一部分相鄰重建圖像區塊為所述當前重建圖像區塊的右邊圖像區塊，左下圖像區塊，下邊圖像區塊和右下圖像區塊。
針對方式一進行詳細說明：
具體地，針對不同的濾波器，當前重建圖像區塊所需的相鄰重建圖像區塊也不同。例如：如圖14所示，當前重建圖像區塊所需的相鄰重建圖像區塊包括：當前重建圖像區塊的上邊圖像區塊、下邊圖像區塊、左邊圖像區塊和右邊圖像區塊。如圖15所示，當前重建圖像區塊所需的相鄰重建圖像區塊包括：當前重建圖像區塊的上邊圖像區塊、下邊圖像區塊、左邊圖像區塊、右邊圖像區塊、左上圖像區塊、左下圖像區塊、右上圖像區塊和右下圖像區塊。
其中，可以採用現有技術的升取樣處理方法對當前重建圖像區塊進行處理。例如：圖16為本發明一實施例提供的圖像升取樣示意圖，如圖16所示，當前重建圖像區塊B所需的相鄰重建圖像區塊1、相鄰重建圖像區塊2、相鄰重建圖像區塊3和相鄰重建圖像區塊4均已完成重建。基於此，對當前重建圖像區塊B進行升取樣處理，如圖16所示，其中B中的圓圈表示升取樣前的取樣點，×表示升取樣後的取樣點。對B進行升取樣處理時，可以先對B進行水平方向上的升取樣，再對升取樣後的訊號進行垂直方向上的升取樣；或者，可以先對B進行垂直方向上的升取樣，再對升取樣後的訊號進行水平方向上的升取樣。
特別的，若當前重建圖像區塊本身是一幅圖像的邊界圖像區塊，這種情況下，即使所需的相鄰重建圖像區塊都重建完成，在進行升取樣處理時，還是需要複製當前重建圖像的畫素。例如：如圖14所示，當當前重建圖像區塊是一幅圖像的最右側的一個圖像區塊時，它的右邊圖像區塊是不存在的，因此可以對當前重建圖像區塊包括的最右側一列的畫素進行複製，以實現升取樣處理。當然，也可以採用其他方法進行升取樣處理，本發明對此不做限制。
進一步地，由於當前重建圖像區塊所需的各個相鄰重建圖像區塊的編碼方式可以是縮減取樣編碼方式，也可以是原解析度編碼方式，因此在對當前重建圖像區塊進行升取樣處理時，具體分為以下兩種情況：
1、若某相鄰重建圖像區塊的編碼方式為縮減取樣編碼方式，則可以直接根據該相鄰重建圖像區塊中的畫素對當前重建圖像區塊進行升取樣處理。
2、若某相鄰重建圖像區塊的編碼方式為原解析度編碼方式，則可以獲取該相鄰重建圖像區塊的畫素中升取樣處理所需的至少一個畫素，對這些畫素進行縮減取樣處理，並根據縮減取樣處理後的至少一個畫素對當前重建圖像區塊進行升取樣處理。
具體地，相鄰重建圖像區塊主要用於對當前重建圖像區塊的部分邊界進行升取樣處理（該部分邊界根據濾波器的不同而不同），例如：如圖16所示，相鄰重建圖像區塊3採用縮減取樣編碼方式，這種情況下，可以直接利用相鄰重建圖像區塊3包括的畫素對當前重建圖像區塊B的右邊界進行升取樣處理。而相鄰重建圖像區塊4採用原解析度編碼方式，則需要對相鄰重建圖像區塊4包括的升取樣處理所需的畫素進行縮減取樣處理，或者對相鄰重建圖像區塊4採用縮減取樣處理，並根據縮減取樣處理後的畫素對當前重建圖像區塊B的下邊界進行升取樣處理。其中，對相鄰重建圖像區塊4採用縮減取樣處理，具體可以是直接取圖16中被框圈出的畫素作為縮減取樣後的取樣點。或者是對相鄰重建圖像區塊4進行垂直方向上的縮減取樣處理。圖17為本發明另一實施例提供的圖像升取樣示意圖，如圖17所示，這種是8鄰域畫素的情況，解碼端對當前重建圖像區塊C取樣的升取樣處理方法與4鄰域畫素情況下的方法類似，在此不再贅述。
需要說明的是，為了避免對當前重建圖像區塊的重複升取樣處理，可以對當前重建圖像區塊進行升取樣處理後，標識當前重建圖像區塊已完成升取樣處理。或者，按照一定的規則對當前重建圖像區塊進行升取樣處理。當升取樣處理是基於4鄰域畫素的情況時，當前重建圖像區塊的下邊圖像區塊一旦完成重建，則可以對當前重建圖像區塊進行升取樣處理。當升取樣處理是基於8鄰域畫素的情況時，當前重建圖像區塊的右下圖像區塊一旦完成重建，則可以對當前重建圖像區塊進行升取樣處理。
針對方式二進行詳細說明：
當當前圖像的所有圖像區塊都已經完成重建之後，則對於每個重建圖像區塊來講，它所需的相鄰重建圖像區塊都已經完成重建，基於此，對任一採用縮減取樣編碼的重建圖像區塊都可以進行升取樣處理。具體升取樣處理過程類似於上述方式一的方式，本發明在此不再贅述。
針對方式三進行詳細說明：
在方式三中，對當前重建圖像區塊進行的升取樣處理包括兩次升取樣處理過程。第一次升取樣處理過程為：根據所需的相鄰重建圖像區塊中的當前已完成重建的一部分相鄰重建圖像區塊的畫素，對當前重建圖像區塊進行一次升取樣處理。第二次升取樣處理過程為：若所需的相鄰重建圖像區塊中的當前未完成重建的另一部分相鄰重建圖像區塊已完成重建，則根據另一部分相鄰重建圖像區塊對當前重建圖像區塊的部分邊界進行二次升取樣處理，其中，當前重建圖像區塊的所述部分邊界與另一部分相鄰重建圖像區塊鄰接。
可選地，在對當前重建圖像區塊進行第一次升取樣處理之前，保存縮減取樣編碼方式的當前重建圖像區塊，為後續對其他待重建圖像區塊進行預測時提供參考畫素。
具體地，假設採用從上至下、從左至右的編碼順序，對於基於4鄰域畫素或者8鄰域畫素進行升取樣處理的情況，在對當前重建圖像區塊進行第一次升取樣處理時，它的右邊圖像區塊、下邊圖像區塊、左下圖像區塊和右下圖像區塊都還沒有完成重建。這種情況下，解碼端可以複製當前重建圖像區塊包括的最右側一列或者多列的畫素，得到插值畫素。通過這些插值畫素對當前重建圖像區塊包括的右邊界進行升取樣處理。解碼端還可以複製當前重建圖像區塊包括的最下方一行或者多行的畫素，得到插值畫素。通過這些插值畫素對當前重建圖像區塊包括的下邊界進行升取樣處理。
圖18為本發明一實施例提供的圖像升取樣示意圖，如圖18所示，假設當前重建圖像區塊為圖像區塊A，在對當前重建圖像區塊A進行第二次升取樣處理時，假設目前採用DCTIF濾波器進行升取樣處理，當前重建圖像區塊A已完成第一次升取樣處理，如上面所述使用DCTIF濾波器進行升取樣處理時，需要用到左右各四個畫素，那麼在第一次升取樣處理時，當前重建圖像區塊A的右邊四列×（×表示第一次升取樣處理後的取樣點）所需的四個參考畫素均是不全的。例如，對於最右側的一列×，每個×所需要的右邊四個參考畫素都不存在。若相鄰重建圖像區塊C完成了重建，則根據相鄰重建圖像區塊C對當前重建圖像區塊的右邊界進行第二次升取樣處理。這裡的升取樣處理方法與上述升取樣處理方法相同，在此不再贅述。
同樣地，假設當前重建圖像區塊為圖像區塊B，在對當前重建圖像區塊B進行第二次升取樣處理時，假設目前採用DCTIF濾波器進行升取樣處理，當前重建圖像區塊B已完成第一次升取樣處理，如上面所述使用DCTIF濾波器進行升取樣處理時，需要用到上下各四個畫素，那麼在第一次升取樣處理時，當前重建圖像區塊B的下方四行×（×表示第一次升取樣處理後的取樣點）所需的四個參考畫素均是不全的。例如，對於最下方的一行×，每個×所需要的下方四個參考畫素都不存在。若相鄰重建圖像區塊C完成了重建，則根據相鄰重建圖像區塊C對當前重建圖像區塊的下邊界進行第二次升取樣處理。這裡的升取樣處理方法與上述升取樣處理方法相同，在此不再贅述。
圖19為本發明另一實施例提供的圖像升取樣示意圖，如圖19所示，這種是8鄰域畫素的情況，解碼端對當前重建圖像區塊A的右邊界以及當前重建圖像區塊B的下邊界採用的升取樣處理方法與4鄰域畫素情況下的方法類似，在此不再贅述。
需要說明的是，為了避免對當前重建圖像區塊的重複升取樣處理，可以對當前重建圖像區塊完成第二次升取樣處理後，標識當前重建圖像區塊已完成升取樣處理。或者，按照一定的規則對當前重建圖像區塊進行升取樣處理。當升取樣處理是基於4鄰域畫素的情況時，當前重建圖像區塊的下邊圖像區塊一旦完成重建，則可以對當前重建圖像區塊進行第二次升取樣處理。當升取樣處理是基於8鄰域畫素的情況時，當前重建圖像區塊的右下圖像區塊一旦完成重建，則可以對當前重建圖像區塊進行第二次升取樣處理。
針對方式四進行詳細說明：
當當前圖像的所有圖像區塊都已經完成重建之後，則對於每個重建圖像區塊來講，它所需的相鄰重建圖像區塊都已經完成重建，基於此，對任一已完成第一次升取樣處理後的重建圖像區塊都可以進行第二次升取樣處理。具體升取樣處理過程類似於上述方式三的方式，本發明在此不再贅述。
可選地，在對當前重建圖像區塊進行第一次升取樣處理之前，保存縮減取樣編碼方式的當前重建圖像區塊，為後續對其他待重建圖像區塊進行預測時提供參考畫素。
綜上所述，通過上述四種方式對當前重建圖像區塊進行升取樣處理時，當前重建圖像區塊的部分邊界都是通過所需的相鄰重建圖像區塊進行升取樣處理的，而現有技術中，當前重建圖像區塊的部分邊界都是通過複製當前重建圖像區塊的畫素進行升取樣處理的，因此，本發明提供的方法可以避免當前重建圖像區塊邊界不連續的問題。
更進一步地，基於上述方式一和方式二，對步驟S1302進行詳細說明：
其中步驟S1302具體包括如下四種情況：
情況1、若當前待重建圖像區塊的編碼方式為原解析度編碼方式，且M個參考重建圖像區塊包括編碼方式為原解析度編碼方式的參考重建圖像區塊，則在編碼方式為原解析度編碼方式的參考重建圖像區塊的畫素中確定當前待重建圖像區塊的參考畫素。
情況2、若當前待重建圖像區塊的編碼方式為原解析度編碼方式，且M個參考重建圖像區塊包括編碼方式為縮減取樣編碼方式的參考重建圖像區塊，則從編碼方式為縮減取樣編碼方式的參考重建圖像區塊的畫素中獲取對當前待重建圖像區塊進行重建時所需的畫素，並對當前待重建圖像區塊進行重建時所需的畫素進行升取樣處理，以得到當前待重建圖像區塊的參考畫素。
情況3、若當前待重建圖像區塊的編碼方式為縮減取樣編碼方式，且M個參考重建圖像區塊包括編碼方式為縮減取樣編碼方式的參考重建圖像區塊，則在編碼方式為縮減取樣編碼方式的參考重建圖像區塊的畫素中確定當前待重建圖像區塊的參考畫素。
情況4、若當前待重建圖像區塊的編碼方式為縮減取樣編碼方式，且M個參考重建圖像區塊包括編碼方式為原解析度編碼方式的參考重建圖像區塊，則從編碼方式為原解析度編碼方式的參考重建圖像區塊的畫素中獲取對當前待重建圖像區塊進行重建時所需的畫素，對當前待重建圖像區塊進行重建時所需的畫素進行縮減取樣處理，以得到當前待重建圖像區塊的參考畫素。
對情況1進行說明：圖20為本發明一實施例提供的當前待重建圖像區塊與參考重建圖像區塊的示意圖，如圖20所示，假設本發明實施例使用如圖7所示的參考畫素範本，則當前待重建圖像區塊E對應的M個參考重建圖像區塊為參考重建圖像區塊A、B、C和D，實際上，按照如圖7所示的參考畫素範本，圖像區塊E還需要使用圖像區塊A下方的圖像區塊，但是按照目前的編碼順序，圖像區塊A下方的圖像區塊還未完成重建，現有技術通過複製圖像區塊A的方式，實現對圖像區塊E的預測。本發明對此不做詳細說明。對於參考重建圖像區塊A、B、C和D，由於它們的編碼方式均為原解析度編碼方式，而當前待重建圖像區塊E的編碼方式也是原解析度編碼方式，因此，可以直接從參考重建圖像區塊A、B、C和D中確定當前待重建圖像區塊的參考畫素。例如：如圖20所示，被框中的畫素為參考畫素。
對情況2進行說明：圖21為本發明一實施例提供的當前待重建圖像區塊與參考重建圖像區塊的示意圖，如圖21所示，假設本發明實施例使用如圖7所示的參考畫素範本，則當前待重建圖像區塊E對應的M個參考重建圖像區塊為參考重建圖像區塊A、B、C和D，其中，當前待重建圖像區塊E的編碼方式為原解析度編碼方式，參考重建圖像區塊B的編碼方式為縮減取樣編碼方式，這種情況下，需要獲取參考重建圖像區塊B中的最下方一行的畫素，然後對獲取的畫素進行升取樣處理，得到當前重建圖像區塊E的參考畫素。如圖21所示，被框中的畫素為所有的參考畫素。需要說明的是，還可以根據參考重建圖像區塊B中的多行畫素確定當前重建圖像區塊E的參考畫素等，本發明對此不做限制。
對情況3進行說明：圖22為本發明一實施例提供的當前待重建圖像區塊與參考重建圖像區塊的示意圖，如圖22所示，假設本發明實施例使用如圖7所示的參考畫素範本，則當前待重建圖像區塊E對應的M個參考重建圖像區塊為參考重建圖像區塊A、B、C和D，其中，當前待重建圖像區塊E的編碼方式為原解析度編碼方式，參考重建圖像區塊A、B和D的編碼方式均為原取樣編碼方式，這種情況下，可以直接從參考重建圖像區塊A、B、C和D中確定當前待重建圖像區塊的參考畫素。例如：如圖22所示，被框中的畫素為參考畫素。
對情況4進行說明：圖23為本發明一實施例提供的當前待重建圖像區塊與參考重建圖像區塊的示意圖，如圖23所示，假設本發明實施例使用如圖7所示的參考畫素範本，則當前待重建圖像區塊E對應的M個參考重建圖像區塊為參考重建圖像區塊A、B、C和D，其中，當前待重建圖像區塊E的編碼方式為縮減取樣編碼方式，參考重建圖像區塊B的編碼方式為原解析度編碼方式，這種情況下，需要獲取參考重建圖像區塊B中的最下方一行的畫素，然後對獲取的畫素進行縮減取樣處理，得到當前重建圖像區塊E的參考畫素。如圖23所示，被框中的畫素為所有的參考畫素。
上述四種情況所涉及的縮減取樣處理和升取樣處理都可以採用現有技術的方法，本發明對此不做限制。
需要強調的是，由於在方式三和方式四中，對於任何一個採用縮減取樣編碼方式的待重建圖像區塊，在對待重建圖像區塊重建完之後，都要進行第一次升取樣處理，因此任何一個重建圖像區塊的解析度都是原解析度。
基於此，針對方式三和方式四情況，步驟S1302包括：若當前待重建圖像區塊的編碼方式為原解析度編碼方式，則在M個參考重建圖像區塊的畫素中確定當前待重建圖像區塊的參考畫素；若當前待重建圖像區塊的編碼方式為縮減取樣編碼方式，則在M個參考重建圖像區塊的畫素中獲取對當前待重建圖像區塊進行重建時所需的畫素，並對當前待重建圖像區塊進行重建時所需的畫素進行縮減取樣處理，以得到當前待重建圖像區塊的參考畫素；或者，若當前待重建圖像區塊所需的某相鄰重建圖像區塊採用縮減取樣編碼方式，則保存該相鄰重建圖像區塊在進行第一次升取樣處理之前的畫素，若當前待重建圖像區塊的編碼方式為縮減取樣編碼方式，則可以直接在之前保存的畫素中確定當前待重建圖像區塊的參考畫素。
綜上所述，通過上述方法可以有效的確定當前重建圖像區塊的參考畫素，進而實現對當前重建圖像區塊的重建。
上面主要介紹了解碼端的影像處理方法，下面將介紹編碼端的影像處理方法。
具體地，圖24為本發明另一實施例提供的一種影像處理方法的流程圖，如圖24所示，該方法包括：
步驟S2401：獲取當前圖像的當前待編碼圖像區塊的編碼方式、當前待編碼圖像區塊對應的每個參考重建圖像區塊中的畫素；
步驟S2402：根據當前待編碼圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待編碼圖像區塊的多個參考畫素；
步驟S2403：根據多個參考畫素生成當前待編碼圖像區塊的預測訊號；
步驟S2404：獲取當前待編碼圖像區塊的編碼訊號，其中，當當前待編碼圖像區塊的編碼方式是原解析度編碼方式時，編碼訊號為當前待編碼圖像區塊的原始訊號，當當前待編碼圖像區塊的編碼方式是縮減取樣編碼方式時，編碼訊號為當前待編碼圖像區塊的原始訊號經過縮減取樣處理後得到的訊號；
步驟S2405：根據預測訊號和編碼訊號生成當前待編碼圖像區塊的殘差訊號；
步驟S2406：對殘差訊號進行編碼。
其中，編碼方式為原解析度編碼方式或者縮減取樣編碼方式，當前待編碼圖像區塊對應M個參考重建圖像區塊，M為大於或者等於1的正整數。
其中，若參考重建圖像區塊與當前待重建圖像區塊的解析度相同，則直接在該參考重建圖像區塊中確定至少一個參考畫素；若當前待重建圖像區塊是原解析度，參考重建圖像區塊的解析度為縮減取樣解析度，則從該參考重建圖像區塊中獲取對當前重建圖像區塊進行重建時所需的至少一個畫素，並對當前重建圖像區塊進行重建時所需的至少一個畫素進行升取樣處理，以得到當前待重建圖像區塊的至少一個參考畫素；若當前待重建圖像區塊是縮減取樣解析度，參考重建圖像區塊的解析度為原解析度，則從該參考重建圖像區塊中獲取對所述當前待編碼圖像區塊進行重建時所需的至少一個畫素，對這些畫素進行縮減取樣處理，以得到當前待重建圖像區塊的至少一個參考畫素。
實際上，參考重建圖像區塊具體是哪個重建圖像區塊和解碼端採用的預測模式有關。當採用上述35中預測模式中的任一種時，可以參考如圖7所示的參考畫素範本。根據多個參考畫素生成當前待重建圖像區塊的預測訊號，可以採用上述35中預測模式中的任一種預測模式，當然也可以採用現有技術中其他的預測模式，本發明對此不做限制。最後，根據預測訊號和編碼訊號生成當前待編碼圖像區塊的殘差訊號；對殘差訊號進行編碼，包括：將殘差訊號進行變換和量化操作。經過變換量化後，得到變換量化係數，再通過亂度編碼技術編碼量化係數以及編碼中的其他指示資訊，得到位元串流。
綜上所述，本發明考慮到待編碼圖像區塊具有各自的特性，編碼端對它們所採用的編碼方式也不盡相同，基於此，編碼端將當前待重建圖像區塊的編碼方式這個因素考慮在內，以對當前待編碼圖像區塊進行編碼。從而使得編碼端的編碼效果更佳。
進一步地，上述方法還包括：生成當前待編碼圖像區塊的重建訊號，並根據重建訊號重建當前待編碼圖像區塊，得到當前重建圖像區塊；若當前重建圖像區塊的編碼方式為縮減取樣編碼方式，則基於當前重建圖像區塊進行升取樣處理時所需的相鄰重建圖像區塊的畫素，對當前重建圖像區塊進行升取樣處理。
其中，生成當前待編碼圖像區塊的重建訊號包括：對當前待編碼圖像區塊的殘差訊號進行變換、量化，得到當前待編碼圖像區塊的量化係數，將量化係數進行反量化，反變換，得到重建的殘差訊號，將重建的殘差訊號與當前待編碼圖像區塊的預測訊號相加，得到當前待編碼圖像區塊的重建訊號。
對當前重建圖像區塊進行升取樣處理，目的是為了獲得原解析度的當前重建圖像區塊，從而為後續序框間預測技術做準備。
其中，對當前重建圖像區塊進行的升取樣處理存在四種可選方式：
方式一、升取樣處理是在當前圖像的所有圖像區塊都重建完成後進行的；相應的，根據當前待編碼圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待重建圖像區塊的多個參考畫素，包括：獲取M個參考重建圖像區塊中的每個參考重建圖像區塊的編碼方式；根據當前待編碼圖像區塊的編碼方式、M個參考重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待編碼圖像區塊的多個參考畫素。
方式二、升取樣處理是在當前重建圖像區塊進行升取樣處理時所需的所有相鄰重建圖像區塊都重建完成後進行的；相應的，根據當前待編碼圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待重建圖像區塊的多個參考畫素，包括：獲取M個參考重建圖像區塊中的每個參考重建圖像區塊的編碼方式；根據當前待編碼圖像區塊的編碼方式、M個參考重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待編碼圖像區塊的多個參考畫素。
方式三、對當前重建圖像區塊進行升取樣處理包括：根據所需的相鄰重建圖像區塊中的當前已完成重建的一部分相鄰重建圖像區塊的畫素，對當前重建圖像區塊進行一次升取樣處理；若所需的相鄰重建圖像區塊中的當前未完成重建的另一部分相鄰重建圖像區塊已完成重建，則根據另一部分相鄰重建圖像區塊對當前重建圖像區塊的部分邊界進行二次升取樣處理，其中，當前重建圖像區塊的部分邊界與另一部分相鄰重建圖像區塊鄰接。
方式四、對當前重建圖像區塊進行升取樣處理包括：根據所需的相鄰重建圖像區塊中的當前已完成重建的一部分相鄰重建圖像區塊的畫素，對當前重建圖像區塊進行一次升取樣處理；若當前圖像的所有圖像區塊均已完成重建，則根據在所需的相鄰重建圖像區塊中的另一部分相鄰重建圖像區塊對當前重建圖像區塊的部分邊界進行二次升取樣處理，其中，另一部分相鄰重建圖像區塊是在對當前重建圖像區塊進行第一次升取樣處理時未完成重建的圖像區塊；當前重建圖像區塊的部分邊界與另一部分相鄰重建圖像區塊鄰接。
上述四種方式與解碼端的四種方式完全相同，對應內容和效果在此不再贅述。
可選地，所述一部分相鄰重建圖像區塊為所述當前重建圖像區塊的上邊圖像區塊和左邊圖像區塊，所述另一部分相鄰重建圖像區塊為所述當前重建圖像區塊的下邊圖像區塊和右邊圖像區塊。
或者，
所述一部分相鄰重建圖像區塊為所述當前重建圖像區塊的左上圖像區塊，上邊圖像區塊，右上圖像區塊和左邊圖像區塊，所述另一部分相鄰重建圖像區塊為所述當前重建圖像區塊的右邊圖像區塊，左下圖像區塊，下邊圖像區塊和右下圖像區塊。
可選地，所述當前重建圖像區塊的部分邊界為所述當前重建圖像區塊的右邊界和下邊界。
可選地，所需的相鄰重建圖像區塊包括所述當前重建圖像區塊的上邊圖像區塊，下邊圖像區塊，左邊圖像區塊和右邊圖像區塊；或者，所需的相鄰重建圖像區塊包括所述當前重建圖像區塊的上邊圖像區塊，下邊圖像區塊，左邊圖像區塊，右邊圖像區塊，左上圖像區塊，左下圖像區塊，右上圖像區塊和右下圖像區塊。
可選地，基於上述方式一和方式二，對步驟S2402具體包括如下四種情況：
情況1、若當前待編碼圖像區塊的編碼方式為原解析度編碼方式，且M個參考重建圖像區塊包括編碼方式為原解析度編碼方式的參考重建圖像區塊，則在編碼方式為原解析度編碼方式的參考重建圖像區塊的畫素中確定當前待編碼圖像區塊的參考畫素。
情況2、若當前待編碼圖像區塊的編碼方式為原解析度編碼方式，且M個參考重建圖像區塊包括編碼方式為縮減取樣編碼方式的參考重建圖像區塊，則從編碼方式為縮減取樣編碼方式的參考重建圖像區塊的畫素中獲取對當前重建圖像區塊進行重建時所需的畫素，並對當前待編碼圖像區塊進行重建時所需的畫素進行升取樣處理，以得到當前待編碼圖像區塊的參考畫素。
情況3、若當前待編碼圖像區塊的編碼方式為縮減取樣編碼方式，且M個參考重建圖像區塊包括編碼方式為縮減取樣編碼方式的參考重建圖像區塊，則在編碼方式為縮減取樣編碼方式的參考重建圖像區塊的畫素中確定當前待編碼圖像區塊的參考畫素。
情況4、若當前待編碼圖像區塊的編碼方式為縮減取樣編碼方式，且M個參考重建圖像區塊包括編碼方式為原解析度編碼方式的參考重建圖像區塊，則從編碼方式為原解析度編碼方式的參考重建圖像區塊的畫素中獲取對當前待編碼圖像區塊進行重建時所需的畫素，對當前待編碼圖像區塊進行重建時所需的畫素進行縮減取樣處理，以得到當前待編碼圖像區塊的參考畫素。
上述四種情況與解碼端的四種情況類似，對應內容和效果在此不再贅述。
針對方式三和方式四，上述步驟S2402包括：若當前待編碼圖像區塊的編碼方式為原解析度編碼方式，則在M個參考重建圖像區塊的畫素中確定當前待編碼圖像區塊的參考畫素；若當前待編碼圖像區塊的編碼方式為縮減取樣編碼方式，則在M個參考重建圖像區塊的畫素中獲取對當前待編碼圖像區塊進行重建時所需的畫素，並對當前待編碼圖像區塊進行重建時所需的畫素進行縮減取樣處理，以得到所述當前待編碼圖像區塊的參考畫素。
可選地，對當前重建圖像區塊進行升取樣處理後，上述方法還包括：標識當前重建圖像區塊已完成升取樣處理。或者，按照一定的規則對當前重建圖像區塊進行升取樣處理。當升取樣處理是基於4鄰域畫素的情況時，當前重建圖像區塊的下邊圖像區塊一旦完成重建，則可以對當前重建圖像區塊進行升取樣處理。當升取樣處理是基於8鄰域畫素的情況時，當前重建圖像區塊的右下圖像區塊一旦完成重建，則可以對當前重建圖像區塊進行升取樣處理。
可選地，步驟S2401中獲取當前待編碼圖像區塊的編碼方式，包括：確定當前待編碼圖像區塊採用原解析度編碼方式時的第一編碼代價值；確定當前待編碼圖像區塊採用縮減取樣編碼方式時的第二編碼代價值；將第一編碼代價值和第二編碼代價值中較小的編碼代價值對應的編碼方式作為當前待編碼圖像區塊的編碼方式。
其中，編碼端可以採用壓縮率失真最佳化（Rate Distortion Optimization，RDO）方法計算當前編碼圖像區塊的編碼代價值。RDO方法是一種提升影片壓縮性能的最佳化方法。其原理是對影像的有損（畫面品質）與位元速率（編碼所需的資料量）同時進行最佳化，以求達到一個最佳的平衡點。雖然此演算法一開始是在影片壓縮的編碼器中被使用，但也可以用於各種多媒體編碼包含影像、音訊等等，只要編碼時會同時考慮到品質及檔案大小皆可使用。
基於此，本發明中，待編碼圖像區塊採用的編碼方式為編碼代價值較小的編碼方式，從而降低編碼端的編碼複雜度，進而提高編碼端的編碼效率。
圖25為本發明一實施例提供的一種影像處理設備的結構示意圖，如圖25所示，該設備包括：解析模組2501，用於解析位元串流，以獲取當前圖像的當前待重建圖像區塊的編碼方式、所述當前待重建圖像區塊的殘差訊號、所述當前待重建圖像區塊對應的每個參考重建圖像區塊中的畫素，其中，所述編碼方式為原解析度編碼方式或者縮減取樣編碼方式，所述當前待重建圖像區塊對應M個參考重建圖像區塊，M為大於或者等於1的正整數；確定模組2502，用於根據當前待重建圖像區塊的編碼方式和M個參考重建圖像區塊中的畫素，確定當前待重建圖像區塊的多個參考畫素；生成模組2503，用於根據多個參考畫素生成當前待重建圖像區塊的預測訊號；重建模組2504，用於根據預測訊號和殘差訊號生成當前待重建圖像區塊的重建訊號，並根據重建訊號重建當前待重建圖像區塊，得到當前重建圖像區塊。
可選地，還包括：處理模組2505。其中，處理模組2505用於若當前重建圖像區塊的編碼方式為所述縮減取樣編碼方式，則基於當前重建圖像區塊進行升取樣處理時所需的相鄰重建圖像區塊的畫素，對當前重建圖像區塊進行升取樣處理。
可選地，處理模組2505具體用於：在所述當前圖像的所有圖像區塊都重建完成後進行所述升取樣處理。相應的，位元串流包括：所述M個參考重建圖像區塊中的每個參考重建圖像區塊的編碼方式；所述確定模組2502具體用於：根據所述當前待重建圖像區塊的編碼方式、所述M個參考重建圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待重建圖像區塊的多個參考畫素。
可選地，處理模組2505具體用於：在當前重建圖像區塊進行升取樣處理時所需的所有相鄰重建圖像區塊都重建完成後進行升取樣處理。相應的，位元串流包括：所述M個參考重建圖像區塊中的每個參考重建圖像區塊的編碼方式；所述確定模組2502具體用於：根據所述當前待重建圖像區塊的編碼方式、所述M個參考重建圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待重建圖像區塊的多個參考畫素。
可選地，確定模組2502具體用於：若當前待重建圖像區塊的編碼方式為原解析度編碼方式，且M個參考重建圖像區塊包括編碼方式為原解析度編碼方式的參考重建圖像區塊，則在編碼方式為原解析度編碼方式的參考重建圖像區塊的畫素中確定當前待重建圖像區塊的參考畫素；若當前待重建圖像區塊的編碼方式為原解析度編碼方式，且M個參考重建圖像區塊包括編碼方式為縮減取樣編碼方式的參考重建圖像區塊，則從編碼方式為縮減取樣編碼方式的參考重建圖像區塊的畫素中獲取對當前待重建圖像區塊進行重建時所需的畫素，並對當前待重建圖像區塊進行重建時所需的畫素進行升取樣處理，以得到當前待重建圖像區塊的參考畫素；若當前待重建圖像區塊的編碼方式為縮減取樣編碼方式，且M個參考重建圖像區塊包括編碼方式為縮減取樣編碼方式的參考重建圖像區塊，則在編碼方式為縮減取樣編碼方式的參考重建圖像區塊的畫素中確定當前待重建圖像區塊的參考畫素；若當前待重建圖像區塊的編碼方式為縮減取樣編碼方式，且M個參考重建圖像區塊包括編碼方式為原解析度編碼方式的參考重建圖像區塊，則從編碼方式為原解析度編碼方式的參考重建圖像區塊的畫素中獲取對當前待重建圖像區塊進行重建時所需的畫素，對當前待重建圖像區塊進行重建時所需的畫素進行縮減取樣處理，以得到當前待重建圖像區塊的參考畫素。
可選地，處理模組2505具體用於：根據所需的相鄰重建圖像區塊中的當前已完成重建的一部分相鄰重建圖像區塊的畫素，對所述當前重建圖像區塊進行一次升取樣處理；若所需的相鄰重建圖像區塊中的當前未完成重建的另一部分相鄰重建圖像區塊已完成重建，則根據另一部分相鄰重建圖像區塊對所述當前重建圖像區塊的部分邊界進行二次升取樣處理，其中，當前重建圖像區塊的部分邊界與所述另一部分相鄰重建圖像區塊鄰接。
可選地，處理模組2505具體用於：根據所需的相鄰重建圖像區塊中的當前已完成重建的一部分相鄰重建圖像區塊的畫素，對當前重建圖像區塊進行一次升取樣處理；若當前圖像的所有圖像區塊均已完成重建，則根據在所需的相鄰重建圖像區塊中的另一部分相鄰重建圖像區塊對當前重建圖像區塊的部分邊界進行二次升取樣處理，其中，另一部分相鄰重建圖像區塊是在對當前重建圖像區塊進行第一次升取樣處理時未完成重建的圖像區塊；當前重建圖像區塊的部分邊界與另一部分相鄰重建圖像區塊鄰接。
可選地，確定模組2502具體用於：若當前待重建圖像區塊的編碼方式為原解析度編碼方式，則在M個參考重建圖像區塊的畫素中確定所述當前待重建圖像區塊的參考畫素；若當前待重建圖像區塊的編碼方式為所述縮減取樣編碼方式，則在所述M個參考重建圖像區塊的畫素中獲取對所述當前待重建圖像區塊進行重建時所需的畫素，並對當前待重建圖像區塊進行重建時所需的畫素進行縮減取樣處理，以得到所述當前待重建圖像區塊的參考畫素。
可選地，所述一部分相鄰重建圖像區塊為所述當前重建圖像區塊的上邊圖像區塊和左邊圖像區塊，所述另一部分相鄰重建圖像區塊為所述當前重建圖像區塊的下邊圖像區塊和右邊圖像區塊。
或者，
可選地，所述一部分相鄰重建圖像區塊為所述當前重建圖像區塊的左上圖像區塊，上邊圖像區塊，右上圖像區塊和左邊圖像區塊，所述另一部分相鄰重建圖像區塊為所述當前重建圖像區塊的右邊圖像區塊，左下圖像區塊，下邊圖像區塊和右下圖像區塊。
可選地，所述當前重建圖像區塊的部分邊界為所述當前重建圖像區塊的右邊界和下邊界。
可選地，所需的相鄰重建圖像區塊包括所述當前重建圖像區塊的上邊圖像區塊，下邊圖像區塊，左邊圖像區塊和右邊圖像區塊；或者，所需的相鄰重建圖像區塊包括當前重建圖像區塊的上邊圖像區塊，下邊圖像區塊，左邊圖像區塊，右邊圖像區塊，左上圖像區塊，左下圖像區塊，右上圖像區塊和右下圖像區塊。
可選地，處理模組2505還用於：在對所述當前重建圖像區塊進行升取樣處理後，標識所述當前重建圖像區塊已完成升取樣處理。
本發明提供的影像處理設備可以執行上述圖13對應的影像處理方法以及該方法的可選方式，其實現原理和技術效果類似，此處不再贅述。
圖26為本發明另一實施例提供的一種影像處理設備的結構示意圖，如圖26所示，該設備包括：
獲取模組2601，用於獲取當前圖像的當前待編碼圖像區塊的編碼方式、所述當前待編碼圖像區塊對應的每個參考重建圖像區塊中的畫素，其中，所述編碼方式為原解析度編碼方式或者縮減取樣編碼方式，所述當前待編碼圖像區塊對應M個參考重建圖像區塊，M為大於或者等於1的正整數。
確定模組2602，用於根據所述當前待編碼圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待編碼圖像區塊的多個參考畫素。
生成模組2603，用於根據所述多個參考畫素生成所述當前待編碼圖像區塊的預測訊號。
所述獲取模組2601，還用於獲取所述當前待編碼圖像區塊的編碼訊號，其中，當所述當前待編碼圖像區塊的編碼方式是所述原解析度編碼方式時，所述編碼訊號為所述當前待編碼圖像區塊的原始訊號，當所述當前待編碼圖像區塊的編碼方式是所述縮減取樣編碼方式時，所述編碼訊號為所述當前待編碼圖像區塊的原始訊號經過縮減取樣處理後得到的訊號。
所述生成模組2603，還用於根據所述預測訊號和所述編碼訊號生成所述當前待編碼圖像區塊的殘差訊號。
編碼模組2604，用於對殘差訊號進行編碼。
可選地，還包括處理模組2605。其中，生成模組2603還用於生成所述當前待編碼圖像區塊的重建訊號，並根據所述重建訊號重建所述當前待編碼圖像區塊，得到當前重建圖像區塊；處理模組2605，用於若當前重建圖像區塊的編碼方式為所述縮減取樣編碼方式，則基於當前重建圖像區塊進行升取樣處理時所需的相鄰重建圖像區塊的畫素，對當前重建圖像區塊進行升取樣處理。
可選地，所述處理模組2605具體用於：在所述當前圖像的所有圖像區塊都重建完成後進行所述升取樣處理；相應的，所述確定模組2602具體用於：獲取所述M個參考重建圖像區塊中的每個參考重建圖像區塊的編碼方式；根據所述當前待編碼圖像區塊的編碼方式、所述M個參考重建圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待編碼圖像區塊的多個參考畫素。
可選地，所述處理模組2605具體用於：在當前重建圖像區塊進行升取樣處理時所需的所有相鄰重建圖像區塊都重建完成後進行升取樣處理。
可選地，確定模組2602具體用於：若當前待編碼圖像區塊的編碼方式為原解析度編碼方式，且M個參考重建圖像區塊包括編碼方式為原解析度編碼方式的參考重建圖像區塊，則在編碼方式為原解析度編碼方式的參考重建圖像區塊的畫素中確定當前待編碼圖像區塊的參考畫素；若當前待編碼圖像區塊的編碼方式為原解析度編碼方式，且M個參考重建圖像區塊包括編碼方式為縮減取樣編碼方式的參考重建圖像區塊，則從編碼方式為縮減取樣編碼方式的參考重建圖像區塊的畫素中獲取對當前重建圖像區塊進行重建時所需的畫素，並對當前待編碼圖像區塊進行重建時所需的畫素進行升取樣處理，以得到當前待編碼圖像區塊的參考畫素；若當前待編碼圖像區塊的編碼方式為縮減取樣編碼方式，且M個參考重建圖像區塊包括編碼方式為縮減取樣編碼方式的參考重建圖像區塊，則在編碼方式為縮減取樣編碼方式的參考重建圖像區塊的畫素中確定當前待編碼圖像區塊的參考畫素；若當前待編碼圖像區塊的編碼方式為縮減取樣編碼方式，且M個參考重建圖像區塊包括編碼方式為原解析度編碼方式的參考重建圖像區塊，則從編碼方式為原解析度編碼方式的參考重建圖像區塊的畫素中獲取對當前待編碼圖像區塊進行重建時所需的畫素，對當前待編碼圖像區塊進行重建時所需的畫素進行縮減取樣處理，以得到當前待編碼圖像區塊的參考畫素。
可選地，所述處理模組2605具體用於：根據所需的相鄰重建圖像區塊中的當前已完成重建的一部分相鄰重建圖像區塊的畫素，對當前重建圖像區塊進行一次升取樣處理；若所需的相鄰重建圖像區塊中的當前未完成重建的另一部分相鄰重建圖像區塊已完成重建，則根據另一部分相鄰重建圖像區塊對當前重建圖像區塊的部分邊界進行二次升取樣處理，其中，當前重建圖像區塊的部分邊界與另一部分相鄰重建圖像區塊鄰接。
可選地，所述處理模組2605具體用於：根據所需的相鄰重建圖像區塊中的當前已完成重建的一部分相鄰重建圖像區塊的畫素，對當前重建圖像區塊進行一次升取樣處理；若當前圖像的所有圖像區塊均已完成重建，則根據在所需的相鄰重建圖像區塊中的另一部分相鄰重建圖像區塊對當前重建圖像區塊的部分邊界進行二次升取樣處理，其中，另一部分相鄰重建圖像區塊是在對當前重建圖像區塊進行第一次升取樣處理時未完成重建的圖像區塊；當前重建圖像區塊的部分邊界與另一部分相鄰重建圖像區塊鄰接。
可選地，確定模組2502具體用於：若當前待編碼圖像區塊的編碼方式為原解析度編碼方式，則在M個參考重建圖像區塊的畫素中確定所述當前待編碼圖像區塊的參考畫素；若所述當前待編碼圖像區塊的編碼方式為所述縮減取樣編碼方式，則在所述M個參考重建圖像區塊的畫素中獲取對所述當前待編碼圖像區塊進行重建時所需的畫素，並對所述當前待編碼圖像區塊進行重建時所需的畫素進行縮減取樣處理，以得到所述當前待編碼圖像區塊的參考畫素。
可選地，所述一部分相鄰重建圖像區塊為所述當前重建圖像區塊的上邊圖像區塊和左邊圖像區塊，所述另一部分相鄰重建圖像區塊為所述當前重建圖像區塊的下邊圖像區塊和右邊圖像區塊。
或者，
所述一部分相鄰重建圖像區塊為所述當前重建圖像區塊的左上圖像區塊，上邊圖像區塊，右上圖像區塊和左邊圖像區塊，所述另一部分相鄰重建圖像區塊為所述當前重建圖像區塊的右邊圖像區塊，左下圖像區塊，下邊圖像區塊和右下圖像區塊。
可選地，所述當前重建圖像區塊的部分邊界為所述當前重建圖像區塊的右邊界和下邊界。
所述所需的相鄰重建圖像區塊包括所述當前重建圖像區塊的上邊圖像區塊，下邊圖像區塊，左邊圖像區塊和右邊圖像區塊；或者，所述所需的相鄰重建圖像區塊包括所述當前重建圖像區塊的上邊圖像區塊，下邊圖像區塊，左邊圖像區塊，右邊圖像區塊，左上圖像區塊，左下圖像區塊，右上圖像區塊和右下圖像區塊。
可選地，所述處理模組2605還用於：在對所述當前重建圖像區塊進行升取樣處理後，標識所述當前重建圖像區塊已完成升取樣處理。
可選地，所述獲取模組2601具體用於：確定當前待編碼圖像區塊採用原解析度編碼方式時的第一編碼代價值；確定當前待編碼圖像區塊採用縮減取樣編碼方式時的第二編碼代價值；將第一編碼代價值和第二編碼代價值中較小的編碼代價值對應的編碼方式作為所述當前待編碼圖像區塊的編碼方式。
本發明提供的影像處理設備可以執行上述圖24對應的影像處理方法以及該方法的可選方式，其實現原理和技術效果類似，此處不再贅述。
圖27為本發明提供的一種影像處理系統的結構示意圖，如圖27所示，該系統包括：上述解碼端的影像處理設備2701，以及編碼端的影像處理設備2702。
本發明提供一種影像處理設備，該設備包括：處理器和用於儲存所述處理器的可執行指令的記憶體；其中該處理器可以執行圖13對應的影像處理方法以及該方法的可選方式。其實現原理和技術效果類似，此處不再贅述。
本發明提供一種影像處理設備，該設備包括：處理器和用於儲存所述處理器的可執行指令的記憶體；其中該處理器可以執行圖24對應的影像處理方法以及該方法的可選方式。其實現原理和技術效果類似，此處不再贅述。
本發明提供的影像處理系統包括的解碼端的影像處理設備可以執行上述圖13對應的影像處理方法以及該方法的可選方式，包括的編碼端的影像處理設備可以執行上述圖24對應的影像處理方法以及該方法的可選方式，其實現原理和技術效果類似，此處不再贅述。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S1301~ S1304、S2401~ S2406‧‧‧步驟
2501‧‧‧解析模組
2502‧‧‧確定模組
2503‧‧‧生成模組
2504‧‧‧重建模組
2505‧‧‧處理模組
2601‧‧‧獲取模組
2602‧‧‧確定模組
2603‧‧‧生成模組
2604‧‧‧編碼模組
2605‧‧‧處理模組
2701‧‧‧圖像處理設備
2702‧‧‧圖像處理設備
圖1為本發明提供的數位影片的示意圖； 圖2為本發明提供的數位圖像的示意圖； 圖3為本發明提供的編碼端的編碼示意圖； 圖4為本發明提供的解碼端的解碼示意圖； 圖5為本發明提供的編碼端的編碼示意圖； 圖6為本發明一實施例提供的正在編碼的圖像的示意圖； 圖7為本發明一實施例提供的參考畫素範本的示意圖； 圖8A和圖8B為本發明一實施例提供的Planar模式的示意圖； 圖9為本發明一實施例提供的33種角度預測模式的具體方向示意圖； 圖10為本發明一實施例提供的圖像縮減取樣示意圖； 圖11為本發明一實施例提供的圖像升取樣示意圖； 圖12為本發明一實施例提供的圖像升取樣示意圖； 圖13為本發明一實施例提供的一種影像處理方法的流程圖； 圖14為本發明一實施例提供的4鄰域畫素的示意圖； 圖15為本發明一實施例提供的8鄰域畫素的示意圖； 圖16為本發明一實施例提供的圖像升取樣示意圖； 圖17為本發明另一實施例提供的圖像升取樣示意圖； 圖18為本發明一實施例提供的圖像升取樣示意圖； 圖19為本發明另一實施例提供的圖像升取樣示意圖； 圖20為本發明一實施例提供的當前待重建圖像區塊與參考重建圖像區塊的示意圖； 圖21為本發明一實施例提供的當前待重建圖像區塊與參考重建圖像區塊的示意圖； 圖22為本發明一實施例提供的當前待重建圖像區塊與參考重建圖像區塊的示意圖； 圖23為本發明一實施例提供的當前待重建圖像區塊與參考重建圖像區塊的示意圖； 圖24為本發明另一實施例提供的一種影像處理方法的流程圖； 圖25為本發明一實施例提供的一種影像處理設備的結構示意圖； 圖26為本發明另一實施例提供的一種影像處理設備的結構示意圖； 圖27為本發明提供的一種影像處理系統的結構示意圖。

Claims (51)

  1. 一種影像處理方法，其特徵在於，包括：解析位元串流，以獲取當前圖像的當前待重建圖像區塊的編碼方式、所述當前待重建圖像區塊的殘差訊號、所述當前待重建圖像區塊對應的每個參考重建圖像區塊中的畫素，其中，所述編碼方式為原解析度編碼方式或者縮減取樣編碼方式，所述當前待重建圖像區塊對應M個參考重建圖像區塊，M為正整數；根據所述當前待重建圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待重建圖像區塊的多個參考畫素；根據所述多個參考畫素生成所述當前待重建圖像區塊的預測訊號；根據所述預測訊號和所述殘差訊號生成所述當前待重建圖像區塊的重建訊號，並根據所述重建訊號重建所述當前待重建圖像區塊，得到當前重建圖像區塊。
  2. 如申請專利範圍第1項所述之方法，若所述當前重建圖像區塊的編碼方式為所述縮減取樣編碼方式，則所述方法還包括：基於所述當前重建圖像區塊進行升取樣處理時所需的相鄰重建圖像區塊的畫素，對所述當前重建圖像區塊進行升取樣處理。
  3. 如申請專利範圍第2項所述之方法，所述升取樣處理是在所述當前圖像的所有圖像區塊都重建完成後進行的； 相應的，所述位元串流包括：所述M個參考重建圖像區塊中的每個參考重建圖像區塊的編碼方式；所述根據所述當前待重建圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待重建圖像區塊的多個參考畫素，包括：根據所述當前待重建圖像區塊的編碼方式、所述M個參考重建圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待重建圖像區塊的多個參考畫素。
  4. 如申請專利範圍第2項所述之方法，所述升取樣處理是在所述當前重建圖像區塊進行升取樣處理時所需的所有相鄰重建圖像區塊都重建完成後進行的；相應的，所述位元串流包括：所述M個參考重建圖像區塊中的每個參考重建圖像區塊的編碼方式；所述根據所述當前待重建圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待重建圖像區塊的多個參考畫素，包括：根據所述當前待重建圖像區塊的編碼方式、所述M個參考重建圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待重建圖像區塊的多個參考畫素。
  5. 如申請專利範圍第3或4項所述之方法，所述根據所述當前待重建圖像區塊的編碼方式、所述M個參考重建圖像區塊的 編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待重建圖像區塊的多個參考畫素，包括：若所述當前待重建圖像區塊的編碼方式為原解析度編碼方式，且所述M個參考重建圖像區塊包括編碼方式為原解析度編碼方式的參考重建圖像區塊，則在所述編碼方式為原解析度編碼方式的參考重建圖像區塊的畫素中確定所述當前待重建圖像區塊的參考畫素；若所述當前待重建圖像區塊的編碼方式為原解析度編碼方式，且所述M個參考重建圖像區塊包括編碼方式為縮減取樣編碼方式的參考重建圖像區塊，則從所述編碼方式為縮減取樣編碼方式的參考重建圖像區塊的畫素中獲取對所述當前待重建圖像區塊進行重建時所需的畫素，並對所述當前待重建圖像區塊進行重建時所需的畫素進行升取樣處理，以得到所述當前待重建圖像區塊的參考畫素；若所述當前待重建圖像區塊的編碼方式為縮減取樣編碼方式，且所述M個參考重建圖像區塊包括編碼方式為縮減取樣編碼方式的參考重建圖像區塊，則在所述編碼方式為縮減取樣編碼方式的參考重建圖像區塊的畫素中確定所述當前待重建圖像區塊的參考畫素；若所述當前待重建圖像區塊的編碼方式為所述縮減取樣編碼方式，且所述M個參考重建圖像區塊包括編碼方式為原解析度編碼方式的參考重建圖像區塊，則從編碼方式為原解析度編碼方式 的參考重建圖像區塊的畫素中獲取對所述當前待重建圖像區塊進行重建時所需的畫素，對所述當前待重建圖像區塊進行重建時所需的畫素進行縮減取樣處理，以得到所述當前待重建圖像區塊的參考畫素。
  6. 如申請專利範圍第2項所述之方法，所述對所述當前重建圖像區塊進行升取樣處理包括：根據所述所需的相鄰重建圖像區塊中的當前已完成重建的一部分相鄰重建圖像區塊的畫素，對所述當前重建圖像區塊進行一次升取樣處理；若所述所需的相鄰重建圖像區塊中的當前未完成重建的另一部分相鄰重建圖像區塊已完成重建，則根據所述另一部分相鄰重建圖像區塊對所述當前重建圖像區塊的部分邊界進行二次升取樣處理，其中，所述當前重建圖像區塊的所述部分邊界與所述另一部分相鄰重建圖像區塊鄰接。
  7. 如申請專利範圍第2項所述之方法，所述對所述當前重建圖像區塊進行升取樣處理包括：根據所述所需的相鄰重建圖像區塊中的當前已完成重建的一部分相鄰重建圖像區塊的畫素，對所述當前重建圖像區塊進行一次升取樣處理；若所述當前圖像的所有圖像區塊均已完成重建，則根據在所述所需的相鄰重建圖像區塊中的另一部分相鄰重建圖像區塊對所述當前重建圖像區塊的部分邊界進行二次升取樣處理，其中，所 述另一部分相鄰重建圖像區塊是在對所述當前重建圖像區塊進行第一次升取樣處理時未完成重建的圖像區塊；所述當前重建圖像區塊的所述部分邊界與所述另一部分相鄰重建圖像區塊鄰接。
  8. 如申請專利範圍第6或7項所述之方法，所述根據所述當前待重建圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待重建圖像區塊的多個參考畫素，包括：若所述當前待重建圖像區塊的編碼方式為原解析度編碼方式，則在所述M個參考重建圖像區塊的畫素中確定所述當前待重建圖像區塊的參考畫素；若所述當前待重建圖像區塊的編碼方式為所述縮減取樣編碼方式，則在所述M個參考重建圖像區塊的畫素中獲取對所述當前待重建圖像區塊進行重建時所需的畫素，並對所述當前待重建圖像區塊進行重建時所需的畫素進行縮減取樣處理，以得到所述當前待重建圖像區塊的參考畫素。
  9. 如申請專利範圍第6或7項所述之方法，所述一部分相鄰重建圖像區塊為所述當前重建圖像區塊的上邊圖像區塊和左邊圖像區塊，所述另一部分相鄰重建圖像區塊為所述當前重建圖像區塊的下邊圖像區塊和右邊圖像區塊；或者，所述一部分相鄰重建圖像區塊為所述當前重建圖像區塊的左上圖像區塊，上邊圖像區塊，右上圖像區塊和左邊圖像區塊，所述另一部分相鄰重建圖像區塊為所述當前重建圖像區塊的右邊圖像區塊，左下圖像區塊，下邊圖像區塊和右下圖像區塊。
  10. 如申請專利範圍第6或7項所述之方法，所述當前重建圖像區塊的部分邊界為所述當前重建圖像區塊的右邊界和下邊界。
  11. 如申請專利範圍第2至4、6或7任一項所述之方法，所述所需的相鄰重建圖像區塊包括所述當前重建圖像區塊的上邊圖像區塊，下邊圖像區塊，左邊圖像區塊和右邊圖像區塊；或者，所述所需的相鄰重建圖像區塊包括所述當前重建圖像區塊的上邊圖像區塊，下邊圖像區塊，左邊圖像區塊，右邊圖像區塊，左上圖像區塊，左下圖像區塊，右上圖像區塊和右下圖像區塊。
  12. 如申請專利範圍第2至4、6或7任一項所述之方法，所述對所述當前重建圖像區塊進行升取樣處理後，所述方法還包括：標識所述當前重建圖像區塊已完成升取樣處理。
  13. 一種影像處理方法，其特徵在於，包括：獲取當前圖像的當前待編碼圖像區塊的編碼方式、所述當前待編碼圖像區塊對應的每個參考重建圖像區塊中的畫素，其中，所述編碼方式為原解析度編碼方式或者縮減取樣編碼方式，所述當前待編碼圖像區塊對應M個參考重建圖像區塊，M為大於或者等於1的正整數；根據所述當前待編碼圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待編碼圖像區塊的多個參考畫素；根據所述多個參考畫素生成所述當前待編碼圖像區塊的預測 訊號；獲取所述當前待編碼圖像區塊的編碼訊號，其中，當所述當前待編碼圖像區塊的編碼方式是所述原解析度編碼方式時，所述編碼訊號為所述當前待編碼圖像區塊的原始訊號，當所述當前待編碼圖像區塊的編碼方式是所述縮減取樣編碼方式時，所述編碼訊號為所述當前待編碼圖像區塊的原始訊號經過縮減取樣處理後得到的訊號；根據所述預測訊號和所述編碼訊號生成所述當前待編碼圖像區塊的殘差訊號；對所述殘差訊號進行編碼。
  14. 如申請專利範圍第13項所述之方法，還包括：生成所述當前待編碼圖像區塊的重建訊號，並根據所述重建訊號重建所述當前待編碼圖像區塊，得到當前重建圖像區塊；若所述當前重建圖像區塊的編碼方式為所述縮減取樣編碼方式，則基於所述當前重建圖像區塊進行升取樣處理時所需的相鄰重建圖像區塊的畫素，對所述當前重建圖像區塊進行升取樣處理。
  15. 如申請專利範圍第14項所述之方法，所述升取樣處理是在所述當前圖像的所有圖像區塊都重建完成後進行的；相應的，所述根據所述當前待編碼圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待重建圖像區塊的多個參考畫素，包括：獲取所述M個參考重建圖像區塊中的每個參考重建圖像區塊 的編碼方式；根據所述當前待編碼圖像區塊的編碼方式、所述M個參考重建圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待編碼圖像區塊的多個參考畫素。
  16. 如申請專利範圍第14項所述之方法，所述升取樣處理是在所述當前重建圖像區塊進行升取樣處理時所需的所有相鄰重建圖像區塊都重建完成後進行的；相應的，所述根據所述當前待編碼圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待重建圖像區塊的多個參考畫素，包括：獲取所述M個參考重建圖像區塊中的每個參考重建圖像區塊的編碼方式；根據所述當前待編碼圖像區塊的編碼方式、所述M個參考重建圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待編碼圖像區塊的多個參考畫素。
  17. 如申請專利範圍第15或16項所述之方法，所述根據所述當前待編碼圖像區塊的編碼方式、所述M個參考重建圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待編碼圖像區塊的多個參考畫素，包括：若所述當前待編碼圖像區塊的編碼方式為原解析度編碼方式，且所述M個參考重建圖像區塊包括編碼方式為原解析度編碼方式的參考重建圖像區塊，則在所述編碼方式為原解析度編碼方 式的參考重建圖像區塊的畫素中確定所述當前待編碼圖像區塊的參考畫素；若所述當前待編碼圖像區塊的編碼方式為原解析度編碼方式，且所述M個參考重建圖像區塊包括編碼方式為縮減取樣編碼方式的參考重建圖像區塊，則從所述編碼方式為縮減取樣編碼方式的參考重建圖像區塊的畫素中獲取對所述當前重建圖像區塊進行重建時所需的畫素，並對所述當前待編碼圖像區塊進行重建時所需的畫素進行升取樣處理，以得到所述當前待編碼圖像區塊的參考畫素；若所述當前待編碼圖像區塊的編碼方式為縮減取樣編碼方式，且所述M個參考重建圖像區塊包括編碼方式為縮減取樣編碼方式的參考重建圖像區塊，則在所述編碼方式為縮減取樣編碼方式的參考重建圖像區塊的畫素中確定所述當前待編碼圖像區塊的參考畫素；若所述當前待編碼圖像區塊的編碼方式為所述縮減取樣編碼方式，且所述M個參考重建圖像區塊包括編碼方式為原解析度編碼方式的參考重建圖像區塊，則從編碼方式為原解析度編碼方式的參考重建圖像區塊的畫素中獲取對所述當前待編碼圖像區塊進行重建時所需的畫素，對所述當前待編碼圖像區塊進行重建時所需的畫素進行縮減取樣處理，以得到所述當前待編碼圖像區塊的參考畫素。
  18. 如申請專利範圍第14項所述之方法，所述對所述當前重建圖像區塊進行升取樣處理包括：根據所述所需的相鄰重建圖像區塊中的當前已完成重建的一部分相鄰重建圖像區塊的畫素，對所述當前重建圖像區塊進行一次升取樣處理；若所述所需的相鄰重建圖像區塊中的當前未完成重建的另一部分相鄰重建圖像區塊已完成重建，則根據所述另一部分相鄰重建圖像區塊對所述當前重建圖像區塊的部分邊界進行二次升取樣處理，其中，所述當前重建圖像區塊的所述部分邊界與所述另一部分相鄰重建圖像區塊鄰接。
  19. 如申請專利範圍第14項所述之方法，所述對所述當前重建圖像區塊進行升取樣處理包括：根據所述所需的相鄰重建圖像區塊中的當前已完成重建的一部分相鄰重建圖像區塊的畫素，對所述當前重建圖像區塊進行一次升取樣處理；若所述當前圖像的所有圖像區塊均已完成重建，則根據在所述所需的相鄰重建圖像區塊中的另一部分相鄰重建圖像區塊對所述當前重建圖像區塊的部分邊界進行二次升取樣處理，其中，所述另一部分相鄰重建圖像區塊是在對所述當前重建圖像區塊進行第一次升取樣處理時未完成重建的圖像區塊；所述當前重建圖像區塊的所述部分邊界與所述另一部分相鄰重建圖像區塊鄰接。
  20. 如申請專利範圍第18或19項所述之方法，所述根據所述當前待編碼圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待編碼圖像區塊的多個參考畫素，包括：若所述當前待編碼圖像區塊的編碼方式為原解析度編碼方式，則在所述M個參考重建圖像區塊的畫素中確定所述當前待編碼圖像區塊的參考畫素；若所述當前待編碼圖像區塊的編碼方式為所述縮減取樣編碼方式，則在所述M個參考重建圖像區塊的畫素中獲取對所述當前待編碼圖像區塊進行重建時所需的畫素，並對所述當前待編碼圖像區塊進行重建時所需的畫素進行縮減取樣處理，以得到所述當前待編碼圖像區塊的參考畫素。
  21. 如申請專利範圍第18或19項所述之方法，所述一部分相鄰重建圖像區塊為所述當前重建圖像區塊的上邊圖像區塊和左邊圖像區塊，所述另一部分相鄰重建圖像區塊為所述當前重建圖像區塊的下邊圖像區塊和右邊圖像區塊；或者，所述一部分相鄰重建圖像區塊為所述當前重建圖像區塊的左上圖像區塊，上邊圖像區塊，右上圖像區塊和左邊圖像區塊，所述另一部分相鄰重建圖像區塊為所述當前重建圖像區塊的右邊圖像區塊，左下圖像區塊，下邊圖像區塊和右下圖像區塊。
  22. 如申請專利範圍第18或19項所述之方法，所述當前重建圖像區塊的部分邊界為所述當前重建圖像區塊的右邊界和下邊界。
  23. 如申請專利範圍第14至16、18或19任一項所述之方法，所述所需的相鄰重建圖像區塊包括所述當前重建圖像區塊的上邊圖像區塊，下邊圖像區塊，左邊圖像區塊和右邊圖像區塊；或者，所述所需的相鄰重建圖像區塊包括所述當前重建圖像區塊的上邊圖像區塊，下邊圖像區塊，左邊圖像區塊，右邊圖像區塊，左上圖像區塊，左下圖像區塊，右上圖像區塊和右下圖像區塊。
  24. 如申請專利範圍第14至16、18或19項所述之方法，所述對所述當前重建圖像區塊進行升取樣處理後，所述方法還包括：標識所述當前重建圖像區塊已完成升取樣處理。
  25. 如申請專利範圍第13至16、18或19任一項所述之方法，所述獲取當前待編碼圖像區塊的編碼方式，包括：確定所述當前待編碼圖像區塊採用原解析度編碼方式時的第一編碼代價值；確定所述當前待編碼圖像區塊採用縮減取樣編碼方式時的第二編碼代價值；將所述第一編碼代價值和所述第二編碼代價值中較小的編碼代價值對應的編碼方式作為所述當前待編碼圖像區塊的編碼方式。
  26. 一種影像處理設備，其特徵在於，包括：解析模組，用於解析位元串流，以獲取當前圖像的當前待重建圖像區塊的編碼方式、所述當前待重建圖像區塊的殘差訊號、所述當前待重建圖像區塊對應的每個參考重建圖像區塊中的畫素，其中，所述編碼方式為原解析度編碼方式或者縮減取樣編碼方式，所述當前待重建圖像區塊對應M個參考重建圖像區塊，M為大於或者等於1的正整數；確定模組，用於根據所述當前待重建圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待重建圖像區塊的多個參考畫素；生成模組，用於根據所述多個參考畫素生成所述當前待重建圖像區塊的預測訊號；重建模組，用於根據所述預測訊號和所述殘差訊號生成所述當前待重建圖像區塊的重建訊號，並根據所述重建訊號重建所述當前待重建圖像區塊，得到當前重建圖像區塊。
  27. 如申請專利範圍第26項所述之設備，還包括：處理模組；所述處理模組，用於若所述當前重建圖像區塊的編碼方式為所述縮減取樣編碼方式，則基於所述當前重建圖像區塊進行升取樣處理時所需的相鄰重建圖像區塊的畫素，對所述當前重建圖像區塊進行升取樣處理。
  28. 如申請專利範圍第26項所述之設備，所述處理模組具體用於：在所述當前圖像的所有圖像區塊都重建完成後進行所述升取樣處理；相應的，所述位元串流包括：所述M個參考重建圖像區塊中的每個參考重建圖像區塊的編碼方式；所述確定模組具體用於：根據所述當前待重建圖像區塊的編碼方式、所述M個參考重建圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待重建圖像區塊的多個參考畫素。
  29. 如申請專利範圍第26項所述之設備，所述處理模組具體用於：在所述當前重建圖像區塊進行升取樣處理時所需的所有相鄰重建圖像區塊都重建完成後進行所述升取樣處理；相應的，所述位元串流包括：所述M個參考重建圖像區塊中的每個參考重建圖像區塊的編碼方式；所述確定模組具體用於：根據所述當前待重建圖像區塊的編碼方式、所述M個參考重建圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待重建圖像區塊的多個參考畫素。
  30. 如申請專利範圍第28或29項所述之設備，所述確定模組具體用於：若所述當前待重建圖像區塊的編碼方式為原解析度編碼方式，且所述M個參考重建圖像區塊包括編碼方式為原解析度編碼 方式的參考重建圖像區塊，則在所述編碼方式為原解析度編碼方式的參考重建圖像區塊的畫素中確定所述當前待重建圖像區塊的參考畫素；若所述當前待重建圖像區塊的編碼方式為原解析度編碼方式，且所述M個參考重建圖像區塊包括編碼方式為縮減取樣編碼方式的參考重建圖像區塊，則從所述編碼方式為縮減取樣編碼方式的參考重建圖像區塊的畫素中獲取對所述當前待重建圖像區塊進行重建時所需的畫素，並對所述當前待重建圖像區塊進行重建時所需的畫素進行升取樣處理，以得到所述當前待重建圖像區塊的參考畫素；若所述當前待重建圖像區塊的編碼方式為縮減取樣編碼方式，且所述M個參考重建圖像區塊包括編碼方式為縮減取樣編碼方式的參考重建圖像區塊，則在所述編碼方式為縮減取樣編碼方式的參考重建圖像區塊的畫素中確定所述當前待重建圖像區塊的參考畫素；若所述當前待重建圖像區塊的編碼方式為所述縮減取樣編碼方式，且所述M個參考重建圖像區塊包括編碼方式為原解析度編碼方式的參考重建圖像區塊，則從編碼方式為原解析度編碼方式的參考重建圖像區塊的畫素中獲取對所述當前待重建圖像區塊進行重建時所需的畫素，對所述當前待重建圖像區塊進行重建時所需的畫素進行縮減取樣處理，以得到所述當前待重建圖像區塊的參考畫素。
  31. 如申請專利範圍第26項所述之設備，所述處理模組具體用於：根據所述所需的相鄰重建圖像區塊中的當前已完成重建的一部分相鄰重建圖像區塊的畫素，對所述當前重建圖像區塊進行一次升取樣處理；若所述所需的相鄰重建圖像區塊中的當前未完成重建的另一部分相鄰重建圖像區塊已完成重建，則根據所述另一部分相鄰重建圖像區塊對所述當前重建圖像區塊的部分邊界進行二次升取樣處理，其中，所述當前重建圖像區塊的所述部分邊界與所述另一部分相鄰重建圖像區塊鄰接。
  32. 如申請專利範圍第26項所述之設備，所述處理模組具體用於：根據所述所需的相鄰重建圖像區塊中的當前已完成重建的一部分相鄰重建圖像區塊的畫素，對所述當前重建圖像區塊進行一次升取樣處理；若所述當前圖像的所有圖像區塊均已完成重建，則根據在所述所需的相鄰重建圖像區塊中的另一部分相鄰重建圖像區塊對所述當前重建圖像區塊的部分邊界進行二次升取樣處理，其中，所述另一部分相鄰重建圖像區塊是在對所述當前重建圖像區塊進行第一次升取樣處理時未完成重建的圖像區塊；所述當前重建圖像區塊的所述部分邊界與所述另一部分相鄰重建圖像區塊鄰接。
  33. 如申請專利範圍第31或32項所述之設備，所述確定模組具體用於：若所述當前待重建圖像區塊的編碼方式為原解析度編碼方式，則在所述M個參考重建圖像區塊的畫素中確定所述當前待重建圖像區塊的參考畫素；若所述當前待重建圖像區塊的編碼方式為所述縮減取樣編碼方式，則在所述M個參考重建圖像區塊的畫素中獲取對所述當前待重建圖像區塊進行重建時所需的畫素，並對所述當前待重建圖像區塊進行重建時所需的畫素進行縮減取樣處理，以得到所述當前待重建圖像區塊的參考畫素。
  34. 如申請專利範圍第31或32項所述之設備，所述一部分相鄰重建圖像區塊為所述當前重建圖像區塊的上邊圖像區塊和左邊圖像區塊，所述另一部分相鄰重建圖像區塊為所述當前重建圖像區塊的下邊圖像區塊和右邊圖像區塊；或者，所述一部分相鄰重建圖像區塊為所述當前重建圖像區塊的左上圖像區塊，上邊圖像區塊，右上圖像區塊和左邊圖像區塊，所述另一部分相鄰重建圖像區塊為所述當前重建圖像區塊的右邊圖像區塊，左下圖像區塊，下邊圖像區塊和右下圖像區塊。
  35. 如申請專利範圍第31或32項所述之設備，所述當前重建圖像區塊的部分邊界為所述當前重建圖像區塊的右邊界和下邊界。
  36. 如申請專利範圍第27至29、31或32任一項所述之設備，所述所需的相鄰重建圖像區塊包括所述當前重建圖像區塊的上邊圖像區塊，下邊圖像區塊，左邊圖像區塊和右邊圖像區塊；或者，所述所需的相鄰重建圖像區塊包括所述當前重建圖像區塊的上邊圖像區塊，下邊圖像區塊，左邊圖像區塊，右邊圖像區塊，左上圖像區塊，左下圖像區塊，右上圖像區塊和右下圖像區塊。
  37. 如申請專利範圍第27至29、31或32任一項所述之設備，所述處理模組還用於：在對所述當前重建圖像區塊進行升取樣處理後，標識所述當前重建圖像區塊已完成升取樣處理。
  38. 一種影像處理設備，其特徵在於，包括：獲取模組，用於獲取當前圖像的當前待編碼圖像區塊的編碼方式、所述當前待編碼圖像區塊對應的每個參考重建圖像區塊中的畫素，其中，所述編碼方式為原解析度編碼方式或者縮減取樣編碼方式，所述當前待編碼圖像區塊對應M個參考重建圖像區塊，M為大於或者等於1的正整數；確定模組，用於根據所述當前待編碼圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待編碼圖像區塊的多個參考畫素；生成模組，用於根據所述多個參考畫素生成所述當前待編碼圖像區塊的預測訊號； 所述獲取模組，還用於獲取所述當前待編碼圖像區塊的編碼訊號，其中，當所述當前待編碼圖像區塊的編碼方式是所述原解析度編碼方式時，所述編碼訊號為所述當前待編碼圖像區塊的原始訊號，當所述當前待編碼圖像區塊的編碼方式是所述縮減取樣編碼方式時，所述編碼訊號為所述當前待編碼圖像區塊的原始訊號經過縮減取樣處理後得到的訊號；所述生成模組，還用於根據所述預測訊號和所述編碼訊號生成所述當前待編碼圖像區塊的殘差訊號；編碼模組，用於對所述殘差訊號進行編碼。
  39. 如申請專利範圍第38項所述之設備，還包括：處理模組；所述生成模組，還用於生成所述當前待編碼圖像區塊的重建訊號，並根據所述重建訊號重建所述當前待編碼圖像區塊，得到當前重建圖像區塊；所述處理模組，用於若所述當前重建圖像區塊的編碼方式為所述縮減取樣編碼方式，則基於所述當前重建圖像區塊進行升取樣處理時所需的相鄰重建圖像區塊的畫素，對所述當前重建圖像區塊進行升取樣處理。
  40. 如申請專利範圍第39項所述之設備，所述處理模組具體用於：在所述當前圖像的所有圖像區塊都重建完成後進行所述升取樣處理；相應的，所述確定模組具體用於： 獲取所述M個參考重建圖像區塊中的每個參考重建圖像區塊的編碼方式；根據所述當前待編碼圖像區塊的編碼方式、所述M個參考重建圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待編碼圖像區塊的多個參考畫素。
  41. 如申請專利範圍第39項所述之設備，所述處理模組具體用於：在所述當前重建圖像區塊進行升取樣處理時所需的所有相鄰重建圖像區塊都重建完成後進行所述升取樣處理；相應的，所述確定模組具體用於：獲取所述M個參考重建圖像區塊中的每個參考重建圖像區塊的編碼方式；根據所述當前待編碼圖像區塊的編碼方式、所述M個參考重建圖像區塊的編碼方式和所述M個參考重建圖像區塊中的畫素，確定所述當前待編碼圖像區塊的多個參考畫素。
  42. 如申請專利範圍第40或41項所述之設備，所述確定模組具體用於：若所述當前待編碼圖像區塊的編碼方式為原解析度編碼方式，且所述M個參考重建圖像區塊包括編碼方式為原解析度編碼方式的參考重建圖像區塊，則在所述編碼方式為原解析度編碼方式的參考重建圖像區塊的畫素中確定所述當前待編碼圖像區塊的參考畫素；若所述當前待編碼圖像區塊的編碼方式為原解析度編碼方 式，且所述M個參考重建圖像區塊包括編碼方式為縮減取樣編碼方式的參考重建圖像區塊，則從所述編碼方式為縮減取樣編碼方式的參考重建圖像區塊的畫素中獲取對所述當前重建圖像區塊進行重建時所需的畫素，並對所述當前待編碼圖像區塊進行重建時所需的畫素進行升取樣處理，以得到所述當前待編碼圖像區塊的參考畫素；若所述當前待編碼圖像區塊的編碼方式為縮減取樣編碼方式，且所述M個參考重建圖像區塊包括編碼方式為縮減取樣編碼方式的參考重建圖像區塊，則在所述編碼方式為縮減取樣編碼方式的參考重建圖像區塊的畫素中確定所述當前待編碼圖像區塊的參考畫素；若所述當前待編碼圖像區塊的編碼方式為所述縮減取樣編碼方式，且所述M個參考重建圖像區塊包括編碼方式為原解析度編碼方式的參考重建圖像區塊，則從編碼方式為原解析度編碼方式的參考重建圖像區塊的畫素中獲取對所述當前待編碼圖像區塊進行重建時所需的畫素，對所述當前待編碼圖像區塊進行重建時所需的畫素進行縮減取樣處理，以得到所述當前待編碼圖像區塊的參考畫素。
  43. 如申請專利範圍第39項所述之設備，所述處理模組具體用於：根據所述所需的相鄰重建圖像區塊中的當前已完成重建的一部分相鄰重建圖像區塊的畫素，對所述當前重建圖像區塊進行一 次升取樣處理；若所述所需的相鄰重建圖像區塊中的當前未完成重建的另一部分相鄰重建圖像區塊已完成重建，則根據所述另一部分相鄰重建圖像區塊對所述當前重建圖像區塊的部分邊界進行二次升取樣處理，其中，所述當前重建圖像區塊的所述部分邊界與所述另一部分相鄰重建圖像區塊鄰接。
  44. 如申請專利範圍第39項所述之設備，所述處理模組具體用於：根據所述所需的相鄰重建圖像區塊中的當前已完成重建的一部分相鄰重建圖像區塊的畫素，對所述當前重建圖像區塊進行一次升取樣處理；若所述當前圖像的所有圖像區塊均已完成重建，則根據在所述所需的相鄰重建圖像區塊中的另一部分相鄰重建圖像區塊對所述當前重建圖像區塊的部分邊界進行二次升取樣處理，其中，所述另一部分相鄰重建圖像區塊是在對所述當前重建圖像區塊進行第一次升取樣處理時未完成重建的圖像區塊；所述當前重建圖像區塊的所述部分邊界與所述另一部分相鄰重建圖像區塊鄰接。
  45. 如申請專利範圍第43或44項所述之設備，所述確定模組具體用於：若所述當前待編碼圖像區塊的編碼方式為原解析度編碼方式，則在所述M個參考重建圖像區塊的畫素中確定所述當前待編碼圖像區塊的參考畫素； 若所述當前待編碼圖像區塊的編碼方式為所述縮減取樣編碼方式，則在所述M個參考重建圖像區塊的畫素中獲取對所述當前待編碼圖像區塊進行重建時所需的畫素，並對所述當前待編碼圖像區塊進行重建時所需的畫素進行縮減取樣處理，以得到所述當前待編碼圖像區塊的參考畫素。
  46. 如申請專利範圍第43或44項所述之設備，所述一部分相鄰重建圖像區塊為所述當前重建圖像區塊的上邊圖像區塊和左邊圖像區塊，所述另一部分相鄰重建圖像區塊為所述當前重建圖像區塊的下邊圖像區塊和右邊圖像區塊；或者，所述一部分相鄰重建圖像區塊為所述當前重建圖像區塊的左上圖像區塊，上邊圖像區塊，右上圖像區塊和左邊圖像區塊，所述另一部分相鄰重建圖像區塊為所述當前重建圖像區塊的右邊圖像區塊，左下圖像區塊，下邊圖像區塊和右下圖像區塊。
  47. 如申請專利範圍第43或44項所述之設備，所述當前重建圖像區塊的部分邊界為所述當前重建圖像區塊的右邊界和下邊界。
  48. 如申請專利範圍第39至41、43或44任一項所述之設備，所述所需的相鄰重建圖像區塊包括所述當前重建圖像區塊的上邊圖像區塊，下邊圖像區塊，左邊圖像區塊和右邊圖像區塊；或者，所述所需的相鄰重建圖像區塊包括所述當前重建圖像區塊的上邊圖像區塊，下邊圖像區塊，左邊圖像區塊，右邊圖像區塊， 左上圖像區塊，左下圖像區塊，右上圖像區塊和右下圖像區塊。
  49. 如申請專利範圍第39至41、43或44項所述之設備，所述處理模組還用於：在對所述當前重建圖像區塊進行升取樣處理後，標識所述當前重建圖像區塊已完成升取樣處理。
  50. 如申請專利範圍第39至41、43或44項所述之設備，所述獲取模組具體用於：確定所述當前待編碼圖像區塊採用原解析度編碼方式時的第一編碼代價值；確定所述當前待編碼圖像區塊採用縮減取樣編碼方式時的第二編碼代價值；將所述第一編碼代價值和所述第二編碼代價值中較小的編碼代價值對應的編碼方式作為所述當前待編碼圖像區塊的編碼方式。
  51. 一種影像處理系統，其特徵在於，包括：如專利範圍第26至37任一項所述之影像處理設備，以及如專利範圍第38至50任一項所述之影像處理設備。
TW107116651A 2017-07-13 2018-05-16 影像處理方法、設備及系統 TWI672941B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??201710572139.7 2017-07-13
CN201710572139.7A CN109257608B (zh) 2017-07-13 2017-07-13 图像处理方法、设备及系统

Publications (2)

Publication Number Publication Date
TW201909635A TW201909635A (zh) 2019-03-01
TWI672941B true TWI672941B (zh) 2019-09-21

Family

ID=65000880

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107116651A TWI672941B (zh) 2017-07-13 2018-05-16 影像處理方法、設備及系統

Country Status (3)

Country Link
CN (1) CN109257608B (zh)
TW (1) TWI672941B (zh)
WO (1) WO2019011011A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111641831B (zh) * 2019-03-01 2023-09-01 杭州海康威视数字技术股份有限公司 帧内预测方法、装置、设备及存储介质
CN112235568B (zh) * 2019-07-15 2024-03-26 华为技术有限公司 图像编码方法、解码方法、装置和存储介质
CN111586410B (zh) * 2020-06-02 2022-04-19 浙江大华技术股份有限公司 视频编码方法、解码方法及其相关装置
CN113329228B (zh) * 2021-05-27 2024-04-26 杭州网易智企科技有限公司 视频编码方法、解码方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140078250A1 (en) * 2012-09-19 2014-03-20 Qualcomm Incorporated Advanced inter-view residual prediction in multiview or 3-dimensional video coding
CN105430417A (zh) * 2014-09-22 2016-03-23 中兴通讯股份有限公司 编码方法、解码方法、装置及电子设备
CN105556963A (zh) * 2013-10-14 2016-05-04 联发科技（新加坡）私人有限公司 用于hevc范围扩展的残差差分脉冲编码调制方法
US20170064323A1 (en) * 2011-10-26 2017-03-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using intra prediction mode
WO2017069419A1 (ko) * 2015-10-22 2017-04-27 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105338345B (zh) * 2011-10-24 2019-01-04 英孚布瑞智有限私人贸易公司 用于图像解码的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170064323A1 (en) * 2011-10-26 2017-03-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using intra prediction mode
US20140078250A1 (en) * 2012-09-19 2014-03-20 Qualcomm Incorporated Advanced inter-view residual prediction in multiview or 3-dimensional video coding
CN105556963A (zh) * 2013-10-14 2016-05-04 联发科技（新加坡）私人有限公司 用于hevc范围扩展的残差差分脉冲编码调制方法
CN105430417A (zh) * 2014-09-22 2016-03-23 中兴通讯股份有限公司 编码方法、解码方法、装置及电子设备
WO2017069419A1 (ko) * 2015-10-22 2017-04-27 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치

Also Published As

Publication number Publication date
TW201909635A (zh) 2019-03-01
CN109257608B (zh) 2021-11-30
WO2019011011A1 (zh) 2019-01-17
CN109257608A (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
TWI681670B (zh) 影像處理方法、設備及系統
KR102185954B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법
TWI672941B (zh) 影像處理方法、設備及系統
US10178387B2 (en) Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
CN108028941B (zh) 用于通过超像素编码和解码数字图像的方法和装置
JP4511788B2 (ja) タイル型ウェーブレット状変換及び希薄データコード化に基づく多解像度像データ管理システム及び方法
US20100177819A1 (en) Method and an apparatus for processing a video signal
KR20200044653A (ko) 딥 뉴럴 네트워크를 이용한 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
JP6188005B2 (ja) 濃淡画像符号化装置及び復号装置
TWI681672B (zh) 圖像處理方法、設備及系統
TWI575932B (zh) 混成視訊解碼器、混成視訊編碼器及資料串流
US20010041015A1 (en) System and method for encoding a video sequence using spatial and temporal transforms
KR20140051344A (ko) 계층형 신호 디코딩 및 신호 복원
KR20160021417A (ko) 공간적으로 확장 가능한 비디오 코딩을 위한 적응적 보간
US20090003720A1 (en) Efficient image representation by edges and low-resolution signal
JP2023513564A (ja) 点群圧縮のためのティア化階層コード化の使用
WO2023000179A1 (zh) 视频超分辨网络及视频超分辨、编解码处理方法、装置
JP4382284B2 (ja) サブバンドの符号化／復号
KR20200050284A (ko) 영상 적응적 양자화 테이블을 이용한 영상의 부호화 장치 및 방법
KR20230107627A (ko) 후처리 제어를 이용한 비디오 디코딩
KR102113904B1 (ko) 보간을 이용한 연산 방법, 인코더, 및 디코더
US20060284891A1 (en) Method for spatial up-scaling of video frames
US20240040160A1 (en) Video encoding using pre-processing
WO2017124305A1 (zh) 基于多方式边界填充的全景视频编码、解码方法和装置
US20230044603A1 (en) Apparatus and method for applying artificial intelligence-based filtering to image