TWI680673B - 視頻影像編解碼方法及設備 - Google Patents

視頻影像編解碼方法及設備 Download PDF

Info

Publication number
TWI680673B
TWI680673B TW107145311A TW107145311A TWI680673B TW I680673 B TWI680673 B TW I680673B TW 107145311 A TW107145311 A TW 107145311A TW 107145311 A TW107145311 A TW 107145311A TW I680673 B TWI680673 B TW I680673B
Authority
TW
Taiwan
Prior art keywords
sub
region
code stream
region code
level
Prior art date
Application number
TW107145311A
Other languages
English (en)
Other versions
TW201931855A (zh
Inventor
方華猛
Huameng FANG
邸佩雲
Peiyun Di
楊付正
Fuzheng Yang
Original Assignee
大陸商華為技術有限公司
Huawei Technologies Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商華為技術有限公司, Huawei Technologies Co., Ltd. filed Critical 大陸商華為技術有限公司
Publication of TW201931855A publication Critical patent/TW201931855A/zh
Application granted granted Critical
Publication of TWI680673B publication Critical patent/TWI680673B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本發明公開了一種視頻影像編解碼方法，包括：獲取全景影像的目標子影像對應的一級子區域碼流，所述一級子區域碼流包括N個二級子區域碼流，N為正整數；解析一級子區域碼流，以得到重建影像，當環外濾波標識指示對重建影像進行環外濾波時，對重建影像進行跨子區域邊界環外濾波，以得到濾波後的重建影像；調整濾波後的重建影像中的N個子區域中的至少一個子區域的位置，以得到無子區域邊界的影像。本發明實施例還提供了一種終端設備和伺服器。採用本發明實施例有利於解決內容連續的視頻影像由於劃分區域編碼引起內容不連續的問題。

Description

視頻影像編解碼方法及設備
本發明涉及影像處理領域，尤其涉及一種視頻影像編解碼方法及設備。
虛擬實境（Virtual Reality，VR）/360度全景視頻給人們帶來了新的觀看方式和視覺體驗。在VR視頻應用場景中，使用者在某一時刻觀看到的所有內容稱之為一個“視角”。VR全景視頻的影像信號可以虛擬為一種球面信號。
由於用戶觀看時每個時刻（每個時刻對應一個視角）的影像內容資訊僅占整幅全景影像的小部分，可以將整個視頻畫面進行劃分，並將當前視角對應的子區域對應的碼流進行傳輸就能夠將該視角進行呈現，而不需要將整幅影像進行傳輸。
為了節省編碼頻寬，降低終端解碼能力要求，目前基於視角的VR編碼傳輸方案被業界廣泛接受並將逐步被採用。基於視角的VR編碼傳輸方案實施步驟如下：在伺服器端，將VR全景視頻畫面劃分為若干個子區域，每個子區域對應一個子碼流；用戶端根據使用者當前時刻的視角位置資訊，請求當前視角對應的一個或多個二級子區域碼流；在伺服器端或用戶端將這些碼流組裝生成一個新的標準高效視頻編碼（High Efficiency Video Coding，HEVC）碼流，該碼流包含這些子區域碼流的視頻內容；新的標準HEVC碼流在用戶端解碼後，每個子區域影像按照各自在原VR全景視頻中的位置進行擺放，一起構成一個視角影像，送往終端呈現。
由於不同視角是由不同的子區域內容進行組合而成，相同的子區域內容可能屬於同一個視角，因此每個二級子區域碼流需要支援獨立解碼，即編碼時子區域之間不存在互相參考。由於各個子區域內容的編碼過程相互獨立，因此量化誤差分佈特性互相獨立，導致在原相鄰位置出現明顯的邊界，主觀上形成了內容不連續的“錯覺”，影響主觀體驗，因此必須對這種邊界進行平滑處理。
標準HEVC視頻編碼採用分塊編碼的策略，由於不同編碼過程中各子塊的量化誤差互相獨立，在塊的邊緣表現為重建影像的不連續，容易形成“方塊效應”。為了消除方塊效應，HEVC標準規定了一種靈活有效的環內方塊濾波方法，該濾波方法能有效消除編碼塊之間的方塊效應，也用於對HEVC標準碼流中子區域（Tile或Slice）之間的邊界進行平滑濾波。
為了解決邊界不連續的問題，現有技術採用基於標準HEVC視頻編碼的分塊編碼策略。通過邊界兩側編碼塊的編碼參數資訊（包括預測模式、量化步長等）和兩側圖元梯度資訊來決策濾波強度，可以有效避開真實邊界，只對編碼引入的邊界進行濾波平滑，從而實現較佳的邊界濾波效果。該方法預設影像的全部內容是連續的，因此直接對邊界兩端的圖元進行加權濾波處理。但是在基於視角的VR編碼傳輸方案中，每個視角所取得的子碼流經過組裝後，解碼出來的重建影像必須是一個完整的矩形，因此子碼流在組裝成一個新的碼流時，原內容連續的相鄰子區域相對位置需要進行重排，重排後相鄰的子區域內容有可能是不連續的，如果直接採用上述方法，邊界兩側區域會出現artifact現象。另一方面，該標準解碼器對重建影像進行濾波後，將該濾波後的重建影像儲存到解碼幀的緩存區中以參與後續的解碼。但是對於基於視角的VR編碼方案中，要求解碼端能夠對子區域碼流獨立解碼，解碼時必須關閉跨子區域環內濾波，因此如果在解碼端開啟跨子區域環內濾波，這就會造成編解碼不匹配。
另一種現有技術在解碼時指明了對重建影像的在同一條直線上的子區域邊界是否進行濾波。在基於視角的VR編碼傳輸系統中，每個視角對應的子區域碼流是按照無序狀態進行組裝，因此不能一刀切地指定在同一條直線上的所有子區域邊界是否進行環內濾波。即使指定了子區域需要進行邊界濾波，但該子區域與其相鄰的子區域內容並不連續，不能直接進行環內濾波。
本發明實施例提供一種視頻影像編解碼方法及設備，有利於解決內容連續的視頻影像經過內容分區域編碼引起內容不連續的問題。
第一方面，本發明實施例提供一種視頻影像編解碼方法，包括：
獲取全景影像的目標子影像對應的一級子區域碼流，所述一級子區域碼流包括N個二級子區域碼流，所述N為正整數；
解析所述一級子區域碼流，以得到重建影像，所述重建影像包括N個子區域，所述N個子區域與所述N個二級子區域碼流一一對應；
當環外濾波標識指示對所述重建影像進行跨子區域邊界環外濾波時，對所述重建影像進行跨子區域邊界環外濾波，以得到濾波後的重建影像；
調整所述濾波後的重建影像中的所述N個子區域中的至少一個子區域的位置，以得到所述目標子影像。
在一種可行的實施例中，所述獲取全景影像的一級子區域碼流，包括：
獲取所述N個二級子區域碼流；
將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包含第二輔助增強資訊（SEI），所述N個二級子區域碼流中的任一二級子區域碼流i的第二SEI用於標識所述二級子區域碼流i對應的子區域和與所述二級子區域碼流i對應的子區域相鄰的子區域，所述一級子區域碼流包含子區域資訊，所述子區域資訊用於標識所述N個子區域中的每個子區域及與每個子區域相鄰的子區域，所述一級子區域碼流的影像參數集（PPS）、序列參數集（SPS）、視頻參數集（VPS）或者第一SEI中包含所述環外濾波標識。後續對重建影像進行環外濾波時，可通過子區域資訊確定重建影像中每個子區域的相鄰子區域，從而能夠精確對子區域的邊界進行濾波。
在一種可行的實施例中，所述獲取全景影像的一級子區域碼流，包括：
獲取所述N個二級子區域碼流；
將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包括該二級子區域碼流對應的子區域在所述全景影像中的座標資訊，所述一級子區域碼流包含子區域資訊，所述子區域資訊用於標識所述N個子區域中的每個子區域在所述全景影像的座標資訊；所述一級子區域碼流的PPS、SPS、VPS或者第一SEI中包含所述環外濾波標識。後續對重建影像進行環外濾波時，可通過子區域資訊確定重建影像中每個子區域的相鄰子區域，從而能夠精確對子區域的邊界進行濾波。
在一種可行的實施例中，所述第一SEI包括所述子區域資訊。
在一種可行的實施例中，媒體描述展示（Media Presentation Description, MPD）檔包括所述子區域資訊和所述環外濾波標識，所述當環外濾波標識指示對所述重建影像進行跨子區域邊界環外濾波時，根據子區域資訊對所述重建影像進行跨子區域邊界環外濾波，以得到濾波後的重建影像之前，所述方法還包括：
獲取所述MPD文件；
所述對所述重建影像進行跨子區域邊界環外濾波，包括：
從所述MPD檔中獲得所述子區域資訊；
根據所述子區域資訊，對所述重建影像進行跨子區域邊界環外濾波。
在一種可行的實施例中，所述環外濾波標識、所述子區域資訊和所述一級子區域碼流的軌道（track）封裝於同一個盒子（box）中。
在一種可行的實施例中，所述獲取所述N個二級子區域碼流包括：
向伺服器發送碼流獲取請求，所述碼流獲取請求包括使用者視角資訊；
接收所述伺服器發送的用於回應所述碼流獲取請求的回應訊息，所述回應訊息包括所述N個二級子區域碼流，其中，所述N個二級子區域碼流對應所述使用者視角資訊。
在一種可行的實施例中，所述獲取所述N個二級子區域碼流包括：
從伺服器獲取所述全景影像對應的二級子區域碼流；
從所述全景影像對應的二級子區域碼流中獲取與使用者視角資訊對應的N個二級子區域碼流。通過將全景影像對應的二級子區域碼流下載到終端設備中，減少了終端設備與伺服器之間的交互過程。
在一種可行的實施例中，所述獲取一級子區域碼流，包括：
向伺服器發送碼流獲取請求，所述碼流獲取請求包括所述使用者視角資訊；
接收所述伺服器發送的用於回應所述碼流獲取請求的回應訊息，所述回應訊息包括所述一級子區域碼流，所述一級子區域碼流包括的N個二級子區域碼流對應所述使用者視角資訊。在伺服器中完成將N個二級子區域碼流組裝成一級子區域碼流，減小了終端設備的工作量，提高了終端設備的解碼效率。
在一種可行的實施例中，所述當環外濾波標識指示對所述重建影像進行跨子區域邊界環外濾波時，對所述重建影像進行跨子區域邊界環外濾波，以得到濾波後的重建影像，包括：
根據所述子區域資訊確定與所述N個子區域中的任一子區域j相鄰的子區域；
根據與所述子區域j相鄰的子區域確定目標子區域，所述目標子區域為與所述子區域j相鄰的子區域與所述N個子區域重疊的子區域；
對所述子區域j的邊界和所述目標子區域的邊界進行平滑濾波。根據子區域資訊對重建影像進行濾波，解決了重建影像子區域內容不連續的問題。
在一種可行的實施例中，所述當環外濾波標識指示對所述重建影像進行跨子區域邊界環外濾波時，對所述重建影像進行跨子區域邊界環外濾波，以得到濾波後的重建影像，包括：
根據所述子區域資訊確定與所述N個子區域中的任一子區域j相鄰的子區域；
從與所述子區域j相鄰的子區域獲取目標子區域，所述目標子區域為與所述子區域j相鄰的子區域與所述N個子區域重疊的子區域；
對所述子區域j的邊界和所述目標子區域的邊界進行平滑濾波。根據子區域資訊對重建影像進行濾波，解決了重建影像子區域內容不連續的問題。
第二方面，本發明實施例提供了另一種視頻影像編解碼方法，包括：
接收終端設備發送的碼流獲取請求，所述碼流獲取請求包括使用者視角資訊；
向所述終端設備發送回應訊息，所述回應訊息用於回應所述碼流獲取請求，所述回應訊息包括N個二級子區域碼流或者一級子區域碼流， 所述N個二級子區域碼流用於組裝成所述一級子區域碼流。
在一種可行的實施例中，所述回應訊息包括所述N個二級子區域碼流，所述接收終端設備發送的碼流獲取請求之後，所述方法還包括：
從全景影像對應的二級子區域碼流中獲取與所述使用者視角資訊對應的N個二級子區域碼流。
在一種可行的實施例中，所述回應訊息包括所述一級子區域碼流，所述一級子區域碼流包括N個二級子區域碼流，所述接收終端設備發送的碼流獲取請求之後，所述方法還包括：
從全景影像對應的二級子區域碼流中獲取與所述使用者視角資訊對應的N個二級子區域碼流；
將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包含第二輔助增強資訊（SEI），所述N個二級子區域碼流中的任一二級子區域碼流i的第二SEI用於標識所述二級子區域碼流i對應的子區域和與所述二級子區域碼流i對應的子區域相鄰的子區域，所述一級子區域碼流包含子區域資訊，所述子區域資訊用於標識所述N個子區域中的每個子區域及與每個子區域相鄰的子區域；所述一級子區域碼流的影像參數集（PPS）、序列參數集（SPS）、視頻參數集（VPS）或者第一SEI中包含所述環外濾波標識。
在一種可行的實施例中，所述回應訊息包括所述一級子區域碼流，所述一級子區域碼流包括N個二級子區域碼流，所述接收終端設備發送的碼流獲取請求之後，所述方法還包括：
從全景影像對應的二級子區域碼流中獲取與所述使用者視角資訊對應的N個二級子區域碼流；
將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包括每個二級子區域碼流對應的子區域在所述全景影像中的座標資訊，所述一級子區域碼流包含子區域資訊，所述子區域資訊用於標識所述N個子區域中的每個子區域在所述全景影像的座標資訊；所述一級子區域碼流的PPS、SPS、VPS或者第一SEI中包含所述環外濾波標識。
在一種可行的實施例中，所述第一SEI包括所述子區域資訊。
在一種可行的實施例中，所述子區域資訊、所述環外濾波標識和所述一級子區域碼流的軌道（track）封裝於同一個盒子（box）中，或者；
所述子區域資訊和所述環外濾波標識封裝於媒體展示描述MPD檔中。
協力廠商面，本發明實施例提供了一種終端設備，包括：
獲取單元，用於獲取全景影像的目標自影像對飲的一級子區域碼流，所述一級子區域碼流包括N個二級子區域碼流，所述N為正整數；
解析單元，用於解析所述一級子區域碼流，以得到重建影像，所述重建影像包括N個子區域，所述N個子區域與所述N個二級子區域碼流一一對應；
濾波單元，用於當環外濾波標識指示對所述重建影像進行跨子區域邊界環外濾波時，對所述重建影像進行跨子區域邊界環外濾波，以得到濾波後的重建影像；
調整單元，用於調整所述濾波後的重建影像中的所述N個子區域中的至少一個子區域的位置，以得到所述目標子影像。
在一種可行的實施例中，所述獲取單元包括：
第一獲取子單元，用於獲取所述N個二級子區域碼流；
第一組裝子單元，用於將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包含第二輔助增強資訊（SEI），所述N個二級子區域碼流中的任一二級子區域碼流i的第二SEI用於標識所述二級子區域碼流i對應的子區域的編號和與所述二級子區域碼流i對應的子區域相鄰的子區域碼流的編號，每個所述二級子區域碼流包含子區域資訊，所述子區域資訊用於標識所述N個子區域中的每個子區域及與每個子區域相鄰的子區域，所述一級子區域碼流的影像參數集（PPS）、序列參數集（SPS）、視頻參數集（VPS）或者第一SEI中包含所述環外濾波標識。
在一種可行的實施例中，所述獲取單元包括：
所述第一獲取子單元，用於獲取所述N個二級子區域碼流；
第二組裝子單元，用於將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包括每個二級子區域碼流對應的子區域在所述全景影像中的座標資訊，所述一級子區域碼流包含所述子區域資訊，所述子區域資訊用於指示所述N個子區域中的每個子區域在所述全景影像的座標資訊；所述一級子區域碼流的PPS、SPS、VPS或者第一SEI中包含所述環外濾波標識。
在一種可行的實施例中，所述第一SEI包括所述子區域資訊。
在一種可行的實施例中，所述媒體展示描述（MPD）檔包括子區域資訊和所述環外濾波標識，所述獲取單元，還用於獲取所述MPD檔；
所述濾波單元，還用於從所述MPD檔中獲得所述子區域資訊；根據所述子區域資訊，對所述重建影像進行跨子區域邊界環外濾波。
在一種可行的實施例中，所述環外濾波標識、所述子區域資訊和所述一級子區域碼流的軌道（track）封裝於同一個盒子（box）中。
在一種可行的實施例中，所述第一獲取子單元包括：
第一發送子單元，用於向伺服器發送碼流獲取請求，所述碼流獲取請求包括所述使用者視角資訊；
第一接收子單元，用於接收所述伺服器發送的用於回應所述碼流獲取請求的回應訊息，所述回應訊息包括所述N個二級子區域碼流；其中，所述N個二級子區域碼流對應所述使用者視角資訊。
在一種可行的實施例中，所述第一獲取子單元包括：
第二獲取子單元，用於從伺服器獲取所述全景影像對應的二級子區域碼流；
第三獲取子單元，用於從所述全景影像對應的二級子區域碼流中獲取與所述使用者視角資訊對應的N個二級子區域碼流。
在一種可行的實施例中，所述獲取單元包括：
第二發送子單元，用於向伺服器發送碼流獲取請求，所述碼流獲取請求包括使用者視角資訊；
第二接收子單元，用於接收所述伺服器發送的用於回應所述碼流獲取請求的回應訊息，所述回應訊息包括所述一級子區域碼流，所述一級子區域碼流包括的N個二級子區域碼流對應所述使用者視角資訊。
在一種可行的實施例中，所述濾波單元用於：
根據所述子區域資訊確定與所述N個子區域中的任一子區域j相鄰的子區域；
根據與所述子區域j相鄰的子區域確定目標子區域，所述目標子區域為與所述子區域j相鄰的子區域與所述N個子區域重疊的子區域；
對所述子區域j的邊界和所述目標子區域的邊界進行平滑濾波。
在一種可行的實施例中，所述濾波單元用於：
根據所述子區域資訊確定與所述N個子區域中的任一子區域j相鄰的子區域；
從與所述子區域j相鄰的子區域獲取目標子區域，所述目標子區域為與所述子區域j相鄰的子區域與所述N個子區域重疊的子區域；
對所述子區域j的邊界和所述目標子區域的邊界進行平滑濾波。
第四方面，本發明實施例提供了一種伺服器，包括：
接收單元，用於接收終端設備發送的碼流獲取請求，所述碼流獲取請求包括使用者視角資訊；
發送單元，用於向所述終端設備發送回應訊息，所述回應訊息用於回應所述碼流獲取請求，所述回應訊息包括N個二級子區域碼流或者一級子區域碼流， 所述N個二級子區域碼流用於組裝成所述一級子區域碼流。
在一種可行的實施例中，所述回應訊息包括所述N個二級子區域碼流，所述伺服器還包括：
第一獲取單元，用於在所述接收單元接收終端設備發送的碼流獲取請求之後，根據全景影像對應的二級子區域碼流中獲取與所述使用者視角資訊對應的N個二級子區域碼流。
在一種可行的實施例中，所述回應訊息包括所述一級子區域碼流，所述一級子區域碼流包括N個二級子區域碼流，所述伺服器還包括：
第二獲取單元，用於在所述接收單元接收終端設備發送的碼流獲取請求之後，從全景影像對應的二級子區域碼流中獲取與所述使用者視角資訊對應的N個二級子區域碼流；
第一組裝單元，用於將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包含第二輔助增強資訊（SEI），所述N個二級子區域碼流中的任一二級子區域碼流i的第二SEI用於標識所述二級子區域碼流i對應的子區域和與所述二級子區域碼流i對應的子區域相鄰的子區域，所述一級子區域碼流包含子區域資訊，所述子區域資訊用於標識所述N個子區域中的每個子區域及與所述每個子區域相鄰的子區域；所述一級子區域碼流的影像參數集（PPS）、序列參數集（SPS）、視頻參數集（VPS）或者第一SEI中包含所述環外濾波標識。
在一種可行的實施例中，所述回應訊息包括所述一級子區域碼流，所述一級子區域碼流包括N個二級子區域碼流，所述伺服器還包括：
第三獲取單元，用於在所述接收單元接收終端設備發送的碼流獲取請求之後，從全景影像對應的M個二級子區域碼流中獲取與所述使用者視角資訊對應的N個二級子區域碼流；
第二組裝單元，用於將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包括該二級子區域碼流對應的子區域在所述全景影像中的座標資訊，所述一級子區域碼流包含子區域資訊，所述子區域資訊用於標識所述N個子區域中的每個子區域在所述全景影像的座標資訊；所述一級子區域碼流的PPS、SPS、VPS或者第一SEI中包含所述環外濾波標識。
在一種可行的實施例中，所述第一SEI包括所述子區域資訊。
在一種可行的實施例中，所述環外濾波標識、所述子區域資訊和所述一級子區域碼流的軌道（track）封裝於同一個盒子（box）中，或者；
所述環外濾波標識和所述子區域資訊封裝於媒體描述展示（MPD）檔中。
第五方面，本發明實施例提供了一種終端設備，包括：
儲存有可執行程式碼的記憶體；
與所述記憶體耦合的處理器；
所述處理器調用所述記憶體中儲存的所述可執行程式碼，執行如第一方面所述的全部或者部分方法。
第六方面，本發明實施例提供了一種電腦可讀儲存介質，所述電腦儲存介質儲存有電腦程式，所述電腦程式包括程式指令，所述程式指令當被處理器執行時使所述處理器執行如第一方面所述的全部或者部分方法。
第七方面，本發明實施例提供了另一種伺服器，包括：
儲存有可執行程式碼的記憶體；
與所述記憶體耦合的處理器；
所述處理器調用所述記憶體中儲存的所述可執行程式碼，執行如第二方面所述的全部或者部分方法。
第八方面，本發明實施例提供了另一種電腦可讀儲存介質，所述電腦儲存介質儲存有電腦程式，所述電腦程式包括程式指令，所述程式指令當被處理器執行時使所述處理器執行如第二方面所述的全部或者部分方法。
可以看出，在本發明實施例的方案中，上述終端設備獲取全景影像的目標子影像對應的一級子區域碼流，所述一級子區域碼流包括N個二級子區域碼流，所述N為正整數；解析所述一級子區域碼流，以得到重建影像，所述重建影像包括N個子區域，所述N個子區域與所述N個二級子區域碼流一一對應；當環外濾波標識指示對所述重建影像進行跨子區域邊界環外濾波時，對所述重建影像進行跨子區域邊界環外濾波，以得到濾波後的重建影像；調整所述濾波後的重建影像中的所述N個子區域中的至少一個子區域的位置，以得到所述目標子影像。採用本發明實施例的方案，有利於解決內容連續的視頻影像由於劃分區域編碼引起內容不連續的問題，提高了圖片的品質。並且在上述一級子區域碼流中添加環外濾波標識後，使得標準解碼器不僅可以支援傳統的環內濾波，還支持環外濾波，提高了編碼器的適用性。
本發明的這些方面或其他方面在以下實施例的描述中會更加簡明易懂。
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
為了使本技術領域的人員更好地理解本發明方案，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案說明。
參見圖1，圖1為本發明實施例提供的一種視頻影像編解碼方法的應用場景示意圖。如圖1所示，該應用場景包括伺服器101和終端設備102。該伺服器101與該終端設備之間通過有線通信方式或者無線通訊方式進行通信。其中無線通訊方式包括GPRS、3G、4G、5G、Zigbee、Wifi、藍牙和Wiamx等。為了表示方便，僅以雙箭頭的實現表示上述通信鏈路。
其中，上述終端設備102，又稱之為使用者設備（User Equipment，UE），是一種向使用者提供語音和/或資料連通性的可以聯網的設備，例如VR眼鏡、VR頭盔、手機、平板電腦、筆記型電腦、掌上型電腦、桌上型電腦、數位電視、VR一體機、移動互聯網設備（mobile internet device，MID）、可穿戴設備，例如智慧手錶、智慧手環、計步器等。
在VR應用中，上述伺服器101將視頻的全景影像劃分為M個子區域後，並對該M個子區域中的每個子區域進行運動搜索範圍不超過子區域邊界的運動搜索編碼，得到M個二級子區域碼流。上述終端設備102獲取全景影像的目標子影像對應的一級子區域碼流，所述一級子區域碼流包括N個二級子區域碼流。上述終端設備102將解析所述一級子區域碼流，以得到重建影像，所述重建影像包括N個子區域，所述N個子區域與所述N個二級子區域碼流一一對應。當環外濾波標識指示對上述重建影像進行跨子區域邊界環外濾波時，上述終端設備102對該重建影像進行跨子區域邊界環外濾波，以得到濾波後的重建影像。上述終端設備102調整所述濾波後的重建影像中的所述N個子區域中的至少一個子區域的位置，以得到所述目標子影像。
參見圖2，圖2為本發明實施例提供的一種視頻影像編解碼方法的流程示意圖。如圖2所示，該方法包括：
S201、終端設備獲取全景影像的目標子影像對應的一級子區域碼流，所述一級子區域碼流包括N個二級子區域碼流，所述N為正整數。
需要指出的是，上述目標子影像為在上述全景影像中使用者視角資訊對應的影像，即目標子影像為上述全景影像的一部分。
其中，所述獲取全景影像的一級子區域碼流，包括：
獲取所述N個二級子區域碼流；
將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包含第二輔助增強資訊（Supplementary Enhancement Information, SEI），所述N個二級子區域碼流中的任一二級子區域碼流i的第二SEI用於標識所述二級子區域碼流i對應的子區域和與所述二級子區域碼流i對應的子區域相鄰的子區域，所述一級子區域碼流包含子區域資訊，所述子區域資訊用於標識所述N個子區域中的每個子區域及與每個子區域相鄰的子區域，所述一級子區域碼流的影像參數集（Picture Parameter Set，PPS）、序列參數集（Sequence Parameter Set，SPS）、視頻參數集（Video Parameter Set，VPS）或者第一SEI中包含所述環外濾波標識。
具體地，上述N個二級子區域碼流中的每個二級子區域碼流的第二SEI具體可參見下表1，表1為上述第二SEI語法元素表。
下面介紹上述SEI語法元素表中各語法元素的含義，假設該SEI位於子區域A對應的二級子區域碼流中。
語法元素current_region_id，用於指示上述子區域A的編號。
語法元素exist_mask_subregion，用於指示上述子區域A的上下左右四個方向上是否存在相鄰子區域。該語法元素一共4個位元，從低位元到高位元分別對應上下左右四個方向是否存在相鄰的子區域，若存在，則對應的位元上置1，反之置0。
當上述語法元素exist_mask_subregion的第1個位元（從最高位元到最低位元依次為第1個位元、第2個位元、第3個位元和第4個位元）為1時，語法元素neighbour_up_id用於指示與上述子區域A上方相鄰的子區域的編號；當上述語法元素exist_mask_subregion的第2個位元為1時，語法元素neighbour_down_id用於指示與上述子區域A下方相鄰的子區域的編號；當上述語法元素exist_mask_subregion的第3個位元為1時，語法元素neighbour_left_id用於指示與上述子區域A左邊相鄰的子區域的編號；當上述語法元素exist_mask_subregion的第4個位元為1時，語法元素neighbour_right_id用於指示與上述子區域A右邊相鄰的子區域的編號。
舉例說明，參見圖3，圖3為本發明實施例提供的一種全景影像劃分結果示意圖。如圖3所示，上述全景影像被劃分為36個子區域，並對該36個子區域進行編號，編號結果參見圖3所示。上述伺服器對該36個子區域分別進行編碼，得到36個二級子區域碼流，該36個二級子區域碼流與上述36個子區域一一對應。該36個二級子區域碼流中的每個二級子區域碼流包括上述函數region_neighbour_info_deblocking（）的第二SEI。以圖3中的編號為“a00”的子區域為例，在子區域“a00”的左邊、右邊和下方均存在與其相鄰的子區域。與子區域“a00”左邊相鄰的子區域的編號為“a05”，與子區域“00”右邊相鄰的子區域的編號為“a01”，與子區域“a00”下方相鄰的子區域的編號為“a10”，因此子區域“a00”的region_neighbour_info_ deblocking的資訊為：current_region_id=“a00”; exist_mask_subregion=0x7；neighbour_down_id=“a10”；neighbour_left_id=“a05”(上述全景劃分圖的最左邊和最右邊內容是連續的)；neighbour_right_id=“a01”。
上述終端設備根據上述N個二級子區域碼流的中的每個二級子區域碼流的第二SEI，生成上述子區域資訊，該子區域資訊用於標識上述N個子區域中每個子區域和與每個子區域相鄰的子區域。具體地，上述子區域資訊用於標識上述N個子區域中每個子區域的編號和與每個子區域相鄰的子區域的編號。
在一種可行的實施例中，上述第一SEI包括上述子區域資訊，上述終端設備並將該第一SEI添加到上述一級子區域碼流中。上述第一SEI具體可參見下表2，表2為該第一SEI語法元素表。
下面介紹上述SEI語法元素表中各語法元素的含義。
語法元素num_tile_minus1，用於標識上述一級子區域碼流中二級子區域碼流的個數或者該一級子區域碼流中二級子區域碼流對應的子區域的個數。該語法元素num_tile_minus1的取值可根據現有技術中PPS資訊中的語法元素num_tile_columns_minus1和語法元素num_tile_rows_minus1計算得到，具體計算公式為：num_tile_minus1=（num_tile_columns_minus1+1）*（num_tile_rows_minus1+1）-1。
上述語法元素num_tile_columns_minus1為上述PPS對應的全景影像被劃分若干個子區域的列數減1，上述語法元素num_tile_rows_minus1的取值為上述PPS對應的全景影像被劃分多個子區域的行數減1。
上述語法元素current_tile_region_id[j]表示第j個子區域的編號。
上述語法元素exist_mask_subregion[j]用於指示第j個子區域在上下左右四個方向是否有相鄰的子區域。該語法元素exist_mask_subregion[j]的取值為第j個子區域對應的二級子區域碼流的第二SEI的region_neighbour_info_deblocking中獲取語法元素exist_mask_ subregion的值。該語法元素一共4個位元，從低位元到高位元分別對應上下左右四個方向是否存在相鄰的子區域，若存在，則對應的位元上置1，反之置0。
當上述語法元素exist_mask_subregion[i]的第1個位元（從最高位元到最低位元依次為第1個位元、第2個位元、第3個位元和第4個位元）為1時，語法元素neighbour_up_id[j]用於指示與第j個子區域上方相鄰的子區域的編號；當上述語法元素exist_mask_subregion[j]的第2個位元為1時，語法元素neighbour_down_id[j]用於指示與第j個子區域下方相鄰的子區域的編號；當上述語法元素exist_mask_subregion[j]的第3個位元為1時，語法元素neighbour_left_id[j]用於指示與第j個子區域左邊相鄰的子區域的編號；當上述語法元素exist_mask_subregion[j]的第4個位元為1時，語法元素neighbour_right_id[j]用於指示與第i個子區域右邊相鄰的子區域的編號。
需要說明的是，上述語法元素neighbour_up_id[i]的取值為第j個子區域對應的二級子區域碼流的第二SEI的region_neighbour_info_deblocking中獲取語法元素neighbour_up_id的值；上述語法元素neighbour_down_id[j]的取值為第j個子區域對應的二級子區域碼流的第二SEI的region_neighbour_info_deblocking中獲取語法元素neighbour_down_id的值；上述語法元素neighbour_left_id[j]的取值為第j個子區域對應的二級子區域碼流的第二SEI的region_neighbour_info_deblocking中獲取語法元素neighbour_left_id的值；上述語法元素neighbour_right_id[j]的取值為第j個子區域對應的二級子區域碼流的第二SEI的region_neighbour_info_deblocking中獲取語法元素neighbour_right_id的值。
在生成上述一級子區域碼流的第一SEI後，上述終端設備在該一級子區域碼流的PPS、SPS、VPS或者上述第一SEI中添加上述環外濾波標識。
在一種可行的實施例中，上述終端設備在上述一級子區域碼流的PPS中添加上述環外濾波標識。參見表3，表3為上述PPS的部分語法元素表。
上表中各語法元素的含義如下：
上述語法元素loop_filter_across_tiles_enabled_flag用於指示對子區域的邊界是否進行平滑濾波。當上述語法元素loop_filter_across_tiles_enabled_flag的值為1時，表示對子區域的邊界進行平滑濾波，此時當上述語法元素out_loop_filter_across_tiles_enabled_flag的取值為1時，表示對子區域的邊界進行環外濾波；當該語法元素out_loop_filter_across_tiles_enabled_flag的取值為0時，表示對子區域的邊界進行環內濾波或者不濾波。當上述語法元素loop_filter_across_tiles_ enabled_flag的取值為0時，表示不對子區域的邊界進行平滑濾波。
需要說明的是，上述語法元素out_loop_filter_across_tiles_enabled_flag即為上述環外濾波標識。
在一種可行的實施例中，所述獲取全景影像的一級子區域碼流，包括：
獲取所述N個二級子區域碼流；
將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包括該二級子區域碼流對應的子區域在所述全景影像中的座標資訊；所述一級子區域碼流包含子區域資訊，所述子區域資訊用於標識所述N個子區域中的每個子區域在所述全景影像的座標資訊；所述一級子區域碼流的PPS、SPS、VPS或者第一SEI中包含所述環外濾波標識。
具體地，上述N個二級子區域碼流中的每個二級子區域碼流包括該二級子區域碼流對應的子區域在上述全景影像中的位置資訊具體可表現為在封裝上述N個二級子區域碼流中的任一二級子區域碼流i的第一track中的spco box中擴展有函數SubPictureCompositionBox，其定義如下： aligned(8) class SubPictureCompositionBox extends TrackGroupTypeBox('spco') { unsigned int(16) track_x; unsigned int(16) track_y; unsigned int(16) track_width; unsigned int(16) track_height; unsigned int(16) composition_width; unsigned int(16) composition_height; }
其中，假設上述二級子區域碼流i對應的子區域為I，上述語法元素含義如下：
語法元素track_x表示上述子區域I的左上角在上述全景影像中的橫向座標；語法元素track_y表示上述子區域左上角在上述全景影像中的縱向座標；語法元素track_width表示上述子區域I的寬度；語法元素track_height表示子區域I的高度；語法元素composition_width表示上述全景影像的寬度；語法元素composition_height表示上述全景影像的高度。
上述終端設備根據上述二級子區域碼流中的track可確定上述子區域I在上述全景影像中的位置。
需要說明的是，上述box中文翻譯“盒子”，box在ISO/IEC 14496-12標準中的定義為：“物件導向的構建塊，由唯一的類型識別字和長度定義。”box是構成ISO基媒體檔案格式（ISO base media file format，ISOBMFF）檔的基本單元，box可以包含其他的box。
在一種可行的實施例中，本實施例添加了在ISOBMFF規定的檔案格式中描述環外濾波標識的方式。在檔案格式中，針對環外濾波，在封裝一級子區域碼流的軌道track中添加sample entry type:‘olft’。當sample entry name為‘olft’時，上述終端設備對子區域邊界進行環外濾波；當當sample entry namebu不為‘olft’時，上述終端設備對子區域邊界進行環內濾波或者不進行濾波。
上述終端設備根據上述N個二級子區域碼流中每個二級子區域碼流包括的該二級子區域碼流對應的子區域在所述全景影像中的座標資訊，生成上述子區域資訊，上述第一SEI包含上述子區域資訊。上述一級子區域碼流包含該第一SEI。參見表4，表4為第一SEI的語法元素表。
下面介紹上述SEI語法元素表中各語法元素的含義：
語法元素num_tile_minus1用於標識上述一級子區域碼流中的二級子區域碼流的個數或者上述一級子區域碼流中的二級子區域碼流對應的子區域的個數。該語法元素num_tile_minus1的取值也可以根據現有技術中PPS資訊中的語法元素num_tile_columns_minus1和語法元素num_tile_rows_minus1計算得到，具體計算公式為：num_tile_minus1=（num_tile_columns_minus1+1）*(num_tile_rows_minus1+1)-1。
上述語法元素region_loc_x[j]用於標識第j個子區域的左上角在上述全景影像中的橫向座標，其值等於第i個子區域對應的二級子區域碼流的track中函數SubPictureCompositionBox中的track_x的值。
上述語法元素region_loc_y[j]用於標識第j個子區域的左上角在上述全景影像中的縱向座標。其值等於第j個子區域對應的子區域碼流中函數SubPictureCompositionBox中的track_y的值。
上述語法元素src_pic_width用於標識上述全景影像的寬度；上述語法元素src_pic_height用於標識上述全景影像的高度。
在一種可行的實施例中，所述環外濾波標識、所述子區域資訊和所述一級子區域碼流的軌道track封裝於同一個盒子box中。
在一種可行的實施例中，所述獲取所述N個二級子區域碼流包括：
向伺服器發送碼流獲取請求，所述碼流獲取請求包括使用者視角資訊；
接收所述伺服器發送的用於回應所述碼流獲取請求的回應訊息，所述回應訊息包括所述N個二級子區域碼流，其中，所述N個二級子區域碼流對應所述使用者視角資訊。
具體地，上述終端設備向上述伺服器發送上述碼流獲取請求，該碼流獲取請求包括上述使用者視角資訊。上述伺服器接收上述碼流獲取請求後，根據伺服器中儲存的使用者視角與二級子區域碼流的對應關係表獲取與該使用者視角資訊對應的N個二級子區域碼流。上述終端設備接收上述伺服器發送的用於回應上述碼流獲取請求的回應訊息，該回應訊息包括上述N個二級子區域碼流。
在一種可行的實施例中，所述獲取所述N個二級子區域碼流包括：
從伺服器獲取所述全景影像對應的二級子區域碼流；
從所述全景影像對應的二級子區域碼流中獲取所述使用者視角資訊對應的N個二級子區域碼流。
具體地，上述全景影像被劃分為M個子區域後，上述伺服器對該M個子區域進行編碼，得到M個二級子區域碼流。上述終端設備從上述伺服器中獲取上述全景影像對應的M個二級子區域碼流後，根據終端設備儲存的使用者視角與二級子區域碼流的對應關係表從上述M個二級子區域碼流中獲取該使用者視角資訊對應的N個二級子區域碼流。
在一種可行的實施例中，上述終端設備獲取上述全景影像對應的二級子區域碼流後，將使用者視角資訊轉換成經緯度範圍，然後從上述全景影像對應的二級子區域碼流中選取在該經緯度範圍內的子區域對應的N個二級子區域碼流。
在一種可行的實施例中，所述獲取一級子區域碼流，包括：
向伺服器發送碼流獲取請求，所述碼流獲取請求包括所述使用者視角資訊；
接收所述伺服器發送的用於回應所述碼流獲取請求的回應訊息，所述回應訊息包括所述一級子區域碼流，所述一級子區域碼流包括的N個二級子區域碼流對應所述使用者視角資訊。
具體地，上述終端設備向上述伺服器發送碼流獲取請求後，該伺服器根據使用者視角與子區域對應關係表從全景影像對應的二級子區域碼流中獲取與該使用者視角資訊對應的N個二級子區域碼流。上述伺服器將該N個二級子區域碼流組裝成上述一級子區域碼流。上述終端設備接收上述伺服器發送的用於回應上述碼流獲取請求的回應訊息，該回應訊息包括上述一級子區域碼流。
在一種可行的實施例中，上述伺服器接收到上述碼流獲取請求後，該碼流獲取請求包括使用者視角資訊，上述伺服器將使用者視角資訊轉換成經緯度範圍，然後從上述全景影像對應的二級子區域碼流中選取在該經緯度範圍內的子區域對應的N個二級子區域碼流。上述伺服器將該N個二級子區域碼流組裝成上述一級子區域碼流。上述終端設備接收上述伺服器發送的用於回應上述碼流獲取請求的回應訊息，該回應訊息包括上述一級子區域碼流。
環外濾波標識和所述一級子區域碼流的軌道track封裝於同一個盒子box中具體為，在全景媒體格式（Omnidirectional Media Format，OMAF）檔案格式中的ProjectedOmniVideoBox（‘covi’）中定義新的盒子box:‘olft’，其中包含封裝上述一級子區域碼流的track的區域關係資訊。
上述新的盒子box：‘olft’定義如下： aligned(8) class outLoopFilterAcrossTilesBox extends FullBox(‘olft’,0,0){ unsigned int(1) out_loop_filter_across_tiles_enabled_flag； unsigned int(8) current_region_id unsigned int(4) exist_mask_subregion; unsigned int(8) neighbour_up_id; unsigned int(8) neighbour_down_id; unsigned int(8) neighbour_left_id; unsigned int(8) neighbour_right_id; bit(3) reserved=0; }
其中，上述語法元素的語義如下：
上述語法元素out_loop_filter_across_tiles_enabled_flag為上述環外濾波標識，當該語法元素out_loop_filter_across_tiles_enabled_flag的值為1時，表示對子區域的邊界進行環外濾波，當out_loop_filter_across_tiles_enabled_flag的值為0時表示對其區域的邊界進行環內濾波或不濾波。
上述語法元素current_region_id用於標識當前子區域的編號；上述語法元素exist_mask_subregion用於標識當前子區域在上下左右四個方向上是否有相鄰子區域。該語法元素一共4個位元，從低位元到高位元分別對應上下左右四個方向上是否存在相鄰子區域，若存在，對應的位元上置1，否則置0。
當上述語法元素exist_mask_subregion的第1個位元（從最高位元到最低位元依次為第1個位元、第2個位元、第3個位元和第4個位元）為1時，上述語法元素neighbour_up_id[j]用於標識與當前子區域上方相鄰的子區域的編號；當上述語法元素exist_mask_subregion的第2個位元為1時，語法元素neighbour_down_id用於標識與當前子區域下方相鄰的子區域的編號；當上述語法元素exist_mask_subregion的第3個位元為1時，語法元素neighbour_left_id用於標識與第j個子區域左邊相鄰的子區域的編號；當上述語法元素exist_mask_subregion的第4個位元為1時，語法元素neighbour_right_id用於標識與當前子區域右邊相鄰的子區域的編號。
S202、終端設備解析所述一級子區域碼流，以得到重建影像，所述重建影像包括N個子區域，所述N個子區域與所述N個二級子區域碼流一一對應。
其中，上述終端設備解析上述一級子區域碼流具體包括對該一級子區域碼流進行熵解碼、幀內預測和運動補償，以得到上述重建影像。
需要說明的是，上述熵解碼、幀內預測和運動補償對本領域技術人員來說屬於公知常識，在此不再敘述。
S203、當環外濾波標識指示對所述重建影像進行跨子區域邊界環外濾波時，終端設備對所述重建影像進行跨子區域邊界環外濾波，以得到濾波後的重建影像。
上述環外濾波標識包括上述PPS中的語法元素out_loop_filter_across_tiles_enabled_flag。上述終端設備根據上述PPS中的語法元素loop_filter_across_tiles_enabled_flag確定對上述重建影像是否進行跨子區域邊界濾波。當上述語法元素loop_filter_across_tiles_enabled_flag的取值為0時，上述終端設備確定對上述重建影像不進行跨子區域邊界平滑濾波。
當上述語法元素loop_filter_across_tiles_enabled_flag的取值為1時，上述終端設備確定對上述重建影像進行跨子區域邊界平滑濾波。然後上述終端設備根據上述語法元素out_loop_filter_across_tiles_enabled_flag確定是否對上述重建影像進行跨子區域邊界環外濾波。當該語法元素out_loop_filter_across_tiles_enabled_flag的取值為0時，上述終端設備對上述重建影像進行跨子區域邊界環內濾波；當上述語法元素out_loop_filter_across_tiles_ enabled_flag的取值為1時，上述終端設備對上述重建影像進行跨子區域邊界環外濾波。
其中，所述當環外濾波標識指示對所述重建影像進行跨子區域邊界環外濾波時，對所述重建影像進行跨子區域邊界環外濾波，以得到濾波後的重建影像，包括：
根據所述子區域資訊確定與所述N個子區域中的任一子區域j相鄰的子區域；
根據與所述子區域j相鄰的子區域確定目標子區域，所述目標子區域為與所述子區域j相鄰的子區域與所述N個子區域重疊的子區域；
對所述子區域j的邊界和所述目標子區域的邊界進行平滑濾波。
具體地當根據上述環外濾波標識即上述語法元素out_loop_filter_across_tiles_ enabled_flag確定對上述重建影像進行跨子區域邊界環外濾波時，上述終端設備的解碼器根據上述第一SEI分析組成上述重建影像的N個子區域中的任意子區域j對應的編號（即語法元素current_tile_region_id[j]），並根據上述第一SEI中的語法元素exist_mask_subregion[j]確定在上述子區域j的上下左右四個方向上是否存在相鄰的子區域，並根據上述第一SEI中的語法元素neighbour_up_id[j]、neighbour_down_id[j]、neighbour_left_id[j]和neighbour_right_id[j]獲取與上述子區域j相鄰的子區域的編號。根據與子區域j相鄰子區域的編號確定上述目標子區域，該目標子區域為與子區域j相鄰子區域和上述重建影像包括的N個子區域重疊的子區域。換句話說，該目標子區域為與上述子區域j相鄰的子區域中，包含於上述N個子區域中的子區域。上述終端設備根據與上述子區域j的相鄰的子區域對子區域j對應的邊界進行平滑濾波。當上述目標子區域不存在時，上述終端設備對上述子區域j對應的邊界不進行平滑濾波。
按照上述方法，上述終端設備對上述重建影像中的每個子區域進行上述操作，以得到上述濾波後的重建影像。
需要說明的是，上述終端設備對上述子區域j進行平滑濾波具體是採用現有技術HEVC標準中去方塊濾波方法。
舉例說明，如圖4的a圖所示，上述伺服器將上述全景影像劃分為36個區域，分別編號為a00-a55。假設終端設備向上述伺服器發送的一個包括使用者視角資訊的碼流獲取請求，該使用者視角資訊對應的子區域的編號為a00、a01、a02、a03、a04、a05、a11、a12、a13、a22。上述終端設備獲取上述子區域（即編號分別為a00、a01、a02、a03、a04、a05、a11、a12、a13、a22的子區域）對應的子區域碼流後，將該10個二級子區域碼流進行解封裝和組裝，得到如圖6的b圖所示的一級子區域碼流，該一級子區域碼流包括10個二級子區域碼流，分別對應10個子區域。
以圖4的b圖中的第一個子區域為例，該子區域的編號為a00，其對應的語法元素exist_mask_subregion等於0x07，說明在全景影像中（見圖4的a圖）中除了上方外，其它三個方向均存在相鄰的子區域，上述終端設備根據上述子區域a00對應的neighbour_down_id、neighbour_left_id、neighbour_right_id三個值，確定與該子區域a00下方相鄰的子區域、與該子區域a00左邊相鄰的子區域和與該子區域a00右邊相鄰的子區域的編號分別為a10、a05、a01。然後上述終端設備根據子區域a10、子區域a05和子區域a01確定上述目標子區域。由於子區域a01和子區域a05包含於上述N個子區域中，則上述目標子區域為子區域a01和子區域a05。上述終端設對上述子區域a01的左邊界與子區域a00的右邊界進行平滑濾波，對上述子區域a05的右邊界和上述子區域a00的左邊界進行平滑濾波。依此類推，對圖6中b圖所示的重建影像包括的10個子區域執行以上操作
上述終端設備按照上述方法對上述重建影像中的10個子區域中的每個子區域進行以上操作，以得到濾波後的重建影像。
在一種可行的實施例中，所述當環外濾波標識指示對所述重建影像進行跨子區域邊界環外濾波時，對所述重建影像進行跨子區域邊界環外濾波，以得到濾波後的重建影像，包括：
根據所述子區域資訊確定與所述N個子區域中的任一子區域j相鄰的子區域；
從與所述子區域j相鄰的子區域獲取目標子區域，所述目標子區域為與所述子區域j相鄰的子區域與所述N個子區域重疊的子區域；
對所述子區域j的邊界和所述目標子區域的邊界進行平滑濾波。
具體地，當根據上述環外濾波標識即上述語法元素out_loop_filter_across_tiles_enabled_ flag確定對上述重建影像進行跨子區域邊界環外濾波時，上述終端設備解析上述一級子區域碼流的第一SEI中的assemble_region_composition_info_deblocking，以獲取上述N個子區域中的任一子區域j的左上角在上述全景影像中的位置，並根據該子區域j自身的尺寸，獲取在上述重建影像中與該子區域j在上下左右方向上相鄰的子區域。然後上述終端設備從與上述子區域j相鄰的子區域中獲取目標子區域，該目標子區域為與上述子區域j相鄰的子區域與上述重建影像的N個子區域重疊的子區域。換句話說，上述目標子區域為與上述子區域j相鄰的子區域中包含于上述重建影像的N個子區域中的子區域。上述終端設備根據該目標子區域的邊界對子區域j的對應的邊界進行平滑濾波。
需要說明的是，上述終端設備對上述一級子區域碼流進行熵解碼、幀內預測和運動補償處理以得到重建影像時，該終端設備還輸出量化資訊。上述終端設備根據該目標子區域的邊界對子區域j的對應的邊界進行平滑濾波包括：上述終端設備根據與上述目標子區域相鄰的子區域j的邊界的圖元梯度和上述量化資訊確定是否對該邊界進行平滑濾波及對應的濾波強度。
舉例說明，假設上述全景影像解析度為3840*1920，如圖4中的a圖所示，上述全景影像被劃分為36個子區域，分別編號為a00-a55。該36個子區域中的每個子區域的解析度為640*320。編號為a00子區域對應的二級子區域碼流的SubPictureCompositionBox中的元素值為（0,0,640,320,3840,1920），分別對應該SubPictureCompositionBox中的語法元素track_x、track_y、track_width、track_height、composition_width、composition_height；編號為a01的子區域對應的二級子區域碼流的SubPictureCompositionBox中的元素值為(640,0,640,320,3840,1920)；分別對應該SubPictureCompositionBox中的語法元素track_x、track_y、track_width、track_height、composition_width、composition_height，以此類推。
上述終端設備根據上述使用者視角資訊從上述伺服器獲取編號分別為a00、a01、a02、a03、a04、a05、a11、a12、a13、a22的子區域對應的二級子區域碼流，並將10個二級子區域碼流組裝成一級子區域碼流。上述終端設備根據上述10個二級子區域碼流中的第一track生成第一SEI，該第一SEI的assemble_region_composition_info_deblocking中語法元素src_pic_width的值為3840，語法元素src_pic_height的值為1920，上述10個子區域對應的region_loc_x和region_loc_y元素值分別等於編號為a00、a01、a02、a03、a04、a05、a11、a12、a13、a22的子區域碼流各自的SubPictureCompositionBox中track_x、track_y的值。
如圖4的b圖所示，對子區域a00的邊界進行處理，子區域a00的左上角在上述全景影像中的座標為(0,0)，子區域a00的大小為640x320（該子區域的大小可通過碼率參數集中重建影像的寬度、高度和子區域劃分參數確認），該子區域a00的左邊和上述全景影像最右邊的子區域內容連續（經緯圖的左邊和右邊內容連續），因此子區域a00的左邊最相鄰的一行圖元橫向座標為3839(即語法元素src_pic_width-1)，縱向座標的取值範圍為0~319，此行落在子區域a05的範圍內，因此上述終端設備確定與子區域a00左邊相鄰的子區域為a05。同理上述終端設備確定與上述子區域a00右邊相鄰的子區域為子區域為a01，與該子區域a00下方相鄰的子區域為子區域a10。上述終端設備根據子區域a01，子區域a05和子區域a10確定上述目標子區域為子區域01和子區域a05。上述終端設備對子區域a00的左邊界和a05的右邊界進行平滑濾波，對子區域a00的右邊界與子區域a01的左邊界進行平滑濾波。具體的濾波方法採用現有技術HEVC標準中的環內去方塊濾波技術。以此類推，分別對上述重建影像中所有的子區域均進行上述操作，以得到上述濾波後的重建影像。
在一種可行的實施例中，媒體描述展示MPD檔包括子區域資訊和所述環外濾波標識，所述當環外濾波標識指示對所述重建影像進行跨子區域邊界環外濾波時，對所述重建影像進行跨子區域邊界環外濾波，以得到濾波後的重建影像之前，所述方法還包括：
獲取所述MPD文件；
所述對所述重建影像進行跨子區域邊界環外濾波，包括：
從所述MPD檔中獲得所述子區域資訊；
根據所述子區域資訊，對所述重建影像進行跨子區域邊界環外濾波。
其中，在MPD檔中描述子區域碼流預測運動向量受限的方式。在上述伺服器中，在MPD檔中進行子區域運動向量描述示例如下： ＜?xml version="1.0" encoding="UTF-8"?＞ ＜MPD xmlns="urn:mpeg:dash:schema:mpd:2011" type="static" mediaPresentationDuration="PT10S" minBufferTime="PT1S" profiles="urn:mpeg:dash:profile:isoff-on-demand:2011"＞ ＜Period＞ ＜!—-Tile 0--＞ ＜AdaptationSet segmentAlignment="true" subsegmentAlignment="true" subsegmentStartsWithSAP="1"＞ ＜EssentialProperty schemeIdUri="urn:mpeg:dash:olft:2014" value="0,7,0,10,5,1"/＞ ＜Representation mimeType="video/mp4" codecs="avc1.42c00d" width="640" height="320" bandwidth="79707" startWithSAP="1"＞ ＜BaseURL＞ tile1.mp4＜/BaseURL＞ ＜SegmentBase indexRangeExact="true" indexRange="837-988"/＞ ＜/Representation＞ ＜/AdaptationSet＞ ＜!—-Tile 1--＞ ＜AdaptationSet segmentAlignment="true" subsegmentAlignment="true" subsegmentStartsWithSAP="1"＞ ＜EssentialProperty schemeIdUri="urn:mpeg:dash:olft:2014" value="1,7,0,11,0,2"/＞ ＜Representation mimeType="video/mp4" codecs="avc1.42c00d" width="640" height="640" bandwidth="79707" startWithSAP="1"＞ ＜BaseURL＞ tile1.mp4＜/BaseURL＞ ＜SegmentBase indexRangeExact="true" indexRange="837-988"/＞ ＜/Representation＞ ＜/AdaptationSet＞ … ＜/Period＞ ＜/MPD＞
具體地，當上述MPD檔包括上述子區域資訊和上述環外濾波標識時，上述終端設備通過上述MPD檔中的新的EssentialProperty屬性olft@value標識上述子區域的編號和與該子區域在上下左右四個方向上相鄰子區域的編號。上述olft@value包括語法元素current_tile_region_id、exist_mask_subregion、neighbour_up_id、neighbour_down_id、neighbour_left_id和neighbour_right_id。
其中，上述語法元素的語義如下：
上述語法元素current_region_id用於標識當前子區域的編號；上述語法元素exist_mask_subregion用於標識當前子區域在上下左右四個方向上是否有相鄰子區域。該語法元素一共4個位元，從低位元到高位元分別對應上下左右四個方向上是否存在相鄰子區域，若存在，對應的位元上置1，否則置0。
當上述語法元素exist_mask_subregion的第1個位元（從最高位元到最低位元依次為第1個位元、第2個位元、第3個位元和第4個位元）為1時，上述語法元素neighbour_up_id[j]用於標識與當前子區域上方相鄰的子區域的編號；當上述語法元素exist_mask_subregion的第2個位元為1時，語法元素neighbour_down_id用於標識與當前子區域下方相鄰的子區域的編號；當上述語法元素exist_mask_subregion的第3個位元為1時，語法元素neighbour_left_id用於標識與第j個子區域左邊相鄰的子區域的編號；當上述語法元素exist_mask_subregion的第4個位元為1時，語法元素neighbour_right_id用於標識與當前子區域右邊相鄰的子區域的編號。
此外，在上述MPD檔的representation欄位中，也可添加標識上述子區域的編號和與該子區域在上下左右四個方向上相鄰子區域的編號的資訊。
上述終端設備根據上述MDP檔中是否存在EssentialProperty屬性olft@value確定是否對子區域進行環外濾波；當上述MDP檔中存在EssentialProperty屬性olft@value時，上述終端設備對子區域進行環外濾波；當上述MDP檔中不存在EssentialProperty屬性olft@value時，上述終端設備對子區域進行環內濾波或者不進行濾波。
在一種可行的實施例中，上述終端設備將上述N個二級子區域碼流組裝成上述一級子區域碼流，並根據上述N個二級子區域碼流中的每個二級子區域碼流包括該二級子區域碼流對應的子區域在上述全景影像中的位置資訊將上述一級子區域碼流封裝到第二track，該第二track的spco box中擴展有SubFovCompositionBox，其定義為： aligned(8) class SubFovPictureCompositionBox extends TrackGroupTypeBox('spco') { unsigned int(8) num_subregions; for(j= 0; j＜ num_subregions; j++) { unsigned int(16) track_x[j]; unsigned int(16) track_y[j]; } unsigned int(16) composition_width; unsigned int(16) composition_height; }
上述語法元素的含義如下：
上述語法元素num_subregions用於標識上述一級子區域碼流中二級子區域碼流的個數；上述語法元素track_x [j]用於標識上述一級子區域碼流中第j個二級子區域碼流對應的子區域的左上角在上述全景影像中的橫向座標。其值等於第j個二級子區域碼流中SubPictureCompositionBox中的track_x的值；上述語法元素track_y[j]用於標識上述一級子區域碼流中第j個二級子區域對應的子區域的左上角在上述全景影像中的縱向座標。其值等於第j個二級子區域碼流中SubPictureCompositionBox中的track_y的值；語法元素composition_width用於標識上述全景影像的寬度；語法元素composition_height用於標識上述全景影像的高度。
上述終端設備根據上述一級子區域碼流的第一track或者第二track確定該一級子區域碼流的N個二級子區域碼流中的每個二級子區域碼流對應的子區域在上述全景影像中的位置。
上述終端設備對上述一級子區域碼流進行熵解碼、幀內預測和運動補償等處理，以得到重建影像後，根據該一級子區域碼流中的SubFovCompositionBox中的相關語法元素可確定上述重建影像中的N個子區域中的每個子區域在上述全景影像中的位置，從而確定與每個子區域相鄰的子區域，進而進行後續的平滑濾波操作，得到濾波後的重建影像。
需要指出的是，上述終端設備對一級子區域碼流進行的熵解碼、幀內預測和運動補償等處理操作和對重建影像進行濾波均由上述終端設備的解碼器執行的。
S204、終端設備調整所述濾波後的重建影像中的所述N個子區域中的至少一個子區域的位置，以得到所述目標子影像。
具體地，上述濾波後的重建影像包括N個子區域，上述終端設備根據濾波後的重建影像的子區域對應的編號或者位置座標，調整上述N個子區域中的至少一個子區域的位置，以得到上述目標子影像。
可以看出，在本發明實施例的方案中，上述終端設備獲取全景影像的目標子影像對應的一級子區域碼流，所述一級子區域碼流包括N個二級子區域碼流，所述N為正整數；解析所述一級子區域碼流，以得到重建影像，所述重建影像包括N個子區域，所述N個子區域與所述N個二級子區域碼流一一對應；當環外濾波標識指示對所述重建影像進行跨子區域邊界環外濾波時，對所述重建影像進行跨子區域邊界環外濾波，以得到濾波後的重建影像；調整所述濾波後的重建影像中的所述N個子區域中的至少一個子區域的位置，以得到所述目標子影像。採用本發明實施例的方案，有利於解決內容連續的視頻影像由於劃分區域編碼引起內容不連續的問題，提高了圖片的品質。並且在上述一級子區域碼流中添加環外濾波標識後，使得標準解碼器不僅可以支援傳統的環內濾波，還支持環外濾波，提高了編碼器的適用性。
參見圖5，圖5為本發明實施例提供的另一種視頻影像編解碼方法的流程示意圖。如圖5所示，該方法包括：
S501、伺服器接收終端設備發送的碼流獲取請求。
其中，上述碼流獲取請求包括使用者視角資訊。
其中，所述接收終端設備發送的碼流獲取請求之前，所述方法還包括：
將全景影像劃分為M個子區域；
對所述M個子區域中的每個子區域進行運動搜索範圍不超過子區域邊界的運動搜索編碼，以得到M個二級子區域碼流。
具體地，上述伺服器將上述全景影像劃分為M個子區域，該M個子區域互不重疊且大小（即解析度）均相等。上述伺服器對上述M個子區域進行編號。該伺服器對上述M個子區域中的每一個子區域進行不越子區域的運動搜索編碼，以得到M個二級子區域碼流。上述伺服器將該M個二級子區域碼流分別進行封裝並儲存。
其中，所述回應訊息包括所述N個二級子區域碼流，所述接收終端設備發送的碼流獲取請求之後，所述方法還包括：
從全景影像對應的二級子區域碼流中獲取與所述使用者視角資訊對應的N個二級子區域碼流，N為大於1的整數，M為大於N的整數。
具體地，上述伺服器接收到上述終端設備發送的碼流獲取請求後，該碼流獲取請求中包括的使用者視角資訊，伺服器根據使用者視角與子區域的對應關係從上述全景影像對應的二級子區域碼流中獲取與該使用者視角資訊對應的N個二級子區域碼流。
在一種可行的實施例中，所述回應訊息包括一級子區域碼流，所述所述一級子區域碼流包括N個二級子區域碼流，所述接收終端設備發送的碼流獲取請求之後，所述方法還包括：
從全景影像對應的二級子區域碼流中獲取與所述使用者視角資訊對應的N個二級子區域碼流；
將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包含第二輔助增強資訊SEI，所述N個二級子區域碼流中的任一二級子區域碼流i的第二SEI用於標識所述二級子區域碼流i對應的子區域和與所述二級子區域碼流i對應的子區域相鄰的子區域，所述一級子區域碼流包含子區域資訊，所述子區域資訊用於標識所述N個子區域中的每個子區域及與每個子區域相鄰的子區域；所述一級子區域碼流的影像參數集PPS、序列參數集SPS、視頻參數集VPS或者第一SEI中包含所述環外濾波標識。
在一種可行的實施例中，所述回應訊息包括所述一級子區域碼流，所述一級子區域碼流包括N個二級子區域碼流，所述接收終端設備發送的碼流獲取請求之後，所述方法還包括：
從全景影像對應的二級子區域碼流中獲取與所述使用者視角資訊對應的N個二級子區域碼流；
將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包括每個二級子區域碼流對應的子區域在所述全景影像中的座標資訊，所述一級子區域碼流包含子區域資訊，所述子區域資訊用於標識所述N個子區域中的每個子區域在所述全景影像的座標資訊；所述一級子區域碼流的PPS、SPS、VPS或者第一SEI中包含所述環外濾波標識。
具體地，上述伺服器接收到上述碼流獲取請求後，該碼流獲取請求包括使用者視角資訊，上述伺服器將使用者視角資訊轉換成經緯度範圍，然後從上述全景影像對應的二級子區域碼流中選取在該經緯度範圍內的子區域對應的N個二級子區域碼流。上述伺服器將該N個二級子區域碼流組裝成上述一級子區域碼流。
在一種可行的實施例中，上述第一SEI包括上述子區域資訊。
需要說明的是，上述伺服器將上述N個二級子區域碼流組裝成上述一級子區域碼流的過程可參見上述步驟S201的相關描述，在此不再敘述。
在一種可行的實施例中，所述子區域資訊、所述環外濾波標識和所述一級子區域碼流的軌道track封裝於同一個盒子box中，或者；
所述子區域資訊和所述環外濾波標識封裝於媒體展示描述MPD檔中。
S502、伺服器向所述終端設備發送回應訊息，所述回應訊息用於回應所述碼流獲取請求。
其中，上述回應訊息包括N個二級子區域碼流或者一級子區域碼流，該N個二級子區域碼流用於組裝成所述一級子區域碼流。
具體地，上述伺服器向上述終端設備發送回應訊息，該回應訊息包括上述N個二級子區域碼流或者上述一級子區域碼流。
需要說明的是，對該實施例的描述可參見上述圖2所示實施例的相關描述，在此不再敘述。
參見圖6，圖6為本發明實施例提供的另一種視頻影像編解碼方法的流程示意圖。如圖6所示，該方法包括：
S601、伺服器對全景影像進行編碼，以得到M個二級子區域碼流。
其中，上述M為大於1的整數。
具體地，上述伺服器將上述全景影像劃分為M個子區域，該M個子區域為互相不重疊的矩形區域。上述伺服器包括至少一個編碼器。該至少一個編碼器對上述M個子區域進行運動搜索範圍不超過子區域邊界的運動搜索編碼，以得到M個二級子區域碼流。
可選地，上述伺服器的至少一個編碼器中的任一編碼器按照HEVC標準中的tile劃分方式將上述全景影像劃分為M個子區域，並採用運動受限的Tile集合（Motion-constrained Tile Sets，MCTS）編碼方法對該M個子區域進行編碼，以得到一個碼流，該碼流為二進位碼流。然後，上述伺服器對該碼流進行拆分，形成M個二級子區域碼流，該M個二級子區域碼流與上述M個子區域一一對應。
進一步地，上述伺服器根據上述M個子區域的劃分順序對該M個子區域進行編號，即上述M個子區域的編號與該M個子區域的劃分順序一致。
可選地，上述M個子區域的編號可與該M個子區域的劃分順序不一致。
S602、伺服器為M個二級子區域碼流中的每個二級子區域碼流添加第二SEI。
具體地，上述伺服器對上述M個二級子區域碼流進行編號後，在上述M個二級子區域碼流中的每個二級子區域碼流的中添加上述第二SEI，該SEI用於指示該二級子區域碼流對應的子區域的編號和與該二級子區域碼流對應的子區域相鄰的子區域的編號。
需要說明的是，上述第二SEI的具體描述可參見上述表1，在此不再敘述。
S603、伺服器對M個二級子區域碼流分別進行封裝儲存。
S604、終端設備向伺服器發送碼流獲取請求。
其中，上述碼流獲取請求包括使用者視角資訊，該使用者視角資訊為終端設備根據使用者行為獲取的。
S605、伺服器根據碼流獲取請求中的視角資訊獲取與該使用者視角資訊對應的N個二級子區域碼流。
需要說明的是，上述伺服器儲存有使用者視角與子區域的對應關係。上述伺服器接收到碼流獲取請求後，根據上述使用者視角與子區域的對應關係從上述全景影像對應的二級子區域碼流中獲取上述N個二級子區域碼流，或者；
上述伺服器接收到上述碼流獲取請求後，上述伺服器將使用者視角資訊轉換成經緯度範圍，然後從上述全景影像對應的二級子區域碼流中選取在該經緯度範圍內的子區域對應的N個二級子區域碼流。
在一種可行的實施例中，上述伺服器將上述N個二級子區域碼流組裝成一級子區域碼流。
S606、伺服器向終端設備發送回應信息，以回應碼流獲取請求。
其中，上述回應資訊包括與上述視角資訊對應的N個二級子區域碼流或者上述一級子區域碼流。
在一種可行的實施例中，上述終端設備從上述伺服器中獲取上述全景影像對應的二級子區域碼流。上述終端設備根據上述使用者視角資訊從上述全景影像對應的二級子區域碼流中獲取與該使用者視角資訊對應的N個二級子區域碼流。
S607、終端設備對N個二級子區域碼流進行組裝，以得到一級子區域碼流。
具體地，上述終端設備對上述N個二級子區域按照光柵掃描的順序進行組裝，得到上述一級子區域碼流。在進行組裝的過程中，上述終端設備在上述一級子區域碼流的PPS中添加一個環外濾波標識，該環外濾波標識用於指示對上述一級子區域碼流進行熵解碼、幀內預測和運動補償等處理操作後得到的重建影像是否進行跨子區域環外濾波。
需要說明的是，上述一級子區域碼流的PPS可參見表3的相關描述，在此不再敘述。
進一步地，上述終端設備在將上述N個二級子區域碼流組裝成上述一級子區域碼流時，該終端設備對該N個二級子區域碼流中的每個二級子區域碼流的第二SEI進行解析，根據該第二SEI生成子區域資訊，該子區域資訊攜帶於第一SEI中，並將該第一SEI配置在上述一級子區域碼流中。
需要說明的是，上述第一SEI可參見上述表2的相關描述，在此不再敘述。
在一種可行的實施例中，上述環外濾波標識還可以攜帶於上述一級子區域碼流的SPS、PPS、VPS或者第一SEI中。
S608、終端設備解析一級子區域碼流，以得到重建影像。
具體地，上述終端設備將上述一級子區域碼流送入該終端設備的解碼器中，經過熵解碼、幀內預測和運動補償等操作後，得到上述重建影像。
需要說明的是，上述重建影像由上述N個二級子區域碼流對應的N個子區域組成的。上述熵解碼、幀內預測和運動補償對本領域技術人員來說屬於公知常識，在此不再敘述。
S609、終端設備根據環外濾波標識和子區域資訊對重建影像進行跨子區域環外濾波，以得到濾波後的重建影像。
需要說明的是，上述環外濾波標識包括語法元素out_loop_filter_across_tiles_enabled_ flag。
在一種可行的實施例中，MPD檔包括上述子區域資訊和上述環外濾波標識，上述終端設備根據環外濾波標識和子區域資訊對重建影像進行濾波之前，該終端設備從上述伺服器中獲取上述MPD檔，從該MPD檔中獲取上述子區域資訊；根據所述子區域資訊，對所述重建影像進行跨子區域邊界環外濾波。
具體地，當上述環外濾波標識指示對上述重建影像進行跨子區域邊界環外濾波時，上述終端設備根據上述第一SEI對上述重建影像進行跨子區域環外濾波；當上述環外濾波標識指示對上述重建影像進行跨子區域邊界環外濾波時，上述終端設備根據上述子區域資訊對上述重建影像不進行跨子區域環外濾波，具體描述可參見上述步驟S203的相關描述，在此不再敘述。
需要指出的是，上述終端設備對一級子區域碼流進行的熵解碼、幀內預測和運動補償等處理操作和對重建影像進行濾波均由上述終端設備的解碼器執行的。
S610、終端設備調整濾波後的重建影像的-+子區域的位置，以得到目標子影像。
需要說明的是，上述步驟S601-S610具體可參見上述步驟S201-S204的相關描述，在此不再敘述。
參見圖7，圖7為本發明實施例提供的另一種視頻影像編解碼方法的流程示意圖。如圖7所示，該方法包括：
S701、伺服器對全景影像進行編碼，以得到M個二級子區域碼流。
其中，上述M為大於1的整數。
具體地，上述伺服器將上述全景影像劃分為M個子區域，該M個子區域為互相不重疊的矩形區域。該M個子區域的大小（即解析度）均相同。上述伺服器包括至少一個編碼器。該至少一個編碼器對上述M個子區域進行運動搜索範圍不超過子區域邊界的運動搜索編碼，以得到M個二級子區域碼流，該M個二級子區域碼流與上述M個子區域一一對應。
可選地，上述伺服器的至少一個編碼器中的任一編碼器按照HEVC標準中的tile劃分方式將上述全景影像劃分為M個子區域，並採用運動受限的Tile集合（Motion-constrained Tile Sets，MCTS）編碼方法對該M個子區域進行編碼，以得到一個碼流，該碼流為二進位碼流。然後，上述伺服器對該碼流進行拆分，形成M個二級子區域碼流，該M個二級子區域碼流與上述M個子區域一一對應。
進一步地，上述伺服器根據上述M個子區域的劃分順序對該M個子區域進行編號，即上述M個子區域的編號與該M個子區域的劃分順序一致。
可選地，上述M個子區域的編號可與該M個子區域的劃分順序不一致。
S702、伺服器對M個二級子區域碼流分別進行封裝並儲存。
具體地，上述伺服器根據OMAF對上述M個二級子區域碼流中的每個二級子區域碼流進行封裝。在對上述M個二級子區域碼流中的每個二級子區域碼流進行封裝時，上述伺服器在該二級子區域碼流中封裝一個樣本（也可稱為第一track）。
需要說明的是，上述第一track可參見上述步驟S201中的相關描述，在此不再敘述。
S703、終端設備向伺服器發送碼流獲取請求。
其中，上述碼流獲取請求包括使用者視角資訊，該使用者視角資訊為終端設備根據使用者行為獲取的。
S704、伺服器根據碼流獲取請求中的使用者視角資訊獲取該使用者視角資訊對應的N個二級子區域碼流。
需要說明的是，上述伺服器儲存有使用者視角與子區域的對應關係。上述伺服器接收到碼流獲取請求後，根據上述使用者視角與子區域的對應關係從上述全景影像對應的二級子區域碼流中獲取上述N個二級子區域碼流，或者；
上述伺服器接收到上述碼流獲取請求後，上述伺服器將使用者視角資訊轉換成經緯度範圍，然後從上述全景影像對應的二級子區域碼流中選取在該經緯度範圍內的子區域對應的N個二級子區域碼流。
在一種可行的實施例中，上述伺服器將上述N個二級子區域碼流組裝成一級子區域碼流。
S705、伺服器向終端設備發送回應信息，以回應碼流獲取請求。
其中，上述回應資訊攜帶有上述使用者視角資訊對應的N個二級子區域碼流或者上述一級子區域碼流。
在一種可行的實施例中，上述終端設備從上述伺服器中下載其封裝後的上述全景影像對應的二級子區域碼流。上述終端設備根據上述使用者視角資訊從上述全景影像對應的二級子區域碼流中獲取與該使用者視角資訊對應的N個二級子區域碼流。
S706、終端設備對N個二級子區域碼流進行組裝，以得到一級子區域碼流。
具體地，上述終端設備對上述N個二級子區域碼流按照光柵掃描的順序進行組裝，得到上述一級子區域碼流。在進行組裝的過程中，上述終端設備在該一級子區域碼流中的PPS中添加一個環外濾波標識，該環外濾波標識用於指示對上述一級子區域碼流進行熵解碼、幀內預測和運動補償處理後得到的重建影像是否進行跨子區域環外濾波。
需要說明的是，上述PPS部分語法元素表可參見上述表3及相關描述，在此不再敘述。
在一種可行的實施例中，上述環外濾波標識還可以攜帶於第一SEI、SPS或者VPS中。
進一步地，上述終端設備在將上述N個二級子區域碼流組裝成上述一級子區域碼流時，該終端設備對該N個二級子區域碼流中的每個二級子區域碼流的第二SEI進行解析，根據該第二SEI生成子區域資訊，該子區域資訊攜帶於上述第一SEI中，並將該第一SEI配置在上述一級子區域碼流中。
需要說明的是，上述第一SEI可參見上述表4的相關描述，在此不再敘述。
在一種可行的實施例中，上述環外濾波標識還可以攜帶於上述一級子區域碼流的SPS、PPS、VPS或者第一SEI中。
S707、終端設備解析一級子區域碼流，以得到重建影像。
具體地，上述終端設備將上述新的碼流送入該終端設備的解碼器中，經過熵解碼、幀內預測和運動補償等操作後，得到上述重建影像。
需要說明的是，上述重建影像由上述N個二級子區域碼流對應的N個子區域組成的。上述熵解碼、幀內預測和運動補償對本領域技術人員來說屬於公知常識，在此不再敘述。
S708、終端設備根據環外濾波標識和子區域資訊對重建影像進行濾波，以得到濾波後的重建影像。
在一種可行的實施例中，MPD檔包括上述子區域資訊和上述環外濾波標識，上述終端設備根據環外濾波標識和子區域資訊對重建影像進行濾波之前，該終端設備從上述伺服器中獲取上述MPD檔，從該MPD檔中獲取上述子區域資訊；根據所述子區域資訊，對所述重建影像進行跨子區域邊界環外濾波。
具體地，當上述環外濾波標識指示對上述重建影像進行跨子區域邊界環外濾波時，上述終端設備根據上述第一SEI對上述重建影像進行跨子區域環外濾波；當上述環外濾波標識指示對上述重建影像進行跨子區域邊界環外濾波時，上述終端設備根據上述第一SEI對上述重建影像不進行跨子區域環外濾波，具體描述可參見上述步驟S203的相關描述，在此不再敘述。
在一種可行的實施例中，上述終端設備將上述N個二級子區域碼流組裝成上述一級子區域碼流，並根據上述N個二級子區域碼流中的每個二級子區域碼流包括該二級子區域碼流對應的子區域在上述全景影像中的位置資訊在上述一級子區域碼流中添加一個第二track，該第二track的spco box中擴展有SubFovCompositionBox，其定義為： aligned(8) class SubFovPictureCompositionBox extends TrackGroupTypeBox('spco') { unsigned int(8) num_subregions; for(j= 0; j＜ num_subregions; j++) { unsigned int(16) track_x[j]; unsigned int(16) track_y[j]; } unsigned int(16) composition_width; unsigned int(16) composition_height; }
上述語法元素的含義如下：
上述語法元素num_subregions用於標識上述一級子區域碼流中二級子區域碼流的個數；上述語法元素track_x [j]用於標識上述一級子區域碼流中第j個二級子區域碼流對應的子區域的左上角在上述全景影像中的橫向座標。其值等於第j個二級子區域碼流中SubPictureCompositionBox中的track_x的值；上述語法元素track_y[j]用於標識上述一級子區域碼流中第j個二級子區域對應的子區域的左上角在上述全景影像中的縱向座標。其值等於第j個二級子區域碼流中SubPictureCompositionBox中的track_y的值；語法元素composition_width用於標識上述全景影像的寬度；語法元素composition_height用於標識上述全景影像的高度。
上述終端設備根據上述一級子區域碼流的第一track或者第二track確定該一級子區域碼流的N個二級子區域碼流中的每個二級子區域碼流對應的子區域在上述全景影像中的位置。
上述終端設備對上述一級子區域碼流進行熵解碼、幀內預測和運動補償等處理以得到重建影像後，根據該一級子區域碼流中的SubFovCompositionBox中的相關語法元素可確定上述重建影像中的N個子區域中的每個子區域在上述全景影像中的位置，從而確定與每個子區域相鄰的子區域，進而進行後續的平滑濾波操作。
需要指出的是，上述終端設備對一級子區域碼流進行的熵解碼、幀內預測和運動補償等處理操作和對重建影像進行濾波均由上述終端設備的解碼器執行的。
S709、終端設備調整濾波後的重建影像的N個子區域中的任一子區域的位置，以得到目標子影像。
需要說明的是，上述步驟S701-S709具體可參見上述步驟S201-S204的相關描述，在此不再敘述。
參見圖8，圖8為本發明實施例還提供了一種終端設備的結構示意圖。如圖8所示，該終端設備800，包括：
獲取單元801，用於獲取全景影像的目標自影像對飲的一級子區域碼流，所述一級子區域碼流包括N個二級子區域碼流，所述N為正整數。
可選地，所述獲取單元801包括：
第一獲取子單元8011，用於獲取所述N個二級子區域碼流；
第一組裝子單元8012，用於將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包含第二輔助增強資訊SEI，所述N個二級子區域碼流中的任一二級子區域碼流i的第二SEI用於標識所述二級子區域碼流i對應的子區域的編號和與所述二級子區域碼流i對應的子區域相鄰的子區域碼流的編號，每個所述二級子區域碼流包含子區域資訊，所述子區域資訊用於標識所述N個子區域中的每個子區域及與每個子區域相鄰的子區域，所述一級子區域碼流的影像參數集PPS、序列參數集SPS、視頻參數集VPS或者第一SEI中包含所述環外濾波標識。
可選地，所述獲取單元801包括：
所述第一獲取子單元8011，用於獲取所述N個二級子區域碼流；
第二組裝子單元8013，用於將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包括每個二級子區域碼流對應的子區域在所述全景影像中的座標資訊，所述一級子區域碼流包含所述子區域資訊，所述子區域資訊用於指示所述N個子區域中的每個子區域在所述全景影像的座標資訊；所述一級子區域碼流的PPS、SPS、VPS或者第一SEI中包含所述環外濾波標識。
可選地，所述第一SEI包括所述子區域資訊。
可選地，所述媒體展示描述MPD檔包括子區域資訊和所述環外濾波標識，所述獲取單元801，還用於獲取所述MPD檔；
所述濾波單元803，還用於從所述MPD檔中獲得所述子區域資訊；根據所述子區域資訊，對所述重建影像進行跨子區域邊界環外濾波。
可選地，所述環外濾波標識、所述子區域資訊和所述一級子區域碼流的軌道track封裝於同一個盒子box中。
可選地，所述第一獲取子單元8011包括：
第一發送子單元80111，用於向伺服器發送碼流獲取請求，所述碼流獲取請求包括所述使用者視角資訊；
第一接收子單元80112，用於接收所述伺服器發送的用於回應所述碼流獲取請求的回應訊息，所述回應訊息包括所述N個二級子區域碼流；其中，所述N個二級子區域碼流對應所述使用者視角資訊。
可選地，所述第一獲取子單元8011包括：
第二獲取子單元80113，用於從伺服器中獲取所述全景影像對應的二級子區域碼流；
第三獲取子單元80114，用於從所述全景影像對應的二級子區域碼流中獲取所述使用者視角資訊對應的N個二級子區域碼流。
可選地，所述獲取單元801包括：
第二發送子單元8014，用於向伺服器發送碼流獲取請求，所述碼流獲取請求包括使用者視角資訊；
第二接收子單元8015，用於接收所述伺服器發送的用於回應所述碼流獲取請求的回應訊息，所述回應訊息包括所述一級子區域碼流，所述一級子區域碼流包括的N個二級子區域碼流對應所述使用者視角資訊。
解析單元802，用於解析所述一級子區域碼流，以得到重建影像，所述重建影像包括N個子區域，所述N個子區域與所述N個二級子區域碼流一一對應。
濾波單元803，用於當環外濾波標識指示對所述重建影像進行跨子區域邊界環外濾波時，對所述重建影像進行跨子區域邊界環外濾波，以得到濾波後的重建影像。
可選地，所述濾波單元803用於：
根據所述子區域資訊確定與所述N個子區域中的任一子區域j相鄰的子區域；
根據與所述子區域j相鄰的子區域確定目標子區域，所述目標子區域為與所述子區域j相鄰的子區域與所述N個子區域重疊的子區域；
對所述子區域j的邊界和所述目標子區域的邊界進行平滑濾波。
可選地，所述濾波單元803用於：
根據所述子區域資訊確定與所述N個子區域中的任一子區域j相鄰的子區域；
從與所述子區域j相鄰的子區域獲取目標子區域，所述目標子區域為與所述子區域j相鄰的子區域與所述N個子區域重疊的子區域；
對所述子區域j的邊界和所述目標子區域的邊界進行平滑濾波。
需要說明的是，上述解析單元802對上述一級子區域碼流進行熵解碼、幀內預測和運動補償處理以得到重建影像時，該解析單元802還輸出量化資訊。上述濾波單元803對所述子區域j的邊界和所述目標子區域的邊界進行平滑濾波包括：上述濾波單元803根據與上述目標子區域相鄰的子區域j的邊界的圖元梯度和上述量化資訊確定是否對該邊界進行平滑濾波及對應的濾波強度。
調整單元804，用於調整所述濾波後的重建影像的所述N個子區域中的至少一個子區域的位置，以得到所述目標子影像。
需要說明的是，上述各單元（獲取單元801、解析單元802、濾波單元803和調整單元804）用於執行上述方法的相關步驟。
在本實施例中，終端設備800是以單元的形式來呈現。這裡的“單元”可以指特定應用積體電路（application-specific integrated circuit，ASIC)，執行一個或多個軟體或固件程式的處理器和記憶體，集成邏輯電路，和/或其他可以提供上述功能的器件。此外，以上獲取單元801、解析單元802、濾波單元803和調整單元804可通過圖12所示的終端設備的處理器1201來實現。
參見圖11，圖11為本發明實施例還提供了一種終端設備的結構示意圖。如圖11所示，該終端設備1100，包括：
接收單元1101，用於接收終端設備發送的碼流獲取請求，所述碼流獲取請求包括使用者視角資訊。
發送單元1102，用於，所述回應訊息包括N個二級子區域碼流或者一級子區域碼流， 所述N個二級子區域碼流用於組裝成所述一級子區域碼流。
可選地，所述回應訊息包括所述N個二級子區域碼流，所述伺服器1100還包括：
第一獲取單元1103，用於在所述接收單元1101接收終端設備發送的碼流獲取請求之後，從全景影像對應的二級子區域碼流中獲取與所述使用者視角資訊對應的N個二級子區域碼流。
可選地，所述回應訊息包括所述一級子區域碼流，所述一級子區域碼流包括N個二級子區域碼流，所述伺服器1100還包括：
第二獲取單元1104，用於在所述接收單元1101接收終端設備發送的碼流獲取請求之後，從全景影像對應的二級子區域碼流中獲取與所述使用者視角資訊對應的N個二級子區域碼流；
第一組裝單元1105，用於將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包含第二輔助增強資訊SEI，所述N個二級子區域碼流中的任一二級子區域碼流i的第二SEI用於標識所述二級子區域碼流i對應的子區域和與所述二級子區域碼流i對應的子區域相鄰的子區域，所述一級子區域碼流包含子區域資訊，所述子區域資訊用於標識所述N個子區域中的每個子區域及與所述每個子區域相鄰的子區域；所述一級子區域碼流的影像參數集PPS、序列參數集SPS、視頻參數集VPS或者第一SEI中包含所述環外濾波標識。
可選地，所述回應訊息包括所述一級子區域碼流，所述一級子區域碼流包括N個二級子區域碼流，所述伺服器1100還包括：
第三獲取單元1106，用於在所述接收單元1101接收終端設備發送的碼流獲取請求之後，從全景影像對應的M個二級子區域碼流中獲取與所述使用者視角資訊對應的N個二級子區域碼流；
第二組裝單元1107，用於將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包括該二級子區域碼流對應的子區域在所述全景影像中的座標資訊，所述一級子區域碼流包含子區域資訊，所述子區域資訊用於標識所述N個子區域中的每個子區域在所述全景影像的座標資訊；所述一級子區域碼流的PPS、SPS、VPS或者第一SEI中包含所述環外濾波標識。
可選地，所述第一SEI包括所述子區域資訊。
可選地，所述環外濾波標識、所述子區域資訊和所述一級子區域碼流的軌道track封裝於同一個盒子box中，或者；
所述環外濾波標識和所述子區域資訊封裝於媒體描述展示MPD檔中。
需要說明的是，上述各單元（接收單元1101、發送單元1102、第一獲取單元1103、第二獲取單元1104、第一組裝單元1105、第三獲取單元1106、第二組裝單元1107）用於執行上述方法的相關步驟。
在本實施例中，終端設備800是以單元的形式來呈現。這裡的“單元”可以指特定應用積體電路（application-specific integrated circuit，ASIC)，執行一個或多個軟體或固件程式的處理器和記憶體，集成邏輯電路，和/或其他可以提供上述功能的器件。此外，以上接收單元1101、發送單元1102、第一獲取單元1103、第二獲取單元1104、第一組裝單元1105、第三獲取單元1106和第二組裝單元1107可通過圖13所示的伺服器的處理器1301來實現。
如圖12所示，終端設備1200可以以圖12中的結構來實現，該終端設備1200包括至少一個處理器1201，至少一個記憶體1202以及至少一個通信介面1203。所述處理器1201、所述記憶體1202和所述通信介面1203通過所述通信匯流排連接並完成相互間的通信。
處理器1201可以是通用中央處理器（CPU），微處理器，特定應用積體電路（application-specific integrated circuit，ASIC)，或一個或多個用於控制以上方案程式執行的積體電路。
通信介面1203，用於與其他設備或通信網路通信，如乙太網，無線接入網（RAN），無線局域網(Wireless Local Area Networks，WLAN)等。
記憶體1202可以是唯讀記憶體（read-only memory，ROM) 或可儲存靜態資訊和指令的其他類型的靜態存放裝置，隨機存取記憶體（random access memory，RAM) 或者可儲存資訊和指令的其他類型的動態儲存裝置設備，也可以是電可擦可程式設計唯讀記憶體（Electrically Erasable Programmable Read-Only Memory，EEPROM）、唯讀光碟（Compact Disc Read-Only Memory，CD-ROM）或其他光碟儲存、光碟儲存（包括壓縮光碟、鐳射碟、光碟、數位通用光碟、藍光光碟等）、磁片儲存介質或者其他磁存放裝置、或者能夠用於攜帶或儲存具有指令或資料結構形式的期望的程式碼並能夠由電腦存取的任何其他介質，但不限於此。記憶體可以是獨立存在，通過匯流排與處理器相連接。記憶體也可以和處理器集成在一起。
其中，所述記憶體1202用於儲存執行以上方案的應用程式碼，並由處理器1201來控制執行。所述處理器1201用於執行所述記憶體1202中儲存的應用程式碼。
記憶體1202儲存的程式碼可執行以上提供的終端設備執行的上述視頻影像編解碼方法，比如獲取全景影像的目標子影像對應的一級子區域碼流，所述一級子區域碼流包括N個二級子區域碼流，所述N為正整數；解析所述一級子區域碼流，以得到重建影像，所述重建影像包括N個子區域，所述N個子區域與所述N個二級子區域碼流一一對應；當環外濾波標識指示對所述重建影像進行跨子區域邊界環外濾波時，對所述重建影像進行跨子區域邊界環外濾波，以得到濾波後的重建影像；調整所述濾波後的重建影像中的所述N個子區域中的至少一個子區域的位置，以得到所述目標子影像。
本發明實施例還提供一種電腦儲存介質，其中，該電腦儲存介質可儲存有程式，該程式執行時包括上述方法實施例中記載的任何一種視頻影像編解碼方法的部分或全部步驟。
如圖13所示，伺服器1300可以以圖13中的結構來實現，該伺服器1300包括至少一個處理器1301，至少一個記憶體1302以及至少一個通信介面1303。所述處理器1301、所述記憶體1302和所述通信介面1303通過所述通信匯流排連接並完成相互間的通信。
處理器1301可以是通用中央處理器（CPU），微處理器，特定應用積體電路（application-specific integrated circuit，ASIC)，或一個或多個用於控制以上方案程式執行的積體電路。
通信介面1303，用於與其他設備或通信網路通信，如乙太網，無線接入網（RAN），無線局域網(Wireless Local Area Networks，WLAN)等。
記憶體1302可以是唯讀記憶體（read-only memory，ROM) 或可儲存靜態資訊和指令的其他類型的靜態存放裝置，隨機存取記憶體（random access memory，RAM) 或者可儲存資訊和指令的其他類型的動態儲存裝置設備，也可以是電可擦可程式設計唯讀記憶體（Electrically Erasable Programmable Read-Only Memory，EEPROM）、唯讀光碟（Compact Disc Read-Only Memory，CD-ROM）或其他光碟儲存、光碟儲存（包括壓縮光碟、鐳射碟、光碟、數位通用光碟、藍光光碟等）、磁片儲存介質或者其他磁存放裝置、或者能夠用於攜帶或儲存具有指令或資料結構形式的期望的程式碼並能夠由電腦存取的任何其他介質，但不限於此。記憶體可以是獨立存在，通過匯流排與處理器相連接。記憶體也可以和處理器集成在一起。
其中，所述記憶體1302用於儲存執行以上方案的應用程式碼，並由處理器1301來控制執行。所述處理器1301用於執行所述記憶體1302中儲存的應用程式碼。
記憶體1302儲存的程式碼可執行以上提供的伺服器執行的上述視頻影像編解碼方法，比如接收終端設備發送的碼流獲取請求，所述碼流獲取請求包括使用者視角資訊；向所述終端設備發送回應訊息，所述回應訊息用於回應所述碼流獲取請求，所述回應訊息包括N個二級子區域碼流或者一級子區域碼流， 所述N個二級子區域碼流用於組裝成所述一級子區域碼流。
本發明實施例還提供一種電腦儲存介質，其中，該電腦儲存介質可儲存有程式，該程式執行時包括上述方法實施例中記載的任何一種視頻影像編解碼方法的部分或全部步驟。
需要說明的是，對於前述的各方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領域技術人員應該知悉，本發明並不受所描述的動作順序的限制，因為依據本發明，某些步驟可以採用其他順序或者同時進行。其次，本領域技術人員也應該知悉，說明書中所描述的實施例均屬於優選實施例，所涉及的動作和模組並不一定是本發明所必須的。
在上述實施例中，對各個實施例的描述都各有側重，某個實施例中沒有詳述的部分，可以參見其他實施例的相關描述。
在本申請所提供的幾個實施例中，應該理解到，所揭露的裝置，可通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面，裝置或單元的間接耦合或通信連接，可以是電性或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。
所述集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取記憶體中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個記憶體中，包括若干指令用以使得一台電腦設備（可為個人電腦、伺服器或者網路設備等）執行本發明各個實施例所述方法的全部或部分步驟。而前述的記憶體包括：隨身碟、唯讀記憶體（ROM，Read-Only Memory）、隨機存取記憶體（RAM，Random Access Memory）、移動硬碟、磁碟或者光碟等各種可以儲存程式碼的介質。
本領域普通技術人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程式來指令相關的硬體來完成，該程式可以儲存於一電腦可讀記憶體中，記憶體可以包括：快閃記憶體體、唯讀記憶體（英文：Read-Only Memory ，簡稱：ROM）、隨機存取記憶體（英文：Random Access Memory，簡稱：RAM）、磁片或光碟等。
以上對本發明實施例進行了詳細介紹，本文中應用了具體個例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本發明的方法及其核心思想；同時，對於本領域的一般技術人員，依據本發明的思想，在具體實施方式及應用範圍上均會有改變之處，綜上上述，本說明書內容不應理解為對本發明的限制。
101‧‧‧伺服器
102‧‧‧終端設備
S201、S202、S203、S204‧‧‧視頻影像編解碼方法的步驟S501、S502‧‧‧視頻影像編解碼方法的步驟
S601、S602、S603、S604、S605、S606、S607、S608、S609、S610‧‧‧視頻影像編解碼方法的步驟
S701、S702、S703、S704、S705、S706、S707、S708、S709‧‧‧視頻影像編解碼方法的步驟
800‧‧‧終端設備
801‧‧‧獲取單元
802‧‧‧解析單元
803‧‧‧濾波單元
804‧‧‧調整單元
8011‧‧‧第一獲取子單元
8012‧‧‧第一組裝子單元
8013‧‧‧第二組裝子單元
8014‧‧‧第二發送子單元
8015‧‧‧第二接收子單元
80111‧‧‧第一發送子單元
80112‧‧‧第一接收子單元
80113‧‧‧第二獲取子單元
80114‧‧‧第三獲取子單元
1100‧‧‧終端設備
1101‧‧‧接收單元
1102‧‧‧發送單元
1103‧‧‧第一獲取單元
1104‧‧‧第二獲取單元
1105‧‧‧第一組裝單元
1106‧‧‧第三獲取單元
1107‧‧‧第二組裝單元
1200‧‧‧終端設備
1201‧‧‧處理器
1202‧‧‧記憶體
1203‧‧‧通信介面
1300‧‧‧伺服器
1301‧‧‧處理器
1302‧‧‧記憶體
1303‧‧‧通信介面
圖1為本發明實施例提供的一種視頻影像編解碼方法的應用場景示意圖； 圖2為本發明實施例提供的一種視頻影像編解碼方法的流程示意圖； 圖3為本發明實施例提供的一種全景影像劃分結果示意圖； 圖4為本發明實施例提供的一種視頻影像編解碼過程示意圖； 圖5為本發明實施例提供的另一種視頻影像編解碼方法的流程示意圖； 圖6為本發明實施例提供的另一種視頻影像編解碼方法的流程示意圖； 圖7為本發明實施例提供的另一種視頻影像編解碼方法的流程示意圖； 圖8為本發明實施例提供的一種終端設備的結構示意圖； 圖9為本發明實施例提供的一種終端設備的局部結構示意圖； 圖10為本發明實施例提供的另一種終端設備的局部結構示意圖； 圖11為本發明實施例提供的一種伺服器的結構示意圖； 圖12為本發明實施例提供的另一種終端設備的結構示意圖； 圖13為本發明實施例提供的另一種伺服器的結構示意圖。

Claims (32)

  1. 一種視頻影像編解碼方法，包括：獲取全景影像的目標子影像對應的一級子區域碼流，其中所述一級子區域碼流包括N個二級子區域碼流，所述N為正整數；解析所述一級子區域碼流，以得到重建影像，其中所述重建影像包括N個子區域，所述N個子區域與所述N個二級子區域碼流一一對應；當環外濾波標識指示對所述重建影像進行跨子區域邊界環外濾波時，對所述重建影像進行跨子區域邊界環外濾波，以得到濾波後的重建影像；調整所述濾波後的重建影像中的所述N個子區域中的至少一個子區域的位置，以得到所述目標子影像。
  2. 如申請專利範圍第1項所述的方法，其中所述獲取全景影像的一級子區域碼流，包括：獲取所述N個二級子區域碼流；將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包含第二輔助增強資訊(SEI)，所述N個二級子區域碼流中的任一二級子區域碼流i的第二SEI用於標識所述二級子區域碼流i對應的子區域和與所述二級子區域碼流i對應的子區域相鄰的子區域，所述一級子區域碼流包含子區域資訊，所述子區域資訊用於標識所述N個子區域中的每個子區域及與每個子區域相鄰的子區域，所述一級子區域碼流的影像參數集(PPS)、序列參數集(SPS)、視頻參數集(VPS)或者第一SEI中包含所述環外濾波標識。
  3. 如申請專利範圍第1項所述的方法，其中所述獲取全景影像的一級子區域碼流，包括：獲取所述N個二級子區域碼流；將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包括每個二級子區域碼流對應的子區域在所述全景影像中的座標資訊，所述一級子區域碼流包含子區域資訊，所述子區域資訊用於指示所述N個子區域中的每個子區域在所述全景影像的座標資訊；所述一級子區域碼流的PPS、SPS、VPS或者第一SEI中包含所述環外濾波標識。
  4. 如申請專利範圍第2項所述的方法，其中所述第一SEI包括所述子區域資訊。
  5. 如申請專利範圍第4項所述的方法，其中所述子區域資訊和所述環外濾波標識封裝於媒體描述展示(MPD)檔中，所述當環外濾波標識指示對所述重建影像進行跨子區域邊界環外濾波時，對所述重建影像進行跨子區域邊界環外濾波，以得到濾波後的重建影像之前，所述方法還包括：獲取所述MPD文件；所述對所述重建影像進行跨子區域邊界環外濾波，包括：從所述MPD檔中獲得所述子區域資訊；根據所述子區域資訊，對所述重建影像進行跨子區域邊界環外濾波。
  6. 如申請專利範圍第3項所述的方法，其中所述環外濾波標識、所述子區域資訊和所述一級子區域碼流的軌道(track)封裝於同一個盒子(box)中。
  7. 如申請專利範圍第2至6任一項所述的方法，其中所述獲取所述N個二級子區域碼流包括：向伺服器發送碼流獲取請求，其中所述碼流獲取請求包括使用者視角資訊；接收所述伺服器發送的用於回應所述碼流獲取請求的回應訊息，其中所述回應訊息包括所述N個二級子區域碼流，所述N個二級子區域碼流對應所述使用者視角資訊。
  8. 如申請專利範圍第2至6項中任一項所述的方法，其中所述獲取所述N個二級子區域碼流包括：從伺服器獲取所述全景影像對應的二級子區域碼流；從所述全景影像對應的二級子區域碼流中獲取與使用者視角資訊對應的N個二級子區域碼流。
  9. 如申請專利範圍第1項所述的方法，其中所述獲取一級子區域碼流，包括：向伺服器發送碼流獲取請求，其中所述碼流獲取請求包括使用者視角資訊；接收所述伺服器發送的用於回應所述碼流獲取請求的回應訊息，其中所述回應訊息包括所述一級子區域碼流，所述一級子區域碼流包括的N個二級子區域碼流對應所述使用者視角資訊。
  10. 如申請專利範圍第2項所述的方法，其中所述當環外濾波標識指示對所述重建影像進行跨子區域邊界環外濾波時，對所述重建影像進行跨子區域邊界環外濾波，以得到濾波後的重建影像，包括：根據所述子區域資訊確定與所述N個子區域中的任一子區域j相鄰的子區域；根據與所述子區域j相鄰的子區域確定目標子區域，所述目標子區域為與所述子區域j相鄰的子區域與所述N個子區域重疊的子區域；對所述子區域j的邊界和所述目標子區域的邊界進行平滑濾波。
  11. 如申請專利範圍第3至6項中任一項所述的方法，其中所述當環外濾波標識指示對所述重建影像進行跨子區域邊界環外濾波時，對所述重建影像進行跨子區域邊界環外濾波，以得到濾波後的重建影像，包括：根據所述子區域資訊確定與所述N個子區域中的任一子區域j相鄰的子區域；從與所述子區域j相鄰的子區域獲取目標子區域，所述目標子區域為與所述子區域j相鄰的子區域與所述N個子區域重疊的子區域；對所述子區域j的邊界和所述目標子區域的邊界進行平滑濾波。
  12. 一種視頻影像編解碼方法，包括：接收終端設備發送的碼流獲取請求，其中所述碼流獲取請求包括使用者視角資訊；向所述終端設備發送回應訊息，其中所述回應訊息用於回應所述碼流獲取請求，所述回應訊息包括N個二級子區域碼流或者一級子區域碼流，所述N個二級子區域碼流用於組裝成所述一級子區域碼流，其中所述回應訊息包括所述一級子區域碼流，所述一級子區域碼流包括N個二級子區域碼流，所述接收終端設備發送的碼流獲取請求之後，所述方法還包括：從全景影像對應的二級子區域碼流中獲取與所述使用者視角資訊對應的N個二級子區域碼流；將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包含第二輔助增強資訊(SEI)，所述N個二級子區域碼流中的任一二級子區域碼流i的第二SEI用於標識所述二級子區域碼流i對應的子區域和與所述二級子區域碼流i對應的子區域相鄰的子區域，所述一級子區域碼流包含子區域資訊，所述子區域資訊用於標識所述N個子區域中的每個子區域及與每個子區域相鄰的子區域；或者，所述方法還包括：從全景影像對應的二級子區域碼流中獲取與所述使用者視角資訊對應的N個二級子區域碼流；將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包括每個二級子區域碼流對應的子區域在所述全景影像中的座標資訊，所述一級子區域碼流包含子區域資訊，所述子區域資訊用於標識所述N個子區域中的每個子區域在所述全景影像的座標資訊；其中所述一級子區域碼流的影像參數集(PPS)、序列參數集(SPS)、視頻參數集(VPS)或者第一SEI中包含環外濾波標識。
  13. 如申請專利範圍第12項所述的方法，其中所述第一SEI包括所述子區域資訊。
  14. 如申請專利範圍第12項所述的方法，其中所述子區域資訊、所述環外濾波標識和所述一級子區域碼流的軌道(track)封裝於同一個盒子(box)中，或者；所述子區域資訊和所述環外濾波標識封裝於媒體展示描述(MPD)檔中。
  15. 一種終端設備，包括：獲取單元，用於獲取全景影像的目標子影像對應的一級子區域碼流，所述一級子區域碼流包括N個二級子區域碼流，所述N為正整數；解析單元，用於解析所述一級子區域碼流，以得到重建影像，所述重建影像包括N個子區域，所述N個子區域與所述N個二級子區域碼流一一對應；濾波單元，用於當環外濾波標識指示對所述重建影像進行跨子區域邊界環外濾波時，對所述重建影像進行跨子區域邊界環外濾波，以得到濾波後的重建影像；調整單元，用於調整所述濾波後的重建影像中的所述N個子區域中的至少一個子區域的位置，以得到所述目標子影像。
  16. 如申請專利範圍第15項所述的終端設備，其中所述獲取單元包括：第一獲取子單元，用於獲取所述N個二級子區域碼流；第一組裝子單元，用於將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包含第二輔助增強資訊(SEI)，所述N個二級子區域碼流中的任一二級子區域碼流i的第二SEI用於標識所述二級子區域碼流i對應的子區域的編號和與所述二級子區域碼流i對應的子區域相鄰的子區域碼流的編號，每個所述二級子區域碼流包含子區域資訊，所述子區域資訊用於標識所述N個子區域中的每個子區域及與每個子區域相鄰的子區域，所述一級子區域碼流的影像參數集(PPS)、序列參數集(SPS)、視頻參數集(VPS)或者第一SEI中包含所述環外濾波標識。
  17. 如申請專利範圍第15項所述的終端設備，其中所述獲取單元包括：第一獲取子單元，用於獲取所述N個二級子區域碼流；第二組裝子單元，用於將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包括每個二級子區域碼流對應的子區域在所述全景影像中的座標資訊，所述一級子區域碼流包含所述子區域資訊，所述子區域資訊用於指示所述N個子區域中的每個子區域在所述全景影像的座標資訊；所述一級子區域碼流的PPS、SPS、VPS或者第一SEI中包含所述環外濾波標識。
  18. 如申請專利範圍第16項所述的終端設備，其中所述第一SEI包括所述子區域資訊。
  19. 如申請專利範圍第15項所述的終端設備，其中子區域資訊和所述環外濾波標識封裝於媒體展示描述(MPD)檔中，所述獲取單元，還用於獲取所述MPD檔；所述濾波單元，還用於從所述MPD檔中獲得所述子區域資訊；根據所述子區域資訊，對所述重建影像進行跨子區域邊界環外濾波。
  20. 如申請專利範圍第16項所述的終端設備，其中所述環外濾波標識、所述子區域資訊和所述一級子區域碼流的軌道(track)封裝於同一個盒子(box)中。
  21. 如申請專利範圍第17或18項所述的終端設備，其中所述第一獲取子單元包括：第一發送子單元，用於向伺服器發送碼流獲取請求，所述碼流獲取請求包括所述使用者視角資訊；第一接收子單元，用於接收所述伺服器發送的用於回應所述碼流獲取請求的回應訊息，所述回應訊息包括所述N個二級子區域碼流；其中，所述N個二級子區域碼流對應使用者視角資訊。
  22. 如申請專利範圍第16或17項所述的終端設備，其中所述第一獲取子單元包括：第二獲取子單元，用於從伺服器獲取所述全景影像對應的二級子區域碼流；第三獲取子單元，用於從所述全景影像對應的二級子區域碼流中獲取與使用者視角資訊對應的N個二級子區域碼流。
  23. 如申請專利範圍第15項所述的終端設備，其中所述獲取單元包括：第二發送子單元，用於向伺服器發送碼流獲取請求，所述碼流獲取請求包括使用者視角資訊；第二接收子單元，用於接收所述伺服器發送的用於回應所述碼流獲取請求的回應訊息，所述回應訊息包括所述一級子區域碼流，所述一級子區域碼流包括的N個二級子區域碼流對應所述使用者視角資訊。
  24. 如申請專利範圍第17項所述的終端設備，其中所述濾波單元用於：根據所述子區域資訊確定與所述N個子區域中的任一子區域j相鄰的子區域；根據與所述子區域j相鄰的子區域確定目標子區域，所述目標子區域為與所述子區域j相鄰的子區域與所述N個子區域重疊的子區域；對所述子區域j的邊界和所述目標子區域的邊界進行平滑濾波。
  25. 如申請專利範圍第18至20項中任一項所述的終端設備，其中所述濾波單元用於：根據所述子區域資訊確定與所述N個子區域中的任一子區域j相鄰的子區域；從與所述子區域j相鄰的子區域獲取目標子區域，所述目標子區域為與所述子區域j相鄰的子區域與所述N個子區域重疊的子區域；對所述子區域j的邊界和所述目標子區域的邊界進行平滑濾波。
  26. 一種伺服器，包括：接收單元，用於接收終端設備發送的碼流獲取請求，所述碼流獲取請求包括使用者視角資訊；發送單元，用於向所述終端設備發送回應訊息，所述回應訊息用於回應所述碼流獲取請求，所述回應訊息包括N個二級子區域碼流或者一級子區域碼流，所述N個二級子區域碼流用於組裝成所述一級子區域碼流，其中所述回應訊息包括所述N個二級子區域碼流，所述伺服器還包括：第一獲取單元，用於在所述接收單元接收終端設備發送的碼流獲取請求之後，根據全景影像對應的二級子區域碼流中獲取與所述使用者視角資訊對應的N個二級子區域碼流；以及第一組裝單元，用於將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包含第二輔助增強資訊(SEI)，所述N個二級子區域碼流中的任一二級子區域碼流i的第二SEI用於標識所述二級子區域碼流i對應的子區域和與所述二級子區域碼流i對應的子區域相鄰的子區域，所述一級子區域碼流包含子區域資訊，所述子區域資訊用於標識所述N個子區域中的每個子區域及與所述每個子區域相鄰的子區域；或者，所述第一組裝單元，用於將所述N個二級子區域碼流組裝成所述一級子區域碼流；其中，所述N個二級子區域碼流中的每個二級子區域碼流包括該二級子區域碼流對應的子區域在所述全景影像中的座標資訊，所述一級子區域碼流包含子區域資訊，所述子區域資訊用於標識所述N個子區域中的每個子區域在所述全景影像的座標資訊；其中所述一級子區域碼流的影像參數集(PPS)、序列參數集(SPS)、視頻參數集(VPS)或者第一SEI中包含環外濾波標識。
  27. 如申請專利範圍第26項所述的伺服器，其中所述第一SEI包括所述子區域資訊。
  28. 如申請專利範圍第26項所述的伺服器，其中所述環外濾波標識、所述子區域資訊和所述一級子區域碼流的軌道(track)封裝於同一個盒子(box)中，或者；所述環外濾波標識和所述子區域資訊封裝於媒體描述展示(MPD)檔中。
  29. 一種終端設備，包括：儲存有可執行程式碼的記憶體；與所述記憶體耦合的處理器；所述處理器調用所述記憶體中儲存的所述可執行程式碼，執行如申請專利範圍第1至11項中任一項所述的方法。
  30. 一種電腦可讀儲存介質，所述電腦儲存介質儲存有電腦程式，所述電腦程式包括程式指令，所述程式指令當被處理器執行時使所述處理器執行如申請專利範圍第1至11項中任一項所述的方法。
  31. 一種伺服器，包括：儲存有可執行程式碼的記憶體；與所述記憶體耦合的處理器；所述處理器調用所述記憶體中儲存的所述可執行程式碼，執行如申請專利範圍第12至14項中任一項所述的方法。
  32. 一種電腦可讀儲存介質，所述電腦儲存介質儲存有電腦程式，所述電腦程式包括程式指令，所述程式指令當被處理器執行時使所述處理器執行如申請專利範圍第12至14項中任一項所述的方法。
TW107145311A 2018-01-03 2018-12-14 視頻影像編解碼方法及設備 TWI680673B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810006308.5 2018-01-03
CN201810006308.5A CN109996069B (zh) 2018-01-03 2018-01-03 视频图像编解码方法及设备
??201810006308.5 2018-01-03

Publications (2)

Publication Number Publication Date
TW201931855A TW201931855A (zh) 2019-08-01
TWI680673B true TWI680673B (zh) 2019-12-21

Family

ID=67128528

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107145311A TWI680673B (zh) 2018-01-03 2018-12-14 視頻影像編解碼方法及設備

Country Status (5)

Country Link
US (1) US11800095B2 (zh)
EP (1) EP3726847A4 (zh)
CN (1) CN109996069B (zh)
TW (1) TWI680673B (zh)
WO (1) WO2019134442A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019243541A2 (en) 2018-06-21 2019-12-26 Telefonaktiebolaget Lm Ericsson (Publ) Flexible tile partitions
WO2019243534A1 (en) * 2018-06-21 2019-12-26 Telefonaktiebolaget Lm Ericsson (Publ) Tile shuffling for 360 degree video decoding
US11553180B2 (en) 2018-06-21 2023-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Tile partitions with sub-tiles in video coding
EP3707904A1 (en) 2018-10-02 2020-09-16 Telefonaktiebolaget Lm Ericsson (Publ) Encoding and decoding pictures based on tile group id
KR102154407B1 (ko) * 2018-11-15 2020-09-09 한국전자기술연구원 타일 기반 스트리밍을 위한 모션 제한 av1 영상 부호화 방법 및 장치
WO2020249124A1 (en) 2019-06-14 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
EP3970366A4 (en) 2019-06-14 2023-03-29 Beijing Bytedance Network Technology Co., Ltd. HANDLING VIDEO UNIT LIMITS AND VIRTUAL LIMITS
CN114097225B (zh) 2019-07-09 2024-04-19 北京字节跳动网络技术有限公司 用于自适应环路滤波的样点确定
EP3984223A4 (en) 2019-07-11 2022-11-09 Beijing Bytedance Network Technology Co., Ltd. SAMPLE PADDING IN AN ADAPTIVE LOOP FILTERING
EP3984219A4 (en) * 2019-07-15 2022-08-17 Beijing Bytedance Network Technology Co., Ltd. CLASSIFICATION IN AN ADAPTIVE LOOP FILTERING
CN114128296A (zh) * 2019-07-15 2022-03-01 北京字节跳动网络技术有限公司 自适应环路滤波中跨视频单元边界访问样点
KR20220061207A (ko) * 2019-09-18 2022-05-12 주식회사 비원영상기술연구소 인-루프 필터 기반의 영상 부호화/복호화 방법 및 장치
CN112541858A (zh) * 2019-09-20 2021-03-23 华为技术有限公司 视频图像的增强方法、装置、设备、芯片及存储介质
JP7318120B2 (ja) 2019-09-22 2023-07-31 北京字節跳動網絡技術有限公司 適応ループフィルタリングにおけるパディングプロセス
WO2021057946A1 (en) 2019-09-27 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering between different video units
WO2021068906A1 (en) 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Padding process at unavailable sample locations in adaptive loop filtering
WO2021196035A1 (zh) * 2020-03-31 2021-10-07 深圳市大疆创新科技有限公司 视频编码的方法和装置
CN111711818B (zh) * 2020-05-13 2022-09-09 西安电子科技大学 视频图像编码传输方法及其装置
CN114885165B (zh) * 2022-06-30 2023-04-04 深圳比特微电子科技有限公司 图像帧的环路滤波方法、装置及电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106454364A (zh) * 2016-10-09 2017-02-22 传线网络科技（上海）有限公司 全景视频播放方法及装置
US20170118540A1 (en) * 2014-06-27 2017-04-27 Koninklijke Kpn N.V. Determining A Region Of Interest On The Basis Of A HEVC-Tiled Video Stream
CN107395984A (zh) * 2017-08-25 2017-11-24 北京佰才邦技术有限公司 一种视频传输的方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100455266C (zh) * 2005-03-29 2009-01-28 深圳迈瑞生物医疗电子股份有限公司 宽景成像处理方法
CN101472175A (zh) * 2007-12-29 2009-07-01 智多微电子（上海）有限公司 一种支持多视频标准的去块效应滤波装置
US9462298B2 (en) 2011-10-21 2016-10-04 Qualcomm Incorporated Loop filtering around slice boundaries or tile boundaries in video coding
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
CN105678721A (zh) * 2014-11-20 2016-06-15 深圳英飞拓科技股份有限公司 一种全景拼接图像接缝处平滑的方法及装置
KR101969943B1 (ko) * 2015-05-27 2019-08-13 구글 엘엘씨 사용자 헤드셋으로의 구면 영상 대역폭을 감소시키는 방법 및 장치
EP3307407B1 (en) * 2015-06-14 2020-09-09 Sony Interactive Entertainment Inc. Expanded field of view re-rendering for vr spectating
US10389999B2 (en) * 2016-02-17 2019-08-20 Qualcomm Incorporated Storage of virtual reality video in media files
US10602191B2 (en) * 2016-05-13 2020-03-24 Gopro, Inc. Apparatus and methods for video compression
CN106060652A (zh) * 2016-06-08 2016-10-26 北京中星微电子有限公司 一种视频码流中全景信息的标识方法和标识装置
EP3503546A4 (en) * 2016-08-25 2020-01-22 LG Electronics Inc. -1- METHOD FOR SENDING AN OMNIDIRECTIONAL VIDEO, METHOD FOR RECEIVING AN OMNIDIRECTIONAL VIDEO, DEVICE FOR SENDING AN OMNIDIRECTIONAL VIDEO, AND DEVICE FOR RECEIVING AN OMNIDIRECTIONAL VIDEO
GB2563439B (en) * 2017-06-16 2022-02-16 Canon Kk Methods, devices, and computer programs for improving streaming of portions of media data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170118540A1 (en) * 2014-06-27 2017-04-27 Koninklijke Kpn N.V. Determining A Region Of Interest On The Basis Of A HEVC-Tiled Video Stream
CN106454364A (zh) * 2016-10-09 2017-02-22 传线网络科技（上海）有限公司 全景视频播放方法及装置
CN107395984A (zh) * 2017-08-25 2017-11-24 北京佰才邦技术有限公司 一种视频传输的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Y. Sánchez ; R. Skupin ; T. Schierl, "Compressed domain video processing for tile based panoramic streaming using HEVC," 2015 IEEE International Conference on Image Processing (ICIP), Year: 2015, Pages: 2244 - 2248. ^&rn^ *

Also Published As

Publication number Publication date
TW201931855A (zh) 2019-08-01
US20200336740A1 (en) 2020-10-22
CN109996069A (zh) 2019-07-09
CN109996069B (zh) 2021-12-10
EP3726847A4 (en) 2021-05-19
WO2019134442A1 (zh) 2019-07-11
US11800095B2 (en) 2023-10-24
EP3726847A1 (en) 2020-10-21

Similar Documents

Publication Publication Date Title
TWI680673B (zh) 視頻影像編解碼方法及設備
KR102525578B1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
TWI606718B (zh) 規定視覺動態範圍編碼操作及參數
EP3531698A1 (en) Deblocking filter method and terminal
US11172239B2 (en) Media information processing method and apparatus
TW201742435A (zh) 具有用於360度視訊之透鏡失真校正之魚眼呈現
CN113557729B (zh) 视频码流解码方法、系统、装置和电子设备
KR20200019718A (ko) 이미지 처리 방법, 단말기, 및 서버
US20200228837A1 (en) Media information processing method and apparatus
KR20190020083A (ko) 인코딩 방법 및 장치 및 디코딩 방법 및 장치
GB2581855A (en) Method and apparatus for encoding and decoding a video bitstream for merging regions of interest
CN112153391B (zh) 视频编码的方法、装置、电子设备及存储介质
JP2022553599A (ja) サブピクチャ、スライス、およびタイルをサポートするビデオ符号化
US11743502B2 (en) Compact description of region-wise packing information
WO2020178144A1 (en) Method and apparatus for encoding and decoding a video bitstream for merging regions of interest
KR20240049610A (ko) 비디오 처리를 위한 방법, 장치 및 매체
KR20230004340A (ko) 어느 비디오 데이터 유닛들이 타겟 픽처-인-픽처 영역을 나타내는지의 표시
KR102377191B1 (ko) 비트스트림 처리방법 및 장치
WO2024080904A1 (en) Selective application of neural network based filtering to picture regions