TWI655857B - 一種濾波３６０度視訊邊界的方法及裝置 - Google Patents

一種濾波３６０度視訊邊界的方法及裝置 Download PDF

Info

Publication number
TWI655857B
TWI655857B TW106123460A TW106123460A TWI655857B TW I655857 B TWI655857 B TW I655857B TW 106123460 A TW106123460 A TW 106123460A TW 106123460 A TW106123460 A TW 106123460A TW I655857 B TWI655857 B TW I655857B
Authority
TW
Taiwan
Prior art keywords
edge
primitives
face
image
filtering
Prior art date
Application number
TW106123460A
Other languages
English (en)
Other versions
TW201813380A (zh
Inventor
許曉中
杉 劉
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201813380A publication Critical patent/TW201813380A/zh
Application granted granted Critical
Publication of TWI655857B publication Critical patent/TWI655857B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/053—Detail-in-context presentations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供一種用於編碼或者解碼360度虛擬實境視訊的視訊系統。該系統執行濾波操作以減少全向圖像的投影圖像中的編碼偽影和非連續性。該視訊系統確定該投影圖像的第一邊緣和第二邊緣。該第一邊緣和該第二邊緣物理上相關聯而作為該全向圖像中的公共邊緣，但在該投影圖像中不是物理連接。該系統基於位於該第一邊緣附近的第一圖元集和位於第二邊緣附近的第二圖元集計算濾波圖元集。

Description

一種濾波360度視訊邊界的方法及裝置 【相關申請的交叉引用】
本申請的申請專利範圍依35 U.S.C.§119要求如下申請的優先權：2016年07月15日遞交的申請號為62/362,613的美國專利申請案、2016年09月08日遞交的申請號為62/384,768的美國專利申請案以及2017年07月12日遞交的申請號為15/647,630的美國專利申請案。在此合併參考該申請案的申請標的。
本發明涉及視訊處理。更具體而言，本發明涉及濾波圖像以用於360度虛擬實境(360-degree virtual reality，360VR)視訊呈现的方法。
除非此處另有說明外，本部分所描述的方法相對於下面列出的申請專利範圍而言不是習知技術，並且本部分包含的內容不被承認是習知技術。
360度虛擬實境是變化的、增強的或者替代的環境的視聽模擬。視覺實境視訊環繞著使用者，使得用戶在向任何方向或者在任何任意視野角度上朝周圍看時，感覺他或者她處於現實生活中。360度虛擬實境視訊產生獨特的高品質且高解 析度的全景視訊，以在用於各種應用的列印和全景虛擬旅遊產業中的使用，例如，娛樂、導向訓練(pilot training)、手術和在空間或者深水中的勘探。
以下發明內容僅是說明性的，不打算以任何方式加以限制。也就是說，以下發明內容被提供以介紹此處所描述的新且非显而易见的技術的概念、重點、好處和優勢。選擇而不是所有的實施方式在下面的詳細說明中進行進一步描述。因此，以下發明內容不用於確定所要求主題的本質特徵，也不用於確定所要求主題的範圍。
本發明的一些實施例提供了一種用於編碼或者解碼360度虛擬實境視訊的視訊系統。該系統執行濾波操作以減少全向圖像的投影圖像中的編碼偽影和非連續性。該視訊系統確定該投影圖像的第一邊緣和第二邊緣。該第一邊緣和該第二邊緣物理上相關聯而作為該全向圖像中的公共邊緣，但在該投影圖像中不是物理連接。該系統然後基於位於該第一邊緣附近的第一圖元(pixels)集和位於第二邊緣附近的第二圖元集計算濾波圖元集本發明的一些實施例提供了一種用於編碼或者解碼360度虛擬實境視訊的視訊系統。該系統執行濾波操作以減少全向圖像的投影圖像中的編碼偽影和非連續性。該視訊系統確定該投影圖像的第一邊緣和第二邊緣。該第一邊緣和該第二邊緣物理上相關聯而作為該全向圖像中的公共邊緣，但在該投影圖像中不是物理連接。該系統然後基於位於該第一邊緣附近的第一圖元集和位於第二邊緣附近的第二圖元集計算濾波 圖元集。
在一些實施例中，該全向圖像是具有多個面的多面體，並且，該投影圖像包括該多面體的該多個面的佈局。該第一邊緣是該多面體的第一面的邊緣，第二邊緣是該多面體的第二面的邊緣，該第一圖元集位於該多面體的該第一面中，且該第二圖元集位於該多面體的該第二面中。作為其濾波操作的一部分，該視訊系統根據該第一面和該第二面之間的幾何關係重新排列該多面體的第二面的多個圖元。該幾何關係由該投影圖像中的該多面體的該多個面的佈局定義。重新排列該第二面的多個圖元可以包括基於該第一面和該第二面之間的該幾何關係旋轉或者跳過該第二面的多個圖元。在一些實施例中，該第二面的該重新排列的多個圖元被存儲在該投影圖像的與該第一邊緣相鄰的空白區域。在一些實施例中，該第二面的該重新排列的多個圖元被存儲在臨時暫存器中，其中該臨時暫存器不存儲來自於該投影圖像的空白區域的多個圖元。該視訊系統基於該第一面的多個圖元和該第二面的該重新排列的多個圖元計算用於該第一圖元集和該第二圖元集的濾波值集。
101、102、103、104‧‧‧邊界
105‧‧‧球面
106‧‧‧已投影圖像
111、112、118、119、191、199‧‧‧塊
150‧‧‧範圍
305‧‧‧立方體
306‧‧‧3x2矩形平面306
307‧‧‧4x3立方體平面圖像
500‧‧‧360度虛擬實境視訊系統
510‧‧‧轉換預測處理
520‧‧‧圖元重新排列處理
530‧‧‧濾波處理
540‧‧‧顯示暫存器
550‧‧‧已解碼圖像暫存器
560‧‧‧臨時暫存器
701、801‧‧‧第一階段
702、802‧‧‧第二階段
703、803‧‧‧第三階段
804‧‧‧第四階段
805‧‧‧第五階段
900、1000‧‧‧過程
910、920、930、940、950、1010、1020、1030、1040、1050、1060‧‧‧步驟
1100‧‧‧視訊編碼器
1105‧‧‧輸入視訊訊號
1110‧‧‧轉換量化模組
1115、1215‧‧‧逆轉換模組
1120‧‧‧畫面內圖像估計模組
1125、1225‧‧‧畫面內圖像預測模組
1130、1235‧‧‧運動補償模組
1135‧‧‧運動估計模組
1140‧‧‧濾波控制分析模組
1145、1245‧‧‧環路濾波器
1150、1250‧‧‧已解碼圖像暫存器
1165、1265‧‧‧運動向量暫存器
1175、1275‧‧‧運動向量預測模組
1190‧‧‧熵編碼器
1195、1295‧‧‧位元流解析器
1112、1212‧‧‧轉置係數
1113、1213‧‧‧預測圖元資料
1117、1217‧‧‧已解碼圖元資料
1200‧‧‧視訊解碼器
1255‧‧‧顯示裝置
1290‧‧‧位元流解析器
1400‧‧‧電子系統
1405‧‧‧匯流排
1410‧‧‧處理單元
1415‧‧‧影像處理單元
1420‧‧‧系統記憶體
1425‧‧‧網路
1430‧‧‧唯讀記憶體
1435‧‧‧永久儲存裝置
1440‧‧‧輸入裝置
1445‧‧‧輸出設備
提供下列圖式以進一步理解本發明公開的內容，並且這些圖式被納入且構成本發明公開的一部分。這些圖式說明了本發明的實施方式，並與說明書一起用以解釋本發明的原理。為了清楚地說明本發明的概念，由於與實際實施方式中的尺寸相比，一些元件可以不按照比例被示出，這些圖式無需按照比例繪製。
第1圖概念性示出了全向圖像(omnidirectional image)的已投影圖像內的非連續性濾波。
第2圖列出並示出了幾種不同類型的多面體(platonic solid)及其對應的2D投影。
第3圖示出了在立方體格式中的全向圖像到2D投影圖像的投影。
第4圖示出了在4x3立方體平面圖像中公共邊緣的確定。
第5圖示出了執行用於全向圖像的投影圖像的濾波操作的360度虛擬實境視訊系統。
第6a圖概念性示出了穿過4x3立方體平面圖像內物理連接的面之間邊緣處的濾波。
第6b圖概念性示出了穿過4x3立方體平面圖像內非物理連接的面之間邊緣處的濾波。
第7圖示出了在空白區域中將面旋轉或重排列的版本進行存儲以便於在穿過4x3立方體平面圖像內面的邊緣進行濾波。
第8圖示出了基於重新排列的面的投影圖像的濾波。
第9圖概念性示出了執行濾波以減少位於全向圖像的投影圖像的邊緣或者邊界附近的偽影(artifact)和非連續性的過程。
第10圖概念性示出了執行濾波以減少多面體全向圖像的投影圖像中位於多面體面邊緣附近的偽影和非連續性的過程。
第11圖示出了實作360度虛擬實境視訊系統的視訊編碼器或者視訊編碼裝置。
第12圖示出了實作360度虛擬實境視訊系統的視訊解碼器或者視訊解碼裝置。
第13圖示出了基於視埠(viewport)切換約束的最大視訊視窗尺寸。
第14圖概念性示出了在本發明一些實施例中實作的電子系統。
在下面詳細的說明書中，為了透徹理解相關教示內容，通過舉例的方式進行說明大量具體的細節。基於本文所描述的教示內容的任何改變、推導和/或拓展均在本發明的保護範圍內。在一些例子中，為了避免不必要地混淆本發明的教示內容的方面，在相對較高的級別而無細節上描述已知的方法、程式、元件和/或關於此處所公開的一個或者多個示例性實施方式的電路。
360度虛擬實境體驗通常是基於二維(two-dimensional，2D)圖像的視訊，二維圖像是全向圖像的投影。幾何上，全向圖像採取環繞著觀察者的三維(three-dimensional，3D)物體的內表面的形式。投影圖像是全向圖像在平面的投影。
存在很多將全向圖像投影到平面的方法。最常用的方法是等角投影(equirectangular projection)，其將球體的全向圖像投影到平面。(這類似於以平面上的矩形格式描述地球表面的製圖學。)這類型的投影是一個簡單的轉換過程，其會導致在球體的不同維度處不同數量的失真。具體地，投影在球體的赤道附近具有最小失真或者免失真，而在球體的兩極附近存在最大拉伸的最大失真。
理論上，球體的全向圖像沒有邊界或者邊緣，因而沒有非連續性。當將球形的全向圖像投影到2D平面(例如，通過等角投影)時，全向的展開將圖像進行分裂，並創建邊緣(或者圖像邊界)，因而在圖像的邊緣處存在非連續性。(已投影圖像的每個邊緣也是圖像的邊緣。)
被投影到多面體的表面上的球體的全向圖像在多面體的不同面之間沿著每個面的邊緣處存在非連續性。當多面體全向圖像被投影到2D平面時，圖像的展開創建更大的非連續性，如多面體的至少一些面變得相互分離一樣。
本發明的一些實施例提供一種視訊系統，其執行沿著2D圖像的邊緣和/或邊界濾波非連續性和/或編碼偽影的方法，2D圖像是360度虛擬實境視訊的全向圖像的投影。視訊系統接收全向圖像的投影圖像。視訊系統識別投影圖像的第一邊緣和第二邊緣。第一邊緣和第二邊緣物理上相關聯而作為全向圖像內的公共邊緣，但是在投影圖像內不是物理連接的。隨後，視訊系統基於位於第一邊緣附近的第一圖元(pixels)集和位於第二邊緣附近的第二圖元集，計算濾波圖元集。(位於邊緣附近的圖元包括位於最接近邊緣處的N列或者N行圖元)。
第1圖概念性示出了全向圖像的已投影圖像內的非連續性濾波。具體地，圖示出了球面的全向圖像105(半徑為r)，通過等角投影，全向圖像105被投影成2D平面圖像106(寬度為2πr且高度為πr)。
已投影圖像106是具有邊界101到邊界104的矩 形圖像。邊界102是球面105的北極的投影，而邊界104是球面105的南極的投影。邊界101和邊界103對應於球面105的沿著球面105的一個經度線(即公共邊緣)的分離/展開。換句話說，邊界101和邊界103是已投影圖像106的邊緣，這兩個邊緣從球面105的北極延伸到南極。
已投影圖像106沿著邊界101的區域不與已投影圖像沿著邊界103的區域物理連接。但是，由於對應於原始的球面的全向圖像105的物理連接的區域，已投影圖像106沿著邊界101的區域與已投影圖像沿著邊界103的區域物理上相關聯。
在一些實施例中，視訊系統執行濾波操作以改善視覺品質和預測性能。濾波操作使得在逐塊編碼並解碼視訊圖像時塊(例如，巨集塊(macroblock)、編碼塊或者編碼單元)之間所形成的偽影變得平滑。如圖所示，已投影圖像106被分割成用於編碼的圖元塊(例如，塊111到塊119，塊191到塊199)。通過基於兩個相鄰塊的圖元值計算已濾波圖元集(例如，通過平均這個塊的圖元值)，去塊濾波(Deblock filtering)減少任意兩個相鄰塊(例如塊111和塊112)之間的非連續性偽影。
對於已投影圖像106，視訊系統不僅將濾波應用到相鄰塊之間，而且將濾波應用到穿過邊界的圖元塊之間，這些邊界在全向圖像105中物理連接在公共邊緣(或者公共線)處但在已投影圖像106中不物理連接。
如圖所示，塊119位於已投影圖像106的邊界103 (即右邊界)處，而塊111位於邊界101(即左邊界)處。塊111和塊119在原始的全向球面105中共用沿著被投影成邊界101和邊界103的經度線的公共邊緣。因此，儘管在已投影圖像106中不是物理連接的，但是塊119和塊111的圖元物理上是相關聯的。
視訊系統確認邊界101和邊界103作為公共邊緣，並將濾波應用到穿過公共邊緣的、像是相鄰快塊的圖元塊(塊119和塊111)之間。視訊系統也將濾波應用到沿著邊界101和邊界103的包含圖元塊圖元(塊119和塊111)的其他圖元塊上。如圖所示，濾波也被應用到落入到範圍150內的圖元上，這些圖元包括沿著邊界101和邊界103的一個或者多個圖元列。包含在濾波範圍150中的圖元集由濾波器的具體內容來確定。
第1圖示出了沿著球面的全向圖像的等角投影圖像的邊界的圖元塊的濾波。在一些實施例中，全向圖像可以被投影到多面體(platonic solid)，例如立方體(6面)、四面體(4面)、八面體(8面)、十二面體(12面)或者二十面體(20面)。不同於球面，其表面是非平面，會導致失真的投影，多面體具有通過簡單地展開而可以被投影到平面(2D投影)而沒有更多失真的平面。第2圖列出並示出了幾種不同類型的多面體(platonic solid)及其對應的2D投影。圖也包括了其相對於球面投影和等角投影的面積比。
在一些實施例中，使用多面體投影的視訊系統將濾波應用到沿著多面體的每個面的邊緣的圖元以及沿著展開 的邊界的圖元。視訊系統確定多面體面的邊緣或者邊界，這些多面體面在全向圖像中共用公共邊緣，但在投影圖像中物理上非連接。沿著所確定的邊緣的圖元一起被視訊系統濾波。
在一些實施例中，全向圖像是多面體，並且投影圖像包括多面體的面的排列。視訊系統確定投影圖像的第一邊緣和第二邊緣。第一邊緣和第二邊緣在全向圖像中與公共邊緣物理上相關聯，但在投影圖像中不是物理連接。第一邊緣是多面體的第一面的邊緣，第二邊緣是多面體的第二面的邊緣，第一圖元集位於多面體的第一面內，且第二圖元集位於多面體的第二面內。隨後，視訊系統基於位於第一邊緣附近的第一圖元集和位於第二邊緣附近的第二圖元集計算濾波圖元集。
為了簡單說明，下面的第3-8圖使用具有六面的立方體作為多面體全向圖像的示例。本領域通常知識者能理解的是，本發明所公開的確定公共邊緣以及濾波的方法和/或系統也可以應用到其他類型的多面體(即四面體、立方體、八面體、十二面體、二十面體等)。
第3圖示出了立方體305全向圖像到2D投影圖像的投影。立方體305具有面A、面B、面C、面D、面E以及面F這六個面。面F位於前面；面A位於左側；面C位於頂部；面E位於後面；面D位於底部；面B位於右側。
為了根據符合作為部分360度虛擬實境視訊的視訊編解碼格式，編解碼立方體全向圖像，立方體被投影到平坦的2D投影圖像，其中立方體的這六個面被排列在2D矩形平面內。當將立方體305投影到平坦的2D投影時，可以形成這 六個面的不同排列。
這六個面可以以3x2立方體格式被排列在3x2矩形平面306中，其中立方體的這些面填充矩形平面，而不考慮其在立方體305上的相互之間的幾何關係。如圖所示，3x2的矩形平面的頂行(top row)包括面A、面B和面C，而3x2的矩形平面的第二行包括面D、面E和面F。可以存在這六個面在3x2的矩形平面中的其他順序的排列。
通過將立方體305展開到4x3立方體平面圖像307(4x3形狀的平面)，立方體305的全向圖像也可以被投影到平坦的2D投影圖像。由於面C、面F和面D位於立方體305上(即面C和面F共用一個公共邊緣；面F和面D共用一個公共邊緣)，則面C、面F和面D在垂直方向上物理連接。由於面F、面B、面E和面A位於立方體305上(即面F和面B共用一個公共邊緣；面B和面E共用一個公共邊緣；面E和面A共用一個公共邊緣)，則面F、面B、面E和面A在水準方向上物理連接。用空資料的空白區域來填充4x3平面的剩餘部分。可以用預設值來填充，例如，黑圖元(black pixel)。在解碼4x3立方體平面圖像307之後，位於對應面內的圖元用於重構位於原始的立方體中的資料；丟棄不位於對應面(例如，用黑圖元值填充的面)內的圖元，或者保留在圖像中以用於後面參考的目的。
在4x3立方體平面圖像307中的物理連接的兩個面具有物理上高度相關聯的圖元，是因為其在立方體305中物理連接且共用公共邊緣。然而，並不是所有在立方體305中物 理連接的面被分配成在4x3立方體平面圖像307中相互相鄰並共用公共邊緣。在一些實施例中，視訊系統在4x3立方體平面圖像307(已投影圖像)中確定在全向圖像305中共用公共邊緣的立方體面。具體地，對於在4x3立方體平面圖像307中的每個面的每個邊緣而言，視訊系統確定在立方體305中共用公共邊緣的另一個面的對應邊緣，而不管這兩個面在4x3立方體平面圖像307中是否是物理連接。
第4圖示出了在4x3立方體平面圖像內公共邊緣的確定。如圖所示，在4x3立方體平面圖像307內，每個面與至少一個其他面通過公共邊緣物理連接。例如，面B與面F和面E通過公共邊緣物理連接，面F與面C、面B和面D通過公共邊緣物理連接。
每個面也與立方體平面圖像內的另一面共用至少一個公共邊緣，其在4x3立方體平面圖像中是物理非連接。圖用虛線箭頭示出了這些公共邊緣。如圖所示，面B的頂邊緣與面C的右邊緣共用公共邊緣，面E的頂邊緣與面C的頂邊緣共用公共邊緣，面A的右邊緣與面F的左邊緣共用公共邊緣等。
如所述，視訊系統執行濾波(例如，去塊)，以減少穿過每個確定的公共邊緣處的非連續性和壓縮偽影。視訊系統對兩個面內位於公共邊緣附近的圖元進行濾波，以使得在解碼之後，當全向圖像被重構成立方體時，在穿過邊緣處不存在非連續性或者明顯的壓縮偽影。在一些實施例中，執行的濾波操作包括採樣適應偏移(sample adaptive offset，SAO)。在一些實施例中，濾波操作包括適應環路濾波器(adaptive loop filter，ALF)。
考慮到立方體(或者其他多面體)上的資料將被投影(映射)成其他格式，並使用其他格式(例如，球面格式)最終被顯示出來，在一些實施例中，視訊系統基於最終顯示的全向圖像的格式(而不是立方體格式)執行濾波操作。立方體(或者其他多面體)上的邊緣在投影之後可以不是直線，但仍然可以被認為其位置是固定的。由於投影會引入潛在的失真，在已投影格式上的濾波操作不再是垂直/水準定向的，並且是非對稱的。
由於並不是所有立方體305的物理連接的面在4x3立方體平面圖像307內被放置成相鄰，在4x3立方體平面圖像307(已投影圖像)中穿過某些邊緣的圖元的去塊濾波將無法進行，是因為沒有來自於兩個相鄰面的正確的圖元。例如，面B的頂邊緣應與面C的右邊緣連接，面B的底邊緣應與面D的右邊緣連接。但是，在4x3立方體平面圖像307內，這兩個邊緣連接到空白區域(具有預設值集)。在穿過這些邊緣處應用濾波器可能導致不需要的濾波效果。又例如，面A的右邊緣應於面F的左邊緣連接。但是，在4x3立方體平面圖像307內，這兩個邊緣將變成圖像分界。
在一些實施例中，當在投影圖像中不物理連接的立方體的第一面和立方體的第二面之間的公共邊緣處執行濾波時，視訊系統根據第一面和第二面之間的幾何關係重新排列立方體的第二面的圖元。由投影圖像(例如，4x3立方體平面圖像307)中的立方體的面的佈局來定義幾何關係。
第5圖示出了執行用於全向圖像的投影圖像的濾波操作的360度虛擬實境視訊系統500。視訊系統500包括轉換預測處理510、圖元重新排列處理520、濾波處理530和已解碼圖像暫存器550。在一些實施例中，由相應軟體指令的模組執行轉換預測處理510、圖元重新排列處理520和濾波處理530，軟體指令由實作視訊系統500的計算設備的一個或者多個處理單元(例如，處理器)來執行。在一些實施例中，由硬體電路的模組執行轉換預測處理510、圖元重新排列處理520和濾波處理530，硬體電路由實作視訊系統500的電子裝置的一個或者多個積體電路(integrated circuit，IC)來實作。例如，在一些實施例中，由轉換預測電路來執行轉換預測處理510，由圖元重新排列電路來執行圖元重新排列處理520，由濾波電路來執行濾波處理530。
轉換預測處理510產生4x3立方體平面圖像307作為用於360度虛擬實境視訊的已解碼視訊資訊框(根據視訊編解碼格式作為視訊編碼處理或者視訊解碼處理的部分)。4x3立方體平面圖像307的圖元被存儲在視訊系統的已解碼圖像暫存器550中，進而通過檢索或者訪問存儲在已解碼圖像暫存器550中的圖元，濾波處理530可以在穿過不同面的邊緣處執行濾波。根據如第4圖所示的4x3立方體平面圖像中面之間的幾何關係，圖元重新排列處理520重新排列(旋轉、跳過等)已檢索到的圖元。
在一些實施例中，將重新排列的圖元存儲在已解碼圖像暫存器550中，以用於由濾波處理530訪問。在一些實 施例中，將重新排列的圖元存儲在獨立於已解碼暫存器550的臨時暫存器560，以用於由濾波處理530訪問。在一些實施例中，通過將圖元存儲在其相應的重新排列的位置上，系統重新排列面的圖元。在一些實施例中，系統不將圖元存儲在其重新排列的位置上，而是使用映射表來模擬重新排列。也就是說，當在穿過一面與另一面的公共邊緣處執行濾波時，系統根據映射表檢索面的圖元。
第6a圖概念性示出了穿過4x3立方體平面圖像307(和立方體305)內物理連接的面之間邊緣處的濾波。在穿過物理連接的面之間的公共邊緣處進行濾波，而無需進行任何圖元排列。這些公共邊緣包括：面C的底部和面F的頂部之間的公共邊緣；面F的底部和面D的底部之間的公共編碼；面F的右側與面B的左側之間的公共邊緣；面B的右側與面E的左側之間的公共邊緣；以及面E的右側和面A的左側之間的公共邊緣。
第6b圖概念性示出了穿過4x3立方體平面圖像307內非物理連接的面之間邊緣處的濾波。這些是立方體305中物理連接的面之間的公共邊緣。在4x3立方體平面圖像307中，共用這些公共邊緣的面物理上相關聯，但不是物理連接在一起。
為了濾波位於邊緣附近的給定面的圖元，視訊系統(例如，在濾波處理530中)確定在立方體305中共用邊緣作為公共邊緣而在4x3立方體平面圖像307中不共用邊緣的相應面。隨後，視訊系統檢索來自於給定面和確定的相應面的圖 元，以在穿過公共邊緣處進行濾波。例如，為了濾波位於面F的左邊緣附近的圖元，視訊系統確定面A的右邊緣作為公共邊緣，並檢索出面A的圖元以用於濾波。
確定的相應面無需位於相對於給定面的正確位置。在這些示例中，視訊系統將旋轉、跳過、轉置或者其他重新排列確定的相應面的圖元，為了使得來自於這兩個面的圖元對齊以進行濾波。相應面的圖元的重新排列(或者重新定位)是基於由4x3立方體平面圖像307中面的佈局而定義的這兩個面之間的幾何關係的。
例如，面B的頂部是與面C的右側的公共邊緣，這樣視訊系統將面C的圖元旋轉90度。然後，視訊系統基於旋轉的圖元在穿過公共邊緣處執行濾波。又例如，面E的底部是與面D的底部的公共邊緣，這樣視訊系統將面D的圖元旋轉180度。然後，視訊系統基於旋轉的圖元在穿過公共邊緣(面D的底部與面E的底部之間)處執行濾波。
在一些實施例中，視訊系統將旋轉版本或者重新排列版本的面存儲在投影圖像的空白區域中。這允許待濾波的圖元一起被存儲在已解碼圖像暫存器550中4x3立方體平面圖像的相鄰區域中，進而濾波處理530可以一起訪問圖元以進行濾波。
第7圖示出了將旋轉或者重新排列版本的面存儲到4x3立方體平面圖像307的空白區域中以在穿過邊緣處進行濾波。圖示出了在階段(第一階段701-第三階段703)這三個階段中的濾波操作。
在第一階段701中，轉換預測處理510生成穿過4x3立方體平面圖像307作為用於360度虛擬視訊的已解碼視訊資訊框。已解碼視訊資訊框的圖元被存儲在已解碼圖像暫存器550中。開始時，存儲的4x3立方體平面圖像307包括空白區域(其用預設值填充)。
在第二階段702中，投影圖像重新排列處理520(即，圖元重排列)檢索4x3立方體平面圖像307中一些面的圖元，重新排列這些檢索的圖元(旋轉、跳過等)，並將這些重新排列的圖元存儲回到已解碼圖像暫存器550中位於4x3立方體平面圖像307的空白區域上。
如圖所示，面C的圖元被旋轉90度並被存儲在與面B的頂邊緣相鄰的空白區域，被旋轉180度並被存儲在與面E的頂邊緣相鄰的空白區域，以及被旋轉270度並被存儲在與面A的頂邊緣相鄰的空白區域。(旋轉版本的面C被標記為C’)。面D的圖元被旋轉270度並被存儲在與面B的底邊緣相鄰的空白區域，被旋轉180度並被存儲在與面E的底邊緣相鄰的空白區域，以及被旋轉90度並被存儲在與面A的底邊緣相鄰的空白區域。(旋轉版本的面D被標記為D’)。
在一些實施例中，整個面C被旋轉並存儲在沿著面B、面E和面A的頂邊緣的空白區域，並且整個面D被旋轉並存儲在沿著面B、面E和面A的底邊緣的空白區域。在一些實施例中，僅面C和面D的圖元子集(例如，僅需要用於濾波圖元)被存儲在空白區域。在一些實施例中，為了方便穿過面A與面F之間的公共邊緣處的濾波，視訊系統檢索面A 的圖元，並將面A的圖元存儲在與面F的左邊緣相鄰的存儲區域(memory region)。在一些實施例中，由於平面圖像中面A的位置相對於面F的圖元的位置是正確的(即，面A與面F關於立方體305的面的佈局的幾何關係是相對應的)，面A與存儲於另一存儲裝置中的面F在公共邊緣處的圖元直接濾波，而無需旋轉、跳過、轉置或者其他重新排列操作。
在第三階段703中，當相對於這些公共邊緣而言空白區域的正確位置處被重新排列的圖元填充時，通過簡單地從已解碼圖像暫存器550中檢索位於邊緣的兩側的圖元，濾波處理530處理執行穿過每個公共邊緣處的濾波。濾波處理基於檢索的圖元計算或者生成濾波圖元，並將濾波圖元存儲回已解碼圖像暫存器550中(和/或單獨的顯示暫存器540中)。在圖中，具有濾波圖元的4x3立方體平面圖像307的區域可以包括至少一些用散列線(hash lines)所示的部分。
根據相對於4x3立方體平面圖像307中目標面的幾何關係而正在被檢索和被重新排列的面被稱為參考面。通過基於來自於目標面的圖元集和來自於參考面的重新排列圖元集而計算濾波圖元值，視訊系統執行濾波。在第6a圖、第6b圖和第5圖的示例中，面C、面D和面A用作參考面，以用於對與目標面B、目標面E、目標面A和目標面F的公共邊緣處進行濾波。參考面C被檢索、旋轉，並且位於旋轉位置處的圖元被調整或者被濾波，以為了在穿過與面B、面E和面A的公共邊緣處執行濾波。參考面D也被檢索、旋轉，並且位於旋轉位置處的圖元被調整或者被濾波，以為了在穿過與面B、面E 和面A的公共邊緣處執行濾波。參考面A被檢索(沒有旋轉)，並且其圖元被調整或者被濾波，以為了在穿過與面F的公共邊緣處執行濾波。
在一些實施例中，在濾波之後，如果由於濾波參考面內的圖元已經被調整，則這些已被調整的圖元被處理回去以替換4x3立方體平面圖像中的相應的原始圖元。例如，當根據來自於面C’和面B以及來自於面B和面D’的輸入濾波面B中圖元時，面C’和面D’中的一些圖元由於濾波也被調整了。隨後，視訊系統使用這些面C’和面D’中已調整的圖元來替換4x3立方體平面圖像307中面C和面D中的原始圖元。
第8圖示出了基於重新排列的面的投影圖像的濾波。圖示出了面F、面B、面E和面A在其與面C’(即旋轉版本的面C)的公共邊緣處的濾波。圖也示出了在4x3立方體平面圖像中面C’的已調整的圖元替換面C的原始圖元。圖概念性地示出了在第一階段801到第五階段805這五個階段中的濾波處理530的操作和已解碼圖像暫存器550的內容。
在第一階段801中，存儲在已解碼圖像暫存器550中的面C和面F的圖元是還未被濾波的原始圖元。面C和面F的圖元被濾波處理500檢索和濾波，以使得位於面C和面F的公共邊緣(面C的底部和面F的頂部)附近的圖元被調整以用於平滑編碼偽影。
在第二階段802中，位於公共邊緣的面C和面F的已調整圖元(如散列區域(hashed region)所示)被存儲回到已解碼圖像暫存器550中。隨後，面C的圖元用已調整的圖 元被圖元重新排列處理520檢索，被旋轉90度，以使得面C和面B共用的公共邊緣(面C的右側和面B的頂部)對齊。在旋轉位置處的面C’的圖元可用於濾波處理530(位於4x3立方體平面圖像的空白區域中，臨時暫存器560中，或者直接跳過重新排列處理520)，濾波處理530調整面C’和面B中位於其公共邊緣(面C的右側和面B的頂部)處的圖元，以用於平滑編碼偽影。
在第三階段803中，面C’的已調整圖元被旋轉回到其原始位置，並被存儲回到已解碼圖像暫存器550(如散列區域所示；面B的已調整圖元未被示出)。然後，面C的圖元(與已調整圖元)被圖元重新排列處理520檢索，旋轉180度，以使得面C和面E共用的公共邊緣(面C的頂部和面E的頂部)對齊。在旋轉位置處的面C’的圖元可用於濾波處理530，濾波處理530調整面C’和面E中位於其公共邊緣(面C的頂部和面E的頂部)處的圖元，以用於平滑編碼偽影。
在第四階段804中，面C’的已調整圖元被旋轉回到其原始位置，並被存儲回到已解碼圖像暫存器550(如散列區域所示；面E的已調整圖元未被示出)。然後，面C的圖元(與已調整圖元)被圖元重新排列處理520檢索，旋轉270度，以使得面C和面A共用的公共邊緣(面C的左側和面A的頂部)對齊。在旋轉位置處的面C’的圖元可用於濾波處理530，濾波處理530調整面C’和面A中位於其公共邊緣(面C的左側和面A的頂部)處的圖元，以用於平滑編碼偽影。
在第五階段805中，面C’的已調整圖元被存儲回 到已解碼圖像暫存器550(如散列區域所示；面A的已調整圖元未被示出)。此時，濾波操作已經完全調整面C的圖元，以用於平滑圍繞器四個邊緣處的編碼偽影。
第9圖概念性示出了執行濾波以減少位於全向圖像的投影圖像的邊緣或者邊界附近的偽影和非連續性的過程900。在一些實施例中，當編碼或者解碼360度虛擬實境視訊時，實作視訊系統500的計算設備的一個或者多個處理單元(例如，處理器)執行過程900。全向圖像可以是球體或者多面體的表面。投影圖像可以是從全向圖像被投影成的等角投影圖像(例如已投影圖像106)、3x2立方體平面圖像(例如圖像306)、4x3立方體平面圖像(例如4x3立方體平面圖像307)或者其他類型投影圖像。
過程900始於視訊系統接收圖像暫存器中全向圖像的投影圖像(在步驟910中)。隨後，視訊系統確定投影圖像的第一邊緣(在步驟920中)。隨後，視訊系統確定投影圖像的第二邊緣(在步驟930中)。第一邊緣和第二邊緣物理上相關聯，作為全向圖像中的公共邊緣。在第1圖所示的示例中，第一邊緣和第二邊緣對應於等角投影圖像106的邊界101和邊界103。在第3圖所示的示例中，第一邊緣和第二邊緣對應於在投影圖像中物理上相關聯但無需物理連接的面的邊緣，例如，面B的頂邊緣和面C的右邊緣。
隨後，視訊系統濾波位於第一邊緣附近的第一圖元集和位於第二邊緣附近的第二圖元集(在步驟940中)。具體地，操作基於這兩個圖元集計算濾波或者調整的圖元集。隨 後，視訊系統更新圖像暫存器的內容，以替換位於第一邊緣附近的原始的第一圖元集和位於第二邊緣附近的原始的第二圖元集(在步驟950中)。隨後，過程900結束。
第10圖概念性示出了執行濾波以減少多面體全向圖像的投影圖像中位於多面體面邊緣附近的偽影和非連續性的過程1000。在一些實施例中，當編碼或者解碼360度虛擬實境視訊時，實作視訊系統500的計算設備的一個或者多個處理單元(例如，處理器)執行過程1000。投影圖像可以是從全向圖像被投影成的3x2立方體平面圖像(例如圖像306)、4x3立方體平面圖像(例如4x3立方體平面圖像307)或者其他類型投影圖像。
過程始於視訊系統確定全向圖像中物理連接的第一面和第二面(例如，第一面和第二面共用公共邊緣)(在步驟1010中)。視訊系統確定第一面和第二面在投影圖像中的幾何關係，以為了對齊第一面的第一邊緣與第二面的第二邊緣(在步驟1020中)。例如，視訊系統將確定面C的右邊緣和面B的頂邊緣是全向圖像305中的一個公共邊緣，以及面C和面B之間在4x3立方體平面圖像307(投影圖像)中的幾何關係要求面C被旋轉90度以為了使面C的右邊緣與面B的頂邊緣對齊。視訊系統根據確定的幾何關係重新排列或者轉置第二面的圖元(例如，旋轉或者跳過)(在步驟1030中)。
視訊系統對位於第一邊緣附近的第一面的圖元和位於第二邊緣附近的重新排列的第二面的圖元執行濾波(在步驟1040中)。換言之，通過基於第一面的圖元和重新排列的第 二面的圖元計算濾波圖元集，視訊系統執行穿過公共邊緣處的平滑濾波。視訊系統重新排列或者轉置第二面的濾波圖元以使其回到其原始位置(在步驟1050中)。隨後，視訊系統用第一面和第二面的濾波圖元更新圖像暫存器(在步驟1060中)。隨後，過程1000結束。
第11圖示出了實作360度虛擬實境視訊系統的視訊編碼器1100或者視訊編碼裝置。具體地，視訊編碼器在全向圖像的投影圖像的邊緣或者邊界處執行濾波(例如，去塊)，以作為其環路濾波操作(in-loop filtering operation)的部分。
如圖所示，視訊編碼器1100接收輸入視訊訊號1105，並將訊號編碼成位元流1195。視訊編碼器1100具有幾個元件或者模組，以用於編碼輸入視訊訊號1105，視訊編碼器1100包括轉換量化模組1110、逆轉換模組1115、畫面內圖像估計模組1120、畫面內圖像預測模組1125、運動補償模組1130、運動估計模組1135、濾波控制分析模組1140、環路濾波器1145、已解碼圖像暫存器1150、運動向量(motion vector，MV)暫存器1165和運動向量預測模組1175，以及熵編碼器1190。
在一些實施例中，轉換量化模組1110到熵編碼器1190是由計算設備的一個或者多個處理單元(例如處理器)正在執行的軟體指令的模組。在一些實施例中，轉換量化模組1110到熵編碼器1190是由電子裝置的一個或者多個積體電路(integrated circuit，IC)實作的硬體電路的模組。儘管轉換量化模組1110到熵編碼器1190被示為單獨的模組，但是這些 模組中的一些可以結合成一個獨立的模組。
輸入視訊訊號1105是原始的視訊訊號，其表示沒有壓縮的每個視訊資訊框的圖元資料。在一些實施例中，原始的視訊訊號包括由360度虛擬實境攝像機提供的360度虛擬視訊投影圖像序列。轉換量化模組1110將原始的視訊的圖元資料(減去來自於畫面內圖像預測模組1125或者運動補償模組1130的預測圖元資料1113)轉換成量化的轉置係數(transform coefficient)1112(例如，來自於離散余弦變換(Discrete Cosine Transform，DCT))，轉置係數1112由熵編碼器1190編碼成位元流1195。逆轉換模組1115對轉置係數1112執行逆轉換，並產生已解碼圖元資料1117(在添加預測圖元資料1113之後)。在一些實施例中，已解碼圖元資料1117被臨時存儲線上暫存器(line buffer)中(未示出)，以用於畫面內圖像預測和空間運動向量預測。
畫面內圖像估計模組1120基於已解碼圖元資料1117執行畫面內預測，以產生畫面內預測資料。畫面內預測資料被提供給熵編碼器1190，以將其編碼成位元流1195。畫面內預測資料也由畫面內圖像預測模組1125來使用，以產生預測圖元資料1113。
運動估計模組1135通過產生存儲在已解碼圖像暫存器1150中的之前已解碼資訊框的參考圖元資料的運動向量，以執行畫面間預測。這些運動向量被提供給運動補償模組1130，以產生預測圖元資料。這些運動向量對重構解碼器側的視訊資訊框也是必要的。不是編碼位元流中整個實際運動向 量，視訊編碼器1100使用時間運動向量預測來產生預測運動向量，以及用於運動補償的運動向量與預測運動向量之間的差被編碼為殘差運動資料，並被存儲在位元流1195中，以用於解碼器。
視訊編碼器1100基於被生成用於編碼之前視訊資訊框的參考運動向量，生成預測運動向量，即被用於執行運動補償的運動補償運動向量。視訊編碼器1100從運動向量暫存器1165中檢索來自於之前視訊資訊框的參考運動向量。視訊編碼器1100將被生成用於當前視訊資訊框的這些運動向量存儲到運動向量暫存器1165中，以作為用於生成預測運動向量的參考運動向量。
運動向量預測模組1175使用參考運動向量來創建預測運動向量。預測運動向量可以由空間運動向量預測或者時間運動向量預測來計算。預測運動向量和當前資訊框的運動補償運動向量(motion compensation MV，MC MV)之間的差(殘差運動資料)被熵編碼器1190編碼成位元流1195。
通過使用熵編碼技術，熵編碼器1190將各種參數和資料編碼成位元流1195，例如，內容適應二進位算術編碼(context-adaptive binary arithmetic coding，CABAC)或者赫夫曼編碼(Huffman encoding)。熵編碼器1190將參數編碼成位元流，例如，量化的轉換資料和殘差運動資料。
對於一些實施例而言，轉換量化模組1110、逆轉換模組1115、畫面內圖像估計模組1120、畫面內圖像預測模組1125、運動補償模組1130和運動估計模組1135的操作對應 於轉換預測處理510。轉換預測處理510產生存儲在已解碼圖像暫存器1150中的已解碼圖元(已解碼圖像暫存器1150對應於已解碼圖像暫存器550)。
環路濾波器1145執行濾波或者平滑操作，以減少編碼的偽影，特別是位於塊的邊界的偽影。在一些實施例中，所執行的濾波操作包括樣本適應偏移(sample adaptive offset，SAO)。在一些實施例中，濾波操作包括適應環路濾波器(adaptive loop filter，ALF)。
環路濾波器1145通過訪問並更新存儲在已解碼圖像暫存器1150中的圖元而執行濾波操作。在一些實施例中，環路濾波器1145也執行操作，以減少由360度虛擬實境投影圖像的邊緣處的非連續性所產生的偽影，例如，等角投影的邊緣處，或者多面體投影的面之間的公共邊緣處。在一些實施例中，環路濾波器1145執行濾波處理530和圖元重新排列處理520的功能。在一些實施例中，環路濾波器1145也提供臨時暫存器(即臨時暫存器560)，以臨時將重新排列圖元作為濾波處理530的輸入。
第12圖示出了實作360度虛擬實境視訊系統500的視訊解碼器1200或者視訊解碼裝置。具體地，視訊解碼器在全向圖像的投影圖像的邊緣或者邊界處執行濾波(例如，去塊)，以作為其環路濾波操作(in-loop filtering operation)的部分。
如圖所示，視訊解碼器1200接收位元流1295，並將位元流解碼成視訊資訊框的圖元資料，以用於顯示。視訊解 碼器1200具有幾個元件或者模組，以用於解碼位元流1295，視訊解碼器1200包括逆轉換模組1215、畫面內圖像預測模組1225、運動補償模組1235、環路濾波器1245、已解碼圖像暫存器1250、運動向量暫存器1265和運動向量預測模組1275，以及位元流解析器1290。
在一些實施例中，逆轉換模組1210到位元流解析器1290是由計算設備的一個或者多個處理單元(例如處理器)正在執行的軟體指令的模組。在一些實施例中，逆轉換模組1210到位元流解析器1290是由電子裝置的一個或者多個積體電路實作的硬體電路的模組。儘管逆轉換模組1210到位元流解析器1290被示為單獨的模組，但是這些模組中的一些可以結合成一個獨立的模組。
逆轉換模組1215對轉置係數1212執行逆轉換，並產生已解碼圖元資料1217(在添加來自於畫面內預測模組1225或者運動補償模組1235的預測圖元資料1213之後)。已解碼圖元資料1217被存儲在已解碼圖像暫存器1250中。畫面內圖像預測模組1225接收來自於位元流1295的畫面內預測資料，並根據此產生預測圖元資料1213，預測圖元資料1213來自於存儲在已解碼圖像暫存器1250中的已解碼圖元資料1217。在一些實施例中，已解碼圖元資料1217也被存儲線暫存器(line buffer)中(未示出)，以用於畫面內圖像預測和空間運動向量預測。
在一些實施例中，已解碼圖像暫存器1250的內容用於顯示。顯示裝置1255檢索已解碼圖像暫存器1250的內 容，以直接用於顯示，或者檢索已解碼圖像暫存器的內容到顯示暫存器。顯示裝置可以是虛擬顯示裝置(例如，虛擬實境護目鏡(VR goggle))，其以虛擬顯示呈現的方式展現已解碼圖像暫存器的內容。在一些實施例中，顯示裝置1255基於用戶輸入指定視埠(viewport)，並基於視埠顯示已解碼360度虛擬實境視訊。
運動補償模組1235根據運動補償運動向量產生來自於存儲在已解碼圖像暫存器1250中的已解碼圖元資料的預測圖元資料1213。通過添加由位元流1295所接收的殘差運動資料以及由運動向量預測模組1275所接收的預測運動向量，這些運動補償運動向量被重構。
視訊解碼器1200基於被生成用於解碼之前視訊資訊框的參考運動向量生成預測運動向量，即運動補償運動向量用於執行運動補償。視訊解碼器1200從運動向量暫存器1265中檢索之前視訊資訊框的參考運動向量。視訊解碼器1200也將被生成用於解碼當前視訊資訊框的運動補償運動向量存儲到運動向量暫存器1265中，作為參考運動向量，以用於產生預測運動向量。
對於一些實施例而言，逆轉換模組1215、畫面內圖像預測模組1225和運動補償模組1235的操作對應於轉換預測處理510。轉換預測處理510產生存儲在已解碼圖像暫存器1250中的已解碼圖元(已解碼圖像暫存器1250對應於已解碼圖像暫存器550)。
環路濾波器1245執行濾波或者平滑操作，以減少 編碼的偽影，特別是位於塊的邊界的偽影。在一些實施例中，所執行的濾波操作包括樣本適應偏移(sample adaptive offset，SAO)。在一些實施例中，濾波操作包括適應環路濾波器(adaptive loop filter，ALF)。
環路濾波器1245通過訪問並更新存儲在已解碼圖像暫存器1250中的圖元而執行濾波操作。在一些實施例中，環路濾波器1245也執行操作，以減少由360度虛擬實境投影圖像的邊緣處的非連續性所產生的偽影，例如，等角投影的邊緣處，或者多面體投影的面之間的公共邊緣處。在一些實施例中，環路濾波器1245執行濾波處理530和圖元重新排列處理520的功能。在一些實施例中，環路濾波器1145也提供臨時暫存器(即臨時暫存器560)，以臨時將重新排列圖元作為濾波處理530的輸入。
視埠切換約束
虛擬實境和360度視訊對編解碼和幾乎所有的情況提出了很多要求。虛擬實境和360度視訊內容消費的最常用的使用情況是觀察者(例如，顯示裝置1255)從小視窗(有時也稱為視埠)觀看展現從各方(all sides)捕獲到的資料的圖像內部。觀察者可在智慧手機應用(smart phone app)上正在觀看360度虛擬實境視訊。觀察者也可在頭盔式顯示器(head-mounted display，HMD)上正在觀看這些內容。視埠尺寸通常較小(例如，高清(high definition，HD))，但是對應於各方的視訊解析度可以明顯更高(例如，8K)。
當360度虛擬實境視訊被顯示在某些終端上時， 僅整個視訊內容的部分將被顯示在觀看視窗(即視埠)。使用者可自由切換視埠，進而在需要的時候在視埠上可呈現之前位於視埠之外的其他內容。改變被約束在視埠中的視訊內容，稱為視埠切換(viewport switching)。視埠可以以其位置(相對於360度視訊的原始位置的左上位置)和尺寸(寬頻和高度)的形式來被描述。
視埠切換可以是任意的。其位置可以從x和/或y方向上的一個位置移動到另一個位置(任何位置)。本發明的一些實施例提供了一種視訊系統，視訊系統提出了切換的約束。具體地，對delta_X和delta_Y的可能的值限制一些約束，其中delta_X涉及x方向上的改變，而delta_Y涉及y方向上的改變。
在一些實施例中，可以單獨或者一起設置delta_X和delta_Y的值。設置在負方向和正方向上的最大值，例如，大於某個閾值，以使得從一個時刻到相鄰時刻時視埠移動不會太急劇。在一些實施例中，delta_X被約束成(在負方向和正方向上)小於或者等於MAX_DELTA_WIDTH，delta_Y被約束成(在負方向和正方向上)小於或者等於MAX_DELTA_HEIGHT。
在一些實施例中，當視埠切換在兩個方向上同時發生時，移動的總和｜delta_X｜+｜delta_Y｜被約束成小於或者等於MAX_DELTA_WIDTH(或者MAX_DELTA_HEIGHT)。MAX_DELTA_WIDTH或者MAX_DELTA_HEIGHT可以與視埠的寬度或者高度相關。在一個示例中，MAX_DELTA_WIDTH 被設置為寬度的1/3；MAX_DELTA_HEIGHT被設置為高度的1/3。
在一些實施例中，當前一時刻和當前時刻在同一隨機訪問點處時，但不是在前一時刻和當前時刻在不同隨機訪問點處時，delta_X和delta_Y被約束。換句話說，當新的隨機訪問點被創建時(例如，在場景改變處，或者新序列的開端處)，則關於視埠切換的約束不被提出。
在一些實施例中，關於視埠切換的約束可以是基於每個隨機訪問點。視埠切換約束實際提供的是最大可能的視窗尺寸，以用於解碼一個特定隨機訪問點的視訊內容。第13圖示出了基於視埠切換約束的最大視訊視窗尺寸。
如圖所示，從隨機接入點處的第一圖像開始，隨機接入點處的任何其他圖像與第一圖像的視埠差被稱為delta_X和delta_Y，其由MAX_DELTA_WIDTH和MAX_DELTA_HEIGHT來約束。需要用於解碼隨機接入點的最大視訊尺寸如點線的擴展的視窗尺寸所示。
電子系統示例
很多上述的特徵和應用可以被實作為軟體處理，其被指定為記錄在電腦可讀存儲介質(computer readable storage medium)(也被稱為電腦可讀介質)上的指令集。當這些指令由一個或者多個計算單元或者處理單元(例如，一個或者多個處理器、處理器核或者其他處理單元)來執行時，則這些指令使得處理單元執行這些指令所表示的動作。電腦可讀介質的示例包括但不限於CD-ROM、快閃記憶體驅動器(flash drive)、隨機存取記憶體(random access memory，RAM)晶片、硬碟、可讀寫可程式設計唯讀記憶體(erasable programmable read only memory，EPROM)，電可擦除可程式設計唯讀記憶體(electrically erasable programmable read-only memory，EEPROM)等。電腦可讀介質不包括通過無線或有線連接的載波和電訊號。
在本說明書中，術語“軟體”意味著包括唯讀記憶體中的固件或者存儲在磁存放裝置中的應用程式，應用程式可以被讀入到記憶體中以用於處理器進行處理。同時，在一些實施例中，多個軟體發明可以作為更大程式的子部分來實作，而保留不同的軟體發明。在一些實施例中，多個軟體發明可以作為獨立的程式來實作。最後，一起實作此處所描述的軟體發明的獨立的程式的任何結合是在本發明的範圍內。在一些實施例中，當被安裝以在一個或者多個電子系統上進行操作時，軟體程式定義了一個或者多個特定的機器實作方式，機器實作方式執行和實施軟體程式的操作。
第14圖概念性示出了在本發明一些實施例中實作的電子系統1400。電子系統1400可以是電腦(例如，臺式電腦、個人電腦、平板電腦等)、電話、PDA或者其他種類的電子設備。這個電子系統包括各種類型的電腦可讀媒質和用於各種其他類型的電腦可讀媒介的介面。電子系統1400包括匯流排1405、處理單元1410、影像處理單元(graphics-processing unit，GPU)1415、系統記憶體1420、網路1425、唯讀記憶體(read-only memory，ROM)1430、永久儲存裝置1435、輸入 裝置1440和輸出設備1445。
匯流排1405共同地表示與電子系統1400的大量的內部設備通信連接的所有系統匯流排、外設匯流排和晶片組匯流排。例如，匯流排1405通過影像處理單元1415、唯讀記憶體1430、系統記憶體1420和永久存放裝置1435，與處理單元1410通信連接。
對於這些各種記憶體單元，處理單元1410檢索執行的指令和處理的資料，以為了執行本發明的處理。在不同實施例中，處理單元可以是單個處理器或者多核心(multi-core)處理器。某些指令被傳輸影像處理單元1415和並被其執行。影像處理單元1415可以卸載各種計算或補充由處理單元1410提供的影像處理。
唯讀記憶體1430存儲處理單元1410或者電子系統的其他模組所需要的靜態資料和指令。另一方面，永久存放裝置1435是一種讀寫記憶體設備(read-and-write memory)。這個設備是一種非易失性(non-volatile)記憶體單元，其即使在電子系統1400關閉時也存儲指令和資料。本發明的一些實施例使用大型存放區設備(例如磁片或光碟及其相應的磁碟機)作為永久存放裝置1435。
其他實施例使用卸除式存放裝置設備(如軟碟、快閃記憶體設備等，以及其相應的磁碟機)作為永久存放裝置。與永久存放裝置1435一樣，系統記憶體1420是一種讀寫記憶體設備。但是，與存放裝置1435不一樣的是，系統記憶體1420是一種易失性(volatile)讀寫記憶體，例如隨機讀取 記憶體。系統記憶體1420存儲一些處理器在運行時需要的指令和資料。在一些實施例中，根據本發明的處理被存儲在系統記憶體1420、永久存放裝置1435和/或唯讀記憶體1430中。例如，各種記憶體單元包括用於根據一些實施例的處理多媒體剪輯的指令。對於這些各種記憶體單元，處理單元1410檢索執行的指令和處理的資料，以為了執行某些實施例的處理。
匯流排1405也連接到輸入裝置1440和輸出設備1445。輸入裝置1440使得使用者溝通資訊並選擇指令到電子系統上。輸入裝置1440包括字母數位鍵盤和指點設備(也被稱為“游標控制設備”)，攝像機(如網路攝像機(webcam))，用於接收語音命令的麥克風或類似的設備等。輸出設備1445顯示由電子系統生成的圖像或以其他方式輸出的資料。輸出設備1445包括印表機和顯示裝置，例如陰極射線管(cathode ray tube，CRT)或液晶顯示器(liquid crystal display，LCD)，以及揚聲器或類似的音訊輸出設備。一些實施例包括諸如同時用作輸入裝置和輸出設備的觸控式螢幕等設備。
最後，如第14圖所示，匯流排1405也通過網路介面卡(未示出)將電子系統1400耦接到網路1425。在這個方式中，電腦可以是電腦網路(例如，局域網(local area network，LAN)、廣域網路(wide area network，WAN)或者內聯網)或者網路的網路(例如互聯網)的一部分。電子系統1400的任一或者所有元件可以與本發明結合使用。
一些實施例包括電子元件，例如，微處理器、存放裝置和記憶體，其將電腦程式指令存儲到機器可讀介質或者 電腦可讀介質(可選地被稱為電腦可讀存儲介質、機器可讀介質或者機器可讀存儲介質)。電腦可讀介質的一些實例包括RAM、ROM、唯讀光碟(read-only compact disc，CD-ROM)，可燒錄光碟(recordable compact disc，CD-R)、可讀寫光碟(rewritable compact disc，CD-RW)、唯讀數位通用光碟(read-only digital versatile disc)(例如，DVD-ROM，雙層DVD-ROM)、各種可記錄/可讀寫DVD(例如DVD RAM、DVD-RW、DVD+RW等)、快閃記憶體(如SD卡、迷你SD卡，微SD卡等)、磁性和/或固態硬碟、唯讀和可燒錄藍光®(Blu-Ray®)盤、超高密度光碟和其他任何光學介質或磁介質，以及軟碟。電腦可讀介質可以存儲由至少一個處理單元執行的電腦程式，並且包括用於執行各種操作的指令集。電腦程式或電腦代碼的示例包括機器代碼，例如編譯器產生的機器代碼，以及包含由電腦、電子元件或微處理器使用注釋器(interpreter)而執行的高級代碼的檔。
當以上討論主要是指執行軟體的微處理器或多核處理器時，很多上述的功能和應用程式由一個或多個積體電路執行，如特定應用的積體電路(application specific integrated circuit，ASIC)或現場可程式設計閘陣列(field programmable gate array，FPGA)。在一些實施例中，這種積體電路執行存儲在電路本身上的指令。此外，一些實施例執行存儲在可程式設計邏輯器件(programmable logic device，PLD)，ROM或RAM設備中的軟體。
如本發明的說明書和任一請求項中所使用，術語 “電腦”、“伺服器”、“處理器”和“記憶體”均指電子設備或其他技術設備。這些術語不包括人或群體。為了本說明書的目的，術語顯示或顯示裝置指在電子設備上進行顯示。如本發明的說明書和任一請求項中所使用，術語“電腦可讀介質”、“電腦可讀媒質”和“機器可讀介質”完全局限於有形的、物理的物體，其以電腦可讀的形式存儲資訊。這些術語不包括任何無線訊號、有線下載訊號和其他任何短暫訊號。
在結合許多具體細節的情況下描述了本發明時，本領域通常知識者將認識到，本發明可以以其他具體形式而被實施，而不脫離本發明的精神。此外，大量的圖(包括第9圖和第10圖)概念性示出了處理。這些處理的具體操作可以不以所示以及所描述的確切順序來被執行。這些具體操作可用不在一個連續的操作系列中被執行，並且不同的具體操作可以在不同的實施例中被執行。另外，處理通過使用幾個子處理而被實作，或者作為更大巨集處理的部分。因此，本領域的技術人員將能理解的是，本發明不受前述說明性細節的限制，而是由申請專利範圍加以界定。
額外說明
本文所描述的主題有時表示不同的元件，其包含在或者連接到其他不同的元件。可以理解的是，所描述的結構僅是示例，實際上可以由許多其他結構來實施，以實作相同的功能。從概念上講，任何實作相同功能的組件的排列實際上是“相關聯的”，以便實作所需的功能。因此，不論結構或中間部件，為實作特定的功能而組合的任何兩個元件被視為“相互 關聯”，以實作所需的功能。同樣，任何兩個相關聯的元件被看作是相互“可操作連接”或“可操作耦接”，以實作特定功能。能相互關聯的任何兩個組件也被視為相互“可操作地耦合”以實作特定功能。可操作連接的具體例子包括但不限於物理可配對和/或物理上相互作用的元件，和/或無線可交互和/或無線上相互作用的元件，和/或邏輯上相互作用和/或邏輯上可交互的元件。
此外，關於基本上任何複數和/或單數術語的使用，本領域通常知識者可以根據上下文和/或應用從複數轉換為單數和/或從單數到複數。為清楚起見，本文明確規定了不同的單數/複數排列。
此外，本領域通常知識者可以理解，通常，本發明所使用的術語特別是請求項中的，如請求項的主題，通常用作“開放”術語，例如，“包括”應解釋為“包括但不限於，“有”應理解為“至少有”“包括”應解釋為“包括但不限於”等。本領域通常知識者可以進一步理解，若計畫介紹特定數量的請求項的內容，將在請求項內明確表示，並且，在沒有這類內容時將不顯示。例如，為幫助理解，請求項可能包含短語“至少一個”和“一個或多個”，以介紹請求項的內容。然而，這些短語的使用不應理解為暗示使用不定冠詞“a”或“an”介紹請求項的內容，而限制了任何特定的專利範圍。甚至當相同的請求項包括介紹性短語“一個或多個”或“至少有一個”，不定冠詞，例如“a”或“an”，則應被解釋為表示至少一個或者更多，對於用於介紹請求項的明確描述的使用 而言，同樣成立。此外，即使明確引用特定數量的介紹性內容，本領域通常知識者可以認識到，這樣的內容應被解釋為表示所引用的數量，例如，沒有其他修改的“兩個引用”，意味著至少兩個引用，或兩個或兩個以上的引用。此外，在使用類似於“A、B和C中的至少一個”的表述的情況下，通常如此表述是為了本領域通常知識者可以理解表述，例如，“系統包括A、B和C中的至少一個”將包括但不限於單獨具有A的系統，單獨具有B的系統，單獨具有C的系統，具有A和B的系統，具有A和C的系統，具有B和C的系統，和/或具有A、B和C的系統，等。本領域通常知識者進一步可理解，無論在說明書中、請求項中或者圖式中，由兩個或兩個以上的替代術語所表現的任何分隔的單詞和/或短語應理解為，包括這些術語中的一個，其中一個，或者這兩個術語的可能性。例如，“A或B”應理解為，“A”，或者“B”，或者“A和B”的可能性。
從前述可知，為了說明目的，此處已描述了各種實施方案，並且在不偏離本發明的範圍和精神的情況下，可以進行各種變形。因此，此處所公開的各種實施方式不用於限制，請求項表示真實的範圍和精神。

Claims (20)

  1. 一種濾波方法，包括：接收全向圖像的投影圖像；確定該投影圖像的第一邊緣；確定該投影圖像的第二邊緣，其中該第一邊緣和該第二邊緣物理上相關聯而作為該全向圖像中的公共邊緣，但在該投影圖像中不是物理連接；以及確定該全向圖像中物理連接的第一面和第二面，第一圖元集位於該第一面中，且第二圖元集位於該第二面中；重新排列該第二面的多個圖元，其中，該重新排列該第二面的多個圖元包括旋轉或者跳過該第二面的多個圖元；對位於該第一邊緣附近的該第一面的圖元和位於第二邊緣附近的已重新排列的該第二面的圖元執行濾波。
  2. 如申請專利範圍第1項所述之濾波方法，其中該濾波為去塊濾波，該去塊濾波減少穿過該公共邊緣處的非連續性和壓縮偽影。
  3. 如申請專利範圍第1項所述之濾波方法，其中該全向圖像是具有多個面的多面體，並且，該投影圖像包括該多面體的該多個面的佈局；該第一邊緣是該多面體的該第一面的邊緣，第二邊緣是該多面體的該第二面的邊緣。
  4. 如申請專利範圍第3項所述之濾波方法，其中，該濾波方法進一步包括：根據該第一面和該第二面之間的幾何關係重新排列該多面 體的第二面的多個圖元，其中該幾何關係由該投影圖像中的該多面體的該多個面的佈局定義。
  5. 如申請專利範圍第4項所述之濾波方法，其中，重新排列該第二面的多個圖元包括：基於該第一面和該第二面之間的該幾何關係旋轉或者跳過該第二面的多個圖元。
  6. 如申請專利範圍第4項所述之濾波方法，其中，該濾波方法還包括：將該第二面的該重新排列的多個圖元儲存在該投影圖像的與該第一邊緣相鄰的空白區域。
  7. 如申請專利範圍第4項所述之濾波方法，其中，該濾波方法還包括：將該第二面的該重新排列的多個圖元儲存在臨時暫存器中，其中該臨時暫存器不存儲來自於該投影圖像的空白區域的多個圖元。
  8. 如申請專利範圍第4項所述之濾波方法，其中，該濾波方法還包括：基於該第一面的多個圖元和該第二面的該重新排列的多個圖元計算用於該第一圖元集和該第二圖元集的濾波值集。
  9. 如申請專利範圍第1項所述之濾波方法，其中，該全向圖像是球體，該球體具有球面，且該投影圖像包括該球面的等角投影。
  10. 如申請專利範圍第9項所述之濾波方法，其中，該第一邊緣和該第二邊緣從該球體的北極延伸到南極。
  11. 一種濾波裝置，包括：已解碼圖像存放裝置，用於接收並存儲全向圖像的投影圖像；以及濾波電路，用於：確定該投影圖像的第一邊緣；確定該投影圖像的第二邊緣，其中該第一邊緣和該第二邊緣物理上相關聯而作為該全向圖像中的公共邊緣，但在該投影圖像中不是物理連接；以及確定該全向圖像中物理連接的第一面和第二面，第一圖元集位於該第一面中，且第二圖元集位於該第二面中；重新排列該第二面的多個圖元，其中，該重新排列該第二面的多個圖元包括旋轉或者跳過該第二面的多個圖元；對位於該第一邊緣附近的該第一面的圖元和位於第二邊緣附近的已重新排列的該第二面的圖元執行濾波。
  12. 如申請專利範圍第11項所述之濾波裝置，其中，該濾波為去塊濾波，該去塊濾波減少穿過該公共邊緣處的非連續性和壓縮偽影。
  13. 如申請專利範圍第11項所述之濾波裝置，其中，該全向圖像是具有多個面的多面體，並且，該投影圖像包括該多面體的該多個面的佈局；該第一邊緣是該多面體的該第一面的邊緣，第二邊緣是該多面體的該第二面的邊緣。
  14. 如申請專利範圍第13項所述之濾波裝置，其中，還包括：重新排列電路，用於根據該第一面和該第二面之間的幾何 關係重新排列該多面體的第二面的多個圖元，其中該幾何關係由該投影圖像中的該多面體的該多個面的佈局定義。
  15. 如申請專利範圍第14項所述之濾波裝置，其中，重新排列該第二面的多個圖元包括：基於該第一面和該第二面之間的該幾何關係旋轉或者跳過該第二面的多個圖元。
  16. 如申請專利範圍第14項所述之濾波裝置，其中，該第二面的該重新排列的多個圖元被儲存在該投影圖像的與該第一邊緣相鄰的空白區域。
  17. 如申請專利範圍第14項所述之濾波裝置，其中，該第二面的該重新排列的多個圖元被儲存在臨時暫存器中，其中該臨時暫存器不存儲來自於該投影圖像的空白區域的多個圖元。
  18. 如申請專利範圍第14項所述之濾波裝置，其中，該濾波電路基於該第一面的多個圖元和該第二面的該重新排列的多個圖元計算用於該第一圖元集和該第二圖元集的濾波值集。
  19. 如申請專利範圍第11項所述之濾波裝置，其中，該全向圖像是球體，該球體具有球面，且該投影圖像包括該球面的等角投影。
  20. 如申請專利範圍第19項所述之濾波裝置，其中，該第一邊緣和該第二邊緣從該球體的北極延伸到南極。
TW106123460A 2016-07-15 2017-07-13 一種濾波３６０度視訊邊界的方法及裝置 TWI655857B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662362613P 2016-07-15 2016-07-15
US62/362,613 2016-07-15
US201662384768P 2016-09-08 2016-09-08
US62/384,768 2016-09-08
US15/647,630 2017-07-12
US15/647,630 US10375371B2 (en) 2016-07-15 2017-07-12 Method and apparatus for filtering 360-degree video boundaries

Publications (2)

Publication Number Publication Date
TW201813380A TW201813380A (zh) 2018-04-01
TWI655857B true TWI655857B (zh) 2019-04-01

Family

ID=60941541

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106123460A TWI655857B (zh) 2016-07-15 2017-07-13 一種濾波３６０度視訊邊界的方法及裝置

Country Status (4)

Country Link
US (1) US10375371B2 (zh)
CN (1) CN109716766B (zh)
TW (1) TWI655857B (zh)
WO (1) WO2018010688A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114245121A (zh) * 2016-10-04 2022-03-25 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
CN114531592A (zh) * 2016-10-04 2022-05-24 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
KR102531386B1 (ko) 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
US10380715B2 (en) * 2016-12-07 2019-08-13 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10798417B2 (en) * 2017-07-05 2020-10-06 Qualcomm Incorporated Deblock filtering for 360-degree video coding
EP3729812A1 (en) * 2017-12-19 2020-10-28 VID SCALE, Inc. Face discontinuity filtering for 360-degree video coding
KR102565977B1 (ko) * 2018-02-08 2023-08-11 삼성전자주식회사 시선에 기반한 관심 영역 검출 방법 및 이를 위한 전자 장치
US11212438B2 (en) * 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
EP3741126A1 (en) * 2018-03-02 2020-11-25 Huawei Technologies Co., Ltd. Apparatus and method for picture coding with selective loop-filtering
US20190281273A1 (en) * 2018-03-08 2019-09-12 Mediatek Inc. Adaptive loop filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US10659780B2 (en) 2018-03-09 2020-05-19 Mediatek Inc. De-blocking method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
CN111936929A (zh) * 2018-03-22 2020-11-13 联发科技股份有限公司 采用360°虚拟现实投影的投影布局的重构的基于投影的帧的样本适应性偏移滤波方法用于重构的基于投影的帧的样本适应性偏移滤波方法
CN112313958B (zh) * 2018-06-29 2024-05-03 华为技术有限公司 用于编码和解码视频信号的装置和方法
CN110675401B (zh) * 2018-07-02 2023-07-11 浙江大学 一种全景图像像素块滤波方法及装置
CN110942428A (zh) * 2018-09-24 2020-03-31 浙江大学 一种全景图像滤波方法及装置
WO2020068960A1 (en) * 2018-09-26 2020-04-02 Coherent Logix, Inc. Any world view generation
CN111292336B (zh) * 2020-01-21 2023-06-06 宁波大学 基于分段式球面投影格式的全向图像无参考质量评价方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102263953A (zh) * 2011-07-06 2011-11-30 北京航空航天大学 一种基于对象的快速多目立体视频分形压缩与解压缩方法
CN102970529A (zh) * 2012-10-22 2013-03-13 北京航空航天大学 一种基于对象的多视点视频分形编码压缩与解压缩方法
US20150187135A1 (en) * 2013-12-31 2015-07-02 Nvidia Corporation Generating indirection maps for texture space effects
US20150341552A1 (en) * 2014-05-21 2015-11-26 Here Global B.V. Developing a Panoramic Image

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
KR100813923B1 (ko) * 2006-12-29 2008-03-18 한양대학교 산학협력단 확장된 리샘플링 기법을 이용한 영상 보간 장치 및 방법
CN101790069B (zh) * 2010-03-09 2013-03-27 周艇 一种基于图像边缘方向的尺度变换方法
US9363535B2 (en) * 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation
US20140078249A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of frame-packed stereoscopic 3d video data for video coding
KR20140053448A (ko) * 2012-10-25 2014-05-08 에스케이텔레콤 주식회사 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치
CN103077509B (zh) * 2013-01-23 2015-10-28 天津大学 利用离散立方体全景图实时合成连续平滑全景视频的方法
US9258566B1 (en) * 2014-07-17 2016-02-09 Yahoo! Inc. System and method of spherical image compression
DE112015004764T5 (de) * 2014-10-20 2017-10-19 Google Inc. Kontinuierlicher prädiktionsbereich

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102263953A (zh) * 2011-07-06 2011-11-30 北京航空航天大学 一种基于对象的快速多目立体视频分形压缩与解压缩方法
CN102970529A (zh) * 2012-10-22 2013-03-13 北京航空航天大学 一种基于对象的多视点视频分形编码压缩与解压缩方法
US20150187135A1 (en) * 2013-12-31 2015-07-02 Nvidia Corporation Generating indirection maps for texture space effects
US20150341552A1 (en) * 2014-05-21 2015-11-26 Here Global B.V. Developing a Panoramic Image

Also Published As

Publication number Publication date
TW201813380A (zh) 2018-04-01
CN109716766B (zh) 2021-02-23
US20180020202A1 (en) 2018-01-18
WO2018010688A1 (en) 2018-01-18
CN109716766A (zh) 2019-05-03
US10375371B2 (en) 2019-08-06

Similar Documents

Publication Publication Date Title
TWI655857B (zh) 一種濾波３６０度視訊邊界的方法及裝置
TWI666914B (zh) ３ｄ視訊壓縮中參考圖像產生及管理之編解碼方法及裝置
TWI690201B (zh) 全方位視訊之解碼方法、編碼方法及電子設備
TWI650996B (zh) 視頻編碼或解碼方法及裝置
US20190281273A1 (en) Adaptive loop filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
KR102273199B1 (ko) 곡선 뷰 비디오 인코딩/디코딩에서 효율성 향상을 위한 시스템 및 방법
KR102165147B1 (ko) 계층형 신호 디코딩 및 신호 복원
KR101240450B1 (ko) 필름 그레인 시뮬레이션에 대한 블록 평균치를 결정하기위한 방법
US20170236252A1 (en) Foveated video rendering
US11004173B2 (en) Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
TW201911863A (zh) 用於360度視訊寫碼之參考圖推導及動作補償
TW201916685A (zh) 用於處理360°vr幀序列的方法及裝置
KR20170132098A (ko) 레거시 및 몰입형 렌더링 디바이스를 위한 몰입형 비디오를 포맷팅하는 방법, 장치 및 스트림
WO2018156281A1 (en) Deblock filtering for 360 video
US10659780B2 (en) De-blocking method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US20220343549A1 (en) A method and apparatus for encoding, transmitting and decoding volumetric video
CN111801947A (zh) 选择性环路滤波下的图像编码的装置及方法
CN111684807A (zh) 用于360度视频的帧内预测
US10349055B1 (en) Image frame encoding based on projection space
EP3635957A1 (en) Apparatuses and methods for encoding and decoding a video coding block of a multiview video signal
JP7271672B2 (ja) 没入型ビデオビットストリーム処理
KR102011431B1 (ko) 영상 병렬 처리 방법 및 장치
CN115885513A (zh) 用于对体积视频进行编码和解码的方法和装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees