TWI751261B - 360度環景視頻的解區塊濾波技術 - Google Patents
360度環景視頻的解區塊濾波技術 Download PDFInfo
- Publication number
- TWI751261B TWI751261B TW107100627A TW107100627A TWI751261B TW I751261 B TWI751261 B TW I751261B TW 107100627 A TW107100627 A TW 107100627A TW 107100627 A TW107100627 A TW 107100627A TW I751261 B TWI751261 B TW I751261B
- Authority
- TW
- Taiwan
- Prior art keywords
- pixels
- video frame
- video
- individual
- group
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
討論與用於360視頻之解區塊濾波有關的技術,此等視頻編碼技術包含從包含從360視頻空間的投影之2D視頻圖框中,決定用於解區塊濾波的一群像素,該群像素包含第一組像素和第二組像素,該第一組像素和該第二組像素為該個別2D視頻圖框中之非相鄰組的像素,並且包含第一組像素的第一個別像素和該第二組像素的第二個別像素,其在該360視頻空間中為相鄰像素,以及解區塊濾波該群像素。
Description
本發明係有關360度環景視頻的解區塊(deblock)濾波技術。
在也以360度環景視頻(360 degree video)、沉浸式視頻(immersive video)、或球面視頻(spherical video)著稱的360視頻中,視頻記錄係使用全景相機(omnidirectional camera)或者相機的組合等等而同時從每一個方向(亦即,遍及360度)來予以拍攝。在重播(playback)時,觀視者(viewer)可以選擇觀視方向或觀視埠(viewport)以便在可供使用之方向的任何一個方向上觀視。在壓縮/解壓縮(編碼解碼器(codec))系統中,壓縮效率、視頻品質、和計算效率為重要的性能準則。此外,360視頻的壓縮/解壓縮在360視頻的傳播(dissemination)和此種360視頻之觀視上的使用者經驗方面的重要因素。
因此,對於處理360視頻而言,增加編解碼
(codec)系統的壓縮效率、視頻品質、和計算效率可能是有利的。這是針對需要本次改良的這些和其他考慮而言。
一種用於視頻編碼的電腦施行方法,該方法包括:接收來自一視頻序列的二維(2D)視頻圖框中之個別的2D視頻圖框,其中,該個別的2D視頻圖框包括從360視頻空間的投影;從該個別的2D視頻圖框中,決定用於解區塊濾波的一群像素,其中,該群像素包括該個別2D視頻圖框的第一組像素和第二組像素,其中,該第一組像素和該第二組像素為該個別2D視頻圖框中之非相鄰組的像素,且其中,至少該第一組像素的第一個別像素和該第二組像素的第二個別像素包括在該360視頻空間中的相鄰像素;以及解區塊濾波包括該第一組和第二組像素的該群像素,以產生基於該個別的2D視頻圖框之經360視頻空間解區塊濾波的2D視頻圖框。
100:系統
101:360相機
102:360到2D投影模組
103:編碼器
104:投影面邊界解區塊器
105:像素選擇/匹配模組
106:解區塊濾波器
107:觀視埠產生器
108:顯示器
111:360視頻
112:2D視頻圖框
113:輸出位元流
114:輸入位元流
115:2D視頻圖框
116:視頻
201:2D視頻圖框
202:觀視埠
203:部分
204:部分
205:圖框邊界
302:像素群
303:像素組
304:像素組
305:像素
306:像素
400:2D視頻圖框
401、402、403、404:像素組
405:中心線
406、407:圖框邊界
408:頂部圖框邊界
409:底部圖框邊界
411、412:像素群
500:2D視頻圖框
501、502、503、504:像素組
506:左側圖框邊界
507:右側圖框邊界
508:頂部圖框邊界
509:底部圖框邊界
511、512:像素群
700:立方體
800:2D視頻圖框
801、802、803、804:像素組
806:左側圖框邊界
807:右側圖框邊界
808:頂部圖框邊界
809:底部圖框邊界
811、812:像素群
1000:編碼器
1001:移動預測(ME)模組
1002:移動補償(MC)模組
1004:畫面內預測(Intra)模組
1005:圖框緩衝器(FB)
1006:圖框中解區塊濾波(DF)模組
1007:差異器
1008:選擇開關
1009:加法器
1010:轉換模組
1011:量化模組
1012:反量化(IQ)模組
1013:反轉換(IT)模組
1014:熵編碼器(EE)模組
1021:經編碼的位元流(重建的圖框)
1022:經360視頻空間解區塊濾波重建的圖框(經濾波的圖
框)
1100:解碼器
1102:移動補償(MC)模組
1104:畫面內預測(Intra)模組
1105:圖框緩衝器(FB)
1106:圖框中解區塊濾波(DF)模組
1108:選擇開關
1009:加法器
1112:反量化(IQ)模組
1113:反轉換(IT)模組
1114:熵解碼器(ED)模組
1121:重建圖框
1200:編碼器
1221:經360視頻空間解區塊濾波的圖框(經濾波的圖框)
1300:解碼器
1321:重建圖框
1400:過程
1401-1403:操作
1500:系統
1501:圖形處理器
1502:中央處理器
1503:記憶體
1600:系統
1602:平台
1605:晶片組
1610:處理器
1612:記憶體
1613:天線
1614:儲存器
1615:圖形子系統
1616:應用程式
1618:無線電
1620:顯示器
1622:使用者介面
1630:內容服務裝置
1640:內容傳送裝置
1650:導航控制器
1660:網路
1700:小型形狀因子裝置
1701:正面
1702:背面
1704:顯示器
1705:相機
1706:輸送/輸出(I/O)裝置
1708:整合式天線
1710:閃光燈
1712:導航特徵
藉由例示來說明而非經由附圖來限制本文中所述的材料。為了例示的簡單和清楚起見,圖式中所例示之元件不需要按照尺寸大小來予以繪出。例如,為了清楚起見,有些元件的尺寸相對於其他元件而被誇大了。此外,在被認為是適當的情況下,參考標記係重複於各圖式中以表示對應或類似的元件。在圖式中:
圖1係用以將2D視頻圖框(video frame)解區塊之範例系統的例示圖,該等2D視頻圖框係自360視頻空間(video space)投影出的;圖2例示範例2D視頻圖框,該2D視頻圖框包含從360視頻空間呈等距柱狀(equirectangular)格式的投影和覆蓋該2D視頻圖框的觀視埠;圖3例示觀視埠之內的範例解區塊濾波;圖4例示範例2D視頻圖框,該2D視頻圖框包含從360視頻空間呈等距柱狀格式的投影和用於解區塊濾波之選擇到的像素群;圖5和圖6例示範例2D視頻圖框,該2D視頻圖框包含從360視頻空間呈立方體貼圖(cube map)格式的投影和用於解區塊濾波之選擇到的像素群;圖7例示用以接收來自3D視頻空間之投影的範例立方體;圖8和圖9例示範例2D視頻圖框,該2D視頻圖框包含從360視頻空間呈縮小立方體貼圖(compact cube map)格式的投影和用於解區塊濾波之選擇到的像素群;圖10例示範例編碼器的方塊圖;圖11例示範例解碼器的方塊圖;圖12例示範例編碼器的方塊圖;圖13例示範例解碼器的方塊圖;圖14例示用於視頻編碼視頻圖框之範例過程的流程圖,該視頻編碼視頻圖框包含從360視頻空間的投影;
圖15係用於視頻編碼視頻圖框之範例系統的例示圖,該視頻編碼視頻圖框包含從360視頻空間的投影;圖16係範例系統的例示圖;以及圖17例示完全依據本發明之至少一些施行來予以配置的範例裝置。
一或多個實施例或施行現在將參照所附的圖式來加以說明。雖然特定的組態和配置被討論,但應該了解到這僅僅是為了例示之目的而做的。習於相關技藝者將體認其他的組態和配置也可被使用而沒有違離本說明的精神及範疇。對於習於相關技藝者顯而易知的是,本文中所述之技術及/或配置也可被使用在除了本文中所述者以外之各式各樣的其他系統及應用中。
雖然下面的說明提出可以被顯現在,例如,諸如系統單晶片(SoC)架構之架構中的各種施行,但是本文中所述之技術及/或配置的施行並不被限制於特別的架構及/或計算系統,而且為了類似的目的而可被任何的架構及/或計算系統所施行。舉例來說,使用例如多個積體電路(IC)晶片及/或封裝組件的各種架構,及/或各種計算裝置及/或諸如機頂盒、智慧型手機等等的各種消費性電子(CE)裝置可以施行本文中所述的技術及/或配置。此外,儘管下面的說明可提出許多特定細節,諸如邏輯施行、系統組件的類型和相互關係、邏輯分割/整合選擇等
等,但是所主張之申請標的可以在沒有此等特定細節下予以實行。在其他的例子中,有些材料,諸如,例如控制結構和全是軟體指令序列,可以不被詳細地顯示出以便不使本文中所揭示之材料模糊。
本文中所揭示之材料可以用硬體、韌體、軟體、或其任何組合來予以施行。本文中所揭示之材料也可被施行為機器可讀取媒體上所儲存的指令,其可被一或多個處理器所讀取和執行。機器可讀取媒體可包含以可由機器(例如,計算裝置)讀取的形式來儲存或傳送資訊的任何媒體及/或機制。例如,機器可讀取媒體可包含唯讀記憶體(ROM);隨機存取記憶體(RAM);磁碟片儲存媒體;光學儲存媒體;快閃記憶體裝置;電、光、聲或其他形式的傳播信號(例如,載波、紅外線信號、數位信號、等等),以及其他者。
說明書中提及的「一個施行」、「施行」、「範例施行」等等表所述的施行可包含特別的特徵、結構、或特性,但是每一個實施例可不需要包含該特別的特徵、結構、或特性。而且,此等用語不需要指的是同一個施行。此外,當針對某實施例來說明某特別的特徵、結構、或特性時,提交不管在本文中是否被明確地說明,使此種特徵、結構、或特性作用於其他施行係在習於此技藝者的知識之內。
方法、裝置、設備、計算平台、和物件在本文中被說明為與視頻編碼有關,而且特別是,與為從360
視頻空間之投影的解區塊濾波二維(2D)視頻圖框有關。
本文中所討論的技術提供360視頻的解區塊(deblocking)。例如,可沿著2D視頻圖框的邊界以及當此等邊界在相應的360視頻中(例如,在相應的360視頻球面(sphere)中)為連續時,在投影的2D平面中為不連續之此等2D視頻圖框的面(face)來致能解區塊。特別是,在有些360視頻編碼情境(context)中,為從360視頻空間之投影的2D視頻圖框(例如,從360視頻到2D平面基於預定格式的投影)可被提供給編碼器,用以編碼成諸如符合標準之位元流(bitstream)的位元流。該位元流可被儲存或傳送等等,並且可藉由解碼器來予以處理。諸如符合標準之解碼器的解碼器可解碼該位元流以重建該2D視頻圖框(例如,從360視頻的投影)。所重建的2D視頻圖框可被處理,以供展現給使用者看。例如,選擇到的視頻埠可被用來決定所重建之2D視頻圖框的一部分或多個部分,其可是視需要而被組合以及提供給顯示裝置來展現給使用者看。
在此等技術中,符合標準之編解碼(編碼/解碼)技術可包含用於在跨越區塊(例如,巨區塊、編碼單元、等等)邊界之視頻圖框中毗連或相鄰像素的圖框中(in-frame)解區塊濾波。然而,在從360視頻空間到2D視頻圖框的投影中,有些在360視頻空間中為相鄰者的像素被展現或格式化為在2D視頻圖框中非相鄰的像素。如同本文中所使用者,用語「非相鄰(non-neighboring)」的意思表示像素在空間上係不毗連(adjacent)的(例如,在2D視頻圖框
中),並且像素群在它們之間沒有鄰接的像素(例如,在2D視頻圖框中,第一組像素中沒有任何像素與第二組像素中的任何像素在空間上相鄰接)。例如,3D視頻空間中之此等相鄰的像素可以在相應之2D視頻圖框的相反邊界上、在相應之2D視頻圖框內面投影(face projection)的非毗連邊界上、等等,如同本文中所進一步討論者。
在有些實施例中,用於解區塊濾波的一群像素可以在2D視頻圖框(其為來自360視頻空間的投影)內被確認(identified),使得該群像素包含在該2D視頻圖框中為非相鄰組之像素的第一組像素和第二組像素,並且使得它們具有在360視頻空間中為相鄰像素之該第一組像素的第一個別像素和該第二組像素的第二個別像素。確認組的像素(例如,具有第一組和第二組像素在邊界的相反側的一排像素)係使用低通濾波器等等來予以解區塊濾波,以決定濾波後的像素值。對於在2D視頻圖框中為非相鄰但是在360視頻空間中為相鄰的像素之任一組或所有組的像素而言,此等技術可以被逐行地重複,以基於該個別的2D視頻圖框而產生360視頻空間經解區塊濾波的2D視頻圖框。
此等像素選擇或匹配和解區塊濾波技術可被施行於任何適合的編碼、解碼、視頻前處理、或視頻後處理情境中。例如,此等技術在視頻編碼器的本地編碼迴路(local encode loop)內可被應用做為在將視頻圖框提供給編碼器之前的前處理、後解碼器處理等等,如同在本文中所進一步討論者。此外,所討論的技術可被使用於任何適合
的編碼情境中,諸如在以H.264/MPEG-4先進視頻編碼(AVC)標準為基礎的編解碼、以高效能視頻編碼(H.265/HEVC)標準為基礎的編解碼、提出的視頻編碼(H.266)編解碼、以開放媒體聯盟(Alliance for Open Media(AOM))標準為基礎的編解碼(諸如,AVI標準)、以MPEG標準為基礎的編解碼(諸如,MPEG-4標準)、以VP9標準為基礎的編解碼、或任何其他適合的編解碼或者其延伸或設定檔(profile)。所討論的技術減低顯示給使用者之編碼視頻的圖像塊狀痕跡(blocky artifacts)以及提供改進的360視頻經驗。
圖1為依據本發明之至少一些施行所配置之用以將2D視頻圖框解區塊之範例系統100的例示圖,該等2D視頻圖框係自360視頻空間所投影出的。如圖1所示,系統100可包含360相機(360 camera)101、360到2D投影模組102、編碼器103、觀視埠產生器107、和顯示器108。也如所示者,編碼器103可施行投影面邊界解區塊器(deblocker)104,投影面邊界解區塊器(deblocker)104可包含像素選擇及匹配模組105和解區塊濾波器106。
如所示者,在有些情境中,編碼器103可從360到2D投影模組102接收2D視頻圖框112(例如,從360或球面空間(spherical space)所投射出的2D視頻圖框),並且編碼器103可產生相應的輸出位元流113。雖然被例示與從360到2D投影模組102接收2D視頻圖框112的編碼器103有關,編碼器103可以從任何來源(諸如,記憶體、另一裝
置、等等)接收2D視頻圖框112。在此等情境中,編碼器103可為系統100提供編碼器能力(而且,在此等情境中,輸入位元流114和2D視頻圖框115可不被使用)。360相機101可以為任何適合的相機或相機群,其可獲得360視頻或球面視頻等等。此外,360到2D投影模組102可接收360視頻111,並且360到2D投影模組102可使用任何技術或諸技術來產生2D視頻圖框112。例如,360到2D投影模組102可以用代表從360視頻之投影的任何適合之2D格式而將360視頻111投影至2D視頻圖框112。
系統100的其他模組或組件也可視需要而接收2D視頻圖框112或其部分。系統100可提供,例如,視頻壓縮,而且系統100可以是經由電腦或計算裝置等等來予以施行之視頻編碼器。例如,系統100可產生與視頻壓縮-解壓縮(codec)標準相容的輸出位元流113,諸如,該H.264/MPEG-4先進視頻編碼(AVC)標準、該高效能視頻編碼(H.265/HEVC)標準、提出的視頻編碼(H.266)標準、VP8標準、VP9標準、等等。
在其他實施例中,編碼器103可接收對應於或者表示從360或球面空間所投射出之2D圖框的輸入位元流114,並且編碼器103可產生相應的2D視頻圖框115(例如,使得2D圖框係從360或球面空間所投射出)。輸入位元流114可從記憶體、另一裝置、等等接收到。在此等情境中,編碼器103可為系統100提供解碼器能力(而且,在此等情境中,2D視頻圖框112和輸出位元流113可不被使
用)。在實施例中,輸入位元流可被解碼成2D視頻圖框115,其可基於在2D視頻圖框內所選擇的觀視埠經由顯示器108而被顯示給使用者。顯示器108可為任何適合的顯示器,諸如虛擬實境(VR)顯示器、頭戴式VR顯示器、等等。
此外,雖然未例示具有所有的360相機101、360到2D投影模組102、編碼器103、觀視埠產生器107、和顯示器108,系統100可僅包含360相機101、360到2D投影模組102、編碼器103、觀視埠產生器107、和顯示器108的部分。在實施例中,系統100包含360相機101、360到2D投影模組102、和編碼器。在實施例中,系統100包含編碼器103、觀視埠產生器107、和顯示器108。360相機101、360到2D投影模組102、編碼器103、觀視埠產生器107、和顯示器108的其他組合以及其他組件可以被提供給系統100,其視系統100正被施行於其中之裝置的性質而定。系統100可經由任何適合的裝置來予以施行,諸如,例如伺服器、個人電腦、膝上型電腦、平板電腦、平板手機(phablet)、智慧型手機、數位相機、遊戲機(gaming console)、可穿戴式裝置、顯示裝置、整合式全功能(all-in-one)裝置、二合一(two-in-one)裝置等等、或者諸如移動式平台等等的平台。例如,如同本文中所使用者,系統、裝置、電腦、或計算裝置可包含任何這樣的裝置或平台。
如同所討論者,編碼器103可接收2D視頻圖框112。2D視頻圖框112(以及2D視頻圖框115和本文中所
討論的其他視頻圖框)可包含任何適合的視頻資料,諸如呈任何適合解析度的像素或像素值或資料、視頻序列、一視頻序列的圖像、視頻圖框、視頻圖像、視頻圖框的序列、圖像群、多個圖像群、視頻資料、等等。2D視頻圖框112可以被特徵化為視頻、輸入視頻資料、視頻資料、原始視頻(raw video)、等等。例如,2D視頻圖框112可以是視頻圖形陣列(VGA)、高畫質(HD)、超高畫質(Full HD:例如,1080p)、或4K解析度視頻、等等。此外,2D視頻圖框112可包含任何數量的視頻圖框、多個視頻圖框的序列、圖像、多個圖像群、等等。為了清楚呈現起見,本文中所討論的技術係針對視頻圖框的像素或像素值來加以討論。然而,此等視頻圖框及/或視頻資料可以被特徵化為圖像、視頻圖像、圖框、多個圖框的序列、視頻序列、等等。如同本文中所討論者,用語像素或像素值可包含代表視頻圖框之像素的值,諸如像素的亮度值(luminance value)、像素的顏色通道值(color channel value)、等等。在各種的範例中,2D視頻圖框112可以是原始視頻或經解碼的視頻。此外,如同本文中所討論者,編碼器103可提供編碼和解碼功能性兩者。
如所示者,投影面邊界解區塊器104接收包含從360視頻空間之投影的2D視頻圖框112。如同本文中所使用者,用語從360視頻空間的投影表示2D視頻圖框的格式包含對應於360空間、球面空間等等的圖像或視頻資訊。例如,360視頻可以使用已知的技術而被格式化或投
影成2D影像或視頻圖框平面等等。對此等投影的類推(及其各種的優點和缺點)可以在從地球儀(globe)產生2D地圖的情境中找到。此等2D視頻圖框的格式可包含任何適合的格式,像是例如,等距柱狀(ERF)格式、立方體貼圖格式、縮小立方體貼圖、等等。
像素選擇及匹配模組105對於2D視頻圖框112的部分或全部可以決定用於解區塊濾波的多群像素。像素選擇及匹配模組105可使用任何適合的技術來決定用於解區塊濾波的多群像素。在實施例中,像素選擇及匹配模組105可接收表示2D視頻圖框112之格式類型的指示器(indicator)或多個指示器(例如,等距柱狀格式、立方體貼圖格式、縮小立方體貼圖、等等),而且回應於該格式類型的指示器或該等格式類型的指示器,像素選擇及匹配模組105可決定用於解區塊濾波的多群像素。用於解區塊濾波之此群像素的每一個均包含第一組像素和第二組像素,使得該第一組和第二組像素在2D視頻圖框中係非相鄰的,但是使得該第一組和第二組像素在360視頻空間中係相鄰的。此外,此等第一組和第二組像素被解區塊濾波可適用於其上的邊界所隔開。該邊界可藉由該2D視頻圖框的圖框邊界、該2D視頻圖框之投影部分的面邊界、等等來予以提供。例如,一群像素的該兩組像素可被選擇和定向/對準以供解區塊濾波使用。如圖1所示,此種解區塊濾波可藉由投影面邊界解區塊器104的解區塊濾波器106來予以實施。經解區塊的像素可以被編碼器103所使用做為如同在
本文中所進一步討論之編碼、解碼、前處理、或後處理的一部分。
圖2例示依據本發明之至少一些施行所配置的範例2D視頻圖框201,該2D視頻圖框201包含從360視頻空間呈等距柱狀格式的投影和覆蓋該2D視頻圖框201的觀視埠202。在圖2的範例中,2D視頻圖框201包含呈等距柱狀格式之360視頻的投影,其在本文中也針對圖4來做討論。例如,等距柱狀格式可將球面的3D影像或圖框投影於2D影像或圖框的正交坐標上。如圖2所示,觀視埠202可適用於2D視頻圖框201(藉由觀視埠產生器107,請參考圖1),使得使用者會很想要觀看對應於觀視埠202的視頻。而且也如所示者,觀視埠202可環繞(wrap around)2D視頻圖框201,使得觀視埠202的一部分203係在2D視頻圖框201的右側且觀視埠202的另一部分204係在2D視頻圖框201的左側。例如,為了獲得觀視埠202的視頻資料以供顯示,觀視埠202的部分204,其過分擴展出2D視頻圖框201的圖框邊界205,必須從2D視頻圖框201的左側獲得。例如,包含部分203,204之組合的觀視埠202可以被呈現給使用者。
圖3例示依據本發明之至少一些施行所配置的觀視埠202之內的範例解區塊濾波。如圖3所示,可以為解區塊濾波而選擇一群像素302,使得該群像素302包含一組像素303和一組像素304,它們在360視頻空間中係相鄰的,但是在相應的2D視頻圖框投影中係非相鄰的。例如,
觀視埠202在360視頻空間中提供連續的視圖。此外,像素組303和像素組304在2D視頻圖框201中係不連續的非相鄰像素,這是因為像素組303係從2D視頻圖框201的右側開始而且像素組304係從2D視頻圖框201的左側開始(請參考圖2)。例如,像素組303和像素組304被邊界205所分離,而使得邊界205使在2D視頻圖框中係非相鄰但在360或球面空間中係相鄰的像素分離。因此,像素組303和像素組304可以被有利地解區塊濾波用以改善觀視埠202的景象(appearance)(或者在其他的情境中用以改善視頻編碼效率)。
而且也如所示者,像素組303包含沿著邊界205的像素305(用灰色框來予以標記),並且像素組304包含像素306(也用灰色框來予以標記),像素305和像素306在3D視頻空間中為相鄰者但在2D視頻圖框中不是。在像素組302的解區塊濾波中,像素組303和像素組304可以被對齊(例如,置於一列或一行中)而使得3D視頻空間鄰接像素305,306被設置成彼此相鄰以供解區塊濾波用。在下面的例示中,為了清楚呈現起見,此等3D視頻空間鄰接像素用灰色框來予以標記出。
如同針對系統100所討論的,像素組302可以藉由像素選擇及匹配模組105來予以選擇,藉由像素選擇及匹配模組105來予以對齊以供解區塊濾波用,並且被解區塊濾波器106所解區塊濾波以產生經解區塊濾波的像素或像素值等等。在本文中所討論的任何多群像素選擇及/
或解區塊濾波可以分別藉由像素選擇及匹配模組105來予以實施以及藉由解區塊濾波器106來予以解區塊濾波。此外,在本文中所討論的任何解區塊濾波可以使用任何適合的技術而為遍及邊界的像素群(例如,遍及邊界205的像素群302等等)來實施。例如,像素群302可包含N個像素而使得N/2係來自像素組303且N/2係來自像素組304。在各種實施例中,N可以在約4到16等等的範圍中。在其他的例示中,像素組303和像素組304可以具有不同的像素數目。解區塊濾波可包含任何濾波,諸如低通濾波、具有任何適合權值的加權濾波、等等。在實施例中,可依據HEVC解區塊濾波而對遍及區塊邊界上的鄰接像素實施解區塊濾波。在實施例中,像素群302可包含可以被解區塊濾波之單排的像素。
相同的解區塊濾波可以被施加於各個選擇到的像素群,或者解區塊濾波器(例如,它們的長度、加權值、等等)可以是不同的。在有些實施例中,選擇到的解區塊濾波器可以基於對應於該等像素組係自而被選擇出之區塊的區塊尺寸、預測類型、轉換類型、等等。在實施例中,當一像素群具有一像素組或者兩組像素係來自較小的區塊(例如,8×8或更小的區塊)時,使用較短的濾波器(例如,約4個像素),而且當一像素群具有一像素組或者兩組像素係來自較大的區塊(例如,大於8×8的區塊)時,使用較長的濾波器(例如,約8個以上的像素)。在實施例中,當一像素群具有一像素組或者兩組像素係來自圖框內預測
的(intra predicted)區塊時,使用較短的濾波器(例如,約4個像素),而且當一像素群具有一像素組或者兩組像素係來自圖框間預測的(inter predicted)區塊時,使用較長的濾波器(例如,約8個以上的像素)。
參考圖2,額外的像素群(例如,多排的像素)可以在遍及邊界205上被選擇,使得第一組和第二組像素係分別來自2D視頻圖框201的右側(例如,毗連於2D視頻圖框201的右側邊界)和2D視頻圖框201的左側(例如,毗連於2D視頻圖框201的左側邊界)。例如,在等距柱狀格式中,2D視頻圖框201之所有最左邊及相應之最右邊的像素在360視頻空間中係相鄰的,但是在2D視頻圖框201中係非相鄰(非連續)的。可以為包含來自2D視頻圖框201之左側和右側的像素之部分排或所有排的像素實施像素群之此等的解區塊濾波(例如,邊界205及2D視頻圖框201之左邊界所有水平排的像素)。
圖4例示依據本發明之至少一些施行所配置的範例2D視頻圖框400,該2D視頻圖框400包含從360視頻空間呈等距柱狀格式的投影和用於解區塊濾波之選擇到的像素群。在圖4的範例中,2D視頻圖框400,如圖2所示,包含呈等距柱狀格式之360視頻的投影。如圖4所示,包含像素群411,412的多個像素群可被選擇來解區塊濾波。例如,像素群411包含與圖3中所例示之像素群302類似的像素組401,402。例如,對於解區塊濾波而言,像素組401可以和像素組402的右邊對齊而且解區塊濾波可以被實
施。此外,像素群412包含像素組403和像素組404而使得,對於解區塊濾波而言,像素組403可以被倒轉並且與像素組404的頂部對齊(反之亦然),而且解區塊濾波可以被實施。
如所示者,像素組401和像素組402在2D視頻圖框400中係非相鄰的(亦即,在2D視頻圖框400中,沒有任何像素組401的像素與像素組402的任何像素係連續或毗連的)。然而,在360視頻空間中,像素組401在圖框邊界406處的像素(在像素組401內用灰色框來予以標記)為像素組402在圖框邊界407處的像素(在像素組402內用灰色框來予以標記)的相鄰者。例如,像素組401可開始於圖框邊界406處的像素組401之標示像素處,並且延伸向2D視頻圖框400的內部,而像素組402可開始於圖框邊界407處的像素組402之標示像素處,並且延伸向2D視頻圖框400的內部。此外,第一和第二像素組401,402可以是離底部圖框邊界409(以及頂部圖框邊界408)相同的距離(d2)。參考圖4,呈等距柱狀格式,對於毗連於左邊圖框邊界406之任何水平的像素組而言,可以找到毗連於右邊圖框邊界407之相應的像素組(在離底部圖框邊界409或頂部圖框邊界409相同的距離處),使得該等像素組在2D視頻圖框400中係非相鄰但是在360視頻空間中係相鄰的,以產生與像素群411類似的像素群。
此外,圖4例示包含用於解區塊濾波之像素組403和像素組404的像素群411。例如,對於解區塊濾波
而言,像素組403可以被倒轉並且與像素組404的頂部對齊(或者像素組404可以被倒轉並且與像素組403的頂部對齊),而且解區塊濾波可以被實施。如所示者,像素組403和像素組404在2D視頻圖框400中係非相鄰的(亦即,沒有任何像素組403的像素與像素組404的任何像素係連續或毗連的)。然而,在360視頻空間中,像素組403在圖框邊界408處的像素(在像素組403內用灰色框來予以標記)為像素組404亦在圖框邊界408處的像素(在像素組404內用灰色框來予以標記)的相鄰者,並且離2D視頻圖框400的中心線405等距離(兩者皆在d1處)。例如,像素組403可開始於圖框邊界408處之像素組403的標示像素處,並且延伸向2D視頻圖框400的內部,而像素組404可開始於圖框邊界408處之像素組404的標示像素處,並且延伸向2D視頻圖框400的內部。此外,如同所討論者,第一和第二像素組403,404可以是離2D視頻圖框400的北極(亦即,2D視頻圖框400的中心線405)相同的距離(d1)。
參考圖4,對於毗連於頂部圖框邊界408之任何垂直的像素組(除了正好在中心線405處的像素以外,如果有的話)而言,可以找到也毗連於頂部圖框邊界408之相應垂直的像素組,使得該等像素組在2D視頻圖框400中係非相鄰但是在360視頻空間中係相鄰的。例如,對於毗連於頂部圖框邊界408和中心線405的左邊離中心線405的距離x之垂直的像素組而言,可以找到相應之用於解區塊濾波之垂直的像素組也毗連於頂部圖框邊界408和中心線405
的右邊離中心線405的距離x。
類似地,對於毗連於底部圖框邊界409之任何垂直的像素組(除了正好在中心線405處的像素以外,如果有的話)而言,可以找到也毗連於底部圖框邊界409之相應垂直的像素組,使得該等像素組在2D視頻圖框400中係非相鄰但是在360視頻空間中係相鄰的。例如,對於毗連於底部圖框邊界409和中心線405的左邊離中心線405的距離x之垂直的像素組而言,可以找到相應之用於解區塊濾波之垂直的像素組也毗連於底部圖框邊界409和中心線405的右邊離中心線405的距離x。對於毗連於底部圖框邊界409之此種垂直的像素組而言,毗連於底部圖框邊界409之各組的像素在360視頻空間中係相鄰的,而且與像素組403,404的x標示像素類似地,此等像素可以被放置成彼此毗鄰以便解區塊濾波。
如同所討論者,水平和垂直群之任何數目的像素可以被決定及解區塊濾波於2D視頻圖框400中。在實施例中,所有此等可用的水平(亦即,具有毗連於左邊圖框邊界406之水平的像素組和毗連於右邊圖框邊界407之水平的像素組的所有線形單一像素深度水平群)和垂直(亦即,具有毗連於頂部圖框邊界408之垂直的像素組和毗連於頂部圖框邊界408且與相應之垂直像素組等距離的所有線形單一像素深度垂直群以及具有毗連於底部圖框邊界409之垂直的像素組和毗連於底部圖框邊界409且與相應之垂直像素組等距離的所有線形單一像素深度垂直群)像素
群被解區塊濾波。在另一實施例中,此等可用的水平和垂直像素群之各者的子集合被解區塊濾波。無論如何,此種解區塊濾波可以從2D視頻圖框、基於該2D視頻圖框之360視頻空間解區塊濾波後的2D視頻圖框中產生。如同本文中所使用者,用語360視頻空間解區塊濾波後的2D視頻圖框意欲表示已經為360視頻空間中的相鄰者解區塊濾波後的2D視頻圖框。此種360視頻空間解區塊濾波後的2D視頻圖框也可以在該2D視頻圖框中被解區塊濾波或者不被解區塊濾波。
所敘述之針對從360視頻空間之投影的2D視頻圖框之像素選擇及解區塊濾波技術可被實施用於任何格式的投影。例如,2D視頻圖框可為從360視頻空間投影出的等距柱狀圖框(如同參考圖2至4和本文中其他地方所討論者)、從360視頻空間投影出的立方體貼圖格式圖框(如同參考圖5及6和本文中其他地方所討論者)、從360視頻空間投影出的縮小立方體貼圖格式圖框(如同參考圖8及9和本文中其他地方所討論者)、映射成任何形狀的環境、任何3D形狀的幾何網(geometric net)、等等。例如,立方體貼圖格式可以將360視頻空間投影於立方體的側邊上,其可以被展開或排列於2D視頻圖框之內。
圖5和圖6例示依據本發明之至少一些施行所配置的範例2D視頻圖框500,該2D視頻圖框500包含從360視頻空間呈立方體貼圖格式的投影和用於解區塊濾波之選擇到的像素群。如所示者,圖5例示具有2D影像的2D視頻
圖框500,且為了清楚起見,圖6例示具有移除該2D影像而且標示出部分的2D視頻圖框500之2D視頻圖框500。如所示者,包含像素群511,512的多群像素可以被選擇來解區塊濾波。例如,像素群511包含像素組501和像素組502,而且為了解區塊濾波,像素組501可以與像素組502的右邊對齊,並且解區塊濾波可以被實施。此外,像素群512包含像素組503和像素組504而使得,為了解區塊濾波,像素組503可以被旋轉並且與像素組504的頂部對齊(或者反之亦然),而且解區塊濾波可以被實施。如同將在下面做進一步討論者,像素組的其他組合可以被對齊成像素群並且被解區塊濾波。
圖7例示依據本發明之至少一些施行所配置,用以接收來自3D視頻空間之投影的範例立方體700。如圖7所示,立方體700具有6個面(標示為A到F而使得A為背面、B為正面、C為頂面、D為底面、E為右側、及F為左側)。例如,3D視頻(例如,圖框或圖像)可被投影於立方體700上,使得立方體700的各個面包含該3D視頻或球體(sphere)的一部分。參考圖6,立方體700的各個面,呈現立方體貼圖格式,可以呈邊緣連結(edge-join)的形式而被展開於2D視頻圖框500上。例如,2D視頻圖框500包含立方體700的幾何網。雖然顯示有呈斜向一邊(sideways)T格式的面,但是任何適合的格式可以被使用,諸如縮小立方體貼圖格式,如同下面參考圖8及9所進一步討論者。
如圖7所示,像素組503和像素組504針對立
方體700可連結於面B與面C之間的邊界處。例如,在投影於立方體700上的3D視頻空間中,像素組503在該邊界處的像素和像素組504也在該邊界處的像素為鄰接的像素。如同在下面所進一步討論者,包含像素組503和像素組504的像素群512可以被解區塊濾波。類似地,任何具有沿著一面而正交地延伸離開毗鄰面之間的邊界之第一組像素和沿著由該邊界所共用之另一面而正交地延伸離開該邊界之第二組像素的像素群可以被解區塊濾波。例如,此等像素群可以被形成在來自面C和面B(其在面C與面B之間的邊界處具有共用的像素)之任何正交的像素組之間(如同參考像素組503和像素組504所顯示者)、在來自面C和面E(其在面C與面E之間的邊界處具有共用的像素)之任何正交的像素組之間、在來自面A和面F(其在面A與面F之間的邊界處具有共用的像素)之任何正交的像素組之間(如同參考圖5及6中之像素組501和像素組502所顯示者)、等等。注意到,在2D視頻圖框500的情境中,所討論之像素選擇及解區塊濾波技術可以不需要在面F與面B之間、在面B與面E之間、以及在面E與面A之間,這是因為此種濾波可能已經被施用於標準的圖框中解區塊濾波期間。
如同參考圖6所示者,2D視頻圖框500包含左邊圖框邊界506、右邊圖框邊界507、頂部圖框邊界508、和底部圖框邊界509。此外,2D視頻圖框500可包含空白的像素區域521,522,雖然其在2D視頻圖框500中被例示為黑色,但是可包含任何適合的顏色或像素值。而且,如同
參考面A到F所示者,各個面可具有左邊面邊界、右邊面邊界、頂部面邊界、和底部面邊界。此等邊界可以和另一面、空白的像素區域、或圖框邊界所共用,如所示者。如同參考圖7所討論者,與接下來的面邊界成直角的多個像素組(例如,多排的像素)可以被匹配、對齊、和解區塊濾波:面B的頂部邊界和面C的右邊邊界、面B的底部邊界和面D的右邊邊界、面E的頂部邊界和面C的頂部邊界、面E的底部邊界和面D的底部邊界、面A的頂部邊界和面C的左邊邊界、面A的右邊邊界和面F的左邊邊界、面A的底部邊界和面D的左邊邊界。
如所示者,像素組501和像素組502在2D視頻圖框500中係非相鄰的(亦即,在2D視頻圖框500中,沒有任何像素組501的像素與像素組502的任何像素係連續或毗連的)。然而,在360視頻空間中,像素組501在圖框邊界506處的像素(在面F的左邊邊界處,在像素組501內用灰色框來予以標記)為像素組502在圖框邊界507處的像素(在面A的右邊邊界處,在像素組502內用灰色框來予以標記)的相鄰者。例如,像素組501可開始於像素組501在圖框邊界506處的標示像素處,並且延伸向2D視頻圖框500的內部(和面F),而像素組502可開始於像素組502在圖框邊界507處的標示像素處,並且延伸向2D視頻圖框500的內部(和面A)。此外,第一和第二像素組501,502可以是離底部圖框邊界509(以及頂部圖框邊界508)相同的距離(d2)。
此外,圖5例示包含用於解區塊濾波之像素
組503和像素組504的像素群512。例如,對於解區塊濾波而言,像素組503可以被旋轉並且與像素組504的頂部對齊(或者像素組504可以被旋轉並且與像素組503的右邊對齊),而且解區塊濾波可以被實施。如所示者,像素組503和像素組504在2D視頻圖框500中係非相鄰的(亦即,沒有任何像素組503的像素與像素組504的任何像素係連續或毗連的)。然而,在360視頻空間中,像素組503在面C的右邊邊界處的像素(在像素組503內用灰色框來予以標記)為像素組504在面B的頂部邊界處的像素(在像素組504內用灰色框來予以標記)的相鄰者,並且離面C的右邊邊界和面B的邊界的轉角處等距離(兩者皆在d2處)。例如,像素組503可開始於像素組503在面C的右邊邊界處的標示像素處,並且延伸向面C的內部,而像素組504可開始於像素組504在面B的頂部邊界處的標示像素處,並且延伸向面B的內部。
參考圖5到7,對於開始於面B的頂部邊界處之任何垂直的像素組而言,可以找到開始於面C的右邊邊界處之相應水平的像素組並且與其相匹配以便解區塊濾波;對於開始於面B的底部邊界處之任何垂直的像素組而言,可以找到開始於面D的右邊邊界處之相應水平的像素組並且與其相匹配以便解區塊濾波;對於開始於面E的頂部邊界處之任何垂直的像素組而言,可以找到開始於面C的頂部邊界處之相應垂直的像素組並且與其相匹配以便解區塊濾波;對於開始於面E的底部邊界處之任何垂直的像
素組而言,可以找到開始於面D的底部邊界處之相應垂直的像素組並且與其相匹配以便解區塊濾波;對於開始於面A的頂部邊界處之任何垂直的像素組而言,可以找到開始於面C的左邊邊界處之相應水平的像素組並且與其相匹配以便解區塊濾波;對於開始於面A的右邊邊界處之任何水平的像素組而言,可以找到開始於面F的左邊邊界處之相應水平的像素組並且與其相匹配以便解區塊濾波;以及對於開始於面A的底部邊界處之任何垂直的像素組而言,可以找到開始於面D的左邊邊界處之相應水平的像素組並且與其相匹配以便解區塊濾波。
圖8和圖9例示依據本發明之至少一些施行所配置的範例2D視頻圖框800,該2D視頻圖框800包含從360視頻空間呈縮小立方體貼圖格式的投影和用於解區塊濾波之選擇到的像素群。如所示者,圖8例示具有2D影像的2D視頻圖框800,且為了清楚起見,圖9例示具有移除該2D影像而且標示出部分的2D視頻圖框800之2D視頻圖框800。如所示者,包含像素群811,812的多群像素可以被選擇來解區塊濾波。例如,像素群811包含像素組801和像素組802,而且為了解區塊濾波,像素組801可以被旋轉並且與像素組802的底部對齊(或者反之亦然),並且解區塊濾波可以被實施。此外,像素群812包含像素組803和像素組804而使得,為了解區塊濾波,像素組803可以被旋轉並且與像素組804的右邊對齊(或者反之亦然),而且解區塊濾波可以被實施。如同將在下面做進一步討論者,像素組的
其他組合可以被對齊成像素群並且被解區塊濾波。
參考圖7和圖8,立方體700的各個面,呈現縮小立方體貼圖格式,可以被提供於視頻圖框800之內。有關提供於圖6中之立方體諸面的對齊,面A,B,E,和F可具有相同的對齊,而面C’和D’可以被旋轉180°。雖然被例示於特別的縮小立方體貼圖格式中,其他任何適合的格式可以被使用於從360視頻空間的投影。
如同上面以及參考圖7所討論者,任何具有沿著一面而正交地延伸離開毗鄰面之間的邊界之第一組像素和沿著由該邊界所共用之另一面而正交地延伸離開該邊界之第二組像素的像素群可以被解區塊濾波。例如,此等像素群可以被形成在來自面C和面B(其在面C與面B之間的邊界處具有共用的像素)之任何正交的像素組之間、在來自面C和面E(其在面C與面E之間的邊界處具有共用的像素)之任何正交的像素組之間、在來自面A和面F(其在面A與面F之間的邊界處具有共用的像素)之任何正交的像素組之間、等等。注意到,在2D視頻圖框800的情境中,所討論之像素選擇及解區塊濾波技術可以需要在所有的面之間,這是因為在2D視頻圖框800中,沒有任何毗鄰面係毗連於該3D視頻空間中。
如同參考圖9所示者,2D視頻圖框800包含左邊圖框邊界806、右邊圖框邊界807、頂部圖框邊界808、和底部圖框邊界809。而且,如同參考面A,B,C’,D’,E,F所示者,各個面可具有左邊面邊界、右邊面邊界、頂
部面邊界、和底部面邊界。此等邊界可以和另一面或圖框邊界所共用,如所示者。如同參考圖7所討論者,與接下來的面邊界成直角的多個像素組(例如,多排的像素)可以被匹配、對齊、和解區塊濾波:面B的頂部邊界和面C’的左邊邊界、面B的底部邊界和面D’的左邊邊界、面E的頂部邊界和面C’的底部邊界、面E的底部邊界和面D’的頂部邊界、面A的頂部邊界和面C’的右邊邊界、面A的右邊邊界和面F的左邊邊界、面A的底部邊界和面D’的右邊邊界。
如所示者,像素組801和像素組802在2D視頻圖框800中係非相鄰的(亦即,在2D視頻圖框800中,沒有任何像素組801的像素與像素組802的任何像素係連續或毗連的)。然而,在360視頻空間中,像素組801在圖框邊界806處的像素(在面D’的左邊邊界處,在像素組801內用灰色框來予以標記)為像素組802在面B的底部邊界處的像素(在像素組802內用灰色框來予以標記)的相鄰者。例如,像素組801可開始於像素組801在圖框邊界806處的標示像素處,並且延伸向2D視頻圖框800的內部(和面D’),而像素組802可開始於像素組802在面B的底部邊界處的標示像素處,並且延伸向面B的內部。
此外,圖8例示包含用於解區塊濾波之像素組803和像素組804的像素群812。例如,對於解區塊濾波而言,像素組803可以被旋轉並且與像素組804的左邊對齊(或者像素組804可以被旋轉並且與像素組803的頂部對
齊),而且解區塊濾波可以被實施。如所示者,像素組803和像素組804在2D視頻圖框800中係非相鄰的(亦即,沒有任何像素組803的像素與像素組804的任何像素係連續或毗連的)。然而,在360視頻空間中,像素組803在面B的頂部邊界處的像素(在像素組803內用灰色框來予以標記)為像素組804在面C’的左邊邊界處的像素(在像素組804內用灰色框來予以標記)的相鄰者。例如,像素組803可開始於像素組803在面B的頂部邊界處的標示像素處,並且延伸向面B的內部,而像素組804可開始於像素組804在面C’的左邊邊界處的標示像素處,並且延伸向面C’的內部。
參考圖7到9,對於開始於面B的頂部邊界處之任何垂直的像素組而言,可以找到開始於面C’的左邊邊界處之相應水平的像素組並且與其相匹配以便解區塊濾波;對於開始於面B的底部邊界處之任何垂直的像素組而言,可以找到開始於面D’的左邊邊界處之相應水平的像素組並且與其相匹配以便解區塊濾波;對於開始於面E的頂部邊界處之任何垂直的像素組而言,可以找到開始於面C’的底部邊界處之相應垂直的像素組並且與其相匹配以便解區塊濾波;對於開始於面E的底部邊界處之任何垂直的像素組而言,可以找到開始於面D’的頂部邊界處之相應垂直的像素組並且與其相匹配以便解區塊濾波;對於開始於面A的頂部邊界處之任何垂直的像素組而言,可以找到開始於面C’的右邊邊界處之相應水平的像素組並且與其相匹配以便解區塊濾波;對於開始於面A的右邊邊界處之任何水
平的像素組而言,可以找到開始於面F的左邊邊界處之相應水平的像素組並且與其相匹配以便解區塊濾波;以及對於開始於面A的底部邊界處之任何垂直的像素組而言,可以找到開始於面D’的右邊邊界處之相應水平的像素組並且與其相匹配以便解區塊濾波。
如同所討論者,本文中所討論的像素選擇及解區塊濾波技術可被使用於任何的3D視頻編碼、解碼、前處理、或後處理情境中。
圖10例示依據本發明之至少一些施行所配置的範例編碼器1000的方塊圖。例如,編碼器1000可基於本文中所討論的技術來提供迴路(loop)投影面邊界解區塊。如所示者,編碼器1000可包含移動預測(motion estimation,ME)模組1001、移動補償(MC)模組1002、畫面內預測(intra prediction,Intra)模組1004、圖框緩衝器(FB)1005、圖框中解區塊濾波(DF)模組1006、差異器(differencer)1007、選擇開關1008、加法器1009、轉換(T)模組1010、量化(Q)模組1011、反量化(IQ)模組1012、反轉換(IT)模組1013、熵(entropy)編碼器(EE)模組1014、以及投影面邊界解區塊器(PFBD)104。編碼器1000可包含為了清楚展示而未被顯示出之其他的模組及/或互連。
如所示者,編碼器1000可接收2D視頻圖框112(例如,自360或球面空間所投射出的2D視頻圖框),並且編碼器1000可產生如同本文中所討論的輸出位元流113。例如,編碼器1000可將2D視頻圖框112的個別2D圖
框分割成不同尺寸的區塊,其可以經由移動預測模組1001和移動補償模組1002而在時間(畫面間)上被預測或者經由畫面內預測模組1004而在空間(畫面內)上被預測。這樣的編碼決定可以經由選擇開關1008來予以施行。此外,基於畫面間(inter)或畫面內(intra)編碼的使用,源像素與預測像素之間的差異可以經由差異器1007來予以求得(例如,在先前解碼之360視頻空間解區塊濾波之重建圖框的像素與源或原始圖框的像素之間)。此差異可以經由轉換模組1010而被轉換成頻域(例如,基於離散餘弦轉換),以及經由量化模組1011而被轉換成量化係數。這樣的量化係數連同各種的控制信號一起可以經由熵編碼器模組1014而被熵編碼來產生經編碼的位元流1021,其可以被傳送或轉移等等到解碼器。此外,做為本地解碼迴路(local decode loop)的部分,量化係數可經由反量化模組1012而被反量化並且可經由反轉換模組1013而被反轉換,以產生重建的差異或殘差(residuals)。該重建的差異或殘差可經由加法器1009而與參考區塊相結合來產生重建的區塊,如所示者,其可被提供給畫面內預測模組1004以供使用於畫面內預測。此外,該等重建的區塊可經由圖框中解區塊濾波模組1006而被圖框中解區塊並且被重建來產生重建的圖框1021。重建的圖框1021可被提供給投影面邊界解區塊器104以用於像素群的解區塊,而該等像素群在重建的圖框1021中非為相鄰者,而且在其重建的圖框1021中包含投影的360視頻空間中為相鄰者。如所示者,投影面邊界解區塊器104可基
於重建的圖框1021而產生經360視頻空間解區塊濾波之重建的圖框(經濾波的圖框)1022,其可以被儲存於圖框緩衝器1005中,並且被提供給移動預測模組1001和移動補償模組1002以供使用於畫面間預測。
藉由施行編碼器1000,而且特別是編碼器1000之內的投影面邊界解區塊器104,可以獲得由輸出位元流113所代表之視頻之改良的編碼品質和壓縮以及改良的視頻品質。例如,如同所討論者,投影面邊界解區塊器104可接收重建視頻圖框1021之個別的2D重建視頻圖框,使得該個別的2D重建視頻圖框包含從360視頻空間的投影。投影面邊界解區塊器104決定來自該個別的2D重建視頻圖框之像素群在該個別的2D重建視頻圖框中係非相鄰的,並且其包含在360視頻空間中係相鄰的像素。此等像素群被解區塊濾波以產生經360視頻空間解區塊濾波之重建的圖框1022之經濾波的圖框。而且,如同所討論者,經360視頻空間解區塊濾波之重建的圖框的一部分(例如,區塊、編碼單元、等等)可以藉由差異器1007來求得與2D視頻圖框112之相應部分(例如,原始之2D視頻圖框的一部分)的差異而產生殘差部分。該殘差部分可藉由轉換模組1010而被轉換,以及經由量化模組1011而被量化,以決定用於該殘差部分之經量化的轉換係數。該經量化的轉換係數可藉由熵編碼器模組1014而被熵編碼成輸出位元流113。
圖11例示依據本發明之至少一些施行所配置
的範例解碼器1100的方塊圖。例如,解碼器1100可基於本文中所討論的技術來提供迴路投影面邊界解區塊。如所示者,解碼器1100可包含移動補償(MC)模組1102、畫面內預測(Intra)模組1104、圖框緩衝器(FB)1105、圖框中解區塊濾波(DF)模組1106、選擇開關1108、加法器1109、反量化(IQ)模組1112、反轉換(IT)模組1113、熵解碼器(ED)模組1114、以及投影面邊界解區塊器(PFBD)104。解碼器1100可包含為了清楚展示而未被顯示出之其他的模組及/或互連。
如所示者,解碼器1100可接收輸入位元流114(例如,對應於或代表自360或球面空間所投射出之2D視頻圖框的輸入位元流)並且解碼器1100可產生2D視頻圖框115(例如,使得2D圖框係從360或球面空間所投射出),如同本文中所討論者。例如,熵解碼器模組1114可熵解碼輸入位元流114來決定量化係數以及各種的控制信號。該量化係數可經由反量化模組1112而被反量化並且可經由反轉換模組1113而被反轉換,以產生重建的差異或殘差。該重建的差異或殘差可經由加法器1109而與參考區塊(來自先前解碼的圖框)相結合來產生重建的區塊,如所示者,其可被提供給畫面內預測模組1104以供使用於畫面內預測。此外,該等重建的區塊可經由圖框中解區塊濾波模組1106而被圖框中解區塊並且被重建來產生重建的圖框1121。重建的圖框1121可被提供給投影面邊界解區塊器104以用於像素群的解區塊,而該等像素群在重建的圖框
1121中非為相鄰者,而且在其重建的圖框1121中包含投影的360視頻空間中為相鄰者。如所示者,投影面邊界解區塊器104可基於重建的圖框1121而產生2D視頻圖框115(例如,經360視頻空間解區塊濾波之重建的圖框),其可以被儲存於圖框緩衝器1105中,並且被提供給移動補償模組1102以供使用於畫面間預測。此外,2D視頻圖框115可被提供來輸出至顯示裝置等等以供使用者觀看。
藉由施行解碼器1100,而且特別是解碼器1100之內的投影面邊界解區塊器104,可以獲得由2D視頻圖框115所代表之視頻之改良的視頻品質。例如,如同所討論者,投影面邊界解區塊器104可接收重建視頻圖框1121之個別的2D重建視頻圖框,使得該個別的2D重建視頻圖框包含從360視頻空間的投影。投影面邊界解區塊器104決定來自該個別的2D重建視頻圖框之像素群在該個別的2D重建視頻圖框中係非相鄰的,並且其包含在360視頻空間中係相鄰的像素。此等像素群被解區塊濾波以產生2D視頻圖框115之經濾波的圖框(例如,經360視頻空間解區塊濾波之重建的圖框)。而且,如同所討論者,輸入位元流114被熵解碼器模組1114所解碼來決定用於該2D重建視頻圖框殘差部分(例如,區塊、編碼單元、等等)之經量化的轉換係數。該經量化的轉換係數可以藉由反量化模組1112而被反量化,並且可經由反轉換模組1113而被反轉換,以產生殘差部分。該殘差部分可藉由加法器1109而被加到相應的預測部分來產生重建的部分。該重建的部分然
後可以藉由圖框中解區塊濾波(DF)模組1106而被圖框中解區塊濾波,並且該預測部分和其他預測部分可被組合而產生重建圖框1121之重建的圖框。
投影面邊界解區塊器104可接收重建圖框1121之重建的圖框,使得該個別的2D重建視頻圖框包含從360視頻空間的投影。投影面邊界解區塊器104決定來自該個別的2D重建視頻圖框之像素群在該個別的2D重建視頻圖框中係非相鄰的,並且其包含在360視頻空間中係相鄰的像素。此等像素群被解區塊濾波以產生2D視頻圖框115之經濾波的圖框。參考圖1,2D視頻圖框115可藉由選擇顯示用之觀視埠(例如,藉由使用者或應用選擇等等)而被顯示給使用者,基於該觀視埠而決定2D視頻圖框115之經濾波的圖框供顯示用的部分,以及將該重建之2D視頻圖框的該部分顯示給一個使用者或多個使用者等等。
圖12例示依據本發明之至少一些施行所配置的範例編碼器1200的方塊圖。例如,編碼器1200可基於本文中所討論之技術來提供迴路外(out of loop)或前處理投影面邊界解區塊。如所示者,編碼器1200可包含移動預測(ME)模組1001、移動補償(MC)模組1002、畫面內預測(Intra)模組1004、圖框緩衝器(FB)1005、圖框中解區塊濾波(DF)模組1006、差異器1007、選擇開關1008、加法器1009、轉換(T)模組1010、量化(Q)模組1011、反量化(IQ)模組1012、反轉換(IT)模組1013、熵編碼器(EE)模組1014、以及投影面邊界解區塊器(PFBD)104。編碼器1200
可包含為了清楚展示而未被顯示出之其他的模組及/或互連。
如所示者,編碼器1200可接收2D視頻圖框112(例如,自360或球面空間所投射出的2D視頻圖框),並且編碼器1200可產生如同本文中所討論的輸出位元流113。例如,編碼器1200可包含投影面邊界解區塊器104做為用於改良之編碼效能和視頻品質的前處理器或前濾波器。在有些範例中,投影面邊界解區塊器104可以被特徵化為編碼器1200的一部分而且,在其他的範例中,投影面邊界解區塊器104在編碼處理之前可以被特徵化為前處理器或前濾波器。
例如,投影面邊界解區塊器104可接收2D視頻圖框112(例如,自360或球面空間所投射出的2D視頻圖框),並且投影面邊界解區塊器104可產生經360視頻空間解區塊濾波的圖框(經濾波的圖框)1221,如同本文中所討論者。經濾波的圖框1221然後可被編碼處理,如同參考圖10所討論者,以產生輸出位元流113。為了簡明起見,將不重複敘述這樣的編碼處理。
藉由施行編碼器1200,而且特別是投影面邊界解區塊器104,可以獲得由輸出位元流113所代表之視頻之改良的編碼品質和壓縮以及改良的視頻品質。例如,如同所討論者,投影面邊界解區塊器104可接收2D視頻圖框112之個別的2D視頻圖框,使得該個別的2D視頻圖框包含從360視頻空間的投影。投影面邊界解區塊器104決定來自
該個別的2D視頻圖框之像素群在該個別的2D重建視頻圖框中係非相鄰的,並且其包含在360視頻空間中係相鄰的像素。此等像素群被解區塊濾波以產生經360視頻空間解區塊濾波之圖框1221之經濾波的圖框。而且,如同所討論者,經360視頻空間解區塊濾波之圖框的一部分(例如,區塊、編碼單元、等等)可以藉由差異器1007來求得與重建之視頻圖框之相應部分(例如,如同藉由本地解碼迴路所重建以及如同藉由畫面內或畫面間預測所選擇者)的差異而產生殘差部分。該殘差部分可藉由轉換模組1010而被轉換,以及經由量化模組1011而被量化,以決定用於該殘差部分之經量化的轉換係數。該經量化的轉換係數可藉由熵編碼器模組1014而被編碼成輸出位元流113。
圖13例示依據本發明之至少一些施行所配置的範例解碼器1300的方塊圖。例如,解碼器1300可基於本文中所討論之技術來提供迴路外或後處理投影面邊界解區塊。如所示者,解碼器1300可包含移動補償(MC)模組1102、畫面內預測(Intra)模組1104、圖框緩衝器(FB)1105、圖框中解區塊濾波(DF)模組1106、選擇開關1108、加法器1109、反量化(IQ)模組1112、反轉換(IT)模組1113、熵解碼器(ED)模組1114、以及投影面邊界解區塊器(PFBD)104。解碼器1300可包含為了清楚展示而未被顯示出之其他的模組及/或互連。
如所示者,解碼器1300可接收輸入位元流114(例如,對應於或代表自360或球面空間所投射出之2D
視頻圖框的輸入位元流)並且解碼器1300可產生2D視頻圖框115(例如,使得2D圖框係從360或球面空間所投射出)。例如,解碼器1300可包含投影面邊界解區塊器104做為用於改良之視頻品質的後處理器或後濾波器。在有些範例中,投影面邊界解區塊器104可以被特徵化為解碼器1300的一部分而且,在其他的範例中,投影面邊界解區塊器104在解碼處理之前可以被特徵化為後處理器或後濾波器。
例如,解碼器1300可接收輸入位元流114,其可以被解碼處理而產生重建的圖框1121(例如,重建的2D圖框係從360或球面空間所投射出)。為了簡明起見,將不重複敘述這樣的解碼處理。如所示者,重建的圖框1121可以被儲存於圖框緩衝器1105中,並且被使用來解碼後續的視頻圖框。此外,投影面邊界解區塊器104可接收重建圖框1321之重建的圖框,使得該個別的2D重建視頻圖框包含從360視頻空間的投影。投影面邊界解區塊器104決定來自該個別的2D重建視頻圖框之像素群在該個別的2D重建視頻圖框中係非相鄰的,並且其包含在360視頻空間中係相鄰的像素。此等像素群被解區塊濾波以產生2D視頻圖框115之經濾波的圖框。參考圖1,2D視頻圖框115可藉由選擇顯示用之觀視埠(例如,藉由使用者或應用選擇等等)而被顯示給使用者,基於該觀視埠而決定2D視頻圖框115之經濾波的圖框供顯示用的部分,以及將該重建之2D視頻圖框的該部分顯示給一個使用者或多個使用者等等。
圖14例示依據本發明之至少一些施行所配置之用於視頻編碼視頻圖框之範例過程1400的流程圖,該視頻編碼視頻圖框包含從360視頻空間的投影。過程1400可包含一或多個操作1401到1403,如圖14中所例示者。過程1400可構成至少部分的視頻編碼過程。透過非限制性範例,過程1400可構成針對由系統100所進行之視頻的視頻編碼過程、視頻解碼過程、視頻前處理、或視頻後處理的至少部分,如同本文中所討論者。此外,過程1400在本文中將參考圖15的系統1500來做說明。
圖15例示依據本發明之至少一些施行所配置之用於視頻編碼視頻圖框之範例系統1500的例示圖,該視頻編碼視頻圖框包含從360視頻空間的投影。如圖15中所示者,系統1500可包含圖形處理器1501、中央處理器1502、和記憶體1503。也如所示者,圖形處理器1501可包含編碼器103,編碼器103可包含投影面邊界解區塊器104,如所示者,投影面邊界解區塊器104可包含像素選擇及匹配模組105和解區塊濾波器106。在系統1500的範例中,記憶體1503可儲存諸如視頻圖框或位元流的視頻內容或者本文中所討論的其他資料或參數。
圖形處理器1501可包含任何數目或類型的圖形處理器或處理單元,其可提供如同本文中所討論的操作。此等操作可以經由軟體或者硬體或其組合來予以施行。在實施例中,圖形處理器1501的例示模組可以經由電路等等來予以施行。例如,圖形處理器1501可包含專用來
操縱視頻資料以產生壓縮位元流的電路及/或專用來操縱壓縮位元流以產生視頻資料以及提供本文中所討論之操作的電路。例如,圖形處理器1501可包含電子電路,以操縱和改變記憶體而加速圖框緩衝器中之視頻圖框的產生及/或操縱和改變記憶體而加速基於視頻的影像或圖框之位元流的產生。
中央處理器1502可包含任何數目或類型的處理單元或模組,其可為系統1500提供控制和其它高階功能及/或提供如同本文中所討論的操作。例如,中央處理器1502可包含電子電路,以藉由實施由指令所指定之基本算術、邏輯、控制、輸入/輸出操作、等等來實施電腦程式的指令。
記憶體1503可為任何類型的記憶體,諸如揮發性記憶體(例如,靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、等等)、或非揮發性記憶體(例如,快閃記憶體、等等)、等等。在實施例中,記憶體1503可被組構成儲存視頻資料,諸如本文中所討論之像素值、控制參數、位元流資料、或者其他的視頻資料。在非限制性範例中,記憶體1503可藉由快取記憶體來予以施行。在實施例中,編碼器103可經由圖形處理器1501的執行單元(ELI)來予以施行。該等執行單元可包含,例如,可程式化邏輯或電路,諸如可提供寬廣的可程式化邏輯陣列功能的邏輯核心或多核心。在實施例中,編碼器103可經由諸如固定功能的電路等等之專用硬體來予以施行。該
固定功能的電路可包含專用的邏輯或電路並且可提供一組固定功能的入口點(entry point),其可映射至用於固定目的或功能的專用邏輯。
回到圖14的討論,過程1400可開始於操作1401,其中,來自一視頻序列的2D視頻圖框之個別的二維(2D)視頻圖框被接收到以供處理,而使得該個別的二維(2D)視頻圖框包含從360視頻空間的投影。該個別的2D視頻圖框可包含來自任何適合的360視頻空間中呈任何適合的格式之投影。例如,該個別的2D視頻圖框可包含從360視頻空間中所投影出的等距柱狀圖框、從360視頻空間中所投影出的立方體貼圖格式圖框、從360視頻空間中所投影出的縮小立方體貼圖格式圖框、等等。例如,如同經由圖形處理器1501所施行的編碼器103可接收或產生該個別的二維視頻圖框以供處理。
此外,該個別的2D視頻圖框可被接收到以供處理於任何適合的情境中。例如,圖形處理器1501及/或中央處理器1502可施行本文中所討論的任何編碼器、解碼器、前處理、後處理、等等。在實施例中,該個別的2D視頻圖框為重建的2D視頻圖框,而且過程1400進一步包含區別面邊界解區塊濾波後之2D視頻圖框的一部分與原始之2D視頻圖框的一部分以產生殘差部分、轉換和量化該殘差部分來決定用於該殘差部分之經量化的轉換係數、以及將該經量化的轉換係數編碼成位元流。例如,這樣的處理可提供編碼用的迴路中解區塊濾波(in loop deblock filtering
for encode)。
在另一實施例中,該個別的2D視頻圖框為濾波後之重建的2D視頻圖框,而且過程1400進一步包含將位元流解碼以決定用於該重建之2D視頻圖框的殘差部分之經量化的轉換係數、將該經量化的轉換係數反量化及反轉換以決定該殘差部分、將該殘差部分加到預測部分以產生重建之2D視頻圖框的重建部分、將該重建的2D視頻圖框圖框中解區塊濾波以產生濾波後之重建的2D視頻圖框、基於觀視埠(例如,100度的視野)來決定面邊界解區塊濾波後之2D視頻圖框供顯示用的部分、以及將該重建之2D視頻圖框的該部分顯示給使用者。例如,這樣的處理可將解碼和顯示用的解區塊濾波提供給使用者。
在實施例中,過程1400進一步包含區別面邊界解區塊濾波後之2D視頻圖框的一部分與重建之視頻圖框的一部分以產生殘差部分、轉換和量化該殘差部分來決定用於該殘差部分之經量化的轉換係數、以及將該經量化的轉換係數編碼成位元流。例如,這樣的處理可提供編碼用的前處理解區塊濾波(pre-processing deblock filtering for encode)。
處理可繼續於操作1402,其中,從該個別的2D視頻圖框,用於解區塊濾波的一群像素可被決定而使得該群像素包含該個別的2D視頻圖框之第一像素組和第二像素組,使得第一像素組和第二像素組在該個別的2D視頻圖框中為非相鄰的像素組,而且使得第一像素組的第一個別
像素和第二像素組的第二個別像素在360視頻空間中為相鄰的像素。例如,如同經由圖形處理器1501所施行之編碼器103的像素選擇及匹配模組105可決定用於解區塊濾波的該群像素。用於解區塊濾波的該群像素可使用任何適合的技術來予以決定,諸如本文中所討論的任何技術。
在實施例中,第一像素組以在該個別的2D視頻圖框之左邊邊界處的第一個別像素開始並且延伸向該個別的2D視頻圖框的內部,而且第二像素組以在該個別的2D視頻圖框之右邊邊界處的第二個別像素開始並且延伸向該個別的2D視頻圖框的內部。在實施例中,該個別的2D視頻圖框為從360視頻空間中所投影出的等距柱狀圖框,而且,該第一像素組以在該個別的2D視頻圖框之頂部邊界第一位置處的第一個別像素開始並且延伸向該個別的2D視頻圖框的內部,第二像素組以在該個別的2D視頻圖框之頂部邊界第二位置處的第二個別像素開始並且延伸向該個別的2D視頻圖框的內部,而且該頂部邊界的第一位置和第二位置離該個別的2D視頻圖框之頂部邊界的中心係等距離的。
在實施例中,該個別的2D視頻圖框為從360視頻空間中所投影出的立方體貼圖格式圖框,而且,該第一像素組以在該個別的2D視頻圖框之第一面投影和第一空白像素區域邊界的第一位置處的第一個別像素開始並且延伸向該第一面投影的內部,第二像素組以在該個別的2D視頻圖框之第二面投影和第二空白像素區域邊界的第二位置
處的第二個別像素開始並且延伸向該第二面投影的內部,而且該第一位置和該第二位置離該第一和第二空白像素區域邊界的交叉點係等距離的。在實施例中,該個別的2D視頻圖框為從360視頻空間中所投影出的縮小立方體貼圖格式圖框,而且,該第一像素組以在該個別的2D視頻圖框之第一面投影和視頻圖框邊緣邊界處的第一個別像素開始並且延伸向該第一面投影的內部,第二像素組以在該個別的2D視頻圖框之第二面投影和第三面投影邊界處的第二個別像素開始並且延伸向該第二面投影的內部。
任何數目的像素群可被辨識用於解區塊濾波。在實施例中,該像素群為單排的像素,而且,該過程1400進一步包含從該個別的2D視頻圖框決定用於解區塊濾波的第二像素群,使得該第二像素群包含該個別的2D視頻圖框的第三像素組和第四像素組,使得該第三像素組和該第四像素組在該個別的2D視頻圖框中為非相鄰的像素,而且使得至少該第三像素組的第三個別像素和該第四像素組的第四個別像素在360視頻空間中為相鄰的像素。例如,該個別的2D視頻圖框可為從360視頻空間中所投影出的等距柱狀圖框,該第一像素組可以在該個別的2D視頻圖框之左邊邊界處的第一個別像素開始並且延伸向該個別的2D視頻圖框的內部,該第二像素組可以在該個別的2D視頻圖框之右邊邊界處的第二個別像素開始並且延伸向該個別的2D視頻圖框的內部,該第三像素組可以在該個別的2D視頻圖框之頂部邊界第一位置處的第三個別像素開始並且延伸向
該個別的2D視頻圖框的內部,該第四像素組以在該個別的2D視頻圖框之頂部邊界第二位置處的第四個別像素開始並且延伸向該個別的2D視頻圖框的內部,而且該頂部邊界的該第一位置和該第二位置離該個別的2D視頻圖框之頂部邊界的中心可為等距離的。
處理可繼續於操作1403,其中,包含該第一和第二像素組的該群像素可被解區塊濾波,以基於該個別的2D視頻圖框而產生360視頻空間解區塊濾波後的2D視頻圖框。該群像素或多群像素可使用任何適合的技術來予以解區塊濾波。各群可使用相同的濾波技術或不同的濾波技術來予以解區塊濾波。在實施例中,該群像素包含單排的像素並且該解區塊濾波該群像素包含對該群像素施加低通濾波。
本文中所述之系統的各種組件可以用軟體、韌體、及/或硬體及/或其任何組合來予以施行。例如,系統100或系統1500的各種組件可以至少部分地藉由計算系統單晶片(SoC)的硬體來予以提供,諸如,可以在計算系統中找到,像是例如智慧型手機。習於此技藝者將知曉本文中所述之系統可包含尚未被描述於相應的圖形中之額外的組件。例如,本文中所討論之系統可包含額外的組件,諸如,為了清楚起見而尚未被描述的位元流多工器或解多工器模組等等。
雖然本文中所討論之範例過程的施行可包含按照例示順序所顯示之所有操作的進行(undertaking),但
是本發明在此方面並不受限,而且在各種範例中,本文中之範例過程的施行可以僅包含按照與所例示或額外操作不同的順序所顯示之操作的子集合。
除此之外,回應由一或多個電腦程式產品所提供的指令,可進行本文中所討論之操作的任何一者或多者。此等程式產品可包含提供指令的信號載負(bearing)媒體,當該等指令被例如處理器所執行時可提供本文中所述之功能性。該電腦程式產品可以一或多種機器可讀取媒體的形式來予以提供。因此,例如,包含一或多個圖形處理單元或處理器核心的處理器可進行本文中之範例程序方塊的一或多者,以回應被一或多個機器可讀取媒體所載運至該處理器的程式碼及/或指令或指令集。通常,機器可讀取媒體可載運呈程式碼及/或指令或指令集之形式的軟體,其可致使本文中所述之裝置及/或系統的任一者施行如同本文中所討論之技術、模組、組件等等。
如同在本文中所述之任何施行中所使用者,用語「模組」指的是軟體邏輯、韌體邏輯、硬體邏輯、及/或電路的任何組合,其被組構成提供本文中所述之功能性。該軟體可被具體化為套裝軟體(software package)、代碼及/或指令集或指令,而「硬體」,如同在本文中所述之任何施行中所使用者,可包含,例如,硬連線(hardwired)電路、可程式化電路、狀態機器電路、固定功能電路、執行單元電路、及/或儲存由可程式化電路所執行之指令的韌體之單一者或者其任何組合。該等模組整體
或個別地可被具體化為構成較大系統之部分的電路,例如,積體電路(IC)、系統單晶片(SoC)、等等。
圖16為依據本發明之至少一些施行所配置之範例系統1600的例示圖。在各種的施行中,系統1600可以為移動式系統,儘管系統1600並不限於此情境。例如,系統1600可被併入於個人電腦(PC)、膝上型電腦、超級膝上型電腦、平板電腦(tablet)、觸控板(touch pad)、可攜式電腦、手持式電腦、掌上型電腦、個人數位助理(PDA)、蜂巢式電話、組合型蜂巢式電話/PDA、電視、智慧型裝置(例如,智慧型電話、智慧型平板電腦(smart tablet)或智慧型電視)、行動聯網裝置(mobile internet device(MID))、發訊(messaging)裝置、資料通訊裝置、相機(例如,隨拍相機(point-and-shoot camera)、長焦相機(super-zoom camera)、數位單眼相機(digital single-lens reflex(DSLR)camera))、等等中。
在各種的施行中,系統1600包含耦接至顯示器1620的平台1602。平台1602可接收來自內容裝置(諸如,內容服務裝置1630或內容傳送裝置1640或者其他類似的內容來源)的內容。包含一或多個導航特徵的導航控制器1650可被用來與平台1602及/或顯示器1620互動。這些組件之各者被更詳細地說明於下。
在各種的施行中,平台1602可包含晶片組1605、處理器1610、記憶體1612、天線1613、儲存器1614、圖形子系統1615、應用程式1616及/或無線電1618
之任何組合。晶片組1605可提供處理器1610、記憶體1612、儲存器1614、圖形子系統1615、應用程式1616及/或無線電1618之間的互相通訊。例如,晶片組1605可包含能夠提供互相通訊給儲存器1614的儲存轉接器(未描繪出)。
處理器1610可被施行為複雜指令集電腦(CISC)或精簡指令集電腦(RISC)處理器、x86指令集相容的處理器、多核心、或者任何其他的微處理器或中央處理單元(CPU)。在各種的施行中,處理器1610可為雙核心處理器、雙核心移動式處理器、等等。
記憶體1612可被施行為揮發性記憶體裝置,諸如(但不限於)隨機存取記憶體(RAM)、動態隨機存取記憶體(DRAM)、或靜態RAM(SRAM)。
儲存器1614可被施行為非揮發性儲存裝置,諸如(但不限於)磁碟機、光碟機、磁帶機、內部儲存裝置、附接式儲存裝置、快閃記憶體、電池備用供電的SDRAM(同步DRAM)及/或網路可存取儲存裝置。在各種的施行中,儲存器1614可包含例如當包含多個硬碟機時,增加提升有價值的數位媒體之儲存性能保護的技術。
圖形子系統1615可實施諸如供顯示用之靜止或視頻影像的處理。圖形子系統1615可為例如圖形處理單元(GPU)或視覺處理單元(VPU)。類比或數位介面可被用來通訊式地耦接圖形子系統1615與顯示器1620。例如,該介面可為高畫質多媒體介面、顯示埠(DisplayPort)、無線
HDMI、及/或符合無線HD的技術之任一者。圖形子系統1615可被整合入處理器1610或晶片組1605中。在有些施行中,圖形子系統1615可為通訊式地耦接於晶片組1605的獨立裝置。
在本文中所述之該等圖形及/或視頻處理技術可以用各種的硬體架構來予以施行。例如,圖形及/或視頻功能性可被整合入晶片組內。替換地,分離式圖形及/或視頻處理器可以被使用。做為又一施行,該等圖形及/或視頻功能可由包含多核心處理器的通用處理器來予以提供。在其他的施行中,該等功能可被施以於消費電子裝置中。
無線電1618可包含能夠使用各種適合的無線通訊技術來發送與接收信號的一或多個無線電。此等技術可涉及跨於一或多個無線網路上的通訊。範例無線網路包含(但不限於)無線局部區域網路(WLAN)、無線個人區域網路(WPAN)、無線都會區域網路(WMAN)、蜂巢式網路、以及衛星網路。當跨於此等網路通訊時,無線電1618可依據任何版本的一或多個適用標準來操作。
在各種的施行中,顯示器1620可包含任何電視類型的監視器或顯示器。顯示器1620可包含,例如,電腦顯示器螢幕、觸控螢幕顯示器、視頻監視器、像電視的裝置(television-like device)、及/或電視。顯示器1620可為數位及/或類比的。在各種的施行中,顯示器1620可為全像式顯示器。又,顯示器1620可為透明的表面,其可接收
視覺的投影。此等投影可傳輸各種形式的資訊、影像、及/或物件。例如,此等投影可為用於移動式擴增實境(MAR)應用的視覺重疊(visual overlay)。在一或多個軟體應用程式1616的控制下,平台1602可顯示使用者介面1622於顯示器1620上。
在各種的施行中,內容服務裝置1630可由任何全國性的、國際性的及/或獨立的服務所主持,且因而可經由例如,網際網路(Internet)而讓平台1602存取。內容服務裝置1630可被耦接至平台1602及/或至顯示器1620。平台1602及/或內容服務裝置1630可被耦接至網路1660而使媒體資訊來往通訊(例如,發送及/或接收)於網路1660。內容傳送裝置1640也可被耦接至平台1602及/或至顯示器1620。
在各種的施行中,內容服務裝置1630可包含有線電視機上盒、個人電腦、網路、電話、能夠傳送數位資訊及/或內容之網際網路致能的(Internet enabled)裝置或器具、以及能夠經由網路1660而或直接單向或雙向地通訊內容於內容提供者與平台1602及/或至顯示器1620之間的任何其他類似裝置。將領會到內容可經由網路1660而被單向及/或雙向地通訊至或自系統1600中的組件和內容提供者之任一者。內容的範例可包含任何媒體資訊,其包含例如,視頻、音樂、醫學和遊戲資訊、等等。
內容服務裝置1630可接收有線電視編程的內容,其包含媒體資訊、數位資訊、及/或其他內容。內容
提供者的範例可包含任何的有線或衛星電視或收音機或網際網路內容提供者。所提供的範例並不打算依據目前的揭示內容以任何的方式來限定施行。
在各種的施行中,平台1602可從具有一或多個導航特徵的導航控制器1650接收到控制信號。該等導航特徵,例如,可被用來與使用者介面1622互動。在各種的施行中,導航可為指向裝置,其可以是讓使用者能夠將空間(例如,連續且多維的)資料輸入至電腦中的電腦硬體組件(明確而言,人機介面裝置(human interface device))。諸如圖形使用者介面(GUI)、和電視以及監視器的許多系統讓使用者能夠使用身體姿勢來控制及提供資料給電腦或電視。
導航特徵的動作可藉由顯示於顯示器(例如,顯示器1620)上的指標(pointer)、游標、聚焦環(focus ring)、或其他視覺指示器而被複製於該顯示器上。舉例而言,在軟體應用程式1616的控制下,設在導航上的導航特徵,例如,可以被映射至顯示在使用者介面1622上的虛擬導航特徵。在各種的施行中,導航特徵可以不是分開的組件,而可以被整合入平台1602及/或顯示器1620內。然而,本發明並不限於該等元件或在本文中所顯示或描述的情境中。
在各種的施行中,驅動器(未顯示出)可包含例如,當被致能時,致使使用者能夠立即開啟或關閉平台1602的技術,就像具有按鍵的觸控在初始啟動之後的電視
一樣。程式邏輯可以讓平台1602能夠使內容流到媒體轉接器或者內容服務裝置1630或內容傳送裝置1640,即使是當該平台被關閉時。除此之外,晶片組1605可包含例如,支援5.1聲道環繞音響及/或高清晰度7.1聲道環繞音響的硬體及/或軟體。驅動器可包含用於整合之圖形平台的圖形驅動器。在各種的實施例中,該圖形驅動器可包含周邊組件互連(PCI)快速顯示卡。
在各種的施行中,系統1600中所顯示之組件的任何一或多者可以被整合。例如,平台1602和內容服務裝置1630可以被整合,或者平台1602和內容傳送裝置1640可以被整合,或者平台1602、內容服務裝置1630、和內容傳送裝置1640可以被整合,舉例而言。在各種的施行中,平台1602和顯示器1620可以是經整合過的單元。例如,顯示器1620和內容服務裝置1630可以被整合,或者顯示器1620和內容傳送裝置1640可以被整合。這些範例並不打算限制本發明。
在各種的實施例中,系統1600可以被施行為無線系統、有線系統、或者兩者的組合。當被施行為無線系統時,系統1600可包含適合於透過無線分享媒體來通訊的組件或介面,諸如一或多個天線、發射器、接收器、發射接收器、放大器、濾波器、控制邏輯、等等。無線分享媒體的範例可包含無線頻譜的部分,諸如RF頻譜等等。當被施行為有線系統時,系統1600可包含適合於透過有線通訊媒體來通訊的組件或介面,諸如輸入/輸出(I/O)轉接
器、連接該I/O轉接器與相應之有線通訊媒體的實體連接器、網路介面卡(NIC)、碟片控制器、視頻控制器、聲頻控制器、等等。有線通訊媒體的範例可包含導線、纜線、金屬引線、印刷電路板(PCB)、底板(backplane)、交換器結構(switch fabric)、半導體材料、雙絞線、同軸纜線、光纖(fiber optics)、等等。
平台1602可能建立一或多條邏輯或實體通道來通訊資訊,該資訊可包含媒體資訊和控制資訊。媒體資訊可以指代表打算給使用者之內容的任何資料,內容的範例可包含例如,來自聲音會談的資料、視訊會議、串流視訊、電子郵件(“email”)訊息、語音郵件訊息、字母數字符號、圖形、影像、視頻、文本等等。來自聲音會談的資料可以是,例如,語音資訊、沉默期間、背景噪音、舒適的噪音、聲調等等。控制資訊可以指代表打算給自動化系統之命令、指令、或控制字元的任何資料。例如,控制資訊可以被用來編排經過系統之媒體資訊的路由,或者指示節點來以預定的方式處理該媒體資訊。然而,該等實施例並不限於該等元件或在圖16中所顯示或描述的情境中。
如上所述,系統1600可以用不同的實際形式或形狀因子來予以具體化。圖17例示依據本發明之至少一些施行來予以配置的範例小型形狀因子裝置1700。在有些範例中,系統1600可以經由裝置1700來予以施行。在其他範例中,系統1500或其部分可以經由裝置1700來予以施行。在各種的實施例中,例如,裝置1700可以被施行為具
有無線能力的移動式計算裝置。移動式計算裝置可以指具有處理系統和移動式電源或電源供應器,例如,諸如一或多個電池的任何裝置。
移動式計算裝置的範例可包含個人電腦(PC)、膝上型電腦、超級膝上型電腦、平板電腦(tablet)、觸控板(touch pad)、可攜式電腦、手持式電腦、掌上型電腦、個人數位助理(PDA)、蜂巢式電話、組合型蜂巢式電話/PDA、智慧型裝置(例如,智慧型電話、智慧型平板電腦或智慧型移動式電視)、行動聯網裝置(MID)、發訊裝置、資料通訊裝置、相機等等。
移動式計算裝置的範例也可包含配置成由一個人所穿戴的電腦,諸如電腦錶(wrist computer)、手指型電腦(finger computer)、環形電腦(ring computer)、眼鏡型電腦(eyeglass computer)、皮帶扣夾式電腦(belt-clip computer)、臂帶式電腦(arm-band computer)、鞋型電腦(shoe computer)、衣物型電腦(clothing computer)、和其他可穿戴式電腦。在各種的實施例中,例如,移動式計算裝置可以被施行為能夠執行電腦應用以及語音通訊及/或資料通訊的智慧型電話。雖然有些實施例可以被描述成被施行為例如智慧型電話的移動式計算裝置,但是可以領會到其他實施例也可以使用其他的無線移動式計算裝置來予以施行。該等實施例並不限於此情境中。
如圖17所示,裝置1700可包含具有正面1701和背面1702的殼體。裝置1700包含顯示器1704、輸入/輸
出(I/O)裝置1706、和整合式天線1708。裝置1700也可包含導航特徵1712。I/O裝置1706可包含用以將資訊鍵入移動式計算裝置中之任何適合的I/O裝置。用於I/O裝置1706的範例可包含字母數字鍵盤、數字小鍵盤、觸控板、輸入鍵、按鈕、開關、麥克風、揚聲器、語音辨識裝置和軟體、等等。資訊也可以經由麥克風(未顯示出)而被鍵入裝置1700中,或者可以藉語音辨識裝置而被數位化。如所示者,裝置1700可包含相機1705(例如,包含鏡頭、光圈、和成像感測器)以及閃光燈1710被整合入裝置1700的背面1702(或者其他地方)中。在其他範例中,相機1705和閃光燈1710可以被整合入裝置1700的正面1701中或者正面和背面相機兩者可以被設置。相機1705和閃光燈1710可以是相機模組的組件,其用以產生要被處理成輸出至顯示器1704及/或例如經由天線1708而從裝置1700遠端地通訊之串流視訊的影像資料。
各種實施例可以使用硬體元件、軟體元件、或者兩者的組合來予以施行。硬體元件的範例可包含處理器、微處理器、電路、電路元件(例如,電晶體、電阻器、電容器、電感器、等等)、積體電路、特殊應用積體電路(ASIC)、可程式化邏輯裝置(PLD)、數位信號處理器(DSP)、現場可程式化閘陣列(FPGA)、邏輯閘、暫存器、半導體裝置、晶片、微晶片、晶片組、等等。軟體的範例可包含軟體組件、程式、應用軟體、電腦程式、應用程式、系統程式、機器程式、作業系統軟體、中間件、韌
體、軟體模組、常式、子常式、函數、方法、程序、軟體介面、應用程式介面(API)、指令集、計算碼、電腦碼、碼段、電腦碼段、字元、數值、符號、或其組合。決定實施例是否使用硬體元件及/或軟體元件來予以施行可以依據任何數目的因子而改變,諸如所想要的計算速率、電力位準、耐熱性、處理週期預算(processing cycle budget)、輸入資料速率、輸出資料速率、記憶體資源、資料匯流排速度以及其他的設計或性能條件。
至少一實施例的一或多個態樣可以藉由儲存在機器可讀取媒體上的代表性指令來予以施行,其代表該處理器內的各種邏輯,當該等指令被機器讀取時致使該機器製造邏輯來實施本文中所述的技術。此等以IP核心而知名的代表可以被儲存在有實體的機器可讀取媒體上,並且被供應至各種客戶或製造設施而載入進真正做成該邏輯或處理器的製造機器內。
雖然已經參照各種施行來說明本文中所提出的某些特徵,但是此說明並不想要被建構成限制性的意義。因此,本文中所述之施行的各種修正以及其他的施行,其對與本發明有關之習於此技藝者而言係顯而易知的,被視為落在本發明的精神與範疇之內。
在一或多個第一實施例中,一種用於視頻編碼的電腦施行方法包括:接收來自一視頻序列的二維(2D)視頻圖框中之個別的2D視頻圖框,使得該個別的2D視頻圖框包括從360視頻空間的投影;從該個別的2D視頻圖框
中,決定用於解區塊濾波的一群像素,使得該群像素包括該個別2D視頻圖框的第一組像素和第二組像素,該第一組像素和該第二組像素為該個別2D視頻圖框中之非相鄰組的像素,並且至少該第一組像素的第一個別像素和該第二組像素的第二個別像素包括在該360視頻空間中的相鄰像素;以及解區塊濾波包括該第一組和第二組像素的該群像素,以產生基於該個別的2D視頻圖框之經360視頻空間解區塊濾波的2D視頻圖框。
該等第一實施例更進一步地,該個別2D視頻圖框包括自該360視頻空間所投影出的等距柱狀圖框、自該360視頻空間所投影出的立方體貼圖格式圖框、或自該360視頻空間所投影出的縮小立方體貼圖格式圖框的其中一者。
該等第一實施例更進一步地,該第一組像素以在該個別2D視頻圖框之左側邊界處的該第一個別像素開始並且延伸向該個別2D視頻圖框的內部,而且該第二組像素以在該個別2D視頻圖框之右側邊界處的該第二個別像素開始並且延伸向該個別2D視頻圖框的該內部。
該等第一實施例更進一步地,該個別的2D視頻圖框包括自該360視頻空間所投影出的等距柱狀圖框,且其中,該第一組像素以在該個別2D視頻圖框之頂部邊界的第一位置處的該第一個別像素開始並且延伸向該個別2D視頻圖框的內部,該第二組像素以在該個別2D視頻圖框之該頂部邊界的第二位置處的該第二個別像素開始並且延伸
向該個別2D視頻圖框的該內部,而且該頂部邊界的該第一位置和該第二位置離該個別2D視頻圖框之該頂部邊界的中央係等距離的。
該等第一實施例更進一步地,該個別的2D視頻圖框包括自該360視頻空間所投影出的立方體貼圖格式圖框,且其中,該第一組像素以在該個別2D視頻圖框之第一面投影和第一空白像素區域邊界的第一位置處的該第一個別像素開始並且延伸向該第一面投影的內部,該第二像素組以在該個別2D視頻圖框之第二面投影和第二空白像素區域邊界的第二位置處的該第二個別像素開始並且延伸向該第二面投影的內部,而且該第一位置和該第二位置離該第一和第二空白像素區域邊界的交叉點係等距離的。
該等第一實施例更進一步地,該個別的2D視頻圖框包括自該360視頻空間所投影出的縮小立方體貼圖格式圖框,且其中,該第一組像素以在該個別2D視頻圖框之第一面投影和視頻圖框邊緣邊界處的該第一個別像素開始並且延伸向該第一面投影的內部,而且該第二像素組以在該個別2D視頻圖框之第二面投影和第三面投影邊界處的該第二個別像素開始並且延伸向該第二面投影的內部。
該等第一實施例更進一步地,該群像素包括單排的像素,而且該解區塊濾波該群像素包括對該群像素施加低通濾波。
該等第一實施例更進一步地,該群像素包括單排的像素,而且該方法另包括:從該個別的2D視頻圖框
決定用於解區塊濾波的第二群像素,其中,該第二群像素包括該個別2D視頻圖框的第三組像素和第四組像素,其中,該第三組像素和該第四組像素在該個別的2D視頻圖框中為非相鄰的像素,且其中,至少該第三組像素的第三個別像素和該第四組像素的第四個別像素包括在360視頻空間中之相鄰的像素,其中,該個別的2D視頻圖框包括從該360視頻空間中所投影出的等距柱狀圖框,該第一組像素以在該個別2D視頻圖框之左邊邊界處的該第一個別像素開始並且延伸向該個別2D視頻圖框的內部,該第二組像素以在該個別2D視頻圖框之右邊邊界處的該第二個別像素開始並且延伸向該個別2D視頻圖框的該內部,該第三組像素以在該個別2D視頻圖框之頂部邊界的第一位置處的該第三個別像素開始並且延伸向該個別2D視頻圖框的該內部,該第四組像素以在該個別2D視頻圖框之頂部邊界的第二位置處的該第四個別像素開始並且延伸向該個別2D視頻圖框的該內部,而且該頂部邊界的該第一位置和該第二位置離該個別2D視頻圖框之該頂部邊界的中心係等距離的。
該等第一實施例更進一步地,該個別的2D視頻圖框包括重建的2D視頻圖框,而且該方法另包括:求得該經360視頻空間解區塊濾波之2D視頻圖框的一部分與原始之2D視頻圖框的一部分之差異而產生殘差部分,其中,該經360視頻空間解區塊濾波之2D視頻圖框為相關於該原始之2D視頻圖框的參考圖框;轉換和量化該殘差部分,以決定用於該殘差部分之經量化的轉換係數;以及將該經量
化的轉換係數編碼成位元流。
該等第一實施例更進一步地,該個別的2D視頻圖框包括濾波後之重建的2D視頻圖框,而且該方法另包括:解碼位元流,以決定用於重建之2D視頻圖框的殘差部分之經量化的轉換係數;反量化和反轉換該經量化的轉換係數,以決定該殘差部分;將該殘差部分加到預測部分,以產生該重建之2D視頻圖框的重建部分;圖框中解區塊濾波該重建之2D視頻圖框,以產生該濾波後之重建的2D視頻圖框;基於觀視埠而決定該經360視頻空間解區塊濾波之2D視頻圖框供顯示用的部分;以及將該重建之2D視頻圖框的該部分顯示給使用者。
該等第一實施例更進一步地,該方法另包括:求得該經360視頻空間解區塊濾波之2D視頻圖框與的一部分與重建之視頻圖框的一部分之差異而產生殘差部分;轉換和量化該殘差部分,以決定用於該殘差部分之經量化的轉換係數;以及將該經量化的轉換係數編碼成位元流。
在一或多個第二實施例中,一種用於視頻編碼的系統包括:記憶體,用以儲存來自一視頻序列的二維(2D)視頻圖框中之個別的2D視頻圖框,其中,該個別的2D視頻圖框包括從360視頻空間的投影;以及耦接於該記憶體的處理器,該處理器用以接收該個別的二維(2D)視頻圖框,以從該個別的2D視頻圖框中決定用於解區塊濾波的一群像素,其中,該群像素包括該個別2D視頻圖框的第一
組像素和第二組像素,其中,該第一組像素和該第二組像素為該個別2D視頻圖框中之非相鄰組的像素,且其中,至少該第一組像素的第一個別像素和該第二組像素的第二個別像素包括在該360視頻空間中的相鄰像素,以及用以解區塊濾波包括該第一組和第二組像素的該群像素,以產生基於該個別的2D視頻圖框之經360視頻空間解區塊濾波的2D視頻圖框。
該等第二實施例更進一步地,該個別2D視頻圖框包括自該360視頻空間所投影出的等距柱狀圖框、自該360視頻空間所投影出的立方體貼圖格式圖框、或自該360視頻空間所投影出的縮小立方體貼圖格式圖框的其中一者。
該等第二實施例更進一步地,該第一組像素以在該個別2D視頻圖框之左側邊界處的該第一個別像素開始並且延伸向該個別2D視頻圖框的內部,而且該第二組像素以在該個別2D視頻圖框之右側邊界處的該第二個別像素開始並且延伸向該個別2D視頻圖框的該內部。
該等第二實施例更進一步地,該個別的2D視頻圖框包括自該360視頻空間所投影出的等距柱狀圖框,且其中,該第一組像素以在該個別2D視頻圖框之頂部邊界的第一位置處的該第一個別像素開始並且延伸向該個別2D視頻圖框的內部,該第二組像素以在該個別2D視頻圖框之該頂部邊界的第二位置處的該第二個別像素開始並且延伸向該個別2D視頻圖框的該內部,而且該頂部邊界的該第一
位置和該第二位置離該個別2D視頻圖框之該頂部邊界的中央係等距離的。
該等第二實施例更進一步地,該個別的2D視頻圖框包括自該360視頻空間所投影出的立方體貼圖格式圖框,且其中,該第一組像素以在該個別2D視頻圖框之第一面投影和第一空白像素區域邊界的第一位置處的該第一個別像素開始並且延伸向該第一面投影的內部,該第二像素組以在該個別2D視頻圖框之第二面投影和第二空白像素區域邊界的第二位置處的該第二個別像素開始並且延伸向該第二面投影的內部,而且該第一位置和該第二位置離該第一和第二空白像素區域邊界的交叉點係等距離的。
該等第二實施例更進一步地,該個別的2D視頻圖框包括自該360視頻空間所投影出的縮小立方體貼圖格式圖框,且其中,該第一組像素以在該個別2D視頻圖框之第一面投影和視頻圖框邊緣邊界處的該第一個別像素開始並且延伸向該第一面投影的內部,而且該第二像素組以在該個別2D視頻圖框之第二面投影和第三面投影邊界處的該第二個別像素開始並且延伸向該第二面投影的內部。
該等第二實施例更進一步地,該群像素包括單排的像素,而且該處理器用以解區塊濾波該群像素包括該處理器對該群像素施加低通濾波。
該等第二實施例更進一步地,該群像素包括單排的像素,而且該處理器另包括:用以從該個別的2D視頻圖框決定用於解區塊濾波的第二群像素,使得該第二群
像素包括該個別2D視頻圖框的第三組像素和第四組像素,該第三組像素和該第四組像素在該個別的2D視頻圖框中為非相鄰的像素,並且至少該第三組像素的第三個別像素和該第四組像素的第四個別像素包括在360視頻空間中之相鄰的像素,使得該個別的2D視頻圖框包括從該360視頻空間中所投影出的等距柱狀圖框,該第一組像素以在該個別2D視頻圖框之左邊邊界處的該第一個別像素開始並且延伸向該個別2D視頻圖框的內部,該第二組像素以在該個別2D視頻圖框之右邊邊界處的該第二個別像素開始並且延伸向該個別2D視頻圖框的該內部,該第三組像素以在該個別2D視頻圖框之頂部邊界的第一位置處的該第三個別像素開始並且延伸向該個別2D視頻圖框的該內部,該第四組像素以在該個別2D視頻圖框之頂部邊界的第二位置處的該第四個別像素開始並且延伸向該個別2D視頻圖框的該內部,而且該頂部邊界的該第一位置和該第二位置離該個別2D視頻圖框之該頂部邊界的中心係等距離的。
該等第二實施例更進一步地,該個別的2D視頻圖框包括重建的2D視頻圖框,而且該處理器係進一步用以:求得該經360視頻空間解區塊濾波之2D視頻圖框的一部分與原始之2D視頻圖框的一部分之差異而產生殘差部分,使得該經360視頻空間解區塊濾波之2D視頻圖框為相關於該原始之2D視頻圖框的參考圖框;轉換和量化該殘差部分,以決定用於該殘差部分之經量化的轉換係數;以及將該經量化的轉換係數編碼成位元流。
該等第二實施例更進一步地,該個別的2D視頻圖框包括濾波後之重建的2D視頻圖框,而且該處理器係進一步用以:解碼位元流,以決定用於重建之2D視頻圖框的殘差部分之經量化的轉換係數;反量化和反轉換該經量化的轉換係數,以決定該殘差部分;將該殘差部分加到預測部分,以產生該重建之2D視頻圖框的重建部分;圖框中解區塊濾波該重建之2D視頻圖框,以產生該濾波後之重建的2D視頻圖框;基於觀視埠而決定該經360視頻空間解區塊濾波之2D視頻圖框供顯示用的部分;以及將該重建之2D視頻圖框的該部分顯示給使用者。
該等第二實施例更進一步地,該處理器係進一步用以:求得該經360視頻空間解區塊濾波之2D視頻圖框的一部分與重建之視頻圖框的一部分之差異而產生殘差部分;轉換和量化該殘差部分,以決定用於該殘差部分之經量化的轉換係數;以及將該經量化的轉換係數編碼成位元流。
在一或多個第三實施例中,一種系統包括:接收機構,用以接收來自一視頻序列的二維(2D)視頻圖框中之個別的2D視頻圖框,使得該個別的2D視頻圖框包括從360視頻空間的投影;決定機構,用以從該個別的2D視頻圖框中,決定用於解區塊濾波的一群像素,使得該群像素包括該個別2D視頻圖框的第一組像素和第二組像素,該第一組像素和該第二組像素為該個別2D視頻圖框中之非相鄰組的像素,並且至少該第一組像素的第一個別像素和該
第二組像素的第二個別像素包括在該360視頻空間中的相鄰像素;以及解區塊濾波機構,用以解區塊濾波包括該第一組和第二組像素的該群像素,以產生基於該個別的2D視頻圖框之經360視頻空間解區塊濾波的2D視頻圖框。
該等第三實施例更進一步地,該第一組像素以在該個別2D視頻圖框之左側邊界處的該第一個別像素開始並且延伸向該個別2D視頻圖框的內部,而且該第二組像素以在該個別2D視頻圖框之右側邊界處的該第二個別像素開始並且延伸向該個別2D視頻圖框的該內部。
該等第三實施例更進一步地,該個別的2D視頻圖框包括自該360視頻空間所投影出的等距柱狀圖框,且其中,該第一組像素以在該個別2D視頻圖框之頂部邊界的第一位置處的該第一個別像素開始並且延伸向該個別2D視頻圖框的內部,該第二組像素以在該個別2D視頻圖框之該頂部邊界的第二位置處的該第二個別像素開始並且延伸向該個別2D視頻圖框的該內部,而且該頂部邊界的該第一位置和該第二位置離該個別2D視頻圖框之該頂部邊界的中央係等距離的。
該等第三實施例更進一步地,該個別的2D視頻圖框包括自該360視頻空間所投影出的立方體貼圖格式圖框,且其中,該第一組像素以在該個別2D視頻圖框之第一面投影和第一空白像素區域邊界的第一位置處的該第一個別像素開始並且延伸向該第一面投影的內部,該第二像素組以在該個別2D視頻圖框之第二面投影和第二空白像素
區域邊界的第二位置處的該第二個別像素開始並且延伸向該第二面投影的內部,而且該第一位置和該第二位置離該第一和第二空白像素區域邊界的交叉點係等距離的。
該等第三實施例更進一步地,該個別的2D視頻圖框包括自該360視頻空間所投影出的縮小立方體貼圖格式圖框,且其中,該第一組像素以在該個別2D視頻圖框之第一面投影和視頻圖框邊緣邊界處的該第一個別像素開始並且延伸向該第一面投影的內部,而且該第二像素組以在該個別2D視頻圖框之第二面投影和第三面投影邊界處的該第二個別像素開始並且延伸向該第二面投影的內部。
該等第三實施例更進一步地,該個別的2D視頻圖框包括重建的2D視頻圖框,而且該系統另包括:求得該經360視頻空間解區塊濾波之2D視頻圖框的一部分與原始之2D視頻圖框的一部分之差異而產生殘差部分,使得該經360視頻空間解區塊濾波之2D視頻圖框為相關於該原始之2D視頻圖框的參考圖框;轉換和量化機構,用以轉換和量化該殘差部分,以決定用於該殘差部分之經量化的轉換係數;以及編碼機構,用以將該經量化的轉換係數編碼成位元流。
該等第三實施例更進一步地,該個別的2D視頻圖框包括濾波後之重建的2D視頻圖框,而且該系統另包括:解碼機構,用以解碼位元流,以決定用於重建之2D視頻圖框的殘差部分之經量化的轉換係數;反量化和反轉換機構,用以反量化和反轉換該經量化的轉換係數,以決定
該殘差部分;加總機構,用以將該殘差部分加到預測部分,以產生該重建之2D視頻圖框的重建部分;圖框中解區塊濾波機構,用以圖框中解區塊濾波該重建之2D視頻圖框,以產生該濾波後之重建的2D視頻圖框;決定機構,用以基於觀視埠而決定該經360視頻空間解區塊濾波之2D視頻圖框供顯示用的部分;以及顯示機構,用以將該重建之2D視頻圖框的該部分顯示給使用者。
在一或多個第四實施例中,一種至少一機器可讀取媒體包括多個指令,而回應被執行於計算裝置上,該多個指令致使該計算裝置藉由下述來實施視頻編碼:接收來自一視頻序列的二維(2D)視頻圖框中之個別的2D視頻圖框,其中,該個別的2D視頻圖框包括從360視頻空間的投影;從該個別的2D視頻圖框中,決定用於解區塊濾波的一群像素,其中,該群像素包括該個別2D視頻圖框的第一組像素和第二組像素,其中,該第一組像素和該第二組像素為該個別2D視頻圖框中之非相鄰組的像素,且其中,至少該第一組像素的第一個別像素和該第二組像素的第二個別像素包括在該360視頻空間中的相鄰像素;以及解區塊濾波包括該第一組和第二組像素的該群像素,以產生基於該個別的2D視頻圖框之經360視頻空間解區塊濾波的2D視頻圖框。
該等第四實施例更進一步地,該第一組像素以在該個別2D視頻圖框之左側邊界處的該第一個別像素開始並且延伸向該個別2D視頻圖框的內部,而且該第二組像
素以在該個別2D視頻圖框之右側邊界處的該第二個別像素開始並且延伸向該個別2D視頻圖框的該內部。
該等第四實施例更進一步地,該個別的2D視頻圖框包括自該360視頻空間所投影出的等距柱狀圖框,且其中,該第一組像素以在該個別2D視頻圖框之頂部邊界的第一位置處的該第一個別像素開始並且延伸向該個別2D視頻圖框的內部,該第二組像素以在該個別2D視頻圖框之該頂部邊界的第二位置處的該第二個別像素開始並且延伸向該個別2D視頻圖框的該內部,而且該頂部邊界的該第一位置和該第二位置離該個別2D視頻圖框之該頂部邊界的中央係等距離的。
該等第四實施例更進一步地,該個別的2D視頻圖框包括自該360視頻空間所投影出的立方體貼圖格式圖框,且其中,該第一組像素以在該個別2D視頻圖框之第一面投影和第一空白像素區域邊界的第一位置處的該第一個別像素開始並且延伸向該第一面投影的內部,該第二像素組以在該個別2D視頻圖框之第二面投影和第二空白像素區域邊界的第二位置處的該第二個別像素開始並且延伸向該第二面投影的內部,而且該第一位置和該第二位置離該第一和第二空白像素區域邊界的交叉點係等距離的。
該等第四實施例更進一步地,該個別的2D視頻圖框包括自該360視頻空間所投影出的縮小立方體貼圖格式圖框,且其中,該第一組像素以在該個別2D視頻圖框之第一面投影和視頻圖框邊緣邊界處的該第一個別像素開
始並且延伸向該第一面投影的內部,而且該第二像素組以在該個別2D視頻圖框之第二面投影和第三面投影邊界處的該第二個別像素開始並且延伸向該第二面投影的內部。
該等第四實施例更進一步地,該個別的2D視頻圖框包括重建的2D視頻圖框,而且該機器可讀取媒體另包括多個指令,而回應被執行於計算裝置上,該多個指令致使該計算裝置藉由下述來實施視頻編碼:求得該經360視頻空間解區塊濾波之2D視頻圖框的一部分與原始之2D視頻圖框的一部分之差異而產生殘差部分,使得該經360視頻空間解區塊濾波之2D視頻圖框為相關於該原始之2D視頻圖框的參考圖框;轉換和量化該殘差部分,以決定用於該殘差部分之經量化的轉換係數;以及將該經量化的轉換係數編碼成位元流。
該等第四實施例更進一步地,該個別的2D視頻圖框包括濾波後之重建的2D視頻圖框,而且該機器可讀取媒體另包括多個指令,而回應被執行於計算裝置上,該多個指令致使該計算裝置藉由下述來實施視頻編碼:解碼位元流,以決定用於重建之2D視頻圖框的殘差部分之經量化的轉換係數;反量化和反轉換該經量化的轉換係數,以決定該殘差部分;將該殘差部分加到預測部分,以產生該重建之2D視頻圖框的重建部分;圖框中解區塊濾波該重建之2D視頻圖框,以產生該濾波後之重建的2D視頻圖框;基於觀視埠而決定該經360視頻空間解區塊濾波之2D視頻圖框供顯示用的部分;以及將該重建之2D視頻圖框的該部
分顯示給使用者。
在一或多個第五實施例中,一種至少一機器可讀取媒體可包含多個指令,而回應被執行於計算裝置上,該多個指令致使該計算裝置實施如上述實施例之任一實施例中的方法。
在一或多個第六實施例中,一種設備或系統可包含用以實施如上述實施例之任一實施例中的方法之機構。
雖然將知道該等實施例並不限制這樣所述的實施例,但是其可在修正及改變下予以實行而沒有違離附加之申請專利範圍的範疇。例如,上面的實施例可包含特定的特徵組合。然而,上面的實施例在此方面並不受限,而且在各種施行中,上面的實施例可包含僅進行此等特徵的子集合,進行此等特徵的不同順序,進行此等特徵的不同組合,及/或進行除了那些明確表列出之特徵以外的特徵。因此,該等實施例的範疇應該參照附加之申請專利範圍,以及給予等同於此等申請專利範圍的全部範疇來予以決定的。
100:系統
101:360相機
102:360到2D投影模組
103:編碼器
104:投影面邊界解區塊器
105:像素選擇/匹配模組
106:解區塊濾波器
107:觀視埠產生器
108:顯示器
111:360視頻
112:2D視頻圖框
113:輸出位元流
114:輸入位元流
115:2D視頻圖框
116:視頻
Claims (15)
- 一種用於視頻編碼的電腦施行方法,該方法包括:接收來自一視頻序列的二維(2D)視頻圖框中之個別的2D視頻圖框,其中,該個別的2D視頻圖框包括從360視頻空間的投影;從該個別的2D視頻圖框中,決定用於解區塊濾波的一群像素,其中,該群像素包括該個別2D視頻圖框的第一組像素和第二組像素,其中,該第一組像素和該第二組像素為該個別2D視頻圖框中之非相鄰組的像素,且其中,至少該第一組像素的第一個別像素和該第二組像素的第二個別像素包括在該360視頻空間中的相鄰像素;以及解區塊濾波包括該第一組和第二組像素的該群像素,以產生基於該個別的2D視頻圖框之經360視頻空間解區塊濾波的2D視頻圖框,其中,該個別2D視頻圖框包括自該360視頻空間所投影出的立方體貼圖格式圖框,且其中,該第一組像素以在該個別2D視頻圖框之第一面投影和第一空白像素區域邊界的第一位置處的該第一個別像素開始並且延伸向該第一面投影的內部,該第二像素組以在該個別2D視頻圖框之第二面投影和第二空白像素區域邊界的第二位置處的該第二個別像素開始並且延伸向該第二面投影的內部,而且該第一位置和該第二位置離該第一和第二空白像素區域邊界的交叉點係等距離的。
- 一種用於視頻編碼的電腦施行方法,該方法包括:接收來自一視頻序列的二維(2D)視頻圖框中之個別的2D視頻圖框,其中,該個別的2D視頻圖框包括從360視頻空間的投影;從該個別的2D視頻圖框中,決定用於解區塊濾波的一群像素,其中,該群像素包括該個別2D視頻圖框的第一組像素和第二組像素,其中,該第一組像素和該第二組像素為該個別2D視頻圖框中之非相鄰組的像素,且其中,至少該第一組像素的第一個別像素和該第二組像素的第二個別像素包括在該360視頻空間中的相鄰像素;以及解區塊濾波包括該第一組和第二組像素的該群像素,以產生基於該個別的2D視頻圖框之經360視頻空間解區塊濾波的2D視頻圖框,其中,該個別的2D視頻圖框包括自該360視頻空間所投影出的縮小立方體貼圖格式圖框,且其中,該第一組像素以在該個別2D視頻圖框之第一面投影和視頻圖框邊緣邊界處的該第一個別像素開始並且延伸向該第一面投影的內部,而且該第二像素組以在該個別2D視頻圖框之第二面投影和第三面投影邊界處的該第二個別像素開始並且延伸向該第二面投影的內部。
- 如請求項1或2的方法,其中,該群像素包括單排的像素,而且該解區塊濾波該群像素包括對該群像素施加低通 濾波。
- 如請求項1或2的方法,其中,該群像素包括單排的像素,而且該方法另包括:從該個別的2D視頻圖框決定用於解區塊濾波的第二群像素,其中,該第二群像素包括該個別2D視頻圖框的第三組像素和第四組像素,其中,該第三組像素和該第四組像素在該個別的2D視頻圖框中為非相鄰的像素,且其中,至少該第三組像素的第三個別像素和該第四組像素的第四個別像素包括在360視頻空間中之相鄰的像素,其中,該個別的2D視頻圖框包括從該360視頻空間中所投影出的等距柱狀圖框,該第一組像素以在該個別2D視頻圖框之左邊邊界處的該第一個別像素開始並且延伸向該個別2D視頻圖框的內部,該第二組像素以在該個別2D視頻圖框之右邊邊界處的該第二個別像素開始並且延伸向該個別2D視頻圖框的該內部,該第三組像素以在該個別2D視頻圖框之頂部邊界的第一位置處的該第三個別像素開始並且延伸向該個別2D視頻圖框的該內部,該第四組像素以在該個別2D視頻圖框之頂部邊界的第二位置處的該第四個別像素開始並且延伸向該個別2D視頻圖框的該內部,而且該頂部邊界的該第一位置和該第二位置離該個別2D視頻圖框之該頂部邊界的中心係等距離的。
- 如請求項1或2的方法,其中,該個別的2D視頻圖框包 括重建的2D視頻圖框,而且該方法另包括:求得該經360視頻空間解區塊濾波之2D視頻圖框的一部分與原始之2D視頻圖框的一部分之差異而產生殘差部分,其中,該經360視頻空間解區塊濾波之2D視頻圖框為相關於該原始之2D視頻圖框的參考圖框;轉換和量化該殘差部分,以決定用於該殘差部分之經量化的轉換係數;以及將該經量化的轉換係數編碼成位元流。
- 如請求項1或2的方法,其中,該個別的2D視頻圖框包括濾波後之重建的2D視頻圖框,而且該方法另包括:解碼位元流,以決定用於重建之2D視頻圖框的殘差部分之經量化的轉換係數;反量化和反轉換該經量化的轉換係數,以決定該殘差部分;將該殘差部分加到預測部分,以產生該重建之2D視頻圖框的重建部分;圖框中解區塊濾波該重建之2D視頻圖框,以產生該濾波後之重建的2D視頻圖框;基於觀視埠而決定該經360視頻空間解區塊濾波之2D視頻圖框供顯示用的部分;以及將該重建之2D視頻圖框的該部分顯示給使用者。
- 如請求項1或2的方法,另包括: 求得該經360視頻空間解區塊濾波之2D視頻圖框的一部分與重建之視頻圖框的一部分之差異而產生殘差部分;轉換和量化該殘差部分,以決定用於該殘差部分之經量化的轉換係數;以及將該經量化的轉換係數編碼成位元流。
- 一種用於視頻編碼的系統,該系統包括:記憶體,用以儲存來自一視頻序列的二維(2D)視頻圖框中之個別的2D視頻圖框,其中,該個別的2D視頻圖框包括從360視頻空間的投影;以及耦接於該記憶體的處理器,該處理器用以接收該個別的二維(2D)視頻圖框,以從該個別的2D視頻圖框中決定用於解區塊濾波的一群像素,其中,該群像素包括該個別2D視頻圖框的第一組像素和第二組像素,其中,該第一組像素和該第二組像素為該個別2D視頻圖框中之非相鄰組的像素,且其中,至少該第一組像素的第一個別像素和該第二組像素的第二個別像素包括在該360視頻空間中的相鄰像素,以及用以解區塊濾波包括該第一組和第二組像素的該群像素,以產生基於該個別的2D視頻圖框之經360視頻空間解區塊濾波的2D視頻圖框,其中,該個別的2D視頻圖框包括自該360視頻空間所投影出的立方體貼圖格式圖框,且其中,該第一組像素以在該個別2D視頻圖框之第一面投影和第一空白像素區域邊界的第一位置處的該第一個別像素開始並且延伸向該第一 面投影的內部,該第二像素組以在該個別2D視頻圖框之第二面投影和第二空白像素區域邊界的第二位置處的該第二個別像素開始並且延伸向該第二面投影的內部,而且該第一位置和該第二位置離該第一和第二空白像素區域邊界的交叉點係等距離的。
- 一種用於視頻編碼的系統,該系統包括:記憶體,用以儲存來自一視頻序列的二維(2D)視頻圖框中之個別的2D視頻圖框,其中,該個別的2D視頻圖框包括從360視頻空間的投影;以及耦接於該記憶體的處理器,該處理器用以接收該個別的二維(2D)視頻圖框,以從該個別的2D視頻圖框中決定用於解區塊濾波的一群像素,其中,該群像素包括該個別2D視頻圖框的第一組像素和第二組像素,其中,該第一組像素和該第二組像素為該個別2D視頻圖框中之非相鄰組的像素,且其中,至少該第一組像素的第一個別像素和該第二組像素的第二個別像素包括在該360視頻空間中的相鄰像素,以及用以解區塊濾波包括該第一組和第二組像素的該群像素,以產生基於該個別的2D視頻圖框之經360視頻空間解區塊濾波的2D視頻圖框,其中,該個別的2D視頻圖框包括自該360視頻空間所投影出的縮小立方體貼圖格式圖框,且其中,該第一組像素以在該個別2D視頻圖框之第一面投影和視頻圖框邊緣邊界處的該第一個別像素開始並且延伸向該第一面投影的內 部,而且該第二像素組以在該個別2D視頻圖框之第二面投影和第三面投影邊界處的該第二個別像素開始並且延伸向該第二面投影的內部。
- 如請求項8或9的系統,其中,該個別的2D視頻圖框包括重建的2D視頻圖框,而且該處理器係進一步用以:求得該經360視頻空間解區塊濾波之2D視頻圖框的一部分與原始之2D視頻圖框的一部分之差異而產生殘差部分,其中,該經360視頻空間解區塊濾波之2D視頻圖框為相關於該原始之2D視頻圖框的參考圖框;轉換和量化該殘差部分,以決定用於該殘差部分之經量化的轉換係數;以及將該經量化的轉換係數編碼成位元流。
- 如請求項8或9的系統,其中,該個別的2D視頻圖框包括濾波後之重建的2D視頻圖框,而且該處理器係進一步用以:解碼位元流,以決定用於重建之2D視頻圖框的殘差部分之經量化的轉換係數;反量化和反轉換該經量化的轉換係數,以決定該殘差部分;將該殘差部分加到預測部分,以產生該重建之2D視頻圖框的重建部分;圖框中解區塊濾波該重建之2D視頻圖框,以產生該濾波後之重建的2D視頻圖框;基於觀視埠而決定該經360視頻空間解區塊濾波之2D視頻圖框供顯示用的部分;以及將該重建之2D視頻圖框的該部分顯示給使用者。
- 一種至少一機器可讀取媒體,其包括多個指令,而回應被執行於計算裝置上,該多個指令致使該計算裝置藉由下述來實施視頻編碼:接收來自一視頻序列的二維(2D)視頻圖框中之個別的2D視頻圖框,其中,該個別的2D視頻圖框包括從360視頻空間的投影;從該個別的2D視頻圖框中,決定用於解區塊濾波的一群像素,其中,該群像素包括該個別2D視頻圖框的第一組像素和第二組像素,其中,該第一組像素和該第二組像素為該個別2D視頻圖框中之非相鄰組的像素,且其中,至少該第一組像素的第一個別像素和該第二組像素的第二個別像素包括在該360視頻空間中的相鄰像素;以及解區塊濾波包括該第一組和第二組像素的該群像素,以產生基於該個別的2D視頻圖框之經360視頻空間解區塊濾波的2D視頻圖框,其中,該個別的2D視頻圖框包括自該360視頻空間所投影出的立方體貼圖格式圖框,且其中,該第一組像素以在該個別2D視頻圖框之第一面投影和第一空白像素區域邊界的第一位置處的該第一個別像素開始並且延伸向該第一面投影的內部,該第二像素組以在該個別2D視頻圖框之第二面投影和第二空白像素區域邊界的第二位置處的該第二個別像素開始並且延伸向該第二面投影的內部,而且該第一位置和該第二位置離該第一和第二空白像素區域邊界的交叉點係等距離的。
- 一種至少一機器可讀取媒體,其包括多個指令,而回應被執行於計算裝置上,該多個指令致使該計算裝置藉由下述來實施視頻編碼:接收來自一視頻序列的二維(2D)視頻圖框中之個別的2D視頻圖框,其中,該個別的2D視頻圖框包括從360視頻空間的投影;從該個別的2D視頻圖框中,決定用於解區塊濾波的一群像素,其中,該群像素包括該個別2D視頻圖框的第一組像素和第二組像素,其中,該第一組像素和該第二組像素為該個別2D視頻圖框中之非相鄰組的像素,且其中,至少該第一組像素的第一個別像素和該第二組像素的第二個別像素包括在該360視頻空間中的相鄰像素;以及解區塊濾波包括該第一組和第二組像素的該群像素,以產生基於該個別的2D視頻圖框之經360視頻空間解區塊濾波的2D視頻圖框,其中,該個別的2D視頻圖框包括自該360視頻空間所投影出的縮小立方體貼圖格式圖框,且其中,該第一組像素以在該個別2D視頻圖框之第一面投影和視頻圖框邊緣邊界處的該第一個別像素開始並且延伸向該第一面投影的內部,而且該第二像素組以在該個別2D視頻圖框之第二面投影和第三面投影邊界處的該第二個別像素開始並且延伸向該第二面投影的內部。
- 如請求項12或13的機器可讀取媒體,其中,該個別的2D視頻圖框包括重建的2D視頻圖框,而且該機器可讀取媒體另包括多個指令,而回應被執行於該計算裝置上,該多個指令致使該計算裝置藉由下述來實施視頻編碼:求得該經360視頻空間解區塊濾波之2D視頻圖框的一部分與原始之2D視頻圖框的一部分之差異而產生殘差部分,其中,該經360視頻空間解區塊濾波之2D視頻圖框為相關於該原始之2D視頻圖框的參考圖框;轉換和量化該殘差部分,以決定用於該殘差部分之經量化的轉換係數;以及將該經量化的轉換係數編碼成位元流。
- 如請求項12或13的機器可讀取媒體,其中,該個別的2D視頻圖框包括濾波後之重建的2D視頻圖框,而且該機器可讀取媒體另包括多個指令,而回應被執行於該計算裝置上,該多個指令致使該計算裝置藉由下述來實施視頻編碼:解碼位元流,以決定用於重建之2D視頻圖框的殘差部分之經量化的轉換係數;反量化和反轉換該經量化的轉換係數,以決定該殘差部分;將該殘差部分加到預測部分,以產生該重建之2D視頻圖框的重建部分;圖框中解區塊濾波該重建之2D視頻圖框,以產生該濾 波後之重建的2D視頻圖框;基於觀視埠而決定該經360視頻空間解區塊濾波之2D視頻圖框供顯示用的部分;以及將該重建之2D視頻圖框的該部分顯示給使用者。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/438,128 US20180242016A1 (en) | 2017-02-21 | 2017-02-21 | Deblock filtering for 360 video |
US15/438,128 | 2017-02-21 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201832561A TW201832561A (zh) | 2018-09-01 |
TWI751261B true TWI751261B (zh) | 2022-01-01 |
Family
ID=63167523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107100627A TWI751261B (zh) | 2017-02-21 | 2018-01-08 | 360度環景視頻的解區塊濾波技術 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20180242016A1 (zh) |
CN (1) | CN110214447A (zh) |
DE (1) | DE112018000280T5 (zh) |
TW (1) | TWI751261B (zh) |
WO (1) | WO2018156281A1 (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10410376B1 (en) * | 2016-09-26 | 2019-09-10 | Amazon Technologies, Inc. | Virtual reality media content decoding of portions of image frames |
US10999602B2 (en) | 2016-12-23 | 2021-05-04 | Apple Inc. | Sphere projected motion estimation/compensation and mode decision |
US11259046B2 (en) | 2017-02-15 | 2022-02-22 | Apple Inc. | Processing of equirectangular object data to compensate for distortion by spherical projections |
US10924747B2 (en) | 2017-02-27 | 2021-02-16 | Apple Inc. | Video coding techniques for multi-view video |
US10506255B2 (en) | 2017-04-01 | 2019-12-10 | Intel Corporation | MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video |
US10506196B2 (en) * | 2017-04-01 | 2019-12-10 | Intel Corporation | 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics |
US11093752B2 (en) | 2017-06-02 | 2021-08-17 | Apple Inc. | Object tracking in multi-view video |
US10848761B2 (en) | 2017-06-29 | 2020-11-24 | Qualcomm Incorporated | Reducing seam artifacts in 360-degree video |
US20190005709A1 (en) * | 2017-06-30 | 2019-01-03 | Apple Inc. | Techniques for Correction of Visual Artifacts in Multi-View Images |
US10754242B2 (en) | 2017-06-30 | 2020-08-25 | Apple Inc. | Adaptive resolution and projection format in multi-direction video |
US11051020B2 (en) * | 2017-07-04 | 2021-06-29 | Lg Electronics Inc. | Image decoding method and apparatus using projection-type based quantisation parameters in image coding system for 360-degree video |
US10798417B2 (en) * | 2017-07-05 | 2020-10-06 | Qualcomm Incorporated | Deblock filtering for 360-degree video coding |
CN118509596A (zh) | 2017-12-19 | 2024-08-16 | Vid拓展公司 | 用于360度视频译码的面不连续性滤波 |
CN117319645A (zh) | 2019-08-23 | 2023-12-29 | 北京字节跳动网络技术有限公司 | 用于处理视频数据的方法、装置以及计算机可读存储介质 |
JP7394985B2 (ja) | 2019-10-23 | 2023-12-08 | 北京字節跳動網絡技術有限公司 | ビデオ・データを処理する方法、装置及び記憶方法 |
WO2021078178A1 (en) | 2019-10-23 | 2021-04-29 | Beijing Bytedance Network Technology Co., Ltd. | Calculation for multiple coding tools |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080043853A1 (en) * | 2006-08-17 | 2008-02-21 | Fujitsu Limited | Deblocking filter, image encoder, and image decoder |
US20140056350A1 (en) * | 2011-11-04 | 2014-02-27 | Panasonic Corporation | Simplifications for boundary strength derivation in deblocking |
US20160112713A1 (en) * | 2014-10-20 | 2016-04-21 | Google Inc. | Mapping spherical image to 2d representations |
US20160323561A1 (en) * | 2015-04-29 | 2016-11-03 | Lucid VR, Inc. | Stereoscopic 3d camera for virtual reality experience |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8644375B2 (en) * | 2010-04-09 | 2014-02-04 | Sharp Laboratories Of America, Inc. | Methods and systems for intra prediction |
CN107347157B (zh) * | 2011-07-22 | 2020-03-17 | Sk电信有限公司 | 视频解码装置 |
WO2015178796A1 (en) * | 2014-05-23 | 2015-11-26 | Huawei Technologies Co., Ltd. | Method and apparatus for pre-prediction filtering for use in block-prediction techniques |
US9918082B2 (en) * | 2014-10-20 | 2018-03-13 | Google Llc | Continuous prediction domain |
US10104361B2 (en) * | 2014-11-14 | 2018-10-16 | Samsung Electronics Co., Ltd. | Coding of 360 degree videos using region adaptive smoothing |
CN117412043A (zh) * | 2016-07-13 | 2024-01-16 | 韩国电子通信研究院 | 图像编码/解码方法和装置 |
US20180109810A1 (en) * | 2016-10-17 | 2018-04-19 | Mediatek Inc. | Method and Apparatus for Reference Picture Generation and Management in 3D Video Compression |
US10999602B2 (en) * | 2016-12-23 | 2021-05-04 | Apple Inc. | Sphere projected motion estimation/compensation and mode decision |
-
2017
- 2017-02-21 US US15/438,128 patent/US20180242016A1/en not_active Abandoned
-
2018
- 2018-01-08 TW TW107100627A patent/TWI751261B/zh active
- 2018-01-19 WO PCT/US2018/014534 patent/WO2018156281A1/en active Application Filing
- 2018-01-19 CN CN201880007788.5A patent/CN110214447A/zh active Pending
- 2018-01-19 DE DE112018000280.2T patent/DE112018000280T5/de active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080043853A1 (en) * | 2006-08-17 | 2008-02-21 | Fujitsu Limited | Deblocking filter, image encoder, and image decoder |
US20140056350A1 (en) * | 2011-11-04 | 2014-02-27 | Panasonic Corporation | Simplifications for boundary strength derivation in deblocking |
US20160112713A1 (en) * | 2014-10-20 | 2016-04-21 | Google Inc. | Mapping spherical image to 2d representations |
US20160323561A1 (en) * | 2015-04-29 | 2016-11-03 | Lucid VR, Inc. | Stereoscopic 3d camera for virtual reality experience |
Non-Patent Citations (2)
Title |
---|
Kashyap Kammachi Sreedhar; Alireza Aminlou; Miska M. Hannuksela; Moncef Gabbouj, "Viewport-Adaptive Encoding and Streaming of 360-Degree Video for Virtual Reality Applications," 2016 IEEE International Symposium on Multimedia (ISM), Year: 2016 | Conference Paper | Publisher: IEEE&rn * |
Kashyap Kammachi Sreedhar; Alireza Aminlou; Miska M. Hannuksela; Moncef Gabbouj, "Viewport-Adaptive Encoding and Streaming of 360-Degree Video for Virtual Reality Applications," 2016 IEEE International Symposium on Multimedia (ISM), Year: 2016 | Conference Paper | Publisher: IEEE^&rn^ |
Also Published As
Publication number | Publication date |
---|---|
TW201832561A (zh) | 2018-09-01 |
WO2018156281A1 (en) | 2018-08-30 |
CN110214447A (zh) | 2019-09-06 |
US20180242016A1 (en) | 2018-08-23 |
DE112018000280T5 (de) | 2019-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI751261B (zh) | 360度環景視頻的解區塊濾波技術 | |
EP3439306B1 (en) | Reference frame reprojection for video coding | |
US11889096B2 (en) | Video codec assisted real-time video enhancement using deep learning | |
CN112399178A (zh) | 视觉质量优化的视频压缩 | |
US10341658B2 (en) | Motion, coding, and application aware temporal and spatial filtering for video pre-processing | |
US10687083B2 (en) | Loop restoration filtering for super resolution video coding | |
US10965932B2 (en) | Multi-pass add-on tool for coherent and complete view synthesis | |
US20140092439A1 (en) | Encoding images using a 3d mesh of polygons and corresponding textures | |
US9838710B2 (en) | Motion estimation for arbitrary shapes | |
US11991376B2 (en) | Switchable scalable and multiple description immersive video codec | |
US20230067541A1 (en) | Patch based video coding for machines | |
EP3873094B1 (en) | Reduction of visual artifacts in parallel video coding | |
EP3910941A1 (en) | Parallel video encoding of coding units from neighboring largest coding units | |
US20180131936A1 (en) | Conversion buffer to decouple normative and implementation data path interleaving of video coefficients | |
US9872026B2 (en) | Sample adaptive offset coding | |
US20190230365A1 (en) | Video cluster encoding for multiple resolutions and bitrates with performance and quality enhancements | |
US10104373B2 (en) | Content based video encoding for wireless display | |
US20230412808A1 (en) | Determining adaptive quantization matrices using machine learning for video coding | |
JP2022524305A (ja) | イマーシブビデオ符号化のための高レベルシンタックス | |
US9942552B2 (en) | Low bitrate video coding |