TW201811024A - 用於立方體面圖框的選擇性濾波的方法和裝置 - Google Patents

用於立方體面圖框的選擇性濾波的方法和裝置 Download PDF

Info

Publication number
TW201811024A
TW201811024A TW106119618A TW106119618A TW201811024A TW 201811024 A TW201811024 A TW 201811024A TW 106119618 A TW106119618 A TW 106119618A TW 106119618 A TW106119618 A TW 106119618A TW 201811024 A TW201811024 A TW 201811024A
Authority
TW
Taiwan
Prior art keywords
cube
combined
frame
filtering process
video
Prior art date
Application number
TW106119618A
Other languages
English (en)
Other versions
TWI669939B (zh
Inventor
林鴻志
林建良
李佳盈
黃昭智
張勝凱
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201811024A publication Critical patent/TW201811024A/zh
Application granted granted Critical
Publication of TWI669939B publication Critical patent/TWI669939B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明公開了處理立方體面部圖像的方法和裝置。根據本發明的實施例，確定每個組合立方體圖框內的一個或多個不連續邊界並用於選擇性濾波，其中當使能濾波處理時，在每個組合立方體圖框內的該一個或多個不連續邊界處跳過該濾波處理。此外，將該濾波處理應用於每個組合立方體圖框中的一個或多個連續區域。

Description

用於立方體面圖框的選擇性濾波的方法和裝置 【相關申請的交叉引用】
本申請要求2016年6月15日遞交的申請號為62/350,214的美國臨時案的優先權，在此合併參考該申請案的申請標的。
本發明所揭露之實施例有關於圖像和視訊編碼，尤指有關於從360度全景視訊轉換的立方體面圖框(cubic-face frames)的選擇性濾波(selective filtering)技術。
360度視訊(也稱為沉浸式視訊)是一種新興技術，其可以提供“身臨其境的感覺”。通過圍繞用戶覆蓋全景(panoramic view)的環繞場景，特別是360度視野，使用戶獲得沉浸感。“身臨其境的感覺”可以進一步通過立體渲染來提高。因此，全景視訊被廣泛應用於虛擬現實(Virtual Reality，VR)應用中。
沉浸式視訊涉及使用多個相機來捕獲一個場景，以覆蓋全景，例如360度視野。沉浸式相機通常使用一組相機，用於捕獲360度視野。通常，沉浸式相機使用兩個或多個相機。必須同時拍攝所有視訊，並記錄場景的各個分離片段(也稱為 單獨視角)。此外，該組相機通常被佈局成水平地捕獲視圖，而相機的其它佈局也是可能的。
第1圖為用於360度球面全景圖像(360-degree spherical panoramic pictures)的示例性處理鏈的示意圖。可以使用360度球面全景相機(例如3D捕獲裝置)來捕獲360度球面全景圖像。球面圖像處理單元110接受來自3D捕獲裝置的原始圖像數據(raw image data)，以形成360度球面全景圖像。球面圖像處理可以包括圖像拼接和相機校準。球面圖像處理在本領域中是已知的，並且在本發明中就省略詳細的細節。如第1圖中的圖像112為來自球面圖像處理單元110的360度球面全景圖像的示例。如果相機定向使頂部指向上方，360度球面全景圖像的頂面對應於垂直頂部(或天空)，則底面指向地面。但是，如果相機配備了陀螺儀，則無論相機的定向如何，始終可以確定垂直頂面。在360度球面全景格式中，場景中的內容似乎被扭曲。通常，球面格式作為替代的360度格式投影到立方體的表面。可以通過投影轉換單元120執行轉換，以導出對應於立方體的六個面的六個面圖像(face image)122。在立方體的面上，這六個圖像在立方體的邊緣處連接。
為了保持共享共同立方邊緣的相鄰立方體面的連續性，在具有一些共同的發明人和同一受讓人的相關的2016年12月27日提交的申請號為15/390,954的美國非臨時專利申請中，已經公開了各種立方體面組合技術。組合的立方體面圖框可以有助於提高編碼效率。因此，立方體面組合器130用於將六個立方體面收集成組合的立方體面圖框。然後對組合的圖像 序列進行進一步處理。立方體面組合器130可以產生完全連接的立方體面圖框或部分連接的立方體面圖框。由於360度圖像序列可能需要大的存儲空間或者需要高帶寬用於傳輸，所以由視訊編碼器140編碼的視訊可以被應用於由一系列組合的立方體面圖框構成的視訊序列。在接收器側或顯示側，使用視訊解碼器150對壓縮視訊數據進行解碼，以恢復用於在顯示裝置(例如3D顯示器)上顯示的組合的立方體面圖框的序列。與組合的立方體面圖框相關的信息可以被提供給視訊編碼器140，用於有效地和/或適當地編碼並適當地渲染。
第2圖為將球面全景圖像投影到立方體210上的六個立方體面的投影轉換處理的示例。六個立方體面被分成兩組。第一組220對應於從前側可見的三個立方體面，分別標記為3、4和5。第二組230對應於從立方體的後側可見的三個立方體面，分別標記為1、2和6。
在常規視訊編碼或處理中，編碼或處理系統總是假設輸入視訊序列。因此，多個立方體面進一步組合成立方體面圖框。第3A圖為具有空白區域的立方體面組合圖框(cubic-face assembled frame)(310和320)的兩個示例，其中兩組完全互連的立方體面對應於從立方體展開六個面的兩種不同方式。展開的立方體面(也稱為立方網(cubic net))被填入到具有空白區域的最小矩形圖框中，空白區域中填充有虛擬數據。
第3B圖為立方體面組合的另一種類型的示例，其中六個面被組合成不具有空白區域的矩形圖框。如第3B圖所 示，圖框330對應於1x6的組合立方體圖框(1x6 assembled cubic frame)，圖框340對應於2×3的組合立方體圖框，圖框350對應於3×2的組合立方體圖框，並且圖框360對應於6×1的組合立方體圖框。如第3B圖所示，六個立方體面被緊密地填入到不具有任何空白區域的矩形中。
第4A圖為視訊編碼器系統的示例性框圖，例如，包括自適應圖框間/圖框內預測的高效率視訊編碼(HEVC)。該系統包括兩種預測模式：圖框間預測420和圖框內預測430。圖框間預測420根據先前重構的圖像，利用運動估計(ME)和運動補償(MC)來生成當前圖框410的時間預測。先前重構的圖像也被稱為參考圖像，被存儲在圖框緩衝器480中。如本領域已知的那樣，用於圖框間預測的運動估計使用平移運動模型，其中運動可以由相關的運動向量來指定。圖框內預測430通過使用相同切片或圖像中在相鄰塊處的重構像素來生成當前塊的預測器。開關445用於在圖框間預測420和圖框內預測430之間進行選擇。使用加法器440從當前圖框的相應信號中減去所選擇的預測，以產生預測殘差。使用離散余弦變換和量化(DCT/Q)450來處理預測殘差，隨後由熵編碼器460進行處理，以產生視訊位元流。由於在編碼器側也需要重構的圖像來形成參考圖像。因此，也使用逆量化和逆離散余弦變換(IQ/IDCT)452來產生重構的預測殘差。然後使用另一個加法器442將重構的預測殘差與通過開關445選擇的預測相加，以形成重構的視訊數據。在將重構的視訊存儲到圖框緩衝器480中之前，通常使用環路濾波470來減少由壓縮引起的編碼偽影 (artifact)。例如，在HEVC中已經使用的去塊濾波器和樣本自適應偏移(SAO)。自適應環路濾波器(ALF)是可用於減少編碼圖像中的偽影的另一種環路濾波器。
第4B圖為對應於第4A圖中的編碼器的解碼器系統的示例性框圖。如第4A圖所示，編碼器側也包括解碼器循環，以在編碼器側重構參考視訊。除了熵解碼器461之外，大多數解碼器組件已被用在編碼器側。此外，由於可以從視訊位元流導出運動向量，因此只需要用於圖框間預測解碼器421的運動補償，並且也不需要搜索最佳運動向量。
如第4A圖和如第4B圖所示，編碼系統通常對重構圖像應用濾波，以便通過減少編碼偽影來提高視覺質量。在其他視訊處理系統中，濾波也可以應用於底層圖框(underlying frame)以降低噪聲或提高圖像質量。然而，從3D源視訊轉換的組合圖框可能包含一些特殊的特徵，其可能在常規濾波期間造成偽影或降低編碼效率。因此，本發明欲解決與組合立方體圖框有關的濾波問題。
本發明公開了處理立方體面圖像的方法和裝置。根據本發明的實施例，確定每個組合立方體圖框內的一個或多個不連續邊界並用於選擇性濾波，其中當使能濾波處理時，在每個組合立方體圖框內的該一個或多個不連續邊界處跳過該濾波處理。此外，將該濾波處理應用於每個組合立方體圖框中的一個或多個連續區域。
當所選擇的立方面格式對應於具有空白區域的一 個組合的立方體圖框時，每個不連續邊界位於一個立方體面和一個空白區域之間。當所選擇的立方面格式對應於不具有空白區域的一個組合的立方體圖框時，每個不連續邊界位於不共享共同立方體邊緣的兩個相鄰立方體面之間。不具有空白區域的組合立方體圖框可以對應於1x6的組合立方體圖框，2x3的組合立方體圖框，3×2的組合立方體圖框或6×1的組合立方體圖框。
濾波處理可以對應於視訊編碼或視訊解碼中的環路濾波。例如，濾波處理可以包括去塊、樣本自適應偏移(SAO)、自適應環路濾波器(ALF)或其組合。在每個組合立方體圖框中的一個或多個連續區域是否應用濾波處理、在每個組合立方體圖框內的所述一個或多個不連續邊界處是否跳過濾波處理、或者兩者，都可以通過在編碼器側發信的視訊位元流中的開/關控制的語法來指示，或者通過在解碼器側解析的視訊位元流中的開/關控制的語法來確定。開/關控制的語法可以併入視訊位元流的序列、視訊、立方體面、VPS(視訊參數集)、SPS(序列參數集)或APS(應用參數集)級。
在每個組合立方體圖框中一個或多個連續區域是否應用該濾波處理、在該每個組合立方體圖框中的該一個或多個不連續邊界處是否跳過該濾波處理、或者兩者，均通過在編碼器側發信的視訊比特流中的該選擇的立方體面格式來指示，或者通過在解碼器側解析的視訊比特流中的該選擇的立方體面格式來確定。在一個實施例中，對於具有空白區域的組合立方體圖框中的在該立方體面和該空白區域之間的所有不連續邊界、以及在不具有空白區域的組合立方體圖框中的不共享 共同立方體邊緣的相鄰立方體面之間的所有不連續邊界，跳過該濾波處理。在每個該組合立方體圖框中的一個或多個連續立方體面邊界處是否應用該濾波處理，進一步通過在該編碼器側發信的該視訊比特流中的開/關控制的語法來指示，或者通過在該解碼器側解析的該視訊比特流中的該開/關控制的語法來確定。在一個實施例中，在該編碼器側被發信或者在該解碼器側被解析的該開/關控制的語法，以控制所有連續立方體面邊界的該濾波處理。在另一個實施例中，該開/關控制的語法在該編碼器側針對每個立方體面邊界發信，或者在解碼器側進行解析，以控制該每個立方體面邊界的該濾波處理。
110‧‧‧球面圖像處理單元
120‧‧‧投影轉換單元
130‧‧‧立方體面組合器
140‧‧‧視訊編碼器
150‧‧‧視訊解碼器
112‧‧‧球面圖像
122‧‧‧立方體面
210‧‧‧立方體
220‧‧‧第一組
230‧‧‧第二組
310、320‧‧‧立方體面組合圖框
330、340、350、360‧‧‧圖框
410‧‧‧當前圖框
420‧‧‧圖框間預測
421‧‧‧圖框間預測解碼器
430‧‧‧圖框內預測
440、444‧‧‧加法器
445‧‧‧開關
450‧‧‧離散余弦變換和量化
452‧‧‧逆量化和逆離散余弦變換
460‧‧‧熵編碼器
470‧‧‧環路濾波
480‧‧‧圖框緩衝器
510‧‧‧不連續性檢測單元
520‧‧‧視訊編碼器
530‧‧‧視訊解碼器
610、620、630、640、650、660‧‧‧邊界
710、720‧‧‧圖框
712、722‧‧‧虛線
810、820、830、840‧‧‧步驟
第1圖為用於360度球面全景圖像的示例性處理鏈的示意圖。
第2圖為將球面全景圖像投影到立方體上的六個立方體面的投影目轉換處理的示例。
第3A圖為具有空白區域的立方體面組合圖框的兩個示例，其中兩組完全互連的立方體面對應於從立方體展開六個面的兩種不同方式。
第3B圖為立方體面組合的另一種類型的示例，其中六個面被組合成不具有空白區域的矩形圖框。
第4A圖為視訊編碼器系統的示例性框圖，例如包括自適應圖框間/圖框內預測的高效率視訊編碼。
第4B圖為對應於第4A圖中的視訊編碼器的視訊解碼器系 統的示例性框圖。
第5圖為包含本發明的實施例的示例性編碼系統，其中檢測到不連續性(discontinuities)並將其用於選擇性濾波控制。
第6A圖為具有空白區域的兩個立方體佈局中的立方體和空白區域之間的不連續性的示例。
第6B圖為不具有空白區域的立方體佈局中的立方體面之間的不連續性的示例。
第7圖為另一種類型的立方體圖框(稱為半立方體圖框)的不連續性的示例，其中包括具有空白區域的組合圖框的不連續性和不具有空白區域的組合圖框的不連續性。
第8圖為根據本發明的實施例的視訊處理系統包括的示例性流程圖，其中根據檢測到的立方體圖框中的不連續性選擇性地應用濾波。
以下描述為本發明的較佳實施例。以下實施例僅用來舉例闡釋本發明的技術特徵，並非用以限定本發明。本發明的保護範圍當視權利要求書所界定為准。
如前所述，表示360度全景圖像的六個立方體面在兩個連接面的邊界處是連續的。為了使用常規視訊編碼或處理系統來有效地對立方體面進行編碼或處理，立方體面被組合成立方體圖框。然而，對於給定的組合立方體圖框，在一些立方體面之間或在立方體面和空白區域之間總是存在不連續性。即使是精心設計的立方體圖框組合系統，這種不連續性仍然存在。當將包含濾波處理的視訊編碼或處理應用於這種組合立方 體圖框時，由於濾波造成的偽影可能變得明顯，或者濾波可能降低編碼效率。為了克服這些問題，本發明公開了一種選擇性濾波技術，其根據立方體圖框內的不連續性或連續性，特別是立方體面邊界，自適應地應用濾波到立方體圖框。
第5圖為包含本發明的實施例的示例性編碼系統。該系統使用球面圖像處理單元110將來自3D捕獲裝置的源視訊轉換為球面圖像。然後使用投影轉換單元120將球面圖像投影到立方體的面上。此外，使用立方體面組合器(cubic face assembler)130將立方體面組合為立方體圖框。立方體面組合程式可包括立方體面排列和/或旋轉。此外，還有各種可用的組合立方體圖框(也稱為立方體佈局)格式。系統將選擇一個目標立方體圖框格式以進行進一步處理。在導出立方體圖框之後，根據本發明的實施例，使用不連續性檢測單元510來檢測立方體圖框中的不連續性。然後將不連續性信息提供給不連續性感知視訊編碼器(discontinuity-aware video encoder)520以對立方體圖框進行編碼。不連續性感知視訊解碼器530被用於解碼壓縮立方體圖框，以使用3D顯示設備進行顯示。
當提供立方體面佈局時，可以確定不連續的邊緣。在不具有空白區域的立方體圖框的相鄰立方體面之間的邊界處可存在不連續性，其中兩個相鄰立方體面不共享公共的立方體邊緣。在具有空白區域的立方體圖框的立方體面和空白區域之間的邊界處可存在不連續性。在本公開中，立方體佈局、立方體面佈局、立方體圖框和立方體面圖框可互換使用。由於跨越面邊界的濾波可能會導致偽影或降低編碼效率，因此不應 該濾波在面邊界中的不連續性。因此，根據本發明的實施例將自適應地應用濾波到立方體圖框。特別地，在不連續的面邊界處不進行濾波。例如，在利用環路濾波器(例如去塊、SAO、ALF或任何組合)的編碼系統中，在不連續的面邊界處跳過環路濾波處理。換句話說，濾波處理僅適用於立方體圖框中的連續內容。
雖然用於視訊編碼的環路濾波是應用選擇性濾波處理的示例，但是本發明也可以用於包括濾波處理的其他視訊處理。例如，如本領域已知的，圖像濾波通常用於降噪或圖像增強。在這種情況下，依賴於不連續性或連續性的選擇性濾波也是適用的。雖然不連續檢測被視為是否應用濾波的標準，但是可以通過檢查底層像素或區域是否是連續的，來等效地執行本發明。如果底層像素或區域是連續的，則可以應用濾波處理。否則，跳濾波波處理。
對於不連續性感知視訊編碼器，關於立方體圖框中的不連續性的信息需要被解碼器知道，使得解碼器可以在解碼器側應用相應的選擇性濾波器。例如，不連續邊緣和/或連續立方體面可以在位元流語法中被通知。如前所述，面邊界可以存在於立方體面之間或者存在於立方體面和空白(黑色)區域之間。本發明公開了用於發信不連續邊緣和/或連續立方體面的兩種可能的語法設計。
根據方案#1，發信不連續邊緣和/或連續立方體面。可以在視訊位元流中以序列、視訊、立方體面、VPS(視訊參數集)、SPS(序列參數集)或APS(應用參數集)級來 發信濾波處理(例如去塊、SAO、ALF或任何組合)的開/關控制的語法。
根據方案#2，發信立方體面佈局格式的信息。可以根據已知的立方體面佈局格式來確定不連續邊緣和/或連續立方體面。根據立方體面佈局格式，在不連續面的邊界處和/或立方體面和空白(黑色)區域之間的邊界處的濾波處理(例如去塊、SAO、ALF或任何組合)將被禁用。另一方面，可以進一步發信在連續面的邊界處的濾波處理(例如去塊、SAO、ALF或任何組合)的開/關控制。
在一個實施例中，可以發送語法元素以指定連續面的所有邊界的開/關狀態。或者，對於連續面的每個邊界，發送語法元素以指定用於濾波處理(例如去塊、SAO、ALF或任何組合)的開/關控制。
當已知立方體圖框格式時，可以確定立方體圖框中的不連續性。例如，如果使用具有空白區域的立方體圖框，則圖3的兩個立方體佈局310和320中的不連續性可如第6A圖所示。不連續性對應於立方體面和空白區域之間的邊界610和620。由於空白區域填充有諸如黑色水平(black level)的虛擬數據，因此跨越這些邊界的濾波可能會導致偽影或降低編碼效率。因此，根據本發明的實施例，濾波處理將不適用於這些邊界。
在另一示例中，如果使用不具有空白區域的立方體圖框，則第3B圖所示的四個立方體佈局330、340、350和360中的不連續性則如第6B圖所示。不連續性對應於兩個立方體面 或兩組立方體面之間的邊界630至660。跨越這些邊界的濾波可能會導致偽影或降低編碼效率。因此，根據本發明的實施例，濾波處理將不適用於這些邊界。
第3A圖和3B中的組合立方體圖框旨在說明立方體圖框的一些示例。它們不是所有可能的立方體圖框格式的詳盡列表。例如，另一種類型的立方體圖框(稱為半立方體圖框)如第7圖所示，其中圖框710對應於具有空白區域的組合圖框，並且圖框720對應於不具有空白區域的組合圖框。圖框710的不連續性由虛線712來表示，並且圖框720的不連續性由虛線722來表示。再次，根據本發明，在不連續性處不應用濾波處理。
以上公開的發明可以以各種形式包含在各種視訊編碼或解碼系統中。例如，可以使用基於硬體的方法來實現本發明，例如專用集體電路(IC)、現場可編程邏輯陣列(FPGA)、數字信號處理器(DSP)、中央處理單元(CPU)等。本發明也可以使用在計算機、膝上型計算機或移動設備(例如智能電話)上執行的軟體代碼或韌體代碼來實現。此外，軟體代碼或韌體代碼可以在例如具有專用處理器(例如，視訊編碼引擎或協同處理器)的CPU的混合型平臺上執行。
第8圖為根據本發明的實施例的視訊處理系統的示例性流程圖，其中根據檢測到的立方體圖框中的不連續性選擇性地應用濾波。根據該方法，在步驟810中，接收從360度全景視訊序列中的球面圖像轉換的六個立方體面的集合，其中六個立方體面的每個集合對應於投影到立方體上用於渲染360度虛擬現實的一個球面圖像。在步驟820中，根據選擇的立方體 面格式將立方體面的每個集合收集成一個組合立方體圖框。組合圖框的各種示例如第3A圖和3B所示。在步驟830中，確定每個組合立方體圖框內的一個或多個不連續邊界。在組合圖框中檢測到的不連續性的各種示例如第6A圖、第6B圖和第7圖所示。在步驟840中，根據與所述一個或多個不連續邊界相關的信息來處理組合立方體圖框，其中，該處理組合立方體圖框的步驟包括：當使能濾波處理時，在每個組合立方體圖框內的所述一個或多個不連續邊界處跳過濾波處理。如上所述，濾波處理可以包括去塊、SAO、ALF或任何組合。
本發明所公開的上述流程圖可以對應於將在計算機、移動設備、數字信號處理器或可編程設備上執行的軟體程式代碼。程式代碼可以用諸如C++的各種編程語言來編寫。該流程圖還可以對應於基於硬體的實現，其中硬體可以是一個或多個電子電路(例如，ASIC(專用集體電路)和FPGA(現場可編程門陣列))或處理器(例如，DSP(數字信號處理器))。
以上的描述是使所屬領域中具有習知技術者在本文提供的特定應用和需求下能夠實踐本發明。所屬領域中具有習知技術者將容易地觀察到，在不脫離本發明的精神和範圍內，可以進行多種修改和變動。因此，本發明並非限定在所示和描述的特定的實施例上，而本發明公開是為了符合原則和新穎性的最廣泛的範圍。在上述詳細的描述中，各種具體的細節，用以提供對本發明的透徹的瞭解。儘管如此，將被所屬領域中具有習知技術者理解的是，本發明能夠被實踐。
如上述所述的本發明的實施例，可以使用硬體、 軟體或其組合來實現。例如，本發明的一實施例可以是集成到視訊壓縮芯片中的電路或集成到視訊壓縮軟體中的程式代碼，以執行所描述的處理。本發明的實施例也可以是將在數字信號處理器上執行的程式代碼來執行所描述的處理。本發明還涉及一系列的由計算機處理器、數字信號處理器、微處理器和現場可編程門陣列(FPGA)執行的功能。根據本發明，這些處理器可以被配置為執行特定任務，通過執行定義特定方法的計算機可讀軟體代碼或韌體代碼來實現。軟體代碼或韌體代碼可以用不同的編程語言和不同的格式或樣式來開發。軟體代碼也可以為不同的目標平臺所編譯。然而，軟體代碼的不同的代碼格式、風格和語言，以及配置代碼的其他方式以執行任務，均不脫離本發明之精神和範圍。
本發明可以以其它具體形式實施而不背離其精神或本質特徵。所描述的實施例在所有方面都僅是說明性的而不是限制性。本發明的範圍因此由所附權利要求為准而不是由前面的描述所界定。因此，各種修改、改編以及所描述的實施例的各種特徵的組合可以在不脫離本發明的範圍如權利要求書中闡述的情況下實施。

Claims (17)

  1. 一種處理立方體面圖像的方法，所述方法包括：接收從360度全景視訊序列中的球面圖像轉換的六個立方體面的集合，其中六個立方體面的每個集合對應於投影到立方體上用於渲染360度虛擬現實的一個球面圖像；根據選擇的立方體面格式將該六個立方體面的每個集合收集成一個組合立方體圖框；確定每個該組合立方體圖框內的一個或多個不連續邊界；以及根據與該一個或多個不連續邊界相關的信息來處理該組合立方體圖框，其中該處理該組合立方體圖框的步驟包括：當使能濾波處理時，在每個該組合立方體圖框內的該一個或多個不連續邊界處跳過該濾波處理。
  2. 如申請專利範圍第1項所述之方法，其中該處理該組合立方體圖框的步驟包括：對每個該組合立方體圖框中的一個或多個連續區域應用該濾波處理。
  3. 如申請專利範圍第1項所述之方法，其中該選擇的立方體面格式對應於具有空白區域的一個組合立方體圖框。
  4. 如申請專利範圍第3項所述之方法，其中每個不連續邊界位於一個立方體面和一個空白區域之間。
  5. 如申請專利範圍第1項所述之方法，其中該選擇的立方體面格式對應於不具有空白區域的一個組合立方體圖框。
  6. 如申請專利範圍第5項所述之方法，其中每個不連續邊界位於不共享共同立方體邊緣的兩個相鄰立方體面之間。
  7. 如申請專利範圍第5項所述之方法，其中該不具有空白區域的一個組合立方體圖框對應於1x6的組合立方體圖框、2x3的組合立方體圖框、3×2的組合立方體圖框或6×1的組合立方體圖框。
  8. 如申請專利範圍第1項所述之方法，其中該濾波處理對應於視訊編碼或視訊解碼中的環路濾波。
  9. 如申請專利範圍第8項所述之方法，其中該濾波處理包括去塊、樣本自適應偏移、自適應環路濾波或其組合。
  10. 如申請專利範圍第1項所述之方法，其中在每個組合立方體圖框中一個或多個連續區域是否應用該濾波處理、在該每個組合立方體圖框中的該一個或多個不連續邊界處是否跳過該濾波處理、或者兩者，均通過在編碼器側發信的視訊位元流中的開/關控制的語法來指示，或者通過在解碼器側解析的該視訊位元流中的該開/關控制的語法來確定。
  11. 如申請專利範圍第10項所述之方法，其中該開/關控制的語法處於該視訊位元流中的序列、視訊、立方體面、視訊參數集、序列參數集或應用參數集級。
  12. 如申請專利範圍第1項所述之方法，其中在每個組合立方體圖框中一個或多個連續區域是否應用該濾波處理、在該每個組合立方體圖框中的該一個或多個不連續邊界處是否跳過該濾波處理、或者兩者，均通過在編碼器側發信的視訊位元流中的該選擇的立方體面格式來指示，或者通過在解碼器側解析的視訊位元流中的該選擇的立方體面格式來確定。
  13. 如申請專利範圍第1項所述之方法，其中對於具有空白區域的組合立方體圖框中的在該立方體面和該空白區域之間的所有不連續邊界、以及在不具有空白區域的組合立方體圖框中的不共享共同立方體邊緣的相鄰立方體面之間的所有不連續邊界，跳過該濾波處理。
  14. 如申請專利範圍第12項所述之方法，其中在每個該組合立方體圖框中的一個或多個連續立方體面邊界處是否應用該濾波處理，進一步通過在該編碼器側發信的該視訊位元流中的開/關控制的語法來指示，或者通過在該解碼器側解析的該視訊位元流中的該開/關控制的語法來確定。
  15. 如申請專利範圍第14項所述之方法，其中在該編碼器側被發信或者在該解碼器側被解析的該開/關控制的語法，以控制所有連續立方體面邊界的該濾波處理。
  16. 如申請專利範圍第14項所述之方法，其中該開/關控制的語法在該編碼器側針對每個立方體面邊界發信，或者在解碼器側進行解析，以控制該每個立方體面邊界的該濾波處理。
  17. 一種處理立方體面圖像的裝置，所述裝置包括一個或多個電子電路或處理器，用於執行以下步驟：接收從360度全景視訊序列中的球面圖像轉換的六個立方體面的集合，其中六個立方體面的每個集合對應於投影到立方體上用於渲染360度虛擬現實的一個球面圖像；根據選擇的立方體面格式將該六個立方體面的每個集合收集成一個組合立方體圖框；確定每個該組合立方體圖框內的一個或多個不連續邊界； 以及根據與該一個或多個不連續邊界相關的信息來處理該組合立方體圖框，其中該處理該組合立方體圖框的步驟包括：對每個該組合立方體圖框中的一個或多個連續區域應用濾波處理，並且在每個該組合立方體圖框內的該一個或多個不連續邊界處跳過該濾波處理。
TW106119618A 2016-06-15 2017-06-13 用於立方體面圖框的選擇性濾波的方法和裝置 TWI669939B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662350214P 2016-06-15 2016-06-15
US62/350,214 2016-06-15
US15/618,216 US10368067B2 (en) 2016-06-15 2017-06-09 Method and apparatus for selective filtering of cubic-face frames
US15/618,216 2017-06-09

Publications (2)

Publication Number Publication Date
TW201811024A true TW201811024A (zh) 2018-03-16
TWI669939B TWI669939B (zh) 2019-08-21

Family

ID=60659974

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106119618A TWI669939B (zh) 2016-06-15 2017-06-13 用於立方體面圖框的選擇性濾波的方法和裝置

Country Status (3)

Country Link
US (2) US10368067B2 (zh)
CN (2) CN111741289B (zh)
TW (1) TWI669939B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI756526B (zh) * 2018-03-22 2022-03-01 聯發科技股份有限公司 用於重構的基於投影的幀的樣本適應性偏移濾波方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10148939B2 (en) * 2016-07-19 2018-12-04 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
US20180054613A1 (en) * 2016-08-22 2018-02-22 Mediatek Inc. Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus
CN108205797B (zh) * 2016-12-16 2021-05-11 杭州海康威视数字技术股份有限公司 一种全景视频融合方法及装置
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10979663B2 (en) * 2017-03-30 2021-04-13 Yerba Buena Vr, Inc. Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
WO2019060443A1 (en) * 2017-09-20 2019-03-28 Vid Scale, Inc. HANDLING FACIAL DISCONTINUITIES IN 360-DEGREE VIDEO CODING
US11432010B2 (en) 2017-12-19 2022-08-30 Vid Scale, Inc. Face discontinuity filtering for 360-degree video coding
US11212438B2 (en) * 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
EP3741126A1 (en) 2018-03-02 2020-11-25 Huawei Technologies Co., Ltd. Apparatus and method for picture coding with selective loop-filtering
CN108765269A (zh) * 2018-05-29 2018-11-06 广州梦映动漫网络科技有限公司 一种全景漫画的生成方法以及电子设备
US11284054B1 (en) * 2018-08-30 2022-03-22 Largo Technology Group, Llc Systems and method for capturing, processing and displaying a 360° video
TWI700000B (zh) * 2019-01-29 2020-07-21 威盛電子股份有限公司 全景影片影像穩定方法及裝置與影像穩定演算法評估方法
US11109067B2 (en) 2019-06-26 2021-08-31 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11190801B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
US11190768B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
US11659206B2 (en) 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
CN110416240A (zh) * 2019-08-09 2019-11-05 北京思比科微电子技术股份有限公司 一种图像传感器封装结构
CN114821700A (zh) * 2019-09-27 2022-07-29 深圳看到科技有限公司 画面帧更新方法、更新装置及存储介质
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
US20220400291A1 (en) * 2019-11-18 2022-12-15 Lg Electronics Inc. Image coding device and method, for controlling loop filtering
JP7311713B2 (ja) * 2019-12-12 2023-07-19 エルジー エレクトロニクス インコーポレイティド フィルタリングに基づく画像コーディング装置及び方法
CN114788264B (zh) * 2019-12-30 2023-07-25 阿里巴巴（中国）有限公司 用于发出虚拟边界和环绕运动补偿的信号的方法
US11477490B2 (en) * 2020-01-03 2022-10-18 Mediatek Inc. Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5124915A (en) * 1990-05-29 1992-06-23 Arthur Krenzel Computer-aided data collection system for assisting in analyzing critical situations
US7391450B2 (en) * 2002-08-16 2008-06-24 Zoran Corporation Techniques for modifying image field data
US7408576B2 (en) * 2002-08-16 2008-08-05 Zoran Corporation Techniques for modifying image field data as a function of radius across the image field
US8068115B2 (en) * 2003-05-19 2011-11-29 Microvision, Inc. Image generation with interpolation and distortion correction
TWI297875B (en) * 2004-09-16 2008-06-11 Novatek Microelectronics Corp Image processing method and device using thereof
CN101233271B (zh) * 2005-07-28 2010-12-08 株式会社岛精机制作所 线圈弧模拟装置、其方法以及其程序
JP4104631B2 (ja) * 2006-03-27 2008-06-18 三洋電機株式会社 運転支援装置
US7581186B2 (en) * 2006-09-11 2009-08-25 Apple Inc. Media manager with integrated browsers
US8059887B2 (en) * 2006-09-25 2011-11-15 Sri International System and method for providing mobile range sensing
US8694195B2 (en) * 2007-12-04 2014-04-08 Volkswagen Ag Motor vehicle having a wheel-view camera and method for controlling a wheel-view camera system
US8230360B2 (en) * 2008-01-04 2012-07-24 Apple Inc. User interface for selection from media collection
GB2465786A (en) * 2008-11-28 2010-06-02 Sharp Kk An optical system for varying the perceived shape of a display surface
JP5049300B2 (ja) * 2009-01-20 2012-10-17 クラリオン株式会社 障害物検出表示装置
CN101540046B (zh) * 2009-04-10 2011-07-27 凌阳电通科技股份有限公司 基于图像特征的全景图拼接方法和装置
US20100306657A1 (en) * 2009-06-01 2010-12-02 3Dlabs Inc., Ltd. Audio-Enhanced User Interface for Browsing
JP5364627B2 (ja) * 2010-03-17 2013-12-11 富士フイルム株式会社 パノラマ画像生成方法、パノラマ画像生成プログラム、撮像装置
US8570442B2 (en) * 2011-07-12 2013-10-29 Xerox Corporation Hyperspectral image reconstruction via a compressed sensing framework
CN102685532B (zh) 2012-06-04 2014-04-16 山东大学 自由视点四维空间视频编码系统的编码方法
KR20140100656A (ko) 2013-02-06 2014-08-18 한국전자통신연구원 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
CN104769936B (zh) * 2013-03-28 2019-04-16 爱迪德技术有限公司 处理数字内容
US9299004B2 (en) * 2013-10-24 2016-03-29 Adobe Systems Incorporated Image foreground detection
CN104091169A (zh) * 2013-12-12 2014-10-08 华南理工大学 基于多特征融合的行为识别方法
US9986154B2 (en) * 2014-05-21 2018-05-29 Here Global B.V. Developing a panoramic image
CN104156929B (zh) * 2014-09-05 2017-02-08 西安电子科技大学 基于全局滤波的红外弱小目标背景抑制方法及其装置
US10547825B2 (en) * 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US9996680B2 (en) * 2015-01-18 2018-06-12 F. Scott Deaver Methods and related apparatus for managing access to digital assets
US9984494B2 (en) * 2015-01-26 2018-05-29 Uber Technologies, Inc. Map-like summary visualization of street-level distance data and panorama data
US9685088B2 (en) * 2015-04-10 2017-06-20 Architecture Technology, Inc. Communication travel plan generation system
US9704217B2 (en) * 2015-04-20 2017-07-11 Intel Corporation Apparatus and method for non-uniform frame buffer rasterization
CN105187708A (zh) * 2015-07-22 2015-12-23 北京元心科技有限公司 拍摄全景图的方法以及系统
US10063792B1 (en) * 2015-09-30 2018-08-28 Amazon Technologies, Inc. Formatting stitched panoramic frames for transmission
US9992502B2 (en) * 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI756526B (zh) * 2018-03-22 2022-03-01 聯發科技股份有限公司 用於重構的基於投影的幀的樣本適應性偏移濾波方法

Also Published As

Publication number Publication date
CN109246422A (zh) 2019-01-18
CN109246422B (zh) 2020-06-30
TWI669939B (zh) 2019-08-21
US10368067B2 (en) 2019-07-30
US20170366808A1 (en) 2017-12-21
CN111741289B (zh) 2022-03-25
US10972730B2 (en) 2021-04-06
US20190246105A1 (en) 2019-08-08
CN111741289A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
TWI669939B (zh) 用於立方體面圖框的選擇性濾波的方法和裝置
CN108012155B (zh) 预拼接图像的视频编码方法、视频解码方法和相关的装置
US11212497B2 (en) Method and apparatus for producing 360 degree image content on rectangular projection by selectively applying in-loop filter
US20180098090A1 (en) Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters
WO2019174542A1 (en) Method and apparatus of loop filtering for vr360 videos
JP2020058055A (ja) 多視点信号コーデック
US20170118475A1 (en) Method and Apparatus of Video Compression for Non-stitched Panoramic Contents
US11343504B2 (en) Apparatus and method for picture coding with selective loop-filtering
US11882276B2 (en) Method and apparatus for signaling adaptive loop filter parameters in video coding
US10863198B2 (en) Intra-prediction method and device in image coding system for 360-degree video
WO2017220012A1 (en) Method and apparatus of face independent coding structure for vr video
US20190082183A1 (en) Method and Apparatus for Video Coding of VR images with Inactive Areas
US20200260082A1 (en) Method and device for encoding or decoding 360 video
WO2014166338A1 (en) Method and apparatus for prediction value derivation in intra coding
EP3544301A1 (en) Moving image coding device, moving image decoding device, and program
KR102342874B1 (ko) 360도 비디오에 대한 영상 코딩 시스템에서 프로젝션 타입 기반 양자화 파라미터를 사용한 영상 디코딩 방법 및 장치
US20180338160A1 (en) Method and Apparatus for Reduction of Artifacts in Coded Virtual-Reality Images
US20200374558A1 (en) Image decoding method and device using rotation parameters in image coding system for 360-degree video
US11711540B2 (en) Method for encoding video using effective differential motion vector transmission method in omnidirectional camera, and method and device
WO2013105946A1 (en) Motion compensating transformation for video coding