TWI678915B - 一種視訊編解碼的方法及裝置 - Google Patents

一種視訊編解碼的方法及裝置 Download PDF

Info

Publication number
TWI678915B
TWI678915B TW106123621A TW106123621A TWI678915B TW I678915 B TWI678915 B TW I678915B TW 106123621 A TW106123621 A TW 106123621A TW 106123621 A TW106123621 A TW 106123621A TW I678915 B TWI678915 B TW I678915B
Authority
TW
Taiwan
Prior art keywords
rectangular plane
images
processing circuit
image
projection
Prior art date
Application number
TW106123621A
Other languages
English (en)
Other versions
TW201811044A (zh
Inventor
杉 劉
Shan Liu
許曉中
Xiaozhong Xu
金廷宣
Jungsun Kim
Original Assignee
聯發科技股份有限公司
Mediatek Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司, Mediatek Inc. filed Critical 聯發科技股份有限公司
Publication of TW201811044A publication Critical patent/TW201811044A/zh
Application granted granted Critical
Publication of TWI678915B publication Critical patent/TWI678915B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明的一方面提供一種具有處理電路的裝置。該處理電路用於接收根據從球面到矩形平面的投影來從該球面的複數個圖像投影得到的該矩形平面內的複數個圖像，並且基於與該投影相關的該矩形平面的複數個圖像特徵對該矩形平面內的該複數個圖像進行編碼/解碼。

Description

一種視訊編解碼的方法及裝置 【優先權聲明】
本申請要求如下申請的優先權：在2016年07月15日提出的名稱為“Methods and apparatus for 360 degree video coding”的第62/362,613號的美國臨時專利申請，在2016年10月04日提出名稱為“Methods and apparatus for omni-directional video and image coding”的第62/403,734號的美國臨時專利申請，以及在2017年7月13日提出的名稱為“METHOD AND APPARATUS FOR VIDEO CODING”的第15/649,089號的美國專利申請。在此合併參考這些申請案的申請標的。
本發明所公開的實施例涉及視訊編解碼方法及裝置，且更具體而言，涉及全向(omni-directional)視訊編解碼技術。
此處提供的背景技術描述用作一般展現本發明的內容的目的。目前署名發明人的工作內容，既包含在本背景技術部分中所描述的工作的內容，也包含在申請時未被認為是現有技術的說明書的各方面，這些既不明確也不暗示地被承認是本發明的現有技術。
可渲染三維環境以提供特殊的用戶體驗。例如，在虛擬現實(virtual reality，VR)應用中，計算機技術創建複製現實環境的現實圖像、聲音以及其他感覺，或者創建想像的環境，這樣用戶可以具有在三維環境中實際存在的模擬體驗。
本發明的方面提供一種具有處理電路的裝置。該處理電路用於接收矩形平面內的複數個圖像，該矩形平面內的該複數個圖像是根據從球面到該矩形平面的投影，來從該球面的複數個圖像投影得到的，並且，基於與該投影相關的該矩形平面的複數個圖像特徵對該矩形平面內的該複數個圖像進行編碼/解碼。
根據本發明的一方面，該處理電路用於接收矩形平面內的複數個圖像，該矩形平面內的該複數個圖像是根據球面投影來從該球面的複數個圖像投影得到的，並且調節一個或者複數個編碼/解碼參數，以作為該矩形平面的複數個緯度的函數。在一個實施例中，該處理電路用於調節用於該矩形平面內複數個區域的位元分配，以作為該複數個區域的該複數個緯度的函數。在另一個實施例中，該處理電路用於調節用於該矩形平面內複數個區域的分割尺寸，以作為該複數個區域的該複數個緯度的函數。在另一個實施例中，該處理電路用於調節用於該矩形平面內複數個區域的採樣率，以作為該複數個區域的該複數個緯度的函數。在另一個實施例中，該處理電路用於調節用於該矩形平面內複數個區域的量化參數，以作為該複數個區域的該複數個緯度的函數。在另一個實施例中，該處理電路 用於基於編碼單元的緯度和運動向量在圖框間預測過程中計算用於該編碼單元的參考。
根據本發明的另一方面，該處理電路用於接收矩形平面內的複數個圖像，該矩形平面內的複數個圖像是根據從該球面到重新排列在該矩形平面內的複數個非虛擬面的正多面體投影，來從該球面的複數個圖像投影得到的，並且基於該矩形平面內複數個面的複數個圖像特徵對該矩形平面內的複數個圖像進行編碼/解碼。在一個實施例中，該處理電路用於在編碼過程中逐面掃描區塊。在另一個示例中，該處理電路用於根據複數個面的空間關係給該複數個面進行排序。在另一個示例中，該處理電路用於在編碼/解碼過程中跳過虛擬面。
根據本發明的另一方面，該處理電路用於接收矩形平面內的複數個圖像，該矩形平面內的該複數個圖像是根據使得變形作為複數個位置的函數的投影，來從該球面的複數個圖像投影得到的，並且在圖框間預測過程中執行變形運動補償。在一個實施例中，該處理電路用於基於合併模式內的合併索引，選擇性地執行不具有變形的運動補償和該變形運動補償。在另一個實施例中，該處理電路用於基於標誌在序列級、圖像級、切片級和區塊級中的一個處執行該變形運動補償。
本發明的方面提供了一種圖像處理的方法。該方法包括處理電路接收矩形平面內的複數個圖像，該矩形平面內的該複數個圖像是根據從球面到該矩形平面的投影，來從該球面的複數個圖像投影得到的，以及基於與該投影相關的該矩形平面的複數個圖像特徵對該矩形平面內的該複數個圖像進行 編碼/解碼。
100‧‧‧媒體系統
110‧‧‧源系統
111、161‧‧‧介面電路
112‧‧‧獲取設備
115‧‧‧記憶體
120、170‧‧‧處理電路
130、430‧‧‧編碼器
150‧‧‧傳輸系統
160‧‧‧渲染系統
165‧‧‧顯示設備
180‧‧‧解碼器
190‧‧‧圖像生成模組
200、300、700、800、1000、1100‧‧‧繪圖
205‧‧‧區域
210、240、340、810‧‧‧球面
211‧‧‧球體
220、251~252‧‧‧偏航圓
230、261~262‧‧‧俯仰圓
245、275‧‧‧感興趣區域
251‧‧‧圖像生成模組
270、370、840‧‧‧矩形平面
281~282‧‧‧垂直線
291~292‧‧‧水平線
431‧‧‧分割模組
432‧‧‧控制模組
433‧‧‧位元率分配控制器
440‧‧‧區塊編碼器
441‧‧‧轉換模組
442‧‧‧量化模組
443‧‧‧熵編碼模組
444‧‧‧圖框內預測模組
445‧‧‧圖框間預測模組
446‧‧‧參考生成模組
447‧‧‧殘差計算器
448‧‧‧開關
500、600、900‧‧‧方法
S501~S550、S601~S699、S901~S999‧‧‧步驟
710‧‧‧第一分割示例
720‧‧‧第二分割示例
711~713‧‧‧編碼區塊
721~723‧‧‧列
811、841‧‧‧運動向量
820、850‧‧‧當前區塊
830、860‧‧‧參考區塊
851‧‧‧點
861‧‧‧參考點
880‧‧‧相鄰像素
1010、1110‧‧‧第一掃描示例
1020、1120‧‧‧第二掃描示例
1130‧‧‧第三掃描示例
將結合下面的附圖對被提供作為示例的本發明的各種實施例進行詳細描述，其中相同的符號表示相同的元件，以及其中：第1圖是根據本發明實施例的媒體系統100的方框圖；第2圖是描述根據本發明實施例的球面投影(equirectangular projection，ERP)的繪圖200；第3圖是描述根據本發明實施例的正多面體投影(platonic solid projection)示例的繪圖300；第4圖是根據本發明實施例的編碼器430的方框圖；第5圖是描述根據本發明實施例的方法(process)示例500的流程圖；第6圖是描述根據本發明實施例的方法示例600的流程圖；第7圖是根據本發明實施例的分割示例；第8圖是描述根據本發明實施例的用於ERP投影的參考計算的繪圖800；第9圖是描述根據本發明實施例的方法示例900的流程圖；第10圖是描述根據本發明實施例的區塊掃描(block scan)示例的繪圖1000；以及第11圖是描述根據本發明實施例的面掃描(face scan)示例的繪圖1100。
第1圖示出了根據本發明實施例的媒體系統100的方框圖。該媒體系統包括耦接在一起的源系統110、傳輸系統150和渲染系統160。該源系統110用於獲取用於三維環境的媒體資料，並適當地封裝(encapsulate)該媒體資料。該傳輸系統150用於將來自於該源系統110的已封裝的媒體資料傳輸到該渲染系統160。該渲染系統160用於根據該媒體資料渲染模擬的三維環境。根據本發明的一方面，該媒體系統100用於獲取球面(sphere surface)的視覺資料，將該球面的視覺資料投影到二維(two-dimension，2D)矩形平面上，以作為2D圖像，然後基於與投影相關的圖像特徵編碼/解碼該2D圖像。
可以使用任何合適的技術來實現該源系統110。在一個示例中，將該源系統100的元件整合在一個設備封裝中。在另一個示例中，該源系統110是一個分布式系統，該源系統110的複數個元件可以被設置在不同位置，並適當耦接在一起，例如，通過有線連接和/或無線連接。
在第1圖的示例中，該源系統110包括耦接在一起的獲取設備112、處理電路120、記憶體115以及介面電路111。
該獲取設備112用於獲取各種媒體資料，如三維環境的圖像、聲音等。該獲取設備112可以具有任何適當的配置。在一個示例中，該獲取設備112包括具有複數個攝像機的攝像設備(未示出)，如具有兩個魚眼(fisheye)攝像機的成像系統、具有四個攝像機的四面體成像系統(tetrahedral imaging system)、具有六個攝像機的立方體成像系統、具有八個攝像機的八面成像系統、具有二十個攝像機的二十面成像系統等， 其用於拍攝環繞空間內的各個方向的圖像。
在一個實施例中，由該複數個攝像機拍攝的圖像是重疊的且可以被縫合，以提供比單個攝像機所能提供的更大覆蓋的環繞空間。在一個示例中，由該複數個攝像機拍攝的圖像可以提供全向覆蓋(例如，整個環繞空間的360°的球面覆蓋)。應注意，由該複數個攝像機拍攝的圖像可以提供環繞空間的小於360°的球面覆蓋。
可以適當地將獲取設備112所獲取的媒體資料進行存儲或者緩存，例如，在記憶體115內。處理電路120可以存取記憶體115、處理該媒體資料以及以合適的格式封裝該媒體資料。然後，將已封裝的媒體資料進行適當地存儲或者緩存，例如，在記憶體115內。
在一個實施例中，處理電路120包括音訊處理路徑，其用於處理音訊資料，並且包括圖像/視訊處理路徑，其用於處理圖像/視訊資料。該處理電路120然後根據合適的格式使用元資料(metadata)對該音訊、圖像和視訊資料進行封裝。
在一個示例中，在圖像/視訊處理路徑上，處理電路120可以將由不同攝像機拍攝的複數個圖像縫合在一起，以形成一個已縫合的圖像，例如全向圖像(球面圖像)等。然後，處理電路120可以將該全向圖像(用於該球面)投影到合適的2D平面(例如，矩形平面)，以將該全向圖像轉換成可以使用2D編解碼技術來編解碼的2D圖像。然後處理電路120可以適當地編解碼該圖像和/或圖像流。
根據本發明的一方面，處理電路120可以根據不同 的投影技術將該球面的全向圖像投影成該矩形平面上的2D圖像，並且不同的投影技術使得該矩形平面上的2D圖像具有與這些投影技術相關的不同的圖像特徵。這些圖像特徵可以改善編解碼效率。
在一個實施例中，處理電路120可以使用球面投影(equirectangular projection)將全向圖像投影成2D圖像。該球面投影以一種與將地球表面投影到地圖上的方式相似的方式，將球面(例如全向圖像)投影到矩形平面，例如2D圖像。在一個示例中，該球面(例如地球表面)使用偏航(yaw)(例如經度)和俯仰(pitch)(例如緯度)的球面坐標系統以定位在該球面上的位置。在投影過程中，將偏航圓(yaw circle)轉換為垂直線，將俯仰圓(pitch circle)轉換為水平線，該偏航圓和俯仰圓在球面坐標系統中是正交的，該垂直線和水平線在矩形平面中是正交的。如第2圖所示，是球面投影的示例，將結合第2圖來進行說明。
在球面投影的實施例中，在球面投影過程中，圖案在水平方向(沿著緯度方向)上進行變形(deform)(例如，拉伸)，並基於緯度進行不同程度的變形。例如，當圖案位於垂直中心附近(例如，對應於赤道(equator))時，使用較小比例將該圖案進行拉伸，當圖案遠離垂直中心(例如，靠近兩極)時，使用較大比例將該圖案進行拉伸。這樣，在一個示例中，該球面投影的2D圖像具有隨著緯度變化而變化的圖像特徵。例如，該球面投影的2D圖像在靠近垂直中心附近的區域處(例如，在赤道處)包括較多的圖像資訊(例如，空間頻率譜 較高，資訊密度也較高)，並且，在遠離垂直中心的區域處(例如，在兩極處)包括較少視覺資訊(例如，空間頻率譜較低，資訊密度也較低)。
在另一個實施例中，處理電路120可以將該球面的全向圖像投影到正多面體(platonic solid)的複數個面上，例如，四面體、立方體、八面體、二十面體等。可以分別重新排列已投影的面，例如旋轉、重新定位(relocated)，以在矩形平面內形成2D圖像。然後編碼該2D圖像。在將該球面的該全向圖像投影到正多面體的面的投影實施例中，在這個投影過程中，也可以將位於不同位置處的圖案進行變形(例如，拉伸)，並且基於對應於這些位置的參數進行不同程度的變形。如第3圖所示，是正多面體投影的示例，將結合第3圖進行說明。
在正多面體投影的實施例中，在一個示例中，添加虛擬面(dummy face)，並且這些虛擬面不具有圖像資訊或者具有很少的圖像資訊。進一步地，在一個示例中，由於投影過程中面的重新排列，相鄰面之間可以存在或者不存在空間關係。這樣，在一個示例中，該正多面體投影的2D圖像具有與該正多面體投影相關的圖像特徵。
應注意，在一個實施例中，可由除了處理電路120之外的元件來執行該投影操作。在一個示例中，可以將不同攝像機所拍攝的圖像排列在矩形平面內，以形成2D圖像。
根據本發明的一方面，例如，與投影技術相關的圖像特徵可以用於提高圖像編解碼效率，從而編碼/解碼圖像使用時間更少，媒體系統100存儲的已編解碼的圖像資料的內 存更小，並且在媒體系統100內傳輸時間更小且佔用更少傳輸資源。
在第1圖的示例中，處理電路120包括編碼器130，其用於基於與投影相關的圖像特徵編碼2D圖像，該投影將球面的圖像投影到矩形平面，以形成該2D圖像。
在一個實施例中，例如，根據例如球面投影將球面的圖像投影到矩形平面，並且，這個投影可以使得形狀改變(即變形)作為位置的函數。因此，一些圖像參數，例如圖像資訊、頻譜等，隨著該矩形平面的位置參數(例如，緯度)的改變而改變。編碼器130調節一個或者複數個編碼/解碼參數，作為該矩形平面的位置參數(例如，緯度)的函數，進而提高編解碼效率。
在一個示例中，編碼器130用於將該2D圖像分割成複數個子圖像(sub-image)，例如用於各自處理的編碼單元(coding unit，CU)，編碼樹單元(coding tree unit，CTU)等，並且編碼器130用於調節該矩形平面內區域的分割尺寸，以作為該區域的緯度的函數。例如，編碼器130用於在垂直中心附近的區域處使用較小的水平分割尺寸，並在遠離垂直中心的區域處使用較大的水平分割尺寸。在另一示例中，編碼器130用於調節分割過程中的採樣率。例如，在分割過程中，編碼器130用於在垂直中心附近的區域處使用較小的向下採樣(down-sampling)率(或者不使用向下採樣)，並在遠離垂直中心的區域處使用較大的向下採樣率。
在另一個示例中，編碼器130用於調節矩形平面內 區域的位元分配(bit allocation)，以作為這些區域的緯度的函數。在一個示例中，編碼器130用於將較多位元分配到垂直中心附近區域處，並將較少位元分配到遠離垂直中心區域處。
在另一個示例中，編碼器130用於調節矩形平面內區域的量化參數(quantization parameter)，以作為這些區域的緯度的函數。在一個示例中，編碼器130用於在垂直中心附近區域處使用相對較小的量化參數，並在遠離垂直中心區域處使用相對較大的量化參數。
在另一個示例中，編碼器130用於基於像素的緯度和運動向量，在圖框間預測過程中執行該像素的參考計算(reference calculation)。
在另一個示例中，根據正多面體投影將球面的圖像投影到矩形平面。因此，一些圖像參數，例如空間關係、虛擬面、對應於不同位置的變形等，與該正多面體投影相關。編碼器130基於與該正多面體投影相關的這些圖像特徵執行編碼。
在一個示例中，編碼器130基於這些圖像特徵確定掃描順序(scan order)。例如，編碼器130在編碼過程中逐面(face by face)掃描區塊，從而在一個示例中，對一面內的區塊進行掃描之後，掃描另一面內的區塊。在一個示例中，可以使用較高編碼效率掃描並編碼虛擬面。
進一步地，編碼器130根據面的空間關係確定面的掃描順序。因此，在一個示例中，順序掃描具有較近的空間關係(例如，在球面內相鄰)的面，以提高編解碼效率。
在另一個示例中，當源系統110和渲染系統160均已知虛擬面的位置時，編碼器130可以跳過這些虛擬面。
在一個實施例中，使用一個或者複數個處理器來實現處理電路120，並且該一個或者複數個處理器用於執行軟體指令以執行媒體資料處理。在另一實施例中，使用集體電路來實現處理電路120。
在第1圖的示例中，通過介面電路111將已編碼的媒體資料提供給傳輸系統150。傳輸系統150用於適當地提供媒體資料給客戶設備，例如渲染系統160。在一個實施例中，傳輸系統150包括服務器、存儲設備、網絡設備等。傳輸系統150的元件通過有線和/或無線連接適當地耦接在一起。傳輸系統150通過有線和/或無線連接適當地與源系統110和渲染系統160耦接，或者適當地用於通過任何其他合適的載體或者介質傳輸源系統110和渲染系統160之間的資料。
可以使用任何合適的技術來實現渲染系統160。在一個示例中，將渲染系統160的元件整合在一個設備封裝中。在另一個示例中，渲染系統160是一種分布式系統，與源系統110的元件可以位於不同位置，並通過有線連接和/或無線連接適當地耦接在一起。
在第1圖的示例中，渲染系統160包括耦接在一起的介面電路161、處理電路170和顯示設備165。介面電路161用於通過任何合適的通信協議適當地接收對應于已封裝的媒體資料的資料流。
處理電路170用於處理該媒體資料並生成圖像，以 讓顯示設備165展現給一個或者複數個用戶。顯示設備165可以是任何合適的顯示器，例如電視機、智能手機、穿戴設備、頭戴式(head-mounted)設備等。
在第1圖的示例中，處理電路170包括解碼器180，其用於接收已編碼的視覺資料，並基於與投影技術相關的圖像特徵解碼視覺資料。在一個實施例中，接收的已編碼的視覺資料指示投影技術，或者與該投影技術相關的圖像特徵，從而解碼器180相應地解碼該視覺資料。在另一示例中，解碼器180(例如，通過協議、預先設置)已知源系統110所使用的該投影技術，然後根據與該投影技術相關的圖像特徵解碼該視覺資料。
在一個實施例中，處理電路170包括圖像生成模組190，其用於基於媒體資料生成感興趣區域的一個或者複數個圖像。在一個實施例中，處理電路170用於通過介面電路161請求/接收合適的來自於傳輸系統150的媒體資料，例如，特定的軌跡、矩形平面的一部分的媒體資料、來自於特定的攝像機的媒體資料等。基於已編碼的媒體資料，處理電路170生成圖像，以展現給一個或者複數個用戶。
處理電路170包括解碼器180和圖像生成模組190。該圖像生成模組190用於生成感興趣區域的圖像。解碼器180和圖像生成模組190可以被實現為執行軟體指令的處理器，並可以被實現為集體電路。
在一個實施例中，使用一個或者複數個處理器來實現處理電路170，並且該一個或者複數個處理器用於執行軟體指令以執行媒體資料處理。在另一實施例中，使用集體電路 來實現處理電路170。
第2圖示出了描述根據本發明實施例的球面投影的繪圖200。繪圖200示出了具有球面210的球體211。球面210(例如，地球表面)使用偏航(例如經度方向)和俯仰(例如緯度方向)的球面坐標系統。在第2圖的示例中，球面210上的區域205的分界線是由偏航圓220(例如經度線)和俯仰圓230(例如緯度線)來形成的。
進一步地，第2圖示出了從球面240到矩形平面270的球面投影。在本示例中，球面240使用偏航和俯仰的球面坐標系統。在本示例中，使用偏航圓(例如，偏航圓251、偏航圓252)和俯仰圓(例如，俯仰圓261、俯仰圓262)來參考球面240。矩形平面270使用XY坐標系統，並使用垂直線和水平線來參考。在第2圖的示例中，X軸對應於經度，Y軸對應於緯度。
以與將地球表面投影到地圖的方式相似的方式，球面投影將球面投影到矩形平面。在投影過程中，偏航圓被轉換成垂直線，俯仰圓被轉換成水平線，偏航圓和俯仰圓在球面坐標系統中是正交的，並且，垂直線和水平線在XY坐標系統中是正交的。
在第2圖的示例中，球面240上的感興趣區域245被投影到矩形平面270上的感興趣區域275。在第2圖的示例中，球面240上的感興趣區域245的分界線為偏航圓251-252和俯仰圓261-262。偏航圓251-252被投影到矩形平面270，作為垂直線281-282，俯仰圓261-262被投影到矩形平面270，作為水平線 291-292。
第3圖示出了描述根據本發明實施例的正多面體投影示例的繪圖300。在第3圖的示例中，如第3圖所示，球面340被投影到立方體的面(例如，面A-F)。這些立方體的面被排列在矩形平面內，並且，在該矩形平面內添加虛擬面1-6。
第4圖示出了根據本發明實施例的編碼器430的示意圖。編碼器430用於接收輸入視訊(例如圖像圖框序列)，編碼該視訊，以及輸出已編碼的視訊。在一個實施例中，使用編碼器430，替代第1圖的示例中的編碼器130，以編碼根據球面投影從球面投影到矩形平面的2D圖像，並且，編碼器430內的元件用於基於緯度調節用於操作的參數。
在第4圖的示例中，編碼器430包括分割模組431、控制模組432和區塊編碼器440，且如第4圖所示，該區塊編碼器440進一步包括耦接在一起的圖框間預測模組445、圖框內預測模組444、殘差(residue)計算器447、開關448、轉換模組441、量化模組442和熵編碼模組443。
在第4圖的示例中，分割模組431用於接收圖像圖框，並將每個圖像圖框分割成區塊，例如編碼區塊、編碼樹區塊等，並將這些區塊提供給區塊編碼器440以進行編碼。在一個實施例中，該分割模組431基於緯度調節分割區塊尺寸(例如，水平分割尺寸)。在一個示例中，控制模組432確定該分割區塊尺寸，並控制分割模組431使用基於緯度來調節的分割區塊尺寸來分割圖像圖框。
圖框間預測模組445用於接收當前區塊(例如，處 理區塊)，比較該區塊與參考區塊(例如，先前圖框內的區塊)，生成圖框間預測資訊(例如，根據圖框間編碼技術的冗餘資訊(redundant information)的描述)，以及基於該圖框間預測資訊使用任何合適的技術計算圖框間預測結果。在第4圖的示例中，圖框間預測模組445包括參考生成模組446，其用於確定用於當前圖框內的像素的先前圖框內的參考。在一個實施例中，參考生成模組446用於基於該像素的緯度以及該先前圖框與該當前圖框之間的運動向量來計算該參考。
圖框內預測模組444用於接收當前區塊(例如，處理區塊)，比較該區塊與同一圖像圖框內的區塊，生成圖框內預測資訊(例如，根據圖框內編碼技術的冗餘資訊的描述，例如使用35種預測模式中的一種)，以及基於圖框內預測資訊計算預測結果。
控制模組432用於確定控制資料和基於該控制資料控制編碼器430的其他元件。在一個實施例中，控制模組432包括位元率分配控制器433，其用於將位元動態分配給複數個區塊。例如，在一個示例中，位元率分配控制器433接收該已編碼的視訊的位元計數資訊，基於該位元計數資訊調節位元預算(bit budget)，以及將位元分配給輸入視訊的複數個區塊，以滿足傳輸或者顯示視訊的位元率。控制模組432可以確定其他合適的控制資料，在一個示例中，例如，分割尺寸、預測模式、量化參數等。
殘差計算器447用於計算已接收的區塊與從圖框內預測模組444或者圖框間預測模式445中選擇的預測結果之 間的差值(即殘差資料)。轉換模組441用於基於該殘差資料進行操作，以生成轉換係數(transform coefficient)。在一個示例中，該殘差資料在高頻處具有相對較大的級別(level)(能量)，並且轉換模組441用於在頻域內轉換該殘差資料，並提取用於編碼的高頻部分以生成該轉換係數。
量化模組442用於量化該轉換係數。在一個示例中，量化模組442用於基於緯度調節量化參數。在一個示例中，量化模組442用於基於區塊的緯度確定用於該區塊的該量化參數，並使用所確定的量化參數來量化該區塊的轉換係數。
熵編碼模組443用於格式化(format)該位元流以包含該已編碼的區塊。在一個示例中，熵編碼模組443用於包含其他資訊，例如該已編碼的視訊內的區塊尺寸、量化參數資訊、參考計算模式等。
第5圖示出了描述根據本發明實施例的方法示例500的流程圖。在一個示例中，方法500由編碼器來執行，例如編碼器130、編碼器430等。該方法始於步驟S501，並繼續到步驟S510。
在步驟S510中，接收矩形平面內的2D圖像圖框序列。該2D圖像對應於球面的圖像，且根據球面投影將該球面的圖像投影到該矩形平面，以生成該2D圖像。
在步驟S520中，基於複數個區域的緯度將複數個位元分配給該複數個區域。在一個示例中，位元率分配控制器433確定用於每個圖像圖框的預算位元(budget bit)，以滿足位元率來傳輸並播放該圖像圖框序列。進一步地，對於待編碼的 當前圖像圖框，位元率分配控制器433基於複數個區域的緯度將預算位元分配給該複數個區域，例如，編碼區塊、編碼樹區塊等。例如，位元率分配控制器433將較多位元分配給位於該矩形平面的垂直中心附近的編碼區塊(例如，緯度的絕對值相對較小的編碼區塊)，並將較少位元分配給遠離該矩形平面的垂直中心的編碼區塊(例如，緯度的絕對值相對較大的編碼區塊)。
在步驟S530中，基於該已分配的位元編碼一個或者複數個編碼單元。在一個實施例中，區塊編碼器440可以使用合適的編碼參數、編碼技術來基於該已分配的位元編碼一個或者複數個編碼區塊。例如，當將相對較大數量的位元分配給區塊時，區塊編碼器440可以使用能提供相對較高的圖像質量的編碼參數和編碼技術；並且，當將相對較小數量的位元分配給區塊時，區塊編碼器440可以使用能提供相對較高的壓縮比的編碼參數和編碼技術。
在步驟S540中，接收反饋資訊。在一個示例中，計數已編碼的視訊內的位元，並將計數值提供給位元率分配控制器433。
在步驟S550中，基於緯度重新分配位元。在一個示例中，位元率分配控制器433接收已編碼的視訊的位元計數(bit count)，然後將預算位元更新到用於編碼的剩餘區塊和/或圖像。然後該方法返回到步驟S530以基於已更新的位元分配進行編碼。
第6圖示出了描述根據本發明實施例的方法示例 600的流程圖。在一個示例中，該方法600由量化模組442來執行。該方法始於步驟S601，並繼續到步驟S610。
在步驟S610中，接收區塊的轉換係數。在一個示例中，量化模組442接收來自於轉換模組441的區塊的轉換係數。
在步驟S620中，接收該區塊的緯度資訊。在一個示例中，例如，量化模組442接收來自於控制模組432的該區塊的中心的緯度。
在步驟S630中，基於該緯度調節量化參數。在一個示例中，量化模組442用於基於該緯度調節量化參數。在一個示例中，量化模組442用於將相對較小的量化參數分配給位於矩形平面的垂直中心附近的編碼區塊(例如，緯度的絕對值相對較小的編碼區塊)，並將相對較大的量化參數分配給遠離矩形平面的垂直中心的編碼區塊(例如，緯度的絕對值相對較大的編碼區塊)。
在步驟S640中，基於已調節的量化參數執行量化。在一個示例中，量化模組442使用該量化參數來確定量化矩陣，並使用該量化矩陣來量化該區塊的轉換係數。
在步驟S650中，生成輸出位元流(即已編碼的視訊)。在一個示例中，熵編碼模組443用於格式化該位元流以包含已編碼的區塊。在一個示例中，熵編碼模組443用於將量化參數資訊包含到該輸出位元流中。隨後，該方法繼續到步驟S699，並結束。
第7圖示出了根據本發明實施例的分割示例的繪 圖700。繪圖700包括第一分割示例710和第二分割示例720。
在第一分割示例710中，水平分割尺寸隨著緯度而變化。例如，編碼區塊711-713具有不同的緯度，並使用不同的水平分割尺寸而被分割。
在第二分割示例720中，基於緯度通過不同的向下採樣率向下採樣該圖框。例如，通過不同的向下採樣率向下採樣列721、列722和列723。在一個示例中，然後使用同一水平分割尺寸將已向下採樣的列721、列722和列723進行分割。
第8圖示出了根據本發明實施例的參考計算示例的繪圖800。在一些實施例中，投影使得形狀改變(即變形)作為位置的函數。在圖框間預測過程中，在一個示例中，使用基於與投影相關的圖像特徵而計算的變形參考(deformed reference)來執行運動補償，並被稱為變形運動補償(deformed motion compensation)。第8圖顯示了用於球面投影的變形運動補償的示例。
在第8圖的示例中，繪圖800示出了用於獲取全向圖像(或者視訊)的球面810。可以根據球面投影將該全向圖像投影到矩形平面840。
在一個實施例中，使用圖框間預測來用於編碼/解碼。在圖框間預測的過程中，對於當前圖像圖框內的當前區塊而言，確定前面的圖像圖框內的參考區塊以預測該當前區塊。
根據本發明的一方面，由於球面投影，區塊的形狀因緯度差異而變形。在第8圖的示例中，在球面810上，確定用於當前區塊820的參考區塊830，並且，當前區塊820和參考 區塊830具有不同的緯度。在本示例中，當前區塊820和參考區塊830在球面810上具有相同的形狀。
在本示例中，當前區塊820被投影到矩形平面840，作為具有A、B、C、D拐點(corner point)的已投影的當前區塊850，參考區塊830被投影到矩形平面840，作為具有A’、B’、C’、D’拐點的已投影的參考區塊860。由於緯度差異，已投影的當前區塊850和已投影的參考區塊860具有不同的形狀。在一個示例中，拐點A的坐標為(x0,y0)，拐點B的坐標為(x1,y1)，拐點C的坐標為(x2,y2)，拐點D的坐標為(x3,y3)，拐點A’的坐標為(x0’,y0’)，拐點B’的坐標為(x1’,y1’)，拐點C’的坐標為(x2’,y2’)，拐點D’的坐標為(x3’,y3’)。進一步地，在本示例中，M為拐點A和拐點B之間的中點，且其坐標為(xm,ym)，N為拐點C和拐點D之間的中點，且其坐標為(xn,yn)；M’為拐點A’和拐點B’之間的中點，且其坐標為(xm’,ym’)，N’為拐點C’和拐點D’之間的中點，且其坐標為(xn’,yn’)；O是區塊ABCD的中點，且其坐標為(xo,yo)；以及O’為區塊A’B’C’D’的中點，且其坐標為(xo’,yo’)。
可以使用各種方法來基於已投影的當前區塊的地理位置和運動向量MV(mvx,mvy)來確定該已投影的參考區塊。
在第一方法中，運動向量MV用於表示拐點A到拐點A’的位移。這樣，拐點A’、B’、C’、D’的坐標可以根據等式1-等式8來表示。
x0’=mvx+x0 等式1
y0’=mvy+y0 等式2
x1’=x0’+f(y0,y0’,x1-x0) 等式3
y1’=y0’ 等式4
x2’=(x0’+x1’)/2-f(y2,y2’,x3-x2)/2 等式5
y2’=mvy+y2 等式6
x3’=x2’+f(y2,y2’,x3-x2) 等式7
y3’=y2’ 等式8
其中，f(yo,yr,L)是一個函數，其指定長度為L的水平線從其原始緯度(yo)到參考緯度(yr)被拉伸的長度，並且根據等式9計算：
Figure TWI678915B_D0001
其中，img_height為矩形平面840的高度。應注意，可以適當地改變等式1到等式8，以計算已投影的參考區塊內的參考像素的坐標，該參考像素用於已投影的當前區塊內的任一像素。
在第二方法中，運動向量MV用於表示點M到點M’的位移。這樣，點M’、A’、B’、C’、D’的坐標可以根據等式10到等式19來表示。
xm’=mvx+xm 等式10
ym’=mvy+ym 等式11
x0’=xm’-f(y0,y0’,x1-x0)/2 等式12
y0’=ym’ 等式13
x1’=xm’+f(y0,y0’,x1-x0)/2 等式14
y1’=ym’ 等式15
x2’=xm’-f(y2,y2’,x3-x2)/2 等式16
y2’=mvy+y2 等式17
x3’=xm’+f(y2,y2’,x3-x2)/2 等式18
y3’=y2’ 等式19
應注意，可以適當地改變等式10到等式19，以計算已投影的參考區塊內的參考像素的坐標，該參考像素用於已投影的當前區塊內的任一像素。
在第三方法中，運動向量MV用於表示點O到點O’的位移。這樣，點O’、A’、B’、C’、D’的坐標可以根據等式20到等式29來表示。
xo’=mvx+xo 等式20
yo’=mvy+yo 等式21
x0’=xo’-f(y0,y0’,x1-x0)/2 等式22
y0’=yo’-(y1-y0)/2 等式23
x1’=xo’+f(y0,y0’,x1-x0)/2 等式24
y1’=y0’ 等式25
x2’=xo’-f(y2,y2’,x3-x2)/2 等式26
y2’=yo’+(y1-y0)/2 等式27
x3’=xo’+f(y2,y2’,x3-x2)/2 等式28
y3’=y2’ 等式29
應注意，可以適當地改變等式20到等式29，以計算已投影的參考區塊內的參考像素的坐標，該參考像素用於已投影的當前區塊內的任一像素。
進一步地，根據本發明的一方面，考量到變形的 因素，可使用合適的技術(例如，內插(interpolation)技術、向下採樣技術等)來生成用於當前像素或者當前區塊的參考像素或參考區塊。
進一步地，根據本發明的一方面，當計算的坐標不對應於像素的整數位置時，選擇該計算的坐標的相鄰像素。在第8圖的示例中，對於已投影的當前區塊850內的點851，計算已投影的參考區塊860內的參考點861的坐標。參考點861的坐標不對應於像素的整數位置。隨後選擇與參考點861相鄰的相鄰像素880。
進一步地，根據本發明的一方面，可以運用內插濾波器到用於圖框間預測的這些相鄰像素上。應注意，可以使用任一合適的內插濾波器，例如根據高效視訊編碼(high efficiency video coding，HEVC)標準的內插濾波器、6-抽頭(6-taps)的Lanczos濾波器、雙線性內插濾波器等。
根據本發明的一方面，在合併模式(merge mode)內可以使用變形運動補償。通常，合併模式使用分別表示用於運動資料的候選的合併索引。在一個實施例中，合併模式使用額外的合併索引來表示與變形運動補償相同的候選。例如，合併模式使用0-4來指示具有相應的候選的常規運動補償(regular motion compensation)(沒有變形)，並且，使用5-9來指示具有相應的候選的變形運動補償。這樣，在一個示例中，合併索引0和合併索引5指示同一候選但具有不同的運動補償。
在一個實施例中，在不同的級發信並執行變形運 動補償，例如，序列級、圖像級、切片級(lice level)等。在一個示例中，例如，編碼器(例如，編碼器130、編碼器430)將用於變形運動補償的標誌包含在用於圖像序列的序列參數集(sequence parameter set，SPS)中。當該標誌指示使能時，則在該圖像序列的處理(即編碼/解碼)過程中的區塊級運動補償(block level motion compensation)即是該變形運動補償技術。
在另一個示例中，例如，編碼器(例如，編碼器130、編碼器430)將用於變形運動補償的標誌包含在用於圖像的圖像參數集(picture parameter set，PPS)中。當該標誌指示使能時，則在該圖像的處理(即編碼/解碼)過程中的區塊級運動補償即是該變形運動補償技術。
在另一個示例中，例如，編碼器(例如，編碼器130、編碼器430)將用於變形運動補償的標誌包含在圖像的複數個切片中的一個切片的切片頭中。當該標誌指示使能時，則在該切片的處理(即編碼/解碼)過程中的區塊級運動補償即是該變形運動補償技術。
在另一個示例中，在區塊級處選擇性使用變形運動補償。在一個示例中，編碼器，例如編碼器130、編碼器430等，例如，基於預測質量，為每個區塊選擇常規運動補償(沒有變形)和該變形運動補償中的一個，並且在已編碼的區塊內使用一個標誌來指示該選擇。隨後，解碼器，例如解碼器180等，提取每個區塊內的標誌，該標誌指示運動補償的該選擇，然後相應地解碼該區塊。
第9圖示出了描述根據本發明實施例的方法示例900的流程圖。在一個示例中，該方法900由用於圖框間預測的編解碼器執行，例如，編碼器130、編碼器430、解碼器180等。在本示例中，根據球面投影將球面的圖像投影到矩形平面，以生成2D圖像。由於球面投影，圖像變形了，該方法900基於緯度和運動向量計算參考像素。該方法始於步驟901，並繼續到步驟910。
在步驟910中，接收運動向量。在一個示例中，該運動向量表示當前圖框和先前圖框之間的物體的移動。
在步驟920中，對於當前圖框內的像素，基於該像素的緯度和該運動向量確定一個或者複數個參考像素。在一個示例中，根據第8圖中公開的方法確定該一個或者複數個像素。
在步驟S930中，基於該一個或者複數個像素預測當前圖框內的該像素的值。在一個示例中，將內插濾波器使用到用於圖框間預測的這些像素上。
在步驟S940中，當存在較多用於圖框間預測的像素時，該方法返回到步驟S920；否則該方法繼續到步驟S999並結束。
第10圖示出了根據本發明實施例的區塊掃描示例的繪圖1000。繪圖1000示出了用於矩形平面內的圖像圖框的第一掃描示例1010和第二掃描示例1020。根據立方體投影通過將球面的圖像進行投影來生成該圖像圖框。該立方體投影的六個面被排列為面A-F，虛擬面1-6被添加以形成該矩形平面內的圖像圖框。
在第一掃描示例1010中，使用穿過圖像的整個水平寬度的大Z圖案來掃描區塊，例如，編碼區塊、編碼樹區塊等。
在第二掃描示例1020中，使用穿過每個面的水平寬度的小Z圖案來掃描區塊，例如，編碼區塊、編碼樹區塊等。在一個示例中，編碼器130使用該第二掃描示例1020。
第11圖示出了根據本發明實施例的面掃描示例的繪圖1100。繪圖1100示出了用於矩形平面內的圖像圖框的第一掃描示例1110、第二掃描示例1120和第三掃描示例1130。根據立方體投影通過將球面的圖像進行投影來生成該圖像圖框。該立方體投影的六個面被排列為面A-F，虛擬面1-6被添加以形成該矩形平面內的圖像圖框。
在第一掃描示例1110中，使用如圖所示的特定的順序：1-C-2-3-F-B-E-A-4-D-5-6，逐行掃描包含已投影的面A-F以及虛擬面1-6的面。
在第二掃描示例1120中，使用如圖所示的特定的順序：1-F-C-2-B-4-D-E-3-A-5-6，逐行掃描包含已投影的面A-F以及虛擬面1-6的面。
在第三掃描示例1130中，使用如圖所示的特定的順序：1-F-C-4-B-2-D-E-3-5-A-6，逐行掃描包含已投影的面A-F以及虛擬面1-6的面。
應注意，在另一個示例中，當虛擬面1-6的位置已知時，在掃描過程中跳過掃描虛擬面1-6。例如，以F-C-B-D-E-A為順序，掃描面A-F。
應注意，本發明中的各種模組和元件可以使用任一合適的技術來實現。在一個示例中，模組可以使用集體電路(integrated circuit，IC)來實現。在另一示例中，模組可以作為執行軟體指令的處理器來實現。
當一個或者複數個模組在由處理執行的軟體中實現時，可以將該軟體通過作為一個或者複數個指令來進行傳輸，或者將該軟體存儲在計算機可讀介質上。該計算機可讀介質包括非暫時性計算機存儲介質和通信介質，該通信介質包括能方便將計算機程序從一個位置傳輸到另一個位置的任一介質。非暫時性計算機可讀介質可以包括RAM、ROM、EEPROM、CD-ROM、壓縮盤(compact disc，CD)、激光碟、光碟、數字多功能碟(digital versatile disc，DVD)、軟碟以及藍光光碟(blu-ray disc)或者其他光碟存儲、磁碟存儲或者其他磁存儲設備，或者可以用於以指令或者資料結構的形式存儲特定程序代碼的且由通用或者專用計算機或者通用或者專用處理器訪問的任何其他介質。在一個示例中，通信連接也適當地被作為計算機可讀介質。例如，當使用同軸電纜、光纖光纜、雙絞線(twisted pair)、數字用戶線(digital subscriber line，DSL)或者諸如紅外、無線電、微波等無線技術，將該軟體從網站、服務器或者遠程源進行傳輸時，則同軸電纜、光纖光纜、雙絞線、DSL或者諸如紅外線、無線電和微波等無線技術被包含在介質的定義中。
當在硬體中實現時，該硬體可以包括一個或者複數個離散元件、集體電路、特定應用的集體電路 (application-specific integrated circuit，ASIC)等。
由於已經結合本發明的被提出用作示例的具體實施例描述了本發明的各個方面，可以做出這些示例的替代、修改和變形。因此，此處所說明的實施例用作示意目的，但不用於限制。在不脫離權利要求的範圍的情況下，可以做出改變。

Claims (13)

  1. 一種圖像處理的裝置，包括：處理電路，用於：接收矩形平面內的複數個圖像，其中該矩形平面內的該複數個圖像是根據從球面到該矩形平面的投影，來從該球面的複數個圖像投影得到的；以及基於與該投影相關的該矩形平面的複數個圖像特徵對該矩形平面內的該複數個圖像進行編碼/解碼。
  2. 如申請專利範圍第1項所述之裝置，其中該處理電路用於：調節一個或者複數個編碼/解碼參數，以作為該矩形平面的複數個位置參數的函數。
  3. 如申請專利範圍第2項所述之裝置，其中該處理電路用於：調節用於該矩形平面內複數個區域的位元分配，以作為該複數個區域的該複數個位置參數的函數。
  4. 如申請專利範圍第2項所述之裝置，其中該處理電路用於：調節用於該矩形平面內複數個區域的分割尺寸，以作為該複數個區域的該複數個位置參數的函數。
  5. 如申請專利範圍第2項所述之裝置，其中該處理電路用於：調節用於該矩形平面內複數個區域的採樣率，以作為該複數個區域的該複數個位置參數的函數。
  6. 如申請專利範圍第2項所述之裝置，其中該處理電路用於：調節用於該矩形平面內複數個區域的量化參數，以作為該複數個區域的該複數個位置參數的函數。
  7. 如申請專利範圍第2項所述之裝置，其中該處理電路用於：基於編碼單元的複數個位置參數和運動向量在圖框間預測過程對該編碼單元的參考進行變形。
  8. 如申請專利範圍第2項所述之裝置，其中該矩形平面的該複數個位置參數對應於該矩形平面的複數個緯度。
  9. 如申請專利範圍第1項所述之裝置，其中該處理電路用於：接收該矩形平面內的該複數個圖像，該矩形平面內的該複數個圖像是根據從該球面到重新排列在該矩形平面內的複數個非虛擬面的正多面體投影，來從該球面的複數個圖像投影得到的；以及基於該矩形平面內複數個面的複數個圖像特徵對該矩形平面內的該複數個圖像進行編碼/解碼。
  10. 如申請專利範圍第1項所述之裝置，其中該處理電路用於：接收該矩形平面內的該複數個圖像，該矩形平面內的該複數個圖像是根據使得變形作為複數個位置的函數的投影，來從該球面的複數個圖像投影得到的；以及在圖框間預測過程中執行變形運動補償。
  11. 如申請專利範圍第10項所述之裝置，其中該處理電路用於：基於合併模式內的合併索引，選擇性地執行不具有變形的運動補償和該變形運動補償。
  12. 如申請專利範圍第10項所述之裝置，其中該處理電路用於：基於標誌在序列級、圖像級、切片級和區塊級中的一個處執行該變形運動補償。
  13. 一種圖像處理的方法，包括：通過處理電路接收矩形平面內的複數個圖像，該矩形平面內的該複數個圖像是根據從球面到該矩形平面的投影，來從該球面的複數個圖像投影得到的；以及基於與該投影相關的該矩形平面的複數個圖像特徵對該矩形平面內的該複數個圖像進行編碼/解碼。
TW106123621A 2016-07-15 2017-07-14 一種視訊編解碼的方法及裝置 TWI678915B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662362613P 2016-07-15 2016-07-15
US62/362,613 2016-07-15
US201662403734P 2016-10-04 2016-10-04
US62/403,734 2016-10-04
US15/649,089 US20180020238A1 (en) 2016-07-15 2017-07-13 Method and apparatus for video coding
US15/649,089 2017-07-13

Publications (2)

Publication Number Publication Date
TW201811044A TW201811044A (zh) 2018-03-16
TWI678915B true TWI678915B (zh) 2019-12-01

Family

ID=60941460

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106123621A TWI678915B (zh) 2016-07-15 2017-07-14 一種視訊編解碼的方法及裝置

Country Status (4)

Country Link
US (1) US20180020238A1 (zh)
CN (1) CN109478312A (zh)
TW (1) TWI678915B (zh)
WO (1) WO2018010695A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
WO2018131813A1 (en) * 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Method and apparatus for generating metadata for 3d images
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
KR102596401B1 (ko) * 2017-03-13 2023-10-31 한국전자통신연구원 비디오 부/복호화를 위한 비정형 블록 기반 움직임 예측 및 보상 방법 및 그 장치
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
WO2019104862A1 (en) 2017-11-30 2019-06-06 SZ DJI Technology Co., Ltd. System and method for reducing video coding fluctuation
EP3695600A4 (en) * 2017-11-30 2020-08-19 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR CONTROLLING VIDEO ENCODING IN A FRAME OF IMAGE
CN111164972A (zh) 2017-11-30 2020-05-15 深圳市大疆创新科技有限公司 用于在帧级别控制视频编码的系统和方法
US11856222B2 (en) * 2018-04-11 2023-12-26 Interdigital Vc Holdings, Inc. Method and apparatus for encoding/decoding a point cloud representing a 3D object
WO2019211514A1 (en) * 2018-05-02 2019-11-07 Nokia Technologies Oy Video encoding and decoding
WO2020024173A1 (zh) * 2018-08-01 2020-02-06 深圳市大疆创新科技有限公司 图像处理方法和设备
EP3618442B1 (en) * 2018-08-27 2020-09-30 Axis AB An image capturing device, a method and computer program product for forming an encoded image
KR20210094646A (ko) * 2018-12-14 2021-07-29 지티이 코포레이션 몰입형 비디오 비트 스트림 처리
CN117635815A (zh) * 2019-06-28 2024-03-01 上海交通大学 基于三维点云的初始视角控制和呈现方法及系统
CN110708548B (zh) * 2019-10-14 2022-03-08 福建天晴在线互动科技有限公司 一种全景视频帧内比特分配的方法
US11924467B2 (en) * 2021-11-16 2024-03-05 Google Llc Mapping-aware coding tools for 360 degree videos

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001298652A (ja) * 2000-04-17 2001-10-26 Sony Corp 画像圧縮方法及び画像圧縮装置、並びにソフトウェア記憶媒体
US20040151244A1 (en) * 2003-01-30 2004-08-05 Samsung Electronics Co., Ltd. Method and apparatus for redundant image encoding and decoding
CN1829609A (zh) * 2003-07-07 2006-09-06 联邦科学和工业研究机构 编码隐形图像的方法
US7415356B1 (en) * 2006-02-03 2008-08-19 Zillow, Inc. Techniques for accurately synchronizing portions of an aerial image with composited visual information
US20110050859A1 (en) * 2009-09-03 2011-03-03 Technion Research & Development Foundation Ltd. Devices and methods of generating three dimensional (3d) colored models
CN103310682A (zh) * 2012-12-10 2013-09-18 柳州桂通科技有限公司 倒车入库过程车身出线状况精确识别装置系统及实现方法
US20160142697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4825291A (en) * 1986-01-24 1989-04-25 Hitachi, Ltd. Solid-state televison camera with storage time controller
US5920359A (en) * 1997-05-19 1999-07-06 International Business Machines Corporation Video encoding method, system and computer program product for optimizing center of picture quality
US6788333B1 (en) * 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
US7345283B2 (en) * 2005-10-04 2008-03-18 Lawrence Livermore National Security, Llc Filtered back-projection algorithm for Compton telescopes
CN101308018B (zh) * 2008-05-30 2010-09-15 汤一平 基于双目全方位视觉传感器的立体视觉测量装置
CN102508398B (zh) * 2011-11-09 2015-03-25 东莞市环宇文化科技有限公司 用计算机对平面待显示图进行球幕投影化处理的方法
JP6257439B2 (ja) * 2014-05-08 2018-01-10 オリンパス株式会社 撮像装置及び撮像方法
CN105120193A (zh) * 2015-08-06 2015-12-02 佛山六滴电子科技有限公司 一种录制全景视频的设备及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001298652A (ja) * 2000-04-17 2001-10-26 Sony Corp 画像圧縮方法及び画像圧縮装置、並びにソフトウェア記憶媒体
US20040151244A1 (en) * 2003-01-30 2004-08-05 Samsung Electronics Co., Ltd. Method and apparatus for redundant image encoding and decoding
CN1829609A (zh) * 2003-07-07 2006-09-06 联邦科学和工业研究机构 编码隐形图像的方法
US7415356B1 (en) * 2006-02-03 2008-08-19 Zillow, Inc. Techniques for accurately synchronizing portions of an aerial image with composited visual information
US20110050859A1 (en) * 2009-09-03 2011-03-03 Technion Research & Development Foundation Ltd. Devices and methods of generating three dimensional (3d) colored models
CN103310682A (zh) * 2012-12-10 2013-09-18 柳州桂通科技有限公司 倒车入库过程车身出线状况精确识别装置系统及实现方法
US20160142697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing

Also Published As

Publication number Publication date
WO2018010695A1 (en) 2018-01-18
TW201811044A (zh) 2018-03-16
US20180020238A1 (en) 2018-01-18
CN109478312A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
TWI678915B (zh) 一種視訊編解碼的方法及裝置
TWI650996B (zh) 視頻編碼或解碼方法及裝置
CN109644279B (zh) 用于用信号通知360度视频信息的方法和系统
US11202086B2 (en) Apparatus, a method and a computer program for volumetric video
CN109478313B (zh) 处理三维图像的方法和设备
CN108605093B (zh) 用于处理360度图像的方法和设备
CN109804633B (zh) 利用自适应帧内预测的全向视频编码和解码的方法和装置
CN107454468B (zh) 对沉浸式视频进行格式化的方法、装置和流
US9648346B2 (en) Multi-view video compression and streaming based on viewpoints of remote viewer
JP6866299B2 (ja) 全方向視差ライトフィールド表示システム用の方法および装置
Alface et al. Interactive omnidirectional video delivery: A bandwidth-effective approach
US11178383B2 (en) Method, apparatus and stream for volumetric video format
US11902348B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN114175100A (zh) 用于处理点云数据的方法和装置
CN107945101B (zh) 图像处理方法和装置
CN109792536A (zh) 用于编码和解码全向视频的方法和装置
US12058370B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN111095362A (zh) 用于编码点云的方法和设备
CN111448799A (zh) 全向视频切片段
CN110022481A (zh) 视频码流的解码、生成方法及装置、存储介质、电子装置
JP7425207B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
CN114503554B (zh) 用于传送体积视频内容的方法和装置
KR101910286B1 (ko) 360도 영상 부호화 방법, 이를 수행하기 위한 기록 매체 및 장치
JP2022513487A (ja) 没入型ビデオビットストリーム処理
Alface et al. Evaluation of bandwidth performance for interactive spherical video

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees