TW201817233A - 視訊編解碼方法及裝置 - Google Patents

視訊編解碼方法及裝置 Download PDF

Info

Publication number
TW201817233A
TW201817233A TW106134009A TW106134009A TW201817233A TW 201817233 A TW201817233 A TW 201817233A TW 106134009 A TW106134009 A TW 106134009A TW 106134009 A TW106134009 A TW 106134009A TW 201817233 A TW201817233 A TW 201817233A
Authority
TW
Taiwan
Prior art keywords
projection
view
layout
triangular projection
triangular
Prior art date
Application number
TW106134009A
Other languages
English (en)
Other versions
TWI663871B (zh
Inventor
林建良
林鴻志
李佳盈
張勝凱
朱啟誠
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201817233A publication Critical patent/TW201817233A/zh
Application granted granted Critical
Publication of TWI663871B publication Critical patent/TWI663871B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種視訊編碼方法，包括：設置複數個投影面的一360°虛擬實境(360VR)投影佈局，其中該等投影面包括分別位於該360VR投影佈局中的複數個位置的複數個三角形投影面；對具有由排列在該360VR投影佈局中的該等投影面所表示的一360°圖像內容的一幀進行編碼以生成一位元流；對於包括在該等位置的至少一部分中的每一位置，透過該位元流發信至少一語法元素，其中該至少一語法元素被設置以指示一三角形投影視圖的一索引與應用於該三角形投影視圖的內容旋轉的一旋轉角度的至少一個，該三角形投影視圖被填充到位於該每一位置的一對應的三角形投影面。

Description

具有所採用投影佈局的語法元素信令的視訊編碼方法與裝置以及相關的視訊解碼方法與裝置
本發明涉及視訊編碼與視訊解碼，更具體地，涉及具有所採用投影佈局(projection layout)的語法元素信令(syntax element signaling)的視訊編碼方法與裝置以及相關的視訊解碼方法與裝置。
具有複數個頭戴式顯示器(head-mounted displays，簡稱HMDs)的虛擬實境(VR)與各種各樣的應用相關聯，其向使用者提供寬視場內容(wide field of view content)的能力可以用來提供沉浸式的視覺體驗(immersive visual experiences)。必須在所有方向上捕獲真實世界環境以生成對應於觀察球(viewing sphere)的全景視訊(omnidirectional video)。隨著複數個相機平臺(camera rig)與複數個HMD的發展，由於展示如360°圖像內容所需要的高位元速率，VR內容的遞送可能很快成為瓶頸。當全景視訊的解析度是4K或者更高的時候，資料壓縮/編碼對位元元速率的減小是關鍵的。
通常，對應於觀察球的全景視訊被轉換成由排列在360VR投影佈局複數個投影面所表示的具有360°圖像內容的幀，然後所生產的幀被編碼成位元流用於傳輸。如果所採用的360VR投影佈局的配置是固定的而不允許進行任何調整，視訊編碼器對於該360°圖像內容的編碼具有較小的靈活性。因此，需要設計靈活的視訊編碼器，其被允許決定/選擇360VR投影佈局並且發信與所採用的該360VR投影佈局有關的語法元素至視訊解碼器。
本發明的目的之一是提供一種具有所採用投影佈局的語法元素信令的視訊編碼方法與裝置以及相關的視訊解碼方法與裝置。
根據本發明的第一方面，公開了一種示例性視訊編碼方法。該示例性視訊編碼方法包括：設置複數個投影面的一360°虛擬實境(360VR)投影佈局，其中該等投影面包括分別位於該360VR投影佈局中的複數個位置的複數個三角形投影面；對具有由排列在該360VR投影佈局中的該等投影面所表示的一360°圖像內容的一幀進行編碼以生成一位元流；對於包括在該等位置的至少一部分中的每一位置，透過該位元流發信至少一語法元素，其中該至少一語法元素被設置以指示一三角形投影視圖的一索引與應用於該三角形投影視圖的內容旋轉的一旋轉角度中的至少一個，該三角形投影視圖被填充到位於該每一位置的一對應的三角形投影面。
根據本發明的第二方面，公開了一種示例性視訊編碼方法。該示例性編碼方法包括：對具有由排列在一360°虛擬實境(360VR)投影佈局中的複數個投影面所表示的一360°圖像內容的一幀進行編碼以生成一位元流，其中該等投影面包括複數個三角形投影面；以及透過該位元流發信一第一語法元素，其中當一預定義的投影佈局被選擇並用作為該360VR投影佈局的時候，該第一語法元素被設置以指示該預定義的投影佈局的選擇。
根據本發明的第三方面，公開了一種示例性視訊解碼方法。該示例性解碼方法包括：接收一位元流，處理該位元流以為包括在複數個位置的至少一部分中的每一位置獲得至少一語法元素；參考為該等位置中的至少一部分所獲得的至少複數個語法元素以決定複數個投影面的一360°虛擬實境(360VR)投影佈局，其中該等投影面包括分別位於該360VR投影佈局中的該等位置的複數個三角形投影面，並且該至少一語法元素指示一三角形投影視圖的一索引與應用於該三角形投影視圖的內容旋轉的一旋轉角度中的至少一個，該三角形投影視圖被填充到位於該每一位置的一對應的三角形投影面；以及對該位元流進行解碼以生成由排列在該360VR投影佈局中的該等投影面所表示的具有一360°圖像內容的一解碼幀。
根據本發明的第四方面，公開了一種示例性視訊解碼方法。該示例性解碼方法包括：接收一位元流，處理該位元流以獲得一第一語法元素；參考至少該第一語法元素以決定複數個投影面的一360°虛擬實境(360VR)投影佈局，其中該等投影面包括複數個三角形投影面，以及當一預定義的投影佈局被選擇並用作為該360VR投影佈局的時候，該第一語法元素指示該預定義的投影佈局的選擇；以及，解碼該位元流以生成由排列在該360VR投影佈局的該等投影面所表示的具有一360°圖像內容的一解碼幀。
根據本發明的第五方面，公開了一種示例性視訊編碼器。該示例性視訊編碼器包括控制電路以及編碼電路。該控制電路用於設置複數個投影面的一360°虛擬實境(360VR)投影佈局，其中該等投影面包括分別位於該360VR投影佈局中的複數個位置的複數個三角形投影面；該編碼電路用於對具有由排列在該360VR投影佈局中的該等投影面所表示的一360°圖像內容的一幀進行編碼以生成一位元流；其中對於包括在該等位置的至少一部分中的每一位置，透過該位元流發信至少一語法元素，其中該至少一語法元素被設置以指示一三角形投影視圖的一索引與應用於該三角形投影視圖的內容旋轉的一旋轉角度中的至少一個，該三角形投影視圖被填充到位於該每一位置的一對應的三角形投影面。
根據本發明的第六方面，公開了一種示例性視訊解碼器。該示例性視訊解碼器包括控制電路以及解碼電路。該解碼電路用於接收一位元流，處理該位元流以為包括在複數個位置的至少一部分中的每一位置獲得至少一語法元素，並且對該位元流進行解碼以生成由排列在該360VR投影佈局中的該等投影面所表示的具有一360°圖像內容的一解碼幀；以及該控制電路，用於為該等位置中的至少一部分所獲得的至少複數個語法元素以決定複數個投影面的一360°虛擬實境(360VR)投影佈局，其中該等投影面包括分別位於該360VR投影佈局中的該等位置的複數個三角形投影面，並且該至少一語法元素指示一三角形投影視圖的一索引與應用於該三角形投影視圖的內容旋轉的一旋轉角度中的至少一個，該三角形投影視圖被填充到位於該每一位置的一對應的三角形投影面。
下面的描述與申請專利範圍自始至終使用確定的複數個術語，其指的具體的複數個元件。本領域技術人員將會理解的是，電子設備製造商可能使用不同的名稱表示一元件，本文檔不旨在區分名稱不同但功能不相同複數個元件。在下面的描述與申請專利範圍中，術語“包括” 與“包含”以開放式的方式使用，且因此應被解釋為“包括但不限於”。術語“耦接”意味著間接或直接電連接的任一。因此，如果一設備耦接到另一設備，則連接可以透過直接電連接，或透過經由其他裝置與連接的間接電連接。
第1圖示出了根據本發明一實施例的視訊編碼器。視訊編碼器100包括控制電路102與編碼電路104。需要注意的是，第1圖所示的視訊編碼器架構僅用於說明性的目的，並不意味著對本發明的限制。例如，編碼電路104的架構可以根據編碼標準而變化。該控制電路102接收對應於觀察球的全景視訊S_IN，並將該全景視訊S_IN轉換成具有由排列在360VR投影佈局的複數個投影面所表示的360°圖像內容的幀IMG，例如，該全景視訊S_IN可以從視訊捕捉裝置如全景相機中生成。該編碼電路104對該幀IMG(其具有由排列在360VR投影佈局的複數個投影面所表示的360°圖像內容)進行編碼以生成位元流BS。如圖1所示，該編碼電路104包括殘差計算電路111、轉換電路(由“T”表示)112、量化電路(由“Q”表示)113、熵編碼電路(例如，可變長度編碼器)114、逆量化電路(由“IQ”表示)115、逆轉換電路(由“IT”表示)116、重建電路117、至少一環路濾波器118、參考幀緩衝器119、幀間預測電路120(其包括運動估計電路(由“ME”表示)121以及運動補償電路(由“MC”表示)122)、幀內預測電路(由“IP”表示)123以及幀內/幀間模式選擇開關124。因為在該編碼電路104實施的這些電路元件的基本功能與操作對本領域技術人員是所習知的，此處不再贅述。
該視訊編碼器100與傳統視訊編碼器之間的主要區別在於該控制電路102用於決定/選擇360VR投影佈局，並且進一步用於設置與所決定的/所選擇的360VR投影佈局有關的一或複數個語法元素(SE)，其中與所決定的/所選擇的360VR投影佈局有關語法元素透過從該熵編碼電路114生成的位元流BS發信給視訊解碼器。換句話說，由該視訊編碼器100所採用的360VR投影佈局不是固定的，且被允許透過視訊編碼器100進行調整。因此，視訊編碼器100對該360°圖像內容的編碼具有更多的靈活性，後面將描述進一步的細節。
第2圖示出了根據本發明一實施例的視訊解碼器。視訊解碼器200可以透過如有線/無線通訊鏈路(communication link)或存儲媒介的傳輸方法與編碼器(例如第1圖所示的視訊編碼器100)溝通，在這個實施例中，視訊解碼器200接收位元流BS，並對所接收到的位元流BS進行解碼以生成解碼幀IMG’。例如，由該解碼幀IMG’所攜帶的複數個圖像內容可以顯示在顯示裝置上，如頭戴式顯示器。如第2圖所示，視訊解碼器200包括解碼電路220與控制電路230，需要注意的是第2圖所示的視訊解碼器結構僅用於說明性的目的，並不意味著對本發明的限制，例如，解碼電路220的架構可以根據編碼標準而變化。解碼電路220包括熵解碼電路(例如可變長度解碼器)202、逆量化電路(由“IQ”所表示)204、逆轉換電路(由“IT”所表示)206、重建電路208、運動向量計算電路(由“MV計算”所表示)210、運動補償電路(由“MC”表示)213、幀內預測電路(由“IP”所表示)214、幀內/幀間模式選擇開關216、至少一環路濾波器218以及參考幀緩衝器220。在這個實施例中，由該視訊編碼器100所編碼的幀IMG具有由排列在由控制電路102所設置/選擇的360VR投影佈局的複數個投影面所表示的360°圖像內容。因此，在視訊解碼器200對該位元流BS進行解碼以後，所解碼的幀(也就是重建的幀)IMG’也具有由排列在由控制電路102所設置/選擇的360VR投影佈局的複數個投影面所表示的360°圖像內容。因為在解碼電路220實施的這些電路元件的基礎功能與操作對相關領域的技術人員是所習知的，此處不再贅述。
視訊解碼器200與傳統視訊解碼器之間的主要區別在於熵解碼電路202進一步用於處理位元流BS以獲得與由控制電路102所設置/選擇的360VR投影佈局有關的語法元素，並且輸出所獲得的語法元素至控制電路230。因此，視訊解碼器200的控制電路230可以參考該所獲得的語法元素以決定由視訊編碼器100的控制電路102設置/選擇的360VR投影佈局。換句話說，在決定由視訊編碼器100的控制電路102設置/選擇的360VR投影佈局之後，控制電路230瞭解360°圖像內容如何排列在該解碼幀(也就是重建的幀)IMG’之中。
由視訊解碼器100所設置/選擇的該360VR投影佈局的複數個投影面包括複數個三角形投影面。例如，該360VR投影佈局可以是基於三角形的投影佈局，例如四面體投影佈局、八面體投影佈局、二十面體投影佈局、基於石英的四邊形投影佈局或者基於石英的六邊形投影佈局。
在本發明的一些實施例中，在根據從位元流獲得語法元素決定該360VR投影佈局(例如基於三角形的投影佈局)之後，具有由該視訊解碼器100所採用的360VR投影佈局的複數個投影面所表示的360°圖像內容的解碼幀(也就是重建的幀)IMG’可以進一步被轉換成具有由不同的360VR投影佈局(也就是等邊投影(equirectangular projection，簡稱ERP)佈局)的複數個投影面所表示的360°圖像內容的幀。例如，根據基於從位元流所獲得的複數個語法元素決定的360VR投影佈局，控制電路230可以有後處理的功能，即能夠將後處理(post-processing)(例如，360VR投影佈局轉換)應用到解碼幀IMG’。然而，這僅用於說明性的目的，並不意味著對本發明的限制。
第3圖示出了在第1圖所示的控制電路的控制下將要被填充到八面體投影佈局的複數個三角形投影面的複數個三角形投影視圖。可以從對應於觀察球的全景視訊中的複數個投影中獲得三角形投影視圖301-308，該對應於觀察球的全景視訊可以從例如全景相機中生成。具體地，三角形投影視圖301-304與第一半個觀察球有關，以及三角形投影視圖305-308與第二半個觀察球有關。因此，第一半個觀察球的圖像內容適當地投影到四個三角形平面上以形成三角形投影視圖301-304，以及第二半個觀察球的圖像內容適當地投影到四個三角形平面上以形成三角形投影視圖305-308。
第4圖示出了根據本發明一實施例的八面體投影佈局。在這個實施例中，八面體投影佈局402包括分別位於不同位置P0-P7的八個三角形投影面，360°圖像內容(其可以由全景相機所捕獲)由複數個三角形投影面中填充的複數個圖像內容所表示。根據三角形投影佈局402，該八個三角形面P0-P7適當地被包裝以形成將要由該編碼電路104編碼的幀IMG。
在示例性靈活的視訊編碼器設計中，其能夠設置八面體投影佈局402的配置，控制電路102決定第3圖所示的三角形投影視圖301-308以及第4圖所示的位於不同位置P0-P7的複數個三角形投影面之間的映射，與/或決定應用於三角形投影視圖301-308的內容旋轉的旋轉角度，該三角形投影視圖301-308被填充到複數個三角形投影面；以及編碼電路104(具體地，熵編碼電路114)透過位元流BS將該八面體投影佈局402的最終配置發信到視訊解碼器(例如視訊解碼器200)。例如，關於包括在該位置P0-P7的至少一部分(也就是部分或所有)中的每一位置，編碼電路104透過位元流BS發信至少一語法元素，其中該至少一語法元素由該控制電路102設置以指示三角形投影視圖的至少一索引以及應用於該三角形投影視圖的內容旋轉的旋轉角度，該三角形投影視圖被填充到位於該位置的對應的三角形投影面的。
第5圖示出了根據本發明一實施例的設置八面體投影佈局402的配置的過程。首先，控制電路102以預定義的順序創建投影視圖301-308的視圖陣列，根據實際設計的考慮，首先排列在該視圖陣列的三角形投影視圖301-308的順序可以調整。為了簡潔與簡單，假定該三角形投影視圖301-308順序地排列在視圖陣列中，使得該三角形投影視圖301-308分別由陣列索引0-7指示。該視圖陣列中的三角形投影視圖的陣列索引被用作透過位元流BS發信的三角形投影視圖的索引。需要注意的是，由控制電路102參考以用於在編碼器側的視圖選擇的排列在該視圖陣列中的複數個三角形投影視圖，可以由唯一的複數個數字或唯一的複數個符號表示，而不實際包括在該視圖陣列中。換句話說，該視圖陣列中的每一陣列元素是被分配給三角形投影視圖301-308其中一的唯一的數字/符號。因此，在下面的描述中，該視圖陣列中的三角形投影視圖以及該視圖陣列中的三角形投影視圖的唯一數字/符號可以是可交換的。另外，根據實際設計的需要，設置複數個三角形投影面的順序可以是可調整的。為了簡潔與簡單，假定由控制電路102按順序地對在位置P0-P7的該等三角形投影面進行設置。
對於具有位置索引i=0的第一位置P0，控制電路102決定三角形投影視圖301-308中的哪一被選擇為將要填充到位於第一位置P0的三角形投影面中，決定複數個旋轉角度的哪一被選擇用於將內容旋轉應用到所選擇的三角形投影視圖，該所選擇的三角形投影視圖被填充到位於第一位置P0的三角形投影面，以及設置相關的語法元素view_index與layout_rotation。語法元素view_index[i]指示該所選擇的三角形投影視圖的索引(例如，從視圖陣列中選擇的三角形投影視圖的陣列索引)，以及語法元素layout_rotation[i]指示應用到所選擇三角形投影視圖的內容旋轉的旋轉角度，語法元素layout_rotation的規格可以由下表所定義。
因此，當應用到三角形投影視圖(其是等邊三角形)的內容旋轉的旋轉角度是0°的時候，語法元素layout_rotation被設置為0；當應用到三角形投影視圖(其是等邊三角形)的內容旋轉的旋轉角度是逆時針+120°的時候，語法元素layout_rotation被設置為1；當應用到三角形投影視圖(其是等邊三角形)的內容旋轉的旋轉角度是逆時針+240°的時候，語法元素layout_rotation被設置為2。
需要注意的是，位於基於三角形的投影佈局中不同位置的複數個三角形投影面可以被分配預設的複數個旋轉角度，以致具有預設旋轉角度的內容旋轉經常被應用於三角形投影視圖，該三角形投影視圖被填充到被分配預設旋轉角度的三角形投影視圖。因此，應用於三角形投影視圖的內容旋轉的最終旋轉角度等於該預設旋轉角度加該發信的旋轉角度(也就是，由發信的語法元素layout_rotation指示的旋轉角度)，該三角形投影視圖被填充到被分配預設旋轉角度的三角形投影面。例如，關於第4圖所示的八面體投影佈局402，位於不同位置P0-P7的複數個三角形投影面可以被分配相同的預設旋轉角度(例如，0°)。又例如，關於不同於第4圖所示的八面體投影佈局402的八面體投影佈局，在一些位置的複數個三角形投影面可以被分配第一預設旋轉角度(例如逆時針+60°)，以及在一些位置的複數個三角形投影面可以被分配第二預設旋轉角度(例如逆時針-60°)，複數個預設旋轉角度可以由視訊編碼器100與視訊解碼器200所預定義與所瞭解。因此，複數個預設旋轉角度的語法元素信令可以省略。
假如控制電路102決定三角形投影視圖304被選擇為將要填充到位於具有位置索引i=0的第一位置P0的三角形投影面以及決定用於將內容旋轉應用到所選擇的三角形投影視圖的旋轉角度是逆時針+120°，語法元素view_index[0]由三個二進位數字“011”設置，該三個二進位數字表明三角形投影視圖304由視圖陣列中的陣列索引3表示，以及語法元素layout_rotation[0]由兩個二進位數字“01”設置，該兩個二進位數字表明旋轉角度=逆時針+120°。在用於具有位置索引i=0的第一位置的語法元素view_index[0]與layout_rotation[0]被設置以後，由陣列索引3表示並保存於視圖陣列中的三角形投影視圖304可以被標記為不可選擇的陣列元素。
對於具有位置索引i=1的第二位置，控制電路102決定三角形投影視圖301-303、305-308中的哪一被選擇為將要填充到位於第二位置P1的三角形投影面，決定複數個旋轉角度中的哪一被選擇用於將內容旋轉應用於所選擇的三角形投影視圖，該所選擇的三角形投影視圖被填充到位於第二位置P1的三角形投影面，並設置相關的語法元素view_index[1]與layout_rotation[1]。假如控制電路102決定三角形投影視圖302被選擇為將要填充到具有位置索引i=1的第二位置P1的三角形投影面，以及決定用於將內容旋轉應用到所選擇的三角形投影視圖304的所選擇的旋轉角度是0°，語法元素view_index[1]由三個二進位數字“001”設置，該三個二進位數字表明三角形投影視圖302由視圖陣列中的陣列索引1表示，且語法元素layout_rotation[1]由兩個二進位數字“00”設置，該兩個二進位數字表明旋轉角度=0°。在具有位置索引i=1的用於第二位置P1的語法元素view_index[1]與layout_rotation[1]被設置以後，由陣列索引1表示並保存於視圖陣列中的三角形投影視圖302可以被標記為不可選擇的陣列元素。
對於具有位置索引i=2的第三位置P2，控制電路102決定三角形投影視圖301、303、305-308中的哪一被選擇為將要填充到位於第二位置P2的三角形投影面，決定複數個旋轉角度中的哪一被選擇用於將內容旋轉應用於填充到位於第二位置P2的三角形投影面的所選擇三角形投影視圖，以及設置相關的語法元素view_index[2]與layout_rotation[2]。假定控制電路102決定三角形投影視圖301被選擇為將要填充到位於具位置索引i=2的第二位置P2三角形投影面以及決定用於將內容旋轉應用於所選擇的三角形投影視圖304的所選擇的旋轉角度是逆時針+240°，語法元素view_index[2]由三個二進位數字“000”設置，該三個二進位數字表明三角形投影視圖301由視圖陣列中的陣列索引0表示，以及語法元素layout_rotation[2]由兩個二進位數字“10”設置，該兩個二進位數字表明旋轉角度是逆時針+240°。在用於具有位置索引i=2的第三位置P2語法元素view_index[2]與layout_rotation[2]被設置以後，由陣列索引0表示並保存於視圖陣列中的三角形投影視圖301可以被標記為不可選擇的陣列元素。
位於複數個位置P0-P7的複數個三角形投影面由控制電路102按順序地設置。假定在用於具有位置索引i=5的第五位置P5的語法元素view_index[5]與layout_rotation[5]被設置以後，剩餘的可選擇的複數個陣列元素是由視圖陣列中的陣列索引4表示的三角形投影視圖305以及由視圖陣列中的陣列索引7表示的三角形投影視圖308。對於具有位置索引i=6的第七位置P6，控制電路102決定三角形投影視圖305、308中的哪一被選擇為將要填充到位於第七位置P6的三角形投影面中，決定複數個旋轉角度中的哪一被選擇用於將內容旋轉應用於所選擇的三角形投影視圖，該所選擇的三角形投影視圖被填充到位於第七位置P6的三角形投影面，以及設置相關的語法元素view_index[6]與layout_rotation[6]。假定控制電路102決定三角形投影視圖305被選擇為將要填充到位於具有位置索引i=6的第七位置的三角形投影面，以及決定用於將內容旋轉應用於所選擇的三角形投影視圖的所選擇的旋轉角度是逆時針+240°，語法元素view_index[6]由三個二進位數字“100”設置，該三個二進位數字表明三角形投影視圖305由視圖陣列中的陣列索引4表示，以及語法元素layout_rotation[6]由兩個二進位數字“10”設置，該兩個二進位數字表明旋轉角度是逆時針+240°。在用於具有位置索引i=6的第七位置P6的view_index[6]與layout_rotation[6]被設置以後，由陣列索引4表示並保存於視圖陣列中的三角形投影視圖305可以被標記為不可選擇的陣列元素。
因為在視圖陣列中僅有一可選擇的陣列元素(例如三角形投影視圖308)，可以推測的是，該三角形投影視圖被選擇為將要填充位於最後位置(也就是具有位置索引i=7的第八位置P7)的三角形投影面。對於具有位置索引i=7的第八位置P7，控制電路102不需要設置語法元素view_index，以致沒有語法元素view_index透過位元流BS發信，語法元素view_index表明剩餘的三角形投影視圖的索引，該剩餘的三角形投影視圖被填充到位於具有位置索引i=7的第八位置P7的對應的三角形投影面，這樣，可以提高編碼效率。
對於具有位置索引i=7的第八位置P7，控制電路102仍需要決定複數個旋轉角度中的哪一被選擇用於將內容旋轉應用於被選擇的三角形投影視圖，該被選擇的三角形投影視圖被填充到位於第八位置P7的三角形投影面，以及設置相關的語法元素layout_rotation[7]。假定控制電路102決定用於將內容旋轉應用到所選擇的三角形投影視圖308的旋轉角度是逆時針+120°，語法元素layout_rotation[7]由兩個二進位數字“01”設置，該兩個二進位數字表明旋轉角度=逆時針+120°。
複數個固定長度的語法元素view_index[0]-view_index[6]以及複數個固定長度語法元素layout_rotation[0]-layout_rotation[7]透過位元流BS發信到視訊解碼器(也就是視訊解碼器200)，該等固定長度的語法元素view_index[0]-view_index[6]表明位於複數個位置P0-P6的複數個三角形投影面的複數個索引以及該等固定長度語法元素layout_rotation[0]-layout_rotation[7]表明應用於填充到位於複數個位置P0-P7的複數個三角形投影面的內容旋轉的複數個旋轉角度。因此，熵解碼電路202可以將資料處理(也就是語法解析)應用到位元流BS以從該位元流BS中獲得所發信的語法元素view_index[0]-view_index[6]以及layout_rotation[0]-layout_rotation[7]，所獲得的語法元素view_index[0]-view_index[6]以及layout_rotation[0]-layout_rotation[7]被提供給控制電路230。
與視訊編碼器102的控制電路102一樣，視訊編碼器200的控制電路230以與由控制電路102採用的相同的預定義順序的創建三角形投影視圖301-308的最初的視圖陣列。在這個示例中，可選擇的三角形投影視圖301-308順序地排列在最初的視圖陣列中，以致該可選擇的三角形投影視圖301-308可以分別由陣列索引0-7表示。需要注意的是，由控制電路230參考用於解碼器側的視圖確定的排列在視圖陣列中的複數個三角形投影視圖，可以由唯一的複數個數字或唯一的符號所表示，而並不實際包括在視圖陣列中。換句話說，視圖陣列中的每個陣列元素是被分配給三角形投影視圖301-308其中一的唯一的數字/符號。因此，在下面的描述中，視圖陣列中的三角形投影視圖以及視圖陣列中的三角形投影視圖的唯一的數字/符號可以是互換的。
與視訊編碼器102的控制電路102一樣，視訊編碼器200的控制電路230按順序的決定位於複數個位置P0-P7的複數個三角形投影面。因此，控制電路230參考語法元素view_index[0]-view_index[6]以決定位於複數個位置P0-P7的複數個三角形投影面。在一語法元素view_index[i]用於決定三角形投影視圖301-308中的哪一被填充到位於八面體投影佈局402中的位置[i]的三角形投影面之後，具有由陣列元素view_index[i]指定的陣列索引的三角形投影視圖被標記為視圖陣列中不可選擇的陣列元素。在所有語法元素view_index[0]-view_index[6]被用於決定位於複數個位置P0-P7的複數個三角形投影面之後，控制電路230決定視圖陣列中可用的剩餘可選擇的三角形投影是被填充到位於八面體投影佈局402中的最後位置P7的剩餘的三角形投影面的三角形投影視圖。此外，控制電路230參考語法元素layout_rotation[0]-layout_rotation[7]以決定應用於位於複數個三角形投影面的八面體投影佈局402中的複數個位置P0-P7的內容旋轉的複數個旋轉角度。需要注意的是，位於複數個位置P0-P7的複數個三角形投影面可以進一步被分別分配複數個預設旋轉角度。因此，旋轉內容的最終旋轉角度等於該預設旋轉角度加所發信的旋轉角度(也就是由所發信的語法元素layout_rotation所指示的旋轉角度)，該旋轉內容被應用於填充到被分配預設旋轉角度的三角形投影面的三角形投影視圖。
在第5圖所示的實施例中，所有語法元素view_index[0]-view_index[6]表明位於複數個位置P0-P6的複數個三角形投影面的複數個索引具有相同比特長度(例如，3)。然而，這僅用於說明性的目的，並不意味著對本發明的限制。或者，一些語法元素view_index[0]-view_index[6]表明位於位置P0-P6的複數個三角形投影面的複數個索引具有不同的比特長度，這樣，可以進一步提高編碼效率。
第6圖示出了根據本發明一實施例的設置八面體投影佈局402的配置的另一過程。首先，控制電路102以預定義的順序創建三角形投影視圖301-308的視圖陣列。根據實際設計的需要，在該視圖陣列中的三角形投影視圖301-308的最初排列順序是可調整的。為了簡潔與簡單，假定三角形投影視圖301-308是順序地排列在視圖陣列中的，以致三角形投影視圖301-308分別由陣列索引0-7表示。視圖陣列中的三角形投影視圖的陣列索引被用作為將要透過位元流BS發信的三角形投影視圖的索引。根據實際設計的需要，設置複數個三角形投影面的順序是可調整的，為了簡潔與簡單，假定位於複數個位置P0-P7的複數個三角形投影面由控制電路102按順序的設置。
對於具有位置索引i=0的第一位置P0，控制電路決定三角形投影視圖301-308中的哪一被選擇為將要填充到位於第一位置P0的三角形投影面中，決定複數個旋轉角度的哪一被選擇用於將內容旋轉應用於所選擇的三角形投影視圖，該所選擇的三角形投影視圖被填充到位於第一位置P0的三角形投影面，以及設置相關的語法元素view_index[0]與layout_rotation[0]。語法元素view_index[i]指示所選擇的三角形投影視圖的索引(例如，視圖陣列中的該三角形投影視圖的陣列索引)，以及語法元素layout_rotation[i]指示應用到所選擇三角形投影視圖的內容旋轉的旋轉角度。因為視圖陣列中的陣列元素的數目是8，至少需要三個二進位數字以設置該語法元素view_index[0]。假定控制電路102決定三角形投影視圖304被選擇為將要填充到位於具有位置索引i=0的第一位置P0的三角形投影面，以及決定用於將內容旋應用於所選擇的三角形投影視圖304的旋轉角度是逆時針+120°，語法元素view_index[0]由三個二進位數字“011”設置，該三個二進位數字表明三角形投影視圖304由視圖陣列中的陣列索引3表示，以及語法元素layout_rotation[0]由兩個二進位數字“01”設置，該兩個二進位數字表明旋轉角度=逆時針+120°。在用於具有位置索引i=0的第一位置P0的語法元素view_index[0]與layout_rotation[0]被設置以後，將所選擇的三角形投影視圖304從視圖陣列中移除，因此複數個三角形投影視圖301-303,305-308順序地排列在更新的視圖陣列中，以致三角形投影視圖301-303、305-308可以分別由陣列索引0-6表示。
對於具有位置索引i=1的第二位置P1，控制電路102決定三角形投影視圖301-303、305-308中的哪一被選擇為將要填充到位於第二位置P1的三角形投影面，決定複數個旋轉角度中的哪一被選擇用於將內容旋轉應用於填充到位於第二位置P1的三角形投影面的所選擇的三角形投影視圖，並設置相關的語法元素view_index[1]與layout_rotation[1]。因為視圖陣列中的陣列元素的數目是7，至少需要三個二進位數字以設置該語法元素view_index[1]。假定控制電路102決定三角形投影視圖302被選擇為將要填充到位於具有位置索引i=1的第二位置P1的三角形投影面，以及決定用於將內容旋應用於所選擇的三角形投影視圖304的旋轉角度是0°，語法元素view_index[1]由三個二進位數字“001”設置，該三個二進位數字表明三角形投影視圖302由視圖陣列中的陣列索引1表示，以及語法元素layout_rotation[1]由兩個二進位數字“00”設置，該兩個二進位數字表明旋轉角度=0°。在用於具有位置索引i=1的第二位置P1的語法元素view_index[1]與layout_rotation[1]被設置以後，將所選擇的三角形投影視圖302從視圖陣列中移除。因此，三角形投影視圖301、303、305-308順序地排列在更新的視圖陣列中，以致三角形投影視圖301、303、305-308可以分別由陣列索引0-5表示。
對於具有位置索引i=2的第三位置P2，控制電路102決定三角形投影視圖301、303、305-308中的哪一被選擇為將要填充到位於第二位置P2的三角形投影面，決定複數個旋轉角度中的哪一被選擇用於將內容旋轉應用於填充到位於第二位置P2的三角形投影面的所選擇的三角形投影視圖，並設置相關的語法元素view_index[2]與layout_rotation[2]。因為視圖陣列中的陣列元素的數目是6，至少需要三個二進位數字以設置該語法元素view_index[2]。假定控制電路102決定三角形投影視圖301被選擇為將要填充到位於具有位置索引i=2的第二位置P2的三角形投影面，以及決定用於將內容旋應用於所選擇的三角形投影視圖304的旋轉角度是逆時針240°，語法元素view_index[2]由三個二進位數字“000”設置，該三個二進位數字表明三角形投影視圖301由更新的視圖陣列中的陣列索引2表示，以及語法元素layout_rotation[2]由兩個二進位數字“10”設置，該兩個二進位數字表明旋轉角度=逆時針240°。在用於具有位置索引i=2的第三位置P2的語法元素view_index[2]與layout_rotation[2]被設置以後，將所選擇的三角形投影視圖301從視圖陣列中移除，因此導致更新的視圖陣列具有5個陣列元素。
位於複數個位置P0-P7的複數個三角形投影面由控制電路按順序的設置。因此，當更新的視圖陣列中剩餘的陣列元素數目大於2且小於5的時候，兩個二進位數字可以用於設置語法元素view_index[i]，其中4≤i≤5；以及當更新的視圖陣列中剩餘的陣列元素數目小於3的時候，一二進位數字可以用來設置語法元素view_index[i]，其中i=6。假定在用於具有位置索引i=5的第五位置P5的語法元素view_index[5]與layout_rotation[5]被設置以後，剩餘的陣列元素是三角形投影視圖305與308，該三角形投影視圖305與308順序地排列在更新的視圖陣列中，以致該三角形投影視圖305與308分別由陣列索引0與1表示。對於具有位置索引i=6的第七位置P6，控制電路102決定三角形投影視圖305、308中的哪一被選擇為將要填充到位於第二位置P6的三角形投影面，決定複數個旋轉角度中的哪一被選擇用於將內容旋轉應用於所選擇的三角形投影視圖，該所選擇的三角形投影視圖被填充到位於第七位置P6的三角形投影面，並設置相關的語法元素view_index[6]與layout_rotation[6]。因為視圖陣列中的陣列元素的數目是2，可以用一二進位數字設置語法元素view_index[6]。假定控制電路102決定三角形投影視圖305被選擇為將要被填充到位於具有位置索引i=6的第七位置的三角形投影面中，以及決定用於將內容旋應用於所選擇的三角形投影視圖304的所選擇的旋轉角度是逆時針240°，語法元素view_index[6]由一二進位數字“0”設定，該一二進位數字表示三角形投影視圖305由更新的視圖陣列中的陣列索引0表示，語法元素layout_rotation[6]由兩個二進位數字“10”表示，該兩個二進位數字表示旋轉角度=逆時針+240°。在用於具有位置索引i=6的第七位置P6的語法元素view_index[6]與layout_rotation[6]被設置以後，將所選擇的三角形投影視圖305從視圖陣列中移除，導致更新的視圖陣列僅有一陣列元素(也就是三角形投影視圖308)。
因為剩餘的可選擇的陣列元素是僅由視圖陣列中的陣列索引0表示的三角形投影視圖308，可以推測是，該三角形投影視圖被選擇為將要填充位於最後位置(也就是具有位置索引i=7的第八位置P7)的三角形投影面。對於具有位置索引i=7的第八位置P7，控制電路102不需要設置語法元素view_index，以致沒有語法元素view_index表明剩餘的三角形投影視圖的索引透過位元流BS發信，該剩餘的三角形投影視圖被填充到位於具有位置索引i=7的第八位置P7的對應的三角形投影面。對於具有位置索引i=7的第八位置P7，控制電路102仍需要決定複數個旋轉角度中的哪一被選擇用於將內容旋轉應用於填充到位於第八位置P7的三角形投影面的被選擇的三角形投影視圖，以及設置相關的語法元素layout_rotation[7]。假定控制電路102決定用於將內容旋轉應用到所選擇的三角形投影視圖308的旋轉角度是逆時針+120°，語法元素layout_rotation[7]由兩個二進位數字“01”設置，該兩個二進位數字表明旋轉角度=逆時針+120°。
複數個可變長度的語法元素view_index[0]-view_index[6]以及複數個固定長度語法元素layout_rotation[0]-layout_rotation[7]透過位元流BS發信到視訊解碼器(也就是視訊解碼器200)，該等可變長度的語法元素view_index[0]-view_index[6]表明位於複數個位置P0-P6的複數個三角形投影面的複數個索引以及該等固定長度語法元素layout_rotation[0]-layout_rotation[7]表明應用於位於複數個位置P0-P7的複數個三角形投影面的內容旋轉的複數個旋轉角度。因此，熵解碼電路202可以將資料處理(也就是語法解析)應用到位元流BS以從該位元流BS中獲得所發信的語法元素view_index[0]-view_index[6]以及layout_rotation[0]- layout_rotation[7]，所獲得的語法元素view_index[0]-view_index[6]以及layout_rotation[0]-layout_rotation[7]被提供給控制電路230。
與視訊編碼器102的控制電路102一樣，視訊編碼器200的控制電路230以與由控制電路102採用的相同的預定義順序的創建三角形投影視圖301-308的最初的視圖陣列。在這個示例中，可選擇的三角形投影視圖301-308順序地排列在最初的視圖陣列中，以致該可選擇的三角形投影視圖301-308可以分別由陣列索引0-7表示。與視訊編碼器102的控制電路102一樣，視訊編碼器200的控制電路230按順序的決定位於複數個位置P0-P7的複數個三角形投影面。因此，控制電路230參考語法元素view_index[0]-view_index[6]以決定位於複數個位置P0-P7的複數個三角形投影面。在一語法元素view_index[i]用於決定三角形投影視圖301-308中的哪一被填充到位於八面體投影佈局402中的位置[i]的三角形投影面之後，將具有由陣列元素view_index[i]指定的陣列索引的三角形投影視圖從視圖陣列中移除，因此導致有陣列元素數目減小的更新的視圖陣列。在所有語法元素view_index[0]-view_index[6]被用於決定位於複數個位置P0-P6的複數個三角形投影面之後，控制電路230決定視圖陣列中可用的剩餘可選擇的三角形投影是被填充到位於八面體投影佈局402中的最後位置P7的剩餘的三角形投影面的三角形投影視圖。此外，控制電路230參考語法元素layout_rotation[0]- layout_rotation[7]以決定應用於位於八面體投影佈局402中的複數個位置P0-P7的複數個三角形投影面的內容旋轉的複數個旋轉角度。需要注意的是，位於複數個位置P0-P7的複數個三角形投影面可以進一步被分別分配複數個預設旋轉角度。因此，旋轉內容的最終旋轉角度等於該預設旋轉角度加所發信的旋轉角度(也就是由所發信的語法元素layout_rotation所指示的旋轉角度)，該旋轉內容被應用於填充到被分配預設旋轉角度的三角形投影面的三角形投影視圖。
在第5圖與第6圖的示例中，控制電路102決定第3圖所示的三角形投影視圖301-308以及第4圖所示的位於不同位置P0-P7的複數個三角形投影面之間的映射，以及進一步決定應用於被填充到複數個三角形投影面的複數個三角形投影視圖301-308的內容旋轉的旋轉角度；以及編碼電路104透過位元流BS將與八面體投影佈局402的最終配置有關的語法元素view_index[0]- view_index[6]以及layout_rotation[0]-layout_rotation[7]發信到視訊解碼器(例如視訊解碼器200)。然而，這僅用於說明性的目的，並不意味著對本發明的限制。
在第一可選設計中，控制電路102決定第3圖所示的三角形投影視圖301-308以及第4圖所示的位於不同位置P0-P7的複數個三角形投影面之間的映射，以及編碼電路104透過位元流BS將與八面體投影佈局402的最終配置有關的語法元素view_index[0]- view_index[6]以及layout_rotation[0]-layout_rotation[7]發信到視訊解碼器(例如視訊解碼器200)，然而，應用於填充到複數個三角形投影面的三角形投影視圖301-308的內容旋轉的複數個旋轉角度由視訊編碼器100與視訊解碼器200兩者所預定義與所瞭解，以致編碼電路104不需要透過位元流BS發信語法元素layout_rotation[0]- layout_rotation[7]至視訊解碼器200。
在第二可選的設計中，控制電路102決定應用於被填充到複數個三角形投影面的複數個三角形投影視圖301-308的內容旋轉的旋轉角度，以及編碼電路104透過位元流BS將與八面體投影佈局402的最終配置有關的語法元素layout_rotation[0]- layout_rotation[7]發信至視訊解碼器(例如，視訊解碼器200)。然而，第3圖所示的三角形投影視圖301-308以及第4圖所示的位於不同位置P0-P7的三角形投影面之間的映射是視訊編碼器100與視訊解碼器200兩者所預定義與所瞭解的，以致編碼電路104不需要透過位元流BS將語法元素view_index[0]- view_index[6]發信到視訊解碼器200。
在上述提到的語法元素信令的複數個示例中，控制電路102不設置用於最後位置(也就是具有位置索引i=7的第八位置P7)的語法元素view_index，以致沒有語法元素view_index透過位元流BS被發信，語法元素view_index表明剩餘的三角形投影視圖的索引，該剩餘的三角形投影視圖被填充到位於最後位置(也就是具有位置索引i=7的第八位置P7)的對應的三角形投影面。然而，這僅用於說明性的目的，並不意味著對本發明的限制。或者，控制電路102可以進一步設置用於最後位置(也就是具有位置索引i=7的第八位置P7)的語法元素view_index，以致表明剩餘的三角形投影視圖的索引的語法元素view_index也透過位元流BS被發信，該剩餘的三角形投影視圖被填充到位於最後位置(也就是具有位置索引i=7的第八位置P7)的對應的三角形投影面。因此，複數個固定長度的語法元素view_index[0]-view_index[7](或可變長度的語法元素view_index[0]- view_index[7])以及複數個固定長度的語法元素layout_rotation[0]- layout_rotation[7] 透過位元流BS發信到視訊解碼器(例如視訊解碼器200)，該等固定長度的語法元素view_index[0]-view_index[7](或可變長度的語法元素view_index[0]- view_index[7]) 表明位於複數個位置P0-P7的複數個三角形投影面的複數個索引，該等固定長度的語法元素layout_rotation[0]- layout_rotation[7]表明應用於位於複數個位置P0-P7的複數個三角形投影面的內容旋轉的複數個旋轉角度。熵解碼電路202可以將資料處理(例如語法解析)應用於位元流BS以從位元流BS中獲得所發信的語法元素view_index[0]-view_index[7]以及layout_rotation[0]- layout_rotation[7]，所獲得的語法元素view_index[0]-view_index[7]以及layout_rotation[0]- layout_rotation[7]被提供給控制電路230。
第4圖所示的具有複數個三角形投影面特定排列的八面體投影佈局僅用於說明目的，並不意味著對對本發明的限制。透過決定複數個三角形投影視圖與位於八面體投影佈局中不同的位置的複數個三角形投影面之間的映射與/或應用於填充到複數個三角形投影面的複數個三角形投影視圖的內容旋轉的複數個旋轉角度，設置八面體投影佈局的相同概念也可以應用到如第7圖與第8圖所示的具有複數個三角形投影面不同的特定排列的其他八面體投影佈局。需要注意的是，為了說明性的目的，第7-8圖僅示出了兩個可選的八面體投影佈局。實際上，具有複數個三角形投影面的任何360VR投影佈局可以由所提出的視訊編碼器100進行配置，其中相關的語法元素可以被發信到所提出的視訊解碼器200中。
例如，透過決定複數個三角形投影視圖與位於八面體投影佈局中不同的位置的複數個三角形投影面之間的映射與/或應用於填充到複數個三角形投影面的複數個三角形投影視圖的內容旋轉的複數個旋轉角度，設置八面體投影佈局的相同概念也可也應用到其他基於三角形的投影佈局中，如四面體投影佈局、二十面體投影佈局、基於石英的四邊形投影佈局與基於石英的六邊形投影佈局。
第9圖示出了在第1圖所示的控制電路的控制下將要被填充到四面體(tetrahedron)投影佈局的複數個三角形投影面的多三角形投影視圖。第10圖1示出了根據本發明一實施例的四面體投影佈局。將要被編碼的幀IMG具有由排列在四面體投影佈局中的複數個三角形投影面表示的360°圖像內容。視訊編碼器100的控制電路102透過決定複數個三角形投影視圖與位於四面體投影佈局中不同的位置的複數個三角形投影面之間的映射，與/或設置應用於填充到複數個三角形投影面的複數個三角形投影視圖的內容旋轉的複數個旋轉角度來設置四面體投影佈局。此外，視訊編碼器100的熵編碼電路114透過位元流BS將與由控制電路102設置的四面體投影佈局的最終配置有關的語法元素(例如view_index與/或layout_rotation)發信到視訊解碼器(例如視訊解碼器200)。關於視訊解碼器200，熵編碼電路202從位元流BS中獲得所發信的複數個語法元素(例如view_index與/或layout_rotation)，並且控制電路230參考所獲得的語法元素(例如view_index與/或layout_rotation)以決定由控制電路102設置四面體投影佈局的配置。
第11圖示出了在第1圖所示的控制電路102的控制下將要被填充到二十面體(icosahedron)投影佈局的複數個三角形投影面的多三角形投影視圖。第12圖示出了根據本發明一實施例的二十面體投影佈局。將要被編碼的幀IMG具有由排列在二十面體投影佈局中的複數個三角形投影面表示的360°圖像內容，視訊編碼器100的控制電路102透過決定複數個三角形投影視圖與位於二十面體投影佈局中不同的位置的複數個三角形投影面之間的映射，與/或設置應用於填充到複數個三角形投影面的複數個三角形投影視圖的內容旋轉的複數個旋轉角度來設置二十面體投影佈局。此外，視訊編碼器100的熵編碼電路114透過位元流BS將與由控制電路102設置的二十面體投影佈局的最終配置有關的語法元素(例如view_index與/或layout_rotation)發信到視訊解碼器(例如視訊解碼器200)。關於視訊解碼器200，熵編碼電路202從位元流BS中獲得所發信的複數個語法元素(例如view_index與/或layout_rotation)，並且控制電路230參考所獲得的語法元素(例如view_index與/或layout_rotation)以決定由控制電路102設置二十面體投影佈局的配置。
第13圖示出了在第1圖所示的控制電路的控制下將要被填充到基於石英的四邊形(tetragon quartz-based)投影佈局的複數個投影面的複數個投影視圖。第14圖示出了根據本發明一實施例的基於石英的四邊形投影佈局。將要被編碼的幀IMG具有由排列在基於石英的四邊形投影佈局中的複數個投影面(其包括三角形投影面)表示的360°圖像內容，基於石英的四邊形投影佈局的複數個設置由視訊編碼器100的控制電路102決定，包括複數個三角形投影視圖與位於基於石英的四邊形投影佈局中不同的位置的複數個三角形投影面之間的映射與/或設置應用於填充到複數個三角形投影面的複數個三角形投影視圖的內容旋轉的複數個旋轉角度。此外，視訊編碼器100的熵編碼電路114透過位元流BS將與由控制電路102設置的基於石英的四邊形投影佈局的最終配置有關的語法元素(例如view_index與/或layout_rotation)發信到視訊解碼器(例如視訊解碼器200)。關於視訊解碼器200，熵編碼電路202從位元流BS中獲得所發信的複數個語法元素(例如view_index與/或layout_rotation)，並且控制電路230參考所獲得的語法元素(例如view_index與/或layout_rotation)以決定由控制電路102設置基於石英的四邊形投影佈局的配置。
第15圖示出了在第1圖所示的控制電路的控制下將要被填充到基於石英的六邊形(tetragon quartz-based)投影佈局的複數個三角形投影面的多三角形投影視圖。第16圖示出了根據本發明一實施例的基於石英的六邊形投影佈局。將要被編碼的幀IMG具有由排列在基於石英的六邊形投影佈局中的複數個投影面(其包括三角形投影面)表示的360°圖像內容，基於石英的六邊形投影佈局的複數個設置由視訊編碼器100的控制電路102決定，包括複數個三角形投影視圖與位於基於石英的六邊形投影佈局中不同的位置的複數個三角形投影面之間的映射與/或設置應用於填充到複數個三角形投影面的複數個三角形投影視圖的內容旋轉的複數個旋轉角度。此外，視訊編碼器100的熵編碼電路114透過位元流BS將與由控制電路102設置的基於石英的六邊形投影佈局的最終配置有關的語法元素(例如view_index與/或layout_rotation)發信到視訊解碼器(例如視訊解碼器200)。關於視訊解碼器200，熵編碼電路202從位元流BS中獲得所發信的複數個語法元素(例如view_index與/或layout_rotation)，並且控制電路230參考所獲得的語法元素(例如view_index與/或layout_rotation)以決定由控制電路102設置基於石英的六邊形投影佈局的配置。
與上述實施例的靈活視訊編碼器設計的實施例一致，控制電路102可以用於設置360VR投影佈局(例如四面體投影佈局、八面體投影佈局、二十面體投影佈局、基於石英的四邊形投影佈局與基於石英的六邊形投影佈局)，透過積極地設置複數個三角形投影視圖與位於360VR投影佈局中不同的位置的複數個三角形投影面之間的映射與/或應用於填充到360VR投影佈局的複數個三角形投影面的複數個三角形投影視圖的內容旋轉的複數個旋轉角度，以及熵編碼電路114可以透過位元流BS將與由控制電路102設置的360VR投影佈局的最終配置有關的語法元素(例如view_index與/或layout_rotation)發信到視訊解碼器(例如視訊解碼器200)。在一可選設計中，複數個具有固定配置的不同的預定義的投影佈局中的其中一可以被選擇為360VR投影佈局，以及與所選擇的預定義的投影佈局有關的特定的語法元素可以透過位元流發信。在另一可選的設計中，具有固定配置的預定義的預設投影佈局可以有選擇地用作360VR投影佈局，以及表明預定義的預設投影佈局的選擇/不選擇的特定的語法元素可以透過位元流發信。需要注意的是，每個預定義的預設投影佈局都已被視訊編碼器100與視訊解碼器200兩者所瞭解，並且具有固定的配置設置(例如複數個投影視圖與位於預定義的投影佈局中不同的位置的複數個投影面之間固定的映射以及應用於填充到預定義的投影佈局中複數個投影面的複數個投影視圖的內容旋轉的複數個固定的旋轉角度)。
第17圖示出了根據本發明一實施例的支持一組不同的預定義的投影佈局的視訊編碼器的一部分。在這個實施例中，一組不同的預定義的投影佈局S1-SN由控制電路102所使用。例如，每個預定義的投影佈局S1-SN是具有複數個三角形投影面的預定義的基於三角的投影佈局(例如預定義的四面體投影佈局、預定義的八面體投影佈局、預定義的二十面體投影佈局、預定義的基於石英的四邊形投影佈局或預定義的基於石英的六邊形投影佈局)。控制電路102從不同的預定義的投影佈局S1-SN中選擇預定義的投影佈局，並將所選擇的預定義的投影佈局作為360VR投影佈局，其中幀IMG具有由排列在360VR投影佈局中的複數個投影面所表示的360°圖像內容，並被編碼成位元流BS用於傳輸。此外，控制電路102設置語法元素layout_selection以指示預定義的投影佈局的選擇，其中語法元素layout_selection透過從熵編碼電路114生成的位元流BS發信到視訊解碼器(例如視訊解碼器200)。
第18圖示出了根據本發明一實施例的支持預定義的預設投影佈局的視訊編碼器的一部分。在這個實施例中，預定義的預設投影佈局S由控制電路102所使用。例如，預定義的預設投影佈局S是具有複數個三角形投影面的預定義的基於三角形的投影佈局(例如預定義的四面體投影佈局、預定義的八面體投影佈局、預定義的二十面體投影佈局、預定義的基於石英的四邊形投影佈局或預定義的基於石英的六邊形投影佈局)。控制電路102決定如果預定義的預設投影佈局S應該被選擇為作為360VR投影佈局，在360VR投影佈局由預定義的預設投影佈局S設置的情況下，幀IMG具有由排列在360VR投影佈局中的複數個投影面所表示360°圖像內容，並且被編碼成位元流BS用於傳輸。此外，控制電路102設置語法元素layout_flag以指示預定義的預設投影佈局的選擇，其中語法元素layout_flag透過從熵編碼電路114生成的位元流BS發信到視訊解碼器(例如視訊解碼器200)。
在預定義的預設投影佈局S沒有被選擇為設置360VR投影佈局的另一情況下，控制電路102透過設置複數個三角形投影視圖與位於360VR投影佈局中不同的位置的複數個三角形投影面之間的映射與/或應用於填充到360VR投影佈局的複數個三角形投影面的複數個三角形投影視圖的內容旋轉的複數個旋轉角度來設置360VR投影佈局(例如預定義的四面體投影佈局、預定義的八面體投影佈局、預定義的二十面體投影佈局、預定義的基於石英的四邊形投影佈局或預定義的基於石英的六邊形投影佈局)。幀IMG具有透過由控制電路102明確設置的排列在360VR投影佈局中的複數個投影面所表示的360°圖像內容，並且被編碼成位元流BS用於傳輸。此外，控制電路102設置語法元素layout_flag以指示預定義的預設投影佈局的不選擇，以及進一步設置與360投影佈局的最終配置有關的複數個語法元素(例如view_index與layout_rotation)，其中該等語法元素包括layout_flag、view_index與layout_rotation、或layout_flag與view_index、或layout_flag與layout_rotation，透過位元流BS被發信到視訊解碼器(例如視訊解碼器200)。因為相關領域的技術人員在閱讀了參展第5-6圖中的實施例的上述段落之後，可以很容易地理解設置360VR投影佈局的配置的細節，在此不再贅述。
因為與由視訊編碼器100所採用的360VR投影佈局的配置/選擇有關的複數個語法元素(例如layout_selection、layout_flag、view_index與/或layout_rotation)被發信到視訊解碼器200，視訊解碼器200可以參考所發信的複數個語法元素(例如layout_selection、layout_flag、view_index與/或layout_rotation)以瞭解由視訊編碼器100所採用的360VR投影佈局的配置/選擇。
第19圖示出了根據本發明一實施例的支持一組不同的預定義的投影佈局的視訊解碼器的一部分。對由視訊解碼器200所接收的位元流BS進行解碼以生成解碼幀IMG’，該解碼幀IMG’具有由排列在360VR投影佈局中的複數個投影面所表示的360°圖像內容，該360VR投影佈局是由視訊編碼器100所選擇的預定義的投影佈局。在這個實施例中，視訊解碼器200的控制電路230也使用了相同的如第17圖所示的一組不同的預定義的投影佈局S1-SN。熵解碼電路202處理該位元流以獲得語法元素layout_selection，並輸出所獲得的語法元素layout_selection至控制電路230。接著，控制電路230參考語法元素layout_selection以決定預定義的投影佈局S1-SN中的哪一是由視訊編碼器100所使用的360VR投影佈局。
第20圖示出了根據本發明一實施例的支持預定義的預設投影佈局的視訊解碼器的一部分。對由視訊解碼器200所接收的位元流BS進行解碼以生成具有由排列在360VR投影佈局中的複數個投影面所表示的360°圖像內容的解碼幀IMG’，其中當預定義的預設投影佈局被選擇，該360VR投影佈局可以是預定義的預設投影佈局，或者當該預定義的投影佈局沒有被選擇，該360VR投影佈局可以由視訊解碼器100明確地設置。在這個實施例中，視訊解碼器200的控制電路230也使用了相同的如第18圖所示預定義的預設投影佈局S。熵解碼電路202處理該位元流以獲得語法元素layout_flag，並輸出所獲得的語法元素layout_flag至控制電路230。控制電路102參考語法元素layout_flag以決定如果360VR投影佈局是預定義的預設投影佈局S，在這種情況下，其中語法元素layout_flag指示預定義的預設投影佈局S的選擇，控制電路230決定360VR投影佈局是預定義的預設投影佈局S。在另一種情況下，其中語法元素layout_flag指示預定義的預設投影佈局S的不選擇，熵解碼電路202處理位元流BS以獲得額外的複數個語法元素(例如view_index與/或layout_rotation)，並且輸出所獲得的額外的複數個語法元素(例如view_index與/或layout_rotation)至控制電路230，控制電路230參考該額外的複數個語法元素(例如view_index與/或layout_rotation)以決定由視訊編碼器100所使用的360VR投影佈局的配置。
舉例來說，而非限制，與由視訊編碼器100所採用的360VR投影佈局(例如基於三角形的投影佈局)的配置/選擇有關的上述複數個語法元素(例如layout_selection、layout_flag、view_index、與/或layout_rotation)可以在序列層級、視圖層級、圖像層級、切片層級、塊層級、序列參數集層級(sequence parameter set，簡稱SPS)、視訊參數集(video parameter set，簡稱VPS)層級或自我調整參數集(adaptive parameter set，簡稱APS)層級被發信到視訊解碼器200。
本領域技術人員將很容易觀察到，在保持本發明的教導的同時，可以對設備與方法進行許多修改與變化，因此，以上公開的內容僅所附申請專利範圍涵蓋的範圍確定。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100‧‧‧視訊編碼器
102‧‧‧控制電路
104‧‧‧編碼電路
111‧‧‧殘差計算電路
112‧‧‧轉換電路
113‧‧‧量化電路
114‧‧‧熵編碼電路
115‧‧‧逆量化電路
116‧‧‧逆轉換電路
117‧‧‧重建電路
118‧‧‧環路濾波器
119‧‧‧參考幀緩衝器
120‧‧‧幀間預測電路
121‧‧‧運動估計電路
122‧‧‧運動補償電路
123‧‧‧幀內預測電路
124‧‧‧幀內/幀間模式選擇開關
200‧‧‧視訊解碼器
202‧‧‧熵解碼電路
204‧‧‧逆量化電路
206‧‧‧逆轉換電路
208‧‧‧重建電路
210‧‧‧運動向量計算電路
213‧‧‧運動補償電路
214‧‧‧幀內預測電路
216‧‧‧幀內/幀間模式選擇開關
218‧‧‧環路濾波器
220‧‧‧參考幀緩衝器
230‧‧‧控制電路
301~308‧‧‧三角形投影視圖
p0~p7‧‧‧位置
第1圖示出了根據本發明一實施例的視訊編碼器。 第2圖示出了根據本發明一實施例的視訊解碼器。 第3圖示出了在第1圖所示的控制電路的控制下將要被填充到八面體(octahedron)投影佈局的複數個三角形投影面的複數個三角形投影視圖。 第4圖示出了根據本發明一實施例的八面體投影佈局。 第5圖示出了根據本發明一實施例的設置八面體投影佈局的配置的過程。 第6圖示出了根據本發明一實施例的設置八面體投影佈局的配置的另一過程。 第7圖示出了根據本發明一實施例的另一八面體投影佈局。 第8圖示出了根據本發明一實施例的又一八面體投影佈局。 第9圖示出了在第1圖所示的控制電路的控制下將要被填充到四面體(tetrahedron)投影佈局的複數個三角形投影面的多三角形投影視圖。 第10圖示出了根據本發明一實施例的四面體投影佈局。 第11圖示出了在第1圖所示的控制電路的控制下將要被填充到二十面體(icosahedron)投影佈局的複數個三角形投影面的多三角形投影視圖。 第12圖示出了根據本發明一實施例的二十面體投影佈局。 第13圖示出了在第1圖所示的控制電路的控制下將要被填充到基於石英的四邊形(tetragon quartz-based)投影佈局的複數個三角形投影面的多三角形投影視圖。 第14圖示出了根據本發明一實施例的基於石英的四邊形投影佈局。 第15圖示出了在第1圖所示的控制電路的控制下將要被填充到基於石英的六邊形(tetragon quartz-based)投影佈局的複數個三角形投影面的多三角形投影視圖。 第16圖示出了根據本發明一實施例的基於石英的六邊形投影佈局。 第17圖示出了根據本發明一實施例的支持一組不同的預定義的投影佈局的視訊編碼器的一部分。 第18圖示出了根據本發明一實施例的支持預定義的預設投影佈局的視訊編碼器的一部分。 第19圖示出了根據本發明一實施例的支持一組不同的預定義的投影佈局的視訊解碼器的一部分。 第20圖示出了根據本發明一實施例的支持預定義的預設投影佈局的視訊解碼器的一部分。

Claims (20)

  1. 一種視訊編碼方法，包括： 設置複數個投影面的一360°虛擬實境(360VR)投影佈局，其中該等投影面包括分別位於該360VR投影佈局中的複數個位置的複數個三角形投影面； 對具有由排列在該360VR投影佈局中的該等投影面所表示的一360°圖像內容的一幀進行編碼以生成一位元流； 對於包括在該等位置的至少一部分中的每一位置，透過該位元流發信至少一語法元素，其中該至少一語法元素被設置以指示一三角形投影視圖的一索引與應用於該三角形投影視圖的內容旋轉的一旋轉角度中的至少一個，該三角形投影視圖被填充到位於該每一位置的一對應的三角形投影面。
  2. 如申請專利範圍第1項所述之視訊編碼方法，其中該等位置的一數目為N，該等位置包括(N-1)個位置以及一剩餘位置，對於每一該(N-1)個位置，指示該三角形投影視圖的一索引的一語法元素透過該位元流發信，該三角形投影視圖被填充到位於每一該(N-1)個位置中的一對應的三角形投影面；以及對於該剩餘位置，沒有指示三角形投影視圖的一索引的語法元素透過該位元流發信，該三角形投影視圖被填充到位於該剩餘位置的一對應的三角形投影面。
  3. 如申請專利範圍第1項所述之視訊編碼方法，其中該等位置的一數目為N，對於位於該等位置中的每一M個位置，指示三角形投影視圖的一索引的一語法元素透過該位元流發信，該三角形投影視圖被填充到位於該每一M個位置的一對應的三角形投影面，其中所發信的複數個語法元素表明用於該M個位置的複數個索引具有一相同的比特長度，並且M=N或(N-1)。
  4. 如申請專利範圍第1項所述之視訊編碼方法，其中對於包括在該等位置的至少一部分中的該每一位置，從複數個三角形投影視圖的一視圖陣列中選擇該三角形投影視圖，該三角形投影視圖被填充到位於該每一位置的該對應的三角形投影面，並且由該視圖陣列中的該三角形投影視圖的一陣列索引設置該三角形投影視圖的該索引，其中在為該每一位置選擇該三角形投影視圖以後，透過從該視圖陣列中移除該三角形投影視圖來更新該視圖陣列；分別指示複數個三角形投影視圖的複數個索引的複數個語法元素透過該位元流發信，該等三角形投影視圖被填充到位於該等位置的至少一部分中的所有位置的對應的複數個三角形投影面，以及並非所有的該等語法元素具有一相同的比特長度。
  5. 如申請專利範圍第1項所述之視訊編碼方法，其中對於每一該等位置，指示應用於該三角形投影視圖的該內容旋轉的該旋轉角度的一語法元素透過該位元流發信，該三角形投影視圖被填充到位於每一該等位置的一對應的三角形投影面。
  6. 如申請專利範圍第5項所述之視訊編碼方法，其中從由0°、120°與240°組成的一組中選擇該旋轉角度。
  7. 一種視訊編碼方法，包括： 對具有由排列在一360°虛擬實境(360VR)投影佈局中的複數個投影面所表示的一360°圖像內容的一幀進行編碼以生成一位元流，其中該等投影面包括複數個三角形投影面；以及 透過該位元流發信一第一語法元素，其中當一預定義的投影佈局被選擇並用作為該360VR投影佈局的時候，該第一語法元素被設置以指示該預定義的投影佈局的選擇。
  8. 如申請專利範圍第7項所述之視訊編碼方法，進一步包括： 從一組不同的預定義的投影佈局中選擇該預定義的投影佈局；以及 通過該預定義的投影佈局設置該360VR投影佈局。
  9. 如申請專利範圍第7項所述之視訊編碼方法，其中該第一語法元素被設置以指示該預定義的投影佈局沒有被選擇並用作為該360VR投影佈局，並且該視訊編碼方法進一步包括： 設置該360VR投影佈局，其中該等三角形投影面分別位於該360VR投影佈局的複數個位置；以及 對於包括在該等位置的至少一部分中的每一位置，透過該位元流發信至少一第二語法元素，其中該至少一第二語法元素被設置以指示三角形投影視圖的一索引與應用於該三角形投影視圖的內容旋轉的一旋轉角度的至少一個，該三角形投影視圖被填充到位於該每一位置的一對應的三角形投影面。
  10. 一種視訊解碼方法，包括： 接收一位元流； 處理該位元流以為包括在複數個位置的至少一部分中的每一位置獲得至少一語法元素； 參考為該等位置中的至少一部分所獲得的至少複數個語法元素以決定複數個投影面的一360°虛擬實境(360VR)投影佈局，其中該等投影面包括分別位於該360VR投影佈局中的該等位置的複數個三角形投影面，並且該至少一語法元素指示一三角形投影視圖的一索引與應用於該三角形投影視圖的內容旋轉的一旋轉角度中的至少一個，該三角形投影視圖被填充到位於該每一位置的一對應的三角形投影面；以及 對該位元流進行解碼以生成由排列在該360VR投影佈局中的該等投影面所表示的具有一360°圖像內容的一解碼幀。
  11. 如申請專利範圍第10項所述之視訊解碼方法，其中該等位置的一數目是N；該等位置包括(N-1)個位置與一剩餘位置，對於每一該(N-1)個位置，從該位元流中獲得指示三角形投影視圖的一索引的一語法元素，該三角形投影視圖被填充到位於每一該(N-1)個位置的一對應的三角形投影面；以及對於該剩餘位置，沒有從該位元流中獲得指示三角形投影視圖的一索引的語法元素，該三角形投影視圖被填充到位於該剩餘位置的一對應三角形投影面。
  12. 如申請專利範圍第10項所述之視訊解碼方法，其中該等位置的一數目是N；並且對於每一該等位置的M個位置，從該位元流中獲得指示三角形投影視圖的一索引的一語法元素，該三角形投影視圖被填充到位於每一該M個位置中的一對應的三角形投影面，其中所獲得的複數個語法元素表明用於該M個位置的複數個索引具有一相同的比特長度，並且M=N或(N-1)。
  13. 如申請專利範圍第10項所述之視訊解碼方法，其中對於包括在該等位置的該至少一部分中的該每一位置，從複數個三角形投影視圖的一視圖陣列中決定該三角形投影視圖，該三角形投影視圖被填充到位於該每一位置的該對應的三角形投影面，以及由該三角形投影視圖的該索引決定該視圖陣列中的該三角形投影視圖的一陣列索引，其中在為該每一位置決定該三角形投影視圖以後，透過從該視圖陣列中移除該三角形投影視圖更新該視圖陣列；從該位元流中獲得指示複數個三角形投影視圖的複數個索引的複數個語法元素，其中該等三角形投影視圖被填充到位於包括在該等位置中的該至少一部分中的所有位置的對應的複數個三角形投影面，以及並不是所有的所獲得的該等語法元素具有一相同的比特長度。
  14. 如申請專利範圍第10項所述之視訊解碼方法，其中對於每一該等位置，從該位元流中獲得指示應用於該三角形投影視圖的該內容旋轉的該旋轉角度的一語法元素，該三角形投影視圖被填充到位於每一該等位置的一對應的三角形投影面。
  15. 如申請專利範圍第14項所述之視訊解碼方法，其中從由0°、120°與240°組成的一組中選擇該旋轉角度。
  16. 一種視訊解碼方法，包括： 接收一位元流； 處理該位元流以獲得一第一語法元素； 參考至少該第一語法元素以決定複數個投影面的一360°虛擬實境(360VR)投影佈局，其中該等投影面包括複數個三角形投影面，以及當一預定義的投影佈局被選擇並用作為該360VR投影佈局的時候，該第一語法元素指示該預定義的投影佈局的選擇；以及 解碼該位元流以生成由排列在該360VR投影佈局的該等投影面所表示的具有一360°圖像內容的一解碼幀。
  17. 如申請專利範圍第16項所述之視訊解碼方法，其中參考至少該第一語法元素以決定該等投影面的該360VR投影佈局包括： 根據該第一語法元素從一組不同的預定義的投影佈局中選擇該預定義的投影投影佈局；以及 決定該360VR投影佈局是該預定義的投影佈局。
  18. 如申請專利範圍第16項所述之視訊解碼方法，其中該第一語法元素不指示該預定義的投影佈局的選擇，並且該視訊解碼方法進一步包括： 處理該位元流以為包括在複數個位置中至少一部分中的每一位置獲得至少一第二語法元素，其中該等三角形投影面分別位於該等位置，以及該至少一第二語法元素指示一三角形投影視圖的一索引與應用於該三角形投影視圖的內容旋轉的一旋轉角度中的至少一，該三角形投影視圖被填充到位於該每一位置的一對應的三角形投影面； 參考為該等位置的該至少一部分所獲得的複數個語法元素以決定該360VR投影佈局。
  19. 一種視訊編碼器，包括： 一控制電路，用於設置複數個投影面的一360°虛擬實境(360VR)投影佈局，其中該等投影面包括分別位於該360VR投影佈局中的複數個位置的複數個三角形投影面； 一編碼電路，用於對具有由排列在該360VR投影佈局中的該等投影面所表示的一360°圖像內容的一幀進行編碼以生成一位元流；其中對於包括在該等位置的至少一部分中的每一位置，透過該位元流發信至少一語法元素，其中該至少一語法元素被設置以指示一三角形投影視圖的一索引與應用於該三角形投影視圖的內容旋轉的一旋轉角度中的至少一個，該三角形投影視圖被填充到位於該每一位置的一對應的三角形投影面。
  20. 一種視訊解碼器，包括： 一解碼電路，用於接收一位元流，處理該位元流以為包括在複數個位置的至少一部分中的每一位置獲得至少一語法元素，並且對該位元流進行解碼以生成由排列在該360VR投影佈局中的該等投影面所表示的具有一360°圖像內容的一解碼幀；以及 一控制電路，用於為該等位置中的至少一部分所獲得的至少複數個語法元素以決定複數個投影面的一360°虛擬實境(360VR)投影佈局，其中該等投影面包括分別位於該360VR投影佈局中的該等位置的複數個三角形投影面，並且該至少一語法元素指示一三角形投影視圖的一索引與應用於該三角形投影視圖的內容旋轉的一旋轉角度中的至少一個，該三角形投影視圖被填充到位於該每一位置的一對應的三角形投影面。
TW106134009A 2016-10-07 2017-10-02 視訊編解碼方法及裝置 TWI663871B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662405290P 2016-10-07 2016-10-07
US62/405,290 2016-10-07
??PCT/CN2017/104849 2017-09-30
PCT/CN2017/104849 WO2018064967A1 (en) 2016-10-07 2017-09-30 Video encoding method and apparatus with syntax element signaling of employed projection layout and associated video decoding method and apparatus

Publications (2)

Publication Number Publication Date
TW201817233A true TW201817233A (zh) 2018-05-01
TWI663871B TWI663871B (zh) 2019-06-21

Family

ID=61830775

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106134009A TWI663871B (zh) 2016-10-07 2017-10-02 視訊編解碼方法及裝置

Country Status (5)

Country Link
US (1) US10462484B2 (zh)
EP (1) EP3472756B1 (zh)
CN (1) CN108475337B (zh)
TW (1) TWI663871B (zh)
WO (1) WO2018064967A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107547907B (zh) 2016-06-27 2020-02-21 华为技术有限公司 编解码的方法及设备
EP3476125A4 (en) 2016-10-07 2019-08-21 MediaTek Inc. METHOD AND DEVICE FOR PRODUCING A PROJECTION BASED KADER WITH 360 DEGREE IMAGE CONTENT SHOWN BY TRIANGULAR PROJECTION SURFACES IN A LIGHT SURFACE PROJECTION LAYOUT
US10380715B2 (en) 2016-12-07 2019-08-13 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
KR20190092485A (ko) * 2016-12-27 2019-08-07 삼성전자주식회사 360도 이미지를 부호화 또는 복호화하는 방법 및 장치
US10863198B2 (en) * 2017-01-03 2020-12-08 Lg Electronics Inc. Intra-prediction method and device in image coding system for 360-degree video
CN114245115B (zh) * 2018-12-30 2023-03-21 北京达佳互联信息技术有限公司 用于对视频进行编码的方法和装置
US20200213570A1 (en) * 2019-01-02 2020-07-02 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face and at least one padding region packed in 360-degree virtual reality projection layout
US11190801B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
US11659206B2 (en) 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
US11190768B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
US11303931B2 (en) 2020-06-10 2022-04-12 Mediatek Inc. Method and apparatus for processing projection-based frame having projection faces packed in hemisphere cubemap projection layout with face packing constraints

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141034A (en) 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
US6144773A (en) 1996-02-27 2000-11-07 Interval Research Corporation Wavelet-based data compression
US6466254B1 (en) 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
JP2003141562A (ja) 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US7308131B2 (en) 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
JP2004272590A (ja) * 2003-03-07 2004-09-30 Sony Corp データ符号化装置及びデータ符号化方法、並びにコンピュータ・プログラム
WO2008081961A1 (ja) 2007-01-04 2008-07-10 Hajime Narukawa 情報処理方法
US8638327B2 (en) 2007-11-14 2014-01-28 Microsoft Corporation Tiled projections for planar processing of round earth data
US8090014B2 (en) 2008-10-06 2012-01-03 Hewlett-Packard Development Company, L.P. Managing multiview streaming video data composed of frames
KR101690291B1 (ko) * 2009-02-05 2016-12-27 톰슨 라이센싱 적응형 모드 비디오 인코딩 및 디코딩 방법 및 장치
KR20100138725A (ko) 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
TW201101077A (en) 2009-06-25 2011-01-01 Univ Shu Te Constructing method and system for 3D environmental appearance simulation
CN101853621B (zh) 2010-02-05 2012-06-27 北京水晶石数字科技股份有限公司 一种八面体幻影成像系统
EP2408196B1 (en) 2010-07-14 2017-01-11 Alcatel Lucent A method, server and terminal for generating a composite view from multiple content items
JP2015156051A (ja) * 2012-06-06 2015-08-27 ソニー株式会社 画像処理装置、画像処理方法、プログラム
CN102938018B (zh) 2012-10-16 2015-06-17 华北水利水电学院 一种基于经纬线的等面积全球离散格网剖分方法
US8902322B2 (en) 2012-11-09 2014-12-02 Bubl Technology Inc. Systems and methods for generating spherical images
CN103888757A (zh) * 2014-03-24 2014-06-25 中国人民解放军国防科学技术大学 众视点裸视三维数字立体投影显示系统
US9986154B2 (en) 2014-05-21 2018-05-29 Here Global B.V. Developing a panoramic image
JP6398457B2 (ja) 2014-08-14 2018-10-03 株式会社リコー 撮影装置、撮影方法、およびプログラム
US9710879B2 (en) 2014-09-08 2017-07-18 Ross Video Limited Methods and systems for computing an alpha channel value
CN104244019B (zh) * 2014-09-18 2018-01-19 孙轩 一种全景视频影像室内分屏显示方法及显示系统
US10104361B2 (en) 2014-11-14 2018-10-16 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
CN107409231B (zh) 2015-03-05 2021-05-11 索尼公司 图像处理装置和图像处理方法
US10684485B2 (en) 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
JP6774304B2 (ja) 2015-11-26 2020-10-21 キヤノン株式会社 画像形成装置及び画像形成方法並びにプログラム及び記憶媒体
CN105898359A (zh) 2016-04-27 2016-08-24 乐视控股（北京）有限公司 虚拟现实终端及其视频的处理方法和装置
CN105898254B (zh) 2016-05-17 2018-10-23 北京金字塔虚拟现实科技有限公司 节省带宽的vr全景视频布局方法、装置及展现方法、系统
KR102506480B1 (ko) 2016-06-14 2023-03-07 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
US20180075576A1 (en) 2016-09-09 2018-03-15 Mediatek Inc. Packing projected omnidirectional videos
US10380715B2 (en) 2016-12-07 2019-08-13 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
KR102717018B1 (ko) 2017-02-06 2024-10-15 삼성전자주식회사 다면체에 기반한 vr 이미지를 제공하는 전자 장치 및 그 이미지의 제공 방법
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout

Also Published As

Publication number Publication date
CN108475337A (zh) 2018-08-31
TWI663871B (zh) 2019-06-21
EP3472756A1 (en) 2019-04-24
US10462484B2 (en) 2019-10-29
CN108475337B (zh) 2022-02-15
EP3472756A4 (en) 2020-03-04
US20180332305A1 (en) 2018-11-15
EP3472756B1 (en) 2024-07-24
WO2018064967A1 (en) 2018-04-12

Similar Documents

Publication Publication Date Title
TWI663871B (zh) 視訊編解碼方法及裝置
CN113573077B (zh) 具有旋转信息的360°图像/视频内处理方法及装置
JP5687767B2 (ja) 圧縮サンプリング測定値を使用する任意解像度ビデオ符号化のための方法および装置
TWI757303B (zh) 影像壓縮方法與設備
US11138460B2 (en) Image processing method and apparatus
JP2011521570A5 (zh)
BR102013020622B1 (pt) Codificador e método
CN110121065B (zh) 空间排序视频编码应用中的多向图像处理
JP7177034B2 (ja) レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム
US20210006838A1 (en) Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
JP2013090330A (ja) 画像分割を用いた画像処理方法及び装置
CN102550024A (zh) 可伸缩图像编码和解码
CN114584772A (zh) 一种基于视觉注意力的全视场视频编码方法与系统
Jacobson et al. A new display stream compression standard under development in VESA
ES2960693T3 (es) Método y aparato para una transformación primaria mediante el uso de un núcleo de transformación de 8 bits
Miura et al. Data hiding technique for omnidirectional JPEG images displayed on VR spaces
Naman et al. Decoding high-throughput jpeg2000 (htj2k) on ag
US20190272617A1 (en) Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis
TWI735254B (zh) 視訊編碼方法及相關的視訊解碼方法和裝置
Jiang et al. Scalable video coding based on the user’s view for real-time virtual reality applications
TWI748515B (zh) 視訊編碼方法及相關的視訊解碼方法
CN116939210A (zh) 基于自编码器的图像压缩方法和装置
TW201108100A (en) KVM switch of transmitting video signal to remote consoles and method thereof