TW201830971A - 具有應用於以投影格式表示的３６０度圖像／視訊內容的內容導向旋轉的旋轉資訊的語法元素信令的視訊編碼功能的方法和設備以及具有相關的視訊解碼功能的方法和設備 - Google Patents

具有應用於以投影格式表示的３６０度圖像／視訊內容的內容導向旋轉的旋轉資訊的語法元素信令的視訊編碼功能的方法和設備以及具有相關的視訊解碼功能的方法和設備 Download PDF

Info

Publication number
TW201830971A
TW201830971A TW106138257A TW106138257A TW201830971A TW 201830971 A TW201830971 A TW 201830971A TW 106138257 A TW106138257 A TW 106138257A TW 106138257 A TW106138257 A TW 106138257A TW 201830971 A TW201830971 A TW 201830971A
Authority
TW
Taiwan
Prior art keywords
syntax element
rotation
content
video
oriented
Prior art date
Application number
TW106138257A
Other languages
English (en)
Other versions
TWI656787B (zh
Inventor
林鴻志
黃昭智
李佳盈
林建良
張勝凱
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201830971A publication Critical patent/TW201830971A/zh
Application granted granted Critical
Publication of TWI656787B publication Critical patent/TWI656787B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本發提供一種視訊處理方法，包括：接收具有以360度虛擬現實（360-degree Virtual Reality，360 VR）投影格式表示的360度圖像/視訊內容的當前輸入圖框，對該當前輸入圖框中的該360度圖像/視訊內容應用內容導向旋轉，以生成具有以該360度虛擬現實投影格式表示的旋轉的360度圖像/視訊內容的內容旋轉圖框，編碼該內容旋轉圖框以生成位元流，以及通過該位元流發信至少一個語法元素，其中，該至少一個語法元素被設置為用於指示該內容導向旋轉的旋轉資訊。

Description

具有應用於以投影格式表示的360度圖像/視訊內容的內容導向旋轉的旋轉資訊的語法元素信令的視訊編碼功能的方法和設備以及具有相關的視訊解碼功能的方法和設備
本發明涉及360度圖像/視訊內容處理，更具體地，涉及具有應用於以投影格式來表示的360度圖像/視訊內容的內容導向旋轉的旋轉資訊的語法元素信令的視訊編碼功能的方法和設備和具有相關的視訊解碼功能的方法和設備。
具有頭戴式顯示器（head-mounted display，HMD）的虛擬現實（Virtual reality，VR）與各種應用相關聯。向用戶顯示廣泛視野內容的能力可用於提供身臨其境的視覺體驗。必須捕捉所有方向上的真實世界的環境，從而生成對應於視野範圍的全方位視訊（omnidirectional video）。隨著攝像機和HMD的進步，由於代表諸如360度圖像/視訊之類的內容所需的高位元率，而導致VR內容的傳送可能很快遇到瓶頸。當全方位視訊的解析度為4k或更高時，資料壓縮/編碼對位元率的降低至關重要。
通常，將對應於視野範圍的全方位視訊轉換成圖像序列，其中的每一個圖像序列都以360度虛擬現實（360-degree Virtual Reality，360VR）投影格式來表示，隨後得到的圖像序列被編碼為用於傳輸的位元流。然而，由於移動對像被所應用的360VR投影格式分割和/或拉伸，原始的以360度虛擬現實投影格式表示的360度圖像/視訊內容可能具有較差的壓縮效率。因此，需要一種能夠提高以360VR投影格式表示的360度圖像/視訊內容的壓縮效率的創新設計。
本發明的目的之一是提供具有應用於以投影格式表示的360度圖像/視訊內容的內容導向旋轉的旋轉資訊的語法元素信令的視訊編碼功能的方法和設備以及具有相關的視訊解碼功能的方法和設備。
根據本發明的第一方面，公開了一種視訊處理方法。該視訊處理方法包括：接收具有以360度虛擬現實（360-degree Virtual Reality，360 VR）投影格式表示的360度圖像/視訊內容的當前輸入圖框，將內容導向旋轉應用於當前輸入圖框中的360度圖像/視訊內容以生成具有以360VR投影格式表示的旋轉的360度圖像/視訊內容的內容旋轉圖框，編碼該內容旋轉圖框以生成位元流，以及通過該位元流發信至少一個語法元素，其中，該至少一個語法元素被設置為用於指示該內容導向旋轉的旋轉資訊。
根據本發明的第二方面，公開了一種視訊處理方法。該視訊處理方法包括接收位元流，處理位元流以從位元流中獲取至少一個語法元素，對位元流進行解碼以生成具有以360度虛擬現實（360-degree Virtual Reality，360 VR）表示的旋轉的360度圖像/視訊內容的當前解碼圖框，以及根據當前解碼圖框以及由至少一個語法元素指示的內容導向旋轉的旋轉資訊，在顯示屏幕上呈現和顯示輸出圖像資料，其中在生成旋轉的360度圖像/視訊內容中涉及內容導向旋轉。
根據本發明的第三方面，公開了一種視訊處理設備。該視訊處理設備包括內容導向旋轉電路和視訊編碼器。內容導向旋轉電路用於接收具有以360度虛擬現實投影格式表示的360度圖像/視訊內容的當前輸入圖框，並且將內容導向旋轉應用於360度圖像/視訊內容以生成具有以360度虛擬現實投影格式表示的旋轉的360度圖像/視訊內容的內容旋轉圖框。視訊編碼器用於對內容旋轉圖框進行編碼以生成位元流且通過該位元流發信至少一個語法元素，其中至少一個語法元素被設置為用於指示內容導向旋轉的旋轉資訊。
根據本發明的第四方面，公開了一種視訊處理設備。該視訊處理設備包括視訊解碼器和圖像呈現電路。視訊解碼器用於接收位元流，處理該位元流以從該位元流中獲取至少一個語法元素，並且解碼該位元流以生成具有以360度虛擬現實投影格式表示的旋轉的360度圖像/視訊內容的當前解碼圖框。圖像呈現電路用於根據當前解碼圖框以及由至少一個語法元素指示的內容導向旋轉的旋轉資訊，在顯示屏幕上呈現和顯示輸出圖像資料，其中在生成旋轉的360度圖像/視訊內容中涉及內容導向旋轉。
在閱讀了以下各個附圖和附圖中示出的優選實施例的詳細描述之後，本發明的這些和其它目的無疑對於所屬領域中具有習知技術者變得顯而易見。
在接下來的描述和申請專利範圍中貫穿使用了某些涉及特定的組件的術語。如所屬領域中具有習知技術者將認識到，電子設備製造商可以通過不同的名稱來指代組件。本文不打算區分名稱不同但功能相同的組件。在接下來的描述和申請專利範圍中，術語“包括（include）”和“包含（comprise）”以開放式方式使用，因此其應解釋為意指“包括但不限於...”。此外，術語“耦接”用於表示間接或直接的電連接。因此，如果一個設備耦於接另一個設備，則該連接可以通過直接電連接，或者通過經由其他設備和連接的間接電連接。
第1圖是根據本發明實施例的360度虛擬現實（360-degree Virtual Reality，360VR）系統的示意圖。360VR系統100包括源電子設備102和目標電子設備104。源電子設備102包括視訊捕捉設備112、轉換電路114、內容導向旋轉電路116和視訊編碼器118。例如，視訊捕捉設備112可以是用於提供對應於球形視野（viewing sphere）的全方位圖像內容（例如，覆蓋整個周圍環境的多個圖像）S_IN的一組相機。轉換電路114根據全方位圖像內容S_IN生成具有360度虛擬現實（360VR）投影格式L_VR的當前輸入圖框IMG。在該示例中，轉換電路114為從視訊捕捉設備112提供的360度視訊的每個視訊圖框生成一個輸入圖框。被轉換電路114應用的360VR投影格式L_VR可以是任何可用的投影格式，包括等矩形投影（equirectangular projection，ERP）格式、立方體投影（cubemap projection，CMP）格式、八面體投影（octahedron projection，OHP）格式、二十面體投影（icosahedron projection，ISP）格式等。內容導向旋轉電路116接收當前輸入圖框IMG（其具有以360VR投影格式L_VR表示的360度圖像/視訊內容），並且將內容導向旋轉應用於當前輸入圖框IMG中的360度圖像/視訊內容以生成內容旋轉圖框IMG’，內容旋轉圖框IMG’具有以相同的360VR投影格式L_VR表示的旋轉的360度圖像/視訊內容。此外，應用的內容導向旋轉的旋轉資訊INF_R被提供給視訊編碼器118以用於語法元素信令（syntax element signaling）。
第2圖是根據本發明實施例提出的內容導向旋轉的概念示意圖。為了清楚和簡單，假設360VR投影格式L_VR是ERP格式。因此，球形視野202的360度圖像/視訊內容經由球形視野202的矩形投影，映射到矩形投影面上。這樣，具有以ERP格式表示的360度圖像/視訊內容的當前輸入圖框IMG由轉換電路114生成。如上文所述，由於移動對像被所應用的360VR投影格式分割和/或拉伸，以360VR投影格式表示的原始的360度圖像/視訊內容可能具有較差的壓縮效率。為了解決這個問題，本發明提出將內容導向旋轉應用於360度圖像/視訊內容以提高編解碼效率。
此外，第2圖中示出了計算內容旋轉圖框IMG’中的像素位置處的像素值的示例。對於內容旋轉圖框IMG’中的具有坐標（x，y）的像素位置co , 可以將2D坐標（x，y）通過2D到3D的映射過程映射為3D坐標s(球形視野202上的點)。然後，在執行內容導向旋轉之後，將該3D坐標s轉換為另一個3D坐標s’（球形視野202上的點）。內容導向旋轉可以通過旋轉矩陣乘法（rotation matrix multiplication）來實現。最後，通過3D到2D的映射過程，可以在當前輸入圖框IMG中找到具有坐標(x’i ， y’i )的對應2D坐標ci ’。因此，對于內容旋轉圖框IMG’中的每個整數像素（例如，co =（x，y）），可以通過從內容旋轉圖框IMG’到球形視野202的2D到3D的映射、用於當前旋轉的球形視野202的旋轉矩陣乘法、從球形視野202到當前輸入圖框IMG的3D到2D的映射，找到當前輸入圖框IMG中的對應位置（例如，ci ’=(x’i , y’i )）。如果x’i 和y’i 中的一個或兩個是非整數位置，則可以將插值濾波器（圖未示）應用於當前輸入圖框IMG中的點ci ’=(x’i , y’i )周圍的整數像素，來推導出內容旋轉圖框IMG’中的點co =（x，y）的像素值。
與將當前輸入圖框IMG編碼為用於傳輸的位元流的傳統視訊編碼器相比，視訊編碼器118將內容旋轉圖框IMG’編碼為位元流BS，然後將位元流BS通過諸如有線/無線通信鏈路或存儲介質之類的傳輸裝置103輸出到目標電子設備104。具體地，視訊編碼器118為從內容導向旋轉電路116輸出的每個內容旋轉圖框生成一編碼圖框。因此，由視訊編碼器118順序地生成連續的編碼圖框。另外，內容導向旋轉電路116執行的內容導向旋轉的旋轉資訊INF_R被提供給視訊編碼器118。因此，視訊編碼器118還通過位元流BS發信語法元素，其中語法元素被設置為用於指示應用於當前輸入圖框IMG的內容導向旋轉的旋轉資訊INF_R。
第3圖是根據本發明實施例的視訊編碼器的示意圖。第1圖中所示的視訊編碼器118可以由第3圖所示的視訊編碼器300來實現。視訊編碼器300是用於壓縮原始視訊資料以生成壓縮視訊資料的硬體電路。如第3圖所示，視訊編碼器300包括控制電路302和編碼電路304。需要注意的是，第3圖所示的視訊編碼器架構僅用於說明的目的，並不意味著對本發明的限制。例如，編碼電路304的架構可以根據編碼標準而變化。編碼電路304對內容旋轉圖框IMG’（其具有以360VR投影格式L_VR表示的旋轉的360度圖像/視訊內容）進行編碼以生成位元流BS。如第3圖所示，編碼電路304包括殘差計算電路311、轉換電路（由“T”表示）312、量化電路（由“Q”表示）313，熵編碼電路（例如可變長度編碼器）314 、逆量化電路（由“IQ”表示）315、逆轉換電路（由“IT”表示）316、重建電路317、至少一個環路濾波器318、參考圖框緩衝器319、圖框間預測電路320（其包括運動估計電路（由“ME”表示）321和運動補償電路（由“MC”表示）322）、圖框內預測電路（由“IP”表示）323以及圖框內/圖框間模式選擇開關324。由於在編碼電路304中應用的這些電路組件的基本功能和操作對於所屬領域中具有習知技術者來說是眾所周知的，因此為了簡潔起見，在此省略了進一步的描述。
視訊編碼器300與傳統的視訊編碼器之間的主要區別在於，控制電路302用於接收來自之前的電路（例如第1圖中所示的內容導向旋轉電路116）的旋轉資訊INF_R，並且根據旋轉資訊INF_R設置至少一個語法元素（SE），其中指示旋轉資訊INF_R的語法元素將通過從熵編碼電路314生成的位元流BS來發信給視訊解碼器。通過這種方法，目標電子設備104（其具有視訊解碼器）根據發信的語法元素可以知曉編碼器側的內容導向旋轉的細節，並且可以，例如，執行解碼器側的逆內容導向旋轉，以獲取所需的視訊資料以進行呈現和顯示。
內容導向旋轉電路116執行的內容導向旋轉可以由旋轉軸、旋轉順序和旋轉角來指定。內容導向旋轉可以包括按照旋轉順序沿著一組旋轉軸的基本旋轉（elemental rotation），其中旋轉順序指定了內容導向旋轉使用的旋轉軸的順序，並且沿著對應旋轉軸的每個基本旋轉由具有特定旋轉角度的旋轉角來表示。例如，旋轉軸可以是笛卡爾坐標系中的三個正交軸（例如，x軸、y軸、z軸），並且旋轉順序可以是通常使用的特定順序偏航-俯仰-橫滾（例如，z-y-x）。然而，這些僅用於說明的目的，並不意味著對本發明的限制。例如，旋轉軸不需要是正交軸。又例如，可以調整旋轉軸的數量和旋轉角的數量。在內容導向旋轉中只涉及一個旋轉軸的情況下，可以省略旋轉順序。
應該注意的是，具有相同旋轉角的不同旋轉順序可以生成不同的結果。第4圖是根據本發明實施例的使用具有相同旋轉角的不同旋轉順序來執行內容導向旋轉的示意圖。第一示例Ex1中的內容導向旋轉包括沿著y軸旋轉30°，然後沿著z軸旋轉30°。在第二示例Ex2中的另一個內容導向旋轉包括沿著z軸旋轉30°然後沿著y軸旋轉30°。如第4圖所示，根據第一示例Ex1中的內容導向旋轉，將位於（x, y, z）=（1,0,0）處的圖像/視訊內容旋轉到（x, y, z）=處，以及根據第二示例Ex2中的內容導向旋轉，將位於（x, y, z）=（1,0,0）處的圖像/視訊內容旋轉到（x, y, z）=處。因此，除了旋轉軸和相關的旋轉角之外，還需要在內容導向旋轉中精確定義旋轉順序。
每個旋轉軸可以在編碼器側和解碼器側預先定義（例如，在規範文本中定義）。因此，由內容導向旋轉電路116執行的內容導向旋轉使用的多個旋轉軸（或單個旋轉軸）的資訊不需要通過位元流BS來發信。或者，每個旋轉軸可以由內容導向旋轉電路116主動地設置。因此，由內容導向旋轉電路116執行的內容導向旋轉使用的多個旋轉軸（或單個旋轉軸）的資訊需要通過位元流BS來發信。
旋轉順序可以在編碼器側和解碼器側預先定義（例如，在規範文本中定義）。由內容導向旋轉電路116執行的內容導向旋轉使用的旋轉順序的資訊不需要通過位元流BS來發信。或者，旋轉順序可以由內容導向旋轉電路116主動地設置。因此，由內容導向旋轉電路116執行的內容導向旋轉使用的旋轉順序的資訊需要經由位元流BS來發信。
與每個旋轉軸相關的旋轉角的旋轉角度可以針對不同的圖框而變化。因此，由內容導向旋轉電路116執行的內容導向旋轉使用的多個旋轉角度（或單個旋轉角度）的資訊需要通過位元流BS來發信。
如上文所述，語法元素SE被設置為用於指示應用於當前輸入圖框IMG的內容導向旋轉的旋轉資訊INF_R。在編碼器側和解碼器側預先定義旋轉軸的第一種情況下，由內容導向旋轉電路116提供給視訊編碼器118的旋轉資訊INF_R包括旋轉順序和旋轉角度，其將由從編碼器側發信給解碼器側的語法來指示。在編碼器側和解碼器側中預先定義了旋轉軸和旋轉順序的第二情況下，由內容導向旋轉電路116提供給視訊編碼器118的旋轉資訊INF_R包括旋轉角度，其將由從編碼器側發信給解碼器側的語法來指示。在編碼器側和解碼器側預先定義旋轉順序的第三種情況下，由內容導向旋轉電路116提供給視訊編碼器118的旋轉資訊INF_R包括旋轉軸和旋轉角度，其將由從編碼器側發信給解碼器側的語法來指示。在編碼器側和解碼器側沒有預先定義旋轉軸和旋轉順序的第四種情況下，由內容導向旋轉電路116提供給視訊編碼器118的旋轉資訊INF_R包括旋轉軸、旋轉順序和旋轉角度，其將由從編碼器側發信給解碼器側的語法來指示。
請再次參考第1圖，目標電子設備104可以是頭戴式顯示器（head-mounted display，HMD）設備。如第1圖所示，目標電子設備104包括視訊解碼器122、圖像呈現電路124和顯示屏幕126。視訊解碼器122接收來自傳輸裝置103（例如，有線/無線通信鏈路或存儲介質）的位元流BS，並解碼接收到的位元流BS以生成當前解碼圖框IMG”，具體地說，視訊解碼器122為從傳輸裝置103傳輸的每個編碼圖框生成一個解碼圖框。因此，由視訊解碼器122順序生成連續的解碼圖框。在本實施例中，由視訊編碼器118編碼的內容旋轉圖框IMG’具有360VR投影格式。因此，在視訊解碼器122對位元流BS進行解碼之後，當前解碼圖框（即，重建圖框）IMG”具有相同的360VR投影格式。
第5圖是根據本發明實施例的視訊解碼器的示意圖。第1圖中所示的視訊解碼器122可以由第5圖所示的視訊解碼器500來實現。視訊解碼器500可經由諸如有線/無線通信鏈路或存儲介質的傳輸裝置來與視訊編碼器（例如，第1圖中所示的視訊編碼器118）進行通信。視訊解碼器500是用於解壓縮壓縮的圖像/視訊資料以生成解壓縮的圖像/視訊資料的硬體電路。在本實施例中，視訊解碼器500接收位元流BS，並解碼所接收的位元流BS以生成當前解碼圖框IMG”。如第5圖所示，視訊解碼器500包括解碼電路520和控制電路530。需要注意的是，第5圖所示的視訊解碼器架構僅用於說明的目的，並不意味著對本發明的限制。例如，解碼電路520的架構可以根據編解碼標準而變化。解碼電路520包括熵解碼電路（例如，可變長度解碼器）502、逆量化電路（由“IQ”表示）504、逆轉換電路（由“IT”表示）506、重建電路508、 運動向量計算電路（由“MV計算”表示）510、運動補償電路（由“MC”表示）513、圖框內預測電路（由“IP”表示）514、圖框內/圖框間模式選擇開關516、至少一個環路濾波器518和參考圖框緩衝器522。由於在解碼電路520中應用的這些電路組件的基本功能和操作對於所屬領域中具有習知技術者來說是眾所周知的，因此為了簡潔起見，在此省略了進一步的描述。
視訊解碼器500與傳統視訊解碼器之間的主要差異在於熵解碼電路502還用於對位元流BS執行資料處理（例如，語法解析）以獲取通過位元流BS發信的語法元素SE，並且將獲取的語法元素SE輸出給控制電路530。因此，關於對應於由當前輸入圖框生成的內容旋轉圖框IMG’的當前解碼圖框IMG”，控制電路530可以參考語法元素SE來確定用於當前輸入圖框IMG的編碼器側內容導向旋轉的旋轉資訊INF_R。
如上文所述，當前解碼圖框IMG”具有以360VR投影格式表示的旋轉的360度圖像/視訊內容。在本實施例中，從位元流BS獲取的語法元素SE指示在生成以360VR投影格式表示的旋轉的360度圖像/視訊內容涉及的內容導向旋轉的旋轉資訊INF_R。在編碼器側和解碼器側（特別是內容導向旋轉電路116和圖像呈現電路124）中預先定義旋轉軸的第一種情況下，從控制電路530提供的旋轉資訊INF_R包括由發信的語法元素來指示的旋轉順序和旋轉角度。在編碼器側和解碼器側（特別是內容導向旋轉電路116和圖像呈現電路124）中預先定義了旋轉軸和旋轉順序的第二情況下，從控制電路530提供的旋轉資訊INF_R包括由發信的語法元素來指示的旋轉角度。在編碼器側和解碼器側（特別是內容導向旋轉電路116和圖像呈現電路124）中預先定義了旋轉順序的第三種情況下，從控制電路530提供的旋轉資訊INF_R包括由發信的語法元素來指示的旋轉角軸和旋轉角度。在編碼器側和解碼器側（特別是內容導向旋轉電路116和圖像呈現電路124）中沒有預先定義旋轉軸和旋轉順序的第四情況下，從控制電路530提供的旋轉資訊INF_R包括由發信的語法元素來指示的旋轉軸、旋轉順序和旋轉角度。
圖像呈現電路124根據當前解碼圖框IMG”和在生成旋轉的360度圖像/視訊內容中涉及的內容導向旋轉的旋轉資訊INF_R，呈現輸出圖像資料並將其在顯示屏幕126上顯示。例如，根據由發信的語法元素SE推導出的旋轉資訊INF_R，以360VR投影格式表示的旋轉的360度圖像/視訊內容可以逆旋轉，並且以360VR投影格式表示的逆旋轉的360度圖像/視訊內容可以用於呈現和顯示。
為了更好地理解本發明的技術特徵，以下描述幾個示例性語法信令方法。視訊編碼器118/300可使用提出的語法信令方法中的一個來發信指示應用於以360VR投影格式表示的360度圖像/視訊內容的內容導向旋轉的旋轉資訊INF_R的語法元素SE，以及視訊解碼器122/500可以參考由視訊編碼器118/300應用的提出的語法信令方法中的一個發信的語法元素SE，來確定在生成以360度VR投影格式表示的旋轉的360度圖像/視訊內容中涉及的內容導向旋轉的旋轉資訊INF_R。
應該注意的是，以下示例性語法表中的描述符（descriptor）指定每個語法元素的解析過程。具體而言，可以通過固定長度編解碼（例如，f（n）、i（n）或u（n））和/或可變長度編解碼（例如，ce（v）、se（v）或ue （v））對語法元素進行編解碼。描述符f（n）描述了一個固定模式的位元串，它使用從左邊位元開始寫入的（從左到右）n個位元。描述符i（n）描述一個使用n個位元的帶符號整數（signed integer）。描述符u（n）描述一個使用n個位元的無符號整數（unsigned integer）。描述符ce（v）描述從左邊位元開始的上下文自適應可變長度熵編解碼語法元素。描述符se（v）描述具有從左邊位元開始的帶符號整數哥倫布編碼語法元素（unsigned integer Exp-Golomb-coded syntax element）。語法元素ue（v）描述從左邊位元開始的無符號整數哥倫布編碼語法元素。
根據第一語法信令方法，可以使用如下語法表。
當應用第一語法信令方法時，可以在序列級標頭（sequence-level header）中指示內容導向旋轉的旋轉資訊。H.264和H.265可以具有被每個切片參考的多個序列參數集（Sequence Parameter Set，SPS）/圖像參數集（Picture Parameter Set，PPS）。每個切片可以根據其PPS / SPS標識符（identifier，ID）獲取對應的編解碼參數。因此，可以通過發信的每個旋轉軸的旋轉角度在SPS / PPS或補充增強資訊（Supplementary Enhancement Information，SEI）中指示內容導向旋轉的旋轉資訊。當解碼一視訊圖框時，視訊解碼器122可以通過參考對應的SPS / PPS ID或SEI來獲取旋轉資訊。
語法元素zero_yaw_orientation被設置為用於指示是否存在沿著偏航軸（例如，z軸）的旋轉。語法元素zero_roll_orientation被設置為用於指示是否存在沿著橫滾軸（例如，x軸）旋轉。語法元素zero_pitch_orientation被設置為用於指示是否存在沿著俯仰軸（例如，y軸）的旋轉。當存在沿著偏航軸的旋轉（即，!zero_yaw_orientation == True）時，通過從多個預定義索引值（index value）中選擇的索引值來設置語法元素yaw_orientation_index，其中預定義索引值被分別映射到不同的預定義旋轉角度和用戶定義的旋轉角度。例如，索引值和旋轉角度之間的映射可以由下表來定義。
如果沿著偏航軸的旋轉的旋轉角度沒有被“000”-“110”中的任何一個索引（即，Orientation_index ==‘111’），則通過設置語法元素yaw_orientation_degree來發信用戶定義的旋轉角度。
當存在沿著橫滾軸的旋轉（即，！zero_roll_orientation == True）時，語法元素roll_orientation_index由如上表中列出的預定義索引值中選擇的索引值來設置。如果沿著橫滾軸的旋轉的旋轉角度沒有被“000”-“110”中的任何一個索引（即，Orientation_index ==‘111’），則通過設置語法元素roll_orientation_degree來發信用戶定義的旋轉角度。
當存在沿著俯仰軸的旋轉（即，！zero_ pitch _orientation == True）時，語法元素pitch _orientation_index由如上表中列出的預定義索引值中選擇的索引值來設置。如果沿著俯仰軸的旋轉旋的轉角度沒有被“000”-“110”中的任何一個索引（即，Orientation_index ==‘111’），則通過設置語法元素pitch _orientation_degree來發信用戶定義的旋轉角度。
為了表示所有可能的內容導向旋轉，這三個軸的旋轉角度的範圍不需要從-180°到180°（即0°-360°）。實際上，其中的一個旋轉範圍從-90°到90°（即，0°-180°），而其餘的從-180°到180°（即，0°-360°）足夠用於表示內容導向旋轉。在第一語法信令方法中，假定旋轉角度是整數值。關於旋轉順序（例如，偏航-橫滾-俯仰（z-x-y））中第一旋轉軸（例如，偏航軸或者z軸）和第二旋轉軸（例如，橫滾軸或者x軸）的用戶定義的旋轉角度，每個都被9個位元設置以指示從-180°到180°（即0°-360°）範圍內的旋轉角度。然而，關於旋轉順序（例如，偏航-橫滾-俯仰（z-x-y））中的第三旋轉軸（例如，俯仰軸或者y軸）的用戶定義的旋轉角度，用戶定義的旋轉的範圍度僅為-90°至90°（即0°-180°）。因此，8個位元足以表示第三旋轉軸（例如，俯仰軸或者y軸）的用戶定義旋轉角度。
根據第二語法信令方法，可以使用如下語法表。
當應用第二語法信令方法時，內容導向旋轉的旋轉資訊可以在視訊圖框的持續時間（time-duration）中的序列級標頭中指示。例如，音頻視訊編碼標準（Audio Video coding Standard，AVS）具有用於視訊圖框持續時間的一SPS。這些在相同持續時間內的視訊圖框具有相同的序列級編解碼參數。因此，內容導向旋轉的旋轉資訊可以在視訊圖框的當前持續時間中指示，並且可以在視訊圖框的下一個持續時間中更新。在本發明的一些實施例中，內容導向旋轉的旋轉資訊可以在視訊圖框的持續時間中的SPS / PPS或補充增強資訊（Supplementary Enhancement Information，SEI）中指示。或者，當應用第二語法信令方法時，內容導向旋轉的旋轉資訊可以在圖像級標頭中指示。因此，針對每個視訊圖框發信內容導向旋轉的旋轉資訊。
語法元素prev_orientation被設置為用於指示應用於當前輸入圖框的內容導向旋轉與應用於至少一個先前輸入圖框的內容導向旋轉是否相同。例如，針對在視訊圖框的持續時間內的序列級標頭中指示的內容導向旋轉的旋轉資訊的情況而言，當前輸入圖框可以是視訊圖框的持續時間內的第一視訊圖框，並且至少一個先前輸入圖框中的每一個可以是視訊圖框的先前持續時間內的一視訊圖框，並且視訊圖框的當前持續時間緊接著該該先前持續時間。在另一個實施例中，針對在每個視訊圖框的圖像級標頭中指示的內容導向旋轉的旋轉資訊的情況而言，至少一個先前輸入圖框和當前輸入圖框為兩個連續的視訊圖框。因此，當視訊圖框的當前持續時間內的內容導向旋轉與視訊圖框的先前持續時間內的內容導向旋轉相同時，則發信1個位元的語法元素prev_orientation以節省用於表示旋轉角度資訊的語法位元。
當應用於當前輸入圖框的內容導向旋轉不同於應用於至少一個先前輸入圖框的內容導向旋轉（亦即，!prev_orientation == True）時，語法元素zero_yaw_orientation被設置為用於指示是否存在沿著偏航軸（例如，z軸）的旋轉，語法元素zero_roll_orientation被設置為用於指示是否存在沿著橫滾軸（例如，x軸）的旋轉，以及語法元素zero_pitch_orientation被設置為用於指示是否存在沿著俯仰軸（例如，y軸）的旋轉。
當存在沿著偏航軸的旋轉時（亦即，！zero_yaw_orientation==True），語法元素yaw_orientation_diff被設置為用於指示應用於當前輸入圖框的內容導向旋轉和應用於至少一個先前輸入圖框的內容導向旋轉的沿著偏航軸的旋轉角度差（rotation degree difference）。當對一個視訊圖框進行解碼時，視訊解碼器122可以通過加上由語法元素yaw_orientation_diff發信的旋轉角度差來確定沿著偏航軸的旋轉角度。
當存在沿著橫滾軸的旋轉時（即，！zero_roll_orientation== True），語法元素roll_orientation_diff被設置為用於指示應用於當前輸入圖框的內容導向旋轉和應用於至少一個先前輸入圖框的內容導向旋轉的沿著橫滾軸的旋轉角度差。當對一個視訊圖框進行解碼時，視訊解碼器122可以通過加上由語法元素roll_orientation_diff發信的旋轉角度差來確定沿著橫滾軸的旋轉角度。
當存在沿著俯仰軸的旋轉時（即，！zero_ pitch _orientation == True），語法元素pitch _orientation_diff被設置為用於指示應用於當前輸入圖框的內容導向旋轉和於應用於至少一個先前輸入圖框的內容導向旋轉的沿著俯仰軸的旋轉角度差。當對一個視訊圖框進行解碼時，視訊解碼器122可以通過加上由語法元素pitch _orientation_diff發信的旋轉角度差來確定沿著俯仰軸的旋轉角度。
上文所述的的第一語法信令方法和第二語法信令方法中的每一個語法信令方法執行旋轉資訊的統一語法信令，而不管所應用的360VR投影格式如何。或者，第一語法信令方法和第二語法信令方法可以修改為基於投影格式的語法信令方法。也就是說，旋轉資訊的語法信令可以取決於所應用的360VR投影格式。
根據第三語法信令方法，可以使用以下語法表。
根據第四語法信令方法，可以使用以下語法表。
不同的360VR投影格式可以具有不同的合適的旋轉尺寸。例如，對於立方體投影格式，單獨的偏航旋轉可能已經足夠。又例如，對於等矩形投影格式，單獨的橫滾旋轉可能已經足夠。因此，當360VR投影格式是立方體投影格式時，語法元素vr_content_format被設置為“1”；當360VR投影格式是等矩形投影格式時，語法元素vr_content_format被設置為“3”。在本實施例中， vr_content_format = 1/3具有語法信令的旋轉的一維度，而vr_content_format = 2具有語法信令的旋轉的二維度。簡而言之，關於第三語法信令方法和第四語法信令方法中的每一個，內容導向旋轉的旋轉軸選擇取決於語法元素vr_content_format, 語法元素vr_content_format是在應用的360VR投影格式的基礎上設置的。由於所屬領域中具有習知技術者在閱讀以上關於第一語法信令方法和第二語法信令方法的段落之後可以容易地理解第三語法信令方法和第四語法信令方法的細節，為了簡潔起見，這裡省略進一步的描述。
根據第五語法信令方法，可以使用以下語法表。
1個位元的開/關標誌（disable_content_orientation）被用來指示當前輸入圖框中的360度圖像/視訊內容的內容導向旋轉是否被啟用。當當前輸入圖框中的360度圖像/視訊內容的內容導向旋轉被啟用時，語法元素disable_content_orientation被設置為“0”；當當前輸入圖框中的360度圖像/視訊內容的內容導向旋轉被停用時，語法元素disable_content_orientation被設置為“1”。在當前輸入圖框中的360度圖像/視訊內容的內容導向旋轉被啟用（即，!disable_content_orientation == True）的情況下，語法元素roll_orientation_degree被設置為用於指示沿著橫滾軸（例如，x軸）的旋轉角度，語法元素yaw_orientation_degree被設置為指示沿著偏航軸（例如，z軸）的旋轉角度，以及語法元素pitch_orientation_degree被設置為指示沿著俯仰軸的旋轉角度（例如，y軸）。
當應用第五語法信令方法時，可以在序列級標頭中指示內容導向旋轉的旋轉資訊。例如，可以發信沿著每個旋轉軸的旋轉角度而在SPS / PPS或補充增強資訊中指示內容導向旋轉的旋轉資訊。或者，當應用第五語法信令方法時，內容導向旋轉的旋轉資訊可以在每個視訊圖框的圖像級標頭中指示。
所屬領域中具有習知技術者將容易觀察到，可以在維持本發明的教導的同時對設備和方法進行許多修改和變更。因此，上述公開內容應該被理解為僅由所附申請專利範圍的範圍來限定。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100‧‧‧360VR系統
102‧‧‧源電子設備
103‧‧‧傳輸裝置
104‧‧‧目標電子設備
112‧‧‧視訊捕捉設備
114‧‧‧轉換電路
116‧‧‧內容導向旋轉電路
118‧‧‧視訊編碼器
122‧‧‧視訊解碼器
124‧‧‧圖像呈現電路
126‧‧‧顯示屏幕
202‧‧‧球形視野
300‧‧‧視訊編碼器
302‧‧‧控制電路
304‧‧‧編碼電路
311‧‧‧殘差計算電路
312‧‧‧轉換電路
315‧‧‧逆量化電路
316‧‧‧逆轉換電路
317‧‧‧重建電路
318‧‧‧環路濾波器
319‧‧‧參考圖框緩衝器
320‧‧‧圖框間預測電路
321‧‧‧運動估計電路
322‧‧‧運動補償電路
323‧‧‧圖框內預測電路
324‧‧‧圖框內/圖框間模式選擇開關
500‧‧‧視訊解碼器
530‧‧‧控制電路
520‧‧‧解碼電路
502‧‧‧熵解碼電路
504‧‧‧逆量化電路
506‧‧‧逆轉換電路
508‧‧‧重建電路
510‧‧‧運動向量計算電路
513‧‧‧運動補償電路
514‧‧‧圖框內預測電路
516‧‧‧圖框內/圖框間模式選擇開關
518‧‧‧環路濾波器
522‧‧‧參考圖框緩衝器
第1圖是根據本發明實施例的360度虛擬現實（360-degree Virtual Reality，360VR）系統的示意圖。 第2圖是根據本發明實施例提出的內容導向旋轉的概念示意圖。 第3圖是根據本發明實施例的視訊編碼器的示意圖。 第4圖是根據本發明實施例的使用具有相同旋轉角度的不同旋轉順序來執行內容導向旋轉的示意圖。 第5圖是根據本發明實施例的視訊解碼器的示意圖。

Claims (26)

  1. 一種視訊處理方法，包括： 接收具有以360度虛擬現實投影格式表示的360度圖像/視訊內容的當前輸入圖框; 對該當前輸入圖框中的該360度圖像/視訊內容應用內容導向旋轉，以生成具有以該360度虛擬現實投影格式表示的旋轉的360度圖像/視訊內容的內容旋轉圖框; 編碼該內容旋轉圖框以生成位元流; 以及 通過該位元流發信至少一個語法元素，其中該至少一個語法元素被設置為用於指示該內容導向旋轉的旋轉資訊。
  2. 如申請專利範圍第1項所述之視訊處理方法，其中，該旋轉資訊包括該至少一個語法元素指示的至少一個旋轉角度。
  3. 如申請專利範圍第1項所述之視訊處理方法，其中，該至少一個語法元素包括： 第一語法元素，該第一語法元素被設置為用於指示是否存在沿著特定旋轉軸的旋轉。
  4. 如申請專利範圍第1項所述之視訊處理方法，其中，該至少一個語法元素還包括： 第二語法元素，當存在沿著該特定旋轉軸的旋轉時，該第二語法元素由從多個預定義索引值中選擇的一索引值來設置，並且該多個預定義索引值被分別映射到不同的預定義旋轉角度和用戶定義旋轉角度。
  5. 如申請專利範圍第4項所述之視訊處理方法，其中，該至少一個語法元素還包括： 第三語法元素，當該索引值是映射到該用戶定義旋轉角度的一預定義索引值時，該第三語法元素被設置為用於指示該用戶定義旋轉角度。
  6. 如申請專利範圍第3項所述之視訊處理方法，其中，該至少一個語法元素還包括： 第二語法元素，當該360度虛擬現實投影格式是第一投影格式時，該第二語法元素設置為第一值，以及當該360度虛擬現實投影格式是不同於該第一投影格式的第二投影格式時，該第二語法元素設置為第二值，並且該特定旋轉軸根據該第二語法元素而變化。
  7. 如申請專利範圍第1項所述之視訊處理方法，其中，該至少一個語法元素還包括： 第一語法元素，該第一語法元素被設置為用於指示應用於該當前輸入圖框的該內容導向旋轉與應用於至少一個先前輸入圖框的內容導向旋轉是否相同。
  8. 如申請專利範圍第7項所述之視訊處理方法，其中，該至少一個語法元素還包括： 第二語法元素，當應用於該當前輸入圖框的該內容導向旋轉不同於應用於該至少一個先前輸入圖框的該內容導向旋轉時，該第二語法元素被設置為用於指示是否存在沿著特定旋轉軸的旋轉。
  9. 如申請專利範圍第8項所述之視訊處理方法，其中，該至少一個語法元素還包括： 第三語法元素，當存在沿著該特定旋轉軸的旋轉時，該第三語法元素被設置為用於指示在該當前輸入圖框的該內容導向旋轉中沿著該特定旋轉軸的旋轉角度與該至少一個先前輸入圖框的該內容導向旋轉中沿著該特定旋轉軸旋轉角度之間的差。
  10. 如申請專利範圍第8項所述之視訊處理方法，其中，該至少一個語法元素還包括： 第三語法元素，當該360度虛擬現實投影格式是第一投影格式時，該第三語法元素設置為第一值，以及當該360度虛擬現實投影格式是不同於該第一投影格式的第二投影格式時，所述第三語法元素設置為第二值，該特定旋轉軸根據該第三語法元素而變化。
  11. 如申請專利範圍第1項所述之視訊處理方法，其中，該至少一個語法元素包括： 第一語法元素，該第一語法元素被設置為用於指示該當前輸入圖框中的該360度圖像/視訊內容的該內容導向旋轉是否啟用。
  12. 如申請專利範圍第1項所述之視訊處理方法，其中，該至少一個語法元素還包括： 第二語法元素，當該當前輸入圖框中的該360度圖像/視訊內容的該內容導向旋轉被啟用時，該第二語法元素被設置為用於指示沿特定旋轉軸的旋轉角度。
  13. 一種視訊處理方法，包括： 接收位元流; 處理該位元流以從該位元流中獲取至少一個語法元素; 解碼該位元流以生成具有以360度虛擬現實投影格式表示的旋轉的360度圖像/視訊內容的當前解碼圖框; 以及 根據該當前解碼圖框以及由該至少一個語法元素指示的內容導向旋轉的旋轉資訊，在顯示屏幕上呈現並顯示輸出圖像資料，其中，在生成該旋轉的360度圖像 /視訊內容中涉及該內容導向旋轉。
  14. 如申請專利範圍第13項所述之視訊處理方法，其中，該旋轉資訊包括該至少一個語法元素指示的至少一個旋轉角度。
  15. 如申請專利範圍第13項所述之視訊處理方法，其中，該至少一個語法元素包括： 第一語法元素，該第一語法元素被設置為用於指示是否存在沿著特定旋轉軸的旋轉。
  16. 如申請專利範圍第13項所述之視訊處理方法，其中，該至少一個語法元素還包括： 第二語法元素，當存在沿著該特定旋轉軸的旋轉時，該第二語法元素由從多個預定義索引值中選擇的一索引值來設置，並且該多個預定義索引值被分別映射到不同的預定義旋轉角度和用戶定義旋轉角度。
  17. 如申請專利範圍第16項所述之視訊處理方法，其中，該至少一個語法元素還包括： 第三語法元素，當該索引值是映射到該用戶定義旋轉角度的一預定義索引值時，該第三語法元素被設置為用於指示該用戶定義旋轉角度。
  18. 如申請專利範圍第15項所述之視訊處理方法，其中，該至少一個語法元素還包括： 第二語法元素，當該360度虛擬現實投影格式是第一投影格式時，該第二語法元素具有第一值，以及當該360度虛擬現實投影格式是不同於該第一投影格式的第二投影格式時，該第二語法元素具有第二值，並且該特定旋轉軸根據該第二語法元素而變化。
  19. 如申請專利範圍第13項所述之視訊處理方法，其中，該至少一個語法元素包括： 第一語法元素，該第一語法元素指示在生成該當前解碼圖框中的該旋轉的360度圖像/視訊內容時涉及的該內容導向旋轉與在生成至少一個先前解碼圖框中的旋轉的360度圖像/視訊內容時涉及的內容導向旋轉是否相同。
  20. 如申請專利範圍第19項所述之視訊處理方法，其中，該至少一個語法元素還包括： 第二語法元素，當在生成該當前解碼圖框中的該旋轉的360度圖像/視訊內容時涉及的該內容導向旋轉與在生成該至少一個先前解碼圖框中的該旋轉360度圖像/視訊內容時涉及的該內容導向旋轉不同時，該第二語法元素指示是否存在沿著特定旋轉軸的旋轉。
  21. 如申請專利範圍第20項所述之視訊處理方法，其中，該至少一個語法元素還包括： 第三語法元素，當存在沿著該特定旋轉軸的旋轉時，該第三語法元素指示在生成該當前解碼圖框中的該旋轉的360度圖像/視訊內容時涉及的該內容導向旋轉中沿著該特定旋轉軸的旋轉角度與該在生成該至少一個先前解碼圖框中的該旋轉的360度圖像/視訊內容時涉及的該內容導向旋轉中的沿著該特定旋轉軸旋轉角度之間的差。
  22. 如申請專利範圍第20項所述之視訊處理方法，其中，該至少一個語法元素還包括： 第三語法元素，當該360度虛擬現實投影格式是第一投影格式時，該第三語法元素具有第一值，以及當所述360度虛擬現實投影格式是不同於該第一投影格式的第二投影格式時，所述第三語法元素具有第二值，該特定旋轉軸根據該第三語法元素而變化。
  23. 如申請專利範圍第13項所述之視訊處理方法，其中，該至少一個語法元素包括： 第一語法元素，該第一語法元素指示該內容導向旋轉是否被啟用。
  24. 如申請專利範圍第13項所述之視訊處理方法，其中，該至少一個語法元素還包括： 第二語法元素，當該當前輸入圖框中的該360度圖像/視訊內容的該內容導向旋轉被啟用時，該第二語法元素指示沿著特定旋轉軸的旋轉角度。
  25. 一種視訊處理設備，包括： 內容導向旋轉電路，用於為接收具有以360度虛擬現實投影格式表示的360度圖像/視訊內容的當前輸入圖框，對該當前輸入圖框中的該360度圖像/視訊內容應用內容導向旋轉，以生成具有以該360度虛擬現實投影格式表示的旋轉的360度圖像/視訊內容的內容旋轉圖框; 以及 視訊編碼器，用於編碼該內容旋轉圖框以生成位元流，且通過該位元流發信至少一個語法元素，其中該至少一個語法元素被設置為用於指示該內容導向旋轉的旋轉資訊。
  26. 一種視訊處理設備，包括： 視訊解碼器，用於接收位元流，處理該位元流以從該位元流中獲取至少一個語法元素，且解碼該位元流以生成具有以360度虛擬現實投影格式表示的旋轉的360度圖像/視訊內容的當前解碼圖框; 以及 圖像呈現電路，用於根據該當前解碼圖框以及由該至少一個語法元素指示的內容導向的旋轉的旋轉資訊，在顯示屏幕上呈現並顯示輸出圖像資料，其中，在生成該旋轉的360度圖像 /視訊內容中涉及該內容導向的旋轉。
TW106138257A 2016-11-09 2017-11-06 具有應用於以投影格式表示的３６０度圖像／視訊內容的內容導向旋轉的旋轉資訊的語法元素信令的視訊編碼功能的方法和設備以及具有相關的視訊解碼功能的方法和設備 TWI656787B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201662419513P 2016-11-09 2016-11-09
US62/419,513 2016-11-09
US201662433272P 2016-12-13 2016-12-13
US62/433,272 2016-12-13
US201762469041P 2017-03-09 2017-03-09
US62/469,041 2017-03-09
US15/802,481 2017-11-03
US15/802,481 US10560678B2 (en) 2016-11-09 2017-11-03 Method and apparatus having video encoding function with syntax element signaling of rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format and associated method and apparatus having video decoding function

Publications (2)

Publication Number Publication Date
TW201830971A true TW201830971A (zh) 2018-08-16
TWI656787B TWI656787B (zh) 2019-04-11

Family

ID=62064713

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106138257A TWI656787B (zh) 2016-11-09 2017-11-06 具有應用於以投影格式表示的３６０度圖像／視訊內容的內容導向旋轉的旋轉資訊的語法元素信令的視訊編碼功能的方法和設備以及具有相關的視訊解碼功能的方法和設備

Country Status (6)

Country Link
US (2) US10560678B2 (zh)
EP (1) EP3476128A4 (zh)
JP (1) JP2019530296A (zh)
CN (2) CN109804634B (zh)
TW (1) TWI656787B (zh)
WO (1) WO2018086524A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200062365A (ko) 2016-10-04 2020-06-03 김기백 영상 데이터 부호화/복호화 방법 및 장치
KR102568731B1 (ko) * 2016-11-17 2023-08-18 인텔 코포레이션 광시야 비디오를 인코딩하기 위한 구면 회전 기법
CN112738531B (zh) 2016-11-17 2024-02-23 英特尔公司 全景视频的建议视口指示
US10726602B2 (en) * 2017-02-03 2020-07-28 Sony Corporation Apparatus and method to generate realistic three-dimensional (3D) model animation
CN109584376B (zh) * 2018-12-03 2023-04-07 广东工业大学 基于vr技术的构图教学方法、装置、设备以及存储介质
US10742882B1 (en) * 2019-05-17 2020-08-11 Gopro, Inc. Systems and methods for framing videos
US11659206B2 (en) * 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
US11190801B2 (en) * 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
US11190768B2 (en) * 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
CN112423108B (zh) * 2019-08-20 2023-06-30 中兴通讯股份有限公司 码流的处理方法、装置、第一终端、第二终端及存储介质
KR102476057B1 (ko) 2019-09-04 2022-12-09 주식회사 윌러스표준기술연구소 클라우드 가상 현실을 위한 imu 센서 데이터를 활용한 비디오 인코딩 및 디코딩 가속 방법 및 장치
CN112102160B (zh) * 2020-11-16 2021-06-29 首望体验科技文化有限公司 适配于720胶囊型屏幕的视频处理方法、装置及相关产品
CN112235555B (zh) * 2020-12-10 2021-04-27 首望体验科技文化有限公司 720全景视频投影系统、视频处理方法、装置
CN112285993B (zh) * 2020-12-29 2021-05-11 首望体验科技文化有限公司 一种在720胶囊型屏幕上展示球幕视频的方法、装置及产品

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2359260C (en) 2000-10-20 2004-07-20 Samsung Electronics Co., Ltd. Coding apparatus and method for orientation interpolator node
US7194112B2 (en) * 2001-03-12 2007-03-20 Eastman Kodak Company Three dimensional spatial panorama formation with a range imaging system
US6583808B2 (en) * 2001-10-04 2003-06-24 National Research Council Of Canada Method and system for stereo videoconferencing
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
JP4958565B2 (ja) * 2006-01-06 2012-06-20 パナソニック株式会社 無線通信装置
US20100034258A1 (en) 2006-10-24 2010-02-11 Purvin Bibhas Pandit Picture management for multi-view video coding
CN101231456B (zh) * 2008-01-31 2010-11-24 北京航空航天大学 利用角度传感器纠正全景视频抖动的方法
KR101490689B1 (ko) 2008-05-27 2015-02-06 삼성전자주식회사 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치
KR101341998B1 (ko) * 2008-09-09 2013-12-16 에스케이텔레콤 주식회사 회전 움직임을 고려한 인터 예측 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
CN101540926B (zh) 2009-04-15 2010-10-27 南京大学 基于h.264的立体视频编解码方法
US8643701B2 (en) 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
CN101729892B (zh) 2009-11-27 2011-07-27 宁波大学 一种非对称立体视频编码方法
US8687060B1 (en) * 2009-12-28 2014-04-01 Cognex Corporation System and method for providing distance-based pulses relative to motion of a surface scanned by a vision system
EP2408196B1 (en) 2010-07-14 2017-01-11 Alcatel Lucent A method, server and terminal for generating a composite view from multiple content items
CN102006480B (zh) 2010-11-29 2013-01-30 清华大学 基于视间预测的双目立体视频的编码及解码方法
US20120230594A1 (en) * 2011-03-10 2012-09-13 Jill Boyce Adaptive picture rotation
US8872855B2 (en) 2011-07-21 2014-10-28 Flipboard, Inc. Adjusting orientation of content regions in a page layout
CN103392189B (zh) 2012-02-23 2017-10-31 史克威尔·艾尼克斯控股公司 动态图像传输服务器、动态图像播放装置以及控制方法
US9571812B2 (en) * 2013-04-12 2017-02-14 Disney Enterprises, Inc. Signaling warp maps using a high efficiency video coding (HEVC) extension for 3D video coding
CN103402109B (zh) 2013-07-31 2015-07-08 上海交通大学 3d视频中左右视点间帧同步性的检测与保证方法
CN103646424B (zh) 2013-11-26 2016-05-04 北京空间机电研究所 一种空中无缝虚拟漫游系统构建方法
US9930315B2 (en) 2015-04-29 2018-03-27 Lucid VR, Inc. Stereoscopic 3D camera for virtual reality experience
KR101835434B1 (ko) * 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
US10645362B2 (en) * 2016-04-11 2020-05-05 Gopro, Inc. Systems, methods and apparatus for compressing video content
CN105872386A (zh) 2016-05-31 2016-08-17 深圳易贝创新科技有限公司 一种全景摄像装置以及全景图片生成方法
WO2018045108A1 (en) * 2016-09-02 2018-03-08 Vid Scale, Inc. Method and system for signaling of 360-degree video information
EP3301928A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Methods, devices and stream to encode global rotation motion compensated images
KR102568731B1 (ko) 2016-11-17 2023-08-18 인텔 코포레이션 광시야 비디오를 인코딩하기 위한 구면 회전 기법
US20180262774A1 (en) * 2017-03-09 2018-09-13 Mediatek Inc. Video processing apparatus using one or both of reference frame re-rotation and content-oriented rotation selection and associated video processing method

Also Published As

Publication number Publication date
TWI656787B (zh) 2019-04-11
CN109804634A (zh) 2019-05-24
EP3476128A1 (en) 2019-05-01
CN113573077A (zh) 2021-10-29
EP3476128A4 (en) 2019-09-04
CN113573077B (zh) 2023-10-13
CN109804634B (zh) 2021-07-30
JP2019530296A (ja) 2019-10-17
US10587857B2 (en) 2020-03-10
US20180130175A1 (en) 2018-05-10
WO2018086524A1 (en) 2018-05-17
US10560678B2 (en) 2020-02-11
US20190251660A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
TWI656787B (zh) 具有應用於以投影格式表示的３６０度圖像／視訊內容的內容導向旋轉的旋轉資訊的語法元素信令的視訊編碼功能的方法和設備以及具有相關的視訊解碼功能的方法和設備
US11792378B2 (en) Suggested viewport indication for panoramic video
US11301959B2 (en) Spherical rotation for encoding wide view video
JP2019534606A (ja) ライトフィールドデータを使用して場面を表す点群を再構築するための方法および装置
US11190768B2 (en) Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
WO2021000904A1 (en) Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method