TW201828706A - 用於生成和編碼具有基於視角的立方體投影格式佈局之基於360度矩形投影圖框的方法和設備 - Google Patents

用於生成和編碼具有基於視角的立方體投影格式佈局之基於360度矩形投影圖框的方法和設備 Download PDF

Info

Publication number
TW201828706A
TW201828706A TW106143494A TW106143494A TW201828706A TW 201828706 A TW201828706 A TW 201828706A TW 106143494 A TW106143494 A TW 106143494A TW 106143494 A TW106143494 A TW 106143494A TW 201828706 A TW201828706 A TW 201828706A
Authority
TW
Taiwan
Prior art keywords
projection surface
rectangular projection
rectangular
square
partial
Prior art date
Application number
TW106143494A
Other languages
English (en)
Other versions
TWI656788B (zh
Inventor
林鴻志
李佳盈
施樂
李亞璇
林建良
張勝凱
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201828706A publication Critical patent/TW201828706A/zh
Application granted granted Critical
Publication of TWI656788B publication Critical patent/TWI656788B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

一種視訊處理方法包括：接收與球形視野體對應的全向圖像/視訊內容，根據全向圖像/視訊內容和基於視角的立方體投影佈局生成基於投影的圖框序列，並對圖框序列進行編碼以生成位元流。每個圖框具有由打包在基於視角的複數個立方體投影佈局中的矩形投影面表示的360度的圖像/視訊內容。該等矩形投影面包括第一、第二、第三、第四、第五矩形投影面和被劃分為複數個部分矩形投影面的第六矩形投影面。第一矩形投影面對應於用戶的視角，並且被由第二、第三、第四、第五矩形投影面和該等部分矩形投影面構成的周圍區域包圍。

Description

用於生成和編碼具有基於視角的立方體投影格式佈局之基於360度矩形投影圖框的方法和設備
本發明涉及處理全向圖像/視訊內容，更具體地涉及用於生成和編碼具有由緊湊的基於視角的立方體投影佈局中的矩形投影面表示的360度內容（例如，360度圖像內容或360度視訊內容）的基於投影的圖框的方法和設備。
具有頭戴式顯示器（head-mounted display，HMD）的虛擬現實（Virtual reality，VR）與各種應用相關。向用戶顯示廣泛視野內容的能力可用於提供身臨其境的視覺體驗。必須捕捉所有方向上的真實世界的環境，從而生成對應於視野範圍的全向圖像/視訊。隨著攝像機和HMD的發展，由於表示諸如360度圖像/視訊之類的內容所需的高位元率，而導致VR內容的傳送可能很快遇到瓶頸。當全向視訊的解析度為4k或更高時，資料壓縮/編碼對位元率的降低至關重要。
本發明的目的之一是提供一種用於生成和編碼具有由緊湊的基於視角的立方體投影佈局中的矩形投影面表示的360度內容（例如，360度圖像內容或360度內容）的基於投影的圖框的方法和設備。通過基於視角的立方體投影佈局的適當設計，基於投影的圖框可以具有緊湊形式，和/或使用者的視角的圖像內容（即，視角區域）可以保存在主投影面中（例如中央矩形投影面）。
根據本發明的第一方面，公開了一種示例性的視訊處理方法。該示例性視訊處理方法包括：接收對應於球形視野的全向圖像/視訊內容；根據該全向圖像/視訊內容和基於視角的立方體投影佈局生成基於投影的圖框，由視訊編碼器編碼該基於投影的圖框以生成位元流的一部分，其中該基於投影的圖框具有由打包在該基於視角的立方體投影佈局中的複數個矩形投影面表示的360度圖像/視訊內容。該基於視角的立方體投影佈局包括第一矩形投影面、第二矩形投影面、第三矩形投影面、第四矩形投影面、第五矩形投影面和第六矩形投影面，該第六矩形投影面被劃分成複數個部分矩形投影面（例如，四個部分矩形投影面）。該第一矩形投影面對應於用戶的視角並且被由該第二矩形投影面、該第三矩形投影面、該第四矩形投影面、該第五矩形投影面和該等部分矩形投影面（例如，四個部分矩形投影面）組成的周圍區域包圍。
根據本發明的第二方面，公開了一種示例性視訊處理裝置。示例性視訊處理裝置包括轉換電路和視訊編碼器。轉換電路用於接收對應於球形視野的全向圖像/視訊內容，並且根據該全向圖像/視訊內容和基於視角的立方體投影佈局生成基於投影的圖框，其中該基於投影的圖框具有由打包在該基於視角的立方體投影佈局中的複數個矩形投影面表示的360度圖像/視訊內容，並且該等矩形投影面包括第一矩形投影面、第二矩形投影面、第三矩形投影面、第四矩形投影面、第五矩形投影面和被劃分成複數個部分矩形投影面（例如，四個部分矩形投影面）的第六矩形投影面，並且該第一矩形投影面對應於用戶的視角並且被由該第二矩形投影面、該第三矩形投影面、該第四矩形投影面、該第五矩形投影面和該等部分矩形投影面（例如，四個部分矩形投影面）構成的周圍區域包圍；視訊編碼器用於編碼該基於投影的圖框以產生位元流的一部分。
在閱讀以下各個附圖中所示的優選實施例的詳細描述之後，本發明的這些和其他目的無疑對於所屬領域中具有習知技術者而言變得顯而易見。
在接下來的描述和權利要求申請專利範圍中貫穿使用了某些涉及特定的組件的術語。如所屬領域中具有習知技術者將認識到的，電子設備製造商可以通過不同的名稱來指代組件。本文不打算區分名稱不同但功能相同的組件。在接下來的描述和權利要求申請專利範圍中，術語“包括（include）”和“包含（comprise）”以開放式方式使用，因此其應解釋為意指“包括但不限於...”。此外，術語“耦接”用於表示間接或直接的電連接。因此，如果一個設備耦於接另一個設備，則該連接可以通過直接電連接，或者通過經由其他設備和連接的間接電連接。
第1圖是示出根據本發明一實施例的360度虛擬現實（360-degree Virtual Reality，360 VR）系統的示意圖。 360 VR系統100包括兩個視訊處理裝置（例如，源電子設備102和目標電子設備104）。源電子設備102包括視訊捕捉設備112，轉換電路114和視訊編碼器116。例如，視訊捕捉設備112可以是用於提供對應於球形視野（viewing sphere）的全向圖像/視訊內容（例如，覆蓋整個周圍環境的多個圖像）S_IN的一組相機。轉換電路114耦接在視訊捕捉設備112與視訊編碼器116之間。轉換電路114根據全向圖像/視訊內容S_IN生成具有360度虛擬現實（360-degree Virtual Reality，360 VR）投影佈局的基於投影的圖框IMG。例如，基於投影的圖框IMG可以是包括在由轉換電路114生成的基於投影的圖框序列中的一個圖框。視訊編碼器116是編碼電路，用於編碼/壓縮基於投影的圖框IMG以生成位元流BS的一部分，並且經由傳輸裝置103將位元流BS輸出到目標電子設備104。例如，基於投影的圖框的序列可以被編碼到位元流BS中，並且傳輸裝置103可以是有線/無線通訊鏈路或存儲介質。
目標電子設備104可以是頭戴式顯示器（head-mounted display，HMD）設備。如第1圖所示，目標電子設備104包括視訊解碼器122，圖像呈現電路124和顯示屏幕126。 視訊解碼器122是解碼電路，用於接收來自傳輸裝置103（例如，有線/無線通信鏈路或存儲介質）的位元流BS，並解碼接收到的位元流BS以生成解碼圖框IMG'。例如，視訊解碼器122通過對接收到的位元流BS進行解碼來生成解碼圖框序列，其中解碼圖框IMG'是包含在解碼圖框序列中的一個圖框。在該實施例中，將被視訊編碼器116編碼的基於投影的圖框IMG，其具有投影佈局的360VR投影格式。因此，在位元流BS被視訊解碼器122解碼之後，解碼圖框IMG'具有相同的360VR投影格式和相同的投影佈局。圖像呈現電路124耦接在視訊解碼器122和顯示屏幕126之間。圖像呈現電路124根據解碼圖框IMG'在顯示屏幕126上呈現和顯示輸出圖像資料。例如，與解碼圖框IMG'攜帶的360度圖像/視訊的一部分內容相關的視角區域可經由圖像呈現電路124顯示在顯示屏幕126上。
本發明提出了一種創新的基於視角的立方體投影佈局設計，其具有緊湊的形式和/或可以將使用者的視角的圖像/視訊內容保存在主投影面（例如中央矩形投影面）中。如上所述，轉換電路114根據360 VR投影佈局和全向圖像/視訊內容S_IN生成基於投影的圖框IMG。在本實施例中，上述360 VR投影佈局是通過打包（packing）六個矩形投影面而構成的基於視角的立方體投影佈局L_VCP。具體而言，基於投影的圖框IMG具有由提出的基於視角的立方體投影佈局L_VCP中打包的六個矩形投影面所表示的360度圖像/視訊內容。在下文中提供了所提出的基於視角的立方體投影佈局L_VCP的進一步細節。
應該注意的是，矩形是所有四個角都是直角的四邊形，而正方形是所有四個角都是直角、並且所有四條邊的長度都相等的四邊形。因此，正方形是一種特殊的矩形。根據所提出的基於視角的立方體投影佈局中的矩形投影面的位置，下文中提到的矩形投影面的形狀可以是矩形或正方形。
第2圖是從球形視野的立方體投影獲得的立方體投影(cubemap projection，CMP)佈局的六個正方形投影面的示意圖。球形視野202的全向圖像/視訊內容被映射到立方體204的六個正方形投影面(標記為“Left”、“Front”、“Right”、“Back”、“Top”和“Bottom”)如第2圖所示，在CMP佈局206中佈置正方形投影面 “Left”、“Front”、“Right”、“Back”、“Top”和“Bottom”。
將被編碼的基於投影的圖框IMG必須是矩形的。如果CMP佈局206直接用於創建基於投影的圖框IMG，則基於投影的圖框IMG必須用虛擬區域（例如，黑色區域或白色區域）填充滿以形成用於編碼的矩形圖框。因此，需要可以消除虛擬區域（例如，黑色區域或白色區域）以提高編碼效率的緊湊投影佈局。因此，本發明提出了基於視角的立方體投影佈局設計，其具有緊湊的形式並且可以在主投影面（例如，中央矩形投影面）中保存用戶的視角（即，視角區域）的圖像/視訊內容。
第3圖是根據本發明一實施例的第一建議的基於視角的立方體投影佈局的示意圖。第一建議的基於視角的立方體投影佈局302可以從具有縮小投影面的CMP佈局206推導出。如第3圖的上部所示，每個正方形投影面的寬度是W，並且每個正方形投影面的高度是H（H = W）。如第3圖的中間部分所示。在圖3中，矩形投影面“T”是通過將正方形投影面“Top”在其高度方向上以第一預定義縮小因子s（s = H / h）進行縮小而推導出的，矩形投影面“ L”是通過將正方形投影面“Left”在其寬度方向上以第一預定義縮小因子s（s = W / w）縮小而推導出的，矩形投影面“B”是通過將正方形投影面“Bottom”在其高度方向上以第一預定義縮小比例因子s進行縮小而推導出的，以及矩形投影面“R”是通過將正方形投影面“Right”在其寬度方向以第一預定義縮小因子s進行縮小而推導出的。此外，矩形投影面“BK”是將正方形投影面“Back”在其寬度方向上以第二預定義縮小因子t（t = 0.5 * s）進行縮小，並且將正方形投影面“Back”在其高度方向上以第二預定義縮小因子t進行縮小而推導出的。在該實施例中，矩形投影面“BK”被均等地分割成四個分別具有寬度w和高度h（h = w）的部分矩形投影面“B0”、“B1”、“B2”和“B3”。值得注意的是，矩形投影面“BK”也是正方形投影面，使得部分矩形投影面“B0”、“B1”、“B2”和“B3”中的每一個的形狀也是正方形。此外，CMP佈局206中的正方形投影面“Front”對應於用戶的視角，並且被直接用作第一建議的基於視角的立方體投影佈局302所需的矩形投影面“F”。因此，形狀矩形投影面“F”是具有寬度W和高度H（H = W）的正方形。
矩形投影面“F”、“T”、“L”、“B”和“R”以及四個部分矩形投影面“B0”、“B1”、“B2”和“B3”被打包在第一建議的基於視角的立方體投影佈局302中。如第3圖的底部所示，矩形投影面“F”對應於用戶的視角，並且由矩形投影面“T”、“L”、“B”和“R”和四個部分矩形投影“B0”、“B1”、“B2”和“B3”組成的周圍區域包圍。更具體地說，矩形投影面“T”的邊S21與矩形投影面“F”的邊S11連接，矩形投影面“T”的邊S22與部分矩形投影面“B0”的邊S601連接，矩形投影面“T”的邊S23與部分矩形投影面“B1”的邊S611連接，矩形投影面“L”的邊S31與矩形投影面“F”的邊S12連接，矩形投影面“L”的邊S32與部分矩形投影面“B2”的邊S621連接，矩形投影面“L”的邊S33與部分矩形投影面“B0”的邊S602連接，矩形投影面“B”的邊S41與矩形投影面“F”的邊S13連接，矩形投影面“B”的邊S42與部分矩形投影面“B3”的邊S631連接，矩形投影面“B”的邊S43與部分矩形投影面“B2”的邊S622連接，矩形投影面“R”的邊S51與矩形投影面“ F”的邊S14連接，矩形投影面“R”的邊S52與部分矩形投影面“B1 ”的邊S612連接，以及矩形投影面“R”的邊S53與部分矩形投影面“B3”的邊S632連接。
由於矩形投影面“T”是與正方形投影面“Front”相鄰的正方形投影面“Top”的縮小版本，所以矩形投影面“T”的邊S21和矩形投影面“F”的邊S11之間存在圖像連續性邊界（image continuity boundary）。由於矩形投影面“L”是與正方形投影面“Front”相鄰的正方形投影面“Left”的縮小版本，因此在矩形投影面“L”的邊S31與矩形投影面“F”的邊S12之間存在圖像連續性邊界。由於矩形投影面“B”是與正方形投影面“Front”相鄰的正方形投影面“Bottom”的縮小版本，因此在矩形投影面“B”的邊S41與矩形投影面“ F”的邊S13之間存在圖像連續性邊界。由於矩形投影面“R”是與正方形投影面“Front”相鄰的正方形投影面“Right”的縮小版本，因此在矩形投影面“R”的邊S51與矩形投影面”F“的邊S14之間存在圖像連續性邊界。
矩形投影面“B”是與立方體204的正方形投影面“Front”相對的立方體204的正方形投影面“Back”的縮小版本。為了形成第一建議的基於視角的立方體投影佈局302是矩形（特別是正方形）時，矩形投影面“B”被等分為四個部分矩形投影面“B0”、“B1”、“B2”和“B3”，並且部分矩形投影面“B0”、“B1”、“B2”和“B3”位於第一建議的基於視角的立方體投影佈局302的四個角落。因此，部分矩形投影面“B0”的邊S601和矩形投影面“T”的邊S22之間存在圖像內容不連續邊界（image content discontinuity boundary），部分矩形投影面“B0”的邊S602和矩形投影面“L”中的邊S33之間存在圖像內容不連續邊界，部分矩形投影面“B2”的邊S621和矩形投影面“L”的邊S32之間存在圖像內容不連續邊界，部分矩形投影面“B2”的邊S622和矩形投影面“B”的邊S43之間存在圖像內容不連續邊界，在部分矩形投影面“B3”的邊S631和矩形投影面“B”的邊S42之間存在圖像內容不連續邊界，在部分矩形投影面“B3”的邊S632和矩形投影面“R”的邊S53之間存在圖像內容不連續邊界，部分矩形投影面“B1”的邊S611和矩形投影面“T”的邊S23之間存在圖像內容不連續邊界，以及部分矩形投影面“B1”的邊S612和矩形投影面“R”的邊S52之間存在圖像內容不連續邊界。
應該注意的是，位於第一建議的基於視角的立方體投影佈局302的四個角落處的四個部分矩形投影面“B0”、“B1”、“B2”和“B3”的佈置僅用於說明目的，並不意味著限制本發明。在一個可替代設計中，部分矩形投影面“B0”、“B1”、“B2”和“B3”的位置順序可以根據實際設計考慮而改變。也就是說，部分矩形投影面“B0”不一定位於第一建議的基於視角的立方體投影佈局302的左上角，部分矩形投影面“B1”不一定位于右上方第一建議的基於視角的立方體投影佈局302的右上角，部分矩形投影面“B2”不一定位於第一建議的基於視角的立方體投影佈局302的左下角，和/或部分矩形投影面“B3”不一定位於第一建議的基於視角的立方體投影佈局302的右下角。
在另一替代設計中，取決於實際設計考慮因素，可以調整部分矩形投影面“B0”、“B1”、“B2”和“B3”中的一個或多個的位置方向。也就是說，當部分矩形投影面“B0”被打包在第一建議的基於視角的立方體投影佈局302中時可以旋轉90°/ 180°/ 270°，當部分矩形投影面“B1”被打包在第一建議的基於視角的立方體投影佈局302中時，可以旋轉90°/ 180°/ 270°，當部分矩形投影面“B2”被打包在第一建議的基於視角的立方體投影佈局302中時，可以旋轉90°/ 180°/ 270°，和/或當部分矩形投影面“B3”被打包在第一建議的基於視角的立方體投影佈局302中時，可以旋轉90°/ 180°/ 270°。
如上所述，矩形投影面“T”、“L”、“B”、“R”和“BK”中的每一個都是通過縮小所對應的正方形投影面“Top”/”Left”/”Bottom”/”Right”/”Back”而推導得到的。在本發明的一些實施例中，可以通過均勻映射來重新採樣正方形投影面“Top”/”Left”/”Bottom”/”Right”/”Back”來實現縮小的對應正方形投影面“Top”/“Left”/“Bottom”/“Right”/“Back”。請結合參照第4圖和第5圖。第4圖是通過均勻映射縮小正方形投影面的示例的示意圖。第5圖是根據本發明一實施例的均勻映射函數的曲線的示意圖。在本實施例中，通過將正方形投影面402在高度方向上進行縮小來推導出矩形投影面404，其中正方形投影面402具有寬度W和高度H（H = W），並且矩形投影面404具有寬度W和高度h（h ＜H）。作為示例而非限制，均勻映射函數可以通過使用以下公式來表示。(1)
因此，關於位於矩形投影面404中的y軸上的座標y'處的像素位置，可以根據等式（1）所示的均勻映射函數來確定位於正方形投影面402中的y軸上的座標Y處的對應採樣點。矩形投影面404中的位置P的像素值通過使用正方形投影面402中的對應採樣位置p'的像素值來推導出。由於在其高度方向上的均勻映射，所以在矩形投影面402中的兩個垂直相鄰的採樣點以恒定的距離（constant distance）D均勻分佈。
正方形投影面402中的採樣點（即，獲得的像素位置p'）可以不是整數位置。如果正方形投影面402中的採樣點的y軸上的座標Y是非整數位置，則可以將轉換電路114中的插值濾波器（未示出）應用於正方形投影面402中採樣點周圍的整數像素以推導出採樣點的像素值。例如，插值濾波器可以是雙線性濾波器，雙三次濾波器或Lanczos濾波器。
在另一種情況下，矩形投影面404是通過將正方形投影面402在其寬度方向上進行縮小而推導出的。均勻映射函數可以用下面的公式表示。(2)
因此，關於位於矩形投影面404中的x軸上的座標x'處的像素位置，可以根據等式（2）中表示的均勻映射函數推導出位於正方形投影面402中的x軸上的座標X處的對應採樣點。矩形投影面404中的位置P的像素值通過使用正方形投影面402中的對應採樣位置p'的像素值來推導出。由於在其寬度方向上的均勻映射，在矩形投影面402中的兩個水平相鄰的採樣點以恒定的距離均勻分佈。
正方形投影面402中的採樣點（即，獲得的像素位置p'）可以不是整數位置。如果正方形投影面402中的採樣點的x軸上的座標X是非整數位置，則可以將轉換電路114中的插值濾波器（未示出）應用於正方形投影面402中採樣點周圍的整數像素以推導出採樣點的像素值。例如，插值濾波器可以是雙線性濾波器，雙三次濾波器或Lanczos濾波器。
在另一種情況下，其中矩形投影面404是通過在高度方向和寬度方向上縮小正方形投影面402而推導出的。因此，關於位於矩形投影面404中的y軸上的座標y'處的像素位置，可以用等式（1）所表示的均勻映射函數來確定位於正方形投影面402中的y軸上的座標Y處的對應採樣點。此外，關於位於矩形投影面404中的x軸上的座標x'處的像素位置，可以用等式（2）所表示的均勻映射函數來確定位於正方形投影面402中的x軸上的座標X處的對應採樣點。通過使用正方形投影面402中的對應採樣位置p'的像素值來推導出矩形投影面404中的位置P的像素值。由於在高度方向和寬度方向兩者上的均勻映射，矩形投影面402中的採樣點是均勻分佈的。
正方形投影面402中的採樣點（即，獲得的像素位置p'）可以不是整數位置。如果正方形投影面402中的採樣點的x軸上的座標X和y軸上的座標Y中的至少一個是非整數位置，則可以將轉換電路114中的插值濾波器（未示出）應用於正方形投影面402中的採樣點周圍的整數像素以推導出採樣點的像素值。例如，插值濾波器可以是雙線性濾波器，雙三次濾波器或Lanczos濾波器。
為了在主投影面附近（例如，對應於用戶的視角的中央矩形投影面“F”）保存更多細節，本發明還提出了通過非均勻映射來重新採樣對應的正方形投影面“Top”/”Left”/“Bottom”/“Right”/“Back”。請結合參考第6圖和第7圖，第6圖是通過非均勻映射來縮小正方形投影面的示例的示意圖。第7圖是根據本發明一實施例的非均勻映射函數的曲線的示意圖。在本實施例中，通過在其高度方向上縮小正方形投影面602來推導獲得矩形投影面604，其中正方形投影面602具有寬度W和高度H（H = W），並且矩形投影面604具有寬度W和高度h（h ＜H）。作為示例而非限制，可以通過使用以下公式來表示非均勻映射函數。(3)
因此，關於位於矩形投影面604中的y軸上的座標y'處的像素位置，可以根據公式（3）中表示的非均勻映射函數推導出位於正方形投影面602中的y軸上的座標Y處的對應採樣點。如第6圖所示，兩個垂直相鄰採樣點之間的間隔不是恒量（constant）。例如，兩個垂直相鄰採樣點之間的間隔可以是D1、D2、D3和D4中的一個，其中D4＞ D3＞ D2＞ D1。具體而言，採樣點在正方形投影面602的高度方向上非均勻分佈。矩形投影面604中的位置P的像素值是通過使用在正方形投影面602中的對應採樣位置p'的像素值推導得出。例如，矩形投影面604中的第一比例縮小區域606中的像素通過重新採樣正方形投影面602的第一源區域610獲得，以及矩形投影面604中的第二比例縮小區域608中的像素通過對正方形投影面602的第二源區域612進行重新採樣來獲得。由於在其高度方向上的非均勻映射，從第一源區域610獲得的採樣點的密度是不同於從第二源區域612獲得的採樣點的密度。換句話說，通過對第一源區域610使用第一採樣密度重新採樣來推導出第一比例縮小區域610，以及通過對第二源區域612使用第二採樣密度重新採樣來推導出第二比例縮小區域612，其中第二採樣密度不同於第一採樣密度。
為了在主投影面（例如，對應於用戶的視角的中央矩形投影面“F”）附近保存更多細節，通過非均勻映射適當地控制第一採樣密度和第二採樣密度。假設第一源區域610比第二源區域612更靠近使用者的視角的中心（例如，矩形投影面“Front”的中心），則第一採樣密度特別設置為高於第二採樣密度。以這種方式，矩形投影面604中的大部分像素通過重新採樣正方形投影面602中的第一源區610而推導出。
正方形投影面602中的採樣點（即，獲得的像素位置p'）可以不是整數位置。如果正方形投影面602中的採樣點的y軸上的座標Y是非整數位置，則可以將轉換電路114中的插值濾波器（未示出）應用於正方形投影面602中的採樣點周圍的整數像素以推導出採樣點的像素值。例如，插值濾波器可以是雙線性濾波器，雙三次濾波器或Lanczos濾波器。
在另一種情況下，矩形投影面604是通過在其寬度方向上縮小正方形投影面602而得到的。非均勻映射函數可以用下面的公式來表示。(4)
因此，關於位於矩形投影面604中的x軸上的座標x'處的像素位置，可以根據公式（4）表示的非均勻映射函數推導出位於正方形投影面602中的x軸上的座標X處的對應採樣點。具體而言，採樣點在正方形投影面602的寬度方向上非均勻地分佈。矩形投影面604中的位置P的像素值通過使用在正方形投影面602中的對應採樣位置p'處的像素值來推導出。由於在其寬度方向上的非均勻映射，矩形投影面604中的第一比例縮小區域是通過以第一採樣密度重新採樣正方形投影面602的第一源區域而推導出的，以及矩形投影面604中的第二比例縮小區域是通過以第二採樣密度重新採樣正方形投影面602的第二源區域來推導出的，其中第二採樣密度不同於第一採樣密度。例如，當正方形投影面602的第一源區域比正方形投影面602的第二源區域更靠近用戶視角的中心時，第一採樣密度特別設置為高於第二採樣密度。
正方形投影面602中的採樣點（即，獲得的像素位置p'）可以不是整數位置。如果正方形投影面602中的採樣點的x軸上的座標X是非整數位置，則可以將轉換電路114中的插值濾波器（未示出）應用於正方形投影面602中採樣點周圍的整數像素以推導出採樣點的像素值。例如，插值濾波器可以是雙線性濾波器，雙三次濾波器或Lanczos濾波器。
在另一種情況下，其中矩形投影面604是通過將正方形投影面602在高度方向和寬度方向上縮小而推導出的。因此，對於位於矩形投影面604中的y軸上的座標y'處的像素位置，可以根據如等式（3）所示的非均勻性映射函數來確定位於正方形投影面602中的y軸上的座標Y處的對應採樣點。另外，關於位於矩形投影面604中的x軸座標x'處的像素位置，可以根據等式（4）所示的非均勻映射函數來確定位於正方形投影面602中的x軸上的座標X處的對應採樣點。具體而言，採樣點在正方形投影面602的高度方向上非均勻分佈，並且在正方形投影面602的寬度方向上也非均勻分佈。通過使用正方形投影面602中的對應採樣位置p'的像素值來推導出矩形投影面604中的位置P的像素值。由於在高度方向和寬度方向上的非均勻映射，矩形投影面中的第一比例縮小區域604是通過以第一採樣密度重新採樣正方形投影面602的第一源區域而推導出的，以及矩形投影面604中的第二比例縮小區域是通過以第二採樣密度重新採樣正方形投影面602的第二源區域來推導出的，其中第二採樣密度不同於第一採樣密度。例如，當正方形投影面602的第一源區比正方形投影面602的第二源區更靠近用戶視角的中心時，第一採樣密度特別設置為高於第二採樣密度。
正方形投影面602中的採樣點（即，獲得的像素位置p'）可以不是整數位置。如果正方形投影面602中的對應採樣點的x軸上的座標X和y軸上的座標Y中的至少一個是非整數位置，則可以將轉換電路114中的插值濾波器（未示出）應用於正方形投影面602中的採樣點周圍的整數像素以推導出採樣點的像素值。例如，插值濾波器可以是雙線性濾波器，雙三次濾波器或Lanczos濾波器。
應該注意的是，前述的非均勻映射函數是用於說明的目的，並不意味著是對本發明的限制。在本發明的一些實施例中，轉換電路114可以採用不同的非均勻映射函數來進行縮小投影。
可以採用非均勻映射來保存第一建議的基於視角的立方體投影佈局302中的主投影面（例如，矩形投影面“F”）附近的更多細節。例如，矩形投影面“T”的大多數像素是通過重新採樣的正方形投影面“Top”的底部部分而推導出的，矩形投影面“L”的大部分像素是通過重新採樣正方形投影面“Left”的右邊部分而推導出的，矩形投影面“B”的大部分像素是通過重新採樣正方形投影面“Bottom”的頂部部分而推導出的，以及矩形投影面“R”的大部分像素是通過重新採樣正方形投影面“Right”的左邊部分而推導出的。如上所述，在矩形投影面“F”和“T”之間存在圖像內容連續性邊界，在矩形投影面“F”和“L”之間存在圖像內容連續性邊界，在於矩形投影面“F”和“B” 間存在圖像內容連續性邊界，以及在矩形投影面“F”和“L”之間存在圖像內容連續性邊界。由於通過非均勻映射可以在輔助投影面“T”、“L”、“B”和“R”中保留靠近主投影面（例如，矩形投影面“F”）的更多細節，基於投影的圖像IMG的編解碼效率可以進一步提高。例如，與具有通過均勻映射進行縮小而生成的矩形投影面“T”、“L”、“B”和“R”的基於投影的圖像IMG的編解碼效率相比，具有通過非均勻映射縮小而生成的矩形投影面“T”、“L”、“B”和“R”的基於圖像的基於投影的IMG的編解碼效率更好。
應該注意的是，非均勻映射也可以用於產生矩形投影面“BK”，其被劃分成部分矩形投影面“B0”、“B1”、“B2”和“B3”。例如，因為正方形投影面“Back”的中心部分比正方形投影面“Back”的周圍部分更接近用戶視角的中心的事實，矩形投影面“BK”的大部分像素是由正方形投影面“Back”的中心部分重新採樣而推導出的。
關於第3圖所示的第一建議的基於視角的立方體投影佈局302，矩形投影面“F”與CMP佈局206中的正方形投影面“Front”相同。換句話說，正方形投影面“Front”中的視角區域有被矩形投影面“ F”完全保存。然而，這僅僅是為了說明的目的，並不意味著限制本發明。或者，矩形投影面“F”可以是CMP佈局206中的正方形投影面“Front”的縮小版本。
第8圖是根據本發明一實施例的第二建議的基於視角的立方體投影佈局的示意圖。第二建議的基於視角的立方體投影佈局802可以通過縮小投影面來從CMP佈局206推導出。如第8圖的頂部所示，每個正方形投影面的寬度是W，並且每個正方形投影面的高度是H（H = W）。如第8圖的中間部分所示，矩形投影面“F”是通過將正方形投影面“Front”在其高度方向上以第一預定義縮小因子u（u = H / H'）縮小，並且將正方形投影面“Front”在其寬度方向上以第一預定義縮小因子u（u = W / W'，其中W'= H'）縮小而推導得到。矩形投影面“T”是通過將正方形投影面“Top”在其高度方向上以第二預定義縮小因子s (s = H/h)縮小，並且將正方形投影面“Top”在其寬度方向上以第一預定義縮小因子u縮小而推導得到。矩形投影面“L”是通過將正方形投影面“Left”在其寬度方向上以第二預定義縮小因子s（s = W / w，其中w = h）縮小，並且將正方形投影面“Left”在其高度方向上以第一預定義縮小因子u縮小而推導得到。矩形投影面“B”是通過將正方形投影面“Bottom”在其高度方向上以第二預定義縮小因子s縮小，並且將正方形投影面“Bottom”在其寬度方向上以第一預定義縮小因子u縮小而推導得到。以及矩形投影面“R”是通過將正方形投影面“Right”在其寬度方向上以第二預定義縮小因子s縮小，並且將正方形投影面“Right”在其高度方向上以第一預定義縮小因子u縮小而推導得到。此外，矩形投影面“BK”是通過將正方形投影面“Back”在其寬度方向上以第三預定義縮小因子t（t = 0.5 * s）縮小，將正方形投影面“Back”在其高度方向上以第三預定義縮小因子t縮小而推導得到。在該實施例中，矩形投影面“BK”被均等地劃分成分別具有寬度w和高度h（w = h）的部分矩形投影面“B0”、“B1”、“B2”和“B3”。應該注意的是，矩形投影面“BK”也是正方形投影面，這使得部分矩形投影面“B0”、“B1”、“B2”和“B3”中的每一個的形狀也是正方形。而且，矩形投影面“F”的形狀是正方形。
在一個示例性的縮小設計中，矩形投影面“T”/“L”/“B”/“R”/“BK”是通過均勻映射向對應的正方形投影面“Top”/“Left”/“Bottom”/“Right”/“Back”重新採樣而推導得到。在另一個示例性的縮小設計中，矩形投影面“T”/“L”/“B”/“R”/“BK” 是通過非均勻映射向對應的正方形投影面“Top”/”Left”/”Bottom”/”Right”/”Back”重新採樣而推導得到。由於所屬領域中具有習知技術者在閱讀以上段落後可以容易地瞭解具有均勻映射的縮小細節和具有非均勻映射的縮小的細節，因此為了簡潔起見，在此省略了進一步的描述。
矩形投影面“F”、“T”、“L”、“B”和“R”以及部分矩形投影面“B0”、“B1”、“B2”和“B3”被打包在第二建議的基於視角的立方體投影佈局802中。如第8圖中所示，矩形投影面“F”對應於用戶的視角，並且被由矩形投影面“T”、“L”、“B”和“R”和部分矩形投影面“B0”、“B1”、“B2”和“B3” 組成的周圍區域包圍。更具體地說，矩形投影面“T”的邊S21與矩形投影面“F”的邊S11連接，矩形投影面“T”的邊S22與部分矩形投影面“B0”的邊S601連接，矩形投影面“T”的邊S23與部分矩形投影面“B1”的邊S611連接，矩形投影面“L”的邊S31與矩形投影面“F”的邊S12連接，矩形投影面“L”的邊S32與部分矩形投影面“B2”的邊S621連接，矩形投影面“L”的邊S33與部分矩形投影面“B0”的邊S602連接，矩形投影面“B”的邊S41與矩形投影面“F”的邊S13連接，矩形投影面“B”的邊S42與部分矩形投影面“B3”的邊S631連接，矩形投影面“B”的邊S43與部分矩形投影面“B2”的邊S622連接，矩形投影面“R”的邊S51與矩形投影面“F”的邊S14連接，矩形投影面“R”的邊S52與部分矩形投影面”B1“的邊S612連接，以及矩形投影面“R”的邊S53與部分矩形投影面 “B3”的邊S632連接。
由於所屬領域中具有習知技術者在閱讀了針對第一建議的基於視角的立方體投影佈局302的以上段落之後可以容易地理解第二建議的基於視角的立方體投影佈局802的細節，因此為了簡潔起見，這裡省略了進一步的描述。
所屬領域中具有習知技術者將容易觀察到，可以在保持本發明的教導的同時進行設備和方法的許多修改和變更。因此，上述公開內容應該被解釋為僅受所附權利要求的界限限制。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
102‧‧‧源電子設備
103‧‧‧傳輸裝置
104‧‧‧目標電子設備
112‧‧‧視訊捕捉設備
114‧‧‧轉換電路
122‧‧‧視訊解碼器
124‧‧‧圖像呈現電路
126‧‧‧顯示屏幕
202‧‧‧球形視野
204‧‧‧立方體
206‧‧‧CMP佈局
B0、B1、B2、B3‧‧‧部分矩形投影面
F、T、L、B、R‧‧‧矩形投影面
Top、Left、Bottom、Right、Back‧‧‧正方形投影面
S11、S12、S13、S21、S22、S23、S31、S32、S33、S41、S42、S43、S51、S52、S53‧‧‧矩形投影面的邊
S601、S602、S611、S612、S621、S622、S631、S632‧‧‧部分矩形投影面的邊
302‧‧‧立方體投影佈局
402‧‧‧正方形投影面
404‧‧‧矩形投影面
602‧‧‧正方形投影面
604‧‧‧矩形投影面
606‧‧‧第一比例縮小區域
608‧‧‧第二比例縮小區域
610‧‧‧第一源區域
612‧‧‧第二源區域
802‧‧‧立方體投影佈局
第1圖是是根據本發明一實施例的360度虛擬現實（360-degree Virtual Reality，360 VR）系統的示意圖。 第2圖是從球形視野的立方體投影獲得的立方體投影佈局的六個正方形投影面的示意圖。 第3圖是根據本發明一實施例的第一建議的基於視角的立方體投影佈局的示意圖。 第4圖是通過均勻映射縮小正方形投影面的示例的示意圖。 第5圖是根據本發明一實施例的均勻映射函數的曲線的示意圖。 第6圖是通過非均勻映射來縮小正方形投影面的示例的示意圖。 第7圖是根據本發明一實施例的非均勻映射函數的曲線的示意圖。 第8圖是根據本發明一實施例的第二建議的基於視角的立方體投影佈局的示意圖。

Claims (20)

  1. 一種視訊處理方法，包括： 接收對應於球形視野的全向圖像/視訊內容； 根據該全向圖像/視訊內容和基於視角的立方體投影佈局生成基於投影的圖框，其中該基於投影的圖框具有由打包在該基於視角的立方體投影佈局中的複數個矩形投影面表示的360度圖像/視訊內容，並且該等矩形投影面包括第一矩形投影面、第二矩形投影面、第三矩形投影面、第四矩形投影面、第五矩形投影面和第六矩形投影面，該第六矩形投影面被劃分成複數個部分矩形投影面，並且該第一矩形投影面對應於用戶的視角並且被該第二矩形投影面、該第三矩形投影面、該第四矩形投影面、該第五矩形投影面和該等部分矩形投影面組成的周圍區域包圍；以及 由視訊編碼器編碼該基於投影的圖框以生成位元流的一部分。
  2. 如申請專利範圍第1項所述之視訊處理方法，其中，該第一矩形投影面的第一邊與該第二矩形投影面的第一邊相連；該第一矩形投影面的第二邊與該第三矩形投影面的第一邊連接；該第一矩形投影面的第三邊與該第四矩形投影面的第一邊連接；該第一矩形投影面的第四邊與該第五矩形投影面的第一邊連接；該等部分矩形投影面包括第一部分矩形投影面、第二部分矩形投影面、第三部分矩形投影面和第四部分矩形投影面；該第一部分矩形投影面具有與該第二矩形投影面的第二邊連接的第一邊和與該第三矩形投影面的第二邊連接的第二邊；該第三部分矩形投影面具有與該第三矩形投影面的第三邊連接的第一邊和與該第四矩形投影面的第二邊連接的第二邊；該第四部分矩形投影面具有與該第四矩形投影面的第三邊連接的第一邊和與該第五矩形投影面的第二邊連接的第二邊；以及該第二部分矩形投影面具有與該第二矩形投影面的第三邊連接的第一邊和與該第五矩形投影面的第三邊連接的第二邊。
  3. 如申請專利範圍第2項所述之視訊處理方法，其中，在該第一矩形投影面的該第一邊與該第二矩形投影面的該第一邊之間存在圖像連續性邊界，在該第一矩形投影面的該第二邊與該第三矩形投影面的該第一邊之間存在圖像連續性邊界，在該第一矩形投影面的該第三邊與該第四矩形投影面的該第一邊之間存在圖像連續性邊界，以及在該第一矩形投影面的該第四邊與該第五矩形投影面的該第一邊之間存在圖像連續性邊界。
  4. 如申請專利範圍第2項所述之視訊處理方法，其中，在該第一部分矩形投影面的該第一邊與該第二矩形投影面的該第二邊之間存在圖像不連續性邊界，在該第一部分矩形投影面的該第二邊與該第三矩形投影面的該第二邊之間存在圖像不連續性邊界，在該第三部分矩形投影面的該第一邊與該第三矩形投影面的該第三邊之間存在圖像不連續性邊界，在該第三部分矩形投影面的該第二邊與該第四矩形投影面的該第二邊之間存在圖像不連續性邊界，在該第四部分矩形投影面的該第一邊與該第四矩形投影面的該第三邊之間存在圖像不連續性邊界，在該第四部分矩形投影面的該第二邊與該第五矩形投影面的該第二邊之間存在圖像不連續性邊界，在該第二部分矩形投影面的該第一邊與該第二矩形投影面的該第三邊之間存在圖像不連續性邊界，以及在該第二部分矩形投影面的該第二邊與該第五矩形投影面的該第三邊之間存在圖像不連續性邊界。
  5. 如申請專利範圍第1項所述之視訊處理方法，其中，根據該全向圖像/視訊內容和基於視角的立方體投影佈局生成該基於投影的圖框的步驟包括： 通過球形視野的立方體映射投影將球形視野的該全向圖像/視訊內容映射到複數個正方形投影面上；以及 分別從該等正方形投影面推導出該第一矩形投影面、該第二矩形投影面、該第三矩形投影面、該第四矩形投影面、該第五矩形投影面和該第六矩形投影面，其中該第二矩形投影面矩形投影面、該第三矩形投影面、該第四矩形投影面、該第五矩形投影面和該第六矩形投影面是通過縮小對應的正方形投影面而推導出的。
  6. 如申請專利範圍第5項所述之視訊處理方法，其中，該等正方形投影面推導出該第一矩形投影面、該第二矩形投影面、該第三矩形投影面、該第四矩形投影面、該第五矩形投影面以及該第六矩形投影面的步驟，包括： 直接使用第一正方形投影面作為該第一矩形投影面； 通過將第二正方形投影面在其高度方向上以第一縮小比例因子縮小來推導出該第二矩形投影面； 通過將第三正方形投影面在其寬度方向上以第一縮小比例因子縮小來推導出該第三矩形投影面； 通過將第四正方形投影面在其高度方向上以第一縮小比例因子縮小來推導出該第四矩形投影面； 通過將第五正方形投影面在其寬度方向上以第一縮小比例因子縮小來推導出該第五矩形投影面；以及 通過將第六正方形投影面在其高度方向上以第二縮小因子縮小並將該第六正方形投影面在其寬度方向上以第二縮小因子縮小來推導出該第六矩形投影面，其中，該第一縮小因子是該第二縮小因子的兩倍。
  7. 如申請專利範圍第5項所述之視訊處理方法，其中，該等正方形投影面推導出該第一矩形投影面、該第二矩形投影面、該第三矩形投影面、該第四矩形投影面、該第五矩形投影面以及該第六矩形投影面的步驟，包括： 通過將第一正方形投影面在其高度方向上以第一縮小因子縮小並且將該第一正方形投影面在其寬度方向上以第一縮小因子縮小來推導出該第一矩形投影面； 通過將第二正方形投影面在其高度方向上以第二縮小因子縮小並且將該第二正方形投影面在其寬度方向上以第一縮小因子縮小來推導出該第二矩形投影面； 通過將第三正方形投影面在其高度方向上以第一縮小因子縮小並且將該第三正方形投影面在其寬度方向上以第二縮小因子縮小來推導出該第三矩形投影面； 通過將第四正方形投影面在其高度方向上以第二縮小因子縮小並且將該第四正方形投影面在其寬度方向上以第一縮小因子縮小來推導出該第四矩形投影面； 通過將第五正方形投影面在其高度方向上以第一縮小因子縮小並且將該第五正方形投影面在其寬度方向上以第二縮小因子縮小來推導出該第五矩形投影面；以及 通過利將第六正方形投影面在其高度方向上以第三縮小因子縮小並且將該第六正方形投影面在其寬度方向上以第三縮小因子縮小來推導出該第六矩形投影面，其中，該第二縮小因子是該第三個縮小因子的兩倍。
  8. 如申請專利範圍第5項所述之視訊處理方法，其中，該基於視角的立方體投影佈局的形狀是正方形；該第一矩形投影面的形狀是正方形；該第二矩形投影面、該第三矩形投影面、該第四矩形投影面和該第五矩形投影面中的每一個的形狀都不是正方形；並且該等部分矩形投影面的形狀，每個是正方形。
  9. 如申請專利範圍第5項所述之視訊處理方法，其中，該縮小對應的正方形投影面的步驟包括： 通過非均勻映射對該對應的正方形投影面進行重新採樣，其中該對應的正方形投影面具有第一源區域和第二源區域，該第二矩形投影面、該第三矩形投影面、該第四矩形投影、該第五矩形投影面和該第六矩形投影面中的每一個具有第一比例縮小區域和第二比例縮小區域，該第一比例縮小區域是通過以第一採樣密度對該第一源區域進行重新採樣而推導出的，並且該第二比例縮小區域是通過以不同於該第一採樣密度的第二採樣密度重新採樣該第二源區域而推導出的。
  10. 如申請專利範圍第9項所述之視訊處理方法，其中，該第一源區域比該第二源區域更靠近該用戶的視角的中心，並且該第一採樣密度高於該第二採樣密度。
  11. 一種視訊處理裝置，包括： 轉換電路，用於接收對應於球形視野的全向圖像/視訊內容，並且根據該全向圖像/視訊內容和基於視角的立方體投影佈局生成基於投影的圖框，其中該基於投影的圖框具有由打包在該基於視角的立方體投影佈局中的複數個矩形投影面表示的360度圖像/視訊內容，並且該等矩形投影面包括第一矩形投影面、第二矩形投影面、第三矩形投影面、第四矩形投影面、第五矩形投影面和被劃分成複數個部分矩形投影面的第六矩形投影面，並且該第一矩形投影面對應於用戶的視角並且被由該第二矩形投影面、該第三矩形投影面、該第四矩形投影面、該第五矩形投影面和該等部分矩形投影面構成的周圍區域包圍；以及 視訊編碼器，用於編碼該基於投影的圖框以產生位元流的一部分。
  12. 如申請專利範圍第11項所述之視訊處理裝置，其中，該第一矩形投影面的第一邊與該第二矩形投影面的第一邊相連；該第一矩形投影面的第二邊與該第三矩形投影面的第一邊連接；該第一矩形投影面的第三邊與該第四矩形投影面的第一邊連接；該第一矩形投影面的第四邊與該第五矩形投影面的第一邊連接；該等部分矩形投影面包括第一部分矩形投影面、第二部分矩形投影面、第三部分矩形投影面和第四部分矩形投影面；該第一部分矩形投影面具有分別與該第二矩形投影面的第二邊連接的第一邊和與該第三矩形投影面的第二邊連接的第二邊；該第三部分矩形投影面具有分別與該第三矩形投影面的第三邊連接的第一邊和與該第四矩形投影面的第二邊連接的第二邊；該第四部分矩形投影面具有分別與該第四矩形投影面的第三邊連接的第一邊和與該第五矩形投影面的第二邊連接的第二邊；以及該第二部分矩形投影面具有分別與該第二矩形投影面的第三邊連接的第一邊和與該第五矩形投影面的第三邊連接的第二邊。
  13. 如申請專利範圍第12項所述之視訊處理裝置，其中，在該第一矩形投影面的該第一邊與該第二矩形投影面的該第一邊之間存在圖像連續性邊界，在該第一矩形投影面的該第二邊與該第三矩形投影面的該第一邊之間存在圖像連續性邊界，在該第一矩形投影面的該第三邊與該第四矩形投影面的該第一邊之間存在圖像連續性邊界，以及在該第一矩形投影面的該第四邊與該第五矩形投影面的該第一邊之間存在圖像連續性邊界。
  14. 如申請專利範圍第12項所述之視訊處理裝置，其中，在該第一部分矩形投影面的該第一邊與該第二矩形投影面的該第二邊之間存在圖像不連續性邊界，在該第一部分矩形投影面的該第二邊與該第三矩形投影面的該第二邊之間存在圖像不連續性邊界，在該第三部分矩形投影面的該第一邊與該第三矩形投影面的該第三邊之間存在圖像不連續性邊界，在該第三部分矩形投影面的該第二邊與該第四矩形投影面的該第二邊之間存在圖像不連續性邊界，在該第四部分矩形投影面的該第一邊與該第四矩形投影面的該第三邊之間存在圖像不連續性邊界，在該第四部分矩形投影面的該第二邊與該第五矩形投影面的該第二邊之間存在圖像不連續性邊界，在該第二部分矩形投影面的該第一邊與該第二矩形投影面的該第三邊之間存在圖像不連續性邊界，以及在該第二部分矩形投影面的該第二邊與該第五矩形投影面的該第三邊之間存在圖像不連續性邊界。
  15. 如申請專利範圍第11項所述之視訊處理裝置，其中，該轉換電路還用於通過球形視野的立方體映射投影將球形視野的該全向圖像/視訊內容映射到複數個正方形投影面上；以及分別從該等正方形投影面推導出該第一矩形投影面、該第二矩形投影面、該第三矩形投影面、該第四矩形投影面、該第五矩形投影面和該第六矩形投影面，其中該第二矩形投影面矩形投影面、該第三矩形投影面、該第四矩形投影面、該第五矩形投影面和該第六矩形投影面是通過縮小對應的正方形投影面而推導出的。
  16. 如申請專利範圍第15項所述之視訊處理裝置，其中，該轉換電路直接使用第一正方形投影面作為該第一矩形投影面；通過將第二正方形投影面在其高度方向上以第一縮小比例因子縮小來推導出該第二矩形投影面；通過將第三正方形投影面在其寬度方向上以第一縮小比例因子縮小來推導出該第三矩形投影面；通過將第四正方形投影面在其高度方向上以第一縮小比例因子縮小來推導出該第四矩形投影面；通過將第五正方形投影面在其寬度方向上以第一縮小比例因子縮小來推導出該第五矩形投影面；以及通過將第六正方形投影面在其高度方向上以第二縮小因子縮小並將該第六正方形投影面在其寬度方向上以第二縮小因子縮小來推導出該第六矩形投影面，其中，該第一縮小因子是該第二縮小因子的兩倍。
  17. 如申請專利範圍第15項所述之視訊處理裝置，其中，該轉換電路通過將第一正方形投影面在其高度方向上以第一縮小因子縮小並且將該第一正方形投影面在其寬度方向上以第一縮小因子縮小來推導出該第一矩形投影面；通過將第二正方形投影面在其高度方向上以第二縮小因子縮小並且將該第二正方形投影面在其寬度方向上以第一縮小因子縮小來推導出該第二矩形投影面；通過將第三正方形投影面在其高度方向上以第一縮小因子縮小並且將該第三正方形投影面在其寬度方向上以第二縮小因子縮小來推導出該第三矩形投影面；通過將第四正方形投影面在其高度方向上以第二縮小因子縮小並且將該第四正方形投影面在其寬度方向上以第一縮小因子縮小來推導出該第四矩形投影面；通過將第五正方形投影面在其高度方向上以第一縮小因子縮小並且將該第五正方形投影面在其寬度方向上以第二縮小因子縮小來推導出該第五矩形投影面；以及通過利將第六正方形投影面在其高度方向上以第三縮小因子縮小並且將該第六正方形投影面在其寬度方向上以第三縮小因子縮小來推導出該第六矩形投影面，其中，該第二縮小因子是該第三縮小因子的兩倍。
  18. 如申請專利範圍第15項所述之視訊處理裝置，其中，該基於視角的立方體投影佈局的形狀是正方形；該第一矩形投影面的形狀是正方形；該第二矩形投影面、該第三矩形投影面、該第四矩形投影面和該第五矩形投影面中的每一個的形狀都不是正方形；並且該等部分矩形投影面中的每一個的形狀是正方形。
  19. 如申請專利範圍第15項所述之視訊處理裝置，其中，該轉換電路通過以下方式縮小該對應的正方形投影面： 通過非均勻映射對該對應的正方形投影面進行重新採樣，其中該對應的正方形投影面具有第一源區域和第二源區域，該第二矩形投影面、該第三矩形投影面、該第四矩形投影、該第五矩形投影面和該第六矩形投影面中的每一個具有第一比例縮小區域和第二比例縮小區域，該第一比例縮小區域是通過以第一採樣密度對該第一源區域進行重新採樣而推導出的，並且該第二比例縮小區域是通過以不同於該第一採樣密度的第二採樣密度重新採樣該第二源區域而推導出的。
  20. 如申請專利範圍第19項所述之視訊處理裝置，其中，該第一源區域比該第二源區域更靠近該用戶的視角的中心，並且該第一採樣密度高於該第二採樣密度。
TW106143494A 2016-12-14 2017-12-12 用於生成和編碼具有基於視角的立方體投影格式佈局之基於360度矩形投影圖框的方法和設備 TWI656788B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662433858P 2016-12-14 2016-12-14
US62/433,858 2016-12-14
US201762445809P 2017-01-13 2017-01-13
US62/445,809 2017-01-13
PCT/CN2017/115383 WO2018108046A1 (en) 2016-12-14 2017-12-11 Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by rectangular projection faces packed in viewport-based cube projection layout
??PCT/CN2017/115383 2017-12-11

Publications (2)

Publication Number Publication Date
TW201828706A true TW201828706A (zh) 2018-08-01
TWI656788B TWI656788B (zh) 2019-04-11

Family

ID=62557995

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106143494A TWI656788B (zh) 2016-12-14 2017-12-12 用於生成和編碼具有基於視角的立方體投影格式佈局之基於360度矩形投影圖框的方法和設備

Country Status (6)

Country Link
CN (1) CN109845270B (zh)
BR (1) BR112019007282A2 (zh)
DE (1) DE112017005123B4 (zh)
GB (1) GB2571638B (zh)
TW (1) TWI656788B (zh)
WO (1) WO2018108046A1 (zh)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031540A (en) * 1995-11-02 2000-02-29 Imove Inc. Method and apparatus for simulating movement in multidimensional space with polygonal projections from subhemispherical imagery
US20020118890A1 (en) * 2001-02-24 2002-08-29 Michael Rondinelli Method and apparatus for processing photographic images
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
JP2013046270A (ja) * 2011-08-25 2013-03-04 Olympus Corp 画像貼り合せ装置、撮影装置、画像貼り合せ方法、および画像処理プログラム
JP5745435B2 (ja) * 2012-02-01 2015-07-08 東芝プラントシステム株式会社 三次元データ処理装置、三次元データ処理プログラムおよび三次元データ処理方法
JP6688469B2 (ja) * 2015-03-05 2020-04-28 ソニー株式会社 画像処理装置および画像処理方法
CN105678693B (zh) * 2016-01-25 2019-05-14 成都易瞳科技有限公司 全景视频浏览播放方法
CN106056531B (zh) * 2016-05-13 2019-07-16 杭州当虹科技股份有限公司 一种360度全景视频球面展开到平面的显示方法
CN105898254B (zh) * 2016-05-17 2018-10-23 北京金字塔虚拟现实科技有限公司 节省带宽的vr全景视频布局方法、装置及展现方法、系统
CN106162139B (zh) * 2016-08-04 2018-03-30 微鲸科技有限公司 编码方法、视频输出装置、解码方法、以及视频播放装置
CN106162207B (zh) * 2016-08-25 2019-02-12 北京字节跳动科技有限公司 一种全景视频并行编码方法和装置

Also Published As

Publication number Publication date
DE112017005123B4 (de) 2020-09-10
WO2018108046A1 (en) 2018-06-21
GB2571638A (en) 2019-09-04
GB201903991D0 (en) 2019-05-08
BR112019007282A2 (pt) 2019-07-09
CN109845270B (zh) 2021-05-28
TWI656788B (zh) 2019-04-11
GB2571638B (en) 2022-04-20
DE112017005123T5 (de) 2019-07-11
CN109845270A (zh) 2019-06-04

Similar Documents

Publication Publication Date Title
TWI654874B (zh) 處理具有至少一非均勻映射生成之投影面之投影訊框之方法及裝置
TWI673995B (zh) 生成和編碼包括堆疊在360度虛擬實境投影佈局中的至少一個填充區域和至少一個投影面的基於投影的圖框的方法及裝置
CN107454468B (zh) 对沉浸式视频进行格式化的方法、装置和流
US11004173B2 (en) Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
TWI666912B (zh) 具有由封包於分段球體投影設計並以投影面表示之360度內容之投影訊框生成及編碼之方法及裝置
US10825229B2 (en) Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in triangle-based projection layout
TWI702567B (zh) 用於處理包括封裝在360度虛擬現實投影佈局中的至少一個投影面的基於投影的圖框的方法
TWI681662B (zh) 用於減少基於投影的圖框中的偽影的方法和裝置
US10573076B2 (en) Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by rectangular projection faces packed in viewport-based cube projection layout
CN111418213B (zh) 用于沉浸式视频编解码的信令语法的方法以及装置
TWI756526B (zh) 用於重構的基於投影的幀的樣本適應性偏移濾波方法
TWI656788B (zh) 用於生成和編碼具有基於視角的立方體投影格式佈局之基於360度矩形投影圖框的方法和設備
TWI736851B (zh) 一種基於立方體的投影方法
US10652516B2 (en) Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by base projection face and lateral projection faces packed in pyramid projection layout
CN109716776B (zh) 用于生成且编码全向内容视频的方法及设备