TW202101373A - 產生及處理一影像屬性像素結構 - Google Patents

產生及處理一影像屬性像素結構 Download PDF

Info

Publication number
TW202101373A
TW202101373A TW109102359A TW109102359A TW202101373A TW 202101373 A TW202101373 A TW 202101373A TW 109102359 A TW109102359 A TW 109102359A TW 109102359 A TW109102359 A TW 109102359A TW 202101373 A TW202101373 A TW 202101373A
Authority
TW
Taiwan
Prior art keywords
pixel structure
image attribute
area
attribute pixel
boundary
Prior art date
Application number
TW109102359A
Other languages
English (en)
Inventor
威和莫司 漢卓克司 愛芬瑟司 布爾斯
Original Assignee
荷蘭商皇家飛利浦有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷蘭商皇家飛利浦有限公司 filed Critical 荷蘭商皇家飛利浦有限公司
Publication of TW202101373A publication Critical patent/TW202101373A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本發明係關於一種用於產生或處理一影像信號之設備。一第一影像屬性像素結構係表示用於視點的一視圖球體之一表面的一二維非矩形像素結構。一第二影像屬性像素結構係一二維矩形像素結構且係由一處理器(305)產生，以具有一中心區域及至少一第一隅角區域，該中心區域導出自該第一影像屬性像素結構之一中心區域，該至少一第一隅角區域導出自該第一影像屬性像素結構之一第一邊界區域。該第一邊界區域係鄰近於該第一影像屬性像素結構之一上邊界及一下邊界之一者的一區域。該影像信號經產生以包括該第二影像屬性像素結構，且該影像信號可由一接收器處理以復原該第一影像屬性像素結構。

Description

產生及處理一影像屬性像素結構
本發明係關於一種用於產生及/或處理一影像屬性像素結構之設備及方法，且具體而言，但非排他地，係關於產生及/或處理表示一場景之深度或光強度的一矩形像素結構。
近年來，影像及視訊應用之種類及範圍實質上增加，且持續發展及推出利用及消耗視訊的新服務及方式。
例如，一項越來越流行的服務係依使觀看者能夠主動地且動態地與系統互動以改變演現參數的方式來提供影像序列。在許多應用中，一項非常吸引人的特徵係改變觀看者的有效觀看位置及觀看方向之能力，例如諸如允許觀看者在呈現的場景中移動及「環視」。
此類特徵可具體地允許提供虛擬實境體驗給使用者。這可允許使用者例如在虛擬環境中（相對）自由四處移動且動態地改變其位置及其注視之處。一般而言，此類虛擬實境應用係基於場景的三維模型，其中動態評估該模型以提供特定請求的視圖。此方法在例如用於電腦及主控台的遊戲應用（諸如在第一人稱射擊遊戲類別中）係衆所周知的。
亦希望，特別是對於虛擬實境應用，所呈現的影像係三維影像。實際上，為最佳化觀看者的融入，使用者將所呈現場景體驗為三維場景一般而言係較佳的。實際上，虛擬實境體驗應較佳地允許使用者選擇他/她本身相對於虛擬世界的位置、攝影機視點及時間瞬間。
一般而言，虛擬實境應用固有地受限於，虛擬實境應用係基於預定場景模型，且一般係基於虛擬世界的人工模型。經常希望虛擬實境體驗可基於真實世界攝取而提供。然而，在許多情況中，此類方法受限制或往往要求從真實世界攝取來建置真實世界的虛擬模型。然後，藉由評估此模型來產生虛擬實境體驗。
然而，目前的方法往往是次佳的，且往往經常具有高運算或通訊資源需求及/或提供例如降低品質或受限制自由度的次佳使用者體驗。
在許多例如虛擬實境應用中，場景可由影像表示（例如，諸如由表示場景之特定觀看姿勢的一或多個影像）來表示。在一些情況中，此類影像可提供場景之廣角視圖，且可覆蓋例如全360°視圖或覆蓋全視圖球體(full view sphere)。
在許多應用中，且具體而言，對於虛擬實境應用，影像資料串流係從表示場景的資料產生，使得影像資料串流反映使用者在場景中的（虛擬）位置。一般而言，動態且即時地產生此一影像資料串流，使得影像資料串流反映使用者在虛擬場景內的移動。影像資料串流可提供至演現器，該演現器演現來自影像資料串流之影像資料的影像給使用者。在許多應用中，經由頻寬有限的通訊鏈路提供影像資料串流至演現器。例如，影像資料串流可藉由遠端伺服器產生，且例如透過通訊網路傳輸至演現裝置。然而，對於大多數此類應用，重要的是維持合理的資料速率以允許有效率的通訊。
已提出基於360°視訊串流提供虛擬實境體驗，其中由伺服器提供針對給定觀看者位置的場景之完整360°視圖，從而允許用戶端產生針對不同方向的視圖。具體而言，虛擬實境(virtual reality, VR)之大有可為的應用中之一者係全向視訊（例如VR360或VR180）。該方法往往導致高資料速率，且因此提供全360°視圖球體的視點數目一般限於低數目。
作為一具體實例，虛擬實境眼鏡已問市。這些眼鏡允許觀看者體驗經攝取的360度（全景）視訊。這些360度視訊經常使用攝影機承架來預攝取，其中個別影像經拼接在一起成為單一球面映圖。在一些此類實施例中，表示自給定視點之全球面視圖的影像可被產生並傳輸至一驅動器，該驅動器經配置以產生用於該眼鏡對應於使用者之目前觀看的影像。
在許多應用中，可藉由可能具有相關聯深度的單視圖球體影像來表示場景。然後，可藉由選擇全影像之適當部分來產生用於目前觀看者姿勢的適當影像。進一步，對於觀看者之位置的充分小變化，可使用視圖移位演算法及技術，使用深度資訊來產生對應影像。
此類系統及應用的關鍵考量係影像格式及如何有效地表示大視圖。例如，由合理的高解析度所表示的全球面視圖導致高資料需求。
由於全（或部分）球面資訊用於其的視點數目較佳地保持低（其中通常針對僅少數、或甚至僅一個視點提供資料），在品質劣化變得可見之前，從最佳姿勢的姿勢改變經常相對有限。該方法的特別有吸引力的應用係其中支援小姿勢變化而不支援較大變化的應用（諸如，沉浸式視訊(immersive video)）。例如，可提供呈現場景給使用者的視訊服務，其中提供正確的立體線索（例如視差）以供使用者旋轉其頭部或進行小的頭部移動，而非供使用者實質上移動位置。在許多情況中，此類應用可提供高度有利的使用者體驗，又基於提供相對低資料量（相較於若必須支援在場景中自由移動）。作為一具體實例，可提供運動的非常身歷其境的體驗，即使其中觀看者可體驗到類似於坐在該事件處觀眾的體驗。
基於此類影像或視訊資料的系統非常重要的問題是如何提供來自給定視點的視圖資料之有效率表示，且具體而言，如何表示視圖球體。
用以表示此類視圖球體的一種常見格式係稱為立方體圖格式（參見例如https://en.wikipedia.org/wiki/Cube_mapping）。在此格式中，六個影像形成圍繞觀看位置的立方體。然後，視圖球體投射至立方體之側上，然後，其中各側提供一平坦且方形（部分）影像。另一種常見格式名為ERP格式，其中使用等距柱狀投影(equirectangular projection)將視圖球體之表面投射至矩形影像上（參見例如https://en.wikipedia.org/wiki/Equirectangular_projection）。
然而，這些格式之一缺點在於，其等往往相對地無效率，且需要待表示的相對高量資料。例如，若將視圖球體劃分成具有均勻解析度的像素，且相同解析度視為ERP/立方圖格式表示的最小解析度，則將需要比該球體所需多50%的像素。因此，導致所需像素數目實質上增加。目前使用的格式在所需資料速率/能力、複雜度等方面往往係次佳的，且使用這些格式往往導致次佳系統。
因此，一改善方法將係有利的。具體而言，允許改善操作、增加靈活性、改善虛擬實境體驗、減小資料速率、增加效率、促進散佈、降低複雜度、促進實施、降低儲存需求、增加影像品質、及/或改善效能及/或操作的系統及/或影像屬性格式將是有利的。
因此，本發明尋求單獨或採用任何組合較佳地緩和、減輕、或消除上文提及之缺點的一或多者。
根據本發明的一態樣，提供一種用於產生表示來自一視點的一場景之一屬性的一影像屬性像素結構之設備，該設備包含：一第一處理器，其提供一第一影像屬性像素結構，該第一影像屬性像素結構係表示用於該視點的一視圖球體之一表面之至少部分的一二維非矩形像素結構；及一第二處理器，其用於產生一第二影像屬性像素結構，該第二影像屬性像素結構係一二維矩形像素結構且具有一中心區域及至少一第一隅角區域，該中心區域導出自該第一影像屬性像素結構之一中心區域，該至少一第一隅角區域導出自該第一影像屬性像素結構之一第一邊界區域，該第一邊界區域係鄰近於該第一影像屬性像素結構之一上邊界及一下邊界之一者的一區域，該至少一個隅角區段與該第二影像屬性像素結構之該中心區域不重疊；其中該第一影像屬性像素結構之該中心區域受限於對應於該第二影像屬性像素結構之一上邊緣的一上水平線及對應於該第二影像屬性像素結構之一下邊緣的一下水平線中之至少一者；且該第一影像屬性像素結構之該第一邊界區域比該上水平線及該下水平線中之該至少一者更周邊。
本發明可提供場景之經改善表示。在許多實施例中，可提供一場景之一更有效率表示，例如，允許藉由經減少資料速率來達成給定品質。該方法可提供一種經改善之矩形影像屬性像素結構，該矩形影像屬性像素結構適用於藉由經設計用於矩形影像的許多習知程序、操作、及演算法來處理。具體而言，該第二影像屬性像素結構可適用於使用許多已知編碼演算法編碼，包括許多標準化視訊或影像編碼演算法。
在許多實施例中，該方法可提供適用於靈活、有效率且高效能虛擬實境(Virtual Reality, VR)應用的場景之影像屬性像素表示。在許多實施例中，該方法可允許或實現具有在影像品質與資料速率之間實質上經改善權衡的VR應用。在許多實施例中，該方法可允許經改善的感知影像品質及/或經減少資料速率。
該方法可特別適合例如在接收端處廣播支援對移動及頭部旋轉之適應的視訊服務。
針對一給定視點的一視圖球體上之一點（像素）可具有反映在一射線之一方向的一第一經遇到場景物體之影像屬性（一般係光強度、深度、透明度）之一值的一值，其中該射線之原點在該視圖球體處且在該點處與該視圖球體相交。應理解，此原則上獨立於視圖球體之大小，此係因為一點不具有延伸。此外，對於像素化視圖球體，該等像素值僅取決於該等像素之大小，且因此針對均勻解析度，其僅取決於該視圖球體經劃分成的像素之數目，且不取決於該視圖球體本身之大小。
在許多實施例中，一影像屬性像素結構可係用表示該影像屬性之一值的各像素填充出一形狀的一規則像素網格。該第一影像屬性像素結構之該形狀係非/矩形，且該第二影像屬性像素結構之該形狀係矩形。
影像屬性像素結構可具體地係影像或映射，例如，諸如光強度影像、深度圖、及/或透明度圖。影像屬性可係深度屬性、透明度屬性、或光強度屬性（例如，諸如顏色通道值）。
該第一影像屬性像素結構可係該表面之該至少部分至一平面的一等面積投影。等面積投影可係維持介於視圖球體之表面與該表面被投射於其上的平面之間的區域面積（諸如像素面積）之比例的一投影。
該第一影像屬性像素結構可係該表面之該至少部分的一正弦投影。
該第二處理器可經配置以藉由應用介於該第一影像屬性像素結構與該第二影像屬性像素結構之間的像素位置映射而產生該第二影像屬性像素結構。用於該中心區域及該等邊界區域（之各者）的該映射可不同。
根據本發明之一可選特徵，該第一影像屬性像素結構具有該表面之該至少部分的一均勻解析度。
在許多實施例中，此可提供有利的表示及操作。
根據本發明之一可選特徵，該影像屬性像素結構之該中心區域與該第一邊界區域不重疊。
在許多實施例中，此可提供有利的表示及操作。在許多實施例中，可允許特別有效率的表示且具體地減少給定品質的所需資料速率。
該第一影像屬性像素結構之各像素可僅屬於該中心區域及該（等）邊界區域中之一個區域。該第二影像屬性像素結構之各像素可僅屬於該中心區域及該（等）隅角區域中之一個區域。
根據本發明之一可選特徵，該第二處理器經配置以產生該第二影像屬性像素結構以具有一第二隅角區域，該第二隅角區域導出自該第一影像屬性像素結構之一第二邊界區域，該第二隅角區域與該第二影像屬性像素結構之該中心區域不重疊，該第二邊界區域係鄰近於該上邊界及該下邊界之一者的一區域，且該第一邊界區域及該第二邊界區域係在該第一影像屬性像素結構之一虛擬垂直線的不同側上。
在許多實施例中，此可提供有利的表示及操作。在許多實施例中，可允許特別有效率的表示且具體地減少給定品質的所需資料速率。該虛擬垂直線可係覆蓋該第一影像屬性像素結構的任何垂直線。該虛擬垂直線可係將該第一影像屬性像素結構劃分成左區域及右區域的任何垂直線。
該虛擬垂直線可係一中心線
根據本發明之一可選特徵，該虛擬垂直線分開該第一邊界區域及該第二邊界區域，且該第一邊界區域及該第二邊界區域圍繞該虛擬垂直線而鏡像對稱。
在許多實施例中，此可特別有利。
根據本發明之一可選特徵，從該第一邊界區域至該第二邊界區域的一水平方向與從該第一隅角區域至該第二隅角區域的一水平方向相反。
在許多實施例中，此可特別有利。在許多實施例中，當定位在該等隅角區域中時，可提供在該等中心區域與該等邊界區域之間的經改善及/或更密切的配合。若從該第一邊界區域至該第二邊界區域的該水平方向係從左至右，則從該第一隅角區域至該第二隅角區域的該水平方向可係從右至左，反之亦然。
根據本發明之一可選特徵，該第一隅角區域鄰近於該第一邊界區域之一相對邊界。
在許多實施例中，此可特別有利。在許多實施例中，若該第一邊界區域較接近該第一影像屬性像素結構之該上邊界（即其在上半部），則該第一隅角區域將較接近該第二影像屬性像素結構之該下邊界（即其在下半部），且反之亦然。
在一些實施例中，該第一垂直邊界區域的一水平像素順序與該第一隅角區域的一水平像素順序相反。
根據本發明之一可選特徵，該第二處理器經配置以將該第二影像屬性像素結構之該第一隅角區域及該中心區域中之至少一者的像素外推至該第二影像屬性像素結構之一未經填充區域中，該未經填充區域鄰近於該第一隅角區域及該中心區域中之至少一者。
在許多實施例中，此可提供更有效率的表示，且可在編碼該第二影像屬性像素結構時具體地改善編碼效率。
根據本發明之一可選特徵，該第二處理器經配置以藉由該第一邊界區域之像素值的一移位、平移、鏡射及旋轉中之至少一者來判定該第一隅角區域的像素值。
在許多實施例中，此可特別有利。
根據本發明之一可選特徵，該第一處理器經配置以藉由憑藉一等距柱狀投影而使表示該表面之該至少部分的一矩形影像屬性像素結構變形，而產生該第一影像屬性像素結構。
在許多實施例中，此可特別有利。
根據本發明之一態樣，提供一種用於產生一輸出影像屬性像素結構之設備，該設備包含：一接收器，其用於接收包含一第二影像屬性像素結構之一影像信號，該第二影像屬性像素結構係一二維矩形像素結構且具有一中心區域及至少一第一隅角區域，該中心區域導出自一第一影像屬性像素結構之一中心區域，該至少一第一隅角區域導出自該第一影像屬性像素結構之一第一邊界區域，第一影像屬性像素結構係表示用於該視點的一視圖球體之一表面之至少部分的一二維非矩形像素結構，且該第一邊界區域係鄰近於該第一影像屬性像素結構之一上邊界及一下邊界之一者的一區域，該至少一個隅角區段與該第二影像屬性像素結構之該中心區域不重疊，該第一影像屬性像素結構之該中心區域受限於對應於該第二影像屬性像素結構之一上邊緣的一上水平線及對應於該第二影像屬性像素結構之一下邊緣的一下水平線中之至少一者；且該第一影像屬性像素結構之該第一邊界區域比該上水平線及該下水平中之至少一者更周邊，及一處理器，其用於產生表示用於該視點的該視圖球體之該表面之該至少部分的一非矩形輸出影像屬性像素結構，該非矩形輸出影像屬性像素結構具有中心區域及一邊界區域，該中心區域導出自該第二影像屬性像素結構之該中心區域，該邊界區域係鄰近於該輸出影像屬性像素結構之一上邊界及一下邊界之一者的一區域，該區域導出自該第二影像屬性像素結構之該第一隅角區域。
根據本發明的一態樣，提供一種產生表示來自一視點的一場景之一屬性的一影像屬性像素結構之方法，該方法包含：提供一第一影像屬性像素結構，其係表示用於該視點的一視圖球體之一表面之至少部分的一二維非矩形像素結構；及產生一第二影像屬性像素結構，其係一二維矩形像素結構且具有一中心區域及至少一第一隅角區域，該中心區域導出自該第一影像屬性像素結構之一中心區域，該至少一第一隅角區域導出自該第一影像屬性像素結構之一第一邊界區域，該第一邊界區域係鄰近於該第一影像屬性像素結構之一上邊界及一下邊界之一者的一區域，該至少一個隅角區段與該第二影像屬性像素結構之該中心區域不重疊；其中該第一影像屬性像素結構之該中心區域受限於對應於該第二影像屬性像素結構之一上邊緣的一上水平線及對應於該第二影像屬性像素結構之一下邊緣的一下水平線中之至少一者；且該第一影像屬性像素結構之該第一邊界區域比該上水平線及該下水平線中之該至少一者更周邊。
根據本發明之一態樣，提供一種用於產生一輸出影像屬性像素結構之方法，該方法包含：接收包含一第二影像屬性像素結構之一影像信號，該第二影像屬性像素結構係一二維矩形像素結構且具有一中心區域及至少一第一隅角區域，該中心區域導出自一第一影像屬性像素結構之一中心區域，該至少一第一隅角區域導出自該第一影像屬性像素結構之一第一邊界區域，第一影像屬性像素結構係表示用於該視點的一視圖球體之一表面之至少部分的一二維非矩形像素結構，且該第一邊界區域係鄰近於該第一影像屬性像素結構之一上邊界及一下邊界之一者的一區域，該至少一個隅角區段與該第二影像屬性像素結構之該中心區域不重疊，該第一影像屬性像素結構之該中心區域受限於對應於該第二影像屬性像素結構之一上邊緣的一上水平線及對應於該第二影像屬性像素結構之一下邊緣的一下水平線中之至少一者；且該第一影像屬性像素結構之該第一邊界區域比該上水平線及該下水平中之至少一者更周邊，產生表示用於該視點的該視圖球體之該表面之該至少部分的一非矩形輸出影像屬性像素結構，該非矩形輸出影像屬性像素結構具有中心區域及一邊界區域，該中心區域導出自該第二影像屬性像素結構之該中心區域，該邊界區域係鄰近於該輸出影像屬性像素結構之一上邊界及一下邊界之一者的一區域，該區域導出自該第二影像屬性像素結構之該第一隅角區域。
根據本發明之一態樣，提供一種影像信號，其包含：一第二影像屬性像素結構，該第二影像屬性像素結構係一二維矩形像素結構且具有一中心區域及至少一第一隅角區域，該中心區域導出自一第一影像屬性像素結構之一中心區域，該至少一第一隅角區域導出自該第一影像屬性像素結構之一第一邊界區域，第一影像屬性像素結構係表示用於該視點的一視圖球體之一表面之至少部分的一二維非矩形像素結構，且該第一邊界區域係鄰近於該第一影像屬性像素結構之一上邊界及一下邊界之一者的一區域，該至少一個隅角區段與該第二影像屬性像素結構之該中心區域不重疊。
本發明的此等及其他態樣、特徵、及優點將參考下文描述的（一或多個）實施例闡明且將係顯而易見的。
允許使用者在一虛擬世界中四處移動的虛擬體驗已變得越來越流行，且正在開發服務以滿足此需求。然而，提供有效率的虛擬實境服務非常具挑戰性，尤其若體驗係基於攝取真實世界環境，而非基於完全虛擬地產生的人工世界。
在許多虛擬實境應用中，反映場景中之虛擬觀看者的姿勢而判定觀看者姿勢輸入。然後，虛擬實境設備/系統/應用針對對應於該觀看者姿勢的觀看者，產生對應於場景之視圖及視埠的一或多個影像。
一般而言，虛擬實境應用產生呈用於左眼及右眼的分開視圖影像形式的三維輸出。然後，這些視圖影像可藉由合適手段（諸如一般而言，VR頭戴裝置之個別左眼顯示器及右眼顯示器）來呈現給使用者。在其他實施例中，影像可例如呈現在一裸視立體(autostereoscopic)顯示器上（在此情況中，可針對觀看者姿勢產生較大數目個視圖影像），或實際上在一些實施例中，可產生僅單一二維影像（例如使用習知二維顯示器）。
在不同應用中，可以不同方式判定觀看者姿勢輸入。在許多實施例中，可直接追蹤使用者之實體移動。例如，監測使用者區域的攝影機可偵測且追蹤使用者頭部（或甚至眼睛）。在許多實施例中，使用者可配戴可被外部及/或內部構件追蹤的VR頭戴裝置。例如，該頭戴裝置可包含提供有關該頭戴裝置（且因此，頭部）之移動及旋轉之資訊的加速計及陀螺儀。在一些實例中，該VR頭戴裝置可傳輸信號或包含使外部感測器能夠判定該VR頭戴裝置之移動的（例如視覺）識別符。
在一些系統中，可藉由手動方段來提供觀看者姿勢，例如，由使用者手動控制操縱桿或類似的手動輸入。例如，使用者可藉由以一手來手動控制第一類比操縱桿而使虛擬觀看者在場景內四處移動，且以另一手來手動移動第二類比操縱桿而手動控制虛擬觀看者的觀看方向。
在一些應用中，可使用手動及自動化方法之組合來產生輸入觀看者姿勢。例如，頭戴裝置可追蹤頭部定向，且可由使用者使用操縱桿來控制觀看者在場景中的移動/位置。
影像之產生係基於虛擬世界/環境/場景的合適表示。在一些應用中，可提供場景的完整三維模型，且可藉由評估此模型來判定來自特定觀看者姿勢之場景的視圖。在其他系統中，可由對應於從不同攝取姿勢所攝取之視圖的影像資料來表示場景。例如，對於一或多個攝取姿勢，全球形影像可與三維（深度資料）儲存在一起。在此類方法中，可藉由三維影像處理（具體而言，諸如使用視圖移位演算法）產生用於除該（等）攝取姿勢外的姿勢之視圖影像。在其中藉由經儲存用於離散視點/位置/姿勢的視圖資料來描述/參考場景的系統中，這些離散視點/位置/姿勢亦可稱為錨點視點/位置/姿勢。一般而言，當已藉由攝取來自不同點/位置/姿勢的影像來攝取真實世界環境，這些攝取點/位置/姿勢亦係錨點/位置/姿勢。
據此，典型的VR應用：針對目前觀看者姿勢之場景而以動態更新的影像來提供（至少）對應於視埠的影像，以反映觀看者姿勢之變化；及以基於表示虛擬場景/環境/世界的資料所產生的影像來提供對應於視埠的影像。
在本領域中，用語擺置(placement)及姿勢(pose)被用作位置及/或方向/定向之常見用語。例如物體、攝影機、頭部、或觀看之位置及方向/定向之組合可被稱為姿勢或擺置。因此，擺置或姿勢指示可包含六個值/分量/自由度，其中每個值/分量通常描述對應的物體之位置/定位或定向/方向之個別屬性。當然，在許多情形中，擺置或姿勢可用更少的分量予以考量及表示，例如，若認為一或多個分量係被視為固定的或不相關的（例如，若認為所有物體處於同一高度或具有水平定向，則四個分量可提供物體之姿勢之全面表示）。在下文中，用語姿勢(pose)用於指代可由一至六個值（對應於最大可能的自由度）表示的位置及/或定向。
許多VR應用係基於具有最大自由度（即，位置及定向之各者的三個自由度導致總共六個自由度）的姿勢。因此姿勢可藉由代表六個自由度的一組六個值或六個值的向量表示，且因此姿勢向量可提供三維位置及/或三維方向指示。然而，應理解，在其他實施例中，姿勢可由較少之值予以表示。
姿勢可係定向及位置之至少一者。姿勢值可指示定向值及位置值之至少一者。
基於提供最大自由度給觀看者之系統或實體一般稱為具有6個自由度(6DoF)。許多系統及實體僅提供定向或位置，且這些系統及實體一般已知為具有3個自由度(3DoF)。
在一些系統中，可藉由例如獨立裝置（其不使用任何遠端VR資料或處理，或甚至具有對任何遠端VR資料或處理的任何存取）來本端提供VR應用給觀看者。例如，諸如遊戲主控台之裝置可包含：儲存器，其用於儲存場景資料；輸入，其用於接收/產生觀看者姿勢；及處理器，其用於從場景資料產生對應的影像。
在其他系統中，可在觀看者的遠端處實施及執行VR應用。例如，在使用者本端處的裝置可偵測/接收經傳輸至遠端裝置的移動/姿勢資料，該遠端裝置處理該資料以產生觀看者姿勢。然後，該遠端裝置可基於描述場景資料的場景資料來產生觀看者姿勢的合適視圖影像。然後，該等視圖影像被傳輸至在觀看者本端處的裝置，在該裝置處呈現該等視圖影像。例如，該遠端裝置可直接產生直接由該本端裝置呈現的視訊串流（一般為立體/3D視訊串流）。因此，在此類實例中，該本端裝置可不執行任何VR處理，惟傳輸移動資料及呈現所接收視訊資料除外。
在許多系統中，功能性可跨本端裝置及遠端裝置分佈。例如，本端裝置可處理所接收之輸入及感測器資料，以產生連續地傳輸至遠端VR裝置的觀看者姿勢。然後，該遠端VR裝置可產生對應的視圖影像且傳輸這些影像至本端裝置以供呈現。在其他系統中，該遠端VR裝置可不直接產生視圖影像，但可選擇相關場景資料且傳輸此場景資料至本端裝置，然後，可產生所呈現之視圖影像。例如，遠端VR裝置可識別最接近的攝取點，且提取對應的場景資料（例如，從攝取點提取球面影像及深度資料）且傳輸此場景資料至本端裝置。然後，本端裝置可處理所接收場景資料以產生用於特定目前觀看姿勢的影像。觀看姿勢一般將對應於頭部姿勢，且對觀看姿勢之參考一般可等同地視為對應於對頭部姿勢的參考。
在許多應用中，尤其是對於廣播服務，來源可依獨立於觀看者姿勢的場景之影像（包括視訊）表示的形式來傳輸場景資料。例如，用於單一攝取位置之單一視圖球體的影像表示可傳輸至複數個用戶端。然後，個別用戶端可局部地合成對應於目前觀看者姿勢的視圖影像。
特別吸引關注的特別應用係其中支援有限量的移動，使得所呈現之視圖經更新以遵循對應於僅作小頭部移動及頭部之旋轉的實質上靜態觀看者之小移動及旋轉。例如，坐下之觀看者可轉動其頭部及稍微移動頭部，其中所呈現之視圖/影像經調適以遵循這些姿勢變化。此種方法可提供高度且身歷其境的例如視訊體驗。例如，觀看體育事件的觀看者可感覺到其身在比賽場中的特定點處。
此類有限的自由度應用具有提供經改善體驗的優點，同時不需要從許多不同位置獲得場景之準確表示，從而實質上減少攝取需求。類似地，可實質上減少需要提供給演現器的資料量。實際上，在許多情景中，僅需要提供單一視點的影像與一般深度資料，其中本端演現器能夠從此產生所欲視圖。為了支援頭部旋轉，通常希望藉由所提供之資料來表示來自視點的大面積視圖，且較佳地，藉由所提供之影像及深度資料來覆蓋置中於該視點上的視圖球體之整個表面。
具體而言，該方法可係高度適用於其中資料需要透過頻寬有限的通訊頻道從來源傳達至目的地的應用（例如，諸如用於廣播或用戶端伺服器應用）。
圖1繪示其中遠端VR用戶端裝置101與VR伺服器103例如經由網路105（諸如網際網路）聯絡的VR系統的此一實例。伺服器103可經配置以同時支援潛在大量的用戶端裝置101。
VR伺服器103可例如藉由傳輸用於特定視點的影像資料及深度，然後其中用戶端裝置經配置以處理此資訊以局部合成對應於目前姿勢的視圖影像，來支援廣播體驗。
因此，許多應用係基於傳輸對應於遠大於習知小視埠的視埠的觀看位置之影像資訊，該等習知小視埠提供相對窄的左右眼影像。具體而言，在許多應用中希望傳達一或多個視圖/攝取位置之整個視圖球體的影像屬性資訊（例如光強度及深度）。例如，在VR360視訊應用中，傳輸整個視圖球體的光強度及深度值。然而，此類應用的關鍵問題係如何表示資訊，使得可達成具體有效率傳達。
例如，希望可使用用於編碼及格式化影像屬性資訊的現存演算法及功能。然而，此等功能往往幾乎專門經設計用於平面的矩形影像格式，而三維表面的表面固有地不對應於二維矩形。為了解決此，許多方法使用立方體圖格式，其中立方體經定位圍繞視圖球體，其中然後，球體之表面投射至立方體之方形側上。這些之各者是平面的，且可因此藉由習知技術來處理。然而，缺點在於，若立方體圖之解析度與在立方體圖接觸視圖球體之點處的視圖球體之圖解析度相同（為了不引起任何解析度損失），則與視圖球體相比，立方體圖需要更大數目個像素（視圖球體至各側之外區域上的投影導致各視圖球體像素被投射至大於單一像素的區域上（且具體而言，被投射至潛在對應於相對大數目個像素的區域）。其可顯示與球面表示相比較，立方體圖表示需要給定均勻大小的多約50%像素。
頻常使用的另一格式係使用等距柱狀投影(ERP)將場景之表面投射至二維矩形上。圖2展示此一影像的一實例。如可見者，由投影所造成之失真亦實質上增加一些區域相對於其他區域的所得投影面積（具體而言，投影面積朝向垂直邊緣增加，反映高於（或低於）觀看姿勢的單一點拉伸於矩形的整個寬度）。因此，在不降低中心之解析度的情況下，（恆定大小）的像素之所需數目將實質上增加。其可顯示與球面表示相比較，ERP表示亦需要給定均勻大小的多約50%像素。
此增加的像素計數導致處理的增加複雜度及增加的資料需求。具體而言，可需要較高資料速率來傳輸影像資訊。
圖3繪示可產生視圖球體之表面之（至少部分）之表示的設備之元件。
該設備包含一第一處理器301，該第一處理器經配置以提供一第一影像屬性像素結構，該第一影像屬性像素結構係表示用於一視點/觀看位置的一視圖球體之一表面之至少部分的一二維（平坦、歐氏）非矩形像素結構。在下列實例中，第一處理器301經配置以處理（光強度影像）及深度圖兩者，且第一影像屬性像素結構可視為對應於影像或深度圖，或實際上同時對應於影像或深度圖兩者（其中像素值係影像像素值與深度圖像素值之組合）。
在實例中，第一處理器301耦接至用於該第一影像屬性像素結構之一來源303，且具體而言，該來源可提供輸入影像與深度圖。具體而言，來源303可係儲存影像資訊的本端記憶體，或其可係例如合適的攝取單元（諸如全球型攝影機及/或深度感測器）。
用於視點的視圖球體係環繞視點的（標稱）球，其中表面之各點表示場景在從視點穿過表面上之點的方向的場景之影像屬性值。對於光強度影像屬性值，表面之點的值對應於從點之方向到達視點的射線之光強度。對應地，對於一深度或範圍影像屬性值，視圖球體之表面之一給定點的深度值對應於在從視點至（穿過）表面上之該點的方向的從視點至場景之第一物體的距離。
該第一影像屬性像素結構表示一影像屬性，該影像屬性係表示可由一影像演現程序使用以產生視圖影像的該場景之一屬性的一屬性。因此，該影像屬性可係能夠支援影像產生/合成函數的屬性，用於（針對一或多個視埠，例如，對應於不同觀看姿勢）產生場景之影像。具體而言，該影像屬性可係下列中之至少一個屬性：光強度屬性、深度屬性、或透明度屬性。
在一些實施例中，該影像屬性可係一組合屬性，例如，影像屬性可包含複數個顏色通道光強度值（例如紅色、綠色、及藍色值），且亦可能包含深度值。例如，該第一影像屬性像素結構之各像素可包含各值之多個值，或像素值可係一多分量向量值(multicomponent vector value)。等效地，第一處理器301可視為提供複數個單一值影像屬性像素結構，其中此等之各者經處理，如將於下文描述者。
以下描述將聚焦於光強度及深度的屬性。因此，為了簡潔及清晰，該（等）影像屬性像素結構將亦藉由更常見用語分別稱為（光強度）影像及深度圖。
具體而言，影像屬性像素結構可係劃分成複數個像素的平面區或區域。各像素包含一或多個值，該一或多個值指示用於由像素所覆蓋之區的影像屬性之一值。一般而言，像素皆具有相同大小，即解析度均勻。一般而言，像素係方形或至少矩形，且以等距網格配置。因此，一習知影像或深度圖係影像屬性像素結構的實例。
然而，該第一影像屬性像素結構不是矩形影像屬性像素結構，而是係二維非矩形像素結構。該第一影像屬性像素結構進一步表示該視圖球體之表面之至少部分，且經常係該視圖球體之整個表面。由於球體之表面具有三維彎曲屬性，所以對應的平坦表示將通常不會是矩形。
具體而言，該球體的表面可視為被劃分成給定數目個等面積像素，其中由一般係（實質上）方形的像素所覆蓋的區。若這些像素反而被重新配置在一平坦平面上，則所得經覆蓋區不會是矩形或二次(quadratic)。具體而言，圖4繪示方形像素的所得區。
在此情況中，該第一影像屬性像素結構可具體地係該視圖球體之表面的一正弦投影。圖4展示被全表面的第一影像屬性像素結構覆蓋的區。如所示，視圖球體表面經表示為其中寬度/水平延伸係垂直位置的正弦函數的區，其中該垂直位置係由從0至π (180°)之範圍內的值所表示，而中心垂直位置對應於π/2 (90°)。在實例中，因此，0與π (180°)的垂直位置對應於自該視點直接向下及向上的方向，且π/2 (90°)的垂直位置對應於自該視點的水平方向。
應理解，在一些實施例中，可藉由該第一影像屬性像素結構來表示視圖球體之表面之僅一部分。例如，在一些實施例中，該第一影像屬性像素結構可僅表示一半球體，諸如上半部球（例如對應於經定位在地平面的攝影機且僅攝取高於地平面的場景），或僅在給定方向的半球體（例如針對僅觀看一大致方向的使用者）。在此類實例中，該第一影像屬性像素結構亦將係非矩形，但將不直接對應於圖4的實例。在一些實施例中，該第一影像屬性像素結構可仍係一正弦投影，但可僅係該表面之部分之一投影。例如，用於半球體之所得第一影像屬性像素結構可對應於圖4之僅上半部或左（或右）半部。
因此，該第一影像屬性像素結構係一非矩形結構，且因此在許多現有程序（包括例如影像或視訊編碼器）中不適合用於處理。其進一步往往與基於矩形影像表示的許多現有標準及格式不一致。因此，希望將非矩形第一影像屬性像素結構轉換成矩形的第二影像屬性像素結構。如所提及，習知上，一般藉由使用ERP將球體之表面投射至矩形或立方體之側（立方體圖表示）上來完成。
然而，相比之下，圖3的設備包含第二處理器305，該第二處理器經配置以使用導致更有效率結構且具體地能夠維持解析度而不需要顯著增加所需像素數目的方法來產生係一二維矩形像素結構的一第二影像屬性像素結構。
據此，第二處理器305之輸出係一矩形影像結構，且具體地可係一矩形影像及/或深度圖。此第二影像屬性像素結構可饋送至輸出產生器307，該輸出產生器經配置以產生可傳輸至遠端裝置的一輸出資料串流形式之一影像信號。具體而言，輸出產生器307可經配置以使用經設計用於矩形影像的技術來編碼第二影像屬性像素結構，且在輸出資料串流中包括經編碼資料。例如，影像或視訊編碼可應用於由第二處理器305所提供的矩形影像，以產生可傳輸至遠端用戶端的對應經編碼視訊資料串流。
具體而言，第二處理器305經配置以判定該第一影像屬性像素結構中之不同區域，且將這些區域不同地且分開地定位在該第二影像屬性像素結構之該矩形區域中。具體而言，其經配置以從該第一影像屬性像素結構之一中心區域導出該第二影像屬性像素結構之一中心區域。其可進一步從垂直方向之一或多個邊界區域導出一或多個隅角區域，且具體而言，一或多個邊界區域接近該第一影像屬性像素結構之上邊緣/邊界或下邊緣/邊界。因此，在該方法中，第二處理器305可基於非矩形影像之中心區域的影像資料來填充矩形輸出影像之中心區域，以及在垂直方向從輸入影像之（多個）外區域的影像資料來填充（多個）隅角區域（接近輸入影像之頂部或底部）。 可參照圖5至圖7來闡釋藉由第二處理器305之方法的實例，其中圖6及圖7展示對應於圖3之具體影像的實例，其中已應用圖5的原理。
在實例中，影像形式的一第一影像屬性像素結構藉由正弦投影來表示視圖球體之表面，且因此對應於平坦區域501，該平坦區域對應於由一正弦波週期之一半所形成之形狀及其鏡像影像，如所示。在實例中，判定四個邊界區域，即，一左上區域p1、一右上區域p2、一左下區域p3、及一右下區域p4。
然後，第二處理器305產生對應於一矩形影像之一第二影像屬性像素結構。因此，此影像對應於矩形區域503。此影像係藉由維持輸入影像之中心區段及將邊界區域p1至p4以對角方式移動至相對隅角而產生。在實例中，輸入影像具有W乘H0的尺寸，而輸出影像可具有經減小高度H。
圖6繪示如何可首先藉由將邊界區域複製至中間影像的隅角區域來產生具有與圖4之輸入影像相同高度及寬度的矩形中間影像的實例。此影像可實質上大於輸入影像，因為該影像包括許多冗餘像素。然而，然後，可藉由一垂直裁剪使得高度被減小且冗餘像素被移除，來產生輸出影像。具體而言，高度可經減小至其中將冗餘像素之數目最小化的位準。實際上，在許多實施例中，可藉由裁剪使得不包括冗餘像素來減小高度。
該方法可藉由一矩形影像來提供一場景之一非常有效率視圖球體表示。該方法係基於發明人認識到，視圖球體之投影的屬性適用於劃分成可緊密配合在矩形區內的不同區域。實際上，如從圖5、圖6及圖7之實例可見，有可能判定可緊密且密切地配合至邊界區域中的邊界區域。實際上，如可藉由圖7之實例所見，可產生僅包括少數額外像素（在圖7中由黑色區域表示）的一矩形影像。實際上，在實例中可展示，在增加僅約5%像素的情況中可達成視圖球體表面的矩形表示，而沒有任何解析度損失。
因此，可藉由所描述之方法達成比ERP或立方體圖表示更有效率的表示。
在上述實例中，影像屬性像素結構已（光強度）影像，但應理解，該等方法可應用於其他屬性，諸如深度圖或透明度圖。例如，上文實例之影像可藉由例如可分別提供影像之各像素的一深度值及一透明度值的一深度圖及/或一透明度圖來補充。然後，這些圖可依與針對光強度影像所描述相同的方式處理，從而導致更適合或例如使用習用技術編碼的方形圖。
在上文實例中，第二處理器305經配置以判定在第一影像屬性像素結構中之四個邊界區域（p1、p2、p3、p4），其中該等邊界結構靠近該第一影像屬性像素結構之該上邊界或該影像屬性像素結構之該下邊界。在實例中，因此，該等邊界區域係上邊界區域及下邊界區域，且具體而言係其等之邊界之部分亦係第一影像屬性像素結構本身之一邊界的（連續）區域。
在實例中，第二處理器305識別該第二影像屬性像素結構中之一中心區域且藉由該第一影像屬性像素結構之該中心區域來填充此中心區域。識別該第二影像屬性像素結構之四個隅角區域，且然後，藉由該第一影像屬性像素結構之該四個邊界區域來填充該四個隅角區域。因此，有效地，該第一影像屬性像素結構之該所識別四個邊界區域可視為被移動至該第二影像屬性像素結構中之該等隅角區域。
在實例中，用以填充該中心區域的該第一影像屬性像素結構之該中心區域受限於一上水平線及一下水平線，該上水平線及該下水平線對應於該第二影像屬性像素結構之上邊緣及下邊緣。該第一影像屬性像素結構之該等邊界區域比該等線更周邊，即該等邊界區域分別高於及低於該等劃分水平線。據此，一位置映射經應用於該第一影像屬性像素結構之該中心區域之像素位置至該第二影像屬性像素結構之該中心區域中之像素位置。若相同像素位置映射經應用於邊界區域，則將導致落在該第二影像屬性像素結構外的位置。
具體而言，該第二影像屬性像素結構係一矩形結構，且其具有一上/頂部（水平）邊緣及一下/底部（水平）邊緣。該第二影像屬性像素結構之該中心區域可受限於此等邊緣，且該中心區域可在該第二影像屬性像素結構中拉伸至該第二影像屬性像素結構之邊緣。
該第二影像屬性像素結構之該上邊緣可對應於在該第一影像屬性像素結構中之一上/頂部水平線，且該第二影像屬性像素結構之該下邊緣可對應於該第一影像屬性像素結構中之一上/頂部水平線。
該第一影像屬性像素結構之該中心區域可經選擇為該第一影像屬性像素結構之落於這兩條水平線之間的部分。
該第一影像屬性像素結構之該等邊界區域之一者、多者、且一般而言全部係比該等水平線中之至少一者更周邊的區域。因此，邊界區域可高於該上水平線或低於該下水平線。
在一些實施例中，所述方法可能可僅應用於該第一影像屬性像素結構之頂部或底部，且因此在一些實施例中，可考慮該上水平線及該下水平線中之僅一者，或等效地，該上水平線及該下水平線之一者可視為對應於該第一影像屬性像素結構之一邊緣。然而，在大多數實施例中，該方法將對稱地應用於該第一影像屬性像素結構之頂部區段及底部區段。再者，在大多數實施例中，該方法將對稱地應用於該第一影像屬性像素結構之頂部區段及底部區段。
在許多實施例中，可判定及分配複數個邊界區域至該第二影像屬性像素結構中之隅角區域。這些邊界區域之各者可比該等水平線更周邊，即可高於該上水平線或低於該水平線。
在許多實施例中，該等邊界區域可包括該第一影像屬性像素結構之比該等水平線更周邊/外界/外部/外面之所有區域。因此，在一些實施例中，高於該上水平線及低於該下水平線的所有像素可被包括在一邊界區域中。
具體而言，該方法可允許產生一第二影像屬性像素結構，該第二影像屬性像素結構小於將涵蓋該第一影像屬性像素結構的矩形結構。該第二影像屬性像素結構之列數可低於該第一影像屬性像素結構之列數，且一般可低少至5%、10%、或20%。
該第二影像屬性像素結構之高度（垂直延伸）可實質上低於該第一影像屬性像素結構之高度（垂直延伸），且一般可低至少5%、10%、或20%。
進一步，此可一般達成，同時維持行數/寬度/水平延伸，且因此可顯著減少矩形影像所需的像素數目。
在許多實施例中，各邊界區域可係包含相對高數目個像素之一相鄰區域。在許多實施例中，至少一個邊界區域可包含不小於1000或甚至5000個像素。在許多實施例中，該等邊界區域可包含該第一影像屬性像素結構中之像素總數目的不小於5%或10%。
在一些實施例中，編碼該第二影像屬性像素結構可使用基於影像區塊（諸如從例如MPEG編碼已知的巨集區塊）的編碼演算法。在此類實施例中，各邊界區域可包含整數巨集區塊，即各邊界區域不可不包含編碼區塊之部分。另外，在許多實施例中，各邊界區域可包含複數個編碼區塊。
各邊界區域可重新分配至一邊界區域作為一區塊，即像素之間的相對位置未改變。
在許多實施例中，各區段可係延伸至該第二影像屬性像素結構之一隅角的一區段。一邊界區域可被包括在該第二影像屬性像素結構中，使得其毗連該第二影像屬性像素結構的一隅角。一邊界區域可被包括在該第二影像屬性像素結構中，使得其與該第二影像屬性像素結構之一邊緣共同地具有一邊緣，且可能與該第二影像屬性像素結構共同地具有兩個邊緣。
在許多實施例中，一邊界區域可被包括在該第二影像屬性像素結構中，使得有從該第二影像屬性像素結構之該邊界區域至該中心區域的一距離，即在此等之間可有一防護帶(guardband)。此一距離可係例如不小於1、2、5、10、或50個像素。
在許多實施例中，一邊界區域可被包括在該第二影像屬性像素結構中，使得該邊界區域之像素具有與在該第一影像屬性像素結構中不同的在該第二影像屬性像素結構中之垂直位置。具體而言，一邊界區域的像素之垂直位置可從比上垂直線及/或下垂直線之垂直位置更周邊變更成比上垂直線及/或下垂直線之垂直位置更為中心/較不周邊。
在具體實例中，各邊界區域移動至一對角隅角區域，即左上邊界區域移動至右下隅角區域；右上邊界區域移動至左下隅角區域；左下邊界區域移動至右上隅角區域；且右下邊界區域移動至左上隅角區域。
因此，在實例中，在該第一影像屬性像素結構中之兩個邊界區域與經映射至該第二影像屬性像素結構中的兩個隅角區域之間的水平關係顛倒。因此，一第一邊界區域（其在一第二邊界區域之左方）將移動至一第一隅角區域（其在一第二隅角區域之右方，該第二邊界區域移動至該第二隅角區域）。在該方法中，從該第一邊界區域至該第二邊界區域的一水平方向與從該第一隅角區域至該第二隅角區域的一水平方向相反。
類似地，在實例中，在該第一影像屬性像素結構中之兩個邊界區域與經映射至該第二影像屬性像素結構中的兩個隅角區域之間的垂直關係顛倒。因此，高於一第二邊界區域的一第一邊界區域（該第一區域係一上邊界區域，且該第二區域係一下邊界區域）將移動至一第一隅角區域，該第一隅角區域低於一第二隅角區域，該第二邊界區域移動至該第二隅角區域（該第一隅角區域係一下隅角區域，且該第二隅角區域係一上隅角區域）。在該方法中，從該第一邊界區域至該第二邊界區域的一垂直方向與從該第一隅角區域至該第二隅角區域的一垂直方向相反。
在許多實施例中，諸如上文所描述者，一第一隅角區域與一第二隅角區域可包含分別導出自在該第一影像屬性像素結構中之一第一邊界區域及一第二邊界區域的像素資料，其中該兩個邊界區域鄰近於相同的上邊界或下邊界（即邊界區域兩者係在該上邊界處或在該下邊界處）。例如，該兩個邊界區域可係圖式之區域p1及p2（或p3與p4）。該兩個邊界區域相對於彼此水平地位移，且具體而言，該等區域之一者的整體可完全在另一區域之整體的右方。因此，該兩個邊界區域可在一虛擬垂直線之不同側上，該虛擬垂直線具體地可係該第一影像屬性像素結構之一中心線。在圖式之實例中，此虛擬垂直線係中心線（即p1及p2與p3及p4在垂直中心線之不同側上）。
在圖5至圖7之具體實例中，該虛擬垂直線係該第一影像屬性像素結構的一中心線。此外，在實例中，該虛擬垂直線係分開該第一邊界區域及該第二邊界區域的一線。實際上，該第一邊界區域及該第二邊界區域一起形成一連續區域，該連續區域被該虛擬垂直線再劃分成該第一邊界區域及該第二邊界區域。進一步，在具體實例中，該第一邊界區域及該第二邊界區域圍繞該虛擬垂直線鏡像對稱。在實例中，上（及/或）下邊界區域經識別為高於（或低於）給定垂直座標（且因此高於（或低於）對應於此水平線的給定水平線）。因此，此區域被一垂直中心線劃分成兩個對應區域。在具體實例中，此導致兩個相同但鏡像對稱的邊界區域。
進一步，在具體實例中，識別上邊界區域及下邊界區域兩者，且這些邊界區域相對於一水平中心線鏡像對稱。具體而言，在實例中，發現圍繞水平中心線及垂直中心線成對鏡像對稱的四個邊界區域。
在許多實施例中，該第一影像屬性像素結構分離成此等經水平及/或垂直位移及分開的區域可提供有效率且有利的劃分，其允許在第二影像屬性像素結構中的相對低複雜度又有效率的重組織(reorganization)，其中該第二影像屬性像素結構之未使用部分量減少，且因此附加項/浪費減少。如上文所描述，在許多實施例中，該兩個邊界區域可連結至隅角區域，使得水平順序顛倒及/或垂直順序顛倒，但應理解此非必要，且一些實施例可不採用此（等）顛倒。
具體而言，該方法允許產生有效率的矩形及平面影像結構，其允許維持均勻解析度而不需要用於該矩形表示的大附加項。
在許多實施例中，對於視圖球體之表面（或該表面之部分），該第一影像屬性像素具有均勻解析度。因此，視圖球體的解析度在所有方向相同，且所有方向均以相同品質表示。可藉由直接重新配置像素來執行將該第一影像屬性像素結構變換成矩形的一第二影像屬性像素結構，且因此像素解析度不變。與ERP或立方體圖格式相對比，所描述的方法產生一矩形影像，對於該矩形影像，視圖球體之解析度不變，且因此亦表示視圖球體之均勻解析度。進一步，此使用僅小附加項及增加像素數目來達成。
所描述方法之一特定優點在於其提供一種其中邊界區域緊密地配合在所選擇邊界區域內的方法。邊界區域具有密切地匹配隅角區域的形狀與輪廓，複製中心區段至該第二影像屬性像素結構中之後，該等隅角區域維持。另外，在具體實例中，邊界區域分配至隅角區域使得形狀彼此匹配而不會引入任何額外操作（具體而言，僅需要平移/移位）。
在許多實施例中，該第一影像屬性像素結構之該等像素可直接映射至該第二影像屬性像素結構之像素，且具體而言，該第二影像屬性像素結構中之各像素可係該第一影像屬性像素結構中之一像素之一複本。因此，第二處理器305之處理可視為該第一影像屬性像素結構中之像素（像素位置）至該第二影像屬性像素結構中之像素（像素位置）的一映射。然而，將理解，在一些實施例中，第二處理器305亦可包括該等像素值的一些處理，例如，該處理可包括亮度調整、深度調整、濾波等。
在所繪示之實例中，藉由該等邊界區域之直接移位/偏移/平移來填充該等隅角區域。在該等隅角區域中維持該等邊界區域之各者中的像素之間的內部空間關係。
然而，在其他實施例中，第二處理器305可替代地或額外地經配置以包括例如邊界區域的鏡射及/或旋轉。此可具體地確保介於邊界區域之形狀與該邊界區域定位於其中的隅角區域之形狀之間更密切的配合。
此可例如用以應用介於邊界區域與隅角區域之間的不同映射。例如，一給定邊界區域可映射至鄰近的隅角區域，且可使用一旋轉（及/或鏡射）以使該邊界區域之形狀配合至該隅角區域之形狀，而不是連結邊界區域至對角相對的隅角區域（即，左上邊界區域至右下隅角區域）。例如，在圖式之實例中，左上邊界區域p1可旋轉180°且移位至左上隅角區域。因此，旋轉可經執行使得邊界區域之中心部分變成側向部分。
在由該第一影像屬性像素結構及該第二影像屬性像素結構來表示視圖球體之僅一部分的許多實施例中，使用平移及/或鏡射而非僅平移的此類方法可係特別有利的。例如，在表示視圖球體之僅上半部（對應於例示性圖式的影像之僅上半部）的實例中，兩個邊界區域p1與p2可配合至該兩個隅角區域中。例如，p1及p2可在一180°旋轉之後分別配合至左上隅角區域及右上隅角區域中，或在圍繞一水平線鏡射之後分別配合至右上隅角區域及左上隅角區域中。
在一些實施例中，第一處理器201經配置以接收該視圖球體之表面之一表示作為一影像屬性像素結構，該影像屬性像素結構藉由一等距柱狀投影來表示該表面。例如，第一處理器201可接收一表示，諸如在圖2中所繪示者。
在此類實施例中，第一處理器201可經配置以將此一矩形影像屬性像素結構變形成一非矩形影像屬性像素結構，該非矩形影像屬性像素結構隨後可經處理為該第一影像屬性像素結構，如上文所述。在此一實施例中，第一處理器201可具體地經配置以將所接收之影像屬性像素結構從等距柱狀投影變換成對應於正弦投射的影像屬性像素結構。
第一處理器201可例如經配置以藉由根據一餘弦變形之座標平移來進行此變換。用於以matlab實作的實例可如下： W0=4000 H0=2000 W=W0*4 W2=W/2 H=H0 H2=H/2 AA=imread('in1.png'); BB=zeros(size(AA)); for x = 1:W for y = 1:H sc=abs(cos(3.14/2*(y-H2)/H2)); %sc=0; x1=x-W2; i=floor(x1*sc)+W2; BB(y,x,1)=AA(y,i,1); BB(y,x,2)=AA(y,i,2); BB(y,x,3)=AA(y,i,3); end end imwrite(uint8([BB]),['out.png']);
在先前實例中，產生一第二影像屬性像素結構，該第二影像屬性像素結構包含分別從該第一影像屬性像素結構之一中心區域及一或多個邊界區域產生的中心區域及一或多個隅角區域。該方法可具體地利用該第一影像屬性像素結構之幾何屬性，以產生一中心區域及邊界區域，使得從該第一影像屬性像素結構之該中心區域填充該第二影像屬性像素結構之該中心區域所產生的該等隅角區域具有的幾何屬性（具體而言，形狀）相對地密切匹配該等邊界區域之幾何屬性（具體而言，形狀）。此允許其中整個第一影像屬性像素結構緊密定位在不重疊之中心區域及隅角區域內而具有僅小間隙的配置。因此，達成有效率的表示，其中該第二影像屬性像素結構之僅小數目個像素不表示該第一影像屬性像素結構之像素。
此係在圖7中藉由介於隅角區域與中心區域之間的黑色像素繪示。如可見，該方法可利用該第一影像屬性像素結構之幾何以確保有效率的矩形表示，其中相對於該第一影像屬性像素結構之非矩形表示，該矩形表示僅少數額外像素。在正弦投影的實例中（諸如圖4之實例），可產生矩形表示其中像素數目僅增加5%。
因此，該第二影像屬性像素結構經產生而具有一或多個未填充區域，然而該等區域保持相當小面積。小附加項（例如與ERP或立方體圖表示相比較）導致用於影像屬性像素結構的經減少像素計數，其可實質上減小經編碼資料速率。
在一些實施例中，第二處理器305可進一步經配置以執行未填充區域之一或多者的填隙。具體而言，可藉由基於已填充區域中的鄰近像素之像素值，且具體而言，基於該中心區域之像素值及已從該第一影像屬性像素結構填充的最接近隅角區域的像素之像素值，來產生用於該（等）未填充區域的像素之像素值，來執行該填隙。
在許多實施例中，從該第一影像屬性像素結構產生的一或多個像素值可外推至該（等）未填充區域中。將理解，數種填隙技術從視圖合成技術之部分的解除遮擋程序已知，且將理解，可使用任何此類合適的演算法。
在一些實施例中，此填隙可藉由從該第一影像屬性像素結構產生一中間影像屬性像素結構來執行，其中該第一影像屬性像素結構外推至周圍區域中。在此實例中，亦移動對應於該等未填充區域的中間影像之區域，從而填充該等未填充區域，而非僅使該第一影像屬性像素結構之該等邊界區域移動至該第二影像屬性像素結構之該等隅角區域（當該等邊界區域之形狀不直接匹配該等隅角區域之形狀時，導致未填充區域）。
圖8展示藉由將該第一影像屬性像素結構外推至一矩形影像所產生之一中間影像的實例。然後，第二處理器305可藉由將該中心區域複製至該第二影像屬性像素結構之該中心區域，及將用於各邊界區域之一區域複製至該第二影像屬性像素結構之隅角區域，而產生該第二影像屬性像素結構，但是其中該等所複製區域經選擇以確切地匹配該等隅角區域之形狀。
填隙該等區域之一方法之一優點在於其提供一第二影像屬性像素結構，該第二影像屬性像素結構往往具有更一致的像素值，其中跨不同區域之間的劃分變化較小。此可導致更有效率的編碼，從而導致給定品質位準的減少資料速率。
以上實例已聚焦於單一影像之處理。然而，應理解，該方法可同等地應用於複數個影像，諸如視訊序列的個別訊框。
再者，在一些實施例中，該方法可應用於平行影像，例如，諸如場景之立體影像表示的左右眼影像。在此種情況下，第二處理器305可產生兩個矩形影像屬性像素結構，然後，該兩個矩形影像屬性像素結構可經編碼。在一些實施例中，可在編碼前組合該等矩形影像屬性像素結構。例如，如在圖9中所繪示，可藉由並置由第二處理器305產生的兩個個別影像屬性像素結構來產生單一矩形影像屬性像素結構，且所得整體影像可經編碼為單一影像。
因此，上述設備可產生包含所描述之第二影像屬性像素結構的非常有效率影像信號。在一些實施例中，影像信號可係一未編碼影像信號（例如對應於圖3之實例中的第二處理器305之輸出），但是在許多實施例中，將係一經編碼影像信號（例如對應於圖3之實例中的編碼器307之輸出）。
將理解，接收點(sink)/用戶端/解碼器側可接收包含如先前實例中所述的一第二影像屬性像素結構之一影像信號，且處理此以重新產生對應於該原始第一影像屬性像素結構之一影像屬性像素結構，即，對應於視圖球體之非矩形表示。
圖10展示此一設備的一實例。該設備包含一接收器1001，該接收器經配置以接收一影像信號，該影像信號包含一影像屬性像素結構之形式的一場景之一影像表示，該影像屬性像素結構表示來自一給定視點之一視圖球體，如針對該第二影像屬性像素結構所描述。
此第二影像屬性像素結構被饋送至一反轉處理器1003，該反轉處理器經配置以藉由執行由圖3之第二處理器所執行操作的相反操作來產生一非矩形影像屬性像素結構。具體而言，可執行反轉像素（位置）映射，使得所接收第二影像屬性像素結構之中心區域映射至所產生影像屬性像素結構之中心部分，且該第二影像屬性像素結構之該（等）隅角區域映射至所產生影像屬性像素結構之該等邊界區域。
然後，此本端產生之非矩形影像屬性像素結構可輸出至其他功能以用於進一步處理。例如，在圖10中，該所產生影像屬性像素結構被饋送至本端演現器，該本端演現器可繼續進行以合成對應於目前觀看者姿勢的視圖影像，如所屬技術領域中具有通常知識者所熟知。
應理解，為了清楚起見，上文描述已參考不同功能電路、單元、及處理器描述本發明之實施例。然而，將明白，可在不同功能電路、單元、或處理器之間使用任何合適的功能分布，而不減損本發明。例如，繪示為由分開的處理器或控制器執行之功能可由相同處理器或控制器實施例。因此，參考特定功能單元或電路僅被視為參考用於提供所描述之功能的合適手段，而非指示嚴格的邏輯或實體結構或組織。
本發明能以包括硬體、軟體、韌體、或彼等之任何組合的任何合適形式實作。本發明可任選地至少部分地實作為在一或多個資料處理及/或數位信號處理器上運行的電腦軟體。本發明之實施例的元件及組件可以任何合適方式實體地、功能地、及邏輯地實作。實際上，功能可以單一單元實作、以複數個單元實作、或實作為其他功能單元的一部分。因此，本發明可以單一單元實作，或可實體地及功能地分布在不同單元、電路、及處理器之間。
雖然本發明已相關於一些實施例描述，未意圖受限於本文陳述的具體形式。更確切地說，本發明的範圍僅由隨附的申請專利範圍限制。額外地，雖然特徵可顯現為結合特定實施例描述，所屬技術領域中具有通常知識者會認知所描述之實施例的各種特徵可根據本發明組合。在申請專利範圍中，用語包含不排除其他元件或步驟的存在。
另外，雖然個別地列舉，複數個構件、元件、電路、或方法步驟可藉由，例如，單一電路、單元、或處理器實作。額外地，雖然個別特徵可包括在不同的申請專利範圍中，可能有有利的組合，且包括在不同申請專利範圍中不暗示特徵的組合係可行及/或有利的。再者，包括在一種類別的請求項中的一特徵並未暗示對於此類別的限制，而是視情況，指示該特徵同樣地適用於其他請求項類別。另外，在申請專利範圍中的特徵次序並未暗示特徵必須以該次序作用的任何具體次序，且方法項中之個別步驟的次序未特別暗示步驟必須以此次序執行。更確切地說，步驟可以任何合適次序執行。此外，單數型參照未排除複數型。因此，對「一(a)」、「一(an)」、「第一(first)」、「第二(second)」等的參照不排除複數。申請專利範圍中的參考標誌僅提供為闡明實例，不應以任何方式解釋為限制申請專利範圍的範圍。
101:遠端VR用戶端裝置 103:VR伺服器 105:網路 301:第一處理器 303:來源 305:第二處理器/處理器 307:輸出產生器/編碼器 501:平坦區域 503:矩形區域 1001:接收器 1003:反轉處理器/處理器 p1:左上區域/邊界區域/區域 p2:右上區域/邊界區域/區域 p3:左下區域/邊界區域/區域 p4:右下區域/邊界區域/區域
將僅以舉例之方式參考圖式描述本發明的實施例，其中 〔圖1〕繪示用於提供一虛擬實境體驗之配置的實例； 〔圖2〕繪示用於視圖球體的球面影像之ERP投影的實例； 〔圖3〕繪示根據本發明之一些實施例之設備之元件的實例；及 〔圖4〕繪示用於視圖球體的球面影像之正弦投影的實例； 〔圖5〕繪示根據本發明之一些實施例之從視圖球體的球面影像之正弦投影至表示視圖球體之一矩形影像的映射的實例； 〔圖6〕繪示根據本發明之一些實施例之從視圖球體的球面影像之正弦投影至表示視圖球體之一矩形影像的映射的實例； 〔圖7〕繪示根據本發明之一些實施例之表示視圖球體之一矩形影像的實例； 〔圖8〕繪示根據本發明之一些實施例之表示視圖球體之一矩形影像的實例； 〔圖9〕繪示根據本發明之一些實施例之表示兩個視圖球體之一矩形影像的實例；及 〔圖10〕繪示根據本發明之一些實施例之設備之元件的實例。
301:第一處理器
303:來源
305:第二處理器
307:輸出產生器/編碼器

Claims (17)

  1. 一種用於產生表示來自一視點的一場景之一屬性的一影像屬性像素結構之設備，該設備包含： 一第一處理器(301)，其提供一第一影像屬性像素結構，該第一影像屬性像素結構係表示用於該視點的一視圖球體之一表面之至少部分的一二維非矩形像素結構；及 一第二處理器(305)，其用於產生一第二影像屬性像素結構，該第二影像屬性像素結構係一二維矩形像素結構且具有一中心區域及至少一第一隅角區域，該中心區域導出自該第一影像屬性像素結構之一中心區域，該至少一第一隅角區域導出自該第一影像屬性像素結構之一第一邊界區域，該第一邊界區域係鄰近於該第一影像屬性像素結構之一上邊界及一下邊界之一者的一區域，該至少一個隅角區段與該第二影像屬性像素結構之該中心區域不重疊；其中 該第一影像屬性像素結構之該中心區域受限於對應於該第二影像屬性像素結構之一上邊緣的一上水平線及對應於該第二影像屬性像素結構之一下邊緣的一下水平線中之至少一者；且該第一影像屬性像素結構之該第一邊界區域比該上水平線及該下水平線中之該至少一者更周邊。
  2. 如請求項1之設備，其中該第一影像屬性像素結構具有該表面之該至少部分的一均勻解析度。
  3. 如前述請求項中任一項之設備，其中該影像屬性像素結構之該中心區域與該第一邊界區域不重疊。
  4. 如前述請求項中任一項之設備，其中該第二處理器(305)經配置以產生該第二影像屬性像素結構以具有一第二隅角區域，該第二隅角區域導出自該第一影像屬性像素結構之一第二邊界區域，該第二隅角區域與該第二影像屬性像素結構之該中心區域不重疊，該第二邊界區域係鄰近於該上邊界及該下邊界之一者的一區域，且該第一邊界區域及該第二邊界區域係在該第一影像屬性像素結構之一虛擬垂直線的不同側上。
  5. 如請求項4之設備，其中該虛擬垂直線分開該第一邊界區域及該第二邊界區域，且該第一邊界區域及該第二邊界區域圍繞該虛擬垂直線而鏡像對稱。
  6. 如請求項4或5之設備，其中從該第一邊界區域至該第二邊界區域的一水平方向與從該第一隅角區域至該第二隅角區域的一水平方向相反。
  7. 如前述請求項中任一項之設備，其中該第一隅角區域鄰近於該第一邊界區域之一相對邊界。
  8. 如前述請求項中任一項之設備，其中該第二處理器(305)經配置以將該第二影像屬性像素結構之該第一隅角區域及該中心區域中之至少一者的像素外推至該第二影像屬性像素結構之一未經填充區域中，該未經填充區域鄰近於該第一隅角區域及該中心區域中之至少一者。
  9. 如前述請求項中任一項之設備，其中該第二處理器(305)經配置以藉由該第一邊界區域之像素值的一移位、平移、鏡射、及旋轉中之至少一者來判定該第一隅角區域的像素值。
  10. 如請求項1之設備，其中該第一處理器(301)經配置以藉由憑藉一等距柱狀投影而使表示該表面之該至少部分的一矩形影像屬性像素結構變形，而產生該第一影像屬性像素結構。
  11. 如前述請求項中任一項之設備，其中該影像屬性像素結構係一深度圖。
  12. 如前述請求項1至10中任一項之設備，其中該影像屬性像素結構係一光強度影像。
  13. 一種用於產生一輸出影像屬性像素結構之設備，該設備包含： 一接收器(1001)，其用於接收包含一第二影像屬性像素結構之一影像信號，該第二影像屬性像素結構係一二維矩形像素結構且具有一中心區域及至少一第一隅角區域，該中心區域導出自一第一影像屬性像素結構之一中心區域，該至少一第一隅角區域導出自一第一影像屬性像素結構之一第一邊界區域，第一影像屬性像素結構係表示用於該視點的一視圖球體之一表面之至少部分的一二維非矩形像素結構，且該第一邊界區域係鄰近於該第一影像屬性像素結構之一上邊界及一下邊界之一者的一區域，該至少一個隅角區段與該第二影像屬性像素結構之該中心區域不重疊，該第一影像屬性像素結構之該中心區域受限於對應於該第二影像屬性像素結構之一上邊緣的一上水平線及對應於該第二影像屬性像素結構之一下邊緣的一下水平線中之至少一者；且該第一影像屬性像素結構之該第一邊界區域比該上水平線及該下水平線中之該至少一者更周邊，及 一處理器(1003)，其用於產生表示用於該視點的該視圖球體之該表面之該至少部分的一非矩形輸出影像屬性像素結構，該非矩形輸出影像屬性像素結構具有中心區域及一邊界區域，該中心區域導出自該第二影像屬性像素結構之該中心區域，該邊界區域係鄰近於該輸出影像屬性像素結構之一上邊界及一下邊界之一者的一區域，該區域導出自該第二影像屬性像素結構之該第一隅角區域。
  14. 一種產生表示來自一視點的一場景之一屬性的一影像屬性像素結構之方法，該方法包含： 提供一第一影像屬性像素結構，其係表示用於該視點的一視圖球體之一表面之至少部分的一二維非矩形像素結構；及 產生一第二影像屬性像素結構，其係一二維矩形像素結構且具有一中心區域及至少一第一隅角區域，該中心區域導出自該第一影像屬性像素結構之一中心區域，該至少一第一隅角區域導出自該第一影像屬性像素結構之一第一邊界區域，該第一邊界區域係鄰近於該第一影像屬性像素結構之一上邊界及一下邊界之一者的一區域，該至少一個隅角區段與該第二影像屬性像素結構之該中心區域不重疊；其中 該第一影像屬性像素結構之該中心區域受限於對應於該第二影像屬性像素結構之一上邊緣的一上水平線及對應於該第二影像屬性像素結構之一下邊緣的一下水平線中之至少一者；且該第一影像屬性像素結構之該第一邊界區域比該上水平線及該下水平線中之該至少一者更周邊。
  15. 一種用於產生一輸出影像屬性像素結構之方法，該方法包含： 接收包含一第二影像屬性像素結構之一影像信號，該第二影像屬性像素結構係一二維矩形像素結構且具有一中心區域及至少一第一隅角區域，該中心區域導出自一第一影像屬性像素結構之一中心區域，該至少一第一隅角區域導出自該第一影像屬性像素結構之一第一邊界區域，第一影像屬性像素結構係表示用於該視點的一視圖球體之一表面之至少部分的一二維非矩形像素結構，且該第一邊界區域係鄰近於該第一影像屬性像素結構之一上邊界及一下邊界之一者的一區域，該至少一個隅角區段與該第二影像屬性像素結構之該中心區域不重疊，該第一影像屬性像素結構之該中心區域受限於對應於該第二影像屬性像素結構之一上邊緣的一上水平線及對應於該第二影像屬性像素結構之一下邊緣的一下水平線中之至少一者；且該第一影像屬性像素結構之該第一邊界區域比該上水平線及該下水平線中之該至少一者更周邊， 產生表示用於該視點的該視圖球體之該表面之該至少部分的一非矩形輸出影像屬性像素結構，該非矩形輸出影像屬性像素結構具有中心區域及一邊界區域，該中心區域導出自該第二影像屬性像素結構之該中心區域，該邊界區域係鄰近於該輸出影像屬性像素結構之一上邊界及一下邊界之一者的一區域，該區域導出自該第二影像屬性像素結構之該第一隅角區域。
  16. 一種電腦程式產品，其包含經調適以當該程式在一電腦上運行時執行請求項14或15之所有步驟的電腦程式碼構件。
  17. 一種影像信號，其包含：一第二影像屬性像素結構，該第二影像屬性像素結構係一二維矩形像素結構且具有一中心區域及至少一第一隅角區域，該中心區域導出自一第一影像屬性像素結構之一中心區域，該至少一第一隅角區域導出自該第一影像屬性像素結構之一第一邊界區域，第一影像屬性像素結構係表示用於視點的一視圖球體之一表面之至少部分的一二維非矩形像素結構，且該第一邊界區域係鄰近於該第一影像屬性像素結構之一上邊界及一下邊界之一者的一區域，該至少一個隅角區段與該第二影像屬性像素結構之該中心區域不重疊。
TW109102359A 2019-01-24 2020-01-22 產生及處理一影像屬性像素結構 TW202101373A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19153580.6A EP3686833A1 (en) 2019-01-24 2019-01-24 Generating and processing an image property pixel structure
EP19153580.6 2019-01-24

Publications (1)

Publication Number Publication Date
TW202101373A true TW202101373A (zh) 2021-01-01

Family

ID=65268734

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109102359A TW202101373A (zh) 2019-01-24 2020-01-22 產生及處理一影像屬性像素結構

Country Status (9)

Country Link
US (1) US12131435B2 (zh)
EP (2) EP3686833A1 (zh)
JP (1) JP7556352B2 (zh)
KR (1) KR20210119476A (zh)
CN (1) CN113330479A (zh)
BR (1) BR112021014351A2 (zh)
CA (1) CA3127405A1 (zh)
TW (1) TW202101373A (zh)
WO (1) WO2020152033A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2548358A (en) * 2016-03-15 2017-09-20 Nokia Technologies Oy A method, an apparatus and a computer program product for coding a 360-degree panoramic images and video
US11019257B2 (en) 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
CN106162140B (zh) 2016-08-30 2019-03-15 北京奇艺世纪科技有限公司 一种全景视频的压缩方法及装置
CN106375760B (zh) * 2016-10-11 2019-04-19 上海国茂数字技术有限公司 一种全景视频多边形采样方法及装置
GB2555788A (en) * 2016-11-08 2018-05-16 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10460509B2 (en) * 2017-11-07 2019-10-29 Dolby Laboratories Licensing Corporation Parameterizing 3D scenes for volumetric viewing
US10735765B2 (en) * 2018-06-07 2020-08-04 Hong Kong Applied Science and Technology Research Institute Company, Limited Modified pseudo-cylindrical mapping of spherical video using linear interpolation of empty areas for compression of streamed images

Also Published As

Publication number Publication date
KR20210119476A (ko) 2021-10-05
US12131435B2 (en) 2024-10-29
JP7556352B2 (ja) 2024-09-26
WO2020152033A1 (en) 2020-07-30
EP3686833A1 (en) 2020-07-29
CA3127405A1 (en) 2020-07-30
BR112021014351A2 (pt) 2021-11-23
EP3915086A1 (en) 2021-12-01
US20220122216A1 (en) 2022-04-21
JP2022517499A (ja) 2022-03-09
CN113330479A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
US11575876B2 (en) Stereo viewing
US11882267B2 (en) Adapting video images for wearable devices
JP2017532847A (ja) 立体録画及び再生
US20200388077A1 (en) Layered augmented entertainment experiences
WO2016087702A1 (en) Digital video rendering
TWI846808B (zh) 表示場景之影像信號
JP7556352B2 (ja) 画像特性画素構造の生成および処理
Jeong et al. Depth image‐based rendering for multiview generation
TW202046716A (zh) 表示場景之影像信號
JP2013090170A (ja) 立体視映像再生装置