TWI786157B - 用於產生場景之舖磚式三維影像表示之設備及方法 - Google Patents

用於產生場景之舖磚式三維影像表示之設備及方法 Download PDF

Info

Publication number
TWI786157B
TWI786157B TW107125694A TW107125694A TWI786157B TW I786157 B TWI786157 B TW I786157B TW 107125694 A TW107125694 A TW 107125694A TW 107125694 A TW107125694 A TW 107125694A TW I786157 B TWI786157 B TW I786157B
Authority
TW
Taiwan
Prior art keywords
depth
tile
depth value
tiles
scene
Prior art date
Application number
TW107125694A
Other languages
English (en)
Other versions
TW201921318A (zh
Inventor
克莉斯汀 維爾甘
Original Assignee
荷蘭商皇家飛利浦有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷蘭商皇家飛利浦有限公司 filed Critical 荷蘭商皇家飛利浦有限公司
Publication of TW201921318A publication Critical patent/TW201921318A/zh
Application granted granted Critical
Publication of TWI786157B publication Critical patent/TWI786157B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一種用於產生一場景之一三維影像表示之設備包含：一接收器(301)，其接收一場景的來自一第一視點之一舖磚式三維影像表示，該表示包含複數個互連圖塊，各圖塊包含一深度圖及一紋理圖，該紋理圖表示該場景的來自該第一視點之一觀看區，且該等圖塊形成一舖磚式圖案。一第一處理器(311)回應於該舖磚式圖案而判定至少一第一圖塊中及一第二圖塊中之相鄰邊界區域。一第二處理器(309)回應於該第二圖塊之一第二邊界區域中之至少一第二深度值而修改該第一圖塊之一第一邊界區域之至少一第一深度值，該等邊界區域係相鄰區域。該等經修改深度圖可用於產生一網格，影像可基於該網格產生。

Description

用於產生場景之舖磚式三維影像表示之設備及方法
本發明係關於一種用於產生場景之舖磚式三維影像表示之設備及方法，且具體地但未獨佔地關於適合用於基於轉換成網格表示之影像產生的場景之經改善舖磚式三維影像表示。
傳統上，影像的技術處理及用途已基於二維成像，但在影像處理中正明確地考慮第三維。
例如，已發展藉由將正被觀看之場景之不同視圖提供給觀看者雙眼而將第三維加至觀看體驗的三維(3D)顯示器。此能藉由使用者佩戴眼鏡以分離所顯示之兩視圖而實現。然而，由於此被視為對使用者不便利，在許多情景中使用裸視立體(autostereoscopic)顯示器係較佳的，其使用在顯示器處的構件（諸如，柱狀透鏡、或屏障）以分離視圖，並在彼等視圖可個別抵達使用者眼睛的不同方向上傳送彼等視圖。立體顯示器需要兩個視圖，然而裸視立體顯示器一般需要更多視圖（諸如，九個視圖）。
在許多實施例中，產生用於新觀看方向的視圖影像可係所欲的。雖然基於影像及深度資訊產生此種新視圖影像的各種演算法已為人所知，但彼等演算法往往高度相依於所提供（或所導出）之深度資訊的準確度。
實際上，經常由對應於場景之不同觀看方向的複數個影像提供三維影像資訊。具體地說，逐漸將視訊內容（諸如，影片或電視節目）產生以包括一些3D資訊。能使用專用3D或深度感測攝影機（諸如，從略為偏移的攝影機位置擷取兩個同時影像的攝影機）擷取此類資訊。
然而，在許多應用中，所提供的影像可能不直接對應於期望方向，或可能需要更多影像。例如，針對裸視立體顯示器，需要兩個以上的影像，且實際上經常使用9至26個視圖影像。
為了產生對應於不同觀看方向的影像，可使用視點位移處理(view point shifting processing)。此一般藉由使用單觀看方向的影像連同關聯深度資訊的視圖位移演算法(view shifting algorithm)執行。
基於三維影像處理之應用之具體實例係虛擬實境應用。在一般虛擬實境體驗中，可連續地產生用於例如虛擬實境頭戴裝置的右眼視圖影像及左眼視圖影像以與使用者的移動及定向改變匹配。此類產生動態虛擬實境視圖一般基於處理表示對應於虛擬實境環境的給定場景之3D影像資料。例如，虛擬實境伺服器可基於三維模型或三維影像（諸如由光強度影像及深度圖所表示之影像，或由紋理圖及深度網格所表示之影像）而產生用於特定視圖的視圖影像。
對於諸如虛擬實境應用的應用，可例如隨由於虛擬環境中使用者實際上移動或改變觀看方向/定向所引起的這些變化來產生一系列影像，以反映使用者的視圖。在一些應用中，可產生影像以反映觀看者定向的變化，但不支援區中的移動。反映此一場景的視訊經常稱為全向視訊。在其他應用中，亦可支援移動觀看位置以反映虛擬實境環境中的使用者之虛擬移動。反映此一場景的視訊經常稱為身歷其境式視訊。使用者的當前視圖可由一視圖向量表示，該視圖向量描述針對一視點的相關位置及方向參數。
對於全向視訊，視圖向量一般描述根據三自由度(3DoF)的定向，一般藉由提供側傾(yaw)值、縱傾(pitch)值、及側滾(roll)值（或方位角、仰角、及傾斜）。
對於身歷其境式視訊而言，向量一般描述根據六自由度(6DoF)的定向及位置，一般藉由提供側傾值、縱傾值、側滾值及用於三個空間維度的值。
然而，當試圖開發及支援支援可變觀看位置及/或觀看方向的靈活視訊及影像應用時的具體挑戰係這些可變觀看位置及/或觀看方向較佳地不限於一子組之位置及/或方向而是理想地支援所有位置及/或方向。例如，對於6DoF身歷其境式視訊，觀看者可從任何位置及任何方向觀看場景。這要求可取得場景之所有部分以及來自所有位置及所有方向的3D資訊。在許多實際應用中，此項要求係困難的或不可能滿足的，例如其中3D資料基於擷取真實世界場景的特定應用。
物體之位置及方向/定向的組合在本領域中一般稱為擺置或姿勢。因此，擺置或姿勢向量可包含六個值/分量，其中各值/分量描述對應物體之位置/定位或定向/方向的個別屬性。當然，在一些情況中，擺置或姿勢向量可具有較少分量來表示位置及定向，例如，若一或多個分量視為固定（例如，若所有物體皆視為處於相同高度及位階，則四個組件可提供物體之姿勢的完整表示）。
待解決的最困難挑戰之一係如何有效地表示場景，使得該表示提供充分資訊，以允許產生充分高品質的合適視點影像，但仍允許易於傳送、儲存、修改、及/或處理該表示。
所使用之一種方法係提供用於給定觀看位置的全向影像，其中全向影像提供，例如，視覺資訊作為置中於對應觀看位置上的球體或半球體，其中球體具有疊加之影像，該影像反映在對應觀看方向上的場景之視覺屬性。在許多應用中，已藉由非將視圖表示為圍繞視點的球形物體之紋理，而是將紋理替代地映射至以三維多邊形為基礎之結構上（諸如一般係圍繞視點定位的立方體），來修改此方法。在此情況中，因此，來自給定視點之全向視圖被紋理映射至圍繞視點定位的立方體上。當產生對應於定位在視點處的觀察者之特定觀看方向的影像時，影像產生系統可簡單地將給定觀看區的立方體之合適部分映射至對應影像上。
然而，在許多實施例中，雖然此種方法可提供有利之方法，在所有情況中，此方法可能不是最佳的，且可能具有一些相關聯之缺點。例如，在所有情況中，此方法可能不提供最佳影像品質，且特別係假影可起因於映射至立方體之不同側的紋理之處理。
因此，用於產生場景之三維影像表示之改善方法將係有利的。具體而言，允許改善操作、增強靈活性、促進實施、促進操作、降低複雜性、減少資源需求、及/或改善效能之方法將係有利的。
因此，本發明尋求單個地或依任何組合較佳地緩和、減輕、或排除上文提及之缺點之一或多者。
根據本發明之一態樣，提供一種產生一場景之一舖磚式三維影像表示之設備，該設備包含：一接收器，其用於接收一場景的來自一第一視點之一舖磚式三維影像表示，該舖磚式三維影像表示包含複數個互連圖塊，各圖塊包含一深度圖及一紋理圖，該紋理圖表示該場景的來自該第一視點之一觀看區，且該等圖塊形成一舖磚式圖案；一第一處理器，其用於回應於該舖磚式圖案而判定至少一第一圖塊中及一第二圖塊中之相鄰邊界區域，該第一圖塊及該第二圖塊係相鄰圖塊；一第二處理器，其用於回應於該第二圖塊之一第二邊界區域中之至少一第二深度值，而修改該第一圖塊之一第一邊界區域之至少一第一深度值，使得對於該第一深度值及該第二深度值之至少一些值，介於該第一深度值與該第二深度值之間的一差值被減小，該第一邊界區域及該第二邊界區域係相鄰邊界區域。
在許多情況中，本發明可提供改善之效能，且可例如提供能夠有效地傳送、儲存、及處理之三維影像表示。尤其在許多情況中，本發明可提供用於產生三維影像表示之低複雜度方法，該低複雜度方法可通常提供給定影像品質的較低資料速率表示，且還可支援例如資料之靈活及部分散佈，這允許例如遠端用戶端接收資料及本端產生表示場景的來自不同視點及方向之影像。具體地，該方法可允許高度且有效率虛擬實境體驗，其中例如可在需要時靈活提供適當資料給遠端虛擬實境用戶端。
該接收器可接收一輸入舖磚式三維影像表示，且藉由修改至少該第一深度值（且一般係大量圖塊邊框深度值）而從該輸入舖磚式三維影像表示來產生一輸出舖磚式三維影像表示。
在許多情況中，該方法可提供改善的影像品質，且具體地可降低假影及不準確。此方法可反映認識到使不同圖塊重疊的觀看區尤其會發生錯誤及假影，且認識到此類錯誤及假影通常可起因於不同圖塊之邊界區域中的深度值之間的不一致，諸如可起因於一般對深度圖執行的有損編碼及解碼。在許多情況中，此方法可以減少或甚至移除許多此類假影及錯誤。在許多情況中，該方法可提供較平滑之使用者體驗，其中圖塊之間的過渡不可察覺。
在許多實施例中，場景之三維影像表示可被視為場景之至少一部分的三維模型。
在許多實施例中，該第二處理器可經配置以藉由修改該第一深度值來約束介於該第一深度值與該第二深度值之間的一差值，使得介於該第一深度值與該第二深度值之間的一差值受到該第一深度之所有潛在值的約束。具體地，在許多實施例中，該第二處理器可經配置以修改該第一深度值，使得介於該第一深度值與該第二深度值之間的一差值不超過一臨限值。
由該第二處理器進行的修改可僅針對該第一深度值及該第二深度值的一些值來改變該第一深度值的值。對於該第一深度值及該第二深度值的一些值，該第一深度值可不改變，即，該經修改深度值可相同於原始深度值。例如，若該第一深度值及該第二深度值相等，則該第二處理器可不改變該第一深度值。
在許多實施例中，該舖磚式圖案可係一預定/預定義之舖磚式圖案。舖磚式圖案係非平坦的。具體地，舖磚式圖案可係三維的且可具有在所有三個維度上的延伸。圖塊及舖磚式圖案可形成三維結構。
各深度值可對應於（一般係）矩形或具體地係正方形深度圖中的深度像素，即，各深度值可係在對應深度圖中之對應像素位置處的深度像素之值。
該設備可經配置以修改複數個第一深度值，諸如具體地在該第一邊界區域中之所有深度值。具體地，在該第一邊界區域中，可針對複數個深度像素，且可能針對各深度像素，重複該方法。
該第一深度值及該第二深度值可經選擇為對應於來自該第一視點之一相同觀看方向的深度值。該第一深度值及該第二深度值可經選擇使得介於從該第一視點朝向該第一深度值之該觀看方向/向量與從該第一視點朝向該第二深度值之該觀看方向/向量之間的該差值之一差值衡量低於一臨限值。例如，可要求從該第一視點分別朝向該第一深度值與該第二深度值之位置的視圖向量之間的一視角角度小於一臨限值，或對於該第一圖塊及該第二圖塊中的任何成對之深度值而言係最小的。
在許多實施例中，該第二深度值可係最靠近該第一深度值之一深度像素的該第二區域中之一深度像素的一深度值。
一互連圖塊與一個且一般多於一個其他互連圖塊可具有一共同邊界。對於舖磚式圖案，互連圖塊可提供用於一觀看區的連續覆蓋，其中各互連圖塊提供覆蓋該完整觀看區之一子區/區域的一子觀看區。該完整觀看區一般可係大的，例如可係四分之一球體、半球體、或甚至全球體。
相鄰邊界區域可係兩個圖塊之區域，其中該等區域共用該兩個圖塊之間的一邊界。因此，該第一邊界區域及該第二邊界區域可共用該第一圖塊與該第二圖塊之間的一邊界，且具體地可連接/碰觸該邊界，或該第一邊界區域及該第二邊界區域之一或兩者可包含該邊界（在重疊圖塊的情況中）。
根據本發明之可選特徵，該第二處理器經配置以設定該第一深度值及該第二深度值為一相同值。
這可允許低複雜度及低資源需求，但仍可導致具有高品質之有利效能。具體地，可減少因不同圖塊之深度值的不一致而導致的假影、錯誤、及降級，例如，歸因於編碼或解碼假影。具體地，允許基於深度圖的精確、一致、且穩健的3D網格產生。
根據本發明之可選特徵，該相同值係該第一深度值及該第二深度值之一平均值。
這可允許低複雜度及低資源需求，但仍可導致具有高品質之有利效能。此外，雖然可預期會導致大於例如深度平均的深度偏差（對初始深度之偏差），可對三維影像表示之圖塊的不對稱提供提供改善支援。例如，促進且降低方法的運算負載，其中僅動態更新一圖塊子集，且其中一些圖塊不改變。
根據本發明之可選特徵，該第二處理器經配置以設定該第一深度值為該第二深度值。
這可允許低複雜度及低資源需求，但仍可導致具有高品質之有利效能。具體地，雖然可預期會導致大於例如深度平均的深度偏差（對初始深度之偏差），可對三維影像表示之圖塊的不對稱提供提供改善支援。例如，促進且降低方法的運算負載，其中僅動態更新一圖塊子集，且一些圖塊不改變。
該設備可基於相鄰圖塊之深度圖（諸如該第二圖塊之深度圖）之深度屬性來施加深度圖（諸如第一圖塊之深度圖）的邊界條件。該方法可例如對新圖塊施加邊界條件，使得這將與現有之相鄰圖塊一致且匹配，而不需要處理這些條件（例如，濾波）。
根據本發明之可選特徵，該設備進一步包含用於從該等圖塊之深度圖產生一三維網格的一網格產生器。
該方法可允許基於該等圖塊之該等深度圖產生該場景的一經改善三維網格。具體地，在許多情況中，可實質上減少或甚至排除在圖塊邊界周圍的該網格中之不一致且尤其孔的風險。
該方法可允許藉由三維網格而改善從該場景之一以影像為基礎之表示轉換或變換成該場景之幾何空間表示。
根據本發明之可選特徵，該網格產生器經配置以選擇用於產生該三維網格的該第一邊界區域之一深度值子集；且該第二處理器經配置以僅若該第一邊界區域之深度值屬於該深度值子集時修改該第一邊界區域之深度值。
可實現降低的複雜性及運算資源使用率而不會犧牲品質。該方法可允許介於該圖塊表示與從圖塊表示產生之該網格表示之間的更接近一致性及對應。
根據本發明之可選特徵，該第二處理器經配置以繼修改該第一深度值之後應用一空間濾波器至該第一圖塊之一深度圖。
這可允許改善之品質，且具體地可提供介於經修改邊框區域與該等圖塊之其他區域之間的經改善一致性。該空間濾波器的該應用可僅限於該第一圖塊之該深度圖的深度值。
根據本發明之可選特徵，該設備進一步包含一遠端源通訊器，該遠端源通訊器經配置以接收來自一遠端源之用於該舖磚式三維影像表示的圖塊；及一本端儲存器，該本端儲存器用於儲存該舖磚式三維影像表示的圖塊；且該接收器經配置以回應於從該遠端源接收器接收該第一圖塊而從該本端儲存器擷取至少該第二深度值。
該方法可允許用於支援一場景之表示的動態分布（例如，用於虛擬實境應用）之高度有效率方法。該方法可允許例如藉由僅需要傳輸已修改的圖塊而實質上減少頻寬，同時允許此與先前接收的或例如係表示場景之靜態部分的預定或預定義標稱圖塊的本端儲存之圖塊有效地組合。
該本端儲存器可經配置以儲存先前從該遠端源接收的該舖磚式三維影像表示之圖塊。
根據本發明之可選特徵，該本端儲存器經配置以在修改該第一深度值之後儲存該第一圖塊之一深度圖或一網格。
這可允許可降低例如許多應用程式之通訊需求的有效率方法。可允許逐漸更新一場景之一本端儲存表示，同時提供介於新圖塊與先前圖塊之間的一致性。
根據本發明之可選特徵，該設備進一步包含用於判定一當前觀看方向的一使用者輸入；且其中該遠端源通訊器經配置以傳輸該當前觀看方向之一指示至該遠端源；且其中回應於該指示而接收該第一圖塊。
該方法可例如提供用於提供例如虛擬實境體驗的非常有效率之用戶端伺服器系統。
根據本發明之可選特徵，該本端儲存器經配置以儲存用於該等所儲存圖塊的一網格，且該網格產生器經配置以回應於偵測到一差值衡量超過一臨限值，而新增一邊緣頂點至用於該第二圖塊的一所儲存網格中，該差值衡量指示介於該第一圖塊之一邊界深度值與用於該第二圖塊之該所儲存網格之一對應邊界深度值之間的一深度差值。
在許多實施例中，此可提供經改善效能。
根據本發明之可選特徵，該第二處理器經配置以僅回應於在該第一深度值之一位置處相鄰於該第一圖塊的各圖塊之一最靠近深度值而判定該第一深度值。
在大多數情況中且對於許多應用，這可允許具有高效能的低複雜度但高度有效率且有利之方法。
根據本發明之可選特徵，各圖塊係一平坦多邊形，且複數個互連圖塊形成一三維結構。
在大多數情況中且對於許多應用，這可允許具有高效能的低複雜度但高度有效率且有利之方法。
根據本發明之一態樣，提供一種產生一場景之一三維影像表示之方法，該方法包含：接收一場景的來自一第一視點之一舖磚式三維影像表示，該舖磚式三維影像表示包含複數個互連圖塊，各圖塊包含一深度圖及一紋理圖，該紋理圖表示該場景的來自該第一視點之一觀看區，且該等圖塊形成一舖磚式圖案；回應於該舖磚式圖案而判定至少一第一圖塊中及一第二圖塊中之相鄰邊界區域，該第一圖塊及該第二圖塊係相鄰圖塊；回應於該第二圖塊之一第二邊界區域中之至少一第二深度值，而修改該第一圖塊之一第一邊界區域之至少一第一深度值，使得對於該第一深度值及該第二深度值之至少一些值，介於該第一深度值與該第二深度值之間的一差值被減小，該第一邊界區域及該第二邊界區域係相鄰邊界區域。
本發明的此等及其他態樣、特徵、及優點將參考下文描述的（一或多個）實施例闡明且將係顯而易見的。
下文描述聚焦於適用於產生用於虛擬實境應用之影像的本發明之實施例。然而，將理解本發明不限於此應用，而是可應用於例如許多不同影像處理及產生應用。
圖1繪示可具現本發明概念之實例及變體之系統的實例。
在實例中，採影像產生設備101之形式的用戶端經配置以產生一場景的來自不同視點之影像，即，可產生對應於該場景之不同觀看區的影像。影像產生設備101經配置以接收場景之三維影像表示，然後，從該表示產生影像。在實例中，經由網路105（可例如係網際網路）接收來自遠端伺服器103的三維影像表示。在具體實例中，遠端伺服器103係虛擬實境伺服器，該虛擬實境伺服器為影像產生設備101提供三維環境之三維影像表示，以產生對應於例如在環境中之虛擬使用者移動的視圖。
在許多應用中，可使用深度感測攝影機從真實世界場景或環境的擷取而產生三維影像表示。這允許一起擷取視覺屬性與三維資訊。為了充分擷取場景，通常採用複數個攝影機且通常大量攝影機之使用。在一些應用中，使用10、20或甚至更多個攝影機以提供令人滿意的擷取。
場景之虛擬資料表示係提供有利之使用者體驗的關鍵因素。需要描述場景之資料提供視覺屬性及空間屬性兩者的精確表示。同時，重要的係減少表示場景所需的資料量，因為在許多應用中，這往往係可實現的品質之限制因素。
此外，從深度感測攝影機之擷取轉換成環境/場景之資料表示通常非常具挑戰性，且可能會引入錯誤或假影。例如，在一些應用中，所擷取資料可用於發展真實世界場景之三維模型。然後，可藉由從特定視點評估模型來產生用於提供三維虛擬實境體驗給使用者的視圖影像。在其他應用中，可直接從所擷取影像及深度資訊產生用於特定觀看區或視點的影像，例如藉由選擇最靠近的所擷取影像中之一或多者，且執行視點偏移以對應於所欲視點，或在一些情況中，藉由直接使用所擷取影像。
在本情況中，場景藉由一組影像（而非三維模型）表示在影像域中。然而，各影像進一步具備深度圖，該深度圖提供影像中之物體的深度資訊。具體地，提供場景之三維影像表示，其包含一組影像及相關聯之深度圖。
具體地，在圖1之系統中，使用場景的來自給定第一視點之舖磚式三維影像表示（至少部分地）表示場景。對於給定視點，提供一種表示，其中一組互連圖塊表示場景，其中各圖塊包含提供光強度（一般包含顏色）資訊的影像/紋理圖。具體地，來自給定視點之給定（大）觀看區被分成複數個較小子觀看區，其中這些子觀看區之各者由圖塊表示。
因此，各圖塊提供場景之一部分的表示，其中圖塊一起提供場景之較大部分的表示。一般而言，圖塊沿線及交界互連，其中圖塊之間存在明顯邊界。然而，在一些實施例中，個別圖塊可具有（一般非常小）重疊。
因此，對於從第一視點之給定觀看方向，將由表示包括該觀看方向之子觀看區的圖塊來表示場景。在大多數實施例中，介於觀看方向與含有相關資訊之一個圖塊之間存在直接的一對一對應。然而，如所提及，在一些情況中，小重疊可能存在於圖塊之間，在此情況中，可能存在與觀看方向相關聯之一個以上圖塊。
圖塊一起形成舖磚式圖案。因此，根據舖磚式圖案，由圖塊表示的大觀看區被劃分成個別圖塊。在許多實施例中，舖磚式圖案可係遠端伺服器103及影像產生設備101兩者已知的預定舖磚式圖案。在其他實施例中，可例如由遠端伺服器103動態判定舖磚式圖案，且舖磚式圖案可傳送至影像產生設備101。舖磚式圖案一般會連續地覆蓋完整觀看區，且因此對於觀看區內之各觀看方向，舖磚式圖案將具有（至少一個）圖塊。
因此，圖塊圖案可形成場景世界/座標系統中的觀看區，其中各圖塊對應於場景之（較小或子）觀看區。換言之，圖塊之觀看區可一起形成第一視點之經組合觀看區。圖塊可提供經組合觀看區之連續覆蓋。經組合觀看區可完全或部分地圍繞第一視點。
在場景世界/座標系統中，互連圖塊可共用邊界（包括重疊邊界）。在許多實施例中，兩個相鄰或鄰接圖塊之各者可表示場景之不同區域，其中兩個相鄰或鄰接圖塊一起表示單一連續區域（對應於經組合之兩個個別區域）。由兩個鄰接或相鄰圖塊表示的兩個區域之組合可形成單一區域。舖磚式圖案之各圖塊可表示場景之不同區域的觀看區，其中圖塊圖案由表示場景之連續區域的觀看區之圖塊所形成。對應於場景之不同區域的觀看區之圖塊的組合可形成場景之連續區域的經組合觀看區。連續區域可係對應於三維場景中的單一三維形狀之區域。由舖磚式圖案之圖塊表示的場景之區域可組合成場景中的單一三維形狀/區域（相對於例如組合成不碰觸或重疊之二或更多個分開形狀的區域）。
各圖塊可包含深度圖及表示場景至對應於圖塊的觀看區/區（在場景座標系統中）之投影的紋理圖。圖塊圖案的圖塊可反映場景至對應於圖塊圖案之圖塊的觀看區之組合/總和的觀看區上的投影。圖塊圖案的圖塊對應於相同視點的觀看區。
視點的觀看區可對應於場景（座標系統）中之一個區（或3D表面），在該區上可提供場景的來自視點之投影。視點可係觀看姿態，或在許多實施例中，視點可係觀看位置。
用語視點可例如視為係反映視圖/觀看區的參考點，且一般視為對應於場景之標稱觀看者/攝影機。視點通常視為對應於一個位置，但亦可包含方向態樣。視點可更一般地視為對應於姿勢。例如，視點可反映觀察者之位置及注視方向。用於此類視點的場景之舖磚式表示可例如係在該方向置中的圖塊之實質上半球形結構（即，特定舖磚式表示可係針對特定位置及方向）。
實際上，在許多實際實施例中，圖塊表示僅可表示場景之一部分，而不是完全球形表示。例如，對於立方體表示，可缺失立方體之側/圖塊之一或多者。因此，場景的來自給定視點之舖磚式表示不僅可標稱地反映觀察者/攝影機位置，亦反映觀看方向（例如，可能之觀看方向的範圍）。
用語觀看區可例如視為對應於場景的來自給定視點之區或視窗。例如，觀看區可被視為場景之一部分投影於其上的表面。
除了光強度影像/紋理圖之外，各圖塊另外提供深度圖，該深度圖提供光強度影像/紋理圖之像素的深度資訊。深度圖一般可包含深度值，該等深度值指示在對應於深度值之位置的觀察方向從第一視點至物體的距離。深度值可例如具有針對從視點至物體之増加距離的増加值，或可具有針對從視點至物體之増加距離的減少值。在許多實施例中，可提供深度值作為像差值。
提供深度及影像（紋理）資訊可提供允許由影像產生設備101改善處理的附加資訊。具體地，與提供用於其之三維影像表示的給定視點相比，可允許、或促進、或改善用於其他視點的視圖影像之產生。
在許多實施例中，圖塊係平坦多邊形，諸如矩形（或通常為正方形），該等圖塊一起形成三維結構，即，平坦圖塊在三維空間中定位及定向，使得所得結構在三維空間中延伸，而非僅僅在平面中延伸。因此，由舖磚式三維影像表示所提供的完整觀看區係三維結構/觀看區。
在許多實施例中，三維觀看區可係球形，即，有針對始於第一視點之任何觀看方向的圖塊。具體地，考慮到圍繞第一視點定位且在由舖磚式圖案所形成之結構內的球體（對應於球形觀看區），始於第一視圖點且穿過球體上之任何點的線將延伸至圖塊上之位置。在一些實施例中，觀看區可不覆蓋所有可能之觀看方向，而是可能僅可覆蓋球體之一部分，諸如半球體或四分之一球體。
舖磚式圖案之具體實例係立方體舖磚式圖案，例如由立方體映射(cube mapping)所知。在立方體舖磚式圖案中，六個正方形圖塊可形成圍繞第一視圖點的立方體之六個側。因此，在此類實例中，舖磚式三維影像表示可提供六個正方形圖塊，其中各圖塊包含紋理圖及深度圖。
圖塊通常可被提供為經組合平坦表示。然而，由於圖塊形成三維結構（立方體），此類平坦表示將固有地分離至少一些相鄰圖塊。圖2繪示立方體圖塊圖案之平坦表示，其中指示紋理圖及深度圖平坦表示。
在圖1之系統中，因此，影像產生設備101可接收場景的來自給定第一視點之輸入舖磚式三維影像表示，諸如立方體表示。然後，影像產生設備101可從此輸入舖磚式三維影像表示產生對應於來自第一視點之特定觀看方向的影像，或實際上對應於來自不同視點之特定觀看方向的影像。因此，在實例中，影像產生設備101經配置以自舖磚式三維影像表示合成不同視點及方向的影像。例如，影像產生設備101可執行虛擬實境應用程式，該虛擬實境應用程式回應於使用者輸入（諸如來自虛擬實境頭戴裝置的使用者輸入）而產生用於不同視點及方向的影像。
圖3繪示圖1之影像產生設備101的實例。
影像產生設備101包含接收器301，該接收器接收場景的來自第一視點之輸入舖磚式三維影像表示。在實例中，接收器301接收來自遠端伺服器103的輸入舖磚式三維影像表示，且因此接收器301包含用於與遠端伺服器103通訊的合適網路介面及功能。應理解，在其他實施例中，輸入舖磚式三維影像表示可接收自其他內部源或外部源，諸如可接收自本端儲存器或資料磁碟讀取器。
在實例中，影像產生設備101進一步包含影像產生器303，該影像產生器經配置以從所接收舖磚式三維影像表示來產生影像。具體地，影像產生器303可經配置以針對與提供用於其之舖磚式三維影像表示的第一視點不同的視點產生影像。
在具體實例中，影像產生設備101執行虛擬實境應用程式且耦合至使用者介面305，該使用者介面可控制產生用於其之視圖影像的視點位置及觀看方向。
在具體實例中，影像產生設備101係虛擬實境裝置，該虛擬實境裝置包含一使用者介面305，該使用者介面經配置以接收可反映在虛擬實境場景中之所欲移動及/或定向的使用者輸入。例如，使用者可使用操縱桿及/或鍵盤瀏覽遍及虛擬實境場景，或例如可依據使用者所穿戴且包含合適感測器的虛擬實境頭戴裝置來判定視圖之定向。在許多實施例中，使用者介面305可包含用於將使用者輸入轉換成所欲演現視點的功能，該演現視點指示觀看場景的位置，及/或從給定觀看位置的觀看定向（視點可視為指位置指示、定向指示、或兩者，因此指示使用者的所欲視圖）。
應理解，在一些實施例中，可針對給定演現視點產生複數個視圖，或在一些實施例中，可從相同使用者輸入產生複數個視點。例如，該虛擬實境裝置可經配置以產生對應於右眼視圖的影像及對應於左眼視圖的影像，從而提供3D效果。為了簡明及清晰，下文描述將聚焦於針對一給定演現視點產生一個影像。
具體地，使用者介面305可經配置以產生指示一所欲/目標演現視點的一演現視圖向量。例如，可產生一演現視圖向量，該演現視圖向量包含定義觀看者之定向的三個分量/值，諸如縱傾參數、側傾參數、及側滾參數。在許多實施例中，該目標視圖向量可額外或替代地包含定義場景中之三維位置的三個值，例如藉由x、y、z值表示。應理解，在一些實施例中，可藉由少於三個值來表示位置及/或定向。例如，可藉由沿遍及該場景之一預定路線的一距離來指示一位置，且因此可藉由單一值來指示該位置。類似地，可假定縱傾及側傾恆定，並且可僅藉由一側滾值來給定定向。
所產生演現視圖向量被饋送至影像產生器303，該影像產生器經配置以產生用於由演現視圖向量反映的視點之影像。影像之產生取決於舖磚式三維影像表示。
在一些實施例中，然後，所產生影像可被饋送至顯示驅動器驅動程式以驅動合適之顯示器，諸如用於右眼或左眼的虛擬實境頭戴裝置之顯示器。該虛擬實境頭戴裝置可進一步包含提供使用者輸入至使用者介面305的感測器。
因此，該虛擬實境裝置可產生表示在由舖磚式三維影像表示所表示之虛擬場景中來自特定視點之視圖的影像。該視點受控於使用者輸入，一般允許使用者在虛擬場景中移動及環視。
因此，由影像產生器303基於所接收輸入舖磚式三維影像表示來演現影像。然而，影像產生設備101不直接使用該輸入舖磚式三維影像表示，而是在執行影像合成之前修改該輸入舖磚式三維影像表示。因此，基於藉由修改該輸入舖磚式三維影像表示之至少一個深度值所產生的經修改舖磚式三維影像表示來執行演現。
在具體實例中，影像產生器303不直接使用深度圖資訊，而是執行深度圖資訊至網格格式的轉換。儘管從深度圖中產生三維網格（其中後續影像處理/合成係基於該網格）係可選特徵，然而在許多實施例中，可提供有利之操作及/或實作。
實際上，雖然深度圖通常形成自然的三維獲取及壓縮格式，用於例如虛擬實境播放的大多數3D軟體及硬體使用由三維頂點座標及邊緣所組成的以網格為基礎之三維表示。因此，對許多離線及線上（即時）演算法，轉換深度圖成網格係重要操作。
因此，在圖3之實例中，影像產生設備101包含網格產生器307，該網格產生器經配置以基於圖塊之深度圖而產生三維網格。因此，影像產生器303被饋送來自接收器301的圖塊紋理圖及來自網格產生器307的所產生網格。所屬技術領域中具有通常知識者將知道從紋理圖及網格合成影像的許多不同演算法，且應理解，可使用這些演算法中之任何者，而不會減損本發明。
在許多圖形應用中，藉由紋理圖及三維網格的組合來表示場景，且因此常常使用專用硬體以從此類表示產生影像。在許多情景中，一種特別有效的方法係藉由多邊形網格來表示影像物體或實際上整個場景，其中一組多邊形藉由其共同邊緣或隅角（頂點）連接，共同邊緣或隅角（頂點）藉由三維位置給定。組合的三維多邊形網格因此提供三維物體的有效模型，可能包括整個影像的三維描述。多邊形網格經常係由具有在三維空間中給定之共同隅角的三角形所形成之三角形網格。
實作上，因此，深度圖經常轉換成三維網格。三維網格係由大多數硬體驅動程式（例如，基於OpenGL）支援的熟知圖形格式。
作為實例，立體攝影機可自給定視點記錄場景的影像。針對各像素，可執行視差評估，以評估至由像素表示的物體之距離。這可針對各像素執行，藉此提供各像素的x、y、z的三維位置。這些位置可然後用作三角形網格的頂點，其中針對每組的2×2像素形成兩個三角形。由於這可能產生大量的三角形，所以該程序可包括將一些初始三角形組合成較大的三角形（或者在一些情景中，通常組合成較大的多邊形）。這將減少三角形的數量，但也會降低網格的空間解析度。因此，網格的粒度一般取決於深度變化，且較大的多邊形主要出現在較平坦的區域中。
各頂點進一步與紋理圖的光強度值相關聯。紋理圖實質上提供在頂點的像素位置處的物體在場景中的光/色強度。一般而言，光強度影像/紋理圖係與網格一起提供，其中各頂點含有表示頂點的x、y、z位置之資料以及識別紋理圖中的鏈結位置之u、v資料，即，其指出在紋理圖中擷取的x、y、z位置處的光強度。
在這種表示中，多邊形網格用於提供物體的三維幾何的資訊，而紋理一般提供作為分開的資料結構。具體而言，紋理經常提供作為分開的二維圖，其藉由處理演算法可疊加在三維幾何上。
三角形網格的使用特別適合於電腦圖形演算法的處理與操縱，且許多有效率的軟體與硬體解決方案已經開發出來並且在市場上可取得。許多系統中的實質運算效率是藉由演算法共同處理複數個多邊形的個別頂點而非分別地處理各多邊形而實現。例如，針對一般的三角形網格，個別的頂點通常是若干個（通常是3-8）三角形共有的。單一頂點的處理因此可應用於相對高數量的三角形，藉此實質上減少要處理的影像或其他物體中的點的數量。
在圖3之影像產生設備101中，網格產生器307基於所接收圖塊深度圖而產生網格，且因此，該網格產生器執行從以影像為基礎之表示變換成以幾何為基礎之表示（網格可視為幾何三維結構）。
然而，影像產生設備101經配置以處理這些圖塊深度圖且修改深度圖中之一些深度值，而非直接使用所接收圖塊深度圖。
具體地，影像產生設備101包含第一處理器311，該第一處理器耦合至接收器301且經配置以回應於該舖磚式圖案而判定至少一第一圖塊中及一第二圖塊中之相鄰邊界區域，其中該第一圖塊及該第二圖塊係相鄰圖塊。第一處理器311可基於舖磚式圖案識別一個圖塊中之邊界或邊緣區域以及另一圖塊中之對應邊界或邊緣區域，其中該兩個邊界區域相鄰，且具體地，其中該兩個邊界區域碰觸/連接或重疊。具體地，對於第一圖塊之邊緣像素，至少一個鄰接/相鄰像素將在另一圖塊中。因此，邊緣像素及鄰接/相鄰像素屬於兩個不同深度圖/圖塊之邊界區域。當影像產生設備101已知舖磚式圖案（例如，藉由預定或藉由從遠端伺服器103傳送）時，第一處理器311能夠判定哪些圖塊連接/相鄰，且亦能夠判定另一圖塊/深度圖中之哪像素鄰接且相鄰於當前圖塊/深度圖中之給定邊緣像素/深度值。
在許多實施例中，第一處理器311可經配置以依據在第一深度圖/圖塊之邊緣處及最靠近/鄰接像素（在至少一次產生中）係在第二深度圖/圖塊中的所有邊緣像素/深度值來判定第一圖塊之第一邊界區域。在一些實施例中，可依據第二圖塊中的鄰接像素之集合來判定第二邊界區域（即，第二圖塊中之邊界區域）。
第一處理器311耦合至第二處理器309，該第二處理器耦合至接收器301且接收來自該接收器的深度圖。另外，該第二處理器另外耦合至第一處理器311並接收來自該第一處理器的第一邊界區域及第二邊界區域之資訊。
第二處理器309經配置以處理第一邊界區域之至少一些像素，即，該第二處理器經配置以修改第一圖塊中之所識別邊界區域的深度值。修改深度值使得深度值取決於第二邊界區域中之深度值，即，第一圖塊之邊界區域中的經修改深度值取決於第二圖塊之相鄰邊界區域中的深度值。因此，基於第二圖塊之第二邊界區域中之至少第二深度值來修改第一圖塊之第一邊界區域之至少一第一深度值（其中第一邊界區域及第二邊界區域係相鄰邊界區域）。可依據第二深度值來判定經修改第一深度值，即，該經修改第一深度值依據在舖磚式表示的另一圖塊中之至少一個深度值而變化。應理解，對於第一深度值及第二深度值的一些值，該經修改深度值可相同於原始深度值。
在許多實施例中，針對至少一個圖塊之至少所有邊緣像素重複程序。此外，在許多實施例中，該經修改深度值一般可僅取決於相鄰圖塊中之一個深度值（並且可能取決於原始深度值，即，正被修改之像素的輸入值）。具體地，在許多實施例中，可僅依據在另一圖塊中之最靠近深度值且可能依據原始深度值本身來判定給定邊緣像素之深度值。
因此，雖然在許多實施例中，考慮在相鄰（鄰接）圖塊中的複數個深度值（例如，藉由求相鄰圖塊中的數個近距深度值的平均值）的確可行，在許多實施例中，第二處理器309將僅考慮各圖塊中的單一深度值。此外，對於正被修改之大多數深度值，僅考慮一個相鄰圖塊且因此僅考慮來自另一圖塊的一個深度值。然而，對於一些深度值（例如，諸如立方體舖磚式表示的隅角深度值），第二處理器309可考慮相鄰圖塊之各者中的一個深度值。例如，可最小化介於該經修改深度值與該兩個圖塊中之對應隅角深度值之間的平方距離和。舉另一實例，可將所有三個深度值設定為相同值，例如平均深度值。
當僅考慮另一圖塊中的一個深度值時而被視為在該圖塊中的深度值具體地可係最靠近之深度值。因此，選擇最靠近正被修改之深度值的深度值。最靠近之深度值可係深度值之觀看區中之位置之間的場景距離度量最小的深度值。
因此，第二處理器309修改在輸入舖磚式三維影像表示中所接收的一或多個深度圖，從而產生經修改舖磚式三維影像表示。然後，所得深度圖集合被饋送至網格產生器307，該網格產生器繼續進行以基於這些經修改深度圖而產生網格。
在許多實施例中，該方法可提供實質上改善之效能，且在許多情況中，可允許不同圖塊之間的經改善一致性。具體地，在許多實施例中，該方法可提供實質上改善之網格產生，其中具體地，可以實質上減小所產生之深度網格中的風險（例如孔洞）產生更一致的網格。
在下文中，將參照立方體舖磚式表示之具體實例來描述所描述方法的各態樣，但應理解，這僅僅係一個實例。
可藉由考慮圖2之舖磚式立方體表示來繪示發明人之認知。一般而言，立方體表示之各側對應於不同透視投影，且通常與立方體之其他側分開產生。例如，可使用具有90°旋轉偏移的六個深度感測攝影機來產生舖磚式立方體表示。為了在立方體側進行深度表示匹配，最好首先轉換深度表示成距離/範圍表示，使得深度圖按每圖塊來編碼介於立方體中心與物體點(object point)之間的距離。為了限制位元深度，該距離/範圍（以公尺為單位）可編碼為除以距離的常數，此係因為反比關係導致更緊密編碼。在變換及量化步驟之後，可按每圖塊進行深度圖的進一步空間無損壓縮。這一般會導致立方體之不同側之間的深度變化。
作為替代例，不同圖塊可被組合成單一平坦結構（諸如圖2之平坦結構）以用於編碼。影像及視訊壓縮演算法引入量化及編碼錯誤，且已認識到，這會在圖塊表示中引入特定邊緣不一致，其中編碼不使不同圖塊重疊。
這些效應在編碼圖塊之單一平坦圖案的情況中尤其普遍。實際上，在此類情況中，三維至二維轉換導致結構中的間隙及斷裂。例如，對於立方體表示，三維拓撲在立方體之側斷裂，如圖2所示。結果，編碼假影將具有顯著效應，且經常變得可見。具體地，由於在一個立方體側之邊緣上的三維點與在另一立方體側之邊緣上的三維點將不一致（就三維位置而論），所得網格最終亦會不一致且可能具有間隙。
圖4繪示當使用立方體舖磚式格式時可能出現潛在網格錯誤的情況。實例展示編碼為六個分開之圖塊的深度之立方體舖磚式表示。箭頭指示歸因於深度圖的有損編碼，圖塊之邊緣可能會引起網格誤差。
在圖3之影像產生設備101之方法中，可藉由約束在給定圖塊邊界處的深度值使得該等深度值非常相似於或一般相同於在一或多個其他圖塊之邊界處的深度值，來減輕或規避此類效應。這可確保後續建構之網格一致且不經受深度壓縮錯誤。
圖5繪示藉由在所有像素/深度值之間形成三角形而產生之網格的實例。在實例中，藉由圓形指示將成為網格頂點的深度圖像素定位。一般而言，使用像素定位之規則網格（例如，每第二像素或每第四像素）。圖5繪示所有此類像素定位之一子集。在實例中，圖塊D up 具有圖塊邊界A ，及圖塊D front 具有圖塊邊界B ，且各邊界上的像素分別被編索引為DA,i 及DB,j 。在實例中，邊界A 及邊界B 係來自兩個不同圖塊的邊界，且深度圖的有損影像壓縮可能會使這些樣本不一致，即，在不同圖塊中的相應深度值最終會具有不同值，這將導致網格之錯誤，此係因為針對圖塊Dup 所產生之三角形與針對圖塊Dfront 所產生之三角形將不對齊。然而，藉由在產生網格之前將來自對應邊界定位的深度值設定為相同深度值，將產生一致之網格。
應理解，在不同實施例中，可使用不同功能來判定深度值。然而，在許多實施例中，可判定深度值，使得兩個相鄰圖塊中之相鄰邊緣深度值相同或至少使得減小兩個相鄰圖塊中之相鄰邊緣深度值之間的差值。具體地，若第一深度值及第二深度值係邊緣值，則第一深度值及第二深度值將被設定為相同值。在一些實施例中，第一深度值可被設定為第二值的值，但在許多實施例中，依據第一深度值及第二深度值兩者（及可能其他深度值或參數）來判定深度值，且隨後將第一深度值及第二深度值設定為此值，即，第一深度值及第二深度值皆被修改。
在一些實施例中，該兩個深度值可不設定為相同值，而是可例如設定為彼此接近的值，即，減小該兩個深度值之間的差值。例如，可設定第一深度值等於該第一深度值及該第二深度值之平均深度值，但是受制於第一深度值之變化不超過給定量。因此，深度值之變化被限制於最大位準。在一些情況中，這可例如導致經修改深度值仍然在所產生網格中導致間隙，但是可能實質上減小此一間隙。然而，同時確保相對於邊界區域外的第一個圖塊中之深度值，邊界區域中的深度值未被太大幅修改。這可在圖塊內提供更一致的深度圖。應理解，所使用之確切函數可取決於個別實施例的偏好及需求，且具體地可取決於介於圖塊內的深度一致性與圖塊間的深度一致性之間的所欲權衡。
將邊緣像素之深度值設定為相同可在由兩個不同深度圖所產生之網格三角形之間提供高程度的一致性，且因此將提供一致之網格。
在一些實施例中，可依據第一深度值及第二深度值的一平均值來判定應用於該兩個深度值的值。例如，對於圖5之實例，可依據下式來判定圖塊邊界處的深度值：
Figure 02_image001
因此，新深度值設定為平均深度值，對於對應邊界像素定位，該平均深度值相同。當使用像素座標及深度值建構網格時，來自邊界A 及B 的對應邊界像素將最終在相同3D定位處。在實例中，深度約束操作求兩個樣本的平均值，但應理解，可使用更多個樣本。在隅角處，求平均值可一般係求三個深度值的平均值（在立方體圖的情況中）或求四個深度值的平均值（對於其中四個圖塊會合的其他舖磚式格式）。換言之，可藉由求相鄰於當前像素的各圖塊中之最靠近像素的深度值的平均值來判定平均值。
作為替代例，
Figure 02_image003
可被設定為在位置j周圍的數個樣本定位的平均值。再者，可修改距邊界略遠的像素定位。
在實例中，因此，第二處理器309經配置以僅回應於在第一深度值之一位置處相鄰於第一圖塊的各圖塊之一最靠近像素的深度值而判定第一深度值。
在許多實施例中，第二處理器309可進一步經配置以繼修改第一深度值之後應用一空間濾波器至第一圖塊之深度圖。
因此，在第二處理器309已修改給定圖塊之邊界區域中的深度值之後，可繼續進行以應用一空間濾波器至該經修改深度圖。具體地，空間濾波器可應用至包括邊界區域及內部區域兩者的整個深度圖。然而，在其他實施例中，空間濾波器僅可應用至邊界區域及鄰接該等邊界區域的內部區域之部分。
修改邊界區域中的深度值可允許改善圖塊間的一致性。然而，有可能降低深度圖內的內部一致性的風險，且空間低通濾波可用於確保或増加此一一致性。
例如，為了降低修改將新的不一致引入介於邊界像素與圖塊內側（但非在邊界上）之像素之間的風險，會希望空間上濾波（恰好）位於邊界內側之列及行的深度值，使得該等深度值變得與邊界上的新深度值在空間上一致。
在許多實施例中，此類空間濾波可不應用至經修改深度值。例如，可基於其他圖塊中的深度值來修改邊緣像素，且隨後可應用一空間濾波器至靠近邊緣像素的像素（但不包括這些邊緣像素）。因此，邊緣像素將保持其值，但是歸因於靠近邊緣像素的內部深度值的濾波，這些內部深度值將被修改為與該等邊緣像素的新值更一致（此類像素的濾波核心一般會包括邊緣像素）。
在許多實施例中，網格產生器307可經配置以僅使用用於產生網格的一像素子集，即，僅可選擇一像素子集以對應於網格之多邊形（一般係三角形）的頂點。例如，可僅針對深度圖的每隔一個像素或每第四像素來產生頂點。通常可以應用此類方法，以便產生較低複雜度的網格，其提供較低的資料速率及運算資源需求。
在許多此類實施例中，網格產生器307可經配置以向第二處理器309指示僅一深度值子集用於網格產生。作為回應，第二處理器309可繼續進行以僅修改用於後續網格產生的深度圖/邊界區域之深度值。在許多實施例中，這可大量降低第二處理器309的複雜度及運算資源使用率。
此類方法尤其適用於使用不規則網格的情形。具體地，在其中使用規則網格的實施例中，拓撲係固定的且獨立於可產生的動態網格，且具體地，獨立於針對其他圖塊所產生之網格。因此，第二處理器309可具有待修改之深度值的預定資訊。
然而，若使用不規則網格，實際上轉換成網格頂點的深度值子集將變化，且在此情況中，可基於不規則網格的頂點來選擇待修改的深度值子集。
例如，在對深度值進行任何修改之前，網格產生器307可僅基於第一圖塊的深度值來產生第一（內部）不規則網格，即，可產生第一圖塊的第一初始網格。相似地，在任何修改之前，網格產生器307可僅基於第二圖塊的深度值來產生第二（內部）不規則網格，即，可產生第二圖塊的第二初始網格。
為了組合這兩個不規則網格，網格產生器307可識別沿第一圖塊與第二圖塊之間的邊界放置的所有頂點。然後，對應於來自第一不規則網格或第二不規則網格之其中一者之頂點的各深度值可被包括在指示給第二處理器309的子集中。然後，第二處理器309可執行修改/深度約束，且具體地在該兩個圖塊中的深度值可被設定為相同。然後，所得深度值可回饋給網格產生器307，該網格產生器可繼續進行以修改該等網格中之現有頂點的深度值，以及將僅存在於一個網格中之任何頂點（及對應邊緣）新增至另一網格中。因此，該兩個所得不規則網格將沿該兩個圖塊之間的邊界線完全對應，因此可容易地合併成單一網格。
在前述實例中，遠端伺服器103產生且傳輸舖磚式三維影像表示為單一組合結構。然而，在許多實施例中，遠端伺服器103可經配置以僅傳輸一圖塊子集，且具體地，一次傳輸僅一個圖塊。在此類實施例中，影像產生設備101可經配置以接收一個圖塊或一圖塊子集，且組合這些圖塊與來自其他來源的圖塊，諸如具體地組合這些圖塊與本端儲存之其他圖塊。這些本端儲存之圖塊可係先前已從遠端伺服器103接收到之圖塊，或可能例如係表示預定標稱場景之預定標稱圖塊，然後，藉由從遠端伺服器103所接收之替換圖塊來動態更新及調適該預定標稱場景。
在此類實施例中，影像產生設備101可經配置以使用對應方法來約束新接收之圖塊的深度值。
作為具體實例，如圖6所繪示，影像產生設備101可包含耦合至接收器301的遠端源通訊器601及本端儲存器603。在實例中，因此，接收器301可從本端儲存器603或從遠端源通訊器601的其中一者擷取舖磚式三維影像表示的圖塊。
在實例中，本端儲存器603包含對應於舖磚式三維影像表示的完整圖塊集合，且接收器301可經配置以在需要時擷取適當的圖塊。具體地，所儲存圖塊集合可係先前已從遠端伺服器103所接收之圖塊。
遠端源通訊器601可經配置以從遠端伺服器103接收單一圖塊（或可能接收一圖塊子集）。新圖塊可替換當前儲存在本端儲存器603中的現有圖塊。
例如，可回應於從影像產生設備101傳輸至遠端伺服器103的訊息來接收新圖塊。實際上，在具體實例中，使用者介面305耦合至遠端源通訊器601，且該使用者介面提供當前判定之視點（觀看方向及/或位置）至遠端源通訊器601。作為回應，遠端源通訊器601傳輸視點之指示至遠端伺服器103，該遠端伺服器判定是否需要合適地更新任何所儲存圖塊。例如，若當前視點對應於尚未更新達一段大量時間的方向，則遠端伺服器103可決定傳輸新替換圖塊。在其他實施例中，遠端伺服器103自身可例如回應於偵測到場景中已發生實質動態變化而判定應傳輸替換圖塊。
在實例中，當遠端源通訊器601接收新圖塊（通常為替換圖塊）時，該遠端源通訊器可繼續進行以提取所儲存之相鄰圖塊，然後，繼續進行以執行前文所述之針對所接收圖塊的操作，例如對於所接收圖塊之一或多個邊界像素/深度值，可修改深度值，使得深度值於新圖塊與所儲存相鄰圖塊之間對應。
然而，在許多實施例中，僅修改新圖塊的深度值。因此，第二處理器309可將新深度圖的深度值設定為與所儲存深度圖的相鄰深度值相同，而非例如判定平均深度值且指派該平均深度值給新接收之圖及所儲存相鄰深度圖中兩者的像素。依此方式，新圖塊之深度圖被修改成與本端儲存之深度圖一致，但是無需修改本端儲存之深度圖。因此，不需要重新完成已對所儲存深度圖執行的任何處理，例如無需再次濾波這些深度圖。而是，新圖塊之深度圖被修改且之後可搭配現有深度圖使用。
在此修改之後，所接收之新深度圖可儲存在本端儲存器中，從而更新本端儲存之三維影像表示。
該方法可允許非常有效率系統，且具體地可減少通訊頻寬，此係因為僅在適當時可傳輸個別圖塊。此外，可降低此類新圖塊導致影像品質降級及錯誤或假影的風險。此外，運算資源可保持低，此係因為不需要處理或修改所儲存之相鄰深度圖。
實際上，在一些實施例中，可產生場景的網格，且其他圖塊的深度值可不作為顯式深度圖而是作為網格來儲存。在此類情況中，一般將給定圖塊的網格產生為具有沿圖塊之邊緣或邊界上的數個頂點。這些頂點之深度現在可被用作相鄰圖塊之邊界區域的深度值，且因此新接收之圖塊的深度值可被修改成與對應相鄰圖塊之現有網格的邊界深度值一致。
可回應於網格而進一步選擇在新深度圖中之被修改的深度值集合，且具體地，針對接壤新圖塊的網格之各頂點/深度值，新深度圖中的對應（最靠近）深度值可選擇且設定為與頂點深度值相同的值。然後，這些像素/深度值可用作網格多邊形（一般係三角形）的頂點，該等網格多邊形具有根據合適之選擇標準而在新圖塊內選擇的其他頂點。
依此方式，針對新圖塊所產生的網格與所儲存圖塊的已產生之網格一致。因此，這些相鄰網格無需被修改且可被直接使用，從而實質上降低處理負擔。
然而，在許多實施例中，雖然此類方法可提供非常高效能，但是在一些情況中，會導致深度偏差。具體地，在許多實施例中，例如歸因於由於域中的深度變化小而使數個較小網格三角形組合成較大網格，相鄰圖塊之邊界頂點可彼此相距離一些距離。然而，若現在接收沿此線具有相當大深度變化的一個新圖塊，則單一網格三角形的筆直線不能反映此深度變化。在一些實施例中，第二處理器309可經配置以偵測介於新圖塊之邊界深度值與所儲存相鄰圖塊之現有網格多邊形之對應深度值之間的深度差值超過臨限值，且回應於該偵測，可新增新邊界頂點。然後，此新邊界頂點將形成為針對新圖塊所產生之網格中之多邊形的基礎，但是亦將係相鄰圖塊之頂點。因此，將新頂點新增至先前產生之網格中，且將現有網格之對應多邊形分成兩個多邊形。因此，將一或多個邊緣新增至介於相鄰圖塊之現有網格內的新頂點與一或多個現有頂點之間的現有網格中（基於新頂點將先前現有之多邊形劃分為較小多邊形所需的邊緣數目將取決於具體拓撲）。
作為具體實例，當接收新深度圖塊時，在許多實施例中，希望組合新深度圖塊與現有網格。圖7中繪示此情形。在實例中，相鄰圖塊之深度圖已被轉換成網格，且現在希望產生新到達之圖塊的網格。這可藉由分析圖塊邊緣處的深度值來完成。若新深度圖具有邊緣深度值（例如，歸因於新圖塊中的內部深度變化而被判定為頂點之候選者），其中該邊緣深度值與在該位置處已存在之三角形邊緣具有大差值，則建立新頂點，且在相鄰圖塊中分割一或多個三角形，從而在該域中產生更詳細網格。
然而，若不是此情況，則可直接使用相鄰圖塊之網格拓撲，且將網格形成在新圖塊之內部並且使用相鄰網格之現有邊緣頂點。
更複雜之方法尤其適合使用不規則網格的實例。在圖7之實例中，深度圖至所儲存圖塊之網格的轉換已基於對深度圖之變化的分析，且已導致不規則網格。當建立新圖塊的網格時，一些頂點未被修改（封閉圓）。然而，當新深度圖指示必須修改網格模型時，則置放一個新頂點。此決策可基於比較從在邊界處之新深度圖產生的候選頂點之位置與現有網格的相鄰圖塊。若深度或位置差值太大（指示介於新深度圖與現有網格之間的深度差值太大），則引入新頂點，且更新相鄰圖塊之三角形。
應理解，儘管上文描述已聚焦於基於舖磚式三維影像表示來產生影像，且具體地，藉由從深度圖產生網格，然而這些皆不是必要特徵。實際上，產生經改善之舖磚式三維影像表示在許多不同應用中可係有利的，且不限於如本文描述的此類經改善之舖磚式三維影像表示的具體後續用法。
上述實例已聚焦於其中基於第二圖塊之第二深度圖中的最靠近邊緣深度值來修改第一圖塊之第一深度圖的第一邊緣深度值的實施例。然而，應理解，在許多實施例中，可額外或替代地基於第二深度圖中之不是最靠近第一邊緣深度值的深度值來修改第一邊緣深度值。在一些實施例中，可基於第二深度圖之邊框區域中的複數個深度值（包括非必然係邊緣深度值的深度值，且可能甚至不包括最靠近邊緣深度值）來修改第一邊緣深度值。例如，可以基於第二圖中的複數個深度值來修改第一邊緣深度值，該複數個深度值由具有低於給定臨限值之至第一邊緣深度值的距離的所有深度值所組成。
類似地，應理解，第一深度值（即，被修改之深度值）不需要係邊緣深度值。
應理解，為了清楚起見，上文描述已參考不同功能電路、單元、及處理器描述本發明之實施例。然而，將明白，可在不同功能電路、單元、或處理器之間使用任何合適的功能分布，而不減損本發明。例如，繪示為由分開的處理器或控制器執行之功能可由相同處理器或控制器實施例。因此，參考特定功能單元或電路僅被視為參考用於提供所描述之功能的合適手段，而非指示嚴格的邏輯或實體結構或組織。
本發明能以包括硬體、軟體、韌體、或彼等之任何組合的任何合適形式實作。本發明可任選地至少部分地實作為在一或多個資料處理及/或數位信號處理器上運行的電腦軟體。本發明之實施例的元件及組件可以任何合適方式實體地、功能地、及邏輯地實作。實際上，功能可以單一單元實作、以複數個單元實作、或實作為其他功能單元的一部分。因此，本發明可以單一單元實作，或可實體地及功能地分布在不同單元、電路、及處理器之間。
雖然本發明已相關於一些實施例描述，未意圖受限於本文陳述的具體形式。更確切地說，本發明的範圍僅由隨附的申請專利範圍限制。額外地，雖然特徵可顯現為結合特定實施例描述，所屬技術領域中具有通常知識者會認知所描述之實施例的各種特徵可根據本發明組合。在申請專利範圍中，用語包含不排除其他元件或步驟的存在。
另外，雖然個別地列舉，複數個構件、元件、電路、或方法步驟可藉由，例如，單一電路、單元、或處理器實作。額外地，雖然個別特徵可包括在不同的申請專利範圍中，可能有有利的組合，且包括在不同申請專利範圍中不暗示特徵的組合係可行及/或有利的。特徵包括在一類別之請求項中並未暗示對此類別的限制，反而指示該特徵可視需要同等地適用於其他請求項。另外，在申請專利範中的特徵次序並未暗示特徵必須以該次序作用的任何具體次序，且方法項中之個別步驟的次序未特別暗示步驟必須以此次序執行。更確切地說，步驟可以任何合適次序執行。此外，單數型參照未排除複數型。因此，對「一(a)」、「一(an)」、「第一」、「第二」等的參照不排除複數。申請專利範圍中的參考標誌僅提供為闡明實例，不應以任何方式解釋為限制申請專利範圍的範圍。
101‧‧‧影像產生設備103‧‧‧遠端伺服器105‧‧‧網路301‧‧‧接收器303‧‧‧影像產生器305‧‧‧使用者輸入307‧‧‧網格產生器309‧‧‧第二處理器311‧‧‧第一處理器601‧‧‧遠端源通訊器603‧‧‧本端儲存器A‧‧‧邊界B‧‧‧邊界Dfront‧‧‧ 圖塊Dup‧‧‧圖塊DA,i‧‧‧像素DB,j‧‧‧像素
將僅以舉例之方式參考圖式描述本發明的實施例，其中 ［圖1］繪示包含本發明一些實施例之用戶端伺服器虛擬實境系統的實例； ［圖2］繪示場景之立方體舖磚式表示之元素的實例； ［圖3］繪示根據本發明一些實施例之影像產生設備的實例； ［圖4］繪示場景之立方體舖磚式表示之元素的實例； ［圖5］繪示場景之立方體舖磚式表示之元素的實例； ［圖6］繪示根據本發明一些實施例之影像產生設備的實例；及 ［圖7］繪示場景之立方體舖磚式表示之元素的實例。
101‧‧‧影像產生設備
103‧‧‧遠端伺服器
105‧‧‧網路

Claims (15)

  1. 一種用於產生一場景之一舖磚式三維影像表示之設備，該設備包含：一接收器(301)，其用於接收一場景的來自一第一視點之一舖磚式三維影像表示，該舖磚式三維影像表示包含複數個互連圖塊，各圖塊包含一深度圖及一紋理圖，該紋理圖表示該場景的來自該第一視點之一觀看區，且該等圖塊形成一舖磚式圖案；一第一處理器(311)，其用於回應於該舖磚式圖案而判定至少一第一圖塊中及一第二圖塊中之相鄰邊界區域，該第一圖塊及該第二圖塊係相鄰圖塊；一第二處理器(309)，其用於回應於該第二圖塊之一第二邊界區域中之至少一第二深度值，而修改該第一圖塊之一第一邊界區域之至少一第一深度值，使得對於該第一深度值及該第二深度值之至少一些值，介於該第一深度值與該第二深度值之間的一差值被減小，該第一邊界區域及該第二邊界區域係相鄰邊界區域。
  2. 如請求項1之設備，其中該第二處理器(309)經配置以將該第一深度值及該第二深度值設定為一相同值。
  3. 如請求項2之設備，其中相同值係該第一深度值及該第二深度值的一平均值。
  4. 如請求項1或2之設備，其中該第二處理器(309)經配置以將該第一深度值設定為該第二深度值。
  5. 如請求項1至3中任一項之設備，其進一步包含用於從該等圖塊之深度圖產生一三維網格的一網格產生器(307)。
  6. 如請求項5之設備，其中該網格產生器(307)經配置以選擇用於產生該三維網格的該第一邊界區域之一深度值子集；且該第二處理器經配置以僅若該第一邊界區域之深度值屬於該深度值子集時修改該第一邊界區域之該等深度值。
  7. 如請求項1至3中任一項之設備，該第二處理器(309)經配置以繼該修改該第一深度值之後應用一空間濾波器至該第一圖塊之一深度圖。
  8. 如請求項1至3中任一項之設備，其進一步包含：一遠端源通訊器(601)，該遠端源通訊器經配置以接收來自一遠端源(103)之用於該舖磚式三維影像表示的該複數個互連圖塊之一或多者；及一本端儲存器(603)，該本端儲存器用於儲存該舖磚式三維影像表示的該複數個互連圖塊之一或多者，其中該接收器(301)經配置以回應於從該遠端源接收器(103)接收該第一圖塊而從該本端儲存器擷取至少該第二深度值。
  9. 如請求項8之設備，其中該本端儲存器(603)經配置以繼該修改該第一深度值之後儲存用於該第一圖塊之一深度圖或一網格。
  10. 如請求項8之設備，其進一步包含用於判定一當前觀看方向的一使用者輸入(305)；且其中該遠端源通訊器(601)經配置以傳輸該當前觀看方向之一指示至該遠端源；且其中回應於該指示而接收該第一圖塊。
  11. 如請求項1之設備，其進一步包括： 一網格產生器(307)，其用於從該等圖塊之深度圖產生一三維網格；一遠端源通訊器(601)，該遠端源通訊器經配置以接收來自一遠端源(103)之用於該舖磚式三維影像表示的該複數個互連圖塊之一或多者；及一本端儲存器(603)，該本端儲存器用於儲存該舖磚式三維影像表示的該複數個互連圖塊之一或多者，其中該接收器(301)經配置以回應於從該遠端源接收器(103)接收該第一圖塊而從該本端儲存器擷取至少該第二深度值，其中該本端儲存器(603)經配置以儲存用於所儲存之該等圖塊的一網格，且該網格產生器(307)經配置以回應於偵測到一差值衡量超過一臨限值，而新增一頂點及至少一邊緣至用於該第二圖塊的一所儲存網格中，該差值衡量指示介於該第一圖塊之一邊界深度值與用於該第二圖塊之該所儲存網格之一對應邊界深度值之間的一深度差值。
  12. 如請求項1至3中任一項之設備，其中該第二處理器(309)經配置以僅回應於在該第一深度值之一位置處之相鄰於該第一圖塊的各圖塊之一最靠近深度值而判定該第一深度值。
  13. 如請求項1至3中任一項之設備，其中各圖塊係一平坦多邊形，且該複數個互連圖塊形成一三維結構。
  14. 一種產生一場景之一三維影像表示之方法，該方法包含：接收一場景的來自一第一視點之一舖磚式三維影像表示，該舖磚式三維影像表示包含複數個互連圖塊，各圖塊包含一深度圖及一紋理圖，該紋理圖表示該場景的來自該第一視點之一觀看區，且該等圖塊形成一舖磚式圖案； 回應於該舖磚式圖案而判定至少一第一圖塊中及一第二圖塊中之相鄰邊界區域，該第一圖塊及該第二圖塊係相鄰圖塊；回應於該第二圖塊之一第二邊界區域中之至少一第二深度值，而修改該第一圖塊之一第一邊界區域之至少一第一深度值，使得對於該第一深度值及該第二深度值之至少一些值，介於該第一深度值與該第二深度值之間的一差值被減小，該第一邊界區域及該第二邊界區域係相鄰邊界區域。
  15. 一種電腦程式產品，其包含經調適以當該程式在一電腦上運行時執行請求項14之所有步驟的電腦程式碼構件。
TW107125694A 2017-07-25 2018-07-25 用於產生場景之舖磚式三維影像表示之設備及方法 TWI786157B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17182985.6A EP3435670A1 (en) 2017-07-25 2017-07-25 Apparatus and method for generating a tiled three-dimensional image representation of a scene
EP17182985.6 2017-07-25
??17182985.6 2017-07-25

Publications (2)

Publication Number Publication Date
TW201921318A TW201921318A (zh) 2019-06-01
TWI786157B true TWI786157B (zh) 2022-12-11

Family

ID=59399320

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107125694A TWI786157B (zh) 2017-07-25 2018-07-25 用於產生場景之舖磚式三維影像表示之設備及方法

Country Status (8)

Country Link
US (1) US10893259B2 (zh)
EP (2) EP3435670A1 (zh)
JP (1) JP7191079B2 (zh)
KR (1) KR102546358B1 (zh)
CN (1) CN110945868B (zh)
BR (1) BR112020001453A2 (zh)
TW (1) TWI786157B (zh)
WO (1) WO2019020433A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111669567B (zh) * 2019-03-07 2024-03-29 阿里巴巴集团控股有限公司 多角度自由视角视频数据生成方法及装置、介质、服务器
EP3712843A1 (en) 2019-03-19 2020-09-23 Koninklijke Philips N.V. Image signal representing a scene
EP3792877A1 (en) * 2019-09-12 2021-03-17 Koninklijke Philips N.V. Apparatus and method for evaluating a quality of image capture of a scene
TWI767265B (zh) * 2020-06-24 2022-06-11 直得科技股份有限公司 在二維顯示介面中控制多軸物件工作端點之方法
CN114359456B (zh) * 2021-12-27 2023-03-24 北京城市网邻信息技术有限公司 贴图方法、装置、电子设备及可读存储介质
WO2023224627A1 (en) * 2022-05-19 2023-11-23 Google Llc Face-oriented geometry streaming
JP2024097254A (ja) * 2023-01-05 2024-07-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020061131A1 (en) * 2000-10-18 2002-05-23 Sawhney Harpreet Singh Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US20030112237A1 (en) * 2001-12-13 2003-06-19 Marco Corbetta Method, computer program product and system for rendering soft shadows in a frame representing a 3D-scene
TW201243770A (en) * 2011-04-29 2012-11-01 Himax Media Solutions Inc Depth map generating device and stereoscopic image generating method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11195132A (ja) * 1997-10-31 1999-07-21 Hewlett Packard Co <Hp> テクスチャマッピング用バッファ、３次元グラフィクス処理装置、３次元グラフィクス処理システム、３次元グラフィクス処理方法および処理プログラムが記憶された記憶媒体
US6975319B1 (en) 2000-03-24 2005-12-13 Nvidia Corporation System, method and article of manufacture for calculating a level of detail (LOD) during computer graphics processing
CN102595151A (zh) * 2011-01-11 2012-07-18 倚强科技股份有限公司 影像深度计算方法
JP5891426B2 (ja) * 2011-03-31 2016-03-23 パナソニックＩｐマネジメント株式会社 全周囲立体画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
WO2012147740A1 (ja) * 2011-04-25 2012-11-01 シャープ株式会社 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
US9485487B2 (en) * 2011-06-22 2016-11-01 Koninklijke Philips N.V. Method and apparatus for generating a signal for a display
TWI594616B (zh) * 2012-06-14 2017-08-01 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
EP3699736B1 (en) * 2014-06-14 2023-03-29 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020061131A1 (en) * 2000-10-18 2002-05-23 Sawhney Harpreet Singh Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US20030112237A1 (en) * 2001-12-13 2003-06-19 Marco Corbetta Method, computer program product and system for rendering soft shadows in a frame representing a 3D-scene
TW201243770A (en) * 2011-04-29 2012-11-01 Himax Media Solutions Inc Depth map generating device and stereoscopic image generating method

Also Published As

Publication number Publication date
BR112020001453A2 (pt) 2020-07-28
EP3659337A1 (en) 2020-06-03
RU2020107834A (ru) 2021-08-25
WO2019020433A1 (en) 2019-01-31
EP3659337B1 (en) 2022-05-11
US10893259B2 (en) 2021-01-12
KR20200031678A (ko) 2020-03-24
CN110945868A (zh) 2020-03-31
JP7191079B2 (ja) 2022-12-16
US20200177868A1 (en) 2020-06-04
RU2020107834A3 (zh) 2021-11-03
EP3435670A1 (en) 2019-01-30
JP2020528619A (ja) 2020-09-24
KR102546358B1 (ko) 2023-06-22
TW201921318A (zh) 2019-06-01
CN110945868B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
TWI786157B (zh) 用於產生場景之舖磚式三維影像表示之設備及方法
US20200296348A1 (en) Virtual Reality Parallax Correction
US11501118B2 (en) Digital model repair system and method
EP3935602B1 (en) Processing of depth maps for images
US20220165015A1 (en) Image signal representing a scene
KR101559739B1 (ko) 가상 모델과 카메라 영상의 융합시스템
RU2771957C2 (ru) Устройство и способ для генерации мозаичного представления трехмерного изображения сцены
EP3564905A1 (en) Conversion of a volumetric object in a 3d scene into a simpler representation model
US20220174259A1 (en) Image signal representing a scene
TWI846808B (zh) 表示場景之影像信號
JP7556352B2 (ja) 画像特性画素構造の生成および処理
RU2817803C2 (ru) Сигнал изображения, представляющий сцену
EP3686833A1 (en) Generating and processing an image property pixel structure
JP6025519B2 (ja) 画像処理装置および画像処理方法