TW202238523A - 多視圖圖框儲存及演現之深度順序 - Google Patents

多視圖圖框儲存及演現之深度順序 Download PDF

Info

Publication number
TW202238523A
TW202238523A TW111104877A TW111104877A TW202238523A TW 202238523 A TW202238523 A TW 202238523A TW 111104877 A TW111104877 A TW 111104877A TW 111104877 A TW111104877 A TW 111104877A TW 202238523 A TW202238523 A TW 202238523A
Authority
TW
Taiwan
Prior art keywords
depth
objects
scene
order
image frames
Prior art date
Application number
TW111104877A
Other languages
English (en)
Inventor
克莉斯汀 維爾甘
Original Assignee
荷蘭商皇家飛利浦有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷蘭商皇家飛利浦有限公司 filed Critical 荷蘭商皇家飛利浦有限公司
Publication of TW202238523A publication Critical patent/TW202238523A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一種用於儲存含深度順序資料之多視圖資料之方法。該方法包含：從含複數個攝影機之一成像系統獲得一場景的影像圖框；從該成像系統及/或該等影像圖框獲得深度圖；及獲得與該場景中存在之至少一個物體相對於在該場景中之其他物體的深度相關的定性深度資訊，該定性深度資訊附加至該深度圖所傳達之資訊。基於該定性深度資訊判定該場景中存在之一組至少兩個物體的一深度順序，其中該深度順序判定一物體相對於具有不同深度順序之其他物體的深度。然後，將該場景之該等影像圖框、該等對應深度圖、及該場景中的該等物體之該深度順序儲存為該多視圖資料。

Description

多視圖圖框儲存及演現之深度順序
本發明係關於儲存及演現多視圖圖框。具體而言，本發明係關於儲存於多視圖圖框之深度資訊。
一般而言，從多視圖影像格式演現的方法使用給定的融合作業而組合來自多個參考攝影機的經形變紋理。來源資料通常由具有相關聯之透明度(α)及深度/像差資訊之紋理組成。
融合作業本身可取決於諸如參考及目標攝影機位置/定向（例如，射線角度差異）、深度變化、解除遮擋、透明度及顏色差異。更先進技術可使用經訓練廻旋神經網路以執行融合。
一般而言，從分層式表示（分層式深度影像、LDI、多平面影像MPI、多球體影像、MSI）演現的方法具有最佳用於分層式格式的演現方法。例如，MPI演現使用採用over運算及一預乘α的從後至前演現。
多視圖3D格式具有不需要轉換成單層表示的優點。然而，正確深度順序處置需要取決於由於估計誤差或編碼雜訊而不確定的深度圖。此會導致演現誤差，例如，在接近地面表面處的運動員之腳部附近。腳部之深度接近地面表面之深度，且因此在合成視圖中，地面表面會錯誤地覆蓋腳部。
Lars Schnyder等人「2D to 3D conversion of sports content using panoramas」(18th IEEE International Conference on Image Processing (ICIP), 11 September 2011, pp. 1961-1946 (XP032080009))揭示從單一攝影機之視訊至雙視圖立體3D之轉換方法。預拍攝全景圖經建構以確保視訊重新建構中的時間一致之立體深度。
EP 3 396 949揭示一種用於處理深度圖的設備。藉由一第一經處理深度圖之一第一像素的一深度值判定為下列各者的最遠向後深度值來處理像素：該輸入深度圖中之該第一像素的一深度值；及回應於在該第一像素下方之一第一組像素在該第一經處理深度圖中的深度值而判定的一深度值。
Guillem Palou等人「Monocular depth ordering using T-junctions convexity occlusion clues」(IEEE Transactions on Image Processing, vol. 22, no. 5, 1 May 2013, pp. 1926-1939 (XP011497306))揭示一種藉由使用T交界及凸度遮擋線索來從單眼視圖獲得深度排序之方法。
需要防止深度演現誤差，但以不需要實質的額外資料傳輸或處理的方式。
本發明由申請專利範圍定義。
根據本發明之一態樣的實例，提供一種儲存含深度順序資料之多視圖資料之方法，該方法包含： 從包含成像一場景的複數個攝影機之一成像系統獲得影像圖框； 從該成像系統及/或該等影像圖框獲得深度圖，其中一深度圖對應於一影像圖框； 獲得與該場景中存在之至少一個物體相對於在該場景中之其他物體的深度相關的定性深度資訊，該定性深度資訊附加至該深度圖所傳達之資訊； 基於該定性深度資訊判定該場景中存在之一組至少兩個物體的一深度順序，其中該深度順序判定一物體相對於具有不同深度順序之其他物體的深度；及 儲存該場景之該等影像圖框、該等對應深度圖、及該場景中的該等物體之該深度順序。
具有一個深度順序（例如，1）之物體已知在具有不同深度順序（例如，0）之物體前方及在另一深度順序（例如，2）之物體後方。因此，深度順序提供不同物體之深度的一分類。
一般而言，多視圖資料格式依賴於相同場景之各種影像圖框，以建立用於影像圖框之紋理資料及深度圖，以給定各像素的一深度值。然而，該等深度圖引入深度不確定性，其會導致相似深度之物體彼此錯誤地重疊。
例如，足球員之腳部通常在與該足球員所站之球場類似的深度。如果來自深度圖的深度不確定性導致該腳部具有低於其所站地面的一深度值，則地面被演現成高於該腳部。
因此，提議包括額外定性深度資訊，在寫入多視圖資料格式時，該額外定性深度資訊可視為場景之物體之深度，以給定此類物體之深度順序。在足球員之先前實例中，已知球場總是在所有足球員後方。因此，足球場被給定0之深度順序，其對應於最遠深度。此深度順序被提供為深度圖中之資訊額外的分開之定性深度順序資料。其可係經提供作為校準之部分的資訊，及/或其可從影像之分析中提取，但與深度圖之產生分開。該足球員被給定1之深度順序，因此定義該足球員始終在足球場前面，而無論深度圖值為何。因此，可容許深度圖中的不準確性。
定性深度資訊係基於相同場景中的物體之深度之間的比較。例如，該場景之視覺檢查可提供定性深度資訊（例如，足球員始終高於足球場）。物體之實際深度值非必要，但可藉由比較實際值來判定該定性深度資訊。
使用對應於一整個物體的一深度順序值（即，整個背景之一個值）亦大幅減少提供準確深度資訊所需之資料。例如，對於兩個深度順序（例如，背景及非背景物體），僅需要1個位元的額外後設資料。
取決於方法之實施方案，可能需要其他後設資料以定義各物體之大小及位置。然而，與改進產生之方法以考量此類定性深度資訊相比，定義物體之大小及位置需要顯著較少的額外資料及處理。
儲存該等影像圖框可包含建立用於各深度順序的一經封裝圖框及儲存該等經封裝圖框，其中一經封裝圖框包含在各影像圖框中之一或多個物體的一圖及在該圖內的該等物體之位置。
一般而言，封裝圖框係包含來自多個攝影機之影像的一拼貼。該等封裝圖框亦含有含有關如何從該經封裝圖框復原各影像之指令的後設資料。例如，各影像可包含在該經封裝圖框內的一矩形區，且該後設資料可指定各影像圖框之矩形之大小及矩形之原點。
因此，所有具有相同深度順序之物體可被儲存於相同的經封裝圖框中，因此具有用於各深度順序之一經封裝圖框。
該方法可進一步包含判定該等影像圖框中之該等物體之各至少一者的一物體區域，其中針對各物體區域判定一深度順序。
例如，一物體偵測演算法可應用至該等影像圖框，以輸出對應於該場景中之各物體的一區域。
該等物體區域可指對應於一物體之區或補片。當使用一分割演算法時，此可減少尋找該等影像圖框中之物體的需求。例如，一演算法可基於物體成員資格來約略叢集補片，且基於物體成員資格來按補片指派一深度順序。
判定一物體區域可基於應用一分割演算法至該等影像圖框。
分割演算法可經組態以將在該等影像圖框之各者中來自一場景的一特定物體（例如，一足球員）分割，因此基於由該分割演算法輸出之輪廓來定義一物體。
亦可使用所謂的過度分割(over segmentation)成超像素。分割出物體（例如，足球員）有時有難度。通常，更容易找到超像素（例如，小的4連接像素區域），且判定該等區域之物體類別。
可針對各物體區域基於該物體區域之大小來判定深度順序。
一物體區域之大小可指示與例如先前影像圖框中之物體大小相比較的該物體之相對深度及/或預期大小及預定深度。
該方法可進一步包含藉由識別在該等影像圖框中之至少一者中的一或多個物體來校準該成像系統，其中獲得至少一個物體之定性深度資訊係基於該校準。
例如，可在一足球場中存在任何足球員之前，在該等影像圖框中校準用於該足球場的一成像系統。因此，在該足球場中存在任何足球員之前，該足球場之該深度順序可設定為0。在校準之後，在該足球場上的任何足球員之該深度順序可設定為1。
本發明亦提供一種用於從具有深度順序資料之多視圖影像圖框演現一新視圖之方法，該方法包含： 接收該場景之至少兩個影像圖框及該場景中存在之一組至少兩個物體的深度順序； 基於分別處理對應於所有所接收影像圖框中之各深度順序的該等物體來針對各深度順序建立一紋理層；及 基於該等紋理層之對應深度順序來組合該等紋理層。
針對各深度順序（即，各深度位準）建立一紋理層以確保（在深度圖中）具有低於例如背景的一深度值（例如，由於深度圖不確定性）但具有高於背景之一深度順序的物體被演現高於背景（或在該物體後的任何其他物體）。然後，該等紋理層可經從後到前地（即，先從背景）組合以建立該多視圖影像圖框。
該等紋理層可包含用於具有各別深度順序之該等物體的透明像素及非透明像素。
對應於深度順序=1之紋理層（即，非背景層）可具有圍繞所有具有深度順序=1之物體的透明像素。例如，一足球場上的所有足球員可具有深度順序=1，而該足球場具有深度順序=0。在此情況中，深度順序=1之紋理層僅具有該等足球員之紋理資料，而層之其餘部分將係透明的。
可藉由將所有像素值設定為透明且進一步將對應於該物體的像素設定為非透明值來建立一紋理層。
組合紋理層可基於α複合(alpha compositing)。亦可使用α複合之變化。在來自該等影像圖框之物體/補片已經融合成每深度順序之輸出像素之後，亦可使用其他已知的複合技術。
各紋理層的各像素或成組像素可包含一透明度值。該透明度值可進一步係關於該等像素或成組像素之透明度及融合權重。
在該紋理層之範圍[0,1]中的輸出透明度值可用以編碼透明度（即，實α值）及融合權重兩者。例如，為了在層之間複合的目的，當該透明度值低於一臨限t ∈ [0,1]時，該透明度值可解譯為真α值。然而，當該透明度值高於該臨限時，則可解譯為在視圖之間的相對融合權重。該融合權重可例如取決於射線角度差異、空間接近性及/或深度圖梯度。t=0.5之透明度值將對α複合及視圖融合兩者給定相等的重要性（即，位元深度）。
在已組合該等紋理層之後亦可將假影或外部擷取之圖形物體加至該場景。
處理一特定深度順序的物體以建立一紋理層可包括組合來自所有所接收影像圖框的各物體之影像。
多視圖融合係基於從多個影像圖框及獲得該等影像圖框的攝影機之間的已知距離來建立一複合物體。因此，可從不同的視點（即，從不同的角度）觀看一多視圖影像圖框。
術語「組合(combining)」可指融合物體。在一給定深度順序內，可使用空間上變化的非恆定權重「融合」多個視圖。這會是例如在一給定深度順序內，必須考慮在該等視圖之一者中的空洞(disocclusion)的情況。在此情況中，（多個）其他視圖可幾乎完全貢獻。
融合可空間上變化，以便最佳地處理遮擋及照明變化。應注意，該空間上變化權重通常導出自含形變後的相關聯深度圖之一視圖與目標視點的一比較。此外，視圖相關聯的α資訊可被加至融合邏輯。一般而言，此通常相關前景周圍邊緣以達成真實的新物體邊界。
建立該等紋理層可進一步基於該等深度圖。
該深度順序定義物體相對於具有不同物體順序之其他物體的深度。然而，對於具有相同物體順序之物體，該深度圖仍用以判定相對於具有相同物體順序之物體的物體深度。例如，一足球場中之所有足球員可具有物體順序=1。然而，各足球員亦可具有相對於其他足球員的深度（即，一個足球員在來自某些角度之其他者的前方）。
本發明亦提供一種包含電腦程式碼構件之電腦程式產品，當該等電腦程式碼構件在具有一處理系統的一運算裝置上執行時，導致該處理系統執行上文論述之所有該等步驟。
本發明亦提供一種經組態以執行先前討論的所有步驟之處理器。
本發明亦提供一種用於儲存多視圖資料之系統，該系統包含： 一成像系統，其包含一組至少兩個攝影機，以獲得來自不同位置的複數個影像圖框；及 該處理器，其經組態以將影像圖框、深度圖及深度順序資料儲存在一記憶體中。
本發明的此等及其他態樣將參考下文描述的（多個）實施例闡明且將係顯而易見的。
將參考圖式描述本發明。
應該理解到，詳細說明與特定實例雖然指示了設備、系統、與方法的例示性實施例，但僅意圖用於說明的目的，而不意圖限制本發明的範圍。從以下描述、所附申請專利範圍、與附圖，將更佳地理解本發明的設備、系統、與方法的這些與其他特徵、態樣、與優點。應該理解到，圖式僅是示意性的，且未按比例繪製。也應該理解到，整個圖式使用相同的元件符號來表示相同或相似的部分。
本發明提供一種用於儲存含深度順序資料之多視圖資料之方法。該方法包含：從含複數個攝影機之一成像系統獲得一場景的影像圖框；從該成像系統及/或該等影像圖框獲得深度圖；及獲得與該場景中存在之至少一個物體相對於在該場景中之其他物體的深度相關的定性深度資訊，該定性深度資訊附加至該深度圖所傳達之資訊。基於該定性深度資訊判定該場景中存在之一組至少兩個物體的一深度順序，其中該深度順序判定一物體相對於具有不同深度順序之其他物體的深度。然後，將該場景之該等影像圖框、該等對應深度圖、及該場景中的該等物體之該深度順序儲存為該多視圖資料。
圖1展示用於判定物體104之深度順序108的方法。影像圖框102係獲自成像一場景的複數個攝影機，該場景含有一或多個物體104。獲得物體104之定性深度資訊106，該定性深度資訊給出有關物體104相對於彼此之深度的外部資訊。
定性深度資訊106可獲自使用者輸入、物體104之一者的預校準、分割演算法等。例如，在獲得影像圖框102之前，使用者可指示一第一物體始終在一第二物體前方。使用者亦可在獲取影像圖框102之前或期間校準一靜態物體（例如，建築物、地板等），且指定該經校準物體始終在任何其他物體後方。
然後，分析影像圖框102以便識別影像圖框102中之各者內的物體104，及基於所接收/獲得之定性深度資訊106，給定物體104中之各者的深度順序108。深度順序108定義物體104相對於彼此之排序（即，哪一物體在另一物體前方），無論獲得（例如，來自深度攝影機）之其他進一步深度資訊為何。
用於物體104之深度順序108可應用至影像圖框102或經封裝圖框，且亦可應用至影像圖框102之矩形區域、任意形狀區域或像素區域（即，密集圖）。
圖2展示用深度順序108演現之多視圖圖框的說明性實例。該影像場景含有停留在一表面206上的兩個靜止物體202及204。該多視圖影像將從複數個影像圖框演現，該複數個影像圖框從不同角度及/或位置成像該場景。因此，觀看該多視圖影像的一使用者可能夠改變視角及可能觀看場景的位置。
如在該多視圖圖框中可見，物體204在物體202前方且物體202及204兩者皆停留在表面206上方。一般而言，此深度資訊係從伴隨的深度圖獲得，且可從影像圖框102所建立。一般而言，深度圖給定各像素（或像素群組）的一數值深度值，使得可計算各物體之深度。然而，深度圖含有估計誤差及編碼雜訊，其會使具有相似深度之區以錯誤的順序顯現。
例如，參考圖2之多視圖圖框，物體202之下部部分具有非常相似於直接在物體202下方之表面206的深度。因此，在一些例項中，物體202之下部部分可經演現直接在其下方的表面206後方。
因此，納入物體202及204中之各者以及表面206的深度順序允許所有物體202演現在表面206前方且忽略深度圖中之任何誤差或雜訊。下表含有物體202及204以及表面206的實例深度順序：
物體 定性深度資訊 深度順序
表面206 「始終在物體202及204後方」 0
物體202 - 1
物體204 - 1
在此實例中，表面206具有0之深度順序，且因此將始終在具有較高深度順序之任何其他物體後方。物體202及204具有相同的深度順序，因為未給定其等相對於彼此的定性深度資訊106。此可歸因於物體基於視角及/或視點之位置而改變其等相對於彼此的深度。
例如，如果視點與目前的視點相對（即，從物體202後方觀看場景），則物體202將在物體204前方。此可藉由提供條件性定性深度資訊來解決（即，「在觀看位置A，物體202在物體204後方」及「在觀看位置B，物體202在物體204前方」）。因此，物體202及204之深度順序不同且可基於觀看場景之位置而變化。替代地，一模型矩陣可用以定義視點及/或深度順序之排序。然後，與視圖矩陣組合的該模型矩陣提供所需的相對深度資訊。
圖3展示經封裝圖框302及304中之深度順序的實施方案。封裝圖框係含有多個影像圖框及/或來自該等影像圖框之物體的影像或圖。圖3中之經封裝圖框302及304含有16個區塊，各區塊可含有一物體（或影像圖框）。各經封裝圖框302及304伴隨後設資料，該後設資料指定經封裝圖框中的該等物體之各者的位置（即，在該經封裝圖框上針對各物體的矩形之大小及矩形之位置）。
為了減少後設資料大小，在一經封裝圖框上的區塊分佈之部分（即，一地圖集方格(atlas grid)）可係固定的，且慣例可以是將一矩形置放在一地圖集方格單元的左下角。雖然封裝將不太理想，平均上耗用更多地圖集像素，但是視訊位元速率將會下降，因為物體被置放在封裝圖框中的恆定位置，從而增加時間相關性。為了進一步減少後設資料，慣例可係一給定位準之矩形具有相同大小。然後，儲存此單一大小。然後，將相等大小的矩形直接置放於該經封裝圖框中（具有匹配大小）或按比例調整以擬合該大小。後一種方法減少後設資料大小及剖析複雜性。該方法可用於從側面成像的運動場所場景，其中近距離之運動員將需要較大矩形，而愈遠離之運動員將擬合愈小矩形。由於每深度順序的矩形大小係預定的，因此運動員影像可被填補零α，以達到給定深度順序的所需大小。
在附加物體之深度順序的情況中，可針對各深度順序建立分開之經封裝圖框，其中一經封裝圖框中之區塊僅含有含針對該經封裝圖框指定之深度順序的物體。
經封裝圖框302僅可含有具有0之深度順序的物體，而經封裝圖框304可僅含有具有1之深度順序的物體。例如，此可用在足球賽之多視圖圖框中。具有深度順序0之經封裝圖框302可用以儲存有關足球場、門柱及人群的資訊，而具有深度順序1之經封裝圖框304可用以儲存有關足球員、裁判及球的資訊。
圖4繪示具有一背景404及一物體402之場景的影像圖框。該影像圖框亦含有涵蓋物體402之一區域406（或一區）。區域406可用以定義物體402在影像圖框內的位置，且因此獲得物體402之定性深度資訊。
例如，物體402可係靜止的（或至少相對於該影像圖框之視點靜止），且因此將始終在區域406內找到。含有物體402之區域406可定義為具有高於背景404之深度順序的深度順序，且因此，在物體402與背景404會合處，減少在物體402之底部附近演現假影的現象的可能性。
區域406之定義可儲存例如為在相對於影像圖框之後設資料內之影像圖框的矩形之大小及矩形之中心。區域406亦可基於例如物體偵測演算法或來自使用者之外部輸入而改變影像圖框內之大小及位置。
圖5展示輸出物體區域406的分割演算法504。影像圖框102輸入至分割演算法504中，分割演算法504能夠從影像圖框102分割物體502。因此，分割演算法504可輸出對應於物體502之輪廓的區域406。另外，可對各連續影像圖框102使用分割演算法504以偵測物體502中之變化。物體502中之變化可例如基於區域406之大小及/或面積變成相對於其他物體較小來指示之深度順序之變化。
替代地，可針對各深度順序（而非區域406）定義一像素圖。該像素圖可定義影像圖框102中的哪些像素（或像素群組）具有對應的深度順序。當需要精確的深度順序時，該像素圖可為有益的，優於使用區域406。亦可使用像素圖及區域406之組合。物體偵測演算法及/或分割演算法504亦可用以判定區域406及/或像素圖。
所屬技術領域中具有通常知識者亦將了解用於基於對應物體及定性深度資訊來判定區域406及/或像素圖之其他方法。
圖6展示用於從多視圖影像圖框102演現視圖606的方法。該方法可例如藉由使用者裝置接收含有一組影像圖框102、一組深度圖604及深度順序108後設資料的之多視圖資料。使用一所選取融合方法來融合來自具有相同深度順序108之影像圖框102的像素，該所選取融合方法可使用諸如深度梯度、來源透明度以及來源與目標像素之間的射線角度差異等變數。融合結果被寫入至用於各深度順序108的分開之紋理層602。針對各紋理層108產生一透明度(α)層。例如，α針對各像素經初始化為透明，且僅在像素被寫入至時設定為非透明。因此，深度順序108用於分開地針對各深度順序108演現一紋理層602（視情況使用融合），從而亦針對每深度順序108產生具有透明度圖的紋理層602。
視情況，深度圖604亦可用以演現各紋理層602，使得各紋理層602具有自含式深度(self contained depth)。然後，使用從後至前複合（例如，α複合）組合所得紋理層602，因此建立一多視圖圖框606。在其中深度圖604亦用以演現紋理層602的情況中，一般而言，輸出多視圖606將看似所演現之多視圖圖框（即，僅使用影像圖框102及深度圖604），但由於深度圖604之值的不準確而發生演現假影的可能性更低。由於可維持透明度(α)及深度緩衝器資訊（即，傳入深度圖），在演現期間可將（傳統的）圖形物體插入至場景中。此操作的一種方式係針對各深度順序演現各物體。
本發明可用於任何多視圖影像演現，具體而言，允許使用者選擇想要觀看場景的視點。當然，上文使用的成像一運動區的實例僅為一實例。
在實踐所主張的發明時，所屬技術領域中具有通常知識者可藉由研究圖式、本揭露、及所附申請專利範圍而理解與實現所揭示之實施例的變化。在申請專利範圍中，詞語「包含(comprising)」不排除其他元素或步驟，且不定冠詞「一(a)」或「一(an)」不排除複數個。
單一處理器或其他單元可滿足申請專利範圍中所述之數個項目的功能。
在相互不同的附屬項中所敘述的某些測量的這一事實並未指示此等測量之組合無法用以得利。
電腦程式可儲存/分布在合適的媒體上，諸如光學儲存媒體或固態媒體，其連同其他硬體來供應或作為其他硬體的部分，但亦可以其他形式來分布，諸如經由網際網路或其他有線或無線電信系統。
若用語「經調適以(adapted to)」使用在申請專利範圍或說明書中，應注意用語「經調適以(adapted to)」意圖等效於用語「經組態以(configured to)」。
申請專利範圍中的任何元件符號不應解釋為限制範圍。
102:影像圖框 104:物體 106:定性深度資訊 108:深度順序 202:靜止物體；物體 204:靜止物體；物體 206:表面 302:經封裝圖框 304:經封裝圖框 402:物體 404:背景 406:區域 502:物體 504:分割演算法 602:紋理層 604:深度圖 606:視圖；多視圖圖框；多視圖
為更佳地瞭解本發明，並更清楚展示可如何使其生效，現在將僅通過實例方式來參考隨附圖式，其中： ［圖1］展示用於判定物體之深度順序之方法； ［圖2］展示用深度順序演現之多視圖圖框的說明性實例； ［圖3］展示經封裝圖框中之深度順序的實施方案； ［圖4］展示具有背景及物體之場景的影像圖框； ［圖5］展示輸出一物體區域的分割演算法；及 ［圖6］展示用於從多視圖影像圖框演現視圖之方法。
102:影像圖框
104:物體
106:定性深度資訊
108:深度順序

Claims (15)

  1. 一種用於儲存含深度順序資料(108)之多視圖資料之方法，該方法包含： 從包含成像一場景的複數個攝影機之一成像系統獲得影像圖框(102)； 從該成像系統及/或該等影像圖框(102)獲得深度圖(604)，其中一深度圖(604)對應於一影像圖框(102)； 獲得與該場景中存在之至少一個物體(104)相對於在該場景中之其他物體的深度相關的定性深度資訊(106)，該定性深度資訊(106)附加至該深度圖(604)所傳達之資訊； 基於該定性深度資訊(106)判定該場景中存在之一組至少兩個物體(104)的一深度順序(108)，其中該深度順序(108)判定一物體(104)相對於具有不同深度順序(108)之其他物體的深度；及 儲存該場景之該等影像圖框(102)、該等對應深度圖(604)、及該場景中的該等物體(104)之該深度順序(108)。
  2. 如請求項1之方法，其中儲存該等影像圖框(102)包含建立用於各深度順序的一經封裝圖框(302, 304)及儲存該等經封裝圖框(302, 304)，其中一經封裝圖框包含在各影像圖框(102)中之一或多個物體(104)的一圖及在該圖內的該等物體(104)之位置。
  3. 如請求項1或2中任一項之方法，其進一步包含判定該等影像圖框(102)中之該等物體(104)的一物體區域(406)，其中針對各物體區域(108)判定一深度順序(108)。
  4. 如請求項3之方法，其中判定一物體區域(406)係基於應用一分割演算法(504)至該等影像圖框(102)。
  5. 如請求項3或4中任一項之方法，其中針對各物體區域(406)來判定深度順序(108)係進一步基於該物體區域(406)之大小。
  6. 如請求項1至5中任一項之方法，其進一步包含藉由識別在該等影像圖框(102)中之至少一者中的一或多個物體(104)來校準該成像系統，其中獲得至少一個物體之該定性深度資訊(106)係基於該校準。
  7. 一種用於從具有使用如請求項1至6中任一項之方法儲存的深度順序資料(108)之影像圖框(102)演現一新多視圖圖框(606)之方法，該方法包含： 接收該場景之至少兩個影像圖框(102)及該場景中存在之一組至少兩個物體(104)的深度順序(108)； 基於分別處理對應於所有所接收影像圖框(102)中之各深度順序(108)的該等物體(104)來針對各深度順序(108)建立一紋理層(602)；及 基於該等紋理層之對應深度順序(108)來組合該等紋理層(602)。
  8. 如請求項7之方法，其中該等紋理層(602)包含用於具有各別深度順序(108)之該等物體(104)的透明像素及非透明像素。
  9. 如請求項8之方法，其中藉由將所有像素值設定為透明且進一步將對應於該物體(104)的像素設定為非透明值來建立一紋理層(602)。
  10. 如請求項7至9中任一項之方法，其中組合該等紋理層(602)係基於α複合。
  11. 如請求項7至10中任一項之方法，其中各紋理層之各像素或一組像素包含一透明度值，且其中該透明度值係關於該等像素或該組像素之透明度及融合權重。
  12. 如請求項7至11中任一項之方法，其中建立該等紋理層(602)係進一步基於該等深度圖(604)。
  13. 一種包含電腦程式碼構件之電腦程式產品，當該等電腦程式碼構件在具有一處理系統的一運算裝置上執行時，導致該處理系統執行如請求項1至12中任一項之方法的所有步驟。
  14. 一種用於儲存含深度順序資料(108)之多視圖資料之系統，該系統包含一處理器，該處理器經組態以： 從包含成像一場景的複數個攝影機之一成像系統獲得影像圖框(102)； 從該成像系統及/或該等影像圖框(102)獲得深度圖(604)，其中一深度圖(604)對應於一影像圖框(102)； 獲得與該場景中存在之至少一個物體(104)相對於在該場景中之其他物體的深度相關的定性深度資訊(106)，該定性深度資訊(106)附加至該深度圖(604)所傳達之資訊； 基於該定性深度資訊(106)判定該場景中存在之一組至少兩個物體(104)的一深度順序(108)，其中該深度順序(108)判定一物體(104)相對於具有不同深度順序(108)之其他物體的深度；及 儲存該場景之該等影像圖框(102)、該等對應深度圖(604)、及該場景中的該等物體(104)之該深度順序(108)。
  15. 一種用於從具有使用如請求項1至6中任一項之方法儲存的深度順序資料(108)之影像圖框(102)演現一新多視圖圖框(606)之系統，該系統包含一處理器，該處理器經組態以： 接收該場景之至少兩個影像圖框(102)及該場景中存在之一組至少兩個物體(104)的深度順序(108)； 基於分別處理對應於所有所接收影像圖框(102)中之各深度順序(108)的該等物體(104)來針對各深度順序(108)建立一紋理層(602)；及 基於該等紋理層之對應深度順序(108)來組合該等紋理層(602)。
TW111104877A 2021-02-11 2022-02-10 多視圖圖框儲存及演現之深度順序 TW202238523A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21156505.6 2021-02-11
EP21156505.6A EP4044046A1 (en) 2021-02-11 2021-02-11 Depth orders for multi-view frame storing and rendering

Publications (1)

Publication Number Publication Date
TW202238523A true TW202238523A (zh) 2022-10-01

Family

ID=74591814

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111104877A TW202238523A (zh) 2021-02-11 2022-02-10 多視圖圖框儲存及演現之深度順序

Country Status (8)

Country Link
US (1) US20240062402A1 (zh)
EP (2) EP4044046A1 (zh)
JP (1) JP2024507078A (zh)
KR (1) KR20230145396A (zh)
CN (1) CN116888587A (zh)
CA (1) CA3210887A1 (zh)
TW (1) TW202238523A (zh)
WO (1) WO2022171545A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8200011B2 (en) * 2007-09-27 2012-06-12 Behavioral Recognition Systems, Inc. Context processor for video analysis system
US20120044259A1 (en) * 2010-08-17 2012-02-23 Apple Inc. Depth management for displayed graphical elements
WO2014001062A2 (en) * 2012-06-26 2014-01-03 Ultra-D Coöperatief U.A. Device for generating a depth map
EP3396949A1 (en) * 2017-04-26 2018-10-31 Koninklijke Philips N.V. Apparatus and method for processing a depth map

Also Published As

Publication number Publication date
CN116888587A (zh) 2023-10-13
EP4291994A1 (en) 2023-12-20
EP4044046A1 (en) 2022-08-17
WO2022171545A1 (en) 2022-08-18
JP2024507078A (ja) 2024-02-16
KR20230145396A (ko) 2023-10-17
CA3210887A1 (en) 2022-08-18
US20240062402A1 (en) 2024-02-22

Similar Documents

Publication Publication Date Title
KR102431117B1 (ko) 포인트 클라우드 맵핑
US10176592B2 (en) Multi-directional structured image array capture on a 2D graph
US9041819B2 (en) Method for stabilizing a digital video
CN111385554B (zh) 一种自由视点视频的高图像质量虚拟视点绘制方法
US20160225157A1 (en) Remapping a depth map for 3d viewing
Sharma et al. A flexible architecture for multi-view 3DTV based on uncalibrated cameras
WO2020184174A1 (ja) 画像処理装置および画像処理方法
Sankoh et al. Robust billboard-based, free-viewpoint video synthesis algorithm to overcome occlusions under challenging outdoor sport scenes
US20100220893A1 (en) Method and System of Mono-View Depth Estimation
Jantet et al. Joint projection filling method for occlusion handling in depth-image-based rendering
TW202238523A (zh) 多視圖圖框儲存及演現之深度順序
EP4120198A1 (en) Multi object surface image (mosi) format
EP4099270A1 (en) Depth segmentation in multi-view videos
Yang et al. Multiview video depth estimation with spatial-temporal consistency.
Lee et al. Interactive retexturing from unordered images
Golestani et al. Image-Based Rendering using Point Cloud for 2D Video Compression
Li et al. High-quality view interpolation based on depth maps and its hardware implementation
Shin et al. Disparity estimation at virtual viewpoint for real-time intermediate view generation
Huang et al. Panoramic depth reconstruction within a single shot by optimizing global sphere radii
Tsai et al. Two view to N-view conversion without depth
TW202239201A (zh) 影像合成系統及其方法
CN118120225A (zh) 处理多视图成像中的模糊
CN116670715A (zh) 用于处理具有层信息的视频流的方法和系统
Kilner Free-Viewpoint Video for Outdoor Sporting Events
Bleyer et al. Video-based 3d reconstruction of moving scenes using multiple stationary cameras