TWI786107B - 用於處理深度圖之設備及方法 - Google Patents

用於處理深度圖之設備及方法 Download PDF

Info

Publication number
TWI786107B
TWI786107B TW107113672A TW107113672A TWI786107B TW I786107 B TWI786107 B TW I786107B TW 107113672 A TW107113672 A TW 107113672A TW 107113672 A TW107113672 A TW 107113672A TW I786107 B TWI786107 B TW I786107B
Authority
TW
Taiwan
Prior art keywords
depth
pixel
processed
value
depth map
Prior art date
Application number
TW107113672A
Other languages
English (en)
Other versions
TW201907364A (zh
Inventor
克莉斯汀 維爾甘
威和莫司 漢卓克司 愛芬瑟司 布爾斯
Original Assignee
荷蘭商皇家飛利浦有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷蘭商皇家飛利浦有限公司 filed Critical 荷蘭商皇家飛利浦有限公司
Publication of TW201907364A publication Critical patent/TW201907364A/zh
Application granted granted Critical
Publication of TWI786107B publication Critical patent/TWI786107B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種用於處理一深度圖的設備，其包含接收一輸入深度圖的一接收器(203)。一第一處理器(205)藉由在一由下至上的方向上處理該輸入深度圖之像素而產生一第一經處理深度圖。一第一像素的該處理包含將該第一經處理深度圖之該第一像素的一深度值判定為下列者的最向後深度值：該輸入深度圖中之該第一像素的一深度值；及回應於在該第一像素下方之一第一組像素在該第一經處理深度圖中的深度值而判定的一深度值。該方法可改善深度圖的一致性，且特別針對藉由組合不同深度線索而產生之深度圖。

Description

用於處理深度圖之設備及方法
本發明係關於用於處理深度圖之設備及方法，且具體而言（但不排他地）關於藉由組合複數個深度線索而產生之深度圖的處理。
傳統上，影像的技術處理及用途已基於二維成像，但在影像處理中正明確地考慮第三維。
例如，已發展藉由將正被觀看之場景的不同視圖提供給觀看者雙眼而將第三維加至觀看體驗的三維(3D)顯示器。此能藉由使用者佩戴眼鏡以分離所顯示之兩視圖而實現。然而，由於此被視為對使用者不便利，在許多情景中使用裸視立體(autostereoscopic)顯示器係較佳的，其使用在顯示器處的構件（諸如，柱狀透鏡、或屏障）以分離視圖，並在彼等視圖可個別抵達使用者眼睛的不同方向上傳送彼等視圖。立體顯示器需要兩個視圖，然而裸視立體顯示器一般需要更多視圖（諸如，九個視圖）。
在許多實施例中，產生用於新觀看方向的視圖影像可係所欲的。雖然基於影像及深度資訊產生此種新視圖影像的各種演算法已為人所知，但彼等演算法往往高度相依於所提供（或所導出）之深度資訊的準確度。
實際上，經常由對應於場景之不同觀看方向的複數個影像提供三維影像資料。具體地說，逐漸將視訊內容（諸如，影片或電視節目）產生成包括某種3D資訊。能使用從略為偏移的相機位置擷取兩個同時影像之專用3D相機擷取此種資訊。
然而，在許多應用中，所提供的影像可能不直接對應於期望方向，或可能需要更多影像。例如，針對裸視立體顯示器，需要兩個以上的影像，且實際上經常使用9至26個視圖影像。
為了產生對應於不同觀看方向的影像，可使用視點位移處理(view point shifting processing)。此一般藉由使用單觀看方向的影像連同關聯深度資訊的視圖位移演算法(view shifting algorithm)執行。然而，為了產生不具有顯著假影的新視圖影像，所提供的深度資訊必須足夠精確。
其他例示應用包括虛擬實境體驗，其中可連續地產生用於虛擬實境頭戴裝置的右眼視圖及左眼視圖以與使用者的移動及方位改變匹配。在許多情形中，動態虛擬實境視圖的此種產生可基於與提供相關深度資訊之關聯深度圖組合的光強度影像。
所呈現之來自新視圖的（一或多個）三維影像的品質取決於所接收之影像資料的品質，且具體地說，三維感知取決於所接收之深度資訊的品質。然而，在許多實際應用及情景中，所提供的深度資訊往往係次佳的。實際上，在許多實際應用及使用情景中，深度資訊可能不如期望地準確，且所產生影像中的誤差、假影、及/或雜訊可因該等次佳深度圖產生。
在許多應用中，可從依據擷取影像所判定的深度線索來評估描述真實世界場景的深度資訊。例如，深度資訊可藉由比較不同觀看方向的視圖影像而藉由評估及擷取深度值產生。
例如，在許多應用中，使用在略為不同位置的兩個相機將三維場景擷取為立體影像。然後具體深度值可藉由評估兩個影像中的對應影像物件之間的像差而產生。然而，此種深度提取及評估係有問題的，且往往導致不理想的深度值。此可再度導致假影及劣化的三維影像品質。
可用於產生深度圖的其他深度線索包括，例如，一序列之影像中的連續影像之間的相對運動。例如，針對平移相機，較接近相機的物件將在影像中展現較大相對移動，且因此在該序列的不同影像之間展現較大位移。此可用於產生深度線索而不依賴來自不同視點的多個同時影像。此方法一般會包括補償物件在該場景中的移動。
另一可能深度線索可藉由應用與給定場景/影像之深度性質有關的假設而實現。例如，針對對應於例如景觀的多數影像，影像中較低的像素往往比影像中較高的像素更接近。
不幸地，所有深度評估方法往往具有次佳效能並產生次佳深度評估。特定問題係所產生的深度圖可能不總是如期望地一致，且會例如在影像物件之間顯示深度不連續性，其不準確反映場景中之深度變化。
此種不一致性對於其中深度圖係基於複數個不同深度線索而產生的系統可係特別顯著的。不同的深度評估及深度線索對不同的影像物件往往具有不同的效能及準確性。例如，基於預定深度假設的深度評估可適合對應於背景的影像區域，而例如，基於運動評估的深度線索對前景影像物件提供較佳結果。因此，基於多個線索產生深度圖經常係有利的，但此往往由於不同線索之間缺少一致性而導致劣化。
已建議藉由基於對應影像中的視覺資訊處理深度圖而解決此種深度不一致性。然而，此種處理具有因從光強度域至深度域的交叉干擾而引入額外假影的風險。此外，往往導致大量的額外運算複雜性及資源需求。由於運算資源係許多影像處理裝置及系統的限制因子，所以此可係重大問題。
因此，用於產生深度資訊的經改善方法會係有利的，且允許增加靈活性、促進實作、減少複雜度、減少資源需求、減少對視覺變化的靈敏度、改善3D體驗、及/或改善深度資訊的方法會係特別有利的。
因此，本發明尋求單獨或採用任何組合較佳地緩和、減輕、或消除上文提及之缺點的一或多者。
根據本發明的一態樣，提供有一種用於處理一深度圖的設備，該設備包含：一接收器，其用於接收一輸入深度圖；一第一處理器，其用於藉由在一由下至上的方向上處理該輸入深度圖之複數個第一像素而產生一第一經處理深度圖；其中該複數個第一像素之各第一像素的該處理包含將該第一經處理深度圖之該第一像素的一深度值判定為下列者的最向後深度值：該輸入深度圖中之該第一像素的一深度值、及回應於在該第一像素下方之一第一組像素在該第一經處理深度圖中的深度值而判定的一深度值。
本發明可改善導致經改善三維影像處理及感知演現品質的深度圖。具體而言，在許多實施例及情景中，該方法可提供更一致的深度圖，包括基於不同深度線索的組合（諸如，基於運動的深度線索與預定深度輪廓深度線索的組合）改善及增加深度圖的一致性。具體而言，在許多情景中，該方法可移除或減少當基於不準確深度圖演現時頻繁遭遇之定位在地面或地板上的物件可顯現為飄浮於其上之假影。
具體而言，該方法可使用相對低複雜度及低資源需求的方法改善深度圖。例如，該方法可允許循序位元掃描及具有足以增加整體一致性的低複雜度局部決定的處理。
若像素比另一像素更接近深度圖的底部，則在深度圖中該像素在此另一像素下方。一般而言，深度圖可係（水平）列及（垂直）行的陣列。在此種情景中，若像素在比另一像素更接近底部的列中，則該像素在此另一像素下方。
一組深度值的最向後深度值可係反映具有距（例如，標稱或虛擬）基準相機或視點位置的最遠距離之位置的深度值。一組深度值的最向後深度值可係反映最接近背景之位置的深度值。一組深度值的最向後深度值可係反映距觀看位置之最大深度/距離的深度值。最向後深度值可係指示最朝向後方/背景之深度（離視點最遠）的深度值。
第一組像素可係像素的一鄰接區域。複數個第一像素可在深度圖中形成一鄰接區域。
由下至上的方向可藉由僅在用於給定像素（具體地說，第一像素）的第一組像素已受處理時才實施該給定（第一）像素之處理而實現。該設備可配置成反覆處理（多個）深度圖的所有像素。
根據本發明的一選用之特徵，第一組像素包含緊接在第一像素之列下方的一列像素。
此可在許多實施例及情景中提供有利效能。在一些實施例中，第一組像素可僅包含緊接在第一像素之列下方的一列像素。
根據本發明的一選用之特徵，第一組像素包含不多於20個像素。
此可在許多實施例及情景中提供有利效能。該方法可提供深度圖的有效改善，而僅需要針對各給定像素考慮低數目的像素，從而減少運算需求。
在一些實施例中，第一組像素可有利地包含不多於50、30、15、10、或甚至5個像素。在一些實施例中，第一組像素可有利地包含不少於20、15、10、5、或3個像素。
根據本發明的一選用之特徵，該設備進一步包含一第二處理器，該第二處理器用於藉由在一由上至下的方向上處理該第一經處理深度圖中之複數個第二像素而產生一第二經處理深度圖；其中針對該第二經處理深度圖中之各第二像素產生一深度值包含：若符合一深度步幅準則，則將該第二像素在該第二經處理深度圖中的該深度值設定為用於該第二像素之一第三像素的該第一經處理圖的一深度值，該第三像素在該第二像素上方，否則將該第二像素在該第二經處理深度圖中的該深度值設定為該第二像素在該第一經處理深度圖中的一深度值；其中該深度步幅準則取決於在該輸入深度圖及在該第一經處理深度圖二者中的深度步幅。
此可在許多實施例中改善效能並可特別改善一致性並解決由第一處理器引入的潛在誤差、假影、或不準確性。
深度步幅可係第二像素與另一像素之間的差（具體地說，步幅差）。深度步幅可係深度改變。深度步幅準則可要求深度改變（深度步幅）超過一臨限值。
根據本發明的一選用之特徵，深度步幅準則要求深度步幅在輸入深度圖中的絕對值不高於第一臨限值，且第一經處理影像中的向後深度步幅不低於第二臨限值。
此可在許多實施例中改善效能並可特別改善一致性並解決由第一處理器引入的潛在誤差、假影、或不準確性。
向後深度步幅可係第二像素與另一像素之間的深度差，其中第二像素的深度比其他像素的深度更後方。向後深度步幅可係朝向後方/背景（亦即，增加距觀看位置之深度/距離）的深度步幅/改變。
根據本發明的一選用之特徵，深度步幅準則包含在輸入深度圖中在第三像素與第二像素上方的像素之間的絕對深度步幅不高於第三臨限值的要求。
此可在許多實施例中改善效能並可特別改善一致性並解決由第一處理器引入的潛在誤差、假影、或不準確性。
根據本發明的一選用之特徵，深度步幅準則包含在輸入影像中在第二像素與第二像素上方的像素之間的最大絕對深度步幅不高於第四臨限值的要求。
此可在許多實施例中改善效能並可特別改善一致性並解決由第一處理器引入的潛在誤差、假影、或不準確性。
根據本發明的一選用之特徵，深度步幅準則包含在第一經處理影像中從第三像素至第二像素的向後深度步幅不低於第五臨限值的要求。
此可在許多實施例中改善效能並可特別改善一致性並解決由第一處理器引入的潛在誤差、假影、或不準確性。
根據本發明的一選用之特徵，第二處理器經配置以從包含在緊接於第二像素之列上方的一列中之第二組像素選擇該第三像素。
此可在許多情景中提供特別有利的效能。在許多實施例中，第二組像素可包含不多於3、5、7、10、15、20、30、或50個像素及/或不少於3、5、7、10、15、或20個像素。
根據本發明的一選用之特徵，第一處理器經配置以基於第一組像素之深度值的最大者而針對第一像素判定第一經處理深度圖的深度值。
此可在許多情景中提供特別有利的效能。
根據本發明的一選用之特徵，該設備進一步包含一第三處理器(209)，該第三處理器用於藉由在一由下至上的方向上處理該第二經處理深度圖中之複數個第四像素而產生一第三經處理深度圖；其中針對該第三經處理深度圖中之該複數個第四像素的各第四像素產生一深度值包含：若符合一深度步幅準則，則將該第四像素在該第三經處理深度圖中的該深度值設定為用於該第四像素之一第五像素的該第二經處理圖的一深度值，該第五像素在該第四像素下方，否則將該第四像素在該第三經處理深度圖中的該深度值設定為該第四像素在該第二經處理深度圖中的一深度值；其中該深度步幅準則取決於在該輸入深度圖及在該第二經處理深度圖二者中的深度步幅。
此可在許多實施例中改善效能並可特別改善一致性並解決由第一處理器引入但可能不由第二處理器解決的潛在誤差、假影、或不準確性。
根據本發明的一選用之特徵，該設備進一步包含一深度補償處理器，該深度補償處理器經配置以處理一先前經處理深度圖的像素，該先前經處理深度圖係導出自該第一經處理深度圖，該處理包含藉由一值修改一給定像素之該先前經處理深度圖的一深度值，該值係回應於該給定像素之該先前經處理深度圖的一深度值與該給定像素之該輸入深度圖的一深度值之間的一差而判定。
此在許多實施例及情景中可導致改善的深度圖。例如，在允許保持某些深度紋理的同時，可特別允許所產生深度圖的經改善一致性。
根據本發明的一選用之特徵，該設備進一步包含一深度圖產生器，其用於回應於基於一場景之一序列之影像中的運動評估之深度線索及用於該場景之一預定深度輪廓而產生該輸入深度圖。
當處理從不同深度線索（諸如，基於運動的深度線索及預定深度輪廓）產生的深度圖時，該方法可提供特別有利的效能。
根據本發明的一態樣，提供有一種處理一深度圖的方法，該方法包含：接收一輸入深度圖；藉由在一由下至上的方向上處理該輸入深度圖之複數個第一像素而產生一第一經處理深度圖；其中該複數個第一像素之各第一像素的該處理包含將該第一經處理深度圖之該第一像素的一深度值判定為下列者的最向後深度值：該輸入深度圖中之該第一像素的一深度值、及回應於在該第一像素下方之一第一組像素在該第一經處理深度圖中的深度值而判定的一深度值。
本發明的此等及其他態樣、特徵、及優點將參考下文描述的（一或多個）實施例闡明且將係顯而易見的。
以下描述聚焦在可應用於處理深度圖之本發明的實施例，該深度圖係在組合來自基於運動的影像分析的深度線索與來自用於場景之（假設）預定深度輪廓的深度線索時導出。然而，將理解本發明不限於此應用，而是可應用於許多其他深度圖。
代表場景的影像在今日經常輔以深度圖，深度圖提供影像物件在場景中之深度的資訊，亦即，深度圖提供影像的額外深度資料。此種額外資訊可允許例如視點位移、3D表示等，從而提供許多額外服務。深度圖往往提供複數個像素之各者的深度值，該等像素一般配置成具有第一數目之水平列及第二數目之垂直行的陣列。深度值提供關聯影像之像素的深度資訊。在許多實施例中，深度圖的解析度可與影像的解析度相同，且因此影像的各像素對深度圖的一個深度值可具有一對一連結。然而，在許多實施例中，深度圖的解析度可低於影像的解析度，且在一些實施例中，深度圖的深度值可為影像的複數個像素所通用（且更具體地說，深度圖像素可大於影像像素）。
深度值可係指示深度的任何值，具體地包括深度座標值（例如，直接提供該像素的z-值）或像差值。在許多實施例中，深度圖可係像差或深度座標值的矩形陣列（具有列及行）。
在正被演現且由使用者感知的所得影像品質中，場景之深度表示的準確度係關鍵參數。因此，產生準確深度資訊係重要的。針對人工場景（例如，電腦遊戲），可相對容易達成準確值，但針對涉及例如真實世界場景之擷取的應用，此可係困難的。
已提議用於評估深度的許多不同方法。一種方法係評估從不同視點擷取場景之不同影像間的像差。然而，此種像差評估在本質上係不完美的。此外，該方法要求場景從多個方向擷取，而情況經常非如此（例如，針對傳統擷取）。另一選項係執行基於運動的深度評估，其利用影像物件的運動（在一序列之影像中）對接近相機的物件往往會比遠離的物件更高（例如，針對平移相機，可能在補償在場景中對應物件之實際運動後）。第三種方法係利用深度在場景中的預定（假設）資訊。例如，針對室外場景（且實際上對多數的一般室內場景），影像中的較低物件往往比影像中的較高物件更接近（例如，地板或地面具有隨高度增加而增加之至相機的距離，天空往往比較低的地面更後方等）。因此，預定深度輪廓可用於評估合適的深度圖值。
然而，多數深度線索往往係非常不確定的且僅提供部分資訊，諸如，深度次序。當此種深度線索的組合用於產生深度圖時，經常有剩餘線索衝突。例如，當組合基於運動的深度線索與假設的全體場景形狀（例如，傾斜的地面表面）導致用於該深度圖之經評估預定深度輪廓時，能例示此問題。一般而言，此種線索係藉由所有線索之深度圖的加權組合而組合。然而，此種方法可經常在不同深度線索之間導致假影或不一致。例如，特定問題可係前景影像可經常顯現為與背景分離。作為特定實例，移動物件（例如，行走的人）可顯現成漂浮在地面上而非站在地面上。
此種不一致性例示於圖1中，其中影像(a)繪示僅基於運動偵測產生的可能深度圖。在該實例中，行走的人的移動已導致將對應影像物件評估為在給定深度，而將不移動背景假設成在背景深度層級（增加的亮度指示至相機的距離縮減，亦即，像素愈亮或愈白，其愈接近相機）。影像(b)繪示對應於該場景之預定深度輪廓的深度圖。在該實例中，預定深度輪廓反映地面在圖片底部接近相機，且然後距離隨高度增加而逐漸增加。此種傾斜輪廓一般可用於許多實際的現實世界場景。
影像(c)繪示影像(a)與影像(b)之深度圖的組合之實例。如所能見到的，針對橫跨傾斜深度背景行走之人的影像產生更具代表性的深度圖。然而，亦如所能見到的，行走之人的深度從背景突出，且實際上該人之包括雙腳的所有部分皆如此。不幸地，當基於此資訊演現影像時，該影像往往會將該人顯示成與背景分離，且實際上一般可導致該人漂浮在地面上而非站在地面上的模樣。
圖2繪示能處理深度圖並可針對許多實際發生的情況及應用解決、消除、減少、及/或緩和，諸如，上文描述的該等問題之深度處理設備的一些元件。該設備可將程序應用至深度圖，在許多情景中，該程序可改善深度值一致性，且具體地說，該程序可改善用於產生經組合深度圖的不同深度線索之間的一致性。
由深度處理設備使用的該方法允許其可應用為例如深度圖評估處理的後處理之非常有效且低複雜度的方法。該方法可反映對於許多實際場景及影像，在統計上物件附接在地面表面上遠比其飛在地面表面上方更有可能的認識。然而，此種深度線索不易引入，因為此種深度線索因其本身不直接對應於深度測量而是相關於深度圖的內部一致性而與其他深度評估線索不同。
圖2之設備的方法可藉由在施加約束的同時基於由下至上的掃描來處理深度圖而解決此等考慮。然而，深度圖的處理可對一些情況或一些深度圖引入一些假影、不準確、或誤差。因此，在一些實施例中，圖1的深度處理設備可經配置以執行可解決此等效應而仍保持系統非常有效率的額外選用之階段。
更詳細地說，請求項1的深度處理設備包含深度圖接收器201，在具體實例中，該接收器接收來自深度圖產生器203的待處理輸入深度圖。
在該具體實例中，深度圖產生器203經配置以藉由來自一序列之影像（具體地說，具有各影像對應於視訊剪輯片段之一圖框的視訊剪輯片段）的深度評估而產生輸入深度圖。深度產生係基於運動評估深度線索及用於由該等影像擷取的場景之預定深度輪廓的組合。輸入深度圖可係對應於該序列之影像（亦即，對應於視訊剪輯片段之圖框）之一序列之深度圖的深度圖。
舉例而言，用於運動線索的深度圖可藉由取得每像素運動向量並自其減去全域（背景）運動而產生。然後將深度值設定成與此差分運動的量值成比例。一般而言，非線性函數（諸如，裁剪(clipping)）係用於確保快速移動物件不突現(pop-out)過多。
將理解，在其他實施例中，設備可不包含深度產生器203，反而，例如，可從外部來源接收輸入深度圖。亦將理解，鑑於以下討論將聚焦在從基於運動的深度線索及預定深度輪廓線索產生的深度圖，該方法亦可針對其他深度圖提供有利效果，包括在許多情形中基於單一深度線索產生的深度圖。
將理解，在不同實施例中，可使用藉由深度圖之深度值的不同深度表示。例如，在一些實施例中，增加深度值可指示該物件更朝向後方/離開相機/視點（例如，直接z-座標值）。在其他實施例中，增加深度值可指示物件更向前，亦即，更朝向相機/視點（例如，像差值）。為了簡潔及清晰，本描述將假設深度值具有愈向前（亦即，更接近相機/視點）愈增加的值。然而，將理解，所描述的原理及方法可同等地適用於增加值指示對應物件更朝向後方（更遠離相機/視點）的情景。
將深度圖接收器201耦接至第一處理器205，其經配置以處理輸入深度圖以產生深度圖，此後稱為第一經處理深度圖。第一處理器205經配置以在由下至上的方向上處理輸入深度圖的像素。因此，在該方法中，以從影像底部朝向影像頂部的次序來處理像素。
在該處理中，輸入深度圖的深度值係相依於下方已受處理之像素的深度值而修改。具體地說，針對稱為第一像素的給定像素，第一經處理深度圖中的該深度值經選擇作為該第一像素在輸入深度圖中之深度值及從第一像素下方的一組像素之經處理深度值判定之深度值的最向後深度值。
在該方法中，像素在另一像素下方意謂著該像素在深度圖中較低，亦即，該像素較接近深度圖的底部且更遠離深度圖的頂部。像素在另一像素上方意謂著該像素在深度圖中較高，亦即，該像素較接近深度圖的頂部且更遠離深度圖的底部。具體地說，該組像素在第一像素下方可反映彼等更接近深度圖的底部。因此，彼等可屬於比包含第一深度像素之列更低/更接近深度圖底部的列。
因此，具體地說，針對給定的第一深度圖像素，第一處理器205可識別深度圖中在第一像素下方的一組像素。例如，可選擇在第一像素下方之該列中的九個相鄰像素（且具有與第一像素在相同之行中的中央像素）。然後第一處理器205可繼續回應於此第一組像素之深度值而產生深度值，亦即，深度值可基於該經選擇組的九個深度值產生。此深度值可稱為約束深度值。例如，可將約束深度值產生成具有該第一組像素之最向前深度值的深度值。然後第一處理器205繼續將第一經處理深度圖中之第一像素的深度值設定成與輸入深度值相同或與約束深度值相同，取決於將何者視為係最向後的。因此，第一處理器205選擇輸入深度值及約束深度值的最向後深度值。
因此，該方法可在由下至上的方向上處理深度圖，使得只要深度值不比反映下方之經處理像素的一約束深度值更向前，深度值即得以從輸入深度圖維持。例如，約束值可係緊接在目前像素值下方之一小組像素中的最向前深度值。在此情形中，第一經處理深度圖將被設定成與輸入深度圖相同的深度值，除非此深度值比下方像素更向前，在該情形中，此深度值將被約束深度值取代，亦即，此深度值將被緊接於下方的該小組像素的最向前者取代。該效果實質上將係輸入深度圖的深度資訊將被保留在第一經處理深度圖中，惟此會導致影像物件/像素比更低像素更向前的像素除外，在該情形中，該像素將後移至與下方像素相同的層級。
此外，當在由下至上的方向上實施處理時，為了移除（或至少減少）向前深度步幅的像素之此種修改將在深度圖中向上傳播，從而有效地將在影像中突出（向前）物件移回至與其下方的影像物件/像素一致。該處理允許使用非常低複雜度方法，其中像素可被循序處理並基於簡單比較/處理，但仍達成有效深度調整，從而導致產生更一致的深度圖。
作為具體實例，在由下至上的掃描中，可選擇性地修改像素(i,j )（列，行）的深度值，以將具有較小y -座標（列i -座標愈大、愈接近底部）的物件偏向成不比具有較大y -座標（列i -座標愈小，愈接近頂部）之物件更後方。例如，可如下給定各像素(i,j )的處理：
Figure 02_image001
其中Dx,y 係在列x 及行y 之（深度圖）像素在輸入深度圖中的深度值，其中一增加深度值指示該像素更向前，D ’ x,y 係第一經處理深度圖中的對應深度值，且∆係界定第一組像素之大小的設計參數。∆的一般值是在從3至10的範圍中。
在圖3中展示將此後處理操作應用於圖1c之深度圖的結果之實例。如所能見到的，實現了更一致的深度圖且已減少具有從不同深度線索判定的深度之區域周圍的步階不連續性。此外，在經處理深度圖中，行走的人已在影像中後移，使得行走的人（或更確切地說，他的腳的底部）不從背景突出（向前）。在經處理深度圖之基礎上演現影像時的效果係，行走的人不再顯現成漂浮在地面上方（及在其前方）。更確切地說，該人將顯現為站立/行走在地面上且將演現更為真實的場景。
此可提供低複雜度方法，其實際上往往提供感知上更真實的結果。該方法係非常低複雜度的並可能引入一些誤差或假影。例如，物件（諸如，飛鳥）在影像中可更後移，導致原始深度不被保留。而且，低複雜度方法可將新誤差引入一些形狀的影像物件中，諸如，能在圖1及圖3中的行走之人的手臂看到。因此，會直覺地預期低複雜度由下至上的處理及約束需求不適合用於改善深度圖。然而，儘管有發生此種誤差的可能性，發明人已認識到該方法實際上在許多實際應用中提供經改善效能。例如，將人顯現為站立在地面上而非漂浮於地面上的效益將超過一些鳥可能更後移的效果。
將理解用於第一組像素之像素的精準選擇將取決於個別實施例的偏好及需要。在多數實施例中，第一組像素將包含第一像素之下一個更低列的像素或由其組成。具體地說，如上述實例中，第一組像素可經選擇以包括緊接在目前像素之列下方的該列中的許多像素。
亦將理解，在許多實施例中，將在第一組中包括相對低數目的像素，且在許多實施例中，第一組中的像素數目可不超過20個像素。此種方法可減少複雜度並允許在運算上非常有效的操作。
因此，在多數實施例中，該方法可基於非常局部化的深度約束，且輸入深度圖可僅基於局部考慮處理但仍提供全域效果。
包含許多像素的第一組像素（諸如，在目前像素下方之列中的許多像素）亦可提供有利的效果。在一些實施例中，可藉由考慮小區域而非單一像素而提供平均效果。另外，在許多實施例中，亦可提供經改善深度調整，例如，允許不同形狀之物件的深度不僅在垂直方向上亦在水平方向上傳播。
例如，圖4繪示圖3之人的左側腋下區域。如所能見到的，在由下至上的處理中，該人的深度值垂直向上地傳播，因為給定像素的約束深度值至少係下方像素的約束深度值。然而，針對手臂的最低像素，緊接在下方的像素係背景的一部分，且因此若第一像素組僅包括垂直下方的像素，則手臂像素會受背景深度值約束。然而，藉由水平地延伸第一組像素，來自較低列的深度值能側向傳播，例如，來自圖4之身體像素的深度傳播至手臂區域中。
將理解，第一組像素的選擇在不同實施例中可不同，且例如，第一組像素可經選擇以提供在規定垂直約束與期望側向深度傳播之間的所欲權衡。在一些實施例中，該權衡可在個別影像或圖框之間變化，且實際上，在一些實施例中，用於選擇第一組像素的規則或演算法可在不同圖框之間動態地改變。
該方法係基於在由下至上的方向上處理第一經處理深度圖的像素。因此，給定像素僅在第一組像素（用於該給定像素）中的像素已受處理之後才受處理，其中第一組中的像素在給定像素下方（該等像素具有較高列號因為列在深度圖中係由上至下編號）。
在許多實施例中，輸入深度圖的給定像素將僅在緊接在該像素下方的像素已受處理後才受處理。在許多實施例中，給定列的像素將僅在其下方的列中的所有像素均已受處理之後，且實際上一般僅在其下方的所有列中的所有像素均已處理之後才受處理。
然而，將理解像素的處理在垂直或水平方向上不必係嚴格循序的。更確切地說，給定像素的處理僅要求該給定像素之第一組像素的像素已受處理。因此，在一些實施例中，例如，可能該處理從左（或右）下角開始，然後當像素由於第一組中的對應像素已受處理而變為可用於處理時，朝向上方及右方（或左方）傳播。
亦將理解，處理不必包括深度圖中的所有像素。例如，在一些實施例中，該方法可僅應用於與影像的給定區域對應的深度圖之給定區域內的像素。而且，在許多實施例中，該具體方法亦可僅對能成功地為其選擇第一組像素的像素予以反覆。例如，在許多實施例中，底列不以具體方式處理，而是將處理應用於具有第一組像素之第二最低列的像素，其中第一組像素係使用底列之像素產生。在其他實施例中，可使用預設深度值。例如，針對處理底列之像素的目的，可產生深度值的一「虛擬(virtual)」或「偽(pseudo)」列（或在一些實施例中多列）並使用為深度圖之底列下方的列。「虛擬」列的深度值可例如簡單地初始化為預設或預定值（例如，對應於最向前可能深度值），或可例如從底列的深度值判定（諸如，最向前深度值）。
在不同實施例中，可基於不同函數或演算法從第一組像素中之像素的深度值來判定約束深度值。例如，可基於下列一或多者判定約束深度值：
第一組像素之深度值的一最大向前值。此可導致約束深度值反映出該最向前值對傳播係最重要的。用於判定約束深度值之此函數的優點係物件是呈直立的(straight-up)。
第一組像素之深度值的一平均值。此可導致約束深度值反映平均深度或物件。用於判定約束深度值之此函數的優點係其對雜訊較不敏感。
第一組像素之深度值的一中間值。此可導致約束深度值反映中間深度或下方物件。用於判定約束深度值之此函數的優點係在不取平均值時其對雜訊較不敏感。
如先前提及的，藉由第一處理器205的處理在運算上係高效率的，且往往導致更一致且有利的深度圖。然而，亦如曾提及的，在一些情景中，會對一些形狀及影像/深度圖引入誤差。例如，如圖3所示，會將深度誤差/假影引入行走之人的手臂。在許多實施例中，此種效果可係相對不可能及/或視為可接受的。例如，彼等往往更常對不規則前景形狀發生，且在此種物件較不可能在其中的場景中，藉由第一處理器205的處理可係足夠的。
然而，在其他實施例中，將第一處理器205耦接至第二處理器207，其經配置以進一步處理第一經處理深度圖以尋求減少或緩和此種誤差及假影的效果。
第二處理器207接收第一經處理深度圖並藉由在由上至下的方向上處理第一經處理深度圖中的像素而產生第二經處理深度圖。因此，第二處理器207可執行相似的反覆或循序處理，但係在藉由第一處理器205之處理的相對方向上如此作。因此可將第一處理器205視為執行第一階段，而第二處理器207執行尋求解決已從第一階段產生之潛在誤差或假影的第二階段。
第二處理器207經配置以藉由將第二經處理深度圖的深度圖值設定為第一經處理深度圖中的對應像素或在目前像素上方之第一經處理深度圖的像素之深度值而處理第一經處理深度圖。因此，第二經處理深度圖中的深度值可設定為第一經處理深度圖中之像素的對應深度值的深度值，或可設定成目前像素上方的像素在第一經處理深度圖中的深度值。選擇使用何深度值係基於考慮輸入深度圖及第一經處理深度圖二者的深度步幅準則。
更詳細地說，針對稱為第二像素的給定像素，第二處理器207判定第二經處理深度圖中的深度值
Figure 02_image003
。此深度值
Figure 02_image003
的一侯選者係第一經處理深度圖中的對應深度值
Figure 02_image005
。此深度值可稱為第一候選深度值
Figure 02_image005
，且若選擇此，則此深度值對應於未改變之第二像素的深度值。
替代地，可將第二經處理深度圖的深度值
Figure 02_image003
設定成在第二像素上方的第三像素之第一經處理圖的深度值。此深度值可稱為第二候選深度值
Figure 02_image007
。在許多實施例中，可從第二像素上方的一組像素（一般而言，一小組像素）選擇第三像素/第二候選深度值。例如，可從一組像素選擇第二候選深度值
Figure 02_image007
，其中k在[j-N;j+N]之區間中，其中N一般係小數目，例如，N可在從1至7的區間中。
因此，藉由第二處理器207的該方法在由上至下的方向上處理第一經處理深度圖，並維持第一經處理深度圖的深度值(
Figure 02_image009
)或允許深度值係從目前像素上方之像素向下傳播的深度值(
Figure 02_image011
)。
如先前提及的，是否維持該深度值或取代該深度值的選擇係基於相依於輸入深度圖及第一經處理深度圖二者中之深度步幅的深度步幅準則。
具體地說，深度步幅準則可要求深度步幅在輸入深度圖中的絕對值不高於第一臨限值，且第一經處理影像中的向後深度步幅不低於第二臨限值。
在此種實施例中，若第二處理器207偵測到在輸入深度圖中僅有小深度步幅，但在第一經處理深度圖中有大向後深度步幅（當移至目前像素時），則第一經處理深度圖可因此被來自上方之像素的深度值所替代。在此情形中，第一經處理深度圖中的大深度步幅可指示第一處理器205已引入在原始輸入深度圖中不存在的深度轉變。因此，第二處理器207允許更向前的深度值從第三像素傳播至目前像素（第二像素）。
更具體地說，深度步幅準則可包含以下要求：第三像素與第二像素上方的像素之間在輸入深度圖中的絕對深度步幅不高於第三臨限值(
Figure 02_image013
)，及/或第二像素與第二像素上方的像素之間在輸入影像中的最大絕對深度步幅不高於第四臨限值(
Figure 02_image015
)。此等要求可提供在輸入影像中在水平或垂直方向上沒有相關於目前像素（第二像素）及目標像素（第三像素）的對應深度步幅的有利指示。因此，此等要求提供原始深度圖不具有局部深度轉變/步幅/不連續性的良好指示，且因此提供可能已由第一處理器205之處理而引入任何此種局部轉變/步幅/不連續性的良好指示。
在許多實施例中，深度步幅準則可包含以下要求：在第一經處理影像中從第三像素至第二像素的向後深度步幅（的大小）不低於第五臨限值，亦即，至目前像素的步進導致足夠大之遠離相機/視點的深度步幅。在增加深度值D指示像素更接近相機/視點的實施例中，此能藉由(
Figure 02_image017
)表示。此可提供向後深度步幅存在的合適指示，其可能是因藉由第二處理器207的處理所引起。
作為具體實例，第二處理器207可執行下列演算法： 1.
Figure 02_image019
2.for row
Figure 02_image021
3.for column
Figure 02_image023
-1 4.for column
Figure 02_image025
,
Figure 02_image027
5.
Figure 02_image029
6.if
Figure 02_image031
and
Figure 02_image033
7.
Figure 02_image035
在此實例中，例示演算法的行4沿著從先前列中的像素至目前列中的目前像素的三條分離的4-連接路徑估算深度上的最大改變（在原始輸入深度圖中）。唯若深度上的絕對改變低於臨限值(
Figure 02_image037
)且經處理之深度圖仍含有顯著向後步幅（
Figure 02_image039
（應注意，增加值指示像素更向前且因此向後步幅對應於負差）），因此指示誤差由第二處理器207引入，則傳播該深度。
圖5繪示將此演算法應用於圖3及圖4之第一經處理深度圖的結果。如所能見到的，已將一手臂及大部分另一手臂的深度恢復至與該人之其餘部分相同的深度層級而不影響該人的身體，且具體地不影響該人的腳與背景之間的一致性。
將理解，該等要求的不同臨限值可取決於個別實施例的要求及偏好。亦將理解，在一些實施例中，該等臨限值可係動態的及/或取決於其他參數或性質。
第三像素可從在第二像素上方的第二組像素選擇。一般而言，第二組像素可係在緊接在第二像素上方之列中的小數目的像素。例如，第二組像素可係在緊接在第二像素之列上方的列中之一組數目在1至15之間的像素。一般而言，第二組像素可相關於第二像素實質上水平地對稱。在許多實施例及情景中，使用相對低數目個像素作為深度傳播之來源的候選者可導致足夠強的補償同時維持足夠低的效果，以維持低的引入額外效果的風險。
亦將理解，藉由第二處理器207執行的處理不必包括深度圖中的所有像素。例如，在一些實施例中，該方法可僅應用於與影像的給定區域對應的深度圖之給定區域內的像素。而且，在許多實施例中，該具體方法亦可僅對能為其選擇目前像素上方之有效像素的像素予以反覆。例如，如藉由上文之偽碼所說明的，在許多實施例中，不以所描述的方法處理頂列，而是從第二最高列開始應用處理。在其他實施例中，可使用預設深度值，例如，藉由將預設深度值的一「虛擬」列加在頂列上方。
如在圖5中所能見到的，第二處理器207導致經改善深度圖，其中可已補償由第一處理器205引入的許多誤差及假影。然而，如所能見到的，該方法不能解決所有引入的假影。例如，尚未補償圖片左側之手臂的向上部分。
在圖2的系統中，第二處理器207耦接至第三處理器209，第二經處理深度圖饋送至該第三處理器且該第三處理器回應地產生第三經處理深度圖。第三處理器209基本上執行與第二處理器207之操作對稱但在由下至上之方向上的操作。
因此，第三處理器209可接收第二經處理深度圖並藉由在由下至上的方向上處理第二經處理深度圖中的像素而產生第三經處理深度圖。因此，第三處理器209可執行與第二處理器207相似的反覆或循序處理，但係在相反方向上執行處理。第三處理器209因此可視為執行第三階段，其尋求解決已具體地從第一階段產生的潛在誤差或假影。
第三處理器209經配置以藉由將第三經處理深度圖的深度圖值設定為第二經處理深度圖中的對應像素或在目前像素下方之第二經處理深度圖的像素之深度值而處理第二經處理深度圖。因此，第三經處理深度圖中的深度值可設定為第二經處理深度圖中之像素的對應深度值的深度值，或設定成目前像素上方的像素在第二經處理深度圖中的深度值。選擇使用何深度值同樣地基於考慮輸入深度圖及第一經處理深度圖二者的深度步幅準則。
更詳細地說，針對稱為第四像素的給定像素，第三處理器209判定第三經處理深度圖中的深度值
Figure 02_image041
。此深度值
Figure 02_image041
的一候選者係第二經處理深度圖中的對應深度值
Figure 02_image003
。此深度值可稱為第三候選深度值
Figure 02_image003
。
替代地，可將第三經處理深度圖的深度值
Figure 02_image041
設定成第二像素下方的第五像素在第二經處理圖的深度值。此深度值可稱為第四候選深度值
Figure 02_image043
。在許多實施例中，第五像素/第四候選深度值可從第四像素上方的一組像素（一般而言，一小組像素）選擇。例如，第四候選深度值
Figure 02_image043
可選自一組像素，其中k在[j-N;j+N]之區間中，其中N一般係小數目，例如，N可在從1至7的區間中。
因此，藉由第三處理器209的該方法在由下至上的方向上處理第二經處理深度圖，並維持第二經處理深度圖的深度值(
Figure 02_image045
)或允許深度值從目前像素下方之像素向上傳播(
Figure 02_image047
)。
如先前提及的，是否維持深度值或取代該深度值的選擇係基於相依於輸入深度圖及第二經處理深度圖二者中之深度步幅的深度步幅準則。
具體地說，深度步幅準則可要求深度步幅在輸入深度圖中的絕對值不高於第一臨限值，且第二經處理影像中的向後深度步幅不低於第二臨限值。
在此種實施例中，若第三處理器209偵測到在輸入深度圖中僅有小深度步幅，但在第二經處理深度圖中有大向後深度步幅（當移至目前像素時），則第二經處理深度圖可因此被來自上方之像素的深度值所替代。在此情形中，第二經處理深度圖中的大深度步幅可指示第一處理器205已在原始輸入深度圖中引入不在該處的深度轉變。因此，第三處理器209允許更向前的深度值從第五像素傳播至目前像素（第四像素）。
更具體地說，深度步幅準則可包含以下要求：第五像素與第四像素下方的像素之間在輸入深度圖中的絕對深度步幅不高於第六臨限值(
Figure 02_image049
)，及/或第四像素與第四像素上方的像素之間在輸入影像中的最大絕對深度步幅不高於第七臨限值(
Figure 02_image051
)。此等要求可提供在輸入影像中在水平或垂直方向上沒有相關於目前像素（第四像素）及目標像素（第五像素）的對應深度步幅的有利指示。因此，此等要求提供原始深度圖不具有局部深度轉變/步幅/不連續性的良好指示，且因此提供可已藉由第一處理器205之處理而引入任何此種局部轉變/步幅/不連續性的良好指示。
在許多實施例中，深度步幅準則可包含以下要求：在第二經處理影像中從第五像素至第四像素的向後深度步幅（的大小）不低於第八臨限值，亦即，至目前像素的步進導致足夠大之遠離相機/視點的深度步幅。在增加深度值D指示像素更接近相機/視點的實施例中，此能藉由(
Figure 02_image053
)表示。此可提供向後深度步幅存在的合適指示，其可能是因藉由第一處理器205的處理所引起。
作為具體實例，第三處理器209可執行下列演算法： 1.
Figure 02_image055
2.for row
Figure 02_image057
3.for column
Figure 02_image023
-1 4.for column
Figure 02_image025
,
Figure 02_image027
5.
Figure 02_image059
6.if
Figure 02_image061
and
Figure 02_image063
7.
Figure 02_image065
將理解，比照地將相關於藉由第二處理器207之處理提供的其他注釋、實例等同等地適用於藉由第三處理器209的處理。
圖6繪示將此演算法應用於圖5之第二經處理深度圖的結果。如所能見到的，現在已將該影像左側之手臂的深度恢復至與該人之其餘部分相同的深度層級而不影響該人的身體，且具體地不影響該人的腳與背景之間的一致性。
同樣地將理解，該方法僅可應用於能為其發現有效相鄰像素的適當像素。通常，將理解能將該等處理限制成僅應用於一些像素，且具體地說，用於計算或修改深度值的具體方法可僅應用於其他需要相鄰深度值可用於其的像素。
在一些實施例中，圖2的深度處理設備可進一步包含深度補償處理器211，其可處理已由第一處理器205及也選用地由第二處理器207及/或第三處理器209處理的深度圖以產生補償深度圖，其中可補償一些深度值以恢復一些已由先前處理減少的向前深度步幅。因此，由深度補償處理器211處理的深度圖可導出自第一經處理深度圖的經處理深度圖，亦即，藉由第一處理器205的處理已係導致該深度圖之處理的一部分。因此，第一經處理深度圖已例如藉由第二處理器207及/或第三處理器209的處理而自第一經處理深度圖導出。將理解導出的深度圖包括不改變第一經處理深度圖而簡單使用其的直接導出，亦即，饋送至深度補償處理器211的已處理深度圖在一些實施例中可係第一經處理深度圖自身。
深度補償處理器211之方法的實例可參考圖7闡明，其首先顯示輸入深度圖中之行的可能深度輪廓
Figure 02_image067
（具有增加y 值對應於影像中的較高列（亦即，y 朝向頂部增加））。次一輪廓顯示所產生之藉由第一處理器205產生之第一經處理深度圖的深度輪廓
Figure 02_image069
。如所能見到的，不允許用於增加y 值的向前深度步幅，且因此深度值在此種深度步幅發生處減少。
圖7的最下方圖表繪示在藉由深度補償處理器211的例示性深度處理之後所可能產生的深度輪廓
Figure 02_image071
。在該實例中，已重引入一些向前深度步幅。具體地說，在該實例中，原始的深度值，且因此深度步幅已重新恢復成受制於最大深度步幅值Dmaxstep 。具體地說，深度補償處理器211可執行下列操作： 1.for row
Figure 02_image073
2.for column
Figure 02_image075
-1 3.
Figure 02_image077
其中
Figure 02_image079
係原始輸入深度圖的深度值，且
Figure 02_image069
係藉由第一處理器205（及選用之地第二處理器207及第三處理器209）之處理的結果。
Figure 02_image071
係深度補償處理器211的最終輸出。參數D maxstep 係最大允許深度差（一般而言，針對具有0…255之動態範圍的深度圖，設定成例如5）。
因此，在此方法中，允許/重引入一些向前深度步幅（一般而言，小向前深度步幅）。在許多情景中，此方法可導致經改善感知品質。例如，可在影像物件中引入一些深度紋理及變化（例如，從而防止或緩和移動的人的扁平/紙板外觀），而仍確保感知成不突出/漂浮在地面上。
因此，深度補償處理器211可補償所接收之深度圖的深度值（其可例如從第一處理器205、第二處理器207、或第三處理器209的任一者接收，此取決於具體實施例）。給定像素的補償可基於此像素分別在所接收的已處理深度圖與原始輸入深度圖中的深度值之間的差予以判定。
在一些實施例中，諸如上述實施例，補償可簡單地等於在此等值之間受制於最大值的差（且因此只要相對深度步幅不超過該值在該層級受裁剪的最大值，深度補償處理器211恢復輸入深度值）。
在一些實施例中，在與最大值比較之前，補償可依小於1的縮放因子予以縮放。因此，可縮小深度變化，同時允許表示較高範圍。
藉由第一處理器205（及選用地第二處理器207及第三處理器209）之後處理的效果可提供更自然的觀看3D視覺體驗，但是代價是可能明顯降低感知的深度效果。藉由仍允許相對小的深度步幅（至多D maxstep ），可能得到與3D深度感知的最小損失組合之在感知上更自然的3D行為。圖8繪示饋送至深度補償處理器211之深度圖(a)與由深度補償處理器211產生之對應輸出深度圖(b)的實例。
應理解，為了清楚起見，上文描述已參考不同功能電路、單元、及處理器描述本發明之實施例。然而，將明白，可在不同功能電路、單元、或處理器之間使用任何合適的功能分布，而不減損本發明。例如，繪示為由分開的處理器或控制器執行之功能可由相同處理器或控制器實施例。因此，參考特定功能單元或電路僅被視為參考用於提供所描述之功能的合適手段，而非指示嚴格的邏輯或實體結構或組織。
本發明能以包括硬體、軟體、韌體、或彼等之任何組合的任何合適形式實作。本發明可任選地至少部分地實作為在一或多個資料處理及/或數位信號處理器上運行的電腦軟體。本發明之實施例的元件及組件可以任何合適方式實體地、功能地、及邏輯地實作。實際上，功能可以單一單元實作、以複數個單元實作、或實作為其他功能單元的一部分。因此，本發明可以單一單元實作，或可實體地及功能地分布在不同單元、電路、及處理器之間。
雖然本發明已相關於一些實施例描述，未意圖受限於本文陳述的具體形式。更確切地說，本發明的範圍僅由隨附的申請專利範圍限制。額外地，雖然特徵可顯現為結合特定實施例描述，所屬技術領域中具有通常知識者會認知所描述之實施例的各種特徵可根據本發明組合。在申請專利範圍中，用語包含不排除其他元件或步驟的存在。
另外，雖然個別地列舉，複數個構件、元件、電路、或方法步驟可藉由，例如，單一電路、單元、或處理器實作。額外地，雖然個別特徵可包括在不同的申請專利範圍中，可能有有利的組合，且包括在不同申請專利範圍中不暗示特徵的組合係可行及/或有利的。特徵包括在一類別之請求項中並未暗示對此類別的限制，反而指示該特徵可視需要同等地適用於其他請求項。另外，在申請專利範中的特徵次序並未暗示特徵必須以該次序作用的任何具體次序，且方法項中之個別步驟的次序未特別暗示步驟必須以此次序執行。更確切地說，步驟可以任何合適次序執行。此外，單數型參照未排除複數型。因此，對「一(a)」、「一(an)」、「第一」、「第二」等的參照不排除複數。申請專利範圍中的參考標誌僅提供為闡明實例，不應以任何方式解釋為限制申請專利範圍的範圍。
201‧‧‧深度圖接收器203‧‧‧深度圖產生器205‧‧‧第一處理器207‧‧‧第二處理器209‧‧‧第三處理器211‧‧‧深度補償處理器
將僅以舉例之方式參考圖式描述本發明的實施例，其中 ［圖1］繪示基於不同深度線索之深度圖的實例； ［圖2］繪示根據本發明一些實施例的用於處理深度圖之設備的元件之實例； ［圖3］繪示藉由圖2之設備產生的深度圖之實例； ［圖4］繪示圖3之深度圖的元件之特寫； ［圖5］繪示藉由圖2之設備產生的深度圖之實例； ［圖6］繪示藉由圖2之設備產生的深度圖之實例； ［圖7］繪示圖2的設備之深度圖的深度輪廓之實例； ［圖8］繪示圖2之設備的深度圖之實例。
201‧‧‧深度圖接收器
203‧‧‧深度圖產生器
205‧‧‧第一處理器
207‧‧‧第二處理器
209‧‧‧第三處理器
211‧‧‧深度補償處理器

Claims (20)

  1. 一種用於處理一深度圖的設備，其包含：一接收器電路，其中該接收器電路經配置以接收一輸入深度圖；一處理器電路，其中該處理器電路經配置以藉由在一由下至上的方向上判定用於複數個第一經處理像素之各者之一深度值而產生一第一經處理深度圖；其中該複數個第一經處理像素之各像素的該處理包含：獲取該輸入深度圖中之該像素的一第一深度值，針對該第一經處理深度圖中在該像素下方之一組較低像素基於該第一經處理深度圖中之深度值判定一第二深度值，及若該第一深度值比該第二深度值更後方，則設定該像素在該第一經處理深度圖中之該深度值為該第一深度值；及若該第二深度值比該第一深度值更後方，則設定該像素在該第一經處理深度圖中之該深度值為該第二深度值。
  2. 如請求項1之設備，其中該組較低像素包含緊接在該第一經處理深度圖中之該像素之一列下方的一列像素。
  3. 如請求項1之設備，其中該組較低像素包含不多於20個像素。
  4. 如請求項1之設備，其進一步包含一第二處理器電路，其中該第二處理器電路經配置以藉由在一由上至下的方向上判定用於一第二經處理深度 圖中之複數個第二像素之各者之一深度值而產生該第二經處理深度圖；其中判定用於該第二經處理深度圖中之各第二像素的該深度值包含：針對該第一經處理深度圖中在該第二像素上方之一第三像素基於該第一經處理深度圖中的一深度值判定一第三深度值，獲取該第一經處理深度圖中之該第二像素之一第四深度值，若符合一深度步幅準則，則設定該第二像素在該第二經處理深度圖中的該深度值為該第三深度值，及若不符合該深度步幅準則，則設定該第二像素在該第二經處理深度圖中的該深度值為該第四深度值，其中該深度步幅準則取決於在該輸入深度圖及在該第一經處理深度圖二者中的深度步幅。
  5. 如請求項4之設備，其中該深度步幅準則要求該輸入深度圖中之一深度步幅的一絕對值不高於一第一臨限值，且該第一經處理影像中的一向後深度步幅不低於一第二臨限值。
  6. 如請求項4之設備，其中該深度步幅準則包含以下之一要求：在該輸入深度圖中在該第三像素與該第二像素上方的一像素之間的一深度步幅之一絕對值不高於一第三臨限值。
  7. 如請求項4之設備，其中該深度步幅準則包含以下之一要求：在該輸入影像中在該第二像素與該第二像素上方的一像素之間的一最大絕對深度步幅不高於一第四臨限值。
  8. 如請求項4之設備，其中該深度步幅準則包含以下之一要求：在該第一經處理影像中從該第三像素至該第二像素的一向後深度步幅不低於一第五臨限值。
  9. 如請求項4之設備，其中該第二處理器電路經配置以從包含在緊接於該第二像素之一列上方的一列中之一第二組像素選擇該第三像素。
  10. 如前述請求項4之設備，其進一步包含一第三處理器電路，其中該第三處理器電路經配置以藉由在一由下至上的方向上處理該第二經處理深度圖中之複數個第四像素而產生一第三經處理深度圖；其中針對該第三經處理深度圖中之該複數個第四像素的各第四像素產生一深度值包含：針對該第二經處理深度圖中在該第四像素下方之一第五像素基於該第二經處理深度圖中的一深度值判定一第五深度值，獲取該第二經處理深度圖中之該第四像素之一第六深度值，及若符合一第二深度步幅準則，則設定該第四像素在該第三經處理深度圖中的該深度值為該第五深度值，及若不符合該深度步幅準則，則設定該第四像素在該第三經處理深度圖中的該深度值為該第六深度值；其中該第二深度步幅準則取決於在該輸入深度圖及在該第二經處理深度圖二者中的深度步幅。
  11. 如請求項1之設備，其中該第一處理器電路經配置以針對該第一像素基於該組較低像素之該深度值之一最大值判定該第一經處理深度圖之該深度值。
  12. 如請求項1之設備，其進一步包含一深度補償處理器電路，其中該深度補償處理器電路經配置以處理一先前經處理深度圖的像素，其中該先前經處理深度圖係自該第一經處理深度圖導出，其中該處理包含藉由一值修改一給定像素之該先前經處理深度圖的一深度值，該值係回應於該給定像素之該先前經處理深度圖的一深度值與該給定像素之該輸入深度圖的一深度值之間的一差而判定。
  13. 如請求項1之設備，其進一步包含一深度圖產生器電路，其中該深度圖產生器電路經配置以回應於基於一場景之一序列之影像中的運動評估之深度線索以及用於該場景之一預定深度輪廓而產生該輸入深度圖。
  14. 一種處理一深度圖的方法，其包含：接收一輸入深度圖；及藉由在一由下至上的方向上處理該輸入深度圖之複數個第一像素而產生一第一經處理深度圖；其中該複數個第一像素之各第一像素的該處理包含：獲取用於該輸入深度圖中之該第一像素的一第一深度值，及針對該第一經處理深度圖中在該第一像素下方之一第一組像素基於該第一經處理深度圖中之深度值判定一第二深度值， 若該第一深度值比該第二深度值更後方，則設定該第一像素之該深度值為該第一深度值；及若該第二深度值比該第一深度值更後方，則設定該第一像素之該深度值為該第二深度值。
  15. 如請求項14之方法，其中該第一組像素包含緊接在該第一像素之一列下方的一列像素。
  16. 如請求項14之方法，其中該第一組像素包含不多於20個像素。
  17. 如請求項14之方法，其進一步包含藉由在一由上至下的方向上處理第一經處理深度圖中之複數個第二像素而產生一第二經處理深度圖，其中產生該第二經處理深度圖中之各第二像素的一深度值包含：針對在該第二像素上方之一第三像素判定該第一經處理深度圖之一第三深度值；及獲取用於該第一經處理深度圖中之該第二像素之一第四深度值，若符合一深度步幅準則，則設定該第二像素在該第二經處理深度圖中的該深度值為該第三深度值，及若不符合該深度步幅準則，則設定該第二像素在該第二經處理深度圖中的該深度值為該第四深度值，其中該深度步幅準則取決於在該輸入深度圖及在該第一經處理深度圖二者中的深度步幅。
  18. 如請求項17之方法，其中該深度步幅準則要求該輸入深度圖中之一 深度步幅的一絕對值不高於一第一臨限值，且該第一經處理影像中的一向後深度步幅不低於一第二臨限值。
  19. 如請求項17之方法，其中該深度步幅準則包含以下之一要求：在該輸入深度圖中在該第三像素與該第二像素上方的一像素之間的一深度步幅之一絕對值不高於一第三臨限值。
  20. 一種非暫時性電腦可讀儲存媒體，其儲存指令，其中該等指令致使一處理器電路以：接收一輸入深度圖；及藉由在一由下至上的方向上處理該輸入深度圖之複數個第一像素而產生一第一經處理深度圖；其中該複數個第一像素之各第一像素的該處理包含：獲取用於該輸入深度圖中之該第一像素的一第一深度值，及針對該第一經處理深度圖中在該第一像素下方之一第一組像素基於該第一經處理深度圖中之深度值判定一第二深度值，若該第一深度值比該第二深度值更後方，則設定該第一像素之該深度值為該第一深度值；及若該第二深度值比該第一深度值更後方，則設定該第一像素之該深度值為該第二深度值。
TW107113672A 2017-04-26 2018-04-23 用於處理深度圖之設備及方法 TWI786107B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17168272.7A EP3396949A1 (en) 2017-04-26 2017-04-26 Apparatus and method for processing a depth map
??17168272.7 2017-04-26
EP17168272.7 2017-04-26

Publications (2)

Publication Number Publication Date
TW201907364A TW201907364A (zh) 2019-02-16
TWI786107B true TWI786107B (zh) 2022-12-11

Family

ID=58632903

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107113672A TWI786107B (zh) 2017-04-26 2018-04-23 用於處理深度圖之設備及方法

Country Status (9)

Country Link
US (1) US11172183B2 (zh)
EP (2) EP3396949A1 (zh)
JP (1) JP7159198B2 (zh)
KR (1) KR102490985B1 (zh)
CN (1) CN110678905B (zh)
BR (1) BR112019022227A2 (zh)
RU (1) RU2019137953A (zh)
TW (1) TWI786107B (zh)
WO (1) WO2018197630A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201813740D0 (en) * 2018-08-23 2018-10-10 Ethersec Ind Ltd Method of apparatus for volumetric video analytics
EP4013049A1 (en) * 2020-12-09 2022-06-15 Koninklijke Philips N.V. Apparatus and method for processing a depth map
EP4044046A1 (en) 2021-02-11 2022-08-17 Koninklijke Philips N.V. Depth orders for multi-view frame storing and rendering

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100046837A1 (en) * 2006-11-21 2010-02-25 Koninklijke Philips Electronics N.V. Generation of depth map for an image
US20110181588A1 (en) * 2008-09-25 2011-07-28 Koninklijke Philips Electronics, N.V Three dimensional image data processing
US20120268499A1 (en) * 2011-04-19 2012-10-25 Kuniaki Izumi Alternate Viewpoint Rendering
TW201331889A (zh) * 2012-01-20 2013-08-01 Realtek Semiconductor Corp 影像處理裝置與方法
TW201516960A (zh) * 2013-10-30 2015-05-01 Htc Corp 用於產生三維景象之裝置及由電腦執行之產生三維景象之方法
US20160337640A1 (en) * 2015-05-15 2016-11-17 Beijing University Of Posts And Telecommunications Method and system for determining parameters of an off-axis virtual camera

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2184713A1 (en) * 2008-11-04 2010-05-12 Koninklijke Philips Electronics N.V. Method and device for generating a depth map
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
JP5422538B2 (ja) 2010-11-09 2014-02-19 株式会社東芝 画像処理装置、表示装置、方法およびそのプログラム
US9363535B2 (en) * 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation
US9654764B2 (en) * 2012-08-23 2017-05-16 Sharp Kabushiki Kaisha Stereoscopic image processing device, stereoscopic image processing method, and program
US9483830B2 (en) * 2013-07-22 2016-11-01 Stmicroelectronics S.R.L. Depth map generation method, related system and computer program product
EP3058724A2 (en) * 2013-10-14 2016-08-24 Koninklijke Philips N.V. Remapping a depth map for 3d viewing
US9582888B2 (en) * 2014-06-19 2017-02-28 Qualcomm Incorporated Structured light three-dimensional (3D) depth map based on content filtering
US10097808B2 (en) * 2015-02-09 2018-10-09 Samsung Electronics Co., Ltd. Image matching apparatus and method thereof
CN107750370B (zh) * 2015-06-16 2022-04-12 皇家飞利浦有限公司 用于确定图像的深度图的方法和装置
EP3391647B1 (en) * 2015-12-18 2023-11-01 BOE Technology Group Co., Ltd. Method, apparatus, and non-transitory computer readable medium for generating depth maps
EP3185208A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method for determining missing values in a depth map, corresponding device, computer program product and non-transitory computer-readable carrier medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100046837A1 (en) * 2006-11-21 2010-02-25 Koninklijke Philips Electronics N.V. Generation of depth map for an image
US20110181588A1 (en) * 2008-09-25 2011-07-28 Koninklijke Philips Electronics, N.V Three dimensional image data processing
US20120268499A1 (en) * 2011-04-19 2012-10-25 Kuniaki Izumi Alternate Viewpoint Rendering
TW201331889A (zh) * 2012-01-20 2013-08-01 Realtek Semiconductor Corp 影像處理裝置與方法
TW201516960A (zh) * 2013-10-30 2015-05-01 Htc Corp 用於產生三維景象之裝置及由電腦執行之產生三維景象之方法
US20160337640A1 (en) * 2015-05-15 2016-11-17 Beijing University Of Posts And Telecommunications Method and system for determining parameters of an off-axis virtual camera

Also Published As

Publication number Publication date
JP7159198B2 (ja) 2022-10-24
EP3616399A1 (en) 2020-03-04
US20200077071A1 (en) 2020-03-05
EP3396949A1 (en) 2018-10-31
CN110678905B (zh) 2023-09-12
US11172183B2 (en) 2021-11-09
TW201907364A (zh) 2019-02-16
EP3616399B1 (en) 2022-08-17
KR102490985B1 (ko) 2023-01-25
WO2018197630A1 (en) 2018-11-01
JP2020518058A (ja) 2020-06-18
KR20200002028A (ko) 2020-01-07
CN110678905A (zh) 2020-01-10
RU2019137953A (ru) 2021-05-26
BR112019022227A2 (pt) 2020-05-12

Similar Documents

Publication Publication Date Title
US20230377183A1 (en) Depth-Aware Photo Editing
US9123115B2 (en) Depth estimation based on global motion and optical flow
US9237330B2 (en) Forming a stereoscopic video
US9041819B2 (en) Method for stabilizing a digital video
US9171372B2 (en) Depth estimation based on global motion
CN107750370B (zh) 用于确定图像的深度图的方法和装置
KR101502362B1 (ko) 영상처리 장치 및 방법
US8611642B2 (en) Forming a steroscopic image using range map
WO2013074561A1 (en) Modifying the viewpoint of a digital image
US20130129192A1 (en) Range map determination for a video frame
EP2087466A1 (en) Generation of depth map for an image
TWI786107B (zh) 用於處理深度圖之設備及方法
KR20090008808A (ko) 2차원 영상 신호의 3차원 영상 신호로의 변환 절차 및 변환장치
Zhang et al. Interactive stereoscopic video conversion
TW202226158A (zh) 處理深度圖之設備及方法
KR20230133974A (ko) 이미지 합성 시스템 및 그를 위한 방법