TW201622418A - 三維影像之視差的處理 - Google Patents

三維影像之視差的處理 Download PDF

Info

Publication number
TW201622418A
TW201622418A TW104133576A TW104133576A TW201622418A TW 201622418 A TW201622418 A TW 201622418A TW 104133576 A TW104133576 A TW 104133576A TW 104133576 A TW104133576 A TW 104133576A TW 201622418 A TW201622418 A TW 201622418A
Authority
TW
Taiwan
Prior art keywords
image
disparity
pixels
pixel
property
Prior art date
Application number
TW104133576A
Other languages
English (en)
Other versions
TWI678098B (zh
Inventor
克莉斯汀 維爾甘
派崔克 路克 艾爾斯 凡德沃爾
Original Assignee
皇家飛利浦有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 皇家飛利浦有限公司 filed Critical 皇家飛利浦有限公司
Publication of TW201622418A publication Critical patent/TW201622418A/zh
Application granted granted Critical
Publication of TWI678098B publication Critical patent/TWI678098B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0092Image segmentation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/003Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本發明揭示一種裝置,其包括一接收器(401),用於接收由至少若干影像值(亮度/對比值)及一視差值表示之一三維影像。一子集選擇器(403)評估一像素群組之影像值之一影像性質準則,且判定滿足該影像性質準則之該像素群組之一像素子集。該準則可(例如)反映該像素是否屬於一影像物件邊緣。一分佈評估器(405)針對像素子集之視差值產生一頻率分佈,且一分析器(407)判定該頻率分佈之一形狀性質。一配接器(409)回應於該形狀性質而判定一視差重映射,且一重映射器(411)藉由應用該視差重映射來修改該三維影像之視差值。當可能出現重疊圖形時,該方法可減低影像深度。

Description

三維影像之視差的處理
本發明係關於一三維影像之處理,且具體而言但非絶對地關於包括圖形重疊之三維影像之視差處理。
三維(3D)顯示器藉由提供一觀看者之雙眼所觀看之場景之不同視野而添加一第三維度於觀看經歷。此可藉由使得使用者佩戴眼鏡分離所顯示之兩個視野而實現。然而,由於此可考慮為對使用者不便,因此在諸多情況中係較佳地使用自動立體顯示器(其使用顯示器中之構件(諸如雙凸透鏡或屏障)以分離視野,且在不同方向(其中視野可個別到達使用者之眼部)上發送視野。對於立體顯示器,需要兩個視野而自動立體顯示器通常需要更多視野(諸如(例如)九個視野)。
為實現3D影像效應之需要,產生內容以包含描述所擷取之場景之3D態樣之資料。例如,對於電腦產生之圖形,一三維模型可開發且用以計算距一給定觀看位置之影像。此一方法係(例如)經常用於電腦遊戲(其提供一三維效果)。
作為另一實例,遞增地產生視訊內容(諸如電影或電視節目)以包含一些3D資訊。此資訊可使用專用3D攝像機(其自稍偏移之攝像機位置同時擷取兩個影像)擷取。在一些情況下,可自進一步偏移位準同時擷取更多影像。例如,彼此相對偏移之九個攝像機可用以產生對應 於一九個視野自動立體顯示器之九個視點之影像。
然而,一顯著問題係額外資訊導致實質上增加之數量之資料,其對於視訊資料之分佈、通信、處理及儲存係不實用的。相應地,3D資訊之有效的編碼係關鍵的。因此,已開發可實質上減少所需資料率之有效的3D影像及視訊編碼格式。
一用於表示三維影像之流行方法係使用一或多個具有相關深度資料之層狀二維影像。例如,一具有相關深度資訊之前景及背景影像可用以表示一三維場景或可使用一單一影像及相關深度圖。
編碼格式允許直接編碼影像之一高品質顯現(即,其允許對應於影像資料編碼之視點之影像之高品質顯現。此外,編碼格式允許一影像處理單元產生針對視點(其相對於所擷取之影像之視點而位移)之影像。類似地,影像物件可基於具有影像資料之深度資訊在該影像(或該等影像)中偏移。此外,如果此資訊係可用的,則未藉由該影像表示之區域可使用遮擋資訊填充。
然而,儘管3D場景之一編碼(其使用一或多個具有提供深度資訊之相關深度圖之影像)容許一非常有效的表示,但所得三維經歷係高度取決於藉由(若干)深度圖提供之足夠準確的深度資訊。
此外,諸多內容產生或提供為立體影像而無需相關深度資訊。對於諸多操作,相應地需要基於深度估計而判定用於該場景之影像物件之深度資訊。實際上,影像之間的視差直接反映一物件之深度,且術語深度及視差可經常交換使用。具體而言,一視差值亦係一深度值,且一深度值亦係一視差值。
諸多不同技術已知為深度/視差資訊。視差估計可用於各種3D相關應用,其包含(例如)自立體之多視野顯現、用於立體觀看之視差調整、用於機器人導航之機器視覺等等。
在視差估計中,通常藉着經由使用已知攝像機參數之三角測量 法推斷深度之意圖估計兩個或更多個影像中之對應點之間的一距離。例如,如果提供對應於不同觀看角度之兩個影像,則可在該等兩個影像中識別匹配影像區域且可藉由該等區域之位置之間的相對偏移估計深度/視差。因此,可應用演算法以估計兩個影像之間的視差(藉著該等視差直接指示對應物件之一深度。匹配區域之偵測可(例如)基於跨越該等兩個影像之影像區域之一互相關。可在D.Scharstein及R.Szeliski之「A taxonomy and evaluation of dense two-frame stereo correspondence algorithms」,International Journal of Computer Vision,47(1/2/3):7-42,2002年四月至六月中發現視差估計之一實例。
然而,在諸多情況下,儘管視差估計對於判定深度資訊可係有用的,但其趨向於不提供理想性能且所產生之深度資訊可係非常雜訊且包括不準確度。
US2011/234765揭示一能夠抑制容易在前景與背景之間的邊界附近發生之錯誤校正且產生一具有高準確度之視差圖之裝置。
US2013/308826揭示當該頻率分佈之一峰值直接出現在直方圖(其中視差(距離資訊)係一變數)中且該距離資訊之分佈寬度係寬時,一表達為一直方圖之目標區域通常係一區域(其中一更近物件及一更遠物件(其自立體攝像機之距離係離散的)共存且稱為「透視衝突區域」)。
在諸多情況下,一具有一更大濾波器核心之色彩適應(雙開)濾波器應用放大一低解析度視差估計或更經常減少該等視差估計中之錯誤/雜訊。當應用3D視訊之基於影像之顯現時,此濾波器確保穩定且經常消除視差圖。然而,其亦導致藉由過濾操作引起之新的假影。如果一物件(且特定言之,其邊緣)具有一變動色彩輪廓,則該等視差值亦將趨向於(不正確地)隨邊緣改變。此一變動色彩輪廓可(例如)藉由照明變化或陰影引起。此引起視差隨物件變化且導致合成視野中之扭曲 邊緣。由於吾人之人類視覺系統對於邊緣(中之扭曲)尤其敏感因此對於一人類觀看者,此等扭曲係干擾的。
此等扭曲可引起一藉由人類觀看者(諸如呈現圖形重疊時)之顯著感知之品質減少。
為繪示此,可考慮圖1之立體影像。在該實例中,一紋理影像藉由一圖形重疊而重疊。圖2繪示左影像及一估計基於方塊之視差。在視差圖中錯誤係清晰可見。圖3繪示左影像及色彩適應過濾已應用圖2之視差圖之後的估計視差。儘管該視差圖係較不塊狀的且看來更平滑,但在圍繞文本之區域中仍存在實質上的視差錯誤。
類似深度及視差假影可針對產生三維影像之深度資訊之其他方法而產生,且可降級呈現給一使用者之所得三維影像之感知品質。
因此,改良視差資料之產生將係有利的且特定言之,允許增加靈活度、減少複雜性、促進實施、改良感知深度、改良性能、減少感知深度假影之視差值及/或一改良三維影像之產生或判定將係有利的。
相應地,本發明企圖較佳地單一地或以任何組合減輕、緩和或消除上文所提及之缺點之一或多者。
根據本發明之一態樣,提供如請求項1之一裝置。
本發明可針對諸多應用提供一改良三維影像且在諸多情況下,且可在諸多實施例中提供一改良三維影像,其中可減輕或減少視差錯誤、不準確度或假影。特定言之,在諸多實施例中,本發明可適於減輕三維影像(其中視差資料已藉由基於(例如)立體影像之視差估計產生)之視差假影、錯誤及不準確度。特定言之,可針對影像(其可預期包含重疊圖形(諸如副標題、文本、標頭等等))產生改良。
在諸多實施例中,該方法可經配置以自動修改處理之效果以反 映包括重疊圖形之影像之可能性。
特定言之,發明者已認識到不僅視差錯誤及雜訊可係在圖形重疊周圍更普遍存在(例如,當視差藉由視差估計產生時)而且一包括圖形重疊之影像之可能性可藉由考慮特定特性及此等特性在深度維度中如何分佈而估計。發明者已進一步認識到自影像加上深度之顯現之視差降級之相反效應可藉由(經常位置上非特定)視差重映射(其藉由此一深度/視差分佈之此等特性控制)減輕。
一視差值可係指示一像素之一視差或深度之任何值。一視差值可具體而言指示一場景(其中兩個影像對應於不同觀看方向)之該等兩個影像中之對應像素之間的一水平距離。一視差值指示對應像素之一深度,且等效地一深度值指示一視差。因此,一深度值亦係一視差值,且一視差值係一深度值。應瞭解術語深度及視差可視情況視為同義術語。因此,指稱視差可視情況藉由指稱深度來替代,且指稱深度可視情況藉由指稱視差來替代。
視差值可具有一與影像值不同之解析度,且具體而言視差值可以一低於影像值之解析度提供。因此,在一些實施例中,兩個或更多個像素可共享相同視差值,即,一視差值可係共同的或針對複數個像素共享。
像素之一影像值可係指示像素之一彩度、色度、照度、光度、強度、亮度或色彩性質之任一者之任何值。一複合影像值可係一包括複數個分量或值之影像值。具體而言,一影像值可係一組用於不同色彩通道之值(諸如(例如)RGB值)。
視差重映射可係一自一輸入視差值產生一輸出視差值之函數或映射。視差重映射可(例如)藉由一數學方程式/函數表示或(例如)表示為一查找表。
根據本發明之一選用特徵,形狀性質指示該頻率分佈之至少一 峰值之一性質。
此可提供特別有利的的性能且在諸多情況下,可提供複數個特別良好之指示:該影像是否包含重疊圖形元件。
該至少一峰值之性質可(例如)係一量值、寬度或存在可能性估計。
在一些實施例中,形狀性質可指示該頻率分佈之一峰度。一峰度量測可產生且用作為形狀性質。該峰度可包含複數個峰值之一考慮,且可(例如)包含存在多少峰值之一考慮(根據一合適峰值準則)。
根據本發明之一選用特徵,該配接器經配置以增加一視差壓縮,該視差壓縮藉由視差重映射回應於該頻率分佈之一遞增峰度而提供。
在諸多實施例中,此可提供改良性能。特定言之,視差重映射可包含一用於視差位準之至少一範圍之視差壓縮。該視差壓縮可將一視差範圍映射至一更小視差範圍,且因此可減少深度變化。
根據本發明之一選用特徵,該分析器經配置以回應於選自以下群組之至少一參數而判定該形狀性質:該頻率分佈之一最大頻率;相對於該頻率分佈之一平均頻率之該頻率分佈之一最大頻率;該頻率分佈之一峰值之一寬度量測;相對於一峰值頻率之鄰區之一視差位準中之頻率之該頻率分佈之該峰值頻率。
在諸多實施例中,此可提供改良性能。
根據本發明之一選用特徵,該分析器經配置以回應於該頻率分佈之一模式之至少一量值而判定形狀性質。
在諸多實施例中,此可提供改良性能。
根據本發明之一選用特徵,該子集選擇器經配置以針對像素群組之像素產生一邊緣偵測指示,該邊緣偵測指示指示該像素是否屬於一影像物件邊緣;且其中該影像性質準則包括該邊緣偵測指示之一需 求。
此可提供特別有利的性能,且在偵測重疊圖形及調適視差資料以反映此上係尤其有效。該影像性質準則可具體而言包括該邊緣偵測指示超過一臨限值(例如,一色彩通道值藉由超過(比如)當前像素與一相鄰像素之間的總範圍之25%而有所不同)之一需求。
根據本發明之一選用特徵,該子集選擇器經配置以針對像素群組之每個像素產生一影像性質轉變量測,且該影像性質準則包括該影像性質轉變量測之一需求。
此可提供特別有利的性能,且在偵測重疊圖形及調適視差資料以反映此上係尤其有效。該影像性質準則可具體而言包括該影像性質轉變量測超過一臨限值(例如,一色彩通道值藉由超過(比如)當前像素與一相鄰像素之間的總範圍之25%而有所不同)之一需求。該影像性質轉變量測可具體而言指示該像素之一鄰區中之一影像性質(例如,亮度及/或色彩變化)之變化之一(空間)梯度或程度。
根據本發明之一選用特徵,該影像性質準則包括該像素之一照度及一色度之至少一者之一需求。
在諸多實施例中,此可提供特別有利的性能,且在偵測重疊圖形及調適視差資料以反映此上係尤其有效。該影像性質準則可具體而言包括該照度超過一值或該色度屬於一給定色彩範圍之一需求。
在一些實施例中,該子集選擇器可經配置以針對像素群組之每個像素產生一色彩飽和度量測,且該影像性質準則可包括該色彩飽和度量測之一需求。
在諸多實施例中,此可提供特別有利的性能,且在偵測重疊圖形及調適視差資料以反映此上係尤其有效。該影像性質準則可具體而言包括該色彩飽和度量測超過一臨限值(例如,一自像素之色彩至白色之色彩空間距離量測超過(例如)最大值之50%)之一需求。
根據本發明之一選用特徵,該重映射器經配置以僅修改該等視差值之一視差範圍之一子範圍中之視差值。
在諸多實施例中,此可改良性能且(特定言之)可提供一感知品質改良。在諸多實施例中,該子範圍可係顯示器/螢幕位準前方(即,在對應於影像之間的零視差之影像平面前方)之一子範圍。
根據本發明之一選用特徵,該分析器經配置以僅回應於該頻率分佈之一視差值子範圍而判定形狀性質。
在諸多實施例中,此可改良性能且(特定言之)可提供一感知品質改良。在諸多實施例中,該子範圍可係顯示器/螢幕位準前方(即,在對應於影像之間的零視差之影像平面前方)之一子範圍。
根據本發明之一選用特徵,該視差重映射係至少一視差位準子範圍中之一線性重映射,且該配接器經配置以回應於該形狀性質而判定該線性重映射之一重映射係數。
在諸多實施例中,此可提供改良性能及/或促進實施。
根據本發明之一選用特徵,該分佈評估器經配置以當產生該頻率分佈時加權像素子集之像素,一像素之加權取決於像素之一影像位置。
在諸多實施例及情況下,此可提供視差假影之改良感知減輕。
根據本發明之一選用特徵,該子集選擇器經配置以評估像素群組之每個像素之一第二影像性質準則且判定滿足該第二影像性質準則之像素群組之一第二像素子集;且其中該裝置經配置以回應於該第二像素子集之該等視差值之一頻率分佈而判定該視差重映射。
在諸多實施例及情況下,此可提供視差假影之改良感知減輕。
在一些實施例中,該裝置可經配置以判定該第二頻率分佈之一第二形狀性質且回應於該形狀性質與該第二形狀性質兩者而判定該視差重映射。
在一些實施例中,該裝置可經配置以判定用於像素子集與該第二像素子集兩者之該等視差值之頻率分佈。
根據本發明之一態樣,提供一根據請求項11之方法。
自且參考在下文中描述之(若干)實施例闡明,本發明之此等及其他態樣、特徵及優點將變得明顯。
401‧‧‧接收器
403‧‧‧子集選擇器
405‧‧‧分佈評估器
407‧‧‧分析器
409‧‧‧配接器
411‧‧‧重映射器
將僅作為實例參考圖式描述本發明之實施例,其中圖1繪示一包括具有重疊圖形之一左眼及右眼圖像之立體3D影像之一實例;圖2繪示藉由一左眼圖像表示值圖1之3D影像之一實例及藉由自圖1之立體影像之視差估計產生之一視差圖;圖3繪示在過濾該視差圖之後之圖2之3D影像之一實例;圖4繪示根據本發明之一些實施例之用於處理一3D影像之一裝置之一實例;且圖5繪示在藉由圖4之裝置之一例示性實施例處理之後之圖3之3D影像之一實例。
以下描述將聚焦於實施例,其中基於一輸入三維影像是否包括重疊圖形之一估計來處理該影像。然而,應瞭解本發明不限於此一實施例或應用,而係可應用諸多不同的應用及影像。
圖4繪示一用於處理一三維(3D)影像之裝置。
該裝置包括一接收器401,其經配置以接收一3D影像。該3D影像係由像素組成,且此等像素之各者與一指示自該位置處所見之物件輻射之可見光的影像值及一指示場景中之物件之深度的視差值相關聯。
該接收器可(例如)係一網路介面、一媒體讀取器、一光學磁碟讀取器、一電視接收器等等,或當然,可實施為能夠自一合適外部或內 部源接收影像資料之任何合適硬體。
通常,針對一影像之像素提供影像值。該等影像值可指示該像素之空間位置之一可見光輻射特性,即,該影像值描述自該影像之觀看方向之該像素位置輻射之光的性質。該等影像值通常係光強度(亮度)及/或色彩相關,且具體而言,可指示照度、光度、色度、彩度、色彩及亮度之一或多者。
在諸多實施例中,該等影像值可係包括(例如)對應於一色彩表示(諸如(例如)一照度值及一Yuv表示之兩個色度值或一RGB表示之三色通道值)之不同分量之複數個子值的複合影像值。
通常,以對應於該影像之像素解析度之一解析度來提供影像值,或等效地,該像素解析度可係由具有針對每個像素提供之一值之影像值解析度界定。
除該等影像值外,該3D影像進一步包括深度資訊。在該實例中,以視差值之形式來提供此深度資訊。該等視差值指示在對應像素位置處所見之影像物件之一深度。
應瞭解視差值可係指示包含(例如)一直接視差指示(例如,在針對一給定視角差異之像素中量測)或一僅提供一深度指示之z值之影像物件之一深度。亦應瞭解視差值可係有正負號的值,且經常具有針對對應於一螢幕位準或顯示深度之零視差的零值,及具有自該顯示位準之後改變至該顯示位準之前之視差值的符號。亦應瞭解在下文中,參考視差值可包含沒有符號的值(其包含直接Z值或絕對視差指示)。
該影像之視差值係提供為數位值。因此,該等視差值係提供為量化值,且因此係由複數個可能視差位準之一者表示。因此,視差範圍被分成複數個視差位準,且每個視差值經給定為此等可能視差位準之一者。相應地,視差位準係指該等視差值可採用之可能值,且一視差值對應於該像素之單一視差位準。因此,一視差位準係該等視差值 之一可能值。
在諸多實施例中,該影像值及該等視差值之解析度可係不同的。當然,通常,在一深度或視差圖(其具有相對於該等影像值或像素之減少解析度)中提供該等視差值。因此,在一些實施例中,可針對像素之一群組提供一視差值,即,像素之一群組之各者可經連結至相同視差值。
接收器401經耦合至一子集選擇器403(其經配置以評估像素群組之每個像素之影像值之一影像性質準則)。接著,子集選擇器403產生一像素子集(其包含滿足該影像性質準則之全部像素)。
因此,針對每個像素之子集選擇器403,考慮一關於該影像值(即,一視覺分量(諸如一照度及/或色度值))之準則。基於此評估,產生一像素子集,且具體而言,因此識別滿足一特定視覺準則之像素子集。
可在一合適處理平台或任何其他合適硬體上實施子集選擇器403。例如,一微處理器可經配置以執行所描述之比較且選擇該子集之像素。該處理器可包括輸出介面電路,其可將此等像素之資料傳輸至外部源。
子集選擇器403耦合至一分佈評估器405,其針對像素子集之視差值產生一頻率分佈。分佈評估器405可(例如)實施為單獨硬體(諸如一具有用於自一實施子集選擇器403之微控制器或微處理器接收資料之介面電路之微控制器或微處理器)。
該頻率分佈可因此反映視差位準之不同群組或種類之子集中之像素之發生之數量。該等種類之各者可稱為一筐(對應於該頻率分佈之一直方圖表示)。在諸多實施例中,該視差值可具有一給定(通常相對低之解析度)。例如,視差可藉由允許256個不同視差位準之8位元值給定。在一些實施例中,每個種類可對應於一視差位準,即,對於 每個可能視差值(至少在一給定範圍中)存在一種類。在其他實施例中,種類可覆蓋複數個可能視差位準,(例如)每個種類可給定為一視差位準範圍,藉著每個範圍包括一或多個視差位準。
在諸多實施例中,對於每個種類之頻率分佈值係僅給定為具有一落入該種類中之視差值之子集中之像素之數量之總和。具體而言,在實施例(其中每個種類給定為一單一視差位準)中,分佈評估器405可經配置以將一種類之頻率分佈值判定為具有對應於該種類之視差位準之視差值之子集中之像素之數量。
因此,分佈評估器405產生一頻率分佈,其反映如何在深度/視差維度中分佈具有對應於藉由該影像性質準則界定之該等視覺特性之視覺特性之像素。
分佈評估器405耦合至一分析器407(其經配置以判定該頻率分佈之一形狀性質)。該形狀性質反映該分佈之形狀且具體而言,反映該等種類/筐之量值隨該分佈而變化。
分析器407可(例如)實施為以一處理平台(藉著介面電路用於自實施該分佈評估器之硬體接收資料)之形式之獨立硬體。例如,一微處理器或專用硬體積體電路可用以實施分析器407。
具體而言,分析器407可產生一單一值(其指示該頻率分佈之一形狀性質)。該形狀性質可(例如)係該分佈之一最大量值。該最大值可係大量所偵測之像素是否位於一窄深度範圍中(即,所偵測之像素是否集中在一特定深度處或所偵測之像素是否跨越該深度範圍更均勻地展開)之一指示。
作為一實例,可產生一形狀性質以反映(例如)白色重疊圖形呈現在一影像中之可能性。例如,在一些情況中,可接收可或可不含有標題之影像。具體而言,此等標題可假定(或已知)為白色且通常該等標題將係定位於螢幕位準前方之一特定深度處之圖形物件。因此,在該 實例中,該圖形(標題)重疊特徵為藉由位於螢幕前方之一特定視差位準處之白色像素形成。子集選擇器403首先評估該影像中之全部像素之色彩且產生包括根據一合適影像性質準則(例如,該等RGB值全部係足夠高)而考慮為白色之全部像素之一像素子集。接著,針對具有對應於不同視差位準之種類/筐之此等像素產生一頻率分佈。在此情況下,係重疊圖形(該等標題)之部分之全部白色像素將落入相同筐/種類中而其他白色像素可能跨越不同種類/筐更均勻地分佈(即,其將趨向於在深度上分佈)。
在此情況下,分析器407可判定一形狀性質,其指示該等白色像素是否趨向於集中為一單一筐/種類(即,處於相同深度)或其是否趨向於更均勻地分佈。在該實例中,分析器407可僅產生一形狀性質,其指示多少像素在具有最多像素之種類/筐中,即,其可將該形狀性質產生為最大量值。當該影像含有一標題重疊時,由於該標題之全部白色像素處於相同深度且因此落入相同種類中,因此此可能係高。當該影像不含有一標題重疊時,由於該等白色像素均勻展開,因此其可能係更低。在一些情況下,該量值可標準化為該子集中之像素之總量。因此,以一種類中之像素之最大數量之形式之一形狀性質可提供該影像是否含有一標題重疊之一良好指示。
更一般而言,可產生一形狀性質,其反映當前影像是否包括大量滿足一特定視覺準則且亦位於一窄深度範圍(且具體而言,處於相同深度/視差位準)中之像素。具體而言,此一形狀性質可反映一具有給定視覺特性之扁平影像物件呈現在該影像中之可能性。特定言之。此方法可適於偵測物件(諸如重疊圖形(其特徵可為經常具有均質及特定視覺特性,且藉由非常扁平(且通常限於一視差位準))。
由於圖形物件經常定位於螢幕前方(當左眼影像用作為視差向量之參考時處於負視差),因此其可進一步要求(例如)含有最大數量之像 素之視差筐必須對應於螢幕前方之一位準(即,該實例中之一負或零視差)。因此,忽略對應於位於螢幕後之物件之筐。
分析器407耦合至一配接器409(其經配置以回應於該形狀性質而判定一視差重映射)。
配接器409耦合至一重映射器411(其亦耦合至接收器401)。重映射器411自接收器401接收該3D影像且自配接器409接收該視差重映射。
配接器409及重映射器411可在個別硬體中實施,且具體而言,可實施為包含一合適微處理器或微控制器與能夠自實施該裝置之其他功能性零件之其它硬體處理平台接收資料且將資料傳輸至該等平台之相關介面電路之個別處理平台。
重映射器411經配置以藉由應用該視差重映射至該等視差值而修改所接收之3D影像之視差值。該視差重映射提供一輸出視差值作為一輸入視差值之一函數,藉著該函數/映射取決於該形狀性質。
具體而言,該視差重映射可包含一視差壓縮使得至少一視差範圍壓縮至對於該形狀性質之至少一些值之一更小視差範圍。
作為一特定實例,如果該形狀性質指示該頻率分佈之一相對較低之最大量值(且因此指示所接收之影像包括任何重疊圖形之一相對較低之可能性),則可產生視差重映射以不實際改變任何視差值,即,可產生與輸入視差值完全相同之輸出值。在此實例中,該輸出/修改3D影像可與藉由該接收器接收之影像相同。
然而,如果該形狀性質指示該頻率分佈之一相對較高之最大量值(且因此指示所接收之影像包括任何圖形重疊之一相對較高之可能性),可產生該視差重映射以減少用於螢幕位準前方之物件之視差範圍。例如,如果自128至255之視差值指示螢幕前方之深度位準,則可產生視差重映射使得其壓縮此範圍降至自128至160之值。因此,螢幕 前方之深度範圍在所得輸出/修改3D影像中實質上減少。
結果,隨著深度範圍減少,視差值中之錯誤及不準確度之感知影響可實質上減少。如此一來,假影係經常尤其普遍存在且在重疊圖形周圍顯而易見,該裝置容許取決於所接收之3D影像之一特定分析之適應以判定此包括重疊圖形元件之可能性之一指示。
當然,發明者已認識到當執行視差估計時,視差估計錯誤在重疊圖形物件周圍係尤其顯著。發明者已認識到歸因於此等通常就視覺性質(色彩/亮度)與深度差別而言自區域突出之該等錯誤趨向於在重疊圖形物件周圍更可感知且該等錯誤趨向於在重疊圖形物件周圍尤其普遍存在(因為此等通常含有經受視差濾波之薄物件(線、文本))。因此,發明者已認識到視差錯誤趨向於在(例如)重疊圖形物件周圍尤其普遍存在且亦趨向於在此等物件周圍更可感知。
發明者已進一步認識到此等效應可藉由應用該影像之視差值之一適應重映射而減輕且該適應重映射可取決於該影像包括重疊圖形之一可能性之一指示。圖4之裝置可提供一用於執行此功能之特定及有利的方法。
然而,應瞭解圖4之裝置不限於偵測重疊圖形之可能存在但可用於偵測諸多其他可能影像物件或特性。特定言之,應注意所描述之方法提供一允許深度重映射取決於具有特定視覺及深度特性之性質之存在之方法。
亦應瞭解該視差重映射不必須執行視差壓縮但在其他實施例中,其可(例如)需要在特定影像性質或物件藉由所描述之方法偵測之情況下擴展深度範圍。
然而,在所描述之特定實例中,圖4之裝置經配置以回應於指示包括重疊圖形物件之所接收之3D影像之一增加可能性之形狀性質而針對視差位準之至少一範圍增加視差壓縮之一程度。
該方法反映發明者認識到大多數圖形物件具有就影像性質與視差而言之特定特性。例如,圖形物件經常位於一具有恆定視差之平面(平行於虛擬攝像機平面)上,由於任意攝像機定向,因此其係經常不係場景之其他內容/正常影像之情況。圖形物件經常含有比其他內容更陡之邊緣。此外,真實場景之典型圖像經受有限攝像機之景深而圖形稍後插入且通常係尖銳的。該特定方法亦反映發明者認識到圖形物件(諸如開放信用、副標題及標誌)經常另遠離螢幕位準但以一恆定視差放置。由於與該等重疊圖形物件之視差值混合之自背景之一視差值將歸因於大視差差異而導致一大錯誤,因此此亦導致視差假影係在重疊圖形物件周圍非常顯而易見。
在該特定實例中,此等考慮藉由特定影像性質(諸如銳邊緣,作為視差或深度之一函數)之發生之一頻率分佈之產生而反映。如果在一特定螢幕外視差中,銳邊緣之頻率超過一臨限值,則可能存在一螢幕外圖形物件且因此修改視差/深度圖(具體而言,藉由視差壓縮)以減輕視差假影之可能出現。
實際評估已展示減少取決於(例如)針對一給定視差位準發現之銳邊緣之數量之一頻率分佈之一形狀性質之全部螢幕外視差提供非常有效的減輕。實際上,圖形物件(及具有螢幕外視差之全部其他內容)壓縮回螢幕深度,由此使得錯誤較不顯而易見。作為一特定實例,該裝置可經配置以減少包含螢幕外圖形物件之場景之螢幕外深度效應而對於不包含螢幕外圖形物件之影像,其保持不變。已發現此以提供一實質上改良之使用者經歷。
所使用之特定影像性質準則將取決於特定實施例及應用之特定偏好及需求。
在諸多實施例中,尤其有利的性能藉由指向於選擇可能屬於一影像物件邊緣(且具體而言,屬於不同影像物件之間的一過渡區域)之 像素之影像性質準則實現。
在諸多實施例中,該影像性質準則可包括該像素與一相鄰像素之間的影像性質差異超過一臨限值之一需求。該相鄰像素可(例如)要求係一像素(其係在於當前像素之一給定距離內(諸如(例如)具有至當前像素之一個、兩個、三個、五個或十個像素之一最大距離)。如果該像素與該相鄰像素之間的影像性質差異超過一臨限值,則可考慮當前像素係一影像物件邊緣之部分,且該像素可包含在該子集中。該臨限值可(例如)係一色彩差異(量測為個別色彩通道(例如,RGB)值之間的總累積差異)超過(例如)一色彩通道值(例如,對於8位元RGB值,可要求對應色彩通道值之間之總差異超過256)之總範圍之100%。
在諸多實施例中,該影像性質準則可要求當前像素與一相鄰像素之間的一影像性質差異(例如,強度)超過一給定臨限值(即,當前像素與一相鄰像素之間的影像性質差異緊鄰/位於距當前像素之一像素之一距離內)。例如,可能需要在強度上之差異超過例如最大強度的30%。如果滿足此準則,該像素考慮為一邊緣像素。特定言之,由於此等趨向於具有非常尖銳之邊緣(通常相鄰像素之間的劇烈轉變),因此此準則可非常適於偵測且選擇位於一重疊圖形物件之邊緣之像素。例如,如果一明亮白色圖形元件與一相對更暗之影像重疊,圖形物件之白色邊緣像素通常將與一對應於下伏影像之更暗像素相鄰。此等劇烈轉變不可能在自然場景之影像中發生且因此在圖形物件與影像內容之間的正常影像變化與轉變之間提供一非常準確的差別。
因此,在諸多實施例中,子集選擇器403可經配置以針對像素產生一邊緣偵測指示,其中該邊緣偵測指示指示該像素是否屬於一影像物件邊緣。一合適邊緣偵測指示可(例如)係該像素與一或多個鄰區或相鄰像素之間的一影像性質差異。該鄰區(或相鄰)像素可(例如)在一給定鄰區(諸如(例如)導致最大差異且具有自當前像素至多兩個像素之 一距離之像素)內預定義或發現。依此方式,產生一指示該像素屬於一影像物件邊緣之可能性之邊緣偵測指示。
接著,該影像性質準則可要求此邊緣偵測指示超出一給定位準。如果如此,則考慮已發現影像物件之間(且可能一圖形物件與該下伏影像之間)的一邊緣。因此,考慮該像素係一邊緣像素且相應地包含在用於產生頻率分佈之子集中。
在一些實施例中,子集選擇器403經配置以針對每個像素產生一影像性質轉變量測。當前像素與一或多個相鄰像素之間的一差異之所描述中之邊緣偵測指示亦可係一合適影像性質轉變量測。具體而言,該影像性質轉變量測可指示在該像素之位置處之影像性質之一梯度或變化。
具體而言,在其他實施例中,該影像性質轉變量測可不旨在偵測邊緣但可替代經調適以偵測影像物件之扁平區域。例如,可判定一鄰區(具有(例如)10個像素半徑)中之影像性質之一變數。該變數可用作為一影像性質轉變量測且該影像性質準則可包含一要求:如果該變數係低於一臨限值,則該像素僅包含在該子集中。相應地,如果該像素屬於一扁平且均質之影像區域,則僅包含該像素。
此一方法可(例如)對於偵測一影像(不期望其包含均質物件(諸如通常藉由攝像機擷取之真實情況所產生之影像)之其他大區域)中之均質圖形(例如,一單一色彩圖形)之存在係有用的。如果所得頻率分佈展示處於一特定深度之大量像素,則此指示該影像包括大量像素(其係非常均質之區域之部分且處於一特定深度位準)。此指示所接收之3D影像中之重疊圖形物件之存在。
應瞭解在諸多實施例中,該裝置可考慮複數個值(諸如(例如)不同色彩通道值)。在此等情況下,所描述之方法可(例如)個別應用每個色彩通道。該裝置可(例如)針對每個色彩通道產生一邊緣偵測指示值 或影像性質轉變量測值且接著,將此等值組合成一單一邊緣偵測指示值或影像性質轉變量測值(其用以評估該影像性質準則)。在一些實施例中,該影像性質準則可包括該等色彩通道之各者之一需求。
替代地或另外,應瞭解,在其他實施例中,其他參數可藉由其該影像性質準則考慮。
在諸多實施例中,該影像性質準則可包括該像素之照度及/或色度之一需求。例如,可要求該像素之亮度係超出一給定位準及/或色度/色彩落入一特定區域內。
例如,可要求照度超出一給定位準且色彩通道值(具有(例如)一RGB表示)之間的最大差異係低於一臨限值(比如,總範圍之20%)。此可反映一考慮:重疊圖形係明亮的且實質上白色的(其可已知為一些實施例中之情況)。因此,在此一實例中,該裝置可經調適以基於該影像是否包括位於實質上相同深度之一足夠大之數量之實質上白色且實質上明亮之像素之一考慮而調整修改影像之深度範圍。
在一些實施例中,子集選擇器403可針對每個像素產生一像素色彩性質量測且該影像性質準則可包括色彩性質量測之一需求。
具體而言,該色彩性質量測可係一色彩飽和度量測。在一些實施例中,重疊圖形之特徵可為使用非常飽和之色彩。在此等實施例中,子集選擇器403可產生色彩之飽和度之一指示。例如,最大色彩通道值與下一最大色彩通道值之間的差異可判定為一色彩飽和度量測。接著,該影像性質準則可要求此色彩飽和度量測超過一臨限值(諸如(例如)最大值之50%)。
藉由分析器407判定且藉由配接器409考慮之形狀性質可取決於本發明之偏好及需求。
在諸多實施例中,該形狀性質可指示該頻率分佈之至少一峰值之一性質(諸如該量值)。該形狀性質可係一指示該頻率分佈之峰度之 性質。
在所評估之影像包括重疊圖形之情況中,像素子集可能包括大量像素(其全部處於相同深度層)。相應地,諸多像素將落入相同視差位準種類或筐中。結果,該頻率分佈將趨向於具有處於非常特定之視差位準(即,非常特定之筐)之像素之一高密集度。當然,通常,所有重疊圖形物件將趨向於定位於相同深度位準處,且相應地,在該頻率分佈之一筐/種類中將存在之子集之像素之一非常高的密集度。
相應地,在諸多實施例中,該系統可產生一形狀性質,其反映多少頻率分佈集中於個別峰值。一具有一大且窄之峰值之頻率分佈可能指示重疊圖形之存在。一相對較扁平且不包括任何峰值之頻率分佈可能指示該影像不含有任何重疊圖形。
在一些情況中,一影像可包含處於不同深度位準之重疊圖形且相應地,此可導致該頻率分佈中之一個以上峰值。因此,在一些實施例中,該系統可包含一個以上峰值之一考慮。
應瞭解可使用反映該頻率分佈之峰度之程度的不同形狀性質。該峰度可考慮為像素集中於種類/筐/視差位準之一量測。
一頻率分佈之峰度可指示該等像素是否跨越該等種類廣泛地分佈或其是否趨向於集中於一或一些筐(或可能相鄰筐之群組)。一峰值可通常係由具有一顯著地比該峰值之鄰區中之種類更高的量值指示。該峰值因此可為局部或全域最大值。該峰值之特徵可為最大量值與其降落多快。因此,(例如)一峰值之特徵可為一量值及寬度(例如,最大量值之50%處)。因此,該峰度可(例如)由該最大量值及/或寬度指示。替代地或另外,該峰度可由呈現該頻率分佈(其中使用一合適峰值偵測準則)之峰值的數量指示。例如,如果該頻率分佈包括一或多個峰值,則可考慮該影像包含重疊圖形,且如果其不含有任何峰值,則可考慮其不含有任何重疊圖形。
例如,在一些實施例中,分析器407可包含一峰值偵測器(其經配置以在該頻率分佈中偵測峰值之存在)。任何合適峰值準則可用以偵測一峰值(諸如(例如)該峰值之量值必須為一給定臨限值超過一平均量值或(例如)該等兩個相鄰筐之量值)。例如,如果一筐之量值係三倍高於兩個相鄰筐之量值,則可考慮呈現一峰值。接著,分析器407可繼續將該形狀性質判定為(例如)最大峰值的高度,或(例如)判定為所偵測之峰值的組合高度。
應瞭解可在不同實施例中使用不同形狀性質。
已發現一尤其有利的方法係將該形狀性質建立於於該頻率分佈之一模式之一量值的基礎上。具體而言,在一些實施例中,該形狀性質可回應於具有最大量值之模式(即,主要模式)的量值而產生。
因此,在一些實施例中,該模式可係全域最大且因此反映經常發生之種類,即,視差位準(或視差位準範圍)(對於此,該頻率分佈具有一全域最大值。然而,在一些實施例中,該方法可考慮一或多個局部最大值(例如,要求其滿足特定特性(諸如具有至少(比如)該全域最大值之50%之一值)。
在一些實施例中,可使用一複雜性相對較低之方法來判定該形狀性質。
例如,在一些實施例中,分析器407可經配置以基於該頻率分佈之最大頻率來判定該形狀性質,且具體而言,在一些實施例中,該形狀性質可直接判定為該頻率分佈之最大頻率。因此,在一些實施例中,分析器407可僅繼續透過該頻率分佈之種類搜尋來發現具有最高量值之一者。接著,該形狀性質可被設定成等於此值,或可(例如)相對於該子集中之像素的總數量而標準化。此一方法可被認為是對應於將該形狀性質設定成該頻率分佈之(主要)模式的量值。
此一方法可允許一低複雜性方法,而實際上已發現提供非常有 利的結果。
在一些實施例中,分析器407可經配置以基於相對於該頻率分佈之一平均頻率之頻率分佈之一最大頻率邋判定該形狀性質。
在一些實施例中,分析器407可經配置以基於相對於與一峰值頻率相鄰之一視差位準中之頻率之頻率分佈的峰值頻率來判定該形狀性質。具體而言,最大量值可與該最大量值筐之鄰區中之其他筐的量值比較。例如,其可與(比如)周圍四個筐之平均量值比較。在諸多實施例中,此一方法可提供該等像素是否對應於重疊圖形之一更強指示。
在一些實施例中,該形狀性質可(例如)藉由識別最大頻率(即,該頻率分佈中之最大量值)判定。接著,分析器407可將(比如)該等兩個框之最大值擷取至當前筐之任一側。接著,可繼續判定此等四個筐之平均值。最後,該形狀性質可給定為頻率分佈之最大量值除以所判定之平均值。因此,該形狀性質指示該頻率分佈之多大的主要峰值相對於周圍值。相應地,產生一反映該峰值之量值與寬度兩者之形狀性質。
在一些實施例中,該形狀性質可不僅與一鄰區比較而且可係與整個頻率分佈之一比較。例如,分析器407可判定整個頻率分佈(例如,排除模式筐)之平均頻率,而不是僅自最大頻率之一鄰區中之筐產生平均頻率。在此情況下,該形狀性質可(例如)產生為最大量值除以該頻率分佈之平均頻率。此參數可提供一標準化最大量值之一良好指示但不可提供為準確地反映一主要峰值之寬度。
在一些實施例中,分析器407可經配置以基於該頻率分佈之一峰值之一寬度量測而判定該形狀性質。例如,分析器407可偵測該頻率分佈之最大量值。接著,在該量值少於(比如)所偵測之量值之50%之前,可繼續判定距離(就筐之數量而言(或例如視差位準),如果每個筐包括一個以上視差)。由於重疊圖形通常限於一單一視差位準(即,屬 於該重疊圖形之全部像素係處於完全相同之深度位準且因此具有相同視差值),因此重疊圖形之存在將趨向於導致一具有一單一筐之一寬度之峰值(即,相鄰筐可能具有一少於該量值之50%之量值。然而,典型影像或真實場景之影像物件趨向於具有一更緩慢轉變。例如,如果該影像含有一大白色球,則對應於此球之像素可包含在該子集中。然而,由於此等像素可集中於該球之深度(其在一小範圍中但自該球之中心變化至該球之邊緣),因此該轉變趨向於更緩慢且該頻率分佈中之峰值可能跨越複數個視差位準展開。相應地,該寬度將大於重疊圖形且此可反映在一反映該頻率分佈中之一偵測峰值之寬度之形狀性質中。因此,在諸多情況中,該方法可在重疊圖形與具有相同影像性質之其他影像物件之間區分。
在諸多實施例中,重映射器411可經配置以執行該等視差值之一視差壓縮。因此,該視差重映射可包含視差位準之一第一範圍至視差位準之一第二範圍之一映射,其中該第二範圍係小於該第一範圍。在一些實施例中,該第一範圍可對應於視差位準之整個範圍(即,對應於該等視差值之全部可能值)。然而,在其他實施例中,該視差壓縮可僅在整個視差位準範圍之一子範圍中應用。
當然,在諸多實施例中,該視差壓縮可限於顯示器/螢幕位準前方之範圍(即,該壓縮僅針對像素(對於像素,該等視差值指示其在螢幕前方)執行)。此可反映重疊圖形通常定位於螢幕位準前方。
該視差壓縮通常係一視差減少。因此,重映射器411通常可提供一視差重映射,其減少影像中之視差(至少對於視差之一範圍)。
在諸多實施例中,重映射器411可經配置以增加藉由該視差重映射回應於指示峰度之一更高程度之形狀性質而提供之視差壓縮之程度。具體而言,(主要)模式之量值越高、主要峰值之寬度越窄等等,由應用該視差重映射引起之壓縮越高。
在一些實施例中,該視差重映射可僅藉由在引入一視差壓縮或不取決於該形狀性質之間切換而調適。具體而言,如果該形狀性質指示影像不包含顯著重疊圖形(例如,如果(主要)模式之量值係低於一臨限值(例如,影像中之像素之總數量之20%或子集中之像素之數量之50%)),則該視差重映射可僅係一單一函數,其中輸出值係等於輸入值(等於該視差重映射但不適用該等視差值)。然而,如果該形狀性質指示影像確實包含顯著重疊圖形(例如,如果(主要)模式之量值超過該臨限值),則該視差重映射可將全部螢幕外視差值壓縮為零。
相應地,在此一實施例中,該系統可自動調適該操作使得當接收一輸入影像(其偵測為包括重疊圖形)時,螢幕位準前方之任何物件向後推至該螢幕位準。相應地,由於具有周圍區域之圖形之視差差異通常將減少,因此圍繞重疊圖形之該等視差值中之錯誤及不準確度將係不太顯著。因此,視差估計錯誤減輕(以3D效應為代價)。然而,如果接收一輸入影像(其偵測為不包括重疊圖形),則不引入變化且可顯現包含螢幕前方之深度特性之原始影像。
在諸多實施例中,該視差壓縮將係不太劇烈且對於該形狀性質之依賴亦係不太極端。例如,在諸多實施例中,該視差重映射可係至少一視差位準子範圍中之一線性重映射(諸如(例如)對於螢幕位準前方之視差位準)。
例如,螢幕前方之視差值可乘以一重映射係數或增益(具體而言,其可在自0至1之間隔中)。實際增益回應於該形狀性質而判定。例如,該增益可判定為(主要)模式之量值之一函數。作為一特定實例,該增益可設定為子集中之像素之總數量減去像素之數量(藉著(主要)模式視差位準之視差值除以子集中之像素之總數量)。此可導致一視差壓縮(其針對該頻率分佈之一增加峰度而逐漸增加)。
如所描述,在一些實施例中,該重映射器可經配置以僅修改視 差值之一視差範圍之一子範圍中之視差值。該子範圍可(例如)係螢幕前方之視差值之範圍。在其他實施例中,該子範圍可(例如)係一更有限或特定範圍。
此外,在一些實施例中,分析器407可經配置以僅回應於該頻率分佈之一視差值子範圍而判定形狀性質。例如,當判定(主要)模式時,可僅考慮一給定範圍中之視差位準。例如,由於重疊圖形通常在螢幕前方,因此分析器407可僅考慮對應於螢幕位準前方之深度之視差值。
在一些實施例中,可獲得或可假定關於範圍(其中會發生重疊圖形)之資訊且當判定形狀性質時,分析器407可僅考慮該範圍。例如,可假定重疊圖形將僅以自(例如)230至255(對於一八位元視差值)之視差位準呈現。在此情況下,分析器407可僅評估(或確實產生)此特定範圍之該頻率分佈。例如,形狀性質可產生為自230至255之間隔中之最大量值。
在下文中,將描述一詳細實施方案之一特定實例。該實例基於偵測像素(其係階狀邊緣像素)之一子集。特定言之,產生包括像素(對於該像素,一影像值差異至相鄰像素超過一臨限值)之一子集。接著,針對此子集產生一頻率分佈且基於該頻率分佈之一特性調適一重映射。
該實例將利用以下主要參數及變數。
參數
Emin 用以判定一像素是否係一階狀邊緣,即其是否屬於像素子集。Emin=30。
Dlow 重映射應用之深度/視差值。Dlow=128(使用自0至255之八位元視差值)。
Nlow 一重映射應用之邊緣頻率(增益g>0)。Nlow=10000。
變數
Nedge[k] 作為視差位準之一函數之階狀邊緣像素之數量k {0,...,255}。
像素i、j處之影像之色彩通道c(考慮RGB值)。
D i,j 輸入像素(位置)i、j處之視差映射值。
輸出(重映射)像素(位置)i、j處之視差映射。
g 在視差值{Dlow,...,255}之重映射中所使用之增益[0、1]。
首先,邊緣像素之頻率判定為該等視差位準之一函數。
由於一高數量之階狀邊緣像素經常與圖形物件之發生重合,因此階狀邊緣像素之數量係一特別有用的量測。由於圖形物件(諸如開放信用)經常顯現在前景中,因此如果此等邊緣發生在「螢幕外」視差值時,則此係甚至更有用。
在該實例中,作為視差位準之一函數之邊緣像素之數量判定為:
因此,該方程式基於以下影像性質準則繪示一頻率分佈之例示性產生:
以下碼片段繪示此方程式如何可在使用OpenCV類型之C++中實施。該碼片段儲存邊緣資訊但自上述方程式很明顯此係非必需。僅Nedge需要針對每個深度位準k {0,...,255}儲存。void DetectEdges(const Mat_<Vec3b>& I, Mat_<int>& E) { //參數 const int Emin=30; //變數 int i,ii,j,jj,k; //初始化 E.setTo(0); //偵測邊緣 對於(i=1;i<I.rows;i++){ 對於(j=1;j<I.cols;j++){ int r1=(int)I(i-1,j)[0]; int g1=(int)I(i-1,j)[1]; int b1=(int)I(i-1,j)[2]; int r2=(int)I(i,j-1)[0]; int g2=(int)I(i,j-1)[1]; int b2=(int)I(i,j-1)[2]; int r=(int)I(i,j)[0]; int g=(int)I(i,j)[1]; int b=(int)I(i,j)[2]; int dr1=abs(r-r1); int dg1=abs(g-g1); int db1=abs(b-b1); int dr2=abs(r-r2); int dg2=abs(g-g2); int db2=abs(b-b2); int dr=(dr1+dr2)/2; int dg=(dg1+dg2)/2; int db=(db1+db2)/2; 如果(dr+dg+db>Emin){ E(i,j)=1; } } } }
現在使用以下公式將範圍{0,...,255}中之輸入視差映射重映射至範圍{0,...,255}中之一輸出深度映射:
其中按如下計算增益:
因此,上文所指示之視差重映射係基於藉由以下給定之一形狀性質調適:
即,該形狀性質給定為(在螢幕前方之子範圍中)該頻率分佈之(主要)模式。
在該實例中,針對之子範圍判定{128,...,255}(其中128之一值對應於一零視差)最大頻率。排除小於128之值意謂在銳邊緣呈現在螢幕前方之情況下,該增益僅設定成一小於1之值。
以下碼片段繪示重映射如何可在C++中實施。void RemapDepth(const vector<int>& Nedge, Mat_<Vec3b>& D) { //參數 const int Dlow=128; const double Nlow=10000.0; //變數 int i,ii,j,jj,k; int Nmax=0; 雙重增益=0.0; //搜尋直方圖中的最大值 對於(k=128;k<(int)H.size();k++){ 如果(Nedge[k]>Nmax)Nmax=Nedge[k]; } //計算增益{0,1} 增益=max(0.0,(double)Nlow-Nmax)/Nlow; //重映射 對於(i=0;i<D.rows;i++){ 對於(j=0;j<D.cols;j++){ int value=D(i,j)[0]; 如果(value>Dlow){ int remapvalue=Dlow+floor(gain*(value-128)+0.5); D(i,j)[0]=remapvalue; D(i,j)[1]=remapvalue; D(i,j)[2]=remapvalue; } } } }
圖5繪示應用此方法至圖1至圖3之實例之結果。如所見,該文本之所得視差值係更接近周圍背景之視差值,由此避免歸因於視差錯誤之大顯現錯誤。因此,可實現一實質上改良之3D影像顯現。
先前描述已聚焦於實例(其中像素子集之選擇及分析基於一參數而產生。例如,一子集可基於一邊緣偵測或色彩飽和度而產生,且此之頻率分佈可相應地判定。然而,在其他實施例中,該方法可考慮複數個參數及特性。具體而言,該影像性質準則可包含複數個參數之一考慮。例如,為待以包含在該子集中之一像素,該影像性質準則可需要兩者:其滿足一邊緣像素中考慮之需求且其具有一超過一給定臨限 值(例如,最大與最小色彩通道值之間的差異必須係最大範圍之至少50%)之飽和度位準。
在一些實施例中,子集選擇器403可經配置以產生複數個子集且基於該複數個子集調適該映射。例如,可產生滿足一第一影像性質準則(比如,該像素係一邊緣像素之需求)之一像素子集。可產生包括滿足一第二影像性質準則(諸如該等像素必須具有一超過一給定臨限值(例如,最大與最小色彩通道值之間的差異必須係最大範圍之至少50%)之飽和度位準)之像素之一第二像素子集。
接著,該視差重映射可基於兩個子集調適。
此可(例如)藉由針對每個子集產生一頻率分佈而實現。接著,可針對每個頻率分佈分別產生一形狀性質。例如,可針對像素之該第一子集之該第一頻率分佈與針對該第二像素子集之該第二頻率分佈兩者判定該模式之量值。接著,基於兩個模式判定該視差重映射。具體而言,該第一形狀性質及該第二形狀性質可組合成一共同形狀性質,且可基於此判定該視差重映射。例如,(主要)模式之量值可僅添加在一起且一視差壓縮之增益可計算為總組合量值之一函數。
在其他實施例中,像素之該第一及第二子集可組合成像素之一組合子集且可計算該組合子集之一頻率分佈(對應於自一具有替代需求(可對於待以包含在該子集中之像素而滿足)之影像性質準則判定之像素之一單一子集)。等效地,可針對該第一及第二子集分別計算一第一及第二頻率分佈且接著,該等兩個頻率分佈可組合成一單一頻率分佈。
在先前描述中,該頻率分佈藉由經均等加權之每個像素之發生而計算,即,一給定種類或深度層(或在每個種類包括一個以上深度層之情況下之深度層之範圍)之量值/頻率係給定為該種類之子集中之像素之數量。
然而,在一些實施例中,分佈評估器405可經配置以以當產生該頻率分佈時加權該像素。具體而言,每個像素對於該種類之比重可給定為一可在不同像素之間變化之值。
具體而言,該權重可取決於該像素之影像位置。例如,該權重可隨自該像素至影像之一中心位置之一遞增距離減少。因此,在此等實施例中,該等中心像素將比該頻率分佈中之影像邊界像素加權更重,且較之該等邊界像素,該重映射將更取決於該等中心像素。
在一些實施例中,(例如)0與1之間的一權重可基於像素至影像/螢幕之中心位置之距離針對每個像素計算。當產生頻率分佈時,接著,一給定種類/視差位準之量值可判定為具有一對應於該種類/視差位準之視差值之子集中之每個像素之權重之總和。因此,可考慮該方法以對應於一頻率分佈(其中考慮分率發生(而不是是否係一簡單二元發生))。
應瞭解上述描述為闡明已參考不同功能性電路、單元或處理器描述本發明之實施例。然而,當明白可使用不同功能性電路、單元及處理器之間的功能性之任何合適分佈而無需減損本發明。例如,所繪示之待以藉由單獨處理器或控制器執行之功能性可藉由相同處理器或控制器執行。因此,參考特定功能性單元或電路係僅視為參考用於提供所描述之功能性而不是指示一嚴格邏輯或實體結構或組織之合適構件。
本發明可以包含硬體、軟體、韌體或此等之任何組合之任何合適形式實施。本發明可視情況至少部分地實施為在一或多個資料處理器及/或數位信號處理器上運行之電腦軟體。本發明之一實施例之元件及分量可以任何合適方式實體性地、功能性地且邏輯性地實施。當然,該功能性可在一單一單元中、在複數個單元中或作為其他功能性單元之部分實施。如此一來,本發明可在一單一單元中實施或可在不同單元、電路與處理器之間實體性地且功能性地分佈。
儘管已連同一些實施例描述本發明,但不意欲限於本文中所描述之特定形式。確切而言,本發明之範疇僅藉由隨附申請專利範圍限制。另外,儘管一特徵可視為連同特定實施例描述,但熟悉技術者將認識到所描述之實施例之各種特徵可根據本發明組合。在申請專利範圍中,術語包括不排除其他元件或步驟之存在。
此外,儘管個別列出,但可藉由(例如)一單一電路、單元或處理器實施複數個構件、元件、電路或方法步驟。另外,儘管個別特徵可包含在不同申請專利範圍中,但此等可有利地組合,且不同申請專利範圍中之包含不會意味著特徵之一組合係不可行的及/或有利的。此外,一特徵在申請專利範圍之一種類中之包含不會意味著此種類之一限制而另指示該特徵可視情況均等地適用其他申請專利範圍種類。此外,申請專利範圍中之特徵之順序不會意味著任何特定順序(其中該等特徵必須產生結果且特定言之一方法申請專利範圍中之個別步驟之順序不會意味著該等步驟必須以此順序執行)。確切而言,該等步驟可以任何合適順序執行。此外,單數參考不排除複數。因此,參考「一」、「第一」、「第二」等等不排除複數。申請專利範圍中之元件符號僅提供為一解明實例且不應該視為以任何方式限制申請專利範圍之範疇。
401‧‧‧接收器
403‧‧‧子集選擇器
405‧‧‧分佈評估器
407‧‧‧分析器
409‧‧‧配接器
411‧‧‧重映射器

Claims (12)

  1. 一種用於處理一三維影像之裝置,該裝置包括:一接收器(401),用於接收一三維影像,該三維影像之至少一像素群組之每個像素具有關聯之一影像值及一視差值;一子集選擇器(403),其經配置以評估該像素群組之每個像素之影像值之一影像性質準則,且判定滿足該影像性質準則之該像素群組之一像素子集;一分佈評估器(405),用於針對該像素子集之視差值產生一頻率分佈;一分析器(407),用於判定該頻率分佈之一形狀性質,其中該形狀性質指示該頻率分佈之至少一峰值之一性質;一配接器(409),用於回應於該形狀性質而判定一視差重映射,其中該配接器經配置以增加一視差壓縮,該視差壓縮係由該視差重映射回應於該頻率分佈之一遞增峰度而提供;一重映射器(411),用於藉由應用該視差重映射至至少一些像素之視差值來修改該三維影像之該等至少一些像素之該等視差值。
  2. 如請求項1之裝置,其中該分析器(407)經配置以回應於選自以下群組之至少一參數而判定該形狀性質:-該頻率分佈之一最大頻率;-相對於該頻率分佈之一平均頻率之該頻率分佈之一最大頻率;-該頻率分佈之一峰值之一寬度量測;-相對於一峰值頻率之鄰區之一視差位準中之頻率的該頻率分佈的峰值頻率。
  3. 如請求項1之裝置,其中該子集選擇器(403)經配置以針對該像素群組之像素來產生一邊緣偵測指示,該邊緣偵測指示該像素是否屬於一影像物件邊緣;且其中該影像性質準則包括該邊緣偵測指示之一要求。
  4. 如請求項1之裝置,其中該子集選擇器(403)經配置以針對該像素群組之每個像素產生一影像性質轉變量測,且該影像性質準則包括該影像性質轉變量測之一要求。
  5. 如請求項1之裝置,其中該影像性質準則包括該像素之一照度及一色度之至少一者之一要求。
  6. 如請求項1之裝置,其中該重映射器(411)經配置以僅修改該等視差值之一視差範圍之一子範圍中的視差值。
  7. 如請求項1之裝置,其中該分析器(407)經配置以僅回應於該頻率分佈之一視差值子範圍而判定該形狀性質。
  8. 如請求項1之裝置,其中該視差重映射係至少一視差位準子範圍中之一線性重映射,且該配接器(409)經配置以回應於該形狀性質而判定該線性重映射之一重映射係數。
  9. 如請求項1之裝置,其中該分佈評估器(405)經配置以當產生該頻率分佈時加權該像素子集之像素,一像素之加權取決於該像素之一影像位置。
  10. 如請求項1之裝置,其中該子集選擇器(403)經配置以評估該像素群組之每個像素之一第二影像性質準則,且判定滿足該第二影像性質準則之該像素群組之一第二像素子集;且其中該裝置經配置以回應於該第二像素子集之該等視差值之一頻率分佈而判定該視差重映射。
  11. 一種處理一三維影像之方法,該方法包括:接收一三維影像,該三維影像之至少一像素群組之每個像素 具有關聯之一影像值及一視差值;評估該像素群組之每個像素之影像值之一影像性質準則;判定滿足該影像性質準則之該像素群組之一像素子集;針對該像素子集之視差值來產生一頻率分佈;判定該頻率分佈之一形狀性質,其中該形狀性質指示該頻率分佈之至少一峰值之一性質;回應於該形狀性質而判定一視差重映射,其中回應於該頻率分佈之一遞增峰度而增加一由該視差重映射提供之視差壓縮;且藉由應用該視差重映射至至少一些像素之視差值來修改該三維影像之該等至少一些像素的視差值。
  12. 一種電腦程式產品,其包括電腦程式碼構件,該電腦程式碼構件經調適以當該程式於一電腦上運行時可執行如請求項11之所有步驟。
TW104133576A 2014-10-14 2015-10-13 三維影像之視差的處理 TWI678098B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14188756.2 2014-10-14
EP14188756 2014-10-14

Publications (2)

Publication Number Publication Date
TW201622418A true TW201622418A (zh) 2016-06-16
TWI678098B TWI678098B (zh) 2019-11-21

Family

ID=51743291

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104133576A TWI678098B (zh) 2014-10-14 2015-10-13 三維影像之視差的處理

Country Status (10)

Country Link
US (1) US10212407B2 (zh)
EP (1) EP3207698B1 (zh)
JP (1) JP6754759B2 (zh)
KR (1) KR102161785B1 (zh)
CN (1) CN107005688B (zh)
BR (1) BR112017007453A2 (zh)
CA (1) CA2964292A1 (zh)
RU (1) RU2017116578A (zh)
TW (1) TWI678098B (zh)
WO (1) WO2016058801A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952310A (zh) * 2016-01-29 2017-07-14 法拉第未来公司 用于确定能见度状态的系统及方法
WO2017212679A1 (ja) * 2016-06-08 2017-12-14 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
EP3358844A1 (en) * 2017-02-07 2018-08-08 Koninklijke Philips N.V. Method and apparatus for processing an image property map
EP3623913A1 (en) * 2018-09-13 2020-03-18 Koninklijke Philips N.V. Apparatus and method for processing audiovisual data
CN112465762A (zh) * 2020-11-24 2021-03-09 广东稳峰电力科技有限公司 电力线路测绘方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3242529B2 (ja) 1994-06-07 2001-12-25 松下通信工業株式会社 ステレオ画像対応付け方法およびステレオ画像視差計測方法
DE19633693C1 (de) * 1996-08-21 1997-11-20 Max Planck Gesellschaft Verfahren und Vorrichtung zur Erfassung von Targetmustern in einer Textur
US6468218B1 (en) * 2001-08-31 2002-10-22 Siemens Medical Systems, Inc. 3-D ultrasound imaging system and method
JP2005165969A (ja) * 2003-12-05 2005-06-23 Canon Inc 画像処理装置、及び方法
US8131098B2 (en) * 2007-07-06 2012-03-06 Panasonic Corporation Image processing device, image processing method, image processing system, program, storage medium, and integrated circuit
JP2011203811A (ja) * 2010-03-24 2011-10-13 Fujifilm Corp 画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラ
WO2012111404A1 (ja) 2011-02-17 2012-08-23 コニカミノルタホールディングス株式会社 画像処理装置、そのプログラム、および画像処理方法
JP4892105B1 (ja) * 2011-02-21 2012-03-07 株式会社東芝 映像処理装置、映像処理方法および映像表示装置
US9838671B2 (en) * 2011-05-12 2017-12-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Autostereoscopic screen and method for reproducing image information
JP2012257022A (ja) * 2011-06-08 2012-12-27 Sony Corp 画像処理装置および方法、並びにプログラム
KR101975247B1 (ko) 2011-09-14 2019-08-23 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
CN102447863A (zh) * 2011-12-20 2012-05-09 四川长虹电器股份有限公司 一种多视点立体视频字幕处理方法
JP2013172367A (ja) * 2012-02-22 2013-09-02 Sony Corp 画像処理装置、画像処理方法およびコンピュータプログラム
KR20140030735A (ko) * 2012-09-03 2014-03-12 삼성전자주식회사 디스플레이 장치 및 방법
JP2014053782A (ja) * 2012-09-07 2014-03-20 Sharp Corp 立体画像データ処理装置、および、立体画像データ処理方法

Also Published As

Publication number Publication date
EP3207698B1 (en) 2022-04-13
CN107005688A (zh) 2017-08-01
US10212407B2 (en) 2019-02-19
KR102161785B1 (ko) 2020-10-06
JP2017536742A (ja) 2017-12-07
TWI678098B (zh) 2019-11-21
US20170223331A1 (en) 2017-08-03
BR112017007453A2 (pt) 2018-01-16
EP3207698A1 (en) 2017-08-23
WO2016058801A1 (en) 2016-04-21
JP6754759B2 (ja) 2020-09-16
CA2964292A1 (en) 2016-04-21
RU2017116578A3 (zh) 2019-04-17
KR20170070148A (ko) 2017-06-21
CN107005688B (zh) 2020-01-10
RU2017116578A (ru) 2018-11-15

Similar Documents

Publication Publication Date Title
US9445071B2 (en) Method and apparatus generating multi-view images for three-dimensional display
US9277207B2 (en) Image processing apparatus, image processing method, and program for generating multi-view point image
EP2745269B1 (en) Depth map processing
JP5587894B2 (ja) 深さマップを生成するための方法及び装置
JP5750505B2 (ja) 立体映像エラー改善方法及び装置
US20100315488A1 (en) Conversion device and method converting a two dimensional image to a three dimensional image
CN110268712B (zh) 用于处理图像属性图的方法和装置
US20140198977A1 (en) Enhancement of Stereo Depth Maps
US20120127270A1 (en) Depth estimation based on global motion
EP3311361B1 (en) Method and apparatus for determining a depth map for an image
TWI678098B (zh) 三維影像之視差的處理
TW201432622A (zh) 產生一關於一影像之深度圖
WO2012071356A1 (en) Depth estimation based on global motion
EP2774378A1 (en) Saliency based disparity mapping
TW201618042A (zh) 用於產生三維影像之方法及裝置
TWI712990B (zh) 用於判定影像之深度圖之方法與裝置、及非暫時性電腦可讀取儲存媒體
JP2013172214A (ja) 画像処理装置、および画像処理方法、並びにプログラム
Yang et al. Reliable view synthesis with automatic error compensation for FTV