TWI574544B

TWI574544B - 基於顯著性之像差映射

Info

Publication number: TWI574544B
Application number: TW101140399A
Authority: TW
Inventors: 威和莫司漢卓克司愛芬瑟司布爾斯; 巴特庫倫; 派崔克路克艾爾斯凡德沃爾
Original assignee: 皇家飛利浦電子股份有限公司
Priority date: 2011-11-01
Filing date: 2012-10-31
Publication date: 2017-03-11
Also published as: CN104025585A; EP2774378B8; US20140313191A1; BR112014010060A8; JP2015503258A; BR112014010060A2; CN104025585B; US9041709B2; RU2580439C2; TW201330589A; EP2774378A1; IN2014CN03412A; JP5791818B2; EP2774378B1; WO2013064938A1; RU2014121937A

Description

基於顯著性之像差映射

本發明係關於一種處理三維[3D]影像信號以基於多個顯示視圖在3D顯示器上呈現3D影像資料之方法。

本發明進一步係關於一種3D視訊裝置、一種3D影像信號及一種電腦程式。

本發明係關於處理3D影像資料以改良一3D顯示裝置上之呈現之領域。特定而言，處理一深度圖(可獲得或產生之)以改良一特定3D顯示器上之3D體驗。影像資料此處包括視訊資料，且通常在兩個空間維度中處理，而視訊資料中之時間可用作一第三維度。

文件「Adaptive 3D Rendering based on Region-of-Interest,by Christel Chamaret,Sylvain Godeffroy,Patrick Lopez,Olivier Le Meur,at Thomson Corporate Research,1 Avenue de Belle-Fontaine 35576 Cesson-Sevigne France」揭示3D視訊處理技術，特定而言高像差管理。高像差管理當前對在立體螢幕上觀看3D場景具有巨大影響。場景之顯著區通常在影像處理領域中稱作關注區。藉由應用與關注區相關之某些效果來修正3D體驗。特定而言，適應性地調整該兩個視圖之間的移位以便在該場景中之該關注區區域上具有一零像差。

上述文件揭示藉由在左視圖與右視圖之間應用像差移位以使得主關注區具有零像差來修改影像資料中之像差。由於該移位，因而影像資料中之其他區域將得到比原始資料更高之像差。此等像差可超出人類視覺系統可在一3D體驗中舒服地處理之像差範圍，且可導致視覺不適、疲勞或複視(雙視覺)。該文件建議應用模糊，例如，選擇性地使影像之一背景部分模糊，以隱藏此等令人不舒服的區域。而且，由於使一高像差關注區位移至零像差，因而需要應用一相對大的移位。因此，已知方法之一問題係降低對影像之3D體驗。

本發明之一目標係提供對3D影像資料之處理以改良對具有高像差之3D影像資料之呈現同時避免降低影像品質。

為此目的，根據本發明之一第一態樣，在開頭段落中所闡述之方法包含：自該3D影像信號導出包含第一深度值之一第一深度圖；自該3D影像信號導出表示適量之該3D影像資料中之顯著性之顯著性資料，該顯著性指示具有一顯著深度值範圍之顯著元素；判定一顯示深度子範圍，該顯示深度子範圍係該3D顯示器之一可用深度範圍之一子範圍且與跨該可用深度範圍之3D影像品質相比較為一觀看者提供一更高3D影像品質；依據該顯著性資料來判定該適量之該3D影像資料之一深度映射函數以便將處於該顯著範圍內之第一深度值朝向該顯示深度子範圍映射；藉由該深度映射函數將該第一深度圖轉換成一第二深度圖；及依據該第二深度圖來產生該等顯示視圖。

為此目的，根據本發明之另一態樣，一種用於處理一3D 影像信號以基於多個顯示視圖在一3D顯示器上呈現3D影像資料之3D視訊裝置包含：輸入構件，其用於自該3D影像信號導出包含第一深度值之一第一深度圖，且用於自該3D影像信號導出表示適量之該3D影像資料中之顯著性之顯著性資料，該顯著性指示具有一顯著深度值範圍之顯著元素；及一視訊處理器，其經配置以用於判定一顯示深度子範圍，該顯示深度子範圍係該3D顯示器之一可用深度範圍之一子範圍且與跨該可用深度範圍之3D影像品質相比較為一觀看者提供一更高3D影像品質，依據該顯著性資料來判定該適量之該3D影像資料之一深度映射函數以便將處於該顯著範圍內之第一深度值朝向該顯示深度子範圍映射，藉由該深度映射函數將該第一深度圖映射成一第二深度圖以依據該第二深度圖來產生該等顯示視圖。

為此目的，根據本發明之另一態樣，一種用於基於多個顯示視圖在一3D顯示器上呈現3D影像資料之3D影像信號包含包括表示適量之該3D影像資料中之顯著性之顯著性資料之後設資料，該顯著性指示具有一顯著深度值範圍之顯著元素，該後設資料用於使得能夠在一3D視訊裝置中自該3D影像信號導出包含第一深度值之一第一深度圖；判定一顯示深度子範圍，該顯示深度子範圍係該3D顯示器之一可用深度範圍之一子範圍且與跨該可用深度範圍之3D影像品質相比較為一觀看者提供一更高3D影像品質；依據該顯著性資料來判定該適量之該3D影像資料之一深度映射函數以便將處於該顯著範圍內之第一深度值朝向該顯示深度子範圍映射，並藉由該深度映射函數將該第一深度圖轉換成一第二深度圖以依據該第二深度圖來產生該等顯示視圖。

該等量測具有修改像差以使得在一特定顯示器上呈現之視圖之間的像差處於一可用像差範圍內之作用。該可用範圍亦可稱作一立體舒適區，亦即，可由人類視覺系統舒服地處理成一3D體驗之立體呈現中之像差值範圍。此外，使用該3D影像資料中之顯著性資料來判定該影像中之一顯著關注元素範圍，且在具有一高3D影像品質之3D顯示器之一深度子範圍上映射此等元素。

該方法係用於處理一3D影像信號以基於多個顯示視圖在一3D顯示器上呈現3D影像資料。此一顯示器可(舉例而言)係在一觀看光束中產生多個視圖之一自動立體顯示器，其經定尺寸以提供一對視圖至觀看者之左眼及右眼。自該3D影像信號導出一第一深度圖。而且，自該影像信號導出表示適量之該3D影像資料中之顯著性之顯著性資料。該量可係一單個影像或視訊框，或一系列視訊欄或視訊框，諸如(例如)對應於一預定時間週期、一擷取畫面、諸如一圖像群組(MPEG編碼中之GOP)之一編碼單元等之圖框。使用若干個連續圖框，或若干個表示一擷取畫面之非連續圖框(諸如一開始圖框或開始或結束圖框)，可獲得顯著及非顯著資料之一較佳近似值。

該顯著性資料可作為後設資料包括於該信號中，抑或可藉由就地處理適量之3D影像資料來導出。該顯著性指示顯著元素，亦即，該影像之將引起人類觀看者之注意之部分。該影像之該等顯著部分具有一顯著深度值範圍，亦即，具有引起觀看者之注意及聚焦之一高可能性之彼等影像部分之一深度值範圍。該顯著性(舉例而言)可基於亮度、反差及/或色差，且部分地基於深度差，例如前突。而且，可偵測主題類型(例如，人的面孔)並將其用於顯著性。就此方面，用於判定影像資料中之顯著元素之各種方法為熟習此等技術者所知。

本發明亦基於如下認識。本發明人已瞭解，對於一特定顯示器而言，存在與跨整個可用深度範圍之3D影像品質相比較具有對於一觀看者之一更高3D影像品質之各別3D顯示器之可用深度範圍之一顯示深度子範圍。該子範圍可係顯示器類型所固有的，抑或可針對一特定觀看者(例如，一兒童)來加以調整，抑或可係由觀看者設定之一偏好。而且，該子範圍可經選擇以具有視圖之間的一低串擾位準，而跨該可用範圍之串擾可能更大。

該深度映射函數經判定以依據該顯著性資料來映射該適量之該3D影像資料。該深度映射函數經定尺寸使得映射更多深度值，亦即，該影像之非顯著部分之非顯著值，以實質保持處於該顯示器之該可用範圍內。該深度映射函數應用於原始、第一深度值且產生經調適深度值以便將處於該顯著範圍內之第一深度值朝向處於該顯示深度子範圍內之深度值改變。在實際情況下，依據具體影像內容，可將實質上所有深度值映射成該選定子範圍或針對該等顯著深度值之至少一部分達成朝向該子範圍之至少一移位。藉由該映射，該等顯著元素沿深度方向朝向各別顯示器之高品質範圍移動，而該影像之其他部分實質保持處於該顯示器之可用範圍內之深度值。最後，該深度映射函數應用於該適量之3D影像資料以將該第一深度圖映射成一第二、最後深度圖，且依據該第二深度圖來產生該等顯示視圖。有利地，避免使一主顯著物件移動至零像差，此乃因此物件之深度值將只朝向該子範圍移動且因此將不一直推動至零像差。

應注意，在本文件中，深度值及深度圖亦包括像差值及像差圖。一深度之具體表示形式可係處於由一特定系統使用之深度值範圍或像差值範圍(例如其中高值接近於觀看者且零為無窮大之0-255)內之一值。另一選擇為，可使用以零為中心之一像差值範圍，例如，-512至+511，其中負數位值可表示一顯示螢幕前面之像差且零係該螢幕之平面。另一選擇為，一正像差d可使用關係式：xR=xL-dL來表示一物件很遠。像差值可對應於像素中之具體位移，抑或可具有一不同標度或解析度。因此，當提及基於深度之值及/或處理時，應將此等術語視為亦涵蓋一基於像差之表示形式。一般而言，像差通常基於1/Z，Z為該深度。詳言之，與Z之關係係習知的但複雜的(例如，在平行攝影機之情況下基於核幾何學(epipolar geometry))。對於典型內容之典型(小)輸入像差範圍而言，深度與像差之間的關係接近於線性。舉例而言，藉由該深度映射函數將該第一深度圖轉換成一第二深度圖及依據該第二深度圖來產生該等顯示視圖之步驟可藉由直接產生具有經修改、經映射像差之視圖來加以組合。

視情況，該顯著性資料係指示該影像之像素之一顯著度。該顯著度可以二進制標度，例如，0或1，抑或可使用中間值。可針對各別顯著像素判定一深度值範圍。視情況，該顯著性資料係一顯著性深度範圍。該範圍可例如在3D影像資料或3D視訊之產生及預處理期間單獨地判定。

視情況，導出顯著性資料包含自該3D影像信號導出後設資訊，該後設資料表示該3D影像資料之顯著性資料。有利地，該3D影像資料之源(例如，一電影工作室)可判定該顯著性且包括關於該3D視訊信號中之顯著性之後設資料。

視情況，該深度映射函數包含：製作顯著像素之一第一直方圖及非顯著像素之一第二直方圖；及基於該第一直方圖判定一顯著深度範圍且在該顯示深度範圍內部映射該顯著深度範圍，並在該可用深度範圍上映射該第二直方圖。該直方圖將具有實質相等深度之像素之數目搜集於各別值格中，因此量化深度分佈。該顯著範圍係藉由慮及該直方圖中之邊界深度值以使得該等值中之至少大多數(例如，90%)處於該範圍內而判定。

視情況，該深度映射函數包含：製作顯著像素及非顯著像素之一組合直方圖，該等顯著像素具有一第一輸入轉換且該等非顯著像素具有一第二輸入轉換，該第一輸入轉換具有依據相對於該可用範圍之子範圍之一校正函數；及在該顯示可用深度範圍內部映射該組合直方圖深度範圍，該校正函數使得處於該顯著範圍內之該等第一深度值朝向該顯示深度子範圍扭曲。該等顯著及非顯著值均在應用一不同輸入轉換的同時輸入於一組合直方圖中。舉例而言，該等非顯著像素僅僅輸入至該直方圖中，亦即，應用一單一輸入轉換。當(舉例而言)該子範圍係0.25x該可用範圍(亦即，該可用範圍之25%)時，該第一輸入轉換可具有4之一線性校正函數。隨後，該映射基於在該可用範圍內部具有組合直方圖深度。有利地，藉由事實上以該校正函數來放大該顯著深度，該等顯著深度將實質處於該子範圍以內。

視情況，該適量之3D影像資料係一3D視訊信號之一週期，且該深度映射跨時間依據該顯著性資料。該深度映射函數係針對該週期而判定，抑或至多在該週期期間緩慢地改變。有利地，該人類視覺系統不受深度透視之頻繁變化干擾。特定而言，該深度映射函數可包含判定一擷取畫面作為該3D視訊信號之該週期並針對該擷取畫面設定該映射函數，抑或使用具有一預看之一移動視窗並針對該視窗設定該映射函數。

視情況，該視訊處理器經配置以用於依據該第二深度圖來產生該等顯示視圖。視情況，該裝置包含用於針對一觀看者之各別左眼及右眼顯示該等顯示視圖之一3D顯示器。視情況，該視訊處理器經配置以用於藉由自連接至該3D視訊裝置之一3D顯示裝置獲取顯示能力資訊來判定該顯示深度子範圍。

視情況，導出顯著性包含自該3D影像信號導出後設資料，該後設資料表示該3D影像資料之顯著性資料。

根據本發明之方法、3D裝置及信號之其他較佳實施例可參見隨附申請專利範圍，其揭示內容以引用方式併入本文中。

通過下文說明中以實例方式闡述之實施例及隨附圖式將易知且參照下文說明中以實例方式闡述之實施例及參照隨附圖式來闡明本發明之此等及其他態樣。

在該等圖中，對應於已經闡述之元件之元件可具有相同之參考符號。

應注意，本發明可用於任一類型之3D影像資料(靜止圖像或移動視訊)。該系統處理提供於該3D影像資料中之一深度圖。該深度圖可原本存在於該系統之輸入處，抑或可如下文所闡述例如自一立體聲(L+R)視訊信號中之左圖框/右圖框或自2D視訊產生。3D影像資料假定可以電子、數位編碼資料形式獲得。本發明係關於此影像資料且在數位域中操控該影像資料。

存在可藉以格式化並傳送3D視訊資料之諸多不同方式，稱作一3D視訊格式。某些格式基於使用一2D通道以亦攜載立體聲資訊。舉例而言，左視圖及右視圖可交錯抑或可並排及上下放置。另一選擇為，可傳送一2D影像及一深度圖，及可能比如閉塞或透明度資料之更多3D資料。提供或傳送3D影像資料之任一方法(例如網際網路或一藍光光碟(BD))皆可提供3D視訊資料。

圖1展示用於在一系統中處理3D影像資料以顯示3D影像資料之一裝置。一第一3D視訊裝置40(稱作3D源)提供並傳送一3D視訊信號41至另一3D影像處理裝置50，3D影像處理裝置50耦合至一3D顯示裝置60以傳送一3D顯示信號56。

圖1進一步展示作為該3D視訊信號之一載體之一記錄載體54。該記錄載體呈碟形且具有一軌道及一中心孔。該軌道(其由一實體可偵測標記圖案構成)係根據一螺旋或同心匝圖案配置從而構成一或多個資訊層上之實質平行軌道。該記錄載體可係光學可讀的，稱作一光碟，例如，一CD、DVD或DB(藍光光碟)。該資訊係藉由沿著該軌道之光學可偵測標記(例如，訊坑(pit)及執面(land))嵌入於該資訊層上。軌道結構亦包含用於指示通常稱作資訊區塊之資訊單位之部位之位置資訊，例如標頭及位址。記錄載體54攜載表示比如視訊之數位編碼3D影像資料(舉例而言，根據MPEG2或MPEG4編碼系統以比如DVD或BD格式之一預定義記錄格式編碼之3D影像資料)之資訊。

該3D源具有用於處理經由一輸入單元47接收之3D視訊資料之一處理單元42。輸入3D視訊資料43可自一儲存系統、一錄音工作室、3D攝影機等獲得。一視訊處理器42產生包含該3D視訊資料之3D視訊信號41。該源可經配置以用於經由一輸出單元46自該視訊處理器且至另一3D之視訊裝置傳送該3D視訊信號，或用於提供一3D視訊信號供例如經由一記錄載體分佈。該3D視訊信號基於例如藉由經由一編碼器48根據一預定義格式編碼並格式化該3D視訊資料來處理輸入3D視訊資料43。

該3D源可係一伺服器、一廣播裝置、一記錄裝置或用於製造比如藍光光碟之光學記錄載體之一創作及/或製作系統。藍光光碟為內容創建者提供用於分佈視訊之一互動平臺。關於藍光光碟格式之資訊可自藍光光碟協會之網站以關於音訊-視訊應用格式之論文形式獲得，例如http：//www.blu-raydisc.com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269.pdf。該光學記錄載體之製作製程進一步包含在軌道中提供其圖案體現可包括該3D顯著性後設資料之3D視訊信號之一實體標記圖案，並隨後根據該圖案來塑形該記錄載體之材料以在至少一個儲存層上提供標記軌道。

3D影像處理裝置50具有用於接收3D視訊信號41之一輸入單元51。舉例而言，該裝置可包括一光碟單元58，該光碟單元耦合至該輸入單元以自比如一CVD或藍光光碟之一光學記錄載體54擷取該3D視訊資訊。另一選擇為(或另外)，該裝置可包括用於耦合至一網路45(舉例而言，網際網路或一廣播網路)之一網路介面單元59，此裝置通常稱作一機上盒。該3D視訊信號可自如由3D源40所指示之一遠端網站或媒體伺服器擷取。該3D影像處理裝置可係將一影像輸入信號轉換為具有所需像差之一影像輸出信號之一轉換器。此一轉換器可用於將一特定類型之3D顯示器之不同輸入3D視訊信號(舉例而言，標準3D內容)轉換為適合於一特定類型或商家之自動立體顯示器之一視訊信號。實務中，該裝置可係一3D光碟播放器，或一衛星接收器或機上盒，或任一類型之媒體播放器。

該3D處理裝置具有耦合至輸入單元51之一處理單元52，該處理單元用於處理該3D資訊以產生欲經由一輸出介面單元55傳送至該顯示裝置之一3D顯示信號56，例如，根據HDMI標準之一顯示信號，參見「High Definition Multimedia Interface；Specification Version 1.4a of March 4,2010」，其3D部分可在供公共下載之http：//hdmi.org/manufacturer/specification.aspx處獲得。處理單元52經配置以用於產生包括於3D顯示信號56中之影像資料供在顯示裝置60上顯示。

3D顯示裝置60係用於顯示3D影像資料。該裝置具有一輸入介面單元61，該輸入介面單元用於接收包括自3D播放器50傳送之3D視訊資料之3D顯示信號56。所傳送3D視訊資料在處理單元62中處理以在一3D顯示器63(舉例而言，一雙視圖或多視圖LCD)上顯示。顯示裝置60可係任一類型之立體顯示器，亦稱作3D顯示器。

該3D視訊裝置中之視訊處理器(亦即，3D視訊裝置50中之處理單元52)經配置以用於執行以下函數以處理該3D視訊信號。該3D視訊信號係由輸入構件51、58、59接收，該輸入構件提供包含至少一第一深度圖及影像資料之3D影像資料。此外還應注意，在此上下文中，亦將一像差圖視為一種類型之深度圖。舉例而言，第一深度圖可藉由像差估計自一立體聲(L+R)輸入信號產生。第一深度圖具有第一深度值且該影像包含呈二維像素陣列之影像值。應注意，該深度圖亦具有二維像素陣列，且對應於該影像，但該深度圖亦可具有一不同解析度。

3D顯示裝置60中之視訊處理器62經配置以用於處理該3D視訊資料以產生用於呈現多個視圖之顯示控制信號。該等視圖可使用一深度圖自該3D影像資料產生。

在該系統之一第一實施例中，視訊處理器62經配置以用於處理該3D影像信號以基於多個顯示視圖在該3D顯示器上呈現3D影像資料。輸入處理包括自該3D影像信號導出包含第一深度值之一第一深度圖，並自該3D影像信號導出表示適量之該3D影像資料中之顯著性之顯著性資料。該顯著性指示具有一顯著深度值範圍之顯著元素。該深度圖及/或顯著性資料可在該3D影像資料之源(諸如一電影工作室)處產生，且然後與該3D影像信號一起傳送，抑或可在一3D播放裝置中或在一3D顯示裝置中產生。

該顯著性指示顯著元素，亦即，該影像之將引起人類觀看者之注意之部分。該影像之該等顯著部分具有一顯著深度值範圍，亦即，具有引起觀看者之注意及聚焦之一高可能性之彼等影像部分之一深度值範圍。舉例而言，顯著性可基於亮度、反相及/或色差，及/或基於深度差，例如前突。而且，可偵測主題類型(例如，人的面孔)並將其用於顯著性。就此方面，已知用於判定影像資料中之顯著元素之各種方法。

舉例而言，為偵測面孔，我們可應用一已知面孔偵測器，參見(舉例而言)「P.Viola and M.Jones,Robust Real-time Object Detection,Second International Workshop On Statistical And Computational Theories Of Vision-Modeling,Learning,Computing,and Sampling；Vancouver,Canada,July 13,2001」。我們可特定而言偵測大的面孔，因為其最顯著；可忽略較小的面孔。對於正面面孔，此偵測通常相當穩鍵，從而意味著將在該等圖框中之大部分圖框中偵測到此一正面面孔。

亦可包括除一面孔偵測器之外的顯著性量測。此可係特定物件偵測器，但亦可係指示該影像之吸引觀看者之注意之部分之一「標準」顯著性量測。多個偵測器之輸出可在其與同一顯著深度範圍()相關聯之情況下加以組合，抑或在其不與同一顯示深度範圍相關聯之情況下單獨地加以處理。在剩下的描述中，我們將假定一單個顯著深度範圍，但所有描述同樣適用於一般情況。

為了在該3D影像資料中包括該顯著性後設資料，可藉由定義欲在諸如上文所提及之BD格式或HDMI介面格式之3D格式之約束範圍內傳送之一額外資料結構或訊息來增強各別3D格式。舉例而言，該顯著性後設資料可包括一顯著深度值或像差值範圍，或對諸如一顯著性圖之影像資料中之一或多個顯著區之一指示。視情況，該顯著性後設資料包括欲用於如下文闡述之增強型像差映射之一特定映射函數或特定參數。舉例而言，可提供一特定關係(更多子範圍或偏移值中之一者)以在映射期間使用。該顯著性後設資料亦可針對該3D影像資料之一特定週期(例如，針對若干圖框、編碼之一圖像群組(MPEG編碼中之GOP)、一3D視訊信號之一場景或一擷取畫面等)而指定，且可包括關於其中可調整該像差映射之時間邊界或轉變瞬間、或該映射必須保持固定或可能根本不應用映射之週期之資料。偏移後設資料可針對若干個不同目標3D顯示系統(例如，具有一相對較小子範圍之一自動立體顯示器之一第一組顯著資料及針對具有一更大子範圍之一立體顯示器之一第二組顯著資料)而包括。

此外，該處理包括判定一顯示深度子範圍。該顯示深度子範圍係該3D顯示器之一可用深度範圍之一子範圍且與該可用深度範圍之3D影像品質相比較為一觀看者提供一更高3D影像品質。該子範圍可係針對各別類型之顯示器而判定之一預先判定範圍，且可經由至該顯示器之一數位介面或經由一查找表擷取。舉例而言，該子範圍可作為顯示EDID資料之一部分傳送。因此，該顯示深度子範圍可藉由自連接至該處理裝置例如以接收一經修正深度圖或多個視圖之3D顯示裝置60獲取顯示能力資訊來判定。

視情況，該子範圍可針對一特定觀看者(例如，一兒童)來設定或調整，抑或可係由觀看者輸入之一使用者偏好。舉例而言，該子範圍係其中物件將具有一高銳度，而超出該子範圍之物件則具有低銳度抑或可能模糊之一範圍。一自動立體顯示器通常具有此一子範圍。而且，該子範圍可經選擇以具有視圖之間的一低串擾位準，而跨該可用範圍之串擾可能更大。例如使用主動式快門眼鏡之立體顯示器可能容易出現此串擾。

該處理進一步包括依據該顯著性資料來判定該適量之該3D影像資之一深度映射函數以便將處於該顯著範圍內之第一深度值朝向該顯示深度子範圍映射。最後，藉由該深度映射函數將第一深度圖轉換成一第二深度圖並依據該第二深度圖來產生該等顯示視圖。

另一選擇為，3D播放裝置50中之視訊處理器52或3D源裝置中之處理單元42可經配置以執行該深度圖處理。該顯著性資料及/或第二深度圖及/或針對所指定3D顯示器產生之該多個視圖可與該3D影像信號一起朝向該3D顯示器傳送。

該3D影像信號處理可進一步包括自一2D視訊信號產生第一深度圖，以將2D視訊轉換成大家都知道的3D視訊。該提供該3D視訊信號包含接收包含一系列2D視訊圖框之一2D視訊信號，並基於處理該系列2D視訊圖框來產生第一深度圖。應注意，通常如此產生之深度圖質量有限，且過濾並增強該深度圖可實質改良該品質。產生該深度圖之函數可在該3D播放器之輸入單元51中，或在3D顯示裝置60中之視訊處理器62中，或在該3D源裝置中之處理單元42中實施。

在一實施例中，第一深度圖係例如由3D播放裝置50中之視訊處理器52或該3D顯示裝置中之處理單元62產生。在操作中，一深度圖產生器接收亦稱作左-右視訊信號之一立體3D信號，該立體聲3D信號具有表示欲針對一觀看者之各別眼睛顯示以產生一3D效果之一左視圖及一或視圖之左圖框L及右圖框R之一時序。該單元然後藉由像差估計該等左視圖及該等右視圖來產生第一深度圖，且可進一步基於該等左視圖及/或該等右視圖來提供一2D影像。該像差估計可基於用於比較該等L及R圖框之運動估計演算法。一物件之L視圖與R視圖之間的較大差異依據該差異之方向在該顯示螢幕之前面或後面轉換成深度值。該產生單元之輸出係第一深度圖。應注意，亦可使用其他輸入單元來提供第一深度圖及對應2D影像資料。

圖2展示用於像差映射之一系統概觀。一像差估計器21基於3D影像資料提供一第一像差圖28。一顯著性偵測器22基於在該3D影像資料中偵測到顯著性元素提供顯著性資料23。在像差映射單元24中，基於針對3D顯示器27偵測到之一目標像差子範圍25來修改第一像差圖。該子範圍可針對一特定類型之顯示器(諸如一特定自動立體顯示器)預先判定，且可經由一介面傳遞，抑或可由一觀看者基於偏好來設定或調整。最後，一視圖呈現器26產生多個視圖，亦即，針對一立體顯示器之至少一左視圖及一右視圖，或針對一自動立體類型之顯示器之一組連續視圖。應注意，圖2中示意性地指示之函數對應於用於處理3D視訊之一方法中之步驟，該等步驟例如當在一信號處理系統或一通用電腦上執行時在一電腦程式中實施。

像這樣的像差估計係(舉例而言)自「D.Scharstein and R.Szeliski,A taxonomy and evaluation of dense two-frame stereo correspondence algorithms,International Journal of Computer Vision,47(1/2/3)：7-42,April-June 2002」獲知。當準確地估計並儲存時，像差值實現對立體內容之深度效果之調適。此可(舉例而言)適用於調適立體內容以在具有不同大小之一顯示器上觀看，或在多視圖自動立體顯示器上觀看。使該像差範圍扭曲而不顯式計算一像差圖研究於「M.Lang,A.Hornung,O.Wang,S.Poulakos,A.Smolic,and M.Gross,Nonlinear Disparity Mapping for Stereoscopic 3D,Proc.ACM SIGGRAPH,2010」中。

當前，已認識到，當在一自動立體顯示器上觀看3D內容時，使該輸入深度範圍扭曲至該深度範圍以便結果在該特定類型之顯示器上看起來很好非常重要。已注意到，僅一特定子範圍可能足夠清晰以在一凸鏡狀顯示器上舒服地觀看。銳度隨朝離開螢幕平面之方向增加深度而逐漸衰減，同時仍產生跨一可用深度範圍之可用3D效果。

同時，當觀看此一顯示器上之內容時，很明顯，與該視訊之其他物件或部分相比較，某些物件及部分在其變得模糊時更令人不安。抑或換言之，對於一顯著目標(例如，一面孔)之銳度要求較對於一不太顯著/不顯著物件(例如背景中之一森林)更嚴格。

圖3示意性地展示一先前技術像差映射。頂部區段展示具有三個元素(幾乎沒有像差之一圓、具有一正像差(d₂> 0)之一個三角及具有一負像差(d₁<0)(亦即，最接近於觀看者)之一星)之一3D影像30。中間區段展示一輸入像差值範圍31，該輸入像差範圍大於該顯示器之可用像差值範圍32，由展示於底部區段中之d_min至d_max所指示。該先前技術像差映射僅僅壓縮該輸入範圍以適合於該可用範圍。

如據此以引用方式併入之T.Shibata等人之「The zone of comfort：Predicting visual discomfort with stereo displays」(視覺雜誌2011，2011年7月21，第11卷，第8期，第11條)中所指示，在自然觀看與立體3D觀看之間存在一差異。在自然觀看中，視線聚合剌激與聚焦剌激係一致的，而對於立體聲3D觀看而言，情況並非如此。立體聲3D觀看形成視線聚合距離與聚焦距離之間的不一致，此乃因視線聚合距離因影像內容而異而聚焦距離保持恆定。

上述論文進一步指示儘管電影攝影師在實務中往往會使用規則來限制顯示像差，但不存在對該舒適區之確切定義之任何約束。舉例而言，提到規定交叉像差(比螢幕更近)不應超過螢幕寬度的2%至3%，而非交叉像差不應超過螢幕寬度的1%至2%之一百分比規則。該論文之作者進一步觀察到，此百分比規則之某一細化可能係適宜的且進一步指示該等邊界並非係硬邊界，而是事實上係連續的。

關於立體顯示器，本發明人觀察到，當儘可能接近於一2D影像從一3D立體聲影像開始增加一立體影像之深度時，可在一時間間隔期間增加像差(且隨其3D效果)而不明顯影響該立體影像之所感知銳度。當進一步增加該像差時，該立體影像之銳度劣化但所感知3D效果增加。在某一時刻，該顯示像差之一進一步增加將不再增加該3D效果，但事實上可減少所感知3D效果。

本發明人進一步注意到對顯著物件及非顯著物件之觀看之一差異。本發明人注意到，不管對該舒適區之確切定界如何，似乎存在對於顯著物件及對於非顯著物件之可接受像差容限之一差異。基於此理解，可在將顯著物件映射至具有較小像差值之區(朝向零)，亦即，至實現更清晰影像呈現之深度範圍上時獲得3D立體聲影像之立體感知之一知覺改良。對於非顯著物件而言，此並不表現為至關重要的，因此可將該非顯著物件映射至更大像差值上，例如，至該整個舒適區，而對所感知品質的影像有限。

釋義，較佳地將顯著物件映射至該舒適區之一子範圍上。此範圍可被視為該舒適區之具有比該舒適區更嚴格之品質要求之一子集。藉由將該等顯著物件放置於該像差範圍之此子集中，可與該等非顯著物件相比較以一更高之所感知銳度來呈現顯著物件。

圖4示意性展示增強型像差映射。頂部區段展示具有四個元素(幾乎沒有像差之一圓、具有一正像差(d₂>0)之一個三角、具有一負像差(d₁<0)(亦即，最接近於觀看者)之一星、及接近於該三角之一面孔)之一3D影像33。中間區段展示一輸入像差值範圍34。底部區段展示一第二像差圖，例如，在基於顯著性之像差映射之後。此刻，已判定可針對影像之非顯著部分獲得之顯示器之一可用像差值範圍36，由展示於底部區段中之d^NS _min至d^NS _max所指示。一子範圍35適用於該影像之顯著部分，由d^S _min至d^S _max所指示。假定該面孔偵測為一顯著元素。如下文所述之基於顯著性之映射使用將面孔之像差值朝向該子範圍映射之一像差映射函數。第二像差圖展示該面孔此刻顯示於子範圍35中。

因此，增強型映射基於推動對像差映射之可變要求之物件顯著性。代替使用一單個可用像差範圍以扭曲，使用一特定子範圍來映射該等顯著部分。實務中，使用兩個深度範圍(亦即，該子範圍及整個可用範圍)已經賦予很好的改良，而要使用之深度範圍係基於一或多個顯著性估計器來判定。

在一實施例中，我們使用兩個深度範圍，其中一者係針對諸如典型面孔之更顯著區之一子範圍且另一者係針對諸如風景之不太顯著區之一子範圍。假定我們已定義該兩個像差範圍：()適用於非顯著(NS)區，()顯著(S)區(例如，面孔)之子範圍。

通常，該子範圍(遠)小於第一範圍。應瞭解，對於使用一中間深度表示形式之顯示系統，可以此中間表示形式來指定該可用範圍。當(舉例來說)調整顯示設定以使得整個深度範圍可用於非顯示區時，則我們應定義且-255步驟。在那種情況下，對於顯著區而言，其應為(舉例來說)且步驟。實務中，該等範圍應基於對於代表性內容之觀看測試來判定。在深度呈現顯示內部，該中間深度表示形式可作為視圖合成過程之一部分轉換為像差。

來自顯示區及非顯著區之輸入像差值d ^S及d ^NS可按下述方式組合成一單個直方圖。該轉換係藉由定義一運算子φ(d)來進行，該運算子將來自顯著範圍()之像差變換為非顯著範圍()，以使得且。通常，像差範圍係以零為中心，且該運算子可係φ(d)=cd，其中c係一常數。應注意，可適當地選擇其他函數。對於一系列適宜之圖框，我們更新一像差直方圖，從而慮及像素顯著性。對於具有像差d之每一像素p：h(d)+=1 亦即，h(d)=h(d)+1，若p係一非顯著像素的話，h(φ(d))+=1 若p係一顯著像素的話。

我們因此藉由自該直方圖選擇一低(例如，2)及高(例如，98)百分位數朝向目標像差範圍映射，並將該範圍映射至目標範圍。

在另一實施例中，增加深度轉換之時間穩定性。計算並如下文所述使用直方圖，但另外以遞歸方式組合當前圖框h _N之直方圖與先前框圖中所使用之直方圖H _N-1之一加權版本：H _N=αH _N-1+h _N，其中α在一擷取畫面內之圖框情況下接近於或等於1且就在一擷取畫面轉變之後接近於或等於0。在一選用改良中，α之值取決於自最後擷取畫面轉變以來的圖框之數目，從而可能慮及影像變化量及一過去或即將來臨擷取畫面轉變之所估計機率。

一實際實施例具有以下函數；所有值皆係實例。對於該實例，我們假定我們具有具深度/像差之一輸入視訊，且已偵測到比如面孔之顯著元素。因此，將該影像劃分成一個(數個)顯著像素及一個(數個)非顯著像素。假定該3D顯示器(立體聲或自動立體聲)具有[-40,40]之一「可用」像差範圍及[-10,10]之一「清晰/悅目」像差子範圍。該映射函數必須將輸入深度值([0,255])映射至顯示像差。

習用上，在不使用顯著性之情況下，將輸入範圍[0,255]映射至[-40,40]上。此習用映射之一問題係此範圍之極端部分通常看起來不是很悅目/舒服。舉例而言，對於一自動立體顯示器而言，其變得不太清晰。若爾後一面孔得到此等「極端」像差值，則所得3D影像看上去不是很悅目。

對於增強型映射而言，我們知道該等顯著區及其輸入深度值。該映射函數經定尺寸以便當人們將全神貫注於彼等部分時使此等值扭曲至「清晰/悅目」像差範圍([-10,10])上。對於該影像之剩餘部分而言，將該等像差映射至該「可用」[-40,40]範圍。

這樣做之一方式係形成輸入像差值之一共同直方圖。將該等顯著區外部之像素直接添加至該像差直方圖：h(d)+=1 若p係一非顯著像素的話，該公式指示使值d之直方圖「值格」增加1。針對該等顯著區中之一像素，使用一不同轉換。將其添加至該直方圖之一不同值格。使用該經組合直方圖來執行該映射。

在該實例性情形中，且使用一線性映射，我們將得到h(4d)+=1 若p係一顯著像素的話，該公式指示使值4d(4乘d)之「值格」增加1。因此，顯著像素在輸入於該組合直方圖中之前藉由一校正函數來轉換。藉由該校正函數，使該顯著深度範圍朝向係其原始值的四倍之值扭曲。藉由此計算，針對顯著像素及非顯著像素形成一組合直方圖，該等顯著像素具有一第一輸入轉換且該等非顯著像素具有一第二輸入轉換。該等顯著像素之第一輸入轉換具有依據相對於該可用範圍之該子範圍設定之校正函數。

以此方式，我們得到所有像素合起來之一單個直方圖。然後，我們判定我們希望將某些百分位數映射至該可用範圍上，例如，我們可將該像差直方圖的5%百分位數映射至-40上且將該像差直方圖的95%百分位數映射至40上，並針對中間值執行一線性映射。應注意，少量(在該實例中約10%)的該等像差值將超出該顯示器之可用範圍，但絕大部分將被映射至[-40,40]。實務中，可剪裁該少量像差值以歸屬於該可用範圍。因此，在該顯示可用深度範圍內部映射該經組合直方圖深度範圍，且該校正函數有效地達成使處於該顯著範圍內之第一深度值朝向該顯示深度子範圍扭曲。

在另一實例中，以一度數(例如，介於1與0之間的一分數值)來表示顯著性資料。可藉由該分數來修改各別直方圖值格。舉例而言，可藉由調整φ(d)或較佳藉由把一像素 p視為一部分顯著像素來慮及該物件偵測器之信任值w [0,1]：h(d)+=1-w 針對所有p

h(φ(d))+=w 針對所有p

在另一實例性實施例中，計算顯著值及非顯著值之單獨直方圖。自該顯著直方圖(例如，乘5%及95%百分位數)判定該顯著範圍之邊界值。隨後，我們將該顯著像差範圍映射至該「清晰/悅目」範圍，同時將剩餘範圍映射至該「可用」範圍。剩餘範圍通常將包括兩個子範圍：在範圍[10,40]上映射之高於該顯著範圍之上部邊界之一第一非顯著值子範圍及在範圍[-40,-10]上映射之低於該顯著範圍之下部邊界之一第二非顯著值子範圍。此映射因此可係一分段線性映射，或一非線性映射。下面闡述非線性映射之一實例。

視情況，僅將顯著像素輸入至一直方圖中。隨後將顯著深度值直方圖映射至該顯示器之高品質子範圍上。然後在該可用範圍中映射剩餘深度值範圍，亦即，不判定實際出現之非顯著深度值之數量。

可考量以下選項以增強實際情況下之時間穩定性。

對於離線處理而言，可決定針對每一擷取畫面一目標範圍。時間邊界可係已知的或自動地使用大家都知道的偵測演算法來判定。上述直方圖可針對該擷取畫面之總長度而計算出，例如以一單個映射為該擷取畫面。另一選擇為，可允許在該擷取畫面期間出現一小的差異。一較大差異將出現在擷取畫面邊界處，但很可能在一擷取畫面轉變期間看不見。因此，此像差映射將導致一穩定且可接受3D體驗。

對於使用合適緩衝之離線處理而言，可預看兩三個圖框並將目標範圍基於一(移動)圖框視窗。

對於當無法延遲圖框時之離線處理而言，可藉由只允許在一擷取畫面期間減小該範圍(減少該深度)來增強時間穩定性。就在一擷取畫面轉變之後，重設該範圍。另一選擇為，亦可在擷取畫面內允許該範圍之一小幅及逐漸增大。

圖5展示非線性像差映射。左邊的圖式501展示一像差值直方圖。該直方圖係如上文所闡述具有各別、不同輸入轉換函數之一經組合顯著及非顯著深度值直方圖。中間的圖式502展示藉由估計亦稱作機率密度函數(PDF)之連續資料之相對頻率獲得之一正規化直方圖。右邊的圖式503展示藉由積分或累積和獲得之對累積密度函數(CDF)之一估計。一樸素非線性映射方式將係按下文方式將CDF按比例調整至該目標範圍，舉例而言，[d_min,d_max]=[-40,40]：φ(d)=CDF(d)×(d_max-d_min)+d_min=80*CDF(d)-40

樸素映射之效果係物件內部之像差可拉伸且可造成可見畸變。一解決方案係例如藉由以下等式來約束映射之斜坡之一受限制映射：φ'(d)<=maxgain其中maxgain係選擇用於將一極限設定至該畸變之一常數。

圖6展示一最大增益約束。x值係目標深度值，且y值係輸入/輸出密度比例增益值。樸素映射601展示該增益之極高峰值。一最大增益值603由一虛線指示。受約束映射602不延伸超過該最大增益603。在不具有峰值之區域中，受約束映射602高於樸素映射601。

圖7展示增強型非線性像差映射。該圖展示非線性映射函數之結果。一樸素曲線701展示不具有最大約束之非線性映射φ(d)，而受約束映射曲線702展示具有最大約束之增強型非線性映射φ'(d)。

以下章節分四個步驟來提供映射函數φ'(d)之一實例性偽碼：

1. 輸入：

a. 樸素映射phi_naive、所要輸出範圍[d_min,d_max]及最大增益約束maxgain

2. 初始化：

a. phi'：=phi'_naive (以樸素映射之導數開始)

b. 1ast：={ }

3. 迭代：

a. saturated：={d|phi'(d)>=maxgain}

b. 當saturated=last時轉至4

c. last：=saturated。

d. phi'(d)：=處於飽和中之所有d之maxgain(調整對飽和區之映射)

e. correction：=(sum(phi'_naive)-sum_saturated(phi'))/ sum_not saturated(phi'))(計算對非飽和區之一校正增益)

f. phi'(d)：=不處於飽和中之所有d之校正phi' (調整對非飽和區之映射)

4. 完成：

a. phi：=integrate phi'+d_min

b. phi：=phi+(d_max-phi(∞))/2(使映射範圍在指定範圍內居中)

應注意條件4b在源影像材料中不具有或具有極少像差之情況下(例如，在一電影之片頭字幕期間)出現。此外，該實例性演算法將靠近通常係較佳之所要子範圍之中心映射中位數像差。

總之，必須使像差扭曲至對於一特定3D顯示器上之最佳3D觀看條件之一可用範圍上。一單個扭曲範圍被認為是次佳的，從而導致一太受限制的範圍(小深度效應)或導致一太寬的範圍(顯著物件之令人不安的模糊)。我們因此提議該輸入像差範圍之一基於顯著性之扭曲，其中使顯著區扭曲至一更受限制輸出像差子範圍上，而非顯著區可使用整個、更大可用像差範圍。

本發明可具體應用於諸如凸鏡狀或基於阻障之多視圖顯示裝置之自動立體顯示裝置中，其中使用本發明來將單聲道/立體聲內容轉換為多個視圖供與此等顯示器一起使用。

儘管已主要藉由使用經由比如BD之一光碟之3D影像信號傳送之實施例解釋了本發明，但本發明亦適用於經由一數位通道(例如，DVB廣播或網際網路)之任一3D視訊分佈。

應瞭解，為清晰起見，上述說明已參照功能元件及處理器闡述了本發明之實施例。然而，應瞭解，可在不背離本發明之情況下使用不同功能單元或處理器之間的任一合適功能性分佈。舉例而言，圖解說明為由單獨單元、處理器或控制器執行之功能性可由同一處理器或控制器執行。因此，應將對具體功能單元之提及僅視為對用於提供所述功能性之合適構件之提及，而非指示一嚴格邏輯或實體結構或組織形式。本發明之方法可實施為任一合適形式，包括硬體、軟體、韌體或該等之任一組合。

儘管在上文中已針對裝置給出大部分實施例，但可藉由對應之方法來提供相同之功能。此等方法可視情況至少部分地實施為在一或多個資料處理器及/或數位信號處理器上運行之電腦軟體。可採用任一合適方式在實體上、功能上及邏輯上實施本發明之一實施例之元件及組件。

若一特徵可似乎係結合特定實施例而闡述，但熟習此項技術者將認識到，所述實施例之各種特徵可根據本發明來加以組合。可有利地組合個別特徵，且包含於不同申請專利範圍中並不意味著一特徵組合不可行及/或有利。此外，將一特徵包含於一類申請專利範圍中並不意味著僅限於該類別，而是表示該特徵視需要同等地適用於其他申請專利範圍類別。此外，申請專利範圍之特徵之次序並不意味著該等特徵在起作用時所必須遵循之任何特定此項，且具體而言，方法項中各單獨步驟之次序並不意味著必須以該次序來實施該等步驟。而是，可按任何合適次序來實施該等步驟。另外，單數提及形式並不排除複數形式。因此，所提及之「一(a)」、「一(an)」、「第一」、「第二」等並不排除複數。申請專利範圍中之參考符號提供僅作為一澄清實例而不應視為以任何方式限制申請專利範圍之範疇。

21‧‧‧像差估計器

22‧‧‧顯著性偵測器

23‧‧‧顯著性資料

24‧‧‧像差映射單元

25‧‧‧目標像差子範圍

26‧‧‧視圖呈現器

27‧‧‧三維顯示器

28‧‧‧第一像差圖

30‧‧‧三維影像

31‧‧‧輸入像差值範圍

32‧‧‧可用像差值範圍

33‧‧‧三維影像

34‧‧‧輸入像差值範圍

35‧‧‧子範圍

36‧‧‧可用像差值範圍

40‧‧‧三維視訊裝置

41‧‧‧三維視訊信號

42‧‧‧處理單元

43‧‧‧三維視訊資料

45‧‧‧網路

46‧‧‧輸出單元

47‧‧‧輸入構件

48‧‧‧編碼器

50‧‧‧三維視訊裝置/三維影像處理裝置/三維播放器/三維播放裝置

51‧‧‧輸入構件/輸入單元

52‧‧‧視訊處理器/處理單元

54‧‧‧記錄載體

55‧‧‧輸出介面單元

56‧‧‧三維顯示信號

58‧‧‧輸入構件/光學記錄載體單元/光碟單元

59‧‧‧網路介面單元/輸入構件

60‧‧‧三維顯示裝置

61‧‧‧輸入構件/輸入介面單元

62‧‧‧處理單元/視訊處理器

63‧‧‧三維顯示器

601‧‧‧樸素映射

602‧‧‧受約束映射

603‧‧‧最大增益

701‧‧‧樸素曲線

702‧‧‧受約束映射曲線

圖1展示用於在一系統中處理3D影像資料以顯示3D影像資料之一裝置，圖2展示對像差映射之一系統概觀，圖3示意性地展示一先前技術像差映射，圖4示意性地展示增強型像差映射，圖5展示非線性像差映射，圖6展示一最大增益約束，及圖7展示增強型非線性像差映射。

33‧‧‧三維影像

34‧‧‧輸入像差值範圍

35‧‧‧子範圍

36‧‧‧可用像差值範圍

Claims

一種處理一個三維[3D]影像信號以基於多個顯示視圖(views)在一3D顯示器(27)上呈現(rendering)3D影像資料之方法，該方法包含：自該3D影像信號導出包含第一深度值之一第一深度圖(depth map)(28)，自該3D影像信號導出表示適量(amount)之該3D影像資料中之顯著性(saliency)之顯著性資料(saliency data)(23)，該顯著性指示具有一顯著深度值範圍(salient range of depth values)之顯著元素(salient elements)，依據該顯著性資料來判定該適量之該3D影像資料之一深度映射函數(24)以便將處於該顯著範圍內之第一深度值朝向一顯示深度子範圍映射，該顯示深度子範圍係該3D顯示器之一可用深度範圍之一子範圍，且相較於跨該可用深度範圍之3D影像品質，為一觀看者提供一更高3D影像品質，藉由該深度映射函數將該第一深度圖轉換成一第二深度圖以依據該第二深度圖來產生(26)該等顯示視圖。
如請求項1之方法，其中該顯著性資料係指示該影像之像素之一顯著度之一顯著性圖，或該顯著性資料係一顯著性深度範圍。
如請求項1之方法，其中導出顯著性資料包含：自該3D影像信號導出後設資料，該後設資料表示該3D影像資料之該顯著性資料。
如請求項1之方法，其中該深度映射函數包含：製作顯著像素之一第一直方圖及非顯著像素之一第二直方圖；基於該第一直方圖判定一顯著深度範圍並在該顯示深度子範圍內部映射該顯著深度範圍，且在該可用深度範圍上映射該第二直方圖。
如請求項1之方法，其中該深度映射函數包含：製作顯著像素及非顯著像素之一經組合直方圖，該等顯著像素具有一第一輸入轉換且該等非顯著像素具有一第二輸入轉換，該第一輸入轉換具有依據相對於該可用範圍之該子範圍之一校正函數；判定一經組合直方圖深度範圍，在該顯示可用深度範圍內部映射該經組合直方圖深度範圍，該校正函數使得處於該顯著範圍內之該等第一深度值朝向該顯示深度子範圍扭曲。
如請求項1之方法，其中該適量之3D影像資料係一3D視訊信號之一週期，且該深度映射函數跨時間取決於該顯著性資料。
如請求項6之方法，其中該深度映射函數包含判定一擷取畫面作為該3D視訊信號之該週期並針對該擷取畫面設定該映射函數，或使用具有一預看之一移動視窗並針對該視窗設定該映射函數。
一種用於處理一個三維[3D]影像信號以基於多個顯示視圖在一3D顯示器上呈現3D影像資料之3D視訊裝置(40、50)，該裝置包含：輸入構件(47、51、58、59、61、71)，其用於自該3D影像信號導出包含第一深度值之一第一深度圖(28)，且用於自該3D影像信號導出表示適量之該3D影像資料中之顯著性之顯著性資料(23)，該顯著性指示具有一顯著深度值範圍之顯著元素，及一視訊處理器(42、52、62)，其經配置以用於依據該顯著性資料來判定該適量之該3D影像資料之一深度映射函數以便將處於該顯著範圍內之第一深度值朝向一顯示深度子範圍映射，該顯示深度子範圍係該3D顯示器之一可用深度範圍之一子範圍，且相較於跨該可用深度範圍之3D影像品質，為一觀看者提供一更高3D影像品質，藉由該深度映射函數將該第一深度圖轉換成一第二深度圖以依據該第二深度圖來產生該等顯示視圖。
如請求項8之裝置，其中該視訊處理器(42、52、62)經配置以用於依據該第二深度圖來產生該等顯示視圖，及/或該裝置包含用於針對一觀看者之各別左眼及右眼顯示該等顯示視圖之一3D顯示器(63)，及/或該視訊處理器經配置以用於藉由自連接至該3D視訊裝置之一3D顯示裝置(60)獲取顯示能力資訊來判定該顯示深度子範圍。
如請求項8之裝置，其中該導出顯著性資料包含：自該3D影像信號導出後設資料，該後設資料表示該3D影像資料之該顯著性資料。
如請求項8之裝置，其中該等輸入構件包含：一光學記錄載體單元(58)，其用於自一光學記錄載體擷取視訊資訊。
一種形成一3D影像信號之方法，該3D影像信號用於基於多個顯示視圖在一3D顯示器上呈現3D影像資料，該3D影像信號包含：後設資料(meta data)，其包括表示適量之該3D影像資料中之顯著性之顯著性資料，該顯著性指示具有一顯著深度值範圍之顯著元素，為使得能夠在一3D視訊裝置中進行以下操作，自該3D影像信號導出包含第一深度值之一第一深度圖(28)，依據該顯著性資料來判定該適量之該3D影像資料之一深度映射函數以便將處於該顯著範圍內之第一深度值朝向一顯示深度子範圍映射，該顯示深度子範圍係該3D顯示器之一可用深度範圍之一子範圍，且相較於跨該可用深度範圍之3D影像品質，為一觀看者提供一更高3D影像品質，及藉由該深度映射函數將該第一深度圖轉換成一第二深度圖以依據該第二深度圖來產生該等顯示視圖。
一種包含一光學可讀標記(marks)軌道之光學記錄載體(54)，其中該等標記表示如請求項12之3D影像信號。
一種包含電腦程式碼構件之電腦程式，當該電腦程式在一電腦上運行時，該電腦程式碼構件操作以致使一處理器執行如請求項1至9中任一項之方法之各別步驟。
一種包含如請求項14之電腦程式之電腦可讀媒體。