TWI547142B - 引導的3d顯示器適配 - Google Patents
引導的3d顯示器適配 Download PDFInfo
- Publication number
- TWI547142B TWI547142B TW103105463A TW103105463A TWI547142B TW I547142 B TWI547142 B TW I547142B TW 103105463 A TW103105463 A TW 103105463A TW 103105463 A TW103105463 A TW 103105463A TW I547142 B TWI547142 B TW I547142B
- Authority
- TW
- Taiwan
- Prior art keywords
- qve
- display
- depth
- input
- value
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/327—Calibration thereof
Description
本案主張對美國臨時申請案案號為61/807,672的優先權,其申請於2013年4月2日,於此以其全部合併參考。
本發明一般係關於立體影像及顯示器。更特別的是,本發明之實施例係關於將立體影像引導的呈現上至立體或裸視立體顯示器。
3D視頻系統對於增強消費者之體驗獲得很大的興趣,無論在電影院或家庭中。這些系統使用立體或裸視立體的顯現之方法,包括:(i)視差圖像(anaglyph)-藉透過兩個色彩濾波器將光濾波而提供左/右眼分離,一般是紅色用於一眼,以及青色(cyan)用於另外一眼;(ii)線性偏振(linear polarization)-藉由透過垂直定向
(oriented vertically)的線性偏振器(一般來說)將左眼濾波,且透過水平定向的(oriented horizontally)線性偏振器將右眼影像濾波,而在投影機處提供分離;(iii)圓偏振(circular polarization)-藉由透過(一般來說)左旋圓偏振器(left handed circular polarizer)將左眼影像濾波,以及透過右旋圓偏振器(right handed circular polarizer)將右眼影像濾波,而在投影機處提供分離;(iv)快門眼鏡(shutter glasses),藉由及時的將左及右影像多路投影(multiplexing)而提供分離,以及(v)光譜分離(spectral separation)-藉由將左及右眼光譜地濾波而在投影機處提供分離,在其中左及右眼各接收紅、綠及藍光譜之互補部。
現今在市場中可獲得的大多數3D顯示器為立體TV,其需要使用者穿戴特別的3D眼鏡,以為了體驗3D效果。遞送3D內容到這些顯示器僅需要運載兩個分開的視點(view):左視點和右視點。裸視立體(免除眼鏡)或多視點(multi-view)顯示器係為可見到的。這些顯示器提供某運動視差(motion parallax)之量;觀看者能移動他/她的頭仿佛他們就如同他們環繞般從不同角度觀看物體。
傳統的立體顯示器提供單一3D視點;然而,裸視立體顯示器需要提供多視點,像是5視點、9視點、28視點等,其係基於顯示器之設計。當提供規律的立體內容到裸視立體顯示器時,顯示器提取深度地圖(depth map)且基於這些深度地圖建立或表現多視點。如於此所使
用的,術語「深度地圖」意指影像或其它位元流(bit-stream),其包含關於來自觀看點的場景物體之表面之距離的資訊。深度地圖能輕易的轉換成位差地圖(disparity map)且反之亦然,並且在本文件之內文中,術語「深度地圖」與「位差地圖」是相同的且可互換的。
對於特定目標顯示器最佳化的3D內容(例如,電影院之螢幕)可在立體或在家的多視點HDTV上不同的顯現。取決於顯示器的螢幕尺寸、多視點技術及其它參數,3D觀看體驗亦可不同。如由發明人在此所理解的,所欲的是發展改善的技術以用於在3D顯示器上表現立體內容,同時保存原創作者的(例如,導演的)藝術意向。
在這段所說明的手法係為可以尋求的手法,但並非必然的手法,其先前已被思及或者尋求過。因此,除非另外指示,不應假定在此段中說明的手法之任一者只是憑藉在此段他們的納入而合格成為先前技術。類似的,對照一或更多手法而識別的問題不應假定基於此段已而已公認在任何先前技術中,除非另外指示。
230‧‧‧模糊濾鏡
420‧‧‧深度轉換器
440‧‧‧目標顯示器
540‧‧‧顯示器
本發明之實施例係藉範例的方式,且非以限制的方式在所附圖式之圖中闡述,並且在其中相似的參考數字參照到相似的元件且其中:圖1A與圖1B描述依據實施例映射用於三裸
視立體顯示器的觀看體驗品質(QVE)的範例;圖2描述依據實施例用以決定目標顯示器之QVE映射的範例過程;圖3描述依據實施例用以決定目標顯示器之QVE映射的範例目標測試影像;圖4A及圖4B描述依據實施例用於引導的3D顯示器適配的範例過程;以及圖5描述依據實施例用於3D顯示器仿真的範例過程。
於此說明用於在立體且多視點顯示器上顯示立體影像的引導的3D顯示器適配技術。使用觀看體驗之品質(QVE;quality of viewing experience)的映射(例如,映射函數或輸入-輸出曲線),其將在特定3D顯示器上的觀看體驗度量表示成輸入位差(disparity)或深度資料之函數,而特徵化顯示器。可使用深度範圍轉換函數及回應於參考顯示器之QVE映射所建立的元數據(metadata)以及導演的原始藝術意向來表示從參考3D顯示器到任何3D顯示器的深度資料之映射。在下列說明中,為了解釋的目的,提出眾多的特定細節以為了提供本發明之全盤的理解。然而將顯而易見的是,本發明可不以這些特定的細節實行。在其它例子中,不以詳盡的細節來說明周知的結構及裝置,以為了避免不必要的模糊本發明。
於此說明的範例實施例係關於用於在立體及多視點顯示器上顯示立體影像的引導的3D顯示器適配技術。藉由觀看體驗之品質(QVE)的映射,其將在特定3D顯示器上的觀看體驗度量表示為輸入位差或深度資料之函數,而特徵化3D顯示器。提出了基於「觀看模糊」之度量的QVE映射函數之範例。給定從用於參考顯示器的輸入深度資料所產生的參數深度資料,以及藝術家的映射函數之表示法,其表示輸入深度資料與使用參考顯示器QVE映射產生的QVE資料之間的輸入-輸出關係,解碼器可重建參考深度資料且應用用於目標顯示器的反QVE映射以產生用於目標顯示器的輸出深度資料,其亦保留原始藝術家的意向。
在另一實施例中,藉由在已知深度或位差處顯示立體感影像、以2D攝影機擷取顯示器的影像以及分析擷取的2D影像以產生對應的QVE值來產生3D顯示器QVE映射函數。在實施例中,對應的QVE值為高斯模糊濾鏡(Gaussian blur filter)之標準差的函數(其已將測試影像給定為輸入)依據給定的準則產生最接近擷取的2D影像的輸出。
在另一實施例中,接收用於立體影像的原始輸入深度。回應於原始輸入深度資料,使用參考顯示器,正產生參考深度資料。深度範圍轉換函數可表示輸入深度
資料與參考輸出深度資料之間的輸入輸出關係。回應於參考深度地圖資料以及參考顯示器QVE映射,產生觀看體驗之品質(QVE)的資料。產生藝術家的映射函數,其表示輸入深度資料與QVE資料之間的輸入-輸出關係,且連同任一的參考深度地圖或原始輸入深度資料傳送為元數據到接收器;在另一實施例中,3D顯示器仿真系統存取用於立體影像的原始輸入深度資料。回應於原始輸入深度資料,使用參考顯示器,正產生參考深度地圖。回應於參考深度地圖資料以及參考顯示器QVE映射,產生觀看體驗之品質(QVE)資料。要仿真的目標顯示器係在不同的目標顯示器之模型之間作選擇,並且QVE資料係應用到用於仿真的目標顯示器之反QVE映射以產生用於仿真的目標顯示器之目標深度資料,其中當決定用於仿真的目標顯示器時,用於仿真的目標顯示器之反QVE映射表示輸入QVE值與輸出深度值之間的輸入-輸出關係。
在立體內容生產及顯示器中,原始的版本通常針對一定的目標顯示器尺寸及觀看距離進行最佳化,且接著其使用包括影像資料及深度或位差資料的位元流(bitstream)來遞送。舉例來說,現場體育廣播可對於遞送到家庭3D HDTV進行最佳化,同時劇場的版本可對於3D電影院投影機進行最佳化。如於此使用的,術語「位差
(disparity)」意指在左視點中物體之位置與立體影像之右視點之間距離上的差。在立體感視頻成像中,位差通常表示在一個視點中(例如左側影像)影像特徵之水平移位(例如,到左側或到右側),其係當在另一個視點觀看時(例如右側影像)。舉例來說,位在水位定位中的點,在左側影像中的h L 與在右側影像中的h R 可意指為具有h L -h R 像素之位差。
位差資料亦表示為深度或「輸入Z」資料,雖然替代的表示法亦為可能的,但通常表示為在用於8位元的[0,255]範圍中的灰階資料。在實施例中,給定輸入位差D,並且d min及d max位差限制值如將界定如下者,對在範圍[0,255]中深度變換(Z)的位差可界定為:
在等式(1)中,d min意指在符合解碼的深度值Z=0的材質之亮度像素中的輸入位差。d min的負值關於在螢幕平面前面的虛擬位置。類似的,d max界定在與解碼的深度值Z=255相符的材質視點之亮度像素中的輸入位差值。d max之值應大於d min。連同d min及d max界定輸入位差範圍,解碼的深度值應均勻的對此範圍映射。給定Z、d min及d max值,反Z對D映射亦可自等式(1)導出為
注意,d min與d max值可在每訊框、每有關的區域、每
場景或其它適合的基礎上變化。舉例來說,在第一場景中,位差範圍可在範圍[-10,30]中,同時在第二場景中位差可在範圍[-50,200]中。可使用元數據或輔助的位元流資料將這些d min及d max值通訊到下游(downstream)的處理器或目標接收器(像是機上盒(set-top box))。
遞送全解析度視頻與良好的品質深度/位差地圖資料對於立體與裸視立體顯示器兩者為必需的。能於3D內容建立過程期間不是手動的就是自動的建立良好品質位差地圖。通常建立這些位差地圖用於特定顯示器類型(例如,3D電影院投影機)且不適合用於其它3D顯示器(例如,攜帶型遊戲裝置或具有3D顯示器或家庭3D HDTV的平板)而因此需要被修改。舉例來說,若建立位差地圖用於眼鏡式(glasses-based)電影院投影機或眼鏡式立體感TV,位差範圍能大於由典型眼鏡免除(glasses-free)裸視立體(AS3D)顯示器所能處置的。例如,這些位差地圖在最佳形式中不可使用AS3D顯示器之限制的能力。進一步而言,AS3D顯示器係由不同的製造者作成且彼此具有不同的特性。因此,給定參考立體影像,有需要產生跨不同的3D顯示器之類型普遍使用的位差地圖,同時亦保留原始導演的意向。
依據實施例,朝向對此問題之解的第一頻驟係為界定映射或函數,其獨特的將在特定的顯示器上的觀看體驗之品質(QVE)特徵化為輸入資料之位差或深度的函數。在實施例中,不失一般性,針對表示觀看體驗之品質
所考量的主參數係為「觀看模糊(viewing blur)」;然而,其能被擴張以包括其它觀看因子,像是影像鬼影(image ghosting)或串擾(crosstalk),或者是在多視點AS3D顯示器之錐狀邊界處影像翻轉(亦即,擦拭效應(wiping effect))。
在圖1A中,100描述依據範例實施例用於3個不同裸視立體顯示器的QVE映射(110,120,130)之範例。對角地測量,100描述用於11吋顯示器(110)、23吋顯示器(120)以及56吋顯示器(130)的QVE映射。如之後將以更細節方式解釋,在此實施例中,當計算用於具有範圍0與255之間的深度值之輸入影像時,100之y軸提供測量輸出模糊。
圖2描述依據實施例對於特定顯示器導出QVE映射(例如,110、120或130)的範例過程。如在圖2中所描述的,在步驟205中,過程藉在考慮之下安裝顯示器以及用以擷取測試投射上至顯示器的攝影機而開始。安裝包含校準顯示器且將攝影機放在針對目標顯示器之通常觀看距離(例如,用於11吋顯示器的1.5英尺)。對於裸視立體顯示器,攝影機亦放置在顯示器的觀看錐狀之中央。給定目標深度範圍(例如,0~255),一組測試影像(225)係準備用於在測試之下的深度值。注意,位差相關的參數(例如,d min和d max)可針對各顯示器而變化。在實施例中,測試影像225之各者可包含一連串可變寬度之垂直線。舉例來說,直垂線可表示在各種頻率上製圖的空間2-
D正弦波。這類測試圖型之範例係在圖3中描述。
處理迴圈250被重複以用於在考慮之下的各深度值且包括下列步驟:(a)在步驟210中,顯示目標測試影像。(b)在步驟215中,顯示的影像係由攝影機擷取為2D影像。由於在測試影像中內嵌的位差,期望的是,藉由攝影機之擷取的影像將是比原始測試影像更差之視覺品質的(例如,更模糊)。最後,(c)在步驟220中,分析擷取的影像並且受指派QVE度量。QVE度量可以是客觀的或主觀的任一者,並且依據某預定準則受指派數值。在一實施例(100)中,在0與4之間的主觀的QVE度量代表高斯模糊濾波器之標準差σ,高斯模糊濾鏡產出如輸入位差的等效模糊之輸出。接下來討論計算這類的度量之範例。
假定「視覺模糊(visual blur)」係考慮視覺體驗因子之主參數,可使用各種模糊濾鏡(230)模糊各個測試影像(225),像是一組高斯模糊濾鏡或任何其它類型的低通或模糊濾鏡。在實施例中,這些高斯模糊濾鏡之各者可具有相同尺寸核心但不同的標準差σ參數(例如,在0.3與4之間的σ)。接著,在步驟220中,各擷取的影像(215)係依據誤差準則相比此組全模糊的影像(230),像是普遍使用的SNR(信號對雜訊比)和峰值SNR(Peak-SNR)準則。接著,對於給定的深度,輸出QVE度量(例如,QVE=3.0)可界定為模糊濾鏡之標準差,對於模糊濾鏡之標準差,它的輸出依據給定的準測最佳的匹配擷取的測試影像。
如將在後進一步討論的,給定QVE映射(例如,f TQ(Z)110),在一些實施例中,其所欲的是應用他的反轉,使得對於給定QVE值(例如,Q),吾人能決定對應的深度Z=f Z (Q)。然而,如圖1A所描述的QVE映射之表示法並不適合用於界定反轉,其係由於單一QVE值可映射進入兩個不同的深度值。如圖1A所描述給定QVE映射f TQ(Z),在一些實施例中,可導出可反轉f Q(Z)映射函數如下:
其中對於給定深度Z、d min及d max、位差D使用等式(2)來計算。對於在圖1A中描述的f TQ(Z)映射之家族,圖1B描述對應f Q(Z)映射之範例。
圖4A描述依據實施例用於3D顯示器之範例引導的顯示器適配過程。原始內容405包含影像及建立用於瞄準原始目標顯示器(例如,電影院投影機)的原始版本之深度或位差資料。在許多相關的情形中,需要再處理此內容以產生瞄準不同類型顯示器之另一個版本。
步驟410意旨通常的後期製作(post-production)階段,在其中輸入深度資料407(例如,由Z I(n)所意指的)被轉譯成參考深度資料414(例如,由Z R(n)
所意指的)以用於在後期製作過程期間使用的參考顯示器。此過程通常是半自動的,具有來自原始藝術家(導演、電影攝影師(cinematographer)等)的某種輸入406以保留導演的意向。此過程亦可包括額外的處理步驟(未繪示),諸如色彩分級(color grading)或是增強的或高動態範圍到較低動態範圍的色彩映射。在3D內容後期製作及分佈之一實施例中(400A),步驟410之輸出可包含使用深度範圍轉換函數(例如,由f CR (Z)所意指,使得輸出414Z R(n)=f CR (ZI(n))產生的輸出參考深度資料414(例如,ZR(n))。在實施例中,過程410之輸出亦可包括顯示器QVE映射412之表示法(例如,如f QR(Z)意指的)以用於用以產生參考深度地圖資料414的參考顯示器。參考顯示器QVE映射412可伴隨如伴隨其它元數據之元數據的深度資料414來傳送。參考顯示器QVE映射412可以各種本領域已知的方式傳送,像是查找表(look-up table),如參數線性、分段線性或非線性函數之參數等,使得其可由下游處理步驟重建,像是深度轉換器420。
給定參考顯示器QVE映射412(例如,f QR(Z))及參考深度資料414(例如,Z R(n)),深度轉換器420能依據QVE映射412(例如,Q R(n)=f QR(Z R (n))將深度資料414轉譯成QVE值424(例如,由Q R(n)所意指的)。在一些實施例中,步驟420可為部分的編碼器或者是將QVE值424廣播到適合的接收器的傳送器,像是機上盒接收器或是3D TV。在這類情境中,位元流424已包入關於參考QVE
映射的資訊,且沒有其它資訊需要被傳送。在一些其它實施例中,步驟420可為部分的解碼器,像是機上盒接收器或3D TV。在這類情境中,編碼器需要傳送參考深度資料414與參考顯示器QVE映射412兩者。舊有接收器可忽略參考顯示器映射412且簡單的將深度資料處理到他們能力的最佳者;然而,如接下來將說明的,致能以正確的中斷引導QVE映射元數據的較新的解碼器,可使用他們來進一步的改善顯示器影像資料412上至目標顯示器(440)。
讓f QT(Z)意指用於目標顯示器440的QVE映射函數428。如較早所注解的,給定f QT(Z)(例如,110B),顯示器處理器能容易的建構其反轉,輸入VQE值對於其輸出對應的Z值。在步驟430中,在接收器中,給定此組輸入QVE值424(例如,Q R(n)),最終目標顯示器深度資料432(例如,由Z T(n)所意指的)可產生為
圖4B描述用於引導的顯示器適配之替代的實施例。類似於過程400A,在400B中的步驟410產生瞄準顯示器之類別的深度資料;然而,取代將輸出深度資料本身(例如,Z R(n)414)及參考顯示器QVE映射412輸出,步驟410輸出原始深度資料407(例如,ZI(n))以及深度範圍轉換函數之表示法(f CR (Z)),使得Z R(n)=f CR (ZI(n))。
給定Z I(n)407、f CR (Z)以及參考顯示器QVE映射412(f QR(Z)),步驟420可產生表示藝術家的意向的映
射函數422 f QR_A(Z),使得Q R(n)424可表達為Q R(n)=f QR_A (ZI(n))。在實施例中,映射函數422 f QR_A(Z)之表示法可使用伴隨深度資料407的元數據從傳送器或編碼器發訊到下游解碼器。映射函數422可以各種本領域已知的方式傳送,像是查找表,如參數線性、分段線性或非線性函數之參數等,使得其可由下游處理步驟重建,像是QVE資料到深度轉換器430。
給定ZI(n)407、f QR_A(Z)422以及目標顯示器QVE映射428(f QT(Z)),如較早所解釋的,過程430可產生最終Z T(n)深度資料432如下:Q R(n)=f QR_ A(ZI(n)),
在一些實施例中,除了f QR_A(Z)函數422以外,在步驟410中產生的深度資料轉換函數416(fCR(Z))亦可傳送到接收器。此將允許不具有QVE映射之概念的舊有解碼器能夠將Z T(n)重建為Z T(n)=f CR (ZI(n))。
在一些實施例中,為了保留頻寬且最小化傳送的資料率,傳送器可僅傳送藝術家的映射函數f QR_A(Z)函數之部分的表示法。接著,解碼器可重建f QR_A(Z)之接近的近似。在本文件之內文中,使用f QR_A(Z)之精確的或近似的形式係為相同的且可互換的。
在一些實施例中,於內容建立階段410期間,QVE映射函數408之家族可用以使用單一參考顯示器540在不同的目標顯示器上仿真觀看條件。在實施例中,圖5描述用於3D顯示器仿真的範例過程。過程500類似於過程400A,排除處理步驟420及430現可整合成顯示器仿真520之單一步驟。
於後期製作500期間,藝術家406可使用顯示器540作為參考顯示器以產生參考深度資料414。於此處理階段期間,可跳過顯示器仿真過程520且顯示器540可直接基於參考深度資料414顯示色彩分級的影像內容512。在藝術家想要仿真在另一顯示器中將如何觀看輸出414的情形中(以已知的或未來的未來顯示之QVE映射函數的任一者),接著顯示器540可被饋送如由顯示器仿真520所產生的深度資料,其簡單將較早說明的步驟420與430結合為過程400A之部分。在顯示器仿真模式下,QVE映射函數428表示用於目標仿真的顯示器之QVE映射。
表1摘要於此使用的關鍵符號及專門術語。
本發明之實施例可以電腦系統、在電子電路與組件中組態的系統、像是微控制器的積體電路(IC)裝置、場可編程閘陣列(FPGA)或是其它可組態或可編程邏輯裝置(PLD)、離散時間或數位訊號處理器(DSP)、特定應用IC(ASIC)及或包括這類系統、裝置或組件之一或更多者的設備。電腦及/或IC可施行、控制或是執行關於引導的3D顯示器適配的指令,像是於此說明的該些者。電腦及/或IC可計算如於此說明關於引導的3D顯示器適配的各種參數或值之任一者。引導的3D顯示器適配實施例可以硬體、軟體、韌體及其各種結合來建置。
本發明之一定的建置包含電腦處理器,其執行造成處理器施行本發明之方法的軟體指令。例如,在顯示器中一或更多處理器、編碼器、機上盒、代碼轉換器
(transcoder)等可藉執行在對處理器可存取的程式記憶體中的軟體指令來建置如上述用於引導的3D顯示器適配的方法。本發明亦以程式產品之形態提供。程式產品可包含任何運載一組包含指令的電腦可讀訊號的媒體,當由資料處理器執行時,指令造成資料處理器執行本發明的方法。依據本發明之程式產品可在任何很多不同的形態中。程式產品可包含例如實體媒體,諸如包括軟碟(floppy diskettes)、硬碟驅動器的磁性資料儲存媒體、包括CD ROM、DVD的光學資料儲存媒體、包括ROM、快閃RAM的電子資料儲存媒體等。可選擇性的壓縮或加密在程式產品中的電腦可讀訊號。
在當組件(例如,軟體模組、處理器、組合件、裝置、電路等)參照到上面的情形,除非另外有指示,參照到該組件(包括參照到「手段」)應解釋為包括如該組件之等效的任何組件,其施行所說明的組件之功能(例如,這是功能上的等效),包括非結構的等效於所揭示的結構的組件,其施行在本發明闡述的範例實施例中的功能。
因此說明關於引導的3D顯示器適配的範例實施例。在先前的說明書中,本發明之實施例已參照可隨建置而變化的眾多特定細節來說明。因此,什麼是本發明之唯一且獨家的指標且係由申請人意欲作為本發明的,係為
從本申請案發布如在申請專利範圍中記載的集合,在這類申請專利範圍以此發布的形式中,包括任何隨後的校正。任何於此明文的提出用於包含在這樣的申請專利範圍中的術語的定義應如在申請專利範圍中使用的一樣來支配這類術語的意義。因此,未明文記載於請求項中限制、元件、特性、特徵、益處或屬性不應以任何方式限制這樣的請求項之範圍。據此,說明書及圖式係以闡述的而非限制的理解來考慮。
400A‧‧‧過程
405‧‧‧原始內容
406‧‧‧藝術家
407‧‧‧深度資料
410‧‧‧內容建立階段
412‧‧‧顯示器QVE映射
414‧‧‧深度資料
420‧‧‧深度轉換器
424‧‧‧QVE值
428‧‧‧QVE映射函數
430‧‧‧深度轉換器
432‧‧‧深度資料
440‧‧‧目標顯示器
Claims (23)
- 一種使用觀看體驗之品質(QVE)映射特徵化3D顯示器的方法,該方法包含:對於用以在該3D顯示器上顯示用於立體感影像的深度範圍的輸入深度值之各個值或是從位差範圍的輸入位差值之各個值,藉由分析該立體影像產生用於該3D顯示器之對應的輸出QVE顯示器值。
- 如申請專利範圍第1項之方法,更在該輸入深度值或輸入位差值與該產生的輸出QVE顯示器值之間產生觀看體驗之品質(QVE)映射。
- 如申請專利範圍第2項之方法,包含:對於用以在參考3D顯示器上顯示用於立體影像的深度範圍的輸入深度值之各個值或是從位差範圍的輸入位差值之各個值,產生用於該參考3D顯示器之對應的輸出QVE參考顯示器值,在該輸入深度值或輸入位差值與該產生的輸出QVE顯示器值之間產生參考QVE映射。
- 如申請專利範圍第1到3項中任一項之方法,其中產生該QVE顯示器值包含:在該3D顯示器上顯示(210)具有該輸入深度或位差的測試立體感影像;以攝影機擷取該顯示的影像以產生2D擷取的影像(215);以及分析該2D擷取的影像以產生對應該輸入深度或位差 (220)的該輸出QVE值。
- 如申請專利範圍第1項之方法,其中該觀看體驗之品質包含測量視覺模糊。
- 如申請專利範圍第5項之方法,其中該測試立體感影像之視點包含一或更多2D正弦函數之表示法。
- 如申請專利範圍第4項之方法,其中分析該2D擷取影像包含:回應於該測試立體感影像之視點,以模糊濾鏡產生一組模糊的影像,其中在該組模糊的影像中各模糊影像係使用不同的模糊參數產生;將該2D擷取的影像與在該組模糊的影像中該模糊的影像之一或更多者比較以依據用於影像比較的誤差準則決定一或更多差度量;以及產生該輸出QVE值以回應該一或更多決定的差度量。
- 如申請專利範圍第7項之方法,其中該模糊濾鏡包含高斯濾鏡、該模糊參數包含該高斯濾鏡的標準差,且該輸出QVE值為該高斯濾鏡的標準差之函數,對於該高斯濾鏡的標準差之函數,在其輸出與該2D擷取的影像之間的該差度量為最小。
- 一種用於引導的3D顯示器適配的方法,該方法包含:接收用於立體影像的原始輸入深度資料(407);產生參考深度地圖資料(414),該參考深度地圖資料 係回應於該原始輸入深度資料(407)及深度範圍轉換函數(416)而產生;以及回應於該參考深度地圖資料(414)及參考顯示器QVE映射(412),產生觀看體驗之品質(QVE)資料(424),其中該參考顯示器QVE映射表示當對於該參考顯示器決定時輸入深度或位差值與輸出QVE值之間的輸入輸出關係。
- 如申請專利範圍第9項之方法,其中該參考顯示QVE映射(412)係依據申請專利範圍第2到8項中任一項的方法產生。
- 如申請專利範圍第9或10項之方法,更包含:產生藝術家的映射函數(422),該藝術家的映射函數表示該原始輸入深度資料與該QVE資料(424)之間的輸入輸出關係;以及將該藝術家的映射函數(422)及該原始的輸入深度資料(407)傳送到接收器。
- 如申請專利範圍第9項之方法,更包含,將該QVE資料(424)傳送到接收器。
- 如申請專利範圍第9項之方法,更包含,將該參考深度資料(414)及該參考顯示器QVE映射(412)之表示法傳送到接收器。
- 如申請專利範圍第9項之方法,更包含,將該原始輸入深度資料(407)、該參考顯示器QVE映射(412)之表示法以及該深度範圍轉換函數(416)之表示法傳送到接收器。
- 一種在解碼器中用於引導的3D顯示器適配的方法,該方法包含:在該解碼器處接收原始輸入深度資料(407)與藝術家的映射函數(422)之表示法,該藝術家的映射函數代表該原始輸入深度資料與由編碼器產生用於參考顯示器的QVE資料(424)之間的輸入輸出關係;將該藝術家的映射函數應用到該原始深度資料以產生解碼的QVE資料;以及將用於目標顯示器(428)的反QVE映射應用到該解碼的QVE資料以產生用於該目標顯示器(432)的目標深度資料,其中用於該目標顯示器的該反QVE映射表示當對於該目標顯示器決定時的輸入QVE值與輸出深度值之間的輸入輸出關係。
- 一種在解碼器中用於引導的3D顯示器適配的方法,該方法包含:在該解碼器處接收由編碼器所產生依據申請專利範圍第12項的QVE資料(424);以及將用於目標顯示器(428)的反QVE映射應用到該QVE資料以產生用於該目標顯示器的目標深度資料,其中用於該目標顯示器的該反QVE映射表示當對於該目標顯示器決定時的輸入QVE值與輸出深度值之間的輸入輸出關係。
- 一種在解碼器中用於引導的3D顯示器適配的方法,該方法包含: 在該解碼器處接收參考深度資料(414)與參考顯示器QVE映射(412)之表示法,其中該參考顯示QVE映射表示當對於參考顯示器決定時的輸入深度或位差資料與輸出QVE值之間的輸入輸出關係;將該參考顯示器QVE映射應用到該參考深度資料(414)以產生解碼的QVE資料;以及將用於目標顯示器(428)的反QVE映射應用到該解碼的QVE資料以產生用於該目標顯示器的目標深度資料,其中用於該目標顯示器的該反QVE映射表示當對於該目標顯示器決定時的輸入QVE值與輸出深度值之間的輸入輸出關係。
- 一種在解碼器中用於引導的3D顯示器適配的方法,該方法包含:在該解碼器處接收原始的輸入深度資料(407)、深度範圍轉換函數以及參考顯示器QVE映射(412)之表示法,其中該參考顯示器QVE映射表示當對於參考顯示器決定時的輸入深度或位差資料與輸出QVE值之間的輸入輸出關係;將該深度範圍轉換函數應用到該原始輸入深度資料以產生參考深度資料(414);將該參考顯示器QVE映射應用到該參考深度資料(414)以產生解碼的QVE資料;以及將用於目標顯示器(428)的反QVE映射應用到解碼的QVE資料以產生用於該目標顯示器目標深度資料,其中用 於該目標顯示器的該反QVE映射表示當對於該目標顯示器決定時的輸入QVE值與輸出深度值之間的輸入輸出關係。
- 一種用於3D顯示器仿真的方法,該方法包含:接收用於立體影像的原始輸入深度資料(407);產生參考深度地圖資料(414),該參考深度地圖資料係回應於該原始輸入深度資料(407)與深度範圍轉換函數(416)而產生;回應於該參考深度地圖資料(414)及參考顯示器QVE映射(412)產生觀看體驗之品質(QVE)資料(424),其中該參考顯示器QVE映射表示當對於該參考顯示器決定時的輸入深度或位差資料與輸出QVE值之間的輸入輸出關係;選擇仿真目標顯示器;以及將用於該仿真的目標顯示器(428)之反QVE映射應用到該QVE資料(424)以產生用於該仿真的目標顯示器的目標深度資料,其中用於該仿真的目標顯示器的該反QVE映射表示當對於該仿真的目標顯示器決定時的輸入QVE值與輸出深度值之間的輸入輸出關係。
- 如申請專利範圍第17、18或19項的方法,其中該參考顯示器QVE映射(412)係依據申請專利範圍第2到8項中任一項的方法產生。
- 一種3D顯示設備,包含處理器且組態以施行如申請專利範圍第1~20項中所載之方法之任一者。
- 一種非揮發性電腦可讀儲存媒體,其上已儲存電 腦可執行指令以用於執行依據申請專利範圍1~20項之任一項的方法。
- 一種使用觀看體驗之品質(QVE)映射特徵化3D顯示器的方法,該方法包含:對於用以在該3D顯示器上顯示用於立體感影像的深度範圍的輸入深度值之各個值或是從位差範圍的輸入位差值之各個值,產生用於該3D顯示器之對應的輸出QVE顯示器值,其中產生該QVE顯示器值的步驟包含:在該3D顯示器上顯示具有該輸入深度或位差的測試立體影像(210);以攝影機擷取該顯示的影像,用以產生2D擷取的影像(215);以及分析該2D擷取的影像,用以產生對應於該輸入深度或位差的該輸出QVE值(220),其中分析該2D擷取的影像的步驟包含:回應於該測試立體感影像之視點,以模糊濾鏡產生一組模糊的影像,其中在該組模糊的影像中各模糊影像係使用不同的模糊參數產生;將該2D擷取的影像與在該組模糊的影像中該模糊的影像之一或更多者比較以依據影像比較準則決定一或更多差度量;以及回應於該一或更多決定的差度量,產生該輸出QVE值。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361807672P | 2013-04-02 | 2013-04-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201448565A TW201448565A (zh) | 2014-12-16 |
TWI547142B true TWI547142B (zh) | 2016-08-21 |
Family
ID=50729789
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW103105463A TWI547142B (zh) | 2013-04-02 | 2014-02-19 | 引導的3d顯示器適配 |
Country Status (8)
Country | Link |
---|---|
US (1) | US10063845B2 (zh) |
EP (1) | EP2982106B1 (zh) |
JP (1) | JP6302540B2 (zh) |
KR (1) | KR101724309B1 (zh) |
CN (1) | CN105103544B (zh) |
HK (1) | HK1216694A1 (zh) |
TW (1) | TWI547142B (zh) |
WO (1) | WO2014165316A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150103162A1 (en) * | 2013-10-14 | 2015-04-16 | Etron Technology, Inc. | System of quickly generating a relationship table of distance to disparity of a camera and related method thereof |
JP7189156B2 (ja) * | 2017-05-15 | 2022-12-13 | アウスター インコーポレイテッド | 色によるパノラマlidar結果の増強 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2857133A1 (fr) * | 2003-07-03 | 2005-01-07 | Thomson Licensing Sa | Procede de generation de flou |
EP2332340B1 (en) | 2008-10-10 | 2015-12-23 | Koninklijke Philips N.V. | A method of processing parallax information comprised in a signal |
JP4737573B2 (ja) * | 2009-02-05 | 2011-08-03 | 富士フイルム株式会社 | 3次元画像出力装置及び方法 |
US8629899B2 (en) * | 2009-08-06 | 2014-01-14 | Qualcomm Incorporated | Transforming video data in accordance with human visual system feedback metrics |
JP5444955B2 (ja) * | 2009-08-31 | 2014-03-19 | ソニー株式会社 | 立体画像表示システム、視差変換装置、視差変換方法およびプログラム |
WO2011081646A1 (en) | 2009-12-15 | 2011-07-07 | Thomson Licensing | Stereo-image quality and disparity/depth indications |
US20110169818A1 (en) | 2010-01-13 | 2011-07-14 | Sharp Laboratories Of America, Inc. | Reducing viewing discomfort |
US20130033586A1 (en) * | 2010-04-21 | 2013-02-07 | Samir Hulyalkar | System, Method and Apparatus for Generation, Transmission and Display of 3D Content |
JP4875762B2 (ja) | 2010-05-26 | 2012-02-15 | シャープ株式会社 | 画像処理装置、画像表示装置および画像撮像装置 |
US9406132B2 (en) * | 2010-07-16 | 2016-08-02 | Qualcomm Incorporated | Vision-based quality metric for three dimensional video |
WO2012050089A1 (ja) | 2010-10-12 | 2012-04-19 | 株式会社Jvcケンウッド | 奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラム |
US9292973B2 (en) | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
US8836796B2 (en) | 2010-11-23 | 2014-09-16 | Dolby Laboratories Licensing Corporation | Method and system for display characterization or calibration using a camera device |
KR101727899B1 (ko) | 2010-11-26 | 2017-04-18 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
US8274552B2 (en) * | 2010-12-27 | 2012-09-25 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
US9407904B2 (en) * | 2013-05-01 | 2016-08-02 | Legend3D, Inc. | Method for creating 3D virtual reality from 2D images |
US8654181B2 (en) * | 2011-03-28 | 2014-02-18 | Avid Technology, Inc. | Methods for detecting, visualizing, and correcting the perceived depth of a multicamera image sequence |
EP2710550A2 (en) | 2011-05-17 | 2014-03-26 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Methods and device for processing digital stereo image content |
JP2014522600A (ja) * | 2011-05-31 | 2014-09-04 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 分解能トレードオフおよび最適化を実装するビデオ圧縮 |
CN103636200A (zh) | 2011-06-20 | 2014-03-12 | 松下电器产业株式会社 | 多视点图像生成装置、多视点图像生成方法 |
CN103125120B (zh) | 2011-07-26 | 2015-12-09 | 松下电器产业株式会社 | 动画编辑装置、动画编辑方法、程序以及集成电路 |
US9560334B2 (en) * | 2011-09-08 | 2017-01-31 | Qualcomm Incorporated | Methods and apparatus for improved cropping of a stereoscopic image pair |
US20130258044A1 (en) * | 2012-03-30 | 2013-10-03 | Zetta Research And Development Llc - Forc Series | Multi-lens camera |
CN104620283B (zh) * | 2012-09-14 | 2017-12-19 | 索尼公司 | 图像处理设备、图像处理方法 |
US9547937B2 (en) * | 2012-11-30 | 2017-01-17 | Legend3D, Inc. | Three-dimensional annotation system and method |
US9436358B2 (en) * | 2013-03-07 | 2016-09-06 | Cyberlink Corp. | Systems and methods for editing three-dimensional video |
US9438878B2 (en) * | 2013-05-01 | 2016-09-06 | Legend3D, Inc. | Method of converting 2D video to 3D video using 3D object models |
TWI530156B (zh) * | 2014-01-10 | 2016-04-11 | 友達光電股份有限公司 | 立體顯示方法 |
-
2014
- 2014-02-19 TW TW103105463A patent/TWI547142B/zh active
- 2014-03-17 KR KR1020157027050A patent/KR101724309B1/ko active IP Right Grant
- 2014-03-17 JP JP2016506318A patent/JP6302540B2/ja active Active
- 2014-03-17 US US14/781,560 patent/US10063845B2/en active Active
- 2014-03-17 EP EP14724215.0A patent/EP2982106B1/en active Active
- 2014-03-17 CN CN201480019109.8A patent/CN105103544B/zh active Active
- 2014-03-17 WO PCT/US2014/030588 patent/WO2014165316A1/en active Application Filing
-
2016
- 2016-04-21 HK HK16104608.8A patent/HK1216694A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
US10063845B2 (en) | 2018-08-28 |
US20160065949A1 (en) | 2016-03-03 |
EP2982106B1 (en) | 2019-06-19 |
TW201448565A (zh) | 2014-12-16 |
WO2014165316A1 (en) | 2014-10-09 |
HK1216694A1 (zh) | 2016-11-25 |
KR20150126640A (ko) | 2015-11-12 |
JP6302540B2 (ja) | 2018-03-28 |
JP2016521041A (ja) | 2016-07-14 |
CN105103544A (zh) | 2015-11-25 |
EP2982106A1 (en) | 2016-02-10 |
KR101724309B1 (ko) | 2017-04-07 |
CN105103544B (zh) | 2017-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9445072B2 (en) | Synthesizing views based on image domain warping | |
KR101863767B1 (ko) | 의사-3d 인위적 원근법 및 장치 | |
US8588514B2 (en) | Method, apparatus and system for processing depth-related information | |
US8711204B2 (en) | Stereoscopic editing for video production, post-production and display adaptation | |
US20120188334A1 (en) | Generating 3D stereoscopic content from monoscopic video content | |
JP5750505B2 (ja) | 立体映像エラー改善方法及び装置 | |
US8958628B2 (en) | Image scaling | |
US9031356B2 (en) | Applying perceptually correct 3D film noise | |
US20110193860A1 (en) | Method and Apparatus for Converting an Overlay Area into a 3D Image | |
JP2015521407A (ja) | 3d映像を処理するための品質メトリク | |
US20120218393A1 (en) | Generating 3D multi-view interweaved image(s) from stereoscopic pairs | |
US9019344B2 (en) | Apparatus and method for adjusting the perceived depth of 3D visual content | |
JP2015012429A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
Smolic et al. | Disparity-aware stereo 3d production tools | |
TWI547142B (zh) | 引導的3d顯示器適配 | |
WO2014029428A1 (en) | Three-dimensional display device and method for processing a depth-related signal | |
RU2632404C2 (ru) | Данные сигнализации глубины | |
KR20130026370A (ko) | 깊이 추정 데이터 생성 장치, 깊이 추정 데이터 생성 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 및, 의사 입체 화상 표시 장치 | |
US20150015670A1 (en) | Device and method for rendering and delivering 3-d content |