TWI748949B - 用於使用深度資訊之全視差壓縮光場合成之方法 - Google Patents
用於使用深度資訊之全視差壓縮光場合成之方法 Download PDFInfo
- Publication number
- TWI748949B TWI748949B TW105112775A TW105112775A TWI748949B TW I748949 B TWI748949 B TW I748949B TW 105112775 A TW105112775 A TW 105112775A TW 105112775 A TW105112775 A TW 105112775A TW I748949 B TWI748949 B TW I748949B
- Authority
- TW
- Taiwan
- Prior art keywords
- view
- views
- aberration
- predetermined
- pixel
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000015572 biosynthetic process Effects 0.000 title abstract description 21
- 238000003786 synthesis reaction Methods 0.000 title abstract description 21
- 230000004075 alteration Effects 0.000 claims description 42
- 238000001914 filtration Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000005070 sampling Methods 0.000 abstract description 10
- 238000003384 imaging method Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 238000009877 rendering Methods 0.000 description 12
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000001308 synthesis method Methods 0.000 description 3
- 239000011800 void material Substances 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
- H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
本發明闡述一種用於壓縮光場之合成之創新性方法。壓縮光場通常藉由對光場視圖進行子取樣來產生。然後必須使用來自該壓縮光場之資訊在顯示器處合成經抑制視圖。本發明闡述一種用於使用場景之深度資訊來重建不存在視圖之視圖合成之方法。與一高效空洞填充程序耦合之一創新性視圖合併方法補償深度不配準及不準確以產生用於全視差光場顯示器之真實合成視圖。
Description
本申請案主張於2015年4月23日申請之美國臨時專利申請案第62/151,616號之權益。
本發明大體而言係關於影像及視訊合成，更特定而言係關於用作光場3D成像系統之輸入之光場影像資料之合成。術語「光場」闡述光的透射及調變，包含方向、振幅、頻率及相位，因此囊括使用諸如全像、積分成像、立體圖像、多視圖成像、自由視點TV(FTV)及諸如此類之技術之成像系統。
光場顯示器調變光之強度及方向以用於重建一場景之3D物件而不需要用於觀看之專門眼鏡。為實現此目的，光場顯示器通常使用大量視圖，此施加數個挑戰於3D處理鏈之獲取及透射階段中。壓縮係處理所涉及之極大資料大小之一必要工具，且通常系統在產生階段對視圖進行子取樣並在顯示器處重建不存在視圖。舉例而言，在Yan等人之「Integral image compression based on optical characteristic」Computer Version，IET，第5卷，第3期，第164、168頁(2011年5月)及Yan Piao等人之「Sub-sampling elemental images for integral imaging compression」2010 International Conference on Audio Language and Image Processing(ICALIP)，第1164、1168頁(2010年11月23日至25日)中，作者基於顯示系統之光學特性執行元素影像之子取樣。光場取樣之一更正式方法可存在於以下作品中：Proceedings of the 27th annual conference on Computer graphics and interactive techniques(SIGGRAPH '00)中之Jin-Xiang Chai等人之(2000)Plenoptic sampling及Gilliam,C.等人之「Adaptive plenoptic sampling」,2011 18th IEEE International Conference on Image Processing(ICIP)，第2581、2584頁(2011年9月11日至14日)。為在顯示器側處重建視圖，可將來自電腦圖學方法之數種不同方法用於基於影像之演現。
在電腦圖學中，創建一場景或一場景之一視圖之行為稱為視圖演現。通常，利用併入來自相機視點之發光及表面性質之一複雜3D幾何模型。此視圖演現大體而言需要多個複雜操作及關於場景幾何形狀之一詳細知識。另一選擇係，基於影像之演現(IBR)藉助利用多個環繞視點來替換利用複雜3D幾何模型以自對光場進行過取樣之輸入影像直接合成視圖。儘管IBR產生較多真實視圖，但其需要一較密集資料獲取程序、資料儲存及光場中之冗餘。為減少資料處置償罰，基於深度影像之演現(DIBR)利用來自3D幾何模型之深度資訊以減少所需IBR視圖之數目。(參見美國專利第8,284,237號，「View Synthesis Reference Software(VSRS)3.5」wg11.sc29.org，2010年3月，及Proceedings of Picture Coding Symposium,San Francisco,CA,USA,2004年12月中之C.Fehn「3D-TV Using Depth-Image-Based Rendering(DIBR)」)。每一視圖具有與每一像素位置相關聯之一深度，稱為深度圖，其然後用於合成不存在視圖。
DIBR方法，與圖1中所繪示之方法相似，通常具有三個相異階段：即，視圖變換(view warping)(或視圖投影)、視圖合併105及空洞填充(hole filling)107。視圖變換係將由一個相機擷取之一場景重新投
影至另一相機之影像平面。此程序使用由參考視圖內之每像素深度資訊提供之場景之幾何形狀，及擷取裝置之特性，亦即，相機之內在(焦距、主點)及外在(旋轉、3D位置)參數(Proceedings of Picture Coding Symposium,San Francisco,CA,USA,2004年12月中之C.Fehn「3D-TV Using Depth-Image-Based Rendering(DIBR)」)。投影可在兩個單獨階段中進行：僅投影像差值之一前向變換103階段，及自各參考提取色彩值之一反向變換階段106。由於像差變換可受捨入及深度量化影響，因此可將一選用像差濾波104方塊新增至系統以校正經錯誤變換像差值。
在變換一個參考視圖之後，目標影像之各部分可仍然未知。由於處於不同深度之物件以不同表現速度移動，因此在參考視圖中由一個物件隱藏之場景之部分在目標視圖中可未被遮擋，但該目標視圖之此部分之色彩資訊無法自參考獲得。通常，多個參考用於嘗試覆蓋來自多個視點之場景，使得可自另一參考影像獲得一個參考之未遮擋部分。在多個視圖之情況下，不僅場景之未遮擋部分可來自不同參考，且亦可同時藉由多個參考將場景之各部分視覺化。因此，該等參考之經變換視圖可係互補的且同時可係重疊的。視圖合併105係將此等多個視圖一起拼成一個單視圖之操作。若來自不同視圖之像素經映射至相同位置，則利用深度值來判定主導視圖，該主導視圖將藉由最接近視圖或數個視圖之內插給出。
甚至在多個視圖之情況下，仍存在以下可能性即，在目標視圖處視覺化之場景之部分不對應於參考視圖中之任何色彩資訊。缺少色彩資訊之彼等位置稱為空洞，且已提出數種空洞填充107方法來用來自環繞像素值之色彩資訊填充此等空洞。通常空洞產生自物件未遮擋部，且缺失色彩與背景色彩高度相關。已提出根據背景資訊填充空洞之數種方法(Kwan-Jung Oh等人之「Hole filling method using depth
based in-painting for view synthesis in free viewpoint television and 3-D video」,Picture Coding Symposium,2009.PCS 2009，第1、4、6至8頁，2009年5月)。
由於顯示裝置解析度之限制，尚未將DIBR方法令人滿意地應用至全視差光場影像。然而，隨著具有極小像素間距之高解析度顯示裝置的到來(美國專利第8,567,960號)，利用DIBR技術之全視差光場之視圖合成已具可行性。
Levoy等人已利用兩個平行平面之間的光線內插來擷取一光場並重建其視點(Proceedings of the 23rd annual conference on Computer graphics and interactive techniques(SIGGRAPH '96)中之Marc Levoy等人(1996)「Light field rendering」)。然而，為達成真實結果，此方法需要產生並處理大量資料。若考慮到場景之幾何形狀，具體而言深度，則可實現資料產生及處理之一顯著減少。
在Proceedings of the 23rd annual conference on Computer graphics and interactive techniques(SIGGRAPH '96)中之Steven J.Gortler等人(1996)「The lumigraph」中，作者提出利用深度來校正光線內插，且在Proceedings of the 27th annual conference on Computer graphics and interactive techniques(SIGGRAPH '00)中之Jin-Xiang Chai等人(2000)「Plenoptic sampling」中，展示了演現品質與視圖之數目及可用深度成比例。當所用之深度資訊較多時，所需之參考較少。然而，不利的係，基於深度影像之演現方法由於不準確深度值及合成方法之精確性限制而易產生誤差。
深度獲取本身係一複雜問題。通常，系統使用一相機陣列，且一物件之深度可藉由在不同相機位置處之對應物件特徵估計。此方法由於遮擋或平滑表面而易產生誤差。最近，已利用用於深度獲取之數種有效方法，諸如深度相機及三維測距相機。然而，儘管低振幅對視
圖合成程序造成不利影響，但所擷取深度圖仍呈現雜訊位準。
為處理不準確幾何資訊，諸多方法應用一前處理步驟以濾波所獲取深度圖。舉例而言，在Kwan-Jung Oh等人之「Depth Reconstruction Filter and Down/Up Sampling for Depth Coding in 3-D Video」(Signal Processing Letters,IEEE，第16卷，第9期，第747、750頁(2009年9月))中，提出使深度圖平滑同時增強其邊緣之一濾波方法。在Shujie Liu等人之「New Depth Coding Techniques With Utilization of Corresponding Video」(IEEE Transactions on Broadcasting，第57卷，第2期，第551、561頁(2011年6月))中，作者提出一個三邊濾波器，其新增對應色彩資訊至傳統雙邊濾波器以改良色彩與深度之間的匹配。然而，深度資訊之前處理並未消除合成假影且可為計算密集型且對低延時系統而言不具實踐性。
視圖合併之一問題係視圖之間的色彩不匹配。在Yang L等人(2010)「Artifact reduction using reliability reasoning for image generation of FTV」J Vis Commun Image Represent，第21卷，第542至560頁(2010年7月至8月)中，作者提出將一參考視圖變換至另一參考視圖位置以便驗證兩個參考之間的對應。不可靠像素(亦即，在兩個參考中具有一不同色彩值之像素)在變換期間不予利用。為不減少參考像素之數目，出自Proc.Stereoscopic Displays and Applications XXI,第7524卷，2010年1月，第75240L-1-12頁(H.Furihata等人)中之「Novel View synthesis with residual error feedback for FTV」之作者提出利用自兩個參考視圖中之對應像素之間的差獲得之一色彩校正因子。儘管所提出方法改良了演現品質，但該改良以增加計算時間及記憶體資源為代價來檢查像素色彩及深度。
由於先前技術合成方法係針對接近彼此之參考視圖而最佳化，因此DIBR方法對於光場子取樣不太有效，其中參考視圖進一步彼此
間隔開。此外，為減少資料處置負荷，用於視圖合成之先前技術方法通常僅以水平視差視圖為目標；垂直視差資訊保持未處理。
在3D編碼標準化程序中(ISO/IEC JTC1/SC29/WG11，Call for Proposals on 3D Video Coding Technology,Geneva,Switzerland,2011年3月)，視圖合成正被視為3D顯示器處理鏈之部分，此乃因其允許擷取階段及顯示階段之解耦合。藉由在顯示器側處併入視圖合成，需要擷取之視圖較少。雖然合成程序並非規範之部分，但MPEG組織提供待用於3D視訊系統之評估中之一視圖合成參考軟體(VSRS，美國專利第8,284,237號)。VSRS軟體實施用於視圖合成之最先進技術，包含全部三個階段：視圖變換、視圖合併及空洞填充。由於VSRS可與任何類型之深度(包含自電腦圖學模型獲得之地表實況深度圖直至來自立體對影像之經估計深度圖)一起利用，因此併入諸多精密技術以適應性地處理深度圖之缺陷及合成不準確。舉例而言，圖2展示由VSRS採用之適應性合併操作之流程圖。出於合成目的，僅利用兩個視圖來判定輸出(一左視圖及一右視圖)201。首先，比較左深度與右深度之間的差之絕對值與一預定臨限值202。若此差大於一預定義臨限值(指示深度值彼此截然不同，且可能與不同深度層中之物件有關)，則最小深度值203判定較接近於相機之物件，且將視圖假定為左視圖207或右視圖208。假若深度值彼此接近，則利用空洞之數目來判定輸出視圖。比較205左視圖與右視圖中之空洞數目之間的絕對差與一預定臨限值。假若兩個視圖皆具有一類似空洞數目，則利用來自兩個視圖之像素之一平均值209。否則，將具有更少空洞206之視圖選作輸出視圖。此程序對不可靠變換像素而言有效，其偵測錯誤值並拒絕彼等錯誤值，但同時需要一高計算成本，此乃因一複雜視圖分析(深度比較及空洞計數)係針對每一像素單獨進行。
VSRS利用水平相機配置且僅使用兩個參考。針對具有小基線之
視圖(亦即，彼此接近之視圖)之合成而使VSRS最佳化。其未利用垂直相機資訊且不適合用於光場合成中。在Graziosi等人之「Depth assisted compression of full parallax light fields」(IS&T/SPIE Electronic Imaging.International Society for Optics and Photonics(2015年3月17日))中，引入以光場為目標並利用水平資訊及垂直資訊兩者之一合成方法。稱為MR-DIBR(基於多參考深度影像之演現)之方法在圖3中予以繪示且該方法使用具有相關聯像差301、302及303之多個參考321、322及323以演現光場。首先，將像差前向變換305至目標位置。其次，將一濾波方法310應用至經變換像差以減輕假影，諸如由不準確像素位移導致之裂紋。接下來之步驟係合併315全部已濾波之經變換像差。選擇具有較小深度(最接近於觀察者)之像素。VSRS混合來自具有類似深度值之兩個視圖之色彩資訊並獲得一模糊合成視圖；相比而言，在Graziosi等人之「Depth assisted compression of full parallax light fields」(IS&T/SPIE Electronic Imaging.International Society for Optics and Photonics(2015年3月17日))中之發明僅在合併之後使用一個視圖以保留參考視圖之高解析度。此外，演現時間因自僅一個參考進行色彩資訊之簡單複製而非內插數個參考複製而減少。最終，經合併元素影像像差308用於反向變換320來自參考之色彩321、322或323之色彩且產生最終經合成元素影像326。
當來自參考視圖之深度值不準確時，視圖合併演算法表現出品質降級。用於濾波深度值之方法已在以下專利中提出：美國專利第8,284,237號C.Fehn之「3D-TV Using Depth-Image-Based Rendering(DIBR)」(Proceedings of Picture Coding Symposium,San Francisco,CA,USA(2004年12月))，及Kwan-Jung Oh等人之「Depth Reconstruction Filter and Down/Up Sampling for Depth Coding in 3-D Video」(Signal Processing Letters,IEEE，第16卷，第9期，第747、
750頁(2009年9月))，但其增加系統之計算要求且可增加顯示系統之延時。
901‧‧‧左邊沿
902‧‧‧右邊沿
903‧‧‧空洞
904‧‧‧空洞
905‧‧‧空洞
在以下闡述中，相同圖式元件符號用於相同元件，甚至在不同圖式中亦如此。此外，該領域中眾所周知之功能未詳細闡述，此乃因其將以不必要細節模糊本發明。
圖1圖解說明用於一壓縮光場顯示系統之基於深度影像之演現之三個主要步驟。
圖2係用於先前技術中之一適應性合併程序之流程圖。
圖3係Graziosi等人之「Depth assisted compression of full parallax light fields」,IS&T/SPIE Electronic Imaging.International Society for Optics and Photonics(2015年3月17日)中之方法之流程圖，本發明以其為基礎。
圖4係本發明之一基於多參考深度影像之演現(MR-DIBR)方法之流程圖。
圖5繪示本發明之一每像素視圖選擇方法之一實施例。
圖6繪示本發明之一視圖合併方法之一實施例。
圖7圖解說明應用至區塊處理之本發明之一視圖合併方法之一實施例。
圖8圖解說明本發明之一空洞填充方法之一實施例。
圖9繪示本發明之空洞填充方法之不同選項。
本發明之目的係揭示一種用於視圖合併之方法，該視圖合併方法可處理深度不準確並以較少計算資源獲得一高品質合成視圖。本發明引入用於光場合成之創新性視圖合併方法以便克服先前技術之缺點。本發明之額外目標及優勢將因以下詳細闡述而變得顯而易見。
在本發明中，將光場配置在相機視圖之一2D矩陣中，相機視圖中之每一者稱為一「元素影像」。相機視圖彼此一樣且配置在僅具有水平及垂直位移之同一深度平面中。為達成經水平且經垂直對準視圖，可藉由水平及垂直像素移位進行視圖變換(投影)。通常將元素影像整合至顯示架構中。舉例而言，在基於透鏡之成像系統中，將元素影像定位在方向性地調變元素影像之一透鏡組或一微透鏡之下。
用於MR-DIBR中之合併操作受導致經變換(經重新投影)視圖不匹配之不準確深度值之不利影響。當合併完成時，較接近於相機之視圖被利用，但由於深度值錯誤，因此經合併結果可具有錯誤色彩值。另一問題係，由於最接近相機一直處於有利地位，因此當深度值類似於彼此但雜訊不同時，參考視圖選擇改變。當參考視圖色彩影像具有不同亮度時，經合併色彩中之假影因自一個參考改變至另一參考而產生。此外，空洞在合併操作之後仍然可見。因此，本發明之目標係如圖4中所繪示，藉由修改視圖合併415並包含一高效空洞填充程序325來改良Graziosi等人之「Depth assisted compression of full parallax light fields」(IS&T/SPIE Electronic Imaging.International Society for Optics and Photonics(2015年3月17日))中所揭示之方法。
在本發明之一項實施例中，闡述一種用於視圖合併之方法。程序之流程圖在圖5及圖6中予以繪示。將針對每一像素測試參考視圖且僅將一個視圖判定為輸出視圖601。為比較來自不同視圖之值，首先將各視圖根據其可靠性分數排序602，可靠性分數係藉由計算經變換視圖之深度直方圖並利用頻率作為加權因子來將N個最高值求平均而客觀地量化，如藉由方程式(1)指示。N係一憑經驗定義之影像相依系統參數。
針對每一像素603，執行選擇最佳視圖500之一程序直至不再有待處理之像素為止604。視圖選擇之程序在圖5中予以繪示。程序開始選出具有最高分數之視圖以初始化合併操作之輸出501。選擇來自經排序清單之下一視圖且將其像差挑選為一候選像差以與當前輸出像差值比較。在當前像差值指示一空洞位置時502，將輸出指派為當前視圖之像差值，且將新像差儲存在彼位置中505。在當前位置已經具有一像差值時，比較當前像差與候選像差之間的絕對差與一給定臨限值503，給定臨限值係控制合併操作之穩定性之一憑經驗定義之參考視圖相依之系統參數。藉由新增像差檢查、調整臨限值、並優先利用最可靠視圖，視圖選擇在合併操作中變得更加穩定。當差大於所給定臨限值時，執行一第二測試504以檢查哪一像差更大。假若候選像差大於當前像差，則更新輸出像差值以及輸出視圖505。以類似方式測試全部參考視圖506。
圖7中所繪示之合併操作在執行演算法600之前將輸入經變換影像分割成M×N個像素區塊702。由於每一區塊之處理彼此獨立，因此其可在具有平行處理器之一顯示器上便利地進行。或者，在一單個處理器上，重複此程序直至處理全部區塊704為止。對於單個處理器操作而言，若整個影像之逐區塊之可靠性變化，則將影像劃分成若干區塊可係有益的，此乃因其導致具有較多準確的可靠性估計。
可由區塊中之一空洞計數判定可靠性分數。合併結果可藉由一後濾波器進一步改良，諸如H.264/AVC視訊壓縮標準解區塊濾波器(ISO/IEC 14496-10：2003,「Coding of Audiovisual Objects-Part 10：Advanced Video Coding,」2003，亦ITU-T Recommendation H.264「Advanced video coding for generic audiovisual services」)。可在一區塊位準處調整色彩不匹配，其中比較鄰近區塊之區塊照度並根據鄰近色彩位準調整色彩位準。此外，合成操作可使用來自鄰近區塊之資
訊以維持合併操作中之視圖一致性，且避免由於視圖轉換造成之可能假影。為達成一較準確之視圖評估，本發明之另一可能實施例利用適應性區塊大小，例如，考慮到每區塊之空洞數目。
儘管存在用於空洞填充之諸多方法，但空洞填充演算法之複雜性係一大關注點。本發明採用基於水平背景延伸之一簡單空洞填充程序。圖8及圖9圖解說明由本發明之一實施例採用之技術。在反向變換期間，當遇到一空洞903時，會獲得在空洞之左邊沿901及在空洞之右邊沿902之深度。比較兩個深度802，且若在左側之深度表示一背景深度(亦即，更遠離相機之一深度值)，則由在空洞之左邊沿處之像素指示之參考之色彩值貫穿空洞904被複製804。若相反情況發生，且右側值與背景有關，則來自空洞之右邊沿之參考之色彩值貫穿空洞905被複製803。由於色彩延伸忽略圖案之存在或垂直色彩改變，因此此程序可導致背景假影。然而，此等假影對所感知影像品質具有較少影響，此乃因在光場之情形中，觀察者影像係藉由來自多個元素影像而非來自僅一個單元素影像之多個像素產生。錯誤空洞填充對顯示器之運動視差之影響大於對所感知影像品質之影響，且通常對銳視角之影響多於圓心視角。因此，由錯誤空洞填充導致之假影對觀察者體驗具有一較低影響。
應注意，深度及像差兩者在本發明中皆被提及。深度及像差係相關參數，且大體而言在本發明中及在隨附之申請專利範圍中，根據以下方程式，任一者可由另一者替換：Z=fB/d
其中：Z係深度值，f係焦距，B係基線(亦即，參考相機之位置與相機正被投影到的位置之間的距離)且d係像差。
熟習此項技術者將容易瞭解，各種修改及改變可在不背離隨附申請專利範圍中及由其所定義之本發明之範疇之情況下適用於本發明
之實施例。舉例而言，替代方法可用於獲得視圖可靠性分數。應瞭解，本發明之前述實例僅係說明性，且本發明可在不背離其精神或其基本特性之情況下以其他特定形式體現。
Claims (14)
- 一種用於依據表示複數個預定視圖及各別像差值之一資料集進行一光場之合成之方法，其包括：a)利用該等各別像差值將該複數個預定視圖投影至一單視圖位置以在等於該等預定視圖之數目之該單視圖位置處提供若干預定視圖；b)合併該複數個預定視圖以定義一經合併視圖，其中該合併包含；i)評估該複數個預定視圖中之每一者以判定每一預定視圖之一明顯可靠性；ii)針對每一像素，選擇先前未選擇之最明顯可靠之視圖並利用該各別像差值或標注一空洞之一位置；iii)再次選擇先前未選擇之最明顯可靠之視圖，且若空洞填充像素存在，則填充在ii)中發現之空洞；iv)針對進一步預定視圖重複ii)及iii)直至已處理全部預定視圖為止；及c)對該經合併視圖執行一空洞填充操作以定義用於顯示器之一經合成光場。
- 如請求項1之方法，其中該利用該等各別像差值將該複數個預定視圖投影至不同於該複數個預定視圖中之任一者之該位置之一單視圖位置。
- 如請求項1之方法，其中針對每一像素，在b)ii)中已針對該像素利用一像差值，若彼替換像差大於b)ii)中所利用之該像差值，則如填充一空洞一般替換作為b)iii)之部分之彼像差值。
- 如請求項1之方法，其進一步包括： 基於該等各別像差值中之雜訊判定一臨限值；及針對在b)ii)中選擇之該最可靠視圖中之每一像素，僅在該各別像差及下一最可靠視圖之該各別像素之該像差中之差之絕對值小於該臨限值之情況下，利用任何各別像素之該各別像差值，否則該兩個像差中之較大者用作該各別像素之該像差。
- 如請求項1之方法，其中自大於該預定複數個視圖之若干視圖選擇該複數個預定視圖。
- 如請求項1之方法，其中表示複數個預定視圖之一資料集包含對該等預定視圖中之每一者之該位置之一識別，且其中藉由分析該視圖判定該等預定視圖中之至少一者之該位置。
- 如請求項1之方法，其中在b)i)中，藉由以下操作來判定每一預定視圖之該明顯可靠性：發現該各別視圖中之每一像差之一發生頻率，及回應於N個最頻繁像差之一經加權總和而建立該明顯可靠性，其中將該等權重提供為該各別視圖中之該像差之重複之值，其中將N之相同值用於全部預定視圖，且回應於一經變換視圖中之若干不同像差值而選擇N。
- 如請求項1之方法，其中c)之該空洞填充操作包括：比較在該空洞之相對邊界處之像素；及藉由重複一邊界之該像素來填充該空洞，該邊界表示相對於該相對邊界之一背景。
- 如請求項8之方法，其中該等相對邊界係沿著該經合併視圖之一水平線之相對邊界。
- 如請求項1之方法，其中在a)與b)之間，該方法進一步包括將經投影之該複數個預定視圖劃分成M×N個像素區塊，且然後逐區塊地完成b)及c)。
- 如請求項10之方法，其中在逐區塊地完成b)及c)之後，基於該等區塊中之空洞之數目調適該等區塊之一大小。
- 如請求項10之方法，其進一步包括：在c)之後，比較鄰近區塊之區塊照度及根據鄰近色彩位準調整色彩位準。
- 如請求項10之方法，其進一步包括濾波。
- 如請求項13中之方法，其中濾波包含解區塊濾波。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562151616P | 2015-04-23 | 2015-04-23 | |
| US62/151,616 | 2015-04-23 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201703518A TW201703518A (zh) | 2017-01-16 |
| TWI748949B true TWI748949B (zh) | 2021-12-11 |
Family
ID=57143517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW105112775A TWI748949B (zh) | 2015-04-23 | 2016-04-22 | 用於使用深度資訊之全視差壓縮光場合成之方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US10070115B2 (zh) |
| EP (1) | EP3286737A1 (zh) |
| JP (1) | JP7036599B2 (zh) |
| KR (1) | KR20170140187A (zh) |
| CN (1) | CN107430782B (zh) |
| TW (1) | TWI748949B (zh) |
| WO (1) | WO2016172385A1 (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10244223B2 (en) | 2014-01-10 | 2019-03-26 | Ostendo Technologies, Inc. | Methods for full parallax compressed light field 3D imaging systems |
| CN107430782B (zh) | 2015-04-23 | 2021-06-04 | 奥斯坦多科技公司 | 用于利用深度信息的全视差压缩光场合成的方法 |
| EP3286916A1 (en) | 2015-04-23 | 2018-02-28 | Ostendo Technologies, Inc. | Methods and apparatus for full parallax light field display systems |
| US10448030B2 (en) | 2015-11-16 | 2019-10-15 | Ostendo Technologies, Inc. | Content adaptive light field compression |
| CN109076148B (zh) | 2016-04-12 | 2021-02-05 | 奎蒂安特有限公司 | 日常场景重建引擎 |
| US10567739B2 (en) * | 2016-04-22 | 2020-02-18 | Intel Corporation | Synthesis of transformed image views |
| US10453431B2 (en) | 2016-04-28 | 2019-10-22 | Ostendo Technologies, Inc. | Integrated near-far light field display systems |
| US20180350038A1 (en) | 2017-06-02 | 2018-12-06 | Ostendo Technologies, Inc. | Methods and Systems for Light Field Compression With Residuals |
| US20180352209A1 (en) | 2017-06-02 | 2018-12-06 | Ostendo Technologies, Inc. | Methods and Systems for Light Field Compression Using Multiple Reference Depth Image-Based Rendering |
| US11051039B2 (en) | 2017-06-02 | 2021-06-29 | Ostendo Technologies, Inc. | Methods for full parallax light field compression |
| US10432944B2 (en) | 2017-08-23 | 2019-10-01 | Avalon Holographics Inc. | Layered scene decomposition CODEC system and methods |
| US11900639B2 (en) | 2018-01-19 | 2024-02-13 | Interdigital Vc Holdings, Inc. | Processing a point cloud |
| US10931956B2 (en) * | 2018-04-12 | 2021-02-23 | Ostendo Technologies, Inc. | Methods for MR-DIBR disparity map merging and disparity threshold determination |
| US11875476B2 (en) | 2018-05-02 | 2024-01-16 | Quidient, Llc | Codec for processing scenes of almost unlimited detail |
| US11172222B2 (en) | 2018-06-26 | 2021-11-09 | Ostendo Technologies, Inc. | Random access in encoded full parallax light field images |
| RU2690757C1 (ru) | 2018-08-21 | 2019-06-05 | Самсунг Электроникс Ко., Лтд. | Система синтеза промежуточных видов светового поля и способ ее функционирования |
| US11252392B2 (en) | 2019-02-22 | 2022-02-15 | Avalon Holographies Inc. | Layered scene decomposition CODEC with layered depth imaging |
| US11670039B2 (en) | 2019-03-04 | 2023-06-06 | Dolby Laboratories Licensing Corporation | Temporal hole filling for depth image based video rendering |
| CN111970424B (zh) * | 2020-08-25 | 2022-07-19 | 武汉工程大学 | 基于微透镜阵列合成孔径的光场相机去遮挡系统和方法 |
| KR20220094003A (ko) * | 2020-12-28 | 2022-07-05 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 제어 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102892021A (zh) * | 2012-10-15 | 2013-01-23 | 浙江大学 | 一种合成虚拟视点图像的新方法 |
| US20130127844A1 (en) * | 2010-07-19 | 2013-05-23 | Frauhofer-Gesellschaft zur Foerderung der angerwandten Forschung e.V. | Filling disocclusions in a virtual view |
| WO2014011103A1 (en) * | 2012-07-10 | 2014-01-16 | Telefonaktiebolaget L M Ericsson (Publ) | Methods and arrangements for supporting view synthesis |
Family Cites Families (77)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5613048A (en) | 1993-08-03 | 1997-03-18 | Apple Computer, Inc. | Three-dimensional image synthesis using view interpolation |
| US6009188A (en) | 1996-02-16 | 1999-12-28 | Microsoft Corporation | Method and system for digital plenoptic imaging |
| US6097394A (en) | 1997-04-28 | 2000-08-01 | Board Of Trustees, Leland Stanford, Jr. University | Method and system for light field rendering |
| US6366370B1 (en) | 1998-12-30 | 2002-04-02 | Zebra Imaging, Inc. | Rendering methods for full parallax autostereoscopic displays |
| JP2001238230A (ja) * | 2000-02-22 | 2001-08-31 | Nippon Hoso Kyokai <Nhk> | 多眼式立体テレビシステムにおける３次元構造情報を抽出する装置 |
| US6738533B1 (en) | 2000-03-29 | 2004-05-18 | Microsoft Corporation | Minimum sampling rate and minimum sampling curve for image-based rendering |
| EP1880524B1 (en) | 2005-04-21 | 2013-10-30 | William Marsh Rice University | Method and apparatus for compressive imaging device |
| US7404645B2 (en) | 2005-06-20 | 2008-07-29 | Digital Display Innovations, Llc | Image and light source modulation for a digital display system |
| US7364306B2 (en) | 2005-06-20 | 2008-04-29 | Digital Display Innovations, Llc | Field sequential light source modulation for a digital display system |
| US7653248B1 (en) | 2005-11-07 | 2010-01-26 | Science Applications International Corporation | Compression for holographic data and imagery |
| US7916934B2 (en) | 2006-04-04 | 2011-03-29 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for acquiring, encoding, decoding and displaying 3D light fields |
| US8044994B2 (en) | 2006-04-04 | 2011-10-25 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for decoding and displaying 3D light fields |
| US20100265385A1 (en) * | 2009-04-18 | 2010-10-21 | Knight Timothy J | Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same |
| US7623560B2 (en) | 2007-09-27 | 2009-11-24 | Ostendo Technologies, Inc. | Quantum photonic imagers and methods of fabrication thereof |
| KR101520619B1 (ko) * | 2008-02-20 | 2015-05-18 | 삼성전자주식회사 | 스테레오 동기화를 위한 스테레오스코픽 영상의 시점 결정방법 및 장치 |
| US8155456B2 (en) | 2008-04-29 | 2012-04-10 | Adobe Systems Incorporated | Method and apparatus for block-based compression of light-field images |
| US8970646B2 (en) | 2008-07-09 | 2015-03-03 | Ostendo Technologies, Inc. | Image construction based video display system |
| US20110148858A1 (en) * | 2008-08-29 | 2011-06-23 | Zefeng Ni | View synthesis with heuristic view merging |
| WO2010037512A1 (en) * | 2008-10-02 | 2010-04-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Intermediate view synthesis and multi-view data signal extraction |
| US8098265B2 (en) | 2008-10-10 | 2012-01-17 | Ostendo Technologies, Inc. | Hierarchical multicolor primaries temporal multiplexing system |
| US8605081B2 (en) | 2008-10-26 | 2013-12-10 | Zebra Imaging, Inc. | Converting 3D data to hogel data |
| EP2348733A4 (en) * | 2008-10-27 | 2012-09-12 | Lg Electronics Inc | METHOD AND APPARATUS FOR THE SYNTHESIS OF VIRTUAL VISUALIZATION IMAGES |
| JP4816717B2 (ja) * | 2008-12-09 | 2011-11-16 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
| CA2749896C (en) | 2009-01-20 | 2019-02-19 | Koninklijke Philips Electronics N.V. | Transferring of 3d image data |
| US8681185B2 (en) | 2009-03-05 | 2014-03-25 | Ostendo Technologies, Inc. | Multi-pixel addressing method for video display drivers |
| US20100231585A1 (en) | 2009-03-13 | 2010-09-16 | Zebra Imaging, Inc. | Systems and Methods for Processing Graphics Primitives |
| KR100989435B1 (ko) * | 2009-03-16 | 2010-10-26 | 광주과학기술원 | 다시점 영상 처리 방법 및 장치 |
| US20100309287A1 (en) | 2009-03-20 | 2010-12-09 | Rodriguez Tony F | 3D Data Representation, Conveyance, and Use |
| US7978407B1 (en) | 2009-06-27 | 2011-07-12 | Holovisions LLC | Holovision (TM) 3D imaging with rotating light-emitting members |
| CN101969571B (zh) * | 2009-07-27 | 2013-08-21 | 慧帝科技(深圳)有限公司 | 像素处理方法 |
| US8284237B2 (en) * | 2009-09-09 | 2012-10-09 | Nokia Corporation | Rendering multiview content in a 3D video system |
| KR101608970B1 (ko) | 2009-11-27 | 2016-04-05 | 삼성전자주식회사 | 광 필드 데이터를 이용한 영상 처리 장치 및 방법 |
| KR20110064161A (ko) | 2009-12-07 | 2011-06-15 | 삼성전자주식회사 | 3차원 영상에 관한 압축 방법 및 장치, 그리고 3차원 영상 디스플레이 장치 및 그 시스템 |
| MX340111B (es) | 2010-03-31 | 2016-06-27 | Thomson Licensing * | Mapas de disparidad 3d. |
| US8473438B2 (en) | 2010-04-13 | 2013-06-25 | Empire Technology Development Llc | Combined-model data compression |
| US8994792B2 (en) | 2010-08-27 | 2015-03-31 | Broadcom Corporation | Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information |
| US9529191B2 (en) | 2010-11-03 | 2016-12-27 | Trex Enterprises Corporation | Dynamic foveal vision display |
| US20120206440A1 (en) * | 2011-02-14 | 2012-08-16 | Dong Tian | Method for Generating Virtual Images of Scenes Using Trellis Structures |
| CN102075779B (zh) * | 2011-02-21 | 2013-05-08 | 北京航空航天大学 | 一种基于块匹配视差估计的中间视图合成方法 |
| US8624719B2 (en) | 2011-06-03 | 2014-01-07 | Bosch Automotive Service Solutions Llc | Smart phone control and notification for an electric vehicle charging station |
| CA2750287C (en) | 2011-08-29 | 2012-07-03 | Microsoft Corporation | Gaze detection in a see-through, near-eye, mixed reality display |
| WO2013049699A1 (en) | 2011-09-28 | 2013-04-04 | Pelican Imaging Corporation | Systems and methods for encoding and decoding light field image files |
| US8854724B2 (en) | 2012-03-27 | 2014-10-07 | Ostendo Technologies, Inc. | Spatio-temporal directional light modulator |
| US8928969B2 (en) | 2011-12-06 | 2015-01-06 | Ostendo Technologies, Inc. | Spatio-optical directional light modulator |
| KR20130074383A (ko) * | 2011-12-26 | 2013-07-04 | 삼성전자주식회사 | 다중-레이어 표현을 사용하는 영상 처리 방법 및 장치 |
| KR20130084850A (ko) * | 2012-01-18 | 2013-07-26 | 삼성전자주식회사 | 시차 값을 생성하는 영상 처리 방법 및 장치 |
| US8995785B2 (en) * | 2012-02-28 | 2015-03-31 | Lytro, Inc. | Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices |
| US20130286053A1 (en) | 2012-04-25 | 2013-10-31 | Rod G. Fleck | Direct view augmented reality eyeglass-type display |
| JP6064040B2 (ja) | 2012-05-09 | 2017-01-18 | ライトロ, インコーポレイテッドLytro, Inc. | ライトフィールドの取り込み及び操作を改善するための光学系の最適化 |
| US9179126B2 (en) | 2012-06-01 | 2015-11-03 | Ostendo Technologies, Inc. | Spatio-temporal light field cameras |
| US8581929B1 (en) | 2012-06-05 | 2013-11-12 | Francis J. Maguire, Jr. | Display of light field image data using a spatial light modulator at a focal length corresponding to a selected focus depth |
| US9998726B2 (en) | 2012-06-20 | 2018-06-12 | Nokia Technologies Oy | Apparatus, a method and a computer program for video coding and decoding |
| EP2873028A4 (en) * | 2012-06-28 | 2016-05-25 | Pelican Imaging Corp | SYSTEMS AND METHOD FOR DETECTING DEFECTIVE CAMERA ARRAYS, OPTICAL ARRAYS AND SENSORS |
| KR101343554B1 (ko) * | 2012-07-06 | 2013-12-20 | 인텔렉추얼디스커버리 주식회사 | 영상 검색방법 및 장치 |
| US8754829B2 (en) | 2012-08-04 | 2014-06-17 | Paul Lapstun | Scanning light field camera and display |
| US9214013B2 (en) * | 2012-09-14 | 2015-12-15 | Pelican Imaging Corporation | Systems and methods for correcting user identified artifacts in light field images |
| EP4307659A1 (en) * | 2012-09-28 | 2024-01-17 | Adeia Imaging LLC | Generating images from light fields utilizing virtual viewpoints |
| US9544612B2 (en) | 2012-10-04 | 2017-01-10 | Intel Corporation | Prediction parameter inheritance for 3D video coding |
| US9274608B2 (en) | 2012-12-13 | 2016-03-01 | Eyesight Mobile Technologies Ltd. | Systems and methods for triggering actions based on touch-free gesture detection |
| CN103093460A (zh) * | 2013-01-06 | 2013-05-08 | 西北工业大学 | 基于平行视差的移动相机虚拟阵列标定方法 |
| US9699433B2 (en) | 2013-01-24 | 2017-07-04 | Yuchen Zhou | Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye |
| US9177393B2 (en) | 2013-02-04 | 2015-11-03 | Qualcomm Incorporated | Mixed mode for frame buffer compression |
| US9769365B1 (en) | 2013-02-15 | 2017-09-19 | Red.Com, Inc. | Dense field imaging |
| WO2014130849A1 (en) * | 2013-02-21 | 2014-08-28 | Pelican Imaging Corporation | Generating compressed light field representation data |
| JP2016508652A (ja) * | 2013-02-26 | 2016-03-22 | エー２ゼットロジックス，インコーポレーテッド | 画像シーケンスにおける物体のオクルージョンの決定 |
| TWI625551B (zh) | 2013-03-15 | 2018-06-01 | 傲思丹度科技公司 | 具有改良之視角深度及解析度之三維光場顯示器及方法 |
| WO2014145003A1 (en) | 2013-03-15 | 2014-09-18 | Ostendo Technologies, Inc. | Dynamic gamut display systems, methods, and applications thereof |
| US9392129B2 (en) | 2013-03-15 | 2016-07-12 | John Castle Simmons | Light management for image and data control |
| JP2015008387A (ja) | 2013-06-25 | 2015-01-15 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム並びに撮像装置 |
| CN103714573B (zh) * | 2013-12-16 | 2017-06-06 | 华为技术有限公司 | 一种生成虚拟视图的方法及装置 |
| US9993335B2 (en) | 2014-01-08 | 2018-06-12 | Spy Eye, Llc | Variable resolution eye mounted displays |
| US10244223B2 (en) | 2014-01-10 | 2019-03-26 | Ostendo Technologies, Inc. | Methods for full parallax compressed light field 3D imaging systems |
| US9357236B2 (en) | 2014-03-13 | 2016-05-31 | Intel Corporation | Color compression using a selective color transform |
| CN106662749B (zh) | 2014-07-15 | 2020-11-10 | 奥斯坦多科技公司 | 用于全视差光场压缩的预处理器 |
| CN104182765B (zh) * | 2014-08-21 | 2017-03-22 | 南京大学 | 一种互联网图像驱动的三维模型最优视图自动选择方法 |
| CN107430782B (zh) | 2015-04-23 | 2021-06-04 | 奥斯坦多科技公司 | 用于利用深度信息的全视差压缩光场合成的方法 |
| US10578882B2 (en) | 2015-12-28 | 2020-03-03 | Ostendo Technologies, Inc. | Non-telecentric emissive micro-pixel array light modulators and methods of fabrication thereof |
-
2016
- 2016-04-21 CN CN201680023384.6A patent/CN107430782B/zh not_active Expired - Fee Related
- 2016-04-21 JP JP2017554581A patent/JP7036599B2/ja active Active
- 2016-04-21 EP EP16783885.3A patent/EP3286737A1/en not_active Withdrawn
- 2016-04-21 WO PCT/US2016/028710 patent/WO2016172385A1/en active Application Filing
- 2016-04-21 KR KR1020177028643A patent/KR20170140187A/ko active IP Right Grant
- 2016-04-22 TW TW105112775A patent/TWI748949B/zh not_active IP Right Cessation
- 2016-08-22 US US15/243,574 patent/US10070115B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130127844A1 (en) * | 2010-07-19 | 2013-05-23 | Frauhofer-Gesellschaft zur Foerderung der angerwandten Forschung e.V. | Filling disocclusions in a virtual view |
| WO2014011103A1 (en) * | 2012-07-10 | 2014-01-16 | Telefonaktiebolaget L M Ericsson (Publ) | Methods and arrangements for supporting view synthesis |
| CN102892021A (zh) * | 2012-10-15 | 2013-01-23 | 浙江大学 | 一种合成虚拟视点图像的新方法 |
Non-Patent Citations (5)
| Title |
|---|
| Li Yu, Sen Xiang, Huiping Deng, Peng Zhou, "Depth Based View Synthesis with Artifacts Removal for FTV," 2011 Sixth International Conference on Image and Graphics, 2011. |
| Li Yu, Sen Xiang, Huiping Deng, Peng Zhou, "Depth Based View Synthesis with Artifacts Removal for FTV," 2011 Sixth International Conference on Image and Graphics, 2011.; * |
| Lingni Ma, Luat Do, Peter H. N. de With, "Depth-guided inpainting algorithm for Free-Viewpoint Video," 2012 19th IEEE International Conference on Image Processing, 2012. |
| Lingni Ma, Luat Do, Peter H. N. de With, "Depth-guided inpainting algorithm for Free-Viewpoint Video," 2012 19th IEEE International Conference on Image Processing, 2012.; * |
| 國立中正大學電機系 101 (2012) 年課程 "應用於自然影像之 3D 轉換技術" 的 Chapter 5 : View synthesis techniques * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016172385A1 (en) | 2016-10-27 |
| CN107430782A (zh) | 2017-12-01 |
| TW201703518A (zh) | 2017-01-16 |
| JP2018519697A (ja) | 2018-07-19 |
| US20160360177A1 (en) | 2016-12-08 |
| US10070115B2 (en) | 2018-09-04 |
| JP7036599B2 (ja) | 2022-03-15 |
| CN107430782B (zh) | 2021-06-04 |
| EP3286737A1 (en) | 2018-02-28 |
| KR20170140187A (ko) | 2017-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI748949B (zh) | 用於使用深度資訊之全視差壓縮光場合成之方法 | |
| EP2761878B1 (en) | Representation and coding of multi-view images using tapestry encoding | |
| US8106924B2 (en) | Method and system for video rendering, computer program product therefor | |
| Tian et al. | A benchmark of DIBR synthesized view quality assessment metrics on a new database for immersive media applications | |
| Schmeing et al. | Faithful disocclusion filling in depth image based rendering using superpixel-based inpainting | |
| US20060082575A1 (en) | Method for post-processing a 3d digital video signal | |
| US20180352209A1 (en) | Methods and Systems for Light Field Compression Using Multiple Reference Depth Image-Based Rendering | |
| Lee et al. | Discontinuity-adaptive depth map filtering for 3D view generation | |
| Nguyen et al. | Depth image-based rendering from multiple cameras with 3D propagation algorithm | |
| EP2074586A2 (en) | Image enhancement | |
| Farid et al. | Depth image based rendering with inverse mapping | |
| Mao et al. | Expansion hole filling in depth-image-based rendering using graph-based interpolation | |
| Devernay et al. | Adapting stereoscopic movies to the viewing conditions using depth-preserving and artifact-free novel view synthesis | |
| JP6148154B2 (ja) | 画像処理装置及び画像処理プログラム | |
| EP2745520B1 (en) | Auxiliary information map upsampling | |
| Do et al. | Objective quality analysis for free-viewpoint DIBR | |
| Brites et al. | Epipolar plane image based rendering for 3D video coding | |
| Mansoor et al. | A layered approach for quality assessment of DIBR-synthesized images | |
| Mansoor et al. | Research Article A Layered Approach for Quality Assessment of DIBR-Synthesized Images | |
| Sebai et al. | Piece-wise linear function estimation for platelet-based depth maps coding using edge detection | |
| Barenbrug et al. | Robust image, depth, and occlusion generation from uncalibrated stereo | |
| Ko et al. | Virtual view generation by a new hole filling algorithm | |
| Fatima et al. | Quality assessment of 3D synthesized images based on structural and textural distortion | |
| Do et al. | Warping error analysis and reduction for depth-image-based rendering in 3DTV | |
| Vazquez et al. | 2D‐to‐3D Video Conversion: Overview and Perspectives |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |