TW201342885A - 使用網際網路的整合立體轉換裝置 - Google Patents

使用網際網路的整合立體轉換裝置 Download PDF

Info

Publication number
TW201342885A
TW201342885A TW101121086A TW101121086A TW201342885A TW 201342885 A TW201342885 A TW 201342885A TW 101121086 A TW101121086 A TW 101121086A TW 101121086 A TW101121086 A TW 101121086A TW 201342885 A TW201342885 A TW 201342885A
Authority
TW
Taiwan
Prior art keywords
end device
data
server
depth information
user interface
Prior art date
Application number
TW101121086A
Other languages
English (en)
Inventor
Chao-Hua Lee
Yu-Ping Lin
Wei-Kai Liao
Original Assignee
White Rabbit Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by White Rabbit Entertainment Inc filed Critical White Rabbit Entertainment Inc
Publication of TW201342885A publication Critical patent/TW201342885A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種使用一網際網路之整合立體轉換裝置包含：一前端裝置，用以對經由該網際網路之使用者介面接收到之一影像流之一第一組資料，使用手動渲染技術來產生深度資訊，並依據經由該使用者介面接收之至少一第一資訊，來更新該深度資訊；與一伺服器端裝置，經由該使用者介面耦接至該第一端裝置，來從該前端裝置接收該深度資訊，並使用該深度資訊來自動產生該影音流之第二組資料之深度資訊，並依據經由該使用者介面接收之至少一第二資訊，來產生第一組資料與第二組資料之立體影像。

Description

使用網際網路的整合立體轉換裝置
本發明是關於平面至立體轉換(2D to 3D conversion)，且尤指一種使用可被全世界使用者所存取之使用網際網路的整合處理機制之平面到立體轉換方法。
縱使立體動畫源自50年代左右，但直到近幾年才進展到足以讓家庭影音系統有能力處理及播放實際的立體資料。立體電視與家庭娛樂系統現在對大多數人來說是負擔的起的。
立體影像的基礎原理是由立體成像衍生而來，其中二個稍微偏移的圖像(亦即，來自稍微不同視角之兩個圖像)被產生，且分別呈現予左眼與右眼，而這兩個圖像會由大腦組合，因而產生具有深度之一圖像。達成此效果之標準技術包含了眼鏡的配戴，其中不同的圖像可經由波長(紅藍眼鏡(anaglyph glasses))、經由快門(shutter)或經由偏光濾鏡(polarizing filter)，而分別送給左眼與右眼。裸視立體(Autostereoscopy)不需要使用眼鏡，而是使用具有方向性的光源來將圖像分為左眼圖像與右眼圖像。然而，所有這些系統都需要立體影像(左眼影像與右眼影像)的立體資料。
最近熱門的立體技術帶來許多動畫，像是阿凡達(Avatar)，其製 作與呈現皆是立體形式，然而，一些電影製作人偏好以平面方式來拍攝影片，接著使用平面轉立體的技術，如此一來，動畫可以選擇用立體版本或原始版本來觀看。此技術可同樣延伸至家庭影音立體系統，如此一來，原本為平面格式之動畫或其它影音資料可以被轉換成可於立體電視上觀看之立體資料。
現在存在著各式各樣用來由一平面輸入產生一立體資料的技術，而最常見的技術就是製造所謂的深度圖(depth map)，其中一個圖框(frame)中的每個像素都有特定相關之深度資訊。此深度圖是與原始影像圖框相同大小之一灰階(grayscale)圖像。此技術更進化之一版本來包含了將一影像圖框分成複數圖層，其中每一圖層對應各自的特性，且針對每一圖層會發展出個別之深度圖，如此會帶來更準確之深度圖。最後，一立體影像便可自所產生之深度圖來形成。
為了準確地渲染(render)每個圖框以保障最後的立體資料的畫質，不僅要依據圖層、深度與物件與背景間之有限的邊界來費工地切割個別圖框，同時也需要一立體美術師(3D artist)來確定連續圖框間之深度值是平緩地變化著。由於立體技術是要給觀賞者創造一個更「真實」的體驗，故圖框間的不準確(像是投射於前景之圖形的跳動(jumping))會比傳統平面環境中看起來更突兀。
這種的渲染過程因此需要耗時的人力，且轉換一全長度動畫所耗費的成本也很龐大，這造成一些製造商開始發展全自動之平面到立 體轉換系統，其使用演算法來產生深度圖。雖然這些系統可以低成本地快速提供立體資料，但是立體資料之畫質也是相對低的。在一個競爭激烈的市場中，有著更高檔之電子裝置，因此客戶們並不願意選擇水準不夠的視覺體驗。
因此，本發明目的在於提供一種可同時產生高畫質立體資料並減少所需時間與人力之從一平面影像流產生一立體資料的有效方法。
本發明的技術層面之一是結合了一前端裝置與一伺服器端裝置，兩者可透過網際網路進行通訊，其中影像資料先由該伺服器端裝置分析來辨識關鍵圖框；關鍵圖框之深度圖由該前端裝置手動產生；且非關鍵圖框之深度圖則由該伺服器端裝置自動地從該關鍵圖框深度圖產生。該前端裝置與伺服器端裝置可經由超文字傳輸協定的請求來相互通訊。
本發明之另一技術層面是將一專用前端裝置分成一第一前端裝置、一第二前端裝置與一第三前端裝置，其中三個前端裝置間的介面是由超文字傳輸協定請求來操作，如此一來，該第一前端裝置之使用者執行之工作可由該第二前端裝置之使用者來排程，且一回授機制被該第三前端裝置之使用者所啟用。另外，前端與伺服器端之間的介面允許該第二前端裝置之使用者，直接依據伺服器端的資訊 來指派工作。
本發明有利地結合用來執行自動處理之一伺服器端裝置(server-end device)與用來執行手動處理(人力處理)之一前端裝置(front-end device)，其中該伺服器端與該前端裝置可經由網路軟體(web-based software)而透過超文字傳輸協定請求(http request)來彼此通訊。此外，該前端裝置被分成三個前端裝置，個別地透過超文字傳輸協定請求來與該伺服器端溝通，以啟用不同工作(task)之排程，以讓不同立體美術師對一單一影像圖框作渲染、分析以及編輯。此前端裝置與伺服器裝置之整合也同時允許了自動操作與手動操作之一回授機制，換句話說，一管線程序(pipeline procedure)係藉由結合該前端裝置與該伺服器端裝置來啟用。使用網際網路通訊意味著使用者可以有彈性在任何地點以及任何時間工作，同時複雜之演算法與資料被儲存在該伺服器端。
接下來之描述是特別有關於發明人所設計之前端裝置與伺服器端裝置之中的軟體的處理；然而，本發明是針對軟體之管理方法，因此所參考之各種演算法在這裡便不詳述。熟習技藝者應可輕易得知，只要演算法是用於從平面輸入產生出立體內容，所揭示之適用於伺服器裝置與前端裝置的方法也可適用於使用不同演算法與軟體之伺服器裝置與前端裝置之結合。因此，在接下來之描述中，演算法將由演算法被設計而所要達成之特定工作來表示之，且為求描述 方便，將用軟體名稱來指稱一些軟體元件，但本發明方法仍可應用於其它用來執行相似操作之軟體與演算法。
確切而言，於後續說明中，伺服器端元件會由名為「Mighty Bunny」之軟體來實現，而前端元件則是「Bunny Shop」，這使立體美術師能使用基於深度圖像之渲染(Depth Image Based Rendering，DIBR)來創造、繪製以及修改深度圖；「Bunny Watch」適用於專案管理者(project manager)來指派工作給立體美術師，並且監控平面到立體轉換專案以及執行畫質評估；以及「Bunny Effect」允許監督者(supervisor)來調整立體特效與執行後置處理。
上述之軟體元件可實作於任何支援傳輸控制協定/網際網路控制協定之現存網路中，而前端與伺服器之間的介面可使用超文件傳輸協定請求來實作。
本發明之三個主要技術層面是藉由結合自動處理與手動處理之立體轉換，來降低處理一影像流所需之手動的深度圖產生操作；透過一自動處理來增加立體影像資料之圖框之間的連續性與畫質；且藉由實作一個可讓專案管理者分散與指派工作以及讓監督者直接地修正所產生之立體資料的錯誤之一網路使用者介面，來增加手動產生深度圖與進行後置處理的效率與準確度。由於使用者分佈全世界，因此網路軟體允許工作的執行能有完整的彈性。
前兩個技術層面可透過使用一個可以辨識出一影像流中的關鍵圖框(key frame)之伺服器端裝置來達成，如上面所詳述，為了將平面資料轉換成立體資料，需要針對一影像流中之每個圖框來產生一個配置代表深度之像素值的灰階圖像，在一些圖框中，一目前圖框與緊接之一前一圖框之間的深度資訊變化將是很大的，例如，當有一場景改變(scene change)時，目前圖框與前一圖框之中個別的移動向量(motion vector)之間的差異將會很大，而這些圖框便被定義為關鍵圖框，並由使用特徵追蹤演算法(feature tracking algorithm)之伺服器端裝置來加以辨識。伺服器端可更進一步分析內容特徵與其它成份，以辨識出關鍵圖框。平均來說，一個完整影像流中之圖框只有約12%是關鍵圖框。
前端軟體接著經由立體美術師產生深度圖予一影像圖框之每一圖層與辨識物件，來手動渲染關鍵圖框。用以渲染圖框之特別技術對於不同之轉換軟體來說都是個別不同的。稍後會參考發明人所設計之專用軟體。此外，立體美術師的工作可由專案管理者來監控，例如，專案管理者可藉由標記被判斷為有問題的區域以及留下評語予立體美術師，而透過網際網路來執行畫質評估(quality assessment)。網際網路的使用意味著，不論立體美術師與專案管理者身在何處，立體美術師都可快速地接收到工作表現的評估並進行修改。
一旦立體美術師與專案管理者已滿意所產生出之深度圖，深度圖 將被傳送至該伺服器端裝置。該伺服器端裝置接著會指派像素值給前景物件與背景物件，產生阿法遮罩(alpha mask)給每個關鍵圖框。該伺服器端裝置使用這些阿法遮罩與追蹤演算法來估算非關鍵圖框之分段(segmentation)、遮罩與深度的資訊，然後，該伺服器端可使用此估算來直接地(自動地)產生阿法遮罩給全部的非關鍵圖框。因為所有的關鍵圖框有全人工創造之深度圖，這些關鍵圖框之畫質可以更有保障。使用這些關鍵圖框來產生非關鍵圖框之深度圖並結合所有資料之人工評估，意味著可保障資料中的所有圖框均有高畫質，換句話說，縱使非關鍵圖框具有自動產生之深度圖，這些深度圖之畫質應該要與人工產生給關鍵圖框之深度圖一樣好。
處理程序仍停留於該伺服器端中，其中可藉由使用被設計來精確模擬(model)人眼深度知覺之專用數學公式來自動產生所有圖框之立體影像(stereo views)。所產生之立體影像可接著傳給後置處理(post-processing)，其可執行於該伺服器端裝置與該前端裝置。一般來說，後置處理是用來移除失真(artifact)以及空洞填補。這些特定部份稍後將詳述。
該前端裝置與該伺服器端裝置之間的使用者介面之實作使得立體轉換可以一管線化的方式來實現。第1圖繪示依據本發明之完整平面到立體轉換方法。方法中的步驟如下所示：步驟100：關鍵圖框辨識(keyframe identification)
步驟102：分段與遮罩(segmentation and masking)
步驟104：深度估算(depth estimation)
步驟106：蔓延(propagation)
步驟108：產生立體影像(stereo view generation)
步驟110：後置處理(Post-processing)
此外，請參照第2圖，其繪示該第一前端裝置、該第二前端裝置、該第三前端裝置與該伺服器端裝置。超文件傳輸協定請求會啟用前端與伺服器之間的介面；此外，前端與伺服器之間的存取是基於使用者辨識(user identification)或工作優先順序(job priority)。接下來，會依據所使用之專用軟體來參考不同的裝置，因此，該第一前端裝置為所知的「Bunny Shop」，該第二前端裝置為所知的「Bunny Watch」，而該第三前端裝置為所知的「Bunny Effect」，以及該伺服器端裝置則為所知的「Mighty Bunny」。然而，讀過相關的描述之後，熟習技藝者應可明瞭，藉由網際網路管線程序與半手動(semi-manual)-半自動(semi-automatic)深度圖產生技術，可使用不同的軟體來達到本發明之目標。
如上所述，「Mighty Bunny」是伺服器端元件，並產生指示每個像素之範圍的透明圖(alpha map)。在前端軟體執行圖像處理之前，「Mighty Bunny」將分析一特定影像流的所有圖框並辨識除關鍵圖框。一關鍵圖框係與緊接之一前一圖框之間有大量之移動或改變，例如，新場景之第一個圖框可被歸類為一關鍵圖框。「Mighty Bunny」 更進一步執行圖像分段與遮罩。對於這些關鍵圖框來說，伺服器端元件使用本身與前端軟體之間的介面去指派「Bunny Shop」的立體美術師去手動處理圖框以產生立體內容(也就是使用深度圖來產生三元圖(trimap)，其會被進一步送至伺服器端元件來產生阿法遮罩)。發明人所使用之特別軟體中，伺服器會與「Bunny Watch」通訊，而專案管理者使用「Bunny Watch」來指派特定工作給立體美術師；然而，這只是一種實作方式，而非對本發明設限。
一立體美術師透過「Bunny Shop」登入系統，其中該美術師可獲取許多允許該美術師繪製深度值於深度圖上之工具、用所選取之一深度值來填滿一圖框中的一個區域、依據透視來修正深度、產生三元圖(在該伺服器端可由此計算出阿法映射)、選擇應被塗色之區域、選擇或刪除一特定圖框中之圖層以及並預覽一特定圖框之立體影像。一特定工作經由「Bunny Watch」而被指派給該立體美術師，而「Bunny Watch」將所指派之工作傳送給該伺服器端裝置，而後續可被「Bunny Shop」所擷取。「Bunny Watch」也用於對一立體美術師產生之深度圖進行監控與評論。「Bunny Watch」與「Bunny Shop」之間的通訊意味著可產生一高準確度之深度圖。該伺服器端元件接著依據深度圖資訊來指派像素值給物件，並產生一阿法遮罩(其依據像素值來完全覆蓋(fully cover)、不覆蓋(uncover)或給予每個像素一些透明度(transparency))。應注意的是，網路整合伺服器端與前端的介面意味手動處理與自動處理可並行，這大大加速了立體轉換處理。
一旦辨識出所有的關鍵圖框以及產生了阿法遮罩後，可對關鍵圖框之間的那些圖框(亦即非關鍵圖框)做如下之假設：各個圖框之前景物件與背景物件之間的深度值的改變並不如此大。例如，一個人跑過一個公園之一系列畫面中，背景的風景幾乎不變且跑步之形體與背景間之距離保持相等。因此，當一特定非關鍵圖框之深度值可由上一圖框之深度值來自動決定時，就不必要使用人力方式(「Bunny Shop」)來處理每個非關鍵圖框，依據此假設，非關鍵圖框之深度圖不需要個別地由立體美術師產生(也就是由「Bunny Shop」來產生)，但可由該伺服器端(也就是由「Mighty Bunny」)來自動地產生。依據所產生之深度圖，「Mighty Bunny」可接著自動地產生阿法遮罩。
因一特定影像流之關鍵圖框之數目通常佔全部圖框的10%，自動地產生非關鍵圖框之深度圖與阿法遮罩便可節省90%的人力與資源。使用網際網路來產生高準確的深度圖，這意味著也可確保非關鍵圖框之深度圖的畫質。關鍵圖框的辨識有著各種不同的技術，最簡單的技術是估算每個像素之移動向量；當一第一圖框與一第二圖框之間沒有位移變化時，該第二圖框之深度圖可直接從該第一圖框之深度圖複製得到。所有的關鍵圖框的辨識均是由「Mighty Bunny」自動執行。
如上所提，「Mighty Bunny」也執行分段與遮罩以藉由指派像素值，來依據圖框內之物件而將一關鍵圖框分成複數個圖層。前端裝 置與相互間之介面意味著藉由「Bunny Watch」可指一立體圖框之不同圖層給不同的立體美術師來處理。由監督者操作之「Bunny Effect」可接著調整一些參數來對一圖框進行立體特效的渲染。需注意的是，這裡的「圖層」定義為帶有獨立於其它像素集合之位移的一像素集合，但該二像素集合可以有相同的深度值；例如，在上述於公園慢跑之一跑者例子，可以是兩個慢跑者一起跑，而每個跑者可視為一個不同的圖層。
渲染完成之圖框接著被送回「Mighty Bunny」來執行蔓延，其中非關鍵圖框之深度資訊可被複製或估算。依據一特定圖層之移動向量與深度值，一辨識碼(identification,ID)會被指定給該特定圖層。當一第一圖框中之一圖層與上一圖框具有相同之辨識碼時，此圖層之像素值便可以在該伺服器端被蔓延(也就是往前送)，換句話說，此過程是全自動的。此一蔓延技術特徵有利於加入時間上的平滑度(temporal smoothness)，如此一來，可保留圖框之間的連續性(continuity)。
當由超文字傳輸協定請求來啟用所有軟體元件之間的介面時，意味在處理過程中的任一處理階段中，資料可被專案管理者與立體監督者評估與分析，且不論一特定立體美術師在何處，皆可執行修正，此更進一步確保圖框之間的連續性與畫質。網路介面之彈性允許複數個工作之管線處理以及平行處理，進而加速立體轉換處理。
立體影像之產生可透過「Mighty Bunny」來自動處理。眾所皆知的，立體資料的產生是依據原始影像產生「左眼」影像，接著從「左眼」影像產生出「右眼」影像，而深度資訊是用於合成該「右眼」影像，然而，當沒有資訊存在時，物件邊緣將會出現「空洞(hole)」。「Mighty Bunny」可自動地獲取鄰近像素並使用此資訊來填滿空洞。如上所述，該伺服器端裝置可接著傳送已填入之圖像至該前端裝置(「Bunny Shop」或「Bunny Effect」)，來讓一立體美術師或監督者進行分析。所有軟體元件之間之介面允許操作順序上的特定彈性。
特別來說，前端元件與伺服器端軟體間之平衡(balance)意味著所有自動處理與人力操作可被管線化；主要的處理是自動的(也就是伺服器端)，但人工檢查可使用於每個操作階段，甚至是後置處理。這在一些特效上是重要的，主要是因為所產生之立體資訊可被「調校(tweak)」來強調某些方面。使用人力處理關鍵圖框並接著依據關鍵圖框來自動產生非關鍵圖框的資料，這意味著可以保留影片所要呈現之想要的視覺效果。使用於立體轉換之特定演算法包含深度蔓延、深度圖強化、垂直視角合成(vertical view synthesis)與圖像/影片打印(image/video imprinting)。
總結以上，本發明提供一個充分整合之伺服器端與前端裝置來自動將一影像流分成第一組資料與第二組資料，對第一組資料執行人工立體渲染技術來產生深度資訊，使用所產生之該深度資訊來對第 二組資料自動產生深度資訊，並自動產生第一組資料與第二組資料之立體影像。伺服器端與前端裝置之間的皆透過網路介面，因而允許手動操作與自動操作之管線處理及平行處理。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100、102、104、106、108、110‧‧‧步驟
210‧‧‧伺服器
230‧‧‧第一前端裝置
240‧‧‧第二前端裝置
250‧‧‧第三前端裝置
第1圖是本發明將平面輸入轉換成立體資料之方法之一實施例的流程圖。
第2圖是本發明之整合前端與伺服器裝置之一實施例的示意圖。
210‧‧‧伺服器
230‧‧‧第一前端裝置
240‧‧‧第二前端裝置
250‧‧‧第三前端裝置

Claims (6)

  1. 一種使用一網際網路(web-based network)之整合立體轉換裝置(integrated 3D conversion device)，包含：一前端裝置，用以對透過該網際網路之一使用者介面所接收到之一影像流之一第一組資料進行一手動渲染(manual rendering)以產生一深度資訊，且依據透過該使用者介面所接收之至少一第一資訊來更新該深度資訊；以及一伺服器端裝置，透過該使用者介面而耦接至該前端裝置，用以從該前端裝置接收該深度資訊，並使用該深度資訊來自動地產生該影像流之一第二組資料之一深度資訊，以及用以依據該使用者介面所接收之至少一第二資訊，來產生該第一組資料與該第二組資料之立體影像。
  2. 如申請專利範圍第1項所述之整合立體轉換裝置，其中該伺服器端裝置與該前端裝置使用超文件傳輸協定(hypertext transfer protocol，http)請求來透過該使用者介面交互溝通。
  3. 如申請專利範圍第1項所述之整合立體轉換裝置，其中該前端裝置包含：一第一前端裝置，用以使用該手動渲染來產生該深度資訊，並傳送該深度資訊給該伺服器端裝置；一第二前端裝置，用以產生該第一資訊給該前端裝置來分配工作 給該第一前端裝置，並監控該手動渲染之效能；以及一第三前端裝置，用以產生該第二資訊給該伺服器端裝置，以調整該第一組資料與該第二組資料之參數來產生立體效果，並對該立體影像作後置處理。
  4. 如申請專利範圍第3項所述之整合立體轉換裝置，其中該第一前端裝置、該第二前端裝置與該第三前端裝置所執行之所有工作是由該伺服器端裝置來配置。
  5. 如申請專利範圍第1項所述之整合立體轉換裝置，其係實作於支援傳輸控制協定/網際網路控制協定(Transmission Control Protocol/Internet Protocol，TCP/IP)之一網路。
  6. 如申請專利範圍第1項所述之整合立體轉換裝置，其中該伺服器端裝置使用至少一追蹤演算法來分析該影像流，以將該影像流分成該第一組資料與該第二組資料。
TW101121086A 2012-04-01 2012-06-13 使用網際網路的整合立體轉換裝置 TW201342885A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/436,986 US20130257851A1 (en) 2012-04-01 2012-04-01 Pipeline web-based process for 3d animation

Publications (1)

Publication Number Publication Date
TW201342885A true TW201342885A (zh) 2013-10-16

Family

ID=49234309

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101121086A TW201342885A (zh) 2012-04-01 2012-06-13 使用網際網路的整合立體轉換裝置

Country Status (3)

Country Link
US (1) US20130257851A1 (zh)
CN (1) CN103369353A (zh)
TW (1) TW201342885A (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2670146A1 (en) * 2012-06-01 2013-12-04 Alcatel Lucent Method and apparatus for encoding and decoding a multiview video stream
US9288484B1 (en) 2012-08-30 2016-03-15 Google Inc. Sparse coding dictionary priming
US9300906B2 (en) * 2013-03-29 2016-03-29 Google Inc. Pull frame interpolation
JP2015171052A (ja) * 2014-03-07 2015-09-28 富士通株式会社 識別装置、識別プログラム、及び識別方法
US10671947B2 (en) * 2014-03-07 2020-06-02 Netflix, Inc. Distributing tasks to workers in a crowd-sourcing workforce
US9286653B2 (en) 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images
US9787958B2 (en) 2014-09-17 2017-10-10 Pointcloud Media, LLC Tri-surface image projection system and method
US9898861B2 (en) 2014-11-24 2018-02-20 Pointcloud Media Llc Systems and methods for projecting planar and 3D images through water or liquid onto a surface
CA3008886A1 (en) * 2015-12-18 2017-06-22 Iris Automation, Inc. Real-time visual situational awareness system
US10841491B2 (en) * 2016-03-16 2020-11-17 Analog Devices, Inc. Reducing power consumption for time-of-flight depth imaging
WO2019075473A1 (en) 2017-10-15 2019-04-18 Analog Devices, Inc. METHODS AND SYSTEMS FOR PROCESSING FLIGHT TIME DEPTH IMAGE

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790753A (en) * 1996-01-22 1998-08-04 Digital Equipment Corporation System for downloading computer software programs
US6031564A (en) * 1997-07-07 2000-02-29 Reveo, Inc. Method and apparatus for monoscopic to stereoscopic image conversion
US6056786A (en) * 1997-07-11 2000-05-02 International Business Machines Corp. Technique for monitoring for license compliance for client-server software
US6515659B1 (en) * 1998-05-27 2003-02-04 In-Three, Inc. Method and system for creating realistic smooth three-dimensional depth contours from two-dimensional images
US20050146521A1 (en) * 1998-05-27 2005-07-07 Kaye Michael C. Method for creating and presenting an accurate reproduction of three-dimensional images converted from two-dimensional images
US6476802B1 (en) * 1998-12-24 2002-11-05 B3D, Inc. Dynamic replacement of 3D objects in a 3D object library
FI990461A0 (fi) * 1999-03-03 1999-03-03 Nokia Mobile Phones Ltd Menetelmä ohjelmiston lataamiseksi palvelimelta päätelaitteeseen
US6487304B1 (en) * 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
US7143409B2 (en) * 2001-06-29 2006-11-28 International Business Machines Corporation Automated entitlement verification for delivery of licensed software
EP1483909B1 (en) * 2002-03-13 2010-04-28 Imax Corporation Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data
US20050027846A1 (en) * 2003-04-24 2005-02-03 Alex Wolfe Automated electronic software distribution and management method and system
EP2160037A3 (en) * 2006-06-23 2010-11-17 Imax Corporation Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition
WO2009023044A2 (en) * 2007-04-24 2009-02-19 21 Ct, Inc. Method and system for fast dense stereoscopic ranging
CN101257641A (zh) * 2008-03-14 2008-09-03 清华大学 基于人机交互的平面视频转立体视频的方法
CN101287143B (zh) * 2008-05-16 2010-09-15 清华大学 基于实时人机对话的平面视频转立体视频的方法
EP2194504A1 (en) * 2008-12-02 2010-06-09 Koninklijke Philips Electronics N.V. Generation of a depth map
CN101483788B (zh) * 2009-01-20 2011-03-23 清华大学 一种平面视频转立体视频的方法和装置
US8533859B2 (en) * 2009-04-13 2013-09-10 Aventyn, Inc. System and method for software protection and secure software distribution
CN101631257A (zh) * 2009-08-06 2010-01-20 中兴通讯股份有限公司 一种实现二维视频码流立体播放的方法及装置
CN102223553B (zh) * 2011-05-27 2013-03-20 山东大学 一种二维视频到三维视频的自动转换方法
CN102196292B (zh) * 2011-06-24 2013-03-06 清华大学 基于人机交互生成视频深度图序列的方法及系统
US9351028B2 (en) * 2011-07-14 2016-05-24 Qualcomm Incorporated Wireless 3D streaming server
CN102724532B (zh) * 2012-06-19 2015-03-04 清华大学 一种平面视频立体化转化方法及使用该方法的系统

Also Published As

Publication number Publication date
CN103369353A (zh) 2013-10-23
US20130257851A1 (en) 2013-10-03

Similar Documents

Publication Publication Date Title
TW201342885A (zh) 使用網際網路的整合立體轉換裝置
US11756223B2 (en) Depth-aware photo editing
US9094675B2 (en) Processing image data from multiple cameras for motion pictures
JP4938093B2 (ja) ２ｄ−ｔｏ−３ｄ変換のための２ｄ画像の領域分類のシステム及び方法
CN102047288B (zh) 利用正向和反向深度预测进行图像的深度提取的系统和方法
US20070296721A1 (en) Apparatus and Method for Producting Multi-View Contents
US10095953B2 (en) Depth modification for display applications
KR20180132946A (ko) 멀티-뷰 장면 분할 및 전파
US20180182114A1 (en) Generation apparatus of virtual viewpoint image, generation method, and storage medium
US20110181591A1 (en) System and method for compositing 3d images
US20130321396A1 (en) Multi-input free viewpoint video processing pipeline
US20100220920A1 (en) Method, apparatus and system for processing depth-related information
US10271038B2 (en) Camera with plenoptic lens
JP2010510569A (ja) ２次元から３次元に変換するためのオブジェクトのモデルフィッティング及びレジストレーションのシステム及び方法
US10127714B1 (en) Spherical three-dimensional video rendering for virtual reality
CN109997175A (zh) 确定虚拟对象的大小
US11443450B2 (en) Analyzing screen coverage of a target object
CN105578172B (zh) 基于Unity3D引擎的裸眼3D视频显示方法
TW201528208A (zh) 影像控制系統及方法
CN116228855A (zh) 视角图像的处理方法、装置、电子设备及计算机存储介质
KR20170001839A (ko) 360°실사 vr콘텐츠 제작공정에서 프로젝션 맵핑을 활용한 vfx 후반작업 적용 방법
KR102561903B1 (ko) 클라우드 서버를 이용한 ai 기반의 xr 콘텐츠 서비스 방법
CN116980579B (zh) 一种基于图像虚化的图像立体成像方法及相关装置
CN116980579A (zh) 一种基于图像虚化的图像立体成像方法及相关装置
Mulajkar et al. Development of Semi-Automatic Methodology for Extraction of Depth for 2D-to-3D Conversion