TWI524730B - 處理視頻之方法及其系統 - Google Patents

處理視頻之方法及其系統 Download PDF

Info

Publication number
TWI524730B
TWI524730B TW101103403A TW101103403A TWI524730B TW I524730 B TWI524730 B TW I524730B TW 101103403 A TW101103403 A TW 101103403A TW 101103403 A TW101103403 A TW 101103403A TW I524730 B TWI524730 B TW I524730B
Authority
TW
Taiwan
Prior art keywords
video
enhancement layer
rendering device
dimensional
base layer
Prior art date
Application number
TW101103403A
Other languages
English (en)
Other versions
TW201249175A (en
Inventor
Jeyhan Karaoguz
Nambi Seshadri
Xuemin Chen
Chris Boross
Original Assignee
Broadcom Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/077,868 external-priority patent/US8810565B2/en
Application filed by Broadcom Corp filed Critical Broadcom Corp
Publication of TW201249175A publication Critical patent/TW201249175A/zh
Application granted granted Critical
Publication of TWI524730B publication Critical patent/TWI524730B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

處理視頻之方法及其系統
本發明涉及視頻處理。更具體地，本發明涉及一種將深度資訊用作增強層的方法和系統。
數位視訊功能可納入很多設備中，例如，數位電視、數位直播系統、數位錄音設備及類似設備。較之於常規的類比視頻系統，在處理和傳輸視頻序列方面數位視訊設備可提供頻寬效率增加的顯著改進。
可以二維(2D)格式或三維(3D)格式記錄視頻內容。.在各種應用中，例如，DVD電影和數位電視(DTV)，由於其對觀眾而言比2D副本更真實，3D視頻通常是有吸引力的。3D視頻包括左視圖視頻和右視圖視頻。
已建立各種視頻編碼標準用於以壓縮方式對數位視訊序列進行編碼，各種視頻編碼標準例如MPEG-1、MPEG-2、MPEG-4、MPEG-C的第三部分、H.263、H.264/MPEG-4高級視頻編碼(AVC)，多視點視頻編碼(Multiview Video Coding)(MVC)和可伸縮視頻編碼(SVC)。例如，MVC標準是H.264/MPEG-4 AVC標準的擴展，其可提供高效三維視頻編碼。SVC標準也是H.264/MPEG-4 AVC標準的擴展，其可使能部分位元流的傳輸和解碼，從而提供較低時間解析度、或較低空間解析度或降低的保真度的視頻服務，同時保持與使用H.264/MPEG-4 AVC時所實現的相似的重建品質。
比較本發明後續將要結合附圖介紹的系統，現有技術的其它局限性和弊端對於本領域的技術人員來說是顯而易見的。
本發明提供一種將深度資訊用作增強層的方法和系統，並結合至少一幅附圖進行展示和/或描述，且在申請專利範圍中對其作出更加完整的闡明。
根據本發明的一個方面，提供一種處理視頻的方法，所述方法包括如下步驟：在包括一個或多個深度感測器的單像三維(3D)視頻生成裝置中：將捕獲的二維(2D)視頻圖像資料儲存為基礎層；以及將捕獲的相應深度資訊儲存為增強層。
較佳地，所述方法還包括通過所述單像三維視頻生成裝置的一個或多個圖像感測器捕獲所述二維視頻圖像資料。
較佳地，所述方法還包括通過所述單像三維視頻生成裝置的一個或多個深度感測器捕獲所述相應深度資訊。
較佳地，所述方法還包括基於所述視頻渲染設備的請求和/或所述視頻渲染設備的性能和/或能力，確定是否傳輸所述增強層至視頻渲染設備。
較佳地，所述方法還包括：編碼所述基礎層；以及基於所述確定傳輸所述增強層至所述視頻渲染設備而對所述增強層進行編碼。
較佳地，所述方法還包括傳輸所述編碼的基礎層和/或所述編碼的增強層至所述視頻渲染設備。
較佳地，所述視頻渲染設備確定是否利用所述傳輸的增強層。
較佳地，所述視頻渲染設備：解碼所述傳輸的基礎層；以及基於所述確定利用所述傳輸的增強層對所述傳輸的增強層進行解碼。
較佳地，所述視頻渲染設備利用所述解碼的基礎層和所述解碼的增強層生成三維視頻，所述解碼的基礎層包含所述二維視頻圖像資料，所述解碼的增強層包含所述相應深度資訊。
較佳地，所述視頻渲染設備利用所述解碼的基礎層生成二維視頻，所述解碼的基礎層包含所述二維視頻圖像資料。
根據本發明的另一個方面，提供一種處理視頻的系統，所述系統包括：在包含一個或多個深度感測器的單像三維視頻生成裝置內使用的一個或多個處理器和/或電路，其中所述一個或多個處理器和/或電路用於：將捕獲的二維視頻圖像資料儲存為基礎層；以及將捕獲的相應深度資訊單獨儲存為增強層。
較佳地，所述一個或多個處理器和/或電路用於通過所述單像三維視頻生成裝置的一個或多個圖像感測器捕獲所述二維視頻圖像資料。
較佳地，所述一個或多個處理器和/或電路用於通過所 述單像三維視頻生成裝置的一個或多個深度感測器捕獲所述相應深度資訊。
較佳地，所述一個或多個處理器和/或電路用於基於所述視頻渲染設備的請求和/或所述視頻渲染設備的性能和/或能力，確定是否傳輸所述增強層至視頻渲染設備。
較佳地，所述一個或多個處理器和/或電路用於：編碼所述基礎層；以及基於所述確定傳輸所述增強層至所述視頻渲染設備而對所述增強層進行編碼。
較佳地，所述一個或多個處理器和/或電路用於傳輸所述編碼的基礎層和/或所述編碼的增強層至所述視頻渲染設備。
較佳地，所述視頻渲染設備確定是否利用所述傳輸的增強層。
較佳地，所述視頻渲染設備：解碼所述傳輸的基礎層；以及基於所述確定利用所述傳輸的增強層對所述傳輸的增強層進行解碼。
較佳地，所述視頻渲染設備利用所述解碼的基礎層和所述解碼的增強層生成三維視頻，所述解碼的基礎層包含所述二維視頻圖像資料，所述解碼的增強層包含所述相應深度資訊。
較佳地，所述視頻渲染設備利用所述解碼的基礎層生成二維視頻，所述解碼的基礎層包含所述二維視頻圖像資料。
本發明的各種優點、各個方面和創新特徵以及具體實施例的細節，將在以下的說明書和附圖中進行更詳細介紹。
本發明涉及將深度資訊用作增強層的方法和系統。在本發明的不同實施例中，包含一個或多個深度感測器的單像三維視頻生成裝置可用於將捕獲的二維視頻圖像資料作為基礎層進行儲存、以及將捕獲的相應深度資訊單獨作為增強層進行儲存。上述二維視頻圖像資料可通過單像三維視頻生成裝置中的一個或多個圖像感測器進行捕獲。相應深度資訊則可通過單像三維視頻生成裝置中的一個或多個深度感測器進行捕獲。
在本發明的一示例性實施例中，該單像三維視頻生成裝置可用於確定是否將增強層傳輸至視頻渲染設備。例如，該確定過程可基於視頻渲染設備的請求和/或該視頻渲染設備的性能和/或能力。單像三維視頻生成裝置可編碼或壓縮用於傳輸的基礎層。單像三維視頻生成裝置還可基於確定對增強層進行傳輸而對該增強層進行編碼或壓縮。然後，編碼的基礎層和/或編碼的增強層可由單像三維視頻生成裝置傳輸至視頻渲染設備、用於三維視頻渲染和/或二維視頻渲染。
在本發明的示例性實施例中，視頻渲染設備可用於確定是否使用單像三維視頻生成裝置傳輸的增強層。視頻渲染設備可對單像三維視頻生成裝置傳輸的基礎層進行解碼或解壓縮。視頻渲染設備還可基於確定使用傳輸的增強層而對單像三維視頻生成裝置傳輸的該增強層進行解碼或解壓縮。在這一點上，例如，可通過視頻渲染設備、使用解 碼的基礎層和解碼的增強層生成三維視頻，所述解碼的基礎層包含二維視頻圖像資料，所述解碼的增強層包含相應深度資訊。例如，可通過視頻渲染設備、使用解碼的基礎層生成二維視頻，所述解碼的基礎層包含二維視頻圖像資料。
圖1A是與傳統立體視訊攝影機相比包含本發明各方面的示例性單像三維視訊攝影機的框圖。如圖1A所示，為立體視訊攝影機100和單像三維視訊攝影機102。立體視訊攝影機100包括鏡頭101a和鏡頭101b。鏡頭101a和鏡頭101b的每個可從不同視點捕獲圖像。鏡頭101a和鏡頭101b捕獲到的圖像經過合成可生成三維圖像。在這一點上，可見光譜中的電磁(EM)波可通過鏡頭101a(以及與之相連的光學系統)在第一的一個或多個圖像感測器上進行聚焦；可見光譜中的電磁波可通過鏡頭101b(以及與之相連的光學系統)在第二的一個或多個圖像感測器上進行聚焦。
單像三維視訊攝影機102可包括處理器104、記憶體106、一個或多個深度感測器108以及一個或多個圖像感測器114。單像或單視圖三維視訊攝影機102可通過與鏡頭101c相對應的單視點進行圖像捕獲。在這一點上，可見光譜中的電磁波可通過鏡頭101c在一個或多個圖像感測器114上進行聚焦。單像三維視訊攝影機102也可通過鏡頭101c(以及與之相連的光學系統)捕獲深度資訊。
處理器104可包括適當的邏輯、電路、介面和/或代碼，其可用於對單像三維視訊攝影機102的各個元件的運行進行控制以及執行各種計算和處理任務。
例如，記憶體106可包括DRAM、SRAM、快閃記憶 體、硬碟驅動器或其他磁記憶體、或者其他適當的存放裝置。例如，SRAM可用於儲存供處理器104使用和/或由處理器104直接生成的資料。硬碟驅動器和/或快閃記憶體可用於儲存已記錄的圖像資料和深度資料。
深度感測器108可各自包括適當的邏輯、電路、介面和/或代碼，其可用於檢測紅外光譜中的電磁波，並基於反射的紅外波確定深度資訊。例如，可基於單像三維視訊攝影機102的發射器(未顯示)發射的和反射回深度感測器108的紅外波的渡越時間確定深度資訊。又例如，也可使用結構光法(structured light method)確定深度資訊。某些情況下，光源(例如投影儀)可能以已知角度向目標投射光圖像(pattern of light)，如網格狀的紅外波。深度感測器108可檢測目標上光圖像(例如紅外光圖像)的形變。因此例如，可使用三角測試技術確定或計算場景深度資訊。
圖像感測器114可各自包括適當的邏輯、電路、介面和/或代碼，其可用於將光信號轉化成電信號。例如，每個圖像感測器114可包含電荷耦合器件(CCD)圖像感測器或互補金屬氧化物半導體(CMOS)圖像感測器。每個圖像感測器114可捕獲亮度、輝度和/或色度資訊。
在示例性運行中，單像三維視訊攝影機102可通過使用圖像感測器114和深度感測器108，分別對用於生成三維視頻的二維視頻圖像資料和相應深度資訊進行捕獲。在一可伸縮視頻層次下，三維視頻可包括用於處理和/或編碼的基礎層視頻和增強層視頻。在這一點上，捕獲的二維視頻圖像資料可在記憶體106中儲存為基礎層、捕獲的相應深度資訊可在記憶體106中單獨儲存為增強層。處理器104 可確定是否將增強層傳輸到視頻渲染設備中。例如，該確定過程可基於頻渲染設備的請求和/或該視頻渲染設備的三維渲染性能和/或能力。
圖1B是依照本發明實施例的對深度資訊和二維色彩資訊進行示例性處理以生成三維圖像的框圖。如圖1B所示，顯示深度資訊框130、二維色彩資訊框134和三維圖像框136。可通過深度感測器108捕獲深度資訊框130，可通過圖像感測器114捕獲二維色彩資訊框134。在處理器104對二維色彩資訊框134的處理過程中，利用深度資訊框130生成三維圖像框136。圖中的虛線132可表示闡釋三維圖像的基準平面。在深度資訊框130中，用線寬來表明深度。在這一點上，線條越粗，框130的該部分越靠近單像三維視訊攝影機102。因此，圖中的物體138離單像三維視訊攝影機102最遠，物體142離單像三維視訊攝影機102最近，物體140位於中間深度。在本發明的不同實施例中，處理器104可使深度資訊映射成灰度圖像或偽灰度圖像。
框134中的圖像是傳統的二維圖像。框134的觀察者認為其與每個物體138、140和142間的深度相同。也就是說，物體138、物體140和物體142均好像位於基準平面132上。框136中的圖像為三維圖像。框136的觀察者認為物體138距其較遠、物體142離自己最近、而物體140處於中間深度。在這一點上，物體138似乎位於基準平面132之後，物體140似乎位於基準平面132上，而物體142似乎位於基準平面132的前方。
圖2為依照本發明實施例的用於將深度資訊用作增強層的示例性視頻通信系統的框圖。如圖2所示，為視頻通 信系統200的示意圖。視頻通信系統200可包括單像三維視訊攝影機202和視頻渲染設備204。
單像三維視訊攝影機202可包括適當的邏輯、電路、介面和/或代碼，其可用於捕獲二維視頻圖像資料和相應深度資訊。單像三維視訊攝影機202本質上與圖1A中的單像三維視訊攝影機102相似。在本發明的示例性實施例中，單像三維視訊攝影機202可將捕獲到的二維視頻圖像資料作為基礎層進行儲存，將捕獲到的相應深度資訊作為增強層單獨進行儲存。單像三維視訊攝影機202中的基礎層編碼器206a可對用於傳輸的基礎層進行編碼和壓縮操作。單像三維視訊攝影機202中的增強層編碼器206b可對用於傳輸的增強層進行編碼和壓縮操作。可通過基礎層位元流201向視頻渲染設備(例如視頻渲染設備204)傳輸編碼的基礎層，所述編碼的基礎層包含二維視頻圖像資料；可通過增強層位元流203向視頻渲染設備204傳輸編碼的增強層，所述編碼的增強層包含相應深度資訊。
視頻渲染設備204可包括適當的邏輯、電路、介面和/或代碼，其可用於接收來自單像三維視訊攝影機202的編碼的或壓縮的位元流201和203，該位元流可分別包含二維視頻圖像資料和相應深度資訊。例如，視頻渲染設備204、機上盒(STB)和/或數位電視(DTV)可處理接收的基礎層位元流201和/或接收的增強層位元流203，從而以三維或二維視頻格式渲染和/或顯示。在這一點上，視頻渲染設備204中的基礎層解碼器208a可解碼或解壓縮接收的基礎層；視頻渲染設備204中的增強層解碼器208b可解碼或解壓縮接收的增強層。
在運行過程中，單像三維視訊攝影機202可用於捕獲二維視頻圖像資料和相應深度資訊。單像三維視訊攝影機202可將捕獲的二維視頻圖像資料儲存為基礎層、可將捕獲的相應深度資訊單獨儲存為增強層。在本發明的一示例性實施例中，單像三維視訊攝影機202可用於確定是否將增強層傳輸到視頻渲染設備，如視頻渲染設備204。例如，該確定過程可基於該視頻渲染設備204的請求和/或該視頻渲染設備204的性能和/或能力。例如，為了減少寬頻利用率，視頻渲染設備204可選擇並要求不接收增強層，所述增強層包含來自單像三維視訊攝影機202的、用於三維視頻渲染的相應深度資訊。視頻渲染設備204可能不具備三維視頻渲染所需的性能和/或能力。這種情況下，單像三維視訊攝影機202可確定不將包含有相應深度資訊的增強層傳輸給視頻渲染設備204。單像三維視訊攝影機202中的基礎層編碼器206a可對基礎層進行編碼和壓縮，以將其傳輸至視頻渲染設備204。單像三維視訊攝影機202中的增強層編碼器206b可基於確定傳輸增強層而對其進行編碼和壓縮。然後，單像三維視訊攝影機202可將編碼的基礎層和/或編碼的增強層傳輸至視頻渲染設備204，用於三維視頻渲染和/或二維視頻渲染。編碼的基礎層可通過基礎層位元流201進行傳輸。編碼的增強層可通過增強層位元流203進行傳輸。
在本發明的示例性實施例中，視頻渲染設備204可確定是否利用經單像三維視訊攝影機202傳輸的增強層。例如，即便已接收到包含有相應深度資訊的增強層，視頻渲染設備204也可選擇不將增強層用於三維渲染。視頻渲染 設備204中的基礎層解碼器208a可對單像三維視訊攝影機202傳輸的基礎層進行解碼和解壓縮。視頻渲染設備204中的增強層解碼器208b可基於確定利用傳輸的增強層而對單像三維視訊攝影機202傳輸的增強層進行解碼和解壓縮操作。在這一點上，例如，視頻渲染設備204接著可利用解碼的基礎層和解碼的增強層生成三維視頻；其中，所述解碼的基礎層含有二維視頻圖像資料，所述解碼的增強層含有相應深度資訊。此外，視頻渲染設備204隨後還可利用包含二維視頻圖像資料的解碼的基礎層生成二維視頻。
雖然圖2中示出了單像三維視訊攝影機202，但本發明中的單像三維視訊攝影機並不局限於此。相應地，在不脫離本發明的精神和範圍的情況下，還可利用以二維加深度(plus-depth)格式生成三維視頻內容的其他單像三維視頻生成裝置，例如單像三維攝錄影機。
圖3A為依照本發明實施例的用於將深度資訊用作增強層的示例性單像三維視訊攝影機的框圖。如圖3A所示，顯示單像三維視訊攝影機300。該單像三維視訊攝影機300可包括處理器304、記憶體306、一個或多個深度感測器308、發射器309、圖像信號處理器(ISP)310、輸入/輸出(I/O)模組312、一個或多個圖像感測器314、光學系統316、揚聲器311、麥克風313、視頻/音訊編碼器307、視頻/音訊解碼器317、音訊模組305、防錯模組(error protection module)315、鏡頭318、多個控制台322、光學取景器324和顯示幕320。單像三維視訊攝影機300在本質上與圖1A所示的單像三維視訊攝影機102相似。
處理器304可包括適當的邏輯、電路、介面和/或代碼， 其可用於協調單像三維視訊攝影機300中不同組件的運行。例如，處理器304可運行單像三維視訊攝影機300中的作業系統並且對單像三維視訊攝影機300中各元件之間的資訊和信號通信進行控制。處理器304可執行儲存在記憶體306中的代碼。在本發明的示例性實施例中，處理器304可確定是否將包含了捕獲的相應深度資訊的增強層傳輸到視頻渲染設備，如此處的視頻渲染設備204。例如，該確定過程的執行可基於視頻渲染設備204的請求和/或該視頻渲染設備204的性能和/或能力。
例如，記憶體306可包括DRAM、SRAM、快閃記憶體、硬碟驅動器或其他磁記憶體、或其他適當的存放裝置。例如，SRAM可用於儲存供處理器304使用和/或由處理器304直接生成的資料。硬碟驅動器和/或快閃記憶體可用於儲存已記錄的圖像資料和深度資料。在本發明的一示例性實施例中，記憶體306可將捕獲的二維視頻圖像資料和捕獲的相應深度資訊分別作為基礎層和增強層進行儲存。例如，捕獲的二維視頻圖像資料可儲存在記憶體306中的基礎層存放裝置306a中；捕獲的相應深度資訊可儲存在記憶體306中的增強層存放裝置306b中。
深度感測器308可各自包括適當的邏輯、電路、介面和/或代碼，其可用於檢測紅外光譜中的電磁波，並基於反射的紅外波確定深度資訊。例如，可基於發射器309發射的和反射回深度感測器308的紅外波的渡越時間確定深度資訊。又例如，也可使用結構光法確定深度資訊。某些情況下，光源(例如投影儀)可能以已知角度向目標投射光圖像，如網格狀的紅外波。深度感測器308可檢測目標上 光圖像(例如紅外光圖像)的形變。因此例如，可使用三角測試技術確定或計算場景深度資訊。
圖像信號處理器或圖像傳感處理器(ISP)310可包括適當的邏輯、電路、介面和/或代碼，其可用於執行對捕獲的圖像資料和捕獲的相應深度資訊進行複雜處理。ISP 310可執行多項處理技術，包括例如濾鏡處理、去馬賽克、拜耳插值(Bayer interpolation)、鏡頭黑點校正(lens shading correction，)、缺陷圖元校正(defective pixel correction)、白平衡、圖像補償、色彩轉換和/或其他後期濾鏡處理。
音訊模組305可包括適當的邏輯、電路、介面和/或代碼，其可用於執行單像三維視訊攝影機300的各種音訊功能。在本發明的一示例性實施例中，音訊模組305可執行三維場景的噪音消除和/或音訊音量大小的調節。
視頻/音訊編碼器307可包括適當的邏輯、電路、介面和/或代碼，其可用於執行視頻和/或音訊的編碼功能。比如，視頻/音訊編碼器307將捕獲的二維視頻圖像及其相應深度資訊和/或音訊資料進行編碼或壓縮，以傳輸至視頻渲染設備，例如視頻渲染設備204。在本發明的示例性實施例中，視頻/音訊編碼器307可包括基礎層編碼器307a和增強層編碼器307b。基礎層編碼器307a可對包含捕獲的二維視頻圖像資料的基礎層進行編碼或壓縮，增強層編碼器307b可對包含捕獲的相應深度資訊的增強層進行編碼或壓縮。
視頻/音訊解碼器317可包括適當的邏輯、電路、介面和/或代碼，其可用於執行視頻和/或音訊的解碼功能。
防錯模組315可包括適當的邏輯、電路、介面和/或代碼，其可用於為單像三維視訊攝影機300進行防錯。比如， 防錯模組315可對編碼後的二維視頻圖像及其相應深度資訊和/或編碼後的音訊資料進行防錯，以傳輸至視頻渲染設備，例如視頻渲染設備204。
輸入/輸出(I/O)模組312可包括適當的邏輯、電路、介面和/或代碼，其用於支持單像三維視訊攝影機300按照一個或多個標準與其他裝置介面連接(interface with)，所述一個或多個標準包括例如USB、PCI-X、IEEE 1394、HDMI、顯示埠、和/或模擬音訊和/或類比視頻標準。比如，輸入/輸出模組312可以執行以下功能：向控制台322傳輸信號或從控制台322接收信號、將視頻輸出至顯示幕320、將音訊信號輸出至揚聲器311、處理從麥克風313接收的音訊輸入、在磁帶、快快閃記憶體儲卡、固態硬碟、硬碟或其他與單像三維視訊攝影機300連接的外部儲存裝置中讀取並寫入資訊、和/或通過一個或多個埠例如IEEE 1394埠、HDMI埠和/或USB埠向外輸出音訊和/或視頻，以傳輸和/或渲染。
圖像感測器314可包括適當的邏輯、電路、介面和/或代碼，其可用於將光信號轉換成電信號。每個圖像感測器314可包括例如電荷耦合器件(CCD)圖像感測器或互補金屬氧化物半導體(CMOS)圖像感測器。每個圖像感測器314可捕獲亮度、輝度和/或色度資訊。
光學系統316可包括各種光學裝置，該光學裝置可對通過鏡頭318接收的電磁波進行調節及對準。光學系統316將可視光譜中的電磁波對準圖像感測器314，並將紅外光譜中的電磁波對準深度感測器308。例如，光學系統316可包括一個或多個透鏡、棱鏡、亮度和/或色彩濾鏡、和/或反射鏡。
鏡頭318可用於聚集並充分聚焦可視光譜及紅外光譜中的電磁波。
顯示幕320可包括LCD顯示幕、LED顯示幕、有機LED(OLED)顯示幕、和/或其他可顯示通過單像三維視訊攝影機300記錄的圖像的數位化顯示幕。在本發明的一示例性實施例中，顯示幕320可顯示三維圖像。
控制台322可包括適當的邏輯、電路、介面和/或代碼，其可用於支持單像三維視訊攝影機300與使用者之間的互動。比如，控制台322可以讓使用者控制錄影功能及重播功能。在本發明的一示例性實施例中，控制台322使得使用者能夠選擇單像三維視訊攝影機300在二維或三維模式下錄製。
光學取景器324使得使用者能夠看到鏡頭318“所見圖像”，即“框中”包含的圖像。
在實際操作中，圖像感測器314可捕獲與二維視頻框相關聯的亮度、輝度和/或色度資訊，深度感測器308可捕獲相應深度資訊。本發明的各個實施例中將採用各種色彩格式，比如RGB及YCrCb。深度資訊將作為中繼資料或附加層資訊(additional layer of information)儲存在記憶體306中，在將二維圖像資訊渲染成三維視頻圖像的過程中，將使用到這些中繼資料或附加層資訊。
在本發明的示例性實施例中，捕獲的二維視頻圖像資料作為基礎層儲存在記憶體306的基礎層存放裝置306a中；另外，捕獲的相應深度資訊作為增強層單獨儲存在記憶體306的增強層存放裝置306b中。處理器304可確定是否將增強層傳輸到視頻渲染設備上，如視頻渲染設備204。 例如，該確定過程可取決於視頻渲染設備204的請求和/或該視頻渲染設備204的三維渲染性能和/或能力。視頻/音訊編碼器307中的基礎層編碼器307a可將用於傳輸至視頻渲染設備204的基礎層進行編碼和壓縮操作。視頻/音訊編碼器307中的增強層編碼器307b可根據確定傳輸增強層而對該增強層進行編碼和壓縮操作。接著，單像三維視訊攝影機300還可通過輸入/輸出模組312將該編碼的基礎層和/或編碼的增強層傳輸到視頻渲染設備204，用於三維視頻渲染和/或二維視頻渲染。
圖3B是依照本發明實施例的基礎層和增強層的框圖。如圖3B所示，顯示以上結合圖3A描述的記憶體306和視頻/音訊編碼器307。記憶體306包括基礎層存放裝置306a和增強層存放裝置306b。視頻/音訊編碼器307包含基礎層編碼器307a和增強層編碼器307b。
在本發明的示例性運行過程中，捕獲的二維視頻圖像資料作為基礎層資料儲存在記憶體306的基礎層存放裝置306a中；捕獲的相應深度資訊作為增強層資料單獨儲存在記憶體306的增強層存放裝置306b中。在這一點上，例如，視頻/音訊編碼器307中的基礎層編碼器307a可用於對基礎層資料進行編碼和壓縮、以生成傳輸至視頻渲染設備(如視頻渲染設備204)的基礎層位元流。視頻/音訊編碼器307中的增強層編碼器307b可對增強層資料進行編碼和壓縮、以生成傳輸至視頻渲染設備(如視頻渲染設備204)的增強層位元流。可根據視頻渲染設備204的請求和/或該視頻渲染設備204的三維渲染性能和/或能力確定是否對包含相應深度資訊的增強層資料進行傳輸。
圖4為依照本發明實施例的將深度資訊用作增強層以生成三維視頻的視頻渲染設備的示意圖。如圖4所示，為視頻渲染設備400。視頻渲染設備400可包括處理器404、記憶體406、解碼器408和顯示單元410。解碼器408可包括基礎層解碼器408a和增強層解碼器408b。視頻渲染設備400在本質上與圖2中所示的視頻渲染設備204相似。
處理器404可包括適當的邏輯、電路、介面和/或代碼，其可用於與視頻渲染設備400的各元件(如解碼器408和顯示單元410等)進行通信，以執行該視頻渲染設備400的各種功能。處理器404可包括任何形式的處理器或處理電路，如視頻處理器。在本發明的一示例性實施例中，處理器404可確定是否利用接收的、包含相應深度資訊的增強層。處理器404可通過利用接收的基礎層和接收的增強層生成三維視頻，該基礎層和增強層分別包含了二維視頻圖像資料和相應深度資訊。在其他情況下，處理器404可通過僅利用接收的基礎層生成二維視頻，該基礎層包含了二維視頻圖像資料。生成的三維或二維視頻可在顯示單元410上進行顯示或放映。
記憶體406可包括適當的邏輯、電路、介面和/或代碼，其可用於儲存資訊，比如可執行性指令和資料等資訊，處理器404和/或解碼器408可利用這些資訊執行視頻渲染設備400的各種功能。
解碼器408可包括適當的邏輯、電路、介面和/或代碼，其用以對編碼後的視頻位元流進行解碼或解壓縮，該編碼後的視頻位元流可從發射器處接收得到，如單像三維視訊攝影機202。接收的視頻位元流包含帶二維視頻圖像資料的 基礎層位元流和帶相應深度資訊的增強層位元流。在本發明的一示例性實施例中，解碼器408中的基礎層解碼器408a可對接收的基礎層進行解碼或解壓縮。解碼器408中的增強層解碼器408b可對接收的增強層進行解碼或解壓縮。
顯示單元410可包括適當的邏輯、電路、介面和/或代碼，其用以向使用者或觀看者顯示或放映三維視頻內容或二維視頻內容。
在運行過程中，視頻渲染設備400可從發射器(如單像三維視訊攝影機202)處接收基礎層位元流(如基礎層位元流201)以及增強層位元流(如增強層位元流203)。處理器404可確定是否利用單像三維視訊攝影機202傳輸的增強層。解碼器408中的基礎層解碼器408a對從單像三維視訊攝影機202處接收的基礎層進行解碼和解壓縮。另一方面，解碼器408中的增強層解碼器408b基於確定利用接收的增強層，對從單像三維視訊攝影機202接收的增強層進行解碼和解壓縮。在這一點上，例如，該處理器404接著可利用該解碼的基礎層和解碼的增強層生成三維視頻，該解碼的基礎層包含二維視頻圖像資料，該解碼的增強層包含相應深度資訊。處理器還可利用解碼的基礎層生成二維視頻，該解碼的基礎層包含二維視頻圖像資料。可通過顯示單元410呈現或顯示生成的三維視頻或生成的二維視頻。
圖5為依照本發明實施例的將深度資訊用作增強層的示例性步驟的流程圖。在圖5中，步驟501為本實施例流程的起始步驟。在步驟502中，單像三維視訊攝影機300可用於捕獲二維視頻圖像資料和相應深度資訊。可通過單 像三維視訊攝影機300中的一個或多個圖像感測器314對二維視頻圖像資料進行捕獲，可通過單像三維視訊攝影機300的一個或多個深度感測器308對相應深度資訊進行捕獲。在步驟503中，單像三維視訊攝影機300中的處理器304可確定是否為之後的渲染步驟儲存捕獲的相應深度資訊。當確定不儲存捕獲的相應深度資訊時，示例性步驟則轉入步驟505。在步驟505中，將捕獲的二維視頻圖像資料在單像三維視訊攝影機300中的基礎層存放裝置306a中作為基礎層進行儲存。接著，在步驟509中，單像三維視訊攝影機300中的基礎層編碼器307a對包含有二維視頻圖像資料的基礎層進行編碼。然後，在步驟510中，單像三維視訊攝影機300中的輸入/輸出模組312將編碼的基礎層傳輸到視頻渲染設備(如視頻渲染設備204)中進行渲染。最後，轉入步驟511，結束此操作流程。
在上述的步驟503中，若確定儲存捕獲的相應深度資訊，則接下來轉入步驟504。在步驟504中，捕獲的二維視頻圖像資料作為基礎層儲存在基礎層存放裝置306a中，相應深度資訊作為增強層儲存在增強層存放裝置306b中。在步驟506中，單像三維視訊攝影機300中的處理器304可確定是否傳輸增強層至視頻渲染設備(如視頻渲染設備204)中進行渲染。例如，該確定過程可基於視頻渲染設備204的請求和/或該視頻渲染設備204的三維渲染能力和/或性能。若確定要傳輸增強層，則轉入步驟507。在步驟507中，單像三維視訊攝影機300分別利用基礎層編碼器307a和增強層編碼器307b對基礎層和增強層進行編碼。在步驟508中，編碼的基礎層和編碼的增強層通過輸入/輸出模組 312傳輸至視頻渲染設備204中進行渲染。最後轉入步驟511，結束此操作流程。在步驟506中，若確定不傳輸相應深度資訊，則轉入步驟509。
圖6為依照本發明實施例的將深度資訊用作增強層以生成三維視頻的示例性步驟的流程圖。在圖6中，步驟601為本實施例流程的起始步驟。在步驟602中，視頻渲染設備400的處理器404可確定除基礎層之外，是否接收增強層。可從發射器(如單像三維視訊攝影機202)接收基礎層和/或增強層。接收的基礎層包含二維視頻圖像資料，而接收的增強層包含相應深度資訊。若確定不接收增強層，則轉入步驟606。在步驟606中，視頻渲染設備400的基礎層解碼器408a可對接收的基礎層進行解碼。在步驟607中，處理器404可利用包含二維視頻圖像資料的解碼的基礎層生成二維視頻。最後，轉入步驟608，結束此操作流程。
在步驟602中，若除基礎層之外還接收增強層時，則轉入步驟603。在步驟603中，處理器404可確定是否使用接收的增強層。若增強層用於渲染過程，則轉入步驟604。步驟604中，視頻渲染設備400的基礎層解碼器408a對接收的基礎層進行解碼；視頻渲染設備400的增強層解碼器408b對接收的增強層進行解碼。在步驟605中，處理器404可使用解碼的基礎層和解碼的增強層生成三維視頻，該解碼的基礎層包含二維視頻圖像資料，該解碼的增強層包含相應深度資訊。最後，轉入步驟608，結束此操作流程。在步驟603中，若確定在渲染步驟中不使用增強層，則還轉入步驟606。
在本發明的各個實施例中，單像三維視頻生成裝置(如 單像三維視訊攝影機300)可包含一個或多個圖像感測器314和一個或多個深度感測器308。單像三維視訊攝影機300可通過一個或多個圖像感測器314捕獲二維視頻圖像資料，以及通過一個或多個深度感測器308捕獲相應深度資訊。捕獲的二維視頻圖像資料作為基礎層儲存在單像三維視訊攝影機300的基礎層存放裝置306a中；捕獲的相應深度資訊作為增強層儲存在單像三維視訊攝影機300的增強層存放裝置306b中。
在本發明的一示例性實施例中，單像三維視訊攝影機300的處理器304可確定是否將增強層傳輸至視頻渲染設備，如視頻渲染設備204。例如，該確定過程可基於視頻渲染設備204的請求和/或該視頻渲染設備204的性能和/或能力。單像三維視訊攝影機300的視頻/音訊編碼器307中的基礎層編碼器307a可對基礎層進行編碼和壓縮，用以傳輸到視頻渲染設備204上。視頻/音訊編碼器307中的增強層編碼器307b可基於確定傳輸增強層，對該增強層進行編碼和壓縮。編碼的基礎層和/或編碼的增強層將由單像三維視頻視訊攝影機300通過其內包含的I/O模組312傳輸至視頻渲染設備204以完成三維視頻渲染和/或二維視頻渲染。
在本發明的一示例性實施例中，視頻渲染設備400的處理器404可用於確定是否使用單像三維視訊攝影機300傳輸的增強層。視頻渲染設備400的解碼器408中的基礎層解碼器408a可對單像三維視訊攝影機300傳輸的基礎層進行解碼或解壓縮。解碼器408的增強層解碼器408b還可基於確定使用傳輸的增強層，對由單像三維視訊攝影機300傳輸的增強層進行解碼或解壓縮。在這一點上，例如，處 理器404可通過使用解碼的基礎層和解碼的增強層的而生成三維視頻，該解碼的基礎層中包含了二維視頻圖像資料，該解碼的增強層中包含了相應深度資訊。又如，處理器404可通過使用解碼的基礎層生成二維視頻，該解碼的基礎層中包含了二維視頻圖像資料。
本發明的其他實施例提供一種機器和/或電腦可讀記憶體和/或介質，其上儲存的機器代碼和/或電腦程式具有至少一個可由機器和/或電腦執行的程式碼片段，使得機器和/或電腦能夠實現本文所描述的將深度資訊用作增強層的步驟。
本發明可以通過硬體、軟體，或者軟、硬體結合來實現。本發明可以在至少一個電腦系統中以集中方式實現，或者由分佈在幾個互連的電腦系統中的不同部分以分散方式實現。任何可以實現所述方法的電腦系統或其它設備都是可適用的。常用軟硬體的結合可以是安裝有電腦程式的通用電腦系統，通過安裝和執行所述程式控制電腦系統，使其按所述方法運行。在電腦系統中，利用處理器和儲存單元來實現所述方法。
本發明還可以通過電腦程式產品進行實施，所述套裝程式含能夠實現本發明方法的全部特徵，當其安裝到電腦系統中時，通過運行，可以實現本發明的方法。本申請文件中的電腦程式所指的是：可以採用任何程式語言、代碼或符號編寫的一組指令的任何運算式，該指令組使系統具有資訊處理能力，以直接實現特定功能，或在進行下述一個或兩個步驟之後，a)轉換成其它語言、代碼或符號；b)以不同的格式再現，實現特定功能。
本發明是通過幾個具體實施例進行說明的，本領域技術人員應當理解，在不脫離本發明範圍的情況下，還可以對本發明進行各種變換及等同替代。另外，針對特定情形或具體情況，可以對本發明做各種修改，而不脫離本發明的範圍。因此，本發明不局限於所公開的具體實施例，而應當包括落入本發明申請專利範圍範圍內的全部實施方式。
100‧‧‧立體視訊攝影機
101a-c‧‧‧鏡頭
102‧‧‧像三維視訊攝影機
104‧‧‧處理器
106‧‧‧記憶體
108‧‧‧深度傳感器
114‧‧‧圖像傳感器
130‧‧‧深度信息框
132‧‧‧虛線
134‧‧‧二維色彩信息框
136‧‧‧三維圖像框
138‧‧‧物體
140‧‧‧物體
142‧‧‧物體
200‧‧‧視頻通信系統
201‧‧‧基礎層位元流
202‧‧‧三維視訊攝影機
203‧‧‧增強層位元流
204‧‧‧視頻渲染設備
206a‧‧‧基礎層編碼器
206b‧‧‧增強層編碼器
208a‧‧‧基礎層解碼器
208b‧‧‧增強層解碼器
300‧‧‧單像三維視訊攝影機
304‧‧‧處理器
305‧‧‧音頻模組
306‧‧‧記憶體
306a‧‧‧基礎層記憶體
306b‧‧‧增強層記憶體
307‧‧‧中視頻/音頻編碼器
307a‧‧‧基礎層編碼器
307b‧‧‧增強層編碼器
308‧‧‧深度傳感器
309‧‧‧發射器
310‧‧‧圖像信號處理器(ISP)
311‧‧‧揚聲器
312‧‧‧輸入/輸出(I/O)模組
313‧‧‧麥克風
314‧‧‧圖像傳感器
315‧‧‧防錯模組
316‧‧‧光學系統
317‧‧‧視頻/音頻解碼器
318‧‧‧鏡頭
320‧‧‧顯示屏
322‧‧‧控制面板
324‧‧‧光學取景器
400‧‧‧視頻渲染設備
404‧‧‧處理器
406‧‧‧記憶體
408‧‧‧解碼器
408a‧‧‧基礎層解碼器
408b‧‧‧增強層解碼器
410‧‧‧顯示單元
圖1A是與傳統立體視訊攝影機相比包含本發明各方面的示例性單像三維視訊攝影機的框圖。
圖1B是依照本發明實施例的、對深度資訊和二維色彩資訊進行示例性處理以生成三維圖像的框圖。
圖2是依照本發明實施例的、用於將深度資訊用作增強層的示例性視頻通信系統的框圖。
圖3A是依照本發明實施例的、用於將深度資訊用作增強層的示例性單像三維視訊攝影機的框圖。
圖3B是依照本發明實施例的示例性基礎層和增強層的框圖。
圖4是依照本發明實施例的、用於將深度資訊用作增強層來生成三維視頻的示例性視頻渲染設備的框圖。
圖5是依照本發明實施例的將深度資訊用作增強層的示例性步驟的流程圖。
圖6是依照本發明實施例的將深度資訊用作增強層來生成三維視頻的示例性步驟的流程圖。
300‧‧‧單像三維視訊攝影機
304‧‧‧處理器
305‧‧‧音頻模組
306‧‧‧記憶體
306a‧‧‧基礎層記憶體
306b‧‧‧增強層記憶體
307‧‧‧中視頻/音頻編碼器
307a‧‧‧基礎層編碼器
307b‧‧‧增強層編碼器
308‧‧‧深度傳感器
309‧‧‧發射器
310‧‧‧圖像信號處理器(ISP)
311‧‧‧揚聲器
312‧‧‧輸入/輸出(I/O)模組
313‧‧‧麥克風
314‧‧‧圖像傳感器
315‧‧‧防錯模組
316‧‧‧光學系統
317‧‧‧視頻/音頻解碼器
318‧‧‧鏡頭
320‧‧‧顯示屏
322‧‧‧控制面板
324‧‧‧光學取景器

Claims (9)

  1. 一種處理視頻之方法，其特徵在於，所述方法包括如下步驟：在包括一個或多個深度感測器的單像三維視頻生成裝置中：將捕獲的二維視頻圖像資料儲存為基礎層；基於來自於視頻渲染設備的請求，將捕獲的相應深度資訊儲存為增強層；以及基於來自於所述視頻渲染設備的所述請求，傳輸所述增強層至所述視頻渲染設備，其中來自於所述視頻渲染設備的所述請求基於處理器對頻寬利用率限制的決策與所述視頻渲染設備的三維渲染性能和/或能力決定。
  2. 如申請專利範圍第1項所述的處理視頻之方法，其中所述方法包括通過所述單像三維視頻生成裝置的一個或多個圖像感測器捕獲所述二維視頻圖像資料。
  3. 如申請專利範圍第1項所述的處理視頻之方法，其中所述方法包括通過所述單像三維視頻生成裝置的一個或多個深度感測器捕獲所述相應深度資訊。
  4. 如申請專利範圍第3項所述的處理視頻之方法，其中所述方法包括：編碼所述基礎層；以及基於來自於所述視頻渲染設備的所述請求而對所述增強層進行編碼。
  5. 如申請專利範圍第4項所述的處理視頻的方法，其中所述方法包括傳輸所述編碼的基礎層和/或所述編碼的增強層至所述視頻渲染設備。
  6. 如申請專利範圍第5項所述的處理視頻的方法，其中所述視頻渲染設備確定是否利用所述傳輸的增強層。
  7. 如申請專利範圍第6項所述的處理視頻的方法，其中所述視頻渲染設備用於：確定是否收到所述傳輸的增強層；解碼所述傳輸的基礎層；以及基於是否收到所述傳輸的增強層與所述視頻渲染設備的所述三維渲染性能和/或能力，確定是否對所述傳輸的增強層進行解碼。
  8. 如申請專利範圍第7項所述的處理視頻之方法，其中所述視頻渲染設備利用所述解碼的基礎層和所述解碼的增強層生成三維視頻，所述解碼的基礎層包含所述二維視頻圖像資料，所述解碼的增強層包含所述相應深度資訊。
  9. 一種處理視頻的系統，其特徵在於，所述系統包括：在包含一個或多個深度感測器的單像三維視頻生成裝置內使用的一個或多個處理器和/或電路，其中所述一個或多個處理器和/或電路用於：將捕獲的二維視頻圖像資料儲存為基礎層於基礎層記憶體；基於來自於視頻渲染設備的請求，將捕獲的相應深度資訊單獨儲存為增強層於增強層記憶體，其中所述基礎層記憶體與所述增強層記憶體彼此分離，且來自於所述視頻渲染設備的所述請求基於對頻寬利用率限制的決策；以及基於來自於所述視頻渲染設備的所述請求，決定是否傳輸所述增強層至所述視頻渲染設備。
TW101103403A 2011-02-03 2012-02-02 處理視頻之方法及其系統 TWI524730B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161439113P 2011-02-03 2011-02-03
US13/077,868 US8810565B2 (en) 2010-08-27 2011-03-31 Method and system for utilizing depth information as an enhancement layer

Publications (2)

Publication Number Publication Date
TW201249175A TW201249175A (en) 2012-12-01
TWI524730B true TWI524730B (zh) 2016-03-01

Family

ID=45562091

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101103403A TWI524730B (zh) 2011-02-03 2012-02-02 處理視頻之方法及其系統

Country Status (3)

Country Link
EP (1) EP2485494A1 (zh)
CN (1) CN102630026A (zh)
TW (1) TWI524730B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2507731B (en) * 2012-11-07 2015-08-12 Nds Ltd A system and method for providing a private mosaic
WO2014163461A1 (ko) * 2013-04-05 2014-10-09 삼성전자 주식회사 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
CN104601977A (zh) * 2013-10-31 2015-05-06 立普思股份有限公司 感测装置及其信号处理方法
CN109410263A (zh) * 2018-09-30 2019-03-01 Oppo广东移动通信有限公司 一种数据采集方法、装置及计算机存储介质
WO2021087819A1 (zh) * 2019-11-06 2021-05-14 Oppo广东移动通信有限公司 信息处理方法、终端设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101015191A (zh) * 2004-07-09 2007-08-08 高通股份有限公司 用于对内容进行分层以在数据网络中进行调度传送的系统
CN101459857B (zh) * 2007-12-10 2012-09-05 华为终端有限公司 通信终端
PL2299726T3 (pl) * 2008-06-17 2013-01-31 Huawei Device Co Ltd Sposób, urządzenie i system komunikacji wideo
CN101616322A (zh) * 2008-06-24 2009-12-30 深圳华为通信技术有限公司 立体视频编解码方法、装置及系统

Also Published As

Publication number Publication date
TW201249175A (en) 2012-12-01
EP2485494A1 (en) 2012-08-08
CN102630026A (zh) 2012-08-08

Similar Documents

Publication Publication Date Title
US8810565B2 (en) Method and system for utilizing depth information as an enhancement layer
US8994792B2 (en) Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information
US10567464B2 (en) Video compression with adaptive view-dependent lighting removal
US20120050478A1 (en) Method and System for Utilizing Multiple 3D Source Views for Generating 3D Image
JP5763184B2 (ja) ３次元画像に対する視差の算出
US20120054575A1 (en) Method and system for error protection of 3d video
US8422801B2 (en) Image encoding method for stereoscopic rendering
TWI549475B (zh) Dimensional image coding apparatus, stereoscopic image decoding apparatus, stereo image coding method, stereo image decoding method, stereo image coding program, and stereo image decoding program
US20120050482A1 (en) Method and system for utilizing image sensor pipeline (isp) for scaling 3d images based on z-depth information
US9736498B2 (en) Method and apparatus of disparity vector derivation and inter-view motion vector prediction for 3D video coding
MX2013010423A (es) Aparato de procesamiento de imagenes y metodo de procesamiento de imagenes.
KR101245214B1 (ko) 단안 카메라를 이용하여 3-차원 비디오를 생성하는 방법 및 시스템
TWI524730B (zh) 處理視頻之方法及其系統
RU2632426C2 (ru) Вспомогательные данные глубины
US20120050477A1 (en) Method and System for Utilizing Depth Information for Providing Security Monitoring
EP2920970A1 (en) Method and apparatus for prediction value derivation in intra coding
US20120050495A1 (en) Method and system for multi-view 3d video rendering
WO2018127629A1 (en) Method and apparatus for video depth map coding and decoding
TWI526044B (zh) 處理信號之方法及其系統
KR101303719B1 (ko) 깊이 정보를 강화 계층으로 이용하기 위한 방법 및 시스템
EP2485493A2 (en) Method and system for error protection of 3D video
KR101419419B1 (ko) 모노스코픽 2ｄ 비디오 및 대응하는 깊이 정보로부터 3ｄ 비디오를 생성하기 위한 방법 및 시스템
KR20120089604A (ko) 3ｄ 비디오의 오류 보호를 위한 방법 및 시스템
US20140078255A1 (en) Reproduction device, reproduction method, and program
Aguirre et al. Embedded stereoscopic 3D camera system for mobile platforms

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees