TWI520567B

TWI520567B - ㄧ種用於視頻處理的方法和系統

Info

Publication number: TWI520567B
Application number: TW099144389A
Authority: TW
Inventors: 馬庫斯凱勒曼; 陳雪敏; 薩米爾赫爾亞爾卡; 伊利亞克萊巴諾夫
Original assignee: 美國博通公司
Priority date: 2009-12-17
Filing date: 2010-12-17
Publication date: 2016-02-01
Also published as: EP2337367A3; US9218644B2; CN102104788A; EP2337367A2; TW201143361A; US20110149019A1

Description

一種用於視頻處理的方法和系統

本發明涉及視頻處理。更具體地說，本發明涉及一種用於根據三維視頻輸入優化二維視頻顯示的方法和系統。

顯示設備，例如電視機(TVs)，可以被用來輸出或播放視聽或多媒體流，上述視聽或多媒體流可以包括電視播送、電視廣播和/或來自一個或多個可用用戶設備的本地音頻/視頻(A/V)材料(feeds)，這些用戶設備可以是例如錄影機(VCRs)和/或數位視頻光碟(DVD)播放器。電視廣播和/或視聽的或多媒體的材料可以被直接輸入電視機，或者可以通過一個或多個專用機頂盒間接傳送，專用機頂盒可以提供任意需要的處理操作。用來向電視機輸入資料的連接器的類型包括但不限於F-連接器、S-視頻、混合和/或視頻連接器、和/或最近的高清多媒體介面(HDMI)連接器。

電視廣播通常由電視機前端在廣播通道上通過RF載波或有線連接發送。電視機前端可以包括地面電視前端、有線電視(CATV)、衛星電視前端和/或寬頻電視前端。地面電視前端可以利用例如一系列地面廣播通道，這些通道在美國可以包括例如通道2至69。有線電視(CATV)廣播可以利用更多數量的廣播通道。電視廣播包括視頻和/或音頻資訊的發送，其中視頻和/或音頻資訊可以通過多種可用調製方法中的一種編碼進廣播通道中。電視廣播可以利用類比和/或數位調製格式。在類比電視系統中，圖片和聲音資訊被編碼成類比信號並通過類比信號發送，其中視頻/音頻資訊可以通過廣播信號傳送，根據類比電視編碼標準對電視信號進行幅度和/或頻率調製。類比電視廣播商可以，例如，利用NTSC、PAL和/或SECAM類比編碼制式來編碼其信號，然後將這些信號調製到譬如VHF或UHF RF載波上。

在數位電視(DTV)系統中，電視廣播可以由地面的、有線的和/或衛星前端利用一種可用數位調製方法通過離散的(數位的)信號通信，這些調製方法可以包括，例如，QAM、VSB、QPSK和/或OFDM。由於數位信號在傳遞同樣的資訊時需要使用的帶寬通常小於類比信號，因此在與類比電視系統可用空間相同大小的空間中，DTV系統可以使廣播商提供更多數位通道。另外，數位電視信號的使用可以使廣播商提供高清電視(HDTV)廣播和/或通過數位系統提供其他非電視相關的服務。可用數位電視系統包括，例如，基於ATSC、DVB、DMB-T/H和/或ISDN的系統。可以利用各種視頻和/或音頻編碼和/或壓縮演算法將視頻和/或音頻資訊編碼成數位電視信號，上述視頻和/或音頻編碼和/或壓縮演算法可以包括，例如，MPEG-1/2、MPEG-4AVC、MP3、AC-3、AAC和/或HE-AAC。

現在，大多數電視廣播(以及類似的多媒體材料)利用允許視頻圖像以位元流形式通信的視頻格式標準。這些視頻標準可以利用各種插補和/或速率轉換功能在顯示設備上展示包含靜態和/或動態圖像的內容。例如，可以利用解交錯功能將動態和/或靜態的圖像轉換為另一種格式，該格式適用於不支援處理交錯內容的顯示設備類型。電視廣播以及類似的視頻材料，可以是交錯的或逐行的。交錯的視頻包括場，可以每隔一個時間間隔捕捉一個場。一個幀可以包括一對場，例如，頂場和底場。形成視頻的圖片可以包括多個按順序排列的行。在一個時間間隔內，可以捕捉偶數行視頻內容。在隨後的一個時間間隔內，可以捕捉奇數行視頻內容。偶數行可以被統一稱作頂場，同時奇數行可以被統一稱作底場。可選地，奇數行可以被統一稱作頂場，同時偶數行可以被統一稱作底場。對於逐行的視頻幀，可以在一個時間間隔內按序列捕捉或播放該幀的所有行。交錯的視頻可以包括由逐行幀轉換而來的場。例如，可以通過將偶數行組織成一個場並將奇數行組織成另一個場而將逐行幀轉換為兩個交錯的場。

比較本發明後續將要結合附圖介紹的系統，現有技術的其他局限性和弊端對於本領域的普通技術人員來說是顯而易見的。

本發明提供了一種用於根據三維視頻輸入優化二維視頻顯示的方法和/或系統，結合至少一幅附圖進行了詳細描述，並在權利要求中得到了更完整的闡述。

根據本發明的一個方面，一種用於視頻處理的方法，包括：由視頻處理系統中的一個或多個處理器和/或電路執行：從壓縮的三維輸入視頻流中提取多個視圖序列(view sequences)；以及根據所述多個提取的視圖序列生成二維輸出視頻流，其中所述二維輸出視頻流的視頻資料是利用視圖資訊生成的，所述視圖資訊來自所述多個提取的視圖序列中的至少一個。優選地，所述多個提取的視圖序列包括立體的左和右參考場或幀的序列。

優選地，所述二維輸出視頻流的視頻資料生成過程中利用的所述視圖資訊包括深度資訊和/或前景和/或背景資訊。

優選地，所述方法進一步包括從所述多個提取的視圖序列中選擇一個作為所述生成的二維輸出視頻流的基礎序列。

優選地，所述方法進一步包括根據所述多個提取的視圖序列中的一個或多個未選擇的序列來調整(modifying)所述生成的二維輸出視頻流的基礎序列。

優選地，所述調整優化了(enhance)所述二維輸出視頻流中圖像的深度、對比度和/或清晰度(sharpness)。

優選地，所述方法進一步包括利用幀或場插補(interpolation)對所述二維輸出視頻流執行幀上轉換(upconversion)操作。

優選地，所述方法進一步包括根據所述多個提取的視圖序列中的至少一個調整所述插補。

優選地，所述方法進一步包括本地執行對應於所述二維輸出視頻流的圖形處理。

優選地，所述方法進一步包括根據所述二維輸出視頻流中每一圖像的至少一個焦點執行所述本地圖形處理。

根據本發明的一個方面，一種用於視頻處理的系統，包括：用於從壓縮的三維輸入視頻流中提取多個視圖序列的一個或多個電路和/或處理器；以及所述一個或多個電路和/或處理器用於根據所述多個提取的視圖序列生成二維輸出視頻流，其中所述二維輸出視頻流的視頻資料是利用視圖資訊生成的，所述視圖資訊來自所述多個提取的視圖序列中的至少一個。

優選地，所述多個提取的視圖序列包括立體的左和右參考場或幀的序列。

優選地，所述一個或多個電路和/或處理器用於從所述多個提取的視圖序列中選擇一個作為所述生成的二維輸出視頻流的基礎序列。

優選地，所述一個或多個電路和/或處理器用於根據所述多個提取的視圖序列中的一個或多個未選擇的序列來調整所述生成的二維輸出視頻流的基礎序列。

優選地，所述調整優化了所述二維輸出視頻流中圖像的深度、對比度和/或清晰度。

優選地，所述一個或多個電路和/或處理器用於利用幀或場插補對所述二維輸出視頻流執行幀上轉換操作。

優選地，所述一個或多個電路和/或處理器用於根據所述多個提取的視圖序列中的至少一個調整所述插補。

優選地，所述一個或多個電路和/或處理器用於本地執行對應於所述二維輸出視頻流的圖形處理。

優選地，所述一個或多個電路和/或處理器用於根據所述二維輸出視頻流中每一圖像的至少一個焦點執行所述本地圖形處理。

本發明的各種優點、各個方面和創新特徵，以及其中所示例的實施例的細節，將在以下的說明書和附圖中進行詳細介紹。

100‧‧‧媒體系統

102‧‧‧顯示設備

104‧‧‧地面電視前端

106‧‧‧電視塔

108‧‧‧電視天線

110‧‧‧有線電視(CATV)前端

112‧‧‧有線電視(CATV)分發網路

114‧‧‧衛星電視前端

116‧‧‧衛星電視接收器

118‧‧‧寬頻電視前端

120‧‧‧寬頻網路

122‧‧‧機頂盒

124‧‧‧視音(AV)播放設備

202‧‧‧三維視頻發送單元(3D-VTU)

204‧‧‧通信網路

206‧‧‧視頻接收單元(3D-VRU)

220‧‧‧視頻處理系統

222‧‧‧三維視頻源

224‧‧‧基礎視圖編碼器

226‧‧‧優化視圖編碼器

228‧‧‧傳輸複用器

240‧‧‧視頻處理系統

242‧‧‧主處理器

244‧‧‧MPEG解碼器

246‧‧‧存儲及播放模組

248‧‧‧系統記憶體

250‧‧‧幀速率上轉換(FRUC)模組

252‧‧‧視頻處理器

254‧‧‧圖形處理器

256‧‧‧顯示器

圖1是根據本發明一個實施例的用於播放各種電視廣播和/或從本地設備接收的媒體材料的視頻系統的框圖；圖2A是根據本發明一個實施例的用於提供三維視頻通信的視頻系統的框圖，三維視頻可以用來生成用於二維顯示設備的優化的二維視頻輸出；圖2B是根據本發明一個實施例的用於生成傳輸流的視頻處理系統的框圖，該傳輸流包含三維編碼的視頻；圖2C是根據本發明一個實施例的用於根據三維視頻輸入生成優化的二維視頻以便通過二維顯示器播放的視頻處理系統的框圖；圖3是根據本發明一個實施例的用於根據三維視頻輸入生成優化的二維視頻輸出的示範性步驟的流程圖。

本發明的一些實施例提供了一種用於根據三維視頻輸入優化二維視頻顯示的方法和系統。在本發明的各種實施例中，一種視頻處理設備可以被用來從壓縮的三維(3D)輸入視頻流中提取多個視圖序列，並可以根據多個提取的視圖序列生成相應的二維(2D) 輸出視頻流。多個視圖序列可以包括立體的左和右參考場或幀序列。二維輸出視頻流的視頻資料是利用視頻內容和/或資訊生成的，這些視頻內容和/或資訊來自多個提取的視圖序列中的至少一個。一個視圖序列，例如左視圖序列，可以被選作二維輸出視頻流的基礎序列，然後，可以利用未選擇的視圖序列中的視頻內容和/或資訊優化二維輸出視頻流。優化二維輸出視頻流的過程中利用的視頻內容和/或資訊可以包括深度資訊和/或前景和/或背景資訊。二維輸出視頻流的優化可以包括改善二維輸出視頻流中圖像的深度、對比度和/或清晰度，和/或清除可視人工痕跡。當顯示器的幀速率高於接收的三維輸入視頻流的幀速率時，視頻處理設備可以對二維輸出視頻流執行幀上轉換操作，例如利用幀或場插補。然後，可以利用在初始時未被選作二維輸出視頻流的基礎序列的多個提取的視圖序列的至少一個中的幀和/或場中的視頻內容和/或資訊調整上述幀和/或場插補，以優化二維輸出視頻流的品質。視頻處理設備還可以用來本地執行相應於二維輸出視頻流的圖形處理。可以根據，例如，二維輸出視頻流中每個圖像內的一個或更多焦點來執行本地圖形處理。

圖1是根據本發明一個實施例的用於播放各種電視廣播和/或從本地設備接收的媒體材料(feeds)的視頻系統的框圖。參考圖1，示出了媒體系統100，媒體系統100可以包括顯示設備102、地面電視前端104、電視塔106、電視天線108、有線電視(CATV)前端110、有線電視(CATV)分發網路112、衛星電視前端114、衛星電視接收器116、寬頻電視前端118、寬頻網路120、機頂盒122以及視音(AV)播放設備124。

顯示設備102可以包括合適的邏輯、電路、介面和/或代碼，用於播放包含視音(AV)資料的多媒體流。顯示設備102可以包括，例如，電視機、顯示器和/或其他顯示和/或音頻播放設備，和/或用於播放視頻流和/或相應音頻資料的部件，上述視頻流和/或相應音頻資料由顯示設備102直接接收和/或通過中間設備(例如機頂盒122)間接接收，和/或從本地媒體記錄/播放設備和/或存儲資源譬如AV播放設備124接收。

地面電視前端104可以包括合適的邏輯、電路、介面和/或代碼，用於通過一個或更多電視塔106在空氣中廣播電視信號。地面電視前端104可以廣播類比和/或數位編碼的地面電視信號。電視天線108可以包括合適的邏輯、電路、介面和/或代碼，用於接收由地面電視前端104通過電視塔106發送的電視信號。CATV前端110可以包括合適的邏輯、電路、介面和/或代碼，用於進行有線電視信號的通信。CATV前端110可以用於廣播類比和/或數位格式的有線電視信號。CATV分發網路112可以包括合適的分發系統，以便從CATV前端110到多個的有線電視接收器譬如顯示設備102的通信可以轉發。例如，CATV分發網路112可以包括光纖和/或同軸電纜網路，以便在至少一個實例中連接CATV前端110和顯示設備102。

衛星電視前端114可以包括合適的邏輯、電路、介面和/或代碼，用於衛星電視信號到陸地接收器譬如顯示設備102的下行通信。衛星電視前端114可以包括，例如，衛星電視系統中的多個軌道衛星節點之一。衛星電視接收器116可以包括合適的邏輯、電路、介面和/或代碼，用於接收由衛星電視前端114發送的下行衛星電視信號。例如，衛星接收器116可以包括專用拋物型天線，該天線用於接收來自衛星電視前端的衛星電視信號並將接收的衛星信號反射和/或彙集到焦點上，其中可以使用一個或多個低雜訊放大器(LNAs)將接收的信號下變頻轉換為相應的中頻，並可以進一步處理，以通過譬如機頂盒122可以從中提取音頻/視頻資料。另外，由於大多數衛星電視下行材料(feeds)在安全方面進行了編碼和/或加擾處理，因此衛星電視接收器116還可以包括合適的邏輯、電路、介面和/或代碼，用於對接收的衛星電視材料進行解碼、解擾和/或解密處理。

寬頻電視前端118可以包括合適的邏輯、電路、介面和/或代碼，用於通過寬頻網路120進行多媒體/電視廣播。寬頻網路120可以包括內部連接的網路系統，用於根據一個或多個網路標準在多個節點間交換資訊和/或資料，網路標準可以包括，例如TCP/IP。寬頻網路120可以包括多個支援寬頻的子網路，這些子網路可以包括，例如，衛星網路、電纜網路、DVB網路、網際網路和/或類似的局域或廣域網，它們共同作用以便向多個終端用戶傳遞包含多媒體內容的資料。根據銅線和/或光纖有線連接、無線介面和/或基於其他標準的介面，可以提供通過寬頻網路120的連接。寬頻電視前端118和寬頻網路120可以對應於，例如，網際網路協定電視(IPTV)系統。

機頂盒122可以包括合適的邏輯、電路、介面和/或代碼，用於處理由顯示設備102外部的一個或多個電視前端發送的電視和/或多媒體流/信號。AV播放設備124可以包括合適的邏輯、電路、介面和/或代碼，用於給顯示設備102提供視頻/音頻材料。例如，AV播放設備124可以包括數位視頻光碟(DVD)播放器、藍光(Blu-ray)播放器、數位視頻錄影機(DVR)、視頻遊戲機、監測系統和/或個人電腦(PC)捕捉/播放卡。儘管機頂盒122和AV播放設備124以獨立的實體示出，但是，至少一部分通過機頂盒122和/或AV播放設備124執行的功能可以直接集成在顯示設備102中。

在工作過程中，顯示設備102可以用來播放從可用廣播前端之一和/或從一個或多個本地資源接收的媒體流。顯示設備102可以通過譬如電視天線108從地面電視前端104接收通過空中傳播的由電視塔106發射的電視廣播。顯示設備102還可以接收有線電視廣播，該廣播由CATV前端110通過CATV分發網路112進行傳送；衛星電視廣播，該廣播由衛星前端114傳送並通過衛星接收器116接收；和/或網際網路媒體廣播，該廣播由寬頻電視前端118通過寬頻網路120進行傳送。

電視前端可以在電視廣播中使用各種編碼方法。傳統上，電視廣播使用了類比調製格式方法，包括，例如，NTSC、PAL和/或SECAM。音頻編碼可以包括使用單獨的調製方法，包括，例如，BTSC、NICAM、單聲道FM和/或AM。然而，最近已經向基於數位電視(DTV)的廣播穩步推進，其中可以在電視廣播中使用數位調製格式方法以便發送和/或接收作為離散信號的視頻和/或音頻流，數位調製格式方法包括，例如QAM、VSB或OFDM。例如，地面電視前端104可以使用基於ATSC和/或DVB的標準以便於DTV地面廣播。類似地，CATV前端110和/或衛星前端114也可以使用合適的編碼標準以便於基於有線和/或衛星的廣播。

顯示設備102可以用於直接處理多媒體/電視廣播以便播放相應的視頻和/或音頻資料。可選地，可以利用外部設備譬如機頂盒122來執行處理操作和/或功能，該外部設備可以用於從接收的媒體流中提取視頻和/或音頻資料，然後，可以通過顯示設備102播放提取的音頻/視頻資料。

在本發明的一個方面，媒體系統100可以支援三維(3D)視頻。可以使用各種方法捕捉及生成(在播放時間)三維視頻。例如，可以通過呈現多個視圖來生成立體的三維視頻；通常是對應于觀眾的左眼和右眼的左視圖和右視圖。因此，可以捕捉和/或處理左視圖視頻及右視圖視頻以便製造立體效果。然後，可以通過分別組合左視圖視頻部分及右視圖視頻部分來產生三維視頻幀。就這一點而言，一個或更多電視前端可以用於與顯示設備102進行三維視頻內容的通信。AV播放設備124還可以用於播放以前錄製的和/或生成的三維視頻內容，這些視頻內容來自可以通過譬如AV播放設備124讀取的媒體存儲部件。然後，通過對譬如左視圖視頻部分及右視圖視頻部分分別進行處理和/或組合，顯示設備102可以生成三維視頻。

但是，在一些實例中，顯示設備102僅可用於顯示二維視頻。因此，顯示設備102可以用於根據三維視頻輸入生成二維視頻輸出。另外，顯示設備102可以用於根據三維視頻輸入來優化生成的二維視頻輸出，利用譬如在三維顯示情況下用來生成三維視頻幀和/或場的內容和/或資訊。例如，當僅僅根據左視圖視頻內容生成二維視頻輸出時，可以利用右視圖內容來優化相應二維視頻幀和/或場的深度、對比度和/或清晰度。

圖2A是根據本發明一個實施例的用於提供三維視頻通信的視頻系統的框圖，三維視頻可以用來生成用於二維顯示設備的優化的二維視頻輸出。參考圖2A，示出了三維視頻發送單元(3D-VTU)202、通信網路204以及視頻接收單元(3D-VRU)206。

3D-VTU 202可以包括合適的邏輯、電路、介面和/或代碼，用於生成包含編碼的視頻內容的傳輸流，該傳輸流可以通過通信網路204傳送譬如給3D-VRU 206。3D-VTU 202可以用於編碼譬如相應於電視廣播的三維視頻內容和二維視頻內容。就這一點而言，3D-VTU 202可以對應於譬如圖1所示的地面前端104、CATV前端110、衛星前端114和/或寬頻前端118。當編碼三維視頻時，3D-VTU 202可以用於將三維視頻編碼成，例如左視圖視頻流和右視圖視頻流，其中左視圖視頻流和右視圖視頻流可以在不同通道發送給3D-VRU 206。通過3D-VTU 202發送的傳輸流可以包括除了原始視頻內容以外的附加視頻內容。附加視頻內容可以包括新聞更新和/或廣告資訊。就這一點而言，3D-VTU 202可以用於通過譬如拼接技術將目標廣告資訊嵌入娛樂節目譬如三維電視節目的內容中。3D-VTU 202可以用於生成目標廣告資訊的廣告流。可以將生成的廣告流與三維電視節目的編碼的三維視頻流複用以形成用於發送的傳輸流。廣告流可以是三維或二維廣告流。

通信網路204可以包括合適的邏輯、電路、介面和/或代碼，用於在3D-VTU 202與3D-VRU 206間進行通信，以便於傳送包含三維視頻內容的傳輸流。通信網路204可以是有線或無線通信網路。通信網路204可以對應於譬如圖1所示的CATV分發網路112和/或寬頻網路122。

3D-VRU 206可以包括合適的邏輯、電路、介面和/或代碼，用於接收並處理包含視頻內容的傳輸流，該傳輸流可以通過譬如3D-VTU 202在通信網路204上傳送。3D-VRU 206的功能可以對應於譬如圖1所示的顯示設備102和/或機頂盒122。接收的傳輸流可以包括編碼的三維視頻內容，該三維視頻內容可以對應於譬如包含在三維電視廣播中的娛樂節目。接收的傳輸流還可以包括附加的視頻內容，例如，商業廣告流。3D-VRU 206可以用於處理接收的傳輸流以分離和/或提取傳輸流中的各種視頻內容，並用於解碼和/或處理提取的視頻流和/或內容以便於顯示操作。

在工作過程中，3D-VTU202可以用於生成包含三維視頻內容的傳輸流，該三維視頻內容對應於譬如包含在三維電視節目中的娛樂節目。3D-VTU 202可以將三維視頻內容編碼成左視圖視頻流和右視圖視頻流。包含譬如廣告資訊的附加視頻內容可以與三維電視節目的編碼的三維視頻內容一起嵌入傳輸流中以便發送。可以通過通信網路204將傳輸流傳送給3D-VRU 206。3D-VRU 206可以用於接收並處理傳輸流以便於通過顯示設備播放包含在傳輸流中的視頻內容。就這一點而言，3D-VRU 206可以用於，例如，將接收的傳輸流解複用為三維電視節目的編碼的三維視頻流和附加視頻流。3D-VRU 206可以用於解碼三維電視節目的編碼的三維視頻流以便顯示。可以根據譬如用戶資料和/或設備配置從編碼的三維視頻流中提取廣告流。根據設備配置和/或用戶選擇，可以在三維電視節目中呈現提取的廣告流或將提取的廣告流移出以便單獨顯示。3D-VRU 206還可以用於本地處理對應於顯示的視頻內容的圖形以產生相應的目標圖形物件。可以根據譬如相關三維場景圖中的時間資訊來放置目標圖形物件。3D-VRU 206可以用於根據視圖的焦點將目標圖形物件拼接入解碼的三維視頻中。

在本發明的一個方面，3D-VRU 206可以用於根據三維輸入視頻生成優化的二維視頻。當使用具有三維功能的顯示設備時，得到的混合三維視頻可以通過顯示設備作為三維視頻播放。但是，在一些實例中，使用的是僅具有二維功能的顯示設備。因此，得到的混合三維視頻可以通過譬如3D-VRU 206轉換為二維視頻以便顯示。通過3D-VRU 206生成的二維視頻的品質可以根據譬如從接收的傳輸流中提取的三維視頻資料和/或內容進行優化。就這一點而言，3D-VRU 206可以用於根據從3D-VTU 202接收的三維視頻輸入生成二維視頻輸出。二維視頻輸出可以對應於，例如三維視頻輸入的左視圖視頻部分。但是，可以利用從三維視頻輸入的其他部分中提取的資料和/或資訊對生成的二維視頻輸出進行優化。例如，在處理三維視頻輸入時由3D-VRU 206確定的深度資訊，可以被用來改善生成的二維視頻輸出中的對比度和/或視覺深度。深度資訊可以從例如對應於每一個視頻幀的深度地圖(depth map)中提取，深度地圖可以根據對應於視頻幀的左視圖和右視圖視頻部分生成。另外，處理接收的三維視頻輸入可以確定每個三維視頻幀中的前景和/或背景區域。因此，可以利用前景和/或背景資訊來改善例如相應輸出二維視頻幀中的清晰度，該過程可以通過根據區域的前景和/或背景類別改變生成的二維輸出幀中不同區域的可選清晰度標準和/或參數來實現。前景和/或背景資訊還可以用來補償和/或減小其他視覺效果，例如，幀速率上轉換時引入的光圈效應，場景中的物件的移動區域的周圍，在同一場景中的其他物件移動時將被阻擋。因此，由於右視圖可以提供，例如關於背景物件的更佳的資訊，可以在幀插補時使用這些資訊以避免由於物件在當前幀的背景中而在下一幀移動至前景中而導致的模糊。

當二維視頻輸出的生成過程中必須進行幀上轉換時，還可以使用三維視頻內容資訊來優化幀速率上轉換操作。例如，由於捕捉視頻內容時的幀速率小於顯示時使用的刷新速率，在播放捕捉的視頻內容時，附加幀的生成是必需的。可以以譬如每秒24或48幀(fps)的速率捕捉視頻內容。但是，大多數顯示器使用更高的刷新速率，例如60、120或240Hz。因此，顯示三維視頻時，根據譬如解壓的左和右參考場或幀，可以通過插補來創建新的左和/或右場或幀。因此，當二維視頻輸出是根據三維視頻輸入生成的時，對二維視頻輸出執行的幀上轉換可以利用未被用來生成二維視頻輸出的那部分三維內容進行優化。例如，當僅根據左視圖視頻內容生成二維視頻輸出時，可以使用右視圖視頻內容優化插補的新左場或幀的品質，上述插補的新左場或幀用於二維視頻輸出中。

二維輸出視頻被生成、上轉換和/或優化後，可以在二維輸出視頻中嵌入圖形以確保對二維視頻輸出流執行優化和/或調整時圖形不會失真。3D-VRU 206可以用於，例如，將圖形物件拼接入優化的二維輸出視頻流中。可以根據視圖的焦點來實現將圖形物件拼接入優化的二維輸出視頻流的過程，視圖的焦點可以根據，例如深度和/或前景和/或背景資訊來確定。

圖2B是根據本發明一個實施例的用於生成傳輸流的視頻處理系統的框圖，該傳輸流包含三維編碼的視頻。參考圖2B，示出了視頻處理系統220、三維視頻源222、基礎視圖編碼器224、優化視圖編碼器226和傳輸複用器228。

視頻處理系統220可以包括合適的邏輯、電路、介面和/或代碼，用於捕捉並處理三維視頻資料，並用於生成包含三維視頻的傳輸流。視頻處理系統220可以包括，例如三維視頻源222、基礎視圖編碼器224、優化視圖編碼器226和/或傳輸複用器228。例如，視頻處理系統220可以集成到3D-VTU 202中以便於三維視頻和/或包含三維視頻的傳輸流的生成。

三維視頻源222可以包括合適的邏輯、電路、介面和/或代碼，用於捕捉源三維視頻內容。三維視頻源222可以用於根據捕捉的源三維視頻內容生成左視圖視頻和右視圖視頻以便於三維視頻顯示/播放。可以將左視圖視頻和右視圖視頻分別傳送給譬如基礎視圖編碼器224和優化視圖編碼器226以便進行視頻壓縮。

基礎視圖編碼器224可以包括合適的邏輯、電路、介面和/或代碼，用於譬如以幀為基礎編碼來自三維視頻源222的左視圖視頻。基礎視圖編碼器224可以用於利用各種視頻編碼和/或壓縮演算法以形成左視圖視頻的壓縮的和/或編碼的視頻內容，該左視圖視頻來自三維視頻源222，且上述各種視頻編碼和/或壓縮演算法具體包括例如MPEG-2、MPEG-4、AVC、VC1、VP6和/或其他視頻格式。另外，基礎視圖編碼器224可以用於向優化視圖編碼器226傳送用於優化視圖編碼的資訊，例如基礎視圖編碼中的場景資訊。

優化視圖編碼器226可以包括合適的邏輯、電路、介面和/或代碼，用於譬如以幀為基礎編碼來自三維視頻源222的右視圖視頻。優化視圖編碼器226可以用於利用各種視頻編碼和/或壓縮演算法以形成右視圖視頻的壓縮的和/或編碼的視頻內容，該右視圖視頻來自三維視頻源222，且上述各種視頻編碼和/或壓縮演算法具體包括例如MPEG-2、MPEG-4、AVC、VC1、VP6和/或其他視頻格式。儘管圖2B中只示出了一個優化視圖編碼器226，但本發明並不受限於此。因此，可以使用任意數量的優化視圖編碼器來處理三維視頻源222生成的左視圖視頻和右視圖視頻，而不脫離本發明的精神和範圍。

傳輸複用器228可以包括合適的邏輯、電路、介面和/或代碼，用於將多個視頻流合併為一個混合的視頻流，即傳輸流(TS)，以便發送。TS可以包括基礎視圖流、優化視圖流和多個附加視頻流，附加視頻流可以包括，例如廣告流。附加流可以直接在視頻處理系統220中捕捉或可選地從專用源接收。例如，廣告源可以通過多個廣告流提供可用廣告視頻內容，這些廣告流隨後將被拼接入TS中。就這一點而言，可以將多個廣告流嵌入基礎視頻流和/或優化視頻流的任意間隔中，基礎視頻流和/或優化視頻流分別來自基礎視圖編碼器224和優化視圖編碼器216。

在工作過程中，三維視頻源222可以用於捕捉源三維視頻內容以產生左視圖視頻和右視圖視頻以便進行視頻壓縮。可以通過基礎視圖編碼器224對左視圖視頻進行編碼以產生基礎視圖流。可以通過優化視圖編碼器226對右視圖視頻進行編碼以產生優化視圖流。基礎視圖編碼器224可以用於向優化視圖編碼器226提供例如場景資訊，用於優化視圖編碼。另外，可以通過傳輸複用器228將一個或多個附加視頻流與基礎視圖流和/或優化視圖流複合以形成傳輸流(TS)。然後，可以將得到的傳輸流(TS)傳送給，例如3D-VRU206，具體可參考圖2A的描述。

在本發明的一個方面，複合進傳輸流(TS)中的三維視頻內容中編碼的一些內容可以被接收設備3D-VRU 206用來生成優化的二維輸出視頻。例如，當TS中的三維視頻內容可以包括立體的左視圖和右視圖視頻資料時，可以根據左視圖視頻內容生成二維顯示視頻輸出，該輸出可以通過基礎視圖編碼器224進行編碼。然後，可以利用三維視頻流中的其他視頻資料優化生成的二維視頻輸出，其他視頻資料包括，例如通過優化視圖編碼器226編碼的右視圖視頻內容。

圖2C是根據本發明一個實施例的用於根據三維視頻輸入生成優化的二維視頻以便通過二維顯示器播放的視頻處理系統的框圖。參考圖2C，示出了視頻處理系統240、主處理器242、MPEG解碼器244、存儲及播放模組246、系統記憶體248、幀速率上轉換(FRUC)模組250、視頻處理器252、圖形處理器254以及顯示器256。

視頻處理系統240可以包括合適的邏輯、電路、介面和/或代碼，用於接收並處理壓縮格式的三維視頻資料，並用於提供重建的輸出視頻以便顯示。視頻處理系統240可以包括，例如主處理器242、MPEG解碼器244、存儲及播放模組246、系統記憶體248、FRUC模組250、視頻處理器252和/或圖形處理器254。例如，視頻處理系統240可以集成到3D-VRU 206中以便於包含三維視頻內容的傳輸流的接收和/或處理，該傳輸流由3D-VTU 202發送。視頻處理系統240可以用於控制交錯的視頻場和/或逐行的視頻幀。就這一點而言，視頻處理系統240可以用於解壓和/或上轉換交錯的視頻和/或逐行的視頻。視頻場，例如交錯的場和/或逐行的視頻幀可以稱作場、視頻場、幀或視頻幀。在本發明的一個方面，視頻處理系統240可以用於根據三維輸入視頻生成優化的二維視頻輸出。

主處理器242可以包括合適的邏輯、電路、介面和/或代碼，用於處理資料和/或控制視頻處理系統240的運行。就這一點而言，主處理器242可以用於給視頻處理系統240的各種其他部分、元件和/或子系統提供控制信號。主處理器242還可以控制視頻處理系統240的各個部分間的資料傳輸。主處理器242可以執行應用程式和/或代碼。就這一點而言，應用、程式和/或代碼可以實現，例如解壓、運動補償操作、插補或其他對三維視頻資料的處理。進一步地，應用、程式和/或代碼可以實現，例如配置或控制MPEG解碼器和/或FRUC模組250的運行。

MPEG解碼器244可以包括合適的邏輯、電路、介面和/或代碼，用於解複用或解析接收的傳輸流以便從接收的傳輸流中提取所需流，還用於解壓通過接收的傳輸流攜帶的三維視頻資料，和/或可以執行附加安全操作譬如數位版權管理。就這一點而言，三維視頻資料可以作為左和/或右視圖立體的視頻幀接收。可以根據譬如MPEG-2傳輸流(TS)協定或MPEG-2程式流(PS)載體格式來接收視頻資料。在本發明的各種實施例中，可以在單獨的流或單獨的檔中接收左視圖資料和右視圖資料。在該實施例中，MPEG解碼器244可以根據，例如MPEG-2MVP、H.264和/或MPEG-4優化視頻編碼(AVC)或MPEG-4多視圖視頻編碼(MVC)來解壓接收的單獨的左和右視圖視頻資料。在本發明的另一個實施例中，可以將立體的左和右視圖混合成一個幀序列。例如，基於左右格式的(side by side)、基於上下格式的(top-bottom)和/或基於棋盤格式(checkerboard lattice)的三維編碼器可以將來自三維流(包含左視圖資料和右視圖資料)的幀轉換為一個壓縮的幀並可以使用MPEG-2、H.264、AVC和/或其他編碼技術。在該實施例中，MPEG解碼器244可以根據譬如MPEG-4 AVC和/或MPEG-2主文件(MP)解壓視頻資料。MPEG解碼器244可以再生一個壓縮幀並可以利用合適的解碼器對它進行處理，上述合適的解碼器可以是，例如對應於基於左右格式的、基於上下格式的和/或基於棋盤格式的三維編碼器的解碼器。就這一點而言，可以根據壓縮三維內容時使用的相應編碼方法來選擇解碼器。

存儲及播放模組246可以包括合適的邏輯、電路、介面和/或代碼，用於在三維視頻資料被從一個處理過程和/或元件轉移到另一個時緩存三維視頻資料，例如左和/或右視圖。就這一點而言，存儲及播放模組246可以從MPEG解碼器244接收資料，並可以傳送資料給FRUC模組250、視頻處理器252和/或圖形處理器254。另外，存儲及播放模組246可以緩存解壓的參考幀和/或場，例如在FRUC模組250進行幀插補時和/或在視頻處理系統240中對生成的二維輸出視頻流進行優化時。存儲及播放模組246可以與譬如主處理器242交換控制信號和/或可以在系統記憶體248中寫入資料以便長期儲存。

系統記憶體248可以包括合適的邏輯、電路、介面和/或代碼，用於存儲包含參數和/或代碼的資訊，上述參數和/或代碼可以影響視頻處理系統240的運行。參數可以包括配置資料且代碼可以包括操作碼譬如軟體和/或固件，但上述資訊並不受限於此。另外，系統記憶體248可以用於存儲三維視頻資料，例如，上述資料包括左和右視圖的立體圖像資料。

FRUC模組250可以包括合適的邏輯、電路、介面和/或代碼，用於以某一速率譬如24或48fps接收立體的視頻幀，並以一更高速率譬如60、120和/或240Hz輸出這些幀。就這一點而言，FRUC模組250可以插補一個或多個幀，這些幀可以嵌入接收的幀中以增加每秒幀的數量。FRUC模組250可以用於執行運動估算和/或運動補償以便插補這些幀。FRUC模組250可以用於控制立體的左和右視圖。在本發明的各種實施例中，當只有立體視圖譬如左視圖被用來生成二維視頻輸出流時，FRUC模組250可以用於利用未使用視圖的幀或場來優化插補操作。例如，右視圖幀可以包括一個區域的場景資訊，該區域可以被相應左視圖幀中的移動物件覆蓋。因此，當移動物件下的區域未被覆蓋時，右場中特定的場景資訊可以用來在一個或多個左視圖幀中插補圖元。

視頻處理器252可以包括合適的邏輯、電路、介面和/或代碼，用於在視頻處理系統240中執行視頻處理以便於生成輸出視頻流，該輸出視頻流可通過顯示器256播放。在本發明的各種實施例中，視頻處理器254可以用於根據三維視頻輸入流生成二維視頻輸出。視頻處理器252還可以用於根據譬如三維視頻輸入流的視頻資料優化生成的二維視頻輸出流。就這一點而言，當三維輸入流包含立體視頻時，視頻處理器252可以根據左視圖視頻流生成二維視頻輸出流。生成的二維視頻的優化可以利用這些視頻資料譬如深度和/或前景和/或背景資訊來實現，具體可以參考譬如圖2A的描述。

圖形處理器254可以包括合適的邏輯、電路、介面和/或代碼，用於在視頻處理系統240中根據譬如視圖的焦點本地執行圖形處理。圖形處理器254可以用於生成圖形物件，這些圖形物件可以複合到輸出視頻流中。這些圖形物件可以根據譬如視圖的焦點和/或服務娛樂節目的上一視圖生成。當通過視頻處理系統240生成二維視頻輸出時，生成的圖形物件可以包括二維圖形物件。通過圖形處理器254對圖形物件進行的拼接可以在視頻處理器252和/或FRUC模組250生成、優化且上轉換二維視頻輸出流後執行。

顯示器256可以包括合適的邏輯、電路、介面和/或代碼，用於接收根據FRUC模組250處理後的視頻資料重建的場和/或幀，並可以顯示相應的圖像。顯示器256可以是一個單獨的設備，或者顯示器256和視頻處理系統240可以作為一個整體設備實施。顯示器256可以用於執行三維或二維視頻顯示。就這一點而言，二維顯示器可以用於顯示利用三維技術生成的和/或處理的視頻。

在工作過程中，MPEG解碼器244可以用於接收包含立體視頻資料的譬如雙視圖壓縮格式的傳輸流，並用於解碼和/或解壓該視頻資料。例如，左和右立體視圖可以壓縮在單獨的序列中或可以組合在一個幀序列中，這些幀可以是並左右格式、上下格式和/或棋盤格式。主處理器242可以生成控制信號以便處理並傳送資料給視頻處理系統240中的各種模組。MPEG解碼器244可以用於解壓接收的立體視頻資料並可以將解壓的資料緩存在存儲及播放模組246中。然後，可以由FRUC模組250和/或視頻處理器252讀取解壓的視頻資料以根據接收的三維視頻輸入流生成優化的二維視頻輸出流。就這一點而言，視頻處理器252可以利用譬如左視圖流生成二維視頻輸出流，並可以利用其他視頻資料，包括譬如右視圖流，優化生成的二維視頻輸出流，具體可以參考譬如圖2A的描述。FRUC模組250可以用於執行一個或多個幀的動作補償和/或圖元資料插補以提供幀速率上轉換。圖形處理器254可以用於提供本地圖形處理以便例如將圖形拼接到生成的及優化的二維視頻輸出流中，然後，可以通過顯示器256播放最終的二維視頻輸出流。

圖3是根據本發明一個實施例的用於根據三維視頻輸入生成優化的二維視頻輸出的示範性步驟的流程圖。參考圖3，示出了包含多個示範性步驟的流程圖300，執行這些步驟可以根據接收的三維輸入視頻生成優化的二維輸出視頻。

在步驟302，可以接收並處理三維輸入視頻流。例如，視頻處理系統240可以用於接收並處理包含三維立體視頻資料的傳輸流。就這一點而言，視頻資料可以包括左視圖和右視圖。在步驟304，可以根據三維輸入視頻流生成二維輸出視頻流。例如，當三維視頻輸入流包含左視圖和右視圖時，可以根據一種視圖譬如左視圖生成二維視頻輸出流。在步驟306，可以根據譬如三維視頻輸入流優化生成的二維輸出視頻流。例如，當二維視頻輸出流是根據左視圖流生成的時，可以根據對應的左視圖流和右視圖流的視頻資料優化生成的二維視頻輸出流，以便提高它的品質和/或減少視覺上的人工痕跡。可以根據譬如深度和/或前景和/或背景資訊執行上述優化，這些資訊可以根據三維視頻資料確定，具體可以參考圖2A的描述。

在步驟308，可以對二維輸出視頻流的幀速率進行上轉換以便通過顯示設備播放，這些顯示設備的幀刷新速率大於幀捕捉速率。例如，多數視頻內容是以24或48fps的速率捕捉的，而多數顯示設備使用60、120或甚至240Hz的刷新率。因此，可以對視頻流幀速率進行上轉換以提高播放時的視頻品質。可以使用各種方法包括幀插補方法來上轉換幀速率。對於幀插補方法，可以生成一個或多個新幀基於且嵌入每兩個持續的原始幀之間。當二維視頻輸出流是根據三維視頻輸入流生成的時，可以利用其他視頻內容優化幀速率的上轉換操作，上述其他視頻內容可以是未被用來生成二維視頻輸出流的視頻內容。例如，當二維視頻輸出流是根據三維立體輸入視頻的左視圖流生成的時，可以利用未使用的右視圖幀和/或場來生成和/或優化插補的幀和/或場。在步驟310，通過二維顯示設備播放二維視頻輸出流。

本發明的各種實施例可以包括一種根據三維視頻輸入優化二維視頻顯示的方法和系統。視頻處理系統240可以用於接收及處理三維(3D)輸入視頻流以提取譬如集成在接收的三維輸入視頻流中的視圖序列，然後，當顯示器256只具有二維播放功能時，可以生成相應的二維(2D)輸出視頻流。多個視圖序列可以包括立體的左和右參考場或幀的序列。二維輸出視頻流可以通過譬如視頻處理器252根據所述多個提取的視圖序列生成。視頻處理器252可以利用來自至少一個提取的視圖序列中的視頻內容和/或資訊生成二維輸出視頻流的視頻資料。就這一點而言，視頻處理器252可以選擇一個視圖序列譬如左視圖序列作為二維輸出視頻流的基礎序列。然後，視頻處理器252可以利用來自未選擇的視圖序列中的視頻內容和/或資訊優化二維輸出視頻流。二維輸出視頻流的優化過程中使用的視頻內容和/或資訊可以包括深度資訊和/或前景和/或背景資訊。二維輸出視頻流的優化可以包括改善二維輸出視頻流中圖像的深度、對比度和/或清晰度，和/或消除視覺上的人工痕跡。當顯示器幀速率大於接收的三維輸入視頻流的幀速率時，視頻處理系統240可以通過譬如FRUC模組250利用譬如幀或場插補對二維輸出視頻流執行幀上轉換操作。利用初始時未被選作二維輸出視頻流的基礎序列的幀和/或場視圖序列中的視頻內容和/或資訊，可以優化幀和/或場插補，以進一步提高二維輸出視頻流的品質。視頻處理系統240還可以用於通過圖形處理器254本地執行對應於二維輸出視頻流的圖形處理。圖形處理器254可以根據譬如二維輸出視頻流中每個圖像中的一個或多個焦點來執行本地圖形處理。

本發明的另一個實施例可以提供一種機器和/或電腦可讀記憶體和/或媒介，其存儲的機器代碼和/或電腦程式包括至少一個代碼段，所述至少一個代碼段由機器和/或電腦執行，從而使該機器和/ 或電腦執行上述用於根據三維視頻輸入優化二維視頻的顯示的步驟。

因此，本發明可以通過硬體、軟體，或者軟、硬體結合來實現。本發明可以在至少一個電腦系統中以集中方式實現，或者由分佈在幾個互連的電腦系統中的不同部分以分散方式實現。任何可以實現方法的電腦系統或其他設備都是可適用的。常用軟硬體的結合可以是安裝有電腦程式的通用電腦系統，通過安裝和執行程式控制電腦系統，使其按方法運行。

本發明還可以通過電腦程式產品進行實施，套裝程式含能夠實現本發明方法的全部特徵，當其安裝到電腦系統中時，可以實現本發明的方法。本文件中的電腦程式所指的是：可以採用任何程式語言、代碼或符號編寫的一組指令的任何運算式，該指令組使系統具有資訊處理能力，以直接實現特定功能，或在進行下述一個或兩個步驟之後實現特定功能：a)轉換成其他語言、解碼或符號；b)以不同的格式再現。

雖然本發明是通過具體實施例進行說明的，本領域技術人員應當明白，在不脫離本發明範圍的情況下，還可以對本發明進行各種變換及等同替代。另外，針對特定情形或材料，可以對本發明做各種修改，而不脫離本發明的範圍。因此，本發明不局限於所公開的具體實施例，而應當包括落入本發明權利要求範圍內的全部實施方式。

圖3為流程圖，無元件符號說明

Claims

一種用於視頻處理的方法，其特徵在於，包括：由視頻處理系統中的一個或多個處理器和/或電路執行：從壓縮的三維輸入視頻流中提取多個視圖序列，所述多個視圖序列包括左視圖序列與右視圖序列；以及根據所述多個提取的視圖序列的基礎序列生成二維輸出視頻流，其中所述二維輸出視頻流的視頻資料是利用視圖資訊生成的，所述視圖資訊來自所述多個提取的視圖序列中的所述基礎序列和至少一個其他序列；其中當所述基礎序列對應為所述左視圖序列時，所述至少一個其他序列包括所述右視圖序列，以及當所述基礎序列對應為所述右視圖序列時，所述至少一個其他序列包括所述左視圖序列。
如申請專利範圍第1項所述的方法，其中，所述多個提取的視圖序列包括立體的左和右參考場或幀的序列。
如申請專利範圍第1項所述的方法，其中，所述二維輸出視頻流的視頻資料生成過程中利用的所述視圖資訊包括深度資訊和/或前景和/或背景資訊。
如申請專利範圍第1項所述的方法，其中，包括從所述多個提取的視圖序列中選擇一個作為所述生成的二維輸出視頻流的基礎序列。
如申請專利範圍第4項所述的方法，其中，包括根據所述多個提取的視圖序列中的一個或多個未選擇的序列來調整所述生成的二維輸出視頻流的基礎序列。
如申請專利範圍第5項所述的方法，其中，所述調整優化了所述二維輸出視頻流中圖像的深度、對比度和/或清晰度。
如申請專利範圍第1項所述的方法，其中，包括利用幀或場插補對所述二維輸出視頻流執行幀上轉換操作。
如申請專利範圍第6項所述的方法，其中，包括根據所述多個提取的視圖序列中的至少一個調整所述插補。
如申請專利範圍第1項所述的方法，其中，包括本地執行對應於所述二維輸出視頻流的圖形處理。
一種用於視頻處理的系統，其特徵在於，包括：用於從壓縮的三維輸入視頻流中提取多個視圖序列的一個或多個電路和/或處理器；以及所述一個或多個電路和/或處理器用於根據所述多個提取的視圖序列對應左視圖序列或右視圖序列其中之一的基礎序列生成二維輸出視頻流，其中所述二維輸出視頻流的視頻資料是利用視圖資訊生成的，所述視圖資訊來自所述多個提取的視圖序列中所述基礎序列和對應所述左視圖序列或所述右視圖序列其中之至少另一個其他序列；其中當所述基礎序列對應為所述左視圖序列時，所述至少另一個其他序列包括所述右視圖序列，以及當所述基礎序列對應為所述右視圖序列時，所述至少另一個其他序列包括所述左視圖序列。