TWI539790B - 用於產生及重建一視訊串流之裝置、方法與軟體產品 - Google Patents

用於產生及重建一視訊串流之裝置、方法與軟體產品 Download PDF

Info

Publication number
TWI539790B
TWI539790B TW102146300A TW102146300A TWI539790B TW I539790 B TWI539790 B TW I539790B TW 102146300 A TW102146300 A TW 102146300A TW 102146300 A TW102146300 A TW 102146300A TW I539790 B TWI539790 B TW I539790B
Authority
TW
Taiwan
Prior art keywords
image
images
input sequence
sequence
input
Prior art date
Application number
TW102146300A
Other languages
English (en)
Other versions
TW201440484A (zh
Inventor
瑪莉亞 吉歐凡娜 庫卡
Original Assignee
意大利希思衛電子發展股份公司
義大利廣播電視公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 意大利希思衛電子發展股份公司, 義大利廣播電視公司 filed Critical 意大利希思衛電子發展股份公司
Publication of TW201440484A publication Critical patent/TW201440484A/zh
Application granted granted Critical
Publication of TWI539790B publication Critical patent/TWI539790B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Description

用於產生及重建一視訊串流之裝置、方法與軟體產品
本發明係關於用於產生一視訊串流之一種裝置、一種方法及一種軟體產品。
本發明亦係關於用於重建一視訊串流之一種裝置、一種方法及一種軟體產品。
本發明亦係關於一種併入有由用於產生一視訊串流之該裝置、方法或軟體產品所產生之一視訊串流之電磁信號。
在已成為電影院中之一獨一無二的主角之後，3D技術之傳播亦基於使用繪示在雙眼視覺中由右眼及左眼分別感知之內容的數個視圖(右視圖及左視圖)作為立體HD電視在TV領域中日益普及。
用於散佈立體信號之最簡單技術在於傳輸右視圖及左視圖兩者(所謂聯播)，然而，因此使所使用頻帶加倍。所使用頻帶之此一增加係至少非想要的，此乃因目前TV傳輸之頻率資源現在係極其有限的。
為彌補此一缺陷，可能訴諸其中2D+立體後設資料之替代方法(2D+立體後設資料)，允許對立體視訊之一全HD顯示，其中「2D」意指兩個視圖中之一者，且「立體後設資料」意指允許利用兩個視圖之間的相關性繪示另一視圖之額外資訊。
2D+立體後設資料之定義包含不同方法，該等方法中之每一者使用不同後設資料來獲得未整體傳輸之視圖：a)2D+差：計算及傳輸兩個視圖之間的差；b)2D+深度/像差：計算及傳輸自兩個視圖開始獲得之深度或像差圖；c)2D+深度、遮蔽及透明度(DOT)：除深度圖外，亦計算及傳輸不可重建部分至最後一者。
存在用於傳輸TV 3D之諸多方法，該等方法在關於視圖編碼所需之位元率之內容不同；該等方法中最習知的係基於兩個立體視圖之空間配置(並排、上下格式等)，使用視圖之間的相關性(多視圖視訊編碼或MVC-立體高規範)、使用深度圖及遮蔽圖。
並排及上下允許再使用現有基礎結構HDTV，但不允許一全HD顯示用於雙眼，此乃因兩個視圖經空間配置成一框式HDTV，結果水平或垂直平分原生解析度。
多視圖視訊編碼(MVC)允許在使用視圖之間的相關性來傳輸立體像對時將一全HD內容用於雙眼，但不允許關於聯播之一顯著壓縮效率。
如所述，方法2D+深度提供一視圖(2D信號，舉例而言，左視圖)之傳輸及自兩個視圖開始計算之深度圖之傳輸。
深度圖以灰階繪示提供兩個視圖之間的像差之資訊，該像差係相關視圖(欲重建於再生側上)之像素相對於參考視圖(亦即，整體傳輸之視圖)定位之距離。取決於以下各項憑藉一適當變換發生像差與深度之間的轉換：視訊攝影機之內在參數、兩個視訊攝影機之間的距離、最遠場景規劃及最近場景規劃距離視訊攝影機之距離。使用諸多技術可發生兩個視圖中之一者之重建：1)藉由使偶數值之像素移動至奇數(自深度圖獲得)，自視為參考 之視圖開始；2)藉由使用所謂演算法3D扭曲及反轉3D扭曲來將像素之實際空間座標投射於透過適當矩陣合成之視圖之彼等像素上。該等矩陣係界定攝影機相對於實際系統之位置及定向之參數獲得。經重建之視圖之品質與深度圖之品質緊密相關。
然而，由於所謂遮蔽，如此經重建之視圖並不完整，該遮蔽係背景及/或物件僅存在於兩個視圖中之一者中之部分。為克服此問題，則需要亦傳輸遮蔽之一圖，以便涵蓋未經重建之像素。然而，使用此方法，在相同解析度及圖框頻率之情況下，相對於一2D全HD串流，存在介於180%與220%之間的一所得總頻帶佔用率，使得以此方式實施之一3D信號之傳輸及/或儲存極其困難。
本發明之一目的係繪示解決先前技術之某些問題之一種方法、一種裝置及一軟體產品。
具體而言，本發明之一目的係提供允許產生一立體視訊串流之一種方法、一種裝置及一種軟體產品，以及允許重建一立體視訊串流，能夠以有效方式限制一傳輸/接收步驟中之頻帶佔用及儲存步驟中之記憶體位置之佔用同時不降低相同視訊串流之品質之一種裝置、一種方法及一種軟體產品。
本發明之又一目的係指示相對於尤其重建側中之所需複雜性可高度擴縮之一三維視訊串流之一種方法、一種裝置及一處理軟體，藉此容易可能憑藉對重建裝置之操作模式之一簡單改變來重建以2D模式輸入之一相同立體3D視訊串流。
本發明之又一目的係指示可容易自一立體視訊串流(包括兩個視圖)之情形擴展至採用大於2之一視圖數目之所謂「多視圖」系統之一三維視訊串流之一種方法、一種裝置及一種產生及重建軟體。
根據所附申請專利範圍中所揭示之內容，此等目的亦及其他目的實質上由一種方法、一種裝置及一產生軟體產品以及由一種方法、一種裝置及一重建軟體產品實現。
1‧‧‧產生裝置/裝置
1'‧‧‧產生裝置/裝置
2‧‧‧裝置/解碼器裝置/重建裝置
3‧‧‧產生裝置之一部分/立體視訊串流產生器/產生器
10‧‧‧通信介面/輸入介面
11‧‧‧處理單元
12‧‧‧預處理模組
20‧‧‧輸入介面
21‧‧‧操作模組
CVS‧‧‧經編碼視訊串/經編碼視訊串流/立體視訊編碼串流/經編碼立體視訊串流/視訊串流
D‧‧‧圖
D1‧‧‧第一差別圖/第一圖/圖/深度圖
D1(L1→R1)‧‧‧序列
D1i‧‧‧第一複數個圖/圖/第一圖
D2‧‧‧第二圖/圖
D2(R2→L2)‧‧‧序列
D2i‧‧‧第二複數個圖/圖/第二圖
D3‧‧‧圖
D3(L3→R3)‧‧‧序列
D4‧‧‧圖
D4(R4→L4)‧‧‧序列
Di(Li→Ri)‧‧‧深度圖
DVS‧‧‧經解碼立體視訊串流/經解碼視訊串流
L‧‧‧第一輸入序列/第一序列/序列
L'‧‧‧第一輸出序列
L0i*‧‧‧不完整視圖
L1‧‧‧第一影像/視圖影像
L2‧‧‧第二影像
L3‧‧‧視圖影像
Li‧‧‧第一複數個影像/影像
Li'‧‧‧第二經重建之影像/完整遺失視圖/影像
Li*‧‧‧遺失之不完整視圖/不完整遺失視圖
M1‧‧‧第一記憶體區域
M2‧‧‧第二記憶體區域
R‧‧‧第二輸入序列
R'‧‧‧第二輸出序列
R0‧‧‧初始序列/序列
R1‧‧‧第一影像/影像
R2‧‧‧視圖影像/第二影像
R4‧‧‧視圖影像
Ri‧‧‧第二複數個影像/影像
Ri'‧‧‧完整遺失視圖/第一經重建之影像/影像
Ri*‧‧‧遺失之不完整視圖/不完整遺失視圖
t1‧‧‧時間/時間週期
t2‧‧‧時間/時間週期
t3‧‧‧時間/時間週期
t4‧‧‧時間/時間週期
t5‧‧‧時間
ti‧‧‧判定時間
VIN‧‧‧輸入立體串流/初始立體視訊串流/輸入串流
自對本發明之一較佳且非排他性之實施例之詳細說明將進一步明瞭本發明之進一步目的及優勢。稍後參考附圖提供此一說明，該等附圖自身僅係例示性目的且因此非限制性，其中：圖1a展示根據本發明之一產生裝置之一方塊圖；圖1b展示根據本發明之一重建裝置之一方塊圖；圖2示意性展示本發明之範疇中所使用之一視訊串流；圖3展示根據本發明之一產生器之一可能實施例之一方塊圖；圖4a展示根據本發明之一重建裝置之一可能實施例之一方塊圖；圖4b至圖4c示意性展示圖4a之裝置之兩個操作模式；圖5a至圖5b展示表示根據本發明之重建方法之流程圖；圖6示意性展示根據本發明之重建方法中之所使用影像與經重建之影像當中存在之關係；圖7展示本發明對具有2D逆向相容性之兩個以上視圖之情形之一應用；圖8展示本發明對不具有2D逆向相容性之兩個以上視圖之情形之一應用；圖9展示根據本發明之一產生裝置之一可能實施例之一方塊圖；圖10a至圖10d示意性展示根據本發明之一裝置及一方法中所使用之影像合成步驟；圖11a至圖11d示意性展示根據本發明之一裝置及一方法中所使用之影像重建步驟。
參考附圖，圖1及圖2整體上分別展示用於產生一視訊串流之一產生裝置及用於重建一視訊串流之一重建裝置。
應注意，在本發明內容脈絡中，術語「影像」及「圖框」將視為其之間的同義詞且將能夠以一可互換方式使用，而術語「圖」無差別地指示一像差圖或一深度圖。
產生裝置1(圖1a)首先包括一通信介面10，該通信介面10用以接收一立體視訊串流作為輸入，該立體視訊串流將指示為輸入立體串流VIN，包括兩個不同影像序列：繪示此一立體串流之一第一視圖之影像之一第一輸入序列L，及繪示該立體串流之一第二視圖之影像之一第二輸入序列R。
第一輸入序列L及第二輸入序列R，當透過一恰當播放裝置(舉例而言，如具有3D預配置之一TV機)再現時，允許以一方式顯示內容以使得使用者感知各種所繪示元件保持之深度，藉此產生對該內容之一3D繪示之感覺。
作為一實例，第一輸入序列L可與立體串流之左視圖相關，而第二輸入序列R可與此一流之右視圖相關。然而，應注意，本發明可在完全相反情形中實施，其中第一序列L繪示右視圖且第二序列R繪示左視圖。
特定而言，通信介面10接收以下各項作為輸入：第一輸入序列L中之一或多個影像及第二輸入序列R中之一或多個影像。
舉例而言，第一輸入序列L中之影像可儲存於一第一記憶體區域M1中；舉例而言，第二輸入序列R中之影像可儲存於一第二記憶體區域M2中。
第一記憶體區域M1及/或第二記憶體區域M2可屬於一揮發性記憶體，其中第一輸入序列L及/或第二輸入序列R可以一穩定方式儲存，直至一隨後抹除命令為止；或可屬於一揮發性記憶體，其中第一輸入 序列L及/或第二輸入序列R或其部分僅經儲存達其處理確切需要之時間。
通信介面10接收一或多個圖作為輸入，該等圖允許自第一輸入序列L中之影像中之一或多者開始重建第二輸入序列R之實質上對應影像。
在實務上，藉由在其中組合第一輸入序列L中之一判定影像及該等圖中之一個對應者，可能實質上獲得屬於第二輸入序列R之各別影像，該各別影像係與第一輸入序列L中之影像之相同時間參考相關聯之第二輸入序列R中之影像。
如下文將較清晰，此一重建可由於所謂「遮蔽」而非完整的。
通信介面10將一或多個D圖接收於輸入中，該等D圖允許自第二輸入序列R中之影像之一或多者及分別自第一輸入序列L開始實質上重建第一輸入序列L及分別第二輸入序列R之對應影像。此外，此等重建由於上文已闡釋之原因而可非完整的。
圖可係深度圖或像差圖。該等圖可透過本身已知技術產生，此在本文中將不詳細加以揭示。然而，應注意，針對本發明之實施方案之目的，可使用深度圖及像差圖兩者。此言論不僅係指上文所提及之圖，而且係指在本發明及以下申請專利範圍中提及之其他圖。
在一實施例中，裝置1可經配置以接收僅第一輸入序列L及第二輸入序列R作為輸入，且自主計算所需圖。在此實施例中產生圖之適合處理模組提供所產生圖以供應作為通信節目10之輸入，以使得其可由處理單元11處理以用於形成經編碼視訊串CVS。
有利地，圖可儲存於屬於一揮發性記憶體或一非揮發性記憶體之一恰當記憶體暫存器中。
產生裝置1進一步包括一處理單元11，該處理單元以操作方式與通信加密10相關聯，且較佳地，與所提及之第一記憶體區域M1及第 二記憶體區域M2相關聯。
處理單元11提供一經編碼視訊串流CVS以產生作為輸出，該經編碼視訊串流CVS儘管相對於輸入立體串流VIN整體上呈現一顯著較小記憶體佔用且因此可使用較小頻帶資源傳輸，但含有所有基本資訊以便可如實地再現基本串流之內容。
更詳細而言，處理單元11經組態以判定第一輸入序列L中之至少一第一影像L1。
較佳地，此一第一影像L1在屬於第一輸入序列L之影像當中選擇。
應注意，在本發明內容脈絡中且在以下申請專利範圍中，關於「第一影像」，其未必設計第一輸入序列L之初始影像，但簡單係指透過通信介面10由處理單元11接收之影像中之一者。相同言論對第二輸入序列R之「第一影像」及稍後將提及之術語「第二影像」兩者亦成立。
處理單元11進一步經組態以判定一第一差別圖D1。
第一圖D1可在透過所述通信介面10接收作為輸入之圖當中選擇。
第一圖D1使得藉由將其與第一輸入序列L之第一影像L1組合，可能實質上重建第二輸入序列R之一第一影像R1。如所述，此一重建可不完整。
處理單元11進一步經組態以判定第二輸入序列R之一第二影像R2。
第二輸入序列之第二影像R2可在第二輸入序列R之影像當中選擇。
處理單元11進一步經組態以判定一第二圖D2。
第二圖D2(舉例而言，其可係一深度圖或一像差圖)使得藉由將 其與第二輸入序列R中之第二影像R2組合，可實質上可能重建第一輸入序列L中之一第二影像L2。
較佳地，第二影像L2及第二影像R2與一相同時間參考相關聯。
較佳地，第二影像L2、R2係分別時間上跟隨於且時間上毗鄰於第一影像L1、R1。
處理單元11因此可製備經編碼視訊串流CVS作為輸出；該經編碼視訊串流CVS包括至少：第一輸入序列L中之第一影像L1、第一圖D1、第二輸入序列R中之第二影像R2及第二圖D2。
以此方式，經編碼視訊串流CVS可允許使用初始立體視訊串流VIN以使得避免最後一者儲存及/或整體傳輸。
舉例而言，經編碼視訊串流CVS可透過能夠解碼該經編碼視訊串流CVS或與用於該解碼之恰當外部解碼器相關聯之TV機廣播以供使用。
經編碼視訊串流CVS亦可記錄於一恰當磁及/或光學及/或電子支援上。此一支援則可與一解碼器相關聯以允許使用所儲存之視訊串流之內容。
如上文所提及，有時藉由使用第一輸入序列L中之第一影像L1及各別圖D1(或，類似地，第二輸入序列R中之第二影像R2及各別第二圖D2)，可能完整地重建第二輸入序列R中之第一影像R1(或第一輸入序列L中之第二影像L2)。
可發生所謂之「遮蔽」，亦即，表示背景部分及/或物件部分之像素或像素群組僅存在於兩個視圖中之一者中。此等像素存在於(特定而言)場景之物件之邊緣上，特定而言，在存在相對靠近之物件之情況下，疊加且移動。換言之，第二輸入序列R之第一影像R1可含有不具有第一輸入序列L中之第一影像L1中之任何對應且結果不能僅使用L1及D1重建之某些像素及/或區域。
上述情況適用於自R2及D2開始重建第一輸入序列L中之第二影像L2。
為避免此缺陷(該缺陷實際上係對某些影像之一不完整再現及視訊串流之使用品質之一對應降低)，提供，處理單元11依據第一輸入序列L中之第一影像L1及對應第一圖D1識別一或多個經遮蔽像素。因此依據第二輸入序列R中之一或多個影像判定用以替代該一或多個經遮蔽像素的一或多個替換像素之描述性資料。
在一實施例中，為定位經遮蔽像素，處理單元11可組合第一輸入序列L中之第一影像L1與第一圖D1，獲得一各別組合。藉由確切地比較此一組合(其可類似但非完全相同於第二輸入序列R中之第一影像R1)與第二輸入序列R中之第一影像R1，處理單元11定位經遮蔽像素及相關替換像素。
在一實施例中，可依據屬於第二輸入序列R之不同於該第一影像R1之一或多個影像(亦即，相對於該第一影像R1之其他影像)來判定替換像素之描述性資料。
較佳地，可依據時間上毗鄰且時間上先於該第一影像R1之一影像來判定該描述性資料。
作為一實例，在第二輸入序列R中，可使用緊先於第一影像R1之影像。
較佳地，僅依據屬於該第二輸入序列R之該對應影像R1的一個在前影像及/或一隨後影像來定位無法合成之特定替換像素。在實務上，處理單元11基於相對於欲重建之影像的單個在前影像及/或唯一隨後影像定位無法由解碼器重建之彼等經遮蔽像素。
處理單元11因此判定描述該經判定替換像素之主資料。
主資料有利地插入於經編碼視訊串流CVS中，以使得其可用於解碼步驟中。
在一實施例中，主資料可包括與經遮蔽像素相關聯之運動向量。
該等運動向量係本身習知的且包含於某些解碼標準舉例而言，H264/AVC)中。然而，設想，可使用恰當參數(亦不與當前視訊編碼標準中定義之彼等參數重合)，該等恰當參數描述經遮蔽像素之移動以在編碼時改良其重建。
作為一實例，可憑藉一視圖合成系統使用僅存在於深度圖中之資訊來定位經遮蔽區域來獲得替換像素之所提及描述參數。
如上文所提及，第一輸入序列R中之第一影像R1可用於評估經遮蔽像素之值：此等像素之一部分可自屬於相同序列R之在前影像獲得，而剩餘部分(尤其相關移動區域)係在該等在前影像與屬於第二序列R之在後影像(相對於第一影像R1)之間尋找。
關於必須經編碼且根據影像配置之時間順序先於所有其他影像之(第一輸入序列L或第二輸入序列R中之)影像，將不存在先於其之可用於評估遮蔽及用於判定相對替換像素之影像。在此一特定情形中，有利地使用隨後影像中之一或多者。在一實施例中，將使用毗鄰於其之影像及在時間上緊跟其後之影像。
如稍後將更清晰，可透過先於欲經編碼之影像及/或在其後之影像判定之替換像素可藉由解碼器計算，而無需在經編碼視訊串流CVS中插入識別及描述該等替換像素之特定資料。
可有利地插入於經編碼視訊串流CVS中之內容係所提及之主資料，允許判定透過唯一在前影像及/或在所論述影像之後之唯一影像不可判定之替換像素。
應注意，由於無法自在前(或在後)圖框獲得之經遮蔽像素通常僅係總數之一小百分比，因此由於存在移動向量而發送之資訊附加項通常微不足道，或然而，相對於在不存在此特徵之情形中所需之附加項 極其減少。
上文關於有用於重建第二輸入序列R中之第一影像R1之資訊之識別所闡述之內容以一完全類似方式適用於合成第一輸入序列L之第二影像L2。
應注意，上文關於僅第一及第二影像L1、L2、R1、R2所闡述之內容可在實務上以一極其較高影像數目體現以便製成電影短片、電影及諸如此類之視訊串流。
通信介面10事實上可接收包括一極其較高影像數目之一輸入序列L。特定而言，第一輸入序列L包括第一複數個影像Li，其中之每一者與一各別第一時間參考TLi相關聯，識別第一輸入序列L內部之位置。
第一複數個影像Li包括上文所提及之第一影像L1。
第一輸入序列L可進一步包括與該第一複數個Li之影像交替之影像，其係與和第一時間參考TLi交替之時間參考(如稍後將更清晰，其將識別為TRi)相關聯之影像。
由通信介面10接收之第二輸入序列R包括第二複數個影像Ri，每一者與一各別第二時間參考TRi相關聯，識別第二輸入序列R內部之位置。
第二複數個影像Ri包括上文所提及之第二影像R2。
第二輸入序列R可進一步包括與該第二複數個Ri之影像交替之影像，其係與和第二時間參考TRi交替之時間參考相關聯之影像。在實務上，第二輸入序列R中之該等進一步影像係與上文所提及第一時間參考TLi相關聯。
有利地，第一時間參考TLi與第二時間參考Tri在時間上交替。換言之，在較佳實施例中，第一複數個影像Li之影像係與第二複數個Ri之影像時間交替。
較佳地，第一輸入序列L儲存於第一記憶體區域M1中，且第二輸入序列R儲存於第二記憶體區域M2中。
通信介面10經組態以接收屬於輸入串流Vin之第一複數個圖D1i。
第一複數個圖D1i中之圖較佳地係深度圖或像差圖。
第一複數個圖D1i中之圖使得藉由組合該等圖中之每一者與該第一複數個影像Li中之各別影像，實質上獲得第二輸入序列R中之對應影像(惟遮蔽或其他此類現象除外)。
第一複數個圖D1i包括上文所提及第一圖D1。
通信介面10進一步經組態以接收形成輸入串流Vin之一部分之第二複數個圖D2i。
第二複數個圖D2i中之圖較佳地係深度圖或像差圖。
第二複數個圖D2i中之圖使得藉由組合該等圖中之每一者與該第二複數個Ri中之各別影像，實質上獲得第一輸入序列L中之對應影像(惟遮蔽或其他類似現象除外)。
第二複數個圖D2i包括上文所提及第二圖D2。
處理單元11然後經組態以根據上文關於第一輸入序列L之第一影像L1、第一圖D1、第二輸入序列R中之第二影像R2及第二圖D2所闡述之相同技術對第一複數個Li中之影像、第二複數個Ri中之影像及各別圖D1i、D2i進行操作。
處理單元11經組態以用於將第一複數個影像Li、第一複數個圖D1i、第二複數個影像Ri及第二複數個圖D2i插入於經編碼視訊串流CVS中。
經編碼視訊串流CVS因此針對每一時刻含有與各別第一圖D1i相關聯之第一複數個Li中之一影像(第一時間參考TLi)，或與各別第二圖D2i相關聯之第二複數個Ri中之一影像(第二時間參考TRi)。
較佳地，處理單元11經組態用於使替換像素之描述資料與第一複 數個D1i及/或第二複數個D2i中之一或多個圖相關聯。可透過上文所闡述技術來有利地判定該描述資料。
特定而言，描述資料可由上文所提及主資料組成。
輸入介面10、處理單元11及較佳地第一記憶體區域M1及/或第二記憶體區域M2形成一產生器，製成產生裝置1之一部分且在圖1中由元件符號3指示。
有利地，提供對初始提供至產生裝置1之影像之一預處理，尤其在其中由兩個輸入序列繪示之兩個視圖在色度及/或亮度方面存在顯著差異之情形中。在此一情況中，實際上，由於具有彼此如此不同之特徵之影像之交替，經解碼視訊串流之顯示可係麻煩的。
為此目的，產生裝置1可視情況具備一預處理模組12、處理單元11之預配置上游。
預處理模組12基於第一輸入序列L及初始序列R0而操作。
初始序列R0含有表示輸入立體串流之第二視圖之複數個影像R0i；此等影像中之每一者與第一輸入序列L之一對應影像相關聯。
在實務上，第一輸入序列L及初始序列R0係由裝置1最初接收之序列。
預處理模組12提供比較初始序列R0中之一或多個影像R0i與第一輸入序列L中之對應影像(即，與初始序列R0中之影像R0i之相同時間參考相關聯之第一輸入序列L中之影像)。
依據該比較，獲得形成上文所提及之第二輸入序列R之一部分之影像。
更詳細而言，依據每一比較，製成一第二對應圖Di；然後，藉由組合第一輸入序列L之影像與各別圖Di，重建第二輸入序列R之影像。
較佳地，在第二輸入序列R之影像重建中，亦考量到可能之遮 蔽，防止自第一輸入序列L之影像及相關圖D1開始之一完整重建。用於該等遮蔽之替換像素可根據本身習知之技術依據初始序列R0而決定。作為一實例，關於經編碼視訊串流CVS之產生，可使用上文所揭示之演算法。
圖2以圖解說明方式繪示依循由本發明提出之方法之一立體視訊串流。在此一繪示中，發展時間自左至右。在圖2之情形中，在時間t1處，將圖框L1及並行地深度圖D1傳輸至編碼器，而在時間t2處，接著傳輸圖D2與R2，依此類推。
時間t1、t3、...包括於上文所提及之第一時間參考TLi中；時間t2、t4、...包括於上文所提及之第二時間參考TRi中。
假定，包括左視圖及右視圖之影像之交替圖框之序列以及相關圖(像差圖或深度圖)為產生器周所周知的；作為一實例，該等圖呈現為相對於右之左視圖之深度圖(深度左)及相對於左之右視圖之深度圖(右深度)。
一般而言，與左視圖及右視圖相關聯之影像之序列係在一立體拍攝期間透過恰當捕捉儀器(TV攝影機)即時獲得，或離線透過計算技術及儀器自電腦圖形借用。像差/深度圖可透過任何習知技術自兩個視圖之影像及/或自對影像之拍攝狀況之瞭解開始而計算，或藉由恰當計算儀器人為產生。
圖3以例示方式繪示根據本發明之一立體視訊串流產生器3之一實施例。
此一產生器3示意性產生圖2中所繪示之串流。
如所述，假定產生器具備輸入序列L、R中之影像及相關圖兩者。
一恰當視圖選擇器提供自設定兩個輸入視圖之彼等圖框開始(舉例而言，自左視圖開始)交替圖框。在此一情形中，以此次序選擇針 對時間週期t1、t2、t3、t4等之視圖影像L1、R2、L3、R4等，獲得與圖2之上部部分相符之一立體串流。一第二圖選擇器，與第一圖選擇器協調地操作，交替地操作相對於左視圖之右視圖之圖，及相對於右視圖之左視圖之圖。特定而言，第一圖D(L→R)含有感興趣圖框時間之右影像R相對於左視圖L之對應影像存在之資訊，而圖D(R→L)含有感興趣之圖框時間之左影像L相對於其他視圖R之對應影像之資訊。假定自左視圖開始，因此在選擇器之輸出上產生由序列D1(L1→R1)、D2(R2→L2)、D3(L3→R3)、D4(R4→L4)等以次序組成之一資料串流，如圖2之下部部分所繪示。
圖D1、D3、...屬於上文所提及第一複數個圖D1i。圖D2、D4、...屬於上文所提及第二複數個圖D2i。
視圖影像及交替圖之兩個序列分別由一視圖編碼器及一深度編碼器編碼，該視圖編碼器及該深度編碼器可以協作方式操作，考量到含於其他編碼器之輸入處之資訊亦及由其他編碼器所採用之編碼技術。
兩個編碼器可係習知種類；舉例而言，其可採用眾所周知視訊編碼標準(MPEG-2、MPEG-4 AVC、VC-1等)，以便使用已現有儀器或器件來壓縮影像。另一選擇係，其可根據仍在標準化中之未來編碼系統操作，諸如具有包含深度圖所需之適當擴展之MPEG-4 AVC/SVC/MVC、HEVC與相關擴展。
分別由交替視圖及圖組成、皆經壓縮、自兩個編碼器退出之兩個串流(經編碼視圖串流及經編碼深度串流)藉由一多工器合併於立體視訊編碼串流CVS，提供兩個輸入串流之一並串聯轉換。
經編碼視訊串流CVS將可能與其他資訊串流(諸如音訊串流及/或資料(子標題、後設資料等))複合，且儲存於一儲存器件中以供在經設計以允許顯示之一系統中隨後播放，或根據目前最佳技術透過纜線、 無線電、衛星、IP(網際網路協定)等等傳輸。
應注意，圖3之圖式係完全例示性且係體現根據本發明之一立體串流產生器之可能方式中之一者。事實上，可能在兩個視圖及圖選擇器下游配置一多工器，從而在僅一個串流中提供兩個視圖及圖選擇器之串並聯轉換。此交替統一串流由僅一個視圖及圖編碼器編碼，產生圖3之經編碼視訊串流CVS。
圖9展示實施兩個輸入序列之合成之一產生裝置1'之一可能實施例之一方塊圖。
產生裝置1'類似於圖1a中所示之裝置1：實質差異與以下事實有關：圖1之裝置1僅接收序列L、R0作為輸入且獨立地產生圖D。而圖9之裝置1'接收序列L、R0及圖D兩者作為輸入。
圖3之區塊「視圖選擇器」已在圖9中替換為區塊「視圖合成及視圖選擇器」。此最後者表示三個輸入：左視圖、右視圖及自區塊深度選擇器退出用於選擇深度圖之深度圖。
該等輸入經以一方式處理以使得兩個視圖中之一者(舉例而言，右視圖)自深度圖及另一視圖開始合成且然後替代原始者傳輸，同時亦原始形式發送另一者(舉例而言，左視圖)。以此一方式，毗鄰圖框中存在之亮度及色度差減少。合成係在第一視力處使用深度圖中存在之像差資訊及另一視圖來實現；然而，遮蔽在已被識別之後自相同原始立體視圖獲得。實際上，其係類似於由重建裝置用於自所接收視圖開始獲得遺失視圖之圖框之程序之一程序。
圖10a至圖10d展示用於合成之所需步驟；特定而言，圖10a及圖10b係指其中將左視圖視為參考之情形，而圖10c及圖10d係指其中將右視圖視為參考之情形。
圖10a及圖10c展示用於串流之第i圖框之合成演算法之第一步驟；依據視圖Li及深度圖Di(Li→Ri)，透過習知種類之一視圖合成區 塊(其亦可係重建步驟中所使用之相同區塊)計算視圖R0i*。圖框R0i*含有經遮蔽區處之不可自視圖合成演算法獲得之某些未知像素。與重建(圖11b及圖11d，其將稍後闡述)中發生之情況相比，在產生側上，對應原始視圖R0i係可用的，藉此可直接利用其來獲得未知像素，舉例而言，藉由將由視圖合成演算法識別之經遮蔽像素之值自R0i複製於R0i*中，因此獲得一虛擬經重建之視圖，該虛擬經重建之視圖將用於形成形成自視圖合成及視圖選擇器區塊退出之立體串流之兩個序列L、R中之第二序列R。此程序可有利地實施用於視訊序列之所有圖框。
在將右視圖視為一參考之情形中，自序列R、L0開始實施相同步驟，計算不完整視圖L0i*，且自此等視圖，將經重建之虛擬視圖Li用於產生自視圖合成及視圖選擇器區塊退出之立體串流(圖10c及圖10d)。
如上文所述，經編碼視訊串流CVS可經傳輸及/或儲存於一恰當儲存支援上，以便稍後提供至能夠重建初始視訊串流之一裝置以便允許其使用。
用於重建一視訊串流之此一裝置或解碼器裝置在附圖中由數字2指示。
重建裝置2(圖1b)首先包括一輸入介面20以接收一經編碼視訊串流CVS作為輸入。
此一經編碼視訊串流CVS具有上文所闡述結構。在合成中，經編碼視訊串流CVS至少包括：一第一輸入序列L中之一第一影像L1、與此一影像L1相關聯之一第一圖D1、一第二輸入序列R中之一第二影像R2及與此一第二影像R2相關聯之一第二圖序列。
重建裝置2進一步包括一操作模組21，該操作模組經組態以大體上實施鏡對稱於上文關於視訊串流之產生步驟所闡述步驟之步驟。
特定而言，操作模組21提供依據第一輸入序列L中之第一影像L1及與其相關聯之第一圖D1重建第二輸入序列R之一第一影像R1；以此方式，獲得一第一經重建之影像R1'。
操作模組21進一步依據第二輸入序列R中之第二影像R2及與其相關聯之第二圖D2重構第一輸入序列L中之一第二影像L2；以此一方式，獲得一第二經重建之影像L2'。
依循上文所闡述之步驟，操作模組21可因此製備一經解碼立體視訊串流DVS作為輸出；此一經解碼視訊串流DVS包括：- 一第一輸出序列L'，其包括第一輸入序列L中之第一影像L1及第二經重建之影像L2'，及- 一第二輸出序列R'，包括輸入序列R之第一經重建之影像R1'及第二影像R2。
特定而言，在第一輸出序列L'中，第二經重建之影像L2'係時間上跟隨於且時間上毗鄰於第一輸入序列L中之第一影像L1，且在第二輸出序列R'中，第二輸入序列R中之第二影像R2係時間上跟隨於且時間上毗鄰於第一經重建之第一影像R1'。
第一輸出序列L'及第二輸出序列R'分別表示一經解碼立體視訊串流DVS之一第一視圖及一第二視圖。
因此，藉由使重建裝置2與一恰當顯示器件(舉例而言，如具備3D顯示功能之一TV機)相關聯，將可能顯示經解碼視訊串流DVS，賦予使用者此一串流之內容之恰當深度表示。
如上文所述，較佳地，由重建裝置2接收之經編碼視訊串流CVS一般而言包括屬於第一輸入序列L之第一複數個影像Li、第一複數個圖D1i，每一者與該第一複數個影像Li中之一各別影像相關聯、屬於第二輸入序列R之第二複數個影像Ri及第二複數個圖D2i，每一者與第二複數個影像Ri中之一各別影像相關聯。
參考關於產生裝置1已闡述之內容，第一複數個影像Li包括第一輸入序列L中之一第一影像Li，第一複數個圖D1i包括一第一圖D1，第二複數個影像Ri包括第二輸入序列R中之第二影像R2，且第二複數個圖D2i包括第二圖D2。
較佳地，第一複數個影像Li中之每一者與一各別第一時間參考TLi相關聯，且第二複數個影像Ri中之每一者與一各別第二時間參考TRi相關聯。
有利地，第一時間參考TLi與第二時間參考TRi時間交替。
在實務上，第一複數個影像Li中之影像與第二複數個Ri中之影像時間交替。
一旦輸入介面20接收此一經編碼立體視訊串流CVS，操作模組21提供以上文關於第一影像L1及第二影像L2所闡述之方式對形成此一串流之影像進行操作，以便重建遺失影像及產生經解碼視訊串流DVS作為輸出。
特定而言，操作模組21經組態以依據第一複數個影像Li及第一複數個圖D1i重建第二輸入序列R中之影像，獲得對應第一經重建之影像Ri'。
操作模組21進一步提供依據第二複數個影像Ri及第二複數個圖D2i重建第一輸入序列L中之影像，獲得對應第二經重建之影像Li'。
輸出經解碼視訊串流DVS將因此包括：- 一第一輸出序列L'，其包括第一複數個影像Li及第二經重建之影像Li'，及- 一第二輸出序列R'，其包括第二複數個影像Ri及第一經重建之影像Ri'。
第一輸出序列L'及第二輸出序列R'分別表示經解碼立體視訊串流DVS之一第一視圖及一第二視圖。
操作模組21較佳地經組態以管理一或多個經遮蔽像素之存在，舉例而言，該等經遮蔽像素可防止依據第一輸入序列L中之第一影像L1及相關第一圖D1對第一經重建之影像R1'之一完整重建。
特定而言，依據第一輸入序列L中之第一影像L1及相關第一圖D1，操作模組21識別關於第二輸入序列R中之對應第一影像R1之一或多個經遮蔽像素。操作模組21如此提供依據第二輸入序列R中之一或多個經判定影像判定一或多個替換像素以替換一或多個經遮蔽像素。
更詳細而言，由操作模組21用於判定該等替換像素之第二輸入序列R中之影像係屬於包括於經編碼視訊串流CVS中之所提及複數個影像Ri之影像。
較佳地，考量僅在欲重建之影像之前的影像。另外或替代地，可使用在後之影像。針對初始影像(其係按照定義不具有一在前影像之彼影像)，必需使用在後影像。
若欲重建之影像屬於第一輸出序列L'或第二輸出序列R'，則可對該等影像中之每一者實施此操作。
有利地，經編碼視訊串流CVS可包括在某些情形中欲用於重建遺失影像之替換像素之描述資料。
如上文所闡述，該描述資料插入於編碼步驟中，其中僅可用於解碼器之影像及圖將不足以用於對遺失影像之一完整且滿意重建。
作為一實例，較佳地可包括所提及主資料或由所提及主資料組成之替換像素之描述資料可包括運動向量。
操作模組21因此經組態在經編碼視訊串流CVS中偵測替換像素之描述資料(若存在)且將其用於重建經遮蔽之區域。
圖11a至圖11d示意性展示遺失之不完整視圖Li*、Ri*(其係其中仍存在某些遮蔽之經重建之視圖)可如何以每一步驟重建(「i」大於1)，及完整遺失視圖Li',Ri'可如何自此等視圖(亦即，其中遮蔽已經替 代之視圖)重建，自實際所接收圖框開始。圖11a及圖11c例示已繪示用於重建不完整遺失視圖Li*、Ri*之內容；圖11b及圖11d繪示用於自散佈有由未知經遮蔽像素組成之洞的不完整視圖Li*、Ri*開始重建完整遺失視圖Li'、Ri'之一可能方式。繼續進行之最簡單方式係使用對應於或毗鄰於存在於緊在遺失視圖之前的視圖圖框中之經遮蔽之彼等像素之像素，該等像素較佳地始終傳輸或儲存，且因此其為重建器件所知，且重建器件於在前步驟中將其儲存於緩衝器中。前面無任何其他視圖之第一遺失視圖係唯一例外：針對此情形，舉例而言，可能使用緊隨後視圖。
圖4繪示根據本發明之一立體串流重建器件或重建裝置2之方塊圖。在立體串流重建器件或重建裝置之輸入處，經編碼交替且壓縮視訊串流CVS以圖3之產生器之輸出處存在之種類存在。在無錯誤儲存及/或傳輸之期望情形中，兩個立體串流確切相等，否則將僅針對由產生器之下游及重建器件之上游實現之操作所引起之非想要數位錯誤而不同。將串流引入於重建器件之初始級(稱為前端級)，該級由一解多工器組成，解多工器藉由將輸入串流分解成作為此一多工器之輸入存在之兩個串流(經編碼視圖串流及經編碼深度串流)進行產生器之多工器之反向操作。第一串流含有兩個視圖之影像之經壓縮及交替序列；此一序列由一適當視圖解碼器編碼。編碼器產生包括經解碼左視圖及右視圖之交替影像之序列(視圖左/右)作為輸出。類似地，存在於解多工器之下部輸出線上之經壓縮交替圖(經編碼深度串流)之序列由解碼器(深度解碼器)進行處理，產生經解碼交替圖之序列(深度左/右)作為輸出。
兩個視訊解碼器可係習知種類，諸如例如，MPEG-2或MPEG-4 AVC，或在標準化中彼等未來視訊解碼器中之一者，諸如，具有深度圖擴展之MPEG-4 AVC/SVC/MVC及HEVC，或係經最佳化以用於處理 存在於其輸入上之視訊串流之一其經修改版本。基於用於產生複雜串流之壓縮系統，兩個解碼器以協調方式協同操作且可能彼此互換控制信號及資料以利用經調適以保證適當操作及一最佳解碼之串流之時間及視訊內容資訊。
此外，針對在產生側中進行編碼所進行之相同考量在重建側上成立：作為圖4中所提出之方案之另一選擇，一單個解碼區塊可用作前端級，提供解碼作為輸入存在之經編碼視訊串流CVS且產生分別包括視圖影像及交替及經解碼圖之兩個串流(視圖左/右及深度左/右)作為輸出。因此，輸入(前端級)可包括一唯一視訊解碼器器件，根據該等情形，提供解多工唯一輸入串流或處理兩個未經解多工輸入串流以提供兩個單獨串流作為輸出。
稍後，此等兩個串流由一視圖合成及遮蔽填充區塊(視圖合成及遮蔽填充)加以處理，使所提及操作模組21之部分使用(只要可能)含於圖中之資訊來處理產生遺失視圖(亦即，未傳輸視圖)。使用根據上文所闡述之技術接收之串流之特定交替集獲得透過圖無法重建之部分。
作為區塊(視圖合成及遮蔽填充)之輸出，獲得與左視圖及右視圖相關之兩個序列，該兩個序列可因此提供至一顯示裝置以用於根據任何先前技術(諸如線交錯或圖框交替技術)進行其3D產生(或亦僅2D產生)。
在該情形中，想要以2D模式顯示一3D視訊，可能以不同方式繼續進行。
在一第一解決方案中，可能使用視圖合成及遮蔽填充區塊來(碰巧)針對3D情形重建遺失視圖，將針對2D視覺不需要之所有右及左影像之摒棄操作交至顯示器件。在此一情形中，以2D顯示之視訊內容之所得圖框速率等於產生側上存在之遠視圖框速率。實際上，根據圖4a中所繪示之功能方案執行3D串流之一完整再生且3D再生器下游之 一顯示器件摒棄與該等視圖中之一者相關之所有圖框。
作為一第二解決方案，若2D顯示模式係作用中，則僅使用針對兩個視圖中之僅一者傳輸之圖框且視訊以係相對於第一解決方案之一半的一圖框速率顯示，如在圖4c中所示之一3D可再組態串流再生器中以實例方式所示。在此一圖中，藉由虛線展示撤銷啟動區塊及不存在信號。一控制模組2D/3D協調及管理解碼器及視圖合成及遮蔽管理之區塊的操作。舉例而言，若視訊串流之圖框速率係50 fps(圖框/秒)且將左視圖(左)視為參考，屬於圖之所有圖框在解多工器之輸出處被摒棄，以及與右視圖相關之圖框使用可係時間相關之一資訊或來自傳輸串流。在視圖合成及遮蔽填充區塊不進行任何操作且在不重建右或左視圖之任何圖框之情況下，作為輸出，將顯示具有以25 fps之一圖框速率之屬於左視圖之圖框之一視訊。
此第二解決方案允許相當簡化再生側上之操作，此乃因遺失視圖圖框及相關遮蔽之重建步驟不再需要。
圖4b繪示當3D顯示器被啟動時圖4c之再生器之操作模式：在此一情形中，2D/3D顯示器之控制模組操作以使得存在於其中之功能方塊確實如針對圖4a之再生器所述進行操作，獲得可以3D模式表示之相同種類之視訊立體序列作為輸出。
圖5a展示針對在一判定時間ti處接收之每一圖框對循環重複之程序之反覆結構，而圖5b詳述針對重建未傳輸且然後未被再生裝置接收之第i個圖框(製成影像Li'或Ri'之部分)所進行之單個步驟。
圖6詳述在兩個視圖之圖框之重建程序期間如何自作為輸入實際上存在之彼等圖框開始重建遺失圖框。為清晰起見，作為重建器之輸入存在之圖框經繪示為任何塊，而經重建之圖框表示為一矩形塊。
返回至圖5b，憑藉第一步驟，檢查輸入L1及D1上之圖框對是否係第一視訊序列，此乃因，在此一情形中，較佳地等待接收到後續對 之後才繼續進行至對遺失視圖之第一圖框之完整重建(包含遮蔽)，不需已事先儲存所接收之第一視圖圖框及相關深度圖。在圖6中所示之情形中，其係大約L1及D1(L1→R1)。
以下控制檢查所接收(參考)圖框是否屬於右視圖或左視圖：在第一情形中，左圖框係自緊在左圖框之前及自相關深度圖開始重建，而右圖框儲存於一緩衝器中以於在後右圖框之重建期間使用，如圖6中針對與時間t2及t4相關之圖框所假定；在第二情形中，右圖框經重建且左圖框儲存於一緩衝器中以於隨後左圖框之重建期間使用，如圖6中針對與時間t3及t5相關之圖框所假定。在此時，與參考圖框及相關聯深度圖相關之值不僅用於計算重建另一視圖所需之像差值，而且用於挑選屬於經遮蔽區域之像素，而此等像素之值係依據圖5b之遮蔽之隨後管理步驟以不同方式獲得。
事實上，右視圖及左視圖之經如此重建之圖框並非完整，此乃因產生其之視圖合成區塊無法重建目前經遮蔽像素之值，但僅偵測到其存在。為簡潔起見，此等不完整右及左視圖圖框通常分別稱為Rx及Lx。圖6之空白箭頭指示使用其源自之圖框以便計算其指向之圖框之Rx及Lx，而黑色箭頭指示使用其來自之圖框以便計算在所指向圖框中之經遮蔽像素。
用以自遺失視圖提取經遮蔽像素之方式係尤其簡單體現，此乃因其需要針對重建程序之每一步驟儲存僅一圖框且考量到最多屬於一或兩個圖框之像素。然而，其僅表示多個可能解決方案中之一者：事實上，可能亦考量到屬於在欲重建之視圖圖框之前及/或之後的諸多視圖圖框之像素。
在此一最後情形中，需要對更多圖框之同時儲存以便選擇更近似欲重建之圖框之遮蔽之毗鄰視圖圖框中之像素。在其中演算法無法識別上文所提及像素之情形中，可能訴諸遮蔽填充技術(舉例而言， 如塗裝)以便獲得最高可能品質之經重建之視圖。
然後，一濾波器應用於降低連接至已知種類之重建之雜訊(稱為去雜訊濾波器)；在由申請者實施之測試期間，使用一雙向濾波器作為去雜訊濾波器已被視為尤其高效，此乃因其允許保留輪廓。
在針對當前圖框執行之操作結束時，檢查欲處理之圖框是否仍存在：若係肯定的，則停止操作，而若係否定的，則程序以隨後第(i+1)次讀取圖框對而繼續。
所闡釋之本發明可使用根據現有要求之模組化擴展至具有兩個以上視圖之情形。關於上述情形，提出例示所闡釋內容之兩項實施例，係指以類似於圖2中示意性所示之方式之一方式在一視訊串流產生器之輸出處存在具有兩個以上視圖之3D串流。
在一實施例中，在圖7中闡述，維持2D逆向相容之必要條件，此乃因本發明係自第3視圖開始應用，而兩個原始視圖(視圖1及視圖2)係根據現有演算法中之目前最佳技術進行處理。相反，第3及第4原始視圖之對係根據本發明以與上文所闡述序列對L、R相同之方式進行處理。相同處理可在已使剩餘本發明視圖恰當成對之後適用於該等剩餘本發明視圖，舉例而言，適用於第5及第6視圖、適用於第7及第8視圖等等，直至系統中存在之視圖竭盡未盡。當然，兩個以上視圖系統中之原始視圖對以類似於上文已針對由一左視圖及一右視圖組成之視訊立體串流所揭示之方式之一方式重建於再生側上。
在一不同實施例中，在圖8中展示，其相反不需要要求2D逆向相容性，演算法已自第一視圖對開始應用。
在其中視圖數目係奇數之情形中，奇數視圖係根據現有演算法中之目前最佳技術進行處理，因此在此一情形中維持對2D逆向相容性之要求。
應注意，裝置及上文所闡述模組可通過專用硬體或透過經適當 程式化以事實各種上文所闡述功能之通用硬體來體現。
本發明事實上亦係關於用於產生一視訊串流之一軟體，該軟體包括用於實施產生裝置1之操作之必需指令，且係關於用於重建一視訊串流之一軟體，該軟體包括用於實施重建裝置2之操作所需之指令。
此外，應注意，上文所闡述之裝置之模組或功能方塊之細分應僅視為形式上的且旨在清晰闡述本發明之功能。此外，此一細分並不必反映所闡述器件之硬體結構。
本發明達成重要優勢。
首先，根據本發明之產生技術允許編碼初始視訊串流，以有效方式減少大小，同時防止基本資訊之損失以達成對該串流之一完整且可靠重建。
特定而言，經編碼視訊串流可使用有限容量之儲存支援來儲存。
此外，經編碼視訊串流可經傳輸及接收而相對於一對應3D全HD串流佔用有限網路資源，僅由於經編碼串流之減小大小。
此外，經編碼立體視訊串流可容易經調適以根據兩種不同模式亦以2D模式表示，具有不同品質及計算複雜性。
根據本發明之3D視訊串流之產生及重建技術科不僅適用於一收發器系統或一立體3D檔案播放系統，而且適用於具有兩個以上視圖之對應3D系統。
除了上文內容以外，經解碼串流亦呈現與初始串流(亦即，與尚未經編碼之串流)實質上一樣且允許對3D視訊內容之一高品質使用。
1‧‧‧產生裝置/裝置
2‧‧‧裝置/解碼器裝置/重建裝置
3‧‧‧產生裝置之一部分/立體視訊串流產生器/產生器
10‧‧‧通信介面/輸入介面
11‧‧‧處理單元
12‧‧‧預處理模組
20‧‧‧輸入介面
21‧‧‧操作模組
CVS‧‧‧經編碼視訊串/經編碼視訊串流/立體視訊編碼串流/經編碼立體視訊串流/視訊串流
D‧‧‧圖
D1‧‧‧第一差別圖/第一圖/圖/深度圖
D1i‧‧‧第一複數個圖/圖/第一圖
D2‧‧‧第二圖/圖
D2i‧‧‧第二複數個圖/圖/第二圖
DVS‧‧‧經解碼立體視訊串流/經解碼視訊串流
L‧‧‧第一輸入序列/第一序列/序列
L'‧‧‧第一輸出序列
L1‧‧‧第一影像/視圖影像
L2‧‧‧第二影像
Li‧‧‧第一複數個影像/影像
Li'‧‧‧第二經重建之影像/完整遺失視圖/影像
M1‧‧‧第一記憶體區域
M2‧‧‧第二記憶體區域
R‧‧‧第二輸入序列
R'‧‧‧第二輸出序列
R0‧‧‧初始序列/序列
R1‧‧‧第一影像/影像
R2‧‧‧視圖影像/第二影像
Ri‧‧‧第二複數個影像/影像
Ri'‧‧‧完整遺失視圖/第一經重建之影像/影像
VIN‧‧‧輸入立體串流/初始立體視訊串流/輸入串流

Claims (32)

  1. 一種用於產生一視訊串流之裝置，其包括：一通信介面(10)，其用於接收：表示一輸入立體串流(VIN)之一第一視圖之影像之一第一輸入序列(L)中之一或多個影像；影像之一第二輸入序列(R)中之一或多個影像，每一影像對應於該第一輸入序列(L)中之一各別影像，該第二輸入序列(R)中之該等影像表示該輸入立體串流(VIN)中之一第二視圖；一或多個圖(map)，其允許自該第一輸入序列(L)中之一或多個影像開始實質上重建該第二輸入序列(R)中之對應影像；一或多個圖，其允許自該第二輸入序列(R)中之一或多個影像開始實質上重建該第一輸入序列(L)中之對應影像；一處理單元(11)，其與該通信介面(10)相關聯且經組態以用於：判定該第一輸入序列(L)中之一第一影像(L1)；判定一第一圖(D1)，以使得可藉由組合該第一輸入序列(L)中之該第一影像(L1)與該第一圖(D1)來實質上重建該第二輸入序列(R)中之一第一影像(R1)；判定該第二輸入序列(R)中之一第二影像(R2)；判定一第二圖(D2)，以使得可藉由組合該第二輸入序列(R)中之該第二影像(R2)與該第二圖(D2)來實質上重建該第一輸入序列(L)中之一第二影像(L2)；輸出一經編碼視訊串流(CVS)，該經編碼視訊串流(CVS)至少包括該第一輸入序列(L)中之該第一影像(L1)、該第一圖(D1)、該第二輸入序列(R)中之該第二影像(R2)及該第二圖(D2)，其中該經編碼視訊串流(CVS)不包括該第二輸入序列(R) 中之該第一影像(R1)及該第一輸入序列(L)中之該第二影像(L2)。
  2. 如請求項1之裝置，其中該第一輸入序列(L)中之該第二影像(L2)及該第二輸入序列中之該第二影像(R2)分別與該第一輸入序列(L)中之該第一影像(L1)及該第二輸入序列(R)中之該第一影像(R1)係連續的且在時間上毗鄰。
  3. 如請求項1或2之裝置，其中該通信介面(10)經組態以用於接收：該第一輸入序列(L)中之第一複數個影像(Li)，其包括該第一輸入序列(L)中之該第一影像(L1)，該第一複數者中之每一影像(Li)與一各別第一時間參考(TLi)相關聯；該第二輸入序列(R)中之第二複數個影像(Ri)，其包括該第二輸入序列(R)中之該第二影像(R2)，該第二複數者中之每一影像(Ri)與一各別第二時間參考(TRi)相關聯，該等第一時間參考(TLi)在時間上與該等第二時間參考(TRi)交替；第一複數個圖(D1i)，其中可藉由組合該第一複數個影像(Li)中之每一影像與該第一複數個圖(D1i)中之一各別圖來實質上重建屬於該第二輸入序列(R)之該等對應影像中之每一者；第二複數個圖(D2i)，其中可藉由組合該第二複數個影像(Ri)中之每一影像與該第二複數個圖(D2i)中之一各別圖來實質上重建屬於該第一輸入序列(L)之該等對應影像中之每一者；該處理單元(11)經組態以用於藉由在該經編碼視訊串流(CVS)中併入該第一複數個影像(Li)、該第一複數個圖(D1i)、該第二複數個影像(Ri)及該第二複數個圖(D2i)來產生該經編碼視訊串流(CVS)。
  4. 如請求項1或2之裝置，其中該處理單元(11)經組態以用於： 依據該第一輸入序列(L)中之該第一影像(L1)及該對應第一圖(D1)，定位一或多個經遮蔽像素；依據該第二輸入序列(R)中之一或多個影像，判定與欲替代該一或多個經遮蔽像素的一或多個替代像素相關之描述資料；將該描述資料併入至該經編碼視訊串流(CVS)中。
  5. 如請求項4之裝置，其中該處理單元(11)經組態以用於：定位屬於該第二輸入序列(R)之無法僅依據在該對應影像(R1)之前之一影像及/或在其之後之一影像定義之特定替代像素；判定描述該等特定替代像素之主資料；藉由將該主資料併入至該經編碼視訊串流(CVS)中來將該描述資料併入至該經編碼視訊串流(CVS)中。
  6. 如請求項4之裝置，其中表示替代像素之該資料及較佳地該主資料包括與該等經遮蔽像素相關聯之運動向量。
  7. 如請求項1或2之裝置，其進一步包括一預處理模組(12)，該預處理模組(12)經組態以用於：接收一開始序列(R0)，該開始序列(R0)包括表示該輸入立體串流之該第二視圖之複數個影像(R0i)，每一影像與該第一輸入序列(L)中之一對應影像相關聯；比較該開始序列(R0)中之一或多個影像(R0i)與該第一輸入序列(L)中之該等對應影像；依據每一比較，產生該第二輸入序列(R)中之一對應影像。
  8. 如請求項7之裝置，其中該預處理模組(12)經組態以用於：依據該開始序列(R0)中之該一或多個影像與該第一輸入序列(L)中之該對應影像之間的每一比較，判定一圖(Di)；依據該第一序列(L)中之該對應影像與該圖(Di)之間的一組 合，產生該第二輸入序列(R)中之該對應影像。
  9. 一種用於重建一視訊串流之裝置，其包括：一輸入介面(20)，其用於接收一經編碼視訊串流(CVS)，該經編碼視訊串流(CVS)至少包括一第一輸入序列(L)中之一第一影像(L1)、與該第一輸入序列(L)中之該第一影像(L1)相關聯之一第一圖(D1)、一第二輸入序列(R)中之一第二影像(R2)及與該第二輸入序列(R)中之該第二影像(R2)相關聯之一第二圖(D2)，其中該第一圖(D1)基於該第一輸入序列(L)中之該第一影像(L1)而允許重建該第二輸入序列(R)中之一第一影像(R1)，其中該第二圖(D2)基於該第二輸入序列(R)中之該第二影像(R2)而允許重建該第一輸入序列(L)中之一第二影像(L2)，其中該經編碼視訊串流(CVS)不包括該第二輸入序列(R)中之該第一影像(R1)及該第一輸入序列(L)中之該第二影像(L2)；一操作模組(21)，其經組態以用於：依據該第一輸入序列(L)中之該第一影像(L1)及該第一圖(D1)，重建該第二輸入序列(R)中之該第一影像(R1)，藉此獲得一第一經重建之影像(R1')；依據該第二輸入序列(R)中之該第二影像(R2)及該第二圖(D2)，重建該第一輸入序列(L)中之該第二影像(L2)，藉此獲得一第二經重建之影像(L2')；輸出一經解碼立體視訊串流(DVS)，該經解碼立體視訊串流(DVS)包括：一第一輸出序列(L')，其包含該第一輸入序列(L)中之該第一影像(L1)及該第二經重建之影像(L2')；及一第二輸出序列(R')，其包含該第一經重建之影像(R1')及該第二輸入序列(R)中之該第二影像(R2)，該第一輸出序列(L')及該第二輸出序列(R')分別表示該經解碼 立體視訊串流(DVS)之一第一視圖及一第二視圖。
  10. 如請求項9之裝置，其中：在該第一輸出序列(L')中，該第二經重建之影像(L2')與該第一輸入序列(L)中之該第一影像(L1)係連續的且在時間上毗鄰；在該第二輸出序列(R')中，該第二輸入序列(R)中之該第二影像(R2)與該第一經重建之影像(R1')係連續的且在時間上毗鄰。
  11. 如請求項9或10之裝置，其中該經編碼視訊串流(CVS)包括：屬於表示一立體串流之一第一視圖之影像之一第一輸入序列(L)之第一複數個影像(Li)；第一複數個圖(D1i)，每一圖與該第一複數個影像(Li)中之一各別影像相關聯；屬於表示該立體串流之一第二視圖之影像之一第二輸入序列(R)之第二複數個影像(Ri)；及第二複數個圖(D2i)，每一圖與該第二複數個影像(Ri)中之一各別影像相關聯，其中該第一複數個影像(Li)包括該第一輸入序列(L)中之該第一影像(L1)，該第一複數個圖包括該第一圖(D1)，該第二複數個影像(Ri)包括該第二輸入序列(R)中之該第二影像(R2)，且該第二複數個圖(D2i)包括該第二圖(D2)，其中該第一複數者中之每一影像(Li)與一各別第一時間參考(TLi)相關聯，其中該第二複數者中之每一影像(Ri)與一各別第二時間參考(TRi)相關聯，該等第一時間參考(TLi)與該等第二時間參考(TRi)在時間上交替，該操作模組(21)經組態以用於：依據該第一複數個影像(Li)及該第一複數個圖(D1i)，重建該第二輸入序列(R)中之影像，藉此獲得對應第一經重建之影像(Ri')；依據該第二複數個影像(Ri)及該第二複數個圖(D2i)，重建該 第一輸入序列(L)中之影像，藉此獲得對應第二經重建之影像(Li')；該經解碼視訊串流(DVS)包括：一第一輸出序列(L')，其包含該第一複數個影像(Li)及該等第二經重建之影像(Li')，及一第二輸出序列(R')，其包含該第二複數個影像(Ri)及該等第一經重建之影像(Ri')。
  12. 如請求項9或10之裝置，其中該操作模組(21)經組態以用於：依據該第一輸入序列(L)中之該第一影像(L1)及該對應第一圖(D1)，相對於該第二輸入序列(R)中之該對應第一影像(R1)定位一或多個經遮蔽像素；依據該第二輸入序列(R)中之一或多個特定影像，判定欲替代該第二輸入序列(R)中之該第一影像(R1)中之該一或多個經遮蔽像素的一或多個替代像素。
  13. 如請求項12之裝置，其中該等特定影像屬於該第二複數個影像(Ri)。
  14. 如請求項12之裝置，其中該經編碼視訊串流(CVS)包括與一或多個替代像素相關之描述資料，該操作模組(21)經組態以用於依據該描述資料判定該一或多個替代像素，其中該描述資料較佳地包括表示屬於該第二輸入序列(R)之無法僅依據在該第一影像(R1)之前之一影像及/或在其之後之一影像而判定之替代像素之主資料。
  15. 如請求項14之裝置，其中表示替代像素之該資料及較佳地該主資料包括與該等經遮蔽像素相關聯之運動向量。
  16. 一種用於產生一視訊串流之方法，其包括：提供表示一輸入立體串流之一第一視圖之影像之一第一輸入 序列(L)；提供表示該輸入立體串流之一第二視圖之對應影像之一第二輸入序列(R)；提供一或多個圖，該等圖允許自該第一輸入序列(L)中之一或多個影像開始實質上重建該第二輸入序列(R)中之對應影像；提供一或多個圖，該等圖允許自該第二輸入序列(R)中之一或多個影像開始實質上重建該第一輸入序列(L)中之對應影像；判定該第一輸入序列(L)中之一第一影像(L1)；判定一第一圖(D1)，以使得可藉由組合該第一輸入序列(L)中之該第一影像(L1)與該第一圖(D1)來實質上重建該第二輸入序列(R)中之一第一影像(R1)；判定該第二輸入序列(R)中之一第二影像(R2)；判定一第二圖(D2)，以使得可藉由組合該第二輸入序列(R)中之該第二影像(R2)與該第二圖(D2)來實質上重建該第一輸入序列(L)中之一第二影像(L2)；輸出一經編碼視訊串流，該經編碼視訊串流至少包括該第一輸入序列(L)中之該第一影像(L1)、該第一圖(D1)、該第二輸入序列(R)中之該第二影像(R2)及該第二圖(D2)，其中該經編碼視訊串流(CVS)不包括該第二輸入序列(R)中之該第一影像(R1)及該第一輸入序列(L)中之該第二影像(L2)。
  17. 如請求項16之方法，其中該第一輸入序列(L)中之該第二影像(L2)及該第二輸入序列(R)中之該第二影像(R2)分別與該第一輸入序列(L)中之該第一影像(L1)及該第二輸入序列(R)中之該第一影像(R1)係連續的且在時間上毗鄰。
  18. 如請求項16或17之方法，其包括：判定該第一序列(L)中之第一複數個影像(Li)，該第一複數個影 像(Li)包括該第一輸入序列(L)中之該第一影像(L1)，該第一複數者中之每一影像(Li)與一各別第一時間參考(TLi)相關聯；判定第一複數個圖(D1i)，以使得藉由組合該第一複數者中之每一影像(Li)與該第一複數個圖(D1i)中之一各別圖，實質上獲得該第二輸入序列(R)中之一對應影像；判定該第二輸入序列(R)中之第二複數個影像(Ri)，該第二複數個影像(Ri)包括該第二輸入序列(R)中之該第二影像(R2)，該第二複數者中之每一影像(Ri)與一各別第二時間參考(TRi)相關聯，該等第一時間參考(TLi)與該等第二時間參考(TRi)在時間上交替；判定第二複數個圖(D2i)，以使得藉由組合該第二複數者中之每一影像(Ri)與該第二複數個圖(D2i)中之一各別圖，實質上獲得該第一輸入序列(L)中之一對應影像；其中該經編碼視訊串流(CVS)包括該第一複數個影像(Li)、該第一複數個圖(D1i)、該第二複數個影像(Li)及該第二複數個圖(D2i)。
  19. 如請求項16或17之方法，其包括：依據該第一輸入序列(L)中之該第一影像(L1)及該對應第一圖(D1)，定位一或多個經遮蔽像素；依據該第二輸入序列(R)中之一或多個影像，判定與欲替代該一或多個經遮蔽像素的一或多個替代像素相關之描述資料；將該描述資料併入至該經編碼視訊串流(CVS)中。
  20. 如請求項19之方法，其包括：定位屬於該第二輸入序列(R)之無法僅依據在該對應影像(R1)之前之一影像及/或在其之後之一影像定義之特定替代像素；判定描述該等特定替代像素之主資料； 其中將該描述資料併入至該經編碼視訊串流(CVS)中包括且較佳地由以下步驟組成：將該主資料併入至該經編碼視訊串流(CVS)中。
  21. 如請求項19之方法，其中表示替代像素之該資料及較佳地該主資料包括與該等經遮蔽像素相關聯之運動向量。
  22. 如請求項16或17之方法，其中提供該第二輸入序列(R)包括：提供包括複數個影像(R0i)之一開始序列(R0)，每一影像與該第一輸入序列(L)中之一對應影像相關聯；比較該開始序列(R0)中之一或多個影像(R0i)與該第一輸入序列(L)中之該等對應影像；依據每一比較，產生該第二輸入序列(R)中之一對應影像。
  23. 如請求項22之方法，其中比較該開始序列(R0)中之該一或多個影像與該第一輸入序列(L)中之該等對應影像包括：依據該開始序列(R0)中之該一或多個影像中之一者與該第一序列(L)中之該對應影像之間的每一比較，判定一圖(Di)；依據該第一輸入序列(L)中之該對應影像與該圖(Di)之間的一比較，產生該第二輸入序列(R)中之該對應影像。
  24. 一種用於重建一視訊串流之方法，其包括：接收一經編碼視訊串流(CVS)，該經編碼視訊串流(CVS)至少包括一第一輸入序列(L)中之一第一影像(L1)、與該第一輸入序列(L)中之該第一影像(L1)相關聯之一第一圖(D1)、一第二輸入序列(R)中之一第二影像(R2)及與該第二輸入序列(R)中之該第二影像(R2)相關聯之一第二圖(D2)，其中該第一圖(D1)基於該第一輸入序列(L)中之該第一影像(L1)而允許重建該第二輸入序列(R)中之一第一影像(R1)，其中該第二圖(D2)基於該第二輸入序列(R)中之該第二影像(R2)而允許重建該第一輸入序列(L)中之一第 二影像(L2)，其中該經編碼視訊串流(CVS)不包括該第二輸入序列(R)中之該第一影像(R1)及該第一輸入序列(L)中之該第二影像(L2)；依據該第一輸入序列(L)中之該第一影像(L1)及該第一圖(D1)，重建該第二輸入序列(R)中之該第一影像(R1)，藉此獲得一第一經重建之影像(R1')；依據該第二輸入序列(R)中之該第二影像(R2)及該第二圖(D2)，重建該第一輸入序列(L)中之該第二影像(L2)，藉此獲得一第二經重建之影像(L2')；輸出一經解碼立體視訊串流(DVS)，該經解碼立體視訊串流(DVS)包括：一第一輸出序列(L')，其包含該第一輸入序列(L)中之該第一影像(L1)及該第二經重建之影像(L2')；及一第二輸出序列(R')，其包含該第一經重建之影像(R1')及該第二輸入序列(R)中之該第二影像(R2)，該第一輸出序列(L')及該第二輸出序列(R')分別表示該經解碼立體視訊串流(DVS)之一第一視圖及一第二視圖。
  25. 如請求項24之方法，其中：在該第一輸出序列(L')中，該第二經重建之影像(L2')與該第一輸入序列(L)中之該第一影像(L1)係連續的且在時間上毗鄰；在該第二輸出序列(R')中，該第二輸入序列(R)中之該第二影像(R2)與該第一經重建之影像(R1')係連續的且在時間上毗鄰。
  26. 如請求項24或25之方法，其中該經編碼視訊串流(CVS)包括：屬於表示一立體串流之一第一視圖之影像之一第一輸入序列(L)之第一複數個影像(Li)；第一複數個圖(D1i)，每一圖與該第一複數個影像(Li)中之一各別影像相關聯；屬於表示該立體串流之一第二視圖之影像之一第二輸入序列(R)之第二複數個影像(Ri)；及 第二複數個圖(D2i)，每一圖與該第二複數個影像(Ri)中之一各別影像相關聯，其中該第一複數個影像(Li)包括該第一輸入序列(L)中之該第一影像(L1)，該第一複數個圖包括該第一圖(D1)，該第二複數個影像(Ri)包括該第二輸入序列(R)中之該第二影像(R2)，且該第二複數個圖(D2i)包括該第二圖(D2)，其中該第一複數者中之每一影像(Li)與一各別第一時間參考(TLi)相關聯，其中該第二複數者中之每一影像(Ri)與一各別第二時間參考(TRi)相關聯，該等第一時間參考(TLi)與該等第二時間參考(TRi)在時間上交替，該方法包括：依據該第一複數個影像(Li)及該第一複數個圖(D1i)，重建該第二輸入序列(R)中之影像，藉此獲得對應第一經重建之影像(R1')；依據該第二複數個影像(Ri)及該第二複數個圖(D2i)，重建該第一輸入序列(L)中之影像，藉此獲得對應第二經重建之影像(L2')；該經解碼視訊串流(DVS)包括：一第一輸出序列(L')，其包含該第一複數個影像(Li)及該第二經重建之影像(L2')，及一第二輸出序列(R')，其包含該第二複數個影像(Ri)及該第一經重建之影像(R1')。
  27. 如請求項24或25之方法，其包括：依據該第一輸入序列(L)中之該第一影像(L1)及該對應第一圖(D1)，相對於該第二輸入序列(R)中之該對應第一影像(R1)定位一或多個經遮蔽像素； 依據該第二輸入序列(R)中之一或多個特定影像，判定欲替代該第二輸入序列(R)中之該第一影像(R1)中之該一或多個經遮蔽像素的一或多個替代像素。
  28. 如請求項27之方法，其中該等特定影像屬於該第二複數個影像(Ri)。
  29. 如請求項27之方法，其中該經編碼視訊串流(CVS)包括與一或多個替代像素相關之描述資料，依據該描述資料判定該一或多個替代像素，其中該描述資料較佳地包括表示屬於該第二輸入序列(R)之無法僅依據在該第一影像(R1)之前之一影像及/或在其之後之一影像判定之替代像素之主資料。
  30. 如請求項29之方法，其中表示替代像素之該資料及較佳地該主資料包括與該等經遮蔽像素相關聯之運動向量。
  31. 一種用於產生一視訊串流之軟體產品，其包括當由一電腦執行時實施如請求項16至23中任一項之方法之指令。
  32. 一種用於重建一視訊串流之軟體產品，其包括當由一電腦執行時實施如請求項24至30中任一項之方法之指令。
TW102146300A 2012-12-13 2013-12-13 用於產生及重建一視訊串流之裝置、方法與軟體產品 TWI539790B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
IT001073A ITTO20121073A1 (it) 2012-12-13 2012-12-13 Apparato e metodo per la generazione e la ricostruzione di un flusso video

Publications (2)

Publication Number Publication Date
TW201440484A TW201440484A (zh) 2014-10-16
TWI539790B true TWI539790B (zh) 2016-06-21

Family

ID=47683945

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102146300A TWI539790B (zh) 2012-12-13 2013-12-13 用於產生及重建一視訊串流之裝置、方法與軟體產品

Country Status (7)

Country Link
US (1) US20150312547A1 (zh)
EP (1) EP2932711B1 (zh)
KR (1) KR20150095765A (zh)
CN (1) CN104838648B (zh)
IT (1) ITTO20121073A1 (zh)
TW (1) TWI539790B (zh)
WO (1) WO2014091445A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IN2013CH05313A (zh) * 2013-11-18 2015-05-29 Nokia Corp
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US9713982B2 (en) 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US9939253B2 (en) * 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US10057593B2 (en) * 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US10032280B2 (en) 2014-09-19 2018-07-24 Brain Corporation Apparatus and methods for tracking salient features
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
KR102493754B1 (ko) 2015-02-17 2023-02-01 네버마인드 캐피탈 엘엘씨 감축된 해상도 이미지들을 생성 및 이용하고 및/또는 재생 또는 컨텐트 분배 디바이스에 이러한 이미지들을 통신하기 위한 방법들 및 장치
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006137000A1 (en) * 2005-06-23 2006-12-28 Koninklijke Philips Electronics N.V. Combined exchange of image and related data
JP5587552B2 (ja) * 2005-10-19 2014-09-10 トムソン ライセンシング スケーラブル映像符号化を用いた多視点映像符号化
EP1958451B1 (en) * 2005-11-30 2014-03-19 Entropic Communications, Inc. Motion vector field correction
KR101484487B1 (ko) * 2007-10-11 2015-01-28 코닌클리케 필립스 엔.브이. 깊이-맵을 프로세싱하는 방법 및 디바이스
BRPI0916367A2 (pt) * 2008-07-21 2018-05-29 Thompson Licensing dispositivo de codificação para sinais de vídeo em 3d
EP2327059B1 (en) * 2008-10-02 2014-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Intermediate view synthesis and multi-view data signal extraction
WO2011078883A1 (en) * 2009-12-24 2011-06-30 Trumbull Ventures Llc Method and apparatus for photographing and projecting moving images in three dimensions
JP5480915B2 (ja) * 2009-12-28 2014-04-23 パナソニック株式会社 表示装置と方法、記録媒体、送信装置と方法、及び再生装置と方法
GB2478156A (en) * 2010-02-26 2011-08-31 Sony Corp Method and apparatus for generating a disparity map for stereoscopic images
KR20120129313A (ko) * 2011-05-19 2012-11-28 한국전자통신연구원 차이 정보를 사용한 3차원 영상 정보 전송 시스템 및 방법

Also Published As

Publication number Publication date
EP2932711A1 (en) 2015-10-21
EP2932711B1 (en) 2017-02-08
ITTO20121073A1 (it) 2014-06-14
US20150312547A1 (en) 2015-10-29
CN104838648A (zh) 2015-08-12
KR20150095765A (ko) 2015-08-21
CN104838648B (zh) 2017-06-13
TW201440484A (zh) 2014-10-16
WO2014091445A1 (en) 2014-06-19

Similar Documents

Publication Publication Date Title
TWI539790B (zh) 用於產生及重建一視訊串流之裝置、方法與軟體產品
US9148646B2 (en) Apparatus and method for processing video content
KR100990565B1 (ko) 하나의 비디오 파일에서 비디오 데이터의 다중 투사를처리하는 시스템 및 방법
CN103202021B (zh) 编码装置、解码装置、再现装置、编码方法及解码方法
JP6037567B2 (ja) ２次元にも対応する立体映像フローのデコード方法
KR20110059803A (ko) 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
US10037335B1 (en) Detection of 3-D videos
US20210321072A1 (en) An apparatus for transmitting a video, a method for transmitting a video, an apparatus for receiving a video, and a method for receiving a video
TWI511525B (zh) 用於產生、傳送及接收立體影像之方法，以及其相關裝置
JP7344988B2 (ja) ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品
US9628769B2 (en) Apparatus and method for generating a disparity map in a receiving device
EP2373046A2 (en) Super resolution based n-view + n-depth multiview video coding
US20150130897A1 (en) Method for generating, transporting and reconstructing a stereoscopic video stream
KR20110060763A (ko) 3차원 비디오 서비스 제공 장치 및 방법
KR20140044332A (ko) 스테레오스코픽 이미지들을 생성하고, 송신하고 수신하기 위한 방법, 및 관련 디바이스들
KR20200143287A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2011094164A1 (en) Image enhancement system using area information
Bondarev et al. Performance-efficient architecture for free-viewpoint 3DTV receiver
Salman et al. Overview: 3D Video from capture to Display
US10469871B2 (en) Encoding and decoding of 3D HDR images using a tapestry representation
Hasan et al. Survey on Error Concealment Strategies and Subjective Testing of 3D Videos
CN105376548A (zh) 用于3维视频的舒适噪声和胶片颗粒处理
KR20130063603A (ko) 부가 영상 부복호화 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees