TW426835B

TW426835B - View offset estimation for stereoscopic video coding

Info

Publication number: TW426835B
Application number: TW087117979A
Authority: TW
Inventors: Xuemin Chen
Original assignee: Gen Instrument Corp
Priority date: 1997-11-07
Filing date: 1998-10-29
Publication date: 2001-03-21
Also published as: DE69829931T2; EP0915433A2; NO985170L; CA2252324A1; MX9809262A; NO985170D0; CA2252324C; CN1226786A; EP0915433A3; EP0915433B1; US6043838A; KR19990045067A; JPH11262032A; DE69829931D1

Description

426835 修正案號 87117979 五、發明說明（1) 發明背景本發明是關於將視頻資料編碼的一種構造和方法"特別是，在同一參考點上用來預估左右頻道間影像的最佳補償值的系統。此系統會減少動態向量尋找的範圍以達到距離 (即跨頻道或是跨層）預估，提高編碼的效率。數位科技改革了將影音訊號傳輸到消費者的方式，其以較類比科技更高的訊號品質傳送訊號且提供了之前所沒有的額外特性。數位系統在以有線電視網路廣播訊號或是以衛星將訊號傳送至有線電視分站或直接到用戶端的衛星電視接收器等的應用上特別有用。在此等系統中，用戶以一接收器/解頻器接收數位訊號，經過解壓縮及解碼之後以重建原始的影音訊號。此數位接收器包含一個微處理器和在此程序中所用到的記憶元件。如果要用價位低廉的接收器來接收高品質的影音訊號，則所處理的資料量必需要有限制。另外，數位訊號的可用傳輸頻寬也會受限於實際限制，現存的通信協訂，和政府法規。據此，許多相鄰晝面間資料壓縮的建立都利用特殊影像（即晝面）的相鄰影像點之間的空間關係。再說，相鄰晝面間的壓縮也是以動態補償資料和區塊匹配動量估算演算法來利用相連畫面中相對部份間暫存的關係。在此情形下，以在前一畫面中辨識一個與目前區塊最接近的區塊來決定影像中目前晝面内的每一個區塊的動態向量。如此只要傳送每一個相對區塊間的補償值，以及用來辨識相對的區塊的動態向量就可以在解碼器端重建整個

O:\55\f5608.ptc 第6頁 2000.03.15. 006 4 2 R 8 λ 5 五、發明說明（2) 晝面了。若整合以區塊為主的空間壓縮技術如數位餘弦轉換（DCT )時，區塊匹配動量估算運算法會特別有效。還有，在視頻傳輸的格式上有許多的發展，如在（MPEG )MPEG-2 ’MVP 系統中，文件ISO/IEC JTC1/SC29/WG11 N 1 0 88 (ITU-T Recommendation H. 2 6 2 )，標題 "Proposed Draft Amendment No.3 to 13818-2 (MVP )，

" 1 9 9 5年十一月，及其三號修正文件；及在文件IS〇/IEC JTC1/SC29/WG11 N1 277 ’Tampere，芬蘭，MPEG-4 視訊驗證模組（VM ) 3 · 0版’ 1 9 9 6年七月，都在此收錄為參考。立體視訊會提供同一影像些許的補償值以產生有較深景的合成影像’藉此產生二度空間的效果以此一系統中，可用兩個照相機置於相距2. 5英吋，或是65公釐的地方以兩個視訊訊號錄製一事件。照相機的距離大約是模擬人類左右眼的距離，即内視透鏡的間隔。再說，有些立體視^ 照像編碼器的兩片透鏡置於一個照像編碼器的鏡頭上而^ 跨越影像時會產生同步效果。此兩個視訊訊號會經過傳送並在接收端整合以產生符合人-類視覺上景深效果的影像其它的特殊效果也可以產生。 MPEG MVP系統包含兩個視訊層，其以多元化的方式傳送。首先，一基（即較低）層代表一三度空間物體=一左視圖。苐-加強（即輔助，或是較上）層代表此物& 的右視圖。因為左右兩視圖都屬於同一物體且互相口、有此許差別，所以此基層和加強層的影像通常會有很大的相g 比例。此相同比例可以用來壓縮加強層相對於基層的資二

：:\Program Files\Patent\55608. ptd ψ 426835 五、發明說明（3) 量’藉以減少在加強層中Α 的資辑量。影像品質為視吼資;影像的品質所必要傳輪 _MVP系統包含三種見視量化的程度。 (卜圖片），預估編碼圖片（片’分別為，内編碼圖片圖片（B-圖>ί)。當基層適及雙向預估編碑資料串’加強層會只適用於金=旦面我疋場景結構的視訊參考其“面而“地描述單—的視訊：要誤，可以將動態向量整合到卜圖片 =要減）錯對顯示的視訊產生較大的影響因為基層中二片2錯誤會片都是由卜圖片預姑出來的。再說，：=圖來。由一畫面預估同一層的另一書面 $預估出 ΑΑβ ^ - 旦囬钔％為暫時預估。在基層中P圖片疋由之耵的丨或^圖片預之刖的I或P圖片當作參考而預估後面的p_ · &由估U片貝J是由最接近的前面i或？圖片和：；二丽預 I或P圖片預估出來的β 接近的k面在加強層中，P-圖片可以由（a )在加強層中 :解碼圖片，（b)最近一次的基層圖片，；照顯I;:欠序，或（c )下一個較低層圖片，按照顯示順序、當最近一次的基層圖片按照顯示順序為I —圖，、0 採用（b)。通常會在加強層的B-圖片可以用（d)最近再說向層前預估的加強層解碼圖片和最近一次按照顯示二圖片，（e)最近一次用來做向前預估的加強層解碼的圖土

426835 五，發明說明（4) --一片和下η㈤按照顯示順序用來做向後預估的基層圖片， (f )最近一次按照顯不順序用來做向前預估的基層圖片和下-個按照顯示順序用來做向後預估的基層圖片來預估。當最近一次的基層圖片按照顯示順序為圖片時，。有丨-圖片可以用來做預估編碼（即沒有向前預估）。要注意只有預估模式（a)，（b)和⑷採用於_ ^不統中。系統為MPEG暫時可調編碼之一部份，其包含模式（a)- (ί)。 '、在一選用架構中，加強層只有ΡΜ圖Μ，而沒有W =。對於後面的圖即尚未顯示之圖片）來說此參考稱，向後預估。I注意的是在加強層中沒有向後預估。因 u加強層的圖片疋按照顯示的順序來傳送的。但還是有一些情況下，向後預估對於提高壓縮比例是很有用的。例 1在_畫面中有一扇門要打開’目前的畫面就要根據未來已打開門的晝面來預估門後面有什麼東西。圖片會產生最多的壓縮但也會衍生最多的錯誤。若要移除錯誤的傳遞’ B-圖片決不能由基層中其他的B—圖片來預估p圖片則會產生較少的壓縮和錯誤。卜圖片能產生攻少的壓縮’但卻能夠提供隨意的使用。在距離預估中，較低層影像單獨或是與一加強層參考影 ΐ : ”做一加強層影像的參考影像。此加強層影像的動，補償是靠在-預先定好的範圍中尋找以在參考影像中找到最匹配的影像，然後再利用參考影像中最匹配影像的影像點來將此加強層影像的影像點做差別編碼。由最匹配

ΙΜΙ C: \Program F11 es\Patent\55608. ptd 第一~" '一 4268 3 5 五、發明說明¢5) 影像和編碼過的加強層區域之間的相對位移即為一動態向量，將此動態向量與差別編碼過的影像點資料一起傳送就在接收端將加強層的影像重建回來。整個程序可能以巨集區塊為基礎而作用在一個區塊上。卞然而，當動態向量尋找的範圍增加時，距離預估所需要的红序和6己憶體儲存需求也會増加。另外，也會在向量上產生效率不好的可變長度編碼（即Hunman編碼）。如此會造成較昂貴且/或較慢的編碼和解碼構造。據此，若有一系統能夠在立體視頻系統中提高距離預估加強層影像的編碼效率會是很有用的。此系統要考慮到立體視訊照相機中的内視鏡間隔以提供一個能與加強層影像更匹配的移動較低層影像。此系統需與許多影像尺寸相容，包含矩形和任意形狀的影像。此系統更需與許多現存的視訊編碼標準相容，如 MPEG-1，MPEG-2，MPEG-4，H_261 和H.263。此系統應提供一傳輸的差別值以使解碼器重建一參考影像。此系統也應該按照視訊編馬的標準不會因為傳輪一差別值而減少編碼器動態向量尋找的範圍。此技術應該適用於靜態影像和連續影像。本發明即提供一具有上述及其他優點的系統。發明概述根據本發明’係提供一種以補償内視鏡照相機透鏡的間隔而將立體視訊傳輸系統提高編碼效率的方法與結構。一種利用較低層中的較低層影像來預估立體視訊訊號的

ψ ^ 2 68 j 五、發明說明（6) 加強層中的一加強層影像的方法值或，-最小平方補償值來決:根據-最小平均補償之間的最佳補償值，χ，根據此層影像和較低層影像影像以取得用於距離預估加強芦取補償值來移動較低層的方式是將較低層影像的最/如“5的參考影像。此移動除並在最前面（如最左邊） _ =右邊）x列影像點刪列）補進X列來。列（移動前的最左邊一此加強層是由參考影像以動量來’而最匹配的影像，如巨集”方式距離預估而層影像沒有移動時的尋找範圍所減少據該較低該參考影像中取得。下來的哥找範圍以在，根據照相機焦點參數及一内視 ' , 補敍值，在此情形下在該較低層影像可；二;=2: 決範圍内尋找，以得到該最佳補;Γ 他任音形壯Μ ^ Ώ尽心诼」以包含視訊物體平靣或，、他任心形狀的影像及矩形影像（即畫面）。值層影像有變動時會決定一個新的最佳補償 Γ的二V: 層影像的變動時，則採用較低層中的刖衫像的補償值做為最佳補償值χ。新值X可以用於較低層的新影像組中。將立體視頻訊號中的最佳補償值χ傳送出器重建參考影像。彳乂 Κ所·’ 以該最小平均補償值來說，最佳補償值χ的選取是要使得下列值最小，

C:\Program Files\Patent\55608.ptd 第11頁 ^26835 五 '發明說明（7)

DiSt , h(w-x) Jo jS〇MyL(i + x，j)「yE(i，j)|

ί中^ =別代表較低層和加強層的影像亮度，i和J 分別為較低層和加強層影像的水平和垂直座標，h為較低層影像的南度1為較低層影像的寬度，該較低詹影像為一左視影像而加強層影像為一右視影像。以該最小平方補償值來夺，兮！3J v+ 使得下列值最小，亥取佳補償值x的選取是要

Dist_L2(x) h(w -X) j?〇 yLil + x>j)-yE(i,j) 0 =;〇的視訊影像來說，彩色亮度像點的最值马Lx/Z」。同樣也有相對的結構和解碼器。圖示簡述圖1為一立體視訊編碼器/解碼器的結構方塊圖。圖2為一立體視訊照相機模型的示意圖。 " 圖3為一在加強層中P—圖片的不等預估模式之圖解。圖j為二在加強層中B-圖片的不等預估模式 < 圖圖5根據本發明圖解一左視圖的程序。圖6根據本發明圖解一編碼器的程序流程。圓7根據本發明圖解一解碼器的程序流程。圖8根據本發明圖解距離預估和動態向量的尋找。

4268 3 5 五 '發明說明⑻ -- 圖9根據本發明圖解動態向量的尋找。圖1 〇為一根據本發明加強層解碼器結構的方塊圖。發明詳述、在此提供一種於立體視訊系統中預估一實景的左視和右視頻道之間最佳補償值的方法和結構。圖1為一立體視訊的編碼器/解碼器結構的方塊圖。在 MPEG 標準和類似系統中都囊括了兩個視訊層的編碼，包言-較低層和-加強或較上層。於此一應用巾，較低層用為左視圖而加強層則用為—右視圖。在圖i的編碼器/解碼“即編解碼器）中’較滴層和加強層影像的視訊連續讯號都由一暫時的多工器丨〇 5來接收。利用分時多工 (TDMX )的方式，加強層的視訊訊號輸入到一加強編碼器 110而基層的視讯訊號則輸入到一較低層編碼器1丨5。要注意的是在距離預估情形下，較低層視訊訊號可以輸入到加強編碼器110。編過碼的加強和基層訊號則再輸入到一系統多工器丨2〇傳送到解碼ϋ上，-般來說為122 ’以當成—傳輪訊號串。傳輸的路徑一般為由-衛星到-有線系統的頭端或是直接紐由彳拉星到一消費者的家中。在解碼器1 2 2上，多工解碼器1 25會對傳輸訊號串進行多工解碼。此蝙過碼的加強層資料則再輸入到一加強解碼器丨30，編過碼的較低層資料則再輸入到一較低解碼器丨3 5。要注意的是採用平行處理的方式對較低層和加強層同時進行解碼是較佳的做法。另外，加強層解碼器〗3 0和較低層解碼器丨3 5也可以共

C:\Program Files\Patent\55608.ptd 第13頁 426835 _案號87117979 ^年j.月日條正 ' —----»»___ 五、發明說明（9) 同分享處理解碼的硬體’如此可以依序對其解瑪，—^ —次一個圊片a 解過碼的較低層資料由較低解碼器135輸出當成—分的資料串，再輸入到一暫時的多工器140»在此暫時的$ 工器140上，解過碼的基層資料和解過碼的加強層資料效合在一起以成為一所示的加強層輸出訊號。玉圖2為一立體視訊照相機模型的圖示。此照相機的锋構，一般來說為200 ’包含一右視透鏡220和一左視透° 鏡210分別置於軸225和2 15上’以一内視距離5 (2 八開’一.般為6 5釐米。此軸2 1 5和2 2 5與一照相機平面刀叉。照相機結構2 0 0包含兩個同樣的照相機，其各有_父鏡，以對同一景取得兩個記錄。此照相機與平行轴和丘& 的影像感應器’如電荷耦合裝置（CCD )，同一方向/如® 此’在某一個時間同一景的兩個影像間的距離為水平的且是由透鏡210和220水平的距離所產生的。一立體成像系統是重製人類視覺系統的原理以達到一景兩相的目的。在一個適當的顯示器上提供兩個相對於左右兩眼的適當圖示，對同一個景的兩個些微不同的觀測景即可成像於視網膜上。人腦於是將這些影像整合成一個景，視決器再經歷此立體（立體視覺）的感覺，以透過提高的深度感覺達到附加的真實感。要有效地傳送立體的視覺資料，此兩景的兩個影像必需要有效地編碼（即壓縮）。立體視訊的有效編碼不只靠動量補償，也要靠距離（即跨頻道或跨層）預估。減少在左

O:\55\55608.pic 第 14 育. 20〇〇· 03.15. 014 426835 五、發明說明αο) * ' ----- 右觀測的影像間的距離預估之動態向量的尋找範圍，就可以形成一低複雜度的編碼器。此是在同一個暫時的參考點上對兩個觀測的圖片之間的景之整體位置補償值做地預估所達成。在此所提的系統可當做是立體視訊編碼距離預估中 MPEG-2多景雛形（MVP)及MpEG_4視訊驗證模組（vm)實驗的效果加強選項qVP (或MpEG_4 Μν 3· 〇 )包含兩層編碼，=一較低或基層和一加強層。在立體視訊編碼中，較低層是用於左視圖而加強層是用於右視圖。p_#B—圖片在 Μ忡的加強層距離估算/預估包含以巨集為主的區塊匹配技術。一M VP解碼器的預估模式圖示於圖3，圖4和圖8。 —在立體視訊編碼中，由於觀測點補償值的關係，合每一個距離預估巨集區塊的水平距離向量。事量產生沒有效率的可變長度：Huffman θ ()。本發明陳述出決定立體視訊影像水平向 I的問題以使預估距離向量的編碼更有效率。'、° 根據本發明，左視圖偏了幾個影像點以使圖和右視圖的距離得以減少。以此等：會較有效率。勺王的距離預估圖3圖示加強層中p—圖片的距離預估模式。圖片31。是用較低層中暫時相符的卜圖片綱距離強預圖4圖示B-圖片的加強層預估模式^此，加強層 B-圖片410是用向前預估和距離預估所得的。特別地中按

C:\Program F iles\Patent\556〇8. ptd 苐15頁 426835 五、發明說明（II) ---- 照顯示的順序，B -國y H丨n 3 m ,, =/圖片410是用另—細_圖#42()所向前預 a :、.’隶近—次解碼的加強層影像’而I -圖片4 0 0 則疋取近一次在較低層中的影像。圖5圖示根據本發明的左視圖處理過程。本發明的整體水平位置補償值提高了編碼的效率，&維持了與現存立體視訊編碼標準的相容性。整體水平位置補償值取得了左視圖的水平位置移動量以使得（移動）纟視圖影像和相對的右視圖影像間的失之真達到最小。此技術適用於任意形狀 =影像如MPEG-4中所討論的視訊物體平面（v〇p )及矩形影像，即視訊晝面或圖片或如MpEG_2 Mvp標準中所用到的其中一部份。特別是，刪除一左視圖的v〇p的最左邊的X列以將〃、向右移動，再於其右邊補進χ列。如此，最右邊的邊緣水平延伸了 x列。此VOP對於其所在的左視圖和相對的右，圖來說以已經移動了。一般來說，左視圖晝面的最右和最左的位置是不變的，假設vop不會向晝面的垂直邊界延伸。在圖3中有一左視圖影像5 〇〇和一右視圖影像5 1 〇。參數h 和W分別代表兩個影像高度和寬度。例如，以NTSC視訊來說，h = 480而w = 704，而以PAL視訊來說，h = 576而w = 704。參數Yl ( 1， ]·)和、（1，』）分別代表左視（或較低）和右視圖的影像點亮度值。參數YR (丨，]·)可以當成是\ (i， j ) ’其中"E"代表加強層。探討此技術是假設左視圖是在較低層影像而右視圖是在加強層影像。然而’此技術很容易就可以用於右視圖在較

C: \Prograiii Fi 1 es\Patent\55608. ptd 苐16頁 426835 五、發明說明（12) 低層影像而左視圖在加強層影像的立體視訊系統中。左視圖影像50 0包含一物體5〇5，而右視圖510影像包含同一物體5 1 5，只是其在不同的畫面相對位置。特別是，影像5 0 0與影像5 10有一相對的左補償值X。在第一步驟中’此值X是一待決定的水平補償值，假設其落於一預先指定或決定號的範圍X，即〇 g X < X。根據本發明之一第一具體實施例，此整體水平位置補償值技術是要找到水平補償值整數以使得下列值最小：

Dist_L2(x) h(w -X) Σ V.U ^ LJΣ:0 j = 〇 yL(i+X,j)-y (itj) } 其中^和yE分別代表較低層和加強層的影像亮度，分別為較低層和加強層景彡$ #纟# 也卜办诼扪求千和垂直座標，h為每一影像的鬲度，W為母一影後沾官由 ❿尿的見度。此技術低層影像點之間使用-最小平方福禮^义㈣加強層和較、乃補償值。要注音的县， h(w-x)代表相乘’而非!^的函數。心，採用比較耗時的水平尋找以找到，x $ X範严内為最小。負值X使得Di st一L (X) 在本發明的另一具體實施例中t 使得下列值最小：找到的補償值X是要 h(w - χ)

Dist_Ll(x) 可以此技術使用加強層和較低層影像之間的最小平均差

C:\Program Files\Patent\55608. ptd

4263 3 5 五、發明說明（13) ' 運用縮減的計算需求來實現。在本發明的另—,, i 谷虎，目接Μ '、體声'鈿例中，採用一照相機焦距參赵和内視鏡間隔<5來估外火求战座_ 數個影像點（即正Γ賞值^。例如，可以用十 , 員五個）來估計補償值。然後，再於 ^ 1 ^ ( X%t + 5丨範圍内採用比較耗時的水尋=到補償⑽使得Dlstj⑴_<ί2(χ) W二敢j ::離估計和預估的左視參考晝面則是依下述方法會;的力Ϊ Ϊ 35端決定水平補償值Χ之後，可以從原始和 # 、 1影像重建參考晝面，以用於右視影像的距離估二/預估。如果視訊標準允許將補償值乂傳送到解碼界端

Si重Π =解碼器端被釋出，而解過碼的左視影像就重建多考影像，以用於右視影像的距離估算/預估。如丄補償值可以置於圖片前端資料内傳送。 ^ ^ ’刪除左視圖的最後又列，即可建立亮度影像點的參考晝δ。在解碼器端是使用原始的左視圖，即解過碼的士視圖^•如左視圖535，其最右邊的χ列52〇已被刪除。弟二步’左視圖54 0的每一行是將該行的第一個影像點值補在其開頭。MPEG-4標準中有描述如何完成此補入（‘·填入）程序。影像54 0的左邊即為此填入的區域53〇。前述的幾個步驟會取得一與相對的右視圖較匹配之有補償值或移動過的左視圖540。對於彩色的影像點資料來說，建立其距離預估的參考影像也是包含同樣的步驟，但使用一水平補償值[2 ]，即取小於χ/2之最大整數。在此假設是4:2:〇的視訊格式。其

五、發明說明（14) --- 他的格式若有需要可以修改此補償值。、，圖6^為根據本發明之編碼器程序流程。此程序即是將水 :補賴值X傳送到解碼器的情況^若是在無法傳送水平補饧值X的情況時’即採用MPEG-2 MVP標準時，水平補償值χ 仍可用於減少在編碼器中尋找距離向量的複雜度，如和9所示。此補j員值X可根據不同的通信協訂來決定。例如’在影像串的連續影像中可以計算並儲存此义值。然而，此計算 =很複雜且不見得需要。另外，也可在—偵測到晝面改變’或是在一組新的影像開始時決定此補償值X ^新的影像組（GOP )即是—個或是一串不需要參考其他組G〇p影像就可以解碼的連續影像。選定重新計算此補償值X的最佳標準是基於實現的複雜度和視訊的特性。如果/又有替目前影像重新計算補償值χ的話，則可以使用之前所儲存的補償值。亡左視圖會輪入6 1 〇區塊以決定晝面是否有改變或是否為斜的影像組。如果是的話，補償值尋找範圍χ (其中〇 $ ^ $ X )會被載入區塊6 2 Q，即輸入到記憶體中予微處理器使用。如果不是的話’區塊6〇Q會使用前一晝面中所決定的水平補償值X。區塊=0是使用以之前所述之最小平均補償值或是最省平方補償值所決定的補償值x。此步驟是使用右視圖資科。麥考晝面會在區塊64〇中使用圖5所示之步驟重建。在此也是使用右視圖資料。

42683 5 五、發明說明（15) 在區塊6 3 G中尋，新建立的參考晝面，以決定最匹配的巨集區塊。即在茶考畫面中定義一個尋找範圍，將其中每 —:f塊，目w所解碼的右視圖巨集區塊相比較以決二^二目剛T，瑪的右視圖巨集區塊最色配的參考晝面巨 η各因麥考晝面為原始左視圖影像的相對差影像，所以其曰更接近右視圖，而可以將尋找範圍縮小以取得最匹配的巨集區堍。你丨“，、，_^ i士以下用圖9所描述的，尋找範圍可以由64x48減少到如8X8。 2區塊6 6。中的右視圖影像是採用如Mvp標準所揭示之已 ^ ^ ^ #在匚塊67〇中，如圖7所示’編過碼的資枓和補彳員值X破傳送到—_ 。t — π 解碼益，即一衛星廣播有線電視 Μ σ & π ^\ ^ ^ t標準並不傳送補償值X ,如此則補償值只銳編碼器端做為減少尋找範圍之用。圖7為根據本發明之_鲈+ 與視訊資料在-編過碼^/馬②程序流程。在此，補償值X φ £ ^ 馬的位兀串中一起傳送。在區塊700 中，將左視圖影像以；平補償值。在區塊710 考畫面使用補償值X舌建/法解碼。在區塊720中，參 ^ ^ ^ ^ 上建。在區塊7 30中，右視圖影像是用用補& # 4 ^像貝枓和參考畫面來進行距離預估。運用補知kx和動態向哥央抽山π 塊，而將最匹配的巨隼區塊出//配的參考畫面巨集區 ^ FI ^ ^ £塊衫像點貨料與相差編碼過的右相加就可以重建整個右視圖影像。時，補償值χ的情況下，即採用MPEG~2 MVP標準 _ 、？員值x仍可用於減少在編碼器中尋找距離向量

C:\Program Files\Patent\55608. ptd 第20頁 426835 五'發明說明的複雜度，即減少動態向量的尋找範圍。圖8為根據本發明之距離預估和動態向量的圖示。層包含一P-圖>;810 ’ 一弘圖片δ2〇，和一B一圖加強低層則包含一卜圖片84 0 ’ -P-圖片8 5 0，和卞，而 81㈣的方向即為預估的方向，其由參考影像/片估影像。例如’卜圖片85〇中的每一個巨集區塊是:向孩片840中相對的最匹配巨集區塊來進行預估。圖，恶向量（v Vy )代表每一個巨集區塊之最匹區^其預估巨集區塊之間的相對位矛多。在較低集估是集中在每—個巨集區塊的無補償值的位置上各預每-個預估的巨集區塊之左上角」：：值座標（0，〇 )。疋無補償 B-圖片820在較低層中是用卜圖片85〇來進行距而在加強層中是用pm1Q來進行暫時預估預估’ 預估水平補償值x的方法已介紹過。接下來，斜^距離中的巨集區塊進行距離預估 _ '圖片820 最四配的巨集區塊，其中離 ' 疋-圖片850中找出而不是在（。，”。即預估是集中在“，〇) 距離向量像點。集區塊之位置補償值，且是^ s知像點中相對的巨加強層圖片。特別&，加強層的尋= 距離預估點座標為（'，…基層的相對4:;，”塊之影像點座標為（vr，vr)，則距離向量見岛巨木區塊之影像 y

yr )。如此，距離向吾和丛夺’’.....(vx* vy ) = (xs-xrJ 42^835 五、發明說明（17) ~ ~ 的位置或是位移的量度。此距離向量可在右視圖頻道資料串中2輸以在解碼器端重建距離預估加強層圖片。再s兄’每一個巨集區塊在使用P_圖片_81〇暫時預估3 一圖片820是集中在（vx，Vy )。距離預估和動態向量的尋找程序可在參考圖9來進一了解。圖9為根據本發明之動態向量的尋找圖示。參照圖8 ’卜圖=85<3中。的巨集區塊900透過向量（vx,vy)在I-圖片840 中定義一最匹配的巨集區塊92〇 ^此向量即為—影像在兩個圖片中的暫時移動量。使用一尋找範圍91 0來找到最匹配的巨集區塊92〇。此尋找範圍之全部大小可為82x64影像’相對於16χ丨6巨集區塊9〇〇的變動範圍64x48。在加強層中的Β-圖片820巨集區塊的距離預估中，巨集區塊930是集中在（χ，〇)，且與較小的尋找範圍94〇中的^ 集區塊相比較，例如，其全部大小可為24χ24影像點，相對於16x^6巨集區塊的變動範圍8χ8。此補償值χ允許使用專父小的尋找範圍因為使用補償值編碼的巨集區塊93〇之最，配巨集區塊是傾向於在巨集區塊93〇附近影像點的較小 $巴圍。據此，可以有較快的處理時間且可用較少的記佾體。心另外，當將補償值傳送到解碼器時，由於每一個距離向量比較小’可對距離向量進行更有效率的變動長度編碼技術（即Hu f f man編碼），藉此減少需要傳送的資料量。位於巨集區塊9〇〇和p一圖片85()中的B一圖片820之一且集

^26835 五、發明說明（18) ------ 區塊也可在集中在由（v、，、)所定義之巨集區塊的卜圖片,81(1中^用一較小的尋找範圍。例如’古視圖資料串的動悲向量尋找範圍也可減少到8x8。這是正確的，因為圖片820和Ρ〜圖片810的關係較p-圖月850和I -圖片840的關係為相近。 r ”圖lj為根據本發明之一加強辭解.碼器結構的方塊圖。此解碼器130包含一接收壓縮過的加強層資料的輸入端 =05 ’及一用來取得資料的運送級語法取得器。此取得的資料再輸入到一記憶體管理器丨〇 3 〇，其包含一中央處理器此s己憶體管理器1 〇 3 0與一包含如動態隨機存取記憶肢（DRAM )的記憶體1 〇20互相溝通。補償值x與加強層資料互相溝通或是由立體視訊訊號中所得。運用解碼過的較低層資料和此補償值X就可以重建參考畫面。此記憶體管理器1 030也與一解壓縮/預估處理器丨〇4〇互相溝通，並透過端點1 〇50接收解過碼的較低層資料，此資料可暫時儲存於記憶體1〇2〇中以使處理器1〇4〇用於對距離預估加強層圖片進行解碼。此解壓縮/預估處理器1 0 40具有許多處理的功能，如偵錯和校正，動態向量解碼，反量化，反數位餘弦轉換，

Hu f f man編碼和預估計算等。在經過解壓縮/預估處理器 1 0 4 0處理過後’記憶體管理器會將解碼過的加強層資料輸出。另外，解壓縮/預估處理器1 〇4 0也可直接以未提到的方法將解碼過的加強層資料輸出。在較低層中可以使用類比的結構。再者，加強和較低層

C:\ProgramFiles\Patent\55608.ptd 第 23 頁 426835 五、發明說明（19) 可共用記憶體1 02 0和處解碼器可以共用硬體設備。_ ^ 理器1 04 0。測試的結果顯示本發明的補作、 j饰仏值預估技術可以有效地提高立體視訊訊號的編碼效率。此補償值預估技術#MpEG_2 MVP 的方式實現，並以IS0/IEC JTC1/SC29/WG11/MPEG-4 的 C i a s s D視訊測視資料串和其他資料串測試過。表格1為補償值尋找範圍X = 2 0的測試結果實例。透過μVP的編碼效率改善範圍為2. 0到5. 2%位元/晝面。PSNR代表訊號-雜訊比例的高峰值。所有的圖片都為Ρ-圖片。表格1 資料串量化階Q PSNR 整體編碼位元數改善度右視圖傳輸率 Tunnel (補償值x=2 ; 畫面數n=第50) 26 31 210,818 2°/〇 3百萬位元/秒 Tunnel · (補償值x=2; 晝面數n=第50) 33 30 172,011 4% 2百萬位元/秒 Fun Fair : (補償值x=8 ; 畫面數n=第2) 26 31 223, 939 2. 3% 3百萬位元/秒 Fun Fair : (補償值x=8 ; 畫面數n=第2) 33 30 181,071 5. 2% 2百萬位元/秒

C：\Program F11es\Pateat\55608. ptd 第24頁 426835

五、發明說明（20) 巨集區塊化為零或可以進一步提高編使用一臨界值T以在壓縮後將剩餘的是將高頻的數位餘弦轉換係數化為零碼的效率g 本發明提出一系統在同一暫時的參者跨層）㈣的動態向量尋找範圍以提高(二跨頻道或層畫面有改變或是啟用新的圖月組時;：。當較低計算。了此補償值需要重新在，端，此最佳補償值x是根據加強和較低像間之取小平均補償值或是加強和較低層影像間之/ 補償值所決定。此補償值x界於一補償值尋找範圍…删除較低層影像的最右邊X列，並在較低層影像的最左邊補進X列就可以有效地將較低層影像向右移動x列以距離預估加強層影像的參考影像。對於任意形狀的影像如 ,可以刪除在V0P上垂直延伸的最左邊乂列，並在v〇p之最右邊的間始處補進X列，以將左視圖中的V0p向右移動。、，尋找參考晝面以取得最匹配的巨集區塊，再將右視圖做差別編碼。在解碼器端’如果可以的話可將補償並用於重建距離預估的參考晝面。重建雖然本發明以許多不同的具體實施例加以說明，諳熟此藝者應了解在不脫雖本發明的精神和如申請專利節圍所扭到之範圍的情行下是可以有許多應用和修正的。^ ^

C:\Program Files\Patent\55608. ptd

426B35 _案號87117979 #年Θ月日修正五、發明說明（21) 圖式元件符號說明 1 05 暫時的多工器 110 加強編碼器 115 較低層編碼器 120 系統多工器 1 2 2 解碼器 125 多工解碼器 130 加強解碼器 135 較低層解碼器 140 暫時的多工器 2 0 0 照相機 210 左視透鏡 215 軸 2 2 0 右視透鏡 2 2 5 軸 2 30 内視距離 2 4 0 照相機平面 300 I-圖片 310 Ρ-圖片 4 0 0 I -圖片 410 Β-圖片 4 2 0 Β-圖片 5 0 0 左視圖影像 5 0 5 物體 510 右視圖影像

O:\55\55608.ptc 第25a頁 2000. 03.15. 026 ㈣Μ 87117979 的

(I 曰修正五、發明說明（22) 515 物體 Ψ 5 2 0 最右邊之X列

. ϊ C 5 3 0 填入之區域 5 3 5 左視圖 5 4 0 左視圖 8 10 Ρ -圖像 820 B -圖像 830 B _圖像 840 I -圖像 850 P-圖像 860 P -圖像 9Ό0 巨集區塊 910 尋找範圍 920 最匹配之巨集區塊 930 巨集區塊 940 尋找範圍 1005 輸入端 10 10 運送級語法取得器 1020 動態隨機存取記憶體 1030 記憶體管理器 1040 解壓縮/預估處理器 1050 端點

O:\55\55608.ptc 第25b頁 2000. 03.15. 027

Claims

a F, o ^ 17$? 六、申請專利範圍 1 . 一種利用一把 -加強層中之加強像【測-立體视頻信號内間的-最小平均1；;強層影像像素值與該低層影像像素之影像像素值之間的f ^ 2 jl)、該加強層影像和該低層強層影像和m 4氏層号,後==，丨中之―以決定該加根據該最佳補最佳補償值’x ;及異預測1玄加強層景Η象的參考影像。 S於以差 2. 如申請專利範圍第卜貝之方法，其中：強a心像是由參考影像以動量補償的測出來；及八以差異預對於該無移動低層影像搜搜尋範圍’在該參考影像中獲得最匹配的影像較為减少之 3. 如申請專利範圍第1項之方法’尚包含下述步總. 至少根據照相機焦距參數及一内視透鏡· —判定一預計補償值：及兄門h兩者中之在該低層影像内以該預計補償值所決定之以找到該最佳補償值。 L国中搜尋 4. 如申請專利範圍第1項之方法，尚包含如下步驟. 在一水平補償值範圍X内搜尋以找到該最佳你’ 俾使0 S X s X。預^值X， 5 ·如申請專利範圍第1項之方法，其中：該加強層影像和該低層影像包含一視頻物體 6 ‘如申請專利範圍苐1項之方法，其中： ’面a

C:\Prograni Files\Patent\55608. ptd 第26頁 426835 六'申請專利範圍 ^ --- 該加強層影像和該低層影像為任意的形狀。 7 如申請專利範圍第下述步驟：目弟6;貝之方法，其t該移動步驟包含將VOP最左邊有—Y務本*· riEiAr» 在VOP最右二八/Λ 區帶冊11除；及邊緣。 77自上俾以一χ像素寬度延伸最右邊的 8 ·如申睛專利範圍第丨項之古、土下述步驟：、之方法其中該移動步驟包含刪除低層影像中χ最右邊之像素欄；及將X像素欄補進低層影像最左邊的部疒。 9.如申請專利範圍第1項二少庙、r < 万古尚包含下述步驟：值χ ;及旻勑日守决疋一個新的最佳補償若^測到低層影像有變動，則採像的補償值做為最佳補償值χ。 -增Υt 1 0_如申請專利範圍第1項之方法，其中. -個新的最佳補償值χ經確定後用於該低層的' 影像中5 U.如申請專利範圍第1項之方法，尚包含如下步驟：將該立體視頻訊號中最佳補償值用以重製該參考影像。 1 2 ‘如申請專利範圍第1項之方法，其中，以該最小平均誤差來說’該最佳補償值χ須予確定使該值為最小，

C:\Program Files\Patent\55608. ptd ------ 第27頁 426835 六、申請專利範圍 Dist_L'(x) ---- h(w - (w - x-l)(h- 1)Σ Σ 丨{yL(1 + x，J_)-yE(i>j) ：0 其中yL和yE分別代表低層與加強層影像亮度和:i分別為低層和加強厗与德的皮車冢素值男傻的古庚先加強層衫像的水千和垂直座標，h為低層〜像的dw為低層影像的寬度，影像而加強層影像為—右視影像。 ^左視 1 3.如申請專利範圍第1 2項之方法，立中. 償二2];τ均誤差值來說1色亮度像素值的最佳補 14.如申請專利範圍第1項之方法，其中：該值：ί :小均方誤差來說’該最佳補償值Χ須予確定使其中yL和yE分別代表低層和加強層影像的亮度像素值， i和j分別為低層和加強層影像的水平和垂直座標’ h為較低層影像的高度，w為較低層影像的寬度，該低層影像^ 一左視影像而加強層影像為一右視影像。 · 1 5.如申请專利範圍第1 4項之方法，其中：以該最小平方誤差來說，彩色亮度像素值的最佳值為[x/2]。 ^ 1 6. —種用以預測一立體視頻訊號中，一加強層之加強

C:\Program F iles\Patent\55608. ptd 第28頁 426835 六、申請專利範圊層影像之裝置’其係利用一低層之一低層影像所預測，該裝置包含： ~ —用以確定該加強層影像與該低層影像之間一最佳補 G值X之方法，該方法係依據下述兩者之一，即（a )該加強層影像像素值與該低層影像像素值之間的最小平均誤差，以及（b )該加強層影像像素值與該低層影像像素值之間的一最小均方誤差以決定該加強層影像和該低層影像之間的袁佳補償值，X，的方法；及 —根據該最佳補償值將該低層影像予以轉換俾獲得— 參考影像以用於預測加強層影像之方法。 1 7·如申請專利範圍第1 6項之裝置，其中： ^ 強層影像是由參考影像以動量補償方式差異預測而，來未轉換低層影像已減少之搜尋範圍， a >考心像中獲得一最相配之影像。 18.如申請專利範圍第丨6項之裝置，尚包含：用以裉據至少—個攝影機焦距參罐定-預估補償值之方法；& Μ Θ目鏡間在。亥低層影像令於該預計補#信& + 尋’俾找到嗲土 '老户士貝值所確定的範圍内搜 ^ 干W W忒取佳補偾值的方法。 I9·如申請專利範圍第16項之裝置 · 在一水平的補償值範圍义中 ° ^ 3 · 而使0 S X S X的方法。钗+俾找出該最佳補償<1 項之裝置，其中： 20.如申請專利範圍第16

弟29頁 426835 六、申請專利範圍 91二加#強#層^像和該低層影像包含一視頻物體平面。 21二如申明寸利範圍第1 6項之裝置，其中： π該Λ強Λ影像和該低層影像為任意的形狀。傻夺？圍第21項之襄置’其中該轉換方法將邊邻份補上往素見度最左邊的部份刪除，並將一V〇P最右 :Λ 像素之一寬度將最右邊之部份延伸。 23·如申請專利範圍第16項之裝置，除低層影像最右邊部&, w ^其中该方法用以刪邊之一部份。她亚以x像素欄補進低層影像最左 24·如申請專利範圍第i 6項之 ⑷用以在偵測到低層影像之景像下=法：新的最佳補償值x ;及 ‘决足一個 (b)用以在未偵測到較低層影像之影像:新的最佳補償值X經決定俾用於該低層中之—纽新 2 6.如申請專利範圍第16項之裝置 . 用以將立體視頻訊號中的最 ° G 3 : 碼器使用以重建該參考影像的方法。貞值乂予以傳送供解 2 7.如-申请專利範圍第1 6項之裝置’並該最佳補償值x須經決定俾了 ^ 最小：早使4取小平均誤差之值為

C:\Program Files\Patent\55608. ptd 第30頁 426835 六、申請專利範圍 Dist_Ll(x) 1 ' , h(w — X) Σ〇 I〇llyLa + x〇)-yE(M) ''中yL $ h刀別代表低層和加強層影像韋产傻辛值，i 和j分別為低層和加強声与德沾k i i 儿又习抱认古痒 .強曰〜像的水平和垂直座標，h為低層尽/像的南度，W為低a旦彡後从办也 &浼11 像的見度，該低層影像為一左視衫像而加強層影像為一右視影像。兄 2 8.如申請專利範圍第2 7項之裝置，其中：以該最小平均誤罢决今、，π A _ 值為[χ/2]。、末5兄知色兜度像素值的最佳補償 29,如申請專利範圍第16項之裝置，其中：以該最小均方誤差來說，該最佳補償值使該值為最小，貝徂H紅確疋俾 Dist_L2(x) = —L__ h(w - χ) Σ ：0 Σ =0 yL(i + x,j)-yEaj) }2 其中yL和yE分別代表低層和加強層的影像亮度像 i和i分別為低層和加強層影像的水平和垂直座枚，h 值層影像的高度，w為低層影像的寬度’該低層影1象^低視影像而加強層影像為一右視影像。 ··” —左 3 0.如申請專利範圍第29項之裝置，其中：的最佳補償中之低層以該最小均方誤差來說，彩色亮度像素值值為[χ / 2 ]。 3 1，一種在一立體視頻訊號加強層中利用低層

C：XProgram F i1es\Patent\55608. ptd 第31頁 42683^ 六、申請專利範® 影像預測一加強層影像的解碼器，包含：用以自該立體視頻訊號重建該加強層影像與該低層影像之間的隶佳補償值X之方法；及根據（a )該加強層影像素值和該低層影像像素值之間的一最小平均誤差以及（b )該加強層影像像素值與該低層影像像素值之間的一最小均方誤差等兩者之一，在編碼器上決定該最佳補償值X ; —根據該最佳補償值轉移該低層影像以獲得一用於差異預測加強層影像之參考影像的方法。 3 2 ·如申清專利範圍第3 1項之解褐器，其中：該加強層影像是由參考影像以動量補償的方式差昱測而得；及利用相對於該低層影像未有該轉移時之搜尋範圍較少的搜尋範圍，於該參考影像中獲得一最佳相配之影像。 3 3 ·如申請專利範圍苐3 1項之解瑪器，其令：咸加強層影像和該低層影像包含—視頻物體平面。 34.如申請專利範圍第3 ]項之解碼器，其中：該加強層影像和該較低層影像為任意的形狀。 3 5.如申請專利範圍第3 4項之解碼器，其中該轉移方法剛除具有-X像素值寬度之VOP最左邊部份，並補^最右邊的部份而將該最右邊部份延長一個X像素的寬度。 3 6,如申請專利範圍第31項之解碼器，其中該^移方删除該低層影像X最右邊像素欄，並以χ像素欄補上該柄

C：\Program F11es\Patent\55608. ptd 第 32 頁

^26835 六、申請專利範固 37·如申請專利範圍第31項之解碼器，其中：以該最小平均誤差來說，該最佳當、使該值為最小，踊償值X須經確定俾 Dist„Ll(x) 1 h(w - χ) (w_x-l)(h-D 丨,ς〇 ^〇|{yLa+x,j)-yE(1,j)| 其中\和κ分別代表低層和加強層的影像亮度像素 1和j ;別為低層和加強層影像的水平和垂' 層影像的高度，w為較低層影像的寬度，該低：影像為，左視影像而加強層影像為一右視影像。 38‘如申請專利範圍第37項之解碼器，其中· 值為平均誤差來說’彩色亮度像素值的最佳補償 39·如申請專利範圍第31項之解碼器，其中：以該最小均方誤差來說.，該最佳補償值x須經確定使下列值為最小，％疋1早 ------ h(w-x) Ο j=〇 1 yL(l + xJ)-yE(i,j) }2 其中八和分別代表低層和加強層的影像亮度像素值， 1和j分別為低層和加強層影像的水平和垂直座標，h為層影像的高度，w為低層影像的寬度，該低層影%象為二= 視影像’而加強層影像為一右視影像。 40.如申請專利範圍第39項之解碼器，其中：

C:\Program F i ies\Patent\55608. ptd 第33頁 426835

C:\Program Files\Patent\55608. ptd 第 34 頁