TW201233184A - Method of coding a sequence of images and corresponding reconstruction method - Google Patents

Description

201233184 六、發明說明： 【發明所屬之技術領域】 具體言之，係關於影像 定位在視訊寫碼績效之 本發明係關於視訊寫碼和解碼 序列之寫碼方法和序列之重建方法 改進，維持較低位元率之同樣品質 【先前技術】 當影像序列之影像在編碼時，已知先預估影像 ，不論在 二間士或時間上’並將影像預估結果的剩餘訊號編碼。空間 氣H稱為「影像内」（INTRA)預估，而時間性預估亦稱 ^ 衫像間」（INTER )預估。ITU_T Rec H 264/is〇/iec -10 AVC視訊寫碼標準，規定三種不同影像内預估模 i門ϊϋϊ4、ΙηΓ8χ8和In祕x16，相當待寫碼的區塊之 ϋ紐=此等㈣模態可開發不同方向性預估模態，以 叙0元°在Intra4x4 *Int她<8中，界定九種 ^之^此等模射八個是由待雜11塊周圍的圖 區塊之圖亓向ΐΐί組成。附加預估模態(DC模態)把預估 ^塊之圖7L，界定為可得周圍圖元之平均。 一時了 於單方向性定向結構’適應可行預估方向之 ^ 2D 〇 ^ 碟傳播和難^ C祕_倾_不能正 【發明内容】 目的m在免除先前技術之至少—項缺點。本發明之- 制’根據現時影像之旦彡德始* 、焉焉益/解碼器 接用做參照S 像摘要（例如縮影），其中影像摘要間 包括=步ί發明係關於影像序列之寫碼方法，對現時影像 製作現時影像之摘要； 把摘要編碼入第一位元流； 201233184 從摘要重建居間影像，與現時影像同其尺寸； 使用居間影像為參照影像，把現時影像編碼入第二位 元流内。 按照本發明要旨’現時影像之摘要包括紋織縮影和指派 映圖。 指派映圖宜使用固定長度寫碼方式或使用變化長度寫碼 方式編碼。 第二位元流宜符合一種視訊寫碼標準，屬於一組視訊寫 碼標準，包括： ITU_T Kee· IU64/ISO/IEC 14496-10 AVC 視訊寫碼標 準；和 ISO/IEC 13818-2 MPEG2。 本發明又關於影像序列之重建方法，對現時影像 列步驟： 解碼現時影像之影像摘要； 從摘要重建居間影像； 使用影像摘要是要解決細2D域雜的方向性 誠然’摘要影像是由真實紋織構成，僅來自I H持要目的，是要除去原有影像内之冗 型可提供更雜2Ι^(ΐ接補）’最佳代表影像紋織。此等圖 定向之單方^插值織之難，因為2D接補是被視為代替 【實施方式】 之現像碼方法。寫碼方法係就序列 201233184 第1圖展示本發明寫碼方法。 且辦ί步=1，從現時影像Ieurr製作影像摘要。按照特定 二體Η ’影像摘要是縮影。‘然而’本發明不限於此種摘要。 摘要（例如接補字典）均可用，惟f彡像要能夠由 要直建;。 在步驟22，影像摘要編碼入第一位元流F1内。舉例而 言’摘要係使用唯影像内寫碼模態，符合Η·264標準編碼。 心照隻化例，影像摘要係符合jpeg 2〇〇〇 Pait，is〇/I£(r JTC1/SC 29/WG1 std· (2_年3月）文件所界定^pEG標準 在步驟24，影像摘要經解碼成解碼摘要。步驟24 驟22之反逆^ 7 在步驟26，從解碼摘要重建居間影像。 在步驟28，現時影像Icurr係使用居間影像為參照影 像，編碼入第二位元流F2内。舉例而言，現時影像係符合 H.264編碼。按照變化例，現時影像是符合ΜρΕ(}2 is〇_iec 13818視訊寫碼標準編碼。可用通常寫碼模態（影像間和影 像内寫碼模態）。當現時影像之區塊係按照影像間寫碼模態編 碼，則把區塊與參照影像内（即從解碼縮影重建的居間影像 内）相對應區塊間之相差，予以編碼。相對應區塊在參照影 像内係由運動向量識別，亦可為參照影像内之共局部化區 塊。雙向性預估亦可有參照影像之二區塊。此相差亦稱為餘 數事實上疋在£塊與其從參照影像導衍的預估間計算之預' 估誤差。通常，餘數是先轉換成諸如DCT係數之係數區塊。 係數再量化成量化係數區塊。量化係數最後使用熵寫碼，諸 如公知的鼻術寫碼’ CABAC (代表Context-Adaptive Binary Arithmetic Coding，脈絡適應二進算術寫碼）、CAVLC (代表

Context-Adaptive Variable-Length Coding，脈絡適應可變長度 寫碼）等，編碼入位元流内。本發明不限於編碼餘數所用之 編碼型式。位元流F2係預估誤差剩餘位元流。按照變化例， 201233184 第一和第二位元流多工化成單一位元流。 第2圖展示本發明特定具體例之寫碼方法，其中 要係縮影。影像之縮影是以其窄體展示，含有 結構性能之本質。 1，讀的、，文織和 在步驟2〇，從現時影像Icurr製作縮影。所以昭 ，，具體例’現時影像leurr經因子分解，即為現時影像g 、、文織縮影E和轉換映圖φ。縮影原理是由H〇 人 〈因子分解影像内和影像間之重複内容〉（發表於Ac^ IGGRAPH 2008 » ACM Transaction on Graphics > % 27 ^第3期M〇頁，2008年）首先揭載。紋織縮影E係^取 影像的紋織片（例如—組圖）所構成。轉換映_係 間之/目嫩時^ 物議細接補 1圖描繪H()PPe方法。從影像1製作紋織縮影E和轉 =圖Φ，使所有影像區塊可由匹配縮影接補重建。匹配接 5稱為轉換接補。轉換映圖在文獻上又稱為向量映圖或指 ^映圖。以紋織縮影E和轉換映圖φ，能夠重建現時影 I。以下，縮影兼指紋織縮影E和轉換映圖φ。 =®描繪騎製作方法。然而，本發_毫不限於此 作方法。文獻上已倡議縮影之其他形式。在〈使 向類似性綜合視訊資料〉（發表於2_年Cc)mputer Visi()n

Recognition CVPR)的文件十，Simak〇y 等人揭示 f向類似性措施製作影像摘要。其策略旨在滿足二要件： 來自輸人賴之視訊資訊，科盡量外進輸入資 科内所無的新視訊幻影（即保存視訊凝聚性）。 在〈視訊縮影〉（發表於Intemati〇na〗 J〇umal 〇f C _ 二軸第76卷第2期，2008年2月）文件中，cheung等人 測不Γ種統计方法，以摘取縮影。此策略係基於或然率模 1，兼掌握顏色資訊和某些空間圖型❶ 在;X驟210，縮影構成方法包括在現時影像icun>内找出 201233184 自我類似性。現時影像因而分成區塊之規則柵格。對現時影 像Icurr内之各區塊’可在同樣影像内搜尋到一組接補，有類 似内谷。即’對於各區塊，決定匹配（或匹配 接補）之表單心^(尽)={<。，^，…丨，近似玖指定錯誤容差s。 在此具體例内，匹配程序是使用平均Euclidian距離，以區塊 匹配演算進行。所以，在步驟210，於表單^^供)添加現時 影像内之接補Μμ ’其對區塊之距離小於^。距離係等於例如 在區塊Bj和接補My間之逐一圖元相差，除以内圖元數之絕 對值。按照變化例，距離等於SSE (Sum of Square Errors， 平方誤差之和），其中誤差是區塊氏和接補間逐一圖元相 差。在全影像内進行徹底搜尋。一旦對一組影像區塊已製作 ，成全部接補表單’即在步驟220建議新表單z，_a(m ,)，指 示可由匹配接補展示的影像區塊組。須知全&尋步 驟所發現全部匹配區塊不必然與區塊柵格對齊，因而屬於第 5圖所示「圖元柵格」。 a在步驟240，構成縮影圖。為此，摘取（更嚴格言之， 疋選取）紋織接補，以構成縮影圖，全部縮影圖聯合起來， 構成紋織縮影E。各縮影圖代表影像内就紋織而言之特 域。步驟240詳細如下： 在步驟2400 ’指數η設定等於〇，n為整數。 在步驟24G2，設始第—縮糊％。可用若干候選匹配 ’以設始縮影圖。以最能代表尚未重建賴餘區塊之匹 =接補，設始各縮影圖。令指輸入影像，而令 候選匹配接補4建之雜，和先前構成之縮影圖。為 二:使用如下選擇基準，根據平方誤差（mse)基準之

(1) 201233184 維旦基準在整體影像上考量到預估錯誤。此項基準使得 型延伸，得以重建最大數量的區塊，同； :時具體例中，對影像圖元指定： 6 ISI矣-〜象重建錯誤時’尚未被縮影接補預估在内。第 6圖^不一旦選擇第一縮影接细重建之影像區塊。第 域，圖〇4 = 影圖％即從輸入影像逐漸成長一區 2，：=Γ ί，即保持可在影像内預估的額外區塊 數如第7圖所不。此步驟亦稱為縮影圖延伸。 侧仏⑼相#於保留在設始步驟之紋織接補。 縮衫成長步驟先進行败匹配賴％ #合，疊合現時圖 ⑷’並展現其他景彡像區塊。所以，有若干候親域^， 可用做現時縮制之延伸。對於各圖成長候選^，可以重建 的補充影像區，，是由健與含能元合的匹配接補 Μμ相關之表單決定。然後，在候選圖成長集合當 中發現最適候選Δ£^,，導致按照速率畸變基準選擇最'佳匹 配。令脑指輸入影像，並令題指現時縮影Ε咖重建 之影像，和®成長輯。彡貞知現時轉先前構成 的縮影圖ECn(k)所組成。此項選擇誠然按照拉格朗吉 (Lagrangian)基準FCext的最小化進行： ^=min(Z),u ^ + Z*Re^+&e) withEcurr = /=0 Λ Ε curr ~Ν 在較佳具體例中，λ值設定於1000。基準第丨項指涉， 當輸入影像利用現時縮影= 内所含紋織資訊和增量 M：重建時，母圖元之平均預估誤差。一如在設始步驟中，當 影像圖元既不受現時縮影Ecuit，又不受到增量衝擊時，乃^ 疋0值。FCext即就全影像計算，而非僅僅對重建之影像區

AE ορι = argmin /V μΣΣ(υ·,)

N*M Λ*

201233184 塊。基準第二項相當於構造縮影時的每圖元速率，粗略 為現時縮伽之®元數及其增量，除以影仙之圖元總數。 俟選擇局部最適增量從。〃後，現時縮影圖變成： 五(^ + 1)=五(^(幻+ Δ£：ορ/。指派映圖即為ECn(k+1)所新重建 的區塊而更新。 然後’在下-次迭代k+1當中，把現時圖延伸，直到不 匹if補Mj“疊合於現時圖五⑽並代表其他區塊。若 。接補存在，則方法在步驟2倾“ ECn(k+1)繼續。 能夠延伸，且全影像尚未能_現時縮影（步 直建1寺，指數n在步驟謂增1，在影像的新位置 2 °此方法即在步驟24G2以新的縮影圖繼續， 新圖°全影像利用縮影重建（步驟纖 紋織縮影例參見第8b ® (此縮影由9 侧&圖組成）。第8a陳示 · =丄=?严部縮影圖EC"之聯合指= · ’指示其在重建所用接補的紋織縮影 轉換:以像;/=以之大:::3織、縮影和 像之間有麵絲。絲像和重建影 此等剩餘差異。回到第2^頻即必須進一步編碼 碼入第-位元流F1内。^旦2，把縮影（E，Φ)編 編碼。舉例而言，㈣以做為唯影像内編碼器 ^扁碼戀按照變化例’紋織縮影係符合騰標 二全部變的 質影像，例如 態編碼。按昭另—變參照影像，以影像間寫碼模 如H.264, MPEG2 Ϊ) , 使用古典編碼器（例 等方法通常包括步驟為:^^^象間預估模態編碼。此 碼，計算剩餘訊號。S二DCT、量化和摘寫 w換映圖φ是以固定長度碼（FLC)或 201233184

可變長度碼（VLC)編碼。但A CABAC··.)。轉換映圖是向量映圖。一亦可使用（例如 在步驟24，把紋織縮影E解碼。 步驟之反逆，差別在熵寫碼。舉例而= 驟包括從預估訊號、DCT和量化，^寫瑪步 驟24包括解量化、逆向DrT ^ +叶异剩餘訊唬，則解碼步 以得重建訊^。 添加麵域於_訊號， 像。在步驟26，由解碼紋織縮影E和轉換映φ圖重建居間影 干。ΐί 的縮重建之居間影像實施例，如第8c圖所 :接;ΪΪ掃描處理。重建可為賴轉換映圖識別 的接補之卩θ?早複I若使用麵元重建 驟28 ’現時影像使用居間影像為參編步 是符合腿視訊寫碼標準=照現 時影像疋_ MPEG2視訊寫碼鮮編碼 模態（影像間和f彡仙_賴日]㈣㈣寫碼 後Μ宜顧碼模態）。备現時影像之區塊按照影 將此區塊與參照影像（即居間影像 參照影像内，是以也已編碼的運動向量識別。亦可于 按照變化例，無運動向量被編碼，使用參照 衫像内共局部化區塊。差異亦稱為餘數，事實上是區塊应立 衍自參照影像的預估間算出的預估誤差 ^ ，，，系數之係數區塊。係數則再量化成== 數區塊。1化係數最後使賴寫碼，諸如公知的算術寫 碼、CABAC (代表脈絡適應性双元算術寫喝）、cavlc (代 表脈絡適應性可變長度寫碼）等，編碼於位元流内。本發明 不限於編碼練編碼_。位元流F2 _估錯誤剩餘位 元流。 内 按照變化例，第-和第二位元流多工化於單一位元流 201233184 if特定具體例之寫碼方法，包括按照現時影像Icurr 容差f，追蹤自我類似性，以建立紋織縮影E， i 早區塊匹配技術。再由取自輸入影*Icurr和向量 為指派映圖）的紋織片，構成縮影，於此含有簡單 執^。，並保持輸入影像各區塊和縮影一區塊間相對應之 似ίΐ ’由紋織縮影和指派映圖重建居間影像。最後，現 預^编;=重建影像he為參照f彡像，以影像間之影像 預估編碼。按照特定具體例的編碼方法步驟如下： 1·=現時影像〗之縮影（由紋織縮影和指派映圖組 成）’更一般而言是建立icurr之影像摘要； 2·把縮影（紋織和映圖）編碼入第一位元流； 3.從解碼之紋織縮影和映圖，重建影像； 4=居間影像I似為參照影像，把現時影像〗編碼 一)第二位元流，以使用做SNR標度精神内之預估。 映圖，立S F2 (一有關紋織縮影和編碼縮影之指派 =秘彡像Ieurr)，最财是制解·，就是 储存在儲存媒體内，諸如硬碟或DVD。 第9圖展示本發明重建方法。 寫砰ίΪΪϋ從第一位元流F1解碼影像摘要。此步驟為 馬碼方法步驟22的反逆步驟。 方法i4致使㈣像摘要重建居_像。此步驟與寫碼 現時上6區照影像重建現時影像。當 此差異事實上是在二=====預 201233184 估間算出之預估誤差。通常，量化係數係使用熵寫碼，諸如 公知的算術解碼、CABAC、CAVLC等，先從第二位元流解 碼。量化係數再解量化成解量化係數，諸如DCT係數之一區 塊。解量化係數最後例如使用反逆DCT，轉換成餘數之一區 塊。餘數區塊再加到參照影像内之相對應區塊。 按照變化例’重建方法又包括步驟3〇，當第一和第二位 元流經多工化時，把位元流解多工化成第一和第二位元流。 心照第10圖所示特殊具體例，影像摘要係縮影。所以， 步驟32包括解碼紋織縮影和向量之指派映圖。居間影像之影 像重建，是在編碼器和解碼器，由解碼紋織縮影和指派映圖 對稱實現，以免在重建現時影像時，有任何漂移。 第11圖展示本發明寫碼裝置。在第一輸入m，寫碼裝 置ENC接收現時影像icun^輸入連結於IFM。模組正^ 適於按照編碼方法之步驟20，製作現時影像Icurr之摘要。 影像因子分解模組IFM連結於第一編碼模組ENC1。第一編 碼模組ENC1適於按照編碼方法之步驟22，把摘要編碼成第 一位元流。寫碼裝置ENC又包括第二編碼模組ENC2，連結 於第一編碼模組ENC1。第二編碼模組ENC2適於按照編碣 f法之步驟24,26,28，把現時影像編碼為第二位元流。具體 各之，第二編碼模組ENC2適於把第一編碼模組ENC1所編 碼之影像摘要解碼，從解碼摘要重建居間影像，並使用居間 影像為參照影像，解碼現時影像Icurr。編碼裝置ENC又包 括多工化模組MUX，適於把第一和第二位元流多工化成單^ 位元流或輸送流。在此情況下，多工化模組係連結於單一 出一OUT。按照變化例，多工化模組係在寫碼裝置外部，再^ 括二輸出，一供第一位元流，一供第二位元流。 第12圖展示本發明解碼裝置DEC>解碼裝置在第一 入IN接收位元流。輸入連結到解多工化模組demux。 ^ 工^模組DEMUX躲她城讀，域表影像摘要 之第一位7L流，和代表餘數之（更準確而言是預估錯誤餘 201233184 數）第一位元流。按照變化例，解多工化模組DEMUX係 解，裝置外部’則包括二輸入’一供第一位元流，一供第二 位元流。解碼裳置dec又包括第一解碼模組DEC1，適於按 照重建方法之步驟32，從第-位元流解碼景彡像摘要，又包括 第一解碼模組DEC2 ’連結於第-解碼模組DEC1。第二解 模組DEC2適於按照重建方法之步驟34,36,38，從第二位元 流重建現時影像。更具體而言，第二解碼模組臓2適 解碼摘要重建居間f彡像，並㈣居間f彡像林郷像， 現時影像Icurr。 與基於影像内寫碼的現行方法比較，本發 。本發明主要特徵是使用影像摘^估= 建影像常尺寸’即難作縮f彡的絲f彡像尺寸相同）J 視訊編碼如驗參照影像。重建影像宜與要編碼 寸相同。所以’可用有效模態，諸如已知「越步模態」鳴^ 現時影像内之區塊，因而降低其編碼成本。 . 本發明主要標的細是視訊分佈（&含壓 訊壓縮有關的顯示科技應用。 兴視 .首先’本發财受為現時影像計算的餘數（即區塊盘失 照影像内相對應區塊間之差異）寫碼所用編碼方^ ΪΞ之方法。誠然本發明寫碼方法騎要編碼之影像i 耑影像摘要’不論製作摘要所用的方法為何。 ’、 【圖式簡單說明】 ~ 第1圖描繪本發明第一具體例之寫碼方法； 第2圖♦繪本發明第二具體例之寫碼方法. 第3圖表示先前技術之製作縮影以及從縮影 第4圖展現本發明第二具體例寫碼方法之.…， 第5圖展現指定之影像區塊Bi，與在 像 界的匹配接補集合匹配，錯誤容差ε ; 遌〜像以白線為 η 201233184 ，6圖展翻設始步驟1邊’影像内灰色區塊是以現 U在現時重建之區塊，現_影ECn起初是以單-接補E〇 第7圖展現圖延伸步驟： 作之二圖bf:由原有影像 第9圖描繪本發明第一具體例之重建方法； 第10圖描繪本發明第二具體例之重建方法； 第11圖展現本發明之寫碼裝置； 第12圖展現本發明之解碼裝置。 【主要元件符號說明】 22 24 26 28 32 34 36 210 220 240 2400 2402 2404 2406 2408 F1 Icurr 20 從現時影像製作影像摘要之步驟 ίίΐί要編碼入第—位元流内之步驟 把衫像摘要解碼成解碼摘要之步驟 從解碼摘要重建居間影像之步驟， 參照影像，把現時影像編碼入第二 影像摘要之步驟 居間影像之步驟 ==自我類似性之λ步驟 F2 Irec 構成縮影圖之步驟 才曰數η设疋專於〇之步驟 設始第一縮影圖之步驟 縮影圖從輸入影像逐漸成 全影像利騎影輯之^ —區域之步驟 指數η增1之步驟 ^驟 第一位元流 現時影像 第二位元流 居間影像 201233184 IN 第一輸入 IFM 模組 ENC 寫碼裝置 ENC1 第一編碼模組 ENC2 第二編瑪模組 MUX 多工化模組 OUT 單一輸出 DEMUX 解多工化模組 DEC 解碼裝置 DEC1 第一解碼裝置 DEC2 第二解碼裝置

Claims (1)

1. 201233184 七、申請專利範圍： L一種影像序列之寫碼方法，對現時影像包括如下步驟： 製作該現時影像之摘要； 把该摘要編碼入第一位元流内·， 此編碼方法之特徵為，又包括： 從该摘要重建居間影像，與現時影像同樣尺寸； 元流内Ϊ用該卿输晴，滅鑛編寫入第二位 包括項嫩心細影像之摘要 固定3長2項_，其_派映圖係使用 變化4長Γ寫==2項之方法，其中該指派映圖係使用 5.如申請專利範圍第1 ^ . 屬於視標準集合之-視訊寫怎流符合 準； 心.R264/IS〇/IEC 14496-10 AVC 視訊寫碼標 和 ISO/IEC 13818-2 MPEG2 者。 箱織如下步驟： 此重建方法之特徵為，又包括： 從該摘要重建居間影像；和 影像係像’重建該現時影像，該居間