TW201028015A - Flexible interpolation filter structures for video coding - Google Patents

Description

201028015 六、發明說明： c 日月戶斤々貝】 發明領域 各種實施例係有關於視訊編碼。更特定地，各種實施 例係有關於針對視訊編碼中運動補償預測 (motion-compensated prediction)中的次像素位置使用自適 應性切換之内插及/或濾波程序。 ❹

發明背景 此段欲對申請專利範圍中列舉的本發明提供一背景或 脈絡。此段的描述可包括可能被實行的概念，但未必是那 些先前已構想或實行的概念。因此，除非本文另有說明， 在此段中所描述的内容並非此申請案中之說明及申請專利 範圍的先前技術且被包含在本段中並非承認為先前技術。 一視訊編碼器將輸入視訊轉換成適於儲存及傳輸之一 壓縮表示。一視訊編碼器將該壓縮視訊表示解壓縮回到一 可視形式。典型地’該視訊編碼器利用一系列影像中的時 間及空間冗餘減少表示該視訊信號的資訊量。現有視訊編 碼標準，包括例如，ITU-TH.26卜 ISO/IECMPEG-1 Visua卜 ITU-T H.262 或 ISO/IEC MPEG-2 Visud、ITU-T H263、 ISO/IEC MPEG_4 Visual 及 ITU-T Η·264(也稱為 IS〇/IEC MPEG-4 AVC)，所有都使用一混合編碼方案，該混合編碼 方案包含一運動補償預測接隨一預測誤差編碼程序。在$ 動補償編碼中，在一或複數先前編碼影像中搜尋―匹自己$ 3 201028015 塊由於在-視辦列巾的物體運動並不限制在整數(或全） 像素位置在5彡參考訊框上執行—内插程序以獲得影像像 素之間」（即分數像素)位置的值。該内插程序直接影響運 動補償預測的性能，從而影響壓縮效率。另外，該内插程 序典型地由-自適應性内插m來實現。針對視訊編碼 中運動補償預戦要設計—改進的_程序。 【發明内容】 各種實施例概要 各種實施例係有關於一種包含被組態成發送不同濾波 器結構信號之—電子裝置之方法及設備，其中-滤波器結 構選自具有—最大及最小支援區域之複數渡波器結構。— 濾波器的係數值是基於該選定的濾波器結構及指示至少一 目前訊框與一參考訊框之間的一差異之預測資訊而計算。 該等濾波器係數值在一位元流中被編碼，且位元流中像素 與次像素位置中至少一者的複數位置的每一位置之濾波器 結構被發送信號。 各種實施例也有關於一種包含被組態成解碼一位元流 之一電子裝置之方法及設備。濾波器係數值及表示選自複 數濾'波器結構之一濾波器結構之至少一信號被接收，該複 數慮波器結構針對由表示預測資訊的一區塊之像素及次像 素位置中之至少一者内插得到之複數取樣中的每一取樣。 針對複數取樣中的每一取樣，基於複數取樣中每一取樣所 接收之濾波器結構及接收之濾波器係數被計算。基於該預 測資訊之一預測訊框及該複數取樣接著被重建。 201028015 各種實施例在不增加解碼複雜度的情況下增加視訊編 碼器的編竭效率。即是，不僅各種實施例在内插期間可在 不同濾波器結構之間切換，且一濾波器結構對被提供使編 碼盗在毋冑增加抽卿ap)長度㈣況下可絲！^插大範圍 的信號。

當結合附圖時本發明之這些及其它優點，以及其操作 組織及方式將由以下的詳細說明變得明顯，其中相同的元 件在所有下面描述的幾個圖式中具有相同的標號。 圖式簡單說明 參考該等附圖描述各種實施例的實施例，其中 第1圖是一習知視訊編碼器之一方塊圖； 第2圖說明一示範幀間預測程序； 第3圖是顯示一像素/次像素排列（包括—指定的像素/ 次像素符號)之一表示； 、 第4圖是一習知視訊解碼器之一方塊圖； 第5a-5e圖說明一定向内插濾波器結構之範例； 第6a-6c圖說明一徑向内插濾波器結構之範例； 第7a圖說明在對角交錯濾波器支援下一對角方向上的 一影像改變之一範例； ° 第7b圖說明 (截止頻率）； 一 12階對角交錯濾波器之一示範頻率響應 第7c圖說明2d (截止頻率）； 12階及36階濾波器之一示範頻率響應 第8a-8f圖說明針對_定階長度具有最大及最小空間支 5 201028015 援區域之不同内插濾波器結構對之範例； 第9a-9f圖說明統一第2a-2e圖與第3a-3e圖之該定向及 徑向内插濾波器結構之一彈性濾波器結構之範例； 第10圖是繪示依據各種實施例之被執行以發送不同濾 波器結構信號之示範程序之一流程圖； 第11圖是本發明的各種實施例於其内可被實施之一系 統的一概視圖； 第12圖是可結合本發明的各種實施例的實施而使用之 一電子裝置之一透視圖； 第13圖是可被包括在第12圖的該電子裝置中的電路之 —示意表示。 【實施方式】 各種實施例之詳細說明 各種實施例提供對MCP視訊編碼中每一次像素位置發 送不同濾波器結構信號之系統及方法。對於每一次像素位 置’該編碼器及該解碼器都習知潛在的（預定義的）遽波器結 構候選。該編碼器發送信號給該解碼器，較佳地以一切片 (slice)級，在該預定義的候選中針對一各自的次像素位置而 使用之一濾波器結構。依據一實施例，在該次像素位置級 内插期間自該編碼器被發送信號至該解碼器的濾波器結構 在定向濾波器與徑向濾波器結構之間切換。依據另一實施 例，在該次像素位置級被發送信號的濾波器結構可在一定 向/慮波器結構與~分離滤波器結構之間切換。 第1圖是一習知視訊編碼器之一方塊圖。典型地，一輸 201028015 入〜像被劃分成區塊及每—區塊經受如在第丨圖中所描繪 的該等操作。較特定地’第i圖顯示要被編碼的一影像區塊 100如何經受像素預測102及預測誤差編碼1〇3。關於像素預 測102，該影像1〇〇經受一幢間預測1〇6程序、一幅内預測⑽ 程序或此兩者。模式選擇110選擇該幀間預測與該幀内預測 中之一者來獲得一預測的區塊112。該預測的區塊112接著 自原始影像被減去產生一預測誤差，也稱為一預測殘餘 120。在幀内預測1〇8，儲存在訊框記憶體ιΐ4中的同一影像 1〇〇之先如重建部分被用來預測當前區塊。在幀間預測 1〇6，儲存在訊框記憶體114中的先前編碼影像被用來預測 田剛區塊。在預測誤差編媽1〇3，該預測誤差/殘餘初始 經又轉換操作122。該等產生的轉換係數接著在124被量 化。 來自124的該等量化的轉換係數在126被熵編碼。即 是，描述該影像區塊112的預測誤差及預測表示之資料(例 如，運動向量、模式資訊、及量化轉換係數)被傳送來熵編 碼126。該編碼器典型地包含一反向轉換13〇及一反向量化 128係用以本地獲得該編碼影像之一重建版本。首先，該等 ϊ化係數在128被反向量化及接著實施一反向轉換操作13〇 來獲得該預測誤差之一編碼然後解碼版本。該結果接著被 加入該預測112以獲得該影像區塊之該編碼及解碼版本。該 重建的影像區塊可接著經受一渡波操作1 1 6來產生發送至 一參考訊框記憶體114之一最終的重建影像14〇。一旦所有 該等影像區塊被處理，可實施該濾波。 7 201028015 第2圖說明針對一輸入影像細之—示範幢間預測程序 2〇6。在運動估計區塊21〇,在儲存於參考訊拖記憶體21钟 之一或複數先前編碼影像中搜尋一匹配區塊。該區塊的運 動用-運動向量來表示。這些運動向量中的每—運動向量 表示圖像中相對於該等先前編碼或解碼圖像之—圖像中該 預測源區塊被編碼(在該編碼H端）顿碼(錢解碼器端） 之該影像區塊的位移。-般地，在—視訊序列中物體的運 動並不限制在整數(或全)像素位置及因此該等運動向量並 不限制為具有全像素準確度，但也可具有分數像素㈤素 鬱 ㈣)準確度。即是，運動向量可指向該參考訊框的分數像 素位置(position)/位置（location)，其中該等分數像素位置可 指例如，「介於」影像像素「之間」的位置。爲了獲得在分 數像素位置的取樣，執行一内插程序22〇。内插程序典型地 藉由使用-内插渡波器來實現。例如，在MpEG_2中，運動 向量可具有最多半像素的準確度，其中在半像素位置的取 樣藉由在全像素位置之相鄰取樣的_簡單平均化而獲得。 另-範例是支援具有多達四分之一像素準確度的運動 ® °量之H.264/AVC視訊編碼標準。此外，在H.264/AVC視訊 編竭標準中，半像素取樣透過使用對稱且可分離的6階滤波 器而獲得’而四分之一像素取樣藉由平均化最近的半或全 像素取樣而獲得。 —視讯編碼系統的編碼效率可藉由適應(adaptin幻在每 上A框的該等内插濾波器係數而提高以使得該視訊信號之 X等非固定性質被較準確地棟取。在此方法中，該視訊編 8 201028015 碼器將該等濾波器係數作為旁侧資訊傳輸至該解碼器。該 解碼器接著藉由分析該視訊信號能夠在一訊框/切片或巨 集區塊級改變該等濾波器係數。該解碼器使用該等接收到 的濾波器係數而非在該MCP程序中的一預定義濾波器。

另一系統可涉及使用二維不可分離6x6階wiener自適應 性内插濾波器（2D-AIF)。典型地，一自適應性内插濾波器 的使用針對每一編碼訊框需要二編碼通道(pass)。在該第一 編碼通道（用標準H.264内插濾波器來執行)期間，收集運動 預測資訊。隨後，針對每一分數四分之一像素位置，使用 一獨立濾波器及藉由最小化該預測誤差能量分析性地計算 每一濾波器的該等係數。第3圖，例如，顯示一些示範的四 分之一像素位置，它們被識別爲{a}-{o}、定位於個別全像 素位置{C3}、{C4}、{D3}、{D4}之間。在發現該自適應性 濾波器的該等係數之後’用此濾波器内插該參考訊框及該 訊框被編碼。 目前習知的自適應性内插方案使用一預定義濾波器結 構獲得每一取樣來取代使該濾波器結構適應於討論中的該 訊框的該等特性。例如，利用2D-AIF之上述系統針對水平 及垂直對齊的次像素位置使用一 1D濾波器及針對其它次像 素位置使用2D不玎分離的濾波器。類似地，一自適應性内 插方案可使用定向濾波器，其中1D定向濾波器針對對角對 齊的次像素位置而使用及交叉對角濾波器針對未對齊的a 像素位置而使用。 然而，使用/固定濾波器結構針對所有類型的輪入、見 9 201028015 訊信號可能不是最佳的，因為該等不同類型的輸入視訊信 號之該等信號特性可顯著地變化。 一第4圖是一習知視訊解碼器之一方塊圖。如在第4圖所 不’熵編碼4〇〇由預測誤差解碼4〇2與像素預測彻隨後。在 預測誤差解碼4〇2，使用—反向量化槪及反向轉換，最 、’、產生重建預測誤差信號410。對於像素預測4〇4，幀間 預測或幀内預測在412出現以產生一影像區塊之一預測表 二 該影像區塊之該預測表示414與該重建預測誤差信 號41〇結合使用來產生-初步重建影像416，該初步重建影 φ 像416接著在412可用於幢間預測或幢内預測。在每一區塊 破重建或—旦所㈣等轉區塊被處理之後可實施誠 — 418。該遽波的影像可輸出為一最終的重建影像，或該 慮波的影像可被儲存在參考訊框記憶體似中，用於預測 412。 "亥解碼器藉由實施與該編碼器所使用相類似的預測機 制从形成料像素區塊之—賴表示（制該編碼

器產生 H 且儲存在該壓縮表示中之運動或空間資訊)來重建輸出視 ❹ 況。另外地，該解碼器利用預測誤差解碼(預測誤差編碼的 反向操作、敗復在該空間像素域中之該量化的預測誤差信 在實施該預測及預測誤差解碼程序之後，該解碼器總 计該等預測及糊誤差錢(即，該#像素值)來形成該輸出 視訊訊框。在傳遞該輸域訊供顯示及/或針對該視訊序列 中該等即將到來的訊框儲存該輸出視訊作為一預測參考之 前該解碼器（及編碼器）也可實施額外的濾波處理來提高該 10 201028015 輸出視訊的品質。 p鐘於上述，不僅各種實施例在内插期間可在不同 渡波器結構之間城，μ«較，提供在不增加抽頭 長度的情況下該編碼器可彻的—m結構對來内插大 範圍的仏號。應該注意的是，雖然本文各種實施例是在内 的脈絡中被$述’但是各種實施例可被實施於任何類型 的濾波應用/針對任何類型的濾波應用而實施。 如上所述，第3圖表示内插於像素{C3}、{C4}、{D3} 及{D4}之間之一系列次像素位置{a}_{〇}，内插上至四分之 像素級被執行。在各該次像素位置的取樣可依據一特定 内插濾波器結構來產生，其中一「濾波器結構」指用來獲 知·内插中每一次像素取樣之整數像素取樣的一集合。 第5a-5e圖說明包含一維（1D)水平、垂直及對角濾波器 以及一對角交錯(稀疏2 D)濾波器之一定向内插濾波器結構 的範例。參考第5a及5b圖，用獨立像素對齊的一維（id)内 插濾波器產生在各該次像素位置之取樣。例如，分別用1D 水平或垂直自適應性濾波器來運算與整數像素位置水平或 垂直對齊的次像素取樣’例如第5a圖中在位置{a}、{b}及 {c}的該等取樣，及第5b圖中在位置{d}、{h}及{1}的該等取 樣。假定該利用的濾波器是6階，這如下指示： {a，b，c}=fun{Cl，C2，C3,C4，C5，C6} {d，h，l}=fun{A3,B3，C3，D3，E3，F3} 換言之，在此範例中{a}、{b}及{c}的各該值是 {C1}-{C6}的一函數。 11 201028015 參考第5c及5d圖’用ID定向（對角）内插濾波器來產生 在各該次像素位置的取樣。例如與整數像素位置對角對齊 的次像素取樣{e}、{g}、及{〇}。針對{e}及{〇}的内插 濾波器利用如第5c圖所述沿西北_東南（NW_SE)方向對角對 齊的影像像素。如第5d圖所述，次像素取樣{m}及{g}沿東 北-西南(NE-SW)方向對角對齊。如果假定6階濾波，則這些 次像素的該等濾波操作如下指示： {e,o}=fun{Al,B2,C3,D4,E5,F6} {m,g}=fun{Fl,E2,D3,C3,B4,A5} 參考第5e圖’用一對角交錯内插濾波器來產生在次像 素位置的取樣。例如次像素取樣⑴、Ο)、⑴、作}及（η) 關於一對角交錯整數像素位置對齊。該等對角交錯濾波器 表示針對一定抽頭長度具有最大支援區域之濾波器。假定 一 12階濾波器跨距’針對這些次像素位置的濾波操作如下 指示： {f,i,j,k,n}=fun{Al,B2,C3,D3,E4,F5,FlsE2,D3,C4,B5,A6 } 第6a_6eSm明-徑向内插滤波器結構之範例，該徑向 内插濾波器結構像該定向内插濾波器結構一樣支援一維 (1D)遽波，但取代定向/_角毅器的是，它包括一徑向濾 波器結構來獲得未與整數像素水平或垂直對齊之次像素取 樣°參考’用獨立像素對齊的—維(1D)内插滤 波器來產生在各該次像素位置之取樣。例如，分別用1〇水 平或垂直自適H慮波器來運算與整數像素位置水平或垂 12 201028015 直對齊的次像素取 的該等取樣，及例如第6a圖中在位置{a}、㈨及⑷ b圖中在位置{d}、{h}及{1}的該等取樣。 饭疋該利用的濾波器是6階，這如下指示： (a，b，C}=fUn{Cl^2,C3,C4,C5,C6} {d，h，1}=fUn{A3^3,C3,D3,E3,F3} 換言之，y* :: 此範例中^}、{b}及{C}的各該值是 {C1}-{C6}的—函數。

第6c圖說明該徑向内插滤波器結構。例如具有這一結 構的-渡波ϋ可應料_在關於整數像素位置與次像素 位置咖㈣之—物之—巾㈣的取樣。雜向濾波器 結，表^對—定抽頭長度具有最小支援區域的濾波器。 即是’假定輯波器跨距，針對這些讀素位置的濾 波操作如下指示： {f,i,j,k,n}=fun{Al,B2,C3,D3,E4,F5,Fl,E2,D3,C4,B5,A6 } 針對{f}、{1}、{j}、{k}及{n}次像素位置比較該對角 交錯/疋向及徑向濾波器結構，該對角交錯濾波器的空間支 援針對在垂直及水平方向的任何丨2階濾波器跨距（針對次 像素對稱)提供最大可能的跨距，因為該對角交錯/定向濾波 器跨越一水平及垂直邊緣的兩端。即是，使用該對角交錯 滤波器支板之一自適應性渡波器能夠揭取在水平及垂直方 向上的信號改變。然而，當該對角交錯濾波器來支援對角 方向上的信號改變時，其具有「較弱」性質。例如，第7a 圖說明在對角父錯滤波器支援下一對角方向上一影像改變 13 201028015 的一犯例。如果存在自NW_SE方向的-對角邊緣，只有六 對角交錯濾波器係數跨越該對角邊緣的兩端，而其它六係 數將保持不變。因此，具有此類型支援的一自適應性遽波 器將不能夠準確地掏取對角邊緣資訊，及因此無法最小化 »亥預測誤差。應該指出的是，此現象也可自_頻率響應角 度來觀測，其中該對角交錯滤波器頻率響應在對角方向具 有較低的截止鮮，當錢直及水平方向上喊止頻率比 較時。第7b圖藉由指示__12階對角交錯濾波器的—示範頻 率響應(按例如弧度量測)來說明此現象，其中垂直頻率沿著 該垂直轴標出及水平頻率沿著該水平轴標出。 與該對角交錯濾波器相比，該徑向濾波器針對任何12 階滤波n提㈣直及水平向上的最小可能跨距（針對次 像素對稱)(即徑向支援）。由於此特性，該徑向濾波器無法 匹配支援水平及垂直方向上的影像改變之該對角交錯濾波 器。然而，該徑向濾波器對出現在對角方向上的影像改變 &供較好支援，如例如第7C圖所述。第7C圖說明2d 12階及 36階滤波示_㈣應(截止解）。該餘實線指示 H.264/AVC之一標準2D 6x6濾波器的頻率響應。較細實線指 示一 12階徑向濾波器之頻率響應估計。該較細虛線指示一 對角交錯濾波器之估計的頻率響應。因此，可見的是，在 水平及垂直方向上一 12階對角交錯濾波器的截止頻率「接 近J於標準6x6階H.264/AVC濾波器的截止頻率。然而，在 其性能針對對角頻率「較弱」（如上所述）的情況下，該12 階徑向濾波器的性能可補償。如第7b圖，垂直頻率沿著該 14 201028015 垂直轴標出及水平頻率沿著該水平軸標出。 因此，及依據各種實施例，一編碼器允許在一互補濾 波器對之間切換’例如該對角交錯/定向及徑向滤波器，對 於一定抽頭長度，一濾波器具有 一最大支援區域及另一遽

波器具有最小支援區域。即是，對於__定抽頭長度，該對 角交錯/疋向遴波器具有最大渡波器跨距並提供最高頻率 解析度及欠佳空間解析度，而該徑向滤波器具有—較小遽 波器跨距’提供較差頻率解析度但最高空間解析度。因此， 藉由在這兩種類型㈣波器之間切換，在沒有增加抽頭長 度的情況下對於—大範_錢取得了高效内插。 第8a_8f圖說明針對一定抽頭長度具有最大及最小空間 支援區域之不同内插渡波器結構對的範例。第滅叶圖說 二二:”—對角濾波器結構及—徑向濾波器結構之12階 該遮蔽·入像素的内插。 應該注意的是，如上所述，各 =r為各_，一解塊== :=:=些情況中’在，/對角交錯及徑向渡波 對：向像素取樣，一"- &门應波i§結構慮波具有5階的— &及8d圖說明分別使用一對角 又遮蔽王像素。第 階該遮蔽全像素㈣波。u錢—彳《纽器之13 構之間的二先錢到的該定向及徑向滤波器結 允許二= 定義且可發送至-解碼器來 解碼錢_接_的錢器結構獲得在該等各自 15 201028015 的次像素位置之取 構之―個這樣的預定義的表格1中描述不同該器結

表格1定向濾波器 在表格2中表示不同渡波器結構之另 隻复gl置 e，g，m，〇ίϊΧζϊΓ 濾波器結構 預定義組合 波器 iD對角濾波器 徑向濾波器

表格2徑向濾波器 如上所述，各種實施例致能-視訊編碼Hit應/選擇例 如二濾波器結構中之哪-濾波H結構用於每—次像素取 樣。例如，在第9a-9f圖中說明的一減波器結構統一如上所 述的該定向及徑向内插濾波器結構。

次像素a，b，c，d，h，l:定向 次像素e，g，m,o :定向 次像素f，i,j,k，n :徑向 在各種實施例中提供的彈性提供給一編碼器較多選擇 以較準確地操取潛在、非靜止的視訊信號特性。盘使用用 習知系統及方法完成的固定遽波器結構相比，這轉化為編 碼效率增益。 第10圖是依據各種實施例之說明被執行以發送不同渡 波器結構信號之示範流程的一流程圖。在1000，一濾波器 結構選自具有一最大及最小支援區域之複數濾波器結構。 16 201028015 在1010，基於該選定的濾波器結構及指示至少一目前訊框 與一參考訊框之間的一差異之預測資訊來計算一濾波器的 渡波器係數值。在1020，在一位元流中編碼該等濾波器係 數值。在1030，針對該位元流中複數像素與次像素位置中

之至少一者中之每一位置發送該濾波器結構信號。應該注 意的是’當各種實施例考量到時，可執行或多或少的流程。 再者，應該注意的是，依據各種實施例上面描述的流程可 按不同顺序來執行。 大體上’對於用於濾波器結構選擇的該編碼器端演算 法沒有限制。依據各種實施例，不同編碼器演算法可被實 施並用來有效地計算一期望的濾波器結構。下面給出具有 自適應性内插能力之一混合視訊編碼器的示範實施。 依據一實施例，用於視訊編碼、具有自適應性内插濾 波器（AIF)及基於運動預測誤差的結構選擇之一第一示範 肩算法假定一兩通道混合視訊編碼方案。藉一第一通道， 使用一靜態内插濾波器收集運動預測資訊。運算具有預定 義的、構之自適應性内插濾波器。該編碼器用所有預定義 $選慮波β結構内插參考訊框。在—第二編碼通道之 在被用不同錢ϋ結構内插的該等參考訊框上針對每 =運算運動_誤差。產生最小_誤差之該滤波 地針對每-次像素而選擇並在該編碼位元流中 :=使用該等選定的壚波器結構内插之參考訊框 it:碼通道。當透過使用額外的内插及運動補償 、碼方^較時，此狀演算法可增加編碼 17 201028015 度。複雜度上的增加之絕對量測視參考訊框數目及考慮到 的預定義濾波器結構數目而定。雖如此但是，基於MCp的 編碼演算法大體上被認為是快速編碼演算法。 依據另-實施例，用於視訊編碼、具有娜及基於遽波 器係數域的結構選擇之-第二示範演算法假定具有足夠寬 於涵蓋所有預定義濾波器結構之一支援區塊之一2D aif。 應該注意的是，以較高準確度估計取得的2D濾波器係數表 面之一預定義濾波器結構較適於一目前視訊信號。藉一第 一通道，使用一靜態内插濾波器來收集運動預測資訊。針 對每一次像素位置獨立地運算一自適應性2D廣泛支援内插 濾波器。使用該2D廣泛支援内插濾波器針對每一次像素位 置分析該等濾波器係數分佈，選擇以較高準確度估計該等 2D;慮波器係數面之一滤、波器結構，例如保持係數能量的最 大值。針對每一次像素位置獨立地運算具有該選定的濾波 器結構之一濾波器。用已使用該等選定的濾波器結構内插 之參考訊框執行一第二編碼通道。當與上面描述的先前技 術方案相比時，此第二示範演算法不需要任何額外的編碼 或内插級’及複雜度上的增加被考慮無關緊要。 依據又—實施例，用於視訊編碼、具有AIF及基於濾波 器係數域的結構選擇之一第二示知i演算法利用多於二通道 來編碼每—訊框。在一第一通道期間，使用一靜態内插濾 波益來收集運動預測資訊。運算具有預定義結構之自適應 性内插濾波器。該編碼器用所有預定義的候選濾波器結構 來編碼該訊*框。在該最後編碼通道之前，選擇產生最小的 18 201028015 ^率失真成本之濾波器結構。用已使用該等選定的據波器 、-構内插之參考餘執行最後編碼通道。當與透過使用額 =的内插及運動補償模組之f知編碼方案比㈣此特定 勹算法可能增加了編碼複雜度。複雜度上的增加之絕對量 ^依賴於參考訊框數目及考慮到的預定義濾波器結構數 依據另外一些實施例，針對每一次像素取樣可考慮一 些不同的候選據波器結構(例如小2、3等）。不同的濾波 器結構’諸如可分離的及不可分離的濾波器也可結合各種 實施例使用。再者及除了自適應_插毅之外，各種實 施例可結合非自適應性濾波器使用，在此情況下，每—欠 像素與係數之一固定集合相關聯。 各種實施例在沒有增加編碼複雜度的情況下增加了視 訊編碼器的編碼效率。雖然藉由在不同候㈣波器結構之 間選擇在一些實例中可能略微增加編碼複雜度，但是存在 降低總的編碼複雜度之高效演算法。 第11圖是本發明之各種實施例可於其内實施之一一般 多媒體通訊系統之一圖形表示。如第n圖所示，—資料源 1100以一類比、未壓縮數位、或壓縮數位格式或這些格式 之任-組合來提供-源信號…編碼器lu晴該源顧編 碼成一編碼媒體位元流。應該注意的是，可自實際上位於 任何類型網路中之，職置直接或間接接收要祕碼的 -位元流。另外地，可自本地硬體或軟體接收該位元流。 該編碼器⑴G可以能夠編碼不只—媒_型，諸如音訊及 19 201028015 視訊、或可能需要不只一編碼器1110來編碼不同媒體類型 的源信號。該鴆碼器U10也可得到綜合產生的輸入，諸如 圖形及文本，或它能夠產生综合媒體之編碼位元流。下面， 僅考慮一媒體類型之一編碼媒體位元流的處理來簡化描 述。然而，應該注意的是，典型地即時廣播服務包含幾個 流（典型地至少一音訊、視訊及文本副標題流）。也應該注意 的疋，該系統可包括許多編碼器，但是在不失一般性的情 況下在第11圖中僅一編碼器1110被表示來簡化描述。應該 進-步明白的是，雖然本文包含的文本及範例可具體地# Φ 述一編碼程序’但是熟於此技者將明白的是，相同的概念 及原理可應用於該相對應的解碼程序，反之亦然。 該編碼媒體位元流被傳送至一儲存體1120。該儲存體 1120可包含任何類型的大容量記憶體來儲存該編碼的媒體 位元流。儲存體1120中之該編碼的媒體位元流格式可以是 一基本自我包含的位元流格式，或一或複數編碼媒體位元 流可封褒在一容器標案中。一些系統「現場」操作，即忽 略儲存體及自該編碼Him將編碼的媒體位元流直接料 Θ 至該發送器1130。該編瑪媒體位元流接著被傳送至該發送 器=0’按需要也稱為祠服器。在傳輸中使用的該格式可 乂疋基本自我包含的位元流袼式、一封包流格式、或一 或複數編碼媒體位元流可被封襄在一容器檔案中。該編碼 器im、該儲存體1120、及該甸服器113〇可常駐在同一實 體裝置中或它們可被包括在獨立的裝置中。可用現場即時 内容來操作該編碼器1110及伺服器113〇，在這種情況下， 20 201028015 該編碼媒體位7C流典型地並不永久赫，而是在該内容編 碼器1110及/或該伺服器〗丨3 G中緩衝小的時段以消除處理延 遲傳送延遲、及編碼媒體位元速率上的改變。 δ伺服器113G使用—通訊協定堆疊來發送該編碼的媒 體位元流°該堆疊可包括但不局限於，即時傳輸協定 (RTP)、用戶資料元協S(UDP)、及網際網路協定(♦當該 通訊協定堆疊是受封包導向時，該舰器113G將該編碼的 媒體位元流封裝成封包。例如，當使用RTp時，該伺服器丨13〇 依據一RTP酬載格式將該編碼的媒體位元流封裝成RTp封 包。典型地，每一媒體類型具有一專用的RTP酬載格式。再 次應該注意的是，一系統可不只包含一伺服器113〇，但是 爲了簡單’下面的說明僅考慮一伺服器113〇。 該伺服器1130透過一通訊連接可以或可以不連接至一 閘道1140。該閘道1140可執行不同類型的功能，諸如依據 一通訊協定堆疊至另一通訊協定堆疊轉化一封包流、合併 及分開資料流、及依據下行鏈路及/或接收機能力操作資料 流，諸如依據優先的下行鏈路的網路狀況控制該轉送流的 位元速率。閘道1140的範例包括MCU、切換電路及切換封 包視訊電話之間的閘道、隨按即說(PoC)伺服器、數位視訊 廣播手持(DVB-Η)系統中的IP封裝器、將廣播傳輸本地轉送 至家用無線網路之機頂盒。當使用RTP時，該閘道114〇呼叫 一RTP混合器或一RTP轉譯器及典型地充當一RTp連接的一 端點° 該系統包括一或複數接收器1150，典型地能夠接收、 21 201028015 解調變、及解封裝該傳輪的信號成一編碼的媒體位元流。 該編碼的媒體位元流被傳送至一記錄儲存體1155。該記錄 儲存體1155可包含任何類型的大容量記憶體來儲存該編碼 的媒體位元流。該記錄儲存體1155可可選擇地或額外地包 含運算記憶體’諸如隨機存取記憶體。該記錄儲存體1155 中§亥編碼媒體位元流的格式可以是一基本自我包含的位元 流格式，或一或複數編碼媒體位元流可被封裝在—容器檔 案中。如果存在許多編碼的媒體位元流，諸如彼此相關聯

之一音訊流及一視訊流，典型地使用一容器檔案及該接收 器1150包含或被附接至自輸入流產生一容器檔案之一容器 檔案產生器。一些系統「現場」操作，即，忽略該記錄儲 存體1155並自該接收器115〇將編碼的媒體位元流直接傳送 至該解碼器1160。在一些系統中，只有該記錄流之最近部 分，例如該記錄流最近1〇分鐘的摘錄，被保持在該記錄儲 存體1155中，而任何早前記錄的資料自該記錄儲存體1155 中被丢棄。

«亥編碼媒體位元流自該記錄儲存心155被傳送至該解 碼器116G如果存在許多編碼媒體位元流，諸如彼此相關 聯^胃訊流及—視訊流，使用-槽案解析器（圖未示）來自 °亥合器檔案解封裝每—編碼媒體位元流。該記錄儲存體 \155或料器1160可包含該檔案解析器，或該檔案解析 器被附接至錢f轉體1155或該解碼器1160。 ^編解崎器媒體位元流典型地被-解瑪H 1160進-步 處X解竭器116〇的輸出是一或複數未壓縮的媒體流。 22 201028015 最後，一渲染器1170可例如用一揚聲器或一顯示器來再生 該未壓縮的媒體流。該接收器1150、記錄儲存體1155、解 碼器1160、及渲染器1170可常駐在同一實體裝置中或它們 可被包括在單獨的裝置中。

依據本發明之各種實施例之通訊裝置可使用各種傳輸 技術來通訊’包括但不局限於，分碼多重進階(CDMA)、全 球行動通訊系統(GSM)、通用行動通訊系統(UMTS)、分時 多重進階(TDMA)、分頻多重進階(FDMA)、傳輸控制協定/ 網際網路協定(TCP/IP)、簡訊服務(SMS)、多媒體訊息服務 (MMS)、電子郵件、即時傳訊服務(IMS)、藍芽、IEEE 8〇211 等。實施本發明之各種實施例所涉及的一通訊裝置可使用 各種媒體來通訊，包括但不局限於，無線電、紅外線、雷 射、電纜連接及類似的。 第12及13圖顯示各種實施例於其内可實施之一代表性 的行動裝置14。然而，應制白的是，本發明並不打算被 限制為-特定類型的電子裝置。第12及13圖中的該行動裝 置14包括-外殼30、以-液晶顯示器的形式之一顯示器 32、-鍵區34…麥克風36、—聽筒％、—電㈣、一红 外線埠42、-天線44、依據—實施㈣_uicc的形式之一 智能卡46、-讀卡純、無線電介面電路π、編解碼器電 路54、一控制器56及-記憶體58。個別電路及元件都是在 技藝中習知的類型，例如諾基亞_内的行。 本文描述的各種實施例是在方 ° ^ ^ ... . ^ A 杳步驟或程序的一般脈 絡中被从U法或步驟在1施例中可由被包含在 23 201028015 一電腦可讀取媒體中、包括電腦可讀取指令(諸如聯網環境 中電腦所執行的程式碼)之一電腦程式產品實施。一電腦可 讀取媒體可包括可移除及不可移除儲存裝置，包括但不局 限於’唯讀記憶體(R0M)、隨機存取記憶體(RAM)、光碟 (CD)、數位多功能光碟（DVD)。大體上，程式模組可包括 執行特定任務或實施特定抽象資料類型之常式、程式、對 象組件、資料結構等。電腦可執行指令、相關聯的資料 結構、及程式模組表示用於執行本文揭露的該等方法的步 驟之程式碼的範例。此類可執行指令或相關聯的資料結構 翁 之特定序列表示用於實施在此類步驟或程序中描述的該等 功能之相對應行動的範例。 可在軟體、硬體、應用邏輯或軟體、引體與應用邏輯 之組合中實施各種實施例。該軟體、應用邏輯及/硬體可 常駐在例如一晶片組、一行動裝置、一桌上型電腦、—膝 上型電腦或-伺服器上。可用標準程式化技術來完成各種 實施例之軟體及網頁實施，用基於規則的邏輯及其它邏輯 來το成各種資料庫搜尋步驟或程序相關步驟或程序、& ❹ 較步驟或程序及決策步驟或程序。各種實施例也可完全咬 部分地在網路元件或模組中實施。應該注意的是，本文與 下面的申請專利範圍中所使用的詞「組件」及「模組」欲 包含使用—❹雜式碼之實施、及/或軟體實施、及/或硬 體實施、及/或用於接收手動輪人的設備。 在前面範例中描述的個別及特定結構應該被理解為構 成用於執行下面申請專利範圍中描述的特定功能之裝置的 24 201028015 代表性結構，不過如果「裝置」一詞未被使用，則在申請 專利範圍中的限制不應該被解釋為構成「裝置加功能」限 制。另外，在前面說明中使用的「步驟」一詞不應用來將 請求項中的任一特定限制解釋為構成一「步驟加功能」限 制。至於個別參考文獻’包括已發證的專利、專利申請案、 及非專利公開案，此類參考文獻不欲且不應被解釋為限制 下面申請專利範圍的範圍。 Φ 爲了說明及描述已提出前述的實施例說明。前述說明 並不打算是詳盡無遺的或將本發明的各種實施例限制為所 揭露的精確形式，且修改及變化鑑於上面的教示是可能的 或可自各種實施例的實施而獲取。本文討論的諸實施例在 、 被選擇或描述是爲了解釋各種實施例的原理與本質及其實 際應用，以使得熟於此技者能夠以各種實施例利用本發明 且考量到符合特定利用的各種修改。本文描述的諸實施例 之特徵可被合併在方法、設備、模組、系統及電腦程式產 品之所有可能組合中。 【阐式簡·^明】 第1圖疋一 ％知視吼編碼器之一方塊圖； 第2圖說明一示範幀間預測程序； 第3圖是顯示-像素/次像素排列（包括一指定的像素/ 次像素符號)之一表示； 第4圖是一習知視訊解碼器之一方塊圖； 第5a-5e圖說明-定向内插渡波器結構之範例； 第6a-6c圖說明-徑向_遽波器結構之範例； 25 201028015 第7a圖說明對角交錯濾波器支援下在一對角方向上的 一影像改變之一範例； 第7b圖說明一 12階對角交錯濾波器之一示範頻率響應 (截止頻率）； 第7c圖說明2D 12階及36階濾波器之一示範頻率響應 (截止頻率）； 第8a-8f圖說明針對一定抽頭長度具有最大及最小空間 支援區域之不同内插濾波器結構對之範例；

第9a-9f圖說明統一第2a-2e圖與第3a-3e圖之該定向及 徑向内插濾波器結構之一彈性濾波器結構之範例； 第10圖是依據各種實施例之說明被執行以發送不同濾 波器結構信號之示範程序之一流程圖； 第11圖是本發明的各種實施例於其内可被實施之一系 統的一概視圖； 第12圖是可結合本發明的各種實施例的實施而使用之 一電子裝置之一透視圖；

第13圖是可被包括在第12圖的該電子裝置中的電路之 一示意表示。 【主要元件符號說明】 14.. .行動裝置 30.. .外殼 32.. .顯示器 34.. .鍵區 36.. .麥克風 38.. .聽筒 40.. .電池 42.. .紅外線埠 44.. .天線 46.. .智能卡 48.. .讀卡器 52.. .無線電介面電路 54.. .編解碼器電路 56.. .控制器 26 201028015

58.. .記憶體 100.. .被編碼的影像區塊、影 像 102.. .像素預測 103.. .預測誤差編碼 106.. .幀間預測 108.. .幀内預測 110…模式選擇 112.. .預測區塊、預測 114.. .訊框記憶體 116…濾波操作 120.. .預測誤差/殘餘 122.. .轉換操作 124.. .量化 126.. .嫡編碼 128.. .反向量化 130.. .反向轉換 200.. .輸入影像 206.. .幀間預測程序 210.. .運動估計區塊 214.. .參考訊框記憶體 220.. .内插程序 400.. .熵解碼 402.. .預測誤差解碼 404…像素預測 406.. .反向量化 408…反向轉換 410.. .重建的預測誤差信號 412.. .幀間預測/幀内預測 414.. .影像區塊的預測表示 416.. .初步重建的影像 418.. .渡波 420.. .最終的重建影像 422…參考訊框記憶體 1000 ' 1010 ' 1020 ' 1030... 步驟 1100.. .資料源 1110.. .編碼器 1120.. .儲存體 1130.. .發送器 1140.. .閘道 1150.. .接收器 1155…記錄儲存體 1160.. .解碼器 1170.. .渲染器 27

Claims (1)

1. 201028015 七、申請專利範圍： L 一種方法，其包含以下步驟： 自複數濾波器結構選擇一濾波器結構，該濾波器結 構提供-最大及最小空間支援區域； 基於該選疋的濾'波器結構及指示至少一目前訊框 與一參考訊框之間的一差異之預測資訊來計算一濾波 器的係數值； 在一位7G流中編碼該濾波器的該等係數值；以及 發送在該位元流中的該濾波器結構信號。 2·如申4專利範圍第i項所述之方法，其中該複數滤波器 、、'»構包含一定向濾波器結構與一徑向濾波器結構中至 少一者之組合。 3·如申請專利範圍第2項所述之方法，其中該定向渡波器 結構進一步包含一對角據波器結構及-對角交錯濾波 器結構中之至少一者。 4·如申請專利範圍第1項所述之方法，其中該複數遽波器 結構包含針對-定數目的抽頭長度的包含具有該最大 空間支援區域之滤波器結構與具有最小空間支援區域 之該濾波器結構中之至少一者之組合。 5. 如申請專利範圍第1項所述之方法，其中該複數滤波器 結構包含-定向渡波器結構與一可分離濾波器結構中 之至少一者之組合。 6. -種儲存有—電絲式之電腦可讀取媒體，該電腦程式 包含可操作以致使-處理器執行如中請專利範圍第丄至 28 201028015 5項所述之方法中之任一方法之指令。 7·—種設備，其包含一處理器’該處理器被組態為： 自複數濾波器結構選擇一濾波器結構，該濾波器結 構提供一最大及最小空間支援區域； 基於該選定的濾波器結構及指示至少一目前訊框 與一參考訊框之間的一差異之預測資訊來計算一濾波 器的係數值； φ 在一位元流中編碼該濾波器的該等係數值；並 在該位元流中發送該濾波器結構信號。 8. 如申請專利範圍第7項所述之設備，其中該複數濾波器 結構包含一定向濾波器結構與一徑向濾波器結構中之 - 至少一者之組合。 9. 如申請專利範圍第8項所述之設備，其中該定向濾波器 結構進一步包含一對角濾波器結構及一對角交錯濾波 器結構中之至少一者。 • 1〇·如申請專利範圍第7項所述之方法’其中該複數濾波器 結構包含針對-定數目的抽頭長度具有該最大空間支 援區域及该最小空間支援區域之該渡波器結構中之至 少一者之組合。 11·如申請專利範圍第7項所述之設備，其中該複數滤波器 結構包含-定向滤波器結構與一可分離慮波器結構中 之至少一者之組合。 12. —種方法，其包含以下步驟： 針對由表示預測資訊的一區塊之像素及次像素位 29 201028015 置中至少一者内插得到的複數取樣中的每一取樣，接收 一位元流中的濾波器係數值及表示選自多個濾波器結 構的一濾波器結構之至少一信號； 基於對該複數取樣中的每一取樣之接收濾波器結 構及接收濾波器係數值計算針對該複數取樣中的每一 取樣之一遽波器；及 基於該預測資訊及該複數取樣重建一預測訊框。 13. 如申請專利範圍第12項所述之方法，其中該複數濾波器 結構包含一定向濾波器結構與一徑向濾波器結構中之 至少一者之組合。 14. 如申請專利範圍第13項所述之方法，其中該定向濾波器 結構進一步包含一對角濾波器結構及一對角交錯濾波 器結構中之至少一者。 15. 如申請專利範圍第12項所述之方法，其中該複數濾波器 結構包含對一定數目的抽頭長度具有一最大空間支援 區域及一最小空間支援區域之該濾波器結構中之至少 一者之組合。 16. 如申請專利範圍第12項所述之方法，其中該複數濾波器 結構包含一定向濾波器結構及一可分離的濾波器結構 中之至少一者之組合。 17. —種儲存有一電腦程式之電腦可讀取媒體，該電腦程式 包含可操作以致使一處理器執行如申請專利範圍第12 至16項所述之方法中之任一方法之指令。 18. —種設備，其包含一處理器，該處理器被組態為： 201028015 針對由位於表示預測資訊的一區塊之整數像素之 間的像素與次像素位置中至少一者内插得到的複數取 樣中的每一取樣，接收一位元流中的濾波器係數值及表 示選自複數濾波器結構的一濾波器結構之至少一信號； 基於針對該複數取樣中的每一取樣之接收濾波器 結構及該等接收濾波器係數值計算針對該複數取樣中 的每一取樣之一濾波器；及 基於該預測資訊及該複數取樣重建一預測訊框。 19. 如申請專利範圍第18項所述之設備，其中該複數濾波器 結構包含一定向濾波器結構與一徑向濾波器結構中之 至少一者之組合。 20. 如申請專利範圍第19項所述之設備，其中該定向濾波器 結構進一步包含一對角濾波器結構及一對角交錯濾波 器結構中之至少一者。 21. 如申請專利範圍第18項所述之設備，其中該複數濾波器 結構包含針對一定數目的抽頭長度具有一最大空間支 援區域及一最小空間支援區域之該濾波器結構中之至 少一者之組合。 22. 如申請專利範圍第18項所述之設備，其中該複數濾波器 結構包含一定向濾波器結構及一可分離的濾波器結構 中之至少一者之組合。 31