TW201002077A - Method for determining a filter for interpolating one or more pixels of a frame and method and device for encoding or decoding a frame - Google Patents

Description

201002077 、發明說明： 【發明所屬之技術領域】 之決所包括一或以上圖元插值用遽波器 =碼或解賴， 【先前技術】 像間寫碼’有些影像寫碼計劃使料間預估，借 之運動補償，具有分部圖元解像=水ΐ 平相位和hit絲7F ’並有相對絲值濾波11，與該水 十相位和/或垂直相位關聯。 γ 在第 碼 驟：為減少假似7象’插域波H可適應。策略包含以下步 次編碼傳接巾，關是峨缺_輯波器編 根據計算之運動向量，計算最適多階段插值 立 時;1咖辦訊號的^ 算插 ，國專利申請案2004/0076333號記載複數分立插值 二搜尋空格内。基於所選擇現時最少濾波器，識另Γ包 t數候魏波n之搜尋區域。造成最小册誤差之候 t?':別為現時最小據波器，並重複搜尋，直至預估錯ΐ 和傳正進行努力改善插值，以及減少編辦間潛候期 【發明内容】 本發明即從事此項努力。擬議一種圖幅内所包括—或以 201002077 上圖元插值用滤波it之決定方法，包括申 之特點。 和田不 、 意即該方法包括步驟為，決定圖幅剩餘部份内之那些其 他圖元，其中與該其他圖元關聯之運動向^元 關聯的另-運動向量同樣參照圖幅、同樣水平二= 幅剩餘部份内的其他圖元，決定濾波 斋，其„之j疋’使該其他圖元的插值品質（該插值 決定），到達或超過使用滤波器候選 ，甘括：同濾波器候選之一可決定的該其他圖元之任何 其他插值品質。 在單純依巧樣__包括不_其他圖元，且具有 至>、-運動向f參數，係與待狀的圖元共同之接力決定 值滤波器中’該插值職波H之決定方法得以實現單」傳接 編碼架構。 、f具體射’該不同的舰験選者，在濾波器型式、 滤波，數之數目’和/或指定給濾波參數之數值，均有 同。 該濾、波器型式可為中等插值、線形插 雙立體插值，和斜度基礎之插值。 艾聊職 r另二中不同的_候選者係與該參照圖 幅、该水平相位和/或該垂直相位關聯。 ^具體，中，魏波器候選者包括偏差值，與該水相 位和/或該垂直相位關聯。 然則，濾波器可依據照明變化決定。 产遽度，則該所決定滤波器可為-維 度/慮ίυί方法包括，決定二維魏波器，把所決定 之一維度濾波器與另一個一維度濾波器組合。 ΐί定f維度魏器分成決定-維度m和與另-個 一維度濾、波器組合，得以快速計算。 尤其是’若該所決定—維度舰器之—和該另一個一維 5 201002077 度遽波器是垂直濾波器，而其一為水平濾波器。 一所決定二維度濾波器甚至更適於插值圖元，若該另一個 維度;慮波器是借助本方法之一具體例決定，以決定插值圖 元用之濾波器。 在又一具體例中，該其他圖元的插值品質，是以該其他 的插值和該其他圖元完全重構間之平均次方或平均i對 差決定之，而決定濾波器包括決定為該其他圖元的不同 插值所決定若干品質當中最佳者。 平均次方差異是決定品質的良好措施。亦可改用平方差 異之和，或是絕對值差異之和。 瑪举in難到在空雜和/或_比可標度的影像寫 =構與運動向量，聯的增進層段插值用濾波器之決定 ίΐ準驟為’奴共位下層段是否與同樣或相 有ΐϊ-運動應ΐ動向量關聯，其中該相對應運動向量 器做ί該;然’，決定滤波 動向量趣訂層遽波15。至少若該相對應運 法;ΐ在^;像寫碼架構内使用本發明方 田本發明進而涉及圖幅之編碼或解碼方 具體例中，於進行插值用 在圖幅之-或以的該其他圈元，係包括 八他奴内，該其他段業已在使用另一運動 201002077 向1時編碼或解碼。 此舉得以單次 碼。 ，藉適應性插值濾波器，把圖幅編碼 或解碼 在該圖幅編碼或解 括在鄰接或包圍該現時:法之該具體例中，該其他段可包 然則，淚淡哭、^又之視窗内。 在_111二皮器適應局部圖像内含。 定現時段的餘數，之進—步具體例中，又包括決 碼。 狳數編碼，或使用餘數把現時段解 幅編碼或解碼碼和解碼裝置。該裝置包括該圖 【實施方式】 /、體例的圖幅編碼或解碼機構。 $2_所示本發明具體例詳述如下。 器飛馳。此項適二匕(::姻㈣)所用插值濾波 器型式之適應。、括，慮心參數數量、數值和/或滤波 波器該項對飛馳適應，容許—次傳接編碼，幾近最佳插值滤 ι 外，Si戶慮波器’關聯或指涉到參照圖像。此 關聯或彳a /歩水平相位和/或垂直相位。 油恶與：：ί1圖像以及某一水平和垂直相位關聯之插值濾 用於現時圖幅段之編碼或解碼，若該段具有之運動向 里’其功滕®元解像度相當於該某—水平㈣直相位，並 指涉在該某一參照圖像内之相對位置。 使用插值濾、波器，從參照圖像内的參照面積發生插值之 參照段，該參照面積是以運動向量之相對位置資訊決定方 位，並以插值濾波器的維數（dimensi〇nalily)決定垂直和/ 或水平延伸。意即插值是以該插值濾波器使用運動向量所發 生運動補償圖元加以濾波而決定。 下文中’插值參照段使用段之運動向量朝該段位置偏 7 201002077 ▽ 竹句逆動補償段。 FB，舉例f 日„ iaf具體例，具有舉例之第 段TB。 &纽’ _窗_包圍，以及舉“ 1哲若私疋之參照圖像，以第一段FB之坌一 n 為第^，即使用從缺值決定第一運動補償^一。運動向量指涉 運動捕=之編碼架構中’第一餘數是在第-段FB未楚 運動補償段間決定。哕筮__ 了乐奴FB和第一 快速傅轉轉餘數疋例如_分立餘弦轉換、 段，其中量化餘，形成第—完全重構 段組合。在舉例之⑽㈣拔/°，換’並與第—運動補償 全重構段 編馬‘構中，於濾波器適應中使用第一完 碼。ίΓίί?，中，第—餘數是由所接受連流加以解 7i一成第一完全重構段，一如編碼架構。 解瑪體例中，從缺錢波11是在第—段fb編碼和 ίίίίίϊ。亦即使用不同的插值濾波器候選，發生數個 照？。不同的插值濾波嶋在其濾波器型式

器參數有所不同，但全部相當於從缺值渡波器 之水平和/或垂直相位。 不同的插值參照段各與第一完全重構段比較。決定更新 之從缺值濾^器，是為產生最佳或最接近似第一完全重構段 之插值濾波器。評估近似程度的適當措施，是例如決定為平 均平方差異或平均絕對差異之畸變。 若從缺值濾波器之更新，造成濾波器重大變化，則第一 段FB可第二次編碼，使用更新濾波器。第一段FB的二次傳 接編碼之優點是’容許使用簡單從缺值濾波器。缺點是需要 第二次寫碼傳接。 第二段SB具有之運動向量，指涉和更新從缺值濾波器 同樣參照圖幅和同樣水平和/或垂直相位，即以更新從缺值 8 201002077 ϋ器編碼。該第二段SB經編竭和 $器再一次更新’此次係基於該第二段sb之^=重 構子又。 在第二具體例中，一旦該第二段SB 將從缺值遽波器更新。 要編碼或解碼’即

在第二具體例中’插值參關元組之發生，是使用不同 的插值濾波器候選’其渡波器型式/ J 玆借助第2圖說明形成插值參照圖元組如下： 在包圍或鄰近第二段SB的視窗wjn中，決定一组ps 括使用和第二段SB的運動向量具有同樣 t和/或垂直相位，並指涉同樣參照圖像的運動向量，業 又户70完全重構。此組PS甚至更限制於使用 圖像嘛娜置的獅量，業已編 選，iiii構圖元決定組ps ’使用不同的插值濾波器候 同的插值參照圖元。不同的插值濾波器候 二濾波器型式和/或其濾波器參數有所分別，但全部 位。第一具體例相當於從缺值濾波器之水平和/或垂直相 =同之插值參糊元組各與完全重翻元組ps比較。決 iiJt從缺值遽波器’做為產生就滤波器候選組最佳品質 如品質的衡量，即達成之大約程度，可基於例 •產重構圖兀組1^之畸變。該大约程度可用例如平均平 方差異或平均輯縣異財。 3 π所決定之完全重構圖元組？8可以放空，由於事實上未右 平和碼之圖元，使用與第二段犯的運動向量同樣水 直相位並指涉同樣參照圖像之運動向量，進行編碼或 9 201002077 解1麸：則淹尚ΐ現時圖幅之單一圖元已經編碼或解碼。 “、、後’據波器保留不變。 樣水和更新從缺健波器同樣參照圖幅以及同 碼===第三段TB，要編碼或解 内容11按照位於要制適減波器之段附近的圖像 π谷插值要未，一再適應。 2碼n侧和解碼器側進行同樣濾波器適應，二者均使 不同“Ζίίί理過的現時圖像至少—部份之重構訊號。 等、ΐίΐ適應性插值舰器可與各倾圖像_。因此，此 像ί容碼’節省帶寬。再者，插值濾波器對局部圖 廬波器更新 和運因為可將評估完全重構圖像 段視為支援（視選用具體例，可為剛編碼 或疋王重構圖兀組PS)差異之畸變量度，減到最小。 性干不同插值方法之—或以上，例如中等插值、線 陡或雙線性插值、雙立體插值或斜度基礎之插值。 麻對Γ各可參數储值綠，決·選型式，—種最適參 ，把該插值方法候選型式的可能參數化當中之畸變減 乂。對各不可參數化插值方法候選，亦決定畸變量度。 在決定之畸變當中’決定最小值。再選擇在所決又定 田中相當於最小值的插值方法候選，若可行，具有參數化。 =例Γ遽波器更新包含從有限的插值方法候 選用。例如，插值方法候選可限於線性插值濾波器， 灵新可限於決定最適（即畸變量度最小）係數。 巍性插值濾浊器 指涉參照圖像IREF的線性插值濾波器組，包含一 =多p皆段線性遽波器' H_，p'py，其巾px=m而 pyu卜各μ·多她線性濾波器2D矩 201002077 陣，含PxQ線性濾波係數。 若HiREF，px，py可分離，即可寫成卩邮 firef，p# giref，p4 1D矩陣，其p和 Q均係 、。 然則，濾波器更新過程可分成 f G_py。 π hREF，px 和更新 更新firef，px之過程分三步驟作業，如第3 L相鄰貼合圖元之識別IDHPL ; ’、· 2. 垂直訊號插值;

3. 遽波器決定HUPDT。 此三步驟可詳述如下： 1.步驟 IDHPT, 近财财平她px加以編碼或觸之視窗 mi使用參照圖像w間型寫碼段之圖元組 ，1 7平相位Ρχ之運動向量。相對於該圖元組PS，在 參照圖像IreF内有-組參照圖元。使用該參照圖元組，該圖 70組PS之圖元即在空_像内完全重構，若尚未完成完全重 構，即得所謂完全重構圖像—。完全重姻像不必然指涉 全部圖元均重構之圖像，而是圖元經重構的完全重構之圖 像0 2. 步驟 VTNPT. 參照圖像組是垂直插值，使用垂直濾波器Giref，pz相當於 要插值的圖元之垂直相位。垂直插值圖元再各置於空白或空 無圖像内相對應完全重構圖元之位置。此即得所謂垂直 補償圖像Ivert。

3. 步驟 HTTPDT 垂直運動補償圖像Ivert進一步經水平插值，使用：

RhFy) — 〇1REF px + ^Firef ρχ(^k) *IVERT (x - Dx + k-\P!2\y) k=0 其中Dx係在圖元(x，y)和[]的水平運動向量組成份之整數部 份’回到其引數之整數部份。 11 201002077 下：所含偏差值ο_，ρχ考量到照明變化，可為〇。在此情況 ^R£F (x, ·>") = Σ Firef,Px (k)* I vERT{x~Dx + k-[P/2\ y) 平均平方解像度包含計算FIREFpx，把能量魏減到最小： Σ ^rec y) - (χ, y)f (x.y)ePs 導致P方程式之線性系統的傳統解像度，p為未知數直中 一或以上方程式反映常態化拘限物。 /、 更新過程GIREF，px作業相當於第4圖所示： 1. 步驟 ΤΓ)ΗΡΓ 在鄰近或包圍要以水平相位py加以編碼或解碼之視窗 WIN内，決定屬於使用參照圖像Ire]^b1型寫碼段之另一圖元 組PS，以及垂直相位py之運動向量。相對於該另一圖元 組，在參照圖像Ij^F内有一組參照圖元。使用該另一參照圖 元組，該另一圖元組之圖元即在空白圖像内完全重構，得所 謂另一完全重構圖像。另一完全重構圖像也不必然指涉全部 重構之圖像’而是圖元經重構的完全重構之圖像。

2. 步驟 HINPL 另一組參照圖像是水平插值’使用可能更新的水平濾波 器 FlREF,pz 相當於要插值的圖元之水平相位。水平插值圖元再 各置於空白或空無圖像内相對應完全重構圖元之位置。此即 得所謂水平運動補償圖像iHORZ。

3. 步驟 VUPDT 水平運動補償圖像Ihorz進一步經垂直插值，使用：

〜 Q ^REF (X? ϊ) = ^IREF.py ^ ^,^!REF,py (0 * IHORZ ^ + ^ _ [β / 2]) /=0 其中Dx係在圖元(x，y)的垂直運動向量組成份之整數部份，而 所含偏差值〇IREF，py可為〇。 平均平方解像度包含計算GIREF，pX，把能量功能減到最 12 201002077 (x，少)ef Σ ix^y)~ ι ref

r n\i=F

導致Q方程式之線性系統的傳統解像度，Q為未知數，1 一或以上方程式反映常態化拘限物。 ’、T 水平更新可限於要以運動向量編碼和解碼段，具有 相位Py=G。而垂直更新可限於要以運動向量編碼和解 具有水平相位ρχ=0。 訊雜比（SNR)和空間性可標度影像寫碼（svc 層影像寫碼計劃，引起空間/時間性和品質標度力。 f 計劃内，較高或增進層的現時段之運動補償，^ 波器，可從所謂下層或基層内段而得戋決定。 ^ (只供二元空間性SVC)，例如： 圖解像度 四分-圖7G濾波器—半副圖元濾、波器 八/刀-圖元濾波Hi分i元濾波器

V 生方’插鶴波11對細之適應，發 應裝i faV以及接收端的^^:cc ::②巧適 濾波器適應裝置fad =:C0N(可為電_或無糊i播:¾ 本發明有如下優點·· 局部=顧龍11之線㈣定歧新，達成此料波器之 避免濾波器係數之傳輪，節 元之帶寬，潛在造成寫碼效率增=專屬於相對應側面資訊位 201002077 性。又，避免二次傳接編碼過程，達成減少編石馬器之複製 本發明可應用於有關影像麼 適合但非限於高解像度影像之低位二:構例其 用之HD ’以及超解像度影像應用，像#仃電活 【圖式簡單說明】 尺冋。 及舉例第二段 第1圖表示具有舉例第一段和周圍視 和第三段之現時影像； 第2圖表示視窗細部以及該視窗内選定圖元組；

^ 示ϊίΪ波器組成份更新方法之舉例流程圖 Ϊ =不ϊίΪΐ器組成份更新方法之舉例流程圖 第5圖表不傳輸或廣播圖像資料用之舉例系 【主要元件符號說明】 一

FB 第1段 ICUR SB 第2段 TB WIN 視窗 PS IDHPL相鄰貼合圖元之識別vinpl HINPL 水平訊號插值 HUPDT BE 發射端 ENC FAD 濾波器適應裝置 RE DEC 接收端的解碼器 CON 現時形像 第3段 完全重構圖元組 垂直訊號插值 濾波器決定 發射端之編碼器 接收端 連接

Claims (1)

1. 201002077 七、申請專利範圍： h一種圖幅之一或以上圖元插值用濾波器之決定方法，包 括如下步驟： - 、定圖幅餘數内之其他圖元，其中與該其他圖元關聯 · 之運動向量指涉、與該圖元關聯的另一運動向量、同樣之參考 圖幅、同樣之水平相位和/或相同之垂直相位； 一基於該其他圖元，決定濾波器；其中 a、二決定濾;^器，使該其他圖元之插值品質（該插值係使 用该決定之滤波器加以決定），到達或超過可用遽波器候選組 f内所包括不同濾波器候選之―’加以決定的該其他圖元之任何 其他插值品質者。 2·如申請專利範圍第1項之方法，其中： 一該不同之濾波器候選，在濾波器型式、濾波參數數量 和/或指定給濾波參數之數值，有所不同者。 3. 如申請專利範圍第2項之方法，其中： 一δ玄濾波器型式係中等插值、線性插值、雙線性插值、 雙立體插值和斜度基礎的插值之一者。 4. 如申請專利範圍第1項之方法，其中： —該不同的濾波器候選係與該參照圖幅、該水平相位和 /或該垂直相位關聯者。 5. 如申請專利範圍第4項之方法，其中： 一該濾波器候選包括偏差值，與該水平相位和/或該垂 直相位關聯者。 • 6.如申請專利範圍第4或5項之方法，其中： : 一該濾波器候選係一維度； 、 一該決定之濾波器是一維度濾波器，而該方法又包括； 一將該決定的一維度濾波器與另一個一維度濾波器组 合’決定二維度濾波器者。 7.如申請專利範圍第6項之方法，其中： 一該決定的一維度濾波器和該另一個一維度濾波器，一 15 201002077 個疋垂直it波器’而另—是水平濾波器者。 8. 如申請專利範圍第6或7項之方法，其中： 々另—個—維度滤波器係以中請專利範圍第6或7項 之方法決定者。 ^ 9. 如申請專利範圍第1項之方法，其中： 料他圖元之插值品質’以該其他圖元的該項插值和 、他圖几的元全重構間之平均平方或平均絕對值差異定之； 且 、 品質當波器包括決定該其他㈣不同插值所決定若干 運動!ί量性和/或訊雜比可標度影像寫碼架構内的 ^動向_聯之增進層段插值職波ϋ決定方法，包括步驟 向昔ί f位下層段是否相同或相當準雜的相對性運動 動向量^同=_對應運動向量有至少—運動參數，與該運 波器；—讀’較紐器做為該絲τ層段插值卿下層遽 項之一方法，決 ―祕二否則’決定以中請專利範圍第卜 疋增進層内之濾波器者。 11.種圖幅之編碼或解碼方法，包括： —t運動向量無__段之目元關聯；且 -所争另=運動向量’和_請專利範圍第卜10項之 所決疋遽波器，決定該現時段之圖元者。 12^申請，利範圍第u項之方法其中： β甘“為決定申請專利範圍第1-10項之-濾波器而决定之 已或以上其他段内:該其麵助 13.如^請專利範圍第12項之方法其中： «亥其他&係包括在鄰近該現時段之視窗内者。 16 201002077 14. 如申請專利範圍第11 一 13項之一方法，又包括： 一決定現時段之餘數；和 一把餘數編碼，或借助餘數把現時段解碼者。 15. —種圖幅之編碼或解碼裝置，包括： 一圖幅之編碼或解碼機構，以進行申請專利範圍第11一 14項之一方法者。 17