TW200845723A - Method and apparatus for encoding video data, method and apparatus for decoding encoded video data and encoded video signal - Google Patents

Description

200845723 九、發明說明： 【發明所屬之技術領域】 、本發明係關於數位視訊寫竭。具體而言，本發 視訊資料之編碼方法和裝置、所編碼視訊資料之解^ ;

裝置，以及相對應編碼之視訊訊號。 〜/ U 【先前技術】 近年來，在許多應用領域，諸如醫療影像處理， 和後製作中的數位電影讀流程，以及家庭劇院相關應g 面’愈來愈需要位70深度在8以上的數位影像/視訊 現狀之影像/魏寫碼科技，雜動高位元深度寫竭^立 το深度編碼在H.264傳真度翻延伸（FRExt)之; 化，支持位元深度達14位元，而色度抽樣達4:4··4。I 面，活動JPEG2000 (第3部）支持每組件達32位元。万 彩色位元深度標度性有潛在性用途，是顧及事 ^期巧内，習用8位元和高位元數位造像系統，、會同g 上=市場’有多種方式處理8位元視頻和高位元視訊共 存:苐-種解決方式只賦料位元寫碼之位元魏，並使色 调映射法能夠為標準8位元顯示裝置賦予8位元表示法 方式是同時聯播含有8位元寫碼的位元流。解碼器 要解碼的位讀。意即例如具有AVC High 10profile 更的較強解碼器，可以解碼並輸出1〇位元視訊，而常 8位元魏。第—種解決方式典型上不可&順 ^ °第二種解決方式順應全部現時 Γϋ而更夕书務，然而位元化約和反向標準相容性間的 ^續’可為標度性解決方式。SVC亦稱為H.264/AVC之 度性=伸，可視躲元深度標紐之支援。 後痒3色位7^深度標度性，迄今研究不多。與使用不同解 ^間:間性向上抽樣所為空間性標度不同，一度受到挑戰 、疋’從重構低位元圖形至原有高位元圖像之額外資訊，例 200845723 二，元深度預估亦不像‘元: 色空間、彩色不同可能性，使用不同類型的彩 4存$==改正，如咖、獄b、騰、 ，的標r基層⑽和與 料。轉㈣偷要的資 彩色編碼，需要的二或以上版本使用不同的 【發明内容】 可得ίίΐΐίΐ知事實上以位元深度可標度視訊寫碼，從 含彩組件之聯合預估。預估亦可包 彩色頻道分開的基層資料，預估增強層ΐΐ 料加以編碼，ί?ϊί 6 200845723 全部可得之基層彩色頻 彩色頻道至少其一又=加以聯合預估，此方法又對增強層 預估彩色頻道資料間^盈步驟：發生原有增強層彩色和 道資料編碼，對殘餘資；2餘=料，對原有增強層彩色頻 擇所編碼之原有擗強展〜么馬、、，為至少一增強層彩色頻道選 殘餘資料，1中^摆色頻道資料，殘餘資料或所編瑪之 並提供所選擇他增進層彩色頻道之選擇， 照該增強層彩色頻道指示所層輸出資料，參 按照本發明另―要t，之、4碼拉悲。 資料之解碼方法，包括^f a和EL資料的已編碼視訊 資料和EL資料，复中^驟处^從所編碼視訊資料摘取BL 之分開資料，包f複數彩色頻道 示編碼模態，將複數彩其I色頻道摘取指示’以指 得之BL彩Γί道中在至少一模態中，從全部可 EL f Vi各EL彩色頻道，把複數彩色頻道 頻道，======W彩色 估EL咨椒# b ^ 所心編馬核悲解碼，並基於所預 EL貝枓和该殘餘重構複數彩色頻道之乩資料。_ 訊資料提供一種包括基層和增強層的視 R,03) 可曰4馬之機構，其中在至少一模態中，從全邱 =广色頻道聯合預估各增強層彩色頻道，而 ^ 3預估彩色頻道影像間差異之殘餘；原有增強iUrf :像之編碼機構；殘餘之編碼機構；為至少道 道選擇究是所編碼原有增強層彩色頻道影像^餘 200845723 ^餘=選擇是無關其他增強層彩色頻道之選 資料用之増強層彩色頻道#料，做為增強層輸出 模熊。 照該增強層彩色頻道，指示所選擇編碼 編碼-種具有基層和增強層的已 ;===用，其中基層資料和增強層二者包 ϊίΐί 之分開資料；為增強層之至少第一彩色頻 i資料機ΐ ’以指示編碼模態；—彩色頻道的基 i播IfΪ構’基於所解碼基層資料預估增強層資料用之 人預估模態中’從全部可得之基層彩色頻道聯 i構，色頻道；複數彩色頻道的增強層資料解碼 按照所指示編碼模態進行解碼；以及基於所預估增強 θ貝=該^餘ΐ構複數彩色頻道的增強層資料用之機構' 要曰，所編碼之視訊訊號包括基層和增進層資 料包括第一彩色編碼之複數彩色頻i ^ 増有不之ίϊ”頻道，基層和 能并-色疋珠度’其中訊號又包括編碼模 誌二指枝否包括所編碼殘

5„解決方式的特別優點是，順應、H264/AV ^並”現日彳在H.264/AVC可標度延伸（SVC)巾受到= 的各種標度性相容。 彳支板 式展示H.264/AVC順應㈣色位元深度可 ilt1G '、12或14位幻序列分別編碼成基 之声門^决?式之一碰例中’低位S BL和高位元εΖ間 曰間預估，疋以Macr〇B1〇ck (ΜΒ)位準編碼，取得同樣 8 200845723 元和高位元表示法間冗贅之優點。此外，各彩色頻 疋田亶構的共位基層MB的全部（ 个 過聯合層間觀位元雜蚊〜為―）德頻道’透 見附體例’載於申請專利範圍附屬項，可參 【實施方式】 無，概=性，可假設有二層彩色位元深度標度性： 位兀視轉列，另__為1G位元視訊序列。所二 g可標度寫碼之架構，如第1圖所示，可供至 右之音編碼器咖發生位元深度可標度位元流挪， 和冑碼的圖像多玉化。可標度之解碼器仏 sBs 生8位域訊，或將全部可標度^流 1〇位元視訊。對不同客戶提供同樣視覺内容 才*产^石項版本，可利用擬議的彩色位元深度可 才示度寫碼達成裝置適應性。應強調的是二輸 元序列和ω位元序列，不止在位元深度不同二= 估可包含例如·· 口此層間預 1 獨的伽瑪改正和不關色度座標，例如腿 杉色工間（Rec. BT. 601)至RGB彩色空間（Rec Βτ 變換、RGB彩色空間（Rec. BT 6〇1)至裝 r 色空間變換。 心 (2)彩色空間轉換（包含調節不同伽瑪改正）， xyz彩色空間至sRGB彩色空間變換、YCbCr (Rec. BT. 709)至 RGB 彩色空間（Rec Βτ ^ 二： =9fi|間（Ree.BT.6心^彩色空間（版 9 200845723 4:2:0 至 YCbCr 4:2:2 ⑶彩度格式轉換，例如YcbCr YCbCr 4:2:0 至 YCbCr 4:4:4。 (4) 彩色改正，以及 (5) 上述諸項之組合。 情況(1)、（2)、⑶涉及非線性轉換，而在情況⑷内 顧及的二序綱之關係，複雜—如查表（LUT)。又，情 亦涉及跨越不_色賴之财。例如YCbO彩色空間 (Rec· BT· 709)至 RGB 彩色空間（Rec B丁 7〇9)變換以 數學方式模造成矩陣操持，使得對各圖元而言，R (G或β) 值是利用Y、Cb、〇值之線性組合計算。至少—實施方式 示聯合層間預估，含跨越不同彩色頻道之處理 準或MB位準為之。 以下賦予編碼/解碼法，能夠進行聯合層間彩色位元深 度預估。在此部份，展示各種實施方式之細節。 如此實施方式亦可在其他段落討論。至少一實施方式 AVC順應性聯合層間預估提供技術解決方案，得以實施彩色 位元深度標度性。第2和3圖表示含有mb位準層間彩色位 元深度預估的内型和間型寫碼内之彩色位元深度可標度編碼 器相對應流程。不失概括性，可假設層間彩色位元深度預估 含有YCbCr彩色空間（Rec· ΒΤ· 709)至RGB彩=空 (Rec· BT· 709)變換。在内型和間型寫碼二者方面，解碼 程都是編碼過程之相反程序。 關於第2圖和第3圖，須知三個速率畸變最適化段 (RDO) RD0r，RD0g，RD0b，係彼此獨立。亦即對各彩色^ 道而言，可個別決定增強層是否直接内型/間型寫碼;"不需 預估，或是進行預估造成殘餘，而殘餘不是直接内型/ g 寫碼’便是轉換（T)、量化（Q)和熵寫碼，才進行速率崎 變最適化決定。於RD0之際，決定資料速率和畸變間之最佳 權衡，並選擇個別訊號。以間型預估而言，如第3圖所示^ 200845723 來自基層MB之運動向量，在增進層内可請5r，3Q5g，3〇5b。 示。例如在MB型圖型之語法内’可含有所選擇編碼型之指 ^ 4圖表示各EL分支内額外越步模態之用法 2輸=新模態，所謂越步模態，引進來使£ = 越步°若透過RDO選擇越步模態，則EL不含_ g預t解^槿只y被解碼，並進行層間彩色位元 ς度預估，传重構EL 。原則上，層内預估作業方式相 麽遺下種實施方式之短短名單。名單無欲鉅細 i明/、疋从針對許多可能的實施方法之少部份加以簡短 訊資圖’提供包括基層資料和增強層資料的視 包括步驟為，將基層資料編碼 強#’資料，、1基層貧料分開為彩色頻道，預估200增 (- 二Λ預估之增強層資料，分開為彩色頻道 U歹彳如R，G，B)把增強層資料編碼， 預估層彩_聯合 道至少且- 廣色頻運方法又包括對增強層彩色頻 :一（或部份，或全體）之其他步驟為 資料j if ΐ增強層彩色頻道Rel，Gel3el和預估彩色頻道 貝科間相差之殘餘資料RresAesAes， 把原有，強層彩色頻道資料編碼202r，202g，202b， 把殘餘貧料編碼 2〇3r，203g，203b，204r，204g，204b， 編㈣少一增強層彩色頻道選擇^o^Og’RDOb是所 is 層彩色頻道資料、殘餘資料或是所編碼的殘 、、’、/、中k擇與其他增強層彩色頻道的選擇無關，以及 200845723 »、，&提供所選增強層彩色頻道資料和所選擇編碼模態參照 以增強層彩色頻道之指示，做為增強層輸出資料。 少 ινίτΓ具體例巾，基層和增強層使用不同的彩色編碼（諸 ，R，CB和R，G，B)，而層間預估200又包括内型 碼二者之彩色空間變換。 门1馬 彩色空間變換包括從YCbCr彩色空間 (· Τ· 709)換到 RGB 彩色空間（Rec· BT· 709)。 ，八體例中，殘餘之編碼包括熵寫碼2〇4r，2〇4g，2〇4b。 勺括二f ft中’增強層彩色頻道資料之額外編碼模態， 又步模態405:在越步模態中，增強層資料 像為^:具_中，跨越不卿色頻道的預估·，是在圖 準為=:具_中，跨越不_色舰之雜，是在巨段位 分開的熵^ f f法又包括對各基層和增強層彩色頻道 開sr另 視訊資料之解碼方法，包括步驟4貝 L貝料的已編碼 wj所編碼視訊龍摘取基層資料和機歸料，i由 基層資料和增騎包括複數彩 其中 ?：f 預估各增強層彩色頻道，把複王數QflT^之基層彩色頻道聯合 碼，其中獲得殘餘且其中ΓΛ色頻道的增強層資料解 指示按照所指示編碼模態加轉& 色頻道’使用該 解碼，亚根據所預估增強層資 200845723 料和該殘餘，重構複數彩色 以下具體例針對解碼方：，強層貝科 層使用不_彩色編碼增強 驟又包括，型寫碼二者之 在一具體例中，彩多办工门炎秧 至RGB彩色空間。 間受換包括YCbCr彩色空間變換 殘餘之解碼包括熵解碼。 態，“準之=^層=頻道狀額外解竭模 資料不含各巨段用之位元。…，其中在越步模態中，增強層 準為ΪΓ具體财，跨越不同彩色頻道之預估，係在圖像位 準為ΪΓ具體财’跨越不_色頻道之預估，係在巨段位 在一具體例中， 分開之熵解碼。 方法又包括為各基層和增強層彩色頻道 I壯Ϊ照要旨’提供包括基層和增強層的視訊資料之編 和增強層資料包括複數彩色頻道（諸如 度且射錢㈣料料列位元深 基層編碼機構201y，201cr，201cb，為彩色頻道分開 200， f $頻道R，G，B分別將增強層編碼用之機構，其^在;少二 模態中，從全部可得之基層彩色頻道聯合預估2〇〇 ^ 彩色頻道R，G，B ;此裝置又為至少-增強層彩色頻道包& · 9 #里2,強層彩色頻道^^*所預_道影像間 差異的殘餘Rres，Bres，Gres之發生機構；原有增強層彩色頻、f与 像之編碼機構202r，202g，202b ;殘餘之編碼機 2〇3b，204r，2G4g，2G4b ;為至少—增強層彩色頻道選擇所編碼| 13 200845723 色t影像、殘餘和所編碼殘餘用之機構奶0··， 擇係與其他增朗彩色頻道之選擇無 選擇編碼模態參日強層彩色頻道資料，和所 出資料。 “、、省柘強層％色頻道之指示，做為增強層輸 體例係參照視訊資料之編瑪裝置。 03尺(^具^列中，基層和增強層使用不同彩色編碼¥风 (ReaBr709) 構2041^0^1 巾’殘餘之編碼機構包括進行前碼用之機 «在:，進行巨段位準之越步 謝:增強層不 1各色=:編碼模態’其中在越步 視訊ΐϊί::ί;要增強f資料的已編碼 層資料用之機構!層 層^ ϊίίί色頻道用之分開資料；為增強層的至少第- 根據所解碼基層資料=¾ :之機構，其中在至少-模態中，各增強層彩色頻H :阿付基層彩色頻道聯合預估各增強層彩色頻王 ，道的增強層資料之解碼機構，其中 】色 g第二，3道’使用該指示’按照所：編=:1至 5=?:預估增強層資料和該殘餘，重構複以： 以下具體例針對所編碼視訊資料之解碼裝置。 200845723 或R，G，B f i中門吻強層分別為y，cr，cb彩色空間 YQhc^^^ , 中括熵解碼用之称 Γ =水準之越蝴解碼彩= 步核f1，增騎資料不含各巨段狀Γ元 中在越 像位种’進行跨越不同親細之機構，以圖 段位體例中’進行跨越不同彩色頻道用之機構’以巨 色頻===解f賴，為蝴和增強層彩 料，斤編碼視訊訊號包括基層和增強層資 彩色編碼之複數彩色頻道，例i -個增色g二訊，又包括編碼模態指示’為至二'第 所編碼巨H補日不疋否包括所編碼殘餘資料，或者是 個）旨，藉從重構共位基層之全部（往往是： 道，預估増強層_之各彩色頻道，以進行聯： 此=揭示記載種種實施方式，惟所述實施方式之特 進i發他實施^式Μ物’可使用各種不同技術 丁毛汛包3但不限於sps語法、其他高階語法、非高階 15 200845723 又，各種寫碼亦可 3 二然在此所述實施方式可在特殊文：内說 脈。准此種5 兄明無意將特點和概念限制在該實施方式或文 上述實施方式可例如以方法或製法、裝置，或 在實施方式的單一形式文脈内討論(例:只ί (例2置或程式）。裝置可以例如適當硬體/軟體 :方法可仙如裝置，諸如電職其他處理裝置 ^等指令可齡於《可_之媒_ mf 腦可閱讀之儲存設施，或積體電路。 -/、他電 切此道之士顯而易知，實施方式可產生訊號，， ί方:::ϊΐ;:儲存或傳輸。資訊可包含例:i 語法、頻帶外之資訊，以及内蘊發訊 ，可以格产化，帶有特殊語法用之數值，或例如 J 日守’甚至語法指令本身，做為資料。此外 以編碼器或解碼n，或二者，純實施。心私方式可 又=:ί!!?其他實施方式。例如’將所揭示實施内 ^由上述實施方式之—產生的資料。例如訊 輸語法 方式可 ίίί J特點進行組合、刪除、修改或補充，可 悸本純粹以實施例說明如上，細節可以修改，不 本案說明書和（若適當）申請專利範圍 單獨特供，或任何適當組合。特點可適當 =杳實施，或二者組合。連接可視應用情m線^续 Ϊ2丄不—定要直接或專用連接。中請專利 參考數字只供，對申請專利範圍無限制效用出現的 200845723 【圖式簡單說明】 f1圖表示彩色位元深度寫瑪架構； ，2圖表示内型寫碼之聯合層間預估； ，3圖表示間型寫碼之聯合層間預估； 卜第4圖表示間型寫碼中之順應性層間彩色位元深度預 【主要元件符號說明】 Enc SBS Dec 200 201y，201cb，201cr 202b，202r，202g 203b,203r，203g，204b，204g Rel，Gel，Bel Rres，Bres，Gres

可標度之編碼器 可標度位元流 可標度之解碼器 聯合預估 基層資料編碼 原有增強層彩色頻道資料編碼 殘餘資料編碼 原有增強層彩色頻道 殘餘資料 RDOr，RDOg，RDOb 增強層彩色頻道選擇 405 越步模態 ECY,BL，ECcb，BL,ECCr，BL，ECY，EL，ECCb，EL，ECCr，EL 熵寫碼

17

Claims (1)

1. 200845723 十、申請專利範圍： 1·一種視訊資料之編碼方法，視訊包括基層（BL)資料和 增強層（EL)資料’其中基層和增強層資料包括複數彩色頻 道（Y，Cr，Cb，R，G，B) ’又其中基層和增強層資料有不同的位元 深度，此方法包括步驟為： 一將基層資料編瑪（201y，201cr，201cb); 一從分開為彩色頻道的基層資料預估（2〇〇)增強層資 料； ' 一根據該預估之增強層資料，分開為彩色頻道 (R，G，B)，將增強層資料編碼； 其中在至少一模態中，從全部可得之基層彩色頻道，聯合預估 (200)各增強層彩色頻道，此方法為至少一增強層彩色頻 道，又包括下列步驟： 發生殘餘資料（Rres，Bres，Gres)，係原有增強層彩色頻 道（Rel，Gel，Bel)和預估彩色頻道資料間之差異； 一把原有增強層彩色頻道資料編碼（202r，202g，202b); 一把殘餘資料編碼（203r，203g，203b，2〇4r34g34b);

   —，至少一增強層彩色頻道選擇（RD〇r，RD〇g，RD〇b) 是所編碼的原有增強層彩色頻道資料、殘&資料或 所編碼的殘餘資料，其中選擇係與其他增強層彩色 =道之選擇無關；以及 選擇增強層彩色頻道資料，和所選擇編碼模 iii該增強層彩色頻道之指示’做為增強層輸出 括内型(雇）又包 3·如申睛專利範圍第 之方法，其中 ㈣i(Ree.BT.7G9)變換至RGB^f(= 200845723 BT.709)者。 4·如申請專利範圍第1項之方法，其中殘餘之編碼包括熵 寫碼（204r，204g，204b)者。 5·如申請專利範圍第1項之方法，其中增膽層彩色頻道用 之額外編碼模態包括在巨段位準之越步模態（4〇5)，其中在越 步模態中，增強層資料不含各巨段用之位元者。 6·如申請專利範圍第1項之方法，其中在該選擇步驟 (RDOr，RDOg，RD〇b)中，係根據資料率和畸變之最小化加以 選擇者。

   7·如申請專利範圍第1項之方法，其中跨越不同彩色頻道 之預估（200)係以圖像位準為之者。 如/料利範圍第1項之方法，其巾跨越不同彩色頻道 之預估（200)係以巨段位準為之者。 9=申請專利範圍第丨項之方法，又包括為各基層和增強 包括ΐ列^有BL * EL資料的編碼視頻資料之解碼方法’ —取基層資料和增強層資料， 之 層二者包括複數彩色頻道用 示，以指示編 為增強層之至少第一彩色頻道摘取指 馬模態； 一把複數彩色頻道之基層資料解碼； —根碼基層資料難增_ 複數彩色頻道之增強層資料 餘’且其中為至少該第-彩色頻道，使用=殘 200845723 所指示編碼模態加以解碼；以及 和增強層括基層⑽） (Y，cr，Cb，R，G3)，包括複數彩色頻道 度，此裝置包括：’、1 θ σ日強層具有不同之位元深 二基層，之編碼機構（2〇ly，20lcr,201cb);

   f 色頻道分開從基層預估增強層用之機構 Q 200);和 -巧據該預估增強層，為彩色頻道（R，G3)分別將增 強層編碼之機構； 其11在至少—_中，從全部可得基層頻道聯合預估（200) 各增強層#>色頻道（R，G，B)’此裝置為至少一增強層彩色頻道 又包括： 一殘餘（Rres，Bres，Gres)之發生機構，殘餘係原有增強層 彩色頻道（REL，GEL，BEL)和預估彩色頻道影像間之差 異； 一原有增強層彩色頻道影像之編碼機構（202r，202g， 202b); 一殘餘之編碼機構（203r，203g，203b，204r，204g，204b); —選擇機構（RDOr，RDOg，RDOb)，為至少一增強層彩 色頻道選擇是所編碼原有增強層彩色頻道影像、殘 餘或所編碼殘餘，其中選擇係與其他增強層彩色頻 道之選擇無關；以及 一提供機構，提供所選擇增強層彩色頻道資料和所選 擇編碼模態參照該增強層彩色頻道之指示，做為增 強層輸出資料者。 12·如申請專利範圍第η項之裝置，其中基層和增強層使 20 200845723 用不同彩色編碼（ (200)又包括機構’，&，，），而進行層間預估之機構 換者。 鄕3^仃内型和間型寫碼二者之彩色空間^ 置’包括：’、有基層和增強層的已編碼視訊資料之解碼裝 ;模—衫色頻道摘取指示，以指示編 二is色頻道之基層資料加以解碼之機構· 增強層資=之機構，其 〜預估各un全料縣層彩_聯合 ϊί衫解碼機構，其中獲得 —^^頻使用該指 重構機構，根據所預估增強声料 u複數彩色親之增賴^者層讀和_餘，重構 用不同彩’其中基層和增強層使 内=間型寫碼進行估機構又包括為 15.—種編碼之視訊訊號，包了 數彩色頻道(R，G，B)，基;^色，碼，複 位元深度，而其中訊號又包括編碼模態』示的彩色 :湖道指示是否包括所編碼殘歸料’或者所、“ 21