TWI330490B - Rate control of scalably coded images - Google Patents

Description

1330490 九、發明說明： 【發明背景】 發明領域 本發明有關一種用於可定標編碼式影像之速率控制 方法，而更明確爲有關滿足各影像資料子集合上之特定要 求之速率控制。 相關桉藝說明 過去數十年來，子帶或子波編碼經證實爲有效之影像 壓縮方法。特別重要者爲ITU-T Rec. T.800 /ISO/IEC 15444: 2004 JPEG 2000 Image Coding System 中所述之新穎影像壓 縮標準JPEG2000，係以指述方式納入本文。類似其他壓縮 標準，該JPEG2000標準界定解碼器及相關碼流語法。該 標準不支配編碼器之操作，若所產生碼流順服經界定之碼 流語法且可由順服解碼器予以解碼。此乃容許彈性之編碼 器設計。見"JPEG 2000 Image Coding System"，2004 及 DJ, Taubman 與 M.W. Marcellin，JPEG2000 : Image Compression Fundamentals, Practice and Standards, Kluwer Academic Pub-lishers, Boston, 2002，係以指述方式納入本文。 圖1例示用以將一影像11編碼之代表性JPEG2000編 碼器10。各影像係（隨意）分割成不重疊之瓦形長方塊12 。各瓦形塊容許空間隨機存取並對執行記憶要求設限。其 次，一隨意之成分轉換14可用以增進壓縮效率。舉例言 之，若一影像由紅、綠、及藍等顏色成分構成，則顏色轉 換之應用可增進壓縮性能。一瓦形塊之各（經轉換之）顏 色成分於是稱爲瓦形成分。將一子波轉換16應用於各瓦形 6 1330490 成分即產生一定數量之轉換係數，予編組於每一瓦形成分 之子帶內。·然後將每一子帶之轉換係數分割成稱爲碼段1.8 之長方段。然後以.一碼段編碼器19將每一碼段獨立編碼。 就一既定之碼段言，其編碼工作係藉由將其係數量化 以獲得量化指數開始》此等量化指數可視爲加正負號之整 數陣列。量化在採用可逆之子波轉換時不予嚴格要求，因 該等子波係數原即爲整數。此一加正負號之整數陣列可用 一正負號陣列及一量陣列代表。該正負號陣列可視爲二元 陣列，其中在各點之陣列値指示量化指數爲正或負。該量 陣列可分割成一系列之二元陣列，而每一數元得自一量化 指數。此等陣列中之第一個對應於該等量化指數之最高數 元（MSB)，而最後一個對應於最低數元（LSB)。每一此種陣 列稱爲數元平面《然後，一碼段之每一數元平面均用一數 元平面編碼器予熵編碼。在JPEG2000中所用之數元平面 編碼器爲上下文相關性二元運算編碼器。該數元平面編碼 器在一碼段之每一數元平面上完成三次通過。此等通過稱 爲編碼通過。該數元平面上之每.一數元均在此等編碼通過 中之一內予以編碼。所得壓縮資料稱爲壓縮編碼通過。 該碼段編碼器亦計算各壓縮編碼通過所提供失真（均 方誤差）減量以及該壓縮編碼通過之長度。使用此資訊能 將該失真減量對該壓縮編碼通過長度之比界定成該壓縮 編碼通過之失真-速率斜率。壓縮編碼通過之失真-速率 斜率乃該壓縮編碼通過所提供之每字節之失真減量。因 此，具有較大失真-速率斜率之壓縮編碼通過可視爲較具 7 1330490 有較小失真速率斜率者更.爲·重要，。碼段編.碼器19將壓縮 編碼通過20、其等之長度22’及失真-速率斜率2L提供至 一碼流產生單元23，後:者決定何者得自各碼段18之壓縮 編碼通過· 20將被包括在該碼流內。該碼流產生單元將具有 最大速率-失真斜率之壓縮編碼通.過包括在該碼流內，直 到該字節預算耗盡爲止。 當使用JPEG2000壓縮一序列之影像時，僅有少許目 前已知之方法供確定何種速率將用於該序列內之各影 像。· 一種可能性爲選出一固定速率（亦即固定字節數）將 該序列內之各影像編.碼。此法雖簡單且容許輕易完成，但 其在一些應用上不產生適當之性能。在許多影像序列中， 該序列內各影像之特性無限量變化。由於此法將一固定之 字節數分派給每一影像，所得壓縮影像序列在各影像間顯 現大幅度之品質變化。 此種缺陷曾由Tzannes等人在美國專利申請案US 2004 /004751 1 A1中予以確認。Tzannes等人能再接續將各影像 編碼時進行適應性選擇以獲致一些性能改良。對於當前之 影像，適應作用係使用僅由該序列內先前各影像所蒐集之 資訊予以進行；在對當前*之影像分配速率時不考慮後續之 影像。此外，若該序列內二連續影像非屬高度相關（.譬如 情境改變期間之情況），則適應作用退卻。固定速率編碼 之另一替代方式係由Dagher等人在Resource-Constrained Rate Control for Motion JPEG2000, IEEE Transactions on Image Processing, December 2003 中提出。此法中，壓縮影 1330490 像係置於緩衝器內。壓縮資料以恒定速率自該緩衝器拉 出。新壓縮影像在變成有用時予添加於該緩衝器。若該緩 衝器在一新壓縮影像將予添加之時爲以滿載，則該新壓縮 影像以及早已在該緩衝器內之其他影像被截短，俾所有壓 縮資料均裝入該緩衝器內。所得影像在一對應於所採用緩 衝器長度之^滑動時窗'內具有較低之品質變化。然而， 品質會在較該滑動窗長度爲大之時間範圍上廣泛變化。 此外，以上方法無一提供在影像資料之子集合譬如個 別影像、個別成分等之上加置規模或品質要求之能力。 【本發明綜述】 本發明提供一種用於一序列之可定標編碼式影像之速 率控制方法，該序列滿足對影像資料之各子集合所加之各 種要求。 該速率控制方法適用之編碼器類別爲在該序列內之影 像被轉換以獲得轉換係數。此等係數被分割成多個編碼單 位。各編碼單位之係數被編碼以產生多個品質增量。在一 JPEG 2000壓縮系統中，編碼單位爲碼段而品質增量爲壓 縮編碼通過β 完成速率控制之方法爲將編碼單位收集於一或更多子 集合內。影像取向子集合係由得自單一影像之編碼單位組 成。影像取向子集合可界定一既定影像之不同解析位準， 空間區域、瓦形塊 '顏色成分、或包括該影像全體之任何 其等之組合形式。序列取向子集合係由得自該序列內每一 影像之碼段組成。彼等可界定一整體序列之不同解析位 9 1330490 準*空間區域、瓦形塊、或顏色成分、或任何其等之組合 形式。單一之序列取向子集合可包括該序列內所有影像之 全部編碼單位，因而界定該影像序列整體。 產生一要求清單（LOR)，使每一子集合至少有一在該 清單內之關聯登入項目。與影像取向子集合關聯之要求稱 爲影像取向要求。與序列取向子集合關聯之要求稱爲序列 取向要求。 就每一編碼單位之各品質增量計算有效値。在試圖獲 致高重構品質或低壓縮規模時，該等有效値予用以決定留 存何者編碼通過以滿足對相關子集合之要求。就得自所留 存品質增量之一序列影像構作一滿足所有子集合之lor 之碼流。此一碼流稱爲’許可進入"·碼流。就各編碼單位 決定留存何者品質增量及構作許可進入碼流之方法將取 決於譬如該L0R、計算複雜性、記憶等等之問題》 吾人就試圖獲致爲指定之規模要求所容許之高品質 之情況扼要說明本發明。獲致爲指定之品質要求所容許之 低規模之情況亦類似。一次通過手段將每一影像之每一影 像取向子集合內具有最大有效値之品質增量選出，使所選 品質增量之總規模滿足該子集合之影像取向規模要求。所 選品質增量、有效値及長度予以留存。其餘則予拋棄。一 旦所有影像均經如此處理，即選擇各序列取向子集合之其 餘具有最大有效値之品質增量’使所選品質增量之總規模 滿足該子集合上之序列取向規模要求。所選品質增量形成 該許可進入碼流，而其餘則予拋棄。 1330490 每一方法均試圖在各子集合內獲致爲各種要求所容許 之高重構影像品質。明確言之，該等方法試圖獲致在每一 個別影像之每一影像取向子集合內之高品質，及在每一序 列取向子集合內之（用該序列所有影像平均之）高平均品 質。高逐影像品質與高平均品質間可能因影像取向相對於 序列取向規模要求之嚴格性而出現交易。當品質增量選擇 受任何序列取向規模要求支配時，各該方法亦將在各相關 子集合內逐一影像獲致大略恆定之重構影像品質。 本發明之此等及其他特色及優點對業界熟練人士而言 均將因以下各較佳具體形式之詳述倂同所附圖式而成爲明 顯，其中： 【簡要圖說】 圖1如上述爲一代表性JPEG2000編碼器之方塊圖： 圖2爲一流程圖，例示依據本發明之一序列影像之速 率分配； 圖3例示自一子集合選出品質增量； 圖4例示當存在多個影像成分時之一碼段組織範例； 圖5例示針對一複成分影像促成不同解析度之子波子 帶； 圖6爲一流程圖，例示在DI工作流程中對速率控制之 積分；以及 圖7爲一編碼器、DI工作站及速率控制器之系統圖。 【本發明詳述】 本發明有關一種使用一由：IPEG2000編碼器例示之可 1330490 定標編碼器類別之影像編碼方法 > 而更明確爲有關一種用 於一序列可定標編碼式影像之速率控制方法。該速率控制 方法就一序列之影像決定將予包括於該許可進入碼流內 之壓縮資料，俾一預定之要求集合符合預定之子集合定 義。該方法試圖在相關子集合內獲致爲各子集合上之規模 要求所容許之高重構影像品質。對於某些要求，該方法亦 在相關子集合內逐一影像獲致大略恆定之重構影像品 質。當然，一被拘束成小規模之子集合將具有較被拘束成 較大規模之子集合爲低之品質。因此，''高品質〃應相對 於該等要求加以解釋。另外，該方法可試圖就該等子集合 獲致小壓縮規模，而同時滿足各子集合上之指定品質要 求。 所述各速率控制用方法適用於任何數位影像序列，包 括動畫、視頻、時序資料、三維立體影像（譬如複光譜及 超光譜遙感資料）、或較高規模資料集合、以及個別靜止 影像。該等具體形式雖就JPEG2000壓縮予以說明，但彼 等仍適用於功能類似JPEG2000之其他壓縮方法。 本發明有些具體形式雖就單一序列之影像予以說明， 但彼等亦適用於影像序列爲由許多群組組成之情況。舉例 言之，此等群組可藉由一序列之暫時分割而獲得。在此情 況下，各群組可能類同於一"捲〃底片。另一例爲可將不 同之群組界定成特徵表示、尾部1、尾部2、預顯示通告等 等。在a 3D 〃（立體）影像序列之情況下，可能有二個群 組係由意圖分別用左及右眼觀視之影像構成。該等 ''左" 12 1330490 及"右〃群組可進一步予次分割成捲。在各情況下*速率 分配可對每一群組各自實施而將各者當作一序列處理。另 一方面，就速率分配之目的而言，可將全部群組聚合並當 作單一序列處理。 可定標編碼式影像之速率控制 如圖2中所示，速率控制係藉由界定編碼單位之子集 合（步驟29)予以完成。編碼單位較佳爲JPEG2000中之 碼段，但另有子帶、DCT段 '轉換成分、全體轉換影像、 或其他資料結構。此等子集合係用步驟31中所將使用編碼 程序之知識予以界定。 一以個別影像爲基礎所界定之子集合稱爲影像取向 子集合。此等影像取向子集合可界定不同之解析位準（例 如2K及4K ) '不同空間區域（例如前景及背景）、不同顏 色成分（例如紅、綠、藍）、或包括該影像全體之任何其 等之組合形式。在該方法之精神及範疇內可有其他子集 合。影像取向子集合有用於在個別影像上界定各種要求。 舉例言之，在複成分應用上可將壓縮規模要求加置於影像 之每一成分以及影像全體之上。對於三成份之影像，該影 像之各編碼單位於是將予區分成對應於該三影像成分（譬 如紅、綠、藍）之三個子集合。一第四子集合將由該影像 內之所有編碼單位組成。於是，該等影像取向子集合顯然 無需爲不相交。

一就整體影像序列予以界定之子集合稱爲序列取向 子集合。序列取向子集合可界定不同之解析位準（例如2K 1330490 及4K)、不同空間區域（例如前景及背景）、不同顏色成分 (例如紅、綠、藍）、或包括整體序列之任何其等之組合 形式。在該方法之精神及範疇內可有其他之序列取向子集 合。序列取向子集合有用於在整體序列上界定各種聚合要 求。舉例言之，在複成分應用上可加置對於該序列內每一 成分之總壓縮規模要求以及所有影像之聚合壓縮規模要 求。對於一序列之各具有三成份之影像，該序列內所有影 像之編碼單位將予區分成對應於紅、綠、藍之三個子集 合。一第四子集合將由該序列內所有影像內之所有編碼單 位組成。於是，該等序列取向子集合顯然無需爲不相交。 某一影像之影像取向子集合可能與另一影像不同。舉 例言之，一影像可能具有對應紅、綠、藍之三個子集合， 而另一影像具有對應該影像全體之單一子集合。又另一影 像可能不具有被界定之子集合。同理，一序列可能不具有 被界定之序列取向子集合。至少一影像必須對二或更多子 集合提供一或更多編碼單位。該一影像可能對該二子集合 提供相同之編碼單位，或者可能對該二子集合提供不同之 編碼單位。該二子集合可能皆爲影像取向、或皆爲序列取 向、或各一。 對該等子集合設定一要求清單（LOR)(步驟30 )，以使 每一子集合均具有至少一要求。對每一子集合言，該LOR 典型上可包括品質要求（所希欲者' 最小者、最大者）及 /或規模要求（所希欲者、最小者、最大者）。在該方法 之精神及範疇內可有其他要求。 1330490 對每一影像及.該序列影，像施以速率控制。爲此，用譬 如JPEG.2O00之編碼器將每一影像編碼（步驟·: 3 1 ) 〃雖然該 編碼程序將伴隨許多業界普通技術人士詳知之步驟，但就. 速率控制之目的言，必要且相關之步驟爲（1)用一子波、DCT 或其他合宜之轉換將各影像轉換成轉換係數，_ (2)將該等轉 換係數分成多個編碼單位，以及（3)將各編碼單位之係數編 碼以對每一編.碼單位產生多個品質增量。JPEG2000使用子 波轉換，將該等係數分成多個碼段，後者予編碼以產生每 一碼段之壓縮編碼通過。 在JPEG2000中，編碼單位編碼程序採用量化工作繼 以數元平面編碼工作，以產生品質增量。此觀點將量化工 作視爲編碼單位編碼程序之一部分。另外，可將量化工作 視爲轉換程序之一部分。確實，一特定之實施方法可藉由 使用適當之標定及捨入及/或可逆轉換將量化工作倂入 轉換工作中。典型上，量化步級-規模予設定成較小且所 有數元平面予編碼，以於速率分配前確保高基底品質。另 法’可用較適度之步級-規模以降低需予編碼之起始數元 平面數，.而造成較低之起始品質位準。另法，可將減少數 量（非全部）' 之最高數元平面編碼以獲致類似之效果。此 等替代方法背後之動機爲減少複雜性及/或記億及/或 儲存。然而，必須小心不將初使品質太過減小。另外，可 依據所需之品質選擇步級-規模。 計算各品質增量之有效値（步驟32)。此可與步驟31 同時完成。合宜之有效値可爲失真-速率斜率。此等斜率 1330490 代表將品質增量包:括於該碼流內之益/本比。明確言之， —特定品質增量·之.斜率爲該.品質增量所提供失真之減量 (典型爲MSE或一些其他:品質指標）除以該品質增量之長 度（典型以字節:爲單位）。具有較大失真-速率斜率之品 質增量於是可予視爲較具有較小斜率者重要。在上文中， MSE計算可予修改以包括直觀加權及/或直觀遮蓋考量 (參.閱例如 Taubman 及 Marcellin，16.1 節）。另法，MSE 可替以Μ合巧顯著之.差異"或其他視覺動機式失真測量。 額外之有效値選擇爲屬可能。舉例言之，假設一子集 合之編碼單位各具有編號爲Κ-1至0(MSB·至LSB)之Κ 個數元平面。此等數元平面數可用作有效値。將品質增量 數（而非數元平面數）用作有效値可獲得類似之效果。另 一種變化爲就所有具相同數元平面數之品質增量分派一 範圍之有效値。不同數元平面數之範圍明顯有別，且在一 範圍內之有效値可依據失真速率斜率予以排序。舉例言 之，設6爲一品質增量之數元平面數並設s爲其失真-速 率斜率。再設72^爲最大斜率。於是，一就該品質增量之 有效値選擇爲6+57/77·? 15 有效値可予加權以強調或不強調一或更多影像之一 或更多空間區域（可能爲整個影像）。 由Taubman及Marcellin，8.2節顯知，有時宜不准許 某些品質增量間之編碼單位碼流終止作用。同樣，就速率 分配之目的言，可能宜a分組"成二或更多品質增量並將 其等處理成單一之複合品質增量。此一複合品質增量具有 16 1330490 以該組品質增量之總失真減量除以該組品質增量之總長 度所·計算之單一:失真·1:·速率斜率。爲簡化論述，應全·文假-設此項分組工，作在屬適當·之時即予實施，故"品質增量/ —詞於是可指複合品質增量。 各有效値.予’用以決定需留存何者品質增量以滿足某 些子集合要求（步驟34)。步驟31 ' 32及34係對該序列 中之每一影像實施（步驟35)。圖式中似乎指示各影像之 接續處理，但平行處理亦有可能’因在步驟31、32及34 中之各影像間無相依性。此時，該整體序列·之許可進入碼 流係在各相關子集合之任何餘留要求下予以構作（步驟 36)。 在一例示性具體形式中’任何影像取向要求均在步驟 34中予以滿足，而任何序列取向要求則在步驟36中予以 滿足。另法，有可能在步驟34中留存所有品質增量並所有 判定延緩至步驟36。此將增加所需之記憶/儲存，但可在 某些應用譬如編輯及歸檔上具有優點。 決定對.各已編之碼影像留存何者品質增量（步驟34 ) 及構作該影像序列之許可進入碼流（步驟36)之方法將取 決於該要求清單及任何額外之問題譬如計算複雜性、’記 憶、額外之解碼器要求等等。 吾人先說明各種試圖獲致爲規模要求所容許之高品 質。繼之，吾人將說明各種試圖獲致爲品質要求所容許之 低規模。 1330490 —次通過手段自每一影像取向子集合選出具有最大 有效値之品質增量，俾自該子集合所選品質增量之總規模 滿足對該子集合之任何影像取向規模要求（步驟34)。 對每一影像留存所選之品質增量、有效値及長度。未 選出之品質增量予以抛棄。一旦所有影像均經如此處理， 該方法即自各序列取向子集合之餘留品質增量中選出具 有最大有效値之（來自所有影像之）品質增量，使自該子 集合所選品質增量之（所有影像之聚合）總規模滿足該子 集合上之任何序列取向規模要求（步驟4 1 )。所選品質增 量予用以形成該許可進入碼流（步驟42)。其餘（未選出 之品質增量）予以拋棄，而該許可進入碼流予記錄於一介 質譬如驅動器、磁碟或磁帶上或者經由一波道予以傳輸。 二次涌渦手段 該一次通過手段可能需要暫時儲存較諸最終需用於 該碼流內者爲大之壓縮資料。對於一些應用而言，此可能 非所希欲。二次通過手段將一次通過手段修改成在將各影 像編碼時僅保留有效値及長度而丟棄所有品質增量，然後 在該碼流組成一旦決定時（步驟41)，將所有影像重新編 碼（步驟43 )以產生用以形成該許可進入碼流之品質增量 (步驟42 )。在此二次通過期間，有可能僅產生所需之品 質增量以避免不必要之計算及/或儲存。 迭代丰段 迭代手段係進行如下：自每—影像之每一影像取向子 集合選出具有最大有效値之品質增量’使自該子集合所選 1330490 品質增量之總規模滿足對該子集合之任何影像取向規模 要求（步驟34)。未選出之品質·.增量予以拋棄。此外，自 各序列取向子集合所屬具有高於該子集合有效門檻之有 效値之影像選擇所有餘留品質增量（亦步驟34 )。未選出 之品質增量予以拋棄。對於此後項操作，各該序列取向子 集合門檻予保持固定，直到所有影像均經如此處’理爲止。 步驟34之各項操作可同時執行或做不同.排序，視各子集合 定義而定。一旦所有影像均經如此處理，該方法即決定所 選品質增量之總規模是否滿足對相關序列取向子集合之 序列取向規模要求（步驟37 )。若否，則迭代該程序將相 關序列取向子集合之有效門檻改變（步驟38 )並返回至步 驟31直到符合各序列取向規模要求爲止，然後輸出該許可 進入碼流（步驟39)。 將有效門檻提高即造成較小之碼流，而將有效門檻降 低則造成_較大之碼流。對不同子集合之要求經常爲獨立， 故可獨立實施捜尋合宜之有效門檻。在此情況下，有效門 檻可在步驟38中用多種技術包括試誤、平分、梯度下降或 任何其他一維（1-D)數値捜尋技術予以改變》若可獨立進行 搜尋，則可採用任何多維數値搜尋技術。當將失真-速率 斜率用作有效値時，彼等可用以輔助導數/梯度基搜尋方 法。 品質增暈潠擇 以上所有具體形式均採用在一子集合內選擇具有最 大有效値之品質增量之程序。此程序可以多種方式完成。 19 1330490 其一方法爲將品質增量以其有效値之降序列出清單·，然後 自該清單頂.部進行選擇。在另一方法中，僅有效値以·降序 列出清單，因其等與品質增量之對應性爲已知。在另一方 法中’，對一子集合設定一有效門檻，而有效値高於該·門檻 之所有品質增量均予選用。查考圖3,此可視·爲等同於自 該子集合之經棑序清單頂部選擇一定數目之品質增量。 在圖3中，每一水平實線代表一品質增量50,而每一 疊水平線代表一編碼單位52。各編碼單位之總集代表一子 集合54。該圖中，有效値56指示於各品質增量側邊。顯 然，選取每一編碼單位之有效値高於一設定爲19(如水平 虛線所示）之門檻58之所有品質增量即等同於將該子集合 內之所有品質增量分類而後自該清單頂部選擇15個品質 增量。若如此選出之品質增量總長度非如所需，則可調整 該門檻並重複·該程序直到（在一容限內之）總長度爲如所 需爲止。此類似於上述之迭代速率控制程序，但在此情況 下無需資料記.錄工作。迭代工作係在步驟34或步驟41中 用先前計算之有效値及長度實施。此手段可具有超越實際 將有效値或品質增量分類及列出清單之計算及記憶優 點。提高有效門檻即造成所選品質增量之總規模較小，而 降低有效門檻即造成較大者。有效門檻可在步驟34及/或 步驟41中用多種技術包括試誤、平分、梯度下降或任何其 他1-D數値搜尋技術予以改變。除迭代外，亦可能以平行 方式測試多個門檻。 平行虐理 20 1330490 如前述，對多個影像而言，以平行方式實施步驟31、 32、及34爲有可能。亦可能以平行方式實施步驟41及/ 或42。假設每一處理器均有τ"或更多影像之品質增量、有 效値、及規模。一控制處理器會將各子集合之有效門檻散: 播至所有處理器。每一處理器均會將其影像所成每一子集 合之對應該等已散播門檻之總規模送回。該控制處理器會 加總此等規模及已散播門檻，而迭代直到獲致所需之總規 模（總和）爲止。該項控制於是會請求每一處理器就其影 像由有效値高於最終門檻之品質增量產生及輸出該許可 進入碼流。 高品質 每一手段均試圖在各相關子集合內獲致（在該LOR之 各項要求內可行之）高重構影像品質。明確言之，該等具 體形式試圖在步驟34中就個別影像獲致高品質》該等具體 形式試圖在步驟36中就整體序列獲致高平均品質。在步驟 34及36各者中，該等具體形式試圖藉由包括具有最大有 效値之品質增量獲致高品質。在一些情況下，該等具體形 式將在各相關子集合內逐一影像獲致槪略恆定之品質。由 上$品質增量選擇'一節可知，對於一既定序列取向子集 合，一次通過、二次通過及迭代等方法藉由對該子集合設 定一門檻及在該子集合內包括（得自所有影像之）有效値 高於該門檻之所有品質增量而滿足任何序列取向要求。 因此，該許可進入碼流於是含有該序列取向子集合內 有效値高於一有效門檻之所有影像之所有品質增量，減去 1330490 步驟:34 :中因任何相關:影像取向要:求致予拋棄者。·因此，若 影像··取向要求.不生效，則該序列取向子集合內之逐一影像 品質將爲（槪略）恆定。當序列取向及影像取向二種要求 均生效'時，在一特定影像相較於該序列內之其餘爲極難以 編碼時即出現顯著之品質偏差。對於此一影像，品質增量 乃依據任一影像取向要求予以拋棄，故該影像之品質可能 下降。因此，獲致恆定品質之能力係由序列取向要求對影 像取向要求之相對嚴格性予以支配。尤其，此能力在影像 取向要求相較於序列取向要求爲嚴格時減小。在極端情況 下，若序列取向要求不生效，則所需序列取向規模可視爲 >盡可能大#。在此情況下，影像取向要求對每一影像起 作用而品質便將廣泛變化。 亦應注意，當一影像相較於該序列內之其餘爲極易編 碼時，品質可能顯著高於其他影像，縱使其壓縮規模可能 極低。 小規樽 上述一次通過、二次通過、及迭代等具體形式試圖獲 致爲該LOR內各規模要求所容許之高品質。反之，替用之 具體形式試圖獲致爲該LOR內品質（失真）要求所容許之 小規模。若存在對一子集合之影像取向品質要求’則步驟 34自該子集合中選出具有最大有效値之品質增量，以便滿 足該子集合之任何品質要求。若存在對一序列取向子集合 之序列取向品質要求，則吾人需將該等一次通過及二次通 過方法與迭代法分開考慮。就該等一次通過及二次通過方 22 1330490 法而言》步驟41自該序列取向子集合選出所有影像之品質 增量’以便該子集合之（用所有影像平均之）平均品質滿 足該品質要求。就該迭代法而言，步驟38將該門檻改變直 到該平均品質滿足該品質要求爲止。 値得注意者爲當滿足一品質要求時，與各品質增量關 連之失真減量（而非品質增量長度）可能有用於此方面。 亦値得注意者爲各種要求類型可予混合。舉例言之，在單 —序列之LOR內可兼存在一規模要求及一品質要求。 使用層次減少記憧及儲存 JPEG2000提供之分層機制可併入該一次通過或二次 逋過具體形式，以節省儲存有效値及長度所用之記憶/儲 存，或簡化某些具體形式。在此具體形式中，該等品質增 量予分組以形成二或更多層次。較顯著之品質增量予置於 較前之層次上，而較不顯著之品質增量予置於較後之層次 上。該等層次可予形成使各層次具有所需之規模。另法， 該等層次可予形成使各層次對應一既定有效値門檻，例如 恆定之品質。在該一次通過具體形式中’各品質增量亦予 留存。在該二次通過具體形式中，各品質增量予以拋棄。 然後，就每一子集合進行層次選擇，以滿足該等子集合要 求。有可能將所選各層次結合或分裂成新層次’以於該許 可進入碼流內獲致所需之分層結構。 滿g複LOR之層次 在許多情況下’將有可能產生一含有多個嵌入式碼流 之碼流，而各自用作不同目的。舉例言之’ 一極高品質檔 23 1330490 案可包含一檔案庫型之影像序列。由此檔案有可能對不同 之應用各抽出一或更多不同之碼流。舉例言之，可將一類 型用於高解析度電影分布，而另一類型可用於較低解析度 電視分布。此在進行抽出時無須任何"速率分配"即可完 成。速率分配可優先完成。該抽出工作僅需要存取適當之 JPEG2000資料。如另一例，不同之類型有可能對應於不同 之壓縮規模、前景/背景等等、或其等之組合形式。 此項功能可藉由產生一具有二或更多層次之碼流。界 定各子集合並對該二或更多層次中之一設定一 LOR。本文 中教示之速率分配方法可用以滿足每一此種層次之LOR。 値得注意者爲對每一此種層次而言，該等子集合無需完全 相同。可對每一層次依據各該層次之目的將該等子集合及 LOR設定成不相同。 在一些情況下，將一具有多層次之碼流分裂成多個檔 案而各檔案含有一或更多層次之資料可能爲屬合宜》舉例 言之，在二層次之情況下，在分開之檔案中具有第一及第 二層次之資料可能有用。此使得僅將第一層次荷載於一具 有限定規模或速率之儲存元件（例如伺服器）上，而將二 者層次荷載於一具有較高規模及/或速率之儲存元件上 乃輕而易舉。類似之論述對複解析度亦成立。 【速率控制實例】 以下實例用一次通過演算法例示不同組合之影像取 向與序列取向之子集合及要求》各實例中僅予說明規模要 求，但品質要求可用上述之修改予以滿足。 24 1330490 • 此外》以下實例僅觸及品質增量資料之規模，俾易於 *. 討論。實作中，宜將必要之總括性資訊譬如主標題、瓦形 .塊/瓦形塊部分標題及包標題之規模列入考慮。此大體可 藉由適當減少品質增量資料之數元預算予以完成。 最後，應注意，該等實例不觸及得自所選品質增量之 . JPEG2000碼流之詳細構造。 實例1 :複成分 ® 查考一在該序列中各影像均有紅色、綠色及藍色成分 之實例。 令叭乃、G⑺及5(7)分別代表影像/之紅色、綠色及藍 色成分之編碼單位之子集合。設叭乃、ύ, <7(/)而5= j二1 /=i 6万⑺。又令4(/) =及⑺U 6(/) U万⑺而4 = GU万=0 Z⑺。 /=1 /=1 此例之子集合爲： 影像取向：4⑺ ' 及⑺、（7⑺、5(/) /=1〆·· 乂 序列取向：Ζ • 所有上列其他集合僅爲代號上之便利。 要求清單爲： 影像取向：⑺Wβ '只(7⑺W、只万⑺) ^ Sb 序列取向：=对（在一容限內） 式中W爲任何影像之最大總規模，β及β爲任 何影像之紅色、綠色及藍色成分之最大總規模，而义爲整 個壓縮碼流之所需總序列取向規模。除該總規模要求外’ 個別影像及/或各影像之成分應不需過多之字節數。此等 25 1330490 要求可用於避免緩衝器上溢/下溢或限制於解碼器將各 影像及/或成分解壓縮所執行之計算量》本實例意圖涵.括 將一或更多影像取向子集合及其等之規模要求省略時之 情況。該方法亦涵括省略序列取向子集合及其規模要求時 之情況。以下說明包括支持此等省略方式之修改情形。該 方法適用於其他顏色空間，譬如XYZ。其在採用顏色轉換 時亦適用。在此情況下，該等要求適用於各經轉換之（顏 色）成分。 在該一次通過手段中，由π⑺中選出具有最大有效値 之品質增量使只別/))$於。未由及⑺中選出之品質增量予 拋棄（步驟34)。亦就6·(/)及5⑺實施此程序。由乂⑺中 選出其餘具有最大有效値之品質增量，以使所選品質增量 小於或等於以（步驟34)。未選出之品質增量予拋 棄。以上選擇可有其他順序。當扒/)、6Κ/)、5(/)、及/(/) 上之一或更多要求不存在時，步驟34之相關部分即予省 略。一旦該序列中之所有影像均完成.此程.序，即由>4中選 出具有最大有效値之品質增量，以於一容限內使只^4(/>> (步驟41)。若該序列取向要求不存在，則可省略步 驟41。 在無序列取向要求時，則可以5(/(/))= β取代^(/4(/)) (在一容限內）。以上具體形式之改變僅爲在步驟34 中可多少容許⑺）超過β。若完全等式乃所需者，則可 使用不等式要求並繼以統調。若無序列取向要求且在無對 smu))之要求，則可將等式要求加於i?(/)、σ(/)、及5⑺ 26 1330490 上。該具體形式再度幾乎不改變。業界熟練人士將能由此 段論述滿足其他具體形式之影像取向等式與不等式要求。 實例2:複解析度、複成分 . 查考一在該序列中各影像均有紅色、綠色及藍色成分 且該碼流予形成以容許以二不同解析度（例如2K及4K ) 顯示已解碼影像之實例。此情景之一例示性碼流組織1 30 例示於圖4,而對應之子帶分解140例示於圖5»在圖4 中，該碼流分成六段。第1及4段含有來自紅色成分之壓 縮資料，第2及5段含有來自綠色成分之壓縮資料，而第 3及6段含有來自藍色成分之壓縮資料。首三段容許該影 像以2K解析度重構。後三段在與該首三段倂用時容許該 影像以4K解析度重構。該碼流組織係作例示之用。由該 演算法獲得之壓縮資料可續予排列成任何有效之JPEG 2000碼流。 令見α)、仏（乃、及凡⑺分別代表紅色、綠色及藍色成 分之編碼單位集合，分別對應提供至該影像之以2Κ與4Κ 二者解析度重構之子帶141、142及143。令Α⑺、&(/)、 及及⑺分別代表紅色、綠色及藍色成分之編碼單位集合， 分別對應提供至該影像之僅以4K解析度重構之子帶144、 145 及 146。令 7?3(乃=7M/)、（73(/)= (^(^U G2(/)及 及（/)=凡（/)U A(乃分別代表一影像內紅色、綠色及藍色成 分之所有編碼單位集合。令丄（/)=見（/) U GU) ^及（〇、 A(/)= A(/)U 系（/)及 4(/)= i?3(/)U 5:(/)分別 代表一影像內提供至2K與4K二者、僅只4K及全4K之所 27 1330490 有編碼單位集合。令A = u u G⑺及凡=u尻（/) 分別代表該整體序列之提供至25與4K二者解析度之紅 色、綠色及藍色成分之所有編碼單位集合。令心=U 7M/)、U (?2(7)及丑2= U及2(7)分別代表該整體序列之僅 提供至4K解析度之紅色、綠色及藍色成分之所有編碼單 位集合。令义=U及3(/)、（73 = U G⑺及说=U A⑺分別代 表該整體序列之提供至全4K解析度之紅色、綠色及藍色 成分之所有編碼單位集合。令儿=U儿（/)、42=U丄⑺、丄= U /3(/)分別代表該整體序列之提供至2Κ與4Κ二者、僅 只4Κ及全4Κ之所有編碼單位集合。 此實例之各子集合爲： 影像取向：义⑺、仏⑺、及⑺、沁⑺ 序列取向：/h 所有上列其他集合僅爲代號上之便利。 要求清單爲： 影像取向：5^ ' 只凡（/))$ (總 規模紅、綠、藍2K) 只心⑺）S (總規模全4K) 序列取向：5X/40 = 總規模全4K )在一容限內。 除全4K時之總序列取向規模要求外，個別之影像及 個別顏色成分之2K部分應不需過多之字節數。此等要求 可用於避免緩衝器上溢/下溢或限制於解碼器解壓縮所 執行之計算量。該方法適用於其他顔色空間，譬如XYZ。 其在採用顏色轉換時亦適用。在此情況下，該等要求適用 28 1330490 於各經轉換之（顏色）成分。最後，該方法適用於不存在 —或更多影像取向要求之際。在此情況下，步驟34之相關 部分可予略過。同樣，該演算法亦適用於不存在該序列取 向要求之際。在此情況下，歩驟34' 41、37及/或38之 相關部分可予略過。 在該一次通過手段中，由仏⑺中選出具有最大有效値 之品質增量使51(見（/))$ 仏⑺中所有未選出之品質增 量予拋棄。亦就G (Ο及万1 (·〇執行相同作業。然後，由/13 (7) 中選出其餘具有最大有效値之品質增量使只43(/))各。 未選出之品質增量予拋棄。在所有影像均如此此處理後， 由/43中選出具有最大有效値之品質增量，以於一容限內使 51(小（乃）=夕/以步驟41)。未選出之品質增量予拋棄。然後 用所選出之品質增量形成該碼流。若不存在該序列取向要 求，則可省略步驟41。 有趣者爲考慮由此實例形成二層次之碼流。一種方法 爲藉由選擇上述之品質增量而滿足以上對該二層次一起 之要求。其將此等品質增量分割成二層次。一簡單之情況 可能對第一層次要求兄（丄⑺）客义^且兄（丄⑺）各对"其中 且。其他情況類同。就此情況而言’第 一層之品質增量可選擇如下。選擇如上述就每一影像予選 出且具有最大有效値之品質增量使然後’ 在所有如此選出者之中選擇品質增量使此 後者使&(/43(/))$ 之選擇程序可略過’若第一層次上無 序列取向要求。如此選出之品質增量佔據第一層次’而其 29 1330490 餘則前往第二層次。業界熟練人士將立即能擴充此具體形 式以包括多層次。 另一包括二層次之手段爲將上述之情形逆轉。亦即該 二層次一起滿足&(43⑺）$夕夂且（或許）客夕么， 其中s/, > 且*5^ > 。於是，選擇第一層次以滿足原 如實例6中列示之各項要求。滿足此等要求之一次通過手 段如下。首先，選擇品質增量以滿足對該二層次一起之要 求。明確言之，就每一影像選出具有最大有效値之品質增 量使&(丄⑺而拋棄其餘全部。然後，自氽中之所 有其餘品質增量選出具有最大有效値者使AM;⑺对，。 (若不存在此要求，則可略過滿足AM3(/)) S夕么之選擇工 作。）所有如此選出之品質增量進入該許可進入碼流內。 將其餘拋棄。在該許可進入碼流內之各品質增量中，可用 以上所列用於滿足實例2原有要求隻具體形式選出屬於第 一層次者。擴充至多於二層次之情形乃直接易明。 實例3 :替代之有效値 一常用以於非可定標壓縮體系中執行速率控制之方 法爲以一初始步級-規模量化並將所有係數資料編碼，然 後就不同之步級-規模進行量化及編碼迭代工作，直到符 合要求爲止。此典型上僅用於單一子集合（包含整個影像 者本發明之一次通過具體形式可將數元平面數用作有 效値而就複子集合及/或複要求獲致相同之效果。所得速 率分配試圖將包括自蒙受該LOR之相關子集合之數元平 面數最大化。結果將等同將一固定量化器步級-規模用於 30 1330490 一子集合內之各係數。有效步級-規模於是爲2P △，其中 △爲步驟31中所用之實際步級-規模，而p爲該子集合內 所拋棄數元平面之數目。此手段可能對所需之序列取向規 模要求一大容限。若此爲不可接受則可進行迭代。大槪僅 需要一次額外之通過。原因爲所需之最終Δ保證落於2ΡΔ 與2ρ1△之間，其中ρ爲最小數元平面數，當被拋棄（步 驟4 1 )時提供一小於所需之序列取向規模。然後，可用此 二値之內插，如此次一通過有可能產生一在所需規模之合 理容限內之序列取向規模。內插可爲線性或非線性。△對 有些常數C而言經常與成正比之關係在此方面會有幫 助。 其他實例 以上詳述之各實例僅代表一些可能之速率控制用構 造及一些可能之要求。舉例言之，該序列內之每一影像均 可將空間分段成稱爲前景及背景之二個區域，彼等於影像 之間無需加以連接且無需爲靜態，並具有不同位準之解壓 縮後品質。在此情況下，對應於該前景及背景之編碼單位 被分離成不同之子集合，並用該等一次通過、二次通過或 迭代演算法加以處理。一項可能之要求可爲：藉一既定子 集合內各編碼單位所提供之壓縮資料總規模乃介於一上 界與一下界之間。又，可就影像群組（迷你序列）改變各 項要求。此可能有用於各種編輯應用或經由變時通信波道 之傳輸。 例示性速率控制應用 31 1330490 本文中說明速率控制技術之許多其他可能之應用，以 構作呈現高平均重構影像品質或小壓縮規模之碼流’同時 滿足一對於各影像子集合之LOR。以下審視一些例示性之 應用。 後釋放修改用涑率捽制 假設在將一序列編碼後一段時間希欲替換一或更多 影像。每一替換用影像均可用本發明之教示予個別編碼， 以於每一子集合內具有相同於其所替換影像之字節數。另 法，各替換用影像可當作一序列予以編碼，即令彼等可來 自該完整序列內之暫時全異位置。替換用"序列"之所需 序列取向規模可予選擇以與替換中影像相匹配。 歸檔及/或壓縮工作流甩速率控制 在2005年二月4日申請之共同待決美國專利申請案第 1 1 /05 177 1號（以下稱"DI工作流程〃，係以指述方式納入 本文）中說明一JPEG2000壓縮工作流。本文中所述速率 控制技術可用於該環境中。該影像序列及/或該序列中各 影像之任何編輯工作可在任何編碼/速率分配工作之前 用未壓縮資料予以實施》然如圖6及7中所示，一JPEG2000 編碼器（或者更攏統爲一可定標編碼器）較佳爲將每一影 像152編碼（步驟154)(較佳爲達極高之品質，或者無損 耗）’並儲存所有品質增量之有效値及長度（步驟158)， 而對應於圖2中之步驟31及32。各壓縮品質增量亦予儲 存（較佳爲於JPEG2000碼流內，但有可能爲其他資料結 構）（步驟160)。 32 1330490 所儲存資料可用作一高品質壓縮檔案庫，供後續速率 分配及/或編輯。如需編輯，可將各影像解壓縮、編輯、 然後再壓縮，或者可以一使用DI工作流程中所述壓縮碼流 之DI工作站164實施編輯作業（步驟162)。儲存任何新 產生（替換用）品質增量之有效値及長度（步驟166)。一 旦編輯完成，可將所儲存資料再次用作一高品質壓縮檔案 庫。當需執行速率分配時，一速率控制器168對蒙受各子 集合定義172及LOR 174之已編輯（或已歸檔）碼流施用 該等速率控制技術（步驟170)，並產生許可進入碼流176 (步驟178)，後者可予歸檔或記錄於介質或者經由一波道 予以傳輸。 爲執行速率控制，可用本發明教示之各技術解壓縮然 後再壓縮。較佳爲不實施解壓縮/再壓縮。該一次通過演 算法可單純藉由對所有壓縮影像執行步驟34然後前進到 步驟36予以進行。另外，由於所有影像已經過壓縮及儲 存，故步驟34及36可同時實施。顯然，此方式可產生多 於一個之許可進入碼流，而每一類型對應一不同之LOR。 可保留如此產生之每一碼流記錄，而無需儲存所產生碼流 之本身。一此種方法爲儲存所用以滿足每一影像取向及序 列取項要求之各相關有效門檻。如圖6及7中所構組，該 等壓縮、編輯及速率控制作業係藉JPEG2000編碼器150、 —DI工作站164、及一速率控制器168予以執行。然而， 此等作業可與整合成單一工作站。 以上具體形式說明品質增量與其等有效値及長度之 1330490 留存。此等長度有用於滿足規模要求‘。若替代成（或額外） 須滿足品質要求，則品質增量失真減量可替代（或.附加於） 品質增量長度予以留存。 替代之歸檔用涑率捽制 如上述，一檔案庫可能含有所有品質增量與其等之有 效値及長度。此給與驚人之彈性以於稍後就不同之子集合 及LOR定義（可能在實施步驟31及32時爲未知者）產生 不同之許可進入碼流。另一方面，一但有關之所有子集合 及LOR定義均爲已知，則一極高品質（或者無損耗）之許 可進入碼流可予產生並儲存作爲替代之檔案庫。使用本文 中所述之速率控制技術（一簡單之情況提供於實例2 )，該 檔案庫可就不同之子集合定義予產生以含有滿足不同LOR 之不同層次。然後可於稍後之時日抽取各種滿足各種LOR 之許可進入碼流，無需進一步作任何速率分配。 •雖然已顯.示及說明本發明之若干例示性具體形式，·但 業界熟練人士將思及許多變化形式及替用具體形式。舉例 言之，有可能將本發明之各具體形式應用於該序列內之一 影像子集合，以減少計算工作。然後，可將一用所有影像 所成子集合予以估算之初始參數集合應用於整個影像序 列。此方法會導致節省顯著之計算工作。此外，該等具體 形式適用於採用暫時預測或暫時轉換之際。在此等情況 下，該等技術被應用於預測錯誤影像或暫時轉換影像。在 暫時轉換之情況下，各子集合可根據一群組之暫時轉換影 像加以界定。舉例言之，查考一種三位準之暫時子波轉換。 34 1330490

在此情況下’八個暫時轉換影像名義上對應八個原始影 像。因此，界定適合八個暫時轉換影像之子集合可能有用。 此等變化形式及替用具體形式均被預期，且可加以作成而 不背離本發明如後附申請專利範圍界定之精神及範疇。 35

Claims (1)

133.0490 yy. 6. ~s— 年月日修正^ 十、申請專利範圍： 一 1· 一種速率控制方法，用於一或更多影像轉換（步驟31)以獲得轉換 係數’各係數予分割成編碼單位(52)，後者被編碼成多個具有個別有效值 (56)之品質增量(5〇)(步驟32)，該方法包含： 界定多個作為編碼單位總集之子集合(54)(步驟29)，包括一其内包 括不同編碼單位總集之第一子集合及第二子集合，至少—所述第一或第二 • 子集合包括二或更多編碼單位且至少有一影像對所述第一及第二子集合中 φ 之每一個提供一或更多編碼單位； 對該等子集合設定一要求清單(L0R)(步驟30)，所述LOR包括對於 所述第一子集合之一第一規模要求及對於所述第二子集合之第二規模要 求，所述第一及第二規模要求不相同； 以一速率控制器使用該等有效值選擇品質增量，以滿足對於該第一 子集合之該第一規模要求及對於該第二子集合之該第二規模要求（步驟 34、41);以及 由所選品質增量對所述一或更多影像構作一許可進入碼流（步驟 36)。 2.如申請專利範圍第1項之方法，其中至少所述第一及第二子集合54 包括相同之編瑪單位（52)(步驟29)。 3·如申請專利範@第1或2項之方法，其中影像制應2_予以編 碼（步驟31)，其巾料編碼單位為娜而該料質增量為編瑪通過。 4.如申請專利範圍第1或2項之方法，其中該許可進人碼流包括二或 更多層次’而-或更多層次-起滿足所述第一及第二規模要求（步驟3〇)。 1 1330490 胤 6. -8-- 年’]曰修正替換頁 5. 如申請專圍第i或2項之方法，其中每—所述品質增量均有— 長度’具有最大有效值⑽之所述品質増量⑽顿出直到所選各增量之 總長度滿足對於所述子集合之規模要求為止（步驟加、41)。 6. 如申請專利範圍第i或2項之方法，其中在該L〇R内之至少一登入 項目（步称30)係對於-子集合⑽之品f要求，其中就蒙受該品質要求 •之子集合選出具有最大有效值之品質增量(5Q)(步驟34、41)。 • 7.如申請專利範圍第1或2項之方法，其中子集合⑽（步驟29)包 括-界定祕自-個郷像之編碼單位絲之影像取向子集合及/或界定 成得自-影像序列中每-影像之編碼單位總集之序列取向子集合且其中 該⑽包括-雜術/或相㈣求，所謂增扣下列方式選 出： 對於任何影像取向子集合，選擇品質增量⑽以滿足其等在該L0R 内之影像取向要求（步驟34);以及 ;任何糾取向子集合，選擇品質增量⑽以滿足其等在該⑽ 内之序列取向要求（步驟38、41)。 8. 如申咖瓣7似心料糊-傷係-影像取向 子集合而所述第：？集合係—序·向子集合（步驟· 9. 如申請專利範圍第7項 隹a 之方法其切述第—及第二子集合係影像 取向子集合（步驟29)。 瑪韻在範圍第7項之方法’其中該一或更多影像之整趙許可進 入瑪在—次通射予以構作（_4、41、42> 13 3fl49〇 9S. 6. -S--- 年月Ώ修正替換頁 11.如申請專利範圍第1G項之方法其中品質增量⑸)係根據其等之有 -效值⑽予以選擇’以献任何影像取向要求，並就每—所述影像留存所 ‘選品質增量（步職），然後根據各有效值選擇品質增量以滿足任何序列取 向要求（步碌41 )，然後由所選已留存之品質增量構作該許可進入碼流（步 驟 42)。 12. 如申請專利範圍第9項之方法其中所述對於所述第一及第二影像 ♦取向子集合之雜取向規財求狀―最大賴或財欲規模。 13. 如申請專利範圍第7項之方法，其中所述子集合⑽（步驟29)包 括每-影像之第…第二及第三影像取向子集合，而該等子集合分別包括 重構各該雜之三顏色成财各個_之财編碼單位⑽以及一聯合 該三顏色子集合之第四影像取向子集合，所述(步驟3Q)包括對於該 第、第一、及第三影像取向子集合中各個之最大影像取向規模要求後 者指定之最大容魏難-對於所料四雜取向子#合之雜取向規模 # 要求所容許者為小。 14·如申請專利範圍第項之方法，其中所述子集合⑽（步驟如尚 包括一包括該序列中所有影像之所有編碼單位之序列取向子集合 ，而所述 L0R (步驟30)包括-對於所述序列取向子集合之序歹你向規模要求，後者 今許-較姆於所述第四雜取向子集合之最大雜取向規模要求為大之 規模。 15.如申請專利範圍第7項之方法，其中該許可進人碼流可以—第一較 低解析度及-第二較雜析度重構料騎，騎子集合包括每一影像之 3 U 3.0490 ¥·月"8曰修JF.并降頁I --------------* 一一 第一、第二及第三影像取向子集合，而該等子集合包括以該第—較低解析 • 冑重構各該影像之三顏色成份中各個所需之所有編瑪單位，以及-包括各 • 該影像全趙之所有編碼單位（步驟29)之第四影像取向子集合 ，所述L0R 包括對於每一影像之該第四影像取向子集合之一影像取向規模要求以及該 第-、第二及第三影像取向子集合十各個之最大影像取向規模要求（步驟 3G)，後者要求較麟帛Ε9子集合之所舰财麵料者料之規模。 Φ 16·如申請專利範圍第15項之方法，其中該許可進入碼流包括二或更多 層次，而一或更多層次一起滿足所述各項要求。 17. 如申請專利範圍第15項之方法，其巾躲所述第四取向子集合 之所述影像取向規模要求乃一最大影像取向規模要求（步驟3〇)。 18. 如申請專利第17項之方法’其中所述子集合尚包括_包括所有 影像之所有编碼單位（步驟29)之序列取向子集合，而該L〇R包括一對於 所述序列取向子集合之序列取向規模要求（步驟3〇)。 Φ 19.如申請專利範圍第7項之方法，其中每-影像之該第-及第二子集 合係影像取向子集合，包含重構該影像之不同空間區域所需之編碼單位（步 驟 29)。 20.如申請專利範圍第1或2項之方法，就一包括多個影像之序列而言， 尚包含： 儲存該等編碼單位之所述品質增量作為一檔案庫， 其中所述品質增量係選自該檔案庫，以滿足各子集合之LOR及構作該許可 進入碼流。 4 Ά~8日修.if，”— 21. 如申請專利範圍第2〇項之方法，其中各關連之有效值與儲存於該檔 案庫内。 22. 如申請專利範圍第2〇項之方法，其中界定該等子集合及設定該⑽ 之步称係在品質增量傾存作為·案庫之後執行。 23. 如申請專利範圍第20項之方法，尚包含： 對同-影像序列之相同或不同子集合設定一不同之L〇R ;以及 使用該等有效值自該檔案庫選擇品質增量，以構作另一滿足該不同 之LOR之許可進入碼流。 24_ —種產生一許可進入碼流之系統，包含： -編碼器（150) ’適合接收一或更多影像(152)之輸入序列並將彼等 轉換以獲得轉換係數’各係數予分割成編碼單位，後者各自被編碼成多個 具有個別有效值及長度之品質增量；以及 -速率控制器（168) ’適合接收界定編碼單位總集之子集合定義 (Π2) ’包括-其内包括不同編碼單位總集之第—子及第二子集合其中至 少-所述第-或第二子集合包括二或更多編碼單位且至少有_影像對所述 第-及第二子集合中之每-個提供__或更多編碼單位；以及接收一對於該 等子集合之要求清單(卿(174) ’包括對於該第一子集合之一第一規模要 求及對於該第二子集合之-不同之第二規模要求；所述速率控制器使用該 等有效值選出滿足相關子集合之L〇R之品f增量，並由所選品質增量構作 一許可進入碼流（176)。 25.如申請專利範圍第24項之系統，其中所述第一及第二子集合(172) 1330490 Ρζ~67~-8" 年月曰修正替換Κ 包括相同之編碣單位。 . 26,如申請專利範圍第24或25項之系統，其中所述第一及第二子集合 . (丨72)包括每—影像之第―、第二及第三影像取向子集合，而該等子集合分 別包括重構各該影像之三顏色成份中各個所需之所有編碼單位，以及一聯 合該三顏色子集合之第四影像取向子集合，所述L〇R (174)包括對於該第 . 一、第二及第三影像取向子集合中各個之最大影像取向規模要求，後者指 φ 定之最大容許規模較一對於該第四影像取向子集合之影像取向規模要求所 容許者為小。 27.如申請專利範圍第24或25項之系統，其中該許可進入碼流可以一 第一較低解析度及一第二較高解析度重構該等影像，所述子集合(172)包括 每一影像之第一、第二及第三影像取向子集合，而該等子集合包括以該第 一較低解析度重構各該影像之三顏色成份中各個所需之所有編碼單位，以 及一包括各該影像整全髏之所有編碼單位之第四影像取向子集合，所述LQR φ (Π4)包括對於每一影像之該第四影像取向子集合之一影像取向規模要求 以及該第一、第二及第三影像取向子集合中各個之最大影像取向規模要 求，後者要求較所述第四子集合之所述規模要求所容許者為小之規模。 6