TW201325246A - 低複雜解區塊濾波器決策技術 - Google Patents

低複雜解區塊濾波器決策技術 Download PDF

Info

Publication number
TW201325246A
TW201325246A TW101132498A TW101132498A TW201325246A TW 201325246 A TW201325246 A TW 201325246A TW 101132498 A TW101132498 A TW 101132498A TW 101132498 A TW101132498 A TW 101132498A TW 201325246 A TW201325246 A TW 201325246A
Authority
TW
Taiwan
Prior art keywords
block
segments
lines
deblocking filter
filter
Prior art date
Application number
TW101132498A
Other languages
English (en)
Other versions
TWI514852B (zh
Inventor
Matthias Narroschke
Semih Esenlik
Thomas Wedi
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Publication of TW201325246A publication Critical patent/TW201325246A/zh
Application granted granted Critical
Publication of TWI514852B publication Critical patent/TWI514852B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H04N19/865—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明係關於解區塊濾波，其可有利地被應用於影像或視訊信號之區塊方式編碼及解碼。尤其是，本發明係關於是否應用或跳過對於一區塊之解區塊濾波及解區塊濾波器之選擇的一自動化決策中之一改良記憶體管理技術。該決策以記憶體使用被最佳化之方式根據區塊之一區分被進行。最好是，適當解區塊濾波器之選擇被改良以減低計算花費。

Description

低複雜解區塊濾波器決策技術 發明領域
本發明係關於影像之濾波。尤其是，本發明係關於解區塊濾波以及關於是否致動或使失效對於一影像區域之解區塊濾波的決策。
發明背景
目前，大多數標準化視訊編碼演算法是根據混合視訊編碼。混合視訊編碼方法一般組合許多不同的無損以及有損壓縮結構，以便達成所需的壓縮增益。混合視訊編碼同時也是ITU-T標準(H.26x標準，例如，H.261、H.263)以及ISO/IEC標準(MPEG-X標準，例如，MPEG-1、MPEG-2以及MPEG-4)之基礎。最近以及最先進之視訊編碼標準目前是表示為H.264/MPEG-4先進視訊編碼(AVC)之標準，其是藉由聯合視訊小組(JVT)、ITU-T之聯合小組以及ISO/IEC MPEG團體之標準化努力的結果。這編解碼器是進一步地在被取名為高效率視訊編碼(HEVC)之下藉由視訊編碼之聯合協作小組(JCT-VC)被開發，其目標尤其是關於高解析度視訊編碼之效率的改進。
輸入至一編碼器之視訊信號是一序列之影像，其被稱為像框，各像框是一個二維的像素矩陣。所有根據混合視訊編碼的上述標準包含次分割各分別的視訊像框成為由複數個像素所構成之較小區塊。該等區塊之尺度可變化，例 如，依照影像內容變化。編碼方式一般可根據每個區塊為基礎而變化。對於此一區塊之最大的可能尺度，例如，於HEVC中，是64 x 64個像素。其接著被稱為最大編碼單元(LCU)。於H.264/MPEG-4 AVC中，一巨區塊是編碼被進行之基本影像元素(通常表示為一16 x 16像素之區塊)，其具有一可能性，而可進一步地分割它成為一些編碼/解碼步驟被應用之較小的子區塊。
一般，混合視訊編碼之編碼步驟包含一空間及/或一時間預測。因此，將被編碼之各區塊首先使用其之空間鄰近中的區塊或自其之時間鄰近(亦即，自先前被編碼之視訊框)的區塊之任一者被預測。在將被編碼的區塊以及其之預測區塊間的差量區塊，同時也稱為預測殘餘區塊，接著被計算。另一編碼步驟是殘餘區塊自空間(像素)領域成為頻率領域之轉換。該轉換目的是在減低輸入區塊之相關性。進一步的編碼步驟是轉換係數之量化。於這步驟中，實際有損(不可逆)壓縮發生。通常，壓縮轉換係數之數值進一步藉由熵編碼被壓縮(無損壓縮)。此外，用於編碼視訊信號之重建所必須的側資訊被編碼並且與編碼視訊信號一起被提供。這是，例如，關於空間及/或時間預測、量化數量等等之資訊。
第1圖是典型的H.264/MPEG-4 AVC及/或HEVC視訊編碼器100之範例。減法器105首先決定在一輸入視訊影像之將被編碼的一目前區塊(輸入信號s)以及一對應的預測區塊之間的差量e，該預測區塊被使用作為將被編碼之目前區 塊的預測。預測信號可藉由一時間或藉由一空間預測180被得到。預測型式可根據每個像框或根據每個區塊而變化。使用時間預測之區塊及/或像框預測被稱為“像框間”編碼，並且使用空間預測之區塊及/或像框預測被稱為“像框內”編碼。使用時間預測之預測信號自先前被編碼之影像被導出，其被儲存於一記憶體中。使用空間預測之預測信號自鄰近區塊中的邊界像素之數值被導出，其已先前地被編碼、被解碼，並且被儲存於記憶體中。在輸入信號以及預測信號之間的差量e，其代表預測誤差或殘餘者，於110被轉換而導致係數，於120被量化。熵編碼器190接著被應用至量化係數，以便進一步地減低將被儲存及/或以無損方式被發送之資料數量。這主要地藉由應用具有可變長度之碼字的一數碼而被達成，其中一碼字長度根據其之出現的可能性被選擇。
解碼單元被合併在視訊編碼器100之內，以供得到一解碼(重建)視訊信號s’。依循編碼步驟，解碼步驟包含解量化以及反向轉換130。由於量化誤差，同時也被稱為量化雜訊，因此被得到的預測誤差信號e’不同於原始預測誤差信號。重建影像信號s’接著藉由於140相加該解碼之預測誤差信號e’至預測信號而被得到。為了保持在編碼器端以及解碼器端之間的協調，預測信號根據在編碼器以及解碼器兩側已知之被編碼以及隨後被解碼的視訊信號而被得到。
由於量化，量化雜訊被疊置於重建視訊信號。由於區塊方式的編碼，疊置的雜訊通常具有區塊特性，其導致於 被解碼之影像的可見區塊邊界，尤其是對於強的量化。此些區塊效應於人們視覺知覺上具有負面影響。為了減低這些效應，一解區塊濾波器150被應用至每個重建影像區塊。解區塊濾波器被應用至重建信號s’。例如，H.264/MPEG-4 AVC之解區塊濾波器具有區域調適能力。於高度的區塊雜訊之情況中，強(窄頻帶)的低通濾波器被應用，而對於低度之區塊雜訊，較弱(寬頻帶)的低通濾波器被應用。低通濾波器之強度藉由預測信號以及藉由被量化之預測誤差信號e’被決定。解區塊濾波器通常使區塊邊緣平滑而導致解碼影像之改進的主觀品質。此外，因為影像之濾波部份被使用於進一步影像之移動補償預測，濾波同時也減低預測誤差，並且因此可使編碼效能改進。
在一解區塊濾波器之後，一樣本適應式偏移155及/或適應式迴路濾波器160可被應用至包含先前已被解區塊之信號s”的影像。因而解區塊濾波改進主觀品質、樣本適應式偏移(SAO)，並且ALF目的是在改善像素方式之保真度(“客觀”品質)。尤其是，SAO依照像素緊接著之近鄰而添加一偏移。適應式迴路濾波器(ALF)被使用以補償由於壓縮所導致之影像失真。一般，適應式迴路濾波器是具有被決定的濾波係數之維納(Wiener)濾波器，以至於在重建影像s’以及原始影像s之間的均方差(MSE)被最小化。ALF之係數可根據一像框基礎被計算並且被發送。ALF可被應用至整個像框(視訊序列之影像)或至局域性區域(區塊)。指示那個區域將被濾波之一另外的側資訊可被發送(區塊為基礎，像框 為基礎或四分樹型為基礎)。
為了被解碼，像框間編碼區塊同時也需要儲存先前被編碼以及隨後被解碼之影像部份於參考像框緩衝器170中。一像框間編碼區塊藉由採用移動補償預測於180被預測。首先，對於目前區塊之一最佳匹配區塊藉由一移動評估器在先前被編碼以及被解碼視訊框內被發現。最佳匹配區塊接著成為一預測信號並且在目前區塊以及其之最佳匹配之間的相對位移(移動)接著以三維移動向量形式被信號化作為在與編碼視訊資料一起被提供的側資訊內之移動資料。三維是由二個空間尺度以及一個時間尺度所構成。為了最佳化預測精確度，移動向量可以一空間次像素解析度(例如，半像素或四分之一像素解析度)被決定。具有空間次像素解析度之移動向量可指示在其中沒有真正像素數值是可用的一先前已被解碼的像框內之一空間位置，亦即，一次像素位置。因此，需要此像素數值之空間插補，以便進行移動補償預測。這可藉由一插補濾波器被達成(在第1圖中被整合於預測方塊180內)。
對於像框內以及像框間編碼模式二者，於方塊110，在目前輸入信號以及預測信號之間的差量e被轉換並且於方塊120被量化，而導致被量化之係數。通常，一正交轉換，例如，二維離散餘弦轉換(DCT)或其一整數形式被採用，因為其有效地減低自然視訊影像之相關性。在轉換之後，對於影像品質，較低頻成分通常是比高頻成分更重要的，因而更多位元可被花費在編碼低頻成分而非高頻成分。於熵 編碼器中，量化係數之二維矩陣被轉換成為一個一維陣列。通常，這轉換利用一所謂的曲折式掃描被進行，其開始於二維陣列左上方角落中的DC-係數並且以預定序列掃瞄二維陣列而結束於右下方角落之AC係數。因能量通常被集中於二維係數矩陣的左上方部份中，對應至較低頻率，曲折式掃描導致通常最後數值是零的一陣列。這允許有效的編碼使用行程-長度數碼作為在實際熵編碼之一部份/之前。
H.264/MPEG-4、H.264/MPEG-4 AVC以及HEVC包含二個功能層、一視訊編碼層(VCL)以及一網路提取層(NAL)。VCL提供如上面概述之編碼功能。NAL依據它們進一步應用(例如，在一頻道上發送或儲存於儲存器中)將資訊元件封裝成為被稱為NAL單元之標準化單元。該等資訊元件是，例如，編碼預測誤差信號或用於視訊信號之解碼所必須的其他資訊，例如，預測型式、量化參數、移動向量等等。有包含壓縮視訊資料與相關資訊之VCL NAL單元，以及封裝另外的資料，例如，關於一整個視訊序列之參數集合，之非VCL單元，或提供可被使用以改進解碼性能的另外資訊之增補增強資訊(SEI)。
第2圖闡述依據H.264/MPEG-4 AVC或HEVC視訊編碼標準之解碼器200範例。編碼視訊信號(至解碼器之輸入信號)首先傳送至熵解碼器290，其解碼量化係數、用於解碼必須的資訊元素，例如，移動資料、預測模式等等。量化係數反向地被掃描以便得到一個二維矩陣，其接著被餽送 至反向量化以及反向轉換230。在反向量化以及反向轉換230之後，一解碼(量化)預測誤差信號e’被得到，其對應至藉由自輸入至編碼器之信號減去預測信號所得到的差量，於此情況中沒有量化雜訊被引入並且沒有誤差發生。
預測信號自時間或空間預測280之任一者被得到。解碼資訊元素通常進一步地包含用於預測所必須的資訊，例如，於像框內-預測情況中之預測型式，以及於移動補償預測情況中之移動資料。空間領域中之量化預測誤差信號接著利用一加法器240被加至自移動補償預測或像框內像框預測280之任一者所得到的預測信號。重建影像s’可通過解區塊濾波器250、樣本適應式偏移處理255、以及一適應式迴路濾波器260並且產生的解碼信號被儲存於記憶體270中而將被應用於下面區塊/影像的時間或空間預測上。
混合視訊編碼器範例之進一步的闡述被展示於第3圖中。第3圖之編碼器不同於第1圖之編碼器，其中第1圖之解區塊濾波器150已被次分割為供用於垂直邊緣之水平解區塊的濾波器350a以及供用於水平邊緣之垂直解區塊的濾波器350b。濾波器350a被應用至加法器140之輸出的重建信號S’。濾波器350b之輸出，亦即，表示為S”之具有解區塊垂直邊緣的一影像且被輸入濾波器350b中。濾波器350b之輸出信號，亦即，一垂直以及水平解區塊影像，並且已被表示為S'''。此外，第3圖明確地展示將被輸入熵編碼器190之量化參數QP、水平解區塊濾波器350a以及垂直解區塊濾波器350b。
第3圖之其餘方塊對應至第1圖之分別的方塊，並且其相同特點利用第3圖以及第1圖之相同參考號碼被表示。於第3圖中，適應式迴路濾波器160已明確地被說明如一維納(Wiener)濾波器，並且方塊155(SAO)以及160(ALF)已被互換。但是，這些步驟之順序對本發明不是主要的。此外，參考像框緩衝器170並不明確地展示於第3圖中。
關於第1圖編碼器以及第2圖解碼器的分別特點之接近的類似性，熟習本技術者應明白，如何修改第2圖，以便闡述於隨後的二步驟中，其水平以及垂直解區塊明顯地被完成之一解碼器。因此一各別的圖形於此處被省略。
當壓縮以及解壓縮一影像時，區塊效應一般對使用者是最惱人之效應。解區塊濾波藉由使在重建影像中的區塊之間的邊緣平滑而協助改進使用者之知覺感受。解區塊濾波中困難之一者是在由於量化器之應用由區塊所導致的一邊緣之間以及在編碼信號之成份的邊緣之間正確地決定。解區塊濾波器之應用僅是如果區塊邊界上之邊緣是由於壓縮效應才需要。於其他情況中，藉由應用解區塊濾波器，重建信號可能是令人失望地失真。另一難題是用於解區塊濾波之一適當的濾波器之選擇。一般，在具有導致強或弱低通濾波之不同頻率響應的許多低通濾波器之間的決定被達成。為了決定解區塊濾波是否將被應用並且選擇一適當的濾波器，二區塊之邊界鄰近中的影像資料被考慮。
例如，鄰近區塊的量化參數可被考慮。另外地或此外，例如，像框內或像框間的預測模式，可被考慮。另一可能 性是估計量化預測誤差係數，例如，它們有多少被量化至零。被使用於移動補償預測之參考像框也可用於濾波器選擇之指示，例如，相同參考像框是否被使用於目前區塊以及鄰近區塊之預測。決定也可根據被使用於移動補償預測之移動向量以及根據用於目前區塊與用於鄰近區塊的移動向量是否相同或較佳於它們所遵循者。決定可涉及樣本之空間位置，例如，至區塊貼片之距離。
例如，H.264/MPEG-4 AVC估計於二鄰近區塊，其邊界將被解區塊，之各者中的第一導數之絕對值。此外，跨越在二區塊之間的邊緣之第一導數的絕對值被估計，如上所述，例如，於H.264/MPEG-4 AVC標準，8.7.2.2節中。一相似方法同時也被說明於美國專利第2007/854204A1號案中。決定根據相同準則被採用於將被濾波的所有像素並且對於整體區塊之選擇被進行。HEVC採用一相似機構，但是，也使用一第二導數。
依據這些方法，對於實際解區塊，關於是否解區塊之一決定被採用於可能將被解區塊之一區塊的所有邊緣。進一步地，如果解區塊被引動，以用於各分別的線，則有關將被應用之濾波器類型的一決定被採用。這些決定根據非解區塊像素樣本被採用。因此，用於解區塊兩方向之決定必定在實際上應用解區塊濾波器之前被採用以供用於垂直邊緣之水平濾波以及水平邊緣之垂直濾波兩者。結果是將被應用的第一解區塊濾波器(例如，水平濾波)之延遲。此外，濾波器導通/濾波器斷開決定之結果將需要被儲存。另 外地，附加的線記憶體將是所需的，以便延遲對於第二方向中之解區塊(例如，垂直)所採用的決定。因為線記憶體是非常昂貴，這導致成本的增加。
發明概要
對於現行技術所具有的這些問題，提供其中記憶體使用效率被改進的一有效解區塊濾波方法將是有利。
本發明之特定方法是，根據沿著垂直於區塊邊界之一線而使各區塊成為至少二個區段之一分區，而不是根據完整區塊，進行是否應用或跳過對於二區塊之間的一邊界之解區塊濾波器的決定。該等區段被界定以使得一區段包含以任何方式被儲存之所有的那些像素，因為它們是決定是否應用或跳過解區塊濾波及/或對於一垂直方向中的另一區塊邊界，相鄰於分別區段，之適當濾波器之選擇所需要。
依據本發明之一論點，一種用於影像像素區塊之解區塊濾波的方法被提供。該方法包括下列步驟：分割藉由一第一邊界被分開的一第一及一第二區塊之各者成為至少二區段，該分割步驟是沿著垂直於該第一邊界之一線，並且判斷是否應用一解區塊濾波器至相鄰於該第一及該第二區塊的該第一邊界之像素。該判斷步驟是對於在該第一邊界兩側上之一對相鄰區段使用該對相鄰區段中之樣本像素分別地被進行，以至於沒有屬於其他區段的像素被使用於該判斷步驟中。成為區段之該等區塊的分割被進行，以至於一區塊之一區段包含用於判斷是否應用一解區塊濾波器 及/或用於將相鄰在該區塊及一第三區塊之間的一第二邊界之像素解區塊之解區塊濾波器之選擇所需的該區塊之所有像素，其中該第二邊界是垂直於該第一邊界。
依據本發明之另一論點，一種用於影像像素區塊之解區塊濾波的裝置被提供。該裝置包括：一分區單元，其用以分割藉由一第一邊界被分開的一第一及一第二區塊之各者成為至少二區段，該分割步驟是沿著垂直於該第一邊界之一線。該裝置進一步包括一判斷單元，其用以判斷是否應用一解區塊濾波器至相鄰於該第一及該第二區塊的該第一邊界之像素。該判斷單元對於在該第一邊界兩側上之一對相鄰區段使用該對相鄰區段中之樣本像素分別地進行判斷，以至於沒有屬於其他區段的像素被使用於該判斷中。該分區單元進行成為區段之該等區塊的分割，以至於一區塊之一區段包含用於判斷是否應用一解區塊濾波器及/或用於將相鄰在該區塊及一第三區塊之間的一第二邊界之像素解區塊之解區塊濾波器之選擇所需的該區塊之所有像素，其中該第二邊界是垂直於該第一邊界。
圖式簡單說明
附圖被合併並且形成說明文之一部份以闡述本發明數個實施例。這些圖形與說明一起用於說明本發明之原理。圖形僅是用於闡述本發明可如何被組成與被使用之較佳及不同範例之目的，並且不應被視為限定本發明於僅闡述以及說明之實施例。進一步特點以及優點將自下面以及本發明各種實施例之更多特定說明而成為更明顯，如於附圖中 所闡述的，其中相同之參考數目指示相同元件，並且其中：第1圖是闡述一視訊編碼器範例之方塊圖；第2圖是闡述一視訊解碼器範例之方塊圖；第3圖是闡述一視訊編碼器範例之另一方塊圖；第4A圖是闡述一水平解區塊濾波器之應用的分解圖；第4B圖是闡述一垂直解區塊濾波器之應用的分解圖；第5圖是闡述是應用或不應用解區塊的決定以及解區塊濾波器之選擇之分解圖；第6A圖是闡述藉由強濾波器被進行之解區塊操作的分解圖；第6B圖是闡述藉由弱濾波器被進行之解區塊操作的分解圖；第7圖是闡述將依序自八列/行之一範例區塊被採用之解區塊決定序列的流程圖；第8圖是闡述被使用以進行第7圖流程圖中之第一類決定的像素樣本之分解圖；第9圖是闡述被採用以進行第7圖流程圖中之第二類決定的像素樣本之分解圖；第10圖是闡述像素樣本被使用以進行第7圖流程圖中用於垂直邊緣之水平濾波情況的第三類決定之分解圖；第11圖是闡述被使用以進行用於垂直邊緣之水平解區塊濾波的像素樣本之分解圖；第12圖是闡述被使用以進行第7圖流程圖中用於水平邊緣之垂直濾波情況的第三類決定之樣本像素的分解圖； 第13圖是闡述被使用以進行用於水平邊緣之垂直解區塊濾波的樣本像素之分解圖；第14圖是一樣本展示，其可利用垂直邊緣之水平解區塊被修改；第15圖是利用垂直邊緣之水平解區塊被修改的一樣本展示；第16圖是利用水平或垂直解區塊任一者被修改之一樣本展示；第17A-17D圖是闡述發生於第7圖流程圖用於水平以及垂直濾波之第一以及第二類決定的平行性能之問題，以及依照本發明克服該問題的基本概念的分解圖；第18圖是闡述依據本發明解區塊中之相依性受限定於8x8樣本之結構；第19A、19B圖是闡述依照本發明一實施例是應用或不應用一解區塊濾波器之決定的特定範例分解圖；第20A、20B圖是闡述依照本發明一實施例用以選擇一適當的解區塊濾波器之決定的範例解法之分解圖；第21A、21B圖是闡述依照本發明一實施例用以選擇一適當的解區塊濾波器之決定的另一範例解法之分解圖；第22A、22B圖是闡述當進行是應用或不應用一解區塊濾波器之決定時所發生的記憶體存取問題之分解方塊圖；第23A、23B圖是闡述第22A以及22B圖中所闡述之記憶體存取問題的解法之分解圖；第24圖展示用以實作內容分配服務之內容提供系統的 全面組態；第25圖展示數位傳播系統之全面組態；第26圖展示闡述電視組態範例之方塊圖；第27圖展示闡述自一光碟記錄媒體上讀取以及寫入資訊之資訊再生/記錄單元的組態範例之方塊圖；第28圖展示一光碟記錄媒體的組態範例；第29A圖展示一行動電話之範例；第29B圖是展示一行動電話之組態範例的方塊圖；第30圖闡述多工化資料之結構；第31圖分解地展示各訊流如何被多工化於多工化資料中；第32圖更詳細地展示視訊流如何被儲存於PES封包流中；第33圖展示多工化資料中之TS封包以及起源封包的結構；第34圖展示PMT之資料結構；第35圖展示多工化資料資訊之內部結構；第36圖展示訊流屬性資訊之內部結構；第37圖展示用以辨識視訊資料之步驟；第38圖展示用以依據各個實施例實作移動圖像編碼方法以及移動圖像解碼方法之積體電路的組態範例；第39圖展示用以在驅動頻率之間切換之組態；第40圖展示用以辨識視訊資料以及在驅動頻率之間切換的步驟； 第41圖展示其中視訊資料標準是關聯於驅動頻率之搜尋表範例；第42A圖是展示用以共用一信號處理單元之模組的組態範例之圖形；以及第42B圖是展示用以共用一信號處理單元之模組的另一組態範例之圖形。
較佳實施例之詳細說明
本發明之欲解決的問題是根據習見決定技術需要一極度記憶體容量以便以所需的順序進行所有決定以及實際濾波處理之觀察，如將在下面之詳細說明。為了減少記憶體成本，依照本發明，用以進行決定處理之區塊的分區處理被進行，以便使MIC記憶體需求最小化。依照進一步之特定觀點，進一步地提出減少全面計算的複雜性。
第4圖展示分別地關連於第1、2以及3圖之說明的解區塊濾波器(如150、250、350a、以及350b)之應用範例。此解區塊濾波器可決定在區塊邊界之各樣本是否將被濾波。當其將被濾波時，一低通濾波器被應用。這決定之目的是僅濾波那些樣本，在那些樣本之邊界的大信號改變，是產生自被應用於如上面背景技術部份中所說明之區塊方式的處理中之量化的區塊。這濾波之結果是在區塊邊界之平滑的信號。平滑的信號是減少觀看者因區塊效應之煩惱。對於在區塊邊界之大信號改變的那些樣本，其屬於將被編碼之原始信號，將不被濾波以便保持高頻率以及因此視覺敏銳 性。於錯誤決定之情況中，影像將不必要地被平滑或保持不均勻。
第5A圖闡述於一垂直邊界上之決定(以藉由水平解區塊濾波器濾波或不濾波)，並且第5B圖闡述於一水平邊界上之決定(以藉由一垂直解區塊濾波器濾波或不濾波)。尤其是，第5A圖展示將被解碼之目前區塊340以及其之先前已被解碼的鄰近區塊310、320、以及330。對於一線中之像素360，決定被進行。同樣地，第5B圖展示相同的目前區塊340並且對於一行中之像素370的決定被進行。
是否應用解區塊濾波器之判斷可如下所述，相似於H.264/MPEG-4 AVC被進行。假設採用六個像素360之一線，也如第5圖中所展示，首先的三個像素p2、p1、p0屬於左方鄰近區塊A 330並且接著的三個像素q0、q1以及q2屬於目前區塊B 340。線410闡述在區塊A以及B之間的一邊界。像素p0以及q0分別地是該左方相鄰者A以及目前區塊B之像素，直接地被安置而彼此相鄰。像素p0以及q0藉由解區塊濾波被濾波，例如，當下面的條件被滿足時：|p 0-q 0|<α H264(QP New ),|p 1-p 0|<β H264(QP New )，且|q 1-q 0|<β H264(QP New )，其中，通常，β H264(QP New )<α H264(QP New )。這些條件之目的是在檢測在p0以及q0之間的差量是否起源於區塊效應。它們對應至區塊A與B各者內以及在它們之間的第一導數之估計。
像素p1被濾波，如果除了上面三個條件之外，也還要下面的條件被滿足：|p 2-p 0|<β H264(QP New )。
像素q1被濾波，例如，如果除了上面首先的三個條件之外也還有下面的條件被滿足：|q 2-q 0|<β H264(QP New )。
這些條件分別地對應至第一區塊內之一第一導數以及第二區塊內之一第一導數。在上面條件中，QP表示指示被應用的量化數量之量化參數，並且β、α是純量常數。尤其是，QP New 是根據被應用至分別的第一與第二區塊A與B之量化參數QP A 與QP B 如下所示被導出的量化參數：QP New =(QP A +QP B +1)>>1，其中“>>n”代表向右移位n個位元(在上面公式中：一位元)。
上面條件對應至區塊內之第一導數的估計。決定可僅對於一選擇的線或一區塊之選擇的線被進行，而對於所有線360的像素之濾波因此接著被進行。涉及於依循HEVC之決定中之線430的範例420被闡述於第5圖中。根據線430，是否濾波整個區塊之決定被實行。
HEVC中之解區塊濾波的另一範例可被發現於，ITU-T SG16WP3以及ISO/IEC JTC1/SC29/WG11之JTC-VC，8.6.1部份，JCTVC-E603文件中，其可免費地得自http：//wftp3.itu.int/av-arch/jctvc-site/。
因此，於HEVC中，二條線430被使用以決定解區塊濾 波將是否以及如何被應用。這決定步驟於這整個說明文中被標明為第一決定步驟D1。範例420假設用於水平區塊濾波目的之第三(指標2)以及第六(指標5)線之估計。尤其是，如下所示地在各個區塊內之第二導數被估計而導致得到量測dp以及dq： d p2=|p22-2．p12+p02| d q2=|q22-2．q12+q02| d p5=|p25-2．p15+p05| d q5=|q25-2．q15+q05| d p =d p2+d p5 d q =d q2+d q5，像素p屬於區塊A並且像素q屬於區塊B。在p或q之後的第一個數目表示行指標並且下標中的下面數目表示在區塊內之列數目。當下面的條件被滿足時，範例420中所闡述用於所有的八條線之解區塊被引動：d=d p +d q <β(QP)。
如果上面條件不被滿足，沒有解區塊被應用。於解區塊被引動之情況中，將被使用於解區塊之濾波器被決定於整體本說明文中被標明為第二決定步驟D2之一隨後的決定步驟中。這決定是根據在區塊A以及B之間的第一導數之估計。尤其是，對於各線i，其中i是在0以及7之間的一整數，其被決定強或弱低通濾波器是否將被應用。如果下面的條件被滿足，則強濾波器被選擇。
|p3 i -p0 i |+|q3 i -q0 i |<(β(QP)>>3)^
d<(β(QP)>>2)^
|p0 i -q0 i |<((t c (QP)．5+1)>>1)。
依循HEVC模式，“強濾波器”使用P 3 i 、P 2 i 、P 1 i 、P 0 i 、 q 0 i 、q 1 i 、q 2 i 、q 3 i ，以濾波樣本P 2 i 、P 1 i 、P 0 i 、q 0 i 、q 1 i 、q 2 i ，而“弱濾波器”使用P 2 i 、P 1 i 、P 0 i 、q 0 i 、q 1 i 、q 2 i 以濾波樣本P 1 i 、P 0 i 、q 0 i 、q 1 i 。在上面條件中，參數β以及t c 兩者皆是可對於一影像切片或其類似者被設定之量化參數QP e 的函數。β以及t c 之數值一般使用搜尋表根據QP被導出。
第6圖更詳細說明依循H264/MPEG-4 AVC標準對於強濾波器操作以及弱濾波器操作之解法範例(被實作於HEVC軟體模式HM4.0)。
於第6A圖中，左方圖形闡述以強濾波器被使用於水平濾波一垂直邊緣之樣本。第6A圖右方圖形闡述利用濾波器被修改之樣本。如自圖形所見，於所給的範例樣本中，對應至最鄰近於邊界兩側的4個像素，利用參考號碼610被表示者，被使用於濾波。實際上被修改的僅是最接近於第6A圖左方圖形中之邊界兩側而利用620被表示的那3個像素。實際上，濾波依照下面的公式被進行。
函數Clip(x)被定義如下：
以此方式，最大允許值(Max_allowed_vaule)是x可具有之最大值。於具有k位元之樣本的PCM編碼情況中，最大數值將是Max_allowed_vaule=2k-1。例如，於具有8位元之樣本的PCM編碼情況中，最大數值將是Max_allowed_vaule=255。於具有10位元之樣本的PCM編碼情況中，最大數值將是Max_allowed_vaule=1023。
如自上面方程式所見，濾波分別地被進行，對於各線(只單一線指標i=0、1、2、3、4、5、6、或7)被採用於各個公式中，其中像素利用一濾波器被修改(在濾波器數目之後利用一撇號(’)被表示)。而對於p3i以及q3i沒有被修改之像素分別地被計算，其可分別地自對於p2’i以及q2’i之方程式看見，其中p3i以及q3i發生在分別的計算方程式之右側上。
如自第6B圖所見，三個最接近於邊界兩側之像素利用弱濾波器被使用於濾波(於左側結構中之樣本630)。實際上被修改的僅是兩個最接近於邊界鄰近者(第6B圖右側上之樣本640)。用於弱濾波之計算處理顯著地不同於強濾波情況中之計算並且包含進一步的決定。首先，一鑑別數值△是根據該等決定所依據之下列方程式被計算：△=(9．(q0 i -p0 i )-3．(q1 i -p1 i )+8)>>4。
隨後於第三決定步驟D3中，被決定是否真的進行濾波。依照該第三決定，如果條件|△|<10．t c 被滿足，則濾波僅被應用於像素樣本640。
於該條件被滿足之情況中，最接近於兩側上之邊界的像素依照下列方程式被濾波： ，其中△1=Clip3(-t c ,t c ,△)
函數Clip(x)如上所示地被定義。函數Clip3(x)如下所示地被定義：
在濾波樣本p0以及q0之後，一第四決定D4被進行，其關於是否也濾波下一個最接近於邊界視角的像素樣本，p1i以及q1i。對於邊界兩側之第四決定D4分別地被進行，亦即，對於屬於第6B圖之區塊A的像素p1i以及屬於第6B圖之區塊B的像素q1i。
對於像素p1i之第四決定是根據上面引介參數dp。如果條件d p <(β/6)被滿足，則濾波依照=Clip(p1 i +△2p )被進行，其中△2p =Clip3(-t c2,t c2,(((p2 i +p0 i +1)>>1)-p1 i +△1)>>1)。
如果條件d p <(β/6)被滿足，對於區塊B之像素qi的決定D4被進行。濾波依照=Clip(q1 i +△2q )被進行，其中△2q =Clip3(-t c2,t c2,(((q2 i +q0 i +1)>>1)-q1 i -△1)>>1)。
於上述中，參數tc2依循t c2=t c >>1被定義。
應注意到，上述濾波步驟，雖然藉由對於垂直邊緣之水平濾波範例被說明，但其藉由分別地互換水平與垂直方向以及列與行而等效地可應用於水平邊緣之垂直濾波。此外，於整體說明文中，一慣例被應用，依據該慣例，名稱“線”意指任一的行或列。
第7圖是闡述決定步驟D1、D2、D3、以及D4之順序的 全部流程圖，其是供用於8x8區塊之特定情況，亦即，具有八條線將被濾波之區塊。
如自第7圖所見，於步驟S10中，對於所有的八條線於一單一決定中決定解區塊濾波是否被應用。如果決定是不應用解區塊(濾波器關閉)，則處理結束。如果解區塊被應用(濾波器導通)，則下面之S20j至S45j的各個步驟對於各條線(如利用下標j，j=1，2，…，8，被指示)的濾波處理分別被進行。為簡明起見，在下面的說明中，各別的下標j已被省略。首先，於步驟S20中，其決定對於各分別的線j是否應用強或弱的濾波器(決定D2)。如果其決定應用強濾波器，則於下面步驟S35中，強的濾波器被應用，如參考上面第6A圖之所述。於對照情況中，當其決定應用弱濾波器時，處理程序前進至進一步的決定步驟S30，其中對於分別的線j之決定D3被進行。如果於決定D3中其決定不應用濾波，則處理程序結束。於對照情況中，最接近至邊界之分別的線j之像素，p0以及q0，的濾波，於步驟S38中被進行，如參考上面第6B圖之所述。隨後，於步驟S40中，其進一步決定是否p1以及q1(下一個最接近至邊界者)也將被濾波。如果否，則處理程序結束。如果該決定是肯定的，則處理程序前進至步驟S45，其中被修改之像素p1’以及q1’被計算。步驟S30、S38、S40以及S45之處理程序的細節將依照配合第6B圖的範例被說明。
第8圖藉由範例闡述被使用以進行決定D1的像素樣本(亦即，是否真的應用解區塊至二區塊之間的一特定邊界之 決定)。該圖形展示區塊的二個列。於各個列中，已先前地被解碼之一先前區塊810、將被解碼之一目前區塊820、以及將被解碼之下一個區塊830被展示。因為決定D1於非解區塊影像區塊上被進行，所展示的樣本對應至第3圖之信號S’。
如上所述，在被採用於決定D1之垂直於邊緣的濾波方向中的第三以及第六線(被標為2以及5)將被濾波。明確地說，樣本860a包含被使用以進行決定D1的二個行，為是否濾波在目前區塊820以及於區塊820垂直上面的區塊之間的邊界之決定。樣本860b展示被使用以進行決定D1的二個列，為是否水平地濾波在目前區塊820以及下一個區塊830之間的垂直邊緣之決定。相似地，樣本860c展示被使用以進行對於在先前區塊810以及目前區塊820之間邊界的決定D1之二個列。如上面之說明，用以進行於被取樣線的決定是需三像素，自邊界各側被計算。
第9圖提供被使用以進行決定D2之非解區塊信號S’的所有樣本像素之縱觀圖。因為這些決定以分別線方式被進行，對於垂直於決定將被採用之分別邊界之所有線的像素，被包含於第9圖中所示的樣本960中。如上面之說明，決定D2需要相鄰至邊界之兩側首先的四個像素被估計。樣本960展示被使用以進行用於相同邊界之決定D2的樣本，第8圖對於相同邊界展示被使用以進行決定D1之樣本。
於第10圖中，樣本1060被展示被使用以進行用於垂直邊緣之水平濾波的決定D3，亦即，分別地供用於在目前區 塊820與先前區塊810以及下一個區塊830之間的邊界。如上面之說明，該決定對於各線分別地被進行，但是只有鄰接於邊界各側的二像素被採用用於決定。
第11圖展示樣本1160，其被使用以進行用於垂直邊緣之水平解區塊濾波。如從該處所見，以及對照至第10圖，於邊界兩側上的四像素之“深度”是用於濾波它本身所需的。
第12圖展示樣本1260，其被使用以進行用於水平邊界之垂直濾波的決定D3。因為該決定僅是在進行垂直邊緣的水平解區塊之後被進行，這些樣本是選自第3圖的水平解區塊之信號S”。為了視覺化在第12圖區塊以及先前圖形所展示區塊之間的差異，一撇號(’)已被添加至各個區塊之參考數目上。因此，第12圖中之先前、目前以及下一個區塊已分別地被表示如810’、820’、以及830’。
第13圖展示樣本1360，其被使用以進行用於水平邊緣之實際垂直解區塊濾波。因此，以如第11圖不同於第10圖之相同方式，第13圖不同於第12圖。尤其是，自區塊邊界被計算的四個像素於邊界兩側上被取樣。
下面的圖形，第14至16圖展示可被修改之像素樣本(對照至將被使用於決定以及用以進行濾波之像素樣本)。如於前述範例中，8x8個樣本之一區塊(亦即，八列以及八行，或各方向中之八線)被展示。但是，該區塊尺度只是一範例。
明確地說，第14圖提供一樣本展示，其可利用垂直邊緣之水平解區塊被修改。對一區塊將被解區塊之平行於邊 界之八線的像素(於圖形中以“8樣本”被表示)中，邊界兩側上之最多三線被修改。結果，接近於邊界的六個樣本之一序列被修改。這些樣本於第14圖中以陰影被表示。因此，於一全面為8x8區塊中，在將被修改的區塊之間的二樣本在各區塊中保持不被改變。
第15圖展示利用垂直邊緣之水平解區塊被修改的樣本。因此，第15圖基本上對應至第14圖，但是，其中陰影部份已被轉動90°。
第16圖提供利用水平或垂直解區塊之任一者被修改的一全面之樣本展示。因此第16圖對應至含蓋第14以及15圖之圖形。
根據上面之說明，本發明下之問題接著將根據第17A以及17B圖藉由範例詳細地被說明。解決該問題的全部概念將於第17C圖中被展示。
應注意到，區塊尺度以及因此被儲存的線與將被使用以進行決定的線數目藉由下面詳細說明的範例被提供。本發明是不受限定於8x8區塊，並且因此樣本圖像數目是不受限定於下面那些的詳細說明者。其他區塊尺度，以及因此將被儲存以及被選擇之不同的樣本數目，是可能在如藉由附加申請專利範圍被界定之本發明的架構之內。同時，本發明也是不受限定於這詳細說明中以及於第3圖中被展示之將首先被進行的水平解區塊範例。本發明在水平解區塊之前進行垂直解區塊的相對情況之一類似應用是明顯的。
第17A圖基本上對應至第9圖。此外，參考數目1770指 示四線之一樣本，其是進行在目前區塊820上面的區塊以及目前區塊820之間的垂直邊界之決定D2(強或弱濾波器)所需的。
如上所述，決定D1以及D2是將被進行於非解區塊樣本上。因此，只要第3圖之非解區塊信號S’仍然是可用的，這些決定必須被進行，亦即，在濾波器350a之水平邊緣的垂直濾波實際上開始之前。換言之，濾波(尤其是：垂直邊緣之水平濾波首先將依照第3圖之流程圖被進行)藉由決定D1及D2被延遲，尤其是，對於水平邊緣之垂直濾波。因此，第17A圖中利用號碼1770被指示的四線之樣本，對應至進行用於垂直濾波之決定D2所需的非解區塊信號之圖像寬度的各長度，是可在垂直邊界之延遲水平濾波之開始時得到。
一硬體實作可如下所述被達成：非解區塊樣本被儲存於一線記憶體中，並且對於目前區塊的垂直邊緣之水平濾波以及對於水平邊緣的垂直濾波之決定D1以及D2，隨後使用被儲存的非解區塊樣本被進行。隨後，垂直邊緣之一延遲水平濾波對於包含四條被儲存的線之區域被進行。
但是，對於這延遲水平濾波，先前進行的對應導通/關閉決定D1之結果是必需的。因此，該決定結果需要被儲存，或被重新計算。假設該結果不被儲存，依照上述習見機構的重新計算需要來自不屬於被儲存的線1770之一線的樣本像素。亦即，對於決定D1之決定結果的重新計算，第17B圖中所展示之樣本像素1760是所需的，對應至第5圖中之樣本430，亦即，第三以及第六線(第5圖中具有下標2以及5者) 之像素。而第六線(第5圖中具有下標5者)屬於已以任何方式被儲存之線，這不是對於第三線(第5圖中具有下標2者)之情況。
因此，對於延遲水平濾波之先前被採用的決定D1之決定結果必須被被儲存或甚至來自一另外線(第17B圖中線1760之上方線)的像素資料必須另外地被儲存。但是，因為線記憶體是非常昂貴，後者之選擇將關聯於較高的成本。
再另外地，垂直濾波之延遲可藉由另外線記憶體的使用被避免。亦即，如果有二條線記憶體，其中之一擁有非解區塊信號以及其之另一者擁有水平解區塊信號，則用於垂直濾波之決定D1以及D2可被延緩。但是，因為線記憶體是非常昂貴，該選擇甚至是更不利的。
因此，於上述習見機構中，問題出現，其為決定D1的決定結果或一另外線，不被包含於被儲存的線中(於此是：四條線1770)，必須被儲存以供用於一延遲濾波器操作。
本發明目的是在克服因上述之儲存問題所導致之習見方法的缺點。
依照本發明，各區塊(於本範例中：八條線(列/行)之一區塊)被分開為至少二個區段。該分區可能僅根據被儲存的線1770(用以進行對於水平邊緣之垂直濾波的分別決定必需)並且無關於其他線而進行對於垂直邊緣之水平濾波的所有決定(D1：導通/關閉，以及D2：強/弱)之方式被進行。因此，不再需有對於垂直邊緣之一延遲水平濾波之決定緩衝器或附加線記憶體。
該概念被示於第17C圖中。亦即，藉由分區，對於垂直邊緣之延遲水平濾波的決定D1將被修改，其方式使得決定將僅根據被包含於第17C圖之虛線方塊1760a中之非解區塊信號S’的那些樣本。如可容易地看見，所有的那些像素屬於被儲存的線1770。
更明確地說，本發明之解決辦法參考第17D圖被說明。亦即，透過被涉及於水平濾波中之區塊，分區藉由沿著水平分區線(亦即，垂直於將被解區塊之邊界的一線)分割區塊而被進行。為簡明起見，於第17D圖中，僅對於區塊上方列之分區被展示。虛線分區線1700於垂直方向中分割各區塊成為二區段(側邊)。更進一步地，採用決定D1之機構以下列方式被修改，該方式是沒有來自分別的其他側之樣本是用以採用對於區段之一的區域內之垂直邊緣的水平解區塊之決定D1所需的。
換言之，決定D1不再被採用於一整體之區塊，而是分別地供用於各區段(側邊)。對於採用決定於側邊1上，僅來自側邊1之樣本(尤其是：以數目17601被指示之樣本)被使用。對於採用決定於側邊2之區段的區域，僅側邊2上之樣本(尤其是：以數目17602被指示的那些)被使用。
反之亦然，位於側邊1上之樣本不被使用於進行側邊2上之垂直邊緣的水平濾波所需的決定，並且側邊2上之樣本不被使用於進行側邊1上的垂直邊緣之水平濾波所需的決定。
尤其是，因此，對於側邊2之決定可根據被儲存的線 1770被採用，而不必參考至任何非被儲存的線。因此不需儲存一先前被決定之結果，也不需儲存一另外的線於一昂貴的線記憶體中。
關於側邊1，一分別之決定可在當來自有關於第17圖中之區塊的其他列以及在上面的下一個區塊(未被展示於第17圖中)之間的邊界之垂直解區塊決定之分別的線仍然被儲存時被採用。
依照本發明之決定機構的一重要優點是解區塊中對於具有一區塊尺度之區域的相依性之限制。因此，如果供用於決定之樣本區域(區塊)適當地被選擇，則它們可彼此平行地被解區塊。應注意到，供用於決定之樣本區域(區塊)通常是不同於解區塊被應用之邊界的區塊。
該有利的技術效用被展示於第18圖中(對於8x8區塊之範例)。
第18圖一般是根據第17D圖並且展示其之區塊邊界將被解區塊的六個8x8區塊。進一步於第18圖中，一個8x8區域1800已利用一虛線方塊被強調。在該區域1800內，用以決定對於垂直邊緣1810之水平解區塊所必需的樣本被展示(例如，以如第17D圖中之小的虛線區塊之樣本17602的相同方式)。此外，對於區域1800內之水平邊緣1820的垂直解區塊濾波之分別的樣本被強調(具有垂直方位之小的虛線矩形)。
如自第18圖所見，對於8x8區塊1800之所有的決定可被達成，而不需要參考在該區域外之任何樣本。因此，8x8區 域(區塊)1800(以及分別的區塊於水平及/或垂直方向被移位複數個8像素)是可藉由解區塊濾波平行地被處理之適當決定區塊。
此一優點不能於習見的決定以及濾波機構中被達成。如可見地，例如，自第8圖，先前的機構中沒有8x8區域(區塊)，其中用於解區塊決定之樣本是受限定於該相同區域，以至於解區塊濾波決定可獨立地在該區域內被達成。因此，平行化被阻止於習見的機構。
仍然有一用以自被分區成為二個四線區段的一個八線區塊而進行決定D1(解區塊濾波器導通/關閉)的範例解決辦法之更特定的說明將參考第19圖在下面被說明。第19A圖展示對於在側邊1上之四線區段的導通/關閉決定。如自第19A圖所見，該決定只根據第一線(具有下標0)以及第四線(具有下標3)被採用。更明確地說，下面的參數被計算： d p0=|p20-2．p10+p00| d p3=|p23-2．p13+p03| d p,side1 =d p0+d p3 以及 d q0=|q20-2．q10+q00| d q3=|q23-2．q13+q03| d q,side1=d q0+d q3。
如果下面的條件被滿足，則濾波器被引動：d d,side1+d p,side1<β。
第19B圖展示根據樣本17602，對於側邊2採用之分別的 決定。其分別的計算是： d p4=|p24-2．p14+p04| d p7=|p27-2．p17+p07| d p,side2=d p4+d p7 以及 d q4=|q24-2．q14+q04| d q7=|q27-2.q17+q07| d q,side2=d q4+d q7
如果條件d q,side2+d p,side2<β被滿足，則濾波器被引動。
如自上面之詳細說明可知，決定D1之修改，根據區塊分區，導致全部計算花費之輕微的增加。亦即，替代需要20個操作的對於一個八線區塊之一習見單一導通/關閉決定，該導通/關閉決定必須被採用2次，對於4條線者，則需要40個操作。因此，對於單獨地採用決定D1所需的操作數目需2倍。
因此其最好是在本發明之內也可進一步地修改決定D2之實作，亦即，強或弱濾波器是否適於被應用之決定，以補償增加之計算花費。
第20圖展示根據依照著本發明之分區，而對於一被修改決定D2之一第一特定解決辦法。如上所述，於習見的範例中，決定D2分別地被採用於各條線上。相對地，依照本發明，一分別的決定僅被採用於每區段之線的一子集。根據對於區段之子集的分別決定，一濾波器之單一決定被採用於區段的所有線。
更明確地說，第20A圖展示依照對於側邊1之第一特定範例而被修改的決定D2。該決定是根據第一線(具有下標0)以及第四線(具有下標3)，其於第20A圖中利用數目19601被指示。對於具有下標0以及3的二條線之各者，在強以及弱濾波器之間的決定被進行(最好是以如上所述的習見方式)。如果對於兩條線，皆選擇強濾波器，則所有的四條線(0、1、2、3)皆強烈地被濾波。否則，弱濾波器被選擇。
於側邊2上之分別的操作機構被示於第20B圖中。對於側邊2之決定D2是根據以參考號碼19602被指示之具有下標4以及7的二條線。對於二條線4以及7之各者，在強以及弱濾波器之間的決定被進行。如果對於二條線，皆選擇強濾波器，則所有的四線4、5、6、7是強烈地被濾波。否則，弱濾波器被選擇。
依據本發明上述實施例之編碼效能的一模擬揭露，相對上述之習見HM4.0機構稍微地增加。
關於本發明第19以及20圖之上述實施例的編碼效率已根據通常被使用於ISO以及ITU之標準化活動中的編碼條件被估計，參看文件JCTVC-E700(http：//phenix.int-evry.fr/jct/doc_end_user/current_document.php？id=2454)。本發明導致在相同均方量化誤差有大約0.15%的平均位元率減少。
進一步地，根據兩決定D1以及D2之修改，全部計算花費中之減少也可被達成。亦即，依照上述習見機構，下面的全部操作數目是所需的：
．用於8線之導通/關閉決定：20個操作
．8個強/弱決策：96個操作
．計算總和：116個操作
依據所闡述之本發明實施例，全部操作數目是如下所示：
．用於4線之2倍的導通/關閉決定：40個操作
．4個強/弱決策：48個操作
．計算總和：96個操作
因此，本發明能夠減少大約地20%之全部計算數目。
被修改之決定D2的第二解決辦法範例是相似於上述之第一範例。以相同於第一範例中之方式，於第一側邊上，對於二條線0以及3之各線，在強以及弱濾波器之間的決定被進行。如果對於兩線之弱濾波器被選擇，則所有的四線0、1、2、3被弱濾波。否則，強濾波器被選擇。
以相同方式，於側邊2上，對於二條線4以及7之各線，在強以及弱濾波器之間的決定被進行。如果對於兩線之弱濾波器被選擇，則所有的四線4、5、6、7被弱濾波。否則，強濾波器被選擇。
因此，第二闡述範例不同於第一範例，於依照第二範例中，在對於二條選擇線的分別決定之間有一差異之情況，強濾波器被選擇，而依據第一範例，有一差異之情況，通常弱濾波器被選擇。因為弱濾波器之計算複雜性通常是較少於強濾波器之計算複雜性，第一範例能夠進一步地使計算花費減少。
依照一第三範例，被修改的決定D2也根據第20A以及 20B圖中所闡述的選擇線被進行。但是，依照第三範例，決定D2與決定D3被組合。亦即，對於各個所選擇的線，在強濾波器、弱濾波器以及沒有濾波器之間的組合決定被進行。分別的決定根據一搜尋表被採用。
更明確地說，於側邊1上，對於二條線0以及3之各線，在強濾波器、弱濾波器以及沒有濾波器之間的決定被進行。二個決定結果被使用以利用下面的搜尋表而對於所有的四線0、1、2、3做決定。
於側邊2上，對於二條線4以及7之各線，在強濾波器、弱濾波器以及沒有濾波器之間的決定被進行。二個決定結果被使用以藉由下面的搜尋表對於所有的四線4、5、6、7做決定。
如自上面列表所見，對於二條線之決定不同之情況，則較低複雜性之一者經常被選擇。因而，計算花費進一步地被節省。
一第四範例，參考第21圖被闡述，通常是相似於第三範例。如自第21圖所見，側邊1上之第二以及第三線(第21A圖中，具有下標1以及2者)被選擇以供用於分別的決定。於側邊2上，第六以及第七線(具有下標5以及6)被選擇。對應的搜尋表被展示在下面： 以及
必需了解，根據一區段而不是根據一分別的線被進行之一被修改決定D2之特定解決辦法，是不受限定於上面所給的四個範例。這些範例之分別元素之進一步修改以及組合是可能在利用附加申請專利範圍所定義之本發明的範疇內。在上面範例中，一決定D2是根據二條線之樣本。但是本發明是不受限定於被使用於選擇之該等線數目。濾波器選擇可以是僅根據一條單一線，或根據任何較小於將被解區塊之分別的區段組對中之全部線數目的其他線數目。
於下面，發生於採用導通/關閉決定D1中之第一記憶體存取問題將關於第22以及23圖被說明並且被提及。第22圖闡述採用對於垂直邊緣之水平解區塊的決定D1之習見的HEVC方法。
如被指示於第22A圖之上方機構中，於第一步驟中，線2被讀取，並且相關的決定數值dp2以及dq2被計算。於第二步驟中，線5被讀取並且相關的決定數值dp5以及du5被計算。
於第三步驟中，決定數值d5=dq2+dp2+dq5+dp5被計算， 並且對於所有的八條線之導通/關閉決定D1被進行。對於線5之強/弱濾波器決定接著被進行，對於線5之解區塊以及解區塊結果的回寫被進行。
於隨後的第四步驟中，對於其餘的線，0、1、2、3、4、6以及7之各線，分別的線被讀取，強/弱濾波被決定，解區塊被進行並且該結果被回寫。因此，下面的問題發生：對於八條線之解區塊，線2或線5之任一者將需要被讀取二次：一次是用於決定D1以及一次是用於解區塊。雖然每個區塊僅有8條線，總共，9條線之讀取操作將需要被進行。
該問題可藉由一修改之解區塊機構有利地被解決，如關於第23圖之闡述。於第一步驟中，線2(2362)被讀取並且相關的決定數值db2以及du2被計算。一被修改之決定數值d2=2x(dd2’+dp2)被計算，並且對於這線的有效導通/關閉決定D1是根據d2<β準則。隨後，強/弱濾波器決定D2被進行，其被解區塊並且該結果被回寫。於第二步驟中，線5(2365)以相同方式被讀取，並且相關的決定數值db5以及dq5被計算。被修改之決定數值d5=2x(dq5+db5)被計算，並且導通/關閉決定D1根據對於這線有效的d5<β準則被進行。強/弱濾波器決定D2被進行，並且對於線5(2365)之解區塊以及回寫結果分別地被進行。
隨後，決定數值d=(d2+d5)/2被計算，並且對於其餘線0、1、3、4、6以及7之引動/失效決定d<β被進行，如第23B圖中之參考2360的展示。於隨後的第四步驟中，對於其餘的線0、1、3、4、6以及7，像素樣本被讀取，強/弱濾波器 決定被進行，解區塊接著被執行並且結果被回寫。
依照用以解決記憶體存取問題之改進解區塊的修改範例，步驟1、2、以及4如先前所述地被進行。上述之步驟3被修改，於其中沒有對於其餘線之共同決定數值d被計算。相反地，對於其餘線0、1、3、4、6、7之步驟3中的導通/關閉決定根據決定(d 2<β)&(d 5<β)被進行。
更一般而言，用於決定D1之一被修改的決定機構被進行，其方式使得決定D1不被採用於全體區塊中，而是分別地(逐個地)供用於那些線，其之像素樣本被使用於計算以及應用該決定準則(於目前範例中：線2以及5)。隨後，該決定被採用於其餘的線。
對於決定D1分別地被採用之各條線的決定機構需進一步被修改，其方式使得被使用的像素樣本是分開的，亦即，對於一特定線之分別的決定D1僅根據來自該線之樣本像素被採用。對於區塊之其餘線的決定機構可以是習見之一者，例如，上述有關第4以及5圖之任一者，或也可被修改。對於其餘線之決定可以是根據一分別的決定被採用之所有那些線的像素樣本。
下面的優點藉由被修改之決定D1的二種形式被達成：首先，各線將只需要被讀取一次，並且如一結果，僅等於每區塊之線數目(於本情況中：8)的一些線讀取操作將被進行。此外，對於決定分別地被進行之那些線之更精確的決定被達成(於本情況中：線2以及5)。
於各實施例中被說明之處理程序可藉由於一記錄媒體 中記錄一程式而於一獨立之電腦系統中簡單地被實作，該程式是用以實作於各實施例中被說明之移動圖像編碼方法(影像編碼方法)以及移動圖像解碼方法(影像解碼方法)之組態。該記錄媒體可以是任何記錄媒體，只要程式可被記錄，例如，於一磁碟、一光碟、一磁光碟、一IC卡、以及一半導體記憶體中。
隨後，對於在各實施例中被說明之移動圖像編碼方法(影像編碼方法)以及移動圖像解碼方法(影像解碼方法)的應用以及使用其之系統將被說明。該系統具有一特點，其具有一影像編碼以及解碼裝置，該等裝置包含使用該影像編碼方法之一影像編碼裝置以及使用該影像解碼方法之一影像解碼裝置。系統中的其他組態可適當地取決於情況而被改變。
(實施例A)
第24圖闡述用以實作內容分配服務之一內容提供系統ex100的全面組態。用以提供通訊服務之區域被分割成為所需尺度之胞區，並且作為固定無線基地台之基地台ex106、ex107、ex108、ex109、以及ex110被安置於各個胞區中。
內容提供系統ex100，分別地經由網際網路ex101、網際網路服務提供器ex102、電話網路ex104、以及基地台ex106至ex110，而被連接到設備，例如，電腦ex111、個人數位助理(PDA)ex112、攝影機ex113、行動電話ex114以及遊戲機ex115。
但是，內容提供系統ex100之組態是不受限定於第24圖 中所展示之組態，並且任何元件被連接之組合是可接受的。此外，各個設備可直接地連接到電話網路ex104，而不用經由作為固定無線基地台之基地台ex106至ex110。更進一步地，該等設備可經由短距離無線通訊以及其他者而彼此被互連。
攝影機ex113，例如，數位視訊攝影機，是可捕獲視訊。攝影機ex116，例如，數位攝影機，是可捕獲靜態影像以及視訊兩者。更進一步地，行動電話ex114可以是符合任何標準之一者，例如，用於移動式通訊(GSM)(註冊商標)之廣域系統、分碼多重存取(CDMA)、寬頻分碼多重存取(W-CDMA)、長期進化(LTE)以及高速封包存取(HSPA)。另外地，行動電話ex114可以是個人手持電話系統(PHS)。
於內容提供系統ex100中，一訊流伺服器ex103經由電話網路ex104以及基地台ex109連接到攝影機ex113以及其他者，其致動現場以及其他者之影像分配。於此一分配中，藉由使用者使用攝影機ex113被捕獲的一內容(例如，音樂現場視訊)如上面各實施例中所述地被編碼(亦即，攝影機作用如依據本發明之一論點的影像編碼裝置)，並且該編碼內容被發送至訊流伺服器ex103。另一方面，應客戶的要求，訊流伺服器ex103進行被發送的內容資料之訊流分配至客戶。客戶包含可解碼上述之編碼資料的電腦ex111、PDA ex112、攝影機ex113、行動電話ex114以及遊戲機ex115。已接收被分配之資料的各個設備解碼以及再生編碼資料(亦即，作用如依據本發明之一論點的影像解碼裝置)。
被捕獲之資料可利用攝影機ex113或發送資料之訊流伺服器ex103被編碼，或編碼處理程序可在攝影機ex113以及訊流伺服器ex103之間被共用。同樣地，被分配之資料可藉由客戶或訊流伺服器ex103被解碼，或解碼處理程序可在客戶以及訊流伺服器ex103之間被共用。更進一步地，不僅藉由攝影機ex113，但也藉由攝影機ex116被捕獲的靜態影像以及視訊之資料可經由電腦ex111被發送至訊流伺服器ex103。編碼處理程序可利用攝影機ex116、電腦ex111、或訊流伺服器ex103被進行，或編碼處理程序可在它們之間被共用。
更進一步地，編碼以及解碼處理程序可藉由通常被包含於各個電腦ex111以及設備中之LSI ex500被進行。該LSI ex500可藉由一單晶片或複數個晶片被組態。用以編碼以及解碼視訊之軟體可被整合進入可利用電腦ex111以及其他者讀取的一些型式之記錄媒體(例如，CD-ROM、軟碟、以及硬碟)，並且編碼與解碼處理程序可使用該軟體被進行。更進一步地，當行動電話ex114是具有攝影機時，利用該攝影機得到之視訊資料可被發送。該視訊資料是利用被包含於行動電話ex114中之LSI ex500被編碼的資料。
更進一步地，訊流伺服器ex103可以是由伺服器以及電腦所組成，並且可分散資料且處理被分散之資料、記錄、或分配資料。
如上所述，客戶可接收以及再生內容提供系統ex100中之編碼資料。換言之，客戶可接收以及解碼藉由使用者被 發送之資訊，並且同時再生內容提供系統ex100中被解碼之資料，因而不具有任何特定權力以及設備之使用者可實作個人傳播。
除內容提供系統ex100範例之外，於各實施例中被說明的移動圖像編碼裝置(影像編碼裝置)以及移動圖像解碼裝置(影像解碼裝置)之至少一者可被實作於第25圖中所闡述之數位傳播系統ex200中。更明確地說，一傳播台ex201經由無線電波，將在視訊資料上藉由多工化音訊資料以及其他者所得到的多工化資料，通訊或發送至傳播衛星ex202。該視訊資料是利用於各實施例中被說明的移動圖像編碼方法被編碼之資料(亦即，利用依據本發明一論點之影像編碼裝置被編碼之資料)。當收到多工化資料時，傳播衛星ex202發送用於傳播之無線電波。接著，具有衛星傳播接收功能之家庭使用天線ex204接收該無線電波。接著，一設備，例如，電視(接收器)ex300以及機上盒(STB)ex217解碼所接收的多工化資料，並且再生該被解碼之資料(亦即，作用如依據本發明之一論點的影像解碼裝置)。
更進一步地，讀取器/記錄器ex218(i)讀取以及解碼被記錄於記錄媒體ex215，例如，DVD以及BD上之多工化資料，或(i)編碼視訊信號於記錄媒體ex215中，並且於一些情況中，將利用多工化一音訊信號所得到的資料寫入被編碼的資料上。讀取器/記錄器ex218可包含如於各實施例中展示之移動圖像解碼裝置或移動圖像編碼裝置。於此情況中，被再生的視訊信號被顯示在監視器ex219上，並且可使用記錄 媒體ex215藉由另一設備或系統而被再生於其中多工化資料被記錄之記錄媒體ex215上。其也可於機上盒ex217中實作移動圖像解碼裝置，該機上盒ex217是被連接到供用於有線電視之電纜線ex203或被連接到供用於衛星及/或陸地傳播之天線ex204，以便顯示視訊信號於電視ex300之監視器ex219上。移動圖像解碼裝置可以不被實作於機上盒中，而是被實作於電視ex300中。第26圖闡述電視(接收器)ex300，其使用於各實施例中被說明的移動圖像編碼方法以及移動圖像解碼方法。電視ex300包含：一調諧器ex301，其經由接收一傳播之天線ex204或電纜線ex203等等而得到或提供藉由多工化音訊資料在視訊資料上所得到之多工化資料；一調變/解調變單元ex302，其解調變所接收的多工化資料或調變資料成為將被供應至外面的多工化資料；以及一多工化/解多工化單元ex303，其解多工化所調變的多工化資料成為視訊資料以及音訊資料，或利用信號處理單元ex306將被編碼的視訊資料以及音訊資料多工化成為資料。
電視ex300進一步地包含：一信號處理單元ex306，其包含分別地解碼音訊資料以及視訊資料並且編碼音訊資料以及視訊資料的一音訊信號處理單元ex304以及一視訊信號處理單元ex305(其作用如依據本發明之論點的影像編碼裝置以及影像解碼裝置)；以及一輸出單元ex309，其包含提供被解碼之音訊信號的擴音機ex307，以及顯示被解碼之視訊信號的顯示單元ex308，例如，顯示器。更進一步地，電視ex300包含一界面單元ex317，其包含接收使用者操作 之輸入的操作輸入單元ex312。更進一步地，電視ex300包含控制電視ex300的全部各構成元件之一控制單元ex310，以及供應電源至各元件之一電源供應電路單元ex311。除了操作輸入單元ex312之外，界面單元ex317可包含：一電橋ex313，其被連接到一外接設備，例如，讀取器/記錄器ex218；一插槽單元ex314，其用以致能記錄媒體ex216之附件，例如，SD卡；一驅動器ex315，其被連接到一外接記錄媒體，例如，硬碟；以及一數據機ex316，其被連接到電話網路。在此，記錄媒體ex216可使用供儲存之非依電性/依電性半導體記憶體元件而電氣地記錄資訊。電視ex300之構成元件經由同步匯流排彼此連接。
首先，將說明一組態，於其中電視ex300解碼經由天線ex204以及其他者自外面所得到的多工化資料並且再生該被解碼的資料。於電視ex300中，當一使用者經由遠處控制器ex220以及其他者而操作時，在包含CPU之控制單元ex310的控制之下，多工化/解多工化單元ex303解多工化藉由調變/解調變單元ex302被解調變的多工化資料。更進一步地，於電視ex300中，音訊信號處理單元ex304使用於各實施例中被說明的解碼方法，解碼被解多工之音訊資料，並且視訊信號處理單元ex305解碼被解多工之視訊資料。輸出單元ex309分別地提供被解碼之視訊信號以及音訊信號至外面。當輸出單元ex309提供視訊信號以及音訊信號時，該等信號可暫時地被儲存於緩衝器ex318與ex319以及其他者中，因而該等信號彼此同步地被再生。更進一步地，電視 ex300不經由傳播以及其他者，但是可自記錄媒體ex215與ex216，例如，磁碟、光碟以及SD卡，而讀取多工化資料。接著，將說明一組態，於其中電視ex300編碼一音訊信號以及一視訊信號，並且發送資料至外面或寫入資料於一記錄媒體上。於電視ex300中，當一使用者經由遠處控制器ex220以及其他者操作時，在控制單元ex310控制之下，使用於各實施例中被說明的編碼方法，音訊信號處理單元ex304編碼一音訊信號，並且視訊信號處理單元ex305編碼一視訊信號。多工化/解多工化單元ex303多工化被編碼的視訊信號以及音訊信號，並且提供產生之信號至外面。當多工化/解多工化單元ex303多工化該視訊信號以及該音訊信號時，該等信號可暫時地被儲存於緩衝器ex320、ex321以及其他者中，因而該等信號彼此同步地被再生。於此，緩衝器ex318、ex319、ex320、以及ex321可以如所闡述地是複數個，或至少一個緩衝器可於電視ex300中被共用。更進一步地，資料可被儲存於一緩衝器中，因而，例如，在調變/解調變單元ex302以及多工化/解多工化單元ex303之間的系統溢流以及缺流可被避免。
更進一步地，電視ex300除了包含用以自傳播或記錄媒體得到音訊以及視訊資料的組態之外，可包含用以接收來自麥克風或攝影機之AV輸入的組態，並且可編碼所得到的資料。雖然於說明中，電視ex300可編碼、多工化以及提供外面之資料，其可能僅可接收、解碼、以及提供外面之資料，但不是編碼、多工化以及提供外面之資料。
更進一步地，當讀取器/記錄器ex218自一記錄媒體讀取或寫入多工化資料在其上時，電視ex300以及讀取器/記錄器ex218之一者可解碼或編碼該多工化資料，並且電視ex300以及讀取器/記錄器ex218可共用解碼或編碼。
如一範例，第27圖闡述當資料自一光碟被讀取或被寫入於其上時之一資訊再生/記錄單元ex400的組態。該資訊再生/記錄單元ex400包含隨後將被說明之構成元件ex401、ex402、ex403、ex404、ex405、ex406、以及ex407。光學頭ex401發射一雷射光點在一光碟之記錄媒體ex215的記錄表面以寫入資訊，並且檢測自記錄媒體ex215之記錄表面被反射的光以讀取資訊。調變記錄單元ex402電氣地驅動被包含於光學頭ex401中的半導體雷射，並且依據被記錄之資料而調變該雷射光。再生解調變單元ex403放大藉由使用被包含於光學頭ex401中之光檢測器而電氣地檢測來自記錄表面之反射光所得到的再生信號，並且藉由分離被記錄於記錄媒體ex215上之信號成分而解調變該再生信號，以再生所需的資訊。緩衝器ex404暫時地保留將被記錄於記錄媒體ex215上之資訊以及自記錄媒體ex215被再生之資訊。碟片馬達ex405轉動記錄媒體ex215。伺服控制單元ex406移動光學頭ex401至一預定資訊軌跡而控制碟片馬達ex405之轉動驅動以便跟隨雷射光點。系統控制單元ex407控制全部的資訊再生/記錄單元ex400。讀取以及寫入處理程序可藉由系統控制單元ex407被實作，其使用被儲存於緩衝器ex404中之各種資訊並且如必須的話產生與增加新資訊，並且藉由調 變記錄單元ex402、再生解調變單元ex403、以及伺服控制單元ex406經由光學頭ex401以協調方式操作而記錄及再生資訊。系統控制單元ex407包含，例如，微處理機，並且藉由使得一電腦執行供讀取以及寫入之程式而執行處理程序。
雖然於說明中，光學頭ex401放射一雷射光點，其可使用近場光而進行高密度記錄。第28圖闡述光碟的記錄媒體ex215。於記錄媒體ex215之記錄表面上，引導溝紋成螺旋形地被形成，並且一資訊軌跡ex230依據引導溝紋形狀之改變，預先地記錄指示碟片上之一絕對位置的位址資訊。該位址資訊包含用以決定記錄資料之單元的記錄區塊ex231之位置的資訊。於一裝置中再生資訊軌跡ex230以及讀取位址資訊時，記錄以及再生資料可導致記錄區塊之位置的決定。更進一步地，記錄媒體ex215包含一資料記錄區域ex233、一內部圓周區域ex232以及一外部圓周區域ex234。資料記錄區域ex233是供使用於記錄使用者資料之一區域。內部圓周區域ex232以及外部圓周區域ex234是分別地在資料記錄區域ex233內部以及外部，除了用以記錄使用者資料之外其也供特定之使用。資訊再生/記錄單元400自記錄媒體ex215之資料記錄區域ex233讀取被編碼之音訊、被編碼的視訊資料、或藉由多工化該被編碼之音訊以及視訊資料所得到的多工化資料，並且將該等資料寫入其上。
雖然具有一層之一光碟，例如，DVD以及BD，將於說明中作為一範例被說明，該光碟是不受限定於此，並且可 以是具有多層結構之光碟並且亦可被記錄於除了表面外之一部份上。更進一步地，該光碟可具有用於多維度記錄/再生之結構，例如，使用於光碟之相同部份中具有不同波長之彩色光的資訊之記錄以及用於自各種角度記錄具有不同階層的資訊。
更進一步地，具有一天線ex205之車輛ex210，於數位傳播系統ex200中，可接收來自衛星ex202以及其他者之資料，並且再生於一顯示設備(例如，被設定於車輛ex210中之車輛導航系統ex211)上之視訊。於此，車輛導航系統ex211之一組態，例如，將是包含第26圖中所闡述之組態的GPS接收單元之組態。同樣地，上述組態亦可用於電腦ex111、行動電話ex114、以及其他者。
第29A圖闡述行動電話ex114，其使用被說明於實施例中之移動圖像編碼方法以及移動圖像解碼方法。行動電話ex114包含：用以經由基地台ex110而發送以及接收無線電波之天線ex350；可捕獲移動以及靜態影像之攝影機單元ex365；以及一顯示單元ex358，例如，液晶顯示器，其用以顯示資料，例如，利用攝影機單元ex365被捕獲或利用天線ex350所接收之解碼視訊。行動電話ex114進一步地包含：含有一操作鍵單元ex366之主體單元；一音訊輸出單元ex357，例如，用於音訊輸出之擴音機；一音訊輸入單元ex356，例如，用於音訊輸入之麥克風；一記憶體單元ex367，其用以儲存被捕獲的視訊或靜態圖像、被記錄之音訊、所接收的視訊之被編碼或被解碼的資料、靜態圖像、 電子郵件、或其他者；以及一插槽單元ex364，其是用於以相同於記憶體單元ex367之方式而儲存資料之一記錄媒體的界面單元。
接著，將參考第29B圖說明行動電話ex114之一組態範例。於行動電話ex114中，一主控制單元ex360被設計以控制包含顯示單元ex358以及操作鍵單元ex366之主體全部的各個單元，各單元經由同步匯流排ex370，相互地被連接，至電源供應電路單元ex361、操作輸入控制單元ex362、視訊信號處理單元ex355、攝影機界面單元ex363、液晶顯示器(LCD)控制單元ex359、調變/解調變單元ex352、多工化/解多工化單元ex353、音訊信號處理單元ex354、插槽單元ex364以及記憶體單元ex367。
當一電話結束鍵或電源鍵藉由使用者之操作被導通時，電源供應電路單元ex361自電池匣供應電力至各別的單元，以便致動手機ex114。
於行動電話ex114中，音訊信號處理單元ex354在包含CPU、ROM、以及RAM之主控制單元ex360控制下，以聲音會話模式將藉由音訊輸入單元ex356所收集之音訊信號轉換成為數位音訊信號。接著，調變/解調變單元ex352進行數位音訊信號上之展頻譜處理，並且發送以及接收單元ex351進行資料上之數位-至-類比轉換以及頻率轉換，以便經由天線ex350發送產生之資料。同時，於行動電話ex114中，發送以及接收單元ex351也以聲音會話模式放大利用天線ex350所接收的資料並且進行資料上之頻率轉換以及類 比-至-數位轉換。接著，調變/解調變單元ex352進行資料上之反向展頻譜處理，並且音訊信號處理單元ex354將其轉換成為類比音訊信號，以便經由音訊輸出單元ex357輸出它們。
更進一步地，當一資料通訊模式之電子郵件被發送時，該電子郵件的文字資料藉由操作主體之操作鍵單元ex366以及其他者被輸入，經由操作輸入控制單元ex362被傳送至主控制單元ex360。主控制單元ex360導致調變/解調變單元ex352進行文字資料上之展頻譜處理，並且發送以及接收單元ex351進行產生的資料上之數位至類比轉換以及頻率轉換，以經由天線ex350發送該等資料至基地台ex110。當一電子郵件被接收時，大約地反向於用以發送一電子郵件之處理的處理程序於接收的資料上被進行，並且產生的資料被提供至顯示單元ex358。
當視訊、靜態影像、或視訊以及音訊以資料通訊模式被發送時，視訊信號處理單元ex355使用被展示於各實施例中之移動圖像編碼方法(亦即，作用如依據本發明論點之影像編碼裝置)壓縮且編碼自攝影機單元ex365被供應的視訊信號，並且發送該被編碼之視訊資料至多工化/解多工化單元ex353。相對地，在當攝影機單元ex365捕獲視訊、靜態影像以及其他者之期間，音訊信號處理單元ex354編碼利用音訊輸入單元ex356被收集的音訊信號，並且發送該被編碼之音訊資料至多工化/解多工化單元ex353。
多工化/解多工化單元ex353使用一預定方法，多工化自 視訊信號處理單元ex355被供應之被編碼的視訊資料以及自音訊信號處理單元ex354被供應之被編碼的音訊資料。接著，調變/解調變單元(調變/解調變電路單元)ex352進行多工化資料上之展頻譜處理，並且發送以及接收單元ex351進行資料上之數位至類比轉換以及頻率轉換，以便經由天線ex350發送所產生的資料。
當以資料通訊模式接收被鏈接至網頁以及其他者之視訊檔案的資料時或當接收附帶視訊及/或音訊之一電子郵件時，為了解碼經由天線ex350所接收之多工化資料，多工化/解多工化單元ex353將多工化資料給予解多工化成為視訊資料位元流以及音訊資料位元訊流，並且經由同步匯流排ex370將被編碼之視訊資料供應至視訊信號處理單元ex355以及將被編碼的音訊資料供應至音訊信號處理單元ex354。使用被展示於各實施例中對應至移動圖像編碼方法之移動圖像解碼方法(亦即，作用如依據本發明論點之影像解碼裝置)，視訊信號處理單元ex355解碼視訊信號，並且接著，顯示單元ex358經由LCD控制單元ex359顯示，例如，被包含於被鏈接至網頁之視訊檔案中的視訊以及靜態影像。更進一步地，音訊信號處理單元ex354解碼音訊信號，並且音訊輸出單元ex357提供該音訊。
更進一步地，相似於電視ex300，一終端器，例如，行動電話ex114，可具有3種型式之實作組態，其不只有包含(i)包含編碼裝置以及解碼裝置兩者之發送以及接收終端器，但同時也包含(ii)僅包含一編碼裝置之發送終端器，以 及(iii)僅包含一解碼裝置之一接收終端器。雖然於說明中，數位傳播系統ex200接收以及發送藉由多工化在視訊資料上之音訊資料所得到的多工化資料，該等多工化資料可以是藉由多工化不是音訊資料但卻是關於視訊的文字資料在視訊資料上所得到的資料，並且可以不是多工化資料但卻是視訊資料它本身。
就此而論，各實施例中之移動圖像編碼方法以及移動圖像解碼方法可被使用於上述之任何設備以及系統中。因此，各實施例中被說明之優點可被得到。
更進一步地，本發明是不受限定於實施例，並且各種修改以及修正是可能而不脫離本發明之範疇。
(實施例B)
視訊資料可藉由在(i)被展示於各實施例中的移動圖像編碼方法或移動圖像編碼裝置、以及(ii)遵循不同標準，例如，MPEG-2、MPEG-4 AVC以及VC-1的一移動圖像編碼方法或一移動圖像編碼裝置之間切換(如必須的話)而被產生。
於此，當遵循不同標準之複數個視訊資料被產生並且接著被解碼時，解碼方法需要被選擇以遵循不同的標準。但是，因為對於將被解碼的複數個視訊資料之各者遵循那個標準不能被檢測，因此有不能選擇適當的解碼方法之問題發生。
為了解決該問題，藉由多工化音訊資料以及其他者在視訊資料上所得到的多工化資料具有包含指示該等視訊資 料將遵循那個標準的辨識資訊之結構。將在此後說明多工化資料之特定結構，該多工化資料包含以被展示於各實施例中之移動圖像編碼方法以及藉由移動圖像編碼裝置中所產生的視訊資料。該多工化資料是MPEG-2輸送訊流格式中之數位訊流。
第30圖闡述一多工化資料結構。如第30圖中所闡述，多工化資料可藉由多工化視訊流、音訊流、呈現圖形訊流(PG)、以及互動式圖形訊流之至少一者被得到。視訊流代表影片之主要視訊以及次要視訊，音訊流(IG)代表主要音訊部份以及將與主要音訊部份混合之次要音訊部份，並且呈現圖形訊流代表影片之字幕。於此，主要視訊是將被顯示於屏幕上之標準視訊，並且次要視訊是將被顯示在主要視訊中之較小視窗上的視訊。更進一步地，該互動式圖形訊流代表將藉由配置GUI構件於屏幕上被產生的一互動式屏幕。視訊流藉由被展示於各實施例中之移動圖像編碼方法或移動圖像編碼裝置被編碼，或藉由遵循習見標準，例如，MPEG-2、MPEG-4 AVC、以及VC-1，之移動圖像編碼方法或移動圖像編碼裝置被編碼。音訊流依照一標準，例如，Dolby-AC-3、Dolby數位+、MLP、DTS、DTS-HD、以及線性PCM被編碼。
包含於多工化資料中之各訊流利用PID被辨識。例如，0x1011被分配至將被使用於影片視訊之視訊流，0x1100至0x111F被分配至音訊流，0x1200至0x121F被分配至呈現圖形訊流，0x1400至0x141F被分配至互動式圖形訊流，0x1B00 至0x1B1F被分配至將被使用於影片的次要視訊之視訊流，並且0x1A00至0x1A1F被分配至將被使用於將與主要音訊混合的次要音訊之音訊流。
第31圖分解地闡述資料如何被多工化。首先，由視訊框所構成之一視訊流ex235以及由音訊框所構成之音訊流ex238被轉換成為PES封包ex236之訊流以及PES封包ex239之訊流，並且進一步地分別地成為TS封包ex237以及TS封包ex240。同樣地，呈現圖形訊流ex241之資料以及互動式圖形訊流ex244之資料被轉換成為PES封包ex242之訊流以及PES封包ex245之訊流，並且進一步地分別地成為TS封包ex243以及TS封包ex246。這些TS封包被多工化成為訊流以得到多工化資料ex247。
第32圖將更詳細地闡述一視訊流如何被儲存於PES封包之一訊流中。第32圖中之第一框條展示一視訊流中之一視訊框訊流。第二框條展示PES封包之訊流。第32圖中，如利用箭號被指示而表示如yy1、yy2、yy3、以及yy4，視訊流被分割成為圖像，如I圖像、B圖像、以及P圖像，其各是視訊顯示單元，並且該等圖像被儲存於PES封包之各酬載中。PES封包各具有PES標頭，並且PES標頭儲存指示圖像顯示時間之一顯示時間-戳記(PTS)，以及指示圖像解碼時間之一解碼時間-戳記(DTS)。
第33圖闡述最後將被寫入多工化資料上之TS封包的一格式。TS封包各者是一188-位元組固定長度封包而包含一4-位元組TS標頭(其具有例如，用以辨識一訊流之一PID的 資訊)，以及用以儲存資料之一184-位元組TS酬載。PES封包被分割，並且分別地被儲存於TS酬載中。當一BD ROM被使用時，各個TS封包被給予一4-位元組之TP_外加_標頭(TP_Extra_Header)，因此導致192-位元組之起源封包。該等起源封包被寫入多工化資料上。TP_外加_標頭儲存資訊，例如，一到達_時間_戳記(Arrival_Time_Stamp，ATS)。ATS展示一轉移開始時間，在其中各個TS封包是將被轉移至PID濾波器。該等起源封包被配置於多工化資料中，如在第33圖底部之展示。自多工化資料標頭增加之數目被稱為起源封包數目(SPN)。
被包含於多工化資料中之各個TS封包不只是包含音訊流、視訊流、文字以及其他者，但同時也包含節目聯結表(PAT)、節目映製表(PMT)以及節目時脈參考(PCR)。PAT展示被使用於多工化資料中之一PMT中的PID指示什麼，以及PAT它本身之一PID被暫存作為零。PMT儲存被包含於多工化資料中之視訊流、音訊流、子標題以及其他者的PID，以及對應至該等PID的訊流之屬性資訊。PMT也具有關於多工化資料之各種描述符。該等描述符具有資訊，例如，展示多工化資料之複製是否被允許的複製控制資訊。PCR儲存展示何時PCR封包將被轉移至解碼器而對應至一ATS的STC時間資訊，以便達成在ATS之一時間軸的一到達時間時脈(ATC)以及PTS與DTS之一時間軸的一系統時間時脈(STC)之間的同步。
第34圖詳細地闡述PMT之資料結構。一PMT標頭被配 置在PMT頂部。該PMT標頭說明被包含於PMT以及其他者中的資料長度。關於多工化資料之複數個描述符被配置在PMT標頭之後。資訊，例如，複製控制資訊被說明於描述符。在描述符之後，被包含於多工化資料中關於訊流之訊流資訊的複數個片段被配置。訊流資訊之各片段包含訊流描述符，其各描述資訊，例如，用以辨識一訊流之壓縮編解碼的一訊流型式、一訊流PID以及訊流屬性資訊(例如，一像框率或一縱橫比)。該等訊流描述符數目是等於多工化資料中之訊流數目。
當多工化資料被記錄於記錄媒體以及其他者上時，其與多工化資料資訊檔案一起被記錄。
各個多工化資料資訊檔案是展示於第35圖中之多工化資料的管理資訊。多工化資料資訊檔案是以一對一方式對應於多工化資料，並且各個檔案包含多工化資料資訊、訊流屬性資訊以及一項目映圖。
如第35圖中之闡述，多工化資料資訊包含一系統速率、一再生開始時間、以及一再生結束時間。該系統速率指示最大轉移速率，在其中，一稍後將被說明的系統目標解碼器轉移多工化資料至PID濾波器。被包含於多工化資料中之ATS的區間被設定為不較高於一系統速率。再生開始時間指示在多工化資料頭部之視訊框中的一PTS。一像框之區間被添加至多工化資料尾部的一視訊框中之PTS，且PTS被設定至再生結束時間。
如於第36圖之展示，屬性資訊之一片段被暫存於訊流 屬性資訊中，以供用於被包含在多工化資料中之各訊流的各個PID。屬性資訊之各片段取決於對應的訊流是否為一視訊流、一音訊流、一呈現圖形訊流、或一互動式圖形訊流，而具有不同的資訊。視訊流屬性資訊之各片段攜帶下列資訊：如包含何種類型之壓縮編解碼將被使用於壓縮該視訊流，以及被包含於視訊流中之圖像資料片段的解析度、縱橫比、以及像框速率。音訊流屬性資訊之各片段攜帶下列資訊：如包含何種類型之壓縮編解碼將被使用於壓縮該音訊流、多少頻道被包含於該音訊流中、該音訊流支援何種語言、以及取樣頻率是多高。視訊流屬性資訊以及音訊流屬性資訊在播放機播放該資訊之前被使用於一解碼器之初始化。
於本發明實施例中，將被使用之多工化資料是屬於被包含在PMT中之訊流型式。更進一步地，當多工化資料被記錄於一記錄媒體上時，被包含於多工化資料資訊中之視訊流屬性資訊被使用。更明確地說，於各實施例中被說明的移動圖像編碼方法或移動圖像編碼裝置包含一步驟或一單元，該步驟或單元用以分配指示藉由各實施例中之移動圖像編碼方法或移動圖像編碼裝置所產生的視訊資料之唯一的資訊，至被包含於PMT中之訊流型式或視訊流屬性資訊。以該組態，藉由於各實施例中被說明的移動圖像編碼方法或移動圖像編碼裝置所產生的視訊資料可自遵循另一標準之視訊資料被辨認。
更進一步地，第37圖闡述依據本發明實施例之移動圖 像解碼方法的步驟。於步驟exS100中，被包含於PMT中之訊流型式或被包含於多工化資料資訊中之視訊流屬性資訊自多工化資料被得到。接著，於步驟exS101中，決定訊流型式或視訊流屬性資訊是否指示藉由各實施例中之移動圖像編碼方法或移動圖像編碼裝置被產生的多工化資料。當決定訊流型式或視訊流屬性資訊指示藉由各實施例中之移動圖像編碼方法或移動圖像編碼裝置被產生的多工化資料時，於步驟exS102中，解碼藉由各實施例中之移動圖像解碼方法被進行。更進一步地，當訊流型式或視訊流屬性資訊指示遵循習見的標準，例如，MPEG-2、MPEG-4 AVC、以及VC-1時，於步驟exS103中，解碼藉由遵循習見標準的移動圖像解碼方法被進行。
就此而論，分配一新的唯一數值至訊流型式或視訊流屬性資訊能夠決定於各實施例中被說明的移動圖像解碼方法或移動圖像解碼裝置是否可進行解碼。即使當遵循於不同的標準之多工化資料被輸入時，一適當的解碼方法或裝置可被選擇。因此，其成為可能解碼資訊而無任何失誤。更進一步地，本發明實施例中之移動圖像編碼方法或裝置，或移動圖像解碼方法或裝置可被使用於如上所述之設備以及系統中。
(實施例C)
於各實施例中的移動圖像編碼方法、移動圖像編碼裝置、移動圖像解碼方法以及移動圖像解碼裝置各者通常以積體電路或大型積體(LSI)電路形式被達成。如一LSI範例， 第38圖闡述被製造成為一晶片之LSI ex500的一組態。LSI ex500包含將在下面被說明之元件ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、以及ex509，並且該等元件經由匯流排ex510彼此連接。當電源供應電路單元ex505被導通時，電源供應電路單元ex505藉由供應電力至各個元件而被致動。
例如，當編碼被進行時，LSI ex500在控制單元ex501控制之下經由AVIOex509自麥克風ex117、攝影機ex113、以及其他者接收一AV信號，該控制單元ex501包含CPU ex502、記憶體控制器ex503、訊流控制器ex504、以及驅動頻率控制單元ex512。所接收的AV信號暫時地被儲存於一外接記憶體ex511中，例如，一SDRAM。在控制單元ex501控制之下，被儲存的資料依據將被發送至信號處理單元ex507的處理數量以及速率而被分區成為資料部份。接著，信號處理單元ex507編碼一音訊信號及/或一視訊信號。於此，視訊信號之編碼是於各實施例中被說明的編碼。更進一步地，信號處理單元ex507有時多工化被編碼的音訊資料以及被編碼的視訊資料，並且一訊流IO ex506提供多工化資料至外面。被提供的多工化資料被發送至基地台ex107，或被寫入於記錄媒體ex215上。當資料組被多工化時，該等資料將暫時地被儲存於緩衝器ex508中，因而資料組彼此同步。
雖然記憶體ex511是在LSI ex500之外的一元件，其可被包含於LSI ex500中。緩衝器ex508是不受限定於一緩衝器，而是可以是由數個緩衝器所構成。更進一步地，LSI ex500 可被製造成一晶片或複數個晶片。
更進一步地，雖然控制單元ex501包含CPUex502、記憶體控制器ex503、訊流控制器ex504、驅動頻率控制單元ex512，但控制單元ex501之組態是不受限定於此。例如，信號處理單元ex507可進一步地包含一CPU。信號處理單元ex507中包括另一CPU可改進處理速率。更進一步地，如另一範例，CPU ex502可適用為信號處理單元ex507或作為其之一部份，並且，例如，其可包含一音訊信號處理單元。於此一情況中，控制單元ex501包含信號處理單元ex507或CPU ex502包含信號處理單元ex507之一部份。
此處被使用的名稱是LSI，但也可取決於其整合程度而被稱為IC、系統LSI、高級LSI、或超級LSI。
此外，達成整合之方式是不受限定於LSI，並且一特殊電路或一般目的之處理器以及其它者也可達成該整合。場可程規閘陣列(FPGA)可在製造LSI之後被規劃或允許一LSI之連接或組態的重組之一可重組處理器可被使用於相同目的。
將來，藉由半導體技術中之提升，一嶄新技術可能取代LSI。功能區塊可使用此技術被整合。本發明可能被應用至生化技術。
(實施例D)
當藉由於各實施例中被說明的移動圖像編碼方法或移動圖像編碼裝置所產生的視訊資料被解碼時，比較至當遵循於一習見標準(例如，MPEG-2、MPEG-4 AVC、以及VC-1) 之視訊資料被解碼時，處理數量可能增加。因此，LSI ex500需要被設定至一驅動頻率，其是較高於將被使用於當遵循習見標準的視訊資料被解碼時的CPU ex502之驅動頻率。但是，當驅動頻率被設定為較高時，電力消耗增加之問題發生。
為了解決該問題，移動圖像解碼裝置，例如，電視ex300以及LSI ex500被組態以決定視訊資料將遵循何種標準，並且依據所決定的標準在驅動頻率之間切換。第39圖闡述本發明實施例中之一組態ex800。當視訊資料藉由於各實施例中被說明的移動圖像編碼方法或移動圖像編碼裝置被產生時，驅動頻率切換單元ex803設定一驅動頻率至較高的驅動頻率。接著，驅動頻率切換單元ex803指示解碼處理單元ex801執行於各實施例中被說明的移動圖像解碼方法以解碼該視訊資料。當該視訊資料遵循習見標準時，驅動頻率切換單元ex803設定一驅動頻率至較低於藉由於各實施例中被說明的移動圖像編碼方法或移動圖像編碼裝置所產生的視訊資料之驅動頻率。接著，驅動頻率切換單元ex803指示解碼處理單元ex802遵循習見標準以解碼該視訊資料。
更明確地說，第38圖中，驅動頻率切換單元ex803包含CPU ex502以及驅動頻率控制單元ex512。於此，執行於各實施例中被說明的移動圖像解碼方法之解碼處理單元ex801以及遵循習見標準的解碼處理單元ex802各對應至第38圖中之信號處理單元ex507。CPU ex502決定視訊資料將遵循何種標準。接著，驅動頻率控制單元ex512根據來自 CPU ex502之一信號決定一驅動頻率。更進一步地，信號處理單元ex507根據來自CPU ex502之信號解碼視訊資料。例如，於實施例B中被說明之辨識資訊可能被使用於辨識視訊資料。該辨識資訊是不受限定於實施例B中所說明之一者，而可以是任何只要是指示視訊資料遵循將何種標準之資訊。例如，當視訊資料將遵循何種標準可根據用以決定視訊資料將被使用於電視或碟片等等的一外接信號被決定時，該決定可根據此一外接信號被達成。更進一步地，CPU ex502根據，例如，一搜尋表，選擇一驅動頻率，於該搜尋表中視訊資料之標準被關聯於該驅動頻率，如於第41圖之展示。該驅動頻率可藉由儲存該搜尋表於緩衝器ex508中以及於一LSI之內部記憶體中，以及藉由CPU ex502參考該搜尋表而被選擇。
第40圖闡述用以執行本發明實施例之方法的步驟。首先，於步驟exS200中，信號處理單元ex507自多工化資料得到辨識資訊。接著，於步驟exS201中，CPU ex502根據該辨識資訊，決定視訊資料是否藉由於各實施例中被說明的編碼方法以及編碼裝置被產生。當視訊資料藉由於各實施例中被說明的移動圖像編碼方法以及移動圖像編碼裝置被產生時，於步驟exS202中，CPU ex502發送用以設定驅動頻率至較高的驅動頻率之一信號至驅動頻率控制單元ex512。接著，驅動頻率控制單元ex512設定驅動頻率至較高的驅動頻率。另一方面，當辨識資訊指示視訊資料遵循習見的標準，例如，MPEG-2、MPEG-4 AVC、以及VC-1時，於exS203步 驟中，CPU ex502發送用以設定驅動頻率至較低的驅動頻率之一信號至驅動頻率控制單元ex512。接著，驅動頻率控制單元ex512設定驅動頻率至較低的驅動頻率，其是較低於其中視訊資料藉由於各實施例中被說明的移動圖像編碼方法以及移動圖像編碼裝置被產生之情況的驅動頻率。
更進一步地，與驅動頻率之切換一起，電力節省效用可藉由改變將被施加至LSI ex500或包含該LSI ex500之一裝置的電壓而被改進。例如，當該驅動頻率被設定為較低時，將被施加至LSI ex500或包含LSI ex500之裝置的電壓，可被設定至較低於其中驅動頻率被設定為較高的情況之電壓。
更進一步地，當用於解碼之處理數量是較大時，驅動頻率可被設定為較高，並且當用以解碼之處理數量是較小時，驅動頻率可如用以設定驅動頻率之方法而被設定為較低。因此，設定方法是不受限定於如上所述之一者。例如，當用以解碼遵循MPEG-4 AVC之視訊資料的處理數量是較大於用以解碼藉由於各實施例中被說明的移動圖像編碼方法以及移動圖像編碼裝置所產生的視訊資料之處理數量時，驅動頻率可能以反向順序被設定至如上所述之設定。
更進一步地，用以設定驅動頻率之方法是不受限定於用以設定驅動頻率為較低的方法。例如，當辨識資訊指示視訊資料藉由於各實施例中被說明的移動圖像編碼方法以及移動圖像編碼裝置被產生時，將被施加至LSI ex500或包含LSI ex500之裝置的電壓可能被設定為較高。當辨識資訊 指示視訊資料遵循習見標準，例如，MPEG-2、MPEG-4 AVC、以及VC-1時，將被施加至LSI ex500或包含LSI ex500之裝置的電壓可能被設定為較低。如另一範例，當辨識資訊指示視訊資料藉由於各實施例中被說明的移動圖像編碼方法以及移動圖像編碼裝置被產生時，CPU ex502之驅動可能不必定被擱置。當辨識資訊指示視訊資料遵循習見的標準，例如，MPEG-2、MPEG-4 AVC、以及VC-1時，CPU ex502之驅動可能在一給予的時間被擱置，因為CPU ex502具有額外之處理容量。即使當辨識資訊指示視訊資料藉由於各實施例中被說明的移動圖像編碼方法以及移動圖像編碼裝置被產生時，於CPU ex502具有額外處理容量之情況中，CPU ex502之驅動可能在一所給予的時間被擱置。於此一情況中，擱置時間可能被設定而較短於當辨識資訊指示視訊資料遵循習見的標準，例如，MPEG-2、MPEG-4 AVC、以及VC-1時之情況的擱置時間。
因此，電力節省效用可藉由在依照視訊資料遵循標準的驅動頻率之間的切換而被改進。更進一步地，當LSI ex500或包含LSI ex500之裝置使用電池被驅動時，電池時效可藉由電力節省效用被延長。
(實施例E)
具有複數個視訊資料遵循不同標準的情況，將被提供至設備以及系統，例如，電視以及行動電話。為了能夠解碼遵循不同標準之複數個視訊資料，LSI ex500之信號處理單元ex507需要去遵循不同的標準。但是，由於遵循分別標 準的信號處理單元ex507之分別的使用，LSI ex500電路尺度之增加以及成本之增加的問題出現。
為了解決該問題，被構想出一組態，於其中用以實作於各實施例中被說明的移動圖像解碼方法之解碼處理單元以及遵循習見標準，例如，MPEG-2、MPEG-4 AVC、以及VC-1的解碼處理單元部份地被共用。第42A圖中之Ex900展示該組態一範例。例如，於各實施例中被說明的移動圖像解碼方法以及遵循MPEG-4 AVC之移動圖像解碼方法，已部份地共用處理細節，例如，熵編碼、反向量化、解區塊濾波、以及移動補償預測。將被共用之處理細節可包含遵循MPEG-4 AVC之解碼處理單元ex902的使用。相對地，專用解碼處理單元ex901可被使用於獨特於本發明之一論點的其他處理。因為本發明論點具特徵於反向量化，尤其是，例如，專用之解碼處理單元ex901被使用於反向量化。此外，解碼處理單元可與熵解碼、解區塊濾波、以及移動補償之一者被共用，或被共用於所有的處理。用以實作於各實施例中被說明的移動圖像解碼方法之解碼處理單元可被共用於將被共用之處理，並且一專用之解碼處理單元可被使用於MPEG-4 AVC之獨特的處理。
更進一步地，第42B圖中之ex1000展示其中處理程序部份地被共用之另一範例。這範例使用一組態，其包含支援獨特於本發明之一論點的處理程序之一專用解碼處理單元ex1001、支援獨特於另一習見標準的處理程序之一專用解碼處理單元ex1002以及支援將在依據本發明論點之移動圖 像解碼方法以及習見移動圖像解碼方法之間被共用的處理程序之一解碼處理單元ex1003。於此，專用解碼處理單元ex1001以及ex1002不必定得被特殊化，以分別地供用於依據本發明論點之處理程序以及習見標準之處理程序，並且可以是能夠實作一般處理程序之一者。更進一步地，本發明實施例之組態可藉由LSI ex500被實作。
就此而論，藉由共用將在依據本發明論點之移動圖像解碼方法以及遵循習見標準的移動圖像解碼方法之間被共用的處理程序之解碼處理單元，減低一LSI電路尺度以及減低成本是可能的。
概括地，本發明係關於解區塊濾波，其可以是有利地被應用於影像或視訊信號之區塊方式的編碼以及解碼。尤其是，本發明係關於是否應用或跳過對於一區塊之解區塊濾波以及解區塊濾波器之選擇的一自動化決定上之改良的記憶體管理。該決定是以記憶體利用被最佳化方式根據區塊之分區被進行。最好是，適當的解區塊濾波器之選擇被改良以便減低計算花費。
100‧‧‧視訊編碼器
105‧‧‧減法器
110‧‧‧轉換區塊
120‧‧‧量化區塊
130‧‧‧反向轉換區塊
140‧‧‧加法器
150‧‧‧解區塊濾波器
155、255‧‧‧樣本適應式偏移
160、260‧‧‧適應式迴路濾波器
170‧‧‧參考像框緩衝器
180、280‧‧‧空間預測
190、290‧‧‧熵編碼器
200‧‧‧視訊編碼標準解碼器
230‧‧‧反向量化及反向轉換
240‧‧‧加法器
250‧‧‧解區塊濾波器
270‧‧‧記憶體
350a‧‧‧垂直邊緣之水平解區塊
350b‧‧‧水平邊緣之垂直解區塊
310-340‧‧‧區塊樣本
360-370‧‧‧像素
420、430‧‧‧線
610、620‧‧‧像素
630、640‧‧‧像素樣本
S10-S458‧‧‧決定步驟
D1、D2、 D3、D4之順序流程步驟
810-830‧‧‧區塊樣本
17601、17602‧‧‧區塊樣本
1800‧‧‧區域
1810‧‧‧垂直邊緣
1820‧‧‧水平邊緣
19601、19602‧‧‧線
21601、21602‧‧‧線
2260、2260‧‧‧線
23601、23602‧‧‧線
2365‧‧‧線
ex100‧‧‧內容提供系統
ex101‧‧‧網際網路
ex102‧‧‧網際網路服務提供器
ex103‧‧‧訊流伺服器
ex104‧‧‧電話網路
ex106-ex110‧‧‧基地台
ex111‧‧‧電腦
ex112‧‧‧個人數位助理(PDA)
ex113‧‧‧攝影機
ex114‧‧‧行動電話
ex115‧‧‧遊戲機
ex116‧‧‧攝影機
ex117‧‧‧麥克風
ex200‧‧‧數位傳播系統
ex201‧‧‧傳播台
ex202‧‧‧傳播衛星
ex203‧‧‧電纜線
ex204‧‧‧天線
ex205‧‧‧天線
ex210‧‧‧車輛
ex211‧‧‧車輛導航系統
ex213‧‧‧監視器
ex215‧‧‧記錄媒體
ex216‧‧‧記錄媒體
ex217‧‧‧機上盒(STB)
ex218‧‧‧讀取器/記錄器
ex219‧‧‧監視器
ex220‧‧‧遠處控制器
ex230‧‧‧資訊軌跡
ex231‧‧‧記錄區塊
ex232‧‧‧內部圓周區域
ex233‧‧‧資料記錄區域
ex234‧‧‧外部圓周區域
ex235‧‧‧視訊流
ex236、ex239‧‧‧PES封包
ex237、ex240‧‧‧TS封包
ex238‧‧‧音訊流
ex241‧‧‧呈現圖形訊流
ex242、ex245‧‧‧PES封包
ex243、ex246‧‧‧TS封包
ex244‧‧‧互動式圖形訊流
ex247‧‧‧多工化資料
ex300‧‧‧電視
ex301‧‧‧調諧器
ex302‧‧‧調變/解調變單元
ex303‧‧‧多工化/解多工化單元
ex304‧‧‧音訊信號處理單元
ex305‧‧‧視訊信號處理單元
ex306‧‧‧信號處理單元
ex307‧‧‧擴音機
ex308‧‧‧顯示單元
ex309‧‧‧輸出單元
ex310‧‧‧CPU控制單元
ex311‧‧‧電源供應電路單元
ex312‧‧‧操作輸入單元
ex313‧‧‧電橋
ex314‧‧‧插槽單元
ex315‧‧‧驅動器
ex316‧‧‧數據機
ex317‧‧‧界面單元
ex318-ex321‧‧‧緩衝器
ex350‧‧‧天線
ex351‧‧‧發送及接收單元
ex352‧‧‧調變/解調變單元
ex353‧‧‧多工化/解多工化單元
ex354‧‧‧音訊信號處理單元
ex355‧‧‧視訊信號處理單元
ex356‧‧‧音訊輸入單元
ex357‧‧‧音訊輸出單元
ex358‧‧‧顯示單元
ex359‧‧‧液晶顯示器(LCD)控制單元
ex360‧‧‧主控制單元
ex361‧‧‧電源供應電路單元
ex362‧‧‧操作輸入控制單元
ex363‧‧‧攝影機界面單元
ex364‧‧‧插槽單元
ex365‧‧‧攝影機單元
ex366‧‧‧操作鍵單元
ex367‧‧‧記憶體單元
ex370‧‧‧同步匯流排
ex400‧‧‧資訊再生/記錄單元
ex401‧‧‧光學頭
ex402‧‧‧調變記錄單元
ex403‧‧‧再生解調變單元
ex404‧‧‧緩衝器
ex405‧‧‧碟片馬達
ex406‧‧‧伺服控制單元
ex407‧‧‧系統控制單元
exS100-exS103‧‧‧移動圖像解碼方法步驟
LSI ex500‧‧‧大型積體電路
ex501‧‧‧控制單元
ex502‧‧‧CPU
ex503‧‧‧記憶體控制器
ex504‧‧‧訊流控制器
ex505‧‧‧電源供應電路單元
ex506‧‧‧訊流IO
ex507‧‧‧信號處理單元
ex508‧‧‧緩衝器
ex509‧‧‧AVIO
ex510‧‧‧匯流排
ex511‧‧‧外接記憶體
ex512‧‧‧驅動頻率控制單元
ex800‧‧‧積體電路組態
ex801‧‧‧解碼處理單元
ex802‧‧‧解碼處理單元
ex803‧‧‧驅動頻率切換單元
exS200-exS203‧‧‧編碼方法執行步驟
ex900‧‧‧解碼器組態範例
ex901‧‧‧解碼處理單元
ex902‧‧‧解碼處理單元
ex1000‧‧‧解碼處理部份
ex1001‧‧‧解碼處理單元
ex1002‧‧‧解碼處理單元
第1圖是闡述一視訊編碼器範例之方塊圖；第2圖是闡述一視訊解碼器範例之方塊圖；第3圖是闡述一視訊編碼器範例之另一方塊圖；第4A圖是闡述一水平解區塊濾波器之應用的分解圖；第4B圖是闡述一垂直解區塊濾波器之應用的分解圖；第5圖是闡述是應用或不應用解區塊的決定以及解區 塊濾波器之選擇之分解圖；第6A圖是闡述藉由強濾波器被進行之解區塊操作的分解圖；第6B圖是闡述藉由弱濾波器被進行之解區塊操作的分解圖；第7圖是闡述將依序自八列/行之一範例區塊被採用之解區塊決定序列的流程圖；第8圖是闡述被使用以進行第7圖流程圖中之第一類決定的像素樣本之分解圖；第9圖是闡述被採用以進行第7圖流程圖中之第二類決定的像素樣本之分解圖；第10圖是闡述像素樣本被使用以進行第7圖流程圖中用於垂直邊緣之水平濾波情況的第三類決定之分解圖；第11圖是闡述被使用以進行用於垂直邊緣之水平解區塊濾波的像素樣本之分解圖；第12圖是闡述被使用以進行第7圖流程圖中用於水平邊緣之垂直濾波情況的第三類決定之樣本像素的分解圖；第13圖是闡述被使用以進行用於水平邊緣之垂直解區塊濾波的樣本像素之分解圖；第14圖是一樣本展示，其可利用垂直邊緣之水平解區塊被修改；第15圖是利用垂直邊緣之水平解區塊被修改的一樣本展示；第16圖是利用水平或垂直解區塊任一者被修改之一樣 本展示；第17A-17D圖是闡述發生於第7圖流程圖用於水平以及垂直濾波之第一以及第二類決定的平行性能之問題，以及依照本發明克服該問題的基本概念的分解圖；第18圖是闡述依據本發明解區塊中之相依性受限定於8x8樣本之結構；第19A、19B圖是闡述依照本發明一實施例是應用或不應用一解區塊濾波器之決定的特定範例分解圖；第20A、20B圖是闡述依照本發明一實施例用以選擇一適當的解區塊濾波器之決定的範例解法之分解圖；第21A、21B圖是闡述依照本發明一實施例用以選擇一適當的解區塊濾波器之決定的另一範例解法之分解圖；第22A、22B圖是闡述當進行是應用或不應用一解區塊濾波器之決定時所發生的記憶體存取問題之分解方塊圖；第23A、23B圖是闡述第22A以及22B圖中所闡述之記憶體存取問題的解法之分解圖；第24圖展示用以實作內容分配服務之內容提供系統的全面組態；第25圖展示數位傳播系統之全面組態；第26圖展示闡述電視組態範例之方塊圖；第27圖展示闡述自一光碟記錄媒體上讀取以及寫入資訊之資訊再生/記錄單元的組態範例之方塊圖；第28圖展示一光碟記錄媒體的組態範例；第29A圖展示一行動電話之範例； 第29B圖是展示一行動電話之組態範例的方塊圖；第30圖闡述多工化資料之結構；第31圖分解地展示各訊流如何被多工化於多工化資料中；第32圖更詳細地展示視訊流如何被儲存於PES封包流中；第33圖展示多工化資料中之TS封包以及起源封包的結構；第34圖展示PMT之資料結構；第35圖展示多工化資料資訊之內部結構；第36圖展示訊流屬性資訊之內部結構；第37圖展示用以辨識視訊資料之步驟；第38圖展示用以依據各個實施例實作移動圖像編碼方法以及移動圖像解碼方法之積體電路的組態範例；第39圖展示用以在驅動頻率之間切換之組態；第40圖展示用以辨識視訊資料以及在驅動頻率之間切換的步驟；第41圖展示其中視訊資料標準是關聯於驅動頻率之搜尋表範例；第42A圖是展示用以共用一信號處理單元之模組的組態範例之圖形；以及第42B圖是展示用以共用一信號處理單元之模組的另一組態範例之圖形。
17601‧‧‧區塊樣本

Claims (31)

  1. 一種用於影像像素區塊之解區塊濾波的方法，該方法包括下列步驟：分割藉由一第一邊界被分開的一第一及一第二區塊之各者成為至少二區段，該分割步驟是沿著垂直於該第一邊界之一線，並且判斷是否應用一解區塊濾波器至相鄰於該第一及該第二區塊的該第一邊界之像素，其中該判斷步驟是對於在該第一邊界兩側上之一對相鄰區段使用該對相鄰區段中之樣本像素分別地被進行，以至於沒有屬於其他區段的像素被使用於該判斷步驟中，以及將該等區塊分割成為區段被進行，以至於一區塊之一區段包含用於判斷是否應用一解區塊濾波器及/或用於將相鄰在該區塊及一第三區塊之間的一第二邊界之像素解區塊之解區塊濾波器之選擇所需的該區塊之所有像素，其中該第二邊界是垂直於該第一邊界。
  2. 依據申請專利範圍第1項之方法，其中該判斷步驟是根據該第一區塊之量化數量及該第二區塊之量化數量。
  3. 依據申請專利範圍第1項之方法，進一步包括，在對於該對區段之分別的判斷是肯定的情況，從複數個解區塊濾波器選擇將被應用至該對相鄰區段的所有線之像素的一解區塊濾波器之一步驟，該等線垂直於該第一邊界。
  4. 依據申請專利範圍第3項之方法，其中該選擇步驟包含下列步驟：分別決定對於該等線之N條的每條將被選擇之一解區塊濾波器，其中N是至少為一且N是較小於該對區段中線之全部數目；以及根據該分別決定的結果，依照一預定法則，選擇對於該對區段的所有線之單一解區塊濾波器。
  5. 依據申請專利範圍第1項之方法，進一步包括，在對於該對區段之分別的判斷是肯定的情況，從複數個解區塊濾波器選擇將被應用至該對相鄰區段的所有線之像素的一解區塊濾波器，該等線垂直於該第一邊界，或決定沒有解區塊濾波器被應用的一步驟。
  6. 依據申請專利範圍第5項之方法，其中該選擇或決定步驟包含下列步驟：分別地決定將被選擇的一解區塊濾波器或決定沒有解區塊濾波器將被應用於該等線之N條的每條，其中N是至少為一且N是較小於該對區段中線之全部數目；以及根據該等分別決定的結果，依照一預定法則，選擇該單一解區塊濾波器或決定沒有解區塊濾波器被應用於該對區段的所有線。
  7. 依據申請專利範圍第6項之方法，其中該預定法則定義，如果對於一線之至少該分別決定具有不應用一解區塊濾波器之結果，則沒有解區塊濾波器被應用，否則該 預定法則定義從該等分別決定步驟產生的複數個不同解區塊濾波器選擇需要最少處理工作複雜性之解區塊濾波器。
  8. 依據申請專利範圍第4項之方法，其中該判斷步驟是根據於該選擇及/或決定步驟根據之相同N線之像素樣本。
  9. 依據申請專利範圍第1項之方法，其中該等二個區段是相同尺度。
  10. 依據申請專利範圍第9項之方法，其中該等二個區段是各為四線尺度。
  11. 依據申請專利範圍第4項之方法，其中該等二個區段是各為四線尺度且N是等於二。
  12. 依據申請專利範圍第4項之方法，其中N是等於二並且該預定法則定義如果對於分別決定被進行之該等線兩者有一強濾波器被決定於該等分別決定中，則對於該對區段之所有的線選擇一強濾波器，否則定義以對於該對區段之所有的線選擇一弱濾波器。
  13. 一種用於編碼包含複數個像素之一影像的目前區塊之方法，該方法包括下列步驟：壓縮及重建該目前區塊，以及應用依據申請專利範圍第1項之所有的步驟至該重建區塊。
  14. 一種用於解碼包含複數個像素之一影像的被編碼目前區塊之方法，該方法包括下列步驟：重建該被編碼目前區塊，以及 應用依據申請專利範圍第1項之所有的步驟至該重建區塊。
  15. 一種電腦程式產品，其包括具有一電腦可讀取程式碼實施於其上之一電腦可讀取媒體，該程式碼適用於實行依據申請專利範圍第1項之方法。
  16. 一種用於影像像素區塊之解區塊濾波的裝置，該裝置包括：一區段單元，其用以分割藉由一第一邊界被分開的一第一及一第二區塊之各者成為至少二區段，該分割步驟是沿著垂直於該第一邊界之一線，以及一判斷單元，其用以判斷是否應用一解區塊濾波器至相鄰於該第一及該第二區塊的該第一邊界之像素，其中該判斷單元對於在該第一邊界兩側上之一對相鄰區段使用該對相鄰區段中之樣本像素分別地進行判斷，以至於沒有屬於其他區段的像素被使用於該判斷中，以及該區段單元進行將該等區塊分割成為區段，以至於一區塊之一區段包含用於判斷是否應用一解區塊濾波器及/或用於將相鄰在該區塊及一第三區塊之間的一第二邊界之像素解區塊之解區塊濾波器之選擇所需的該區塊之所有像素，其中該第二邊界是垂直於該第一邊界。
  17. 依據申請專利範圍第16項之裝置，其中該判斷是根據該 第一區塊之量化數量及該第二區塊之量化數量。
  18. 依據申請專利範圍第16項之裝置，其進一步包括：一選擇單元，其用以在藉由該判斷單元對於該對區段之分別的判斷是肯定的情況，從複數個解區塊濾波器選擇將被應用至該對相鄰區段的所有線之像素的一解區塊濾波器，該等線垂直於該第一邊界，以及一濾波單元，其用以應用該選擇之解區塊濾波器。
  19. 依據申請專利範圍第18項之裝置，其中該選擇單元包含對於該等線之N條中各條分別地決定被選擇之一解區塊濾波器的一決定部份，其中N是至少為一且N是較小於該對區段中線之全部數目；並且對於該對區段之所有線的單一解區塊濾波器之選擇是依照根據該等分別決定結果的一預定法則被進行。
  20. 依據申請專利範圍第16項之裝置，進一步包括：一濾波器決定單元，其用以在藉由該判斷單元對於該對區段之分別的判斷是肯定的情況，從複數個解區塊濾波器選擇將被應用至該對相鄰區段的所有線之像素的一解區塊濾波器，該等線垂直於該第一邊界，或決定沒有解區塊濾波器被應用，以及一濾波單元，其用以應用該選擇之解區塊濾波器。
  21. 依據申請專利範圍第20項之裝置，其中該濾波器決定單元分別地決定將被選擇的一解區塊濾波器或決定沒有解區塊濾波器將被應用於該等線之N條的每條，其中N是至少為一且N是較小於該對區段 中線之全部數目；以及根據該等分別決定的結果，依照一預定法則，選擇該單一解區塊濾波器或決定沒有解區塊濾波器被應用於該對區段的所有線。
  22. 依據申請專利範圍第21項之裝置，其中該預定法則定義，如果對於一線之至少該分別決定具有不應用一解區塊濾波器之結果，則沒有解區塊濾波器被應用，否則該預定法則定義從該等分別決定步驟產生的複數個不同解區塊濾波器選擇需要最少處理工作複雜性之解區塊濾波器。
  23. 依據申請專利範圍第19項之裝置，其中藉由該判斷單元之判斷是根據藉由該決定部份之決定所根據之相同N線之像素樣本。
  24. 依據申請專利範圍第21項之裝置，其中藉由該判斷單元之判斷是根據藉由該濾波器決定單元之決定所根據之相同N線之像素樣本。
  25. 依據申請專利範圍第16項之裝置，其中該等二個區段是相同尺度。
  26. 依據申請專利範圍第25項之裝置，其中該等二個區段是各為四線尺度。
  27. 依據申請專利範圍第21項之裝置，其中該等二個區段是各為四線尺度且N是等於二。
  28. 依據申請專利範圍第21項之裝置，其中N是等於二並且該預定法則定義如果對於分別決定被進行之該等線兩 者有一強濾波器被決定於該等分別決定中，則對於該對區段之所有的線選擇一強濾波器，否則定義以對於該對區段之所有的線選擇一弱濾波器。
  29. 一種用於編碼包含複數個像素之一影像的目前區塊之裝置，該裝置包括：一具有一解碼器之編碼器，其用於壓縮及重建該目前區塊，以及依據申請專利範圍第16項用於解區塊濾波該重建區塊之裝置。
  30. 一種用於解碼包含複數個像素之一影像的被編碼目前區塊之裝置，該裝置包括：一用於重建該被編碼目前區塊之解碼器，以及依據申請專利範圍第16項用於解區塊濾波該重建區塊之裝置。
  31. 一種用於實施如申請專利範圍第16項之裝置的積體電路，其進一步包括用以儲存將被濾波像素之一記憶體。
TW101132498A 2011-09-09 2012-09-06 低複雜解區塊濾波器決策技術 TWI514852B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201161532793P 2011-09-09 2011-09-09

Publications (2)

Publication Number Publication Date
TW201325246A true TW201325246A (zh) 2013-06-16
TWI514852B TWI514852B (zh) 2015-12-21

Family

ID=47008496

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101132498A TWI514852B (zh) 2011-09-09 2012-09-06 低複雜解區塊濾波器決策技術

Country Status (13)

Country Link
US (9) US9143778B2 (zh)
EP (2) EP2754295B1 (zh)
JP (5) JP2014526818A (zh)
KR (2) KR102039544B1 (zh)
CN (3) CN103765889B (zh)
BR (1) BR112014004920B8 (zh)
CA (1) CA2841246C (zh)
ES (2) ES2664721T3 (zh)
MX (1) MX2014002529A (zh)
MY (1) MY167341A (zh)
PL (2) PL3306921T3 (zh)
TW (1) TWI514852B (zh)
WO (1) WO2013034649A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5884313B2 (ja) 2011-01-18 2016-03-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP6037064B2 (ja) * 2011-01-18 2016-11-30 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
MY167341A (en) 2011-09-09 2018-08-16 Sun Patent Trust Low complex deblocking filter decisions
WO2013037254A1 (en) * 2011-09-13 2013-03-21 Mediatek Inc. Method and apparatus for reduction of deblocking filter
CN104284199B (zh) * 2013-07-11 2019-02-01 Nxp股份有限公司 用降低复杂度的去块效应操作进行视频解码方法和装置
US10462464B2 (en) 2013-11-24 2019-10-29 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal using adaptive sampling
CN104935940B (zh) * 2014-03-17 2018-02-16 寰发股份有限公司 基于深度的块分割的信号传递方法
US9838712B2 (en) 2014-03-17 2017-12-05 Hfi Innovation Inc. Method of signaling for depth-based block partitioning
EP3138293A4 (en) 2014-04-29 2017-05-24 Microsoft Technology Licensing, LLC Encoder-side decisions for sample adaptive offset filtering
KR102294016B1 (ko) * 2014-12-05 2021-08-25 성균관대학교산학협력단 변환생략을 참조하는 디블록킹 필터링을 이용한 영상의 부호화/복호화 방법 및 이를 이용하는 장치
JP6396782B2 (ja) * 2014-12-11 2018-09-26 日本電信電話株式会社 デブロッキング処理方法、デブロッキング処理装置、コンピュータプログラム及び記録媒体
CN109891895A (zh) * 2016-08-21 2019-06-14 Lg电子株式会社 图像编码/解码方法及其装置
EP3503547A4 (en) * 2016-08-25 2020-01-22 LG Electronics Inc. -1- OMNIDIRECTIONAL VIDEO TRANSMISSION METHOD, OMNIDIRECTIONAL VIDEO RECEPTION METHOD, OMNIDIRECTIONAL VIDEO TRANSMISSION APPARATUS, AND OMNIDIRECTIONAL VIDEO RECEPTION APPARATUS
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
EP3454556A1 (en) * 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
CN117956191A (zh) * 2018-01-08 2024-04-30 三星电子株式会社 编码方法及其设备以及解码方法及其设备
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
WO2019170154A1 (en) * 2018-03-09 2019-09-12 Mediatek Inc. De-blocking method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
EP3782371A4 (en) * 2018-03-30 2021-12-22 Sharp Kabushiki Kaisha SYSTEMS AND PROCEDURES FOR THE APPLICATION OF UNBLOCKING FILTERS ON RECONSTRUCTED VIDEO DATA
CN112352435B (zh) * 2018-06-28 2022-02-18 华为技术有限公司 用于视频编解码的环内去块滤波器设备和方法
CN117528079A (zh) * 2018-09-24 2024-02-06 华为技术有限公司 用于执行质量优化去块的图像处理设备和方法
JP7418152B2 (ja) * 2018-12-17 2024-01-19 キヤノン株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
EP3895433A4 (en) * 2019-01-10 2022-02-23 Huawei Technologies Co., Ltd. UNBLOCK FILTER FOR SUBPARTITION BOUNDARIES CAUSED BY INTRA-SUBPARTITION ENCODING TOOL
WO2020175146A1 (ja) * 2019-02-27 2020-09-03 ソニー株式会社 画像処理装置及び画像処理方法
CN111445427B (zh) * 2020-05-20 2022-03-25 青岛信芯微电子科技股份有限公司 视频图像处理方法以及显示设备
CN111862996B (zh) * 2020-07-14 2024-03-08 北京百瑞互联技术股份有限公司 一种音频编解码器均衡负载的方法、系统、存储介质

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796875A (en) * 1996-08-13 1998-08-18 Sony Electronics, Inc. Selective de-blocking filter for DCT compressed images
FI103003B1 (fi) * 1997-06-13 1999-03-31 Nokia Mobile Phones Ltd Suodatusmenetelmä, suodatin ja matkaviestinpääte
KR100244290B1 (ko) * 1997-09-09 2000-02-01 구자홍 저속 전송에서의 동영상을 위한 디블록킹 필터링 방법
US6529635B1 (en) * 1997-12-15 2003-03-04 Intel Corporation Shape-based image compression/decompression using pattern matching
US6529638B1 (en) * 1999-02-01 2003-03-04 Sharp Laboratories Of America, Inc. Block boundary artifact reduction for block-based image compression
FI117533B (fi) * 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
JPWO2002067589A1 (ja) * 2001-02-23 2004-06-24 セイコーエプソン株式会社 画像処理システム、画像処理方法、及び画像処理プログラム
US7003174B2 (en) * 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
CN1493157A (zh) * 2001-09-12 2004-04-28 ���µ�����ҵ��ʽ���� 图像编码方法和图像解码方法
KR100973909B1 (ko) * 2001-11-29 2010-08-03 파나소닉 주식회사 코딩 왜곡 제거 반도체
EP2320661B8 (en) * 2001-11-29 2015-09-02 Godo Kaisha IP Bridge 1 Coding distortion removal method
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US6922492B2 (en) * 2002-12-27 2005-07-26 Motorola, Inc. Video deblocking method and apparatus
US20050013494A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation In-loop deblocking filter
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
ES2767933T3 (es) 2003-09-07 2020-06-19 Microsoft Technology Licensing Llc Capa de sectores en códec de vídeo
US7412109B2 (en) * 2003-11-07 2008-08-12 Mitsubishi Electric Research Laboratories, Inc. System and method for filtering artifacts in images
KR101000926B1 (ko) * 2004-03-11 2010-12-13 삼성전자주식회사 영상의 불연속성을 제거하기 위한 필터 및 필터링 방법
US7680351B2 (en) * 2004-05-21 2010-03-16 Broadcom Corporation Video deblocking method and apparatus
US8090028B2 (en) * 2004-05-21 2012-01-03 Broadcom Corporation Video deblocking memory utilization
CN1870757B (zh) * 2004-05-21 2010-11-10 美国博通公司 多标准视频解码器
US20050281339A1 (en) * 2004-06-22 2005-12-22 Samsung Electronics Co., Ltd. Filtering method of audio-visual codec and filtering apparatus
US20060013315A1 (en) * 2004-07-19 2006-01-19 Samsung Electronics Co., Ltd. Filtering method, apparatus, and medium used in audio-video codec
NO322722B1 (no) * 2004-10-13 2006-12-04 Tandberg Telecom As Fremgangsmate for videokoding gjennom reduksjon av blokkartefakter
US7778480B2 (en) * 2004-11-23 2010-08-17 Stmicroelectronics Asia Pacific Pte. Ltd. Block filtering system for reducing artifacts and method
JP4270125B2 (ja) * 2004-12-16 2009-05-27 ソニー株式会社 データ処理装置、画像処理装置、それらの方法およびプログラム
US7725691B2 (en) * 2005-01-28 2010-05-25 Analog Devices, Inc. Method and apparatus for accelerating processing of a non-sequential instruction stream on a processor with multiple compute units
CN1870752A (zh) * 2005-05-23 2006-11-29 其乐达科技股份有限公司 应用于视频编码/解码的解块滤波方法及其装置
US8537903B2 (en) * 2005-09-23 2013-09-17 Entropic Communications, Inc. De-blocking and de-ringing systems and methods
CN100484249C (zh) * 2005-09-25 2009-04-29 海信集团有限公司 视频帧间编码基于边缘方向的帧内预测方法
US8111760B2 (en) * 2006-11-16 2012-02-07 Texas Instruments Incorporated Deblocking filters
US8577168B2 (en) * 2006-12-28 2013-11-05 Vidyo, Inc. System and method for in-loop deblocking in scalable video coding
US7877430B2 (en) * 2007-03-26 2011-01-25 Analog Devices, Inc. Method and apparatus for accelerating processing of adaptive finite impulse response filtering
US20090080517A1 (en) * 2007-09-21 2009-03-26 Yu-Ling Ko Method and Related Device for Reducing Blocking Artifacts in Video Streams
CN101453651B (zh) * 2007-11-30 2012-02-01 华为技术有限公司 一种去块滤波方法和装置
JP5360430B2 (ja) * 2008-03-31 2013-12-04 日本電気株式会社 デブロッキングフィルタ処理装置、デブロッキングフィルタ処理方法
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
WO2010001911A1 (ja) * 2008-07-03 2010-01-07 シャープ株式会社 フィルタ装置
CN101635849B (zh) * 2008-07-24 2011-11-16 青岛海信信芯科技有限公司 一种环路滤波方法及环路滤波器
US8326075B2 (en) * 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
JPWO2010035403A1 (ja) * 2008-09-25 2012-02-16 パナソニック株式会社 フィルタ装置およびフィルタ方法
US8761538B2 (en) * 2008-12-10 2014-06-24 Nvidia Corporation Measurement-based and scalable deblock filtering of image data
JP5087016B2 (ja) * 2009-01-19 2012-11-28 キヤノン株式会社 符号化装置及びその制御方法、コンピュータプログラム
CN101651829A (zh) * 2009-06-29 2010-02-17 北京中星微电子有限公司 一种环路滤波的方法、装置及一种移动多媒体终端芯片
JP5183664B2 (ja) * 2009-10-29 2013-04-17 財團法人工業技術研究院 ビデオ圧縮のためのデブロッキング装置及び方法
JP2011160359A (ja) 2010-02-03 2011-08-18 Sharp Corp ブロックノイズ量予測装置、ブロックノイズ量予測方法、画像処理装置、プログラム、及び、記録媒体
US8787443B2 (en) * 2010-10-05 2014-07-22 Microsoft Corporation Content adaptive deblocking during video encoding and decoding
CN106658026B (zh) * 2010-12-07 2019-06-18 索尼公司 图像处理设备和图像处理方法
JP5884313B2 (ja) * 2011-01-18 2016-03-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP6037179B2 (ja) * 2011-02-25 2016-12-07 サン パテント トラスト デブロッキング処理方法およびデブロッキング処理装置
MY167341A (en) * 2011-09-09 2018-08-16 Sun Patent Trust Low complex deblocking filter decisions

Also Published As

Publication number Publication date
US20210120274A1 (en) 2021-04-22
JP2017216690A (ja) 2017-12-07
CA2841246A1 (en) 2013-03-14
US20170208346A1 (en) 2017-07-20
US20190158886A1 (en) 2019-05-23
US9648354B2 (en) 2017-05-09
BR112014004920B1 (pt) 2022-06-07
ES2664721T3 (es) 2018-04-23
JP6620995B2 (ja) 2019-12-18
US20180262781A1 (en) 2018-09-13
JP7361285B2 (ja) 2023-10-16
EP3306921B1 (en) 2020-11-04
JP2021177640A (ja) 2021-11-11
US9143778B2 (en) 2015-09-22
US11218736B2 (en) 2022-01-04
CN107172427A (zh) 2017-09-15
KR102039544B1 (ko) 2019-11-01
EP2754295B1 (en) 2018-01-24
CN103765889A (zh) 2014-04-30
CA2841246C (en) 2019-09-24
US20150304687A1 (en) 2015-10-22
US9402088B2 (en) 2016-07-26
US20200359056A1 (en) 2020-11-12
BR112014004920B8 (pt) 2022-09-27
US20220086504A1 (en) 2022-03-17
BR112014004920A2 (pt) 2019-04-02
US20140185689A1 (en) 2014-07-03
JP2014526818A (ja) 2014-10-06
TWI514852B (zh) 2015-12-21
PL3306921T3 (pl) 2021-05-04
KR102039076B1 (ko) 2019-10-31
CN107197254A (zh) 2017-09-22
EP3306921A1 (en) 2018-04-11
US9948958B2 (en) 2018-04-17
CN103765889B (zh) 2017-05-24
WO2013034649A1 (en) 2013-03-14
EP2754295A1 (en) 2014-07-16
KR20140071316A (ko) 2014-06-11
PL2754295T3 (pl) 2018-07-31
US20160301951A1 (en) 2016-10-13
MY167341A (en) 2018-08-16
KR20170106494A (ko) 2017-09-20
US10897634B2 (en) 2021-01-19
CN107197254B (zh) 2020-03-03
CN107172427B (zh) 2021-01-05
US10237578B2 (en) 2019-03-19
JP2020022207A (ja) 2020-02-06
US10779010B2 (en) 2020-09-15
JP2023166602A (ja) 2023-11-21
MX2014002529A (es) 2014-05-13
ES2835801T3 (es) 2021-06-23

Similar Documents

Publication Publication Date Title
JP7361285B2 (ja) 符号化方法および符号化装置
EP2774371B1 (en) Efficient rounding for deblocking
AU2011247331B2 (en) Filtering mode for intra prediction inferred from statistics of surrounding blocks
TWI599213B (zh) Image processing method and image processing device
AU2017203193B2 (en) Filtering method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus
RU2598799C2 (ru) Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений, устройство декодирования изображений и устройство кодирования-декодирования изображений
KR101863397B1 (ko) 디블로킹을 위한 효율적인 결정
WO2011129100A1 (ja) 画像符号化方法および画像復号化方法
AU2011247331A1 (en) Filtering mode for intra prediction inferred from statistics of surrounding blocks
WO2012164939A1 (ja) 画像符号化方法および画像復号化方法
WO2012090504A1 (en) Methods and apparatuses for coding and decoding video stream
WO2012126627A1 (en) Classifications in cascaded filtering