TW201233191A - Image processing device, image processing method, and program - Google Patents

Image processing device, image processing method, and program Download PDF

Info

Publication number
TW201233191A
TW201233191A TW100144710A TW100144710A TW201233191A TW 201233191 A TW201233191 A TW 201233191A TW 100144710 A TW100144710 A TW 100144710A TW 100144710 A TW100144710 A TW 100144710A TW 201233191 A TW201233191 A TW 201233191A
Authority
TW
Taiwan
Prior art keywords
pixel
pixels
predicted
unit
image
Prior art date
Application number
TW100144710A
Other languages
English (en)
Inventor
Kondo Kenji
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201233191A publication Critical patent/TW201233191A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

201233191 六、發明說明: 【發明所屬之技術領域】 本技術係關於一種圖像處理裝置、圖像處理方法及程 式,特別是關於在框間預測時進行分數精度之動態補償處 理之情形下,可削減記憶頻帶之使用量之圖像處理裝置、 圖像處理方法及程式。 【先前技術】 作為壓縮圖像之標準規格,有H. 264/MPEG(Moving
Picture Experts Group:動畫專家組)_4 Partl〇 Advanced
Video Coding(進階視訊編碼)(以下稱為乩264/AVC) 0 在H. 264/AVC中’進行關注於圖框或圖場間之相互關係 之框間預測。在框間預測中’使用已保存之可參照之圖像 内之部分區域進行動態補償處理,而產生預測圖像。 近年來,在該動態補償處理中’已有研擬使動態向量之 解析度提高至二分之一或四分之一之分數精度。 在如此之分數精度之動態補償處理中,於參照圖像的鄰 接之像素之間設定被稱為Sub pel之假設性之分數位置之像 素’而追加進行產生該Sub pel之處理(以下,稱為内插)(例 如’參照非專利文獻1)。即,在分數精度之動態補償處理 中,為使動態向量之最小解析度成為像素之分數倍,而進 行用以產生分數位置之像素之内插。 作為使用於内插之濾波器即内插濾波器(Interpolation filter(IF)),通常使用有限脈衝響應濾波器(FlR(Finite Impulse Response)Filter)。 I57972.doc 201233191 例如,在先前之内插中,於1/2像素位置之Sub pel之内 插中,使用6抽頭之FIR濾波器。又,1/4像素位置之 pel係藉由使用兩側之1/2像素位置之Sub pei或整數位置之 像素進行雙線性(Bi-linear)處理而產生。 圖1係顯示在先前之内插中使用於Sub pel a至〇之產生之 像素之圖。 另,在圖1中,未標記英文字母之正方形表示整數位置 之像素,標記有英文字母之正方形表示該英文字母之Sub pel。 圖1之1 /2像素位置之Sub pel b係藉由6抽頭之FIR濾波 器,使用與Sub pel b在水平方向相同位置之標註斜線之正 方形表示之整數位置之6像素而產生。又,1/2像素位置之 Sub pel h係藉由6抽頭之FIR濾波器,使用與8111) pel h在垂 直方向相同位置之標註斜線之正方形表示之整數位置之6 像素而產生。再者,1/2像素位置之Sub pel』係藉由6抽頭 之FIR濾波器,以6像素單位使用以標註斜線之正方形表示 之6x6像素而產生。而1/4像素位置之像素a、〇至g、i、及k 至〇,係使用兩側之像素b、h、j或以標註斜線之正方形表 示之整數位置之像素而產生。 [先前技術文獻] [非專利文獻] [非專利文獻 l]Dmytro Rusanovskyy,Kemal Ugur,Antti
Hallapuro, Jani Lainema, and Moncef Gabbouj, Video Coding With Low-Complexity Directional Adaptive 157972.doc 201233191
Interpolation Filters, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, AUGUST 2009, VOL.19, No.8 【發明内容】 [發明所欲解決之問題] 如圖1所示,在先前之内插中,需要藉由内插而產生之 Sub pel之周邊之最大6x6像素。因此,在分數精度之動態 補償處理中,需要用到相較於成為動態補償處理之對象之 區塊非常廣之區域之像素。 例如圖2所示’對8x8像素之區塊進行分數精度之動態補 償處理之情形,需要用到包含以對應於該區塊之標註網點 之正方形表示之8x8像素、與以該8x8像素之外側之標註斜 線之正方形表示之像素之13 X13像素。因此,於框間預測 時進行分數精度之動態補償處理之情形時,記憶參照圖像 之記憶體之頻帶之使用量較大。 本技術係鑒於如此之狀況而完成者,在框間預測時進行 分數精度之動態補償處理之情形下,可削減記憶頻帶之使 用量》 [解決問題之技術手段] 本技術之一態樣之圖像處理裝置,其包含:像素讀取 邛,其自框間預測之參照圖像讀取特定之像素;運算部, 其使用藉由上述像素讀取部而讀取之上述特定之像素,運 算上述參㈣像之分數位置之像素作為上絲間預測之預 測圖像之像素’且上述像素讀取部以使對應於上述預測圖 157972.doc 201233191 像之外側之像素之上述特定之像素之數少於對應於上述預 測圖像之内側之像素之上述特定之像素之數之方式,讀取 上述特定之像素。 本技術之一態樣之圖像處理方法及程式,對應於本技術 之一側面之圖像處理裝置。 在本技術之一態樣中,自框間預測之參照圖像讀取特定 之像素,且使用讀取之上述特定之像素,運算上述參照圖 像之;7數位置之像素作為上述框間預測之預測圖像之像 素另上述特疋之像素係以使對應於上述預測圖像之外 側之像素之上述特定之像素之數少於對應於上述預測圖像 之内側之像素之上述特定之像素之數之方式而被讀取。 [發明之效果] 根據本技術’在框間預測時進行分數精度之動態補償處 理之情形中,可削減記憶頻帶之使用量。 【實施方式】 < 一實施形態> [編碼裝置之一實施形態之構成例] 圖3係顯不作為應用本技術之圖像處理裝置之編裝置 之一實施形態之構成例之方塊圖》 圖3之編碼裝置10係由以下構成:A/D轉換部11、畫面重 排序緩衝器12、運算部13、正交轉換部14、量化部15、可 逆編碼部16、儲存緩衝器17、逆量化部18、逆正交轉換部 19、加法部20、解塊濾波器21、圖框記憶體22、框内預測 部23、框間預測部24、動態預測部25、選擇部26、及速率 157972.doc -6- 201233191 控制部27。圖3之編碼裝置10以H. 264/AVC方式將輸入之 圖像進行壓縮編碼。 具體而言,編碼裝置1〇之A/D轉換部11將作為輸入信號 而輸入之圖框單位之圖像進行A/D轉換,並輸出至書面重 排序緩衝器12而加以記憶。畫面重排序緩衝器12按照 GOP(Group of Picture :畫面群)構造’依用以編碼之順序 將經記憶之顯示之順序之圖框單位之圖像進行重排序,且 輸出至運算部13、框内預測部23、及動態預測部25。
運算部13作為差分運算部發揮功能,運算自選擇部26供 給之預測圖像、與自畫面重排序緩衝器12輸出之編碼對象 之圖像之差分。具體而言,運算部13從自畫面重排序緩衝 器12輸出之編碼對象之圖像,減去自選擇部26供給之預測 圖像。運算部13將相減之結果獲得之圖像作為殘差資訊而 輸出至正交轉換部14。另,不由選擇部26供給預測圖像之 情形下,運算部13將自畫面重排序緩衝器12讀取之圖像直 接作為殘差資訊而輸出至正交轉換部14。 正交轉換部I4對來自運算部U之殘差資料行離散餘弦 轉換、及+忽南-拉維轉換等之正交轉換,㈣其 得之係數供給至量化部15。 ° 量化部15將自正交轉換部14供給之係數進行量化。經量 化之係數被輸入至可逆編碼部16。 =編碼部16自框内預測部23取得表示最佳框内預測模 惊=以了’稱為框内預測模式資訊),自框間預測部 取得表示最佳框間預測模式之資訊(以下,稱為框間預 157972.doc 201233191 測模式資訊)、及動態向量等。 可逆編碼部16對自量化部15供給之經量化之係數,進行 可變長度編碼(例如 ’ CAVLC(Context-Adaptive Variable
Length Coding :文絡適應性可變長度編碼)等)、及算術編 碼(例如,CABAC(Context-Adaptive Binary Arithmetic
Coding :文絡適應性二進位算術編碼)等)等之可逆編碼, 將其結果獲得之資訊作為壓縮圖像。又,可逆編碼部16將 框内預測模式資訊、或框間預測模式資訊及動態向量等進 打可逆編碼,將其結果獲得之資訊作為附加於壓縮圖像之 心頭資訊。可逆編碼部16將附加有可逆編碼之結果獲得之 標頭資訊之壓縮圖像作為圖像壓縮資訊而供給至儲存緩衝 器17,而加以儲存。 儲存緩衝器17暫時記憶自可逆編碼部丨6供給之圓像壓縮 資訊,並輸出至例如後段之未圖示之記錄裝置或傳送路徑 等。 又,藉由量化部15而輸出之經量化之係數亦被輸入至逆 量化部18,經逆量化後,供給至逆正交轉換部19。 逆正交轉換部19對自逆量化部18供給之係數’進行逆離 散餘弦轉換 '及逆卡忽南拉維轉換等之逆正交轉換,並 將其結果獲得之殘差資訊供給至加法部2〇。 加法部20作為加法運算部發揮功能,將作為自逆正交轉 換部19供給之解碼對象之圖像之殘差資訊、與自選擇部^ 供給之預測圖像相加,而獲得局部解瑪之圖像。另,不由 選擇部26供給預測圖像之情形時,加法部20將自逆正交轉 157972.doc 201233191 之圖像。加法部2〇將 2 1 ’且作為參照圖像 換部19供給之殘差資訊作為局部解碼 經局部解碼之圖像供給至解塊濾波器 而供給至框内預測部23。 解塊據波器2i將自加法部20供給之經局部解碼之圖像進 行過濾,藉此除去區塊失真。解塊濾波器21將其結果獲得 之圖像供給至圖框記憶體22而加以儲存。儲存於圖框記憶 體22之圖像作為參照圖像而被輸出至框間預測部“及動態 預測部25。
框内預測部23基於自晝面重排序緩衝器12讀取之圖像、 與自加法部20供給之參照圖像,進行成為候補之全部框内 預測模式之框内預測,而產生預測圖像。 又框内預測部23針對成為候補之全部框内預測模式而 算出代價函數值(細節如後述)。且,框内預測部23將代價 函數值為最小之框内預測模式決定為最佳框内預測模式。 框内預測部23將以最佳框内預測模式產生之預測圖像、及 對應之代價函數值供給至選擇部2 6。框内預測部2 3自選擇 部2 6被通知以最佳框内預測模式產生之預測圖像之選擇之 情形’將框内預測模式資訊供給至可逆編碼部16。 另’代價函數值亦稱為RD(Rate Distortion :位元率失 真)代價,其係基於例如以H· 264/AVC方式之參照軟體即 JM(J〇int M〇del:聯合模型)所決定之High <:〇11^丨以丨^(高 複雜性)模式、及Low Complexity(低複雜性)模式之任一種 方法而算出。 具體而言’採用High Complexity模式作為代價函數值之 157972.doc 201233191 算出方法之情形 行至可逆編碼, 函數值。 ,針對成為候補 並對各預測模式算屮測模式’假設進 出以下式(1)表示之代價
Cost(Mode)=D+ λ-R D為原始圖像與解碼圖像之差分 …⑴ 係數所含之產生編mI (失真)’ R為正交轉換之 予之拉格朗ί乘數碼量’ λ為作為量化參數較函數而賦 算出方=情= L:::eXity_作為代價函 解碼圖像之產生、及表^叙全部預_式,進行 曾山 及表不預測模式之資訊等之標頭位元之 對各預測模式算出以下式⑺表示之代價函數。
Cost(Mode)=D+QPtoQuant(Qp).Heade^Bit …⑺ D為原始圖像與解碼圖像之差分(失真),Header_Bit為相 對於預測模式之標頭位元,Qpt〇Quan#作為量化參數砂 之函數而賦予之函數。 在Low Complexity模式中,由於可對全部預測模式產生 解碼圖像而沒有必要進行可逆編碼,因此運算量較少。 另’此處,作為代價函數值之算出方法,設為採用出的 Complexity模式。 框間預測部24基於自動態預測部25供給之框間預測模式 資訊與動態向量,自圖框記憶體22讀取參照圖像。框間預 測部24基於動態向量與自圖框記憶體22讀取之參照圖像, 進行框間預測處理。具體而言,框間預測部24基於動態向 量而相對參照圖像進行内插,藉此進行分數精度之動態補 157972.doc 10· 201233191 償處理。框間預測部24將其結果產生之預測圖像、與自動 態預測部25供給之代價函數值供給至選擇部26。又,框間 預測部24在自選擇部26被通知以最佳框間預測模式產生之 預測圖像之選擇之情形時,將框間預測模式資訊、及對應 之動態向量等輸出至可逆編碼部16。 動態預測部25基於自晝面重排序緩衝器12供給之圖像' 與自圖框5己憶體2 2供給之參照圖像,進行成為候補之全部 框間預測模式之動態預測處理,產生分數精度之動態向 量。具體而言’動態預測部25針對每個框間預測模式,對 參照圖像以與框間預測部24相同之方法進行内插。且動態 預測部25針對每個框間預測模式,進行内插後之參照圖 像、與自晝面重排序緩衝器12供給之圖像之匹配,產生分 數精度之動態向量。在本實施形態中,設藉由内插而產生 1/2像素位置之Sub pel,且動態向量之精度設為1/2像素精 度。 此處,動態預測部25針對成為候補之全部框間預測模式 算出代價函數值,並將代價函數值為最小之框間預測模式 決定為最佳框間預測模式。接著,動態預測部25將框間預 測模式資訊、以及對應之動態向量及代價函數值供給至框 間預測部24。 另’框間預測模式係表示作為框間預測之對象之區塊之 尺寸、預測方向、及參照索引之資訊。於預測方向中有使 用顯不時刻早於作為框間預測對象之圖像之參照圖像之前 方向之預測(L0預測)、使用顯示時刻遲於作為框間預測對 157972.doc 201233191 象之圖像之參照圖像之後方向之預測(L1預測)、及使用相 較於作為框間預測對象之圖像顯示時刻更早之參照圖像與 更遲之參照圖像之雙方向之預測(Bi_predicti〇n)。又,參 照索引係用以特定參照圖像之編號,例如,越接近於作為 框間預測之對象之圖像,則圖像之參照索引編號越小。 選擇部26基於自框内預測部23及框間預測部24供給之代 價函數值,而將最佳框内預測模式與最佳框間預測模式之 中之任一者決定為最佳預測模式。接著,選擇部26將最佳 預測模式之預測圖像供給至運算部13及加法部2〇。又,選 擇部26將最佳預測模式之預測圖像之選擇通知至框内預測 部23或框間預測部24。 速率控制部27基於儲存於儲存緩衝器17之圖像壓縮資 訊,以使不會發生溢流或下溢之方式,控制量化部15之量 化動作之速率。 [框間預測部之第1構成例] 圖4係顯示圖3之框間預測部24之第!構成例之方塊圖。 另’圖4中’為便於說明,僅圖示進行框間預測部24之 框間預測處理之區塊,而省略輸出代價函數值、框間預測 模式資訊、及動態向量等之區塊。 在圖4中,框間預測部24係由以下構成:參照圖像讀取 41、像素調度部42 ' 2抽頭FIR濾波器43、4抽頭FIR濾波 器44、6抽頭FIR濾波器45、2抽頭濾波器係數記憶體牝、4 抽頭濾波器係數記憶體47、6抽頭濾波器係數記憶體48、 像素選擇部49、及中間結果記憶體50。 157972.doc 201233191 框間預測部24之參照圖像讀取部41基於自圖3之動態預 測J 25供給之框間預測模式資訊中之參照索引及預測方 向’而特定記憶於圖框記憶體22之圖像中之參照圖像。參 照圖像讀取部41基於框間預測模式資訊中之區塊之尺寸與 動I向量之整數值,自圖框記憶體22讀取使用於預測圖像 之產生之參照圖像之像素(以下,稱為參照像素)而暫時保 持。 參照圖像讀取部41作為像素讀取部而發揮功能。參照圖 鲁 像讀取部41針對每個預測圖像之像素(以下,稱為預測像 素),讀取暫時保持之參照像素之中使用於該預測像素之 產生之參照像素。此時,參照圖像讀取部4丨以使用於外側 之預測像素之產生之參照像素之數少於使用於内側之預測 像素之產生之參照像素之數之方式而讀取參照像素。另, 此處,使用於預測像素之產生之參照像素之數為2、4或6 之任一者❶參照像素讀取部41將所讀取之參照像素供給至 像素調度部42。 •像素調度部42將自參照圖像讀取部4丨供給之參照像素作 為產生用像素。又’像素調度部42基於自動態預測部25供 給之動態向量之分數值,自中間結果記憶體5〇讀取對應於 產生對象之預測像素之Sub pel作為產生用像素。此時像 素調度部42以使用於外側之預測像素之產生之Sub pel之數 少於使用於内側之預測像素之產生iSub pel之數之方式而 讀取Sub pe卜另,此處,使用於預測像素之產生之Sub pel 之數為2、4或6之任一者。 157972.doc •13· 201233191 又’像素調度部42按照產生用像素之數,將該產生用像 素供給至2抽頭FIR濾波器43、4抽頭FIR濾波器44、或6抽 頭FIR濾波器45。具體而言,產生用像素之數如為2,像素 調度部42將該產生用像素供給至2抽頭FIR濾波器43 ;產生 用像素之數如為4 ’將該產生用像素供給至4抽頭FIR濾波 器44。又’產生用像素之數如為6,像素調度部42將該產 生用像素供給至6抽頭FIR濾波器45。 2抽頭FIR濾波器43作為運算部發揮功能,使用自像素調 度部42供給之2個產生用像素、與自2抽頭濾波器係數記憶 體46供給之濾波器係數而進行運算。2抽頭F][R濾波器將 其結果獲得之1個像素供給至像素選擇部49。 4抽頭FIR濾波器44作為運算部發揮功能,使用自像素調 度部42供給之4個產生用像素、與自4抽頭濾波器係數記憶 體47供給之濾波器係數而進行運算。4抽頭F][R濾波器料將 其結果獲得之1個像素供給至像素選擇部49。 6抽頭FIR濾波器45作為運算部發揮功能,使用自像素調 度部42供給之6個產生用像素、與自6抽頭濾波器係數記憶 體48供給之濾波器係數而進行運算。6抽頭F][R濾波器以將 其結果獲得之1個像素供給至像素選擇部49。 2抽頭濾波器係數記憶體46作為記憶部發揮功能,與動 態向量之分數值相關聯而記憶有2抽頭FIR濾波器43用之濾 波器係數。2抽頭濾波器係數記憶體46基於自動態預測部 25供給之動態向量之分數值,將與該分數值相關聯而記憶 之遽波器係數供給至2抽頭fir濾波器43。 I57972.doc 201233191 4抽頭濾波器係數記憶體47作為記憶部發揮功能,與動 態向量之分數值相關聯而記憶有4抽頭FIR濾波器44用之據 波器係數。4抽頭濾波器係數記憶體47基於自動態預剛部 25供給之動態向量之分數值,將與該分數值相關聯而記憶 之濾波器係數供給至4抽頭FIR濾波器44。 ό抽頭濾波器係數記憶體48作為記憶部發揮功能,與動 態向量之分數值相關聯而記憶有6抽頭FIR濾波器45用之涛 波器係數。6抽頭濾波器係數記憶體48基於自動態預測部 25供給之動態向量之分數值,將與該分數值相關聯而記億 之濾波器係數供給至6抽頭FIR濾波器45。 像素選擇部49基於自動態預測部25供給之動態向量之分 數值,將自2抽頭FIR濾波器43、自4抽頭FIR濾波器44、或 自6抽頭FIR;慮波器45供給之像素作為預測像素而輸出至圖 3之選擇部26 ’或供給至中間結果記憶體5〇。 具體而言,若動態向量之水平成分及垂直成分之至少一 方之分數值為0,像素選擇部49將自2抽頭FIR濾波器43、 自4抽頭FIR濾波器44、或自6抽頭FIR濾波器45供給之像素 作為預測像素而供給至選擇部26。另一方面,若動態向量 之水平成分及垂直成分雙方之分數值不為〇,則像素選擇 部49將自2抽頭FIR濾波器43、自4抽頭FIR濾波器44、或自 6抽頭FIR濾波器45供給之像素即Sub pei供給至中間結果記 憶體50而加以保持。其結果,在2抽頭FIR濾波器43、4抽 頭FIR據波器44、或6抽頭FIR濾波器辦,使用保持於令 間結果記憶體5G之Sub pel進行重新運算1素選擇部的將 157972.doc 201233191 其結果獲得之Sub pel作為預測像素而輸出至選擇部%。 中間結果記憶體50將自像素選擇部49供給之Sub pel加以 保持。 [參照像素之說明] 圖5係顯示框間預測之區塊之尺寸為8 χ 8像素之情形時, 於水平方向排列之水平方向之位置為1/2像素位置垂直 方向之位置為整數位置之8個預測像素各者之產生時使用 之參照像素之例之圖。 另,在圖5中,標註編號之正方形表示預測像素,未標 註編號之正方形表示參照像素。又,標註網點之正方形表 示使用於預測像素之產纟之參照像素中之框間預測之區塊 之尺寸範圍内之參照像素,標註有斜線之正方形表示超過 框間預測之區塊之尺寸範圍之範圍之參照像素。 在圖5之例中,最外側之預測像素係使用2個參照像素而 產生,較該預測像素内側1個之預測像素係使用4個參照像 素而產生,包含較該預測像素更内側之最内側之預測像素 之預測像素係使用6個參照像素而產生。 具體而言,於水平方向排列之水平方向之位置為1/2像 素位置、垂直方向之位置為整數位置之8個預測像素中最 外侧之編號1及編號8之正方形所表示之預測像素,係使用 位於該預測像素之左右各一之合計2個參照像素而產生。 即,編號8之正方形所表示之預測像素之參照圖像上之位 置,係使用於各預測像素之產生之全部參照像素之範圍 (參照區塊)中之框間預測之區塊之尺寸之範圍、與超過框 157972.doc -16 - 201233191 間預測之區塊之尺寸之範圍之範圍之交界位置。 又,較編號1之正方形所表示之預測像素内側1個之編號 2之正方形所表示之預測像素、與較編號8之正方形所表示 之預測像素内側1個之編號7之正方形所表示之預測像素, 係使用位於該預測像素之左右各2之合計4個參照像素而產 生。即,編號7之正方形所表示之預測像素係使用亦於編 號8之正方形表示之預測像素之產生時使用之標註斜線之 正方形所表示之右端之參照像素。 又,較編號2之正方形所表示之預測像素及編號7之正方 形所表示之預測像素更内側之編號3至6之正方形所表示之 預測像素,係使用位於該預測像素之左右各3之合計6個參 照像素而產生。 圖6係顯示框間預測之區塊之尺寸為8χ8像素之情形時, 使用於任意之分數位置之預測像素之產生之全部參照像素 之例之圖。 另,在圖6中,正方形係表示參照像素。又,標註最細 之網點之正方形表示使用於右側、正下方、及右下方之預 測像素之產生之參照像素之數為2個之參照像素。標註第2 細之網點之正方形表示使用於右側、正下方及右下方之 預測像素之產生之參照像素之數為4個之參照像素。標註 第3細之網點之正方形表示使用於右側、正下方、及右下 方之預測像素之產生之參照像素之數為6個之參照像素。 再者’標註有斜線之正方形表示使用於預測像素之產生之 Ρ參’’、、像素之中超過框間預測之區塊之尺寸範圍之範圍 157972.doc 201233191 之參照像素。 在圖6之例中’與圖5之情形相同,最外侧之預測像素係 使用2個參昭偾丢=+ …1豕京而產生,較該預測像素内側1個之預測像 、系使用4個參照像素而產生’包含較該預測像素更内側 之最内側之預測像素之預測像素係使用6個參照像素而產 生。 例如’在產生右下方之參照像素之右側之預測像素時, 使用以圖6中虛線包圍之於水平方向上並排之2個參照像 素°又’在產生右下方之參照像素之正下方之預測像素 時’使用以圖6中虛線包圍之於垂直方向上並排之2個參照 像素。 因此’在圖6之例中,框間預測之區塊之尺寸為8x8像素 之情形時’使用於任意之分數位置之預測像素之產生之全 部參照像素之範圍(參照區塊),係為框間預測之區塊之尺 寸即8x8像素之範圍、與該範圍之右側及正下方之H象素份 之範圍即9x9像素之範圍。藉此,參照圖像讀取部41只要 自圖框記憶體22讀取9x9像素之範圍之參照像素即可。 如以上所述’由於編碼裝置1〇使外側之預測像素之產生 時使用之參照像素之數少於内側之預測像素之產生時使用 之參照像素之數’因此,框間預測所需之參照像素之數相 較於圖2所示之先前之情形得以削減。其結果,可削減圖 框記憶體22之記憶頻帶之使用量。 圖7至圖15係分別顯示框間預測之區塊之尺寸為32x32像 素、16x32像素、32x16像素、16x16像素、8x16像素、 157972.doc • 18 - 201233191 16x8像素、4x8像素、8x4像素、及4X4像素之情形時,使 用於任意之分數位置之預測像素之產生之全部參照像素之 例之圖。 另,在圖7至圖15中,正方形表示參照像素。又,標註 網點之正方形表示使用於預測像素之產生之全部參照像素 中之框間預測之區塊之尺寸範圍内之參照像素,標註有斜 線之正方形表示超過框間預測之區塊之尺寸之範圍之範圍 之參照像素。 在圖7至圖15之例中,與圖5或圖6之情形相同,最外側 之預測像素係使用2個參照像素而產生,較該預測像素内 側1個之預測像素係使用4個參照像素而產生,包含較該預 測像素更内側之最内側之預測像素之預測像素係使用6個 參照像素而產生。 因此,如圖7所示,框間預測之區塊之尺寸為32χ32像素 之晴形,使用於任意之分數位置之預測像素之產生之全部 參S、、像素之範圍係為框間預測之區塊之尺寸即3 2 X 3 2像素 之範圍、與該範圍之右側及正下方之丨像素份之範圍之 33x33像素。 同樣的’如圖8至圖15所示,框間預測之區塊之尺寸為 16x32像素、32x16像素、16xl6像素、8χ16像素、16><8像 t ' 4x8像f ' 8x4像冑、及4x4像素之情形,使用於任意 之刀數位置之預測像素之產生之全部參照像素之範圍,係 為框間預測之區塊之尺寸範圍、與該範圍之右側及正下方 之1像素份之範圍。 157972.doc 201233191 與此相對’在框間預測時先前始終進行使用6抽頭之FIR ;慮波器之内插之情形下,使用於任意之分數位置之預測像 素之產生之全部參照像素之範圍,與圖7至圖1 5之情形相 比較大。例如’框間預測之區塊之尺寸為4x4像素時,使 用於任意之分數位置之預測像素之產生之全部參照像素之 範圍’係為框間預測之區塊之尺寸即4x4像素之範圍、與 其左側及正上方之2像素份以及右側及正下方之3像素份之 範圍之9x9像素之範圍。 [預測像素之產生方法之說明] 圖16至圖19係說明圖4之框間預測部24之預測像素之產 生方法之圖。 另,在圖16至圖19中,標註編號之正方形表示Sub pel, 未標註編说之正方形表示參照像素。又,標註網點之正方 形表示使用於預測像素之產生之參照像素中之框間預測之 區塊之尺寸範圍内之參照像素,標註有斜線之正方形表示 超過框間預測之區塊之尺寸範圍之範圍之參照像素。 在圖16至圖19之例中,框間預測之區塊之尺寸為4 x 4像 素,預測像素之水平方向及垂直方向之位置為1/2像素位 置。 在該情形下,首先,如圖16所示,產生水平方向之位置 為1/2像素位置、垂直方向之位置為整數位置之Sub pe丨之 中、最上方之編號1至4之正方形所表示之Sub pei。此時, 最外侧之Sub pel係使用2個參照像素而產生,較該Sub pel 内側1個、即最内側之Sub pel係使用4個參照像素而產生。 157972.doc -20· 201233191 具體而言’首先’參照圖像讀取部41經由像素調度部42 而將位於編號i之正方形所表示之左上之Sub pei之左右各1 之2個參照像素供給至2抽頭nR濾波器43 ^接著,2抽頭 FIR濾波器43自該2個參照像素產生標註編號丨之正方形所 表不之Sub pel,像素選擇部49將該Sub 供給至中間結果 記憶體5 0而加以記憶。 其後,參照圖像讀取部41經由像素調度部42而將位於編 號1之正方形所表示之Sub pel之右側之編號2之正方形所表 示之Sub pel之左右各2之4個參照像素供給至4抽頭FIR濾波 器料。接著,4抽頭FIR濾波器44自該4個參照像素產生編 號2之正方形所表示之Sub pei,像素選擇部49將該Sub 供給至中間結果記憶體50而加以記憶。 接著,參照圖像讀取部41經由像素調度部42而將位於編 號2之正方形所表示之Sub Pel之右側之編號3之正方形所表 示之Sub pel之左右各2之4個參照像素供給至4抽頭FIR濾波 器44。接著,4抽頭FIR濾波器44自該4個參照像素產生編 號3之正方形所表示之Sub Pe卜像素選擇部49將該Sub pel 供給至中間結果記憶體5 0而加以記憶。 ”其後,參照圖像讀取部41經由像素調度部42而將位於編 號4之正方形所表示之右上方之Sub py之左右各1之2個參 照像素供給至2抽頭FIR濾波器43。接著,2抽頭fir濾波器 43自該2個參照像素產生編號4之正方形所表示之sub 一卜 像素選擇部49將該Sub 給至中間結果記憶體5〇而加以 記憶。 157972.doc 21 201233191 藉由以上之方式而產生編號1至4之正方形右上表示之 Sub pel後’同樣的,如圖17所示,以水平方向上排列之 Sub pel單位依序產生水平方向之位置為1/2像素位置、垂 直方向之位置為整數位置之Sub pel之中、自上向下第2至 第5個之編號5至20之正方形所表示之§ub pei,而記憶於中 間結果記憶體50。 其後,如圖18所示,產生編號21至24之正方形所表示之 Sub pel作為最左側之預測像素。此時,最外側之預測像素 係使用2個Sub pel而產生,較該預測像素内側、即最内 側之預測像素係使用4個Sub pel而產生。 具體而言,首先,像素調度部42自中間結果記憶體5〇讀 取位於編號21之正方形所表示之sub pel之上下各1之編號1 及編號5之正方形所表示之2個Sub pel ’而供給至2抽頭FIR 滤波器43。接著,2抽頭FIR濾波器43自該2個Sub pei產生 標註編號21之正方形表示2Sub pei作為預測像素,像素選 擇部49將該預測像素輸出至選擇部26(圖3)。 其後’像素調度部42自中間結果記憶體5〇讀取位於編號 21之正方形所表示之Sub pei之下之編號22之正方形表示之 Sub pel之上下各2之垂直方向之位置為整數位置之編號1、 5、9、及13之正方形所表示之4個Sub pel,而供給至4抽頭 FIR濾波器44。接著,4抽頭FIR滤波器44自該4個Sub pel產 生編號22之正方形表示之Sub pel作為預測像素,像素選擇 部49將該預測像素輸出至選擇部%。 接著,像素調度部42自中間結果記憶體50讀取位於編號 I57972.doc -22- 201233191 22之正方形所表示之Sub pel之下之編號23之正方形所表示 之Sub pel之上下各2個之、垂直方向之位置為整數位置之 編號5 9、13、及17之正方形所表示之4個Sub pel ,而供 給至4抽頭Fm濾波器44。接著,4抽頭FIR濾波器44自該4 個Sub pel產生編號23之正方形所表示之sub pe丨作為預測像 素’像素選擇部49將該預測像素輸出至選擇部%。 其後’像素調度部42自中間結果記憶體50讀取位於編號 23之正方形所表示之Sub pei之下之編號以之正方形所表示 之Sub pel之上下各丨個之編號13及17之正方形所表示之2個
Subpe卜而供給至2抽頭FIR濾波器43。接著,2抽頭fir濾 波器43自該2個Sub pel產生編號24之正方形所表示之Sub pel作為預測像素,像素選擇部49將該預測像素輸出至選 擇部26 ^ 藉由以上之方式而產生編號21至24之正方形所表示之 Sub pel即最左側之預測像素後,同樣的,如圖19所示以 於垂直方向上排列之預測像素單位依序產生自左向右第2 至第4個之標註編號25至36之正方形所表示之Sub pel作為 預測像素,而輸出至選擇部26。 [編碼裝置之處理之說明] 圖20及圖21係說明由圖3之編碼裝置1〇進行之編碼處理 之流程圖。該編碼處理係例如每當對編碼裝置1〇輸入圖框 單位之圖像作為輸入信號時進行。 在圖20之步驟SU中,編瑪裝置1〇之錄轉換部u將作為 輸入信號而輸入之圖框單位之圖像進行A/D轉換,並輸出 157972.doc 23· 201233191 至畫面重排序緩衝器12加以記憶。 在步驟S12中,畫面重排序緩衝器12按照GOP構造,依 用以編碼之順序’將經記憶之顯示順序之圖框之圖像進行 重排序。畫面重排序緩衝器12將重排序後之圖框單位之圖 像供給至運算部13、框内預測部23、及動態預測部25。 另’以下之步驟S13至步驟S30之處理,係以例如巨區塊 單位進行。其中’於開頭圖框之開頭巨區塊等之I切片之 巨區塊之處理時,不進行步驟Si3至S20及S28之處理,而 將限幅圖框之圖像作為殘差資訊及經局部解碼之圖像。 在步驟S13中,框内預測部23基於自畫面重排序緩衝器 12供給之圖像、與自加法部2〇供給之參照圖像,進行成為 候補之全部框内預測模式之框内預測,而產生預測圖像。 又,框内預測部23針對成為候補之全部框内預測模式而算 出代價函數值。且,框内預測部23將代價函數值為最小之 框内預測模式決定為最佳框内預測模式。框内預測部23將 以最佳框内預測模式產生之預測圖像、及對應之代價函數 值供給至選擇部26。 在步驟S14中,動態預測部25針對自晝面重排序緩衝器 12供給之圖像,使用自圖框記憶體22供給之參照圖像,進 行成為候補之全部框間預測模式之動態預測處理,產生分 數精度之動態向量。又,動態預測部25針對成為候補之全 部框間預測模式而算出代價函數值,並將代價函數值為最 小之框間預測模式決定為最佳框間預測模式。接著,動態 預測部25將框間預測模式資訊、以及對應之動態向量及^ 157972.doc •24· 201233191 價函數值供給至框間預測部24。 在步驟S15中,框間預測部24基於自動態預測部25供給 之動態向量與框間預測模式資訊而進行框間預測處理。該 框間預測處理之細節將參照後述之圖22及圖23進行說明。 框間預測部24將框間預測處理之結果產生之預測圖像、與 自動態預測部25供給之代價函數值供給至選擇部26。 在步驟S16中’選擇部26基於自框内預測部23及框間預 測部24供給之代價函數值,而將最佳框内預測模式與最佳 框間預測模式中之代價函數值為最小者決定為最佳預測模 式。接著’選擇部26將最佳預測模式之預測圖像供給至運 算部13及加法部20。 在步驟S17中,選擇部26判定最佳預測模式是否為最佳 框間預測模式。在步驟S17判定最佳預測模式為最佳框間 預測模式之情形時’選擇部26將在最佳框間預測模式下產 生之預測圖像之選擇通知至框間預測部24。藉此,框間預 測部24將框間預測模式資訊、及對應之動態向量等輸出至 可逆編碼部16。 接著’在步驟S18中,可逆編碼部16將自框間預測部24 供給之框間預測模式資訊、及動態向量等進行可逆編碼, 並將其結果獲得之資訊作為附加於壓縮圖像之標頭資訊。 其後’處理進展至步驟S2〇。 另一方面,在步驟S17中判定最佳預測模式並非最佳框 間預測模式之情形、即最佳預測模式為最佳框内預測模式 之情形時,選擇部26將在最佳框内預測模式下產生之預測 I57972.doc -25· 201233191 圖像之選擇通知至框内預測部23。藉此,框内預測部23將 框内預測模式資訊供給至可逆編碼部丨6。 接著’在步驟S19中,可逆編碼部16將自框内預測部23 供給之框内預測模式資訊等進行可逆編碼,並將其結果獲 得之資訊作為附加於壓縮圖像之標頭資訊。其後,處理進 展至步驟S20。 在步驟S20中,運算部13從自畫面重排序緩衝器12供給 之圖像,減去自選擇部26供給之預測圖像。運算部13將相 減之結果獲得之圖像作為殘差資訊而輸出至正交轉換部 14 〇 在步驟S21中,正交轉換部14對來自運算部13之殘差資 訊進行正交轉換,並將其結果獲得之係數供給至量化部 15 〇 在步驟S22中,量化部15將自正交轉換部14供給之係數 進行量化。經量化之係數被輸入至可逆編碼部16與逆量化 部18 〇 在步驟S23中’可逆編碼部16將自量化部15供給之經量 化之係數進行可逆編碼,並將其結果獲得之資訊作為壓縮 圖像。其後’可逆編碼部16將步驟S18或S19之處理中產生 之標頭資訊附加於壓縮圖像,而產生圖像麼縮資訊。 在圖21之步驟S24中,可逆編碼部16將圖像壓縮資訊供 給至儲存緩衝器1 7,而加以儲存。 在步驟S25中,儲存緩衝器17將所储存之圖像壓縮資訊 輸出至例如後段之未圖示之記錄裝置或傳送路徑等。 157972.d〇c -26 - 201233191 在步驟S26中,逆量化部18將自量化部15供給之經量化 之係數進行逆量化後。 在步驟S27中,逆正交轉換部19將自逆量化部18供給之 係數進行逆正交轉換,並將其結果獲得之殘差資訊供給至 力〇法部2 0 〇 在步驟S28中,加法部2〇將自逆正交轉換部19供給之殘 差資訊、與自選擇部26供給之預測圖像相加,而獲得經局 部解碼之圖像。加法部20將獲得之圖像供給至解塊濾波器 • 21 ’且作為參照圓彳象而供給至框内預測部。 在步驟S29中,解塊濾波器21將自加法部2〇供給之經局 部解碼之圖像進行過濾,藉此除去區塊失真。 在步驟S30中,解塊濾波器21將過濾後之圖像供給至圖 框s己憶體22而加以儲存。儲存於圖框記憶體22之圖像作為 參照圖像而被輸出至框間預測部24及動態預測部25。此 後,處理結束。 圖22及圖23係說明圖20之步驟S15之框間預測處理之第j • 例之細節之流程圖。 在圖22之步驟S50中,框間預測部24之參照圖像讀取部 41(圖4),基於自圖3之動態預測部乃供給之框間預測模式 資訊中之預測方向與參照索引,而特定記憶於圖框記憶體 22之圖像中之參照圖像。 在步驟S51中,參照圖像讀取部41基於框間預測模式資 訊中之框間預測之區塊之尺寸,而決定預測圖像之尺寸。 在步驟S52中,參照圖像讀取部4丨基於框間預測模式資 157972.doc -27- 201233191 訊中之動態向量之整數值及預測圖像之尺寸,自圖柩記憶 體22讀取使用於該預測圖像之產生之參照像素並暫時保 持。 在步驟S53中’參照圖像讀取部41將構成預測圖像之預 測像素之中尚未在步驟S53之處理中決定為產生對象之預 測像素之預測像素決定為產生對象之預測像素。 在步驟S54中,參照圖像讀取部41基於產生對象之預測 像素之預測圖像上之位置,而決定對應於該預測像素之參 照圖像上之水平方向或垂直方向之位置為整數位置之像素春 (以下,稱為預測對應像素)之產生時使用之參照像素之數 為2、4或6。 另,若產生對象之預測像素之參照圖像上之水平方向及 垂直方向之至少一方之位置為整數位置,則預測對應像素 為預測像素。另一方面,若產生對象之預測像素之參照圖 像上之水平方向及垂直方向雙方之位置為分數位置,則預 測對應像素為使用於預測像素之產生之、與預測像素之水 平方向之位置相同且垂直方向之位置為整數位置之尚未產 · 生之像素》另,若有複數個預測對應像素之情形時,步驟 S54至S65之處理係針對各預測對應像素進行。 在步驟S55中,參照圖像讀取部41基於在步驟S54決定之 參照像素之數、與產生對象之預測像素之參照圖像上之位 置’讀取在步驟S52保持之參照像素中之使用於預測對應 像素之產生之參照像素。參照圖像讀取部41將所讀取之參 照像素供給至像素調度部42。
I57972.doc •28· S 201233191 在步驟S56中,2抽頭濾波器係數記憶體46基於對應於自 動態預測部25供給之動態向量之預測對應像素之成分之分 數值,讀取與該分數值相關聯而記憶之濾波器係數(外側 係數),並供給至2抽頭FIR濾波器43。同樣的,4抽頭濾波 器係數記憶體47及6抽頭濾波器係數記憶體48分別基於對 應於動態向量之預測對應像素之成分之分數值,讀取與該 分數值相關聯而記憶之濾波器係數(内側係數),並供給至4 抽頭FIR濾波器44、6抽頭FIR濾波器45。 • 另’若產生對象之預測像素之參照圖像上之水平方向及 垂直方向之僅一方之位置為分數位置之情形時,對應於預 測對應像素之成分為該一方之方向之成分。另一方面,若 產生對象之預測像素之參照圖像上之水平方向及垂直方向 雙方之位置為整數位置或分數位置之情形時,對應於預測 對應像素之成分為水平方向之成分。 在步驟S57中’像素調度部42判定自參照圖像讀取部41 供給之參照像素之數是否為2。若在步驟S57判定參照像素 籲 之數為2,則像素調度部42將2個參照像素作為產生用像素 而供給至2抽頭FIR據波器43。 接著’在步驟S58中’ 2抽頭FIR濾波器43使用自像素調 度部42供給之2個作為產生用像素之參照像素、與自2抽頭 滤波器係數記憶體46供給之濾波器係數而進行運算。2柚 頭FIR滤波器43將其結果獲得之丨個預測對應像素供給至像 素選擇部49,使處理進展至步驟S62。 另一方面’若在步驟S57判定參照像素之數並非為2,則 157972.doc -29- 201233191 在步驟S59中,像素調度部42判定自參照圖像讀取部μ供 給之參照像素之數是否為4 ^若在步驟S59判定參照像素之 數為4,則像素調度部42將4個參照像素作為產生用像素而 供給至4抽頭FIR濾波器44。 接著’在步驟S60中,4抽頭FIR濾波器44使用自像素調 度部42供給之4個作為產生用像素之參照像素、與自4抽頭 濾波器係數記憶體47供給之濾波器係數而進行運算。4抽 頭FIR濾波器44將其結果獲得之1個預測對應像素供給至像 素選擇部49 ’使處理進展至步驟S62。 另一方面,若在步驟S59判定參照像素之數並非為4、即 參照像素之數為6之情形時,像素調度部42將6個參照像素 作為產生用像素而供給至6抽頭FIR濾波器45。 接著,在步驟S61中,6抽頭FIR濾波器45使用自像素調 度部42供給之6個作為產生用像素之參照像素、與自6抽頭 滤波器係、數記憶體48供給之纽㈣數而進行運算“抽 頭FIR;慮波器45將其結果獲得之i個預測對應像素供給至 素選擇部49,使處理進展至步驟S62。 在步驟S62中,像素選擇部49判定自動態預測㈣供結 之動態向量之水平成分與垂直成分雙方之分數值是否為( =外、即,測像素之參照圖像上之水平成分與垂直成分雙 之位置是否為分數位置。在步驟S62判定動態向量之水 平成分與垂直成分 刀數值為〇、即預測像素 ==之水平成分與垂直成分之至少-方之位置為 整數位置之情形時,處理進展至步驟S63。 157972.doc 201233191 在步驟S63中,像素選擇部49將自2抽頭FIR濾波器朽、* 抽頭FIR據波器44、或6抽頭FIR據波器45供給之預測對應 像素作為預測像素而輸出至圖3之選擇部26。 在步驟S64中,參照圖像讀取部41判定是否產生全部預 測像素、即是否在步驟S53將構成預測圖像之全部預測像 素決定為產生對象之預測像素。在步驟S64判定尚未產生 全部預測像素之情形時,處理返回至步驟S53,重複步驟 S53至S64之處理,直到產生全部預測像素為止。 另一方面,在步驟S64判定已產生全部預測像素之情形 時,處理返回至圖20之步驟S15,且進展至步驟Sl6。 又,若在步驟S62判定動態向量之水平成分與垂直成分 雙方之分數值為0以外、即預測像素之參照圖像上之水平 成分與垂直成分雙方之位置為分數位置之情形時,處理進 展至步驟S65。 在步驟S65中,像素選擇部49將自2抽頭FIR濾波器43、4 抽頭FIR濾波器44、或6抽頭FIR濾波器45供給之作為預測 對應像素之Sub pel供給至中間結果記憶體5〇而加以保持。 在步驟S66中,參照圖像讀取部41判定是否產生全部預 測對應像素、即是否在步驟S53將構成預測圖像之全部預 測像素.決定為產生對象之預測像素。若在步驟S66判定尚 未產生全部預測對應像素之情形時,處理返回至步驟 S53,重複步驟S53至S62、步驟S65、及步驟S66之處理, 直到產生全部預測對應像素為止。 另一方面,在步驟S66判定已產生全部預測對應像素之 157972.doc 31 201233191 情形時’處理進展至圖23之步驟S67。 在步驟S67中’參照圖像讀取部41將構成預測圖像之預 測像素之中尚未在步驟S67之處理中決定為產生對象之預 測像素之預測像素決定為產生對象之預測像素。 在步驟S68中,像素調度部42基於產生對象之預測像素 之預測圖像上之垂直方向之位置,決定自中間結果記憶體 50讀取之Sub pel之數為2、4或6。 在步驟S69中’像素調度部42基於在步驟S68決定之Sub Pel之數、及產生對象之預測像素之參照圖像上之位置, 自中間結果記憶體50讀取Sub pel作為產生用像素》 在步驟S70中’ 2抽頭濾波器係數記憶體46基於自動態預 測部2 5供給之動態向量之垂直成分之分數值,將與該分數 值相關聯而記憶之濾波器係數供給至2抽頭fir濾波器43。 同樣的’ 4抽頭濾波器係數記憶體47及6抽頭濾波器係數記 憶體48分別基於動態向量之垂直成分之分數值,將與該分 數值相關聯而記憶之濾波器係數供給至4抽頭FIR滤波器 44、6抽頭FIR濾波器45。 步驟S71至步驟S75之處理除了取代參照像素而對Sub pel 進行之點以外’其餘皆與圖22之步驟S57至S61之處理相 同,故省略說明。 在步驟S76中’像素選擇部49將自2抽頭FIR濾波器43、 自4抽頭FIR濾波器44、或自6抽頭FIR濾波器45供給之像素 即Sub pel作為預測像素而輸出至選擇部26。 在步驟S77中’參照圖像讀取部41判定是否已產生全部 157972.doc •32· 201233191 預測像素、即是否已在步驟S67將構成預測圖像之全部預 測像素決疋為產生對象之預測像素。在步驟判定尚未 產生全部預測像素之情形時,處理返回至步驟S67,重複 S67至S77之處理’哀到產生全部預測像素為止。 另方面’在步驟S77判定已產生全部預測像素之情形 時,處理返回至圖2〇之步驟si5,進展至步驟S16。 如以上所述,由於編碼裝置1 〇於框間預測時將使用於外 側之預測像素之產生之參照像素之數少於使用於内側之預 測像素之產生之參照像素之數,因此可削減使用於預測圖 像全體之產生之參照像素之數。又,由於使用於外側之預 測像素之產生之參照像素較少,因此可削減運算量。 再者,在FIR濾波器中,由於抽頭長度較長者可具有理 想之特性,故FIR濾波器之性能與記憶頻帶之使用量存在 取捨之關係。因此,若為削減記憶頻帶之使用量而削減使 用於全部預測像素之產生之參照像素之數,則框間預測之 精度會惡化。與此相對’由於編碼裝置1〇將外側之預測像 素之產生時使用之參照像素之數減少,因此可抑制框間預 測之精度之惡化。 又,可認為,進行框間預測之情形中,相較於框間預測 之區塊之中心附近之預測精度’外周附近之預測精度較 低。具體而言,例如,以框間預測予以動態補償之動態為 完全平行移動之情形時,區塊内之預測精度之差不大;但 如為隨著輕微之旋轉或變形之移動之情形時,相較於區塊 之中心附近’在外周附近預測偏差増大。因此,由減少使 157972.doc -33- 201233191 用於外側之預測像素之產生之參照像素之數對於框間預測 之精度之影響較少。 另’可預先於2抽頭濾波器係數記憶體46、4抽頭濾波器 係數記憶體47、及6抽頭濾波器係數記憶體48中分別記憶 特性不同之濾波器係數。 例如’框間預測之區塊之外周附近之預測精度較差之情 形下’基於FIR濾波器之特性,以不内插外周附近之高頻 成分之方式’即使用使高頻成分減少之濾波器係數之方 法’可縮小預測誤差。因此,編碼裝置1〇預先於例如2抽 頭遽波器係數記憶體46中記憶使高頻成分減少之濾波器係 數°藉此,可使框間預測之預測精度提高。 [解碼裝置之構成例] 圖24係顯示將自圖3之編碼裝置1〇輸出之圖像壓縮資訊 進行解碼之作為應用本技術之圖像處理裝置之解碼裝置之 構成例之方塊圖。 圖24之解碼裝置1〇〇係由以下構成:儲存緩衝器1(H、可 逆解碼部102、逆量化部103、逆正交轉換部104、加法部 105、解塊濾波器1〇6、畫面重排序緩衝器107、D/A轉換部 108、圖框記憶體1 〇9、框内預測部110、框間預測部丨丨j、 及切換器112而構成。 解碼裝置100之儲存緩衝器101自圖3之編碼裝置1〇獲取 圖像壓縮資訊而儲存。儲存緩衝器101將所儲存之圖像壓 縮資訊供給至可逆解碼部102。 可逆解碼部102對來自儲存緩衝器101之圖像壓縮資訊實 157972.doc .34· 201233191 施可變長度解碼、或算術解碼等之可逆解碼,藉此獲得經 量化之係數與標頭。可逆解碼部102將經量化之係數供給 至逆量化部103。又,可逆解碼部1〇2將標頭中所含之框内 預測模式資訊等供給至框内預測部丨丨〇,將動態向量與框 間預測模式資訊等供給至框間預測部^。再者,可逆解 碼部102將標頭中所含之框内預測模式資訊或框内預測模 式資訊供給至切換器112。 逆量化部1 03、逆正交轉換部104、加法部1〇5、解塊濾 波器106、圖框記憶體109、框内預測部11〇、及框間預測 部111 ’分別與圖3之逆量化部18、逆正交轉換部〗9、加法 4 20、解塊遽波器21、圖框記憶體22、框内預測部23、及 框間預測部24進行相同之處理,藉此使圖像解碼。 具體而言’逆量化部1 〇3將來自可逆解碼部1 〇2之經量化 之係數進行逆量化,並將其結果獲得之係數供給至逆正交 轉換部104。 逆正交轉換部1 〇4對來自逆量化部1 〇3之係數實施逆離散 餘弦轉換、及逆卡忽南-拉維轉換等之逆正交轉換,並將 其結果獲得之殘差資訊供給至加法部丨〇5。 加法部105作為加法運算部發揮功能,將自逆正交轉換 部104供給之作為解碼對象之圖像之殘差資訊、與自切換 器112供給之預測圖像相加,並將其結果獲得之圖像供給 至解塊濾波器106,且作為參照圖像而供給至框内預測部 110。另,未由切換器112供給預測圖像之情形時,加法部 105將自逆正交轉換部丨04供給之作為殘差資訊之圖像供給 157972.doc -35- 201233191 且作為參照圖像 至解塊渡波器10 6, 110。 而供給至框内預測部 解塊滤波器两自加法部105供給之圖像進 此除去區塊失真。解塊據波㈣6將其結果獲得之圖像= 給至圖框記憶體109而加以儲存,且供給至晝面重排序緩 衝器1〇7。儲存於圖框記憶㈣9之圖像,作為參照圖像而 供給至框間預測部111。 晝面重排序緩衝numx圖框單位而記憶自解塊滤波器 106供給之时。畫面重排序緩衝器⑽依原本之顯示順 序,將經記憶之歸編碼之順序之㈣單位之圖像進行重 排序,而供給至D/A轉換部1〇8。 D/A轉換部1G8將自畫面重排序緩衝器m供給之圖框單 位之圖像進行D/A轉換,並作為輸出信號而輸出。 框内預測部110使用自加法部1〇5供給之參照圖像,進行 自可逆解碼部102供給之框内預測模式資訊所表示之框内 預測模式之框内預測,而產生預測圖像。然後,框内預測 部110將預測圖像供給至切換器i 12。 框間預測部1 Π與圖4所示之框間預測部2 4同樣地構成。 框間預測部111基於自可逆解碼部102供給之框間預測模式 資訊與動態向量’自圖框記憶體109讀取參照圖像。框間 預測部111基於動態向量與自圖框記憶體109讀取之參照圖 像,進行框間預測處理。框間預測部U 1將其結果產生之 預測圖像供給至切換器112。 切換器112自可逆解碼部102被供給框内預測模式資^之 157972.doc •36· 201233191 情形時,將自框内預測部110供給之預測圖像供給至加法 •部105。另一方面’自可逆解碼部102被供給框間預測模式 資訊之情形時,將自框間預測部111供給之預測圖像供給 至加法部105。 [解碼裝置之處理之說明] 圖25係說明由圖24之解碼裝置1〇〇進行之解碼處理之流 程圖。該解碼處理係例如每當對解碼裝置1〇〇輸入圖桓單 位之圖像壓縮資訊時而進行。 # 在圖25之步驟sioi中,解碼裝置1〇〇之儲存緩衝器1〇1自 圖3之編碼裝置1〇接受圖框單位之圖像壓縮資訊而儲存。 儲存緩衝器101將所儲存之圖像壓縮資訊供給至可逆解碼 部102。另’以下之步驟8102至S110之處理係以例如巨區 塊单位而進行。 在步驟S102中,可逆解碼部102將來自儲存緩衝器1〇1之 圖像壓縮資訊進行可逆解碼,而獲得經量化之係數與標 頭。可逆解碼部102將經量化之係數供給至逆量化部丨〇3。 _ 又,可逆解碼部102將標頭中所含之框内預測模式資訊等 供給至框内預測部11〇,將動態向量與框間預測模式資訊 等供給至框間預測部U1。再者,可逆解碼部1〇2將標頭中 所含之框内預測模式資訊或框内預測模式資訊供給至切換 器 112。 在步驟S103中,逆量化部103將來自可逆解碼部1〇2之經 量化之係數進行逆量化,並將其結果獲得之係數供給至逆 正交轉換部104。 157972.doc -37· 201233191 在步驟S104中,逆正交轉換部1〇4對來自逆量化部1〇3之 係數實施逆正交轉換,並將其結果獲得之殘差資訊供給至 加法部105。^ 在步驟S105中,框間預測部U1判定是否自可逆解碼部 102供給框間預測模式資訊。在步驟81〇5判定已供給框間 預測模式資訊之情形時,處理進展至步驟Si 〇6。 在步驟S106中,框間預測部U1基於自可逆解碼部1〇2供 給之動態向量與框間預測模式資訊,進行圖22及圖23中說 明之框間預測處理。框間預測部lu經由轉換部112將其結 果產生之預測圖像供給至加法部1〇5,使處理進展至 S108。 另一方面,若在步驟Sl〇5判定未供給框間預測模式資 訊、即框内預測模式資訊被供給至框内預測部11〇之情形 時,處理進展至步驟S1 〇7。 在步驟S107中,框内預測部11〇使用自加法部1〇5供給之 參照圖像,進行自可逆解碼部1〇2供給之框内預測模式資 訊所表示之框内預測模式之框内預測。然後,框内預測部 11 〇經由切換器112而將其結果產生之預測圖像供給至加法 部’使處理進展至步驟sl〇8。 在步驟S108中,加法部1〇5將自逆正交轉換部1〇4供給之 殘差資訊、與自切換器112供給之預測圖像相加。加法部 1〇5將其結果獲得之圖像供給至解塊濾波器1〇6,且作為參 照圖像而供給至框内預測部11〇。另,於開頭圖框之開碩 巨區塊之處理時,由於參照圖像不存在,因此不進行步= 157972.doc •38· 201233191 S105至S1G8之處理,而將料殘差f訊之圖像供給至解塊 遽波器106,且作為參照圖像而供給至框内預測部㈣。 在步驟S1 09中解塊澹波器i〇6對自加法部⑽供給之圖 像進行過遽,而除去區塊失真。 在步驟S110中,解塊濾波器丨〇6將過濾後之圖像供給至 圖框記憶體1G9而加以儲存,且供給至晝面重排序緩衝器 1 〇 7。儲存於圖框記憶體! 〇 9之圖像作為參照圖像而被供給 至框間預測部111。 在步驟S111中,晝面重排序緩衝器1〇7以圖框單位而記 憶自解塊濾波器106供給之圖像,並依原本之顯示順序, 將經記憶之用於編碼之順序之圖框單位之圖像進行重排 序’而供給至D/A轉換部108。 在步驟SU2中,D/A轉換部1〇8將自畫面重排序緩衝器 107供給之圖框單位之圖像進行D/A轉換,並作為輸出信號 而輸出》 如以上所述,由於解碼裝置100於框間預測時將使用於 外側之預測像素之產生之參照像素之數少於使用於内側之 預測像素之產生之參照像素之數,因此可削減使用於預測 圖像全體之產生之參照像素之數。其結果,可削減圖框記 憶體109之記憶頻帶之使用量。又,由於使用於外側之預 測像素之產生之參照像素較少,因此可削減運算量。 再者’由於解碼裝置1 00減少外側之預測像素之產生時 使用之參照像素之數’因此與編碼裝置i 0同樣地可抑制框 間預測之精度之惡化。 157972.doc -39· 201233191 [框間預測部之第2構成例] 圖26係顯示圖3之框間預測部24之第2構成例之方塊圖。 圖26所示之構成之中,對於與圖4之構成相同之構成標 註相同之符號,適當省略重複之說明。 圖26之框間預測部24之構成與圖4之構成不同之點主要 在於,取代參照圖像讀取部41、像素調度部42、及像素選 擇部49而設置有參照圖像讀取部16〇、像素產生部16ι、及 像素選擇部162,及削除2抽頭FIR濾波器43、4抽頭FIR濾 波器44、2抽頭濾波器係數記憶體46、及4抽頭濾波器係數 記憶體47。圖26之框間預測部24與圖4之框間預測部以之 情形同樣複製並使用自圖框記憶體22(圖3)讀取之參照像 素,藉此將全部Sub pel之產生時使用之像素之數設為6 個。 具體而言,圖26之框間預測部24之參照圖像讀取部 160,與圖4之參照圖像讀取部41同樣基於自圖3之動態預 測部25供給之框間預測模式資訊中之參照索引及預測方 向,而特定記憶於圖框記憶體22之圖像中之參照圖像。參 照圖像讀取部160與參照圖像讀取部41同樣基於框間預測 模式資訊中之區塊之尺寸與動態向量,自圖框記憶體_ 取使用於預測圖像之產生之參照像素而暫時保持。 參照圖像讀取部⑽與參照圖像讀取部41同樣地針對各 預測像素,讀取暫時保持之參照像素之中使用於該預測像 f之產生之參照像素。另’此處,使用於預測像素之產生 之參照像素之數為4至6之任一者。參照圖像讀取部⑽與 157972.doc •40· 201233191 參照圖像讀取部41同樣地將所讀取之參照像素供給至像素 產生部161。 像素產生部161與圖4之像素調度部42同樣地,將自參照 圖像讀取部41供給之參照像素設為產生用像素。又,像素 產生部161與像素調度部42同樣基於自動態預測部25供給 之動態向量之分數值,自中間結果記憶體5〇將對應於產生 對象之預測像素之Sub pel作為產生用像素而讀取。另,此 處,使用於預測像素之產生之Sub pei之數為4至6之任一 者。 又’像素產生部161當產生用像素之數小於6個之情形 時,將該產生用像素中之外側之像素複製與產生用像素之 數為6個之差分,而產生包含經複製之像素與產生用像素 之6個像素作為新的產生用像素。 具體而言,像素產生部161當產生用像素之數為4之情形 時,複製該產生用像素中之外側之產生用像素作為該產生 用像素之外側之2個像素,而將包含該2個像素與4個產生 用像素之6個像素作為6個產生用像素。又,像素產生部 161當產生用像素之數為5之情形時,複製該產生用像素中 之外側之產生用像素作為該產生用像素之外側之丨個像 素,而將包含該1個像素與5個產生用像素之6個像素作為6 個產生用像素。另一方面,像素產生部161當產生用像素 之數為6之情形時,將該產生用像素直接作為6個產生用像 素。像素產生部161將所產生之6個產生用像素供給至6抽 頭FIR濾波器45。 157972.doc 201233191 像素選擇部162與圖4之像素選擇部49同樣基於自動態預 測部25供給之動態向量之分數值,將自6抽頭fir濾波器 供給之像素作為預測像素而輸出至圖3之選擇部26,或供 給至中間結果記憶體50。 [複製後之產生用像素之說明] 圖27係顯示框間預測之區塊之尺寸為8χ8像素之情形 時,於水平方向排列之水平方向之位置為1/2像素位置、 垂直方向之位置為整數位置之8個預測像素各自之產生時 使用之複製後之產生用像素之例之圖。 另在圖27中,標註編號之正方形表示預測像素,未標 編號及英文字母之正方形表示參照像素。又標註網點 之正方形表示使用於預測像素之產生之參照I素中之框間 預測之區塊之尺寸範圍内之參照像素,標註有斜線之正方 形表不超過框間預測之區塊之尺寸範圍之範圍之參照像 素。再者,標註英文字母之正方形表示參照像素經複製之 像素》 在圖27之例中,最外側之預測像素係使用包含4個參照 像素之6個產生用像素而產生,較該預測像素内側1個之預 測像素係使用包含5個參照像素之6個產生用像素而產生。 又,包含較該預測像素更内側之最内側之預測像素之預測 像素係使用6個參照像素作為產生用像素而產生。 具體而言,當產生對象為於水平方向排列之水平方向之 位置為1/2像素位置、垂直方向之位置為整數位置之8個預 測像素中之最外側之標註編號!之正方形所表示之預測像 157972.doc .42· 201233191 素之隋t時’參照圖像讀取部16 0將位於該預測像素之左 邊1個、及位於右邊3個之合計4個參照像素供給至像素產 生部161。像素產生部161複製該4個參照像素中之左端之 參照像素作為該參照像素之左側之2個整數位置之像素, 而產生包含該2個像素、與自像素產生部161供給之4個參 照像素之6個產生用像素。 又,若產生對象為較標註編號丨之正方形所表示之預測
像素内側1個之標註編號2之正方形所表示之預測像素,則 參照圖像讀取部160將位於該預測像素之左邊2個及位於 右邊3個之合計5個參照像素供給至像素產生部ΐ6ι ◊像素 產生部161複製該5個參照像素中之左端之參照像素作為該 參照像素之左側之1個整數位置之像素,而產生包含該1個 像素、與自像素產生部161供給之5個參照像素之6個產生 用像素。 再者,若產生對象為較標註編號2之正方形所表示之預 測像素更内側之標註編號3至6之正方形所表示之預測像 素,則參照圖像讀取部16〇將位於該預測像素之左右各3之 合計6個參照像素供給至像素產生部161。像素產生部 將該6個參照像素直接作為6個產生用像素。 又,若產生對象為較最外側之標註編號8之正方形所表 不之預測像素内側1個之標註編號7之正 像素,則參照圖像讀取部160將位於該預測像素之右邊2 個、及位於左邊3個之合計5個參照像素供給至像素產生部 ⑹。像素產生部161複製該5個參照像素中右端之參照像 157972.doc 43- 201233191 素作為該參照像素之右側之1個整數位置之像素,而產生 包含該1個像素、與自像素產生部16i供給之5個參照像素 之6個產生用像素。 再者’若產生對象為最外側之標註編號8之正方形所表 示之預測像素’參照圖像讀取部16〇將位於該預測像素之 右邊1個、及位於左邊3個之合計4個參照像素供給至像素 產生部161。像素產生部161複製該4個參照像素中之右端 之參照像素作為該參照像素之右侧之2個整數位置之像 素,而產生包含該2個像素、與自像素產生部161供給之4 個參照像素之6個產生用像素。 另,雖省略說明,但當水平方向之位置為整數位置、垂 直方向之位置為分數位置之預測像素之產生時,藉由複製 最外側、即上下端之參照像素’而產生6個產生用像素。 又,當水平方向及垂直方向之位置為分數位置之預測像素 之產生時,首先,與圖27之情形同樣使用參照像素而產生 6個產生用像素,使用該產生用像素產生預測對應像素而 記憶於中間結果記憶體50。接著,複製位於自中間結果記 憶體50讀取之預測對應像素中之上下端之參照像素,藉此 產生6個產生用像素。 [框間預測處理之第2例之說明] 圖28及圓29係說明藉由圖26之框間預測部24進行之圖20 之步驟S15之框間預測處理之細節之流程圖。 圖28之步驟S150至S153之處理,由於與圖22之步驟S50 至S53之處理相同,因此省略說明。另,有複數個預測對 157972.doc 201233191 應像素之情形中,以下之步驟8154至8165之處理係針對各 預測對應像素進行。 步驟S153之處理後,在步驟5154中,參照圖像讀取部 1 60基於產生對象之預測像素之預測圖像上之位置,將預 測對應像素之產生時使用之參照像素之數決定為4至6之任 一者。 在步驟S155中,參照圖像讀取部16〇基於在步驟8154決 定之參照像素之數、及產生對象之預測像素之參照圖像上 之位置,讀取在步驟S152保持之參照像素中之使用於預測 對應像素之產生之參照像素。參照圖像讀取部16〇將讀取 之參照像素供給至像素產生部161。 在步驟S156中,6抽頭濾波器係數記憶體48基於對應於 自動態預測部25供給之動態向量之預測對應像素之成分之 刀數值,將與該分數值相關聯而記憶之濾波器係數供給至 6抽頭FIR濾波器45 » 在步驟S157中,像素產生部161判定自參照圖像讀取部 160供給之參照像素之數是否為4 ^在步驟s 1 η判定參照像 素之數為4之情形時,處理進展至步驟S158。 在步驟S158中,像素產生部161複製自參照圖像讀取部 160供、”σ之4個參照像素巾之外側之參照像素作為該參照像 素之外側之2個像素,而產生包含該2個像素、與4個參照 像素之6個產生用像素。然後,像素產生部161將產生之6 個產生用像素供給至6抽頭FIR遽波器45,使處理進展至步 驟S16卜 157972.doc -45- 201233191 另一方面,在步驟S157判定參照像素之數非為4之忾 時’在步驟隨中’像素產生部161判定自參照圖^取 部160供給之參照像素之數是否為$。 在步驟S159判定參照像素之數為5之情形時,處理進展 至步驟Sl6(^在步驟S160中,像素產生部161複製自參照 圖像讀取部160供給之5個參照像素中之外側之參照像素= 為該參照像素之外側之1個像素,而產生包含該丨個像素、 與5個參照像素之6個產生用像素。然後,像素產生部ΐ6ι 將產生之6個產生用像素供給至6抽頭FIR濾波器45,使處籲 理進展至步驟S161。 另一方面,在步驟S159判定參照像素之數非為5之情形 時即參照像素之數為6之情形’像素產生部161將該6個 參照像素作為產生用像素而供給至6抽頭FIR濾波器45,使 處理進展至步驟S161。 在步驟S161中,6抽頭FIR濾波器45使用自像素產生部 161供給之6個產生用像素、與自6抽頭滤波器係數記憶體 48供給之濾波器係數而進行運算❶6抽頭FIR濾波器45將其 鲁 結果獲得之1個預測對應像素供給至像素選擇部1 62 ^然 後,處理進展至步驟S162。 圖28之步驟S162至S166之處理及圖29之步驟S167之處 理’由於與圖22之步驟S62至S66之處理及圖23之步驟S67 之處理相同,因此省略說明。 在步驟S168中,像素產生部161基於產生對象之預測像 素之預測圖像上之垂直方向之位置,將自中間結果記憶體
157972.doc -46- S 201233191 50而讀取之Sub pel之數決定為4至6中之任一者β 在步驟S1 69中’像素產生部161基於在步驟S168決定之 Sub pel之數、及產生對象之預測像素之參照圖像上之位 置,自中間結果記憶體50讀取Sub pel作為產生用像素。 在步驟S170中’ 6抽頭濾波器係數記憶體48基於自動態 預測部25供給之動態向量之垂直成分之分數值,將與該分 數值相關聯而記憶之據波器係數供給至6抽頭fir演波器 45。然後,處理進展至步驟S171。 步驟S171至步驟S175之處理除了取代參照像素而對Sub pel進行之點以外,其餘皆與圖28之步驟3157至8161之處 理相同,故省略說明。 步驟S175之處理後,在步驟3176中,像素選擇部162將 自6抽頭FIR濾波器45供給之像素即Sub pei作為預測像素而 輸出至選擇部26。 在步驟S1 77中,參照圖像讀取部16〇判定是否已產生全 部預測像素、即是否已在步驟S167將構成預測圓像之全部 預測像素決定為產生對象之預測像素。在步驟s丨77判定尚 未產生全部預測像素之情形時,處理返回至步驟si67,重 複步驟S167至S177之處理,直到產生全部預測像素為止。 另一方面,在步驟S177判定已產生全部預測像素之情形 時,處理返回至圖20之步驟S15,進展至步驟S16。 如以上所述,由於圖26之框間預測部24與圖4之框間預 測部24同樣在框間預測時,將外側之預測像素之產生時使 用之參照像素之數少於内側之預測像素之產生時使用之參 157972.doc •47- 201233191 照像素之數’因此可削減使用於預測圖像全體之產生之參 照像素之數。其結果’可削減圖框記憶體22之記憶頻帶之 使用量。又,由於使用於外側之預測像素之產生之參照像 素較少,因此可削減運算量。 再者,圖26之框間預測部24使用外側之產生用像素複製 像素,且使用包含複製之像素與產生用像素之6個像素作 為新的產生用像素而產生預測像素。因此,產生預測像素 之FIR濾波器之抽頭數僅為6個’相較於按照預測像素之位 置而變更FIR濾波器之抽頭.數之圖4之框間預測部24,處理 較為簡單。 另’雖圖示省略’但在編碼裝置1〇具備圖26之框間預測 部24之情形中,解碼裝置1〇〇之框間預測部m亦與圖%之 框間預測部24同樣構成。 又,在上述之說明中’雖設為藉由内插而產生1/2像素 位置之Sub pel,但亦可為產生1/4像素位置或1/8像素位置 之Sub pel。該情形除了濾波器係數不同以外,進行與i/2 像素位置之Sub pel之產生時相同之處理。 [框間預測部之第3構成例] 圖30係顯示圖3之框間預測部24之第3構成例之方塊圖。 圖30所示之構成之中,於與圖26之構成相同之構成上標 註相同之符號,適當省略重複之說明。 圖3 0之框間預測部24之構成與圖26之構成不同之點主要 在於’取代參照圖像讀取部丨60而設置有參照圖像讀取部 1 80。圖30之框間預測部24根據動態向量而變更使用於外 157972.doc • 48· 201233191 側之預測像素之產生之參照像素之數β 具體而言’圖30之框間預測部24之參照圖像讀取部 1 8〇,與圖4之參照圖像讀取部4 1同樣基於自圖3之動態預 測部25供給之框間預測模式資訊中之參照索引及預測方 白而特疋5己憶於作為DPB(Decodeci Picture Buffer :解碼 圖像緩衝器)之圖框記憶體22之圖像中之參照圖像。參照 圖像讀取部1 80基於框間預測模式資訊中之區塊之尺寸與 動態向量’決定使用於預測圖像之產生之參照像素之範 圍。參照圖像讀取部180基於動態向量,自圖框記憶體22 讀取經決定之範圍之參照像素而暫時保持。 參照圖像讀取部180與參照圖像讀取部41同樣地針對各 預測像素,讀取暫時保持之參照像素之中使用於該預測像 素之產生之參照像素。另,此處,使用於預測像素之產生 之參照像素之數為4至6之任一者。參照圖像讀取部1 8〇與 參照圖像讀取部4 1同樣將所讀取之參照像素供給至像素產 生部161。 [基於動態向量與區塊之尺寸之參照像素之範圍之說明] 圖31至圖33係顯示圖26之框間預測部24分別產生Sub pel a至〇作為預測像素時使用之複製後之產生用像素之範圍之 圖。 另’在圖31至圖33中’記述有英文字母之正方形表示該 英文字母之Sub pel ’標註斜線之正方形表示使用於8111) pel 之產生之產生用像素。又’不標註斜線、且未記述有英文 字母之正方形表示不使用於Sub pel之產生之參照像素。 157972.doc -49- 201233191 如圖3 1所示’預測像素為參照圖像上之垂直方向之位置 為整數位置、水平方向之位置為分數位置之Sub pel a至c 之情形中,於預測像素之產生時,使用分別鄰接於Sub pel a至c之左右各3之複製後之產生用像素。又,如圖32所 示,預測像素為參照圖像上之水平方向之位置為整數位 置垂直方向之位置為分數位置之Sub pel d、h、1之情形 中’於預測像素之產生時’使用分別鄰接於Sub pel d、 h、1之上下各3個之複製後之產生用像素。 另一方面,如圖33所示,預測像素為參照圖像上之水平 方向及垂直方向之位置為分數位置之Sub pel e' f、呂、卜 j、k、m、n ' 0之情形中,於預測像素之產生時使用以
Sub Pel e、f ' g、1、j、k、m、η、〇為中心之6x6像素之複 製後之產生用像素。 因此,參照圖像上之水平方向及垂直方向之僅任一方之 位置為分數位置之預測像素之產生所使用之複製後之產生 用像素之數,少於兩方之位置為分數位置之預測像素之產 生所使用之複製後之產生用像素之數。即,藉由水平方向 及垂直方向之任一方向之過濾處理而產生預測像素之情形 之產生用像素之數,少於藉由兩方向之過濾處理而產生預 測像素之情形之產生用像素之數。 因此,圖30之參照圖像讀取部18〇藉由水平方向及垂直 方向之任一方向之過濾處理而產生預測像素之情形、即動 態向量之水平成分或垂直成分之分數值為〇之情形下與 圖26之參照圖像讀取部16〇相比,削減由產生用像素内之 157972.doc -50- 201233191 複製而成之像素之數。 具體而5 ’藉由水平方向及垂直方向雙方之過濾處理而 產生預測像素之情形、即動態向量之水平成分及垂直成分 之分數值並非為〇之情形時’參照圖像讀取部18〇進行與參 照圖像讀取部160相同之處理。 其結果,若框間預測之區塊之尺寸為8χ8像素,使用於 預測圖像之產生之產生用像素,為例如圖中以標註網 點、斜線、或雙斜線之正方形所表示者。 另,在圖34中,正方形表示參照像素。又,標註網點之 正方形表示使用於預測圖像之產生之參照像素中之框間預 測之區塊之尺寸範圍内之參照像素,標註有斜線之正方形 表示超過框間預測之區塊之尺寸範圍之範圍之參照像素。 再者,標s主有雙斜線之正方形表示複製使用於預測圖像之 產生之最外側之參照像素者。以上各點在後述之圖35及圖 3 6中亦相同。 在圖34之例中,與圖27之情形相同,最外侧之預測像素 係使用6個包含4個參照像素與2個由複製而成之像素之6個 之產生用像素而產生。又,較該預測像素内側丨個之預測 像素係使用6個包含5個參照像素與1個由複製而成之像素 之6個之產生用像素而產生。又,包含較該預測像素更内 側之最内側之預測像素之預測像素係將6個參照像素作為 產生用像素而使用6個產生用像素所產生^其結果,自圖 框記憶體22讀取之參照像素之範圍為9x9像素。 與此相對’藉由水平方向之過濾處理而產生預測像素之 157972.doc -51 · 201233191 情形’即動態向量之水平成分之分數值不為ο、而垂直成 分之分數值為0之情形時,如圖35所示,與圖34之情形相 比,由複製而成之像素之數得以削減。 具體而s,使用於最左侧之預測像素之產生用像素如以 圖35中虛線所示,係藉由5個參照像素、與由複製而成之i 個像素而構成。藉此,自圖樞記憶體22讀取之參照像素之 水平方向之範圍與圖34之情形相比雖增加W,但由於不 進行垂直方向之過據處理,因此垂直方向之範圍與框間預 測之區塊之尺寸相同。因此,自圖框記憶體22讀取之參照 像素之範圍為10x8像素,與圖34之情形相比較小。 同樣的’藉由垂直方向之過濾處理而產生預測像素之情 形’即動態向量之垂直成分之分數值不為Q、而水平成分 之分數值為0之情形時,如圖36所示,與圖34之情形相 比’由複製而成之像素之數得以削減。 具體而言,使用於最上側之預測像素之產生用像素如以 圖36中虛線所示,係藉由5個參照像素、與由複製而成之! 個像素而構成。藉此,自圖框記憶體22讀取之參照像素之 垂直方向之範圍與圖34之情形相比雖增加!個,但由於不 進行水平方向之過濾處理,因此水平方向之範圍與框間預 測之區塊之尺寸相同。因此,自圖框記憶體22讀取之參照 像素之範圍為8X 1 〇像素,與圖34之情形相比較小。 如以上所述,圖30之框間預測部24當動態向量之水平成 分及垂直成分之僅任一方之分數值不為〇之情形時,與兩 成分之分數值不為〇之情形相比,使外側之預測像素之產 157972.doc -52- 201233191 生時使用之參照像素之數增加,而削減由複製而成之像素 之數。其結果,可一方面削減圖框記憶體22之記憶頻帶之 使用量,並使框間預測之精度相較於圖26之框間預測部24 而提高。 又,如圖34至圖36所示,以使動態向量之水平成分及垂 直成分之僅任一方之分數值不為0之情形之參照像素之範 圍小於兩成分之分數值不為0之情形之參照像素之範圍之 方式’而增加使用於外側之預測像素之產生之參照像素之 數之情形時,與圖26之框間預測部24相比,不會增加圖框 s己憶體2 2之δ己憶頻帶之最大使用量,而可使框間預測之精 度提高。 另’ 一般而έ ,作為圖框記憶體22,多為安裝dram (Dynamic Random Access Memory :動態隨機存取記憶 體)’如為先則般記憶頻帶之使用量較大之情形,製造成 本較高。 [框間預測處理之第3例之說明] 圖3 7及圖3 8係說明藉由圖30之框間預測部24之圖2〇之步 驟S15之框間預測處理之細節之流程圖。 圖37及圖38之步驟S181至S207之處理,除了將步驟S151 及S152之處理替換成步驟S182之處理、將步驟““之處理 替換成步驟S184之處理以外,其餘皆與圖28及圖29之步驟 S150至S177之處理相同。 圖37之步驟S1 82之處理為藉由參照圖像讀取部18〇之讀 取參照像素之讀取處理,該讀取處理之細節,參照後述之 157972.doc •53· 201233191 圖3 9進行說明β 又,在圖37之步驟S184之處理中,參照圖像讀取部18〇 基於產生對象之預測像素之預測圖像上之位置及動態向量 之分數值,而決定預測對應像素之產生時使用《參照像素 之數為4至6之任一者。例如,產生對象之預測像素之預測 圖像上之位置為最左側、動態向量之水平成分之分數值不 為〇、而垂直成分之分數值為〇之情形時,參照圖像讀取部 180將參照像素之數決定為5。 圖39係說明圖37之步驟S182之讀取處理之細節之流程 圖。 在圖39之步驟S221中,參照圖像讀取部18〇判定自動態 預測部25供給之動態向量之水平成分與垂直成分雙方之分 數值是否為0以外。 在步驟S221判定動態向量之水平成分與垂直成分雙方之 分數值為〇以外之情形時,處理進展至步驟S222。即,預 測像素之參照圖像上之水平方向及垂直方向雙方之位置為 分數位置之情形(例如預測像素為Sub pel e、f、g、i、j、 k、m、η、o之情形)時,處理進展至步驟S222。 在步驟S222中,參照圖像讀取部ι80決定框間預測之區 塊之尺寸之區塊、該區塊之下侧之1像素寬之區塊、及包 含該兩方之區塊之區塊之右側之1像素寬之區塊作為參照 像素之範圍。例如,框間預測之區塊之尺寸為8x8像素之 情形時,參照圖像讀取部1 80決定9x9像素作為參照像素之 範圍。然後’處理進展至步驟S226。 157972.doc •54- 201233191 另一方面,在步驟8221判定動態向量之水平成分與垂直 成分之任一方之分數值並非〇以外之情形時,在步驟 S223,參照圖像讀取部18〇判定是否僅動態向量之水平成 分之分數值為0以外。 在步驟S 2 2 3判定僅動態向量之水平成分之分數值為〇以 卜之it形時,處理進展至步驟S224。即,預測像素之參照 圖像上之水平方向之位置為分數位置、垂直方向之位置為 整數位置之情形(例如預測像素為Sub pel a至c之情形)時, 處理進展至步驟S224。 在步驟S224中,參照圖像讀取部18〇決定框間預測之區 塊之尺寸之區塊、及該區塊之左側與右側之丨像素寬之區 塊作為參照像素之範圍。例如,框間預測之區塊之尺寸如 為8x8像素之情形,參照圖像讀取部18〇決定1〇><8像素作為 參照像素之範圍《然後,處理進展至步驟S226。 另一方面,在步驟S223判定動態向量之水平成分之分數 值為〇之情形時,處理進展至步驟S225。即,預測像素之 參照圖像上之垂直方向之位置為分數位置、水平方向之位 置為整數位置(例如預測像素為Sub pel d、h、!之情形), 或水平方向及垂直方向雙方之位置為整數位置之情形時, 處理進展至步驟S225。 在步驟S225中,參照圖像讀取部丨8〇決定框間預測之區 塊之尺寸之區塊、及該區塊之上側與下側之〗像素寬之區 塊作為參照像素之範圍。例如,框間預測之區塊之尺寸如 為8x8像素之情形,參照圖像讀取部18〇決定8χΐ〇像素作為 I57972.doc -55· 201233191 參照像素之範圍《然後,處理進展至步驟S226。 在步驟S226中,參照圖像讀取部丨8〇自圖框記憶體22讀 取對應於動態向量之位置之在步驟S222、S224 '或S225之 處理中決定之範圍之參照像素,且暫時保持。然後,處理 返回至圖37之步驟S182,且處理進展至步驟S183。 另,在圖30至圖39中,使用於預測對應像素之產生之產 生用像素之數為6個,亦可將該產生用像素之數設為8個。 [使用於預測對應像素之產生之產生用像素之數為8個之 情形之參照像素之範圍之說明] 圖4 0及圖4 1係說明動態向量之水平成分及垂直成分之分 數值不為0之情形之參照像素之範圍之例之圖。 另,在圖40之例中,框間預測之區塊之尺寸為8χ8像 素。又,在圖40中,標註編號之正方形表示預測對應像 素,未標註編號及英文字母之正方形表示參照像素。又, 標註網點之正方形表示使用於預測對應像素之產生之參照 像素中之框間預測之區塊之尺寸範圍内之參照像素,標註 有斜線之正方形表示超過框間預測之區塊之尺寸範圍之範鲁 圍之參照像素。再者,標註英文字母之正方形為複製參照 像素之像素。 如圖40所示,動態向量之水平成分及垂直成分之分數值 不為〇之情形時,最外側之預測對應像素係使用例如包含6 個參照像素之8個產生用像素而產生。又,較該預測對應 像素内側1個之預測對應像素係使用包含7個參照像素之8 個產生用像素而產生,包含較該預測對應像素更内側之最 157972.doc
S •56- 201233191 内側之預測對應像素之預測對應像素係使用8個參照像素 作為產生用像素而產生。 具體而言’產生對象為於水平方向排列之水平方向之位 置為1/2像素位置、垂直方向之位置為整數位置之8個預測 對應像素中最外側之標註編號1之正方形表示之預測對應 像素之情形時,將位於該預測對應像素之左邊2個、及位 於右邊4個之合計6個參照像素作為產生用像素。然後,將 該6個參照像素中左端之參照像素作為該參照像素之左側 鲁 之2個整數位置之像素加以複製,而將包含該2個像素、與 作為產生用像素之6個參照像素之新的8個產生用像素使用 於預測對應像素之產生。 又,產生對象為較標註編號1之正方形所表示之預測對 應像素内側1個之標註編號2之正方形所表示之預測對應像 素之情形時,將位於該預測對應像素之左邊3個、及位於 右邊4個之合計7個參照像素作為產生用像素。然後,將該 7個參照像素巾左端之參照像素作為該參照像素之左側之上 個整數位置之像素加以複製,而將包含該1個像素、與作 為產生用像素之7個參照像素之新的8個產生用像素使用於 預測對應像素之產生。 再者,產生對象為較標註編號2之正方形所表示之預測 對應像素更内側之標註編號3至6之正方形所表示之預測對 應像素之情形時,將位於該預測對應像素之左右各々之合 計8個參照像素作為產生用像素而直接使用於預測對應像 素之產生。 157972.doc •57- 201233191 又’產生對象為較最外侧之標註編號8之正方形所表示 之預測對應像素内側1個之標註編號7之正方形表示之預測 對應像素之情形時,將位於該預測對應像素之右邊3個、 及位於左邊4個之合計7個參照像素作為產生用像素。然 後’將該7個參照像素中右端之參照像素作為該參照像素 之右侧之1個整數位置之像素加以複製,而將包含該1個像 素、與7個參照像素之新的8個產生用像素使用於預測對應 像素之產生。 再者’產生對象為最外側之標註編號8之正方形表示之 馨 預測對應像素之情形時,將位於該預測對應像素之右邊2 個、及位於左邊4個之合計6個參照像素為產生用像素。然 後,將該6個參照像素中右端之參照像素作為該參照像素 之右側之2個整數位置之像素加以複製,而將包含該2個像 素、與ό個參照像素之8個產生用像素使用於預測對應像素 之產生。 然後’作為基於以上而產生之預測對應像素之Sub pH, 與參照像素同樣使用而產生8個產生用像素,並將該8個產籲 生用像素使用於預測對應像素之產生。 其結果,使用於預測圖像之產生之產生用像素成為例如 圖41令以標註網點、斜線、或雙斜線之正方形表示者。 即,自圖框記憶體22讀取之參照像素之範圍為llxU$ 素。 另在圖41中’正方形表示參照像素。又,標註網點之 正方形表示使用於預測圖像之產生之參照像素中之框間預 l57972.doc
S -58- 201233191 測之區塊之尺寸範_之參照像素,標註㈣線之正方形 表不超過框間預測之區塊之尺寸範圍之範圍之參照像素。 再者私°主有雙斜線之正方形表示複製使用於預測圖像之 產生之最外側之參照像素者。以上各點在後述之圖42及圖 43中亦相同β 圖42係顯示動態向量之水平成分之分數值不為〇、而垂 直成分之分數值為〇之情形下使用於預測圖像之產生之產 生用像素之例之圖。另,在圖42之例中,框間預測之區塊 之尺寸為8x8像素。 在圖42之例中,使用於最左側及右側之預測像素之產生 用像素如圖42中以虛線所示,係藉由7個參照像素、與由 複製而成之1個像素而構成。又,使用於較該等預測像素 更内側之所有預測像素之產生用像素係藉由8個參照像素 而構成。藉此,自圖框記憶體22讀取之參照像素之水平方 向之範圍與圖41之情形相比雖增加2個,但由於不進行垂 直方向之過遽處理,因此垂直方向之範圍與框間預測之區 塊之尺寸相同。因此’自圖框記憶體22讀取之參照像素之 範圍為13x8像素,與圖41之情形相比較小。 圖43係顯示動態向量之垂直成分之分數值不為〇、而水 平成分之分數值為〇之情形下使用於預測圖像之產生之產 生用像素之例之圖。另,在圖43之例中,框間預測之區塊 之尺寸為8 X 8像素。 在圖43之例中,使用於最上側及下側之預測像素之產生 用像素如圖43中以虛線所示,係藉由7個參照像素、與由 157972.doc -59- 201233191 複製而成之1個像素而構成。又,使用於較該等預測像素 更内側之所有預測像素之產生用像素係藉由8個參照像素 而構成。藉此,自圖框記憶體22讀取之參照像素之垂直方 向之範圍與圖41之情形相比雖增加2個,但由於不進行水 平方向之過據處理,因此水平方向之範圍與框間預測之區 塊之尺寸相同。因此,自圖框記憶體22讀取之參照像素之 區域為8x13像素,與圖41之情形相比較小。 另,使用於預測對應像素之產生之產生用像素之數為8 個之情形之框間預測部24之構成及框間預測部24之處理, 由於除了產生用像素之數不為6個而為8個之點、及包含於 產生用像素之參照像素之數不為4至6個而為7個及8個之任 一者之點以外’其餘皆相同,因此省略說明。 [框間預測部之第4構成例] 圖44係顯示圖3之框間預測部24之第4構成例之方塊圖。 圖44所示之構成中,於與圖26之構成相同之構成上標註 相同之符號,適當省略重複之說明。 圖44之框間預測部24之構成與圖26之構成不同之點主要 在於,取代參照圖像讀取部160而設置有參照圖像讀取部 200、及取代像素產生部161而設置有像素產生部2〇1。圖 44之框間預測部24根據框間預測之區塊之尺寸而變更使用 於外側之預測像素之產生之參照像素之數。 具體而吕,圖44之框間預測部24之參照圖像讀取部 200,與圖4之參照圖像讀取部41同樣基於自圖3之動態預 測部25供給之框間預測模式資訊中之參照索引及預測方 157972.doc -60 - 201233191 向’而特定記憶於圖框記憶體22之圖像中之參照圖像。 又’參照圖像讀取部200基於⑯間預測模式資訊中之區 塊之尺寸與動態向量,決定使用於預測圖像之產生之參照 像素之範@。參照圖像讀取部鹰基於動態向i,自圖框 記憶體22讀取經決定之範圍之參照像素而暫時保持。 參照圖像讀取部200與參照圖像讀取部41同樣針對各預 測像素’讀取暫時保持之參照像素之中使用於該預測像素 之產生之參照像素。另’此處,使用於預測像素之產生之 參照像素之數為4至6之任一者《參照圖像讀取部2〇〇與參 照圖像讀取部41同樣將讀取之參照像素供給至像素產生部 201。 ° 像素產生部201與圖26之像素產生部161同樣地將自參照 圖像讀取部200供給之參照像素作為產生用像素。又像 素產生部201基於自動態預測部25供給之框間預測模式資 訊中之框間預測之區塊之尺寸、動態向量之分數值、及預 測像素之預測圖像上之位置,決定使用於該預測像素之產 生之Sub pel之數。接著,像素產生部2〇1自中間結果記憶 體50讀取對應於產生對象之預測像素之經決定之數之“匕 pel作為產生用像素。另,此處,使用於預測像素之產生 之Sub pel之數為4至6之任一者。 又’像素產生部201與像素產生部ι61同樣地,於產生用 像素之數小於6個之情形時,將該產生用像素中外側之像 素複製與產生用像素之數為6個之差分,而產生包含複製 之像素與產生用像素之6個像素作為新的產生用像素。 157972.doc -61 - 201233191 [框間預測處理之第4例之說明] 圖45及圖46係說明藉由圖44之框間預測部24之圖20之步 驟S 15之框間預測處理之細節之流程圖。 圖45及圖46之步驟S231至S257之處理,除了步驟S151及 S152之處理替換成步驟S232之處理、步驟S154之處理替換 成步驟S234之處理、及步驟S168之處理替換成步驟8248之 處理以外,其餘皆與圖28及圖29之步驟315〇至8177之處理 相同。 圖45之步驟S232之處理為藉由參照圖像讀取部2〇〇之讀 取參照圖像之讀取處理,該讀取處理之細節,參照後述之 圖47進行說明。 又,在圖45之步驟S234之處理中,參照圖像讀取部2〇〇 基於產生對象之預測像素之預測圖像上之位置及框間預測 之區塊之尺寸’而決定預測對應像素之產生時使用之參照 像素之數為4至6之任一者。 又’在圖46之步驟S248之處理中,像素產生部201基於 產生對象之預測像素之預測圖像上之垂直方向之位置及框 間預測之區塊之尺寸’而決定自中間結果記憶體50讀取之 Sub pel之數為4至6之任一者。 圖47係說明圖45之步驟S232之讀取處理之細節之流程 圖。 在圖47之步驟S261中,圖44之框間預測部24之參照圖像 讀取部200判定自動態預測部25供給之框間預測模式資訊 中之框間預測之區塊之尺寸是否小於8 X 8像素。 157972.doc •62· 201233191 在步驟S261判定框間預測之區塊之尺寸小於訌8像素之 清形,即例如框間預測之區塊之尺寸為4χ4像素、8χ4像 素、4x8像素之情形時,處理進展至步驟S262。 在步驟S262中,參照圖像讀取部2〇〇決定框間預測之區 塊之尺寸之區塊、該區塊之下側之1像素寬之區塊、及包 3該兩方之區塊之區塊之右側之丨像素寬之區塊作為參照 像素之範圍。例如’框間預測之區塊之尺寸為4χ4像素之
隋形時,參照圖像讀取部2〇〇決定5χ5像素作為參照像素之 範圍。然後,處理進展至步驟S266。 另一方面,在步驟S261判定框間預測之區塊之尺寸並非 J於8x8像素之情形時,在步驟§263中,參照圖像讀取部 2〇〇判定框間預測之區塊之尺寸是否小於ΐ6χΐ6像素。 在步驟S 2 6 3判定框間預測之區塊之尺寸小於丨6 χ丨6像素 之情形,即例如框間預測之區塊之尺寸為8χ8像素、ΐ6χ8 像素、8χ 16像素之情形時,處理進展至步驟S264。 在步驟S264中,參照圖像讀取部2〇〇決定框間預測之區 塊之尺寸之區塊、該區塊之上側與下側之丨像素寬之區 塊、及包含該等3個區塊之區塊之左側與右側之丨像素寬之 區塊作為參照像素之範圍。例如,框間預測之區塊之尺寸 為8 X8像素之情形,參照圖像讀取部2〇〇決定丨〇X〗〇像素作 為參照像素之範圍。然後,處理進展至步驟S266。 另一方面,在步驟S263判定框間預測之區塊之尺寸並非 小於16x16像素之情形,即例如框間預測之區塊之尺寸為 16x16像素、32x16像素、i6x32像素、32χ32像素之情形 157972.doc • 63 - 201233191 時’處理進展至步驟S265。 在步驟S265中’參照圖像讀取部200決定框間預測之區 塊之尺寸之區塊、該區塊之上側之丨像素寬之區塊及下侧 之2像素寬之區塊、以及包含該等3個區塊之區塊之左側之 1像素寬之區塊及右側之2像素寬之區塊作為參照像素之範 圍。例如,框間預測之區塊之尺寸為16χ16像素之情形 時’參照圖像讀取部200決定19x19像素作為參照像素之範 圍。然後,處理進展至步驟S266。 在步驟S266中’參照圖像讀取部2〇〇自圖框記憶體22讀 籲 取對應於動態向量之位置之在步驟S262、S264、或8265之 處理中決定之範圍之參照像素,且暫時保持。然後,處理 返回至圖45之步驟S232,且處理進展至步驟S233。 如以上所述’圖44之框間預測部24當框間預測之區塊之 尺寸較大之情形時,與較小之情形相比,使外侧之預測像 素之產生時使用之參照像素之數增加,而削減由複製而成 之像素之數。其結果,可一方面削減圖框記憶體22之記憶 頻帶之使用量,並使框間預測之精度相較於圖26之框間預 _ 測部24而提高。 又,如圖47之讀取處理般,以使框間預測之區塊之尺寸 較大之情形之、相對於框間預測之區塊之尺寸之任意之分 數位置之預測圖像之產生時使用之參照像素之範圍之比例 (以下,稱為參照像素比例)小於較小之情形之參照像素比 例之方式,而增加使用於外側之預測像素之產生之參照像 素之數之情形時,與圖26之框間預測部24相比,不會增加 157972.doc
S •64- 201233191 最大參照像素比例,而可使框間預測之精度提高。 具體而言,在圖26之框間預測部中,^間:測之區塊 之尺寸較小之情形與較大之情形相比,參照像素比例較 大。例如,框間預測之區塊之尺寸為㈣像素之情形時, 在圖26之框間預測部24中,有必要讀取㈣像素之參照像 素’故參照像素比例為1.3(=9x9/(8x8))。與此相對框間 預測之區塊之尺寸為4χ4像素之情形時,有必要讀取之參 照像素之區域之尺寸為5χ5像素,故參照像素比例為 • ^(別/㈣))。因此,框間預測之區塊之尺寸為4χ4像 素之情形之參照像素比例大於框間預測之區塊之尺寸為 8χ8像素之情形。 因此,圖44之框間預測部24如圖47之讀取處理般,以使 框間預測之區塊之尺寸較大之情形之參照像素比例小於較 小之情形之參照像素比例之方式,而增加使用於外側之預 測像素之產生之參照像素之數,藉此,與圖26之框間預測 部24相比,不會增加最大參照像素比例,而可使框間預測 •之精度提高。 [框間預測部之第5構成例] 圖48係顯示圖3之框間預測部24之第5構成例之方塊圖。 圖48所示之構成之中,於與圖26之構成相同之構成上標 註相同之符號,適當省略重複之說明。 圖48之框間預測部24之構成與圖26之構成不同之點主要 在於,取代參照圖像讀取部16〇而設置有參照圖像讀取部 210、及取代像素產生部161而設置有像素產生部2U。圖 157972.doc •65· 201233191 48之框間預測部24根據預測方向而變更使用於外側之預測 像素之產生之參照像素之數。 具體而S ’圖48之框間預測部24之參照圖像讀取部 210’與圖4之參照圖像讀取部則樣基於自圖3之動態預 測部25供給之框間預測模式資訊中之參照索引及預測方 向,而使記憶於圖框記憶體22之圖像中之參照圖像特定。 又’參照圖像讀取部21〇基於框間預測模式資訊中之預 測方向及區塊之尺寸、以及動態向量,決定使用於預測圖 像之產生之參照像素之範g ^參照圖像讀取部2iq基於動 態向量,自圖框記憶體22讀取經決定之範圍之參照像素而 暫時保持。 參照圖像讀取部21G與參照圖像讀取部41同樣地針對各 預測像素,讀取暫時保持之參照像素之中使用於該預測像 素之產生之參照像素。# ’此處’使用於預測像素之產生 mu象素之數為4至6之任—者。參照圖像讀取部21〇與 參照圖像讀取部41同樣將讀取之參照像素供給至像素產生 部 211。 像素產生部211與圖26之像素產生部161同樣將自參照圓 像讀取部210供給之參照像素作為產生用像素。又,像素 產生部211基於自動態預測部25供給之框間預測模式資訊 中之預測方向、動態向量之分數值、及預測像素之預測圖 像上之位置,決定使用於該預測像素之產生之Mb pe丨之 數接著’像素產生部211自中間結果記憶體5〇讀取對應 於產生對象之預測像素之經決定之數之作為產生用 157972.doc •66· 201233191 像素。另’此處,使用於預測像素之產生之Sub pei之數為 4至6之任一者。 又’像素產生部211與像素產生部161同樣地,於產生用 像素之數小於6個之情形時,將該產生用像素中之外側之 像素複製與產生用像素之數為6個之差分,而產生包含複 製之像素與產生用像素之6個像素作為新的產生用像素β 像素產生部211將產生之6個產生用像素供給至6抽頭FIR據 波器45。
[框間預測處理之第5例之說明] 圖49及圖50係說明藉由圖48之框間預測部24之圖20之步 驟S15之框間預測處理之細節之流程圖。 圖49及圖50之步驟S271至S297之處理,除了步驟S151及 S152之處理替換成步驟S272之處理、步驟S154之處理替換 成步驟S274之處理、及步驟S168之處理替換成步驟S288之 處理以外,其餘皆與圖28及圖29之步驟S150至S 177之處理 相同。 圖49之步驟S272之處理為藉由參照圖像讀取部21〇之讀 取參照圖像之讀取處理,該讀取處理之細節,參照後述之 圖51進行說明。 又,在圖49之步驟S274之處理中,參照圖像讀取部210 基於產生對象之預測像素之預測圖像上之位置及預測方 向’而決定預測對應像素之產生時使用之參照像素之數為 4至6之任一者。 又,在圖50之步驟S288之處理中,像素產生部211基於 I57972.doc -67- 201233191 產生對象之預測像素之預測圖像上之垂直方向之位置及預 測方向’而決定自中間結果記憶體5〇讀取之Sub pel之數為 4至6之任一者。 圖51係說明圖的之步驟S272之讀取處理之細節之流程 圖。 在圖51之步驟83〇1中,圖48之框間預測部24之參照圖像 讀取部210判定自動態預測部25供給之框間預測模式資訊 中之預測方向是否為雙預測。 在步驟S301判定預測方向為雙預測之情形時,處理進展 至步驟S302。在步驟S3〇2中,參照圖像讀取部21〇決定框 間預測之區塊之尺寸之區塊、該區塊之下側之1像素寬之 區塊、及包含該兩方之區塊之區塊之右側之1像素寬之區 塊作為參照像素之範圍。然後,處理進展至步驟S3〇4。 另一方面’在步驟S301判定預測方向並非雙預測之情 形’即預測方向為L0預測或L1預測之情形時,處理進展至 步驟S303。在步驟S303中,參照圖像讀取部210決定框間 預測之區塊之尺寸之區塊、該區塊之上側之1像素寬之區 塊及下側之2像素寬之區塊、以及包含該等3個區塊之區塊 之左側之1像素寬之區塊及右側之2像素寬之區塊作為參照 像素之範圍。然後,處理進展至步驟S3〇4。 在步驟S304中,參照圖像讀取部21〇自圖框記憶體22讀 取對應於動態向量之位置之在步驟S3〇2或S3〇3之處理中決 疋之範圍之參照像素,且暫時保持。然後,處理返回至圖 49之步驟S272’且處理進展至步驟S273。 157972.doc -68 - 201233191 如以上所述’圖48之框間預測部24當預測方向為L0預測 或L1預測之情形時’與預測方向為雙預測之情形相比,使 外側之預測像素之產生時使用之參照像素之數增加,而削 減由複製而成之像素之數》其結果,可一方面削減圖框記 憶體22之記憶頻帶之使用量,並使框間預測之精度相較於 圖26之框間預測部24而提高。 又,如圖51之讀取處理般,以使預測方向為L〇預測或L1 預測之情形之參照像素之範圍小於預測方向為雙預測之情 形之參照像素之範圍之方式,增加使用於外側之預測像素 之產生之參照像素之數之情形時,與圖26之框間預測部24 相比,不會增加圖框記憶體22之記憶頻帶之最大使用量, 而可使框間預測之精度提高。 具體而s,預測方向為雙預測之情形相較於預測方向為 L〇預測或L1預測之情形時,有必要讀取2倍之參照像素。 因此,圖48之框間預測部24以使預測方向為“預測或匕丨預 測之參照像素之範圍小於預測方向為雙預測之情形之參照 像素之範圍之方式,增加使用於外側之預測像素之產生之 參照像素之數,藉此,與圖26之框間預測部24相比,不會 增加圖框記憶體22之記憶頻帶之最大使用量,而可使框間 預測之精度提高。 另,在上述之說明中,動態向量之水平成分及垂直成分 雙方之分數值為0之情形,即預測像素之位置為整數位置 之If形時,亦進行將與對應於預測像素之參照像素以外之 像素對應之濾波器係數設為0之運算,但可不進行。該情 157972.doc -69- 201233191 形’圖4之參照圖像讀取部41、圖26之參照圖像讀取部 160、圖30之參照圖像讀取部180、圖44之參照圖像讀取部 200、圖48之參照圖像讀取部210,自圖框記憶體22讀取對 應於動態向量之位置之框間預測之區塊之尺寸之區塊,且 直接作為預測圖像而輸出。 [框間預測部之第6構成例] 圖52係顯示圖3之框間預測部24之第6構成例之方塊圖。 圖52所示之構成之中,於與圖26之構成相同之構成上標 註相同之符號,適當省略重複之說明。 圖52之框間預測部24之構成與圖26之構成不同之點主要 在於’取代參照圖像讀取部16〇而設置有參照圖像讀取部 220、及取代像素產生部161而設置有像素產生部221。圖 52之框間預測部24根據動態向量、框間預測之區塊之尺 寸、及預測方向而變更使用於外側之預測像素之產生之參 照像素之數。 具體而言,圖52之框間預測部24之參照圖像讀取部 220,與圖4之參照圖像讀取部41同樣基於自圖3之動態預 測部25供給之框間預測模式資訊中之參照索引及預測方 向,而使記憶於圖框記憶體22之圖像令之參照圈像特定。 又,參照圖像讀取部220基於框間預測模式資訊中之預 測方向及區塊之尺寸、以及動態向量,決錢用於預測圖 像之產生之參照像素之範圍。參照圖像讀取部22〇自圖框 記憶體22讀取經決定之範圍之參照像素而暫時保持。 參照圖像讀取部220與參照圖像讀取部41同樣地針對各 157972.doc •70- 201233191 預測像素,讀取暫時保持之參照像素之中使用於該預測像 素之產生之參照像素。另,此處,使用於預測像素之產生 之參照像素之數為2至6之任一者。參照圖像讀取部22〇與 參照圖像讀取部41同樣將讀取之參照像素供給至像素產生 部 221。 像素產生部221與圖26之像素產生部161同樣將自參照圖 像讀取部220供給之參照像素作為產生用像素。又,像素 產生部221基於自動態預測部25供給之框間預測模式資訊 中之區塊之尺寸及預測方向、動態向量之分數值、及預測 像素之預測圖像上之位置,決定使用於該預測像素之產生 之Sub pel之數。接著,像素產生部221自中間結果記憶體 50讀取對應於產生對象之預測像素之經決定之數之Sub pel 作為產生用像素。另’此處,使用於預測像素之產生之 S U b p e 1之數為2至6之任一者。 又’像素產生部221與像素產生部161同樣地,於產生用 像素之數小於6個之情形時,將該產生用像素中之外側之 像素複製與產生用像素之數為6個之差分,而產生包含複 製之像素與產生用像素之6個像素作為新的產生用像素。 像素產生部221將產生之6個產生用像素供給至6抽頭FIR漶 波器45。 [參照像素之範圍之例] 圖53及圖54係顯示藉由圖52之參照圖像讀取部220而決 定之參照像素之範圍、與對應於動態向量之預測像素之組 群、框間預測之區塊之尺寸、及預測方向之關係之例之 157972.doc -71 201233191 另,圖53係顯示參照像素比例為4以下之情形之關係之 例之圖,圖54係顯示參照像素比例為5以下之情形之關係 之例之圖。 又,在圖53及圖54中,Ιηη_表示動態向量之水平成分 及垂直成分雙方之分數值為〇以外之情形之預測像素(例 如 Sub pel e f、g、i、j ' k、m、n、〇)之組群。又, Outer h係表示動態向量之水平成分之分數值為〇以外而 垂直成分之分數值為〇之情形之預測像素(例如,Sub pel a 至c)之組群。Outer v係表示動態向量之垂直成分之分數值 為〇以外、而水平成分之分數值為〇之情形之預測像素(例 如,Subpeid'h、丨)之組群。以上各點在後述之圖58至圖 60中亦相同。 基於圖53所示之關係而決定參照像素之範圍之情形之框 間預測之區塊之尺寸為4x8像素,以下兹說明預測方向為 雙預測之情形之參照像素之範圍。該情形中,乡對應於雙 預測中之L0預測之動態向量之Sub pd之位置為】,對應於 L1預測之動態向量之Sub pei之位置為(1,則L〇預測用之參 照像素之範圍決定為6xl〇像素,^預測用之參照像素之範 圍決定為8x8像素。另,此時,參照像素比例為 3·875=(6χ10+8χ8)/(4χ8) ’ 即 5以下。 [框間預測處理之第6例之說明] 圖55及圖56係說明藉由圖52之框間預測部24之圖2〇之步 驟S15之框間預測處理之細節之流程圖。 ’ 157972.doc 201233191 在圖55之步驟S311中,框間預測部24之參照圖像讀取部 220(圖52) ’基於自圖3之動態預測部25供給之框間預測模 式資訊中之預測方向及參照索引,而特定記憶於圖框記憶 體22之圖像中之參照圖像。 在步驟S312中,參照圖像讀取部22〇進行讀取參照圖像 之讀取處理。該讀取處理之細節將參照後述之圖57進行說 明。 在步驟S313中,參照圖像讀取部22〇將構成預測圖像之 預測像素之中尚未在步驟S313之處理中決定為產生對象之 預測像素之預測像素決定為產生對象之預測像素。另,有 複數個預測對應像素之情形,以下之步驟3314至8323之處 理係針對各預測對應像素進行。 在步驟S3 14中,參照圖像讀取部22〇基於產生對象之預 測像素之預測圖像上之位置、動態向量、框間預測之區塊 之尺寸、及預測方向’而決定預測對應像素之產生時使用 之參照像素之數為2至6之任一者。 在步驟S3 15中,參照圖像讀取部220基於在步驟S3 14決 定之參照像素之數與產生對象之預測像素之參照圖像上之 位置’讀取在步驟S3 12保持之參照像素中之使用於預測對 應像素之產生之參照像素,參照圖像讀取部220將讀取之 參照像素供給至像素產生部221。 在步驟S316中’ 6抽頭濾波器係數記憶體48基於對應於 自動態預測部25供給之動態向量之預測對應像素之成分之 刀數值’將與該分數值相關聯而記憶之濾波器係數供給至 157972.doc •73· 201233191 6抽頭FIR濾波器45。 220在/^317中,像素產生部22_自參照圖像讀取部 德去、β之參照像素之數是否小於^在步驟S317判定參照 、之數小於6之情形時,處理進展至步驟S318。 步驟S318中,像素產生部211複製自參照圖像讀取部 …。之參照像素中外側之參照像素作為該參照像素之 外側之像素’而產生包含複製之像素與參照像素之6個產 生用像素》然後,像素產生部211將產生之6個產生用像素 供給至6抽頭FIR濾波器45,使處理進展至步驟s3i9。 另一方面,在步驟S3 17判定參照像素之數並非小於6之 If形即參照像素之數為6之情形時,像素產生部221將該 6個參照像素作為產生用像素而供給至6抽頭fir濾波器 45 ’使處理進展至步驟S319。 步驟S3 19至S325之處理由於與圖28及圖29之步驟S161至 S167之處理相同’因此省略說明。 圖56之步驟S325之處理後,在步驟S326中,像素產生部 221基於產生對象之預測像素之預測圖像上之垂直方向之 位置、框間預測之區塊之尺寸、及預測方向,決定自中間 結果記憶體50讀取之Sub pel之數為2至6之任一者。 在步驟S327中’像素產生部221基於在步驟S326決定之 Sub pel之數、與產生對象之預測像素之參照圖像上之位 置,自中間結果記憶體50讀取Sub pel作為產生用像素。 在步驟S328中,6抽頭濾波器係數記憶體48基於自動態 預測部25供給之動態向量之垂直成分之分數值,將與該分 157972.doc -74- 201233191 數值相關聯而記憶之濾波器係數供給至6抽頭FIR濾波器 45。然後,處理進展至步驟S329。 步驟S329及S330之處理除了取代參照像素而對Sub pel進 行之點以外’其餘皆與圖55之步驟8317及8318之處理相 同’故省略說明。又,步驟S331至S333之處理因與圖29之 步驟SI75至S177之處理相同,故省略說明。 圖57係說明圖μ之步驟S3 12之讀取處理之細節之流程 圖。 在圖57之步驟S341中’圖52之框間預測部24之參照圖像 讀取部220判定自動態預測部25供給之動態向量之水平成 分與垂直成分雙方之分數值是否為 在步驟S341判定動態向量之水平成分與垂直成分雙方之 分數值並非為0之情形時,在步驟S342中,參照圖像讀取 部220判定預測方向是否為雙預測。 在步驟S342判定預測方向為雙預測之情形時,在步驟 S343中,參照圖像讀取部22〇判定動態向量之水平成分與 垂直成分雙方之分數值是否為〇以外。 在步驟S343判定動態向量之水平成分與垂直成分雙方之 分數值為〇以外之情形時,處理進展至步驟S344。在步驟 S344中,參照圖像讀取部22〇決定對應於框間預測模式資 訊中之框間預測之區塊之尺寸、雙預測、及!_之參照像 素之範圍。然後,處理進展至步驟S353。 另-方面,在步驟S343判定動態向量之水平成分與 成分之任一方之分數值為。之情形時在步驟⑽中,參 157972.doc •75· 201233191 照圖像讀取部22ο判定县$ # ^&具 值為。以外。k疋否僅動態向量之水平成分之分數 在步驟S345判定僅動態向量之水平成分 外之情形時,處理谁里s止 刀数值為〇以 步驟襲。在步驟S346令,參照 圖像讀取220決定對應於㈣預測模式資訊中之框間預 測之區塊之尺寸、雙預測、及h之參照像素之範圍。 然後’處理進展至步驟S353。 另-方面’在步驟S345判定動態向量之水平成分之分數 值並非為0以外之情形,即僅動態向量之垂直成分之分數 值為〇以外之情形時’處理進展至步驟S347。在步驟s⑷ 中’參照圖像讀取部220決定對應於框間預測模式資訊中 之框間預測之區塊之尺寸、雙預測、及0uter v之參照像素 之範圍。然後,處理進展至步驟S353。 ’ 又,在步驟S342判定預測方向並非雙預測之情形,即預 測方向為L0預測或L1預測之情形時,處理進展至步驟 S348 » 在步驟S348判定動態向量之水平成分與垂直成分雙方之 分數值為〇以外之情形時,處理進展至步驟S349。在步驟 S349中,參照圖像讀取部220決定對應於框間預測模式資 訊中之框間預測之區塊之尺寸、L0預測/L1預測、及 之參照像素之紅圍。然後,處理進展至步驟S 3 5 3。 另一方面,在步驟S348判定動態向量之水平成分與垂直 成分之任一方之分數值為〇之情形時,在步驟835〇中參 照圖像讀取部220判定是否僅動態向量之水平成分之分數 157972.doc •76- 201233191 值為〇以外。 在步驟S350判定僅動態向量之水平成分之分數值為〇以 外之情形時,處理進展至步驟S351。在步驟8351中,參照 圖像讀取部220決定對應於框間預測模式資訊中之框間預 測之區塊之尺寸、L0預測/L1預測、及〇mer h之參照像素 之範圍。然後’處理進展至步驟S353。 另方面,在步驟s350判定動態向量之水平成分之分數 值並非為0以外之情形,即僅動態向量之垂直成分之分數 值為〇以外之情形時,處理進展至步驟S352 ^在步驟S352 中,參照圖像讀取部220決定對應於框間預測模式資訊中 之框間預測之區塊之尺寸、L〇預測/L1預測、及〇uter v之 參照像素之範圍。然後,處理進展至步驟S353。 在步驟S353,參照圖像讀取部22〇自圖框記憶體22讀取 對應於動態向量之位置之在步驟S344、S346、S347、 3349、8351、或3352之處理中決定之範圍之參照像素,且 暫時保持。然後,處理返回至圖S5之步驟S312,且處理進 展至步驟S313。 另方面,在步驟S341判定動態向量之水平成分與垂直 成分雙方之分數值為〇之情形時,在步驟8354中,參照圖 像讀取部220讀取對應於動態向量之位置之框間預測之區 塊之尺寸之參照像素,並作為預測圖像而輸出。然後,處 理返回至圖20之步驟S15,且處理進展至步驟S16。 另,在圖52至圖57中,使用於預測對應像素之產生之產 生用像素之數雖為6個,但該產生用像素之數並非限定於 157972.doc -77· 201233191 此。 [使用於預測對應像素之產生之產生用像素之數為8個之 情形之參照像素之範圍之例] 圖5 8係顯示使用於預測對應像素之產生之產生用像素之 數為8個、參照像素比例為5以下之情形之參照像素之範圍 與對應於動態向量之預測像素之組群、框間預測之區塊之 尺寸、及預測方向之關係之例之圖。 又,圖59係顯示使用於預測對應像素之產生之產生用像 素之數為8個、參照像素比例為6以下之情形之參照像素之 參 範圍與對應於動態向量之預測像素之組群、框間預測之區 塊之尺寸、及預測方向之關係之例之圖。 [使用於預測對應像素之產生之產生用像素之數為12個 之情形之參照像素之範圍之例] 圖60係顯示使用於預測對應像素之產生之產生用像素之 數為12個、參照像素比例為5以下之情形之參照像素之範 圍與對應於動態向量之預測像素之組群、框間預測之區塊 之尺寸、及預測方向之關係之例之圖。 參 另,依據上述之圖30至圖60中說明之動態向量、框間預 測之區塊之尺寸、及預測方向之至少一方而變更使用於外 側之預測像素之產生之參照像素之數,亦可應用於圖4之 框間預測部24。 即,如圖4之框間預測部24般,藉由不複製參照像素而 進行使用,在使用於預測像素之產生之產生用像素之數依 據該預測像素之預測圖像上之位置而變化之情形下,亦可 157972.d〇(
S -78· 201233191 依據動態向量、框間預測之區塊之尺寸、及預測方向之至 少一方而變更使用於外側之預測像素之產生之參照像素之 數。關於該情形’以下進行說明。 [框間預測部之第7構成例] 圖61係顯示圖3之框間預測部24之第7構成例之方塊圖。 圖61所示之構成之中,於與圖4或圖52之構成相同之構 成上標s主相同之符號’適當省略重複之說明。 圖61之框間預測部24之構成與圖4之構成不同之點主要 在於,取代參照圖像讀取部41、像素調度部42而設置有參 照圖像讀取部220、像素調度部241,及新設有3抽頭FIR濾 波器242、5抽頭FIR濾波器243、3抽頭濾波器係數記憶體 244、及5抽頭濾波器係數記憶體245。 圖61之框間預測部24之像素調度部241與圖4之像素調度 部42同樣將自參照圖像讀取部22〇供給之參照像素作為產 生用像素。又,像素調度部241基於自動態預測部25供給 之框間預測模式資訊中之區塊之尺寸及預測方向、動態向 量之分數值、及預測像素之預測圖像上之位置,決定使用 於該預測像素之產生之Sub pel之數。然後,像素調度部 241自中間結果記憶體50讀取對應於產生對象之預測像素 之經決定之數之Sub pel作為產生用像素。另,此處,使用 於預測像素之產生之Sub pel之數為2至6之任一者。 又’像素調度部241按照產生用像素之數,將該產生用 像素供給至2抽頭FIR濾波器43、3抽頭FIR濾波器242、4抽 頭FIR渡波器44、5抽頭FIR據波器243、或6抽頭FIR遽波器 157972.doc -79- 201233191 45 具體而言,產生用像素之數為2之情 =將該產生用像素供給至2抽頭m滤波器43 = 之情形時,將該產生用像素供給至3抽頭· &產生用像素之數為4之情料,像素調度 將該產生用像素供給至4抽頭m濾波器“,產生用 像素,數為5之情形時,將該產生用像素供給至5抽頭FIR 慮波器243 〇又’產生用像素之數為6之情形時,像素調度 部241將該產生用像素供給至6抽則聯波器& 3抽頭m滤波器242作為運算部發揮功能,使用自像素 調度部241供給之3個產生用像素、與自3抽頭濾波器係數 記憶體244供給之濾波器係數而進行運算。3抽頭抓遽波 器242將其結果獲得之象素供給至像素選擇部的。 5抽頭FIR滤波器243作為運算部發揮功能,使用自像素 調度部241供給之5個產生用像素、與自5抽頭據波器係數 。己隐體245供給之滤波器係、數而進行運算。5抽頭fir渡波 器243將其結果獲得之1個像素供給至像素選擇部。 3抽頭濾波器係數記憶體244作為記憶部發揮功能,與動 態向量之分數值相關聯而記憶有3抽頭FIR濾波器242用之 濾波器係數。3抽頭濾波器係數記憶體244基於自動態預測 部25供給之動態向量之分數值,將與該分數值相關聯而記 憶之濾波器係數供給至3抽頭FIR濾波器242。 5抽頭濾波器係數記憶體245作為記憶部發揮功能,與動 態向量之分數值相關聯而記憶有5抽頭FIR濾波器243用之 濾波器係數。5抽頭濾波器係數記憶體245基於自動態預測 157972.doc -80- 201233191 部25供給之動態向量之分數值,將與該分數值相關聯而記 憶之濾波器係數供給至5抽頭FIR濾波器243。 [框間預測處理之第7例之說明] 圖62及圖63係說明藉由圖61之框間預測部24之圖20之步 驟S 15之框間預測處理之細節之流程圖。 圖62及圖63之步驟S361至S381之處理,除了圖55之步驟 8317及8318之處理替換成圖62之8367及8368、圖56之步驟 S3 29及S3 3 0之處理替換成圖63之S3 78及S3 79之處理之點以 外’其餘皆與圖55及圖56之步驟S311至S333之處理相同。 在圖62之步驟S367之處理中,像素調度部241按照自參 照圖像讀取部220供給之參照像素之數,將該參照像素供 給至2抽頭FIR濾波器43、3抽頭FIR濾波器242、4抽頭FIR 濾波器44、5抽頭FIR濾波器243、或6抽頭FIR濾波器45 » 接著’在步驟S368中,進行藉由自像素調度部241供給 參照像素之2抽頭FIR濾波器43、3抽頭FIR濾波器242、4抽 頭FIR濾波器44、5抽頭FIR濾波器243、或6抽頭FIR濾波器 45之處理。具體而言,在步驟S368中,使用參照像素、與 自2抽頭濾波器係數記憶體46、3抽頭濾波器係數記憶體 244、4抽頭據波器係數記憶體47、5抽頭據波器係數記憶 體245、或6抽頭濾波器係數記憶體48供給之據波器係數而 進行運算。 又,圖63之步驟S378及S379之處理,除了取代參照像素 而對Sub pel進行之點以外’其餘皆與圖62之步驟S367及 S368之處理相同,故省略說明。 157972.doc -81· 201233191 另’雖圖示省略,但在編碼裝置1G具備圖3q、圖44、圖 48、圖52'圖61之框間預測部24之情形中,解媽裝置⑽ 之框間預測部ill亦與圊3G、圖44、圖48、圖52、圖Μ 框間預測部24同樣構成。 又,在圖30至圖63之說明中,雖設為藉由内插而產生 i/4像素位置之Sub pe卜"可產生1/2像素位置或1/8像素 位置之Sub pe卜該情形除了濾波器係數不同以外,進行與 I/4像素位置之Sub pel之產生時相同之處理。 再者,使用於預測像素之產生之參照像素之數及參照像 素之數之種類並非限定於上述之數。又,使用於預測像素 之產生之參照像素之數之預測圖像上之切換位置並非限定 於上述之位置。 在本實施形態中,作為編碼方式,雖以H· 264/AVC方式 為基礎而使用,但本技術並非限定於此,亦可應用於其他 使用進行動態預測、補償處理之編碼方式/解碼方式之編 碼裝置/解碼裝置。 又’本技術亦可應用於經由衛星廣播 '閉路電視、網 路、或行動電話等之網路媒體而接收例如MPEG、H. 26x 等般、以藉由離散餘弦轉換等之正交轉換與動態補償進行 壓縮之方式而經壓縮之圖像資訊(位元串流)時使用之編瑪 裝置及解碼裝置。又’本技術可應用於對光碟、磁碟、及 快閃記憶體等之記憶媒體進行處理時使用之編碼裝置及解 碼裝置。再者,本技術亦可應用於包含於該等編碼裝置及 解碼裝置等中之動態預測補償裝置。 157972.doc •82- 201233191 [框間預測部之第8構成例] 圖64係顯示圖3之框間預測部24之第8構成例之方塊圖。 圖64所示之構成之中,於與圖26之構成相同之構成上標 註相同之符號,適當省略重複之說明。 圖64之框間預測部24之構成與圖26之構成不同之點主要 在於,取代參照圖像讀取部160、像素產生部161、6抽頭 濾波器係數記憶體48而設置有參照圖像讀取部25 !、像素 輸出部252、6抽頭濾波器係數記憶體253。圖64之框間預
測部24,以使相較於對應於外側之預測像素之6個產生用 像素中之預測像素更外側之產生用像素(以下,稱為外側 產生用像素)之數少於對應於内側之預測像素之6個產生用 像素中之外側產生用像素之數之方式,決定使用於各預測 像素之產生之產生用像素。 -夕“、、叫丨冬頃取邵251,與圖 26之參照圖像讀取部ι6〇同樣其 丨J像基於框間預測模式資訊中之 參照索引及預測方向’而特定印橋於固上 。隐於圖框記憶體22之圖像 中之參照圖像。參照圖像讀取邱 π “厂Ρ251基於框間預測模式資 訊中之區塊之尺寸與動態向量之 ^ 数值,自圖框記憶體22 讀取使用於預測圖像之產生之參昭 .Bg ^ ^ A “、、像素而暫時保持。 參照圖像讀取部251作為像素讀 預測像素絲暫㈣持之參肖 1 g ’針對各 之產生之6個參照像素。此時巾使用於該預測像素 側之預測像素之6個參照像素之照圖像讀取部251以使外 照像素之數少於内侧之預:之中較預測像素更外側之參 像素之6個參照像素之中較預 I57972.doc •83· 201233191 測像素更外侧之參照像素之數之方式,決定各預測像素之 6個參照像素而讀取。參照像素讀取部25丨將讀取之6個參 照像素供給至像素輸出部252。 像素輸出部252與圖26之像素產生部161同樣地將自參照 圖像讀取部251供給之參照像素作為產生用像素。又,像 素輸出部252基於自動態預測部25供給之動態向量之分數 值’自中間結果記憶體5 0讀取對應於產生對象之預測像素 之6個Sub pel作為產生用像素。此時,像素輸出部252以設 為外侧之預測像素之外側產生用像素之Sub pei之數少於設 為内側之預測像素之外側產生用像素之Sub pel之數之方 式’決定設為各預測像素之產生用像素之6個Sub pel而讀 取。又’像素輸出部252將6個產生用像素供給至6抽頭FIR 濾波器45。 6抽頭濾波器係數記憶體253與動態向量之分數值、及外 側產生用像素之數相關聯而記憶有6抽頭FIR濾波器45用之 濾波器係數。6抽頭濾波器係數記憶體253基於自動態預測 部25供給之動態向量之分數值、與產生對象之預測像素之 預測圖像上之位置’將與該分數值、及對應於該位置之外 側產生用像素之數相關聯而記憶之濾波器係數供給至6抽 頭FIR濾波器45 » [參照像素之例] 圖65係顯示圖64之框間預測部24之參照像素之例之圖。 另,在圖65中,顯示框間預測之區塊之尺寸為4x4像素 之情形時,於水平方向排列之水平方向之位置為1 /2像素 157972.doc -84- 201233191 位置、垂i方向之位置為整數位置之4個預測I素各自之 產生時使用之參照像素之例。 又在圖65中,標註編號之正方形表示預測像素,未標 註編號之正方形表示參照像素,又,標註網點之正方形表 示使用於預測像素之產生之參照料中之框間預測之區塊 之尺寸範圍内之參照像素,標註有斜線之正方形表示超過 框間預測之區塊之尺寸範圍之範圍之參照像素。以上各點 在後述之圖68至圖70中亦相同。 在圖65之例中,最外側之預測像素之外側產生用像素之 數為2,最内側之預測像素之外側產生用像素之數為3。 具體而言,於水平方向排列之水平方向之位置為1/2像 素位置、垂直方向之位置為整數位置之4個預測像素中最 外側之標註編號1及編號4之正方形所表示之預測像素,係 使用該預測像素之外側之2個參照像素、與内側之4個參照 像素而產生。 又,較標註編號1及4之正方形所表示之預測像素内側i 個之標註編號2及3之正方形所表示之預測像素,係使用位 於該預測像素之内外各3之合計6個參照像素而產生。即, 標註編號2及3之正方形所表示之預測像素之參照像素之 數’相較於標註編號1及4之正方形所表示之預測像素之參 照像素之數多3個。 如以上所述,由於圖64之框間預測部24使外側之預測像 素之外侧產生用像素之數少於内側之預測像素之外側產生 用像素之數’因此於水平方向排列之框間預測所需之參照 157972.doc -85- 201233191 像素之數為較先前之9更少之7β其結果,可削減圖框記憶 體22之記憶頻帶之使用量。藉此,可削減晶片之數而削減 製造費用,或削減向圖框記憶體22之存取次數而削減消耗 電力。 又,圖64之框間預測部24中對應於預測像素之產生用像 素之數共為6個。因此,藉由將對應於外側之預測像素之 產生用像素之數設為4個,相較於使水平方向上排列之框 間預測所需之參照像素之數為與圖64之框間預測部24之情 形相同之7之情形,預測圖像之精度更好。 另,圖示省略,圖65之例之情形中,於垂直方向排列之 垂直方向之位置為1/2像素位置、水平方向之位置為整數 位置之4個預測像素各自之產生時使用之6個參照像素以 最外側、即上下端之預測像素之較預測像素更外側之參照 像素之數為2、最内側之預測像素之較預測像素更外側之 參照像素之數為3之方式而決定。 又,於垂直方向排列之水平方向及垂直方向之位置為 1/2像素位置之4個預測像素各自之產生時使用之參照像 素’係最外側之預測像素之較預測像素更外側之數為2、 最内側之預測像素之較預測像素更外側之數為3之預測對 應像素之產生時使用之參照像素。因此,水平方向及垂直 方向之位置為1/2像素位置之4χ4像素之預測圖像之產生時 使用之參照像素之範圍為7 X 7像素,少於先前之9 X 9像素。 [框間預測處理之第8例之說明] 圖66及圖67係說明藉由圖64之框間預測部24之圖2〇之步 I57972.doc 86 _ 201233191 驟S15之框間預測處理之細節之流程圖。 圖66之步驟S400至S403,由於與圖22之步驟S50至S53之 處理相同,因此省略說明。另,有複數個預測對應像素之 情形時’以下之步驟S404至S412之處理係針對各預測對應 像素進行。 在步驟S404中,參照圖像讀取部251基於產生對象之預 測像素之參照圖像上之位置’讀取在步驟S4〇2保持之參照 像素之中使用於預測對應像素之產生之6個參照像素。參 照圖像讀取部251將讀取之6個參照像素作為產生用像素而 供給至像素輸出部2 5 2。 在步驟S405中’ 6抽頭濾波器係數記憶體253判定預測對 應像素之預測圖像上之位置是否為外側。在步驟S4〇5判定 預測對應像素之預測圖像上之位置為外側之情形時,6抽 頭濾波器係數記憶體253將外侧產生用像素之數設為相較 於全部產生用像素之數6之1/2即3更少之2,使處理進展至 步驟S406。 在步驟S406中’ 6抽頭濾波器係數記憶體253讀取動態向 量之分數值及與作為外侧產生用像素之數之2相關聯而記 憶之濾波器係數,供給至6抽頭FIR濾波器45。然後,處理 進展至步驟S408。 另一方面’在步驟S4〇5判定預測對應像素之預測圖像上 之位置並非外側之情形時,6抽頭濾波器係數記憶體253設 外側產生用像素之數為全部的產生用像素之數6之1/2即 3 ’使處理進展至步驟S4〇7。 157972.doc -87- 201233191 在步驟S407中,6抽頭濾波器係數記憶體253讀取動態向 量之分數值及與作為外側產生用像素之數之3相關聯而記 憶之渡波器係數’供給至6抽頭FIR濾波器45。然後,處理 進展至步驟S408。 在步驟S408中,6抽頭FIR濾波器45使用自像素輸出部 252供給之6個作為產生用像素之參照像素、與自6抽頭濾 波器係數記憶體253供給之濾波器係數而進行運算。6抽頭 FIR濾波器45將其結果獲得之丨個預測對應像素供給至像素 選擇部162 ^ _ 步驟S409至S414之處理,由於與圖22之步驟S62至圖23 之S67之處理相同,因此省略說明。 在步驟S415中,像素輸出部252基於產生對象之預測像 素之參照圖像上之位置,自中間結果記憶體5〇讀取6個81^ pel作為產生用像素。 在步驟S4 1 6中,6抽頭濾波器係數記憶體253判定產生對 象之預測像素之預測圖像上之位置是否為外側。在步驟 M16判定產生對象之預測像素之預測圖像上之位置為外側 _ 之清形時,6抽頭滤波器係數記憶體2 5 3設外侧產生用像素 之數為相較於全部產生用像素之數6之1/2即3更少之2,使 處理進展至步驟S417。 在步驟S41 7中,6抽頭濾波器係數記憶體253讀取動態向 量之垂直成分之分數值及與作為外側產生用像素之數之2 相關聯而S己憶之濾波器係數,供給至6抽頭FIR濾波器45。 然後’處理進展至步驟S419。 157972.doc
S -88- 201233191 另一方面’在步驟S416判定產生對象之預測像素之預測 圖像上之位置並非外側之情形時,6抽頭濾波器係數記憶 體253將外側產生用像素之數設為全部的產生用像素之數6 之1/2即3,使處理進展至步驟S418。 在步驟S418中,6抽頭濾波器係數記憶體253讀取動態向 量之垂直成分之分數值及與作為外側產生用像素之數之3 相關聯而記憶之濾波器係數,供給至6抽頭FIR濾波器45。 然後,處理進展至步驟S419。 在步驟S419中,6抽頭FIR濾波器45使用自像素輸出部 252供給之6個作為產生用像素之gub pei、與自6抽頭渡波 器係數記憶體253供給之濾波器係數而進行運算。6抽頭 FIR;慮波器45將其結果獲得之1個sub pel供給至像素選擇部 162。 步驟S420及S421由於與圖23之步驟S76及S77之處理相 同,因此省略說明。 另,在圖64之框間預測部24中,1次運算所使用之產生 用像素之數雖設為6個,但產生用像素之數並非限定於6。 又’在圖66及圖67之框間預測處理中,外側產生用像素之 數雖设為全部產生用像素之數之1/2、或少於全部產生用 像素之數之1/2之數,但外側產生用像素之數並非限定於 此。其中,外側產生用像素之數為接近全部產生用像素之 數之1/2之數時,預測圖像之精度較佳。即,產生預測圖 像時,使用較預測像素更近者作為產生用像素之方法,使 預測圖像之精度更佳。 157972.doc •89· 201233191 [參照像素之其他例] ^及圖69係顯示產生用像素之數為8之情形之圖^之 s預測部24之參照像素之例之圖’圖7〇係顯示產生用像 素之數為7之情形之圖64之框間預測部24之參照像素之例 之圖。 另,在圖68中,顯示框間預測之區塊之尺寸為4x4像素 之情形時,於水平方向排列之水平方向之位置為Μ像素 位置、垂直方向之位置為整數位置之4個預測像素各自之 產生時使用之參照像素之例。 在圖68之例中,最外側之預測像素之外側產生用像素之 數為3 ’最内側之預測像素之外側產生用像素之數為*。 具體而言,於水平方向排列之水平方向之位置為1/2像 素位置、垂直方向之位置為整數位置之4個預測像素中最 外側之標註編號1及編號4之正方形所表示之預測像素,係 使用該預測像素之外側之3個參照像素、與内側之5個參照 像素而產生。 又’較標註編號1及4之正方形所表示之預測像素内侧j 個之標註編號2及3之正方形所表示之預測像素,係使用位 於該預測像素之内外各4之合計8個參照像素而產生。即, 標註編號2及3之正方形所表示之預測像素之外側產生用像 素之數,相較於標註編號1及4之正方形所表示之預測像素 之外側產生用像素之數3多,即為4。 如以上所述,由於圖64之框間預測部24使外側之預測像 素之外側產生用像素之數少於内側之預測像素之外侧產生 157972.doc -90- 201233191 用像素之數,因此於水平方向排列之框間預測所需之參照 像素之數為較先前之情形之11更少之9。其結果,可削減 圖框記憶體22之記憶頻帶之使用量。 。另,如圖68所示,預測像素為Sub ple b之情形,標註編 號1及4之正方形表示之預測像素之產生時使用之對應於作 為動態向量之分數值之1/2與作為外側產生用像素之數之3 之滤波器係數,例如自對應之產生用像素之外側依序為 3、-10、39、42、-14、7、-4、1。 又預測像素為Sub pie a之情形,最外側之預測像素之 產生時使用之對應於作為動態向量之分數值之1/4與作為 外側產生用像素之數之3之濾波器係數,例如自對應之產 生用像素之外側依序為2、-9、56、20、-8、4、-2、1。預 測像素為Sub pie c之情形,最外側之預測像素之產生時使 用之對應於作為動態向量之分數值之3/4與作為外側產生 用像素之數之3之濾波器係數’例如自對應之產生用像素 之外侧依序為 2、-6、1 8、58、-11、5、-3、1。 又’在圖69中,顯示框間預測之區塊之尺寸為8x8像素 之情形時,於水平方向排列之水平方向之位置為1/2像素 位置、垂直方向之位置為整數位置之4個預測像素各自之 產生時使用之參照像素之例。 在圖69之A中,最外側之預測像素之外側產生用像素之 數為3,最内側之預測像素之外側產生用像素之數為4。 具體而言,於水平方向排列之水平方向之位置為1/2像 素位置、垂直方向之位置為整數位置之8個預測像素中最 157972.doc -91 · 201233191 外侧之標註編號〗及8之正方形表示之預測像素,係與圖68 之情形同樣使用該預測像素之外側之3個參照像素 '與内 側之5個參照像素而產生。 又,較標註編號1及8之正方形表示之預測像素更内側之 標註編號2至7之正方形表示之預測像素,係使用位於該預 測像素之内外各4之合計8個參照像素而產生。即,標註編 號2至7之正方形表示之預測像素之外侧產生用像素之數, 相較於標註編號1及8之正方形表示之預測像素之外側產生 用像素之數即3多4個。 如以上所述,由於圖64之框間預測部24使外側之預測像 素之外側產生用像素之數少於内側之預測像素之外側產生 用像素之數,因此於水平方向排列之框間預測所需之參照 像素之數為較先前之情形之15更少之13 ^其結果,可削減 圖框記憶體22之記憶頻帶之使用量。 在圖69之B中,最外側之預測像素之外側產生用像素之 數為2,較該預測像素内侧1個之預測像素之外側產生用像 素之數為3,最内侧之預測像素之外侧產生用像素之數為 4。 具體而言’於水平方向排列之水平方向之位置為1/2像 素位置、垂直方向之位置為整數位置之8個預測像素中最 外側之標註編號1及8之正方形所表示之預測像素,係使用 該預測像素之外側之2個參照像素、與内側之6個參照像素 而產生。 又,較標註編號1及8之正方形所表示之預測像素内側1 157972.doc •92· 201233191 個之標註編號2及7之正方形所表示之預測像素,係使用位 於該預測像素之外侧之3個參照像素、與内側之5個參照像 素而產生。再者,較標註編號2及7之正方形所表示之預測 像素更内側之標註編號3至6之正方形所表示之預測像素, 係使用與圖69之A之情形相同之參照像素而產生。 藉由以上之處理,圖69之B之情形,於水平方向排列之 框間預測所需之參照像素之數為比圖69之A之情形的丨3更 少之11。其結果,可進一步削減圖框記憶體22之記憶頻帶 之使用量。 另’如圖69之B所示’預測像素為Sub pie b之情形,標 s主編號1及8之正方形所表示之預測像素之產生時使用之對 應於作為動態向量之分數值之1/2與作為外側產生用像素 之數之2之濾波器係數,例如自對應之產生用像素之外側 依序為ό 36、44、-16、9、-5、3、-1。又,標註編號2 及7之正方形表示之預測像素之產生時使用之對應於作為 動態向量之分數值之1/2與作為外侧產生用像素之數之3之 濾波器係數,例如自對應之產生用像素之外側依序為3、 -10、39、42、-14、7、-4、1 〇再者,標註編號3至6之正 方形表示之預測像素之產生時使用之對應於作為動態向量 之刀數值之1/2與作為外側產生用像素之數之4之濾波器係 數’例如自對應之產生用像素之外側依序為-1、4、-11、 40 、 40 、 -11 、 4 、 。 又,預測像素為Sub pie a之情形,最外側之預測像素之 產生時使用之對應於作為動態向量之分數值之1/4與作為 157972.doc •93· 201233191 外側產生用像素之數之2之渡波器係數,例如自對應之產 生用像素之外側依序為·5、54、22、_1〇、“ 4、2、卜 又’較最外側内側1個之預測像素之產生時使用之對應於 作為動態向量之分數值之1/4與作為外側產生用像素之數 之3之據波器係數’例如自對應之產生用像素之外側依序 為2 9 56、20、·8、4、-2、1。再者,自最外侧内側2 個以上之預測像素之產生時使用之對應於作為動態向量之 刀數值之1/4與作為外側產生用像素之數之4之滤波器係 數例如自對應之產生用像素之外侧依序為-1、4、-10、 # 57 、 19 、 -7 、 3 、 -1 〇 預測像素為Sub pie c之情形,最外側之預測像素之產生 時使用之對應於作為動態向量之分數值之3/4與作為外側 產生用像素之數之2之濾波器係數,例如自對應之產生用 像素之外侧依序為-3、16、60、-13、7、-4、2、-1。又, 較最外側内⑷個之預測像纟之產生時使用t對應於作為 動態向量之分數值之3/4與作為外側產生用像素之數之3之 遽波器係數,例如自對應之產生用像素之外側依序為2、φ 6 1 8 58、·11、5、_3、丨。再者,自最外側内側2個以 上之預測像素之產生時使用之對應於作為動態向量之分數 值之3/4與作為外側產生用像素之數之4之濾波器係數,例 如自對應之產生用像素之外側依序為3、-7、19、 57、-10、4、·ι。 在圖7〇中’顯示框間預測之區塊之尺寸為4x4像素之情 形時,於水平方向排列之水平方向之位置為1/2像素位 157972.doc
S • 94· 201233191 置、垂直方向之位置為整數位置之4個預測像素各自之產 生時使用之參照像素之例。 在圖70之例中,最外側之預測像素之外側產生用像素之 數為2 ’最内側之預測像素之外側產生用像素之數為3。、 具體而言,於水平方向排列之水平方向之位置為〖Ο像 素位置,方向之位置為整數位置之4個預測像素中最 外側之標註編號丨及編號4之正方形所表示之預測像素,係 使用該預測像素之外側之2個參照像素、與内側之5個參照 像素而產生。 又,較標註編號1及4之正方形所表示之預測像素更内側 之標註編號2及3之正方形所表示之預測像素,係使用該預 測像素之外側之3個參照像素、與内側之4個參照像素而產 生。 ' 如以上所述,由於圖64之框間預測部24使外側之預測像 素之外侧產生用像素之數少於内側之預測像素之外側產生 用像素之數,因此於水平方向排列之框間預測所需之參照 像素之數為較先前之情形之丨〇更少之7 ^其結果,可削減 圖框記憶體22之記憶頻帶之使用量。 另,如圖70所示,預測像素為Sub ple b之情形,標註編 號1及4之正方形表示之預測像素之產生時使用之對應於作 為動態向量之分數值之丨/2與作為外側產生用像素之數之2 之滤波器係數’例如自對應之產生用像素之外側依序 為-6 、 36 、 44 、 -15 、 8 、 .4 、 1 。 又,預測像素為Sub ple a之情形,最外側之預測像素之 157972.doc -95- 201233191 產生時使用之對應於作為動態向量之分數值之l/4與作為 外側產生用像素之數之2之濾波器係數,例如自對應之產 生用像素之外側依序為-5、54、21、-9、5、-3、1。預測 像素為Sub pie c之情形’最外側之預測像素之產生時使用 之對應於作為動態向量之分數值之3/4與作為外側產生用 像素之數之2之濾波器係數’例如自對應之產生用像素之 外侧依序為-3、16、59、-12、6、-3、1。 另,雖圖示省略,但在圖68至圖7〇之例中,水平方向之 位置為整數位置、垂直方向之位置為分數位置之預測像素 · 之參照像素,與圖68至圖70之參照像素同樣以使最外側之 預測像素之較預測像素更外側之參照像素之數少於更内側 之預測像素之較預測像素更外側之參照像素之數之方式而 決定。 又,於垂直方向排列之水平方向及垂直方向之位置為 1/2像素位置之4個預測像素各自之產生時使用之參照像素 與圖68至圖70之參照像素相同,係最外側之預測像素之較 預測像素更外側之數少於最内側之預測像素之較預測像素鲁 更外側之數之預測對應像素之產生時使用之參照像素。 另,可變更水平方向之位置為分數位置之像素之產生時 使用之於水平方向排列之外側產生用像素之數、與垂直方 向之位置為分數位置之像素之產生時使用之於垂直方向排 列之外側產生用像素之數。 具體而言,例如,圖框記憶體22之讀取單位為水平方向 上連續之特定數之像素之情形,即使削減水平方向上排列 157972.doc
S *96- 201233191
之參照像素之數’讀取次數仍可能不變彳卜但,若垂直方 向上排列之參照像素之數削減即使1個,則讀取次數得以 削減。即’該情形’相較於水平方向之參照像素數之削減 效果’垂直方向之參照像素數之肖,m效果之-方較大。因 此’該情形’相較於水平方向之位置為分數位置之像素之 產生時使用之水平方向上排列之外側產生用像素之數,優 先削減垂直方向之位置為分數位置之像素之產生時使用之 垂直方向上排列之外側產生用像素之數。藉此可一方面 抑制預測圖像之精度之劣化,並削減記憶頻帶。 同樣的,圖框記憶體22之讀取單位為垂直方向上連續之 特定數之像素之情形+,相較於垂直方向之位置為分數位 置之像素之產生時使用之垂直方向上排列之外側產生用像 素之數,優先削減水平方向之位置為分數位置之像素之產 生時使用之水平方向上排列之外側產生用像素之數。另, 細節將參照後述之圖77至圖82而予以說明。 [框間預測部之第9構成例] 圖71係顯示圖3之框間預測部24之第9構成例之方塊圖。 圖71所示之構成之中,於與圖64之構成相同之構成上標 註相同之符號,適當省略重複之說明。 圖71之框間預測部24之構成與圖64之構成不同之點主要 在於’取代參照圖像讀取部25 1、像素輸出部252而設置有 參照圖像讀取部271、像素產生部272。圖71之框間預測部 24複製參照像素或Sub pei,以對應於外側之預測像素之6 個產生用像素中外侧之產生用像素之數少於對應於内側之 157972.doc -97- 201233191 預測像素之6個產生用像素中外側之產生用像素之數之方 式’產生各預測像素之產生用像素。 具體而言,圖71之框間預測部24之參照圖像讀取部 271 ’與圖64之纟照圖像讀取部251同樣基於框間預測模式 資訊中之參照索引及預測方向,而特定記憶於圖框記憶體 22之圖像中之參照圖像。參照圖像讀.取部271基於框間預 測模式資訊中之區塊之尺寸與動態向量之整數值’自圖框 記憶體22讀取使用於預測圖像之產生之參照像素而暫時保 持。 參照圖像讀取部271針對各預測像素讀取暫時保持之參 照像素之中使用於該預測像素之產生之參照像素。此時, 參照圖像讀取部271以使外側之預測像素之複製後之外侧 產生用像素之數少於内側之預測像素之複製後之外側產生 用像素之數之方式,決定各預測像素之參照像素而讀取。 另,此處,使用於預測像素之產生之參照像素之數為5或6 之任一者。參照像素讀取部271將讀取之參照像素供給至 像素產生部272。 像素產生部272與像素輸出部252同樣將自參照圖像讀取 部271供給之參照像素作為產生用像素。又,像素產生部 272基於自動態預測部25供給之動態向量之分數值,自中 間結果記憶體50讀取對應於產生對象之預測像素之Sub pel 作為產生用像素。此時’像素產生部272以使外側之預測 像素之複製後之外側產生用像素之數少於内側之預測像素 之複製後之外側產生用像素之數之方式,決定各預測像素
157972.doc .98. S 201233191 之Sub pel而讀取。另,此處,使用於預測像素之產生之 Sub pel之數為5或6之任一者。 又,像素產生部272作為像素產生部發揮功能,當產生 用像素之數小於6個之情形時’將該產生用像素中之外側 之像素複製與產生用像素之數為6個之差分,而產生包含 複製之像素與產生用像素之6個像素作為複製後的產生用 像素。像素產生部272將6個複製後的產生用像素供給至6 抽頭FIR濾波器45。 [複製後之產生用像素之例] 圖72係顯示框間預測之區塊之尺寸為4x4像素之情形 時’於水平方向排列之水平方向之位置為1/2像素位置、 垂直方向之位置為整數位置之4個預測像素各自之產生時 使用之複製後之產生用像素之例之圖。 另,在圖72中,標註編號之正方形表示預測像素,未標 註編號及英文字母之正方形表示參照像素。又,標註網點 之正方形表示使用於預測像素之產生之參照像素中之框間 預測之區塊之尺寸範圍内之參照像素,標註有斜線之正方 形表不超過框間預測之區塊之尺寸範圍之範圍之參照像 素。再者,標註英文字母之正方形表示參照像素經複製之 像素。以上各點在後述之圖75及圖76中亦相同。 在圖72之例中’預測像素係使用包含$個參照像素之6個 複製後的產生用像素而產生,最外側之預測像素之複製後 之外側產生用像素之數為2,最内側之預測像素之複製後 之外侧產生用像素之數為3。 157972.doc •99· 201233191 具體而言,產生對象係於水平方向排列之水平方向之位 置為1/2像素位置、垂直方向之位置為整數位置之4個預測 像素中最左側之標註編號丨之正方形所表示之預測像素之 情形時’參照圖像讀取部271將位於該預測像素之左邊i 個、及位於右邊4個之合計5個參照像素供給至像素產生部 272。像素產生部272複製該5個參照像素中左端之參照像 素作為該參照像素之左側之丨個整數位置之像素,而產生 包含該1個像素、與自像素產生部272供給之5個參照像素 之6個複製後的產生用像素。 又,產线象係較標註編方形m表示之預測像 素内側1個之標註編號2之正方形所表示之預測像素之情形 時,產生與對應於標註編號1之正方形表示之預測像素之6 個複製後的產生用像素相同者。 再者,產生對象係最右側之標註編號4之正方形所表示 之預測像素之情形時’參照圖像讀取部271將位於該預測 像素之右邊“固、位於左邊4個之合計5個參照像素供給至 像素產生部272。像素產生部272複製該5個參照像素中右 端之參⑽素作為該參照像素之右側之⑽整數位置之像 素’而產生包含該1個像素、與自像素產生部272供給之5 個參照像素之6個複製後的產生用像素。 又’產生對象係較標註編號4之正方报 _ 万$所表不之預測像 素内側1個之標註編號3之正方形胼志_ 乃心所表不之預測像素之 時,產生與對應於標註編號4之正方私從生 ^ 万形所表示之預測像去 之6個複製後的產生用像素相同者。 、 157972.doc -100· 201233191 如以上所述,圖71之框間預測部24使外側之預測像素之 外側產生用像素之數少於内側之預測像素之外側產生用像 素之數,且複製參照像素而作為產生用像素使用。因此, 水平方向上排列之框間預測所需之參照像素之數為相較於 圖65之情形之7更少之5。其結果,可進一步削減圖框記憶 體22之記憶頻帶之使用量。但,圖65之情形中,由於最外 側之產生用像素之位置之參照像素使用於預測像素之產 生,因此相較於圖72之情形,預測圖像之精度更好。 # 又,圖7 1之框間預測部24,對應於預測像素之產生用像 素之數皆為5個。因此,藉由使對應於外側之預測像素之 產生用像素之數為2個,相較於使水平方向上排列之框間 預測所需之參照像素之數為與圖71之框間預測部24之情形 相同之5之情形,預測圖像之精度更好。 另,雖圖示省略,但在圖71之例之情形中,於垂直方向 排列之垂直方向之位置為1/2像素位置、水平方向之位置 為整數位置之4個預測像素各自之產生時使用之6個複製後 鲁 的產生用像素,以最外側、即上下端之預測像素之較預測 像素更外側之參照像素之數為1、最内側之預測像素之較 預測像素更外侧之參照像素之數為2之方式而決定。 又’於垂直方向排列之水平方向及垂直方向之位置為 1/2像素位置之4個預測像素各自之產生時使用之參照像 素’係最外側之預測像素之較預測像素更外側之數為i、 最内側之預測像素之較預測像素更外側之數為2之預測對 應像素之產生時使用之參照像素。因此,水平方向及垂直 157972.doc -101 · 201233191 方向之位置為1/2像素位置之4x4像素之預測圖像之產生時 使用之參照像素之範圍為5x5像素,少於圖65之7x7像素。 [框間預測處理之第9例之說明] 圖73及圖74係說明藉由圖71之框間預測部24之圖20之步 驟S 1 5之框間預測處理之細節之流程圖。 圖73之步驟S440至S443由於與圖66之步驟S400至S403之 處理相同,因此省略說明。另,有複數個預測對應像素之 情形’以下之步驟S444至S454之處理係針對各預測對應像 素進行。 在步驟S444中,參照圖像讀取部271基於產生對象之預 測像素之參照圖像上之位置,讀取在步驟S442保持之參照 像素之中使用於預測對應像素之產生之參照像素。參照圖 像讀取部271將讀取之參照像素作為產生用像素而供給至 像素產生部272。 步驟S445至S447之處理由於與圖66之步驟S405至S407之 處理相同,因此省略說明。 在步驟S448中’像素產生部272判定自參照圖像讀取部 27 1供給之參照像素之數是否為5。在步驟S448判定參照像 素之數為5之情形時’處理進展至步驟S449。 在步驟S449中,像素產生部272複製自參照圖像讀取部 271供給之5個參照像素中外側之參照像素作為該參照像素 之外側之1個整數位置之像素,而產生包含該丨個像素與5 個參照像素之6個產生用像素。然後,像素產生部272將產 生之6個產生用像素供給至6抽頭FIR濾波器45,使處理進 157972.doc -102- 201233191 展至步驟S450。 另一方面,在步驟S448判定參照像素之數並非5之情 形’即參照像素之數為6之情形時,處理進展至步驟 S450 〇 步驟S450至S45 6之處理由於與圖66之步驟S408至圖67之 S414之處理相同,因此省略說明。 在圖74之步驟S457中,像素產生部272基於產生對象之 預測像素之參照圖像上之位置’自中間結果記憶體5〇讀取 Sub pel作為產生用像素。 步驟S458至S460之處理由於與圖67之步驟S416至S418之 處理相同,因此省略說明。 步驟S461至步驟S463之處理除了取代參照像素而對Sub Pel進行之點以外,與圖73之步驟S448至S450之處理相 同,故省略說明》 步驟S464及S465由於與圖67之步驟S420及S421相同,因 此省略說明。 另’在圖71之框間預測部24中,1次運算所使用之產生 用像素之數雖設為6個,但產生用像素之數並非限定於6。 又,產生用像素中之參照像素之數並非限定於5或6。再 者’在圖7 3及圖7 4之框間預測處理中,外側產生用像素之 數雖設為全部產生用像素之數之1/2、或少於全部產生用 像素之數之1/2之數,但外側產生用像素之數並非限定於 此。 [複製後之產生用像素之其他例] 157972.doc •103- 201233191 圖75及圖76係顯示複製後的產生用像素之數為8之情形 之圖71之框間預測部24之複製後的產生用像素之例之圖。 另’在圖75中,顯示框間預測之區塊之尺寸為4χ4像素 之情形時,於水平方向排列之水平方向之位置為1/2像素 位置、垂直方向之位置為整數位置之4個預測像素各自之 產生時使用之複製後的產生用像素之例。 在圖75之例中,預測像素係使用包含7個參照像素之8個 複製後的產生用像素而產生,最外側之預測像素之複製後 的外側產生用像素之數為3,最内側之預測像素之複製後 春 的外側產生用像素之數為4。 具體而言’於水平方向排列之水平方向之位置為1/2像 素位置、垂直方向之位置為整數位置之4個預測像素中最 左侧之標s主編號1及編號4之正方形所表示之預測像素,係 使用該預測像素之外側之3個複製後的外侧產生用像素、 與内侧之5個參照像素而產生。另,3個複製後的外側產生 用像素包含鄰接於預測像素之外側之2個參照像素、與藉 由複製該參照像素中最外側之參照像素而獲得之該參照像籲 素之外側之1個整數位置之像素。 又,較標註編號1及4之正方形所表示之預測像素内側1 個之‘ 主編號2及3之正方形所表示之預測像素,係使用該 預測像素之外側之4個複製後的外側產生用像素、與内側 之4個參照像素而產生。另,4個複製後的外側產生用像素 包含鄰接於預測像素之外側之3個參照像素、與藉由複製 該參照像素中最外側之參照像素而獲得之該參照像素之外 157972.doc
S •104. 201233191 側之1個整數位置之像素。 如以上所述,圖71之框間預測部24使外側之預測像素之 外側產生用像素之數少於内側之預測像素之外側產生用像 素之數,且複製參照像素而作為產生用像素使用。因此, 水平方向排列之框間預測所需之參照像素之數為相較於圖 68之情形之9更少之7。其結果,可進一步削減圖框記憶體 22之記憶頻帶之使用量。但’圖68之情形中,由於最外側 之產生用像素之位置之參照像素使用於預測像素之產生, 因此相較於圖75之情形,預測圖像之精度更好。 另’如圖75所示,預測像素為Sub pie ^之情形,標註編 號1及4之正方形表示之預測像素之產生時使用之對應於作 為動態向量之分數值之1/2與作為外側產生用像素之數之3 之濾波器係數,例如自對應之產生用像素之外側依序為 -6、36、44、-16、9、-5、3、-1 〇 又,預測像素為Sub pie a之情形,最外側之預測像素之 產生時使用之對應於作為動態向量之分數值之1/4與作為 外側產生用像素之數之3之濾波器係數,例如自對應之產 生用像素之外侧依序為_5、54、22、_1〇、6、_4、2、_卜 預測像素為Sub ple c之情形,最外側之預測像素之產生時 使用之對應於作為動態'向量之分數值之3/4與㈣外側產 生用像素之數之3之濾波器係數,例如自對應之產生用像 素之外側依序為-3、16、6〇、_13、7、_4、2、」。 又,在圖76中,顯示框間預測之區塊之尺寸為8χ8像素 之情形時,於水平方向排列之水平方向之位置為1/2像素 157972.doc 201233191 位置、垂直方向之位置為.整數位置之8個預測像素各自之 產生時使用之複製後的產生用像素之例。 在圖76之例中,預測像素係使用包含7個或8個參照像素 之8個複製後的產生用像素而產生,最外側之預測像素之 複製後的外側產生用像素之數為3,最内側之複製後的預 測像素之外侧產生用像素之數為4。 具體而言,於水平方向排列之水平方向之位置為1 /2像 素位置、垂直方向之位置為整數位置之8個預測像素中最 外側之標註編號1及編號8之正方形所表示之預測像素,係 痛 使用該預測像素之外側之3個複製後的外側產生用像素、 與内側之5個參照像素而產生。另,3個複製後的外側產生 用像素包含鄰接於預測像素之外側之2個參照像素、與藉 由複製該參照像素中最外側之參照像素而獲得之該參照像 素之外側之1個整數位置之像素。 又’較標s主編號1及8之正方形所表示之預測像素内側j 個之標註編號2及7之正方形所表示之預測像素,係使用該 預測像素之外側之4個複製後的產生用像素、與内側之4個籲 參照像素而產生。另,4個複製後的外側產生用像素包含 鄰接於預測像素之外側之3個參照像素、與藉由複製該參 照像素中最外側之參照像素而獲得之該參照像素之外侧之 1個整數位置之像素。 較標註編號2及7之正方形所表示之預測像素更内側之標 註編號3至6之正方形所表示之預測像素,係使用位於該預 測像素之内外各4之合計8個產生用像素而產生。 157972.doc
S •106· 201233191 如以上所述,圖71之框間預測部24使外側之預測像素之 外側產生用像素之數少於内側之預測像素之外側產生用像 素之數,且複製參照像素而作為產生用像素使用。因此, 水平方向上排列之框間預測所需之參照像素之數為相較於 圖69之A之情形之13更少之11。其結果,可進一步削減圖 框記憶體22之記憶頻帶之使用量。但,圖69之A之情形 中,由於最外側之產生用像素之位置之參照像素使用於預 測像素之產生,因此相較於圖76之情形,預測圖像之精度 更好。 另’雖圖示省略’但在圖75及圖76之例中,水平方向之 位置為整數位置、垂直方向之位置為分數位置之預測像素 之參照像素,與圖75及圖76之參照像素同樣以使最外側之 預測像素之複製後的外側產生用像素之數少於最内侧之預 測像素之複製後的外側產生用像素之數之方式而決定。 又’於垂直方向排列之水平方向及垂直方向之位置為 1/2像素位置之4個預測像素各自之產生時使用之參照像素 與圖7 5及圖7 6之參照像素相同,係包含於最外側之預測像 素之較預測像素更外側之數少於最内側之預測像素之較預 測像素更外侧之數之複製後的產生用像素之預測對應像素 之產生時使用之參照像素。 另,圖示省略’編碼裝置1〇具備圖64及圖71之框間預測 部24之情形,解碼裝置1〇〇之框間預測部U1亦與圖64及圖 7 1之框間預測部24同樣構成。 又,在上述之框間預測處理中,預測方向為兩方向之預 157972.doc -107- 201233191 測之情形時’自相較於設為框間預測之對象之圖像顯示時 刻更早之參照圖像產生之預測圖像、與自顯示時刻更遲之 參照圖像產生之預測圖像針對各像素予以平均化,而輸出 至選擇部26。 [框間預測部之第10構成例] 圖77係顯示圖3之框間預測部24之第10構成例之方塊 圖。 圖77所示之構成之中,於與圖64之構成相同之構成上標 註相同之符號,適當省略重複之說明。 圖77之框間預測部24之構成與圖64之構成不同之點主要 在於,取代參照圖像讀取部251、像素輸出部252、6抽頭 FIR濾波器45、6抽頭濾波器係數記憶體253、像素選擇部 162,而設置有參照圖像讀取部291、像素調度部292、8抽 頭FIR濾波器293及4抽頭FIR濾波器294、8抽頭濾波器係數 記憶體295及4抽頭濾波器係數記憶體296、像素選擇部 297。 圖77之框間預測部24當預測像素之水平方向及垂直方向 之位置為分數位置之情形時,以垂直方向排列之外側產生 用像素之數少於水平方向排列之外側產生用像素之數之方 式,決定使用於各預測像素之產生之產生用像素。 具體而言’框間預測部24之參照圖像讀取部291,與圖 64之參照圖像讀取部251同樣基於框間預測模式資訊中之 參照索引及預測方向’而特定記憶於圖框記憶體22之圖像 中之參照圖像。參照圖像讀取部291與參照圖像讀取部251 157972.doc -108- 201233191 同樣基於框間預測模式資訊中之區塊之尺寸與動態向量, 自圖框記憶體22讀取使用於預測圖像之產生之參照像素而 暫時保持。 參照圖像讀取部291作為像素讀取部發揮功能,針對各 預測像素讀取暫時保持之參照像素之中使用於該預測像素 之產生之8個參照像素。此時,參照圖像讀取部291以使外 側之預測像素之參照像素之中較預測像素更外側之參照像 素之數少於内側之預測像素之參照像素之中較預測像素更 外側之參照像素之數之方式’決定各預測像素之8個參照 像素而讀取。參照像素讀取部291將讀取之8個參照像素供 給至像素調度部292 » 像素調度部292與圏64之像素輸出部252同樣設自參照圖 像讀取部291供給之參照像素為產生用像素。又,像素調 度部292基於自動態預測部25供給之動態向量之分數值, 自中間結果記憶體50讀取對應於產生對象之預測像素之4 個Sub pel作為產生用像素。此時,像素調度部292以設為 外側之預測像素之外側產生用像素之Sub pei之數少於設為 内側之預測像素之外側產生用像素之!§ub pei之數之方式, 決疋δ又為各預測像素之產生用像素之4個sub pel而讀取。 又’像素調度部292將8個產生用像素供給至8抽頭FIR濾波 器293 ’將4個產生用像素供給至4抽頭FIR濾波器294。 8抽頭FIR濾波器293作為運算部發揮功能,使用自像素 調度部292供給之8個產生用像素、與自8抽頭濾波器係數 §己憶體2 9 5供給之滤波器係數而進行運算β 8抽頭FI r渡波 157972.doc •109- 201233191 器293將其結果獲得之1個像素供給至像素選擇部297。 4抽頭FIR濾波器294作為運算部發揮功能,使用自像素 調度部292供給之4個產生用像素、與自4抽頭濾波器係數 記憶體296供給之濾波器係數而進行運算。4抽頭fir濾波 器294將其結果獲得之1個像素供給至像素選擇部297。 8抽頭遽波器係數記憶體295與動態向量之分數值、及外 側產生用像素之數相關聯而記憶有8抽頭FIR濾波器293用 之滤波器係數。8抽頭濾波器係數記憶體295基於自動態預 測部25供給之動態向量之分數值、與產生對象之預測像素 之預測圖像上之位置’將與該分數值、及對應於該位置之 外側產生用像素之數相關聯而記憶之濾波器係數供給至8 抽頭FIR濾波器293。 4抽頭濾波器係數記憶體296與動態向量之分數值、及外 側產生用像素之數相關聯而記憶有4抽頭FIR濾波器294用 之濾波器係數》4抽頭濾波器係數記憶體296基於自動態預 測部25供給之動態向量之分數值、與產生對象之預測像素 之預測圖像上之位置,將與該分數值、及對應於該位置之 外側產生用像素之數相關聯而記憶之濾波器係數供給至4 抽頭FIR濾波器294。 像素選擇部297與圖64之像素選擇部162同樣基於自動態 預測部25供給之動態向量之分數值,將自8抽頭FIR渡波器 293或4抽頭FIR濾波器294供給之像素作為預測像素而輸出 至圖3之選擇部26,或供給至中間結果記憶體5〇。 [參照像素之例] I57972.doc -110· 201233191 圖78係顯示水平方向上排列之外側產生用像素之數與垂 直方向上排列之外側產生用像素之數相同之情形之參照像 素之例之圖。 另’在圖78之例中’框間預測之區塊之尺寸為4χ4像 素’預測像素係水平方向之位置為1/2像素位置、垂直方 向之位置為1/2像素位置之sub pel f。此在後述之圖79中亦 相同。 又,在圖78中,標註f之正方形表示作為預測像素之Sufc> pel f’標註d之正方形表示sub pel d。未標註英文字母之 正方形表示參照像素。再者,標註網點之正方形表示使用 於預測像素之產生之參照像素中之框間預測之區塊之尺寸 範圍内之參照像素,標註有斜線之正方形表示超過框間預 測之區塊之尺寸範圍之範圍之參照像素。以上各點在後述 之圖7 9中亦相同。 再者’在圖78之例中’最外側之預測像素之外側產生用 像素之數為3 ’最内側之預測像素之外側產生用像素之數 為4°又’各預測像素之產生用像素之數為8。 該情形,如圖78所示,首先,對應於4x4像素之預測像 素之9M像素之Sub pel d係分別使用垂直方向上排列之8個 參照像素作為預測對應像素而產生。此時,由於外側之 Sub pel d之外側產生用像素之數為3,内側之sub pel d之 外側產生用像素之數為4,因此使用於9x4像素之Sub pei d 之產生之參照像素之數為81(=9χ9)。 其後’作為4x4像素之預測像素之Sub pel f係分別使用 157972.doc -111· 201233191 作為預測對應像素之9x4像素之Sub pel 之水平方向上 排列之8個Sub Pel d而產生。具體而言,外側之_州鴣 使用水平方向上排列之3個作為外側產生用像素之祕㈨ d、與較該Sub pel f更内側之水平方向上排列之⑽作為產 生用像素之Sub pel d而產生。另一方面,内側之㈣^ f 係使用水平方向上排列之4個作為外側纟生时素之㈣
Pel d'肖較該Sub pel f更内侧之水平方向上排列之*個作 為產生用像素之Sub pel d而產生。 因此,圖78之例之情形,預測方向為L〇預測或u預測 時’為產生4M像素之Sub pel f作為預測像素,需要9χ9像 素之參照像素。又’為產生Sub pel d,需要—過 濾處理’為使用Sub pel d而產生Sub pel f,需要16(=4χ4) 次過濾處理。 又,預測方向為雙預測時’為產生4x4像素之Sub pH f 作為預測像素,需要9x9像素之2倍之參照像素。又,為產 生Sub pel d,需要72(=9χ4χ2)次過濾處理,為產生Sub pel f’需要32(=4Mx2)次過濾處理。 因此,圖77之框間預測部24以使垂直方向上排列之外側 產生用像素之數少於水平方向上排列之外側產生用像素之 數之方式而讀取參照像素,藉此削減參照像素之數及過濾 處理之次數。 圖79係顯示圖77之框間預測部24之參照像素之例之圖。 在圖79之例中,最外侧之預測像素之水平方向上排列之 外側產生用像素之數為3,最内側之預測像素之水平方向 157972.doc -112- 201233191 上排列之外側產生用像素之數為4。另一方面,最外側之 預測像素之垂直方向上排列之外側產生用像素之數為丄, 最内側之預測像素之垂直方向上排列之外側產生用像素之 數為2。 如圖79所示,框間預測部24首先分別使用水平方向上排 列之8個參照像素作為預測對應像素,而產生對應於4x4像 素之預測像素之4 X 5像素之Sub pel b。此時,由於外側之 Sub pel b之外侧產生用像素之數為3,内側之Sub以丨卜之 外側產生用像素之數為4,因此使用於4x5像素之Sub pel b 之產生之參照像素之數為45(=9x5)。 其後,框間預測部24分別使用作為預測對應像素之4χ5 像素之Sub pel b中之垂直方向上排列之4個Sub pel b,而 產生作為4x4像素之預測像素之Sub pei 具體而言,框 間預測部24使用1個作為外側產生用像素之Sub pei b、與 較該Sub pel f更内側之垂直方向上排列之3個作為產生用 像素之Sub pel b而產生外側之Sub pel f。又,框間預測部 24使用垂直方向上排列之2個作為外側產生用像素之 pel b、與較該Sub pel f更内侧之垂直方向上排列之2個作 為產生用像素之Sub pel b而產生内側之Sut> pei f。 因此,圖79之例之情形中,預測方向為L〇預測或L丨預測 時,產生4x4像素之Sub pel f作為預測像素所需之參照像 素為9x5像素,與圖78之情形相比,垂直方向上排列之參 照像素之數得以削減。又,產生Sub pel b所需之過遽處理 之次數為20(=4x5)次,使用Sub pel b而產生Sub pel f所需 157972.doc •113· 201233191 過/慮處理之次數為=4 。 需之過濾處理♦^ 產生預測像素所 又,箱ί 相較於圓78之情形得以削減。 為預測像:方向為雙預測時,產生4X4像素之Sub pel f作 二預广像素所需之參照像素削減至9χ5像素之2倍。又產 u pel b所需之過濾處理之次數為4〇㈠心)次為產 理之二,使用Μ—而產生Μ…所需之過滤處 -人數為32(=4X4X2)次。因此,與預測方向為l〇預測或 預“之情形相同,產生預測像素所需之過遽處理之次 數,相較於圖78之情形得以削減。 [圖框記憶體内之像素值之配置例】 圖8〇係顯示圖框記憶體22内之!圖框大小之像素值之配 置例之圖。 另,在圖80中,正方形表示像素值。 圖框記憶體22係藉由例如匯流排寬為32位元之 DRAM(Dynamic Random Access Mem〇ry :動態隨機存取記 憶體)而構成。又,如圖80所示,圖框記憶體22相對包含 水平方向上排列之4像素之像素群,以使分配至水平方向 上排列之像素群之位址連續之方式而分配位址。然後,圖 框記憶體22將各像素群之32位元之像素值對應於分配至該 像素群之位址而記憶。因此,在圖框記憶體22中,以1次 存取而讀取對應於1位址之像素群之像素值。 因此’藉由削減使用於預測像素之產生之垂直方向上排 列之參照像素,與削減水平方向上.排列之參照像素之數之 情形相比,可有效削減存取次數。即,由於圖框記憶體22 157972.doc •114· 201233191 之存取單位為包含水平方向上排列之4個像素之像素群, 因此即使用於預測像素之產生之水平方向上排列之參照像 素之數與存取次數不相同而削減該參照像素之數之情形 下,存取次數仍有不變化之可能性。但,由於使用於預測 象素之產生之垂直方向上排列之參照像素之數與存取次數 相同,因此藉由削減該參照像素之數,可有效削減存取次 數。 又,在圖框記憶體22中,進行突發存取之情形,可以較 少之記憶頻帶而有效讀取對應於連續之位址之像素值。因 此,對應於以矩形311包圍之連續之2位址之8像素之像素 值、即水平方向上排列之8像素之像素值,可藉由突發存 取而以較少之記憶頻帶有效讀取。但,對應於以矩形 包圍之不連續之2位址之8像素之像素值、即垂直方向上排 列之8像素之像素值,無法藉由突發存取而以較少之記憶 頻帶有效讀取。 藉由以上處理,預測像素之水平方向及垂直方向之位置 為分數位置之情形中,圖77之框間預測部24藉由使垂直方 向上排列之外側產生用像素之數少於水平方向上排列之外 側產生用像素之數,而削減預測像素之產生時使用之垂直 方向上排列之參照像素之數。其結果,可有效削減相對圖 框s己憶體22之存取次數。又,可削減突發存取時之記憶頻 帶。 再者,由於不削減預測像素之產生時使用之水平方向上 排列之參照像素之數,因此可抑制預測圖像之精度之劣 157972.doc 201233191 化,抑制編碼效率之降低β [框間預測處理之第1 0例之說明] 圖81及圖82係說明藉由圖77之框間預測部24之圖20之步 驟S 15之框間預測處理之細節之流程圖。 圖81之步驟S480至S483,由於與圖66之步驟S400至S403 之處理相同,因此省略說明。另,有複數個預測對應像素 之情形’以下之步驟S484至S492之處理係針對各預測對應 像素進行。 在步驟S484中,參照圖像讀取部291基於產生對象之預 測像素之參照圖像上之位置,讀取在步驟S482保持之參照 像素之中使用於預測對應像素之產生之8個參照像素。 另’預測像素之水平方向與垂直方向之位置為分數位置之 情形’預測對應像素係水平方向之位置為分數位置之像 素。參照圖像讀取部291將讀取之8個參照像素作為產生用 像素而供給至像素調度部292。 在步驟S485中,8抽頭濾波器係數記憶體295判定預測對 應像素之預測圖像上之位置是否為外側。在步驟S485判定 預測對應像素之預測圖像上之位置為外側之情形,8抽頭 慮波器係數記憶體295將外側產生用像素之數設為相較於 全部產生用像素之數8之1/2即4更少之3,使處理進展至步 驟S486 。 在步驟S486中,8抽頭濾波器係數記憶體295讀取動態向 量之分數值及與作為外側產生用像素之數之3相關聯而記 憶之濾波器係數,供給至8抽頭FIR濾波器293。然後,處 157972.doc •116· 201233191 理進展至步驟S488。 另一方面,在步驟S485判定預測對應像素之預測圖像上 之位置並非外側之情形時,8抽頭遽波器係、數記憶體別將 外側產生用像素之數設為全部產生用像素之數8之ι/2即 4’使處理進展至步驟S487。 在步驟S487中,8抽頭濾波器係數記憶體295讀取動態向 量之分數值及與作為外側產生用像素之數之4相關聯而記 憶之濾波器係數,供給至8抽頭FIR濾波器293。然後處 理進展至步驟S488 » 在步驟S488中,8抽頭FIR濾波器293使用自像素調度部 292供給之8個作為產生用像素之參照像素與自8抽頭濾 波器係數β己憶體2 9 5供給之濾波器係數而進行運算。8抽頭 FIR濾波器293將其結果獲得之i個預測對應像素供給至像 素選擇部297。 步驟S489至S494之處理由於與圖66之步驟S4〇9至圖67之 S414之處理相同,因此省略說明。 在步驟S495中,像素調度部292基於產生對象之預測像 素之參照圖像上之位置,自中間結果記憶體讀取*個sub pel作為產生用像素。 在步驟S496中,4抽頭濾波器係數記憶體296判定產生對 象之預測像素之預測圖像上之位置是否為外側。在步驟 S496判定產生對象之預測像素之預測圖像上之位置為外側 之情形時,4抽頭濾波器係數記憶體296設外側產生用像素 之數為相較於全部產生用像素之數4之1/2即2更少之1,使 157972.doc 117 201233191 處理進展至步驟S497。 在步驟S497中,4抽頭濾波器係數記憶體296讀取動態向 量之垂直成分之分數值及與作為外側產生用像素之數之j 相關聯而記憶之濾波器係數,供給至4抽頭fir遽波器 294。然後,處理進展至步驟S499。 另一方面’在步驟S496判定產生對象之預測像素之預測 圖像上之位置並非外側之情形時,4抽頭濾波器係數記憶 體296設外側產生用像素之數為全部產生用像素之數4之 1/2即2,使處理進展至步驟S498。 在步驟S498中,4抽頭濾波器係數記憶體296讀取動態向 量之垂直成分之分數值及與作為外側產生用像素之數之2 相關聯而記憶之濾波器係數,供給至4抽頭FIR濾波器 294。然後,處理進展至步驟S499。 在步驟S499中,4抽頭FIR濾波器294使用自像素調度部 292供給之4個作為產生用像素之Sub pel、與自4抽頭濾波 器係數記憶體296供給之濾波器係數而進行運算。4抽頭 FIR濾波器294將其結果獲得之1個Sub pel供給至像素選擇 部 297 ° 步驟S500及S501由於與圖67之步驟S420及S421之處理相 同,因此省略說明。 如以上所述,圖77之框間預測部24藉由使垂直方向上排 列之外側產生用像素之數少於水平方向上排列之外側產生 用像素之數,而削減預測像素之產生時使用之垂直方向上 排列之參照像素之數。其結果’可削減相對圖框記憶體22 157972.doc • 118· 201233191 之存取次數,削減突發存取時之記憶頻帶》 又’預測像素之水平方向與垂直方向之位置為分數位置 之情形’圖77之框間預測部24將預測對應像素設為水平方 向之位置為分數位置之像素。即,圖77之框間預測部24使 用參照像素產生與預測像素水平方向之位置相同之預測對 應像素後’使用該預測對應像素而產生預測像素。藉此, 與預測對應像素係垂直方向之位置為分數位置之像素之情 形相比,可減少過據處理之次數。
例如,預測對應像素係垂直方向之位置為分數位置之像 素之情形時,在與圖79之例相同之條件下,預測對應像素 之數為9x4像素,產生預測對應像素所需過濾處理之次數 為36(=9x4)次。與此相對,預測對應像素係水平方向之位 置為分數位置之像素之情形時,如圖79中說明般,預測對 應像素之數為4><5像素,產生預測對應像素所需過濾處理 之次數為較36次更少之2〇(=4x5)次。 另,在圖77之框間預測部24中,預測像素之水平方向及 垂直方向之位置為分數位置之情形時,雖使垂直方向上排 列之外側產生用像素之數少於水平方向上排列之外側產生 用像素之數,但預測像素之水平方向之位置為整數位置、 垂直方向之位置為分數位置之情形時,亦可使垂直方向上 排列之外側產生用像素之數少於水平方向上排列之外側產 生用像素之數。 157972.doc •119· 201233191 數,但在圖框記憶體2 2對應於1位址而記憶垂直方向上排 列之複數個像素之情形時,使水平方向上排列之外側產生 用像素之數少於垂直方向上排列之外侧產生用像素之數。 又’在圖77之框間預測部24中’雖相對所有巨區塊而使 垂直方向上排列之外側產生用像素之數少於水平方向上排 列之外侧產生用像素之數’但可僅相對B切片之巨區塊而 進行。 該情形,參照圖像之圖框數為2圖框,可削減有參照像 素之數增多之可能性之B切片之巨區塊之使用於預測像素 之產生之垂直方向上排列之參照像素。其結果,可削減相 對圖框記憶體22之存取次數,削減突發存取時之記憶頻 帶。又,由於不削減參照圖像之圖框數為丨圖框之B切片以 外之巨區塊之使用於預測像素之產生之垂直方向上排列之 參照像素,因此可抑制預測圖像之精度之劣化。再者,由 於以切片單位而變更垂直方向上排列之外側產生用像素之 數,因此與基於預測方向等而變更之情形相比,變更之控 制更容易。 又,僅預測方向為雙預測之情形時,可使垂直方向上排 列之外侧產生㈣素之數少於水平方向上排列之外側產生 用像素之數。該情形下,預測方向為雙預測,可削減參照 圖像之㈣數為2圖框之巨區塊之使用於預測像素之產生 之垂直方向上排列之參照像素。其結果,可削減相對圖框 記憶體22之存取次數,削減突發存取時之記憶頻帶。又, 由;預測方向為雙預測以外,不削減參照圖像之圖框數為 157972.doc 201233191 1圖框之巨區塊之使用於預測像素之產生之垂直方向上排 列之參照像素’因此可抑制預測圖像之精度之劣化。同樣 的,僅框間預測之區塊之尺寸為大於特定之尺寸之情形 時’可使垂直方向上排列之外側產生用像素之數少於水平 方向上排列之外側產生用像素之數。 又,圖77之框間預測部24雖使垂直方向上排列之產生用 像素之數相較於水平方向上排列之產生用像素之數削減, 但水平方向上排列之產生用像素之數與垂直方向上排列之 產生用像素之數可相同。 再者’圖示省略,在圖4、圖26、圖30、圖44、圖48、 圖52、圖61、及圖71之框間預測部24中,與圖77之框間預 測部24同樣地,可使垂直方向上排列之外側產生用像素之 數少於水平方向上排列之外側產生用像素之數。該情形, 在圖4、圖26、圖30、圖44、圖48、圖52、及圖61之框間 預測部24中’垂直方向上排列之產生用像素之數少於水平 方向上排列之產生用像素之數。 [框間預測部之第11構成例] 圖83係顯示圖3之框間預測部24之第11構成例之方塊 圖。 圖83之框間預測部24係由顏色用框間預測部321與亮度 用框間預測部322而構成。圖83之框間預測部24基於框間 預測模式資訊中之區塊之尺寸及預測方向、以及動態向量 之分數值’而決定使用於各預測像素之顏色成分與亮度成 分之各自之產生之產生用像素之數。 157972.doc -121 - 201233191 具體而言,圖83之框間預測部24之顏色用框間預測部 32 1基於來自圖框記憶體22之參照圖像、以及來自動態預 測部25之框間預測模式資訊及動態向量,產生各預測像素 之顏色成分而輸出。顏色用框間預測部3 2 1之細節,將參 照後述之圖84予以說明。 亮度用框間預測部322基於來自圖框記憶體22之參照圖 像、以及來自動態預測部25之框間預測模式資訊及動態向 量’產生各預測像素之亮度成分而輸出。’亮度用框間預測 部322之細節,將參照後述之圖88予以說明。 [顏色用框間預測部之構成例] 圖84係顯示圖83之顏色用框間預測部32 1之構成例之方 塊圖。 圖84之顏色用框間預測部321之構成之中,與圖77之構 成相同之構成上標註相同之符號,適當省略重複之說明。 圖84之顏色用框間預測部321之構成與圖77之構成不同 之點主要在於’取代參照圖像讀取部2 91、像素調度部2 9 2 而設置有參照圖像讀取部33 1、像素調度部332,及新設有 LUT(Look Up Table :查對表)333。 圖84之框間預測部24之參照圖像讀取部331,與圖77之 參照圖像讀取部291同樣基於框間預測模式資訊中之參照 索引及預測方向,而使記憶於圖框記憶體22之圖像中之參 照圖像特定。又,參照圖像讀取部331|LlJT333讀取框間 預測模式資訊中之區塊之尺寸及預測方向以及對應於動態 向量之分數值之水平方向及垂直方向之產生用像素數。 I57972.doc -122- 201233191 參照圖像讀取部331基於水平方向及垂直方向之產生用 像素數、框間預測模式資訊中之區塊之尺寸、及動態向量 整數值自圖框δ己憶體22讀取使用於預測圖像之顏色成 分之產生之參照像素之顏色成分。然後,參照圖像讀取部 3 3 1暫時保持讀取之參照像素之顏色成分。 參照圖像讀取部331基於水平方向或垂直方向之產生用 像素數,針對各預測H,讀取暫時保持之參照像素之顏 色成分之中使用於該預測像素之顏色成分之產生之作為產 籲 纟用像素數之4個或8個參照像素之顏色成分。參照圖像讀 取部331將讀取之4個或8個參照像素之顏色成分供給至像 素調度部332 » 像素調度部332設自參照圖像讀取部33丨供給之參照像素 之顏色成分為產生用像素之顏色成分。又,像素調度部 332自LUT333讀取自動態預測部25供給之框間預測模式資 訊中之區塊之尺寸及預測方向、以及對應於動態向量之分 數值之垂直方向之產生用像素數。 @ 像素調度部332基於垂直方向之產生用像素數,自中間 結果記憶體50讀取使用於產生對象之預測像素之顏色成分 之產生之垂直方向之作為產生用像素數之4個或8個Sub pel 之顏色成分而作為產生用像素之顏色成分。又,像素調度 部332將8個產生用像素之顏色成分供給至8抽頭FIR濾波器 293,將4個產生用像素之顏色成分供給至4抽頭FIR濾波器 294。 LUT333關聯框間預測之區塊之尺寸、預測方向、及成 157972.doc -123- 201233191 為對應於動態向量之分數值之預測像素之Sub pel之種類, 而記憶有產生用像素數。 [產生用像素數之說明] 圖85係顯示產生用像素數與參照像素數之關係之圖表。 另,在圖85中,橫軸係表示預測方向、框間預測之區塊 之尺寸、及成為預測像素之Sub pel之種類之組合。具體而
5,圖85之橫軸上記載之&至〇係表示Sub 之種類為Sub pel a至〇。又,記載於&至〇之下之數字係表示框間預測之 區塊之水平方向之尺寸(像素數),記載於該數字之下之數 字係表示框間預測之區塊之垂直方向之尺寸(像素數)。 又,記載於該數字之下之Uni係表示預測方向為L0預測或 L1預測,Bi係表示預測方向為兩方向之預測。 又’在圖85中’縱轴係表示以預測像素數而予以正規化 之參照像素數(以下,稱為正規化參照像素數)。即縱軸 之值係以預測像素數除參照像素數之值。又,在圖以中,
菱形係表示水平方向與垂直方向之產生用像素數為8之情 形之正規化參照像素數,正方形係表示水平方向之產生用 像素數為8、垂直方向之產生用像素數為4之情形之正規化 參、像素&再者,二角形係表示水平方向之產生用像· 數為4、垂直方向之產生韓素數為8之情形之正規化參 像素數,X·標記係表示水平方向與垂直方向之產生用像」 數為4之情形之正規化參照像素數。 如圖85所示,預測方向為兩方向之預測,枢間預測之垣 寸為4 4像纟,成為預測像素之SubPel之種類為Su 157972.doc
S •124· 201233191 pel e至g、i至k、及m至0之任一者之情形,正規化參照像 素數最多。 於LUT333中,使正規化參照像素數之最大值為特定值 以下之水平方向及垂直方向之產生用像素數,係與預測方 向、框間預測之區塊之尺寸、及成為預測像素之Sub 之 種類相關聯而記憶。 圖86及圖87係顯示記憶於LUT333之水平方向及垂直方 向之產生用像素數之例之圖。 • 另,在圖86及圖87之表中,項目「預測方向」、「區塊之 水平方向之尺寸」、「區塊之垂直方向之尺寸」、「Sub pei」 之資訊,分別為預測方向、框間預測之區塊之水平方向之 尺寸、框間預測之區塊之垂直方向之尺寸、成為預測像素 之Sub pel之種類。又,項目「水平方向之產生用像素 數」、「垂直方向之產生用像素數」之資訊分別為對應於各 項目「預測方向」、「區塊之水平方向之尺寸」、「區塊之垂 直方向之尺寸」、及「Sub pel」之資訊之水平方向之產生 _ 肖像素數、垂直方向之產生用像素數。以上各點在後述之 圖89及圖90中亦相同。 更詳細而言’項目「水平方向之產生用像素數」中之項 目「最大值6·1」之資訊為正規化參照像素數為6」以下之 水平方向之產生用像素數。又’項目「水平方向之產生用 像素數」中之項目「最大值5_2」之資訊、項目「最大值 3.8」之資訊,係在預測方向為兩方向之預測、框間預測 之區塊之尺寸小於8χ8像素之情形以外之情形下正規化 157972.doc -125· 201233191
向或垂直方向之產生用像素、 ’星號係表示無對應之水平方 、不進行對應之水平方向或垂 直方向之過濾處理。此在後述之圖89及圖9〇中亦相同 、區塊之水平方向之尺 及「Sub pel」之資訊, LUT333關聯項目「預測方向」、「 寸」、「區塊之垂直方向之尺寸」、及 而記憶例如項目「水平方向之產生用像素數」與「垂直方 向之產生用像素數」之項目「最大值61」、「最大值52」、 或「最大值3.8」之任一者之資訊。 另’在圖86及圖87之例中,在圖框記憶體22中,設為對 應於1位址而記憶水平方向上排列之複數個像素,成為預 測像素之Sub pel之種類為Sub pel e至g、1至让、及〇1至〇之 任一者,正規化參照像素數相同之情形,記憶有削減效果 更大之垂直方向之產生用像素數少於水平方向之產生用像 素數。此在後述之圖89及圖90中亦相同。 [亮度用框間預測部之構成例] 圖88係顯示圖83之亮度用框間預測部322之構成例之方 塊圖。 圖88之亮度用框間預測部322之構成之中,與圖4之構成 相同之構成上標註相同之符號,適當省略重複之說明。 圖88之亮度用框間預測部322之構成與圖4之構成不同之 I57972.doc -126- 201233191 點主要在於,取代參照圖像讀取部4 1、像素調度部42、像 素選擇部49而設置有參照圓像讀取部35 1、像素調度部 352、像素選擇部353之點,不設置6抽頭FIR濾波器45及6 抽頭濾波器係數記憶體48,及新設有LUT3 54。 圖88之框間預測部24之參照圖像讀取部351,與圖4之參 照圖像讀取部41同樣基於框間預測模式資訊中之參照索引 及預測方向,而使記憶於圖框記憶體22之圖像中之參照圖 像特定。又,參照圖像讀取部351自LUT354讀取框間預測 模式資訊中之區塊之尺寸及預測方向以及對應於動態向量 之分數值之水平方向及垂直方向之產生用像素數。 參照圖像讀取部35 1基於水平方向及垂直方向之產生用 像素數、框間預測模式資訊中之區塊之尺寸、及動態向量 之整數值,自圖框記憶體22讀取使用於預測圖像之亮度成 分之產生之參照像素之亮度成分。然後,參照圖像讀取部 351暫時保持讀取之參照像素之亮度成分。 參照圖像讀取部351基於水平方向或垂直方向之產生用 像素數’針對各預測像素,讀取暫時保持之參照像素之亮 度成分之中使用於該預測像素之亮度成分之產生之作為產 生用像素數之2個或4個參照像素之亮度成分。參照圖像讀 取部35 1將讀取之2個或4個參照像素之亮度成分供給至像 素調度部352。 像素調度部352設自參照圖像讀取部351供給之參照像素 之亮度成分為產生用像素之亮度成分。又,像素調度部 352自LUT354讀取自動態預測部25供給之框間預測模式資 157972.doc •127- 201233191 訊中之區塊之尺寸及預測方向、以及對應於動態向量之分 數值之垂直方向之產生用像素數。 像素調度部352基於垂直方向之產生用像素數,自中間 結果記徺體50讀取使用於產生對象之預測像素之亮度成分 之產生之垂直方向之作為產生用像素數之2個或4個Sub pel 之亮度成分而作為產生用像素之亮度成分。又,像素調度 部352將2個產生用像素之亮度成分供給至2抽頭FIR濾波器 43,將4個產生用像素之亮度成分供給至4抽頭FIR濾波器 44 〇 像素選擇部353基於自動態預測部25供給之動態向量之 分數值’將自2抽頭FIR濾波器43或4抽頭FIR濾波器44供給 之像素之亮度成分作為預測像素之亮度成分而輸出至圖3 之選擇部26 ’或供給至中間結果記憶體5〇。 具體而言,動態向量之水平成分及垂直成分之至少一方 之分數值為0之情形時’像素選擇部353將自2抽頭FIR濾波 器43或4抽頭FIR濾波器44供給之像素之亮度成分作為預測 像素之亮度成分而供給至選擇部26。另一方面,動態向量 之水平成分及垂直成分雙方之分數值不為〇之情形,像素 選擇部353將自2抽頭fir濾波器43或4抽頭FIR濾波器^供 給之像素之亮度成分即Sub pel之亮度成分供給至中間結果 記憶體50而加以保持。其結果,在2抽頭FIR濾波器43或4 抽頭FIR濾波器44中,使用保持於中間結果記憶體5〇之 pel之亮度成分進行再度運算。像素選擇部353將其結果獲 得之Sub Pe丨之亮度成分作為預測像素之亮度成分而輸出至 157972.doc •128- 201233191 選擇部26。另,預測方向為兩方向之預測之情形時,自相 較於設為框間預測之對象之圖像顯示時刻更早之參照圖像 而產生之預測像素之亮度成分、與自顯示時刻更遲之參照 圖像而產生之預測像素之亮度成分予以平均化,而輸出至 選擇部26。 LUT354對應於框間預測之區塊之尺寸、預測方向、及 成為對應於動態向量之分數值之預測像素之Sub pel之種 類’而記憶產生用像素數。 [記憶於LUT3 54之產生用像素數之例] 圖89及圖90係顯示記憶於圖之LUT354之水平方向及 垂直方向之產生用像素數之例之圖。 另,在圖89及圖90之表中,項目「水平方向之產生用像 素數」中之「最大值4.5」之資訊為正規化參照像素數為 4.5以下之水平方向之產生用像素數。又,項目「水平方 向之產生用像素數」中之「最大值31」之資訊,係在預 測方向為兩方向之預測、框間預測之區塊之尺寸小於8χ8 像素之情形以外之情形下,正規化參照像素數為3.丨以下 之水平方向之產生用像素數。項目「垂直方向之產生用像 素數」之項目「最大值4 5」與項目「最大值31」之資 訊,亦與項目「水平方向之產生用像素數」相同。 LUT354對應於項目「預測方向」、「區塊之水平方向之 尺寸」、「區塊之垂直方向之尺寸」、及「Sub pel」之資 訊,而記憶例如項目「水平方向之產生用像素數」與「垂 直方向之產生用像素數」之項目「最大值4.5」或「最大 157972.doc -129- 201233191 值3.1」之資訊。 [框間預測處理之第丨丨例之說明] 圖91及圖92係說明藉由圖83之框間預測部24之圖20之步 驟S 15之框間預測處理中、藉由顏色用框間預測部321之顏 色用框間預測處理之流程圖。 圖91之步驟S521及S522之處理,由於與圖81之步驟S480 及S481之處理相同,因此省略說明。 在步驟S523中,圖84之顏色用框間預測部321之參照圖 像讀取部331自LUT333讀取在步驟S522決定之預測圖像之 尺寸、框間預測模式資訊中之預測方向、及對應於動態向 量之分數值之水平方向及垂直方向之產生用像素數。 在步驟S524中,參照圖像讀取部331基於水平方向及垂 直方向之產生用像素數、動態向量之整數值、及預測圖像 之尺寸,自圖框記憶體22讀取使用於預測圖像之顏色成分 之產生之參照像素之顏色成分。然後,參照圖像讀取部 33 1暫時保持讀取之參照像素之顏色成分。 在步驟S525中’參照圖像讀取部33 1決定構成預測圖像 之預測像素之中尚未在步驟S525之處理中決定為產生對象 之預測像素之預測像素為產生對象之預測像素。 在步驟S526中,參照圖像讀取部331基於產生對象之預 測像素之參照圖像上之位置,讀取暫時保持之參照像素之 顏色成分之中使用於預測對應像素之顏色成分之產生之作 為產生用像素數之4個或8個參照像素之顏色成分。參照圖 像讀取部33 1將讀取之4個或8個參照像素之顏色成分供給 157972.doc -130- 201233191 至像素調度部332。 在步驟S527中,像素調度部332判定對應於自參照圖像 讀取部331供給之顏色成分之參照像素之數是否為8個。在 步驟S527判定參照像素之數為8個之情形時像素調度部 332將8個參照像素之顏色成分供給至8抽頭fir濾波器 293,使處理進展至步驟S528。 在步驟S528中,8抽頭FIR濾波器293使用自像素調度部 33 2供給之8個作為產生用像素之參照像素之顏色成分、與 自8抽頭濾波器係數記憶體295供給之濾波器係數而進行運 算。8抽頭FIR濾波器293將其結果獲得之丨個預測對應像素 供給至像素選擇部297 » 另一方面,在步驟S527判定參照像素之數並非8個之情 形,即參照像素之數為4個之情形時,像素調度部332將4 個參照像素之顏色成分供給至4抽頭FIR濾波器294,使處 理進展至步驟S529。 在步驟S529中,4抽頭FIR濾波器294使用自像素調度部 332供給之4個作為產生用像素之參照像素之顏色成分、與 自4抽頭濾波器係數記憶體296供給之濾波器係數而進行運 算。4抽頭FIR濾波器294將其結果獲得之“固預測對應像素 供給至像素選擇部297。 在步驟S530中,像素選擇部297判定自動態預測部以供 給之動態向量之水平成分與垂直成分雙方之分數值是否為 0以外。在步驟S530判定動態向量之水平成分與垂直成分 之至少一方之分數值為〇之情形時,處理進展至步驟 157972.doc 131 201233191 S531。 在步驟S531中,像素選擇部297將自斗抽頭打尺濾波器294 或8抽頭FIR濾波器293供給之預測對應像素之顏色成分作 為預測像素之顏色成分而輸出至圖3之選擇部26。另,此 時,預測方向為兩方向之預測之情形時,自相較於設為框 間預測之對象之圖像顯示時刻更早之參照圖像而產生之預 測像素之顏色成分、與自顯示時刻更遲之參照圖像而產生 之預測像素之顏色成分平均化而輸出至選擇部26。 在步驟S532中,參照圖像讀取部33丨判定是否產生全部 預測像素之顏色成分。在步驟8532判定尚未產生全部預測 像素之顏色成分之情形時,處理返回至步驟S525,重複步 驟S525至S532之處理,直到產生全部預測像素之顏色成分 為止。 另一方面,在步驟S532判定產生全部預測像素之情形 時,處理結束。 又,在步驟S530判定動態向量之水平成分與垂直成分雙 方之分數值為〇以外之情形時,處理進展至步驟S533。 在步驟S533中,像素選擇部297將自4抽頭FIR濾波器294 或8抽頭FIR滤波器293供給之作為預測對應像素之sub pel 之顏色成分供給至中間結果記憶體5〇而加以保持。 在步驟S534中,參照圖像讀取部331判定是否產生全部 預測對應像素之顏色成分。在步驟S534判定尚未產生全部 預測對應像素之顏色成分之情形時,處理返回至步驟 S525 ’重複步驟S525至⑽、步驟S533、及步驟讓之處 I57972.doc •132- 201233191 理,直到產生全部預測對應像素之顏色成分為止。 另一方面’在步驟S534判定產生全部預測對應像素之顏 色成分之情形時,處理進展至圖92之步驟S535。 在步驟S535中,參照圖像讀取部33丨決定構成預測圖像 之預測像素之中尚未在步驟S535之處理中決定為產生對象 之預測像素之預測像素為產生對象之預測像素。 在步驟S53 6中,像素調度部332自LUT333讀取自動態預 測部25供給之框間預測模式資訊中之區塊之尺寸及預測方 向'以及對應於動態向量之分數值之垂直方向之產生用像 素數。 在步驟S537中’像素調度部332基於產生對象之預測像 素之參照圖像上之垂直方向之位置,自中間結果記憶體5〇 讀取作為產生用像素數之4個或8個Sub pel之顏色成分。 步驟S53 8至S540之處理除了取代參照像素而對81113 pel進 行之點以外’其餘皆與圖91之步驟S527至S529之處理相 同,故省略說明》 在步驟S541中,像素選擇部297將自4抽頭FIR濾波器294 或8抽頭FIR濾波器293供給之像素即Sub pel之顏色成分作 為預測像素之顏色成分而輸出至選擇部26。另,此時,預 測方向為兩方向之預測之情形,自相較於設為框間預測之 對象之圖像顯示時刻更早之參照圖像而產生之預測像素之 顏色成分、與自顯示時刻更遲之參照圖像而產生之預測像 素之顏色成分平均化而輸出至選擇部26。 在步驟S542中,參照圖像讀取部33 1判定是否產生全部 157972.doc •133- 201233191 預測像素之顏色成分。在步驟S542判定尚未產生全部預測 像素之顏色成分之情形時,處理返回至步驟S535,重複步 驟S535至S542之處理,直到產生全部預測像素為止。 另一方面,在步驟S542判定產生全部預測像素之情形 時’處理結束。 另,在圖91及圖92之顏色用框間預測處理中,動態向量 之水平成分與垂直成分雙方之分數值為〇以外之情形時, 雖進行水平方向之過濾處理後,進行垂直方向之過濾處 理,但可進行垂直方向之過濾處理後,進行水平方向之過 濾處理。 又,圖20之步驟Si5之框間預測處理係藉由圖η及圖% 之顏色用框間預測處理、與藉由圖88之亮度用框間預測部 322之亮度用框間預測處理而構成。亮度用框間預測處 理’除了處理對象並非顏色成分而為亮度成分之點、及產 生用像素數並非4或8而是2或4之點以外,其餘皆與顏色用 框間預測處理相同,因此省略說明。 <正規化參照像素數之特性> 圖93至圖100係說明正規化參照像素數之特性之圖。 另’在圖93至圖1()()中,標註網點之正方形係表示使用 於預測像素之產生之參照像素中之框間預測之區塊之尺寸 範圍内之參照像素,標註有斜線之正转係表示超過框間 預測之區塊之尺寸範圍之範圍之參照像素。又,未作任何 標註之正方形係表示預測像素。 如圖”所示’框間預測之區塊之尺寸為…像素,預測 J57972.doc 201233191 像素為Sub pel e至g、丨至让、及111至〇之任一者水平方向 及垂直方向之產生用像素數為8個,預測方向為預測或 L1預測之情形時,使用於預測圖像之產生之參照像素之數 為11 X11像素。因此,該情形,正規化參照像素數約為 7.6(=(11 X 11)/(4χ4)) » 與此相對,如圖94所示,框間預測之區塊之尺寸並非 4x4像素,而為8χ8像素之情形,使用於預測圖像之產生之 參照像素之數為15><15像素,正規化參照像素數約為 3.5(=(15χ15)/(8χ8))。 如以上所述’參照像素之範圍大於框間預測之區塊之尺 寸,正規化參照像素數,框間預測之區塊之尺寸越小則越 大。 又如圖95所示,預測方向並非L〇預測或Li預測,而為 兩方向之預測之情形,自相較於設為框間預測之對象之圖 像顯示時刻更早之參照圖像之11X11像素,產生預測圖 像。又’自相較於設為框間預測之對象之圖像顯示時刻更 遲之參照圖像之11X11像素,產生預測圖像。然後,產生 之2幅預測圖像於各像素中予以平均化,而設為最終之預 測圖像。因此,使用於預測圖像之產生之參照像素之數為 11 X 11 X 2 4象音",π* 4α jt ju 正規化參照像素數約為151 (=(11χ11χ2)(4χ4))。 如以上所述’預測方向為兩方向之預測之情形相較於 L0預測或L1_之㈣,正規化參照像素數較大。 再者’如圖96所示,預測像素並非Sub pel e至g、i至k、 157972.doc -135- 201233191
〃 a Ο、憬形,使用於預 為11像素’正規化參照像 又’由於僅是水平方向與垂 且万向不同,因此省略圖示,預測像素為Sub pd d、匕、1 之情形,使用於預測圖像之產生之參照像素之數為ηχ4像 素,正規化參照像素數約為2 8(=(1丨χ4)/(4χ4))。 如此般,預測像素之參照圖像上之水平方向及垂直方向 之至少一方之位置為整數位置之情形,相較於兩方之位置 為分數位置之情形’正規化參照像素數較小。 又如圖97所示’預測像素並非sub pel e至g、i至k、及 m至o之任一者,而為Sub pei a、b、c之情形時框間預測 之區塊之水平方向之尺寸並非4像素而為長於垂直方向之 尺寸之8像素之情形,使用於預測圖像之產生之參照像素 之數為4x15像素。因此,該情形下,正規化參照像素數約 為 1·9(=(4χ15)/(4χ8))。 與此相對’如圖98所示,預測像素並非Sub pei &、b、c 而為Sub pel d、h、1之情形,使用於預測圖像之產生之參 照像素之數為Η χ8像素,正規化參照像素數約為 2.8(=(11 χ8)/(4χ8))。 如此般’框間預測之區塊之水平方向及垂直方向令之一 方之尺寸大於另一方之尺寸之情形,相較於僅一方之參照 圖像上之位置為分數位置之情形,僅另一方之參照圖像上 之位置為分數位置之情形’正規化參照像素數較大。 再者,如圖99所示,框間預測之區塊之尺寸並非像 i57972.doc •136 201233191 素,而為4x8像素之情形時,水平方向之產生用像素數為8 個垂直方向之產生用像素數為4個之情形,使用於預測 圖像之產生之參照像素之數為15 x 7像素。因此,該情形, 正規化參照像素數約為3·3(=(15χ7)/(4χ8”。 與此相對,如圖100所示,垂直方向之產生用像素數為8 個、水平方向之產生用像素數為4個之情形,㈣於預測 圖像之產生之參照像素之數為11>(11像素。因此,該情 形,正規化參照像素數約為3.8(=(11χ11)/(4χ8))β 如此般,框間預測之區塊之水平方向及垂直方向中之一 方之尺寸大於另一方之尺寸之情形,相較於一方之產生用 像素數少於另一方之產生用像素數之情形,另一方之產生 象素數乂力方之產生用像素數時,正規化參照像素數 較小。即,較-方之產生用像素數而削減另一方之產生用 像素數,相較於較另-方之產生用像素數而削減—方之產 像素數之情形,正規化參照像素數之削減效果更大。 广圖示省略,編碼裝置10具備圖77或圖83之框間預測
If形解碼裝置1 00之框間預測部111亦與圖77或圖 83之框間預測部24同樣構成。 <應用本技術之電腦之說明> 接者’上述之編碼處理或解碼處理,亦可藉由硬體而進 行’亦可藉由軟體而進行。藉由軟體而進行編碼處理或解 碼處理之情形時,構成該軟體之程式安裝於通用之電腦等 中。 因此’圖UH係㈣安裝執行上述—系列之處理之程式 157972.doc •137- 201233191 之電腦之一實施形態之構成例。 程式可預先記錄於内置於電腦中之作為記錄媒體之記憶 部 408 或ROM(Read Only Memory:唯讀記憶體)4〇2中》 或,程式可預先存儲於可卸除式媒體411中。如此之可 卸除式媒體411可作為所謂套裝軟體而提供。此處,作為 可卸除式媒體411,有例如軟性磁碟、CD R〇M(c〇mpact
Disc Read Only Memory :光碟唯讀記憶體)、M〇(Magnet〇
Optical :光磁性)碟片、DVD(Dighal Versatile Disc :數位 影音光碟)、磁碟、及半導體記憶體等。 另,程式除了自如上述之可卸除式媒體411經由驅動而 安裝於電腦中以外,可經由通信網或廣播網下載至電腦 中’而女裝於内置之記憶部408中。即,程式可自下載網 站經由數位衛星廣播用之人工衛星,以無線而傳送至電腦 中’或藉由LAN(Local Area Network :區域網路)、網際網 路之類的網路,以有線而傳送至電腦中。 電腦内置有CPU(Central Processing Unit :中央處理 器),於CPU401中,經由匯流排4〇4而連接有輸出入介面 405 〇 CPU401,經由輸出入介面4〇5,由使用者藉由操作輸入 部406等而輸入指令後,據其而執行存儲於R〇M4〇2之程 式。或,CPU401將存儲於記憶部408之程式負載於 RAM(Random Access Memory:隨機存取記憶體)4〇3而執 行。 藉此,CPU401進行藉由依據上述之流程之處理、或上 157972.doc •138- 201233191 述之方塊圖之構成而進行之步柿 i…一山 仃之處理。然後,CPU4CU根據需 要經由例如輸出入介面4〇5而自輸出部術輸出其處理結 果,或自通UM09發送,進而於記憶部彻加以記錄等。 另,輸入部406以鍵盤 '滑鼠、 /月氣麥克風等而構成。又, 輸出部 407以 LCD(Liquid ci*vsfa| rv ^ q μ Crystal Display •液晶顯示 揚聲器等而構成。 此處’在本說明書中,電腦依據程式而進行之處理,並
非-定沿著作為流程記載之順序而依時間順序進行。即, 電腦依據程式而進行之虚採 介—人 仃t慝理亦包含並行或個別執行之處 理(例如,並行處理或基於目標之處理)。 —又’程式可為藉由i電腦(處理器)而進行處理者,可為 藉由複數台電腦而進行分散處理者。再者,程式可為傳送 至遠方之電腦而執行者。 <電視接收器之構成例> 圖102係顯示使用應用本技術之解碼裝置之電視接收器 之主要構成例之方塊圖。 圖102所示之電視接收器5〇〇具有地面波調諧器513、視 頻解碼器515、影像信號處理電路518、圖形產生電路 519、面板驅動電路520、及顯示面板521。 地面波調諧器513經由天線而接收類比地面廣播之電波 仏號’進行解調,而獲取影像信號,並將其供給至視頻解 碼器515。視頻解碼器515對自地面波調諧器513供給之影 像信號實施解碼處理,將獲得之數位組件信號供給至影像 信號處理電路518。 157972.doc -139- 201233191 影像信號處理電路518對自視頻解碼器515供給之影像資 料實施雜訊除去等之特定之處理,而將獲得之影像資料供 給至圖形產生電路519。 圖形產生電路519產生顯示於顯示面板521之節目之影像 資料、與由基於經由網路而供給之應用程式之處理而成之 圖像資料等’並將產生之影像資料與圖像資料供給至面板 驅動電路520。又,圖形產生電路519產生用以顯示於項目 之選擇等時由使用者使用之畫面之影像資料(圖形),亦適 宜進行將藉由使其重疊於節目之影像資料等而獲得之影像 資料供給至面板驅動電路520之處理。 面板驅動電路520基於自圖形產生電路5 19供給之資料而 驅動顯示面板521,使節目之影像與上述之各種畫面顯示 於顯示面板521。 顯示面板521由LCD(Liquid Crystal Display:液晶顯示 器)而成’依據藉由面板驅動電路520之控制而顯示節目之 影像等。 又’電視接收Is 500亦具有音頻A/D(Analog/Digital :類 比/數位)轉換電路5 14、音頻信號處理電路522、回音消除/ 音頻合成電路523、音頻放大電路524、及揚聲器525。 地面波調諧器513藉由解調接收之電波信號,不僅獲取 影像信號,亦獲取音頻信號。地面波調諧器513將獲取之 音頻信號供給至音頻A/D轉換電路514。 音頻A/D轉換電路514對自地面波調諧器513供給之音頻 信號實施A/D轉換處理,而將獲得之數位音頻信號供給至 157972.doc •140- 201233191 音頻信號處理電路522。 音頻信號處理電路522對自音頻A/D轉換電路514供給之 音頻資料實施雜訊除去等之特定之處理,而將獲得之音頻 資料供給至回音消除/音頻合成電路523。 回音消除/音頻合成電路523將自音頻信號處理電路522 供給之音頻資料供給至音頻放大電路524。 音頻放大電路524對自回音消除/音頻合成電路523供給 之音頻資料實施D/A轉換處理、放大處理,調整至特定之 音量後,使音頻自揚聲器525輸出。 再者,電視接收器500亦具有數位調諧器516及MPEG解 碼器5 1 7。 數位調諧器516經由天線而接收數位廣播(地面數位廣 播、BS(Broadcasting Satellite :廣播衛星)/CS (Communications Satellite:通信衛星)數位廣播)之電波信 號,並進行解調,而獲取MPEG-TS(Moving Picture Experts Group-Transport Stream :動畫專家組傳輸串流), 且將其供給至MPEG解碼器5 1 7。
MPEG解碼器517解除對自數位調諧器516供給之MPEG-TS實施之擾碼,而擷取包含成為播放對象(視聽對象)之節 目之資料之_流。MPEG解碼器5 1 7將構成經擷取之串流之 音頻封包進行解碼,而將獲得之音頻資料供給至音頻信號 處理電路522,且將構成串流之影像封包進行解碼,而將 獲得之影像資料供給至影像信號處理電路5 1 8。又,MPEG 解碼器517經由未圖示之路徑而將自MPEG-TS擷取之EPG 157972.doc -141 - 201233191 (Electronic Program Guide ••電子節目表選單)資料供给至 CPU532。 電視接收器500’作為以如此之方式解碼影像封包之 MPEG解碼器517,係使用上述之解碼裝置⑽。因此,在 MPEG解碼器517中,與解碼裝置⑽之情形相同,可一方 面抑制框間預測之精度之惡化,並削減記憶頻帶之使用量 及處理量。 自mpeg解碼器517供給之影像資料,與自視頻解碼器 515供給之影像資料之情形同樣在影像信號處理電路川中 實施特定之處理。然後,經實施特定之處理之影像資料, 在圖形產生電路519中,適宜重疊產生之影像資料等,並 經由面板驅動電路520供給至顯示面板521而顯示其圖像。 自MPEG解碼器517供給之音頻資料與自音頻A/D轉換電 路514供給之音頻資料之情形同樣在音頻信號處理電路522 中實施特定之處理。然後,實施特定之處理之音頻資料經 由回音消除/音頻合成電路523供給至音頻放大電路524, 而實施D/A轉換處理與放大處理。其結果,自揚聲器525輸 出經調整至特定之音量之音頻。 又’電視接收器500亦具有麥克風526、及A/D轉換電路 527。 A/D轉換電路527接收藉由作為音頻會話用者設置於電視 接收器500之麥克風526而充入之使用者之音頻信號。a/d 轉換電路527對接收之音頻信號實施a/D轉換處理,並將獲 得之數位音頻資料供給至回音消除/音頻合成電路523。 157972.doc 201233191 回音消除/音頻合成電路523,自A/D轉換電路527供給電 視接收器500之使用者(使用者A)之音頻資料之情形,將使 用者A之音頻資料作為對象而進行回音消除。然後,回音 消除/音頻合成電路523,使回音消除之後、藉由與其他音 頻資料進行合成等而獲得之音頻資料經由音頻放大電路 524而自揚聲器525輸出。 再者,電視接收器500亦具有音頻編碼解碼器528、内部 匯流排 529、SDRAM(Synchronous Dynamic Random Access Memory :同步動態隨機存取記憶體)530、快閃記憶體 53 1、中央處理器 532、USB(Universal Serial Bus :通用串 列匯流排)I/F533、及網路I/F534。 A/D轉換電路527接收藉由作為音頻會話用者設置於電視 接收器500之麥克風526而充入之使用者之音頻信號。A/D 轉換電路527對接收之音頻信號實施A/D轉換處理,並將獲 得之數位音頻資料供給至音頻編碼解碼器528。 音頻編碼解碼器528將自A/D轉換電路527供給之音頻資 料轉換成用以在網路路徑中傳送之特定格式之資料,並經 由内部匯流排529而供給至網路I/F534。 網路I/F5 34經由安裝於網路端子535之電纜而連接於網 路。網路I/F534相對例如連接於該網路之其他裝置,而發 送自音頻編碼解碼器528供給之音頻資料。又,網路I/F534 經由網路端子535接收自例如經由網路而連接之其他裝置 發送之音頻資料,並經由内部匯流排529而將其供給至音 頻編碼解碼器528。 157972.doc •143· 201233191 音頻編碼解碼器528將自網路細4供給之音頻資料轉 、成特疋格式之資料,並將其供給至回音消除,音頻合成 電路523。 ° s消除/ B頻合成電路523將自音頻編碼解碼器us供 給之音頻資料作為對象進行回音消除,且使藉由與其他音 頻資料進行合成而獲得之音頻資料經由音頻放大電路524 而自揚聲器525輸出。 SDRAM530將CPU532進行處理上所需之各種資料進行記 憶。 _ 快閃記憶體531將藉由CPU532而執行之程式進行記憶。 。己隐於快閃s己憶體53 1之程式,在電視接收器5〇〇之起動時 等之特疋之時點,藉由CPU532而讀取。於快閃記憶體53 j 中,亦記憶經由數位廣播而獲取之EPG資料、經由網路而 自特定之伺服器獲取之資料等。 例如,於快閃記憶體531中,記憶包含藉由cpu532之控 制經由網路自特定之伺服器獲取之存儲資訊資料之MpEG_ TS。快閃記憶體53 1藉由例如CPU532之控制,將該MPEG- _ TS經由内部匯流排529而供給至MPEG解碼器5 1 7。 MPEG解碼器517與自數位調諸器516供給之MPEG-TS之 情形同樣處理該MPEG-TS。以如此之方式,電視接收器 500可經由網路而接收由影像或音頻等而成之内容資訊資 料’並使用MPEG解碼器517進行解碼,而顯示其影像或輸 出音頻。 又’電視接收器500亦具有接收自遠端控制器55 1發送之
157972.doc • 144· S 201233191 紅外線信號之光接收部53 7。 光接收部537接收來自遠端控制器55丨之紅外線,將進行 解調而獲得之表示使用者操作内容之控制碼輸出至 CPU532。 CPU532執行記憶於快閃記憶體531之程式,並依據自光 接收部537供給之控制碼等而控制電視接收器5〇0之全體之 動作。CPU532與電視接收器500之各部’係經由未圖示之 路徑而連接。 USB I/F533在與經由安裝於USB端子536之USB電纜而連 接之電視接收器500之外部之機器之間進行資料之傳送接 收。網路I/F534經由安裝於網路端子535之電纜而連接於網 路,亦進行連接於網路之各種裝置與音頻資料以外之資料 之傳送接收。 電視接收器500 ’藉由使用解碼裝置ι〇〇作為mpEG解碼 器517,可一方面抑制框間預測之精度之惡化,並削減記 憶頻帶之使用量及處理量。 <行動電話之構成例> 圖103係顯示使用應用本技術之編碼裝置及解碼裝置之 行動電話之主要構成例之方塊圖。 圖103所示之行動電話6〇〇具有以統括性地控制各部之方 式而成之主控制部650、電源電路部651、操作輸入控制部 652 '圖像編碼器653、相機1/1?部654、[CD控制部655、圖 像解碼器656、多工分離部657、記錄播放部662、調製和 解調電路部658、及音頻編碼解碼器659。該等係經由匯流 157972.doc •145· 201233191 排660而互相連接。 又’行動電話600具有操作鍵619、ccD(Charge Coupled Devices:電荷耦合裝置)相機616、液晶顯示器6i8、記憶 部623、傳送接收電路部663、天線614、麥克風621、及揚 聲器617。 電源電路部651,基於使用者之操作而設成掛機及電源 鍵為接通狀態後,自電池組相對各部供給電力,藉此將行 動電話600起動至可動作之狀態。 行動電話600基於以CPU、R〇M及RAM等而成之主控制 部650之控制,在音頻通話模式或資料通信模式等之各種 模式下,進行音頻信號之傳送接收、電子郵件或圖像資料 之傳送接收、圖像攝像、或資料記錄等之各種動作。 例如,在音頻通話模式下,行動電話6〇〇藉由音頻編碼 解碼器659而將以麥克風621集音之音頻信號轉換成數位音 頻資料,在調製和解調電路部658將其進行頻譜擴散處 理,在傳送接收電路部663進行數位類比轉換處理及頻率 轉換處理《行動電話600經由天線614而將藉由該轉換處理 獲得之發送用信號發送至未圖示之基地台。向基地台傳送 之發送用信號(音頻信號)經由公眾交換電話網路而供給至 通話對象之行動電話。 又,例如,在音頻通話模式下,行動電話6〇〇在傳送接 收電路部663放大以天線614接收之接收信號,進而進行頻 率轉換處理及類比數位轉換處理,在調製和解調電^邹 658進仃頻譜逆擴散處理,藉由音頻編碼解碼器659而轉換 157972.doc 201233191 成類比音頻信號。行動電話600自揚聲器617輸出進行該轉 換而獲得之類比音頻信號。 再者,例如,在資料通信模式下發送電子郵件之情形, 行動電話600在操作輸入控制部652接收藉由操作鍵619之 操作而輸入之電子郵件之存儲資訊資料。行動電話6〇〇在 主控制部650處理該存儲資訊資料,並經由LCD控制部 655,使其作為圖像而顯示於液晶顯示器6丨8。 又,行動電話600在主控制部65〇,基於操作輸入控制部 • 652接收之存儲資訊資料或使用者指示等而產生電子郵件 資料。行動電話600在調製和解調電路部658將該電子郵件 資料進行頻譜逆擴散處理,在傳送接收電路部663進行數 位類比轉換處理及頻率轉換處理。行動電話6〇〇經由天線 614而將藉由該轉換處理獲得之發送用信號發送至未圖示 之基地台。向基地台傳送之發送用信號(電子郵件)經由網 路及郵件伺服器等而供給至特定之接收地。 又,例如,在資料通信模式下接收電子郵件之情形時, 象行動電話6GG經由天線614而在傳送接收電路部⑹接收自 基地台發送之信號,並進行放大,進而進行頻率轉換處理 及類比數位轉換處理。行動電話6〇〇在調製和解調電路部 658將該接收信號進行頻譜逆擴散處理而復原原本之電子 郵件資料。行動電話_使復原之電子郵件資料經由lcd 控制部655而顯示於液晶顯示器6丨8。 另,行動電話600亦可使接收之電子郵件資料經由記錄 播放部662而記錄(記憶)於記憶部623。 157972.doc •147· 201233191 該記憶部623為可覆寫之任意之記憶媒體。記憶部623可 為例如RAM或内置型快閃記憶體等之半導體記憶體,可為 硬碟,可為磁碟、磁光碟' 光碟、USB記憶體、或記憶卡 等之可卸除式媒體。當然,可為該等以外者。 再者,例如,在資料通信模式下發送圖像資料之情形, 行動電話600藉由攝像而以CCD相機616產生圖像資料。 CCD相機616具有透鏡與光圈等之光學裝置與作為光電轉 換元件之CCD,攝像被攝體,將接收之光之強度轉換成電 信號,而產生被攝體之圖像之圖像資料。該圖像資料,經 由相機I/F部654,以圖像編碼器&,藉由例如MpEG2或 MPEG4等之特疋之編碼方式而進行壓縮編碼,藉此轉換成 編碼圖像資料。 行動電話6GG’使用上述之編瑪裝置1()作為進行如此之 處理之圖像編碼器653。因此,圖像編碼器653與編碼裝置 1〇之情形同樣可-方面抑制框間預測之精度之惡化,並削 減記憶頻帶之使用量及處理量。 另行動電話600,此時同時將以CCD相機616攝像中時 以麥克風621集音之音頻在音頻編碼解碼器奶中進行類比 數位轉換’進而進行編碼。 行動電話600在多工分離部⑹,以特定之方式使自圖像 編碼器653供給之編碼圖像資料、與自音頻編碼解碼部州 供給之數位音頻資料客n ^ _ 多化。灯動電話600將其結果獲得 之多工化資料在調製和解纲 取年解調電路部658進行頻譜擴散處 理,在傳送接收電路祕3進行數位類比轉換處理及頻率 157972.doc 201233191 轉換處理。行動電話600經由天線614而將藉由該轉換處理 獲得之發送用信號發送至未圖示之基地台。向基地台傳送 之發送用信號(圖像資料)經由網路等而供給至通信對象。 另’不發送圖像資料之情形時’行動電話600亦可使以 CCD相機616產生之圖像資料不經由圖像編碼器653、而經 由LCD控制部655而顯示於液晶顯示器618。 又’例如,在資料通信模式下,接收鏈結於簡易網站等 之動態圖像檔案之資料之情形時’行動電話6〇〇經由天線 614而在傳送接收電路部663接收自基地台發送之信號,並 進行放大’進而進行頻率轉換處理及類比數位轉換處理。 行動電話600在調製和解調電路部658將該接收信號進行頻 譜逆擴散處理而復原原本之多工化資料。行動電話6〇〇在 夕工分離部65 7分離該多工化資料,而分成編碼圖像資料 與音頻資料》 行動電話600在圖像解碼器656中,以對應於^^叩⑺或 MPEG4等之特定之編碼方式之解碼方式而將編碼圖像資料
進行解碼,藉此產生播放動態圖像資料,並使其經由LCD 控制部655而顯示於液晶顯示器618。藉此,例如包含於鏈 結於簡易網站之動態圖像檔案之動畫資料顯示於液晶顯示 器 618。 行動電話600使用上述之解碼裝置1〇〇作為進行如此之處 理之圖像解碼器656 »因此,圖像解碼器656與解碼裝置 1〇〇之情形同樣可一方面抑制框間預測之精度之惡化,並 削減記憶頻帶之使用量及處理量。 157972.doc -149- 201233191 此時,行動電話600同時在音頻編碼解碼器咖令將數 2曰頻資料轉換成類比音頻信號,並使其自揚聲器…輸 。藉此播放例如包含於鏈結於簡易網站之動態圖像檔案 之音頻資料。 另,與電子郵件之情形相同,行動電話6〇〇亦可使接收 之鍵結於簡易網站等之資料經由記錄播放部662而記錄(記 憶)於記憶部623。 又,行動電話600 ,在主控制部65〇中,將被攝像而以 CCD相機616獲得之2維碼進行解析,從而可獲取記錄於2 維碼中之資訊。 再者,行動電話600可在紅外線通信部681中藉由紅外線 而與外部之機器進行通信。 行動電話600藉由使用編碼裝置10作為圖像編碼器653, 可一方面抑制框間預測之精度之惡化,並削減記憶頻帶之 使用量及處理量。 又’行動電話600藉由使用解碼裝置1〇〇作為圖像解碼器 656 ’可一方面抑制框間預測之精度之惡化,並削減記憶 頻帶之使用量及處理量。 另’在上文中,雖以行動電話600係使用CCD相機616之 方式進行說明,但可取代該CCD相機616,而使用使用 CM〇S(Complementary Metal Oxide Semiconductor:互補 型金屬氧化半導體)之圖像感測器(CMOS圖像感測器)。該 情形,行動電話600亦與使用CCD相機616之情形同樣攝像 被攝體,而可產生被攝體之圖像之圖像資料。 157972.doc 201233191 又’在上文中’雖以行動電話600進行說明,但若為例 如 PDA(Personal Digital Assistants:個人數位助理)、智慧 型手機、UMPC(Ultra Mobile Personal Computer:超行動 個人電腦)、上網本、筆記型個人電腦等、與該行動電話 600具有相同之攝像功能或通信功能之裝置,則不論何種 裝置’與行動電話600之情形同樣可應用編碼裝置10及解 碼裝置100。 <硬碟記錄器之構成例> # 圖104係顯示使用應用本技術之編碼裝置及解碼裝置之 硬碟記錄器之主要構成例之方塊圖。 圖104所示之硬碟記錄器(HDD記錄器)700,係將藉由調 諸器而接收之包含於藉由衛星或地面之調諸器等而發送之 電波信號(電視信號)之廣播節目之音頻資料與視頻資料保 存於内置之硬碟,並將該經保存之資料在依據使用者之指 示之時點提供給使用者之裝置。 硬碟記錄器700可基於例如電波信號而擷取音頻資料與 鲁 視頻資料,並將該等適宜解碼而記憶於内置之硬碟。又, 硬碟記錄器700亦可經由例如網路而自其它裝置獲取音頻 資料或視頻資料’並將該等適宜解碼而記憶於内置之硬 碟。 再者’硬碟記錄器700將例如記錄於内置之硬碟之音頻 資料或視頻資料進行解碼而供給至監視器760,使其圖像 顯示於監視器760之畫面中。又,硬碟記錄器7〇〇可使其音 頻藉由監視器760之揚聲器而輸出。 157972.doc -151 - 201233191 硬碟記錄器700將基於例如經由調諧器獲取之電波信號 而擷取之音頻資料與視頻資料、或經由網絡而自其它裝置 獲取之音頻資料或視頻資料進行解碼而供給至監視n 760,使其圖像顯示於監視器760之晝面。又,硬碟記錄器 700,亦可使其音頻藉由監視器760之揚聲器而輸出。 當然,亦可為其他之動作。 如圖104所示’硬碟記錄器700具有接收部721、解調部 722、多路分配器723、音頻解碼器724、視頻解碼器725、 及記錄控制部726。硬碟記錄器700進而具有EPG資料記憶 鲁 體727、程式記憶體728、操作記憶體729、顯示切換器 730 ' 〇SD(On Screen Display :勞幕顯示)控制部 731、顯 示控制部732、記錄播放部733、D/A切換器734、及通信部 735。 又,顯示切換器73 0具有視頻編碼器74丨。記錄播放部 733具有編碼器75 1及解瑪器752。
。接收部721接收來自遠端控制器(未圖示)之紅外線信 號並轉換成電信號而輸出至記錄控制部726。記錄控制 部726’係、藉由例如微處理器等而構成,依據記憶於程式 記憶體728之程式,而執行各種處理。記錄控制部726此時 根據需要而使用操作記憶體729。 通L部735連接於網路,且經由網路而進行與其他裝 .乜處理例如,通仏部735藉由記錄控制部726予以 制,且與調諧器(未圖示)進行通信,並主要相對調諸器 輸出調諧控制信號。 157972.doc
S • 152- 201233191 解調部722將藉由調譜器而供給之信號進行解調,並輸 出至多路分配器723。多路分配器723將自解調部722供^ 之資料分離成音頻資料、視頻資料、及EpG資料,並= 輸出至音頻解碼器724、視頻解碼器725、及記錄控制 726 » 音頻解碼器724將輸入之音頻資料以例wMpEG*式進行 解碼,並輸出至記錄播放部733 ^視頻解碼部725將輸入之 視頻資料以例如MPEG方式進行解碼,並輸出至顯示切換 器730。記錄控制部726將輸入之EPG資料供給至EPG資料 記憶體7 2 7而加以記憶。
顯示切換器730藉由視頻編碼器741將自視頻解碼器725 或記錄控制部726供給之視頻資料編碼成例如NTSC (National Television Standards Committee:國家電視標準 委員會)方式之視頻資料,並輸出至記錄播放部733。又, 顯示切換器730將自視頻解碼器725或記錄控制部726供給 之視頻資料之畫面資料之尺寸轉換成對應於監視器760之 尺寸之尺寸。顯示切換器730進而藉由視頻編碼器741,將 畫面之尺寸經轉換之視頻資料轉換成NTSC方式之視頻資 料’轉換成類比信號’而輸出至顯示控制部732。
顯示控制部732 ’使記錄控制部726之控制之根本、即 OSD(On Screen Display:螢幕顯示)控制部731輸出之OSD 信號重疊於藉由顯示切換器730而輸入之視頻信號,並輸 出至監視器760之顯示器而加以顯示。 於監視器760中,又,音頻解碼器724輸出之音頻資料藉 157972.doc -153- 201233191 由D/A切換器734轉換成類比信號予以供給。監視器76〇自 内置之揚聲器而輸出該音頻信號。 s己錄播放部733具有磁碟作為記錄視頻資料或音頻資料 等之記憶媒體。 3己錄播放部733藉由編碼器75!以MpEG方式將由例如音 頻解碼器724供給之音頻資料進行編碼。又,記錄播放部 733藉由編碼器751以MPEG方式將由顯示切換器73〇之視頻 編碼器741供給之音頻資料進行編碼。記錄播放部733藉由 多工器而將該音頻資料之編碼資料與視頻資料之編碼資料 進行合成。記錄播放部733將該合成資料進行通道編碼而 放大’並經由記錄列印頭而將該資料寫入至硬碟。 a己錄播放部733經由播放列印頭而使記錄於硬碟之資料 播放、放大,並藉由多路分配器而分離成音頻資料與視頻 資料。記錄播放部733藉由解碼器752,以MPEG方式將音 頻資料及視頻資料進行解碼。記錄播放部733將經解碼之 音頻資料進行D/A轉換’並輸出至監視器76〇之揚聲器。 又’§己錄播放部7 3 3將經解碼之視頻資料進行d/a轉換,並 輸出至監視器760之顯示器。 記錄控制部726基於藉由經由接收部721接收之來自遠端 控制器之紅外線信號而顯示之使用者指示,自EPg資料記 憶體727讀取最新之EPG資料,並將其供給至〇sd控制部 731。OSD控制部731產生對應於輸入之EPG資料之圖像資 料,並輸出至顯示控制部732。顯示控制部732將藉由0SD 控制部731輸入之視頻資料輸出至監視器76〇之顯示器,而 I57972.doc •154· 201233191 加以顯示。藉此,EPG(電子節目表選單)顯示於監視器760 之顯示器。 又,硬碟記錄器700可經由網際網路等之網路而獲取自 其它裝置供給之視頻資料、音頻資料、或EPG資料等之各 種資料。 通信部735受控制於記錄控制部726,且經由網路而獲取 自其它裝置發送之視頻資料、音頻資料、及EPG資料等之 編碼資料’並將其供給至記錄控制部726。記錄控制部726 將例如獲取之視頻資料或音頻資料之編碼資料供給至記錄 播放部733,於硬碟中加以記憶。此時,記錄控制部726及 s己錄播放部733可根據需要而進行再編褐等之處理。 又,記錄控制部726將獲取之視頻資料或音頻資料之編 碼資料進行解碼,並將獲得之視頻資料供給至顯示切換器 730。顯示切換器73〇,與自視頻解碼器725供給之視頻資 料同樣處理自記錄控制部726供給之視頻資料,並經由顯 示控制部732而供給至監視器76〇,使其圖像顯示。 又,與該圖像顯示配合,記錄控制部726可將經解碼之 曰頻資料經由D/A切換器734而供給至監視器,使其音 頻自揚聲器而輸出。 一再者,記錄控制部726將獲取之EPG資料之編碼資料進 ^解碼’並將經解碼之EpGf料供給至咖資料記憶體 727 ° 如以上般之硬碟記錄器700使用解碼裝置100作為視頻解 器725、解碣器752、及内置於記錄控制部726之解碼 157972.doc •155· 201233191 器。因此’視頻解碼器725、解喝器752、及内置於記錄控 制部726之解瑪器,與解碼裝置⑽之情形同樣可—方面抑 制框間預測之精度之惡化,並削減記憶頻帶之使用量及處 此 間 量 又,硬碟記錄器700使用編碼裝置1〇作為編碼器75ι。因 ,編碼器751與編碼裴置10之情形同樣可一方面抑制框 預測之精度之惡化,並削減記憶頻帶之使用量及處理 另,在上文中,雖關於將視頻資料或音頻資料記錄於硬 碟之硬碟§己錄器700進行說明,然而記錄媒體當可為任意 種類者。例如快閃記憶體、光碟、或錄影帶等 '應用硬碟 以外之a己錄媒體之記錄器,仍與上述之硬碟記錄器之 情形同樣可應用編碼裝置1〇及解碼裝置1〇〇。 <相機之構成例> 圖105係顯示使用應用本技術之編碼裝置及解碼裝置之 相機之主要構成例之方塊圖。 圖105所示之相機800攝像被攝體,而使被攝體之圖像顯 示於LCD816,或將其作為圖像資料而記錄於記錄媒體 833。 透鏡區塊811使光(即 '被攝體之影像)入射於CCD/ CMOS812。CCD/CMOS812為使用CCD或CMOS之圖像感測 器’將接收之光之強度轉換成電信號,而供給至相機信號 處理部813。 相機信號處理部813將自CCD/CMOS812供給之電信號轉 157972.doc • 156- 201233191 換成Υ、Cr、Cb之色差信號,而供給至圖像信號處理部 814 °圖像信號處理部814在控制器821之控制之下,對自 相機信號處理部813供給之圖像信號實施特定之圖像處 理’或以編碼器841藉由例如MPEG方式而將該圖像信號進 行編碼°圖像信號處理部814將編碼圖像信號而產生之編 碼-貝料供給至解碼器8 15。再者,圖像信號處理部8丨4獲取 在視窗畫面操作系統(OSD)82〇產生之顯示用資料,並將其 供給至解碼器815。 在以上之處理中,相機信號處理部813適宜使用經由匯 流排 817 而連接之 DRAM(Dynamic Rand〇m Aecess
Memory :動態隨機存取記憶體)818,根據需要而使圖像資 料、或編碼該圖像資料之編碼資料等保持於該 DRAM818。 解碼器815將自圖像信號處理部814供給之編碼資料進行 解碼’並將獲得之圖像資料(解碼圖像資料)供給至 LCD816。又,解碼器815將自圖像信號處理部814供給之 顯示用資料供給至LCD816。LCD816將自解碼器815供給 之解碼圖像資料之圖像與顯示用資料之圖像進行適宜合 成,而顯示該合成圖像。 視窗畫面操作系統820在控制器821之控制之下,將包含 »己號文字、或圖形之選單畫面與游標等之顯示用資料經 由匯流排817而輸出至圖像信號處理部814。 控制器821基於顯示使用者使用操作部822而指令之内容 之仏號,執仃各種處理,且經由匯流排817而控制圖像信 157972.doc •157· 201233191 號處理部814 ' DRAM818、外却入r n 8外部介面819、視窗畫面操作 系統820、及媒體驅動823等。於快閃唯讀記憶體8财, 存儲控制器821執行各種處理上所需之程式或資料等。 例如’控制器821可取代圖像信號處理部814或解碼器 ’將記憶於DRAM818之圖像f料進行編碼,或將記憶 於DRAM818之編碼資料進行解碼。此時,控制器821可藉 由與圖像信號處理部8M或解瑪器⑴之編碼解碼方式相 同之方式而進行編碼.解碼處理,可藉由圖像信號處理部 814或解碼器815對應之方式而進行編碼解碼處理。 又,例如,自操作部822指示圖像列印開始之情形時, 控制器82UDRAM818讀取圖像資料,並將其供給至經由 匯流排817而連接於外部介面819之印表機㈣加以列印。 再者,例如,自操作部822指示圖像記錄之情形時,控 制器⑵自DRA刪8讀取編碼資料,並將其供給至經由匯 流排817而安裝於媒體驅動823之記錄媒體’加以記 憶。 ° 記錄媒體833為例如磁碟、磁光碟 '光碟、或半導體記 :體等之可讀寫之任意之可卸除式媒體。記錄媒體M3, 當然,作為可卸除式媒體之種類亦任意,卩為磁帶裝置, 可為磁碟,可為記憶卡n可為非接觸式ic卡等。 又,可使媒體驅動823與記錄媒體833 一體化,例如内置 型硬碟驅動機或SSD(Solid State Drive :固態驅動機)等 般’藉由非可攜性之記憶媒體而構成。 外部介面819係以例如USB輸出入端子等而構成,進行 157972.doc 201233191 圖像之列印之情形時,與印表機834連接。又,於外部介 面819,根據需要而連接驅動機831,適宜安裝磁碟、光 碟、或磁光碟等之可卸除式媒體832,且自該等讀取之電 %程式根據需要而安裝於快閃唯讀記憶體中。 再者,外部介面819具有連接於LAN或網際網路等之特 定之網路之網路介面。控制器821可依據例如來自操作部 822之指示,自DRAM818讀取編碼資料,使其自外部介面
819供給至經由網路而連接之其他裝置。又,控制器⑵可 經由外部介面819而獲取經由網路自其他裝置供給之編碼 資料或圖像資料,使其保持於DRAM818,3戈[給至圖像 信號處理部8 14。 如以上般之相機800,使用解碼裝置1〇〇作為解碼器 815。因此,解碼器815與解碼裝置1〇〇之情形同樣可一方 面抑制框間預測之精度之惡化,並削減記憶頻帶之使用量 及處理量。 又,相機800使用編碼裝置1〇作為編碼器841。因此,編 碼器州與編碼裝置10之情形同樣可一方面抑制框間預測 之精度之惡化,並削減記憶頻帶之使用量及處理量。 另,可將解碼裝置100之解碼方法應用於控制器821進行 之解碼處理1樣的’可將編碼裝置1G之編碼方法應用於 控制器821進行之編碼處理。 * 、 又,相機800攝像之圖像資料可為動態圖像,可為靜熊 圖像。 當然,編碼裝置10及解碼裝置1〇〇亦可應用於上述之裝 J57972.doc -159- 201233191 置以外之裝置或系統。 本技術之實施形態並非限定於上述之實施形態,在不脫 離本技術之要旨之範圍内,可進行各種變更。 另,本技術亦可採取如以下所述之構成。 (1) 一種圖像處理裝置,其包含: 像素讀取部,其自框間預測之參照圖像讀取特定之像 素,及 運算部,其使用藉由上述像素讀取部而讀取之上述特定 之像素,運算上述參照圖像之分數位置之像素作為上述框 間預測之預測圖像之像素;且 上述像素讀取部以使對應於上述預測圖像之外側之像素 之上述特定之像素之數少於對應於上述預測圖像之内側之 像素之上述特定之像素之數之方式,讀取上述特定之像 素。 (2) 如上述技術方案(1)之圖像處理裝置,其中上述外側之 像素之上述參照圖像上之位置,係包含使用於上述預測圖 像之各像素之運算之全部的上述特定之像素之區塊、即參 照區塊中之上述預測圖像之尺寸範圍外之位置。 (3) 如上述技術方案(2)之圖像處理裝置,其中上述像素讀 取部係以使對應於上述外側之像素之上述特定之像素之中 位於上述參照區塊中之上述預測圖像之尺寸範圍外之像 157972.doc -160· 201233191 素、與對應於上述内侧之像素之上述特定之像素中位於上 述參照區塊中之上述預測圖像之尺寸範圍外之像素為相同 之方式,讀取上述特定之像素。 (4) 如上述技術方案(1)之圖像處理裝置,其中上述外側之 像素之上述參„像上之位置,係包含❹於上述預測圖 像之各像素之運算之全部的上述㈣之像素之區塊、即參 區鬼中之上述預測圖像之尺寸範圍與上述預測圖像之尺 寸範圍外之交界之位置。 (5) 如上述技術方案⑴至(4)中任—項之圖像處理裝置,其 :上述像素讀取部以使對應於上述預測圖像之最外側之像 二之上述特定之像素之數為2之方式,讀取上述特定之像 (6)
上述技術方案(1)至(5)中任—項之圖像處理裝置,其
返像素讀取㈣使對應於域預_像之最外側之像 素之上述特定之像素 I 内側之傻去 、數為2、對應於較該外側之像素更 内側之二之:述特定之像素之數為4、對應於包含較該 之上这特1上述預測圖像之最内側之像素之像素 :…定之像素之數為6之方式,讀取上述特定之像 ⑺ 任一項之圖像處理裝置,其 如上述技術方案(1)至(6)中 I57972.doc 201233191 進而包含: 其係記憶對應於上述預測圖像之外側之像素之 =即外側係數'與對應於上述預測圖像之内側之像素之 係數即内側係數;且 上述運算部當藉由上述像素讀取部而讀取之上述特定之 像素為對⑽上述制圖像之外狀像素之情料,使用 該特定之像素與上斜㈣、數進料算,當藉由上述像素 讀取部讀取之上述特定之像素為對應於上述關圖像之内 側之像素之情形時,使㈣特定之像素與上述内側係數進 行運算。 (8) 如上述技術方案⑴至(4)中任—項之圖像處理裝置 進而包含: 、 一像素產生部’其當藉由上述像素讀取部而讀取之上述特 疋之像素之數小於特定數之情形時,將該特定之像素中外 側之像素複製與上述特定之像素之數為上述特定數之差 刀,而產生包含經複製之像素與上述特定之像素之上述特 定數之像素;且 上述運算部使用藉由上述像素產生部而產生之上述特定 數之像素,運算上述預測圖像之像素。 (9) 如上述技術方案(8)之圖像處理裝置,其中上述像素讀 取部以使對應於上述預測圖像之最外側之像素之上述特定 之像素之數為4、對應於較該外側之像素更内側之像素之 157972.d〇c -162- 201233191 上述特定之像素之數為5、對應於包含較該内側之像 内側之上述預測圖像之最内側之像素之像素之上述特定 像素之數為6之方式,讀取上述特定之像素,且 上述特定數為6。 0〇)
如上述技術方案⑴至(4)及⑻中任—項之圖像處理裝 置’其卞上述像素讀取部係以上述預測圖像之各像素之上 述參照圖像上之水平方向及垂直方向之僅任一方之位置為 分數位置之情形與兩方之位置為分數位置之情形相比對
應於上述預測圖像之外側之像素之上述特定之像素之數增 多之方式,讀取上述特定之像素。 B (11) 如上述技術方案⑴至(4)、(8)、及⑽中任一 處理裝置,其中上述像素嘈敌相总 豕京謂取係以上述預測圖像之尺寸 t於特定之尺寸之情形與小於上述特定之尺寸之情形相 比’對應於上述預測圖像之外側之像素之上述特定之像素 之數增多之方式’讀取上述特定之像素。 (12) 如上述技術方案⑴至(4)、(8)'⑽、及⑼中任一項之 圖像處理裝置’其中上述後去钱 、讀取部係以上述框間預測之 =為單方向之預測之情形與兩方向之預測之情形相 述預_像之外側之像素之上述特定之像素 之數增多之方式’讀取上述特定之像素。 157972.doc -163- (13) ’、 201233191 如上述技術方案(1)之圖像處理裝置,其中上述像素讀 取部以使對應於上述預測圖像之外側之像素之較該預測像 素更外側之上述特定之像素之數少於對應於上述預測圖像 之内側之像素之較該預測像素更外側之上述特定之像素之 數之方式,讀取上述特定之像素。 (14) 如上述技術方案(13)之圖像處理裝置,其進而包含: 像素產生部’其當藉由上述像素讀取部而讀取之上述特 定之像素之數小於特定數之情形時,將該特定之像素中外 侧之像素複製與上述特定之像素之數為上述特定數之差 分,而產生包含經複製之像素與上述特定之像素之上述特 定數之像素;且 上述運算部使用藉由上述像素產生部而產生之上述特定 數之像素’運算上述預測圖像之像素。 (15) 如上述技術方案(1)至(4)、(8)、或(1〇)至(14)中任一項之 圖像處理裝置,其中上述像素讀取部以使對應於上述預測 圖像之外側之像素之上述特定之像素之數少於對應於上述 預測圖像之内側之像素之上述特定之像素之數、且於水平 方向及垂直方向之任一方排列之上述特定之像素之數少於 在另一方排列之上述特定之像素之數之方式,讀取上述特 定之像素。 (16) 如上述技術方案(1)至(15)中任—項之圖像處理裝置,其 157972.doc -164- 201233191 進而包含: 差分運算部,其運算上述預測圖像與編碼對象之圖像之 差分。 (17) 如上述技術方案(1)至(16)中任一項之圖像處理裝置,其 進而包含: 加法運算部,其將上述預測圖像與解碼對象之圖像相 加。
(18) 一種圖像處理方法,其包含: 像素讀取步驟’其自柩間_之參照圖像讀取特定之像 素;及 運算步驟’其使用藉由上述像素讀取步驟之處理而讀取 之上述特定之像素’運算上述參照圖像之分數位置之像素 作為上述框間預測之預測圖像之像素;且 在上述像素讀取步驟之處理中,以使對應於上述預測圖 像之外側之像素之上述特定之像素之數少於對應於上述預 測圖像之内側之像素之上述特定之像素之數之 上述特定之像素》 (19) 一種程式’其使電腦執行如下處理,該處理包含: 像素讀取步驟,其自雅門猫 各. ^__之參關像讀取特定之像 京, 運算步驟,其使用藉由上 <诼素讀取步驟之處理而讀取 157972.doc • 165 · 201233191 之上述特疋之像素,運算上述參照圖像之分數位置之像素 作為上述框間預測之預測圖像之像素·且 在上述像素讀取步驟之處j里中,則吏對應於上述預測圖 像之卜側之像素之上述特定之像素之數少於對應於上述預 測圖像之内側之像素之上述特定之像素之數之方式,讀取 上述特定之像素。 【圖式簡單說明】 圖1係顯示使用於Sub pel之產生之像素之一例之圖。 圖2係顯示進行分數精度之動態補償處理之情形之參照 像素之範圍之圖。 圖3係顯示作為適用本技術之圖像處理裝置之編碼裝置 之一實施形態之構成例之方塊圖。 圖4係顯示圖3之框間預測部之第i構成例之方塊圖。 圖5係顯示區塊尺寸為8x8像素之情形之參照像素之例之 圖6係顯示區塊尺寸為8x8像素之情形之參照像素之範圍 之例之圖。 之範 圖7係顯示區塊尺寸為32x32像素之情形之參照像素 圍之例之圖。 ' 之範 圖8係顯示區塊尺寸為16x32像素之情形之參照像素 圍之例之圖》 之範 圖9係顯示區塊尺寸為32><16像素之情形之參照像素 圍之例之圖。 ' 之 圖H)係顯示區塊尺寸為16,16像素之情形之參照像素 157972.doc •166- 201233191 範圍之例之圖。 圖11係顯示區塊尺寸為gx16傻音之格 6像素之情形之參照像素之範 圍之例之圖。 之範 圖12係顯示區塊尺寸為16><8像素之情形之參照像素 圍之例之圖。 ' 圖13係顯示區塊尺寸為4x8像素之情形之參照像素之範 圍之例之圖。 圖14係顯示區塊尺寸為8x4像素之情形之參照像素之範
圍之例之圖。 圖15係顯示區塊尺寸為4x4像素之情形之參照像素之範 圍之例之圖。 圖16係說明預測像素之產生方法之第i圖。 圖17係說明預測像素之產生方法之第2圖。 圖18係說明預測像素之產生方法之第3圖。 圖19係說明預測像素之產生方法之第4圖。 圖20係說明由圖3之編碼裝置而成之編碼處理之第卜流程 圖0 圖2 1係說明由圖3之編碼裝置而成之編碼處理之第2流程 圖。 圖22係說明框間預測處理之第1例之細節之第1流程圖。 圖23係說明框間預測處理之第1例之細節之第2流程圖。 圖24係顯示作為適用本技術之圖像處理裝置之解碼裝置 之構成例之方塊圖。 圖25係說明由圖24之解碼裝置而成之解碼處理之流程 157972.doc -167- 201233191 圖。 圖26係顯示圖3之框間預測部之第2構成例之方塊圖。 圖27係顯示產生用像素之第丨例之圖。 圖28係說明框間預測處理之第2例之細節之第m程圖。 圖29係說明框間預測處理之第2例之細節之第2流程圖。 圖3〇係顯示圖3之框間預測部之第3構成例之方塊圖。 圖係顯示使用於Sub pel山之產生之複製後之產生 用像素之第1範圍之圖。 圖32係顯示使用於Sub㈣d、h、i之產生之複製後之產 生用像素之第1範圍之圖β 圖33係顯示使用於Sub pel e、f、g、卜卜& m 之產生之複製後之產生用像素之第丨範圍之圖。 圖34係顯不使用於Sub pel 之產生之複製後之產生 用像素之第2範圍之圖。 圖35係顯示使用於Sub㈣d、h、丨之產生之複製後之產 生用像素之第2範圍之圖。 圖36係顯示使用於Sub pel eg、丨、』、k、m、〇、〇 之產生之複製後之產生用像素之第2範圍之圖。 圖37係說明框間預測處理之第3例之細節之第i流程圖。 圖38係說明框間預測處理之第3例之細節之第2流程圖。 圖39係說明圖37之讀取處理之細節之流程圖。 圖40係說明第!參照像素之範圍之例之第1圖。 圖41係說明第1參照像素之範圍之例之第2圖。 圖42係顯示產生用像素之第2例之圖。 157972.doc 201233191 圖43係顯示產生用像素之第3例之圖。 圖44係顯示圖3之框間預測部之第4構成例之方塊圖。 圖45係說明框間預測處理之第4例之細節之第ι流程圖。 圖46係說明框間預測處理之第4例之細節之第2流程圖。 圖47係說明圖45之讀取處理之細節之流程圖。 圖48係顯示圖3之框間預測部之第5構成例之方塊圖。 圖 圖50係說明框間預測處理之第5例之細節之第2流程圖。 # 圖51係說明圖49之讀取處理之細節之流程圖。 圖52係顯示圖3之框間預測部之第6構成例之方塊圖。 圖5 3係顯示圖5 2之框間預測部之參照像素之範圍之第i 例之圖。 圖5 4係顯示圖5 2之㈣預測部 < 參照像素之範圍之第2 例之圖。 圖55係說明框間預測處理之第6例之細節之第卜流程圖。 圖56係說明框間預測處理之第6例之細節之第2流程圖。 鲁 B57係說明圖55之讀取處理(細節之流程圖。 圖58係顯示圖52之框間預測部之參照像素之範圍之第3 例之圖。 圖59係顯示圖52之框間預測部之參照像素之範圍之第4 例之圖。 圖6〇係顯示圖52之框間制部之參照像素之範圍之第5 例之圖。 圖61係顯示圖3之框間預測部之第7構成例之方塊圖。 157972.doc -169- 201233191 _說明框間預測處理之第7例之細節之 圖63係說明框間賴處理之第7例之細節之第⑽ 圖64係顯示圖3之框間預測部之第8構成例之方_。 圖 圖65係顯示圖64之框間預測部之參照像素之第^例之 圖66係說明框間預測處理之第8例之細節之第以程圖。 圖67係說明框間預測處理之第8例之細節之第2流程圖。 圖68係顯示圖64之框間預測部之參照像素之第2例之 圖。 圖69係顯示圖64之框間預測部之參照像素之第3例之 圖。 圖70係顯示圖64之框間預測部之參照像素之第4例之 圖。 圖71係顯示圖3之框間預測部之第9構成例之方塊圖。 圖72係顯示複製後之產生用像素之第1例之圖。 圖73係說明框間預測處理之第9例之細節之第丨流程圖。 圖74係說明框間預測處理之第9例之細節之第2流程圖。 圖75係顯示複製後之產生用像素之第2例之圖。 圖76係顯示複製後之產生用像素之第3例之圖。 圖77係顯示圖3之框間預測部之第1〇構成例之方塊圖。 圖78係顯不於水平方向與垂直方向排列之外側產生用像 素之數相同之情形之參照像素之例之圖。 圖79係顯示圖77之框間預測部之參照像素之例之圖。 圖80係顯示圖框記憶體内之1圖框大小之像素值之配置 157972.doc -170· 201233191 例之圖。 圖81係說明框間預測處理之第1〇例之細節之第1流程 圖。 圖82係說明框間預測處理之第1〇例之細節之第2流程 圖。 圖83係顯示圖3之框間預測部之第丨丨構成例之方塊圖。 圖84係顯示圖83之顏色用框間預測部之構成例之方塊 圖。 • 圖85係顯示產生用像素數與參照,素數之關係之圖表。 圖86係顯示記憶於圖83之LUT之產生用像素數之例之 圖。 圖87係顯示記憶於圖83之LUT之產生用像素數之例之 圖。 圖88係顯示圖83之亮度用框間預測部之構成例之方塊 圖。 圖89係顯示記憶於圖88之LUT之產生用像素數之例之 鲁 圖。 圖90係顯示記憶於圖88之LUT之產生用像素數之例之 圖。 圖91係說明顏色用框間預測處理之第i流程圖。 圖92係說明顏色用框間預測處理之第2流程圖。 圖93係說明正規化參照像素數之特性之圖。 圖94係說明正規化參照像素數之特性之圖。 圖95係說明正規化參照像素數之特性之圖。 157972.doc -171 - 201233191 圖96係說明正規化參照像素數之特性之圖。 圖97係說明正規化參照像素數之特性之圖。 圖98係說明正規化參照像素數之特性之圖。 圖99係說明正規化參照像素數之特性之圖。 圖100係說明正規化參照像素數之特性之圖。 圖101係顯示電腦之一實施形態之構成例之方塊圖。 圖102係顯示電視接收器之主要構成例之方塊圓。 圖103係顯示行動電話之主要構成例之方塊圖。 圖104係顯示硬碟記錄器之主要構成例之方塊圖。
S 圖105係顯示相機之主要構成例之方塊圖。 【主要元件符號說明】 10 編碼裝置 13 運算部 20 加法部 22 圖框記憶體 24 框間預測部 25 動態預測部 41 參照圖像讀取部 42 像素調度部 43 2抽頭FIR濾波器 44 4抽頭FIR濾波器 45 6抽頭FIR濾波器 46 2抽頭濾波器係數記憶體 47 4抽頭濾波器係數記憶體 157972.doc • 172- 201233191
48 6抽頭濾波器係數記憶體 49 像素選擇部 50 中間結果記憶體 100 解碼裝置 105 加法部 111 框間預測部 160 參照圖像讀取部 161 圖像產生部 180 參照圖像讀取部 200 參照圖像讀取部 210 參照圖像讀取部 220 參照圖像讀取部 251 參照圖像讀取部 271 參照圖像讀取部 272 圖像產生部 291 參照圖像讀取部 292 像素輸出部 293 8抽頭FIR濾波器 294 4抽頭FIR濾波器 295 8抽頭濾波器係數記憶體 296 4抽頭濾波器係數記憶體 157972.doc •173·

Claims (1)

  1. 201233191 七、申請專利範圍: 1, 一種圖像處理裝置,其包含: 像素讀取部,其自框間預測之參照圖像讀取特定之像 素;及 運算部,其使用藉由上述像素讀取部而讀取之上述特 定之像素,運算上述參照圖像之分數位置之像素作為上 述框間預測之預測圖像之像素;且 上述像素讀取部以使對應於上述預測圖像之外側之像 素之上述特定之像素之數少於對應於上述預測圖像之内 側之像素之上述料之像素之數之方式,讀取上述特定 之像素。 2·如請求項!之圖像處理裝置,其中上述外側之像素之上 述參照圖像上之位置,係包含使用於上述預測圖像之各 像素之運算之全部的上述特定之像素之區塊、即參照區 塊中之上述預測圖像之尺寸範圍外之位置。
    L如請求項2之圖像處理裝置’其中上述像素讀取部係以 使對應於上述外側之像素之上述特定之像素中位於上述 參照區塊中之上述觸圖像之尺寸範圍外之像素、與對 應於上述内側之像素之上述特定之像素中位於上述參昭 區塊中之上述預測圖像之尺寸範圍外之像素為相同之方 式’讀取上述特定之像素。 4·如請求項^像處理裝置,以上料側之像素之上 ::照圖像上之位置’係包含使用於上述預測圖像之各 、之運算之全部的上述特定之像素之區塊、即參照區 I57972.doc 201233191 塊中之上述預測圖像之尺寸範圍與上述預測圖像之尺寸 範圍外之交界之位置。 5·如請求項丨之圖像處理裝置,其中上述像素讀取部以使 對應於上述預測圖像之最外側之像素之上述特定之像素 之數為2之方式,讀取上述特定之像素。 6·如請求項丨之圖像處理裝置,其中上述像素讀取部以使 對應於上述預測圖像之最外側之像素之上述特定之像素 之數為2、對應於較該外側之像素更内側之像素之上述 特定之像素之數為4、對應於包含較該内側之像素更内 侧之上述預測圖像之最内侧之像素之像素之上述特定之 像素之數為6之方式,讀取上述特定之像素。 7·如請求項1之圖像處理裝置,其進而包含·· 之部’其係記憶對應於上述預測圖像之外側之像素 之係數即外側係數、與對應於上 〃 素之係數即内側係數;1 _圖像之内側之像 上述運算部當藉由上述像素讀取部而讀 之像素為對應於上述預測圖像之外 使用該特定之像素與上述外側係數進行運算之=, 述像素讀取部而讀取之上述特定 田曰上 測圖像之内侧之像素之情形時,使用:::應於上述預 述内側係數進行運算。 。/特疋之像素與上 8.如之广象處理裝置,其進而包含: 、生部,其當藉由上述像素 特定之像素之數小於特定數之情形時,之上述 將該特定之像素 157972.doc 201233191 中外側之像素複製與上述特定之像素之數為上述特定數 之差分,而產生包含經複製之像素與上述特定之像素之 上述特定數之像素;且 上述運算部使用藉由上述像素產生部而產生之上述特 定數之像素,運算上述預測圖像之像素。
    9.如請求項8之㈣處理裝置,#中上述像素讀取部以使 對應於上述預測圖像之最外側之像素之上述特定之像素 之,為4、對應於較該外側之像素更内側之像素之上述 特定之像素之數為5、對應於包含較該内側之像素更内 側之上述預測圖像之最内側之像素之像素之上述特定之 像素之數為6之方式,讀取上述特定之像素,且 上述特定數為6。 10.如請求項1之圖像處理裝置, 卉T上述像素讀取部係以 上述預測圖像之各像素之上述 述翏照圖像上之水平方向及 垂直方向之僅任一方之位置 . v ^ 為數位置之情形與兩方之 位置為为數位置之情形相比, ,@1, 3, ^ Τ應於上述預測圖像之外 側之像素之上述特定之像素 特定之像素。 f 〇之^讀取上述 H.如請求項1之圖像處理裝置,兑 上Μ箱如E! % 八中上返像素讀取部係以 上呔預測圖像之尺寸大於 ^ , 夂之尺寸之情形與為上述特 疋之尺寸以下之情形相比, 之像素之上述特定之像4預測圖像之外側 定之像素。 、增多之方式,讀取上述特 其_上述像素讀取部係以 12.如請求項丨之圖像處理裝置 157972.doc 201233191 上述框間預測之預測方向為單方向之預測之情形與兩方 向之預測之情形相比,對應於上述預測圖像之外側之像 素之上述特定之像素之數增多之方式,讀取上述特定之 像素。 13.如請求们之圖像處理裝置,其中上述像素讀取部以使 對應於上述預測圖像之外側之像素之較該預測像素更外 側之上述特;t之像素之數少於對應於上述預測圖像之内 側之像素之較該預測像素更外側之上述特定之像素之數 之方式,讀取上述特定之像素。 14·如請求項13之圖像處理裝置,其進而包含: 像素產生部,其當藉由上述像素讀取部而讀取之上述 特定之像素之數小於料數之情料,將㈣定之像素 令外側之像素複製與上述㈣之像素之數為上述特定數 之差分,而產生包含經複製之像素與上述特定之像素之 上述特定數之像素,·且 上述運算部使用藉由上述像素產生部而產生之上述特 定數之像素,運算上述預測圖像之像素。 15.如請求们之圖像處理裝置,其中上述像素讀取部以使 對應於上述預測圖像之外側之像素之上述特定之像素之 數少於對應於上述預測圖像之内側之像素之上述特定之 像素之數、且於水平方向及垂直方向之任一方排列之上 述特定之像素之數少於在另一方排列之上述特定之像素 之數之方式,讀取上述特定之像素。 16.如請求項】之圖像處理裝置,其進而包含·· J57972.d〇c S • 4 · 201233191 差分運算部, 之差分。 其運异上述預測圖像與編竭對象之圖像 17. 如請求項1之圖像處理裝置,其進而包含: 之圖像相 加法運算部,其將上述預測圖像與解媽對象 加0 一徑圆像遴理方法,其包含: 像:素:取步驟,其自框間預測之參照圖像讀取特定之 運算步驟’其使用藉由上述像素讀取步 取之上述特定之像素,運算上述參照圖像之分數位:: 像素作為上述框間預測之預測圖像之像素;且 f上述像素讀取步驟之處理中,以使對應於上述預測 圖像之外側之像素之上述特定之像素之數少於對應於上 速預測圖像之内側之像素之上述特定之像素之數之方 式,讀取上述特定之像素。 19.種程式其使電腦執行如下處理,該處理包含: 像素讀取步驟’其自框間預測之參照圖像讀取 像素; 運算步驟,其使用藉由上述像素讀取步驟之處理而讀 取之上述特定之像素,運算上述參照圖像之分數位置= 像素作為上述框間預測之預測圖像之像素;且 在上述像素讀取步驟之處理中,以使對應於上述預測 圖像之外側之像素之上述特定之像素之數少於對應於上 述預測圖像之内側之像素之上述特定之像素之數之方 式’讀取上述特定之像素。 157972.doc
TW100144710A 2010-12-08 2011-12-05 Image processing device, image processing method, and program TW201233191A (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010273220 2010-12-08
JP2011009562 2011-01-20
JP2011054557 2011-03-11
JP2011145752A JP2012209914A (ja) 2010-12-08 2011-06-30 画像処理装置、画像処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
TW201233191A true TW201233191A (en) 2012-08-01

Family

ID=46207182

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100144710A TW201233191A (en) 2010-12-08 2011-12-05 Image processing device, image processing method, and program

Country Status (8)

Country Link
US (1) US20130216150A1 (zh)
EP (1) EP2651135A1 (zh)
JP (1) JP2012209914A (zh)
KR (1) KR20140029363A (zh)
CN (1) CN103238330A (zh)
AR (1) AR084409A1 (zh)
TW (1) TW201233191A (zh)
WO (1) WO2012077695A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2980068A1 (fr) * 2011-09-13 2013-03-15 Thomson Licensing Procede de codage et de reconstruction d'un bloc de pixels et dispositifs correspondants
JP2014138242A (ja) * 2013-01-16 2014-07-28 Sony Corp 画像処理装置および画像処理方法
US10891756B2 (en) * 2016-11-07 2021-01-12 Sony Corporation Image processing device, chart for calibration, and calibration system
US20190364284A1 (en) * 2017-01-16 2019-11-28 Industry Academy Cooperation Foundation Of Sejong University Image encoding/decoding method and device
US10455253B1 (en) * 2017-02-28 2019-10-22 Google Llc Single direction long interpolation filter
WO2019107927A1 (ko) * 2017-11-28 2019-06-06 한국전자통신연구원 양방향 인트라 예측 방법 및 장치
KR20190080805A (ko) * 2017-12-28 2019-07-08 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN110933423B (zh) * 2018-09-20 2022-03-25 杭州海康威视数字技术股份有限公司 帧间预测方法和设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69131257T2 (de) * 1990-10-31 1999-09-23 Victor Company Of Japan Verfahren zur Kompression von bewegten Bildsignalen nach dem Zeilensprungverfahren
DE19746214A1 (de) * 1997-10-21 1999-04-22 Bosch Gmbh Robert Verfahren zur bewegungskompensierenden Prädiktion von Bewegtbildfolgen
US6259734B1 (en) * 1998-04-03 2001-07-10 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and data storage media
JPH11346368A (ja) * 1998-04-03 1999-12-14 Matsushita Electric Ind Co Ltd 画像処理方法,画像処理装置,及びデ―タ記憶媒体
US7630566B2 (en) * 2001-09-25 2009-12-08 Broadcom Corporation Method and apparatus for improved estimation and compensation in digital video compression and decompression
JP4120301B2 (ja) * 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
CN1792097A (zh) * 2003-05-19 2006-06-21 皇家飞利浦电子股份有限公司 具有低存储器带宽要求的视频处理设备
US7953152B1 (en) * 2004-06-28 2011-05-31 Google Inc. Video compression and encoding method
JP2006333436A (ja) * 2005-01-07 2006-12-07 Ntt Docomo Inc 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び、動画像復号プログラム
JP2007129370A (ja) * 2005-11-01 2007-05-24 Matsushita Electric Ind Co Ltd 動きベクトル検出装置及び方法
US8831086B2 (en) * 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
US8705622B2 (en) * 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
EP2442569A1 (en) * 2009-06-09 2012-04-18 Sony Corporation Image processing device and method

Also Published As

Publication number Publication date
EP2651135A1 (en) 2013-10-16
WO2012077695A1 (ja) 2012-06-14
US20130216150A1 (en) 2013-08-22
JP2012209914A (ja) 2012-10-25
AR084409A1 (es) 2013-05-15
CN103238330A (zh) 2013-08-07
KR20140029363A (ko) 2014-03-10

Similar Documents

Publication Publication Date Title
US10855984B2 (en) Image processing apparatus and method
KR101765429B1 (ko) 화상 처리 장치 및 방법, 및 기록 매체
TWI723849B (zh) 圖像解碼裝置、方法及電腦可讀取記錄媒體
TW201233191A (en) Image processing device, image processing method, and program
WO2011018965A1 (ja) 画像処理装置および方法
WO2011040302A1 (ja) 画像処理装置および方法
TW201129099A (en) Image processing device and method
WO2011078003A1 (ja) 画像処理装置および方法、並びにプログラム
TW201043041A (en) Image processing device and method
JP2011151682A (ja) 画像処理装置および方法
JP5556996B2 (ja) 画像処理装置および方法
JPWO2011078002A1 (ja) 画像処理装置および方法、並びにプログラム
JP2011151683A (ja) 画像処理装置および方法
JP2011151431A (ja) 画像処理装置および方法
WO2011125809A1 (ja) 画像処理装置および方法
JP6048774B2 (ja) 画像処理装置および方法
WO2011125625A1 (ja) 画像処理装置および方法