TWI581622B - 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法及動畫像編碼資料 - Google Patents

動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法及動畫像編碼資料 Download PDF

Info

Publication number
TWI581622B
TWI581622B TW105124959A TW105124959A TWI581622B TW I581622 B TWI581622 B TW I581622B TW 105124959 A TW105124959 A TW 105124959A TW 105124959 A TW105124959 A TW 105124959A TW I581622 B TWI581622 B TW I581622B
Authority
TW
Taiwan
Prior art keywords
vector
motion vector
unit
coding
image
Prior art date
Application number
TW105124959A
Other languages
English (en)
Other versions
TW201640898A (zh
Inventor
伊谷裕介
關口俊一
杉本和夫
Original Assignee
三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=45892217&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=TWI581622(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 三菱電機股份有限公司 filed Critical 三菱電機股份有限公司
Publication of TW201640898A publication Critical patent/TW201640898A/zh
Application granted granted Critical
Publication of TWI581622B publication Critical patent/TWI581622B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Description

動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法及動畫像編碼資料
本發明提供有關使用於畫像壓縮編碼技術或壓縮畫像資料傳送技術的動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法及動畫像解碼方法。
例如在MPEG(Moving Picture Experts Group)或「ITU-T H.26×」等國際標準影像編碼方式中，係採用了將亮度信號16×16像素及與該亮度信號16×16像素對應的色差信號8×8像素予以彙總而成的區塊資料(block data，以下稱「巨集區塊」)作為一個單位，而依據移動補償技術或正交變換/變換係數量化技術以進行壓縮的方法。
動畫像編碼裝置及動畫像解碼裝置中的移動補償處理時，係參考前方或後方的圖像而以巨集區塊單位進行移動向量的檢測或預測影像的產生。
此時，將僅參考1幀圖像(picture)而進行畫面間預測編碼者稱為P圖像，將同時參考2幀圖像而進行畫面間預 測編碼者稱為B圖像。
若為國際標準化方式之AVC/H.264(ISO/IEC 14496-10｜ITU-T H.264)，則將B圖像編碼時，能選擇所謂直接模式的編碼模式(參考例如非特許文獻1)。
即，編碼對象的巨集區塊不具有移動向量的編碼資料，而在使用已編碼完的其他圖像之巨集區塊的移動向量或使用周圍之巨集區塊的移動向量之預定的運算處理上，能選擇其產生編碼對象之巨集區塊之移動向量的編碼模式。
此直接模式存在有時間直接模式與空間直接模式的兩種模式。
時間模式係參考已編碼完之其他圖像的移動向量，並對應已編碼完圖像與編碼對象之圖像的時間差而進行移動向量的定標(scaling)處理，以產生編碼對象之巨集區塊的移動向量。
空間直接模式係參考位於編碼對象之巨集區塊周圍之至少一個以上已編碼完的巨集區塊之移動向量，而從這些移動向量產生編碼對象之巨集區塊的移動向量。
此直接模式係以使用設置於片頭(slice header)的旗標(flag)之“direct_spatial_mv_pred_flag”，而能以片單位來選擇時間直接模式或空間直接模式之其中任一模式。
其中，在直接模式之中，把不將變換係數編碼的模式稱為跳躍模式(skip mode)。以下設成記載為直接模式時也包含跳躍模式者。
在此說明，第11圖係概略顯示以時間直接模式產生移動向量的方法的圖式。
第11圖中，「P」表示P圖像，「B」表示B圖像。
又，數字0至3表示圖像的顯示順序，表示時間T0、T1、T2、T3的顯示畫像。
圖像的編碼處理係以P0、P3、B1、B2的順序來進行。
例如，想定以時間直接模式將圖像B2之中的巨集區塊MB1編碼的情況。
此情況下，使用位於圖像B2的時間軸上後方之已編碼完圖像之中最接近圖像B2之圖像P3的移動向量，即，使用與巨集區塊MB1位於空間性相同位置之巨集區塊MB2的移動向量MV。
此移動向量MV參考圖像P0，而將巨集區塊MB1編碼時使用的移動向量MVL0、MVL1係可利用以下的算式(1)求得。
第12圖係概略顯示以空間直接模式產生移動向量之方法的圖式。
於第12圖中，currentMB表示編碼對象的巨集區塊。
此時，將編碼對象的巨集區塊之左側之已編碼完巨集區塊A的移動向量設為MVa，將編碼對象的巨集區塊之上之已編碼完巨集區塊B的移動向量設為MVb，將編碼對象 的巨集區塊之右上之已編碼完巨集區塊C的移動向量設為MVc時，則如以下算式(2)所示，藉著求出這些移動向量MVa、MVb、MVc的中央值(median)，而能算出編碼對象的巨集區塊之移動向量MV。
MV=median(MVa、MVb、MVc) (2)
在空間直接模式，雖係分別就前方及後方求出移動向量，惟不論何者均能使用上述方法來求出。
又，使用於產生預測畫像的參考畫像，係於每一個使用於參考的向量作成參考畫像列表並予以管理，在使用兩個向量的情況下，各參考畫像列表稱為列表0、列表1。
對參考畫像從時間性接近者依順序儲存，通常，列表0表示前方向的參考畫像，列表1表示後方向的參考畫像。惟，也可為列表1顯示前方向的參考畫像，列表0顯示後方向的參考畫像，也可為列表0與列表1雙方顯示前方向與後方向的參考畫像。又，排列順序也無必要從時間性接近者排起。
例如，以下的特許文獻1中，記載著參考畫像列表可於每一片更動排列。
(先前技術文獻) (非專利文獻)
非專利文獻1：MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H. 264規格)
習知的畫像編碼裝置係如以上所述的構成，所以，若是參照已設置於片頭之作為旗標的“direct_spatial_mv_pred_flag”，則能以片單位來切換時間直接模式與空間直接模式。但是，若是巨集區塊單位，無法切換時間直接模式與空間直接模式，所以對屬於某片之某巨集區塊最適當的直接模式例如即使為空間直接模式，若是決定與該片對應的直接模式為時間直接模式，則對該巨集區塊必須使用時間直接模式，而無法選擇最適當的直接模式。如此情況下，由於無法選擇最適當的直接模式，所以必須將不必要的移動向量編碼，而有編碼量增加等課題。
本發明係為了解決上述課題而完成的發明，且係以獲得對預定的區塊單位選擇最適當的直接模式，而能降低編碼量的動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法及動畫像解碼方法為目的。
有關本發明之動畫像編碼裝置，係建構成設置有編碼控制手段及區塊分割手段，該編碼控制手段係決定在實施預測處理時之成為處理單位之編碼區塊的最大尺寸，且決定最大尺寸的編碼區塊被階層地分割時之上限的階層數，並從可利用的一個以上之編碼模式之中，選擇決定個別的編碼區塊之編碼方法的編碼模式者，而該區塊分割手段係將輸入畫像分割成預定之編碼區塊，且將上述編碼區塊階層地分割至由編碼控制手段所決定之上限的階層數為止者，由編碼控制手段選擇了直接模式的幀間編碼模式作為 與由區塊分割手段所分割之編碼區塊對應的編碼模式的場合，移動補償預測手段從可選擇的一個以上的移動向量之中，選擇適合於產生預測畫像的移動向量，並使用該移動向量而實施對上述編碼區塊的移動補償預測處理以產生預測畫像，且將顯示該移動向量之索引資訊輸出至可變長度編碼手段，可變長度編碼手段係將索引資訊予以可變長度編碼者。
依據本發明，由於係構成為設置有編碼控制手段及區塊分割手段，該編碼控制手段係決定在實施預測處理時成為處理單位之編碼區塊的最大尺寸，且決定最大尺寸的編碼區塊被階層地分割時之上限的階層數，並從可利用的一個以上的編碼模式之中，選擇決定個別的編碼區塊之編碼方法的編碼模式者，而該區塊分割手段係將輸入畫像分割成預定之編碼區塊，且將上述編碼區塊階層地分割至由編碼控制手段所決定之上限的階層數為止者，由編碼控制手段選擇了直接模式的幀間編碼模式作為與由區塊分割手段所分割之編碼區塊對應的編碼模式的場合，移動補償預測手段從可選擇的一個以上的移動向量之中，選擇適合於產生預測畫像的移動向量，並使用該移動向量而實施對上述編碼區塊的移動補償預測處理以產生預測畫像，且將顯示該移動向量之索引資訊輸出至可變長度編碼手段，可變長度編碼手段係將索引資訊予以可變長度編碼者，因此，具有可對預定的區塊單位選擇最適當的直接模式，而能降低 編碼量的功效。
1‧‧‧編碼控制部(編碼控制手段)
2‧‧‧區塊分割部(區塊分割手段)
3‧‧‧切換開關(幀內預測手段、移動補償預測手段)
4‧‧‧幀內預測部(幀內預測手段)
5‧‧‧移動補償預測部(移動補償預測手段)
6‧‧‧減法部(差分畫像產生手段)
7‧‧‧變換或量化部(畫像壓縮手段)
8‧‧‧反量化或反變換部
9‧‧‧加法部
10‧‧‧幀內預測用記憶體
11‧‧‧迴路濾波部
12‧‧‧移動補償預測幀記憶體
13‧‧‧可變長度編碼部(可變長度編碼手段)
21‧‧‧切換開關
22‧‧‧移動向量搜尋部
23、25、26、27‧‧‧直接向量產生部
24‧‧‧移動補償處理部
31‧‧‧空間直接向量產生部
32‧‧‧時間直接向量產生部
33‧‧‧直接向量判定部
34、36、37‧‧‧初始向量產生部
35‧‧‧移動向量搜尋部
41‧‧‧移動補償部
42‧‧‧類似度算出部
43‧‧‧直接向量選擇部
51‧‧‧可變長度解碼部(可變長度解碼手段)
52‧‧‧切換開關(幀內預測手段、移動補償預測手段)
53‧‧‧幀內預測部(幀內預測手段)
54‧‧‧移動補償預測部(移動補償預測手段)
55‧‧‧反量化或反變換部(差分畫像產生手段)
56‧‧‧加法部(解碼畫像產生手段)
57‧‧‧幀內預測用記憶體
58‧‧‧迴路濾波部
59‧‧‧移動補償預測幀記憶體
61、91‧‧‧切換開關
62、64、65、66‧‧‧直接向量產生部
63‧‧‧移動補償處理部
71‧‧‧空間向量產生部
72‧‧‧時間向量產生部
73‧‧‧初始向量判定部
81‧‧‧移動補償部
82‧‧‧類似度算出部
83‧‧‧初始向量決定部
第1圖係顯示依據本發明之實施形態1所構成之動畫像編碼裝置的構造圖。
第2圖係顯示依據本發明之實施形態1所構成之動畫像編碼裝置之移動補償預測部5的構造圖。
第3圖係顯示構成移動補償預測部5之直接向量產生部23的構造圖。
第4圖係顯示構成直接向量產生部23之直接向量判定部33的構造圖。
第5圖係顯示依據本發明之實施形態1所構成之動畫像解碼裝置的構造圖。
第6圖係顯示依據本發明之實施形態1所構成之動畫像解碼裝置之移動補償預測部54的構造圖。
第7圖係顯示依據本發明之實施形態1所構成之動畫像編碼裝置之處理內容的流程圖。
第8圖係顯示依據本發明之實施形態1所構成之動畫像解碼裝置之處理內容的流程圖。
第9圖係顯示最大尺寸之編碼區塊階層地分割成複數個編碼區塊的情形的說明圖。
第10圖(a)係顯示分割後之分區的分布，第10圖(b)係顯示以四分樹曲線圖顯示於階層分割後之分區分配編碼模式m(Bn)之狀況的說明圖。
第11圖係顯示以時間直接模式產生移動向量之方法 的示意圖。
第12圖係顯示以空間直接模式產生移動向量之方法的示意圖。
第13圖係顯示從中間值預測的候選A1-An、B1-Bn、C、D、E產生空間直接向量之方法的示意圖。
第14圖係顯示因應時間方向的距離而進行定標，以產生空間直接向量之方法的示意圖。
第15圖係顯示依據前方預測畫像與後方預測畫像之類似度所為之評價值的算出例的說明圖。
第16圖(a)及(b)係顯示使用移動向量之分散值的評價式的說明圖。
第17圖係顯示空間向量MV_A、MV_B、MV_C或時間向量MV_1至MV_8的說明圖。
第18圖係顯示從複數個已編碼完向量產生一個候選向量的說明圖。
第19圖係顯示僅組合時間性較前的畫像以算出評價值SAD之例的說明圖。
第20圖係顯示搜尋類似L字型之畫像的說明圖。
第21圖係顯示編碼區塊Bn的尺寸為Ln=kMn之例的說明圖。
第22圖係顯示以(Ln+1、Mn+1)=(Ln/2、Mn/2)的方式分割之例的說明圖。
第23圖係顯示可選擇第21圖或第22圖之其中任一種分割之例的說明圖。
第24圖係顯示變換區塊尺寸單位呈階層構造之例的說明圖。
第25圖係顯示依據本發明之實施形態3所構成之動畫像編碼裝置之移動補償預測部5的構造圖。
第26圖係顯示構成移動補償預測部5之直接向量產生部25的構造圖。
第27圖係顯示構成直接向量產生部25之初始向量產生部34的構造圖。
第28圖係顯示構成初始向量產生部34之初始向量判定部73的構造圖。
第29圖係顯示依據本發明之實施形態3所構成之動畫像解碼裝置之移動補償預測部54的構造圖。
第30圖係顯示移動向量之搜尋處理的說明圖。
第31圖係顯示依據本發明之實施形態4所構成之動畫像編碼裝置之移動補償預測部5的構造圖。
第32圖係顯示依據本發明之實施形態4所構成之動畫像解碼裝置之移動補償預測部54的構造圖。
第33圖係顯示記述有可選擇之移動向量與顯示其移動向量之索引資訊之直接向量候選索引的說明圖。
第34圖係顯示僅將一個向量的索引資訊予以編碼之例的說明圖。
第35圖係顯示構成移動補償預測部5之直接向量產生部26的構造圖。
第36圖係顯示依據本發明之實施形態5所構成之動畫 像編碼裝置之移動補償預測部5的構造圖。
第37圖係顯示構成移動補償預測部5之直接向量產生部27的構造圖。
第38圖係顯示依據本發明之實施形態5所構成之動畫像解碼裝置之移動補償預測部54的構造圖。
第39圖係顯示構成移動補償預測部5之直接向量產生部26的構造圖。
第40圖係顯示與周圍之區塊的相關關係的說明圖。
第41圖係於編碼區塊之每一個區塊尺寸顯示可選擇之一個以上的移動向量之列表的說明圖。
第42圖係顯示最大區塊尺寸為「128」之列表之一例的說明圖。
第43圖係於編碼區塊之每一個分割圖案顯示可選擇之一個以上的移動向量之列表的說明圖。
第44圖係顯示於動畫像編碼裝置中之列表資訊之發送處理的流程圖。
第45圖係顯示於動畫像解碼裝置中之列表資訊之接收處理的流程圖。
第46圖係顯示為了將列表內的「temporal」從可選擇變更為不可選擇，乃將顯示“on”之變更旗標與變更後的列表的列表資訊予以編碼之例的說明圖。
第47圖係顯示變更旗標為“on”，所以變更現在保持的列表之例的說明圖。
第48圖係顯示於每一區塊尺寸製備變更旗標，而僅將 相關於業經變更之可選擇的移動向量之區塊尺寸的列表資訊予以編碼之例的說明圖。
第49圖係顯示從成為對象之區塊搜尋已幀間編碼的區塊，並將該區塊內所包含之全部的向量作為空間向量候選之例的說明圖。
以下參照圖式來詳細說明本發明之實施形態。
實施形態1
在此實施形態1中係說明畫像編碼裝置及動畫像解碼裝置，該動畫編碼裝置係輸入映像的各幀畫像，並對在近接幀間實施移動補償預測而所獲得的預測差分信號實施利用正交變換或量化的壓縮處理之後，進行可變長度編碼而產生位元流；該動畫像解碼裝置係將從該動畫像編碼裝置所輸出的位元流予以解碼。
此實施形態1的動畫像編碼裝置的特徵在於：適應映像信號之空間或時間方向之局部性的改變，而將映像信號分割成多種尺寸的區域以進行幀(frame)內或幀間適應編碼。
一般的映像信號具有空間性或時間性局部地改變信號之複雜度的特性。以空間性來看，某特定的映像幀上若是在天空或壁等較寬廣的畫像區域中也具有擁有著均一的信號特性的構圖，則在擁有人物或細的紋理的繪畫等小的畫像區域內會有混雜著具有複雜的紋理圖案的構圖。
以時間性來看，天空或壁局部性地在時間方向之構圖 的變化小，但是，移動的人物或物體其輪廓會時間性地進行剛體或非剛體的運動，所以，時間性的變化大。
編碼處理係以依據時間或空間性的預測而產生信號電力或熵(entropy)小的預測差分信號的狀態，可降低整體的編碼量，惟若是能將用以預測的參數儘量地均一地應用於大的畫像信號區域，則能減少該參數的編碼量。
相對於此，對於時間性或空間性的變化大的畫像信號圖案，當運用相同的預測參數時，則預測的誤差增加，因此，無法刪減預測差分信號的編碼量。
因此，對於時間性或空間性的變化大的畫像信號圖案，則以即使減少預測對象的區域而增加用以預測之參數的資料量也會減少預測差分信號的電力或熵的狀態為較適宜。
為了進行如此映像信號之適應一般性質的編碼，本實施形態1之動畫像編碼裝置，係建構成從預定的最大區塊尺寸階層地分割映像信號的區域，而對每一分割區域實施預測處理或預測差分的編碼處理。
本實施形態1之動畫像編碼裝置之作為處理對象的映像信號，係除了由亮度信號與兩個色差信號所構成的YUV信號及從數位攝像元件輸出的RGB信號等之任意的色空間的彩色映像信號之外，還有由黑白畫像信號或紅外線畫像信號等映像幀為水平或垂直二維的數位樣本(像素)列所構成之任意的映像信號。
各像素的位階可為8位元、也可為10位元、12位元 等位階。
其中於以下的說明中，除非特別聲明，否則輸入的映像信號為YUV信號。又，兩個色差成分U、V相對於亮度成分Y係設為業經子樣本處理的4：2：0格式化信號。
又，將與映像之各幀對應的處理資料單位稱為「圖像」，本實施形態1說明「圖像」係作為經順序掃描(progressive scanning，又稱循序掃描)之映像幀的信號。其中，映像信號為交錯信號時，「圖像」也可為構成影像幀之單位即場(field)畫像信號。
第1圖係顯示依據本發明之實施形態1所構成之動畫像編碼裝置的構造圖。
第1圖中，編碼控制部1決定實施移動補償預測處理(幀之間預測處理)或幀內預測處理(幀之內預測處理)時成為處理單位的編碼區塊的最大尺寸，且實施決定最大尺寸之編碼區塊被階層地分割時之上限階層數的處理。
又，編碼控制部1實施從可利用的一個以上的編碼模式(一個以上的幀內編碼模式、一個以上的幀間編碼模式(包含直接模式之幀間編碼模式))之中，適合於階層地分割之個別的編碼區塊之編碼模式的處理。又，編碼控制部1構成編碼控制手段。
區塊分割部2當輸入顯示輸入畫像的映像信號時，實施將其映像信號所顯示的輸入畫像分割成由編碼控制部1所決定之最大尺寸的編碼區塊，且將該編碼區塊階層地分割至由編碼控制部1所決定之上限的階層數。又，區塊分 割部2構成區塊分割手段。
切換開關3實施當由編碼控制部1所選擇的編碼模式為幀內編碼模式時，將由區塊分割部2所分割的編碼區塊輸出至幀內預測部4，當由編碼控制部1所選擇的編碼模式為幀間編碼模式時，將由區塊分割部2所分割的編碼區塊輸出至移動補償預測部5。
幀內預測部4當從切換開關3接受由區塊分割部2所分割的編碼區塊時，實施使用從編碼控制部1輸出的幀內預測參數以實施對該編碼區塊之幀內預測處理而產生預測畫像的處理。
又，由切換開關3及幀內預測部4構成幀內預測手段。
移動補償預測部5在由編碼控制部1選擇了直接模式之幀間編碼模式作為適合於由區塊分割部2所分割之編碼區塊之編碼模式的情況下，實施從位於該編碼區塊周圍的已編碼完區塊的移動向量產生空間直接模式的空間直接向量，且從該編碼區塊之可參考的已編碼完圖像的移動向量產生時間直接模式的時間直接向量，並從該空間直接向量或時間直接向量之中，選擇參考畫像間相關性變高者的直接向量，而使用該直接向量以實施對該編碼區塊的移動補償預測處理而產生預測畫像的處理。
又，移動補償預測部5在由編碼控制部1選擇了直接模式以外之幀間編碼模式作為適合於由區塊分割部2所分割之編碼區塊之編碼模式的情況下，實施從該編碼區塊與移動補償預測幀記憶體12所儲存的參考畫像搜尋移動向 量，並使用該移動向量實施對該編碼區塊的移動補償預測處理以產生預測畫像的處理。
又，由切換開關3及移動補償預測部5構成移動補償預測手段。
減法部6實施從藉著由區塊分割部2所分割的編碼區塊，減去幀內預測部4或移動補償預測部5所產生的預測畫像，而產生差分畫像(=編碼區塊-預測畫像)的處理。又，減法部6構成差分畫像產生手段。
變換或量化部7以從編碼控制部1輸出的預測差分編碼參數所包含之變換區塊尺寸單位，實施藉著減算部6所產生的差分畫像的變換處理(例如，DCT(離散餘弦變換)或預先對特定的學習系列進行基底設計的KL變換等正交變換處理)，且使用該預測差分編碼參數所包含的量化參數而將其差分影像的變換係數予以量化，以實施將量化後的變換係數作為差分畫像之壓縮資料並輸出的處理。又，變換或量化部7構成畫像壓縮手段。
反量化或反變化部8使用從編碼控制部1輸出的預測差分編碼參數所包含的量化參數，而將從變換或量化部7輸出的壓縮資料反量化，並以該預測差分編碼參數所包含的變換區塊尺寸單位實施反量化的壓縮資料的反變換處理(例如，反DCT(反離散餘弦變換)或反KL變換等反變換處理)，藉此實施將反變換處理後的壓縮資料作為局部解碼預測差分信號並輸出的處理。
加法部9實施將從反量化或反變化部8輸出的局部解 碼預測差分信號與顯示由幀內預測部4或移動補償預測部5所產生的預測畫像的預測信號予以加算，藉此產生顯示局部解碼畫像之局部解碼畫像信號的處理。
幀內預測用記憶體10係將由加法部9所產生的局部解碼畫像信號所顯示的局部解碼畫像予以儲存的RAM等記憶體，而以該局部解碼畫像作為由幀內預測部4在下一次的幀內預測處理所使用的畫像。
迴路濾波部11實施將加法部9所產生的局部解碼畫像信號所包含的編碼失真予以補償，並將編碼失真補償後的局部解碼畫像信號所顯示的局部解碼畫像作為參考畫像而輸出至移動補償預測幀記憶體12的處理。
移動補償預測幀記憶體12係儲存由迴路濾波部11所為之濾波處理後的局部解碼畫像之RAM等記錄媒體，而以該局部解碼畫像作為由移動補償預測部5在下一次的移動補償預測處理所使用的參考畫像。
可變長度編碼部13實施將從量化部7輸出的壓縮資料、從編碼控制部1輸出的編碼模式及預測差分編碼參數、以及從幀內預測部4輸出的幀內預測參數或從移動補償預測部5輸出的幀間預測參數予以可變長編碼，以產生其壓縮資料、編碼模式、預測差分編碼參數、幀內預測參數/幀間預測參數的編碼資料經多工之位元流的處理。又，可變長度編碼部13構成可變長度編碼手段。
第2圖係顯示依據本發明之實施形態1所構成之動畫像編碼裝置之移動補償預測部5的構造圖。
於第2圖中，切換開關21係實施在藉編碼控制部1所選擇的編碼模式為直接模式以外的幀間模式時，將由區塊分割部2所分割的編碼區塊輸出至移動向量搜尋部22，相對於此，在該編碼模式為直接模式的幀間模式時，將由區塊分割部2所分割的編碼區塊輸出至直接向量產生部23的處理。
又，也可建構成直接向量產生部23產生直接向量時，不使用區塊分割部2所分割的編碼區塊，所以不將其編碼區塊輸出至直接向量產生部23。
移動向量搜尋部22實施一面參考從切換開關21輸出的編碼區塊與儲存於移動補償預測幀記憶體12的參考畫像，一面以幀間模式搜尋最適當的移動向量，並將該移動向量輸出至移動補償處理部24的處理。
直接向量產生部23實施從位於該編碼區塊周圍之已編碼完區塊的移動向量產生空間直接模式的空間直接向量，且從該編碼區塊可參考之已編碼完圖像的移動向量產生時間直接模式的時間直接向量，並從其空間直接向量或時間直接向量之中，選擇參考畫像間相關性高者的直接向量的處理。
移動補償處理部24以使用由移動向量搜尋部22所搜尋之移動向量或由直接向量產生部23所選擇之直接向量與儲存在移動補償預測幀記憶體12的一個幀以上的參考畫像，並依據從編碼控制部1輸出的幀間預測參數而實施移動補償預測處理，而實施產生預測畫像的處理。
又，移動補償處理部24將實施移動補償預測處理時使用的幀間預測參數輸出至可變長度編碼部13。在由編碼控制部1所選擇的編碼模式為直接模式以外的幀間模式時，將由移動向量搜尋部22所搜尋的移動向量包含於該幀間預測參數而輸出至可變長度編碼部13。
第3圖係顯示構成移動補償預測部5之直接向量產生部23的構造圖。
於第3圖中，空間直接向量產生部31從已編碼完之區塊的移動向量(已編碼完之區塊的移動向量儲存於未圖式之移動向量記憶體，或移動補償預測部5的內部記憶體)之中，讀出位於編碼區塊周圍之已編碼完之區塊的移動向量，並從該移動向量產生空間直接模式之空間直接向量的處理。
時間直接向量產生部32從已編碼完之區塊的移動向量之中，讀出可參考編碼區塊之已編碼完圖像的移動向量，即，讀出位於與編碼區塊在空間性相同位置之區塊的移動向量，並從該移動向量產生時間直接模式之時間直接向量的處理。
直接向量判定部33實施使用由空間直接向量產生部31所產生的空間直接向量，而算出空間直接橫式的評價值，且使用由時間直接向量產生部32所產生的時間直接向量，而算出時間直接模式的評價值，並將該空間直接橫式的評價值與時間直接模式的評價值加以比較，而選擇該空間直接向量與時間直接向量之其中任一者的處理。
第4圖係顯示構成直接向量產生部23之直接向量判定部33的構造圖。
於第4圖中，移動補償部41實施使用由空間直接向量產生部31所產生的空間直接向量，而產生空間直接模式的列表0預測畫像(例如，空間直接模式的前方預測畫像)與空間直接模式的列表1預測畫像(例如，空間直接模式的後方預測畫像)，且使用由時間直接向量產生部32所產生的時間直接向量，而產生時間直接模式的列表0預測畫像(例如，時間直接模式的前方預測畫像)與時間直接模式的列表1預測畫像(例如，時間直接模式的後方預測畫像)的處理。
類似度算出部42實施算出空間直接模式的列表0預測畫像(前方預測畫像)與列表1預測畫像(後方預測畫像)的類似度作為空間直接模式的評價值，且算出時間直接模式的列表0預測畫像(前方預測畫像)與列表1預測畫像(後方預測畫像)的類似度作為時間直接模式之評價值的處理。
直接向量選擇部43實施將由類似度算出部42所算出的空間直接模式的列表0預測畫像(前方預測畫像)與列表1預測畫像(後方預測畫像)的類似度、和時間直接模式的列表0預測畫像(前方預測畫像)與列表1預測畫像(後方預測畫像)的類似度予以比較，而在空間直接向量或時間直接向量之中，選擇列表0預測畫像(前方預測畫像)與列表1預測畫像(後方預測畫像)的類似度高者之直接模式的直接向量的處理。
第5圖係顯示依據本發明實施形態1所構成的動畫像 解碼裝置之構造圖。
於第5圖中，可變長度解碼部51實施將從已多工成位元流的編碼資料階層地分割之各個的編碼區塊有關的壓縮資料、編碼模式、預測差分編碼參數、幀內預測參數/幀間預測參數予以可變長度解碼，並將該壓縮資料及預測差分編碼參數輸出至反量化或反變換部55，且將該編碼模式及幀內預測參數/幀間預測參數輸出至切換開關52的處理。又，可變長度解碼部51構成可變長度解碼手段。
切換開關52實施在從可變長度解碼部51輸出的編碼區塊有關的編碼模式為幀內編碼模式時，將從可變長度解碼部51輸出的幀內預測參數輸出至幀內預測部53；而在該編碼模式為幀間編碼模式時，將從可變長度解碼部51輸出的幀間預測參數輸出至移動補償預測部54的處理。
幀內預測部53實施使用從切換開關52輸出的幀內預測參數，而對該編碼區塊實施幀內預測處理以產生預測畫像的處理。
又，由切換開關52及幀內預測部53構成幀內預測手段。
移動補償預測部54在從可變長度解碼部51輸出1的編碼區塊之編碼模式為直接模式的幀間編碼模式時，實施從位於該編碼區塊周圍之已解碼完區塊的移動向量產生空間直接模式的空間直接向量，且從該編碼區塊可參考的解碼完圖像的移動向量產生時間直接模式的時間直接向量，並從其空間直接向量或時間直接向量之中選擇參考畫像間 之相關性高者的直接向量，使用其直接向量而對該編碼區塊實施移動補償預測處理以產生預測畫像的處理。
又，移動補償預測部54在從可變長度解碼部51輸出的編碼區塊之編碼模式為直接模式以外的幀間編碼模式時，實施使用從可變長度解碼部51輸出之幀間預測參數所包含的移動向量，而對該編碼區塊實施移動補償預測處理以產生預測畫像的處理。
又，由切換開關52及移動補償預測部54構成移動補償預測手段。
反量化或反變換部55使用從可變長度解碼部51輸出的預測差分編碼參數所包含的量化參數，而將由可變長度解碼部51輸出之編碼區塊的壓縮資料反量化，並以其預測差分編碼參數所包含的變換區塊尺寸單位，實施反量化化壓縮資料的反變換處理(例如，反DCT(反離散餘弦變換)或反KL變換等反變換處理，藉此而實施將反變換處理後之壓縮資料作為解碼預測差分信號(顯示壓縮前之差分畫像的信號)來輸出的處理。又，反量化或反變換部55構成差分畫像產生手段。
加法部56實施將反量化或反變換部55所輸出的解碼預測差分信號，加算於顯示由幀內預測部53或移動補償預測部54所產生之預測畫像的預測信號，以產生顯示解碼畫像的解碼畫像信號。又，加法部56構成解碼畫像產生手段。
幀內預測用記憶體57係將由加法部56所產生的解碼畫線信號所顯示的解碼畫像予以儲存的RAM等記錄媒 體，且以該解碼畫像作為由幀內預測部53在下一次幀內預測處理所使用的畫像。
迴路濾波器58將加法器56所產生的解碼畫像信號所包含的編碼失真予以補償，並實施將編碼失真補償後的解碼畫像信號所顯示的解碼畫像作為參考畫像並輸出至移動補償預測幀記憶體59的處理。
移動補償預測幀記憶體59係將迴路濾波器58所為之濾波處理後的解碼畫像予以儲存的RAM等記錄媒體，且以該解碼畫像作為移動補償預測部54在下一次移動補償預測處理所使用的參考畫像。
第6圖係顯示依據本發明之實施形態1所構成之動畫像解碼裝置之移動補償預測部54的構造圖。
於第6圖中，切換開關61在從可變長度解碼部51輸出的編碼區塊之編碼模式為直接模式以外的幀間模式時，實施將從可變長度解碼部51輸出之幀間預測參數(包含移動向量)輸出至移動補償處理部63，而該編碼模式為直接模式的幀間模式時，實施將從可變長度解碼部51輸出之幀間預測參數輸出至直接向量產生部62的處理。
直接向量產生部62實施從位於該編碼區塊周圍之已解碼完區塊的移動向量產生空間直接模式的空間直接向量，且從該編碼區塊可參考之已解碼完圖像的移動向量產生時間直接模式的時間直接向量，並從該空間直接向量或時間直接向量之中，選擇參考畫像間相關性高者的直接向量的處理。
又，直接向量產生部62實施將從切換開關61輸出的幀間預測參數輸出至移動補償處理部63的處理。
又，直接向量產生部62的內部構造與第2圖的直接向量產生部23相同。
移動補償處理部63使用從切換開關61輸出的幀間預測參數所包含之移動向量或藉直接向量產生部62所選擇的直接向量與已儲存於移動補償預測幀記憶體59的一幀參考畫像，並依據從直接向量產生部62輸出的幀間預測參數而實施移動補償預測處理，以產生預測畫像的處理。
第1圖中係假設有作為動畫像編碼裝置之構成要素的編碼控制部1、區塊分割部2、切換開關3、幀內預測部4、移動補償預測部5、減法部6、變換或量化部7、反量化或反變換部8、加法部9、迴路濾波部11及可變長度編碼部13分別以專用的硬體(例如，安裝有CPU的半導體積體電路或單晶片微電腦等)所構成者，惟在動畫像編碼裝置係以電腦來構成時，也可建構成將記述有編碼控制部1、區塊分割部2、切換開關3、幀內預測部4、移動補償預測部5、減法部6、變換或量化部7、反量化或反變換部8、加法部9、迴路濾波部11及可變長度編碼部13的處理內容的程式儲存於該電腦的記憶體，而該電腦的CPU執行已儲存於該記憶體的程式。
第7圖係顯示依據本發明之實施形態1所構成之動畫像編碼裝置之處理內容的流程圖。
第5圖中係假設有作為動畫像解碼裝置之構成要素的 可變長度解碼部51、切換開關52、幀內預測部53、移動補償預測部54、反量化或反變換部55、加法部56及迴路濾波部58分別以專用的硬體(例如，安裝有CPU的半導體積體電路或單晶片微電腦等)所構成者，惟在動畫像解碼裝置係以電腦來構成時，也可建構成將記述有可變長度解碼部51、切換開關52、幀內預測部53、移動補償預測部54、反量化或反變換部55、加法部56及迴路濾波部58之處理內容的程式儲存於該電腦的記憶體，而該電腦的CPU執行已儲存於該記憶體的程式。
第8圖係顯示依據本發明之實施形態1所構成之動畫像解碼裝置之處理內容的流程圖。
接著說明動作。
最先，說明第1圖之動畫像編碼裝置的處理內容。
首先，編碼控制部1決定在實施移動補償預測處理(幀間預測處理)或幀內預測處理(幀內部預測處理)時成為處理單位之編碼區塊的最大尺寸，且決定最大尺寸之編碼區塊階層地分割時之上限的階層數(第7圖的步驟ST1)。
在作為編碼區塊之最大尺寸的決定方法上，可考量有例如對全部的圖像決定與輸入畫像的解析度對應的尺寸之方法。
又，可考量將輸入畫像之局部性移動之複雜度的不同作為參數而先予以定量化，移動激烈的圖像則將最大尺寸決定為最小值，而移動少的圖像則將最大尺寸決定為最大值的方法等。
關於上限的階層數，可考量例如設定成輸入畫像的移動愈激烈則將階層數設得愈深而能檢測出更細微的移動，若是輸入畫像的移動少，則以抑制階層數的方式來設定的方法。
又，編碼控制部1從可利用的一個以上編碼模式(M種的幀內編碼模式、N種的幀間編碼模式(包含直接模式的幀間編碼模式))之中，選擇適合於階層地分割之各個編碼區塊的編碼模式(步驟ST2)。
利用編碼控制部1所為之編碼模式的選擇方法為眾所周知的技術，因此省略詳細的說明，惟例如有使用可利用之任意的編碼模式，對編碼區塊實施編碼處理以驗證編碼效率，並在可利用之複數種編碼模式中選擇編碼效率最好的編碼模式的方法等。
區塊分割部2當輸入顯示輸入畫像的映像信號時，則將該映像信號所示的輸入畫像分割成由編碼控制部1所決定之最大尺寸的編碼區塊，且將該編碼區塊階層地分割直到由編碼控制部1所決定之上限的階層數。
在此，第9圖係顯示最大尺寸的編碼區塊被階層地分割成複數個編碼區塊之情形的說明圖。
第9圖的例子係最大尺寸的編碼區塊為第0階層的編碼區塊B0，具有在亮度成分(L0、M0)的尺寸。
又，第9圖的例子係以最大尺寸的編碼區塊B0作為出發點，以四元樹(quadtree)構造階層地進行分割直到另外預定的深度為止，以獲得編碼區塊Bn。
於深度n中，編碼區塊Bn係在尺寸(Ln、Mn)的畫像區域。
其中，Ln與Mn可為相同也可為不同，而於第9圖的例子顯示Ln=Mn的情況。
以下將編碼區塊Bn的尺寸定義為編碼區塊Bn之亮度成分下的尺寸(Ln、Mn)。
由於區塊分割部2進行四元樹分割，所以，(Ln+1、Mn+1)=((Ln/2、Mn/2)總是成立。
其中，如RGB信號等的情況，若是全部的色成分具有相同抽樣數的彩色映像信號(4：4：4規格)，則全部的色成分的尺寸為(Ln、Mn)，而在處理4：2：0規格的情況下，所對應之色差成分之編碼區塊的尺寸為(Ln/2、Mn/2)。
以下，將在第n階層的編碼區塊Bn可選擇的編碼模式記載為m(Bn)。
也可建構成由複數色成分所構成的彩色映像信號的情況下，編碼模式m(Bn)於每一色成分分別使用個別的模式，以下除非有特別聲明否則係指對於YUV信號、4：2：0規格之編碼區塊的亮度成分的編碼模式進行說明。
關於編碼模式m(Bn)，有一種至複數種幀內編碼模式(總稱「INTRA」)、一種至複數種幀間編碼模式(總稱「INTER」)、編碼控制部1如以上所述從在該圖像可利用之全部的編碼模式，甚至是從其副組之中選擇對於編碼區塊Bn編碼效率最佳的編碼模式。
如第9圖所示，編碼區塊Bn更分割成一個至複數個預 測處理單位(分區(partition))。
以下將屬於編碼區塊Bn的分區標記成Pi n(i：第n階層的分區編號)。
屬於編碼區塊Bn的分區Pi n的分割是如何地進行，乃係於編碼模式m(Bn)中包含有資訊。
分區Pi n係全部依照編碼模式m(Bn)進行預測處理，惟也可對每一個分區Pi n選擇個別的預測參數。
編碼控制部1對最大尺寸的編碼區塊產生例如第10圖所示區塊分割狀態，並特定編碼區塊Bn。
第10圖(a)的標加斜線部分顯示分割後之分區的分布，又，第10圖(b)係以四分樹曲線圖顯示於階層分割後之分區分配編碼模式m(Bn)的狀況。
於第10圖(b)中，以□所包圍的節點(node)顯示分配有編碼模式m(Bn)的節點(編碼區塊Bn)。
當切換開關3於編碼控制部1對各個編碼區塊Bn的分區Pi n選擇最適當的編碼模式(Bn)時，若該編碼模式(Bn)為幀內編碼模式(步驟ST3)，則將由區塊分割部2所分割的編碼區塊Bn的分區Pi n輸出至幀內預測部4。
相對於此，若該編碼模式(Bn)為幀間編碼模式(步驟ST3)，則將由區塊分割部2所分割的編碼區塊Bn的分區Pi n輸出至移動補償預測部5。
當幀內預測部4從切換開關3接受編碼區塊Bn的分區Pi n時，使用與由編碼控制部1所選擇的編碼模式m(Bn)對應的幀內預測參數，而實施與該編碼區塊Bn的分區Pi n對 應的幀內預測處理，以產生幀內預測畫像Pi n(步驟ST4)。
當幀內預測部4產生幀內預測畫像Pi n時，將該幀內預測畫像Pi n輸出至減法部6及加法部9，惟由於在第5圖的動畫像解碼裝置也設成能產生同樣幀內預測畫像Pi n，所以將其幀內預測參數輸出至可變長度編碼部13。此實施形態1之幀內預測處理雖然不限定於AVC/H.264(ISO/IEC 14496-10)所決定的算法，但是作為幀內預測參數者必須包含在動畫像編碼裝置側與動畫像解碼裝置側產生完全相同的幀內預測畫像所必要的資訊。
當移動補償預測部5從切換開關3接受編碼區塊Bn的分區Pi n時，若是由編碼控制部1所選擇的編碼模式m(Bn)為直接模式的幀間編碼模式，則從位於編碼區塊Bn的分區Pi n周圍的已編碼完區塊的移動向量產生空間直接模式的空間直接向量，且從編碼區塊Bn可參考的已編碼完圖像的移動向量產生時間直接模式的時間直接向量。
移動補償預測部5從該空間直接向量或時間直接向量之中選擇參考畫像間相關性高者的直接向量，並使用與該直接向量及編碼模式m(Bn)對應的幀間預測參數，對編碼區塊Bn的分區Pi n實施移動補償預測處理，以產生幀間預測畫像Pi n(步驟ST5)。
相對於此，若是由編碼控制部1所選擇的編碼模式m(Bn)為直接模式以外的幀間編碼模式時，移動補償預測部5從編碼區塊Bn的分區Pi n與已儲存於移動補償預測幀記憶體12的參考畫像搜尋移動向量，並使用與該移動向量及編 碼模式m(Bn)對應的幀間預測參數，對編碼區塊Bn的分區Pi n實施移動補償預測處理，以產生幀間預測畫像Pi n(步驟ST5)。
當移動補償預測部5產生幀間預測畫像Pi n時，則將該幀間預測畫像Pi n輸出至減法部6及加法部9，惟由於在第5圖之動畫像解碼裝置也設成能產生同樣幀間預測畫像Pi n，所以將該幀間預測參數輸出至可變長度編碼部13。使用於產生幀間預測畫像的幀間預測參數，包含有：
‧記述編碼區塊Bn內的分區分割的模式資訊
‧各分區的移動向量
‧在移動補償預測幀記憶體12內包含複數幀參考畫像之構成的情況下，顯示是否使用其中一參考畫像進行預測的參考畫像指示索引資訊。
‧當有複數個移動向量預測值候選時，顯示是否選擇其中一移動向量預測值使用的索引資訊。
‧當有複數個移動補償內插濾波器時，顯示是否選擇其中一濾波器使用的索引資訊
‧該分區的移動向量可顯示複數種像素精度(半像素、1/4像素、1/8像素等)的情況下，為了產生包含顯示使用其中一像素精度之選擇資訊等資訊，且在動畫像解碼裝置側完全相同的幀間預測畫像，乃藉著可變長度編碼部13多工成位元流。
移動補償預測部5的處理內容的概略如以上所述，而詳細的處理內容將於後述。
當幀內預測部4或移動補償預測部5產生預測畫像(幀內預測畫像Pi n、幀間預測畫像Pi n)時，減法部6從區塊分割部2所分割的編碼區塊Bn的分區Pi n減去幀內預測部4或移動補償預測部5所產生的預測畫像(幀內預測畫像Pi n、幀間預測畫像Pi n)以產生差分畫像，並將顯示該差分畫像的預測差分信號ei n輸出至變換或量化部7(步驟ST6)。
變換或量化部7一旦從減法部6接受顯示差分畫像的預測差分信號ei n，則以從編碼控制部1輸出的預測差分編碼參數所包含的變換區塊尺寸單位實施該差分畫像的變換處理(例如，DCT(離散餘弦變換)或對預先特定的學習系列所進行之基底設計的KL變換等正交變換處理)，且使用該預測差分編碼參數所包含的量化參數，而將該差分畫像的變換係數予以量化，以將量化後的變換係數作為差分畫像的壓縮資料而輸出至反量化或反變換部8及可變長度編碼部13(步驟ST7)。
反量化或反變換部8一旦從變換或量化部7接受差分畫像的壓縮資料，則使用從編碼控制部1輸出的預測差分編碼參數所包含的量化參數，而將該差分畫像的壓縮資料予以反量化，並以該預測差分編碼參數所包含的變換區塊尺寸單位實施反量化的壓縮資料的反變換處理(例如，反DCT(反離散餘弦變換)或反KL變換等反變換處理)，以將反變換處理後的壓縮資料作為局部解碼預測差分信號ei n帽號(電子申請的關係，將附加於字母文字的「^」標記為帽號(hat))並輸出至加法部9(步驟ST8)。
加法部9一旦從反量化或反變換部8接受局部解碼預測差分信號ei n帽號，則將該局部解碼預測差分信號ei n帽號加算顯示由幀內預測部4或移動補償預測部5所產生的預測畫像(幀內預測畫像Pi n、幀間預測畫像Pi n)的預測信號，而產生局部編碼分區畫像Pi n帽號甚至作為其集合之局部解碼編碼區塊畫像的局部解碼畫像(步驟ST9)。
加法部9一旦產生局部解碼畫像，則將顯示該局部解碼畫像的局部解碼畫像信號儲存於幀內預測用記憶體10，且將該局部解碼畫像信號輸出至迴路濾波部11。
步驟ST3至ST9的處理係反覆實施直至對於階層地分割之全部的編碼區塊Bn的處理結束，當對於全部的編碼區塊Bn的處理結束，則轉移至步驟ST12的處理(步驟ST10、ST11)。
可變長度編碼部13將變換或量化部7所輸出的壓縮資料、編碼控制部1所輸出的編碼模式(包含顯示編碼區塊的分割狀態的資訊)及預測差分編碼參數、以及從幀內預測部4所輸出的幀內預測參數或從移動補償預測部5所輸出的幀間預測參數予以熵(entropy)編碼。
可變長度編碼部13將屬於熵編碼之編碼結果的壓縮資料、編碼模式、預測差分編碼參數、幀內預測參數/幀間預測參數之編碼資料予以多工而產生位元流(步驟ST12)。
迴路濾波部11一旦從加法部9接受局部解碼畫像信號，則將該局部解碼畫像信號所包含的編碼失真予以補 償，並將編碼失真補償後的局部解碼畫像信號所顯示的局部解碼畫像作為參考畫像儲存於移動補償預測幀記憶體12(步驟ST13)。
依據迴路濾波部11所為之濾波處理能以從加法部9輸出的局部解碼畫像信號的最大編碼區塊或各個編碼區塊單位來進行，也能在輸出相當於一畫面份之巨集區塊的局部解碼畫像信號後，彙整一個畫面份量而進行。
其次詳細說明移動補償預測部5的處理內容。
移動補償預測部5的切換開關21，在由編碼控制部1所選擇的編碼模式m(Bn)為直接模式以外的幀間模式時，將由區塊分割部2所分割的編碼區塊Bn的分區Pi n輸出至移動向量搜尋部22。
相對於此，編碼模式m(Bn)為直接模式的幀間模式時，將由區塊分割部2所分割的編碼區塊Bn的分區Pi n輸出至直接向量產生部23。
其中，直接向量產生部23於直接向量的產生上不使用編碼區塊Bn的分區Pi n，因此，即使該編碼模式m(Bn)為直接模式的幀間模式，亦可構成不將編碼區塊Bn的分區Pi n輸出至直接向量產生部23。
移動補償預測部5的移動向量搜尋部22一旦從切換開關21接受編碼區塊Bn的分區Pi n，則一面參考該分區Pi n與已儲存於移動補償預測記憶體12的參考畫像，一面以幀間模式搜尋最適當的移動向量，並將該移動向量輸出至移動補償處理部24。
以幀間模式搜尋最適當的移動向量之處理本身為眾所周知的技術，因此省略詳細的說明。
移動補償預測部5的直接向量產生部23，在編碼模式m(Bn)為直接模式時，於編碼區塊Bn的每一個分區Pi n產生空間直接模式的空間直接向量與時間直接模式的時間直接向量，並將該空間直接向量或時間直接向量之其中任一者作為移動向量而輸出至移動補償處理部24。
又，顯示附屬於編碼區塊Bn的分區Pi n之分割狀態的資訊，如以上所述係包含於編碼模式m(Bn)之中，所以直接向量產生部23參照編碼模式m(Bn)而能特定編碼區塊Bn的分區Pi n。
亦即，直接向量產生部23的空間直接向量產生部31從由未圖式之移動向量記憶體或內部記憶體所儲存之已編碼完區塊的移動向量之中，讀出位於編碼區塊Bn的分區Pi n周圍之已編碼完區塊的移動向量，並從該移動向量產生空間直接模式的空間直接向量。
再者，直接向量產生部23的時間直接向量產生部32從已編碼完區塊的移動向量之中，讀出編碼區塊Bn可參考的已編碼完圖像的移動向量，即，讀出位於與編碼區塊Bn的分區Pi n在空間性相同位置的區塊移動向量，並從該移動向量產生時間直接模式的時間直接向量。
在此，第11圖係顯示以時間直接模式產生移動向量(時間直接向量)之方法的示意圖。
例如，假設圖像B2中的區塊MB1為編碼對象的分區 Pi n，而以時間直接模式將區塊MB1予以編碼的惰況。
此情況下，使用位於圖像B2之時間軸上後方的已編碼完圖像之中，最接近圖像B2之圖像P3的移動向量，即，使用位於與區塊MB1空間性相同位置之區塊MB2的移動向量MV。
此移動向量MV係參考圖像P0，而將區塊MB1編碼時使用的移動向量MVL0、MVL1係可利用以下的算式(3)求得。
時間直接向量產生部32一旦算出移動向量MVL0、MVL1，則將該移動向量MVL0、MVL1作為時間直接模式的時間直接向量並輸出至直接向量判定部33。
其中，於時間直接向量產生部32之時間直接向量的產生方法可使用第11圖所示之H.264方式，惟並不限定於此方式，也可使用其他方法。
第12圖係顯示以空間直接模式產生移動向量(空間直接向量)之方法的示意圖。
於第12圖中，currentMB表示作為編碼對象區塊的分區Pi n。
此時，將編碼對象之區塊的左側之已編碼完區塊A的移動向量設為MVa，將編碼對象之區塊之上的已編碼完區塊B的移動向量設為MVb，將編碼對象之區塊之右上的已 編碼完區塊C的移動向量設為MVc時，如以下算式(4)所示，藉由求出此等移動向量MVa、MVb、MVc的中間值(median)，而能算出編碼對象之區塊的移動向量MV。
MV=median(MVa、MVb、MVc) (4)
空間直接模式係分別就列表0及列表1求出移動向量，而任一者都可使用上述的方法來求得。
空間直接向量產生部31一旦以上述的方式進行而算出列表0及列表1的移動向量MV，則將列表0及列表1的移動向量MV作為空間直接模式的空間直接向量並輸出至直接向量判定部33。
其中，於空間直接向量產生部31之空間直接向量的產生方法可使用第12圖所示之H.264方式，惟並不限定於此方式，也可使用其他方法。
例如第13圖所示，也可建構成中間值預測的候選係以從A1-An、B1-Bn各選一個，而從C、D、E選一個而共三個來產生空間直接向量。
又，使用於空間直接向量的產生之MV候選為不同ref_Idx時，也可如第14圖所示，因應時間方向的距離而進行定標(scaling)。
其中，scaled_MV表示定標後的向量，MV表示定標前的移動向量，d(x)表示至x之時間性的距離。
又，Xr表示編碼對象之區塊所示的參考畫像，Yr表示 成為定標對象之區塊位置A-D所示的參考畫像。
當空間直接向量產生部31產生空間直接向量時，直接向量產生部23的直接向量判定部33使用該空間直接向量而算出空間直接模式的評價值。
再者，當時間直接向量產生部32產生時間直接向量時，直接向量判定部33使用該時間直接向量而算出時間直接模式的評價值。
直接向量判定部33將該空間直接模式的評價值與時間直接模式的評價值予以比較，藉著以下記載的判定手段而從該空間直接向量或時間直接向量之中選擇直接模式之直接向量並輸出至移動補償處理部24。
以下具體地說明直接向量判定部33的處理內容。
當空間直接向量產生部31產生空間直接向量MVL0、MVL1時，直接向量判定部33的移動補償41使用該空間直接向量MVL0而產生空間直接模式的列表0預測畫像，並使用該空間直接向量MVL1而產生空間直接模式的列表1預測畫像。
在此，第15圖係顯示依據前方預測畫像與後方預測畫像之類似度所為之評價值的算出例的說明圖，而第15圖的例係產生前方預測畫像fspatial作為空間直接模式的列表0預測畫像，產生後方預測畫像gspatial作為空間直接模式的列表1預測畫像。
又，當時間直接向量產生部32產生為列表0及列表1之移動向量MV的時間直接向量時，移動補償部41使用前 方移動向量MV的時間直接向量，產生時間直接模式的列表0預測畫像，並使用為後方移動向量MV的時間直接向量，產生時間直接模式的列表1預測畫像。
在第15圖之例，係產生時間直接模式之前方預測畫像ftemporal作為時間直接模式的列表0預測畫像，產生後方預測畫像gtemporal作為時間直接模式的列表1預測畫像。
在此，說明了使用顯示前方向之參考畫像的參考畫像列表0與顯示後方向之參考畫像的參考畫像列表1，產生前方預測畫像作為列表0預測畫像，產生後方預測畫像作為列表1預測畫像，惟也可建構成使用顯示後方向之參考畫像的參考畫像列表0與顯示前方向之參考畫像的參考畫像列表1，產生後方預測畫像作為列表0預測畫像，產生前方預測畫像作為列表1預測畫像。
又，也可建構成使用顯示前方向之參考畫像的參考畫像列表0與顯示更前方向之參考畫像的參考畫像列表1，產生前方預測畫像作為列表0預測畫像及列表1預測畫像(詳細內容將於後述)。
當產生空間直接模式的列表0預測畫像與列表1預測畫像時，直接向量判定部33的類似度算出部42如以下記載的算式(6)算出空間直接模式的評價值SADspatial。
算式(6)中為了方便說明，將空間直接模式的列表0預測畫像設為前方預測畫像fspatial，將空間直接模式的列表1預測畫像設為後方預測畫像gspatial。
SADspatial=｜fspatial-gspatial｜ (6)
又，當產生時間直接模式的列表0預測畫像與列表1預測畫像時，類似度算出部42如以下記載的算式(7)，算出時間直接模式的評價值SADtemporal。
算式(7)中為了方便說明，將時間直接模式的列表0預測畫像設為前方預測畫像ftemporal，將時間直接模式的列表1預測畫像設為後方預測畫像gtemporal。
SADtemporal=｜ftemporal-gtemporal｜ (7)
又，前方預測畫像與後方預測畫像間的差分愈大，則兩個畫像間的類似度愈低(顯示兩個畫像之差分絕對值和的評價值SAD愈大)，而時間性的相關愈低。反之，前方預測畫像與後方預測畫像間的差分愈小，則兩個畫像間的類似度愈高(顯示兩個畫像之差分絕對值和的評價值SAD愈小)，而時間性的相關愈高。
又，以直接向量預測的畫像應該是預測類似編碼對象之區塊的畫像。使用兩個向量來產生預測畫像時，各個的向量預測的畫像應該是類似編碼對象的區塊，此乃顯示兩個參考畫像相關性高。
因此，以選擇評價值SAD小的直接向量，能選擇參考畫像間相關性高的模式，能提升直接模式的精度。
當類似度算出部42算出空間直接模式的評價值SADspatial與時間直接模式的評價值SADtemporal時，直接向量判定部33的直接向量選擇部43將該空間直接模式的評價值SADspatial與時間直接模式的評價值SADtemporal相比較，藉此比較於空間直接模式之前方預測畫像fspatial與後方預測 畫像gspatial的類似度，和時間直接模式之前方預測畫像ftemporal與後方預測畫像gtemporal的類似度。
直接向量選擇部43在空間直接模式的前方預測畫像fspatial與後方預測畫像gspatial的類似度，比時間直接模式的前方預測畫像ftemporal與後方預測畫像gtemporal的類似度還高時(SADspatial≦SADtemporal)，選擇由空間直接向量產生部31所產生的空間直接向量，並將該空間直接向量作為移動向量輸出至移動補償處理部24。
相對於此，在時間直接模式的前方預測畫像ftemporal與後方預測畫像gtemporal的類似度，比空間直接模式的前方預測畫像fspatial與後方預測畫像gspatiall的類似度還高時(SADspatial>SADtemporal)，選擇由時間直接向量產生部32所產生的時間直接向量，並將該時間直接向量作為移動向量輸出至移動補償處理部24。
移動補償處理部24在編碼模式m(Bn)非直接模式時，一旦從移動向量搜尋部22接受移動向量，則使用該移動向量與已儲在於移動補償預測幀記憶體12的一幀參考畫像，並依據從編碼控制部1輸出的幀間預測參數以實施移動補償預測處理而產生預測畫像。
相對於此，在編碼模式m(Bn)為直接模式時，一旦從直接向量產生部23接受移動向量(由直接向量選擇部43所選擇的直接向量)，則使用該移動向量與已儲在於移動補償預測幀記憶體12的一幀參考畫像，並依據從編碼控制部1輸出的幀間預測參數以實施移動補償預測處理而產生預測 畫像。
此外，移動補償處理部24的移動補償預測處理為眾所周知的技術，因此省略詳細的說明。
在此，已說明了類似度算出部42算出成為差分絕對值和的評價值SAD，直接向量選擇部43比較評價值SAD的內容，惟也可建構成類似度算出部42算出前方預測畫像與後方預測畫像間的差分二次方和SSE作為評價值，而直接向量選擇部43將差分二次方和SSE予以比較。因使用SSE而雖使處理量增加，但能更正確地算出類似度。
接著，說明第5圖之畫像解碼裝置的處理內容。
當可變長度解碼部51輸入由第1圖之畫像編碼裝置所輸出的位元流時，實施對該位元流的可變長度解碼處理，以將幀尺寸解碼成由1幀以上的圖像所構成的序列(sequence)單位或圖像(picture)單位(第8圖的步驟ST21)。
可變長度解碼部51以與第1圖的編碼控制部1同樣的順序，決定成為在實施移動補償預測處理(幀間預測處理)或幀內部預測處理(幀內預測處理)之時的處理單位之編碼區塊的最大尺寸，且決定最大尺寸之編碼區塊被階層地分割時之上限的階層數(步驟ST22)。
例如於畫像編碼裝置中，編碼區塊之最大尺寸係依據輸入畫像的解析度而決定的情況下，依據先解碼的幀尺寸而決定編碼區塊的最大尺寸。
再者，顯示編碼區塊的最大尺寸及上限的階層數的資訊被多工成位元流時，參考從該位元流解碼的資訊。
已多工成位元流的最大尺寸編碼區塊B0的編碼模式m(B0)包含有顯示最大尺寸編碼區塊B0的分割狀態的資訊，所以可變長度解碼部51將已多工成位元流的最大尺寸編碼區塊B0的編碼模式m(B0)予以解碼，並特定被階層地分割之各個編碼區塊B0(步驟ST23)
當可變長度解碼部51特定各個編碼區塊Bn，則將該編碼區塊Bn的編碼模式m(Bn)予以解碼，並依據屬於該編碼模式m(Bn)的分區Pi n的資訊來特定屬於編碼區塊Bn的分區Pi n。
當可變長度解碼部51特定屬於編碼區塊(Bn)的分區Pi n，則對每一個分區Pi n，將壓縮資料、編碼模式、預測差分編碼參數、幀內預測參數/幀間預測參數予以解碼(步驟ST24)。
切換開關52在從可變長度解碼部51屬於編碼區塊Bn的分區Pi n的編碼模式m(Bn)為幀內編碼模式時(步驟ST25)，將從可變長度解碼部51輸出的幀內預測參數輸出至幀內預測部53。
相對於此，分區Pi n的編碼模式m(Bn)為幀間編碼模式時(步驟ST25)，將從可變長度解碼部51輸出的幀間預測參數輸出至移動補償預測部54。
當幀內預測部53從切換開關52接受幀內預測參數時，使用該幀內預測參數而實施與該編碼區塊Bn的分區Pi n對應的幀內預測處理，以產生幀內預測畫像Pi n(步驟ST26)。
當移動補償預測部54從切換開關52接受幀間預測參數時，若是從可變長度解碼部51輸出的編碼模式m(Bn)為直接模式的幀間編碼模式，則與第1圖的移動補償預測部5同樣產生空間直接模式的空間直接向量與時間直接模式的時間直接向量。
當移動補償預測部54產生空間直接模式的空間直接向量與時間直接模式的時間直接向量時，與第1圖的移動補償預測部5同樣從該空間直接向量或時間直接向量之中選擇參考畫像間相關性高者的直接向量，並使用該直接向量及幀間預測參數而實施對編碼區塊Bn的分區Pi n的移動補償預測處理，以產生幀間預測畫像Pi n(步驟ST27)。
相對於此，若是從可變長度解碼部51輸出的編碼模式m(Bn)為直接模式以外的幀間編碼模式，則移動補償預測部54的移動補償部63使用從切換開關52輸出的幀間預測參數所包含的移動向量，實施對編碼區塊Bn之分區Pi n的移動補償預測處理以產生幀間預測畫像Pi n(步驟ST27)。
反量化或反變換部55使用從可變長度解碼部51輸出的預測差分編碼參數所包含的量化參數，而將由可變長度解碼部51輸出之有關編碼區塊的壓縮資料予以反量化，並以該預測差分編碼參數所包含的變換區塊尺寸單位實施反量化之壓縮資料的反變換處理(例如，反DCT(反離散餘弦變換)或反KL變換等反變換處理)，而將反變換處理後的壓縮資料作為解碼預測差分信號(顯示壓縮前之差分畫像的信號)並輸出至加法部56(步驟ST28)。
當加法部56從反量化或反變換部55接受解碼預測差分信號時，將該解碼預測差分信號加上顯示由幀內預測部53或移動補償預測部54所產生之預測畫像的預測信號以產生解碼畫像，而將顯示該解碼畫像的解碼畫像信號儲存至幀內預測用記憶體57，且將該解碼畫像信號輸出至迴路濾波部58(步驟ST29)。
步驟ST23至ST29的處理係反覆實施至對階層地被分割的全部編碼區塊Bn的處理結束(步驟ST30)。
當迴路濾波部58從加法部56接受解碼畫像信號時，將該解碼畫像信號所包含的編碼失真予以補償，並以編碼失真補償後的解碼畫像信號所顯示的解碼畫像作為參考畫像而儲存於移動補償預測幀記憶體59(步驟ST31)。
依據迴路濾波部58所為的過濾處理，能以從加法部56輸出的解碼畫像信號的最大編碼區塊或各個編碼區塊單位來進行，也可於輸出相當於一個畫面份量的巨集區塊的解碼畫像信號後，以總合一個畫面份量來進行。
如以上明白的記述，依據本實施形態1，建構成設置有編碼控制部1與區塊分割部2，該編碼控制部1在決定實施預測處理時之成為處理單位之編碼區塊的最大尺寸之同時，且決定最大尺寸的編碼區塊被階層地分割時之上限的階層數，並從可利用之一個以上編碼模式之中，選擇適合於階層地分割之各個編碼區塊之編碼模式，而該區塊分割部2將輸入畫像分割成由編碼控制部1所決定之最大尺寸的編碼區塊之同時，且將該編碼區塊階層地分割至由編 碼控制部1所決定之上限的階層數為止，而，當由編碼控制部1選擇了直接模式的幀間編碼模式作為適合於區塊分割部2所分割之編碼區塊的編碼模式時，移動補償預測部5由位於該編碼區塊周圍之已編碼完區塊的移動向量，產生空間直接模式的空間直接向量之同時，且從該編碼區塊可參考之已編碼圖像的移動向量，產生時間直接模式的時間直接向量，且從該空間直接向量或時間直接向量之中選擇參考畫像間之相關性高者的直接向量，並使用該直接向量實施對該編碼區塊的移動補償預測處理以產生預測畫像，所以對預定的區塊單位選擇最適當的直接模式，而達到能減少編碼量的功效。
再者，依據本實施形態1，建構成設置有可變長度解碼部51，該可變長度解碼部51係將由多工成位元流之編碼資料階層地分割之各個編碼區塊相關的壓縮資料及編碼模式予以可變長度解碼，在由可變長度解碼部51予以可變長度解碼的編碼區塊相關的編碼模式為直接模式的幀間編碼模式時，移動補償預測部54從位於該編碼區塊周圍之已解碼完區塊的移動向量，產生空間直接模式的空間直接向量之同時，且從該編碼區塊可參考之已解碼圖像的移動向量，產生時間直接模式的時間直接向量，且從該空間直接向量或時間直接向量之中選擇參考畫像間之相關性高者的直接向量，並使用該直接向量實施對該編碼區塊的移動補償預測處理以產生預測畫像，所以可獲得能對預定的區塊單位選擇最適當的直接模式且可將編碼資料解碼的動畫像 解碼裝置的功效。
實施形態2
上述實施形態1明顯表示了移動補償預測部5、54(具體上為類似度算出部42)算出空間直接模式的前方預測畫像fspatial與後方預測畫像gspatial的類似度，作為空間直接模式的評價值SADspatial，另一方面，算出時間直接模式的前方預測畫像ftemporal與後方預測畫像gtemporal的類似度，作為時間直接模式的評價值SADtemporal，惟也可算出位於編碼區塊Bn周圍之已編碼完區塊(已解碼完區塊)的移動向量的分散值σ(spatial)，作為空間直接模式的評價值，另一方面，算出於編碼區塊Bn可參考之已編碼完圖像(已解碼完圖像)中，位於與編碼區塊Bn空間性相同位置之區塊的周圍之已編碼完區塊(已解碼完區塊)的移動向量的分散值σ(temporal)，作為時間直接模式的評價值，可達到與上述實施形態1同樣的功效。
亦即，如第16圖(a)所示，類似度算出部42算出位於編碼區塊Bn周圍之已編碼完區塊(已解碼完區塊)之移動向量的分散值σ(spatial)(參考以下算式(8))，作為空間直接模式的評價值SADspatial，以取代算出空間直接模式的前方預測畫像fspatial與後方預測畫像gspatial的類似度。
又，如第16圖(b)所示，類似度算出部42算出於編碼區塊Bn可參考之已編碼完圖像(已解碼完圖像)中，位於與編碼區塊Bn空間性相同位置之區塊的周圍之已編碼完區塊(已解碼完區塊)的移動向量的分散值σ(temporal)(參考 以下算式(8))，作為時間直接模式的評價值SADtemporal，以取代算出時間直接模式的前方預測畫像ftemporal與後方預測畫像gtemporal的類似度。
其中，MV m,i 表示周圍的移動向量，表示周圍的移動向 量的平均。
又，m表示spatial或temporal的記號。
直接向量選擇部43將移動向量的分散值σ(spatial)與移動向量的分散值σ(temporal)比較，在移動向量的分散值σ(spatial)較移動向量的分散值σ(temporal)還大的情況下，判斷為空間直接模式的移動向量(空間直接向量)的可靠度低，而選擇時間直接模式的移動向量(時間直接向量)。
相對於此，在移動向量的分散值σ(temporal)較移動向量的分散值σ(spatial)還大的情況下，判斷為時間直接模式的移動向量(時間直接向量)的可靠度低，而選擇空間直接模式的移動向量(空間直接向量)。
上述實施形態1中，已說明了產生時間直接向量與空間直接向量而選擇其中任一方的直接向量，惟也可建構成於該時間直接向量或空間直接向量之外，增加另一向量作為候選向量，並從此等候選向量之中選擇直接向量。
例如，也可建構成將第17圖所示的空間向量MV_A、MV_B、MV_C或時間向量MV_1至MV_8加至候選向量，而從此等空間向量或時間向量選擇直接向量。
又，也可建構成如第18圖所示，從複數個已編碼完向量產生一個向量，並將該向量加至候選向量。
如此一來，雖然因增加候選向量會增加處理量，但是能提升直接向量的可靠性以提升編碼效率。
上述實施形態1中，雖然未特別提到，然而也可建構成將直接向量的候選決定為片(slice)單位。
將顯示候選哪一個向量的資訊多工成片頭(slice header)。
例如，關於時間向量，若為全景(pan)映像則時間向量的功效低，所以，可考量將從選擇候選中排除，而照相機若是固定的映像則因空間向量的功效大，故加至候選等方法。
成為候選的向量多的話，能產生更接近原畫像的預測畫像，惟編碼器的處理量會增大，所以預先從候選中排除沒有功效的向量等，考量映像的局部性後決定，藉此可達到處理量與編碼效率的均衡。
成為候選之向量的切換，例如可考量有於每一個向量設置ON/OFF的旗標，僅將該旗標為ON的向量作為候選的方法。
成為選擇候選的移動向量能在片頭切換，也能在序列頭或圖像頭等上位層切換。又，也可建構成製備一個以上成為選擇候選的組，而將該候選組的索引予以編碼。
又，也可於每一個巨集區塊或編碼區塊切換，以於每一個巨集區塊或編碼區塊切換的方式能具有局部性而具有 改善編碼效率的功效。
又，也可於每一個分區區塊尺寸先特意地決定選擇候選。一般當區塊尺寸變小則空間性的相關性會變弱，所以可推測為以中間值預測來決定之向量的預測精度會變差。因此，例如以將以中間值預測來決定的移動向量排外於候選的方式，能不降低編碼效率而能減少處理量。
上述實施形態1中，己假定時間直接模式與空間直接模式雙方存在的情況來說明，惟對於編碼區塊Bn實施幀內編碼處理時等情況下，也會有不存在移動向量的情形。此情形下，可考量為設為零向量的方法或從候選中排除等方法。
設為零向量的情況下，由於候選增加，所以能提升編碼效率，惟處理量會增加。從直接向量的候選中排除的情況下可減少處理量。
上述實施形態1中，表示了產生直接向量的內容，惟也可將該直接向量作為使用於通常移動向量編碼的預測向量來使用。
以將直接向量作為預測向量來使用的方式，處理量會增加，但是由於預測的精度提高，所以能提升編碼效率。
上述實施形態1中，表示了將時間性較編碼區塊Bn還前的畫像與之後的畫像予以組合以算出評價值SAD之例(參考第15圖)，惟也可如第19圖所示僅組合時間性較前的畫像以算出評價值SAD。又，也可僅組合時間性較後的畫像以算出評價值SAD。
此情況下，時間向量能以以下記載的算式(9)(10)來表示。
其中，表示列表0的向量，表示列表1的向量。
又，d表示時間性的距離，d0表示列表0之參考畫像之時間性的距離，d1表示列表1之參考畫像之時間性的距離。
再者，Vcol與dcol係表示在參考畫像中於空間性相同位置之區塊的向量與該向量所示參考畫像之時間性的距離。
即使是兩個參考畫像列表顯示相同參考畫像時，若是列表上有兩幀以上的參考畫像，可應用與第19圖相同的方法。
於上述實施形態1中，假定了於兩個參考畫像列表有兩幀以上的參考畫像的情況，惟實際上也可考量參考畫像僅一幀的情況。
此情況下，若是於兩個參考畫像列表上相同參考畫像成組，則可考量為判斷不使用時間向量而僅使用空間向量。不同參考畫像成組時能以前述方式來對應。
上述實施形態1中，假定從兩個方向來的預測處理，惟也可僅一個方向的預測處理。由一個方向向量預測處理時，將顯示要使用哪一個向量的資訊予以編碼並傳送。藉 此，可對應堵塞(occlusion)等問題而有增進預測精度的提升。
上述實施形態1的直接模式中，假定了使用兩個向量的預測，惟向量的個數也可為3個以上。
此情況下，例如可考量在複數個向量候選之中，使用全部臨界值Th以下之評價值SAD的候選以產生預測畫像的方法。又，參考畫像列表也保持該向量份量。
又，也可不使用全部臨界值Th以下的候選，而於片頭等預先決定要使用的最大向量數，從評價值小的候選使用最大的向量數以產生預測畫像。
一般，可瞭解使用於預測畫像的參考畫像愈多，則性能愈提升。所以，雖然處理量增加，但是會增進編碼效率的提升。
上述實施形態1中，依據參考畫像間的評價而決定向量，而此情形也能以空間性鄰接之已編碼完的畫像與參考畫像的比較來評價。
此情況下，可考量使用第20圖所示之L字型的畫像來進行。
再者，使用空間性相鄰的畫像時，在管線處理(pipeline processing)的情況下也會有已編碼完的畫像來不及的可能。此情形下，可考量改為使用預測畫像。
上述實施形態1中如第9圖所示，已表示了編碼區塊Bn的尺寸為Ln=Mn的樣態，而編碼區塊Bn的尺寸也可為Ln≠Mn。
例如可考量如第21圖所示編碼區塊Bn的尺寸為Ln=kMn的樣態。
其次的分割，係(Ln+1,Mn+1)=(Ln,Mn)，以下的分割也可進行與第9圖同樣的分割，也可以(Ln+1,Mn+1)=(Ln/2,Mn/2)的方式進行分割(參考第22圖)。
又，也可如第23圖所示，設成能選擇第21圖與第22圖之分割的哪一個。設成能選擇的情況下，將顯示選擇了哪一個的分割的旗標予以編碼。此情形係僅例如非特許文獻1之H.264那般將16×16設為一個區塊並將其橫向連結才可能，所以能維持與已存在的方式的互換性。
以上說明中，已顯示了編碼區塊Bn的尺寸為Ln=kMn時，惟當然如kLn=Mn的方式縱向連結也能以同樣的想法來分割。
上述實施形態1中，顯示了變換或量化部7、反量化或反變換部8、55以包含於預測差分編碼參數之變換區塊尺寸單位來實施變換處理(反變換處理)的內容，惟也可依據變換處理單位特意地決定變換區塊尺寸單位，也可如第24圖所示設成階層構造。此情形下，在各階層將顯示是否分割的旗標予以編碼。
上述分割也可以分區單位來進行，也可以編碼區塊單位來進行。
上述變換係假設以正方形進行變換，惟也可以長方形等其他矩形進成變換。
實施形態3
上述實施形態1，顯示了移動補償預測部5、54的直接向量產生部23、62產生空間直接向量與時間直接向量，惟也可建構成產生該空間直接向量與時間直接向量時，決定初始搜尋點，並以搜尋該初始搜尋點的周圍的方式來決定直接向量。
第25圖係顯示依據本發明之實施形態3所構成之動畫像編碼裝置之移動補償預測部5的構造圖，於圖中與第2圖相同符號係顯示相同或相當部分而省略說明。
直接向量產生部25實施產生空間直接向量與時間直接向量的處理。
第26圖係顯示構成移動補償預測部5之直接向量產生部25的構造圖。
於第26圖中，初始向量產生部34實施從已編碼完之區塊的移動向量產生初始向量的處理。
移動向量搜尋部35搜尋以由初始向量產生部34所產生的初始向量所示之初始搜尋點的周圍的方式而實施決定直接向量的處理。
第27圖係顯示構成直接向量產生部25之初始向量產生部34的構造圖。
於第27圖中，空間向量產生部71以例如與第3圖之空間直接向量產生部31相同的方法實施從已編碼完之區塊的移動向量產生空間向量的處理。
時間向量產生部72以例如與第3圖之時間直接向量產生部32相同的方法實施從已編碼完之區塊的移動向量產 生時間向量的處理。
初始向量判定部73實施選擇由空間向量產生部71所產生的空間向量或由時間向量產生部72所產生的時間向量之其中任一者作為初始向量的處理。
第28圖係顯示構成初始向量產生部34之初始向量判定部的構造圖。
於第28圖中，移動補償部81實施以與第4圖的移動補償部41相同的方法來產生空間直接模式的列表0預測畫像、空間直接模式的列表1預測畫像、時間直接模式的列表0預測畫像及時間直接模式的列表1預測畫像的處理。
類似度算出部82實施以與第4圖之類似度算出部42相同的方法來算出空間直接模式的列表0預測畫像與列表1預測畫像的類似度來作為空間評價值，且算出時間直接模式的列表0預測畫像與列表1預測畫像的類似度來作為時間評價值的處理。
初始向量決定部83將由類似度算出部82算出的空間評價值與時間評價值予以比較，並依據該比較結果而實施選擇空間向量或時間向量的處理。
第29圖係顯示以本發明之實施形態3所構成之動畫像解碼裝置之移動補償預測部54的構造圖，於圖中，與第6圖相同符號係顯示相同或相當部分而省略說明。
直接向量產生部64實施產生空間直接向量與時間直接向量的處理。
此外，直接向量產生部64的內部構成與第25圖之直 接向量產生部25相同。
其次說明動作。
與上述實施形態1比較，移動補償預測部5、54之直接向量產生部23、62被直接向量產生部25、64取代之點以外都相同，所以僅說明直接向量產生部25、64的處理內容。
其中，由於直接向量產生部25、64的處理內容相同，所以說明直接向量產生部25的處理內容。
直接向量產生部25之初始向量產生部34由已編碼完之區塊的移動向量產生初始向量MV_first。
亦即，初始向量產生部34之空間向量產生部71以例如與第3圖之空間直接向量產生部31相同的方法，由已編碼完之區塊的移動向量產生空間向量。惟也可建構成以其他方法來產生空間向量。
初始向量產生部34之時間向量產生部72以例如與第3圖之時間直接向量產生部32相同的方法，由已編碼完之區塊的移動向量產生時間向量。惟也可建構成以其他方法來產生時間向量。
當空間向量產生部71產生空間向量，而時間向量產生部72產生時間向量時，初始向量產生部34之初始向量判定部73從該空間向量或時間向量之中，選擇其中任一個的向量作為初始向量MV_first。
亦即，初始向量判定部73的移動補償部81以與第4圖之移動補償部41相同的方法，產生空間直接模式之列表 0預測畫像、空間直接模式之列表1預測畫像、時間直接模式之列表0預測畫像及時間直接模式之列表1預測畫像。
初始向量判定部73的類似度算出部82以與第4圖之類似度算出部42相同的方法來算出空間直接模式的列表0預測畫像與列表1預測畫像的類似度來作為空間評價值，且算出時間直接模式的列表0預測畫像與列表1預測畫像的類似度來作為時間評價值。
初始向量判定部73的初始向量決定部83參考由類似度算出部82所算出的空間評價值與時間評價值的比較結果，以在空間向量與時間向量之中選擇預測畫像間類似度高者的向量。
當初始向量產生部25產生初始向量MV_first時，如第30圖所示，直接向量產生部25的移動向量搜尋部35以該初始向量MV_first所示的初始搜尋點(區塊)為中心而搜尋其周圍±n的範圍，以決定直接向量。
搜尋時的評價係例如可以進行與第28圖之類似度算出部82同等的處理的方式。此情況下，將初始向量所示的位置設為v時，則如以下記載的算式(11)來算出搜尋的評價值SAD。
SAD=｜f(v 1-x)-g(v 2+x)｜ (11)
其中，搜尋範圍n可為固定，也可以片頭等上位頭來決定。又，雖然假設了搜尋點的分布範圍(搜尋範圍)為正方形，惟也可為矩形，也可為菱形等。
移動向量搜尋部35於算出搜尋的評價值SAD時，於 搜尋範圍內，將評價值SAD最小的移動向量作為直接向量並輸出至移動補償處理部24。
此實施形態3顯示了產生時間向量與空間向量並選擇其中任一者的向量作為初始向量的內容，惟也可建構成於該時間向量或空間向量之外，加上其他向量作為候選向量，並從該等候選向量之中選擇初始向量。
例如，也可建構成加入第17圖所示之空間向量MV_A、MV_B、MV_C或時間向量MV_1至MV_8成為候選向量，並從此等空間向量或時間向量來選擇初始向量。
又，也可建構成如第18圖所示，從複數個已編碼完向量產生一個向量，並將該向量加到候選向量。
如此一來，因增加候選向量雖會使處理量增加，惟能提升初始向量的正確度而能提升編碼效率。
此實施形態3也可建構成將直接向量的候選決定為片頭單位。
將顯示要將哪一個向量作為候選的資訊多工成片頭。
例如，關於時間向量，若是全景的映像則時間向量的功效低，因此除了從選擇候選除外以外，可考量照相機若是固定的映像則時間向量的功效大而加到候選等方法。
成為候選的向量多者雖可產生更接近原畫像的預測畫像，惟會增大編碼器的處理量，因此，藉著預先將無功效的向量從候選中排除等考量並決定映像的局部性，而能達到處理量與編碼效率的平衡。
成為候選的向量的切換，係例如可考量於每一向量設 置ON/OFF的旗標，並僅將該旗標為ON的向量作為候選的方法。
成為選擇候選的移動向量能在片頭切換，也能在序列頭或圖像頭等於上位層切換。又，也可建構成製備一個以上成為選擇候選的組，並將該候選組的索引予以編碼。
又，也可於每一個巨集區塊或編碼區塊進行切換。以於每一個巨集區塊或編碼區塊進行切換而能具有局部性，而有改善編碼效率的功效。
又，也可預先於每一個分區區塊尺寸特意決定選擇候選。由於一般區塊尺寸變小則空間性的相關變弱，所以可推測由中間值預測所決定的向量的預測精度變差。因此，例如將由中間值預測所決定的移動向量從候選中排除，而能在不降低編碼效率的情況下減少處理量。
本實施形態3假設並說明了時間向量與空間向量之雙方存在的情況，惟對於編碼區塊Bn，在實施幀內處理時等情況下，也會有不存在移動向量的情況。此情形下，可考量設為零向量的方法或從候選中排除等方法。
設為零向量時，由於候選增加，因此能提升編碼效率，但是處理量增加。從直接向量的候選中排除時，能減少處理量。
本實施形態3顯示了產生直接向量的內容，惟也可建構成將該直接向量作為使用於通常移動向量之編碼的預測向量來使用。
將直接向量作為預測向量來使用雖會增加處理量，惟 因預測精度提升，故可使編碼效率提升。
本實施形態3顯示了組合比編碼區塊Bn在時間性較前的畫像與較後的畫像來算出評價值SAD的例子(參考第15圖)，惟也可如第19圖所示僅組合在時間性較前的畫像來算出評價值SAD。又，也可僅組合在時間性較後的畫像來算出評價值SAD。
此情況下，時間向量能以下列算式(12)(13)來表示。
其中，表示列表0的向量，表示列表1的向量。
又，d表示時間性的距離，d0表示列表0之參考畫像之時間性的距離，d1表示列表1之參考畫像之時間性的距離。
而且，Vcol與dcol係設為表示在參考畫像中於空間性相同位置之區塊的向量與該向量所示參考畫像之時間性的距離。
即使是兩個參考畫像列表顯示相同參考畫像時，也可應用與第19圖相同的方法。
此實施形態3中，假定了於兩個參考畫像列表有兩幀以上的參考畫像的情況，惟實際上也可考量參考畫像僅一幀的情況。
此情況下，若是於兩個參考畫像列表上相同參考畫像 成組，可考量為判斷不使用時間向量而僅使用空間向量。不同參考畫像成組時能以前述方式來對應。
此實施形態3中，假定從兩個方向來的預測處理，惟也可僅一個方向的預測處理。由一個方向的向量預測處理時，將顯示要使用哪一個向量的資訊予以編碼並傳送。藉此，可對應堵塞(occlusion)等問題而有增進預測精度的提升。
此實施形態3中，假定了使用兩個向量的預測，惟向量的個數也可為3個以上。
此情況下，例如可考量在複數個向量候選之中，使用全部臨界值Th以下之評價值SAD的候選以產生預測畫像的方法。
又，也可不使用全部臨界值Th以下的候選，而於片頭等預先決定要使用的最大向量數，從評價值小的候選使用最大的向量數以產生預測畫像。
此實施形態3中，藉著參考畫像間的評價而決定向量，惟也可利用空間性相鄰之已編碼完畫像與參考畫像的比較來評價。
此情形下，可考量使用第20圖所示之L字型的畫像來進行。
此外，使用空間性相鄰的畫像時，在管線處理的情況下也會有已編碼完的畫像來不及的可能。此情形下，可考量改為使用預測畫像。
此實施形態3，係決定初始向量之後進行移動向量的 搜尋，惟也能以片單位並使用旗標來決定是否進行移動向量的搜尋。
此情況下，雖然編碼效率會降低，但是具有可大幅降低處理量的功效。
其中，旗標可為片單位，也可在序列或圖像等上位層決定。旗標為OFF且不進行移動搜尋時，進行與上述實施形態1同等的動作。
此實施形態3中，假設了直接向量產生部25、64不取決於區塊尺寸來進行，惟此處理也可僅限定於預定尺寸以下的情況。
顯示是否限定於預定尺寸以下的旗標或顯示設為如何的區塊尺寸以下的資訊，可多工成片等上位頭，也可因應最大CU尺寸使其改變。
當區塊尺寸變小時，有參考畫像間的相關性變低而誤差變大的傾向。因此，不論選擇哪一個向量都不太影響性能的情況也多，以將在大的區塊尺寸的處理予以OFF而具有能不降低編碼性能且可減少處理量的功效。
實施形態4
上述實施形態1中，顯示了移動補償預測部5、54從位於編碼區塊周圍之已編碼完區塊(已解碼完區塊)的移動向量產生空間直接模式的空間直接向量，且從該編碼區塊可參考之已編碼完圖像(已解碼完圖像)的移動向量產生時間直接模式的時間直接向量，並從該空間直接向量或時間直接向量之中選擇參考畫像間的相關性高者的直接向量， 惟也可建構成動畫像編碼裝置之移動補償預測部5從可選擇之一個以上的移動向量之中，選擇適合產生預測畫像的移動向量，並使用該移動向量實施對編碼區塊的移動補償預測處理以產生預測畫像，且將顯示該移動向量的索引資訊輸出至可變長度編碼部13。
相對於此，也可建構成動畫像解碼裝置之移動補償預測部54使用多工成位元流之索引資訊所示的移動向量，實施對編碼區塊的移動補償預測處理以產生預測畫像。
第31圖係顯示依據本發明之實施形態4所構成之動畫像編碼裝置之移動補償預測部5的構造圖。於圖中顯示與第2圖相同符號或相當部分，因此省略說明。
直接向量產生部26參考記述有可選擇的移動向量與顯示該移動向量之索引資訊的直接向量候選索引，實施從可選擇的一個以上的移動向量之中選擇適合產生預測畫像的移動向量，並將該移動向量作為直接向量而輸出至移動補償處理部24，且將顯示該移動向量之索引資訊輸出至可變長度編碼部13的處理。
又，可變長度編碼部13將壓縮資料或編碼模式等予以可變長度編碼時，包含幀間預測參數將該幀間索引資訊予以可變長度編碼。
第32圖係顯示依據本發明之實施形態4所構成之動畫像解碼裝置之移動補償預測部54的構造圖。於圖中顯示與第6圖相同符號或相當部分，因此省略說明。
直接向量產生部65輸入記述有可選擇的移動向量與 顯示該移動向量之索引資訊的直接向量候選索引，實施從該直接向量候選索引讀出幀間預測參數所包含之索引資訊所示的移動向量，並將該移動向量作為直接向量以輸出至移動補償處理部63的處理。
其次說明動作。
與上述實施形態1比較，移動補償預測部5、54之直接向量產生部23、62為由直接向量產生部26、65所取代之點以外均相同，所以，僅說明直接向量產生部26、65的處理內容。
移動補償預測部5之直接向量產生部26在編碼模式m(Bn)為直接模式時，於每一個編碼區塊Bn之分區Pi n產生直接向量。
即，直接向量產生部26參考第33圖所示之直接向量候選索引，而從可選擇之一個以上的移動向量之中選擇適合產生預測畫像的移動向量。
第33圖的例子列舉了5個移動向量作為可選擇的移動向量，惟在空間預測，因「median」最多被選擇，所以索引0分配於「median」。
直接向量產生部26選擇適合產生預測畫像的移動向量時如以下所述算式(14)所示，從可選擇之移動向量所獲得之預測畫像與原畫像的失真，和可選擇之移動向量的索引編碼量，算出成本R，並在複數個移動向量之中選擇成本R最小的移動向量。
其中，D表示預測畫像與原畫像的殘差信號，i表示索引，λ表示拉格朗數(lagrange)乘數，()表示()內所示者的編碼量。
直接向量產生部26一旦選擇成本R最小的移動向量，則將該移動向量作為直接向量輸出至移動補償處理部24，且將顯示該移動向量的索引資訊輸出至可變長度編碼部13。
例如，若是選擇「median」作為成本最小的移動向量，則將索引0輸出至可變長度編碼部13，若是選擇「MV_A」，則將索引1輸出至可變長度編碼部13。
可變長度編碼部13一旦從直接向量產生部26接受索引資訊，則將壓縮資料或編碼模式等予以可變長度編碼時，將其索引資訊包含於幀間預測參數而予以可變長度編碼。
移動補償預測部54之直接向量產生部65在編碼模式m(Bn)為直接模式時，於每一個編碼區塊Bn之分區Pi n產生直接向量。
即，直接向量產生部65輸入與第31圖之直接向量產生部26相同直接向量候選索引(例如，第33圖之直接向量候選索引)，而從切換開關61接受到包含索引資訊之幀間預測參數時，從該移動向量候選索引讀出其索引資訊所示的移動向量，並將該直接向量作為直接向量輸出至移動補償處理部63。
例如，若是索引資訊為索引0，則將「median」作為 直接向量輸出，若是索引資訊為索引1，則將「MV_A」作為直接向量輸出。
由以上說明可明白，依據本實施形態4，係建構成從可選擇之1個以上的移動向量之中，選擇適合產生預測畫像的移動向量，並使用該移動向量實施對編碼區塊的移動補償預測處理以產生預測畫像，且將顯示該移動向量的索引資訊輸出至可變長度編碼部13，所以與上述實施形態1同樣可達到對預定的區塊單位選擇最適當的直接模式，而能降低編碼量的功效。
本實施形態4假設存在有位於可選擇位置之移動向量的情況並加以說明，惟對編碼區塊Bn實施幀內編碼處理的情況等下，也有不存在移動向量的情形。此情形下，可考量作為零向量的方法或從候選中排除等方法。
作為零向量時，候選會增加，因此雖能提升編碼效率，惟處理量會增加。從直接向量之候選中排除時，能減少處理量。
本實施形態4顯示了產生直接向量的構成，惟也可將該向量作為一般使用於移動向量之編碼的預測向量來使用。
作為預測向量使用雖會增加處理量，惟由於預測的精度提升，因此可提升編碼效率。
本實施形態4之可選擇的移動向量的候選為固定，惟也可於片單位決定可選擇之移動向量的候選。
顯示將哪一個向量作為候選的資訊多工成片頭。
例如，關於時間向量，若是全景的映像則時間向量的功效低，所以可考量從選擇候選中予以排除，此外可考量照相機在固定映像時間向量的功效大，所以加入成候選等方法。
成為候選的向量多者雖可產生更接近原畫像的預測畫像，然而編碼器的處理量會增加，所以藉著預先從候選中排除無功效的向量等並考量映像的局部性來決定，可達到處理量與編碼效率的平衡。
成為候選之向量的切換，例如可考量有於每一個向量設置ON/OFF的旗標，僅將該旗標為ON的向量作為候選的方法。
成為選擇候選的移動向量能在片頭切換，也能在序列頭或圖像頭等上位層切換。又，也可建構成製備一個以上成為選擇候選的組，而將該候選組的索引予以編碼。
又，也可於每一個巨集區塊或編碼區塊切換，以於每一個巨集區塊或編碼區塊切換的方式能具有局部性而具有改善編碼效率的功效。
本實施形態4係將索引的順序設成固定，然而也可將索引的順序以片單位來變更。於藉著片所選擇的向量有偏置的情況下，以對選擇次數多的向量分配短的碼的方式來切換索引表，而能達到編碼效率的提升。
切換資訊的編碼係可對各個向量分別將順序編碼，也可製備複數個索引組，並將顯示要使用哪一個索引組的資訊予以編碼。
又，也可考量僅預先決定內定(default)設定，並製備顯示是否使用與內定設定不同設定的旗標，僅在該旗標為ON時更新索引組以切換設定的方法。
在此，雖然已顯示了以片單位切換索引之順序的例子，惟當然也能在序列或圖像等上位層決定索引的順序。
又，也可於每一個分區區塊或編碼區塊進行切換。以在每一個巨集區塊或編碼區塊進行切換，能具有局部性且能達到編碼效率的改善。
又，也可於每一個分區區塊尺寸先特意地決定選擇候選。一般當區塊尺寸變小則空間性的相關性變弱，所以，可推測由中間值預測所決定之向量的預測精度會變差。因此，以變更由中間值預測所決定之索引的順序的方式，能達到提升編碼效率。
上述實施形態4顯示了製備有5個可選擇的移動向量之直接向量候選索引，惟也可製備6個以上的移動向量作為候選向量，也可製備少於5個移動向量作為候選向量。
例如，如第17圖所示在時間向量之附近的向量，或如第18圖所示將已進行周圍向量之加權加算的向量增加作為候選向量。
本實施形態4假設了來自於兩個方向的預測處理，惟也可僅一個方向的預測處理。由一個方向進行預測時，將顯示要使用哪一個向量的資訊予以編碼並傳送。如此一來，可對應堵塞(occlusion)等問題而有增進預測精度的提升。
本實施形態4假定了使用兩個向量的兩個方向預測，惟向量的個數也可為三個以上。此情形下，例如也可將顯示已選擇之全部的向量之索引資訊予以編碼化，反之，也可將顯示未選擇之向量的索引資訊予以編碼化。
或是可考量如第34圖所示，僅將一個向量的索引資訊予以編碼化，並使用接近該向量所示之參考畫像的畫像之方法。
本實施形態4顯示了在複數個移動向量之中選擇成本R最小的移動向量，惟也可如以下記載的算式(15)所示算出評價值SADk，並選擇其評價值SADk在臨界值Th以下的移動向量。
SAD k =｜f index -g k ｜,0≦k≦n (15)
其中，findex表示將索引資訊編碼之向量所示的參考畫像，gk表示向量MV_k所示的參考畫像。
在此，已顯示了使用評價值SADk的例子，惟當然也可利用例如SSE等其他手法來進行評價。
顯示要使用的向量之個數的資訊可多工至片單位等上位層。當向量的個數增加雖可提升編碼效率，惟處理量會增加，因此在於取捨(trade off)的關係。
又，也可非以片單位來設定，而係以比編碼區塊或分區等還細的單位來設定。此情況下，可因應畫像的局部性而達到處理量與編碼效率的平衡。
本實施形態4顯示了從複數個可選擇的移動向量之中，選擇適合於產生預測畫像的移動向量者，惟也可如上 述實施形態3那般從複數個可選擇的移動向量之中，選擇作為初始向量來使用的移動向量，之後，搜尋該初始向量的周圍以決定最後的移動向量。此情況下的直接向量產生部26的構造如第35圖所示。
第35圖之初始向量產生部36相當於第26圖之初始向量產生部34。
實施形態5
本實施形態5之移動補償預測部5、54具有上述實施形態1(或實施形態2、3)的功能，以及上述實施形態4的功能，能以片單位來切換上述實施形態1(或實施形態2、3)的功能與上述實施形態4的功能，使用其中任一功能都能產生預測畫像。
第36圖係顯示依據本發明之實施形態5所構成之動畫像編碼裝置之移動補償預測部5的構造圖，於圖中與第31圖相同符號為顯示相同或相當部分，因此省略說明。
直接向量產生部27實施在直接模式切換旗標顯示不發送索引資訊之主旨的情況下，以與第2圖之直接向量產生部23(或第25圖之直接向量產生部25)同樣的方法產生直接向量，相對於此，在直接模式切換旗標顯示要發送索引資訊之主旨的情況下，以與第31圖之直接向量產生部26同樣的方法產生直接向量，且將顯示該直接向量之索引資訊輸出至可變長度編碼部13的處理。
此外，直接向量產生部27實施將直接模式切換旗標輸出至可變長度編碼部13的處理。
第37圖顯示構成移動補償預測部5之直接向量產生部27的構造圖。
於第37圖中，切換開關91實施在直接模式切換旗標顯示不發送索引資訊之主旨的情況下，將編碼區塊Bn之分區Pi n輸出至相當於第2圖之直接向量產生部23(或第25圖之直接向量產生部25)的部分，在顯示要發送索引資訊之主旨的情況下，將編碼區塊Bn之分區Pi n輸出至相當於第31圖之直接向量產生部26的部分之處理。
第38圖係顯示依據本發明之實施形態5所構成之動畫像解碼裝置之移動補償預測部54的構造圖，於圖中與第32圖相同符號為顯示相同或相當部分，因此省略說明。
直接向量產生部66實施在幀間預測參數所包含之直接模式切換旗標顯示不發送索引資訊之主旨的情況下，以與第6圖之直接向量產生部62(或第29圖之直接向量產生部64)同樣的方法產生直接向量，相對於此，在直接模式切換旗標顯示要發送索引資訊之主旨的情況下，以與第32圖之直接向量產生部65同樣的方法產生直接向量的處理。
其次說明動作。
移動補償預測部5之直接向量產生部27具有第2圖之直接向量產生部23(或第25圖之直接向量產生部25)的功能，以及第31圖之直接向量產生部26的功能，從外部輸入的直接模式切換旗標顯示不發送索引資訊之主旨的情況下，以與第2圖之直接向量產生部23(或第25圖之直接向量產生部25)同樣的手法產生直接向量，並將該直接向量 輸出至移動補償處理部24。
此外，直接向量產生部27將該直接模式切換旗標輸出至可變長度編碼部13。
直接向量產生部27在該直接模式切換旗標顯示要發送索引資訊之主旨的情況下，以與第32圖之直接向量產生部65同樣的方法產生直接向量，並將該直接向量輸出至移動補償處理部24。
此外，直接向量產生部27將該直接模式切換旗標與索引資訊輸出至可變長度編碼部13。
可變長度編碼部13一旦從直接向量產生部27接受到直接模式切換旗標，則在將壓縮資料或編碼模式等予以可變長度編碼時，將該直接模式切換旗標包含於幀間預測參數並予以可變長度編碼。
又，可變長度編碼部13一旦從直接向量產生部27接受到直接模式切換旗標與索引資訊，則在將壓縮資料或編碼模式等予以可變長度編碼時，將該直接模式切換旗標與索引資訊包含於幀間預測參數並予以可變長度編碼。
移動補償預測部54之直接向量產生部66一旦接受到由可變長度解碼部51所解碼的幀間預測參數，則在該幀間預測參數所包含之直接模式切換旗標顯示不發送索引資訊之主旨的情況下，以與6圖之直接向量產生部62(或第29圖之直接向量產生部64)同樣的手法產生直接向量，
相對於此，直接模式切換旗標在顯示發送索引資訊之主旨的情況下，以與第32圖之直接向量產生部65同樣的 手法產生直接向量。
一般，與不發送索引資訊的模式比較，發送索引資訊的模式會增加附加資訊。所以，在低速率等全編碼量之中附加資訊的比例大的情況下，不發送索引資訊之模式性能較佳。
相對於此，在高速率情況等全編碼量之中附加資訊的比例小的情形下，附加索引資訊並使用最適當的直接向量的方式可期望編碼效率的提升。
本實施形態5顯示了直接模式切換旗標包含於幀間預測參數的構成，惟也可為直接模式切換旗標多工至片頭，也可為多工至圖像或序列頭。
又，也可考量依據分區尺寸來決定切換。
一般，分區尺寸變大，則移動向量等的附加資訊的比例相對地變小。所以，可考量在某一定以上大小的情況下，選擇發送索引資訊的模式，而比此還小的情況下，選擇不發送索引資訊的模式等構成。
如以上所述，依據分區尺寸來決定時，也可於每一編碼區塊尺寸，將顯示要使用哪一個的旗標多工至片頭等上位頭。
本實施形態5顯示了依據直接模式切換旗標而切換上述實施形態1之功能與上述實施形態4之功能的構成，惟，也可設成切換上述實施形態2之功能與上述實施形態4之功能，也可設成切換上述實施形態3之功能與上述實施形態4之功能。
又，也可設成切換上述實施形態1之功能與上述實施形態2之功能，也可設成切換上述實施形態1之功能與上述實施形態3之功能，也可設成切換上述實施形態2之功能與上述實施形態3之功能。
再者，也可設成從上述實施形態1至4的功能之中選擇任意的功能。
本實施形態5顯示了依據直接模式切換旗標而切換上述實施形態1之功能與上述實施形態4之功能的構成，惟此也可非作為切換而係作為on/off的旗標使用。例如，可考量設為是否使用實施形態1之on/off的旗標，在on的場合，實施形態1與實施形態4之任一者都進行，選擇編碼效率好的一方的模式並將該資訊予以編碼。如此方式能因應畫像的局部性來切換直接模式，可達到增進編碼效率提升的功效。
上述說明將實施形態1作為on/off設定，此情形也可將實施形態4設為on/off。又，在組合上可為實施形態2與4，實施形態3與4。
本實施形態5顯示了從複數個可選擇的移動向量之中，選擇適合於產生預測畫像之移動向量的構成，惟如上述實施形態3，從複數個可選擇的移動向量之中，選擇作為初始向量使用的移動向量之後，搜尋該初始向量的周圍以決定最後的移動向量。此情形下的直接向量產生部27的構造如第39圖所示。
第39圖之初始向量產生部37相當於第26圖的初始向 量產生部34。
又，本案發明於其發明的範圍內，可作各實施形態之自由的組合，或各實施形態之任意的構成要件的變形，或是於各實施形態任意的構成要件的省略。
例如，已說明了決定最大尺寸，且決定最大尺寸之編碼區塊被階層地分割時之上限的階層數，並從可利用的一個以上的編碼模式之中選擇適合於被階層地分割之各個編碼區塊的編碼模式，惟也可事前先決定最大尺寸或階層數、編碼模式之其中任一者或全部。
實施形態6
上述實施形態4顯示了動畫像編碼裝置之移動補償預測部5之直接向量產生部26參考第33圖所示之直接向量候選索引，並掌握可選擇之一個以上的移動向量的內容，然而也可設成編碼控制部1因應編碼區塊之區塊尺寸而產生可選擇之一個以上的移動向量列表，並參考顯示可選擇之一個以上的移動向量的直接向量候選列表與直接向量候選索引，以決定直接模式向量。
具體上如以下所述。
如以上所述，例如於每一個分區之區塊尺寸雖可特意地決定可選擇之一個以上的移動向量，惟如第40圖所示作為編碼區塊的分區之區塊尺寸大的情況下，與周圍的區塊的相關性高，反之，分區之區塊尺寸小的情況下，與周圍的區塊的相關性低。
所以，分區之區塊尺寸愈小，則愈能減少可選擇之移 動向量的候選數。
因此，如第41圖所示編碼控制部1預先對作為編碼區塊之每一個分區的區塊尺寸，將可選擇之一個以上的移動向量予以列表化。
從第41圖可清楚得知，分區的區塊尺寸愈小，可選擇之移動向量的候選數愈減少，例如，若是區塊尺寸為「64」的分區，可選擇之移動向量的個數為「4」，若是區塊尺寸為「8」的分區，可選擇之移動向量的個數為「2」。
第42圖之「median」、「MV_A」、「MV_B」、「MV_C」、「temporal」與第33圖之「median」、「MV_A」、「MV_B」、「MV_C」、「temporal」對應。
編碼控制部1在決定可選擇之一個以上的移動向量時，例如參考第41圖的列表，而特定與作為編碼對象之分區的區塊尺寸對應的一個以上的移動向量，並將顯示該一個以上的移動向量的直接向量候選列表輸出至移動補償預測部5。
例如，分區的區塊尺寸為「64」時，決定「MV_A」、「MV_B」、「MV_C」、「temporal」作為可選擇之一個以上的移動向量。
又，分區的區塊尺寸為「8」時，決定「median」、「temporal」作為可選擇之一個以上的移動向量。
移動補償預測部5之直接向量產生部26一旦從編碼控制部1接受到直接向量候選列表，則與上述實施形態4同樣從該直接向量候選列表所示之一個以上的移動向量之 中，選擇適合於產生預測畫像的移動向量，然而，在分區的區塊尺寸小的情況下，可選擇之移動向量的候選數少，因此，例如減少以上所述算式(15)所示之評價值SADk的算出數等，而可減輕移動補償預測部5的處理負荷。
如此一來，動畫像編碼裝置之編碼控制部1在決定可選擇之一個以上的移動向量時，於動畫像解碼裝置也必須具有與動畫像編碼裝置完全相同之可選擇之一個以上的直接向量候選列表。
動畫像解碼裝置之可變長度解碼部51在編碼模式m(Bn)為直接模式時，於每一個編碼區塊Bn的分區Pi n，將其分區的區塊尺寸輸出至移動補償預測部54，且將由位元流來之業經可變長度解碼的索引資訊(顯示在動畫像編碼裝置之移動補償預測部5使用的移動向量的資訊)輸出至移動補償預測部54。
移動補償預測部54之直接向量產生部65一旦從可變長度解碼部51接受到分區的區塊尺寸，則如上述實施形態4，輸入直接向量索引，並從因應區塊尺寸而決定之一個以上的移動向量候選列表輸出使用於直接模式的移動向量。
亦即，直接向量產生部65預先於每一個分區之區塊尺寸將可選擇之一個以上的移動向量列表化(參考第41圖)，在決定可選擇之一個以上的移動向量時，參考第41圖之列表與直接向量索引而輸出與本次進行解碼之分區的區塊尺寸對應的一個以上的移動向量。
例如，分區的區塊尺寸為「8」時，若是索引資訊為索 引0，則輸出「median」作為直接向量，若是索引資訊為索引1，則輸出「temporal」作為直接向量。
由以上說明可清楚明白，依據本實施形態6，係以因應作為編碼區塊之分區的區塊尺寸而決定可選擇之一個以上的移動向量的方式來構成，因此，在與周圍的區塊之相關性低的分區，可從候選中排除適合於產生預測畫像之移動向量以外的移動向量，所以，可達到謀求減少處理量的功效。
又，依據本實施形態6，係以於決定可選擇之一個以上的移動向量時，分區的區塊尺寸愈小則可選擇的移動向量的候選數愈少的方式來構成，因此，可從候選中排除適合於產生預測畫像之移動向量以外的移動向量，所以能達到謀求減少處理量的功效。
此外，本實施形態6顯示了作為編碼區塊之分區的區塊尺寸最大為「64」的例子，惟，最大的區塊尺寸可為64以上，也可為未達64。
第42圖顯示最大的區塊尺寸為「128」之列表的一例。
第42圖的例子中，編碼控制部1及移動補償預測部54所保持的列表，其最大的區塊尺寸為「128」，而實際最大的分區的區塊尺寸為例如「32」的情況下，參考上述列表中「32」以下的部分即可。
又，本實施形態6顯示了因應作為編碼區塊之分區的區塊尺寸而決定可選擇之一個以上的移動向量，惟也可因應編碼區塊的分割圖案而決定可選擇之一個以上的移動向 量，可獲得同樣的功效。
第43圖係於每一個編碼區塊之分割圖案顯示可選擇之一個以上的移動向量的說明圖。
例如，作為編碼區塊的分區為2partH1的情況下，決定「MV_A」、「MV_B」、「MV_C」、「temporal」作為可選擇之一個以上的移動向量，而當作為編碼區塊的分區為2partH2的情況下，與左側之區塊亦即2partH1之移動為不同的可能性高
因此，2partH2從可選擇之一個以上的移動向量之中刪除左側之區塊的移動向量亦即「MV_A」而決定「MV_B」、「MV_C」、「temporal」。
又，本實施形態6係使用時間方向的向量，惟為了減少要使用的記憶體量，也可壓縮儲存於記憶體的資料尺寸。例如最小區塊尺寸為4×4時，一般係以4×4單位來保持時間方向的向量，惟可考量以更大的區塊尺寸來保持時間方向的向量。
如上所述地壓縮並保持時間方向的向量時，以比保持的單位還小的區塊尺寸進行處理時，會有不顯示參考的位置為正確的位置的問題。因此，也可進行不使用比保持的單位還小的區塊尺寸時的時間方向向量的處理。從候選中排除精度低的向量而能具有減少處理量與減少索引編碼量的功效。
又，本實施形態6說明了直接模式向量，惟對於決定使用於一般的移動向量編碼的預測向量也可使用同樣的方 式。使用此方式在減少處理量與改善編碼效率的兩方面有功效。
又，本實施形態6在對於產生直接向量或決定預測向量所使用之複數個向量候選，直接向量或欲預測之向量的ref_ldx與候選向量的ref_ldx不同(參考對象之圖像不同)時，也可如第14圖所示以對候選向量因應時間方向的距離進行定標(scaling)處理的方式來構成。當ref_ldx相同時，不進行因應時間方向之距離的定標處理。
其中，scaled_MV表示定標後的向量，MV表示定標前的移動向量，d(x)表示至×為止之時間性的距離。
又，Xr表示編碼對象之區塊所示的參考畫像，Yr表示成為定標對象之區塊位置A-D所示的參考畫像。
再者，如第49圖所示，空間向量候選也能以從成為對象的區塊搜尋被幀間編碼的區塊，並將其區塊內所包含之全部的向量作為候選使用的方式來構成。如以上所述，直接向量或欲預測之向量所要指示的對象之參考圖像與此等候選向量所指示之參考圖像會有相同的情形與不相同的情形，惟能以僅將指示相同參考圖像的候選向量作為候選使用的方式來構成。也能以利用定標處理指出相同參考圖像的方式進行修正如此的方式來構成。前者時具有不增加處理量即能從候選中排除精度低的向量之功效。後者時雖然會增加相對於搜尋的處理量，但是由於能增加選擇候選， 因此具有減少編碼量的功效。
又，也可設為進行算式(16)那般的定標時，在發現被幀間編碼之區塊的時間點，與直接向量或欲預測之向量的ref_ldx不同之作為ref_ldx的候選向量進行定標(相同ref_ldx時不進行定標)，也可設為在全部搜尋之後，僅在無相同作為ref_ldx的候選向量時進行定標。雖然會增加處理量，但是由於能將提高了精度的向量加至候選，所以具有減少編碼量的功效。
實施形態7
上述實施形態6顯示了動畫像編碼裝置之編碼控制部1及動畫像解碼裝置之移動補償預測部54預先保持有顯示可選擇之移動向量的列表，惟也可建構成動畫像編碼裝置之可變長度編碼部13將顯示其列表之列表資訊予以可變長度編碼，並將其列表資訊的編碼資料多工至例如片頭之後傳送至動畫像解碼裝置，
此情況下，動畫像解碼裝置之可變長度解碼部51從多工至片頭的編碼資料將列表資訊予以可變長度編解碼，並將其列表資訊所顯示之列表輸出至移動補償預測部54的直接向量產生部65。
雖然也可如此地以片單位(或序列或圖像單位等也可)將顯示列表之列表資訊傳送至動畫像解碼裝置側，惟也可僅在以編碼控制部1所保持的列表被變更的情況下將顯示變更後的列表之列表資訊傳送至動畫像解碼裝置側。
以下具體地說明處理內容。
第44圖係顯示動畫像編碼裝置之列表資訊之發送處理的流程圖，第45圖係顯示動畫像解碼裝置之列表資訊之接收處理的流程圖。
動畫像編碼裝置之編碼控制部1與上述實施形態6同樣因應作為編碼區塊之分區的區塊尺寸，而決定可選擇之一個以上的移動向量，惟要決定移動向量時確認要參考的列表是否被變更，若是列表與前一次相同(第44圖之步驟ST41)，則為了將列表係與前一次相同的主旨通知動畫像解碼裝置側，乃將變更旗標設定為“off”(步驟ST42)。
當編碼控制部1將變更旗標設定為“off”時，可變長度編碼部13將“off”的變更旗標予以編碼，並將其編碼資料傳送至動畫像解碼裝置側(步驟ST43)。
編碼控制部1在列表係與前一次不同時(步驟ST41)，為了將列表係與前一次不同的主旨通知動畫像解碼裝置側，乃將變更旗標設定為“on”(步驟ST44)。
當編碼控制部1將變更旗標設定為“on”時，可變長度編碼部13將“on”的變更旗標與顯示變更後之列表的列表資訊予以編碼，並將其編碼資料傳送至動畫像解碼裝置側(步驟ST45)。
第46圖顯示為了將列表內的「temporal」從可選擇變更為不可選擇，乃將顯示“on”之變更旗標與變更後的列表的列表資訊予以編碼的例子。
動畫像解碼裝置之可變長度解碼部51從編碼資料將變更旗標予以解碼(第45圖之步驟ST51)，若是該變更旗標 為“off”(步驟ST52)，將“off”的變更旗標輸出至移動補償預測部54。
移動補償預測部54一旦從可變長度解碼部51接收到“off”的變更旗標，則辨識為列表與前一次相同，並將現在保持的列表設定至參考對象(步驟ST53)。
因此，移動補償預測部54參考現在保持的列表，以決定與此次進行解碼之分區的區塊尺寸對應之一個以上的移動向量。
若是變更旗標為“on”(步驟ST52)，動畫像解碼裝置之可變長度解碼部51從編碼資料將列表資訊予以解碼，並將“on”的變更旗標與列表資訊輸出至移動補償預測部54(步驟ST54)。
移動補償預測部54一旦從可變長度解碼部51接收到“on”的變更旗標與列表資訊，則辨識為列表與前一次不同，並依據該列表資訊而變更現在保持的列表，且將變更後的列表設定至參考對象(步驟ST55)。
因此，移動補償預測部54參考變更後的列表，以決定與此次進行解碼之分區的區塊尺寸對應之一個以上的移動向量。
第47圖顯示變更旗標為“on”，所以變更現在保持之列表的例子。
如以上說明可清楚明白，依據本實施形態7，係以僅在變更了顯示可選擇之一個以上的移動向量的列表的情況，將顯示變更後的列表之列表資訊予以編碼以產生編碼 資料的方式來構成，因此，不會導致大幅地增加編碼量，而可達到能安裝接受列表變更之功能的功效。
本實施形態7顯示了即使變更了列表所示之可選擇之移動向量的一部分的情況下，也可將顯示變更後列表之全體的列表資訊予以編碼的例子，惟也可建構成如第48圖所示於每一個區塊尺寸製備變更旗標，而將已變更可選擇之移動向量的區塊尺寸之變更旗標設為“on”，僅將相關該區塊尺寸的列表資訊予以編碼。
第48圖的例子中，區塊尺寸為「64」與「8」之移動向量未被變更，因此變更旗標為“off”，相關該區塊尺寸之列表資訊不被編碼。
相對於此，區塊尺寸為「32」與「16」之移動向量被變更，因此變更旗標為“on”，相關該區塊尺寸之列表資訊被編碼。
又，也可建構成僅限於其中任一區塊尺寸的變更旗標為“on”時，將區塊尺寸單位之變更旗標予以編碼，而於其中任一區塊尺寸的變更旗標都為“off”時，僅將列表單位之變更旗標(“off”的變更旗標)予以編碼。
又，也可建構成不使用列表單位的變更旗標，僅將區塊尺寸單位之變更旗標予以編碼。
在此，雖然已顯示了於每一個區塊尺寸能變更可選擇之移動向量的例子，然而也可建構成每一個編碼區塊之分割圖案能變更可選擇之移動向量。
(產業上利用性)
本發明之動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法及動畫像解碼方法，於預定的區塊單位選擇最適合的直接模式，而能減少編碼量，所以適合利用於使用在畫像壓縮編碼技術或壓縮畫像資料傳送技術等的動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法及動畫像解碼方法。
2‧‧‧區塊分割部(區塊分割手段)
3‧‧‧切換開關(幀內預測手段、移動補償預測手段)
4‧‧‧幀內預測部(幀內預測手段)
5‧‧‧移動補償預測部(移動補償預測手段)
6‧‧‧減法部(差分畫像產生手段)
7‧‧‧變換或量化部(畫像壓縮手段)
8‧‧‧反量化或反變換部
9‧‧‧加法部
10‧‧‧幀內預測用記憶體
11‧‧‧迴路濾波部
12‧‧‧移動補償預測幀記憶體
13‧‧‧可變長度編碼部(可變長度編碼手段)

Claims (5)

  1. 一種動畫像解碼裝置，包含：可變長度解碼手段，係藉由對被多工成位元流之編碼資料進行可變長度解碼處理而得到指定與編碼區塊相關的移動向量的索引資訊、及用以變更依據該索引資訊而選擇之移動向量候補之數的控制資訊；及移動補償預測手段，係從一個以上的移動向量候補之中選擇上述索引資訊顯示的移動向量，並使用所選擇之移動向量，對上述編碼區塊實施移動補償預測處理以產生預測畫像；其中，上述移動補償預測手段依據上述控制資訊，製備包含從位於上述編碼區塊周圍之複數個已解碼完區塊得到之空間移動向量，及從上述編碼區塊可參考之已解碼完圖像的移動向量得到之時間移動向量之至少其中任一者的上述移動向量候補，上述移動向量候補係可以片單位而變更。
  2. 一種動畫像解碼方法，包含下述步驟：藉由對被多工成位元流之編碼資料進行可變長度解碼處理而得到指定與編碼區塊相關的移動向量的索引資訊、及用以變更依據該索引資訊而選擇之移動向量候補之數的控制資訊；及從一個以上的移動向量候補之中選擇上述索引資訊顯示的移動向量，並使用所選擇之移動向量，對上述編碼區塊實施移動補償預測處理以產生預測畫像； 其中，上述移動向量候補係包含依據上述控制資訊，從位於上述編碼區塊周圍之複數個已解碼完區塊的移動向量得到之空間移動向量，及從上述編碼區塊可參考之已解碼完圖像的移動向量得到之時間移動向量之至少一者，上述移動向量候補係可以片單位而變更。
  3. 一種動畫像編碼裝置，包含：移動補償預測手段，係從空間移動向量及時間移動向量製備移動向量候補，該空間移動向量係從位於編碼區塊周圍之複數個已編碼完區塊得到者，而該時間移動向量係從上述編碼區塊可參考之已編碼完圖像的移動向量得到者，且該移動補償預測手段係使用從上述移動向量候補之中所選擇之移動向量而對上述編碼區塊實施移動補償預測處理以產生預測畫像；及可變長度編碼手段，係產生用以顯示所選擇之移動向量候補之索引資訊；上述移動向量候補之數係可依每一片單位而變更，上述可變長度編碼手段係產生用以變更上述移動向量候補的控制資訊。
  4. 一種動畫像編碼方法，包含下述步驟：從空間移動向量及時間移動向量製備移動向量候補，該空間移動向量係從位於編碼區塊周圍之複數個已編碼完區塊得到者，而該時間移動向量係從上述編 碼區塊可參考之已編碼完圖像的移動向量得到者；使用從上述移動向量候補之中所選擇之移動向量而對上述編碼區塊實施移動補償預測處理以產生預測畫像；及產生用以顯示所選擇之移動向量候補之索引資訊；上述移動向量候補之數係可依每一片單位而變更，在上述移動向量候補之數已變更的情形，產生用以變更該移動向量候補之數的控制資訊。
  5. 一種動畫像編碼資料，包含：壓縮資料，係從對編碼區塊實施移動補償預測處理而產生之預測畫像與原畫像的差分所產生；索引資訊，係關於使用於上述移動補償預測處理之移動向量者；及控制資訊，係用以變更依據上述索引資訊而選擇之移動向量候補之數；其中，當上述移動向量係從包含空間移動向量及時間移動向量之至少其中任一者之移動向量候補所選擇者時，上述索引資訊係用以顯示所選擇之向量候補者，其中，該空間移動向量係從位於上述編碼區塊周圍之複數個已編碼完區塊得到者，而該時間移動向量係從上述編碼區塊可參考之已編碼完圖像的移動向量得到者，上述移動向量候補係可以片單位而變更。
TW105124959A 2010-09-30 2011-08-31 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法及動畫像編碼資料 TWI581622B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010221460 2010-09-30
JP2011050214 2011-03-08
PCT/JP2011/004121 WO2012042719A1 (ja) 2010-09-30 2011-07-21 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Publications (2)

Publication Number Publication Date
TW201640898A TW201640898A (zh) 2016-11-16
TWI581622B true TWI581622B (zh) 2017-05-01

Family

ID=45892217

Family Applications (2)

Application Number Title Priority Date Filing Date
TW100131230A TWI571108B (zh) 2010-09-30 2011-08-31 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法及動畫像解碼方法
TW105124959A TWI581622B (zh) 2010-09-30 2011-08-31 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法及動畫像編碼資料

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW100131230A TWI571108B (zh) 2010-09-30 2011-08-31 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法及動畫像解碼方法

Country Status (12)

Country Link
US (5) US9369730B2 (zh)
EP (1) EP2624562A4 (zh)
JP (6) JP5486091B2 (zh)
KR (5) KR101554792B1 (zh)
CN (5) CN106454379B (zh)
BR (1) BR112013006499B1 (zh)
CA (3) CA2813232C (zh)
MX (1) MX2013003694A (zh)
RU (5) RU2549512C2 (zh)
SG (5) SG10201707379SA (zh)
TW (2) TWI571108B (zh)
WO (1) WO2012042719A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106210737B (zh) * 2010-10-06 2019-05-21 株式会社Ntt都科摩 图像预测解码装置、图像预测解码方法
JP5807588B2 (ja) * 2011-03-08 2015-11-10 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに、送信装置、送信方法及び送信プログラム
JP5682582B2 (ja) * 2011-03-08 2015-03-11 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法及び受信プログラム
WO2012174423A1 (en) 2011-06-17 2012-12-20 President And Fellows Of Harvard College Stabilized polypeptides as regulators of rab gtpase function
WO2013108616A1 (en) 2012-01-20 2013-07-25 Panasonic Corporation Methods and apparatuses for encoding and decoding video using temporal motion vector prediction
KR101996682B1 (ko) 2012-02-03 2019-07-04 선 페이턴트 트러스트 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치 및 화상 부호화 복호 장치
JP6421931B2 (ja) 2012-03-06 2018-11-14 サン パテント トラスト 動画像符号化方法及び動画像符号化装置
US10469851B2 (en) * 2012-04-16 2019-11-05 New Cinema, LLC Advanced video coding method, system, apparatus, and storage medium
KR101721345B1 (ko) * 2012-11-06 2017-03-29 닛본 덴끼 가부시끼가이샤 영상 부호화 방법, 영상 부호화 장치 및 영상 부호화 프로그램
KR102088383B1 (ko) * 2013-03-15 2020-03-12 삼성전자주식회사 비디오의 부호화 방법 및 장치, 비디오의 복호화 방법 및 장치
US9442637B1 (en) * 2013-06-17 2016-09-13 Xdroid Kft Hierarchical navigation and visualization system
US9693076B2 (en) * 2014-01-07 2017-06-27 Samsung Electronics Co., Ltd. Video encoding and decoding methods based on scale and angle variation information, and video encoding and decoding apparatuses for performing the methods
JP6187286B2 (ja) * 2014-01-28 2017-08-30 富士通株式会社 動画像符号化装置
GB201405649D0 (en) * 2014-03-28 2014-05-14 Sony Corp Data encoding and decoding
US20160373744A1 (en) * 2014-04-23 2016-12-22 Sony Corporation Image processing apparatus and image processing method
US10283091B2 (en) * 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization
KR102288949B1 (ko) 2015-01-22 2021-08-12 현대모비스 주식회사 자동차의 브레이크 시스템
US10291931B2 (en) * 2016-10-13 2019-05-14 Ati Technologies Ulc Determining variance of a block of an image based on a motion vector for the block
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
US20180242024A1 (en) * 2017-02-21 2018-08-23 Mediatek Inc. Methods and Apparatuses of Candidate Set Determination for Quad-tree Plus Binary-tree Splitting Blocks
CN110495177B (zh) * 2017-04-13 2023-10-20 松下电器（美国）知识产权公司 解码装置、解码方法及存储介质
KR102574175B1 (ko) * 2017-06-05 2023-09-04 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
WO2019049912A1 (ja) * 2017-09-08 2019-03-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2019093597A1 (ko) * 2017-11-09 2019-05-16 삼성전자 주식회사 움직임 벡터 해상도에 기초하여 영상을 부호화하는 장치 및 방법, 및 복호화 장치 및 방법
WO2020005002A1 (ko) * 2018-06-28 2020-01-02 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 템플릿 영역 도출 방법 및 장치
CN117354506A (zh) * 2018-06-29 2024-01-05 英迪股份有限公司 对图像解码和编码的方法及非暂态计算机可读存储介质
TWI728389B (zh) 2018-07-01 2021-05-21 大陸商北京字節跳動網絡技術有限公司 基於優先級的非相鄰merge設計
US10735763B2 (en) * 2018-07-27 2020-08-04 Tencent America LLC Method and apparatus for motion vector prediction using spatial and temporal combination
CN111294601A (zh) 2018-12-07 2020-06-16 华为技术有限公司 视频图像解码、编码方法及装置
CN112969070B (zh) * 2019-03-11 2022-08-26 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
JP7267885B2 (ja) * 2019-09-20 2023-05-02 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
EP4088469A1 (en) * 2020-01-09 2022-11-16 Telefonaktiebolaget Lm Ericsson (Publ) Picture header presence

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200629914A (en) * 2005-01-07 2006-08-16 Nippon Telegraph & Telephone Video encoding method and apparatus, video decoding method and apparatus, programs therefor, and storage media for storing the programs
WO2009051719A2 (en) * 2007-10-16 2009-04-23 Thomson Licensing Methods and apparatus for video encoding and decoding geometically partitioned super blocks
US20100086049A1 (en) * 2008-10-03 2010-04-08 Qualcomm Incorporated Video coding using transforms bigger than 4x4 and 8x8
US20100135387A1 (en) * 2007-04-12 2010-06-03 Thomson Licensing Method and apparatus for context dependent merging for skip-direct modes for video encoding and decoding
US20100220790A1 (en) * 2007-10-16 2010-09-02 Lg Electronics Inc. method and an apparatus for processing a video signal

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3351645B2 (ja) * 1995-01-31 2002-12-03 松下電器産業株式会社 動画像信号の符号化方法
JP3628810B2 (ja) * 1996-06-28 2005-03-16 三菱電機株式会社 画像符号化装置
FR2756399B1 (fr) * 1996-11-28 1999-06-25 Thomson Multimedia Sa Procede et dispositif de compression video pour images de synthese
CN100518319C (zh) * 1996-12-18 2009-07-22 汤姆森消费电子有限公司 将数据压缩成固定长度数据块及解压的方法
JP4114859B2 (ja) * 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
JP2004088722A (ja) * 2002-03-04 2004-03-18 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
US7336720B2 (en) * 2002-09-27 2008-02-26 Vanguard Software Solutions, Inc. Real-time video coding/decoding
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
CN101790095B (zh) * 2002-11-01 2013-02-27 松下电器产业株式会社 解码系统、解码装置、编码装置及记录方法
JP2005005844A (ja) * 2003-06-10 2005-01-06 Hitachi Ltd 計算装置及び符号化処理プログラム
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7688894B2 (en) * 2003-09-07 2010-03-30 Microsoft Corporation Scan patterns for interlaced video content
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
JP2007221202A (ja) 2006-02-14 2007-08-30 Victor Co Of Japan Ltd 動画像符号化装置及び動画像符号化プログラム
CN101998120B (zh) * 2006-05-24 2014-07-30 松下电器产业株式会社 图像编码装置、图像编码方法及图像编码集成电路
CN101507280B (zh) 2006-08-25 2012-12-26 汤姆逊许可公司 用于降低分辨率划分的方法和装置
JP5025286B2 (ja) * 2007-02-28 2012-09-12 シャープ株式会社 符号化装置及び復号装置
CN101652994A (zh) * 2007-03-29 2010-02-17 夏普株式会社 视频发送装置、视频接收装置、视频记录装置、视频重放装置及视频显示装置
JP2008283490A (ja) 2007-05-10 2008-11-20 Ntt Docomo Inc 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム
JP2008311781A (ja) * 2007-06-12 2008-12-25 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
WO2009041215A1 (ja) * 2007-09-25 2009-04-02 Sharp Kabushiki Kaisha 動画像符号化装置及び動画像復号装置
JP2009147807A (ja) * 2007-12-17 2009-07-02 Fujifilm Corp 画像処理装置
KR101505195B1 (ko) 2008-02-20 2015-03-24 삼성전자주식회사 직접 모드 부호화 및 복호화 방법
WO2009115901A2 (en) * 2008-03-19 2009-09-24 Nokia Corporation Combined motion vector and reference index prediction for video coding
WO2009128208A1 (ja) * 2008-04-16 2009-10-22 株式会社日立製作所 動画像符号化装置、動画像復号化装置、動画像符号化方法、および動画像復号化方法
JP4937224B2 (ja) * 2008-09-30 2012-05-23 株式会社東芝 画像符号化装置
US8619856B2 (en) * 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
US20100166073A1 (en) * 2008-12-31 2010-07-01 Advanced Micro Devices, Inc. Multiple-Candidate Motion Estimation With Advanced Spatial Filtering of Differential Motion Vectors
TWI405469B (zh) * 2009-02-20 2013-08-11 Sony Corp Image processing apparatus and method
EP2224738A1 (en) * 2009-02-27 2010-09-01 Nxp B.V. Identifying occlusions
US8391365B2 (en) * 2009-03-20 2013-03-05 National Cheng Kung University Motion estimator and a motion estimation method
US9060176B2 (en) * 2009-10-01 2015-06-16 Ntt Docomo, Inc. Motion vector prediction in video coding
WO2011099242A1 (ja) * 2010-02-12 2011-08-18 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200629914A (en) * 2005-01-07 2006-08-16 Nippon Telegraph & Telephone Video encoding method and apparatus, video decoding method and apparatus, programs therefor, and storage media for storing the programs
US20100135387A1 (en) * 2007-04-12 2010-06-03 Thomson Licensing Method and apparatus for context dependent merging for skip-direct modes for video encoding and decoding
WO2009051719A2 (en) * 2007-10-16 2009-04-23 Thomson Licensing Methods and apparatus for video encoding and decoding geometically partitioned super blocks
US20100220790A1 (en) * 2007-10-16 2010-09-02 Lg Electronics Inc. method and an apparatus for processing a video signal
US20100086049A1 (en) * 2008-10-03 2010-04-08 Qualcomm Incorporated Video coding using transforms bigger than 4x4 and 8x8

Also Published As

Publication number Publication date
RU2549512C2 (ru) 2015-04-27
RU2015108787A (ru) 2015-08-10
KR101554792B1 (ko) 2015-09-21
KR101829594B1 (ko) 2018-02-14
SG10201802064VA (en) 2018-05-30
CN106713931B (zh) 2019-09-03
US20130177076A1 (en) 2013-07-11
US9369730B2 (en) 2016-06-14
US9900612B2 (en) 2018-02-20
CN103222265A (zh) 2013-07-24
KR20130076879A (ko) 2013-07-08
SG10201701439WA (en) 2017-03-30
CN106488249B (zh) 2019-11-05
CA2991166A1 (en) 2012-04-05
TWI571108B (zh) 2017-02-11
KR20150010774A (ko) 2015-01-28
CA3033984A1 (en) 2012-04-05
US9900611B2 (en) 2018-02-20
KR20180118814A (ko) 2018-10-31
KR101914018B1 (ko) 2018-10-31
CN106454379A (zh) 2017-02-22
JPWO2012042719A1 (ja) 2014-02-03
CN106713931A (zh) 2017-05-24
TW201216717A (en) 2012-04-16
RU2597499C2 (ru) 2016-09-10
BR112013006499B1 (pt) 2022-09-20
SG189114A1 (en) 2013-05-31
KR101723282B1 (ko) 2017-04-04
CN106454379B (zh) 2019-06-28
JP2019146245A (ja) 2019-08-29
US9894376B2 (en) 2018-02-13
WO2012042719A1 (ja) 2012-04-05
JP5486091B2 (ja) 2014-05-07
RU2016132603A (ru) 2018-02-14
JP2020202590A (ja) 2020-12-17
KR20170037675A (ko) 2017-04-04
JP6768110B2 (ja) 2020-10-14
JP6768017B2 (ja) 2020-10-14
BR112013006499A2 (pt) 2020-08-04
CN103222265B (zh) 2017-02-08
KR20180017217A (ko) 2018-02-20
CA3033984C (en) 2022-03-08
JP2018067974A (ja) 2018-04-26
EP2624562A4 (en) 2014-11-19
SG10201506682SA (en) 2015-10-29
TW201640898A (zh) 2016-11-16
RU2013119920A (ru) 2014-11-10
CA2813232C (en) 2020-02-04
JP6312787B2 (ja) 2018-04-18
CN106713930B (zh) 2019-09-03
SG10201707379SA (en) 2017-10-30
US20150245032A1 (en) 2015-08-27
US20150245035A1 (en) 2015-08-27
JP6071922B2 (ja) 2017-02-01
CN106488249A (zh) 2017-03-08
MX2013003694A (es) 2013-04-24
RU2654136C2 (ru) 2018-05-16
US20150281725A1 (en) 2015-10-01
RU2680199C1 (ru) 2019-02-18
RU2706179C1 (ru) 2019-11-14
CA2813232A1 (en) 2012-04-05
JP2014112939A (ja) 2014-06-19
EP2624562A1 (en) 2013-08-07
KR102013093B1 (ko) 2019-08-21
CN106713930A (zh) 2017-05-24
CA2991166C (en) 2019-04-09
US20150245057A1 (en) 2015-08-27
US9894375B2 (en) 2018-02-13
JP2017060197A (ja) 2017-03-23

Similar Documents

Publication Publication Date Title
TWI581622B (zh) 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法及動畫像編碼資料
JP6667609B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法
KR20130135925A (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
JP2013009165A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
CN113891089A (zh) 一种运动信息候选列表的构建方法、装置及其设备
JP2012186762A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
WO2012090425A1 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2013098711A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2013098713A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2013009164A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2014135552A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
JP2012138838A (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP2012080210A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法