TW202239210A - 影像編碼裝置、影像編碼方法、影像編碼程式、影像解碼裝置、影像解碼方法及影像解碼程式 - Google Patents

影像編碼裝置、影像編碼方法、影像編碼程式、影像解碼裝置、影像解碼方法及影像解碼程式 Download PDF

Info

Publication number
TW202239210A
TW202239210A TW111120990A TW111120990A TW202239210A TW 202239210 A TW202239210 A TW 202239210A TW 111120990 A TW111120990 A TW 111120990A TW 111120990 A TW111120990 A TW 111120990A TW 202239210 A TW202239210 A TW 202239210A
Authority
TW
Taiwan
Prior art keywords
motion vector
prediction
candidate list
inter
merging
Prior art date
Application number
TW111120990A
Other languages
English (en)
Other versions
TWI782887B (zh
Inventor
竹原英樹
中村博哉
坂爪智
福島茂
熊倉徹
倉重宏之
Original Assignee
日商Ｊｖｃ建伍股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商Ｊｖｃ建伍股份有限公司 filed Critical 日商Ｊｖｃ建伍股份有限公司
Publication of TW202239210A publication Critical patent/TW202239210A/zh
Application granted granted Critical
Publication of TWI782887B publication Critical patent/TWI782887B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

[課題]提供一種藉由進行適合於影像編碼及解碼的區塊分割，而促使編碼效率提升的技術。 [解決手段]具備：編碼資訊儲存部，係將畫面間預測中所使用過的畫面間預測資訊，追加至履歷預測運動向量候補清單；和履歷預測運動向量候補導出部，係從前記履歷預測運動向量候補清單，導出履歷預測運動向量候補；和履歷合併候補導出部，係從前記履歷預測運動向量候補清單，導出履歷合併候補；前記履歷預測運動向量候補導出部及履歷合併候補導出部，係將前記履歷預測運動向量候補清單中所含之候補以彼此互異之順序進行參照而當作履歷預測運動向量候補、或履歷合併候補。

Description

影像編碼裝置、影像編碼方法、影像編碼程式、影像解碼裝置、影像解碼方法及影像解碼程式
本發明係有關於，將影像分割成區塊，並進行預測的影像編碼及解碼技術。
在影像的編碼及解碼中，將處理對象之影像分割成所定數之像素的集合也就是區塊，並以區塊單位進行處理。藉由分割成適切的區塊，並適切地設定畫面內預測(Intra預測)、畫面間預測(Inter預測)，就可提升編碼效率。
在動態影像的編碼、解碼中，藉由從已編碼、解碼之圖像來進行預測的畫面間預測，可提升編碼效率。專利文獻1中係記載，在畫面間預測之際，適用仿射轉換的技術。在動態影像中，物體經常會伴隨著放大、縮小、旋轉這類變形，藉由適用專利文獻1的技術，就可有效率地編碼。 [先前技術文獻] [專利文獻]
[專利文獻1] 日本特開平9-172644號公報
[發明所欲解決之課題]
然而，專利文獻1的技術係伴隨著影像的轉換，因此會有處理負荷龐大的課題。本發明係有鑑於上記之課題，提供低負荷且有效率的編碼技術。 [用以解決課題之手段]
為了解決上記課題，本發明的某個態樣的影像解碼裝置，係具備：編碼資訊儲存部，係將畫面間預測中所使用過的前記畫面間預測資訊，追加至履歷預測運動向量候補清單；和履歷預測運動向量候補導出部，係從前記履歷預測運動向量候補清單，導出履歷預測運動向量候補；和履歷合併候補導出部，係從前記履歷預測運動向量候補清單，導出履歷合併候補；前記履歷預測運動向量候補導出部及履歷合併候補導出部，係將前記履歷預測運動向量候補清單中所含之候補以彼此互異之順序進行參照而當作履歷預測運動向量候補、或履歷合併候補。 [發明效果]
若依據本發明，則可以低負荷來實現高效率的影像編碼、解碼處理。
將本實施形態中所使用的技術、及技術用語，加以定義。
＜樹區塊＞ 在實施形態中，是以所定之大小而將編碼、解碼處理對象影像做均等分割。將此單位定義為樹區塊。在圖4中，雖然是將樹區塊之尺寸設成128x128像素，但樹區塊之尺寸係不限定於此，可設定任意之尺寸。處理對象(於編碼處理中係對應於編碼對象，於解碼處理中係對應於解碼對象)之樹區塊，係以逐線掃描順序，亦即從左至右，從上至下之順序，而被切換。各樹區塊之內部，係可再做遞迴性的分割。將樹區塊做遞迴性分割之後的，編碼、解碼之對象的區塊，定義為編碼區塊。又，將樹區塊、編碼區塊總稱定義為區塊。藉由進行適切的區塊分割，就可有效率地編碼。樹區塊之尺寸，係亦可設計成是在編碼裝置與解碼裝置間預先決定好的固定值，亦可採取把編碼裝置所決定好的樹區塊之尺寸予以傳輸至解碼裝置的構成。此處係將樹區塊之最大尺寸設成128x128像素，將樹區塊之最小尺寸設成16x16像素。又，將編碼區塊之最大尺寸設成64x64像素，將編碼區塊之最小尺寸設成4x4像素。
＜預測模式＞ 以處理對象編碼區塊單位，而將處理對象影像的根據已處理影像訊號來進行預測的畫面內預測(MODE_INTRA)、及根據已處理影像之影像訊號來進行預測的畫面間預測(MODE_INTER)，進行切換。 已處理影像，於編碼處理中係被使用於將編碼已經完成之訊號予以解碼而成的影像、影像訊號、樹區塊、區塊、編碼區塊等，於解碼處理中係被使用於解碼已經完成之影像、影像訊號、樹區塊、區塊、編碼區塊等。 將用來識別該畫面內預測(MODE_INTRA)與畫面間預測(MODE_INTER)的模式，定義為預測模式(PredMode)。預測模式(PredMode)係將畫面內預測(MODE_INTRA)、或畫面間預測(MODE_INTER)當作值而持有。
＜畫面間預測＞ 根據已處理影像之影像訊號來進行預測的畫面間預測中，係可將複數個已處理影像當作參照圖像來使用。為了管理複數個參照圖像，定義了L0(參照清單0)與L1(參照清單1)之2種類的參照清單，分別使用參照索引來特定出參照圖像。在P切片時係可利用L0預測(Pred_L0)。在B切片時係可利用L0預測(Pred_L0)、L1預測(Pred_L1)、雙預測(Pred_BI)。L0預測(Pred_L0)係為參照受L0所管理之參照圖像的畫面間預測，L1預測(Pred_L1)係為參照受L1所管理之參照圖像的畫面間預測。雙預測(Pred_BI)係L0預測與L1預測都會被進行，是參照分別受L0與L1所管理之各1個參照圖像的畫面間預測。將用來特定L0預測、L1預測、雙預測的資訊，定義為畫面間預測模式。以後的處理中，關於輸出附加有字尾LX之定數、變數，係以針對L0、L1個別進行處理為前提。
＜預測運動向量模式＞ 預測運動向量模式係為，將用來特定預測運動向量所需之索引、差分運動向量、畫面間預測模式、參照索引予以傳輸，並將處理對象區塊之畫面間預測資訊加以決定的模式。預測運動向量係根據：根據處理對象區塊所相鄰之已處理區塊、或已處理影像中所屬之區塊且位於與處理對象區塊相同位置或其附近(鄰近)的區塊所導出的預測運動向量候補，與用來特定預測運動向量所需之索引，而予以導出。
＜合併模式＞ 合併模式係為，不必傳輸差分運動向量、參照索引，而是根據處理對象區塊所相鄰之已處理區塊、或已處理影像中所屬之區塊且位於與處理對象區塊相同位置或其附近(鄰近)的區塊的畫面間預測資訊，而將處理對象區塊之畫面間預測資訊予以導出的模式。
將處理對象區塊所相鄰之已處理區塊、及該已處理區塊之畫面間預測資訊，定義為空間合併候補。將已處理影像中所屬之區塊且位於與處理對象區塊相同位置或其附近(鄰近)之區塊、及根據該區塊之畫面間預測資訊而被導出的畫面間預測資訊，定義為時間合併候補。各合併候補係被登錄至合併候補清單，藉由合併索引，而將在處理對象區塊之預測時所使用的合併候補予以特定。
＜相鄰區塊＞ 圖11係為在預測運動向量模式、合併模式下，為了導出畫面間預測資訊而進行參照的參照區塊的說明圖。A0、A1、A2、B0、B1、B2、B3，係為處理對象區塊所相鄰之已處理區塊。T0係為已處理影像中所屬之區塊，且為位於與處理對象影像中的處理對象區塊相同位置或其附近(鄰近)之區塊。
A1、A2係為，位於處理對象編碼區塊之左側，且為處理對象編碼區塊所相鄰之區塊。B1、B3係為，位於處理對象編碼區塊之上側，且為處理對象編碼區塊所相鄰之區塊。A0、B0、B2係分別為，位於處理對象編碼區塊之左下、右上、左上的區塊。
於預測運動向量模式、合併模式下要如何操作相鄰區塊的細節，將於後述。
＜仿射轉換運動補償＞ 仿射轉換運動補償係為，將編碼區塊分割成所定單位之子區塊，對於已被分割之各子區塊，個別地決定運動向量而進行運動補償。各子區塊的運動向量係基於：根據處理對象區塊所相鄰之已處理區塊、或已處理影像中所屬之區塊且位於與處理對象區塊相同位置或其附近(鄰近)之區塊的畫面間預測資訊所導出的1個以上之控制點，而進行導出。在本實施形態中，雖然是將子區塊之尺寸設成4x4像素，但子區塊之尺寸係不限定於此，亦可以像素單位來導出運動向量。
圖14中係圖示，控制點為2個之情況的仿射轉換運動補償之例子。此情況下，2個控制點係具有水平方向成分、垂直方向成分之2個參數。因此，控制點為2個之情況的仿射轉換，係稱為4參數仿射轉換。圖14的CP1、CP2係為控制點。 圖15中係圖示，控制點為3個之情況的仿射轉換運動補償之例子。此情況下，3個控制點係具有水平方向成分、垂直方向成分之2個參數。因此，控制點為3個之情況的仿射轉換，係稱為6參數仿射轉換。圖15的CP1、CP2、CP3係為控制點。
仿射轉換運動補償，係於預測運動向量模式及合併模式之任一模式下皆可利用。將在預測運動向量模式下適用仿射轉換運動補償的模式定義為子區塊預測運動向量模式，將在合併模式下適用仿射轉換運動補償的模式定義為子區塊合併模式。
＜畫面間預測之語法＞ 使用圖12、圖13，說明畫面間預測之相關語法。 圖12的merge_flag係為，表示要將處理對象編碼區塊設成合併模式、還是設成預測運動向量模式的旗標。merge_affine_flag係為，表示是否在合併模式之處理對象編碼區塊中適用子區塊合併模式的旗標。inter_affine_flag係為，表示是否在預測運動向量模式之處理對象編碼區塊中適用子區塊預測運動向量模式的旗標。cu_affine_type_flag係為，於子區塊預測運動向量模式下，用來決定控制點之數量所需的旗標。 圖13中係圖示了各語法元素之值，與其所對應的預測方法。merge_flag=1,merge_affine_flag=0 ，係對應於通常合併模式。通常合併模式係為，並非子區塊合併的合併模式。merge_flag=1,merge_affine_flag=1，係對應於子區塊合併模式。merge_flag=0,inter_affine_flag=0，係對應於通常預測運動向量模式。通常預測運動向量模式係為，並非子區塊預測運動向量模式的預測運動向量合併。merge_flag=0,inter_affine_flag=1，係對應於子區塊預測運動向量模式。merge_flag=0,inter_affine_flag=1的情況下，係還會傳輸cu_affine_type_flag，決定控制點之數量。
＜POC＞ POC(Picture Order Count)係為與被編碼之圖像建立關連的變數，是被設定了隨應於圖像之輸出順序而每次增加1之值。藉由POC之值，就可判別是否為相同圖像、可判別輸出順序上的圖像間之前後關係、可導出圖像間之距離等等。例如，當2個圖像之POC具有相同值時，就可判斷是同一圖像。當2個圖像之POC具有不同值時，則可判斷POC之值較小的圖像係為先被輸出之圖像，2個圖像的POC的差，係表示時間軸方向上的圖像間距離。
(第1實施形態) 說明本發明的第1實施形態所述之影像編碼裝置100及影像解碼裝置200。
圖1係為第1實施形態所述之影像編碼裝置100的區塊圖。實施形態的影像編碼裝置100，係具備：區塊分割部101、畫面間預測部102、畫面內預測部103、解碼影像記憶體104、預測方法決定部105、殘差生成部106、正交轉換-量化部107、位元列編碼部108、逆量化-逆正交轉換部109、解碼影像訊號重疊部110、及編碼資訊儲存記憶體111。
區塊分割部101，係將已被輸入之影像做遞迴性分割，而生成編碼區塊。區塊分割部101係含有：將身為分割對象之區塊在水平方向與垂直方向上分別進行分割的4分割部，和將身為分割對象之區塊在水平方向或垂直方向之任一者上進行分割的2-3分割部。區塊分割部101，係將已生成之編碼區塊當作處理對象編碼區塊，將該處理對象編碼區塊之影像訊號，供給至畫面間預測部102、畫面內預測部103及殘差生成部106。又，區塊分割部101，係將表示已決定之遞迴分割結構的資訊，供給至位元列編碼部108。區塊分割部101的詳細動作將於後述。
畫面間預測部102，係進行處理對象編碼區塊的畫面間預測。畫面間預測部102，係根據編碼資訊儲存記憶體111中所被儲存之畫面間預測資訊、和解碼影像記憶體104中所被儲存之已解碼之影像訊號，導出複數個畫面間預測資訊之候補，從已導出之複數個候補之中選擇出合適的畫面間預測模式，將已被選擇之畫面間預測模式、及已被選擇之畫面間預測模式所相應之預測影像訊號，供給至預測方法決定部105。畫面間預測部102的詳細構成與動作，將於後述。
畫面內預測部103，係進行處理對象編碼區塊的畫面內預測。畫面內預測部103，係將解碼影像記憶體104中所被儲存之已解碼之影像訊號當作參照像素而進行參照，基於編碼資訊儲存記憶體111中所被儲存之畫面內預測模式等之編碼資訊而藉由畫面內預測來生成預測影像訊號。在畫面內預測中，畫面內預測部103，係從複數個畫面內預測模式之中選擇出合適的畫面內預測模式，將已被選擇之畫面內預測模式、及已被選擇之畫面內預測模式所相應之預測影像訊號，供給至預測方法決定部105。 圖10A及圖10B中係圖示畫面內預測之例子。圖10A係圖示了，畫面內預測之預測方向與畫面內預測模式號碼之對應。例如，畫面內預測模式50，係藉由在垂直方向上將參照像素予以複製而生成畫面內預測影像。畫面內預測模式1，係為DC模式，是把處理對象區塊的所有像素值都設成參照像素之平均值的模式。畫面內預測模式0，係為Planar模式，是根據垂直方向、水平方向之參照像素來作成2維的畫面內預測影像的模式。圖10B係為，將畫面內預測模式40之情況的畫面內預測影像予以生成的例子。畫面內預測部103，係對處理對象區塊之各像素，將畫面內預測模式所示之方向的參照像素之值，予以複製。畫面內預測部103，係在畫面內預測模式之參照像素並非整數位置的情況下，則從週邊之整數位置之參照像素值藉由內插而決定參照像素值。
解碼影像記憶體104，係將解碼影像訊號重疊部110中所生成之解碼影像予以儲存。解碼影像記憶體104，係將所儲存的解碼影像，供給至畫面間預測部102、畫面內預測部103。
預測方法決定部105，係針對畫面內預測和畫面間預測之各者，使用編碼資訊及殘差之編碼量、預測影像訊號與處理對象影像訊號之間的失真量等來進行評價，藉此而決定最佳的預測模式。畫面內預測的情況下，預測方法決定部105，係將畫面內預測模式等之畫面內預測資訊，當作編碼資訊而供給至位元列編碼部108。畫面間預測之合併模式的情況下，預測方法決定部105，係將合併索引、表示是否為子區塊合併模式的資訊(子區塊合併旗標)等之畫面間預測資訊，當作編碼資訊而供給至位元列編碼部108。畫面間預測之預測運動向量模式的情況下，預測方法決定部105，係將畫面間預測模式、預測運動向量索引、L0、L1之參照索引、差分運動向量、表示是否為子區塊預測運動向量模式的資訊(子區塊預測運動向量旗標)等之畫面間預測資訊，當作編碼資訊而供給至位元列編碼部108。然後，預測方法決定部105，係將已決定之編碼資訊，供給至編碼資訊儲存記憶體111。預測方法決定部105，係將預測影像訊號，供給至殘差生成部106及解碼影像訊號重疊部110。
殘差生成部106，係藉由從處理對象之影像訊號減去預測影像訊號而生成殘差，並供給至正交轉換-量化部107。
正交轉換-量化部107，係對殘差隨著量化參數而進行正交轉換及量化，生成已被正交轉換、量化之殘差，將已生成之殘差，供給至位元列編碼部108和逆量化-逆正交轉換部109。
位元列編碼部108，係除了序列、圖像、切片、編碼區塊單位的資訊外，還將針對每一編碼區塊而已被預測方法決定部105所決定之預測方法所相應的編碼資訊，予以編碼。具體而言，位元列編碼部108，係將每一編碼區塊的預測模式PredMode，予以編碼。預測模式為畫面間預測(MODE_INTER)的情況下，位元列編碼部108，係將用來判別是否為合併模式的旗標、子區塊合併旗標、在合併模式之情況下則為合併索引，在非合併模式的情況下則為畫面間預測模式、預測運動向量索引、差分運動向量之相關資訊、子區塊預測運動向量旗標等之編碼資訊(畫面間預測資訊)，按照規定之語法(位元列的語法規則)而進行編碼，生成第1位元列。預測模式為畫面內預測(MODE_INTRA)的情況下，則將畫面內預測模式等之編碼資訊(畫面內預測資訊)按照規定之語法(位元列之語法規則)而進行編碼，生成第1位元列。又，位元列編碼部108，係將已被正交轉換及量化的殘差，按照規定之語法而進行熵編碼以生成第2位元列。位元列編碼部108，係將第1位元列與第2位元列按照規定之語法而進行多工化，並輸出位元串流。
逆量化・逆正交轉換部109，係將從正交轉換-量化部107所供給之已被正交轉換、量化的殘差進行逆量化及逆正交轉換而算出殘差，將已算出之殘差，供給至解碼影像訊號重疊部110。
解碼影像訊號重疊部110，係將相應於預測方法決定部105所決定之預測影像訊號和被逆量化・逆正交轉換部109進行逆量化及逆正交轉換後的殘差加以重疊而生成解碼影像，並儲存在解碼影像記憶體104中。此外，解碼影像訊號重疊部110，係也可對解碼影像實施用來減少編碼所致區塊失真等失真的濾波處理之後，儲存至解碼影像記憶體104。
編碼資訊儲存記憶體111，係將預測方法決定部105所決定的預測模式(畫面間預測或畫面內預測)等之編碼資訊，加以儲存。在畫面間預測的情況下，編碼資訊儲存記憶體111所儲存的編碼資訊中係含有：已決定之運動向量、參照清單L0、L1之參照索引、履歷預測運動向量候補清單等之畫面間預測資訊。又在畫面間預測之合併模式的情況下，編碼資訊儲存記憶體111所儲存的編碼資訊中，係除了上述的各資訊以外，還含有：合併索引、表示是否為子區塊合併模式的資訊(子區塊合併旗標)之畫面間預測資訊。又在畫面間預測之預測運動向量模式的情況下，編碼資訊儲存記憶體111所儲存的編碼資訊中，係除了上述的各資訊以外，還含有：畫面間預測模式、預測運動向量索引、差分運動向量、表示是否為子區塊預測運動向量模式的資訊(子區塊預測運動向量旗標)等之畫面間預測資訊。在畫面內預測的情況下，編碼資訊儲存記憶體111所儲存的編碼資訊中係含有，已決定之畫面內預測模式等之畫面內預測資訊。
圖2係為圖1的影像編碼裝置所對應之本發明的實施形態所述之影像解碼裝置之構成的區塊。實施形態的影像解碼裝置，係具備：位元列解碼部201、區塊分割部202、畫面間預測部203、畫面內預測部204、編碼資訊儲存記憶體205、逆量化-逆正交轉換部206、解碼影像訊號重疊部207、及解碼影像記憶體208。
圖2的影像解碼裝置的解碼處理，係對應於圖1的影像編碼裝置之內部所被設置之解碼處理，因此圖2的編碼資訊儲存記憶體205、逆量化-逆正交轉換部206、解碼影像訊號重疊部207、及解碼影像記憶體208之各構成，係具有與圖1的影像編碼裝置的編碼資訊儲存記憶體111、逆量化-逆正交轉換部109、解碼影像訊號重疊部110、及解碼影像記憶體104之各構成分別對應的機能。
被供給至位元列解碼部201的位元串流，係按照規定之語法之規則而被分離。位元列解碼部201，係將已被分離之第1位元列予以解碼，獲得序列、圖像、切片、編碼區塊單位之資訊、及編碼區塊單位之編碼資訊。具體而言，位元列解碼部201，係將以編碼區塊單位來判別是否為畫面間預測(MODE_INTER)還是畫面內預測(MODE_INTRA)的預測模式PredMode，予以解碼。在預測模式為畫面間預測(MODE_INTER)的情況下，位元列解碼部201，係將用來判別是否為合併模式的旗標、在合併模式之情況下則為合併索引、子區塊合併旗標、在預測運動向量模式之情況下則為畫面間預測模式、預測運動向量索引、差分運動向量、子區塊預測運動向量旗標等所相關之編碼資訊(畫面間預測資訊)，按照規定之語法而進行解碼，將編碼資訊(畫面間預測資訊)，透過畫面間預測部203、及區塊分割部202而儲存至編碼資訊儲存記憶體205。在預測模式為畫面內預測(MODE_INTRA)的情況下，將畫面內預測模式等之編碼資訊(畫面內預測資訊)按照規定之語法而進行解碼，將編碼資訊(畫面內預測資訊)，透過畫面間預測部203或畫面內預測部204、及區塊分割部202而供給至編碼資訊儲存記憶體205。位元列解碼部201，係將已分離之第2位元列進行解碼而算出已被正交轉換、量化之殘差，並將已被正交轉換、量化之殘差，供給至逆量化-逆正交轉換部206。
畫面間預測部203，係在處理對象之編碼區塊的預測模式PredMode是畫面間預測(MODE_INTER)且為預測運動向量模式時，使用編碼資訊儲存記憶體205中所被記憶之已經被解碼的影像訊號之編碼資訊，而導出複數個預測運動向量之候補，將已導出之複數個預測運動向量之候補，登錄至後述的預測運動向量候補清單。畫面間預測部203，係從預測運動向量候補清單中已被登錄之複數個預測運動向量之候補之中，選擇出被位元列解碼部201所解碼並供給的預測運動向量索引所相應之預測運動向量，根據已被位元列解碼部201所解碼的差分運動向量與已被選擇之預測運動向量而算出運動向量，將已算出之運動向量連同其他編碼資訊一起儲存至編碼資訊儲存記憶體205。此處所供給、儲存的編碼區塊的編碼資訊係為：預測模式PredMode、用來表示是否利用L0預測及L1預測的旗標predFlagL0[xP][yP], predFlagL1[xP][yP]、L0與L1的參照索引refIdxL0[xP][yP], refIdxL1[xP][yP]、L0與L1的運動向量mvL0[xP][yP], mvL1[xP][yP]等。此處，xP、yP係為，用來表示編碼區塊的左上像素在圖像內之位置的索引。預測模式PredMode是畫面間預測(MODE_INTER)、且畫面間預測模式是L0預測(Pred_L0)的情況下，表示是否利用L0預測的旗標predFlagL0係為1，表示是否利用L1預測的旗標predFlagL1係為0。在畫面間預測模式是L1預測(Pred_L1)的情況下，表示是否利用L0預測的旗標predFlagL0係為0，表示是否利用L1預測的旗標predFlagL1係為1。在畫面間預測模式是雙預測(Pred_BI)的情況下，表示是否利用L0預測的旗標predFlagL0、表示是否利用L1預測的旗標predFlagL1係皆為1。再者，當處理對象之編碼區塊的預測模式PredMode是畫面間預測(MODE_INTER)且為合併模式之時，還會導出合併候補。使用編碼資訊儲存記憶體205中所記憶之已解碼之編碼區塊的編碼資訊，導出複數合併之候補而登錄至後述的合併候補清單中，從合併候補清單中所登錄的複數合併候補之中，選擇出被位元列解碼部201所解碼而供給之合併索引所對應之合併候補，將已被選擇之合併候補的用來表示是否利用L0預測、及L1預測的旗標predFlagL0[xP][yP], predFlagL1[xP][yP]、L0與L1的參照索引refIdxL0[xP][yP], refIdxL1[xP][yP]、L0與L1的運動向量mvL0[xP][yP], mvL1[xP][yP]等之畫面間預測資訊，儲存至編碼資訊儲存記憶體205。此處，xP、yP係為，用來表示編碼區塊的左上像素在圖像內之位置的索引。畫面間預測部203的詳細構成與動作，將於後述。
畫面內預測部204，係當處理對象之編碼區塊的預測模式PredMode是畫面內預測(MODE_INTRA)時，進行畫面內預測。已被位元列解碼部201所解碼的編碼資訊中係含有畫面內預測模式。畫面內預測部204，係隨應於已被位元列解碼部201所解碼的編碼資訊中所含之畫面內預測模式，根據解碼影像記憶體208中所被儲存之已解碼之影像訊號藉由畫面內預測而生成預測影像訊號，將已生成之預測影像訊號，供給至解碼影像訊號重疊部207。畫面內預測部204，係對應於影像編碼裝置100的畫面內預測部103，因此進行與畫面內預測部103相同的處理。
逆量化-逆正交轉換部206，係對已被位元列解碼部201所解碼的已被正交轉換-量化之殘差，進行逆正交轉換及逆量化，獲得已被逆正交轉換-逆量化之殘差。
解碼影像訊號重疊部207，係藉由把已被畫面間預測部203進行過畫面間預測的預測影像訊號、或已被畫面內預測部204進行過畫面內預測的預測影像訊號，與已被逆量化-逆正交轉換部206進行過逆正交轉換-逆量化之殘差，進行重疊，以將解碼影像訊號予以解碼，將已解碼之解碼影像訊號，儲存至解碼影像記憶體208。在儲存至解碼影像記憶體208之際，解碼影像訊號重疊部207，係亦可對解碼影像實施用來減少編碼所致區塊失真等的濾波處理後，儲存至解碼影像記憶體208。
接著說明，影像編碼裝置100中的區塊分割部101之動作。圖3係為將影像分割成樹區塊，再將各樹區塊進行分割之動作的流程圖。首先，將已被輸入之影像，分割成所定尺寸之樹區塊(步驟S1001)。針對各樹區塊，係以所定之順序，亦即逐線掃描順序進行掃描(步驟S1002)，將處理對象之樹區塊的內部進行分割(步驟S1003)。
圖7係步驟S1003的分割處理的詳細動作的流程圖。首先判斷是否將處理對象之區塊進行4分割(步驟S1101)。
在判斷為要將處理對象區塊進行4分割的情況下，則將處理對象區塊進行4分割(步驟S1102)。針對處理對象區塊所分割出來的各區塊，以Z掃描順序，亦即左上、右上、左下、右下之順序進行掃描(步驟S1103)。圖5係為Z掃描順序之例子，圖6A的601係為將處理對象區塊進行4分割的例子。圖6A的601的號碼0～3係表示處理之順序。然後針對步驟S1101中所分割之各區塊，遞迴地執行圖7的分割處理(步驟S1104)。
在判斷為不要將處理對象區塊進行4分割的情況下，則進行2-3分割(步驟S1105)。
圖8係步驟S1105的2-3分割處理的詳細動作的流程圖。首先，判斷是否將處理對象之區塊進行2-3分割，亦即是否進行2分割或3分割之哪一者(步驟S1201)。
在非判斷為要將處理對象區塊進行2-3分割的情況下，亦即判斷為不分割的情況下，則結束分割(步驟S1211)。亦即，對藉由遞迴性分割處理而已被分割之區塊，不再進行遞迴性分割處理。
在判斷為要將處理對象之區塊進行2-3分割的情況下，則判斷是否再將處理對象區塊進行2分割(步驟S1202)。
在判斷為要將處理對象區塊進行2分割的情況下，則判斷是否將處理對象區塊做上下(垂直方向)分割(步驟S1203)，根據其結果，而將處理對象區塊做上下(垂直方向)2分割(步驟S1204)，或將處理對象區塊做左右(水平方向)2分割(步驟S1205)。步驟S1204的結果，處理對象區塊係如圖6B的602所示，被分割成上下(垂直方向)2分割，步驟S1205的結果，處理對象區塊係如圖6D的604所示，被分割成左右(水平方向)2分割。
於步驟S1202中，在判斷不為要將處理對象之區塊進行2分割的情況下，亦即判斷為要做3分割的情況下，則判斷是否將處理對象區塊做上中下(垂直方向)分割(步驟S1206)，根據其結果，而將處理對象區塊做上中下(垂直方向)3分割(步驟S1207)，或將處理對象區塊做左中右(水平方向)3分割(步驟S1208)。步驟S1207的結果，處理對象區塊係如圖6C的603所示，被分割成上中下(垂直方向)3分割，步驟S1208的結果，處理對象區塊係如圖6E的605所示，被分割成左中右(水平方向)3分割。
步驟S1204、步驟S1205、步驟S1207、步驟S1208之任一者的執行後，針對處理對象區塊所分割而成的各區塊，以從左至右、從上至下之順序，進行掃描(步驟S1209)。圖6B～E的602至605的號碼0～2係表示處理的順序。針對已分割之各區塊，遞迴地執行圖8的2-3分割處理(步驟S1210)。
這裡所說明的遞迴性區塊分割，係亦可根據分割的次數、或處理對象之區塊的尺寸等，而限制分割與否。限制分割與否的資訊，係藉由在編碼裝置與解碼裝置之間預先取決而為之，就可以不必進行資訊之傳達的構成來加以實現，亦可由編碼裝置來決定限制分割與否的資訊，並記錄至位元列中，藉此而傳達至解碼裝置的構成來加以實現。
在將某個區塊做分割時，分割前的區塊稱為母區塊，分割後的各區塊稱為子區塊。
接著說明，影像解碼裝置200中的區塊分割部202之動作。區塊分割部202，係以和影像編碼裝置100的區塊分割部101相同的處理程序，來將樹區塊進行分割。但是，相對於在影像編碼裝置100的區塊分割部101中，是適用影像辨識所致之最佳形狀之推定或失真率最佳化等最佳化手法，來決定最佳的區塊分割之形狀，但影像解碼裝置200中的區塊分割部202，係藉由將已被記錄在位元列中區塊分割資訊予以解碼，而決定區塊分割形狀，這點有所不同。
第1實施形態的區塊分割之相關語法(位元列之語法規則)，示於圖9。coding_quadtree()係表示區塊的4分割處理所涉及之語法。multi_type_tree()係表示區塊的2分割或3分割處理所涉及之語法。qt_split係為表示是否將區塊進行4分割的旗標。若要將區塊進行4分割，則令qt_split=1，若不進行4分割，則令qt_split=0。4分割的情況下(qt_split=1)，針對已4分割的各區塊，遞迴地進行4分割處理(coding_quadtree(0)、coding_quadtree(1)、coding_quadtree(2)、coding_quadtree(3)，引數的0～3係對應於圖6A的601之號碼)。在不做4分割(qt_split=0)的情況下，則依照multi_type_tree()，決定後續的分割。mtt_split係為表示是否再進行分割的旗標。若要再進行分割(mtt_split=1)，則將表示是垂直方向分割還是水平方向分割的旗標mtt_split_vertical，和用來決定是2分割還是3分割的旗標mtt_split_binary，予以傳輸。mtt_split_vertical=1係表示垂直方向分割，mtt_split_vertical=0係表示水平方向分割。mtt_split_binary=1係表示2分割，mtt_split_binary=0係表示3分割。2分割的情況下(mtt_split_binary=1)，針對已2分割的各區塊，遞迴地進行分割處理(multi_type_tree(0)、multi_type_tree(1)，引數的0～1係對應於圖6B～D的602或604之號碼)。3分割的情況下(mtt_split_binary=0)，針對已3分割的各區塊，遞迴地進行分割處理(multi_type_tree(0)、multi_type_tree(1)、multi_type_tree(2)，0～2係對應於圖6B的603或圖6E的605之號碼)。直到變成mtt_split=0以前，會一直遞迴地呼叫multi_type_tree，藉此而進行階層式的區塊分割。
＜畫面間預測＞ 實施形態所述之畫面間預測方法，係於圖1的影像編碼裝置的畫面間預測部102及圖2的影像解碼裝置的畫面間預測部203中被實施。
針對實施形態所述的畫面間預測方法，使用圖式來加以說明。畫面間預測方法係在以編碼區塊單位而做編碼及解碼之處理的任一者中皆可被實施。
＜編碼側的畫面間預測部102之說明＞ 圖16係為圖1的影像編碼裝置的畫面間預測部102之詳細構成的圖示。通常預測運動向量模式導出部301，係將複數個通常預測運動向量候補予以導出然後選擇預測運動向量，將已選擇之預測運動向量、與已被偵測之運動向量的差分運動向量予以算出。已被偵測之畫面間預測模式、參照索引、運動向量、已被算出之差分運動向量係成為通常預測運動向量模式之畫面間預測資訊。該畫面間預測資訊係被供給至畫面間預測模式判定部305。通常預測運動向量模式導出部301的詳細構成與處理將於後述。
在通常合併模式導出部302中係將複數個通常合併候補予以導出然後選擇通常合併候補，獲得通常合併模式之畫面間預測資訊。該畫面間預測資訊係被供給至畫面間預測模式判定部305。通常合併模式導出部302的詳細構成與處理將於後述。
在子區塊預測運動向量模式導出部303中係將複數個子區塊預測運動向量候補予以導出然後選擇子區塊預測運動向量，將已選擇之子區塊預測運動向量、與已偵測之運動向量的差分運動向量予以算出。已被偵測之畫面間預測模式、參照索引、運動向量、已被算出之差分運動向量係成為子區塊預測運動向量模式之畫面間預測資訊。該畫面間預測資訊係被供給至畫面間預測模式判定部305。
在子區塊合併模式導出部304中係將複數個子區塊合併候補予以導出然後選擇子區塊合併候補，獲得子區塊合併模式之畫面間預測資訊。該畫面間預測資訊係被供給至畫面間預測模式判定部305。
在畫面間預測模式判定部305中係基於從通常預測運動向量模式導出部301、通常合併模式導出部302、子區塊預測運動向量模式導出部303、子區塊合併模式導出部304所被供給之畫面間預測資訊，來判定畫面間預測資訊。從畫面間預測模式判定部305係有相應於判定結果的畫面間預測資訊，被供給至運動補償預測部306。
在運動補償預測部306中係基於已被判定之畫面間預測資訊，來對解碼影像記憶體104中所被儲存之參照影像訊號進行畫面間預測。運動補償預測部306的詳細構成與處理將於後述。
＜解碼側的畫面間預測部203之說明＞ 圖22係為圖2的影像解碼裝置的畫面間預測部203之詳細構成的圖示。
通常預測運動向量模式導出部401，係將複數個通常預測運動向量候補予以導出然後選擇預測運動向量，將已選擇之預測運動向量、與已解碼之差分運動向量的加算值予以算出而作為運動向量。已被解碼之畫面間預測模式、參照索引、運動向量係成為通常預測運動向量模式之畫面間預測資訊。該畫面間預測資訊係經由開關408而被供給至運動補償預測部406。通常預測運動向量模式導出部401的詳細構成與處理將於後述。
在通常合併模式導出部402中係將複數個通常合併候補予以導出然後選擇通常合併候補，獲得通常合併模式之畫面間預測資訊。該畫面間預測資訊係經由開關408而被供給至運動補償預測部406。通常合併模式導出部402的詳細構成與處理將於後述。
在子區塊預測運動向量模式導出部403中係將複數個子區塊預測運動向量候補予以導出然後選擇子區塊預測運動向量，將已選擇之子區塊預測運動向量、與已解碼之差分運動向量的加算值予以算出而作為運動向量。已被解碼之畫面間預測模式、參照索引、運動向量係成為子區塊預測運動向量模式之畫面間預測資訊。該畫面間預測資訊係經由開關408而被供給至運動補償預測部406。
在子區塊合併模式導出部404中係將複數個子區塊合併候補予以導出然後選擇子區塊合併候補，獲得子區塊合併模式之畫面間預測資訊。該畫面間預測資訊係經由開關408而被供給至運動補償預測部406。
在運動補償預測部406中係基於已被判定之畫面間預測資訊，來對解碼影像記憶體208中所被儲存之參照影像訊號進行畫面間預測。關於運動補償預測部406的詳細構成與處理係和編碼側的運動補償預測部306相同。
＜通常預測運動向量模式導出部(通常AMVP)＞ 圖17的通常預測運動向量模式導出部301係含有：空間預測運動向量候補導出部321、時間預測運動向量候補導出部322、履歷預測運動向量候補導出部323、預測運動向量候補補充部325、通常運動向量偵測部326、預測運動向量候補選擇部327、運動向量減算部328。
圖23的通常預測運動向量模式導出部401係含有：空間預測運動向量候補導出部421、時間預測運動向量候補導出部422、履歷預測運動向量候補導出部423、預測運動向量候補補充部425、預測運動向量候補選擇部426、運動向量加算部427。
關於編碼側的通常預測運動向量模式導出部301及解碼側的通常預測運動向量模式導出部401的處理程序，分別使用圖19、圖25的流程圖來說明。圖19係為編碼側的通常運動向量模式導出部301所進行之通常預測運動向量模式導出處理程序的流程圖，圖25係為解碼側的通常運動向量模式導出部401所進行之通常預測運動向量模式導出處理程序的流程圖。
＜通常預測運動向量模式導出部(通常AMVP)：編碼側的說明＞ 參照圖19來說明編碼側的通常預測運動向量模式導出處理程序。於圖19的處理程序的說明中，圖19所示的通常此一用語有時候會省略。
首先，在通常運動向量偵測部326中按照每一畫面間預測模式及參照索引而偵測通常運動向量(圖19的步驟S100)。
接下來，在空間預測運動向量候補導出部321、時間預測運動向量候補導出部322、履歷預測運動向量候補導出部323、預測運動向量候補補充部325、預測運動向量候補選擇部327、運動向量減算部328中，將通常預測運動向量模式之畫面間預測時所使用的運動向量之差分運動向量，按照各L0、L1而分別予以算出(圖19的步驟S101～S106)。具體而言，處理對象區塊的預測模式PredMode是畫面間預測(MODE_INTER)，且畫面間預測模式是L0預測(Pred_L0)的情況下，則算出L0的預測運動向量候補清單mvpListL0，選擇預測運動向量mvpL0，算出L0之運動向量mvL0的差分運動向量mvdL0。處理對象區塊的畫面間預測模式是L1預測(Pred_L1)的情況下，則算出L1的預測運動向量候補清單mvpListL1，選擇預測運動向量mvpL1，算出L1之運動向量mvL1的差分運動向量mvdL1。處理對象區塊的畫面間預測模式是雙預測(Pred_BI)的情況下，則L0預測與L1預測皆會被進行，算出L0的預測運動向量候補清單mvpListL0，選擇L0的預測運動向量mvpL0，算出L0之運動向量mvL0的差分運動向量mvdL0，並且算出L1的預測運動向量候補清單mvpListL1，算出L1的預測運動向量mvpL1，將L1之運動向量mvL1的差分運動向量mvdL1分別予以算出。
雖然針對L0、L1分別都會進行差分運動向量算出處理，但L0、L1皆為共通之處理。因此，在以下的說明中，將L0、L1表示成共通的LX。在算出L0之差分運動向量的處理中LX的X係為0，在算出L1之差分運動向量的處理中LX的X係為1。又，在算出LX之差分運動向量的處理中，若非LX、而是參照另一方之清單的資訊的情況下，則將另一方之清單以LY來表示。
在使用LX之運動向量mvLX的情況下(圖19的步驟S102：YES)，則算出LX之預測運動向量之候補而建構LX之預測運動向量候補清單mvpListLX(圖19的步驟S103)。在通常預測運動向量模式導出部301之中的空間預測運動向量候補導出部321、時間預測運動向量候補導出部322、履歷預測運動向量候補導出部323、預測運動向量候補補充部325中，導出複數個預測運動向量之候補而建構預測運動向量候補清單mvpListLX。關於圖19的步驟S103的詳細處理程序係使用圖20的流程圖而於後述。
接下來，藉由預測運動向量候補選擇部327，從LX之預測運動向量候補清單mvpListLX中選擇出LX之預測運動向量mvpLX(圖19的步驟S104)。此處，在預測運動向量候補清單mvpListLX之中，將某1個要素(從0起算第i個要素)表示成mvpListLX[i]。將運動向量mvLX與預測運動向量候補清單mvpListLX之中所儲存之各預測運動向量之候補mvpListLX[i]的差分亦即各個差分運動向量予以算出。將這些差分運動向量進行編碼時的編碼量，針對預測運動向量候補清單mvpListLX的每一要素(預測運動向量候補)而予以算出。然後，在預測運動向量候補清單mvpListLX中所被登錄的各要素之中，將預測運動向量之每一候補的編碼量呈現最小的預測運動向量之候補mvpListLX[i]當作預測運動向量mvpLX而加以選擇，並取得其索引i。預測運動向量候補清單mvpListLX之中，最小發生編碼量的預測運動向量之候補是有複數存在時，則將預測運動向量候補清單mvpListLX之中的索引i是以最小號碼表示之預測運動向量之候補mvpListLX[i]當作最佳的預測運動向量mvpLX而加以選擇，並取得其索引i。
接著，在運動向量減算部328中，從LX之運動向量mvLX減去已被選擇之LX之預測運動向量mvpLX，
Figure 02_image001
而算出LX之差分運動向量mvdLX(圖19的步驟S105)。
＜通常預測運動向量模式導出部(通常AMVP)：解碼側的說明＞ 接著，參照圖25來說明解碼側的通常預測運動向量模式處理程序。在解碼側，係在空間預測運動向量候補導出部421、時間預測運動向量候補導出部422、履歷預測運動向量候補導出部423、預測運動向量候補補充部425中，通常預測運動向量模式之畫面間預測時所使用的運動向量，按照各L0、L1而分別予以算出(圖25的步驟S201～S206)。具體而言，處理對象區塊的預測模式PredMode是畫面間預測(MODE_INTER)，且處理對象區塊的畫面間預測模式是L0預測(Pred_L0)的情況下，則算出L0的預測運動向量候補清單mvpListL0，選擇預測運動向量mvpL0，算出L0之運動向量mvL0。處理對象區塊的畫面間預測模式是L1預測(Pred_L1)的情況下，則算出L1的預測運動向量候補清單mvpListL1，選擇預測運動向量mvpL1，算出L1之運動向量mvL1。處理對象區塊的畫面間預測模式是雙預測(Pred_BI)的情況下，則L0預測與L1預測皆會被進行，算出L0的預測運動向量候補清單mvpListL0，選擇L0的預測運動向量mvpL0，算出L0之運動向量mvL0，並且算出L1的預測運動向量候補清單mvpListL1，算出L1的預測運動向量mvpL1，將L1之運動向量mvL1分別予以算出。
和編碼側同樣地，在解碼側也是針對L0、L1分別都會進行運動向量算出處理，但L0、L1皆為共通之處理。因此，在以下的說明中，將L0、L1表示成共通的LX。LX係表示處理對象之編碼區塊之畫面間預測時所使用的畫面間預測模式。在算出L0之運動向量的處理中X係為0，在算出L1之運動向量的處理中X係為1。又，在算出LX之運動向量的處理中，並非參照與算出對象之LX相同的參照清單，而是參照另一方之參照清單的資訊時，則將另一方之參照清單以LY來表示。
在使用LX之運動向量mvLX的情況下(圖25的步驟S202：YES)，則算出LX之預測運動向量之候補而建構LX之預測運動向量候補清單mvpListLX(圖25的步驟S203)。在通常預測運動向量模式導出部401之中的空間預測運動向量候補導出部421、時間預測運動向量候補導出部422、履歷預測運動向量候補導出部423、預測運動向量候補補充部425中，算出複數個預測運動向量之候補而建構預測運動向量候補清單mvpListLX。關於圖25的步驟S203的詳細處理程序係使用圖20的流程圖而於後述。
接下來，在預測運動向量候補選擇部426中，從預測運動向量候補清單mvpListLX將已被位元列解碼部201所解碼而供給的預測運動向量之索引mvpIdxLX所對應之預測運動向量之候補mvpListLX[mvpIdxLX]，當作已被選擇之預測運動向量mvpLX而加以取出(圖25的步驟S204)。
接著，在運動向量加算部427中，將已被位元列解碼部201所解碼而供給的LX之差分運動向量mvdLX與LX之預測運動向量mvpLX進行加算，
Figure 02_image003
而算出LX之運動向量mvLX(圖25的步驟S205)。
＜通常預測運動向量模式導出部(通常AMVP)：運動向量之預測方法＞ 圖20係為本發明的實施形態所述之影像編碼裝置的通常預測運動向量模式導出部301及影像解碼裝置的通常預測運動向量模式導出部401間具有共通機能的通常預測運動向量模式導出處理的處理程序的流程圖。
在通常預測運動向量模式導出部301及通常預測運動向量模式導出部401中，係具備有預測運動向量候補清單mvpListLX。預測運動向量候補清單mvpListLX係形成清單結構，被設有以表示預測運動向量候補清單內部之所在的預測運動向量索引，與對應於索引的預測運動向量候補作為要素而加以儲存的記憶領域。預測運動向量索引之數字係從0開始，預測運動向量候補清單mvpListLX的記憶領域中，預測運動向量候補係被儲存。於本實施形態中係假設，預測運動向量候補清單mvpListLX至少可登錄2個預測運動向量候補(畫面間預測資訊)。然後，將預測運動向量候補清單mvpListLX中所被登錄之預測運動向量候補數予以表示的變數numCurrMvpCand，設定為0。
空間預測運動向量候補導出部321及421係將來自左側相鄰之區塊的預測運動向量之候補予以導出。在此處理中，係參照左側相鄰區塊(圖11的A0或A1)之畫面間預測資訊，亦即表示預測運動向量候補是否可利用的旗標、及運動向量、參照索引等，而導出預測運動向量mvLXA，將已導出之mvLXA追加至預測運動向量候補清單mvpListLX(圖20的步驟S301)。此外，L0預測時X係為0，L1預測時X係為1(以下皆同)。接下來，空間預測運動向量候補導出部321及421係將來自上側相鄰之區塊的預測運動向量之候補予以導出。在此處理中，係參照上側相鄰區塊(圖11的B0、B1、或B2)之畫面間預測資訊，亦即表示預測運動向量候補是否可利用的旗標、及運動向量、參照索引等，而導出預測運動向量mvLXB，若各已導出之mvLXA與mvLXB係不相等，則將mvLXB追加至預測運動向量候補清單mvpListLX(圖20的步驟S302)。圖20的步驟S301與S302之處理係除了所參照的相鄰區塊之位置與數量為不同的這點以外，其餘皆為共通，將表示編碼區塊之預測運動向量候補是否能利用的旗標availableFlagLXN、及運動向量mvLXN、參照索引refIdxN(N係表示A或B，以下皆同)，予以導出。
接下來，時間預測運動向量候補導出部322及422，係將來自與目前的處理對象圖像不同時間之圖像中之區塊的預測運動向量之候補，予以導出。在此處理中，係將表示不同時間之圖像之編碼區塊之預測運動向量候補是否能利用的旗標availableFlagLXCol、及運動向量mvLXCol、參照索引refIdxCol、參照清單listCol予以導出，將mvLXCol追加至預測運動向量候補清單mvpListLX (圖20的步驟S303)。
此外，序列(SPS)、圖像(PPS)、或切片之單位下的時間預測運動向量候補導出部322及422之處理，係可省略。
接下來，履歷預測運動向量候補導出部323及423係將履歷預測運動向量候補清單HmvpCandList中所被登錄的履歷預測運動向量候補，追加至預測運動向量候補清單mvpListLX。(圖20的步驟S304)。關於該步驟S304的登錄處理程序之細節，係使用圖29的流程圖而於後述。
接下來，預測運動向量候補補充部325及425係直到裝滿預測運動向量候補清單mvpListLX以前，會一直追加(0, 0)等之所定之值的預測運動向量候補(圖20的S305)。
＜通常合併模式導出部(通常合併)＞ 圖18的通常合併模式導出部302係含有：空間合併候補導出部341、時間合併候補導出部342、平均合併候補導出部344、履歷合併候補導出部345、合併候補補充部346、合併候補選擇部347。
圖24的通常合併模式導出部402係含有：空間合併候補導出部441、時間合併候補導出部442、平均合併候補導出部444、履歷合併候補導出部445、合併候補補充部446、合併候補選擇部447。
圖21係為本發明的實施形態所述之影像編碼裝置的通常合併模式導出部302及影像解碼裝置的通常合併模式導出部402間具有共通機能的通常合併模式導出處理之程序的說明用流程圖。
以下，按照順序來說明各過程。此外，以下的說明中，若無特別聲明，則都是針對切片類型slice_type為B切片的情形加以說明，但亦可適用於P切片的情形。只不過，若切片類型slice_type是P切片，則作為畫面間預測模式是只有L0預測(Pred_L0)，沒有L1預測(Pred_L1)、雙預測(Pred_BI)，因此可以省略關於L1之處理。
在通常合併模式導出部302及通常合併模式導出部402中，係具備有合併候補清單mergeCandList。合併候補清單mergeCandList係形成清單結構，設置有將表示合併候補清單內部之所在的合併索引、和對應於索引的合併候補當作要素而加以儲存的記憶領域。合併索引的數字是從0開始，合併候補清單mergeCandList的記憶領域中係儲存有合併候補。在以下的處理中，合併候補清單mergeCandList中所被登錄之合併索引i的合併候補，係以mergeCandList[i]來表示。於本實施形態中係假設，合併候補清單mergeCandList至少可登錄6個合併候補(畫面間預測資訊)。然後，將合併候補清單mergeCandList中所被登錄之合併候補數予以表示的變數numCurrMergeCand，設定為0。
在空間合併候補導出部341及空間合併候補導出部441中，係從影像編碼裝置的編碼資訊儲存記憶體111或影像解碼裝置的編碼資訊儲存記憶體205中所被儲存的編碼資訊，導出來自處理對象區塊之左側與上側所相鄰之區塊的空間合併候補A、B，將已被導出之空間合併候補，登錄至合併候補清單mergeCandList(圖21的步驟S401)。此處，定義用來表示空間合併候補A、B或時間合併候補Col之任一者的N。將用來表示區塊N之畫面間預測資訊是否可作為空間合併候補而利用的旗標availableFlagN、空間合併候補N的L0之參照索引refIdxL0N及L1之參照索引refIdxL1N、表示L0預測是否有被進行的的L0預測旗標predFlagL0N及表示L1預測是否有被進行的L1預測旗標predFlagL1N、L0之運動向量mvL0N、L1之運動向量mvL1N，予以導出。但是，於本實施形態中係不參照身為處理對象之編碼區塊中所含之區塊的畫面間預測資訊，就導出合併候補，因此使用處理對象之編碼區塊中所含之區塊之畫面間預測資訊的空間合併候補，係不導出。
接下來，在時間合併候補導出部342及時間合併候補導出部442中，係導出來自不同時間之圖像的時間合併候補，將已被導出之時間合併候補，登錄至合併候補清單mergeCandList(圖21的步驟S402)。將用來表示時間合併候補是否為可利用的旗標availableFlagCol、用來表示時間合併候補之L0預測是否有被進行的L0預測旗標predFlagL0Col及用來表示L1預測是否有被進行的L1預測旗標predFlagL1Col、及L0之運動向量mvL0Col、L1之運動向量mvL1Col，予以導出。
此外，序列(SPS)、圖像(PPS)、或切片之單位下的時間合併候補導出部342及時間合併候補導出部442之處理，係可省略。
接下來，在履歷合併候補導出部345及履歷合併候補導出部445中，將履歷預測運動向量候補清單HmvpCandList中所被登錄的履歷預測運動向量候補，登錄至合併候補清單mergeCandList(圖21的步驟S403)。 此外，合併候補清單mergeCandList內所被登錄的合併候補數numCurrMergeCand，是小於最大合併候補數MaxNumMergeCand的情況下，合併候補清單mergeCandList內所被登錄的合併候補數numCurrMergeCand是以最大合併候補數MaxNumMergeCand為上限而導出履歷合併候補，並被登錄至合併候補清單mergeCandList。
接下來，在平均合併候補導出部344及平均合併候補導出部444中，從合併候補清單mergeCandList導出平均合併候補，將已被導出之平均合併候補，追加至合併候補清單mergeCandList(圖21的步驟S404)。 此外，合併候補清單mergeCandList內所被登錄的合併候補數numCurrMergeCand，是小於最大合併候補數MaxNumMergeCand的情況下，合併候補清單mergeCandList內所被登錄的合併候補數numCurrMergeCand是以最大合併候補數MaxNumMergeCand為上限而導出平均合併候補，並被登錄至合併候補清單mergeCandList。 此處，平均合併候補係為，具有將合併候補清單mergeCandList中所被登錄的第1合併候補與第2合併候補所具有的運動向量按照L0預測及L1預測分別進行平均而得之運動向量的新的合併候補。
接下來，在合併候補補充部346及合併候補補充部446中，合併候補清單mergeCandList內所被登錄的合併候補數numCurrMergeCand，是小於最大合併候補數MaxNumMergeCand的情況下，合併候補清單mergeCandList內所被登錄的合併候補數numCurrMergeCand是以最大合併候補數MaxNumMergeCand為上限而導出追加合併候補，並登錄至合併候補清單mergeCandList(圖21的步驟S405)。以最大合併候補數MaxNumMergeCand為上限，在P切片時，係會追加運動向量是具有(0, 0)之值且預測模式為L0預測(Pred_L0)的合併候補。在B切片時，係會追加運動向量是具有(0, 0)之值且預測模式為雙預測(Pred_BI)的合併候補。合併候補追加之際的參照索引，係與已經追加的參照索引不同。
接下來，在合併候補選擇部347及合併候補選擇部447中，從合併候補清單mergeCandList內所被登錄的合併候補，選擇出合併候補。在編碼側的合併候補選擇部347中，藉由算出編碼量與應變量而選擇合併候補，將表示已被選擇之合併候補的合併索引、合併候補之畫面間預測資訊，透過畫面間預測模式判定部305而供給至運動補償預測部306。另一方面，在解碼側的合併候補選擇部447中，基於已被解碼之合併索引，來選擇合併候補，將已被選擇之合併候補供給至運動補償預測部406。
在通常合併模式導出部302及通常合併模式導出部402中，若某個編碼區塊之尺寸(寬度與高度的積)是未滿32的情況下，則於該編碼區塊的母區塊中，導出合併候補。然後，在全部的子區塊中，都是使用於母區塊中所被導出之合併候補。但是，只限於母區塊的尺寸為32以上，且在畫面內的情況。
＜履歷預測運動向量候補清單之更新＞ 接著，針對編碼側的編碼資訊儲存記憶體111及解碼側的編碼資訊儲存記憶體205中所具備的履歷預測運動向量候補清單HmvpCandList的初期化方法及更新方法，詳細說明。圖26係為履歷預測運動向量候補清單初期化、更新處理程序的說明用流程圖。
在本實施形態中是設計成，履歷預測運動向量候補清單HmvpCandList的更新，係在編碼資訊儲存記憶體111及編碼資訊儲存記憶體205中被實施。亦可在畫面間預測部102及畫面間預測部203之中設置履歷預測運動向量候補清單更新部而令其實施履歷預測運動向量候補清單HmvpCandList的更新。
在切片的開頭處會進行履歷預測運動向量候補清單HmvpCandList的初期設定，在編碼側係在預測方法決定部105中在通常預測運動向量模式或通常合併模式已被選擇的情況下則將履歷預測運動向量候補清單HmvpCandList予以更新，在解碼側係在已被位元列解碼部201所解碼的預測資訊是通常預測運動向量模式或通常合併模式的情況下則將履歷預測運動向量候補清單HmvpCandList予以更新。
通常預測運動向量模式或通常合併模式下進行畫面間預測之際所使用的畫面間預測資訊，係作為畫面間預測資訊候補hMvpCand而登錄至履歷預測運動向量候補清單HmvpCandList。畫面間預測資訊候補hMvpCand中係含有：L0之參照索引refIdxL0及L1之參照索引refIdxL1、表示L0預測是否有被進行的L0預測旗標predFlagL0及表示L1預測是否有被進行的L1預測旗標predFlagL1、L0之運動向量mvL0、L1之運動向量mvL1。
在編碼側的編碼資訊儲存記憶體111及解碼側的編碼資訊儲存記憶體205中所具備的履歷預測運動向量候補清單HmvpCandList中所被登錄的要素(亦即畫面間預測資訊)之中，存在有與畫面間預測資訊候補hMvpCand同值的畫面間預測資訊的情況下，則從履歷預測運動向量候補清單HmvpCandList中刪除該要素。另一方面，與畫面間預測資訊候補hMvpCand同值的畫面間預測資訊是不存在的情況下，則將履歷預測運動向量候補清單HmvpCandList的開頭之要素予以刪除，在履歷預測運動向量候補清單HmvpCandList的最後，追加畫面間預測資訊候補hMvpCand。
本發明的編碼側的編碼資訊儲存記憶體111及解碼側的編碼資訊儲存記憶體205中所具備的履歷預測運動向量候補清單HmvpCandList的要素之數量係設為6。
首先，進行切片單位下的履歷預測運動向量候補清單HmvpCandList的初期化(圖26的步驟S2101)。在切片的開頭處，對履歷預測運動向量候補清單HmvpCandList的所有要素追加履歷預測運動向量候補，將履歷預測運動向量候補清單HmvpCandList中所被登錄的履歷預測運動向量候補之數量NumHmvpCand之值設定成6。或者亦可為，在切片的開頭處將履歷預測運動向量候補清單HmvpCandList的所有要素清空，履歷預測運動向量候補清單HmvpCandList中所被登錄的履歷預測運動向量候補之數量(目前的候補數)NumHmvpCand之值係設定成0。
此外，雖然履歷預測運動向量候補清單HmvpCandList之初期化是以切片單位(切片的最初之編碼區塊)來實施，但亦可以圖像單位、瓷磚單位或樹區塊行單位來實施。
圖38係為藉由履歷預測運動向量候補清單HmvpCandList之初期化而被追加的履歷預測運動向量候補之一例的圖示。圖示切片類型係為B切片，且參照圖像之張數係為4之情況的例子。履歷預測運動向量索引hMvpIdx從(履歷預測運動向量候補之數量NumHmvpCand-1)到0為止，隨應於切片類型而把運動向量mvLXHmvp(X係為0或1)之值為(0, 0)的畫面間預測資訊，當作履歷預測運動向量候補，而追加至履歷預測運動向量候補清單HmvpCandList，將履歷預測運動向量候補清單使用履歷候補而予以填充。此時，履歷預測運動向量索引hMvpIdx是從(履歷預測運動向量候補之數量NumHmvpCand-1)起開始，對參照索引refIdxLX(X係為0或1)是設定從0到(參照圖像之數量numRefIdx-1)為止每次增值1的值。其後，許可履歷預測運動向量候補彼此的重複，對參照索引refIdxLX係設定0之值。對履歷預測運動向量候補之數量NumHmvpCand設定全部的值，把履歷預測運動向量候補之數量NumHmvpCand之值設成固定值，藉此以消除無效的履歷預測運動向量候補。如此，從被追加至預測運動向量候補清單或合併候補清單中的機率較高的履歷預測運動向量索引hMvpIdx為較大之值的候補起，分配一般而言選擇率較高的參照索引refIdxLX為較小的值，藉此可提升編碼效率。
又，以切片單位將履歷預測運動向量候補清單使用履歷預測運動向量候補進行填充，藉此，可將履歷預測運動向量候補之數量視為固定值，因此可使例如履歷預測運動向量候補導出處理或履歷合併候補導出處理簡易化。
此處，雖然是將運動向量之值設成一般而言選擇機率較高的(0, 0)，但只要是所定之值則無論其他值皆可。例如，亦可設成(4,4)、(0,32)、(-128,0)等之值來改善差分運動向量的編碼效率，亦可將所定值做複數設定來改善差分運動向量的編碼效率。
又，雖然設計成，履歷預測運動向量索引hMvpIdx是從(履歷預測運動向量候補之數量NumHmvpCand-1)起開始，對參照索引refIdxLX(X係為0或1)是設定從0到(參照圖像之數量numRefIdx-1)為止每次增值1的值，但履歷預測運動向量索引hMvpIdx亦可從0開始。
圖39係為藉由履歷預測運動向量候補清單HmvpCandList之初期化而被追加的履歷預測運動向量候補之另一例的圖示。圖示切片類型係為B切片，且參照圖像之張數係為2之情況的例子。在此例中係以使得履歷預測運動向量候補清單HmvpCandList之各要素中履歷預測運動向量候補彼此不會重複的方式，將參照索引refIdxLX(X係為0或1)或運動向量mvLXHmvp(X係為0或1)之值之任一者為不同的畫面間預測資訊，當作履歷預測運動向量候補而追加，而將履歷預測運動向量候補清單予以填充。此時，履歷預測運動向量索引hMvpIdx是從(履歷預測運動向量候補之數量NumHmvpCand-1)起開始，對參照索引refIdxLX (X係為0或1)是設定從0到(參照圖像之數量numRefIdx-1)為止每次增值1的值。其後，對參照索引refIdxLX則是將0且為不同值之運動向量mvLXHmvp，當作履歷預測運動向量候補而追加。對履歷預測運動向量候補之數量NumHmvpCand設定全部的值，把履歷預測運動向量候補之數量NumHmvpCand之值設成固定值，藉此以消除無效的履歷預測運動向量候補。
如此，以切片單位將履歷預測運動向量候補清單使用不重複的履歷預測運動向量候補來進行填充，藉此，甚至還可省略以編碼區塊單位所實施的後述之通常合併模式導出部302中的較履歷合併候補導出部345還後面的合併候補補充部346之處理，而可更為削減處理量。
此處，雖然是將運動向量mvLXHmvp之各成分的絕對值設成0或1，但只要履歷預測運動向量候補彼此不發生重複，即使運動向量mvLXHmvp之各成分的絕對值大於1也可。
又，雖然設計成，履歷預測運動向量索引hmvpIdx是從(履歷預測運動向量候補之數量NumHmvpCand-1)起開始，對參照索引refIdxLX(X係為0或1)是設定從0到(參照圖像之數量numRefIdx-1)為止每次增值1的值，但履歷預測運動向量索引hMvpIdx亦可從0開始。
圖40係為藉由履歷預測運動向量候補清單HmvpCandList之初期化而被追加的履歷預測運動向量候補之另一例的圖示。
圖示切片類型係為B切片，且參照圖像之張數係為1之情況的例子。在此例中係以使得履歷預測運動向量候補清單HmvpCandList之各要素中履歷預測運動向量候補彼此不會重複的方式，將參照索引refIdxLX為0、且運動向量mvLXHmvp之值為不同的畫面間預測資訊，當作履歷預測運動向量候補而追加，而將履歷預測運動向量候補清單予以填充。此時，履歷預測運動向量索引hMvpIdx是從(履歷預測運動向量候補之數量NumHmvpCand-1)起開始，參照索引refIdxLX(X係為0或1)係設定0且運動向量mvLXHmvp之值為不同的畫面間預測資訊。對履歷預測運動向量候補之數量NumHmvpCand設定全部的值，把履歷預測運動向量候補之數量NumHmvpCand之值設成固定值，藉此以消除無效的履歷預測運動向量候補。
如此，藉由將參照索引refIdxLX設成0，可更進一步不必考慮參照圖像之數量就進行初期化，因此可更為簡化處理。
此處，雖然是將運動向量mvLXHmvp之各成分的絕對值設成0、1或2的累乘，但只要參照索引為0且履歷預測運動向量候補彼此不發生重複，則亦可將運動向量mvLXHmvp之各成分的絕對值設成3、4等2以外之值的累乘，亦可設成其他任意之值。
又，雖然設計成，履歷預測運動向量索引hMvpIdx是從(履歷預測運動向量候補之數量NumHmvpCand-1)起開始，參照索引refIdxLX(X係為0或1)係設定0且運動向量mvLXHmvp之值為不同的畫面間預測資訊，但履歷預測運動向量索引hMvpIdx亦可從0開始。
接下來，針對切片內的每一編碼區塊，重複進行以下的履歷預測運動向量候補清單HmvpCandList之更新處理(圖26的步驟S2102～S2111)。
首先，進行編碼區塊單位下的初期設定。對表示同一候補是否存在的旗標identicalCandExist設定FALSE(偽)之值，對表示刪除對象之候補的刪除對象索引removeIdx設定0(圖26的步驟S2103)。
判定登錄對象之畫面間預測資訊候補hMvpCand是否存在(圖26的步驟S2104)。在編碼側的預測方法決定部105中判定為通常預測運動向量模式或通常合併模式的情況，或在解碼側的位元列解碼部201中視為通常預測運動向量模式或通常合併模式而已被解碼的情況下，則將該畫面間預測資訊視為登錄對象之畫面間預測資訊候補hMvpCand。在編碼側的預測方法決定部105判定為畫面內預測模式、子區塊預測運動向量模式或子區塊合併模式的情況，或在解碼側的位元列解碼部201中視為畫面內預測模式、子區塊預測運動向量模式或子區塊合併模式而已被解碼的情況下，則不進行履歷預測運動向量候補清單HmvpCandList之更新處理，登錄對象之畫面間預測資訊候補hMvpCand係不存在。在登錄對象之畫面間預測資訊候補hMvpCand為不存在的情況下，則略過步驟S2105～S2106(圖26的步驟S2104：NO)。在有登錄對象之畫面間預測資訊候補hMvpCand存在的情況下，則進行步驟S2105以下之處理(圖26的步驟S2104：YES)。
接下來，判定在履歷預測運動向量候補清單HmvpCandList之各要素之中，是否有與登錄對象之畫面間預測資訊候補hMvpCand同值的要素(畫面間預測資訊)，亦即相同要素存在(圖26的步驟S2105)。圖27係為該相同要素確認處理程序的流程圖。履歷預測運動向量候補之數量NumHmvpCand之值為0的情況下(圖27的步驟S2121：NO)，履歷預測運動向量候補清單HmvpCandList係為清空，且同一候補係不存在，因此略過圖27的步驟S2122～S2125，結束本相同要素確認處理程序。履歷預測運動向量候補之數量NumHmvpCand之值大於0的情況(圖27的步驟S2121的YES)，則直到履歷預測運動向量索引hMvpIdx從0至NumHmvpCand-1為止，重複步驟S2123之處理(圖27的步驟S2122～S2125)。首先，比較履歷預測運動向量候補清單的從0起算第hMvpIdx個要素HmvpCandList[hMvpIdx]是否與畫面間預測資訊候補hMvpCand相同(圖27的步驟S2123)。若為相同(圖27的步驟S2123：YES)，則對表示同一候補是否存在的旗標identicalCandExist設定TRUE(真)之值，對表示刪除對象之要素之位置的刪除對象索引removeIdx設定目前的履歷預測運動向量索引hMvpIdx之值，結束本相同要素確認處理。若不相同(圖27的步驟S2123：NO)，則將hMvpIdx增值1，若履歷預測運動向量索引hMvpIdx為NumHmvpCand-1以下，則進行步驟S2123以後之處理。
再次回到圖26的流程圖，進行履歷預測運動向量候補清單HmvpCandList之要素的平移及追加處理(圖26的步驟S2106)。圖28係為圖26的步驟S2106的履歷預測運動向量候補清單HmvpCandList的要素平移/追加處理程序的流程圖。首先，判定是否要先把履歷預測運動向量候補清單HmvpCandList中所被儲存之要素予以移除然後追加新的要素，還是不移除要素就追加新的要素。具體而言，係比較表示同一候補是否存在的旗標identicalCandExist中是否為TRUE(真)或NumHmvpCand是否為6(圖28的步驟S2141)。表示同一候補是否存在的旗標identicalCandExist中係為TRUE(真)或目前的候補數NumHmvpCand係為6的任一條件滿足的情況下(圖28的步驟S2141：YES)，則將履歷預測運動向量候補清單HmvpCandList中所被儲存之要素予以移除然後追加新的要素。將索引i的初期值設定成removeIdx + 1之值。從該初期值至NumHmvpCand為止，重複步驟S2143的要素平移處理。(圖28的步驟S2142～S2144)。藉由對HmvpCandList[ i-1 ]複製HmvpCandList[ i ]之要素，以將要素向前方做平移(圖28的步驟S2143)，將i增值1(圖28的步驟S2142～S2144)。接下來，對相當於履歷預測運動向量候補清單之最後的從0起算第(NumHmvpCand-1)個HmvpCandList[NumHmvpCand-1]追加畫面間預測資訊候補hMvpCand(圖28的步驟S2145)，級數本履歷預測運動向量候補清單HmvpCandList的要素平移/追加處理。另一方面，表示同一候補是否存在的旗標identicalCandExist中為TRUE(真)及NumHmvpCand為6之任一條件都不滿足的情況下(圖28的步驟S2141：NO)，則不移除履歷預測運動向量候補清單HmvpCandList中所被儲存之要素，對履歷預測運動向量候補清單的最後，追加畫面間預測資訊候補hMvpCand(圖28的步驟S2146)。此處，所謂履歷預測運動向量候補清單的最後，係為從0起算第NumHmvpCand個的HmvpCandList[NumHmvpCand]。又，將NumHmvpCand增值1，結束本履歷預測運動向量候補清單HmvpCandList的要素平移及追加處理。
圖31係為履歷預測運動向量候補清單之更新處理之一例的說明圖。在對已經登錄有6個要素(畫面間預測資訊)的履歷預測運動向量候補清單HmvpCandList追加新的要素的情況下，從履歷預測運動向量候補清單HmvpCandList的前方之要素依序和新的畫面間預測資訊進行比較(圖31A)，若新的要素是與從履歷預測運動向量候補清單HmvpCandList的開頭起算第3個要素HMVP2同值，則從履歷預測運動向量候補清單HmvpCandList刪除要素HMVP2然後將後方的要素HMVP3～HMVP5往前方逐次平移(複製)1個，對履歷預測運動向量候補清單HmvpCandList的最後追加新的要素(圖31B)，完成履歷預測運動向量候補清單HmvpCandList的更新(圖31C)，
＜履歷預測運動向量候補導出處理＞ 接著針對編碼側的通常預測運動向量模式導出部301的履歷預測運動向量候補導出部323、解碼側的通常預測運動向量模式導出部401的履歷預測運動向量候補導出部423間為共通之處理也就是圖20的步驟S304的處理程序亦即從履歷預測運動向量候補清單HmvpCandList的履歷預測運動向量候補之導出方法，詳細說明。圖29係為履歷預測運動向量候補導出處理程序的說明用流程圖。
目前的預測運動向量候補之數量numCurrMvpCand是預測運動向量候補清單mvpListLX之最大要素數(此處假設為2)以上或履歷預測運動向量候補之數量NumHmvpCand之值為0的情況(圖29的步驟S2201的NO)，省略圖29的步驟S2202至S2209之處理，結束履歷預測運動向量候補導出處理程序。目前的預測運動向量候補之數量numCurrMvpCand是小於預測運動向量候補清單mvpListLX之最大要素數亦即2的情況，且履歷預測運動向量候補之數量NumHmvpCand之值是大於0的情況(圖29的步驟S2201的YES)，則進行圖29的步驟S2202至S2209之處理。
接下來，從索引i為1起，到4與履歷預測運動向量候補之數量numCheckedHMVPCand之其中較小一者之值為止，重複圖29的步驟S2203至S2208之處理(圖29的步驟S2202～S2209)。目前的預測運動向量候補之數量numCurrMvpCand是預測運動向量候補清單mvpListLX之最大要素數也就是2以上的情況下(圖29的步驟S2203：NO)，省略圖29的步驟S2204至S2209之處理，結束本履歷預測運動向量候補導出處理程序。目前的預測運動向量候補之數量numCurrMvpCand是小於預測運動向量候補清單mvpListLX之最大要素數也就是2的情況下(圖29的步驟S2203：YES)，則進行圖29的步驟S2204以後之處理。
接下來，將步驟S2205至S2207為止的處理，針對Y為0與1(L0與L1)分別進行之(圖29的步驟S2204～S2208)。目前的預測運動向量候補之數量numCurrMvpCand是預測運動向量候補清單mvpListLX之最大要素數也就是2以上的情況下(圖29的步驟S2205：NO)，省略圖29的步驟S2206至S2209之處理，結束本履歷預測運動向量候補導出處理程序。目前的預測運動向量候補之數量numCurrMvpCand是小於預測運動向量候補清單mvpListLX之最大要素數也就是2的情況下(圖29的步驟S2205：YES)，則進行圖29的步驟S2206以後之處理。
接下來，在履歷預測運動向量候補清單HmvpCandList之中，若是與編碼/解碼對象運動向量之參照索引refIdxLX相同參照索引之要素，且為與預測運動向量清單mvpListLX之任一要素皆不同的要素情況下(圖29的步驟S2206的YES)，則對預測運動向量候補清單的從0起算第numCurrMvpCand個要素mvpListLX[numCurrMvpCand]，追加履歷預測運動向量候補HmvpCandList[NumHmvpCand - i]的LY之運動向量(圖29的步驟S2207)，將目前的預測運動向量候補之數量numCurrMvpCand增值1。在履歷預測運動向量候補清單HmvpCandList之中，若非與編碼/解碼對象運動向量之參照索引refIdxLX相同參照索引之要素，且為與預測運動向量清單mvpListLX之任一要素皆不同的要素情況下(圖29的步驟S2207的NO)，則略過步驟S2207之追加處理。
以上的圖29的步驟S2205至S2207之處理，對L0與L1之雙方都會進行(圖29的步驟S2204～S2208)。將索引i增值1，在索引i係為4與履歷預測運動向量候補之數量NumHmvpCand之其中較小一者之值以下的情況，則再次進行步驟S2203以後之處理(圖29的步驟S2202～S2209)。
＜履歷合併候補導出處理＞ 接著，針對在編碼側的通常合併模式導出部302的履歷合併候補導出部345、解碼側的通常合併模式導出部402的履歷合併候補導出部445間為共通之處理也就是圖21的步驟S404的處理程序亦即從履歷合併候補清單HmvpCandList的履歷合併候補之導出方法，詳細說明。圖30係為履歷合併候補導出處理程序的說明用流程圖。
首先，進行初期化處理(圖30的步驟S2301)。對isPruned[i]的從0至第(numCurrMergeCand -1)個的各要素設定FALSE之值，對變數numOrigMergeCand設定目前的合併候補清單中所被登錄的要素之數量numCurrMergeCand。
接下來，將索引hMvpIdx之初期值設定成1，從該初期值至NumHmvpCand為止，重複進行圖30的步驟S2303至步驟S2310為止的追加處理(圖30的步驟S2302～S2311)。若目前的合併候補清單中所被登錄的要素之數量numCurrMergeCand並非(最大合併候補數MaxNumMergeCand-1)以下，則對合併候補清單的所有要素都有合併候補被追加，因此結束本履歷合併候補導出處理(圖30的步驟S2303的NO)。目前的合併候補清單中所被登錄的要素之數量numCurrMergeCand是(最大合併候補數MaxNumMergeCand-1)以下的情況，則進行步驟S2304以後之處理。對sameMotion設定FALSE(偽)之值(圖30的步驟S2304)。接下來，將索引i的初期值設定成0，從該初期值至numOrigMergeCand-1為止，進行圖30的步驟S2306、S2307之處理(圖30的S2305～S2308)。比較履歷運動向量預測候補清單的從0起算第(NumHmvpCand - hMvpIdx)個要素HmvpCandList[NumHmvpCand- hMvpIdx]與合併候補清單的從0起算第i個要素mergeCandList[i]是否為同值(圖30的步驟S2306)。
所謂合併候補的同值係為，合併候補所持有的全部之構成要素(畫面間預測模式、參照索引、運動向量)之值皆相同的情況下，合併候補係為同值。合併候補為同值，且isPruned[i]為FALSE的情況下(圖30的步驟S2306的YES)，對sameMotion及isPruned[i]皆設定TRUE (真)(圖30的步驟S2307)。若非同值的情況下(圖30的步驟S2306的NO)，則略過步驟S2307之處理。若圖30的步驟S2305至步驟S2308為止的重複處理已經完成則比較sameMotion是否為FALSE(偽)(圖30的步驟S2309)，若sameMotion為FALSE(偽)的情況(圖30的步驟S2309的YES)，則表示履歷預測運動向量候補清單的從0起算第(NumHmvpCand - hMvpIdx)個要素 HmvpCandList[NumHmvpCand - hMvpIdx]係不存在於mergeCandList中，因此，對合併候補清單的第numCurrMergeCand個mergeCandList[numCurrMergeCand]，追加履歷預測運動向量候補清單的從0起算第(NumHmvpCand - hMvpIdx)個要素HmvpCandList[NumHmvpCand - hMvpIdx]，並將numCurrMergeCand增值1(圖30的步驟S2310)。將索引hMvpIdx增值1(圖30的步驟S2302)，進行圖30的步驟S2302～S2311之重複處理。 一旦履歷預測運動向量候補清單的所有要素之確認已完成，或對合併候補清單的所有要素都已追加合併候補，就完成本履歷合併候補之導出處理。
＜運動補償預測處理＞ 運動補償預測部306，係於編碼時取得身為目前預測處理之對象的區塊之位置及尺寸。又，運動補償預測部306，係將畫面間預測資訊，從畫面間預測模式判定部305加以取得。從已取得之畫面間預測資訊導出參照索引及運動向量，將解碼影像記憶體104內的藉由參照索引而被特定的參照圖像，從與預測區塊之影像訊號相同位置起，移動了一運動向量之份量的位置的影像訊號，將其加以取得之後，生成預測訊號。
畫面間預測中的像是畫面間預測模式為L0預測或L1預測這樣，從單一參照圖像做預測的情況下，則將從1個參照圖像所取得的預測訊號當作運動補償預測訊號，像是畫面間預測模式為BI預測這樣，預測模式是從2個參照圖像做預測的情況下，則將從2個參照圖像所取得之預測訊號進行加權平均而得者當作運動補償預測訊號，將運動補償預測訊號供給至預測方法決定部105。此處雖然把雙預測的加權平均之比率設成1：1，但亦可使用其他比率來進行加權平均。例如，亦可為，身為預測對象的圖像與參照圖像的圖像間隔越近則加權的比率就設成越大。又，加權比率之算出亦可使用圖像間隔之組合與加權比率的對應表來進行之。
運動補償預測部406，係具有和編碼側的運動補償預測部306相同之機能。運動補償預測部406，係將畫面間預測資訊，從通常預測運動向量模式導出部401、通常合併模式導出部402、子區塊預測運動向量模式導出部403、子區塊合併模式導出部404，透過開關408而加以取得。運動補償預測部406，係將所得到的運動補償預測訊號，供給至解碼影像訊號重疊部207。
＜關於畫面間預測模式＞ 將從單一參照圖像進行預測的處理定義為單預測，單預測之情況係像是L0預測或L1預測，是用參照清單L0、L1中所被登錄的2個參照圖像之其中一方來進行預測。
圖32係圖示了單預測且L0之參照圖像(RefL0Pic)是位於比處理對象圖像(CurPic)還前面之時刻的情況。圖33係圖示了單預測且L0預測之參照圖像是位於比處理對象圖像還後面之時刻的情況。同樣地，亦可將圖32及圖33的L0預測之參照圖像，置換成L1預測之參照圖像(RefL1Pic)而進行單預測。
將從2個參照圖像進行預測的處理定義為雙預測，雙預測時係利用L0預測與L1預測之雙方而表現成BI預測。圖34係圖示了雙預測且L0預測之參照圖像是位於比處理對象圖像還前面之時刻，且L1預測之參照圖像是位於比處理對象圖像還後面之時刻的情況。圖35係圖示了雙預測且L0預測之參照圖像與L1預測之參照圖像是位於比處理對象圖像還前面之時刻的情況。圖36係圖示了雙預測且L0預測之參照圖像與L1預測之參照圖像是位於比處理對象圖像還後面之時刻的情況。
如此，L0/L1之預測種別與時間的關係，係亦可不限定於L0是過去方向、L1是未來方向而使用之。又，在雙預測時，亦可使用同一參照圖像來分別進行L0預測及L1預測。此外，要將運動補償預測以單預測來進行還是以雙預測來進行的判斷，是根據例如表示是否利用L0預測及是否利用L1預測的資訊(例如旗標)來判斷。
＜關於參照索引＞ 在本發明的實施形態中，為了提升運動補償預測之精度，在運動補償預測時，可從複數參照圖像之中，選擇出最佳的參照圖像。因此，將運動補償預測時曾經利用過的參照圖像當作參照索引來利用，同時，將參照索引連同差分運動向量一起編碼至位元串流中。
＜基於通常預測運動向量模式的運動補償處理＞ 運動補償預測部306，係如圖16的編碼側的畫面間預測部102中也有圖示，於畫面間預測模式判定部305中，通常預測運動向量模式導出部301所導出之畫面間預測資訊是已被選擇的情況下，則將該畫面間預測資訊從畫面間預測模式判定部305加以取得，將身為目前處理對象之區塊的畫面間預測模式、參照索引、運動向量予以導出，生成運動補償預測訊號。已被生成之運動補償預測訊號，係被供給至預測方法決定部105。
同樣地，運動補償預測部406，係如圖22的解碼側的畫面間預測部203中也有圖示，在解碼的過程中若開關408是被連接至通常預測運動向量模式導出部401的情況下，則將通常預測運動向量模式導出部401所導出之畫面間預測資訊加以取得，將身為目前處理對象之區塊的畫面間預測模式、參照索引、運動向量予以導出，生成運動補償預測訊號。已被生成之運動補償預測訊號，係被供給至解碼影像訊號重疊部207。
＜基於通常合併模式的運動補償處理＞ 運動補償預測部306，係如圖16的編碼側的畫面間預測部102中也有圖示，於畫面間預測模式判定部305中，通常合併模式導出部302所導出之畫面間預測資訊是已被選擇的情況下，則將該畫面間預測資訊從畫面間預測模式判定部305加以取得，將身為目前處理對象之區塊的畫面間預測模式、參照索引、運動向量予以導出，生成運動補償預測訊號。已被生成之運動補償預測訊號，係被供給至預測方法決定部105。
同樣地，運動補償預測部406，係如圖22的解碼側的畫面間預測部203中也有圖示，在解碼的過程中若開關408是被連接至通常合併模式導出部402的情況下，則將通常合併模式導出部402所導出之畫面間預測資訊加以取得，將身為目前處理對象之區塊的畫面間預測模式、參照索引、運動向量予以導出，生成運動補償預測訊號。已被生成之運動補償預測訊號，係被供給至解碼影像訊號重疊部207。
＜基於子區塊預測運動向量模式的運動補償處理＞ 運動補償預測部306，係如圖16的編碼側的畫面間預測部102中也有圖示，於畫面間預測模式判定部305中，子區塊預測運動向量模式導出部303所導出之畫面間預測資訊是已被選擇的情況下，則將該畫面間預測資訊從畫面間預測模式判定部305加以取得，將身為目前處理對象之區塊的畫面間預測模式、參照索引、運動向量予以導出，生成運動補償預測訊號。已被生成之運動補償預測訊號，係被供給至預測方法決定部105。
同樣地，運動補償預測部406，係如圖22的解碼側的畫面間預測部203中也有圖示，在解碼的過程中若開關408是被連接至子區塊預測運動向量模式導出部403的情況下，則將子區塊預測運動向量模式導出部403所導出之畫面間預測資訊加以取得，將身為目前處理對象之區塊的畫面間預測模式、參照索引、運動向量予以導出，生成運動補償預測訊號。已被生成之運動補償預測訊號，係被供給至解碼影像訊號重疊部207。
＜基於子區塊合併模式的運動補償處理＞ 運動補償預測部306，係如圖16的編碼側的畫面間預測部102中也有圖示，於畫面間預測模式判定部305中，子區塊合併模式導出部304所導出之畫面間預測資訊是已被選擇的情況下，則將該畫面間預測資訊從畫面間預測模式判定部305加以取得，將身為目前處理對象之區塊的畫面間預測模式、參照索引、運動向量予以導出，生成運動補償預測訊號。已被生成之運動補償預測訊號，係被供給至預測方法決定部105。
同樣地，運動補償預測部406，係如圖22的解碼側的畫面間預測部203中也有圖示，在解碼的過程中若開關408是被連接至子區塊合併模式導出部404的情況下，則將子區塊合併模式導出部404所導出之畫面間預測資訊加以取得，將身為目前處理對象之區塊的畫面間預測模式、參照索引、運動向量予以導出，生成運動補償預測訊號。已被生成之運動補償預測訊號，係被供給至解碼影像訊號重疊部207。
＜基於仿射轉換預測的運動補償處理＞ 在通常預測運動向量模式、及通常合併模式下，可基於以下的旗標來利用仿射模型所致之運動補償。以下的旗標，係於編碼處理中基於由畫面間預測模式判定部305所決定的畫面間預測之條件而反映至以下的旗標，並被編碼至位元串流中。於解碼處理中，係基於位元串流中的以下的旗標而特定是否要進行仿射模型所致之運動補償。
sps_affine_enabled_flag係表示，於畫面間預測中，仿射模型所致之運動補償是否為可利用。若sps_affine_enabled_flag為0，則以序列單位而被抑制成不會是仿射模型所致之運動補償。又，inter_affine_flag 與cu_affine_type_flag ，係於編碼視訊序列的CU(編碼區塊)語法中不被傳輸。若sps_affine_enabled_flag為1，則於編碼視訊序列中可利用仿射模型所致之運動補償。
sps_affine_type_flag係表示，於畫面間預測中，6參數仿射模型所致之運動補償是否為可利用。若sps_affine_type_flag為0，則被抑制成不會是6參數仿射模型所致之運動補償。又，cu_affine_type_flag ，係於編碼視訊序列的CU語法中不被傳輸。若sps_affine_type_flag為1，則於編碼視訊序列中可利用6參數仿射模型所致之運動補償。在sps_affine_type_flag為不存在的情況下，則視為0。
正在將P或B切片進行解碼的情況下，於身為目前處理對象之CU中，若inter_affine_flag為1，則為了生成身為目前處理對象之CU的運動補償預測訊號，而會使用仿射模型所致之運動補償。若inter_affine_flag為0，則對身為目前處理對象之CU不會使用仿射模型。在inter_affine_flag為不存在的情況下，則視為0。
正在將P或B切片進行解碼的情況下，於身為目前處理對象之CU中，若cu_affine_type_flag為1，則為了生成身為目前處理對象之CU的運動補償預測訊號，而會使用6參數仿射模型所致之運動補償。若cu_affine_type_flag為0，則為了生成身為目前處理對象之CU的運動補償預測訊號，而會使用4參數仿射模型所致之運動補償。
在仿射模型所致之運動補償中，由於是以子區塊單位而導出參照索引或運動向量，因此以子區塊單位而使用身為處理對象之參照索引或運動向量來生成運動補償預測訊號。
4參數仿射模型係從2個控制點之各者的運動向量的水平成分及垂直成分的4個參數來導出子區塊的運動向量，是以子區塊單位來進行運動補償的模式。
(第2實施形態) 在第1實施形態中，在通常預測運動向量模式與通常合併模式下將履歷預測運動向量候補清單之要素(候補)進行參照的順序係為相同。另一方面，在第2實施形態中，相對於第1實施形態，進行如下的追加及變更。將履歷預測運動向量候補清單利用之際的參照順序，在第2實施形態的通常預測運動向量模式下是如圖46所示般地以和第1實施形態相反的順序而進行之，在第2實施形態的通常合併模式下是如圖45所示般地以和第1實施形態相同的順序而進行之。亦即，通常預測運動向量模式與通常合併模式間，將履歷預測運動向量候補清單中所含之候補進行參照的順序係為相反(相反順序)。藉此就會變成，在通常預測運動向量模式下，履歷預測運動向量候補清單內的要素，是從較舊的要素起依序被追加至預測運動向量候補清單，在通常合併模式中下，履歷預測運動向量候補清單內的要素，是從較新的要素起依序被追加至預測運動向量候補清單。
＜履歷預測運動向量候補清單＞ 此處針對履歷預測運動向量候補清單之構成和動作加以說明。 如圖41所示，將編碼對象區塊中曾經被畫面間預測所使用過的畫面間預測資訊，視為應登錄的畫面間預測資訊候補hMvpCand，作為過去曾經利用過的履歷，登錄至履歷預測運動向量候補清單HmvpCandList。在圖41中，履歷預測運動向量候補清單係為可儲存6個要素的清單結構，從先被儲存之要素起依序而被取出，是以先入先出之FIFO (First-In,First Out)方式作為基本的儲存動作。
這裡作為一例雖然是將HmvpCandList中所能夠儲存的最大之要素數視為編碼側及解碼側間的取決而設成6來做說明，但並沒有特別限定，亦可為6個以上。又，亦可將HmvpCandList中所能夠儲存的最大之要素數設成5個，或甚至是其以下之要素數而構成。例如，亦可以預測運動向量候補清單mvpListLX的最大要素數、最大合併候補數、最大子區塊合併候補數等之，與畫面間預測資訊候補之最大要素數同等之最大要素數來構成HmvpCandList。又，亦可與各模式的畫面間預測資訊候補之最大要素數做連動的方式，來構成HmvpCandList。
亦可藉由把該HmvpCandList之最大要素數含入至位元串流的語法要素中，從編碼側傳達給解碼側而構成。
如圖41所示，HmvpCandList，係可在清單之開頭的位置0至清單之末尾的位置5中，儲存6個要素，從位置0起依序填埋要素到位置5為止。將該位置0至位置5視為履歷預測運動向量索引hMvpIdx而加以管理。例如，位置0係可表現成hMVpIdx[0]，位置5係可表現成hMVpIdx[5]。將HmvpCandList之儲存要素數以NumHmvpCand而加以管理，在從0至最大要素數也就是6的範圍內，管理儲存要素之增減。
在HmvpCandList中被儲存了最大要素數的狀態下，針對新追加要素的情況，做詳細說明。如圖42所示，將畫面間預測資訊候補hMvpCand當作新的履歷而試圖登錄的情況下，將開頭的位置0的要素予以刪除，將各要素的位置每次朝開頭方向平移1個。平移的結果，如圖43所示，儲存要素數會少1個，因此在末尾的位置5就變成可儲存新的要素。於是，藉由將畫面間預測資訊候補hMvpCand儲存在末尾的位置5，就如圖44所示般地，對HmvpCandList追加了新的要素。
＜第2實施形態的通常預測運動向量模式下的履歷預測運動向量候補導出處理＞ 此處說明，第2實施形態的通常預測運動向量模式下的履歷預測運動向量候補導出處理。
圖47係於第2實施形態的通常預測運動向量模式下，一面以和通常合併模式之參照順序相反之順序進行參照一面利用履歷預測運動向量候補清單HmvpCandList之構成的情況下，履歷預測運動向量候補導出處理程序的說明用流程圖。
目前的預測運動向量候補之數量numCurrMvpCand是預測運動向量候補清單mvpListLX之最大要素數(此處假設為2)以上或履歷預測運動向量候補之數量NumHmvpCand之值為0的情況(圖47的步驟S2601的NO)，省略圖47的步驟S2602至S2609之處理，結束履歷預測運動向量候補導出處理程序。目前的預測運動向量候補之數量numCurrMvpCand是小於預測運動向量候補清單mvpListLX之最大要素數亦即2，且履歷預測運動向量候補之數量NumHmvpCand之值是大於0的情況(圖47的步驟S2601的YES)，則進行圖47的步驟S2602至S2609之處理。
接下來，從索引i為0起，到4與履歷預測運動向量候補之數量NumHmvpCand之其中較小一者之值減去1而成的值為止，重複圖47的步驟S2603至S2608之處理(圖47的步驟S2602～S2609)。目前的預測運動向量候補之數量numCurrMvpCand是預測運動向量候補清單mvpListLX之最大要素數也就是2以上的情況下(圖47的步驟S2603的NO)，省略圖47的步驟S2604至S2609之處理，結束本履歷預測運動向量候補導出處理程序。目前的預測運動向量候補之數量numCurrMvpCand是小於預測運動向量候補清單mvpListLX之最大要素數也就是2的情況下(圖47的步驟S2603的YES)，則進行圖47的步驟S2604以後之處理。
接下來，將步驟S2605至S2607為止的處理，針對索引Y為0與1(L0與L1)分別進行之(圖47的步驟S2604～S2608)。目前的預測運動向量候補之數量numCurrMvpCand是預測運動向量候補清單mvpListLX之最大要素數也就是2以上的情況下(圖47的步驟S2605的NO)，省略圖47的步驟S2606至S2609之處理，結束本履歷預測運動向量候補導出處理程序。目前的預測運動向量候補之數量numCurrMvpCand是小於預測運動向量候補清單mvpListLX之最大要素數也就是2的情況下(圖47的步驟S2605的YES)，則進行圖47的步驟S2606以後之處理。
接下來，在履歷預測運動向量候補清單HmvpCandList之中，若是與編碼/解碼對象運動向量之參照索引refIdxLX相同參照索引之要素，且為與預測運動向量候補清單mvpListLX之任一要素皆不同的要素的情況(圖47的步驟S2606的YES)，則對預測運動向量候補清單的從0起算第numCurrMvpCand個要素 mvpListLX[numCurrMvpCand]追加履歷預測運動向量候補HmvpCandList[i]的LY之運動向量(圖47之步驟S2607)，將目前的預測運動向量候補之數量numCurrMvpCand增值1。在履歷預測運動向量候補清單HmvpCandList之中，若非與編碼/解碼對象運動向量之參照索引refIdxLX相同參照索引之要素，且為與預測運動向量候補清單mvpListLX之任一要素皆不同的要素的情況下(圖47的步驟S2607的NO)，則略過步驟S2607之追加處理。
以上的圖47的步驟S2605至S2607之處理，對L0與L1之雙方都會進行(圖47的步驟S2604～S2608)。
將索引i增值1(圖47之步驟S2602、S2609)，索引i係為4與履歷預測運動向量候補之數量NumHmvpCand之其中較小一者之值減去1之值以下的情況，則再次進行步驟S2603以後之處理(圖47的步驟S2602～S2609)。
如以上所述，在通常預測運動向量模式下，是從履歷預測運動向量候補清單內先被追加的要素(較舊的要素)起依序被參照而被追加至預測運動向量候補清單中。
＜變形例　其1＞ 亦可導入如本實施形態的像是用來表示履歷預測運動向量候補清單之參照順序的履歷參照旗標，來切換第1實施形態的參照順序、與本實施形態的參照順序而構成。亦可將該履歷參照旗標，含入至位元串流的語法要素中而傳達至解碼側，在解碼側係可取得在語法要素中帶有該履歷參照旗標的位元串流，並加以解碼。 ＜變形例　其2＞ 在本實施形態中，在通常預測運動向量模式下係如圖46所示般地按照履歷預測運動向量候補清單的要素0至要素5之順序逐次參照1個，在通常合併模式下係如圖45所示般地按照履歷預測運動向量候補清單的要素5至要素0之順序逐次參照1個，但只要在通常預測運動向量模式與通常合併模式間將履歷預測運動向量候補清單進行參照的順序有所不同即可，並非限定於此。例如，亦可在通常預測運動向量模式下是參照要素0至要素2，在通常合併模式下是參照要素5至要素1，使得通常預測運動向量模式與通常合併模式間將履歷預測運動向量候補清單進行參照的數量有所不同。此情況下，候補數較多的通常合併模式之參照數係為較多，較為理想。又，在通常合併模式下亦可像是參照要素4至要素0為止般地，變更開始點。
藉由設成如以上所述的第2實施形態，可將履歷預測運動向量候補清單利用之際的參照順序，變成與通常預測運動向量模式不同的參照順序，藉此可以採用適合於各個模式的候補。尤其是，在選擇了將差分運動向量予以編碼的通常預測運動向量模式的情況下，經常會需要與編碼對象區塊周圍狀況不同的運動向量。因此藉由探索履歷預測運動向量候補清單，從被認為相關度是與最近者較低的要素，亦即先被儲存的較舊之要素起依序當作候補而利用，就可藉由適合於通常預測運動向量模式的候補而期待編碼效率之提升。
又，在通常合併模式下係由於與編碼對象區塊之周圍的相關度越高則編碼效率越為提升，因此藉由探索履歷預測運動向量候補清單，從被認為相關度是與最近者較高的要素，亦即後被儲存的新的要素起依序當作候補而利用，就可藉由適合於通常合併模式的候補而期待編碼效率之提升。
以上所述的所有實施形態，亦可做複數組合。
以上所述的所有實施形態中，影像編碼裝置所輸出的位元串流，係為了能夠隨應於實施形態中所被使用的編碼方法而進行解碼，而具有特定之資料格式。又，對應於該影像編碼裝置的影像解碼裝置，係可將該特定之資料格式的位元串流予以解碼。
為了在影像編碼裝置與影像解碼裝置之間收授位元串流，而使用有線或無線網路的情況下，可將位元串流轉換成適合於通訊路之傳輸形態的資料形式來進行傳輸。此情況下，會設置有：將影像編碼裝置所輸出之位元串流轉換成適合於通訊路之傳輸形態之資料形式的編碼資料然後發送至網路的送訊裝置、和從網路接收編碼資料並復原成位元串流而供給至影像解碼裝置的收訊裝置。送訊裝置係含有：將影像編碼裝置所輸出之位元串流予以緩衝的記憶體、將位元串流予以封包化的封包處理部、將已被封包化的編碼資料透過網路而進行發送的送訊部。收訊裝置係含有：透過網路而將已被封包化的編碼資料進行接收的收訊部、將已被接收之編碼資料予以緩衝的記憶體、將編碼資料進行封包處理而生成位元串流並提供給影像解碼裝置的封包處理部。
又，亦可藉由追加用來顯示已被影像解碼裝置所解碼之影像的顯示部至構成中，而成為顯示裝置。此情況下，顯示部係將藉由解碼影像訊號重疊部207而被生成、被儲存在解碼影像記憶體208中的解碼影像訊號予以讀出而顯示於畫面。
又，亦可將攝像部追加至構成中，將拍攝到的影像輸入至影像編碼裝置，而成為攝像裝置。此情況下，攝像部係將所拍攝到的影像訊號，輸入至區塊分割部101。
圖37中圖示了，本實施形態的編碼解碼裝置的硬體構成之一例。編碼解碼裝置，係包含有本發明的實施形態所述之影像編碼裝置、及影像解碼裝置之構成。所述之編碼解碼裝置9000，係具有：CPU9001、編解碼器IC9002、I/O介面9003、記憶體9004、光學碟片驅動機9005、網路介面9006、視訊介面9009，各部係藉由匯流排9010而被連接。
影像編碼部9007與影像解碼部9008，典型而言是以編解碼器IC9002的方式而被實作。本發明的實施形態所述之影像編碼裝置的影像編碼處理，係藉由影像編碼部9007而被執行，本發明的實施形態所述之影像解碼裝置中的影像解碼處理，係藉由影像解碼部9008而被執行。I/O介面9003，係藉由例如USB介面而被實現，與外部的鍵盤9104、滑鼠9105等連接。CPU9001，係基於透過I/O介面9003所輸入的使用者操作，而控制編碼解碼裝置9000使其執行使用者所希望的動作。作為鍵盤9104、滑鼠9105等所致之使用者的操作係有：要執行編碼、解碼之哪一種機能的選擇、編碼品質的設定、位元串流的輸出入目標、影像的輸出入目標等。
若是使用者希望再生碟片記錄媒體9100中所被記錄之影像的操作的情況，則光學碟片驅動機9005，係從已被插入的碟片記錄媒體9100讀出位元串流，將所讀出的位元串流，透過匯流排9010而送往編解碼器IC9002的影像解碼部9008。影像解碼部9008係對所輸入的位元串流執行本發明的實施形態所述之影像解碼裝置中的影像解碼處理，並將解碼影像，透過視訊介面9009而送往外部的螢幕9103。又，編碼解碼裝置9000，係具有網路介面9006，可透過網路9101，而與外部的傳遞伺服器9106、或攜帶型終端9107連接。使用者不是想要再生碟片記錄媒體9100中所被記錄之影像，而是改為想要再生傳遞伺服器9106或攜帶型終端9107中所被記錄之影像的情況，則網路介面9006，係不是從已被輸入之碟片記錄媒體9100讀出位元串流，改為藉由網路9101而取得位元串流。又，使用者希望再生記憶體9004中所被記錄之影像的情況下，則對記憶體9004中所被記錄之位元串流，執行本發明的實施形態所述之影像解碼裝置中的影像解碼處理。
使用者希望將外部的相機9102所拍攝到的影像進行編碼並記錄至記憶體9004的操作的情況下，則視訊介面9009，係從相機9102輸入影像，並透過匯流排9010，送往編解碼器IC9002的影像編碼部9007。影像編碼部9007係對透過視訊介面9009所輸入的影像執行本發明的實施形態所述之影像編碼裝置中的影像編碼處理，並作成位元串流。然後將位元串流，透過匯流排9010，送往記憶體9004。使用者希望不是在記憶體9004中，而是在碟片記錄媒體9100中記錄下位元串流的情況下，則光學碟片驅動機9005係對已被插入之碟片記錄媒體9100，進行位元串流的寫入。
亦可實現具有影像編碼裝置但不具有影像解碼裝置的硬體構成、或具有影像解碼裝置但不具有影像編碼裝置的硬體構成。此種硬體構成係藉由例如，將編解碼器IC9002，分別置換成影像編碼部9007、或影像解碼部9008即可加以實現。
以上的關於編碼及解碼之處理，係亦可使用硬體而以傳輸、積存、收訊裝置的方式來加以實現，當然，也可藉由記憶在ROM(唯讀記憶體)或快閃記憶體等中的韌體、或電腦等之軟體來加以實現。亦可將該韌體程式、軟體程式記錄至電腦等可讀取之記錄媒體來加以提供，或可透過有線或無線網路從伺服器來提供，也可用地表波或衛星數位播送的資料播送方式來提供之。
以上係依據實施形態來說明了本發明。實施形態係為例示，這些各構成要素或各處理程序之組合中還有各種可能的變形例，而這些變形例也都屬於本發明之範圍，而能被當業者所理解。
100:影像編碼裝置 101:區塊分割部 102:畫面間預測部 103:畫面內預測部 104:解碼影像記憶體 105:預測方法決定部 106:殘差生成部 107:正交轉換-量化部 108:位元列編碼部 109:逆量化-逆正交轉換部 110:解碼影像訊號重疊部 111:編碼資訊儲存記憶體 200:影像解碼裝置 201:位元列解碼部 202:區塊分割部 203:畫面間預測部 204:畫面內預測部 205:編碼資訊儲存記憶體 206:逆量化-逆正交轉換部 207:解碼影像訊號重疊部 208:解碼影像記憶體 301:通常預測運動向量模式導出部 302:通常合併模式導出部 303:子區塊預測運動向量模式導出部 304:子區塊合併模式導出部 305:畫面間預測模式判定部 306:運動補償預測部 321:空間預測運動向量候補導出部 322:時間預測運動向量候補導出部 323:履歷預測運動向量候補導出部 325:預測運動向量候補補充部 326:通常運動向量偵測部 327:預測運動向量候補選擇部 328:運動向量減算部 341:空間合併候補導出部 342:時間合併候補導出部 344:平均合併候補導出部 345:履歷合併候補導出部 346:合併候補補充部 347:合併候補選擇部 401:通常預測運動向量模式導出部 402:通常合併模式導出部 403:子區塊預測運動向量模式導出部 404:子區塊合併模式導出部 406:運動補償預測部 407:開關 408:開關 421:空間預測運動向量候補導出部 422:時間預測運動向量候補導出部 423:履歷預測運動向量候補導出部 425:預測運動向量候補補充部 426:預測運動向量候補選擇部 427:運動向量加算部 441:空間合併候補導出部 442:時間合併候補導出部 444:平均合併候補導出部 445:履歷合併候補導出部 446:合併候補補充部 447:合併候補選擇部 9000:編碼解碼裝置 9001:CPU 9002:編解碼器IC 9003:I/O介面 9004:記憶體 9005:光學碟片驅動機 9006:網路介面 9007:影像編碼部 9008:影像解碼部 9009:視訊介面 9010:匯流排 9100:碟片記錄媒體 9101:網路 9102:相機 9103:監視器 9104:鍵盤 9105:滑鼠 9106:傳遞伺服器 9107:攜帶型終端
[圖1]本發明的實施形態所述之影像編碼裝置的區塊圖。 [圖2]本發明的實施形態所述之影像解碼裝置的區塊圖。 [圖3]用來說明將樹區塊進行分割之動作的流程圖。 [圖4]將已被輸入之影像分割成樹區塊之樣子的圖示。 [圖5]z-掃描的說明圖。 [圖6A]區塊之分割形狀的圖示。 [圖6B]區塊之分割形狀的圖示。 [圖6C]區塊之分割形狀的圖示。 [圖6D]區塊之分割形狀的圖示。 [圖6E]區塊之分割形狀的圖示。 [圖7]用來說明將區塊進行4分割之動作的流程圖。 [圖8]用來說明將區塊進行2分割或3分割之動作的流程圖。 [圖9]用來表現區塊分割之形狀所需之語法。 [圖10A]畫面內預測的說明圖。 [圖10B]畫面內預測的說明圖。 [圖11]畫面間預測之參照區塊的說明圖。 [圖12]用來表現編碼區塊預測模式所需之語法。 [圖13]畫面間預測之相關的語法元素與模式之對應的圖示。 [圖14]控制點2點的仿射轉換運動補償的說明圖。 [圖15]控制點3點的仿射轉換運動補償的說明圖。 [圖16]圖1的畫面間預測部102之詳細構成的區塊圖。 [圖17]圖16的通常預測運動向量模式導出部301之詳細構成的區塊圖。 [圖18]圖16的通常合併模式導出部302之詳細構成的區塊圖。 [圖19]圖16的通常預測運動向量模式導出部301的通常預測運動向量模式導出處理的說明用流程圖。 [圖20]通常預測運動向量模式導出處理之處理程序的流程圖。 [圖21]通常合併模式導出處理之處理程序的說明用流程圖。 [圖22]圖2的畫面間預測部203之詳細構成的區塊圖。 [圖23]圖22的通常預測運動向量模式導出部401之詳細構成的區塊圖。 [圖24]圖22的通常合併模式導出部402之詳細構成的區塊圖。 [圖25]圖22的通常預測運動向量模式導出部401的通常預測運動向量模式導出處理的說明用流程圖。 [圖26]履歷預測運動向量候補清單初期化、更新處理程序的說明圖。 [圖27]履歷預測運動向量候補清單初期化、更新處理程序中的，相同要素確認處理程序的流程圖。 [圖28]履歷預測運動向量候補清單初期化、更新處理程序中的，要素平移處理程序的流程圖。 [圖29]履歷預測運動向量候補導出處理程序的說明用流程圖。 [圖30]履歷合併候補導出處理程序的說明用流程圖。 [圖31A]履歷預測運動向量候補清單更新處理之一例的說明圖。 [圖31B]履歷預測運動向量候補清單更新處理之一例的說明圖。 [圖31C]履歷預測運動向量候補清單更新處理之一例的說明圖。 [圖32]L0預測且L0之參照圖像(RefL0Pic)是位於比處理對象圖像(CurPic)還前面之時刻之情況的運動補償預測的說明圖。 [圖33]L0預測且L0預測之參照圖像是位於比處理對象圖像還後面之時刻之情況的運動補償預測的說明圖。 [圖34]雙預測且L0預測之參照圖像是位於比處理對象圖像還前面之時刻，且L1預測之參照圖像是位於比處理對象圖像還後面之時刻之情況的運動補償預測之預測方向的說明圖。 [圖35]雙預測且L0預測之參照圖像與L1預測之參照圖像是位於比處理對象圖像還前面之時刻之情況的運動補償預測之預測方向的說明圖。 [圖36]雙預測且L0預測之參照圖像與L1預測之參照圖像是位於比處理對象圖像還後面之時刻之情況的運動補償預測之預測方向的說明圖。 [圖37]本發明的實施形態的編碼解碼裝置之硬體構成之一例的說明圖。 [圖38]藉由履歷預測運動向量候補清單之初期化而被追加的履歷預測運動向量候補之另一例的圖示。 [圖39]藉由履歷預測運動向量候補清單之初期化而被追加的履歷預測運動向量候補之另一例的圖示。 [圖40]藉由履歷預測運動向量候補清單之初期化而被追加的履歷預測運動向量候補之另一例的圖示。 [圖41]履歷預測運動向量候補清單之構成的說明圖。 [圖42]對履歷預測運動向量候補清單的追加之際，將開頭要素予以刪除之樣子的說明圖。 [圖43]對履歷預測運動向量候補清單的追加之際，在清單內將各要素做平移之樣子的說明圖。 [圖44]對履歷預測運動向量候補清單的追加之際，將新的要素予以追加之樣子的說明圖。 [圖45]第2實施形態的通常合併模式下的履歷預測運動向量候補清單之參照順序的說明圖。 [圖46]第2實施形態的通常預測運動向量模式下的履歷預測運動向量候補清單之參照順序的說明圖。 [圖47]第2實施形態的履歷預測運動向量候補導出處理程序的說明用流程圖。
101:區塊分割部
102:畫面間預測部
103:畫面內預測部
104:解碼影像記憶體
105:預測方法決定部
106:殘差生成部
107:正交轉換-量化部
108:位元列編碼部
109:逆量化-逆正交轉換部
110:解碼影像訊號重疊部
111:編碼資訊儲存記憶體

Claims (6)

  1. 一種影像編碼裝置，係屬於以動態影像之各圖像被分割而成之區塊單位而使用畫面間預測資訊所致之畫面間預測來將前記動態影像予以編碼的影像編碼裝置，其特徵為， 具備： 編碼資訊儲存部，係將畫面間預測中所使用的畫面間預測資訊，追加至履歷預測運動向量候補清單；和 空間預測運動向量候補導出部，係從處理對象區塊所相鄰的區塊，導出空間預測運動向量候補並追加至預測運動向量候補清單；和 時間預測運動向量候補導出部，係從與前記處理對象區塊位於同一位置或其附近的區塊，導出時間預測運動向量候補並追加至前記預測運動向量候補清單；和 履歷預測運動向量候補導出部，係從前記履歷預測運動向量候補清單中，導出履歷預測運動向量候補並追加至前記預測運動向量候補清單；和 空間合併候補導出部，係從前記處理對象區塊所相鄰的區塊，導出空間合併候補並追加至合併候補清單；和 時間合併候補導出部，係從與前記處理對象區塊位於同一位置或其附近的區塊，導出時間合併候補並追加至前記合併候補清單；和 履歷合併候補導出部，係從前記履歷預測運動向量候補清單，導出履歷合併候補並追加至前記合併候補清單；和 平均合併候補導出部，係將平均合併候補，其係具有：前記合併候補清單之中的2個合併候補所具有之運動向量進行平均所得的運動向量，予以導出，並追加至前記合併候補清單； 前記履歷預測運動向量候補導出部及履歷合併候補導出部，係將前記履歷預測運動向量候補清單中所含之候補以彼此互異之順序進行參照，而當作履歷預測運動向量候補、或履歷合併候補； 前記空間合併候補係為，相鄰於處理對象區塊的已處理區塊的畫面間預測資訊； 前記時間合併候補係為，從已處理影像中所屬之區塊且為位於與處理對象區塊同一位置或其附近之區塊的畫面間預測資訊所被導出的畫面間預測資訊。
  2. 一種影像編碼方法，係屬於以動態影像之各圖像被分割而成之區塊單位而使用畫面間預測資訊所致之畫面間預測來將前記動態影像予以編碼的影像編碼方法，其特徵為， 具備： 編碼資訊儲存步驟，係將畫面間預測中所使用的畫面間預測資訊，追加至履歷預測運動向量候補清單；和 空間預測運動向量候補導出步驟，係從處理對象區塊所相鄰的區塊，導出空間預測運動向量候補並追加至預測運動向量候補清單；和 時間預測運動向量候補導出步驟，係從與前記處理對象區塊位於同一位置或其附近的區塊，導出時間預測運動向量候補並追加至前記預測運動向量候補清單；和 履歷預測運動向量候補導出步驟，係從前記履歷預測運動向量候補清單中，導出履歷預測運動向量候補並追加至前記預測運動向量候補清單；和 空間合併候補導出步驟，係從前記處理對象區塊所相鄰的區塊，導出空間合併候補並追加至合併候補清單；和 時間合併候補導出步驟，係從與前記處理對象區塊位於同一位置或其附近的區塊，導出時間合併候補並追加至前記合併候補清單；和 履歷合併候補導出步驟，係從前記履歷預測運動向量候補清單，導出履歷合併候補並追加至前記合併候補清單；和 平均合併候補導出步驟，係將平均合併候補，其係具有：前記合併候補清單之中的2個合併候補所具有之運動向量進行平均所得的運動向量，予以導出，並追加至前記合併候補清單； 前記履歷預測運動向量候補導出步驟及履歷合併候補導出步驟，係將前記履歷預測運動向量候補清單中所含之候補以彼此互異之順序進行參照，而當作履歷預測運動向量候補、或履歷合併候補； 前記空間合併候補係為，相鄰於處理對象區塊的已處理區塊的畫面間預測資訊； 前記時間合併候補係為，從已處理影像中所屬之區塊且為位於與處理對象區塊同一位置或其附近之區塊的畫面間預測資訊所被導出的畫面間預測資訊。
  3. 一種影像編碼程式，係屬於以動態影像之各圖像被分割而成之區塊單位而使用畫面間預測資訊所致之畫面間預測來將前記動態影像予以編碼的影像編碼程式，其特徵為， 令電腦執行： 編碼資訊儲存步驟，係將畫面間預測中所使用的畫面間預測資訊，追加至履歷預測運動向量候補清單；和 空間預測運動向量候補導出步驟，係從處理對象區塊所相鄰的區塊，導出空間預測運動向量候補並追加至預測運動向量候補清單；和 時間預測運動向量候補導出步驟，係從與前記處理對象區塊位於同一位置或其附近的區塊，導出時間預測運動向量候補並追加至前記預測運動向量候補清單；和 履歷預測運動向量候補導出步驟，係從前記履歷預測運動向量候補清單中，導出履歷預測運動向量候補並追加至前記預測運動向量候補清單；和 空間合併候補導出步驟，係從前記處理對象區塊所相鄰的區塊，導出空間合併候補並追加至合併候補清單；和 時間合併候補導出步驟，係從與前記處理對象區塊位於同一位置或其附近的區塊，導出時間合併候補並追加至前記合併候補清單；和 履歷合併候補導出步驟，係從前記履歷預測運動向量候補清單，導出履歷合併候補並追加至前記合併候補清單；和 平均合併候補導出步驟，係將平均合併候補，其係具有：前記合併候補清單之中的2個合併候補所具有之運動向量進行平均所得的運動向量，予以導出，並追加至前記合併候補清單； 前記履歷預測運動向量候補導出步驟及履歷合併候補導出步驟，係將前記履歷預測運動向量候補清單中所含之候補以彼此互異之順序進行參照，而當作履歷預測運動向量候補、或履歷合併候補； 前記空間合併候補係為，相鄰於處理對象區塊的已處理區塊的畫面間預測資訊； 前記時間合併候補係為，從已處理影像中所屬之區塊且為位於與處理對象區塊同一位置或其附近之區塊的畫面間預測資訊所被導出的畫面間預測資訊。
  4. 一種影像解碼裝置，係屬於以動態影像之各圖像分割而成之區塊單位而使用畫面間預測資訊所致之畫面間預測來將前記動態影像予以編碼而成的位元列予以解碼的影像解碼裝置，其特徵為， 具備： 編碼資訊儲存部，係將畫面間預測中所使用過的畫面間預測資訊，追加至履歷預測運動向量候補清單；和 空間預測運動向量候補導出部，係從處理對象區塊所相鄰的區塊，導出空間預測運動向量候補並追加至預測運動向量候補清單；和 時間預測運動向量候補導出部，係從與前記處理對象區塊位於同一位置或其附近的區塊，導出時間預測運動向量候補並追加至前記預測運動向量候補清單；和 履歷預測運動向量候補導出部，係從前記履歷預測運動向量候補清單，導出履歷預測運動向量候補並追加至前記預測運動向量候補清單；和 空間合併候補導出部，係從前記處理對象區塊所相鄰的區塊，導出空間合併候補並追加至合併候補清單；和 時間合併候補導出部，係從與前記處理對象區塊位於同一位置或其附近的區塊，導出時間合併候補並追加至前記合併候補清單；和 履歷合併候補導出部，係從前記履歷預測運動向量候補清單，導出履歷合併候補並追加至前記合併候補清單；和 平均合併候補導出部，係將平均合併候補，其係具有：前記合併候補清單之中的2個合併候補所具有之運動向量進行平均所得的運動向量，予以導出，並追加至前記合併候補清單； 前記履歷預測運動向量候補導出部及履歷合併候補導出部，係將前記履歷預測運動向量候補清單中所含之候補以彼此互異之順序進行參照而當作履歷預測運動向量候補、或履歷合併候補； 前記空間合併候補係為，相鄰於處理對象區塊的已處理區塊的畫面間預測資訊； 前記時間合併候補係為，從已處理影像中所屬之區塊且為位於與處理對象區塊同一位置或其附近之區塊的畫面間預測資訊所被導出的畫面間預測資訊。
  5. 一種影像解碼方法，係屬於以動態影像之各圖像分割而成之區塊單位而使用畫面間預測資訊所致之畫面間預測來將前記動態影像予以編碼而成的位元列予以解碼的影像解碼方法，其特徵為， 具備： 編碼資訊儲存步驟，係將畫面間預測中所使用的畫面間預測資訊，追加至履歷預測運動向量候補清單；和 空間預測運動向量候補導出步驟，係從處理對象區塊所相鄰的區塊，導出空間預測運動向量候補並追加至預測運動向量候補清單；和 時間預測運動向量候補導出步驟，係從與前記處理對象區塊位於同一位置或其附近的區塊，導出時間預測運動向量候補並追加至前記預測運動向量候補清單；和 履歷預測運動向量候補導出步驟，係從前記履歷預測運動向量候補清單中，導出履歷預測運動向量候補並追加至前記預測運動向量候補清單；和 空間合併候補導出步驟，係從前記處理對象區塊所相鄰的區塊，導出空間合併候補並追加至合併候補清單；和 時間合併候補導出步驟，係從與前記處理對象區塊位於同一位置或其附近的區塊，導出時間合併候補並追加至前記合併候補清單；和 履歷合併候補導出步驟，係從前記履歷預測運動向量候補清單，導出履歷合併候補並追加至前記合併候補清單；和 平均合併候補導出步驟，係將平均合併候補，其係具有：前記合併候補清單之中的2個合併候補所具有之運動向量進行平均所得的運動向量，予以導出，並追加至前記合併候補清單； 前記履歷預測運動向量候補導出步驟及履歷合併候補導出步驟，係將前記履歷預測運動向量候補清單中所含之候補以彼此互異之順序進行參照，而當作履歷預測運動向量候補、或履歷合併候補； 前記空間合併候補係為，相鄰於處理對象區塊的已處理區塊的畫面間預測資訊； 前記時間合併候補係為，從已處理影像中所屬之區塊且為位於與處理對象區塊同一位置或其附近之區塊的畫面間預測資訊所被導出的畫面間預測資訊。
  6. 一種影像解碼程式，係屬於以動態影像之各圖像分割而成之區塊單位而使用畫面間預測資訊所致之畫面間預測來將前記動態影像予以編碼而成的位元列予以解碼的影像解碼程式，其特徵為， 令電腦執行： 編碼資訊儲存步驟，係將畫面間預測中所使用的畫面間預測資訊，追加至履歷預測運動向量候補清單；和 空間預測運動向量候補導出步驟，係從處理對象區塊所相鄰的區塊，導出空間預測運動向量候補並追加至預測運動向量候補清單；和 時間預測運動向量候補導出步驟，係從與前記處理對象區塊位於同一位置或其附近的區塊，導出時間預測運動向量候補並追加至前記預測運動向量候補清單；和 履歷預測運動向量候補導出步驟，係從前記履歷預測運動向量候補清單中，導出履歷預測運動向量候補並追加至前記預測運動向量候補清單；和 空間合併候補導出步驟，係從前記處理對象區塊所相鄰的區塊，導出空間合併候補並追加至合併候補清單；和 時間合併候補導出步驟，係從與前記處理對象區塊位於同一位置或其附近的區塊，導出時間合併候補並追加至前記合併候補清單；和 履歷合併候補導出步驟，係從前記履歷預測運動向量候補清單，導出履歷合併候補並追加至前記合併候補清單；和 平均合併候補導出步驟，係將平均合併候補，其係具有：前記合併候補清單之中的2個合併候補所具有之運動向量進行平均所得的運動向量，予以導出，並追加至前記合併候補清單； 前記履歷預測運動向量候補導出步驟及履歷合併候補導出步驟，係將前記履歷預測運動向量候補清單中所含之候補以彼此互異之順序進行參照，而當作履歷預測運動向量候補、或履歷合併候補； 前記空間合併候補係為，相鄰於處理對象區塊的已處理區塊的畫面間預測資訊； 前記時間合併候補係為，從已處理影像中所屬之區塊且為位於與處理對象區塊同一位置或其附近之區塊的畫面間預測資訊所被導出的畫面間預測資訊。
TW111120990A 2018-12-28 2019-12-03 影像編碼裝置、影像編碼方法、影像編碼程式、影像解碼裝置、影像解碼方法及影像解碼程式 TWI782887B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018-247412 2018-12-28
JP2018247412 2018-12-28
JP2019-082765 2019-04-24
JP2019082765 2019-04-24

Publications (2)

Publication Number Publication Date
TW202239210A true TW202239210A (zh) 2022-10-01
TWI782887B TWI782887B (zh) 2022-11-01

Family

ID=71127112

Family Applications (3)

Application Number Title Priority Date Filing Date
TW111138349A TWI829386B (zh) 2018-12-28 2019-12-03 影像編碼裝置、影像編碼方法、影像編碼程式、影像解碼裝置、影像解碼方法及影像解碼程式
TW111120990A TWI782887B (zh) 2018-12-28 2019-12-03 影像編碼裝置、影像編碼方法、影像編碼程式、影像解碼裝置、影像解碼方法及影像解碼程式
TW108144045A TWI766214B (zh) 2018-12-28 2019-12-03 影像編碼裝置、影像編碼方法、影像編碼程式、影像解碼裝置、影像解碼方法及影像解碼程式

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW111138349A TWI829386B (zh) 2018-12-28 2019-12-03 影像編碼裝置、影像編碼方法、影像編碼程式、影像解碼裝置、影像解碼方法及影像解碼程式

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW108144045A TWI766214B (zh) 2018-12-28 2019-12-03 影像編碼裝置、影像編碼方法、影像編碼程式、影像解碼裝置、影像解碼方法及影像解碼程式

Country Status (10)

Country Link
US (4) US11503277B2 (zh)
EP (1) EP3905689A4 (zh)
JP (5) JP6911912B2 (zh)
KR (2) KR102521264B1 (zh)
CN (5) CN116320478A (zh)
BR (1) BR112021012485B1 (zh)
MX (1) MX2021007754A (zh)
RU (1) RU2765206C1 (zh)
TW (3) TWI829386B (zh)
WO (1) WO2020137539A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI829386B (zh) * 2018-12-28 2024-01-11 日商Ｊｖｃ建伍股份有限公司 影像編碼裝置、影像編碼方法、影像編碼程式、影像解碼裝置、影像解碼方法及影像解碼程式
TWI800874B (zh) * 2021-07-21 2023-05-01 國立臺灣科技大學 高適應性影像編碼方法與影像辨識方法
TWI822482B (zh) * 2022-11-23 2023-11-11 大陸商北京集創北方科技股份有限公司 任意倍率圖像放大模塊、顯示驅動晶片、顯示裝置以及資訊處理裝置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3277111B2 (ja) 1995-10-18 2002-04-22 シャープ株式会社 動画像符号化装置および動画像復号化装置
US8514933B2 (en) 2005-03-01 2013-08-20 Qualcomm Incorporated Adaptive frame skipping techniques for rate controlled video encoding
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
CN105187839A (zh) * 2011-05-31 2015-12-23 Jvc建伍株式会社 动图像解码装置、动图像解码方法、接收装置及接收方法
GB2493755B (en) * 2011-08-17 2016-10-19 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of images
KR101999869B1 (ko) * 2011-10-19 2019-07-12 선 페이턴트 트러스트 화상 부호화 방법, 화상 부호화 장치, 화상 복호 방법, 및, 화상 복호 장치
JP5768662B2 (ja) * 2011-10-31 2015-08-26 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
KR20130050405A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 시간 후보자 결정방법
KR20130050403A (ko) 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
WO2013077659A1 (ko) * 2011-11-24 2013-05-30 에스케이텔레콤 주식회사 모션 벡터의 예측 부호화/복호화 방법 및 장치
CN102883163B (zh) * 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
JP5776713B2 (ja) * 2013-03-06 2015-09-09 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法、及び受信プログラム
CN106105191B (zh) * 2014-03-19 2018-08-10 株式会社Kt 用于处理多视图视频信号的方法和装置
US9854237B2 (en) * 2014-10-14 2017-12-26 Qualcomm Incorporated AMVP and merge candidate list derivation for intra BC and inter prediction unification
JP2017069862A (ja) * 2015-10-01 2017-04-06 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US10848758B2 (en) 2016-11-22 2020-11-24 Electronics And Telecommunications Research Institute Image encoding/decoding image method and device, and recording medium storing bit stream
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
CN108228428B (zh) * 2018-02-05 2021-09-21 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
US10924731B2 (en) * 2018-08-28 2021-02-16 Tencent America LLC Complexity constraints on merge candidates list construction
US11070796B2 (en) * 2018-09-28 2021-07-20 Qualcomm Incorporated Ultimate motion vector expression based pruning for video coding
US11051034B2 (en) * 2018-10-08 2021-06-29 Qualcomm Incorporated History-based motion vector predictor
JP2020088451A (ja) 2018-11-16 2020-06-04 シャープ株式会社 動画像復号装置および動画像符号化装置
US11184633B2 (en) * 2018-11-27 2021-11-23 Qualcomm Incorporated Simplification of history-based motion vector prediction
US11394989B2 (en) * 2018-12-10 2022-07-19 Tencent America LLC Method and apparatus for video coding
TWI829386B (zh) 2018-12-28 2024-01-11 日商Ｊｖｃ建伍股份有限公司 影像編碼裝置、影像編碼方法、影像編碼程式、影像解碼裝置、影像解碼方法及影像解碼程式

Also Published As

Publication number Publication date
TW202029772A (zh) 2020-08-01
US11785211B2 (en) 2023-10-10
US20230319263A1 (en) 2023-10-05
JP7409365B2 (ja) 2024-01-09
JP2020182209A (ja) 2020-11-05
JP6911912B2 (ja) 2021-07-28
JP2021182740A (ja) 2021-11-25
RU2765206C1 (ru) 2022-01-26
EP3905689A1 (en) 2021-11-03
JP2022008368A (ja) 2022-01-13
US11979562B2 (en) 2024-05-07
TWI829386B (zh) 2024-01-11
BR112021012485A2 (pt) 2021-09-08
CN116233465A (zh) 2023-06-06
KR20230051320A (ko) 2023-04-17
BR112021012485B1 (pt) 2022-05-03
JP7218777B2 (ja) 2023-02-07
TW202306389A (zh) 2023-02-01
US20230319264A1 (en) 2023-10-05
JP2024023745A (ja) 2024-02-21
CN116320479A (zh) 2023-06-23
RU2022101113A (ru) 2022-01-26
TWI782887B (zh) 2022-11-01
US11503277B2 (en) 2022-11-15
CN116320478A (zh) 2023-06-23
EP3905689A4 (en) 2022-09-28
WO2020137539A1 (ja) 2020-07-02
JP2022036091A (ja) 2022-03-04
CN112929674B (zh) 2022-04-12
CN112470477A (zh) 2021-03-09
CN112929674A (zh) 2021-06-08
MX2021007754A (es) 2021-08-05
US20210329224A1 (en) 2021-10-21
US20230031948A1 (en) 2023-02-02
TWI766214B (zh) 2022-06-01
KR20210011452A (ko) 2021-02-01
KR102521264B1 (ko) 2023-04-12

Similar Documents

Publication Publication Date Title
JP7445936B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
TWI782887B (zh) 影像編碼裝置、影像編碼方法、影像編碼程式、影像解碼裝置、影像解碼方法及影像解碼程式
JP7140224B2 (ja) 動画像復号装置、動画像復号方法、動画像復号プログラム、動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP7457924B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、及びデータ構造
JP7318700B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP7251579B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
KR102584235B1 (ko) 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
CN113068038B (zh) 动图像解码装置、动图像解码方法、动图像解码程序
TW202415072A (zh) 影像編碼裝置、影像編碼方法、影像編碼程式、影像解碼裝置、影像解碼方法、影像解碼程式、儲存方法及送訊方法