TW201717622A - 動態影像解碼裝置、動態影像解碼方法及動態影像解碼程式 - Google Patents

動態影像解碼裝置、動態影像解碼方法及動態影像解碼程式 Download PDF

Info

Publication number
TW201717622A
TW201717622A TW105142270A TW105142270A TW201717622A TW 201717622 A TW201717622 A TW 201717622A TW 105142270 A TW105142270 A TW 105142270A TW 105142270 A TW105142270 A TW 105142270A TW 201717622 A TW201717622 A TW 201717622A
Authority
TW
Taiwan
Prior art keywords
prediction
candidate
inter
merge
block
Prior art date
Application number
TW105142270A
Other languages
English (en)
Other versions
TWI578760B (zh
Inventor
Hiroya Nakamura
Shigeru Fukushima
Hideki Takehara
Original Assignee
Jvc Kenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jvc Kenwood Corp filed Critical Jvc Kenwood Corp
Priority claimed from JP2013083577A external-priority patent/JP6020323B2/ja
Priority claimed from JP2013083578A external-priority patent/JP5633597B2/ja
Application granted granted Critical
Publication of TWI578760B publication Critical patent/TWI578760B/zh
Publication of TW201717622A publication Critical patent/TW201717622A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Liquid Crystal Substances (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

畫面間預測資訊導出部(104)，係根據編碼對象之預測區塊所相鄰之預測區塊、或是與編碼對象之預測區塊不同時間之已編碼圖像中的存在於與編碼對象之預測區塊同一位置或其附近之預測區塊的畫面間預測資訊，導出畫面間預測資訊之候補。有效合併候補補充部(135)係當畫面間預測資訊之候補數是未滿所被指定之候補數時，則一直補充預測模式、參照索引及運動向量值為相同的畫面間預測資訊之候補，直到變成所被指定之候補數為止。

Description

動態影像解碼裝置、動態影像解碼方法及動態影像解碼程式
本發明係有關於動態影像編碼及解碼技術，尤其是有關於利用了運動補償預測的動態影像編碼及解碼技術。
動態影像的壓縮編碼方式的具有代表性者，係有MPEG-4 AVC/H.264規格。在MPEG-4 AVC/H.264中，是將圖像分割成複數矩形區塊，將已經編碼．解碼的圖像當作參照圖像，預測從參照圖像起算的運動，是使用此種運動補償。藉由該運動補償來預測運動的手法，稱作畫面間預測或運動補償預測。在MPEG-4 AVC/H.264的畫面間預測中，係可將複數圖像當作參照圖像來使用，從這些複數參照圖像中，針對每一區塊而選擇出最佳的參照圖像，來進行運動補償。於是，對各個參照圖像係分配了參照索引，藉由該參照索引，以特定出參照圖像。此外，在B圖像中，係從已編碼．解碼之參照圖像中最多選擇出2張來使用於畫面間預測。將從這2張參照圖像起的預測， 分別區別為主要使用於前方向預測的L0預測(清單0預測)、主要使用於後方向預測的L1預測(清單1預測)。
然後，還定義有同時會使用L0預測與L1預測這2種畫面間預測的雙預測。在雙預測時，係進行雙向的預測，對L0預測、L1預測之各個畫面間預測到的訊號乘上加權係數，加算偏置值而予以重疊，生成最終的畫面間預測影像訊號。加權預測中所使用的加權係數及偏置值，係以圖像單位來對各清單的每一參照圖像設定了代表性的值，並被編碼。在關於畫面間預測的編碼資訊中，係對每一區塊，具有用來區別L0預測、L1預測、雙預測的預測模式、對每一區塊的每一參照清單，具有用來特定參照圖像的參照索引、表示區塊之移動方向．移動量的運動向量，將這些編碼資訊予以編碼．解碼。
然後，在MPEG-4 AVC/H.264中係還定義有，根據已編碼/解碼之區塊的畫面間預測資訊來生成編碼/解碼對象區塊之畫面間預測資訊的直接模式。直接模式係不需要畫面間預測資訊的編碼，因此編碼效率會提升。
關於利用時間方向的畫面間預測資訊之相關的時間直接模式，使用圖36來說明。將L1之參照索引被登錄成0的圖像，當作基準圖像colPic。將基準圖像colPic內與編碼/解碼對象區塊相同位置的區塊，當作基準區塊。
若基準區塊是使用L0預測而被編碼，則將基 準區塊的L0之運動向量當作基準運動向量mvCol，若基準區塊是沒有使用L0預測而被編碼，而是使用L1預測而被編碼，則將基準區塊的L1之運動向量當作基準運動向量mvCol。將基準運動向量mvCol所參照之圖像當作時間直接模式的L0之參照圖像，將基準圖像colPic當作時間直接模式的L1之參照圖像。
從基準運動向量mvCol藉由比例縮放演算處理而導出時間直接模式的L0之運動向量mvL0與L1之運動向量mvL1。
從基準圖像colPic的POC，減去時間直接模式的L0之參照圖像的POC而導出圖像間距離td。此外，POC係為與被編碼之圖像建立關連的變數，是被設定了隨圖像之輸出/顯示順序而每次增加1之值。2個圖像的POC的差係表示時間軸方向的圖像間距離。
td=基準圖像colPic的POC-時間直接模式的L0之參照圖像的POC
從編碼/解碼對象圖像之POC減去時間直接模式的L0之參照圖像的POC而導出圖像間距離tb。
tb=編碼/解碼對象圖像之POC-時間直接模式的L0之參照圖像的POC
從基準運動向量mvCol藉由比例縮放演算處理而導出時間直接模式的L0之運動向量mvL0。
mvL0=tb/td * mvCol
從時間直接模式的L0之運動向量mvL0減去 基準運動向量mvCol而導出L1之運動向量mvL1。
mvL1=mvL0-mvCol
此外，當動態影像編碼裝置、動態影像解碼裝置的處理能力較低時，亦可省略時間直接模式之處理。
〔先前技術文獻〕 〔專利文獻〕
[專利文獻1]日本特開2004-129191號公報
此種狀況下，本發明人們係在使用運動補償預測的動態影像編碼方式中，意識到了將編碼資訊更進一步壓縮，以削減整體編碼量的必要性。
本發明係有鑑於此種狀況而研發，其目的在於，提供一種藉由隨著狀況來導出運動補償預測中所使用之預測資訊之候補，謀求編碼資訊的編碼量之削減而提升編碼效率的動態影像編碼及解碼技術。
提供一種動態影像解碼裝置，係屬於以動態影像之各圖像分割而成之區塊單位而使用合併候補之畫面間預測資訊所致之畫面間預測來將前記動態影像予以編碼而成的編碼位元列予以解碼的動態影像解碼裝置，其特徵為，具備：預測資訊解碼部，係預先將表示所被指定之合併候補之數目的資訊，予以解碼；和預測資訊導出部，係根據解碼對象之預測區塊所相鄰之預測區塊、或是與解碼 對象之預測區塊不同時間之已解碼圖像中的存在於與前記解碼對象之預測區塊同一位置或其附近之預測區塊的畫面間預測資訊，導出前記合併候補；和候補清單建構部，係根據前記所被導出之合併候補，來建構出合併候補清單；和第1候補補充部，係對前記已被建構之合併候補清單重複執行第1處理，其係將對運動向量是設定了第1數、對參照索引是設定了第2數而成的合併候補，予以追加；和第2候補補充部，係當已執行過前記第1處理的合併候補清單中所含之合併候補之數目是未滿前記所被預先指定之合併候補之數目時，則對已執行過前記第1處理的前記合併候補清單重複執行第2處理，其係將對運動向量是設定了前記第1數、對參照索引是設定了第3數而成的合併候補，予以追加，直到已執行過前記第1處理的前記合併候補清單中所含之合併候補之數目，達到前記所被預先指定之合併候補之數目為止；和運動補償預測部，係從已經達到前記所被預先指定之合併候補之數目的合併候補清單中所含之合併候補中，選擇出1個合併候補，藉由該所被選擇之合併候補的畫面間預測資訊，來進行前記解碼對象之預測區塊的畫面間預測；前記第1數係為在每次的前記第1處理及前記第2處理中值都不會有所不同的所定值；前記第2數係為在每次前記第1處理中值會有所不同的變數；前記第3數係為在每次的前記第2處理中值都不會有所不同的所定值。
提供一種動態影像解碼方法，係屬於以動態 影像之各圖像分割而成之區塊單位而使用合併候補之畫面間預測資訊所致之畫面間預測來將前記動態影像予以編碼而成的編碼位元列予以解碼的動態影像解碼方法，其特徵為，具備：預測資訊解碼步驟，係預先將表示所被指定之合併候補之數目的資訊，予以解碼；和預測資訊導出步驟，係根據解碼對象之預測區塊所相鄰之預測區塊、或是與解碼對象之預測區塊不同時間之已解碼圖像中的存在於與前記解碼對象之預測區塊同一位置或其附近之預測區塊的畫面間預測資訊，導出前記合併候補；和候補清單建構步驟，係根據前記所被導出之合併候補，來建構出合併候補清單；和第1候補補充步驟，係對前記已被建構之合併候補清單重複執行第1處理，其係將對運動向量是設定了第1數、對參照索引是設定了第2數而成的合併候補，予以追加；和第2候補補充步驟，係當已執行過前記第1處理的合併候補清單中所含之合併候補之數目是未滿前記所被預先指定之合併候補之數目時，則對已執行過前記第1處理的前記合併候補清單重複執行第2處理，其係將對運動向量是設定了前記第1數、對參照索引是設定了第3數而成的合併候補，予以追加，直到已執行過前記第1處理的前記合併候補清單中所含之合併候補之數目，達到前記所被預先指定之合併候補之數目為止；和運動補償預測步驟，係從已經達到前記所被預先指定之合併候補之數目的合併候補清單中所含之合併候補中，選擇出1個合併候補，藉由該所被選擇之合併候補的畫面間預測資訊，來進 行前記解碼對象之預測區塊的畫面間預測；前記第1數係為在每次的前記第1處理及前記第2處理中值都不會有所不同的所定值；前記第2數係為在每次前記第1處理中值會有所不同的變數；前記第3數係為在每次的前記第2處理中值都不會有所不同的所定值。
提供一種動態影像解碼程式，係屬於將編碼位元列予以解碼的動態影像解碼程式，該編碼位元列係以動態影像之各圖像所分割而成之區塊單位、使用合併候補之畫面間預測資訊所致之畫面間預測而將前記動態影像予以編碼而成者；其特徵為，係令電腦執行：預測資訊解碼步驟，係預先將表示所被指定之合併候補之數目的資訊，予以解碼；和預測資訊導出步驟，係根據解碼對象之預測區塊所相鄰之預測區塊、或是與解碼對象之預測區塊不同時間之已解碼圖像中的存在於與前記解碼對象之預測區塊同一位置或其附近之預測區塊的畫面間預測資訊，導出前記合併候補；和候補清單建構步驟，係根據前記所被導出之合併候補，來建構出合併候補清單；和第1候補補充步驟，係對前記已被建構之合併候補清單重複執行第1處理，其係將對運動向量是設定了第1數、對參照索引是設定了第2數而成的合併候補，予以追加；和第2候補補充步驟，係當已執行過前記第1處理的合併候補清單中所含之合併候補之數目是未滿前記所被預先指定之合併候補之數目時，則對已執行過前記第1處理的前記合併候補清單重複執行第2處理，其係將對運動向量是設定了前記第1 數、對參照索引是設定了第3數而成的合併候補，予以追加，直到已執行過前記第1處理的前記合併候補清單中所含之合併候補之數目，達到前記所被預先指定之合併候補之數目為止；和運動補償預測步驟，係從已經達到前記所被預先指定之合併候補之數目的合併候補清單中所含之合併候補中，選擇出1個合併候補，藉由該所被選擇之合併候補的畫面間預測資訊，來進行前記解碼對象之預測區塊的畫面間預測；前記第1數係為在每次的前記第1處理及前記第2處理中值都不會有所不同的所定值；前記第2數係為在每次前記第1處理中值會有所不同的變數；前記第3數係為在每次的前記第2處理中值都不會有所不同的所定值。
此外，即使將以上構成要素之任意組合、本發明之表現，在方法、裝置、系統、記錄媒體、電腦程式等之間做轉換而成者，對本發明的態樣而言皆為有效。
若依據本發明，則藉由隨著狀況來導出運動補償預測中所使用之預測資訊之候補，而削減所傳輸之編碼資訊的發生編碼量，可促使編碼效率提升。
101‧‧‧影像記憶體
117‧‧‧標頭資訊設定部
102‧‧‧運動向量偵測部
103‧‧‧差分運動向量算出部
104‧‧‧畫面間預測資訊導出部
105‧‧‧運動補償預測部
106‧‧‧畫面內預測部
107‧‧‧預測方法決定部
108‧‧‧殘差訊號生成部
109‧‧‧正交轉換‧量化部
118‧‧‧第1編碼位元列生成部
110‧‧‧第2編碼位元列生成部
111‧‧‧第3編碼位元列生成部
112‧‧‧多工化部
113‧‧‧逆量化‧逆正交轉換部
114‧‧‧解碼影像訊號重疊部
115‧‧‧編碼資訊儲存記憶體
116‧‧‧解碼影像記憶體
130‧‧‧合併候補清單生成部
131‧‧‧空間合併候補生成部
132‧‧‧時間合併候補之參照索引導出部
133‧‧‧時間合併候補生成部
134‧‧‧追加合併候補生成部
135‧‧‧有效合併候補補充部
136‧‧‧合併候補限制部
137‧‧‧畫面間預測資訊選擇部
201‧‧‧分離部
212‧‧‧第1編碼位元列解碼部
202‧‧‧第2編碼位元列解碼部
203‧‧‧第3編碼位元列解碼部
204‧‧‧運動向量算出部
205‧‧‧畫面間預測資訊導出部
206‧‧‧運動補償預測部
207‧‧‧畫面內預測部
208‧‧‧逆量化‧逆正交轉換部
209‧‧‧解碼影像訊號重疊部
210‧‧‧編碼資訊儲存記憶體
211‧‧‧解碼影像記憶體
230‧‧‧合併候補清單生成部
231‧‧‧空間合併候補生成部
232‧‧‧時間合併候補之參照索引導出部
233‧‧‧時間合併候補生成部
234‧‧‧追加合併候補生成部
235‧‧‧有效合併候補補充部
236‧‧‧合併候補限制部
237‧‧‧畫面間預測資訊選擇部
[圖1]執行實施形態所述之運動向量之預測方法的動態影像編碼裝置之構成的區塊圖。
[圖2]執行實施形態所述之運動向量之預測方法的動 態影像解碼裝置之構成的區塊圖。
[圖3]樹區塊、編碼區塊的說明圖。
[圖4]預測區塊之分割模式的說明圖。
[圖5]合併模式下的空間合併候補之預測區塊的說明圖。
[圖6]合併模式下的空間合併候補之預測區塊的說明圖。
[圖7]合併模式下的空間合併候補之預測區塊的說明圖。
[圖8]合併模式下的空間合併候補之預測區塊的說明圖。
[圖9]合併模式下的時間合併候補之預測區塊的說明圖。
[圖10]關於合併模式的預測區塊單位的位元串流之語法的說明圖。
[圖11]合併索引之語法要素的熵編碼之一例的說明圖。
[圖12]第1實施例的圖1之動態影像編碼裝置的畫面間預測資訊導出部的詳細構成的區塊圖。
[圖13]第1實施例的圖2之動態影像解碼裝置的畫面間預測資訊導出部的詳細構成的區塊圖。
[圖14]合併模式下的與處理對象之預測區塊相鄰之預測區塊的說明圖。
[圖15]第1實施例的合併模式的合併候補的導出處理 及合併候補清單的建構處理的說明用流程圖。
[圖16]合併模式的空間合併候補導出處理程序的說明用流程圖。
[圖17]時間合併候補的參照索引的導出處理中所參照之相鄰區塊的說明圖。
[圖18]合併模式的時間合併候補之參照索引的導出處理程序的說明用流程圖。
[圖19]合併模式的時間合併候補導出處理程序的說明用流程圖。
[圖20]合併模式的不同時間之圖像的導出處理程序的說明用流程圖。
[圖21]合併模式的不同時間之圖像的預測區塊之導出處理程序的說明用流程圖。
[圖22]合併模式的時間合併候補導出處理程序的說明用流程圖。
[圖23]合併模式的時間合併候補導出處理程序的說明用流程圖。
[圖24]運動向量的比例縮放演算處理程序的說明用流程圖。
[圖25]運動向量的比例縮放演算處理程序的說明用流程圖。
[圖26]合併模式的追加合併候補導出處理程序的說明用流程圖。
[圖27]合併候補限制處理程序的說明用流程圖。
[圖28]第2~7之實施例的圖1之動態影像編碼裝置的畫面間預測資訊導出部的詳細構成的區塊圖。
[圖29]第2~7之實施例的圖2之動態影像解碼裝置的畫面間預測資訊導出部的詳細構成的區塊圖。
[圖30]第2~7實施例的合併模式的合併候補的導出處理及合併候補清單的建構處理的說明用流程圖。
[圖31]第2實施例的合併模式的有效合併候補補充處理程序的說明用流程圖。
[圖32]第3實施例的合併模式的有效合併候補補充處理程序的說明用流程圖。
[圖33]第4實施例的合併模式的有效合併候補補充處理程序的說明用流程圖。
[圖34]第5實施例的合併模式的追加合併候補導出處理及有效合併候補補充處理程序的說明用流程圖。
[圖35]第6~7實施例的合併模式的將已被初期化之畫面間預測資訊當作合併候補而設成有效的處理程序的說明用流程圖。
[圖36]先前之MPEG-4 AVC/H.264的時間直接模式的說明圖。
[圖37]動態影像編碼裝置的畫面間預測資訊導出部的畫面間預測資訊選擇部的處理程序的說明用流程圖。
[圖38]動態影像解碼裝置的畫面間預測資訊導出部的畫面間預測資訊選擇部的處理程序的說明用流程圖。
在本實施形態中，關於動態影像的編碼，尤其是將圖像分割成任意尺寸、形狀之矩形區塊，為了提升在圖像間以區塊單位進行運動補償的動態影像編碼的編碼效率，而從編碼對象區塊所相鄰之區塊或已編碼之圖像的區塊之運動向量，導出複數預測運動向量，算出編碼對象之區塊的運動向量與所被選擇之預測運動向量的差分向量而予以編碼，藉此以削減編碼量。或藉由利用編碼對象區塊所相鄰之區塊或已編碼圖像之區塊之編碼資訊，導出編碼對象區塊的編碼資訊，藉此以削減編碼量。又，在動態影像之解碼時，係從解碼對象區塊所相鄰之區塊或已解碼之圖像的區塊之運動向量，算出複數預測運動向量，根據從編碼串流所解碼出來之差分向量與所被選擇之預測運動向量，來算出解碼對象之區塊的運動向量然後予以解碼。或藉由利用解碼對象區塊所相鄰之區塊或已解碼圖像之區塊之編碼資訊，導出解碼對象區塊的編碼資訊。
首先定義本實施形態中所使用的技術、及技術用語。
(關於樹區塊、編碼區塊)
在實施形態中，圖像被1或複數分割而成之切片，係為編碼的基本單位，每一切片係被設定有表示切片種類的資訊亦即切片類型。如圖3所示，將切片內均等分割成任意之同一尺寸的正方之矩形單位。將此單位定義為樹區 塊，是用來在切片內將編碼/解碼對象區塊(編碼處理時係為編碼對象區塊、解碼處理時係為解碼對象區塊。以下若無特別聲明則都是如此意思)加以特定所需之位址管理的基本單位。單色除外的樹區塊，係由1個亮度訊號與2個色差訊號所構成。樹區塊的尺寸係隨應於圖像尺寸或圖像內的紋理，而可自由設定成2的次方數的尺寸。樹區塊係會隨著圖像內的紋理，為了使編碼處理最佳化，而可因應需要而將樹區塊內的亮度訊號及色差訊號做階層式地4分割(縱橫各2分割)，變成區塊尺寸更小的區塊。將此區塊分別定義為編碼區塊，是進行編碼及解碼之際的處理的基本單位。單色除外的編碼區塊，也是由1個亮度訊號與2個色差訊號所構成。編碼區塊的最大尺寸係和樹區塊的尺寸相同。編碼區塊的最小尺寸之編碼區塊稱作最小編碼區塊，可自由設定成2的次方數的尺寸。
於圖3中，編碼區塊A係不將樹區塊做分割，而當作1個編碼區塊。編碼區塊B係為將樹區塊做4分割而成的編碼區塊。編碼區塊C係為將樹區塊做4分割而成的區塊再做4分割而成的編碼區塊。編碼區塊D係為將樹區塊做4分割而成的區塊再階層式地二度做4分割而成的編碼區塊，是最小尺寸的編碼區塊。
(關於預測模式)
以編碼區塊單位，切換著根據編碼/解碼對象圖像內的已編碼/解碼(在編碼處理時係用於將已編碼之訊號進行 解碼後的圖像、預測區塊、影像訊號等，在解碼處理時係用於已解碼之圖像、預測區塊、影像訊號等。以下，只要沒有特別聲明，就照該意義來使用)的周圍之影像訊號來進行預測的畫面內預測(MODE_INTRA)、及根據已編碼/解碼的圖像之影像訊號來進行預測的畫面間預測(MODE_INTER)。將用來識別該畫面內預測(MODE_INTRA)與畫面間預測(MODE_INTER)的模式，定義成預測模式(PredMode)。預測模式(PredMode)係具有畫面內預測(MODE_INTRA)、或畫面間預測(MODE_INTER)之值，可選擇而編碼。
(關於分割模式、預測區塊、預測單元)
將圖像內分割成區塊來進行畫面內預測(MODE_INTRA)及畫面間預測(MODE_INTER)時，為了使畫面內預測及畫面間預測之方法的切換單位更小，會因應需要而將編碼區塊進行分割然後進行預測。將用來識別該編碼區塊之亮度訊號與色差訊號的分割方法的模式，定義成分割模式(PartMode)。然後，還將該已被分割之區塊，定義成預測區塊。如圖4所示，隨著編碼區塊的亮度訊號的分割方法，定義8種分割模式(PartMode)。
將圖4(a)所示未將編碼區塊之亮度訊號做分割而視為1個預測區塊的分割模式(PartMode)，定義為2N×2N分割(PART_2Nx2N)。將圖4(b)、(c)、(d)所示未將編碼區塊之亮度訊號分割成上下並排之2個預測區塊的分 割模式(PartMode)，分別定義為2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)。但是，2N×N分割(PART_2NxN)係為上下以1：1之比率做分割的分割模式，2N×nU分割(PART_2NxnU)係為上下以1：3之比率做分割的分割模式，2N×nD分割(PART_2NxnD)係為上下以3：1之比率做分割的分割模式。將圖4(e)、(f)、(g)所示未將編碼區塊之亮度訊號分割成左右並排之2個預測區塊的分割模式(PartMode)，分別定義為N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)。但是，N×2N分割(PART_Nx2N)係為左右以1：1之比率做分割的分割模式，nL×2N分割(PART_nLx2N)係為左右以1：3之比率做分割的分割模式，nR×2N分割(PART_nRx2N)係為左右以3：1之比率做分割的分割模式。將圖4(h)所示的編碼區塊的亮度訊號做上下左右4分割，而將變成4個預測區塊的分割模式(PartMode)，分別定義為N×N分割(PART_NxN)。
此外，各分割模式(PartMode)皆分別是以和亮度訊號之縱橫分割比率同樣地，分割色差訊號。
於編碼區塊內部，為了特定各預測區塊，而將從0開始的號碼，以編碼順序，對存在於編碼區塊內部的預測區塊進行分配。將該號碼定義為分割索引PartIdx。圖4的編碼區塊的各預測區塊之中所記述的數字，係表示該預測區塊的分割索引PartIdx。在圖4(b)、 (c)、(d)所示的2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)中，令上方的預測區塊的分割索引PartIdx為0，令下方的預測區塊的分割索引PartIdx為1。在圖4(e)、(f)、(g)所示的N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)中，令左方的預測區塊的分割索引PartIdx為0，令右方的預測區塊的分割索引PartIdx為1。在圖4(h)所示的N×N分割(PART_NxN)中，令左上方的預測區塊的分割索引PartIdx為0，令右上方的預測區塊的分割索引PartIdx為1，令左下方的預測區塊的分割索引PartIdx為2，令右下方的預測區塊的分割索引PartIdx為3。
在預測模式(PredMode)為畫面間預測(MODE_INTER)時，分割模式(PartMode)係定義2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)、N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、及nR×2N分割(PART_nRx2N)。僅最小編碼區塊的編碼區塊D，分割模式(PartMode)係除了2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)、N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、及nR×2N分割(PART_nRx2N)之外還可定義N×N分割(PART_NxN)，但在本實施形態中係設計成，分割模式(PartMode)係沒有定 義N×N分割(PART_NxN)。
在預測模式(PredMode)為畫面內預測(MODE_INTRA)時，除了最小編碼區塊亦即編碼區塊D以外，分割模式(PartMode)係僅定義2N×2N分割(PART_2Nx2N)，僅最小編碼區塊的編碼區塊D，分割模式(PartMode)係除了2N×2N分割(PART_2Nx2N)以外還定義了N×N分割(PART_NxN)。此外，最小編碼區塊以外不定義N×N分割(PART_NxN)的理由是，在最小編碼區塊以外，無法將編碼區塊做4分割而表現更小的編碼區塊。
(樹區塊、編碼區塊、預測區塊、轉換區塊之位置)
本實施形態的樹區塊、編碼區塊、預測區塊、轉換區塊為首的各區塊之位置，係令亮度訊號的畫面之最左上之亮度訊號的像素位置為原點(0,0)，將各個區塊領域中所包含之最左上的亮度訊號之像素位置，以(x,y)的二維座標來表示。座標軸的方向係水平方向朝右的方向、垂直方向朝下的方向分別令為正的方向，單位係為亮度訊號的1像素單位。亮度訊號與色差訊號上影像尺寸(像素數)是相同的色差格式是4：4：4時不用說，亮度訊號與色差訊號上影像尺寸(像素數)是不同的色差格式是4：2：0、4：2：2的情況下，也將色差訊號的各區塊之位置以該區塊之領域中所包含之亮度訊號的像素之座標來表示，單位係為亮度訊號的1像素。藉由如此設計，不但可以特定色差訊號的各區塊之位置，只需藉由比較座標之值，亮度訊號 的區塊與色差訊號的區塊之位置關係也很明確。
(關於畫面間預測模式、參照清單)
在本發明的實施形態中，在從已編碼/解碼之圖像的影像訊號進行預測的畫面間預測下，可將複數個已解碼之圖像，當作參照圖像來使用。為了特定從複數參照圖像中所選擇出來的參照圖像，而對每一預測區塊，賦予參照索引。在B切片係可對每預測區塊選擇任意2張參照圖像來進行畫面間預測，作為畫面間預測模式係有L0預測(Pred_L0)、L1預測(Pred_L1)、雙預測(Pred_BI)。參照圖像係被清單結構的L0(參照清單0)與L1(參照清單1)所管理，藉由指定L0或L1之參照索引，就可特定參照圖像。L0預測(Pred_L0)係為參照受L0所管理之參照圖像的畫面間預測，L1預測(Pred_L1)係為參照受L1所管理之參照圖像的畫面間預測，雙預測(Pred_BI)係為L0預測與L1預測都會被進行，是參照著受L0與L1所分別管理之各1個參照圖像的畫面間預測。在P切片的畫面間預測上係可僅使用L0預測，在B切片的畫面間預測上係可使用L0預測、L1預測、將L0預測與L1預測進行平均或加算加權之雙預測(Pred_BI)。以後的處理中，關於輸出附加有字尾LX之定數、變數，係以針對L0、L1個別進行處理為前提。
(合併模式、合併候補)
所謂合併模式，係並非將編碼/解碼對象之預測區塊的預測模式、參照索引、運動向量等之畫面間預測資訊予以編碼/解碼，而是從與編碼/解碼對象預測區塊在同一圖像內且該編碼/解碼對象預測區塊所相鄰的預測區塊、或是與編碼/解碼對象預測區塊不同時間之已編碼/解碼圖像的存在於與編碼/解碼對象預測區塊同一位置或其附近(附近之位置)的預測區塊的畫面間預測資訊，導出編碼/解碼對象預測區塊的畫面間預測資訊，藉此以進行畫面間預測的模式。將與編碼/解碼對象預測區塊在同一圖像內且該編碼/解碼對象預測區塊所相鄰的預測區塊及該預測區塊之畫面間預測資訊，稱作空間合併候補，將從與編碼/解碼對象預測區塊不同時間之已編碼/解碼圖像的存在於與編碼/解碼對象預測區塊同一位置或其附近(附近之位置)的預測區塊及該預測區塊之畫面間預測資訊所導出的畫面間預測資訊，稱作時間合併候補。各個合併候補係被登錄至合併候補清單，藉由合併索引來特定出，在畫面間預測時所使用的合併候補。
(關於相鄰之預測區塊)
圖5、圖6、圖7及圖8係空間合併候補之導出、及時間合併候補之參照索引之導出之際所參照的與編碼/解碼對象預測區塊在同一圖像內且該編碼/解碼對象預測區塊所相鄰的預測區塊的說明圖。圖9係為，時間合併候補的導出之際所參照的與編碼/解碼對象預測區塊不同時間 之已編碼/解碼圖像中，存在於與編碼/解碼對象預測區塊同一位置或其附近的已編碼/解碼之預測區塊的說明圖。使用圖5、圖6、圖7、圖8及圖9來說明編碼/解碼對象預測區塊的空間方向上相鄰之預測區塊、及不同時間的同一位置之預測區塊。
如圖5所示，將與編碼/解碼對象之預測區塊在同一圖像內且該編碼/解碼對象之預測區塊之左側邊相鄰的預測區塊A、上側邊所相鄰之預測區塊B、右上頂點所相鄰之預測區塊C、左下頂點所相鄰之預測區塊D、及左上頂點所相鄰之預測區塊E，定義為空間方向上相鄰的預測區塊。
此外，如圖6所示，當編碼/解碼對象之預測區塊的左側邊相鄰之預測區塊的尺寸是小於編碼/解碼對象之預測區塊，且複數存在時，則在本實施形態中係在左側邊相鄰之預測區塊之中僅將最下方的預測區塊A10視作左側邊相鄰之預測區塊A。
同樣地，當編碼/解碼對象之預測區塊的上側邊相鄰之預測區塊的尺寸是小於編碼/解碼對象之預測區塊，且複數存在時，則在本實施形態中係在左側邊相鄰之預測區塊之中僅將最右方的預測區塊B10視作上側邊相鄰之預測區塊B。
此外，如圖7所示，當編碼/解碼對象之預測區塊的左側相鄰之預測區塊F的尺寸是大於編碼/解碼對象之預測區塊時，仍依照前記條件，若左側相鄰之預測區 塊F是有相鄰於該編碼/解碼對象之預測區塊之左側邊則視作預測區塊A，若相鄰於編碼/解碼對象之預測區塊之左下頂點則視作預測區塊D，若相鄰於編碼/解碼對象之預測區塊之左上頂點則視作預測區塊E。在圖7的例子中，預測區塊A、預測區塊D及預測區塊E係為同一預測區塊。
此外，如圖8所示，當編碼/解碼對象之預測區塊的上側相鄰之預測區塊G的尺寸是大於編碼/解碼對象之預測區塊時，仍依照前記條件，若上側相鄰之預測區塊G是有相鄰於該編碼/解碼對象之預測區塊之上側邊則視作預測區塊B，若相鄰於編碼/解碼對象之預測區塊之右上頂點則視作預測區塊C、若相鄰於編碼/解碼對象之預測區塊之左上頂點則視作預測區塊E。在圖8的例子中，預測區塊B、預測區塊C及預測區塊E係為同一預測區塊。
如圖9所示，在與編碼/解碼對象預測區塊不同時間之已編碼/解碼圖像中，將存在於與編碼/解碼對象預測區塊同一位置或其附近的已編碼/解碼之預測區塊T0及T1，定義為不同時間之同一位置的預測區塊。
(關於POC)
POC係為與被編碼之圖像建立關連的變數，是被設定了隨圖像之輸出/顯示順序而每次增加1之值。藉由POC之值，就可判別是否為相同圖像、可判別輸出/顯示順序 上的圖像間之前後關係、可導出圖像間之距離等等。例如，當2個圖像之POC具有相同值時，就可判斷是同一圖像。當2個圖像之POC具有不同值時，則可判斷POC之值較小的圖像係為先被輸出/顯示之圖像，2個圖像的POC的差，係表示時間軸方向上的圖像間距離。
以下，與圖面一起來說明本發明的實施形態。圖1係本發明的實施形態所述之動態影像編碼裝置之構成的區塊圖。實施形態的動態影像編碼裝置，係具備：影像記憶體101、標頭資訊設定部117、運動向量偵測部102、差分運動向量算出部103、畫面間預測資訊導出部104、運動補償預測部105、畫面內預測部106、預測方法決定部107、殘差訊號生成部108、正交轉換‧量化部109、第1編碼位元列生成部118、第2編碼位元列生成部110、第3編碼位元列生成部111、多工化部112、逆量化‧逆正交轉換部113、解碼影像訊號重疊部114、編碼資訊儲存記憶體115、及解碼影像記憶體116。
標頭資訊設定部117，係設定序列、圖像、切片單位之資訊。所被設定的序列、圖像、切片單位之資訊，係供給至畫面間預測資訊導出部104、第1編碼位元列生成部118，並且供給至未圖示的所有區塊。後述的最大合併候補數maxNumMergeCand也是在標頭資訊設定部117中被設定。
影像記憶體101係將按照攝影/顯示時間順序所供給的編碼對象之圖像的影像訊號，予以暫時儲存。影 像記憶體101，係將所被儲存的編碼對象之圖像的影像訊號，以所定之像素區塊單位，供給至運動向量偵測部102、預測方法決定部107、及殘差訊號生成部108。此時，按照攝影/顯示時間順序而被儲存之圖像的影像訊號，係被排序成編碼順序，以像素區塊單位，從影像記憶體101輸出。
運動向量偵測部102，係藉由在從影像記憶體101所供給之影像訊號與從解碼影像記憶體116所供給之參照圖像間進行區塊比對等，將各預測區塊尺寸、各預測模式的各自之運動向量，以各預測區塊單位而加以測出，將所測出的運動向量，供給至運動補償預測部105、差分運動向量算出部103、及預測方法決定部107。
差分運動向量算出部103，係使用編碼資訊儲存記憶體115中所記憶之已經編碼過的影像訊號的編碼資訊，算出複數預測運動向量之候補而登錄至預測運動向量清單，從預測運動向量清單中所登錄的複數預測運動向量之候補之中，選擇出最佳的預測運動向量，根據運動向量偵測部102所測出之運動向量與預測運動向量，算出差分運動向量，將所算出的差分運動向量，供給至預測方法決定部107。然後，將從預測運動向量清單中所登錄的預測運動向量之候補所選擇出來的預測運動向量加以特定的預測運動向量索引，供給至預測方法決定部107。
畫面間預測資訊導出部104，係導出合併模式下的合併候補。使用編碼資訊儲存記憶體115中所記憶之 已經編碼過的預測區塊的編碼資訊，導出複數合併候補而登錄至後述的合併候補清單中，從合併候補清單中所登錄的複數合併候補之中，選擇出適合的合併候補，將已被選擇之合併候補的各預測區塊的用來表示是否利用L0預測、及L1預測的旗標predFlagL0[xP][yP],predFlagL1[xP][yP]、參照索引refIdxL0[xP][yP],refIdxL1[xP][yP]、運動向量mvL0[xP][yP],mvL1[xP][yP]等之畫面間預測資訊，供給至運動補償預測部105，並且將用來特定所被選擇之合併候補用的合併索引，供給至預測方法決定部107。此處，xP、yP係為用來表示，預測區塊的左上像素在圖像內之位置的索引。畫面間預測資訊導出部104的詳細構成與動作，將於後述。
運動補償預測部105，係使用被運動向量偵測部102及畫面間預測資訊導出部104所測出的運動向量，從參照圖像藉由畫面間預測(運動補償預測)而生成預測影像訊號，將預測影像訊號供給至預測方法決定部107。此外，在L0預測、及L1預測中，進行單向的預測。在雙預測(Pred_BI)時，係進行雙向的預測，對L0預測、L1預測之各個畫面間預測到的訊號適應性地乘上加權係數，加算偏置值而予以重疊，生成最終的預測影像訊號。
畫面內預測部106，係針對各畫面內預測模式，進行畫面內預測。根據解碼影像記憶體116中所儲存的已解碼之影像訊號，藉由畫面內預測而生成預測影像訊號，從複數畫面內預測模式中，選擇出合適的畫面內預測 模式，將已選擇之畫面內預測模式、及相應於所選擇之畫面內預測模式的預測影像訊號，供給至預測方法決定部107。
預測方法決定部107係對每一種預測方法分別藉由評估編碼資訊及殘差訊號的編碼量、預測影像訊號與影像訊號之間的失真量等，而從複數預測方法之中，決定用來以最佳編碼區塊單位來判別是否為畫面間預測(PRED_INTER)還是畫面內預測(PRED_INTRA)的預測模式PredMode、分割模式PartMode，在畫面間預測(PRED_INTER)下係以預測區塊單位來決定是否為合併模式，在合併模式時係決定合併索引、非合併模式時係決定畫面間預測模式、預測運動向量索引、L0、L1之參照索引、差分運動向量等，將符合決定的編碼資訊，供給至第2編碼位元列生成部110。
然後，預測方法決定部107，係將含有表示所決定之預測方法的資訊，及含有相應於所決定之預測方法的運動向量等的編碼資訊，儲存至編碼資訊儲存記憶體115。這裡所儲存的編碼資訊係為，各編碼區塊的預測模式PredMode、分割模式PartMode、用來表示是否利用各預測區塊的L0預測、及L1預測的旗標predFlagL0[xP][yP],predFlagL1[xP][yP]、L0、L1的參照索引refIdxL0[xP][yP],refIdxL1[xP][yP]、L0、L1的運動向量mvL0[xP][yP],mvL1[xP][yP]等。此處，xP、yP係為用來表示，預測區塊的左上像素在圖像內之位置的索引。此 外，當預測模式PredMode是畫面內預測(MODE_INTRA)時，則表示是否利用L0預測的旗標predFlagL0[xP][yP]、表示是否利用L1預測的旗標predFlagL1[xP][yP]係皆為0。另一方面，當預測模式PredMode是畫面間預測(MODE_INTER)、且畫面間預測模式是L0預測(Pred_L0)時，則表示是否利用L0預測的旗標predFlagL0[xP][yP]係為1、表示是否利用L1預測的旗標predFlagL1[xP][yP]係為0。當畫面間預測模式是L1預測(Pred_L1)時，表示是否利用L0預測的旗標predFlagL0[xP][yP]係為0、表示是否利用L1預測的旗標predFlagL1[xP][yP]係為1。當畫面間預測模式是雙預測(Pred_BI)時，表示是否利用L0預測的旗標predFlagL0[xP][yP]、表示是否利用L1預測的旗標predFlagL1[xP][yP]係皆為1。預測方法決定部107，係將相應於所決定之預測模式的預測影像訊號，供給至殘差訊號生成部108與解碼影像訊號重疊部114。
殘差訊號生成部108，係藉由進行所編碼之影像訊號與預測影像訊號之減算以生成殘差訊號，供給至正交轉換‧量化部109。
正交轉換‧量化部109，係對殘差訊號而隨著量化參數進行正交轉換及量化而生成已被正交轉換、量化過的殘差訊號，供給至第3編碼位元列生成部111與逆量化‧逆正交轉換部113。然後，正交轉換‧量化部109係將量化參數，儲存在編碼資訊儲存記憶體115中。
第1編碼位元列生成部118，係將已被標頭資 訊設定部117所設定的序列、圖像、切片單位之資訊，予以編碼。生成第1編碼位元列，供給至多工化部112。後述的最大合併候補數maxNumMergeCand也是在第1編碼位元列生成部118中被編碼。
第2編碼位元列生成部110，係將對每一編碼區塊及預測區塊而由預測方法決定部107所決定之預測方法所相應的編碼資訊，予以編碼。具體而言，係將每一編碼區塊的判別是否是略過模式之資訊、用來判別是否為畫面間預測(PRED_INTER)還是畫面內預測(PRED_INTRA)的預測模式PredMode、分割模式PartMode、畫面內預測(PRED_INTRA)時，畫面內預測模式、畫面間預測(PRED_INTER)時，判別是否為合併模式的旗標、在合併模式時係為合併索引、非合併模式時係為畫面間預測模式、預測運動向量索引、差分運動向量之相關的資訊等的編碼資訊，依照後述的規定之語法規則而予以編碼以生成第2編碼位元列，供給至多工化部112。此外，在本實施形態中，係當編碼區塊為略過模式(語法要素skip_flag[x0][y0]為1)時，是假設預測區塊的預測模式PredMode之值是畫面間預測(MODE_INTER)，且合併模式(merge_flag[x0][y0]為1)，且分割模式(PartMode)是2N×2N分割(PART_2Nx2N)。
第3編碼位元列生成部111，係將已被正交轉換及量化過的殘差訊號，依照規定之語法規則來進行熵編碼以生成第3編碼位元列，供給至多工化部112。在多工 化部112中，將第1編碼位元列、第2編碼位元列及第3編碼位元列，依照規定之語法規則而進行多工化，輸出位元串流。
逆量化‧逆正交轉換部113，係將從正交轉換‧量化部109所供給之已被正交轉換、量化過的殘差訊號，進行逆量化及逆正交轉換而算出殘差訊號，供給至解碼影像訊號重疊部114。解碼影像訊號重疊部114，係將相應於預測方法決定部107所決定之預測影像訊號和被逆量化‧逆正交轉換部113進行逆量化及逆正交轉換後的殘差訊號加以重疊而生成解碼影像，儲存在解碼影像記憶體116中。此外，也可對解碼影像實施用來減少編碼所致區塊失真等失真的濾波處理，然後儲存在解碼影像記憶體116中。
圖2係圖1之動態影像編碼裝置所對應之本發明的實施形態所述之動態影像解碼裝置之構成的區塊。實施形態的動態影像解碼裝置，係具備：分離部201、第1編碼位元列解碼部212、第2編碼位元列解碼部202、第3編碼位元列解碼部203、運動向量算出部204、畫面間預測資訊導出部205、運動補償預測部206、畫面內預測部207、逆量化‧逆正交轉換部208、解碼影像訊號重疊部209、編碼資訊儲存記憶體210、及解碼影像記憶體211。
圖2的動態影像解碼裝置的解碼處理，係為對應於圖1之動態影像編碼裝置之內部所設之解碼處理， 因此圖2的運動補償預測部206、逆量化‧逆正交轉換部208、解碼影像訊號重疊部209、編碼資訊儲存記憶體210、及解碼影像記憶體211之各構成，係具有和如圖1的動態影像編碼裝置的運動補償預測部105、逆量化‧逆正交轉換部113、解碼影像訊號重疊部114、編碼資訊儲存記憶體115、及解碼影像記憶體116之各構成分別對應的機能。
被供給至分離部201的位元串流係依照規定之語法規則而進行分離，所分離出來的編碼位元列係被供給至第1編碼位元列解碼部212、第2編碼位元列解碼部202、第3編碼位元列解碼部203。
第1編碼位元列解碼部212係將所被供給之編碼位元列予以解碼，獲得序列、圖像、切片單位之資訊。所得到的序列、圖像、切片單位之資訊係被供給至未圖示的所有區塊。後述的最大合併候補數maxNumMergeCand也是在第1編碼位元列解碼部212中被解碼。
第2編碼位元列解碼部202係將所被供給之編碼位元列予以解碼，獲得編碼區塊單位之資訊、及預測區塊單位之編碼資訊。具體而言，是將在編碼區塊單位中判別是否是略過模式之資訊、用來判別是否為畫面間預測(PRED_INTER)還是畫面內預測(PRED_INTRA)的預測模式PredMode、分割模式PartMode、畫面間預測(PRED_INTER)時，判別是否為合併模式的旗標、在合併 模式時係為合併索引、非合併模式時係為畫面間預測模式、預測運動向量索引、差分運動向量等的相關之編碼資訊，依照後述的規定之語法規則而進行解碼，將已被解碼之預測模式PredMode、分割模式PartMode等之編碼資訊，儲存至編碼資訊儲存記憶體210，並且供給至運動向量算出部204、畫面間預測資訊導出部205或畫面內預測部207。此外，在本實施形態中，係當編碼區塊為略過模式(語法要素skip_flag[x0][y0]為1)時，是假設預測區塊的預測模式PredMode之值是畫面間預測(MODE_INTER)，且合併模式(merge_flag[x0][y0]為1)，且分割模式(PartMode)是2N×2N分割(PART_2Nx2N)。
第3編碼位元列解碼部203係將所被供給之編碼位元列予以解碼而算出已被正交轉換‧量化之殘差訊號，將已被正交轉換‧量化之殘差訊號供給至逆量化‧逆正交轉換部208。
運動向量算出部204，係解碼對象的預測區塊的預測模式PredMode是畫面間預測(PRED_INTER)且非合併模式時，使用編碼資訊儲存記憶體210中所記憶之已解碼的影像訊號的編碼資訊，導出複數預測運動向量之候補而登錄至後述的預測運動向量清單，從預測運動向量清單中所登錄的複數預測運動向量之候補之中，選擇出被第2編碼位元列解碼部202所解碼而供給之預測運動向量索引所相應之預測運動向量，根據已被第2編碼位元列解碼部202所解碼之差分向量與所被選擇之預測運動向量而算出 運動向量，連同其他編碼資訊一起供給至運動補償預測部206，並且儲存至編碼資訊儲存記憶體210。此處所供給、儲存的相鄰之預測區塊的編碼資訊係為：用來表示是否利用L0預測、及L1預測的旗標predFlagL0[xP][yP],predFlagL1[xP][yP]、L0、L1的參照索引refIdxL0[xP][yP],refIdxL1[xP][yP]、L0、L1的運動向量mvL0[xP][yP],mvL1[xP][yP]等。此處，xP、yP係為用來表示，預測區塊的左上像素在圖像內之位置的索引。當預測模式PredMode是畫面間預測(MODE_INTER)、且畫面間預測模式是L0預測(Pred_L0)時，則表示是否利用L0預測的旗標predFlagL0係為1、表示是否利用L1預測的旗標predFlagL1係為0。當畫面間預測模式是L1預測(Pred_L1)時，表示是否利用L0預測的旗標predFlagL0係為0、表示是否利用L1預測的旗標predFlagL1係為1。當畫面間預測模式是雙預測(Pred_BI)時，表示是否利用L0預測的旗標predFlagL0、表示是否利用L1預測的旗標predFlagL1係皆為1。
畫面間預測資訊導出部205，係當解碼對象的預測區塊的預測模式PredMode是畫面間預測(PRED_INTER)且為合併模式時，導出合併候補。使用編碼資訊儲存記憶體115中所記憶之已解碼之預測區塊的編碼資訊，導出複數合併之候補而登錄至後述的合併候補清單中，從合併候補清單中所登錄的複數合併候補之中，選擇出由第2編碼位元列解碼部202所解碼而供給之合併索 引所對應之合併候補，將已被選擇之合併候補的用來表示是否利用L0預測、及L1預測的旗標predFlagL0[xP][yP],predFlagL1[xP][yP]、L0、L1的參照索引refIdxL0[xP][yP],refIdxL1[xP][yP]、L0、L1的運動向量mvL0[xP][yP],mvL1[xP][yP]等之畫面間預測資訊，供給至運動補償預測部206，並且儲存至編碼資訊儲存記憶體210。此處，xP、yP係為用來表示，預測區塊的左上像素在圖像內之位置的索引。畫面間預測資訊導出部205的詳細構成與動作，將於後述。
運動補償預測部206，係使用被運動向量算出部204或畫面間預測資訊導出部205所算出的畫面間預測資訊，從解碼影像記憶體211中所儲存的參照圖像，藉由畫面間預測(運動補償預測)而生成預測影像訊號，將預測影像訊號供給至解碼影像訊號重疊部209。此外，在雙預測(Pred_BI)的情況下，係對L0預測、L1預測的2個運動補償預測影像訊號，因應需要而適應性地乘算權重係數，生成最終的預測影像訊號。
畫面內預測部207係當解碼對象的預測區塊的預測模式PredMode是畫面內預測(PRED_INTRA)時，進行畫面內預測。已被第2編碼位元列解碼部202所解碼之編碼資訊中係含有畫面內預測模式，隨應於畫面內預測模式，根據解碼影像記憶體211中所儲存的已解碼之影像訊號，藉由畫面內預測而生成預測影像訊號，將預測影像訊號供給至解碼影像訊號重疊部209。將用來表示是否利 用L0預測、及L1預測的旗標predFlagL0[xP][yP],predFlagL1[xP][yP]皆設定成0，儲存至編碼資訊儲存記憶體210。此處，xP、yP係為用來表示，預測區塊的左上像素在圖像內之位置的索引。
逆量化‧逆正交轉換部208，係對第2編碼位元列解碼部202所解碼之已被正交轉換‧量化之殘差訊號，進行逆正交轉換及逆量化，獲得已被逆正交轉換．逆量化之殘差訊號。
解碼影像訊號重疊部209，係藉由將已被運動補償預測部206進行畫面間預測的預測影像訊號、或已被畫面內預測部207進行畫面內預測的預測影像訊號、和已被逆量化‧逆正交轉換部208進行逆正交轉換．逆量化之殘差訊號，進行重疊，以將解碼影像訊號予以解碼，儲存至解碼影像記憶體211。在儲存至解碼影像記憶體211之際，係也可對解碼影像實施用來減少編碼所致區塊失真等的濾波處理，然後儲存在解碼影像記憶體211中。
(關於語法)
接著說明，被具備本實施形態所述之運動向量之預測方法的動態影像編碼裝置所編碼、被解碼裝置所解碼的動態影像之位元串流的編碼及解碼之共通規則亦即語法(syntax)。
在本實施形態中，是在標頭資訊設定部117，以序列單位、圖像單位或切片單位來設定合併候補清單 mergeCandList中所被登錄之最大合併候補數maxNumMergeCand，作為語法要素而在動態影像編碼裝置的第1編碼位元列生成部118中被編碼，在動態影像解碼裝置的第1編碼位元列解碼部212中被解碼。對最大合併候補數maxNumMergeCand可設定0至5的值，在主要減少動態影像編碼裝置的演算處理量之際，對最大合併候補數maxNumMergeCand設定較小的值。此外，對最大合併候補數maxNumMergeCand設定0的情況，係將規定之畫面間預測資訊，當作合併候補來使用。在本實施形態的說明中，是將最大合併候補數maxNumMergeCand設成5來說明。
圖10係圖示了以預測區塊單位而被描述的語法規則。在本實施形態中，係當編碼區塊為略過模式(語法要素skip_flag[x0][y0]為1)時，是假設預測區塊的預測模式PredMode之值是畫面間預測(MODE_INTER)，且合併模式(merge_flag[x0][y0]為1)，且分割模式(PartMode)是2N×2N分割(PART_2Nx2N)。若merge_flag[x0][y0]為1，則表示是合併模式，最大合併候補數maxNumMergeCand之值是大於1的情況下，設置所參照之合併候補的清單亦即合併清單之索引的語法要素merge_idx[x0][y0]。若skip_flag[x0][y0]為1，則表示是略過模式，最大合併候補數maxNumMergeCand之值是大於1的情況下，設置所參照之合併候補的清單亦即合併清單之索引的語法要素merge_idx[x0][y0]。
若預測區塊的預測模式PredMode之值為畫面間預測(MODE_INTER)時，則會設置有表示是否為合併模式的merge_flag[x0][y0]。此處，x0、y0係用來表示在亮度訊號之圖像內的預測區塊的左上像素之位置的索引，merge_flag[x0][y0]係用來表示圖像內的(x0,y0)位置上的預測區塊是否為合併模式。
接著，若merge_flag[x0][y0]為1，則表示是合併模式，最大合併候補數maxNumMergeCand之值是大於1的情況下，設置所參照之合併候補的清單亦即合併清單之索引的語法要素merge_idx[x0][y0]。此處，x0、y0係用來表示在圖像內的預測區塊的左上像素之位置的索引，merge_idx[x0][y0]係為圖像內的(x0,y0)位置上的預測區塊的合併索引。在將合併索引進行熵編碼/解碼時，合併候補數越小，則能夠以越小的編碼量來進行編碼/解碼，可以較少的處理量來進行編碼/解碼。圖11係合併索引之語法要素merge_idx[x0][y0]的熵編碼(代碼)之一例。若最大合併候補數為2，則合併索引為0,1時，合併索引的語法要素merge_idx[x0][y0]的編碼係分別成為'0'、'1'。若最大合併候補數為3，則合併索引為0、1、2時，合併索引的語法要素merge_idx[x0][y0]的編碼係分別成為'0'、'10'、'11'。若最大合併候補數為4，則合併索引為0、1、2、3時，合併索引的語法要素merge_idx[x0][y0]的編碼係分別成為'0'、'10'、'110'、'111'。若最大合併候補數為5，則合併索引為0、1、2、3、4時，合併索引的語法要 素merge_idx[x0][y0]的編碼係分別成為'0'、'10'、'110'、'1110'、'1111'。亦即，當合併候補清單mergeCandList中所被登錄之最大合併候補數maxNumMergeCand是已知時，最大合併候補數maxNumMergeCand較少者係可用較小的編碼量來表現合併索引。於本實施形態中，係如圖11所示，隨應於合併候補數，來切換著表示合併索引之各值的編碼，以削減合併索引的編碼量。於本實施形態中，值係為最大合併候補數maxNumMergeCand之值以上的合併索引，係不會被編碼、解碼。此外，若最大合併候補數maxNumMergeCand為1，則不將合併索引進行編碼/解碼，合併索引係為0。又，若最大合併候補數為0，則將規定畫面間預測資訊當作合併候補來使用，因此不需要合併索引。
另一方面，若merge_flag[x0][y0]為0，則表示並非合併模式，若切片類型是B切片時，則會設置有用來識別畫面間預測模式的語法要素inter_pred_flag[x0][y0]，藉由該語法要素來識別L0預測(Pred_L0)、L1預測(Pred_L1)、雙預測(Pred_BI)。對每一L0、L1，設置有用來特定參照圖像所需之參照索引的語法要素ref_idx_10[x0][y0]、ref_idx_11[x0][y0]，運動向量偵測所求出的預測區塊之運動向量與預測運動向量之差分亦即差分運動向量的語法要素mvd_10[x0][y0][j]、mvd_11[x0][y0][j]。此處，x0、y0係用來表示在圖像內的預測區塊的左上像素之位置的索引，ref_idx_10[x0][y0]、mvd_10[x0] [y0][j]係分別為圖像內的(x0,y0)位置上的預測區塊L0的參照索引、及差分運動向量，ref_idx_11[x0][y0]、mvd_11[x0][y0][j]係分別為圖像內的(x0,y0)位置上的預測區塊L1的參照索引、及差分運動向量。又，j係表示差分運動向量的成分，j為0係表示x成分，j為1係表示y成分。接著，會設置有所參照之預測運動向量之候補的清單亦即預測運動向量清單之索引的語法要素mvp_idx_10[x0][y0]、mvp_idx_11[x0][y0]。此處，x0、y0係用來表示在圖像內的預測區塊的左上像素之位置的索引，mvp_idx_10[x0][y0]、mvp_idx_11[x0][y0]係為圖像內的(x0,y0)位置上的預測區塊L0、L1的預測運動向量索引。在本發明的本實施形態中，係將這些候補數之值，設定為2。
實施形態所述之畫面間預測資訊導出方法，係於圖1的動態影像編碼裝置的畫面間預測資訊導出部104及圖2的動態影像解碼裝置的畫面間預測資訊導出部205中實施。
使用圖面來說明實施形態所述之畫面間預測資訊導出方法。運動向量之預測方法，係可就構成編碼區塊的預測區塊單位，在編碼及解碼之處理之任一者中均可實施。若預測區塊的預測模式PredMode是畫面間預測(MODE_INTER)，且為包含略過模式的合併模式時，在編碼的情況下，係在利用已編碼之預測區塊的預測模式、參照索引、運動向量來導出編碼對象之預測區塊的預測模式、參照索引、運動向量之際，在解碼的情況下，係在利 用已解碼之預測區塊的預測模式、參照索引、運動向量來導出解碼對象之預測區塊的預測模式、參照索引、運動向量之際，會被實施。
合併模式係除了根據使用圖5、圖6、圖7及圖8所說明過的左方相鄰之預測區塊A、上方相鄰之預測區塊B、右上相鄰之預測區塊C、左下相鄰之預測區塊D、左上相鄰之預測區塊E的5個預測區塊以外，還會根據使用圖9所說明過的不同時間的存在於同一位置或其附近之預測區塊Col(T0、T1之任一者)的預測區塊，導出合併候補。動態影像編碼裝置的畫面間預測資訊導出部104、及動態影像解碼裝置的畫面間預測資訊導出部205係將這些合併候補，以編碼側與解碼側上共通之順序，登錄至合併候補清單，動態影像編碼裝置的畫面間預測資訊導出部104會決定用來特定合併候補清單之要素用的合併索引然後經由第2編碼位元列生成部110而予以編碼，動態影像解碼裝置的畫面間預測資訊導出部205係被供給著，已被第2編碼位元列解碼部202所解碼之合併索引，將相應於該合併索引的預測區塊，從合併候補清單中加以選擇出來，使用該已被選擇之合併候補的預測模式、參照索引、運動向量等之畫面間預測資訊，來進行運動補償預測。
使用圖面來說明實施形態所述之第1實施例的畫面間預測資訊導出方法。圖12係實施形態所述之第1實施例的圖1之動態影像編碼裝置的畫面間預測資訊導 出部104的詳細構成的區塊圖。又，圖13係實施形態所述之第1實施例的圖2之動態影像解碼裝置的畫面間預測資訊導出部205的詳細構成的區塊圖。
圖12及圖13的粗線框所圍繞的部分係分別表示畫面間預測資訊導出部104及畫面間預測資訊導出部205。
再者，這些內部以粗虛線圍繞部分係表示將各個合併候補予以導出而架構合併候補清單的動態影像編碼裝置的合併候補清單之建構部120及動態影像解碼裝置的合併候補清單之建構部220，與實施形態之動態影像編碼裝置相對應的動態影像解碼裝置中也被同樣設置，使得編碼與解碼不會矛盾而獲得同一判定結果。
在實施形態所述之畫面間預測資訊導出方法中，係在動態影像編碼裝置的合併候補清單之建構部120及動態影像解碼裝置的合併候補清單之建構部220中的合併候補導出及合併候補清單建構處理中，不參照與含有處理對象預測區塊的編碼區塊相同之編碼區塊中所含之預測區塊，就進行處理對象之預測區塊的合併候補導出及合併候補清單建構處理。藉由如此設計，當編碼區塊的分割模式(PartMode)並非2N×2N分割(PART_2Nx2N)時，亦即，編碼區塊內存在有複數預測區塊時，則在編碼側上，可將編碼區塊內各個預測區塊的合併候補導出及合併候補清單之建構處理，予以平行處理。
針對在編碼區塊內的各個預測區塊的合併候 補清單之建構的平行處理，使用圖14來針對每一分割模式(PartMode)做說明。圖14係處理對象的編碼區塊的每一分割模式(PartMode)下與處理對象之預測區塊相鄰之預測區塊的說明圖。於圖14中，A0、B0、C0、D0、E0係表示分割索引PartIdx為0之處理對象之預測區塊之每一者的左側邊所相鄰之預測區塊A、上側邊所相鄰之預測區塊B、右上頂點所相鄰之預測區塊C、左下頂點所相鄰之預測區塊D、及左上頂點所相鄰之預測區塊E，A1、B1、C1、D1、E1係表示分割索引PartIdx為1之處理對象之預測區塊之每一者的左側邊所相鄰之預測區塊A、上側邊所相鄰之預測區塊B、右上頂點所相鄰之預測區塊C、左下頂點所相鄰之預測區塊D、及左上頂點所相鄰之預測區塊E，A2、B2、C2、D2、E2係表示分割索引PartIdx為2之處理對象之預測區塊之每一者的左側邊所相鄰之預測區塊A、上側邊所相鄰之預測區塊B、右上頂點所相鄰之預測區塊C、左下頂點所相鄰之預測區塊D、及左上頂點所相鄰之預測區塊E，A3、B3、C3、D3、E3係表示分割索引PartIdx為3之處理對象之預測區塊之每一者的左側邊所相鄰之預測區塊A、上側邊所相鄰之預測區塊B、右上頂點所相鄰之預測區塊C、左下頂點所相鄰之預測區塊D、及左上頂點所相鄰之預測區塊E。
圖14(b)、(c)、(d)係將處理對象之編碼區塊分割成上下並排之2個預測區塊的分割模式(PartMode)是2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、 2N×nD分割(PART_2NxnD)下的相鄰之預測區塊的圖示。PartIdx為1的處理對象之預測區塊的相鄰之預測區塊B1係為PartIdx為0的預測區塊。因此，參照預測區塊B1，而進行PartIdx為1的預測區塊的合併候補導出及合併候補清單建構處理時，若不是在預測區塊B1亦即相同編碼區塊中所屬之PartIdx為0的預測區塊的合併候補導出及合併候補清單建構處理結束，將利用之合併候補予以特定之後，則無法進行處理。因此，在實施形態所述之畫面間預測資訊導出方法中，係分割模式(PartMode)為2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)，且處理對象之預測區塊的PartIdx為1時，係不參照PartIdx為0的預測區塊亦即預測區塊B1，即進行PartIdx為1的預測區塊的合併候補導出及合併候補清單之建構處理，藉此，可將編碼區塊內的2個預測區塊的合併候補導出及合併候補清單之建構處理，予以平行處理。
圖14(e)、(f)、(g)係將處理對象之編碼區塊分割成左右並排之2個預測區塊的模式加以表示的分割模式(PartMode)是N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)時的相鄰之預測區塊的圖示。PartIdx為1的處理對象之預測區塊的相鄰之預測區塊A1係為PartIdx為0的預測區塊。因此，參照預測區塊A1，而進行PartIdx為1的預測區塊的合併候補導出及合併候補清單建構處理時，若不是在預測區塊 A1亦即相同編碼區塊中所屬之PartIdx為0的預測區塊的合併候補導出及合併候補清單建構處理結束，將利用之合併候補予以特定之後，則無法進行處理。因此，在實施形態所述之畫面間預測資訊導出方法中，係分割模式(PartMode)為N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)，且處理對象之預測區塊的PartIdx為1時，係不參照PartIdx為0的預測區塊亦即預測區塊A1，即進行PartIdx為1的預測區塊的合併候補導出及合併候補清單之建構處理，藉此，可將編碼區塊內的各個預測區塊的合併候補導出及合併候補清單之建構處理，予以平行處理。
圖14(h)係將處理對象之編碼區塊做上下左右4分割而變成4個預測區塊的分割模式(PartMode)是N×N分割(PART_NxN)時的相鄰之預測區塊的圖示。PartIdx為1的處理對象之預測區塊的相鄰之預測區塊A1係為PartIdx為0的預測區塊。因此，參照預測區塊A1，而進行PartIdx為1的預測區塊的合併候補導出及合併候補清單建構處理時，若不是在預測區塊A1亦即相同編碼區塊中所屬之PartIdx為0的預測區塊的合併候補導出及合併候補清單建構處理結束，將利用之合併候補予以特定之後，則無法進行處理。因此，在實施形態所述之畫面間預測資訊導出方法中，係分割模式(PartMode)為N×N分割(PART_NxN)，且處理對象之預測區塊的PartIdx為1時，係不參照PartIdx為0的預測區塊亦即預測區塊A1，即進 行PartIdx為1的預測區塊的合併候補導出及合併候補清單之建構處理，藉此，可將編碼區塊內的各個預測區塊的合併候補導出及合併候補清單之建構處理，予以平行處理。PartIdx為2的處理對象之預測區塊的相鄰之預測區塊B2係為PartIdx為0的預測區塊，預測區塊C2係為PartIdx為1的預測區塊。因此，參照預測區塊B2及C2，而進行PartIdx為2的預測區塊的合併候補導出及合併候補清單建構處理時，若不是在預測區塊B2及C2亦即相同編碼區塊中所屬之PartIdx為0及1的預測區塊的合併候補導出及合併候補清單建構處理結束，將利用之合併候補予以特定之後，則無法進行處理。因此，在實施形態所述之畫面間預測資訊導出方法中，係分割模式(PartMode)為N×N分割(PART_NxN)，且處理對象之預測區塊的PartIdx為2時，係不參照PartIdx為0及1的預測區塊亦即預測區塊B2及C2，即進行PartIdx為2的預測區塊的合併候補導出及合併候補清單之建構處理，藉此，可將編碼區塊內的各個預測區塊的合併候補導出及合併候補清單之建構處理，予以平行處理。PartIdx為3的處理對象之預測區塊的相鄰之預測區塊E3係為PartIdx為0的預測區塊，預測區塊B3係為PartIdx為1的預測區塊，預測區塊A3係為PartIdx為2的預測區塊。因此，參照預測區塊E3、B3及A3，而進行PartIdx為3的預測區塊的合併候補導出及合併候補清單建構處理時，若不是在預測區塊E3、B3及A3亦即相同編碼區塊中所屬之PartIdx 為0、1及2的預測區塊的合併候補導出及合併候補清單建構處理結束，將利用之合併候補予以特定之後，則無法進行處理。因此，在實施形態所述之畫面間預測資訊導出方法中，係分割模式(PartMode)為N×N分割(PART_NxN)，且處理對象之預測區塊的PartIdx為3時，係不參照PartIdx為0、1及2的預測區塊亦即預測區塊E3、B3及A3，即進行PartIdx為3的預測區塊的合併候補導出及合併候補清單之建構處理，藉此，可將編碼區塊內的各個預測區塊的合併候補導出及合併候補清單之建構處理，予以平行處理。
圖12的動態影像編碼裝置的畫面間預測資訊導出部104係含有：合併候補清單生成部130、空間合併候補生成部131、時間合併候補之參照索引導出部132、時間合併候補生成部133、追加合併候補生成部134、合併候補限制部136及畫面間預測資訊選擇部137。
圖13的動態影像解碼裝置的畫面間預測資訊導出部205係含有：合併候補清單生成部230、空間合併候補生成部231、時間合併候補之參照索引導出部232、時間合併候補生成部233、追加合併候補生成部234、合併候補限制部236及畫面間預測資訊選擇部237。
圖15係在本發明的實施形態所述之第1實施例的動態影像編碼裝置的畫面間預測資訊導出部104的合併候補清單之建構部120及動態影像解碼裝置的畫面間預測資訊導出部205的合併候補清單之建構部220中具有共 通機能的合併候補之導出處理及合併候補清單之建構處理之程序的說明用流程圖。
以下，按照順序來說明各過程。此外，以下的說明中，若無特別聲明，則都是針對切片類型slice_type為B切片的情形加以說明，但亦可適用於P切片的情形。只不過，若切片類型slice_type是P切片，則作為畫面間預測模式是只有L0預測(Pred_L0)，沒有L1預測(Pred_L1)、雙預測(Pred_BI)，因此可以省略關於L1之處理。此外，於本實施形態中，在動態影像編碼裝置及動態影像解碼裝置裡，當最大合併候補數maxNumMergeCand之值為0時，則可省略圖15的合併候補之導出處理及合併候補清單之建構處理。
首先，在動態影像編碼裝置的畫面間預測資訊導出部104的合併候補清單生成部130及動態影像解碼裝置的畫面間預測資訊導出部205的合併候補清單生成部230中，係備妥了合併候補清單mergeCandList(圖15的步驟S100)。合併候補清單mergeCandList係形成清單結構，設置有將表示合併候補清單內部之所在的合併索引、和對應於索引的合併候補當作要素而加以儲存的記憶領域。合併索引的數字是從0開始，合併候補清單mergeCandList的記憶領域中係儲存有合併候補。在以下的處理中，已被登錄在合併候補清單mergeCandList中的合併索引i的要成為合併候補之預測區塊，係以mergeCandList[i]來表示，藉由數列標示來和合併候補清 單mergeCandList做區別。於本實施形態中係假設，合併候補清單mergeCandList至少可登錄5個合併候補(畫面間預測資訊)。然後，將合併候補清單mergeCandList中所被登錄之合併候補數予以表示的變數numMergeCand，設定0。已被備妥之合併候補清單mergeCandList係分別供給至動態影像編碼裝置的畫面間預測資訊導出部104的空間合併候補生成部131及動態影像解碼裝置的畫面間預測資訊導出部205的空間合併候補生成部231。
在動態影像編碼裝置的畫面間預測資訊導出部104的空間合併候補生成部131及動態影像解碼裝置的畫面間預測資訊導出部205的空間合併候補生成部231中，係從動態影像編碼裝置的編碼資訊儲存記憶體115或動態影像解碼裝置的編碼資訊儲存記憶體210中所儲存的編碼資訊，導出編碼/解碼對象區塊所相鄰之各個預測區塊A,B,C,D,E，導出空間合併候補A,B,C,D,E，將已被導出之空間合併候補，登錄至合併候補清單mergeCandList(圖15的步驟S101)。此處，定義用來代表A,B,C,D,E或時間合併候補Col之任一者的N。將用來表示是否把預測區塊N的畫面間預測資訊當作空間合併候補N來利用的旗標availableFlagN、空間合併候補N的L0之參照索引refIdxL0N及L1之參照索引refIdxL1N、用來表示是否進行L0預測的L0預測旗標predFlagL0N及用來表示是否進行L1預測的L1預測旗標predFlagL1N、L0之運動向量mvL0N、L1之運動向量mvL1N，予以導 出。但是，於本實施形態中，係不參照與含有處理對象預測區塊的編碼區塊相同之編碼區塊中所含之預測區塊，就導出合併候補，因此與含有處理對象之預測區塊的編碼區塊相同之編碼區塊中所含之空間合併候補，係不導出。關於步驟S101的詳細處理程序，係使用圖16的流程圖而在之後詳細說明。合併候補清單mergeCandList係分別供給至動態影像編碼裝置的畫面間預測資訊導出部104的時間合併候補生成部133及動態影像解碼裝置的畫面間預測資訊導出部205的時間合併候補生成部233。
接著，在動態影像編碼裝置的畫面間預測資訊導出部104的時間合併候補之參照索引導出部132及動態影像解碼裝置的畫面間預測資訊導出部205的時間合併候補之參照索引導出部232中，係從編碼/解碼對象區塊所相鄰之預測區塊，導出時間合併候補的參照索引，將已被導出之參照索引，供給至動態影像編碼裝置的畫面間預測資訊導出部104的時間合併候補生成部133及動態影像解碼裝置的畫面間預測資訊導出部205的時間合併候補生成部233(圖15的步驟S102)。但是，於本實施形態中，係不參照與含有處理對象預測區塊的編碼區塊相同之編碼區塊中所含之預測區塊，就導出時間合併候補的參照索引。切片類型slice_type為P切片且使用時間合併候補的畫面間預測資訊來進行畫面間預測的情況下，為了進行L0預測(Pred_L0)，而僅導出L0之參照索引，切片類型slice_type為B切片且使用時間合併候補的畫面間預測資 訊來進行畫面間預測的情況下，為了進行雙預測(Pred_BI)，而導出L0與L1各自之參照索引。關於步驟S102的詳細處理程序，係使用圖18的流程圖而在之後詳細說明。
接著，在動態影像編碼裝置的畫面間預測資訊導出部104的時間合併候補生成部133及動態影像解碼裝置的畫面間預測資訊導出部205的時間合併候補生成部233中，係導出來自不同時間之圖像的時間合併候補，將已被導出之時間合併候補，登錄至合併候補清單mergeCandList(圖15的步驟S103)。將用來表示時間合併候補是否能利用的旗標availableFlagCol、用來表示是否進行時間合併候補之L0預測的L0預測旗標predFlagL0Col及用來表示是否進行L1預測的L1預測旗標predFlagL1Col、及L0之運動向量mvL0N、L1之運動向量mvL1N，予以導出。關於步驟S103的詳細處理程序，係使用圖19的流程圖而在之後詳細說明。合併候補清單mergeCandList係分別供給至動態影像編碼裝置的畫面間預測資訊導出部104的追加合併候補生成部134及動態影像解碼裝置的畫面間預測資訊導出部205的追加合併候補生成部234。
接著，在動態影像編碼裝置的畫面間預測資訊導出部104的追加合併候補生成部134及動態影像解碼裝置的畫面間預測資訊導出部205的追加合併候補生成部234中，係合併候補清單mergeCandList內所被登錄的合 併候補數numMergeCand，是小於最大合併候補數maxNumMergeCand時，則合併候補清單mergeCandList內所被登錄之合併候補數numMergeCand是以最大合併候補數maxNumMergeCand為上限而導出追加合併候補，登錄至合併候補清單mergeCandList(圖15的步驟S104)。以最大合併候補數maxNumMergeCand為上限，在P切片時，係會追加不同參照索引且運動向量是具有(0,0)之值且預測模式為L0預測(Pred_L0)的合併候補。在B切片時，係會追加不同參照索引且運動向量是具有(0,0)之值且預測模式為雙預測(Pred_BI)的合併候補。關於步驟S104的詳細處理程序，係使用圖26的流程圖而在之後詳細說明。此外，在B切片時，亦可將已被登錄之合併候補彼此之L0預測與L1預測之組合做過變更的預測模式是雙預測(Pred_BI)的合併候補，予以導出並登錄。合併候補清單mergeCandList係分別供給至動態影像編碼裝置的畫面間預測資訊導出部104的合併候補限制部136及動態影像解碼裝置的畫面間預測資訊導出部205的合併候補限制部236。
接著，在動態影像編碼裝置的畫面間預測資訊導出部104的合併候補限制部136及動態影像解碼裝置的畫面間預測資訊導出部205的合併候補限制部236中，係若合併候補清單mergeCandList內所被登錄之合併候補數numMergeCand之值是大於最大合併候補數maxNumMergeCand，則將合併候補清單mergeCandList內 所被登錄之合併候補數numMergeCand之值，限制成最大合併候補數maxNumMergeCand(圖15的步驟S106)。合併候補清單mergeCandList係分別被供給至動態影像編碼裝置的畫面間預測資訊導出部104的畫面間預測資訊選擇部137及動態影像解碼裝置的畫面間預測資訊導出部205的畫面間預測資訊選擇部237。關於步驟S106之詳細之處理程序，係使用圖27的流程圖來說明。
若大於最大合併候補數maxNumMergeCand(圖27的S7101的YES)，則將合併候補清單mergeCandList內所被登錄之合併候補數numMergeCand之值，更新成最大合併候補數maxNumMergeCand(圖27的步驟S7102)。步驟S7102之處理係為，禁止存取合併候補清單mergeCandList內的合併索引是大於(maxNumMergeCand-1)的所有合併候補，將合併候補清單mergeCandList中所被登錄之合併候補數，限制成最大合併候補數maxNumMergeCand的意思。
在本實施形態中，係以切片單位而將合併候補清單mergeCandList內所被登錄之合併候補數，設定成固定的數。將合併候補清單mergeCandList內所被登錄之合併候補數予以固定的理由是，合併候補清單mergeCandList內所被登錄之合併候補數若隨合併候補清單的建構狀態而變動，則熵解碼與合併候補清單之建構會產生依存關係，在解碼側上若不每一預測區塊地建構合併候補清單而導出合併候補清單mergeCandList內所被登錄 之合併候補數，就無法將合併索引進行熵解碼，造成合併索引的解碼延遲並且熵解碼會變得複雜。再者，若熵解碼是依存於，含有從不同時間之圖像的預測區塊所導出之合併候補Col的合併候補清單的架構狀態，則別的圖像之編碼位元列的解碼時發生錯誤之際，目前圖像之編碼位元列也會受到該錯誤之影響，而導致無法導出正常的合併候補清單mergeCandList內所被登錄之合併候補數，無法正常地繼續進行熵解碼之問題。若像是本實施形態這樣，以切片單位而將合併候補清單mergeCandList內所被登錄之合併候補數，設定成固定的數，則不需要預測區塊單位的合併候補清單mergeCandList內所被登錄之合併候補數之導出，可獨立於合併候補清單的架構而將合併索引進行熵解碼，同時，即使別的圖像之編碼位元列的解碼時發生錯誤，也可不受其影響地繼續進行目前圖像之編碼位元列的熵解碼。在本實施形態中，係以切片單位而將表示合併候補清單mergeCandList內所被登錄之合併候補數的語法要素予以編碼，將mergeCandList內所被登錄之合併候補數，定義成最大合併候補數maxNumMergeCand。
接著，針對圖15的步驟S101之處理程序亦即從編碼/解碼對象區塊所相鄰之預測區塊N導出合併候補N之方法，詳細說明。圖16係說明圖15的步驟S101之空間合併候補導出處理程序的流程圖。N係代入表示相鄰之預測區塊之領域的A(左側)、B(上側)、C(右上)、D(左下)或E(左上)。此外，於本實施形態中，係從相鄰的 5個預測區塊，導出最多4個空間合併候補。
圖16中，將變數N設成A而調查編碼/解碼對象預測區塊之左側相鄰的預測區塊A的編碼資訊而導出合併候補A，將變數N設成B而調查上側相鄰之預測區塊B的編碼資訊而導出合併候補B，將變數N設成C而調查右上側相鄰之預測區塊C的編碼資訊而導出合併候補C，將變數N設成D而調查左下側相鄰之預測區塊D的編碼資訊而導出合併候補D，將變數N設成E而調查左上側相鄰之預測區塊E的編碼資訊而導出合併候補E，並登錄至合併候補清單(圖16的步驟S1101~步驟S1118)。
首先，當變數N為E，且將旗標availableFlagA,availableFlagB,availableFlagC,availableFlagD之值予以加算而合計為4的情況下(圖16的步驟S1102的YES)，亦即被導出4個空間合併候補的情況下，則將合併候補E的旗標availableFlagE設定成0(圖16的步驟S1107)，將合併候補E的運動向量mvL0E,mvL1E之值皆設定成(0,0)(圖16的步驟S1108)，將合併候補E的旗標predFlagL0E、predFlagL1E之值皆設定成0(圖16的步驟S1109)，前進至步驟S1118，結束本空間合併候補導出處理。
在本實施形態中，係由於是從相鄰的預測區塊導出最多4個合併候補，因此若已經有4個空間合併候補被導出時，則不需要進行更多的空間合併候補之導出處理。
另一方面，當變數N並非E，或將旗標availableFlagA,availableFlagB,availableFlagC,availableFlagD之值予以加算而合計並非4的情況下(圖16的步驟S1102的NO)，亦即4個空間合併候補未被導出的情況下，則前進至步驟S1103。若相鄰之預測區塊N是被包含在與含導出對象預測區塊之編碼區塊相同之編碼區塊中的情況下(圖16的步驟S1103的YES)，則將合併候補N的旗標availableFlagN之值設定成0(圖16的步驟S1107)，將合併候補N的運動向量mvL0N,mvL1N之值皆設定成(0,0)(圖16的步驟S1108)，將合併候補N的旗標predFlagL0N、predFlagL1N之值皆設定成0(圖16的步驟S1109)，前記至步驟S1118。相鄰之預測區塊N是被包含在與含導出對象預測區塊之編碼區塊相同之編碼區塊中的情況(圖16的步驟S1103的YES)，藉由不參照相鄰之預測區塊N，預測區塊的合併候補導出及合併候補清單之建構處理之平行處理就成為可能。
具體而言，分割模式(PartMode)是2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)或2N×nD分割(PART_2NxnD)，且處理對象之預測區塊的PartIdx為1，且相鄰之預測區塊B的情況，係為相鄰之預測區塊N是被包含在與含導出對象預測區塊之編碼區塊相同之編碼區塊中的情況。此情況下，由於相鄰之預測區塊B係為PartIdx是0的預測區塊，因此藉由不參照相鄰之預測區塊B，預測區塊的合併候補導出及合併候補清單之建構處 理之平行處理就成為可能。
然後，分割模式(PartMode)為N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)或nR×2N分割(PART_nRx2N)，且處理對象之預測區塊的PartIdx為1，且相鄰之預測區塊A的情況，亦為相鄰之預測區塊N是被包含在與含導出對象預測區塊之編碼區塊相同之編碼區塊中的情況。此情況下也是，由於相鄰之預測區塊A係為PartIdx是0的預測區塊，因此藉由不參照相鄰之預測區塊A，預測區塊的合併候補導出及合併候補清單之建構處理之平行處理就成為可能。
再者，分割模式(PartMode)為N×N分割(PART_NxN)，且處理對象之預測區塊的PartIdx為1、2或3的情況，也是相鄰之預測區塊N是被包含在與含導出對象預測區塊之編碼區塊相同之編碼區塊中的情況。
另一方面，若相鄰之預測區塊N是未被包含在與含處理對象預測區塊之編碼區塊相同之編碼區塊中的情況下(圖16的步驟S1103的NO)，則將編碼/解碼對象之預測區塊所相鄰的預測區塊N加以特定，各個預測區塊N是可利用時則從編碼資訊儲存記憶體115或210取得預測區塊N的編碼資訊(圖16的步驟S1104)。
相鄰之預測區塊N係為無法利用(圖16的步驟S1105的NO)，或預測區塊N的預測模式PredMode是畫面內預測(MODE_INTRA)的情況下(圖16的步驟S1106的NO)，則將合併候補N的旗標availableFlagN之值設定 成0(圖16的步驟S1107)，將合併候補N的運動向量mvL0N,mvL1N之值皆設定成(0,0)(圖16的步驟S1108)，將合併候補N的旗標predFlagL0N、predFlagL1N之值皆設定成0(步驟S1109)，前進至步驟S1118。此處，所謂相鄰之預測區塊N係為無法利用的情況，具體而言係為相鄰之預測區塊N是位於編碼/解碼對象切片外的情況，或在編碼/解碼處理順序上還在後面，因此該當於編碼/解碼處理尚未完成的情形等。
另一方面，相鄰之預測區塊N是在與導出對象之預測區塊的編碼區塊相同之編碼區塊外(圖16的步驟S1104的YES)，或相鄰之預測區塊N係為可利用(圖16的步驟S1105的YES)，預測區塊N的預測模式PredMode並非畫面內預測(MODE_INTRA)的情況下(圖16的步驟S1106的YES)，則將預測區塊N的畫面間預測資訊，當作合併候補N的畫面間預測資訊。將合併候補N的旗標availableFlagN之值設定成1(圖16的步驟S1110)，將合併候補N的運動向量mvL0N,mvL1N分別設定成與預測區塊N的運動向量mvL0N[xN][yN],mvL1N[xN][yN]相同的值(圖16的步驟S1111)，將合併候補N的參照索引refIdxL0N,refIdxL1N分別設定成與預測區塊N的參照索引refIdxL0[xN][yN],refIdxL1[xN][yN]相同的值(圖16的步驟S1112)，將合併候補N的旗標predFlagL0N,predFlagL1N分別設定成預測區塊N的旗標predFlagL0[xN][yN],predFlagL1[xN][yN](圖16的步驟S1113)。此 處，xN、yN係為用來表示，預測區塊N的左上像素在圖像內之位置的索引。
接著，將合併候補N的旗標predFlagL0N,predFlagL1N、合併候補N的參照索引refIdxL0N,refIdxL1N、合併候補N的運動向量mvL0N,mvL1N，和已被導出之合併候補，分別進行比較(圖16的步驟S1114)。若同一合併候補不存在(圖16的S1115的YES)，則將合併候補N登錄至合併候補清單mergeCandList的合併索引是與numMergeCand同值所示之位置(圖16的步驟S1116)，對合併候補數numMergeCand加算1(圖16的步驟S1117)。另一方面，若同一合併候補存在(圖16的S1115的NO)，則略過步驟S1116及步驟S1117，前進至步驟S1118。
以上的步驟S1102~步驟S1117之處理針對N=A,B,C,D,E分別重複進行(圖16的步驟S1101~步驟S1118)。
接著，針對圖15的S102的時間合併候補的參照索引之導出方法，詳細說明。導出時間合併候補的L0與L1各自之參照索引。
在本實施形態中，係利用空間合併候補之參照索引、亦即編碼/解碼對象區塊所相鄰之預測區塊上所被利用之參照索引，來導出時間合併候補之參照索引。這是因為，在時間合併候補被選擇的情況下，編碼/解碼對象預測區塊的參照索引，係與成為空間合併候補的編碼/ 解碼對象區塊所相鄰之預測區塊的參照索引，具有較高的相關性。尤其是，在本實施形態中，係僅利用編碼/解碼對象之預測區塊之左邊相鄰的預測區塊A的參照索引。這是因為，在亦身為空間合併候補的相鄰之預測區塊A,B,C,D,E之中，編碼/解碼對象預測區塊的邊所銜接的預測區塊A,B，其相關性是比與編碼/解碼對象預測區塊僅頂點銜接之預測區塊C,D,E還高。藉由不利用相關性相對較低之預測區塊C,D,E，將所利用之預測區塊限定成預測區塊A，就可獲得時間合併候補之參照索引之導出所帶來的編碼效率之改善效果，同時，可削減時間合併候補之參照索引導出處理所涉及之演算量及記憶體存取量。
圖17係本實施形態中的時間合併候補的參照索引的導出處理中所參照之相鄰區塊的圖示。在本實施形態中，係無關於編碼區塊的分割模式(PartMode)為何，隨應於預測區塊的分割索引PartIdx，而切換著是否參照導出對象之預測區塊的左邊相鄰之預測區塊。當預測區塊的分割索引PartIdx為0時則參照左邊相鄰之預測區塊，當預測區塊的分割索引PartIdx為0以外時則不參照相鄰之預測區塊而設成預設值。當預測區塊的分割索引PartIdx為0時，無論何種分割模式(PartMode)，左邊相鄰之預測區塊都必定在編碼區塊外，但預測區塊的分割索引PartIdx為0以外的情況下，隨著分割模式(PartMode)而會是在編碼區塊內。在分割模式(PartMode)為2N×2N分割(PART_2Nx2N)時，係如圖17(a)所示，參照導出對象之預 測區塊的左方相鄰之預測區塊A0，將時間合併候補的LX之參照索引，設定成預測區塊A0的LX之參照索引之值。
將處理對象之編碼區塊分割成上下並排之2個預測區塊的分割模式(PartMode)是2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)、及將處理對象之編碼區塊分割成左右並排之2個預測區塊的分割模式(PartMode)是N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)時，係如圖17(b)、(c)、(d)、(e)、(f)、(g)所示，在導出對象之分割索引PartIdx為0的預測區塊上係參照左方相鄰之預測區塊A0，將時間合併候補的LX之參照索引，設定成預測區塊A0的LX之參照索引之值。在導出對象之分割索引PartIdx為1的預測區塊上係不參照相鄰之預測區塊，將時間合併候補的LX之參照索引，設成預設值的0。由於所參照之預測區塊A0是位於編碼區塊外，因此可將分割索引PartIdx為0與1的2個預測區塊的時間合併候補的參照索引，分別予以平行地導出。
將處理對象之編碼區塊做上下左右4分割而分割成4個預測區塊的分割模式(PartMode)是N×N分割(PART_NxN)時，如圖17(h)所示，在導出對象之分割索引PartIdx為0的預測區塊上係參照左方相鄰之預測區塊A0，將時間合併候補的LX之參照索引，設定成預測區塊A0的LX之參照索引之值。在導出對象之分割索引 PartIdx為1、2及3的預測區塊上係不參照相鄰之預測區塊，將時間合併候補的LX之參照索引，設成預設值的0。由於所參照之預測區塊A0是位於編碼區塊外，因此可將分割索引PartIdx為0、1、2及3的4個預測區塊的時間合併候補的參照索引，分別予以平行地導出。
但是，若相鄰之預測區塊A是沒進行LX預測的情況下，則將時間合併候補的LX之參照索引之值，設成預設值的0。當相鄰之預測區塊A不進行LX預測時或導出對象之預測區塊的分割索引PartIdx是1時，將時間合併候補的LX之參照索引的預設值設成0的理由是，在畫面間預測中，參照索引之值為0所對應之參照圖像被選擇的機率為最高。只不過，並非限定於此，亦可將參照索引的預設值設成0以外的其他值(1、2等)，亦可以序列層級、圖像層級、或切片層級而在編碼串流內設置表示參照索引之預設值的語法要素而傳輸，而可在編碼側上做選擇。
圖18係本實施形態所進行之圖15的步驟S102的時間合併候補的參照索引的導出處理程序的說明用流程圖。首先，當分割索引PartIdx為0時(步驟S2104的YES)，則從編碼資訊儲存記憶體115或210取得導出對象之預測區塊的左方相鄰之預測區塊A的編碼資訊(步驟S2111)。
接著，將步驟S2113至步驟S2115之處理，針對L0、L1分別進行(步驟S2112~S2116)。此外，在導 出時間合併候補的L0之參照索引之際，LX係被設定成L0，在導出L1之參照索引之際，LX係被設定成L1。只不過，若切片類型slice_type是P切片，則作為畫面間預測模式是只有L0預測(Pred_L0)，沒有L1預測(Pred_L1)、雙預測(Pred_BI)，因此可以省略關於L1之處理。
預測區塊A之用來表示是否進行LX預測的旗標predFlagLX[xA][yA]不是0的情況下(步驟S2113的YES)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成和預測區塊A的LX之參照索引refIdxLX[xA][yA]之值相同的值(步驟S2114)。此處，xA、yA係為用來表示，預測區塊A的左上像素在圖像內之位置的索引。
此外，在本實施形態中，係於預測區塊N(N=A,B)上，當預測區塊N係為編碼/解碼對象切片外而無法利用的時候、預測區塊N是在編碼/解碼順序上較編碼/解碼對象預測區塊後面因此無法編碼/解碼而利用的時候、或預測區塊N的預測模式PredMode是畫面內預測(MODE_INTRA)的時候，表示是否利用L0預測的旗標predFlagL0[xN][yN]、預測區塊N的表示是否利用L1預測的旗標predFlagL1[xN][yN]係皆為0。此處，xN、yN係為用來表示，預測區塊N的左上像素在圖像內之位置的索引。當預測區塊N的預測模式PredMode是畫面間預測(MODE_INTER)、且畫面間預測模式是L0預測(Pred_L0) 時，則預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]係為1、表示是否利用L1預測的旗標predFlagL1[xN][yN]係為0。當預測區塊N的畫面間預測模式是L1預測(Pred_L1)時，預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]係為0、表示是否利用L1預測的旗標predFlagL1[xN][yN]係為1。當預測區塊N的畫面間預測模式是雙預測(Pred_BI)時，預測區塊N的表示是否利用L0預測的旗標predFlagL0[xN][yN]、表示是否利用L1預測的旗標predFlagL1[xN][yN]係皆為1。
預測區塊A之用來表示是否進行LX預測的旗標predFlagLX[xA][yA]是0的情況下(步驟S2113的NO)，則將時間合併候補的LX之參照索引refIdxLXCol，設定成預設值的0(步驟S2115)。
在L0、L1中分別進行步驟S2113至步驟S2115之處理(步驟S2112~S2116)，結束本參照索引導出處理。
另一方面，當分割索引PartIdx非0時(步驟S2104的NO)，將後續之步驟S2121的處理，分別針對L0、L1進行之(步驟S2118~S2122)。此外，在導出時間合併候補的L0之參照索引之際，LX係被設定成L0，在導出L1之參照索引之際，LX係被設定成L1。只不過，若切片類型slice_type是P切片，則作為畫面間預測模式是只有L0預測(Pred_L0)，沒有L1預測(Pred_L1)、雙預測(Pred_BI)，因此可以省略關於L1之處理。
將時間合併候補的LX之參照索引refIdxLXCol，設成預設值的0(步驟S2121)。
在L0、L1中分別進行至步驟S2121為止之處理(步驟S2118~S2122)，結束本參照索引導出處理。
此外，雖然在本實施形態中係切換著是否參照導出對象之預測區塊的左邊相鄰之預測區塊，但亦可取代左邊相鄰之預測區塊而改為切換是否參照上邊相鄰之預測區塊。
接著，針對圖15的S103的不同時間之合併候補的導出方法，詳細說明。圖19係說明圖15的步驟S103之時間合併候補導出處理程序的流程圖。
首先，藉由以切片單位而被記述在切片標頭中的切片類型slice_type和一旗標collocated_from_10_flag其係用來表示，在時間方向之預測運動向量之候補、或合併候補的導出之際所使用的不同時間之圖像colPic，是要使用處理對象之預測區塊所被包含的圖像的L0之參照清單或L1之參照清單之哪一者中所被登錄的參照圖像，而導出不同時間之圖像colPic(步驟S3101)。
圖20係說明圖19的步驟S3101的不同時間之圖像colPic之導出處理程序的流程圖。若切片類型slice_type是B切片，且旗標collocated_from_10_flag為0(步驟S3201的YES、步驟S3202的YES)，則RefPicList1[0]，亦即參照清單L1之參照索引為0的圖像，就成為不同時間之圖像colPic(步驟S3203)。若非如 此，亦即切片類型slice_type是B切片且前述旗標collocated_from_10_flag為1時(步驟S3201的YES、步驟S3202的NO)，或切片類型slice_type是P切片時(步驟S3201的NO、S3204的YES)，則RefPicList0[0]，亦即參照清單L0之參照索引為0的圖像，就成為不同時間之圖像colPic(步驟S3205)。
接著，回到圖19的流程圖，導出不同時間之預測區塊colPU，取得編碼資訊(步驟S3102)。
圖21係說明圖19的步驟S3102的不同時間之圖像colPic的預測區塊colPU之導出處理程序的流程圖。
首先，在不同時間之圖像colPic內，將與處理對象之預測區塊同一位置的右下(外側)位置上的預測區塊，當成不同時間之預測區塊colPU(步驟S3301)。該預測區塊係相當於圖9的預測區塊T0。
接著，取得不同時間之預測區塊colPU的編碼資訊(步驟S3302)。若不同時間之預測區塊colPU的PredMode是無法利用、或不同時間之預測區塊colPU的預測模式PredMode是畫面內預測(MODE_INTRA)時(步驟S3303的YES、步驟S3304的YES)，則將不同時間之圖像colPic內位於與處理對象之預測區塊同一位置的中央左上位置的預測區塊，當成不同時間之預測區塊colPU(步驟S3305)。該預測區塊係相當於圖9的預測區塊T1。
接著，回到圖19的流程圖，將從與編碼/解碼 對象之預測區塊相同位置之其他圖像的預測區塊所導出的L0之預測運動向量mvL0Col和表示時間合併候補Col是否有效的旗標availableFlagL0Col予以導出(步驟S3103)，並且，導出L1之預測運動向量mvL1Col與表示時間合併候補Col是否有效的旗標availableFlagL1Col(步驟S3104)。然後，若旗標availableFlagL0Col或旗標availableFlagL1Col為1，則將表示時間合併候補Col是否有效的旗標availableFlagCol，設定成1。
圖22係說明圖19的步驟S3103、步驟S3104的時間合併候補之畫面間預測資訊的導出處理程序的流程圖。L0或L1，將時間合併候補的導出對象之清單設成LX，使用LX之預測稱作LX預測。以下，只要沒有特別聲明，就照該意義來使用。在被呼叫來作為時間合併候補的L0之導出處理亦即步驟S3103之際，LX係為L0，在被呼叫來作為時間合併候補的L1之導出處理亦即步驟S3104之際，LX係為L1。
若不同時間之預測區塊colPU的預測模式PredMode是畫面內預測(MODE_INTRA)或無法利用時(步驟S3401的NO，步驟S3402的NO)，則認定為時間合併候補係不存在。將旗標availableFlagLXCol與旗標predFlagLXCol皆設成0(步驟S3403)，將運動向量mvLXCol設成(0,0)(步驟S3404)，結束本時間合併候補的畫面間預測資訊之導出處理。
若預測區塊colPU可以利用而預測模式 PredMode並非畫面內預測(MODE_INTRA)時(步驟S3401的YES、步驟S3402的YES)，則用以下的程序來導出mvCol和refIdxCol和availableFlagCol。
若用來表示預測區塊colPU之L0預測是否能利用的旗標PredFlagL0[xPCol][yPCol]為0時(步驟S3405的YES)，則因為預測區塊colPU的預測模式是Pred_L1，所以運動向量mvCol會被設定成與預測區塊colPU的L1之運動向量亦即MvL1[xPCol][yPCol]相同的值(步驟S3406)，參照索引refIdxCol會被設定成與L1之參照索引RefIdxL1[xPCol][yPCol]相同的值(步驟S3407)，清單ListCol係被設定成L1(步驟S3408)。此處，xPCol、yPCol係為用來表示，不同時間之圖像colPic內的預測區塊colPU之左上像素位置的索引。
另一方面，若預測區塊colPU的L0預測旗標PredFlagL0[xPCol][yPCol]不是0(圖22的步驟S3405的NO)，則判定預測區塊colPU的L1預測旗標PredFlagL1[xPCol][yPCol]是否為0。若預測區塊colPU的L1預測旗標PredFlagL1[xPCol][yPCol]是0(步驟S3409的YES)，則運動向量mvCol會被設定成與預測區塊colPU的L0之運動向量亦即MvL0[xPCol][yPCol]相同的值(步驟S3410)，參照索引refIdxCol會被設定成與L0之參照索引RefIdxL0[xPCol][yPCol]相同的值(步驟S3411)，清單ListCol係被設定成L0(步驟S3412)。
若預測區塊colPU的L0預測旗標 PredFlagL0[xPCol][yPCol]與若預測區塊colPU的L1預測旗標PredFlagL1[xPCol][yPCol]都不是0(步驟S3405的NO、步驟S3409的NO)，則因為預測區塊colPU的畫面間預測模式係為雙預測(Pred_BI)，所以從L0、L1的2個運動向量中，選擇出一方(步驟S3413)。
圖23係預測區塊colPU的畫面間預測模式是雙預測(Pred_BI)時的時間合併候補的畫面間預測資訊之導出處理程序的流程圖。
首先，判定所有的參照清單中所登錄之所有圖像的POC是否小於目前編碼/解碼對象圖像之POC(步驟S3501)，若預測區塊colPU的所有參照清單亦即L0及L1中所登錄之所有圖像的POC都是小於目前編碼/解碼對象圖像之POC(步驟S3501的YES)，且LX為L0，亦即有導出編碼/解碼對象圖像的L0之運動向量之預測向量候補的情況下(步驟S3502的YES)，則選擇預測區塊colPU的L0這邊的畫面間預測資訊；若LX為L1，亦即有導出編碼/解碼對象圖像的L1之運動向量之預測向量候補的情況下(步驟S3502的NO)，則選擇預測區塊colPU的L1這邊的畫面間預測資訊。另一方面，若預測區塊colPU的所有參照清單L0及L1中所登錄之圖像的POC至少有1者是大於目前編碼/解碼對象圖像之POC(步驟S3501的NO)，且若旗標collocated_from_10_flag為0時(步驟S3503的YES)，則選擇預測區塊colPU的L0這邊的畫面間預測資訊；若旗標collocated_from_10_flag為1時(步驟S3503的 NO)，則選擇預測區塊colPU的L1這邊的畫面間預測資訊。
若選擇預測區塊colPU的L0這邊的畫面間預測資訊(步驟的YES、步驟S3503的YES)，則運動向量mvCol係被設定成與MvL0[xPCol][yPCol]相同的值(步驟S3504)，參照索引refIdxCol係被設定成與RefIdxL0[xPCol][yPCol]相同的值(步驟S3505)，清單ListCol係被設定成L0(步驟S3506)。
若選擇預測區塊colPU的L1這邊的畫面間預測資訊(步驟S2502的NO、步驟S3503的NO)，則運動向量mvCol係被設定成與MvL1[xPCol][yPCol]相同的值(步驟S3507)，參照索引refIdxCol係被設定成與RefIdxL1[xPCol][yPCol]相同的值(步驟S3508)，清單ListCol係被設定成L1(步驟S3509)。
回到圖22，若能從預測區塊colPU取得畫面間預測資訊，則將旗標availableFlagLXCol與旗標predFlagLXCol皆設成1(步驟S3414)。
接著，將運動向量mvCol予以比例縮放來作為時間合併候補的LX之運動向量mvLXCol(步驟S3415)。此運動向量的比例縮放演算處理程序，使用圖24及圖25來說明。
圖24係圖22的步驟S3415之運動向量之比例縮放演算處理程序的流程圖。
從不同時間之圖像colPic的POC，減去預測 區塊colPU的清單ListCol所參照之參照索引refIdxCol所對應之參照圖像的POC而導出圖像間距離td(步驟S3601)。此外，若相較於不同時間之圖像colPic，預測區塊colPU的清單ListCol中所參照之參照圖像的POC在顯示順序上是較為前面的情況下，則圖像間距離td係為正的值，若相較於不同時間之圖像colPic，預測區塊colPU的清單ListCol中所參照之參照圖像的POC在顯示順序上是較為後面的情況下，則圖像間距離td係為負的值。
td=不同時間之圖像colPic的POC-預測區塊colPU的清單ListCol中所參照之參照圖像的POC
從目前的編碼/解碼對象圖像之POC，減去圖15的步驟S102所導出之時間合併候補的LX之參照索引所對應之參照圖像的POC，而導出圖像間距離tb(步驟S3602)。此外，若相較於目前之編碼/解碼對象圖像，目前之編碼/解碼對象圖像的清單LX中所參照之參照圖像在顯示順序上是較為前面的情況下，則圖像間距離tb係為正的值，若目前之編碼/解碼對象圖像的清單LX中所參照之參照圖像在顯示順序上是較為後面的情況下，則圖像間距離tb係為負的值。
tb=目前之編碼/解碼對象圖像的POC-時間合併候補的LX之參照索引所對應之參照圖像的POC
接著，比較圖像間距離td與tb(步驟S3603)，若圖像間距離td與tb相等(步驟S3603的YES)，則將時間合併候補的LX之運動向量mvLXCol設定成與運動向量mvCol 相同的值(步驟S3604)，結束本比例縮放演算處理。
mvLXCol=mvCol
另一方面，若圖像間距離td與tb不相等(步驟S3603的NO)，則藉由下式對mvCol乘以比例係數tb/td以進行比例縮放演算處理(步驟S3605)，獲得比例縮放過的時間合併候補的LX之運動向量mvLXCol。
mvLXCol=tb/td * mvCol
又，步驟S3605之比例縮放演算是以整數精度的演算來進行時的例子，示於圖25。圖25的步驟S3606~步驟S3608之處理，係相當於圖24的步驟S3605之處理。
首先，和圖24的流程圖同樣地，導出圖像間距離td與圖像間距離tb(步驟S3601、步驟S3602)。
接著，比較圖像間距離td與tb(步驟S3603)，若圖像間距離td與tb相等(步驟S3603的YES)，則和圖24的流程圖同樣地，將時間合併候補的LX之運動向量mvLXCol設定成與運動向量mvCol相同的值(步驟S3604)，結束本比例縮放演算處理。
mvLXCol=mvCol
另一方面，若圖像間距離td與tb不相等(步驟S3603的NO)，則藉由下式而導出變數tx(步驟S3606)。
tx=(16384+Abs(td/2))/td
接著，以下式導出比例係數DistScaleFactor (步驟S3607)。
DistScaleFactor=(tb * tx+32)>>6
接著，藉由下式，獲得比例縮放過的時間合併候補的LX之運動向量mvLXCol(步驟S3608)。
mvLXCol=ClipMv(Sign(DistScaleFactor * mvCol) * ((Abs(DistScaleFactor * mvCol)+127)>>8))
接著，回到圖19的流程圖，在時間合併候補存在的情況下(步驟S3105的YES)，將時間合併候補登錄至合併候補清單mergeCandList的合併索引是與numMergeCand同值所示之位置(步驟S3106)，對合併候補數numMergeCand加算1(步驟S3107)，結束本時間合併候補導出處理。另一方面，在時間合併候補不存在的情況下(步驟S3105的NO)，略過步驟S3106及步驟S3107，結束本時間合併候補導出處理。
接著，詳細說明圖12的追加合併候補生成部134及圖13的追加合併候補生成部234中所實施的圖15的步驟S104之處理程序亦即追加合併候補之導出方法。圖26係說明圖15的步驟S104之追加合併候補導出處理程序的流程圖。
圖12的追加合併候補生成部134及圖13的追加合併候補生成部234中所實施的追加合併候補導出處理中，為了擴展合併候補的選擇幅度以促使編碼效率提升，而生成帶有不同值之畫面間預測資訊的複數合併候補，登錄至合併候補清單。尤其是，在圖26的追加合併 候補導出處理中，係將預測模式與運動向量值予以固定，生成參照索引之值為不同的複數合併候補，登錄至合併候補清單(圖26的步驟S5101~S5119)。
首先，切片類型為P切片時(圖26的步驟S5101的YES)，對表示參照索引數的變數numRefIdx，設定L0之參照索引數之值(圖26的步驟S5102)。另一方面，切片類型不是P切片時(圖26的步驟S5101的NO)，亦即切片類型是B切片時，則對表示參照索引數的變數numRefIdx，設定L0之參照索引數與L1之參照索引數之較小者的值(圖26的步驟S5103)。接下來對參照索引i設定0(圖26的步驟S5104)。
接著，一面變更參照索引i，一面導出相應於切片類型之預測模式的運動向量之值為(0,0)的追加合併候補，登錄至合併候補清單。(圖26的步驟S5105~S5119)。
首先，若合併候補數numMergeCand小於最大合併候補數maxNumMergeCand(圖26的步驟S5106的YES)，則前進至步驟S5107，若合併候補數numMergeCand並非小於最大合併候補數maxNumMergeCand(圖26的步驟S5106的NO)，則結束本追加合併候補導出處理。接著，若參照索引i小於變數numRefIdx(圖26的步驟S5107的YES)，則前進至步驟S5109，若參照索引i並非小於變數numRefIdx(圖26的步驟S5107的NO)，則結束本追加合併候補導出處理。
接著，若切片類型是P切片時(圖26的步驟S5109的YES)，則對追加合併候補的運動向量mvL0Zero、mvL1Zero設定(0,0)(圖26的步驟S5110)，對追加合併候補的參照索引refIdxL0Zero設定參照索引i之值，對refIdxL1Zero設定-1(圖26的步驟S5111)，對追加合併候補的旗標predFlagL0Zero設定1，對predFlagL1Zero設定0(圖26的步驟S5112)，前進至步驟S5116。
另一方面，若切片類型並非P切片時(圖26的步驟S5109的NO)，亦即切片類型是B切片時，則對追加合併候補的運動向量mvL0Zero、mvL1Zero設定(0,0)(圖26的步驟S5113)，對追加合併候補的參照索引refIdxL0Zero、refIdxL1Zero設定參照索引i之值(圖26的步驟S5114)，對追加合併候補的旗標predFlagL0Zero、predFlagL1Zero設定1(圖26的步驟S5115)，前進至步驟S5116。
接著，將追加合併候補登錄至合併候補清單mergeCandList的合併索引是與numMergeCand同值所示之位置(圖26的步驟S5116)，對合併候補數numMergeCand加算1(圖26的步驟S5117)。接下來對索引i加算1(圖26的步驟S5118)，前進至步驟S5119。
將以上的步驟S5106~步驟S5118之處理，對每一個參照索引i分別予以重複進行(圖26的步驟S5105~步驟S5119)。
在圖26中係將預測模式與運動向量值予以固定，生成參照索引之值為不同的複數合併候補，登錄至合併候補清單，但亦可生成不同預測模式的複數合併候補，登錄至合併候補清單，也可生成不同運動向量之值的合併候補，登錄至合併候補清單。當將運動向量之值予以變更的時候，例如，一面以(0,0)、(1,0)、(-1,0)、(0,1)、(0,-1)之順序來變更運動向量之值，一面追加。
接著說明，動態影像編碼裝置的畫面間預測資訊導出部104的畫面間預測資訊選擇部137。圖37係動態影像編碼裝置的畫面間預測資訊導出部104的畫面間預測資訊選擇部137的處理程序的說明用流程圖。於第1實施例的圖12中，在動態影像編碼裝置的畫面間預測資訊導出部104的畫面間預測資訊選擇部137上，若合併候補數numMergeCand大於0(圖37的S8101的YES)，則從合併候補清單中所被登錄之合併索引為0至(numMergeCand-1)之範圍內所指示的有效之合併候補之中，選擇出合併候補，已被選擇之合併候補的各預測區塊的用來表示是否利用L0預測、及L1預測的旗標predFlagL0[xP][yP],predFlagL1[xP][yP]、參照索引refIdxL0[xP][yP],refIdxL1[xP][yP]、運動向量mvL0[xP][yP],mvL1[xP][yP]等之畫面間預測資訊，供給至運動補償預測部105，並且將用來特定所被選擇之合併候補用的合併索引，供給至預測方法決定部107(圖37的步驟S8102)。若合併索引mergeIdx之值未滿合併候補數 numMergeIdx之值，則合併索引mergeIdx係指示了已被登錄至合併候補清單mergeCandList中的有效之合併候補。若合併索引mergeIdx之值是合併候補數numMergeIdx之值以上，則合併索引mergeIdx係指示了未被登錄至合併候補清單mergeCandList中的無效之合併候補。此外，藉由亦將後述之規定適用於編碼側，即使合併索引mergeIdx是指示無效之合併候補時，仍可選擇有效之合併候補。
於合併候補之選擇中，係可使用和預測方法決定部107同樣的方法。對各個合併候補，導出編碼資訊及殘差訊號的編碼量與預測影像訊號和影像訊號之間的編碼失真，決定最少發生編碼量與編碼失真的合併候補。對這些每一合併候補，進行合併模式之編碼資訊亦即合併索引之語法要素merge_idx的熵編碼，算出編碼資訊的編碼量。然後，對這些每一合併候補以和運動補償預測部105同樣的方法來隨著各合併候補的畫面間預測資訊而將運動補償過之預測影像訊號、與從影像記憶體101所供給之編碼對象之影像訊號的預測殘差訊號所編碼而成的預測殘差訊號的編碼量，予以算出。編碼資訊、亦即合併索引的編碼量與預測殘差訊號的編碼量所加算而成的總發生編碼量，當作評價值。
又，如此將預測殘差訊號進行編碼後，為了評估失真量而進行解碼，算出編碼失真，來作為用來表示因編碼所產生之與原始影像訊號之誤差的比率。藉由將這 些總發生編碼量與編碼失真，針對每一合併候補加以比較，以決定較少發生編碼量與編碼失真的編碼資訊。已被決定之編碼資訊所對應的合併索引，是被當成以預測區塊單位之第2語法模態所表示之旗標merge_idx，而被編碼。
此外，此處所算出的發生編碼量，係將編碼過程加以模擬而得到者是比較理想，但亦可簡化成取近似、或概算等等。
另一方面，若合併候補數numMergeCand為0(圖37的步驟S8102的NO)，則將相應於規定之切片類型的預設值的畫面間預測資訊，供給至運動補償預測部105(步驟S8103~S8105)。畫面間預測資訊的預設值，係切片類型為P切片時(圖37的步驟S8103的YES)，則設成L0預測(Pred_L0)(旗標predFlagL0[xP][yP]之值為1、predFlagL1[xP][yP]之值為0)，且L0之參照索引為0(參照索引refIdxL0[xP][yP]之值為0、refIdxL1[xP][yP]之值為-1)，且L0之向量值mvL0[xP][yP]為(0,0)(圖37的步驟S8104)。另一方面，若切片類型並非P切片時(步驟S8103的NO)，亦即切片類型是B切片時，則設成畫面間預測模式是雙預測(Pred_BI)(旗標predFlagL0[xP][yP]、predFlagL1[xP][yP]之值均為1)，且參照索引雙方均為0(參照索引refIdxL0[xP][yP]、refIdxL1[xP][yP]之值均為0)，且L0及L1之向量值mvL0[xP][yP]、mvL1[xP][yP]雙方均為(0,0)(步驟S8105)。此外，畫面間預測資訊的預設 值，係亦可無關於切片類型，即使切片類型是B切片時，仍設成L0預測(Pred_L0)(旗標predFlagL0[xP][yP]之值為1、predFlagL1[xP][yP]之值為0)，且L0之參照索引為0(參照索引refIdxL0[xP][yP]之值為0、refIdxL1[xP][yP]之值為-1)，且L0之向量值mvL0[xP][yP]為(0,0)。
接著說明，動態影像解碼裝置的畫面間預測資訊導出部205的畫面間預測資訊選擇部237。圖38係動態影像解碼裝置的畫面間預測資訊導出部205的畫面間預測資訊選擇部237的處理程序的說明用流程圖。於第1實施例的圖13中，在動態影像解碼裝置的畫面間預測資訊導出部205的畫面間預測資訊選擇部237上，若合併候補數numMergeCand大於0(圖38的S9101的YES)，則從合併候補清單mergeCandList中所被登錄的合併候補之中，選擇出對應於從第2編碼位元列解碼部202所供給之合併索引mergeIdx的合併候補，將已被選擇之合併候補的用來表示是否利用L0預測、及L1預測的旗標predFlagL0[xP][yP],predFlagL1[xP][yP]、L0、L1的參照索引refIdxL0[xP][yP],refIdxL1[xP][yP]、L0、L1的運動向量mvL0[xP][yP],mvL1[xP][yP]等之畫面間預測資訊，供給至運動補償預測部206，並且儲存至編碼資訊儲存記憶體210(圖38的步驟S9102)。
此外，萬一在編碼側上將指示了無效之合併候補的合併索引進行了編碼時，則在解碼側上就會選擇無效之合併候補。此時，會變成用無效之畫面間預測資訊來 進行畫面間預測，可能導致獲得非預期的預測訊號。又，也有可能因為畫面間預測模式是呈現規格外的值、或指示了沒有參照索引存在的參照圖像等等，而有可能導致發生錯誤、解碼異常結束。
於是，在本實施形態所述之第1實施例中係設計成，若所被供給之合併索引mergeIdx之值是合併候補數numMergeIdx以上的情況下，則先對合併索引mergeIdx設定合併候補數numMergeIdx之值然後才進行前記處理。若所被供給之合併索引mergeIdx之值是合併候補數numMergeIdx之值以上，則在編碼側上所被設定之合併索引mergeIdx係指示了未被登錄至合併候補清單mergeCandList中的無效之合併候補。藉由合併索引mergeIdx的限幅處理，就可獲得被登錄在合併候補清單mergeCandList之最後的合併候補。藉由規定此一合併索引mergeIdx的限幅處理，就可防止解碼側上選擇未被登錄在合併候補清單mergeCandList中的無效之合併候補。
或者，若所被供給之合併索引mergeIdx之值是合併候補數numMergeIdx以上的情況下，則藉由將合併候補的畫面間預測資訊規定成既定的值，也可防止選擇無效之合併候補。此既定之合併候補之畫面間預測資訊，係將預測模式設成L0預測、將參照索引之值設成0、將運動向量之值設成(0,0)。此外，B切片的情況下，亦可將預測模式設成雙預測。
另一方面，若合併候補數numMergeCand為 0(圖38的步驟S9102的NO)，則將相應於規定之切片類型的預設值的畫面間預測資訊，供給至運動補償預測部206，並且儲存至編碼資訊儲存記憶體210。(圖38的步驟S9103~S9105)。畫面間預測資訊的預設值，係切片類型為P切片時(圖38的步驟S9103的YES)，則設成L0預測(Pred_L0)(旗標predFlagL0[xP][yP]之值為1、predFlagL1[xP][yP]之值為0)，且L0之參照索引為0(參照索引refIdxL0[xP][yP]之值為0、refIdxL1[xP][yP]之值為-1)，且L0之向量值mvL0[xP][yP]為(0,0)(圖38的步驟S9104)。另一方面，若切片類型並非P切片時(圖38的步驟S9103的NO)，亦即切片類型是B切片時，則設成畫面間預測模式是雙預測(Pred_BI)(旗標predFlagL0[xP][yP]、predFlagL1[xP][yP]之值均為1)，且參照索引雙方均為0(參照索引refIdxL0[xP][yP]、refIdxL1[xP][yP]之值均為0)，且L0及L1之向量值mvL0[xP][yP]、mvL1[xP][yP]雙方均為(0,0)(圖38的步驟S9105)。此外，畫面間預測資訊的預設值，係亦可無關於切片類型，即使切片類型是B切片時，仍設成L0預測(Pred_L0)(旗標predFlagL0[xP][yP]之值為1、predFlagL1[xP][yP]之值為0)，且L0之參照索引為0(參照索引refIdxL0[xP][yP]之值為0、refIdxL1[xP][yP]之值為-1)，且L0之向量值mvL0[xP][yP]為(0,0)。
接著，使用圖面來說明實施形態所述之第2實施例的畫面間預測資訊導出方法。圖28係實施形態所 述之第2實施例的圖1之動態影像編碼裝置的畫面間預測資訊導出部104的詳細構成的圖。又，圖29係實施形態所述之第2實施例的圖2之動態影像解碼裝置的畫面間預測資訊導出部205的詳細構成的圖。第2實施例的圖28的畫面間預測資訊導出部104係與第1實施例的圖12的畫面間預測資訊導出部104，在追加了有效合併候補補充部135這點，有所不同。第2實施例的圖29的畫面間預測資訊導出部205係與第1實施例的圖13的畫面間預測資訊導出部205，在追加了有效合併候補補充部235這點，有所不同。此外，於本實施形態中，在動態影像編碼裝置及動態影像解碼裝置裡，當最大合併候補數maxNumMergeCand之值為0時，則可省略圖30的合併候補之導出處理及合併候補清單之建構處理。
圖30係在本發明的實施形態所述之第2實施例的動態影像編碼裝置的畫面間預測資訊導出部104的合併候補清單之建構部120及動態影像解碼裝置的畫面間預測資訊導出部205的合併候補清單之建構部220中具有共通機能的合併候補之導出處理及合併候補清單之建構處理之程序的說明用流程圖。第2實施例的圖30的流程圖，係與第1實施例的圖15的流程圖，在追加了步驟S105的有效合併候補之導出處理這點，有所不同。
在動態影像編碼裝置的畫面間預測資訊導出部104的合併候補清單生成部130及動態影像解碼裝置的畫面間預測資訊導出部205的合併候補清單生成部230 中，係備妥了合併候補清單mergeCandList(圖30的步驟S100)，在動態影像編碼裝置的畫面間預測資訊導出部104的空間合併候補生成部131及動態影像解碼裝置的畫面間預測資訊導出部205的空間合併候補生成部231中，係從動態影像編碼裝置的編碼資訊儲存記憶體115或動態影像解碼裝置的編碼資訊儲存記憶體210中所儲存的編碼資訊，導出編碼/解碼對象區塊所相鄰之各個預測區塊A,B,C,D,E，導出空間合併候補A,B,C,D,E，將已被導出之空間合併候補，登錄至合併候補清單mergeCandList(圖30的步驟S101)，在動態影像編碼裝置的畫面間預測資訊導出部104的時間合併候補之參照索引導出部132及動態影像解碼裝置的畫面間預測資訊導出部205的時間合併候補之參照索引導出部232中，係從編碼/解碼對象區塊所相鄰之預測區塊，導出時間合併候補的參照索引，將已被導出之參照索引，供給至動態影像編碼裝置的畫面間預測資訊導出部104的時間合併候補生成部133及動態影像解碼裝置的畫面間預測資訊導出部205的時間合併候補生成部233(圖30的步驟S102)，在動態影像編碼裝置的畫面間預測資訊導出部104的時間合併候補生成部133及動態影像解碼裝置的畫面間預測資訊導出部205的時間合併候補生成部233中，係導出來自不同時間之圖像的時間合併候補，將已被導出之時間合併候補，登錄至合併候補清單mergeCandList(圖30的步驟S103)，在動態影像編碼裝置的畫面間預測資訊導出部104的追加合併候補生成部134 及動態影像解碼裝置的畫面間預測資訊導出部205的追加合併候補生成部234中，係合併候補清單mergeCandList內所被登錄的合併候補數numMergeCand，是小於最大合併候補數maxNumMergeCand時，則合併候補清單mergeCandList內所被登錄之合併候補數numMergeCand是以最大合併候補數maxNumMergeCand為上限而導出追加合併候補，登錄至合併候補清單mergeCandList(圖30的步驟S104)，到這邊為止，是和第1實施例相同。接著，在第2實施例中，藉由以有效合併候補補充部135及有效合併候補補充部235來補充有效之合併候補，以在合併候補清單內的合併索引為0至(maxNumMergeCand-1)之值所指示的範圍內，消除無效之合併候補(圖30的步驟S105)。藉由在合併索引為0至(maxNumMergeCand-1)之值所指示的範圍內消除無效之合併候補，在解碼側上就不會選擇無效之合併候補，可保證只會選擇有效之合併候補。
關於本實施形態所述之第2實施例的圖28的有效合併候補補充部135及圖29的有效合併候補補充部235中所實施的圖30之步驟S105的處理程序亦即有效合併候補之導出方法，使用圖31的流程圖來詳細說明。圖31係本實施形態所述之第2實施例的圖30之步驟S105的有效合併候補導出處理程序的說明用流程圖。
於第2實施例的圖31的有效合併候補導出處理中，係為了將有效之合併候補登錄至合併候補清單，直 到在合併候補清單內的合併索引為0至(maxNumMergeCand-1)之值所指示的範圍內，無效之合併候補消失為止，而藉由簡單的處理，將帶有相同值之畫面間預測資訊的複數合併候補，登錄至合併候補清單。將相應於切片類型之畫面間預測模式的運動向量之值為(0,0)的有效合併候補，登錄至合併候補清單。(圖31的步驟S6101~S6113)。
首先，若合併候補數numMergeCand小於最大合併候補數maxNumMergeCand(圖31的步驟S6102的YES)，則前進至步驟S6103，若合併候補數numMergeCand並非小於最大合併候補數maxNumMergeCand(圖31的步驟S6102的NO)，則結束本有效合併候補導出處理。
接著，切片類型為P切片時(圖31的步驟S6103的YES)，則將畫面間預測模式為L0預測(Pred_L0)、參照索引為0、向量值為(0,0)的合併候補，當作有效合併候補。預測也對追加合併候補的運動向量mvL0Zero、mvL1Zero設定(0,0)(圖31的步驟S6104)，對有效合併候補的參照索引refIdxL0Zero設定0，對refIdxL1Zero設定-1(圖31的步驟S6105)，對有效合併候補的旗標predFlagL0Zero設定1，對predFlagL1Zero設定0(圖31的步驟S6106)，前進至步驟S6110。
另一方面，切片類型不是P切片時(圖31的步驟S6103的NO)，亦即切片類型是B切片時，則將畫面 間預測模式是雙預測(Pred_BI)、參照索引雙方均為0且向量值為雙方均為(0,0)的合併候補，當作有效合併候補。對有效合併候補的運動向量mvL0Zero、mvL1 Zero設定(0,0)(圖31的步驟S6107)，對有效合併候補的參照索引refIdxL0Zero、refIdxL1Zero設定參照索引i之值(圖31的步驟S6108)，對有效合併候補的旗標predFlagL0Zero、predFlagL1Zero設定1(圖31的步驟S6109)，前進至步驟S6110。
接著，將有效合併候補登錄至合併候補清單mergeCandList的合併索引是與numMergeCand同值所示之位置(圖31的步驟S6110)，對合併候補數numMergeCand加算1(圖31的步驟S6112)，前進至步驟S6113。
重複以上的步驟S6102~步驟S6112之處理，直到合併候補數numMergeCand變成最大合併候補數maxNumMergeCand為止(圖31的步驟S6101~步驟S6113)。藉由以上之處理，在第2實施例中，係在合併候補清單內的合併索引為0至(maxNumMergeCand-1)之值所指示的範圍內，消除無效之合併候補。
於第2實施例的圖28中，在動態影像編碼裝置的畫面間預測資訊導出部104的畫面間預測資訊選擇部137上，和第1實施例的圖12的畫面間預測資訊選擇部137同樣地，若合併候補數numMergeCand大於0(圖37的S8101的YES)，則從合併候補清單中所被登錄的合併 候補之中，選擇出合併候補，將已被選擇之合併候補的各預測區塊的用來表示是否利用L0預測、及L1預測的旗標predFlagL0[xP][yP],predFlagL1[xP][yP]、參照索引refIdxL0[xP][yP],refIdxL1[xP][yP]、運動向量mvL0[xP][yP],mvL1[xP][yP]等之畫面間預測資訊，供給至運動補償預測部105，並且將用來特定所被選擇之合併候補用的合併索引，供給至預測方法決定部107(圖37的步驟S8102)。但是，在第2實施例中，係在合併候補清單內的合併索引為0至(maxNumMergeCand-1)之值所指示的範圍內，沒有無效之合併候補存在，全部都是有效之合併候補。另一方面，若合併候補數numMergeCand為0(步驟S8102的NO)，則將相應於規定之切片類型的預設值的畫面間預測資訊，供給至運動補償預測部105(步驟S8103~S8105)。
另一方面，於第2實施例的圖29中，在動態影像解碼裝置的畫面間預測資訊導出部205的畫面間預測資訊選擇部237上，和第1實施例的圖13的畫面間預測資訊選擇部237同樣地，若合併候補數numMergeCand大於0(圖38的S9101的YES)，則從合併候補清單mergeCandList中所被登錄的合併候補之中，選擇出對應於從第2編碼位元列解碼部202所供給之合併索引mergeIdx的合併候補，將已被選擇之合併候補的用來表示是否利用L0預測、及L1預測的旗標predFlagL0[xP][yP],predFlagL1[xP][yP]、L0、L1的參照索引refIdxL0[xP] [yP],refIdxL1[xP][yP]、L0、L1的運動向量mvL0[xP][yP],mvL1[xP][yP]等之畫面間預測資訊，供給至運動補償預測部206，並且儲存至編碼資訊儲存記憶體210。但是，在第2實施例中，係在合併候補清單內的合併索引為0至(maxNumMergeCand-1)之值所指示的範圍內，沒有無效之合併候補存在，全部都是有效之合併候補。另一方面，若合併候補數numMergeCand為0(圖38的步驟S9102的NO)，則將相應於規定之切片類型的預設值的畫面間預測資訊，供給至運動補償預測部206，並且儲存至編碼資訊儲存記憶體210。(圖38的步驟S9103~S9105)。
接著，說明實施形態所述之第3實施例的畫面間預測資訊導出方法。圖28係亦為實施形態所述之第3實施例的圖1之動態影像編碼裝置的畫面間預測資訊導出部104的詳細構成的區塊圖。又，圖29係亦為實施形態所述之第3實施例的圖2之動態影像解碼裝置的畫面間預測資訊導出部205的詳細構成的區塊圖。圖30係亦為在本發明的實施形態所述之第3實施例的動態影像編碼裝置的畫面間預測資訊導出部104的合併候補清單之建構部120及動態影像解碼裝置的畫面間預測資訊導出部205的合併候補清單之建構部220中具有共通機能的合併候補之導出處理及合併候補清單之建構處理之程序的說明用流程圖。在第3實施例中，係和第2實施例同樣地，藉由以圖28的有效合併候補補充部135及圖29的有效合併候補補 充部235來補充有效之合併候補，以在合併候補清單內的合併索引為0至(maxNumMergeCand-1)之值所指示的範圍內，消除無效之合併候補(圖30的步驟S105)。藉由在合併索引為0至(maxNumMergeCand-1)之值所指示的範圍內消除無效之合併候補，在解碼側上就不會選擇無效之合併候補，可保證只會選擇有效之合併候補。但是，在第3實施例中係無關於切片類型，皆是把畫面間預測模式為L0預測(Pred_L0)、參照索引為0且向量值為(0,0)的合併候補，當作有效合併候補。第3實施例係與圖28所示之第2實施例的動態影像編碼裝置的畫面間預測資訊導出部104的合併候補清單之建構部120及圖29所示的動態影像解碼裝置的畫面間預測資訊導出部205的合併候補清單之建構部220，構成相同。但是，與第2實施例係為，有效合併候補補充部135、有效合併候補補充部235中所實施的圖30之步驟S105的處理程序不同。
關於本實施形態所述之第3實施例的圖28的有效合併候補補充部135及圖29的有效合併候補補充部235中所實施的圖30之步驟S105的處理程序亦即有效合併候補之導出方法，使用圖32的流程圖來詳細說明。圖32係本實施形態所述之第3實施例的圖30之步驟S105的有效合併候補導出處理程序的說明用流程圖。
於第3實施例的圖32的有效合併候補導出處理中，係和第2實施例的圖31的有效合併候補導出處理同樣地，為了藉由簡單的處理，將有效之合併候補登錄至 合併候補清單，直到合併候補清單內的合併索引為0至(maxNumMergeCand-1)之值所指示的範圍內的無效之合併候補消失為止，而將帶有相同值之畫面間預測資訊的複數合併候補，登錄至合併候補清單。但是，在第3實施例中，係無關於切片類型而將畫面間預測模式為L0預測(Pred_L0)、運動向量之值為(0,0)的有效合併候補，登錄至合併候補清單。(圖32的步驟S6101~S6113)。
首先，若合併候補數numMergeCand小於最大合併候補數maxNumMergeCand(圖32的步驟S6102的YES)，則前進至步驟S6103，若合併候補數numMergeCand並非小於最大合併候補數maxNumMergeCand(圖32的步驟S6102的NO)，則結束本有效合併候補導出處理。
接著，把畫面間預測模式為L0預測(Pred_L0)、參照索引為0且向量值為(0,0)的合併候補，當作有效合併候補。預測也對追加合併候補的運動向量mvL0Zero、mvL1Zero設定(0,0)(圖32的步驟S6104)，對有效合併候補的參照索引refIdxL0Zero設定0，對refIdxL1Zero設定-1(圖32的步驟S6105)，對有效合併候補的旗標predFlagL0Zero設定1，對predFlagL1Zero設定0(圖32的步驟S6106)。
接著，將有效合併候補登錄至合併候補清單mergeCandList的合併索引是與numMergeCand同值所示之位置(圖32的步驟S6110)，對合併候補數 numMergeCand加算1(圖32的步驟S6112)，前進至步驟S6113。
重複以上的步驟S6102~步驟S6112之處理，直到合併候補數numMergeCand變成最大合併候補數maxNumMergeCand為止(圖32的步驟S6101~步驟S6113)。藉由以上之處理，在第3實施例中，係在合併候補清單內的合併索引為0至(maxNumMergeCand-1)之值所指示的範圍內，消除無效之合併候補。
接著，說明實施形態所述之第4實施例的畫面間預測資訊導出方法。圖28係亦為實施形態所述之第4實施例的圖1之動態影像編碼裝置的畫面間預測資訊導出部104的詳細構成的圖。又，圖29係亦為實施形態所述之第4實施例的圖2之動態影像解碼裝置的畫面間預測資訊導出部205的詳細構成的圖。圖30係亦為在本發明的實施形態所述之第4實施例的動態影像編碼裝置的畫面間預測資訊導出部104的合併候補清單之建構部120及動態影像解碼裝置的畫面間預測資訊導出部205的合併候補清單之建構部220中具有共通機能的合併候補之導出處理及合併候補清單之建構處理之程序的說明用流程圖。在第4實施例中，係和第2實施例及第3實施例同樣地，藉由以圖28的有效合併候補補充部135及圖29的有效合併候補補充部235來補充有效之合併候補，以在合併候補清單內的合併索引為0至(maxNumMergeCand-1)之值所指示的範圍內，消除無效之合併候補(圖30的步驟S105)。藉由 在合併索引為0至(maxNumMergeCand-1)之值所指示的範圍內消除無效之合併候補，在解碼側上就不會選擇無效之合併候補，可保證只會選擇有效之合併候補。但是，在第4實施例中係把最後被登錄至合併清單的合併候補當作有效合併候補，而重複登錄至合併候補清單。第4實施例係與圖28所示之第2實施例及第3實施例的動態影像編碼裝置的畫面間預測資訊導出部104的合併候補清單之建構部120及圖29所示的動態影像解碼裝置的畫面間預測資訊導出部205的合併候補清單之建構部220，構成相同。但是，與第2實施例及第3實施例係為，有效合併候補補充部135、有效合併候補補充部235中所實施的圖30之步驟S105的處理程序不同。
關於本實施形態所述之第4實施例的圖28的有效合併候補補充部135及圖29的有效合併候補補充部235中所實施的圖30之步驟S105的處理程序亦即有效合併候補之導出方法，使用圖32的流程圖來詳細說明。圖33係本實施形態所述之第4實施例的圖30之步驟S105的有效合併候補導出處理程序的說明用流程圖。
於第4實施例的圖33的有效合併候補導出處理中，係和第2實施例的圖31及第3實施例的圖32的有效合併候補導出處理同樣地，為了藉由簡單的處理，將有效之合併候補登錄至合併候補清單，直到合併候補清單內的合併索引為0至(maxNumMergeCand-1)之值所指示的範圍內的無效之合併候補消失為止，而將帶有相同值之畫面 間預測資訊的複數合併候補，登錄至合併候補清單。但是，在第4實施例中，係把最後被登錄至合併清單的合併候補當作有效合併候補，而重複登錄至合併候補清單。(圖33的步驟S6101~S6113)。
首先，若合併候補數numMergeCand小於最大合併候補數maxNumMergeCand(圖33的步驟S6102的YES)，則前進至步驟S6111，若合併候補數numMergeCand並非小於最大合併候補數maxNumMergeCand(圖33的步驟S6102的NO)，則結束本有效合併候補導出處理。
接著，把最後被登錄至合併清單的合併候補當作有效合併候補，而重複登錄至合併候補清單(圖33的步驟S6111)。具體而言，畫面間預測模式、參照索引、向量值是與合併候補清單的索引之值是(numMergeIdx-1)之位置上所被登錄之合併候補相同的合併候補，是被當成有效合併候補，而被登錄在合併候補清單mergeCandList的合併索引是與numMergeCand相同值所示的位置。接下來，對合併候補數numMergeCand加算1(圖33的步驟S6112)，前進至步驟S6113。
重複以上的步驟S6102~步驟S6112之處理，直到合併候補數numMergeCand變成最大合併候補數maxNumMergeCand為止(圖33的步驟S6101~步驟S6113)。藉由以上之處理，在第4實施例中，係在合併候補清單內的合併索引為0至(maxNumMergeCand-1)之值所 指示的範圍內，消除無效之合併候補。
接著，說明實施形態所述之第5實施例的畫面間預測資訊導出方法。圖28係亦為實施形態所述之第4實施例的圖1之動態影像編碼裝置的畫面間預測資訊導出部104的詳細構成的圖。又，圖29係亦為實施形態所述之第4實施例的圖2之動態影像解碼裝置的畫面間預測資訊導出部205的詳細構成的圖。圖30係亦為在本發明的實施形態所述之第4實施例的動態影像編碼裝置的畫面間預測資訊導出部104的合併候補清單之建構部120及動態影像解碼裝置的畫面間預測資訊導出部205的合併候補清單之建構部220中具有共通機能的合併候補之導出處理及合併候補清單之建構處理之程序的說明用流程圖。第5實施例係進行，將第4實施例的圖26的追加合併候補之處理與圖33的有效合併候補之處理予以組合而成的處理。
詳細說明，第5實施例的圖28的追加合併候補生成部134及有效合併候補補充部135中所進行之處理之組合亦即追加合併候補及有效合併候補補充部區塊121、及圖29的追加合併候補生成部234與有效合併候補補充部235中所進行之處理之組合亦即追加合併候補及有效合併候補補充部區塊221中所實施的，圖30之步驟S104及步驟S105所組合成成之處理程序亦即步驟S110的追加合併候補及有效合併候補之導出方法。圖34係本實施形態所述之第5實施例的圖30之步驟S110的追加合 併候補及有效合併候補導出處理程序的說明用流程圖。
在圖34的追加合併候補及有效合併候補導出處理中，係為了擴展合併候補的選擇幅度以促使編碼效率提升，而生成帶有不同值之畫面間預測資訊的複數合併候補，登錄至合併候補清單，並且其後，為了一直將有效之合併候補登錄至合併候補清單，直到在清單內的合併索引為0至(maxNumMergeCand-1)之值所指示的範圍內，無效之合併候補消失為止，而將帶有相同值之畫面間預測資訊的複數合併候補，登錄至合併候補清單(圖34的步驟S5101~S5119)。
首先，切片類型為P切片時(圖34的步驟S5101的YES)，對表示參照索引數的變數numRefIdx，設定L0之參照索引數之值(圖34的步驟S5102)。另一方面，切片類型不是P切片時(圖34的步驟S5101的NO)，亦即切片類型是B切片時，則對表示參照索引數的變數numRefIdx，設定L0之參照索引數與L1之參照索引數之較小者的值(圖34的步驟S5103)。接下來對參照索引i設定0(圖34的步驟S5104)。
接著，一面變更參照索引i，一面導出相應於切片類型之預測模式的運動向量之值為(0,0)的追加合併候補，登錄至合併候補清單。(圖34的步驟S5105~S5119)。
首先，若合併候補數numMergeCand小於最大合併候補數maxNumMergeCand(圖34的步驟S5106的 YES)，則前進至步驟S5107，若合併候補數numMergeCand並非小於最大合併候補數maxNumMergeCand(圖34的步驟S5106的NO)，則結束本追加合併候補導出處理。
接著，若參照索引i小於變數numRefIdx(圖34的步驟S5107的YES)，則前進至步驟S5109，進行追加合併候補之登錄處理。若參照索引i並非小於變數numRefIdx(圖34的步驟S5107的NO)，則對參照索引i設定(numRefIdx-1)(圖34的步驟S5108)，前進至步驟S5109，進行有效合併候補之登錄處理。
接著，若切片類型是P切片時(圖34的步驟S5109的YES)，則對追加合併候補的運動向量mvL0Zero、mvL1Zero設定(0,0)(圖34的步驟S5110)，對追加合併候補的參照索引refIdxL0Zero設定參照索引i之值，對refIdxL1Zero設定-1(圖34的步驟S5111)，對追加合併候補的旗標predFlagL0Zero設定1，對predFlagL1Zero設定0(圖34的步驟S5112)，前進至步驟S5116。
另一方面，若切片類型並非P切片時(圖34的步驟S5109的NO)，亦即切片類型是B切片時，則對追加合併候補的運動向量mvL0Zero、mvL1 Zero設定(0,0)(圖34的步驟S5113)，對追加合併候補的參照索引refIdxL0Zero、refIdxL1Zero設定參照索引i之值(圖34的步驟S5114)，對追加合併候補的旗標predFlagL0Zero、 predFlagL1Zero設定1(圖34的步驟S5115)，前進至步驟S5116。
接著，將追加合併候補登錄至合併候補清單mergeCandList的合併索引是與numMergeCand同值所示之位置(圖34的步驟S5116)，對合併候補數numMergeCand加算1(圖34的步驟S5117)。接下來對索引i加算1(圖34的步驟S5118)，前進至步驟S5119。
將以上的步驟S5106~步驟S5118之處理，對每一個參照索引i分別予以重複進行(圖34的步驟S5105~步驟S5119)。藉由以上之處理，在第5實施例中，係在合併候補清單內的合併索引為0至(maxNumMergeCand-1)之值所指示的範圍內，消除無效之合併候補。
接著，說明實施形態所述之第6實施例的畫面間預測資訊導出方法。圖28係亦為實施形態所述之第6實施例的圖1之動態影像編碼裝置的畫面間預測資訊導出部104的詳細構成的圖。又，圖29係亦為實施形態所述之第6實施例的圖2之動態影像解碼裝置的畫面間預測資訊導出部205的詳細構成的圖。圖30係亦為在本發明的實施形態所述之第6實施例的動態影像編碼裝置的畫面間預測資訊導出部104的合併候補清單之建構部120及動態影像解碼裝置的畫面間預測資訊導出部205的合併候補清單之建構部220中具有共通機能的合併候補之導出處理及合併候補清單之建構處理之程序的說明用流程圖。第6實施例係與第2實施例的實作方法不同，但在解碼側尚可 獲得相同的畫面間預測資訊。在第6實施例中，係將合併候補清單內的所有索引、或是0至(maxMergeCand-1)之值所指示之範圍內的畫面間預測資訊，以規定之值進行初期化，然後進行各自的合併候補導出及登錄處理。圖28的合併候補清單生成部130及圖29的合併候補清單生成部230中，若切片類型是P切片時，則針對合併候補清單內的所有要素，藉由設定畫面間預測模式為L0預測(Pred_L0)、參照索引為0、向量值為(0,0)之值，而進行初期化。若切片類型並非P切片時，亦即切片類型是B切片時，則針對合併候補清單內的所有要素，藉由設定畫面間預測模式是雙預測(Pred_BI)、參照索引雙方均為0、向量值雙方均為(0,0)之值而進行初期化。然後，對合併候補數numMergeCand設定0。
然後，將已被第6實施例的圖29的有效合併候補補充部135及圖30的有效合併候補補充部235進行過初期化的畫面間預測資訊，設成有效，當作有效之合併候補。關於本實施形態所述之第6實施例的圖28的有效合併候補補充部135及圖29的有效合併候補補充部235中所實施的圖30之步驟S105的處理程序亦即有效合併候補之導出方法，使用圖35的流程圖來詳細說明。圖35係本實施形態所述之第6實施例的圖30之步驟S105的將已被初期化之畫面間預測資訊當作合併候補而設成有效的處理程序的說明用流程圖。比起最大合併候補數maxNumMergeCand若合併候補數numMergeCand是較小 時(圖35的步驟S6201)，則對合併候補數numMergeCand設定最大合併候補數maxNumMergeCand之值(圖35的步驟S6201)。藉由本處理，將已被圖29的合併候補清單生成部130及圖30的合併候補清單生成部230進行過初期化的畫面間預測資訊，設成有效，成為有效合併候補。
接著，說明實施形態所述之第7實施例的畫面間預測資訊導出方法。圖28係亦為實施形態所述之第7實施例的圖1之動態影像編碼裝置的畫面間預測資訊導出部104的詳細構成的圖。又，圖29係亦為實施形態所述之第7實施例的圖2之動態影像解碼裝置的畫面間預測資訊導出部205的詳細構成的圖。圖30係亦為在本發明的實施形態所述之第7實施例的動態影像編碼裝置的畫面間預測資訊導出部104的合併候補清單之建構部120及動態影像解碼裝置的畫面間預測資訊導出部205的合併候補清單之建構部220中具有共通機能的合併候補之導出處理及合併候補清單之建構處理之程序的說明用流程圖。第7實施例係與第3實施例的實作方法不同，但在解碼側尚可獲得相同的畫面間預測資訊。在第7實施例中，也是和第6實施例同樣地，係將合併候補清單內的所有索引、或是0至(maxMergeCand-1)之值所指示之範圍內的畫面間預測資訊，以規定之值進行初期化，然後進行各自的合併候補導出及登錄處理。但是，於第7實施例中，係在圖28的合併候補清單生成部130及圖29的合併候補清單生成部230中，無關於切片類型，都是針對合併候補清單內的所 有要素，藉由設定畫面間預測模式為L0預測(Pred_L0)、參照索引為0、向量值為(0,0)之值，而進行初期化。除此以外的處理係和第6實施例相同。
以上說明了本實施形態。若編碼側上將指示了無效之合併候補的合併索引進行了編碼，則在解碼側上選擇了無效之合併候補的情況下，會以無效之畫面間預測資訊來進行畫面間預測，可能獲得非預期之預測訊號。又，也有可能因為畫面間預測模式是呈現規格外的值、或指示了沒有參照索引存在的參照圖像等等，而有可能導致發生錯誤、解碼異常結束。
藉由本實施形態的第1實施例，即使在編碼側上將指示了無效之合併候補的合併索引進行了編碼，在解碼側上仍不會進行使用了無效之合併候補之畫面間預測資訊的畫面間預測。在依照本實施形態之規則的動態影像編碼裝置中，係可獲得同一畫面間預測資訊，可獲得同一預測訊號，因此可獲得同一解碼影像。
又，藉由本實施形態的第2~7實施例，在編碼側上不會選擇指示了無效之合併候補的合併索引而進行編碼，在解碼側上可保證不會進行使用了無效之合併候補之畫面間預測資訊的畫面間預測，在動態影像解碼裝置中，可獲得同一畫面間預測資訊，可獲得同一預測訊號，因此可獲得同一解碼影像。
此外，在本實施形態的第2~5之實施例中，係於動態影像編碼裝置的有效合併候補補充部135及動態 影像解碼裝置的有效合併候補補充部235中，在合併候補清單內的合併索引為0至(maxNumMergeCand-1)之值所指示的範圍內，直到無效之合併候補消失為止，一直登錄有效之合併候補，但只要使得至少0至(maxNumMergeCand-1)之範圍內，沒有無效之合併候補即可，亦可將有效之合併候補予以登錄直到(maxNumMergeCand-1)以上的所定範圍為止。
又，在本實施形態的第6~7之實施例中，係在動態影像編碼裝置的畫面間預測資訊導出部104的合併候補清單之建構部120及動態影像解碼裝置的畫面間預測資訊導出部205的合併候補清單之建構部220中，將合併候補清單內的合併索引是0至(maxNumMergeCand-1)之值所指示之範圍內的畫面間預測資訊，以規定之值進行初期化，但只要至少在0至(maxNumMergeCand-1)之範圍內進行初期化即可，亦可進行初期化直到(maxNumMergeCand-1)以上的所定範圍為止。
於以上所述的實施形態中，說明了將空間合併候補、時間合併候補、追加合併候補一一予以導出的設計。可是，亦可考慮省略各個合併候補之導出處理的形態，也是被包含在本發明中。又，亦可考慮變更各個合併候補之導出處理，或是追加新的合併候補之導出處理的形態，也是被包含在本發明中。
在進行本實施形態所說明的圖26的追加合併候補之導出時，在B切片之際，相較於補充帶有與追加合 併候補相同畫面間預測資訊之值的有效合併候補的第2實施例、第6實施例之方法，補充帶有與追加合併候補不同畫面間預測資訊之值的L0預測之有效合併候補的第3實施例、第7實施例之方法，是較為合適。在不進行本實施形態所說明的圖26的追加合併候補之導出時，在B切片之際，相較於補充L0預測之有效合併候補的第3實施例、第7實施例之方法，補充高預測效率之雙預測之有效合併候補的第2實施例、第6實施例之方法，是較為合適。
又，最大合併候補數maxNumMergeCand之值為0之際，係不規定預設值之畫面間預測資訊，禁止略過模式及合併模式的情況下，雖然會傳輸略過模式或合併模式的旗標，但由於不能選擇略過模式或合併模式，因此編碼效率會降低。甚至，在將選擇被編碼側所被禁止之略過模式或合併模式而被編碼成的位元串流予以解碼時，也有可能在解碼側發生錯誤，解碼處理可能會異常結束。
可是，在本實施形態中，係無關於最大合併候補數maxNumMergeCand之值，在最大合併候補數maxNumMergeCand之值為0之際，可以總是選擇包含略過模式的合併模式。此時，在略過模式或合併模式下，畫面間預測資訊係輸出預設值。作為畫面間預測資訊的預設值，係例如，若切片類型是B切片時，則規定預測模式為雙預測(Pred_BI)，參照影像索引之值為0，運動向量之值為(0,0)。因此，在最大合併候補數maxNumMergeCand之 值為0之際也是，在編碼側略過模式或合併模式係不會設成無效之值而被編碼，在解碼側上可保證進行使用了所被規定之預設值之畫面間預測資訊的畫面間預測，在動態影像解碼裝置中，可獲得同一畫面間預測資訊，可獲得同一預測訊號，因此可獲得同一解碼影像。甚至，當最大合併候補數maxNumMergeCand之值為0之際，也是可以選擇略過模式或合併模式，因此相較於禁止略過模式或合併模式的情形，可提升編碼效率。
最大合併候補數maxNumMergeCand之值為0時的含有略過模式之合併模式的畫面間預測資訊係使用預設值，因此與最大合併候補數maxNumMergeCand之值為1個以上的情況不同，不需要建構合併候補清單的處理，可實現不進行合併候補清單建構處理的演算量較少的編碼裝置。又，解碼側之處理也只是需要對包含略過模式之合併模式的畫面間預測資訊，設定預設值，因此可對應於解碼側之最小限度之對應且演算量較少、抑制編碼效率降低的解碼裝置。
以上所述的實施形態的動態影像編碼裝置所輸出的動態影像的編碼串流，係為了可隨著實施形態中所使用之編碼方法來進行解碼，而具有特定的資料格式，對應於動態影像編碼裝置的動態影像解碼裝置係可將此特定資料格式的編碼串流加以解碼。
動態影像編碼裝置與動態影像解碼裝置之間為了收授編碼串流，而使用有線或無線網路的情況下，可 將編碼串流轉換成適合於通訊路之傳輸形態的資料形式來進行傳輸。此情況下，會設置有：將動態影像編碼裝置所輸出之編碼串流轉換成適合於通訊路之傳輸形態之資料形式的編碼資料然後發送至網路的動態影像送訊裝置、和從網路接收編碼資料並復原成編碼串流而供給至動態影像解碼裝置的動態影像收訊裝置。
動態影像送訊裝置，係含有：將動態影像編碼裝置所輸出之編碼串流予以緩衝的記憶體、將編碼串流予以封包化的封包處理部、將已被封包化的編碼資料透過網路而進行發送的送訊部。動態影像收訊裝置，係含有：將已被封包化的編碼資料透過網路而進行接收的收訊部、將已被接收之編碼資料予以緩衝的記憶體、將編碼資料進行封包處理而生成編碼串流並提供給動態影像解碼裝置的封包處理部。
以上的關於編碼及解碼之處理，係可用硬體而以傳輸、積存、收訊裝置的方式來加以實現，當然，也可藉由記憶在ROM(唯讀記憶體)或快閃記憶體等中的韌體、或電腦等之軟體來加以實現。亦可將該韌體程式、軟體程式記錄至電腦等可讀取之記錄媒體來加以提供，或可透過有線或無線網路從伺服器來提供，也可用地表波或衛星數位播送的資料播送方式來提供之。
以上係依據實施形態來說明了本發明。實施形態係為例示，這些各構成要素或各處理程序之組合中還有各種可能的變形例，而這些變形例也都屬於本發明之範 圍，而能被當業者所理解。
〔產業上利用之可能性〕
本發明係可利用於動態影像編碼及解碼技術。
115‧‧‧編碼資訊儲存記憶體
130‧‧‧合併候補清單生成部
131‧‧‧空間合併候補生成部
132‧‧‧時間合併候補之參照索引導出部
133‧‧‧時間合併候補生成部
134‧‧‧追加合併候補生成部
135‧‧‧有效合併候補補充部
136‧‧‧合併候補限制部
137‧‧‧畫面間預測資訊選擇部
104‧‧‧畫面間預測資訊導出部
120‧‧‧合併候補清單之建構部
121‧‧‧有效合併候補補充部區塊

Claims (3)

  1. 一種動態影像解碼裝置，係屬於以動態影像之各圖像分割而成之區塊單位而使用合併候補之畫面間預測資訊所致之畫面間預測來將前記動態影像予以編碼而成的編碼位元列予以解碼的動態影像解碼裝置，其特徵為，具備：預測資訊解碼部，係預先將表示所被指定之合併候補之數目的資訊，予以解碼；和預測資訊導出部，係根據解碼對象之預測區塊所相鄰之預測區塊、或是與解碼對象之預測區塊不同時間之已解碼圖像中的存在於與前記解碼對象之預測區塊同一位置或其附近之預測區塊的畫面間預測資訊，導出前記合併候補；和候補清單建構部，係根據前記所被導出之合併候補，來建構出合併候補清單；和第1候補補充部，係對前記已被建構之合併候補清單重複執行第1處理，其係將對運動向量是設定了第1數、對畫面間預測模式是設定了第2數、對參照索引是設定了第3數而成的合併候補，予以追加；和第2候補補充部，係當已執行過前記第1處理的前記合併候補清單中所含之合併候補之數目是未滿前記所被預先指定之合併候補之數目時，則對已執行過前記第1處理的前記合併候補清單重複執行第2處理，其係將對運動向量是設定了前記第1數、對畫面間預測模式是設定了前記 第2數、對參照索引是設定了第4數而成的合併候補，予以追加，直到已執行過前記第1處理的前記合併候補清單中所含之合併候補之數目，達到前記所被預先指定之合併候補之數目為止；和合併候補選擇部，係從已經達到前記所被預先指定之合併候補之數目的合併候補清單中所含之合併候補，選擇出1個合併候補；前記第1數係為在每次的前記第1處理及前記第2處理中值都不會有所不同的所定值；前記第2數係為在每次的前記第1處理及前記第2處理中值都不會有所不同的值，且在作為解碼對象的影像是P圖像的情況下，係為表示畫面間預測模式是L0預測的值，在作為解碼對象的影像是B圖像的情況下，係為表示畫面間預測模式是雙預測的值；前記第3數係為在每次前記第1處理中值會有所不同的變數；前記第4數係為在每次的前記第2處理中值都不會有所不同的所定值。
  2. 一種動態影像解碼方法，係屬於以動態影像之各圖像分割而成之區塊單位而使用合併候補之畫面間預測資訊所致之畫面間預測來將前記動態影像予以編碼而成的編碼位元列予以解碼的動態影像解碼方法，其特徵為，具備：預測資訊解碼步驟，係預先將表示所被指定之合併候 補之數目的資訊，予以解碼；和預測資訊導出步驟，係根據解碼對象之預測區塊所相鄰之預測區塊、或是與解碼對象之預測區塊不同時間之已解碼圖像中的存在於與前記解碼對象之預測區塊同一位置或其附近之預測區塊的畫面間預測資訊，導出前記合併候補；和候補清單建構步驟，係根據前記所被導出之合併候補，來建構出合併候補清單；和第1候補補充步驟，係對前記已被建構之合併候補清單重複執行第1處理，其係將對運動向量是設定了第1數、對畫面間預測模式是設定了第2數、對參照索引是設定了第3數而成的合併候補，予以追加；和第2候補補充步驟，係當已執行過前記第1處理的前記合併候補清單中所含之合併候補之數目是未滿前記所被預先指定之合併候補之數目時，則對已執行過前記第1處理的前記合併候補清單重複執行第2處理，其係將對運動向量是設定了前記第1數、對畫面間預測模式是設定了前記第2數、對參照索引是設定了第4數而成的合併候補，予以追加，直到已執行過前記第1處理的前記合併候補清單中所含之合併候補之數目，達到前記所被預先指定之合併候補之數目為止；和合併候補選擇步驟，係從已經達到前記所被預先指定之合併候補之數目的合併候補清單中所含之合併候補，選擇出1個合併候補； 前記第1數係為在每次的前記第1處理及前記第2處理中值都不會有所不同的所定值；前記第2數係為在每次的前記第1處理及前記第2處理中值都不會有所不同的值，且在作為解碼對象的影像是P圖像的情況下，係為表示畫面間預測模式是L0預測的值，在作為解碼對象的影像是B圖像的情況下，係為表示畫面間預測模式是雙預測的值；前記第3數係為在每次前記第1處理中值會有所不同的變數；前記第4數係為在每次的前記第2處理中值都不會有所不同的所定值。
  3. 一種動態影像解碼程式，係屬於以動態影像之各圖像分割而成之區塊單位而使用合併候補之畫面間預測資訊所致之畫面間預測來將前記動態影像予以編碼而成的編碼位元列予以解碼的動態影像解碼程式，其特徵為，令電腦執行：預測資訊解碼步驟，係預先將表示所被指定之合併候補之數目的資訊，予以解碼；和預測資訊導出步驟，係根據解碼對象之預測區塊所相鄰之預測區塊、或是與解碼對象之預測區塊不同時間之已解碼圖像中的存在於與前記解碼對象之預測區塊同一位置或其附近之預測區塊的畫面間預測資訊，導出前記合併候補；和候補清單建構步驟，係根據前記所被導出之合併候 補，來建構出合併候補清單；和第1候補補充步驟，係對前記已被建構之合併候補清單重複執行第1處理，其係將對運動向量是設定了第1數、對畫面間預測模式是設定了第2數、對參照索引是設定了第3數而成的合併候補，予以追加；和第2候補補充步驟，係當已執行過前記第1處理的前記合併候補清單中所含之合併候補之數目是未滿前記所被預先指定之合併候補之數目時，則對已執行過前記第1處理的前記合併候補清單重複執行第2處理，其係將對運動向量是設定了前記第1數、對畫面間預測模式是設定了前記第2數、對參照索引是設定了第4數而成的合併候補，予以追加，直到已執行過前記第1處理的前記合併候補清單中所含之合併候補之數目，達到前記所被預先指定之合併候補之數目為止；和合併候補選擇步驟，係從已經達到前記所被預先指定之合併候補之數目的合併候補清單中所含之合併候補，選擇出1個合併候補；前記第1數係為在每次的前記第1處理及前記第2處理中值都不會有所不同的所定值；前記第2數係為在每次的前記第1處理及前記第2處理中值都不會有所不同的值，且在作為解碼對象的影像是P圖像的情況下，係為表示畫面間預測模式是L0預測的值，在作為解碼對象的影像是B圖像的情況下，係為表示畫面間預測模式是雙預測的值； 前記第3數係為在每次前記第1處理中值會有所不同的變數；前記第4數係為在每次的前記第2處理中值都不會有所不同的所定值。
TW105142270A 2012-04-12 2013-04-12 Dynamic image decoding device, dynamic image decoding method and dynamic image decoding program TWI578760B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012091386 2012-04-12
JP2012091385 2012-04-12
JP2013083577A JP6020323B2 (ja) 2012-04-12 2013-04-12 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP2013083578A JP5633597B2 (ja) 2012-04-12 2013-04-12 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム

Publications (2)

Publication Number Publication Date
TWI578760B TWI578760B (zh) 2017-04-11
TW201717622A true TW201717622A (zh) 2017-05-16

Family

ID=50157654

Family Applications (5)

Application Number Title Priority Date Filing Date
TW105142270A TWI578760B (zh) 2012-04-12 2013-04-12 Dynamic image decoding device, dynamic image decoding method and dynamic image decoding program
TW105142267A TWI580248B (zh) 2012-04-12 2013-04-12 Dynamic image decoding device, dynamic image decoding method and dynamic image decoding program
TW102113227A TWI575935B (zh) 2012-04-12 2013-04-12 Dynamic image decoding device, dynamic image decoding method, dynamic image decoding program
TW105142266A TWI586145B (zh) 2012-04-12 2013-04-12 Dynamic image decoding device, dynamic image decoding method and dynamic image decoding program
TW105142269A TWI578759B (zh) 2012-04-12 2013-04-12 Dynamic image decoding device, dynamic image decoding method and dynamic image decoding program

Family Applications After (4)

Application Number Title Priority Date Filing Date
TW105142267A TWI580248B (zh) 2012-04-12 2013-04-12 Dynamic image decoding device, dynamic image decoding method and dynamic image decoding program
TW102113227A TWI575935B (zh) 2012-04-12 2013-04-12 Dynamic image decoding device, dynamic image decoding method, dynamic image decoding program
TW105142266A TWI586145B (zh) 2012-04-12 2013-04-12 Dynamic image decoding device, dynamic image decoding method and dynamic image decoding program
TW105142269A TWI578759B (zh) 2012-04-12 2013-04-12 Dynamic image decoding device, dynamic image decoding method and dynamic image decoding program

Country Status (12)

Country Link
US (11) US9681134B2 (zh)
EP (5) EP3833024B1 (zh)
BR (1) BR112014024294B1 (zh)
DK (4) DK3716621T3 (zh)
ES (4) ES2951398T3 (zh)
HR (4) HRP20211884T1 (zh)
HU (3) HUE056708T2 (zh)
PL (5) PL3716621T3 (zh)
RU (5) RU2658146C9 (zh)
SI (4) SI3833022T1 (zh)
TW (5) TWI578760B (zh)
WO (1) WO2013153823A1 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011145819A2 (ko) * 2010-05-19 2011-11-24 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
CN107071458B (zh) * 2010-12-14 2020-01-03 M&K控股株式会社 用于编码运动画面的设备
PL3716621T3 (pl) 2012-04-12 2022-01-24 Jvckenwood Corporation Urządzenie do kodowania ruchomych obrazów, sposób kodowania ruchomych obrazów, program kodujący ruchome obrazy oraz urządzenie do dekodowania ruchomych obrazów, sposób dekodowania ruchomych obrazów, program dekodujący ruchome obrazy
US10205950B2 (en) 2014-02-21 2019-02-12 Panasonic Corporation Image decoding method, image encoding method, image decoding apparatus, and image encoding apparatus
KR20220162877A (ko) * 2014-10-31 2022-12-08 삼성전자주식회사 고정밀 스킵 부호화를 이용한 비디오 부호화 장치 및 비디오 복호화 장치 및 그 방법
JP6678357B2 (ja) * 2015-03-31 2020-04-08 リアルネットワークス，インコーポレーテッド ビデオ符号化システムにおける動きベクトルの選択及び予測方法
KR102583501B1 (ko) * 2015-04-27 2023-09-27 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
WO2017010073A1 (ja) 2015-07-10 2017-01-19 日本電気株式会社 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体
US10652569B2 (en) 2015-12-22 2020-05-12 Realnetworks, Inc. Motion vector selection and prediction in video coding systems and methods
CN116708782A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
WO2018152749A1 (en) * 2017-02-23 2018-08-30 Realnetworks, Inc. Coding block bitstream structure and syntax in video coding systems and methods
CN117061738A (zh) 2018-04-02 2023-11-14 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
WO2019216325A1 (en) 2018-05-09 2019-11-14 Sharp Kabushiki Kaisha Systems and methods for performing motion vector prediction using a derived set of motion vectors
GB2593020B (en) 2018-05-24 2022-12-28 Kt Corp Method and apparatus for processing video signal
US11412246B2 (en) 2018-06-08 2022-08-09 Kt Corporation Method and apparatus for processing video signal
KR20240007299A (ko) 2018-06-29 2024-01-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 룩업 테이블의 업데이트: fifo, 제약된 fifo
BR112020024142A2 (pt) 2018-06-29 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. método para processamento de vídeo, aparelho para codificação de dados de vídeo, meio de armazenamento e meio de gravação legíveis por computador não transitório
KR20240005239A (ko) 2018-06-29 2024-01-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut와 amvp 사이의 상호작용
JP7137008B2 (ja) 2018-06-29 2022-09-13 北京字節跳動網絡技術有限公司 １つまたは複数のルックアップテーブルを使用して、以前コーディングされた動き情報を順に記憶させてそれらを後続のブロックのコーディングに使用する概念
KR102646649B1 (ko) 2018-06-29 2024-03-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut에서의 모션 후보들의 검사 순서
CN110662057B (zh) 2018-06-29 2022-06-21 北京字节跳动网络技术有限公司 视频处理方法、装置、设备以及存储比特流的方法
JP7460617B2 (ja) 2018-06-29 2024-04-02 北京字節跳動網絡技術有限公司 Ｌｕｔ更新条件
KR102611261B1 (ko) * 2018-06-29 2023-12-08 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 업데이트 대상 lut 또는 비업데이트 lut의 구별
WO2020008350A1 (en) 2018-07-02 2020-01-09 Beijing Bytedance Network Technology Co., Ltd. Luts with intra prediction modes and intra mode prediction from non-adjacent blocks
US10924731B2 (en) * 2018-08-28 2021-02-16 Tencent America LLC Complexity constraints on merge candidates list construction
CN110868601B (zh) * 2018-08-28 2024-03-15 华为技术有限公司 帧间预测方法、装置以及视频编码器和视频解码器
TW202025760A (zh) 2018-09-12 2020-07-01 大陸商北京字節跳動網絡技術有限公司 要檢查多少個hmvp候選
CN112740705A (zh) * 2018-09-21 2021-04-30 夏普株式会社 用于在视频编码中发送信号通知参考图片的系统和方法
KR102658887B1 (ko) * 2018-10-10 2024-04-18 삼성전자주식회사 움직임 벡터 차분값을 이용한 비디오 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
CN116248870A (zh) 2018-11-08 2023-06-09 Oppo广东移动通信有限公司 视频信号编码/解码方法以及用于所述方法的设备
WO2020096425A1 (ko) 2018-11-08 2020-05-14 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
KR20200054113A (ko) 2018-11-08 2020-05-19 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2020130714A1 (ko) * 2018-12-21 2020-06-25 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2020143741A1 (en) 2019-01-10 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Invoke of lut updating
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
CN113330739A (zh) 2019-01-16 2021-08-31 北京字节跳动网络技术有限公司 Lut中的运动候选的插入顺序
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
CN113853783B (zh) 2019-05-25 2023-12-15 北京字节跳动网络技术有限公司 对帧内块复制编解码的块的块矢量的编解码
CN113924782A (zh) * 2019-06-25 2022-01-11 Jvc建伍株式会社 动图像编码装置、动图像编码方法及动图像编码程序、动图像解码装置、动图像解码方法及动图像解码程序
AU2020363130A1 (en) * 2019-10-10 2022-05-05 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods for simplifying signalling picture header

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100399932B1 (ko) * 2001-05-07 2003-09-29 주식회사 하이닉스반도체 메모리의 양을 감소시키기 위한 비디오 프레임의압축/역압축 하드웨어 시스템
US20040001546A1 (en) * 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
US7400681B2 (en) * 2003-11-28 2008-07-15 Scientific-Atlanta, Inc. Low-complexity motion vector prediction for video codec with two lists of reference pictures
US7453938B2 (en) * 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
US8879857B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
JP4999859B2 (ja) * 2006-10-30 2012-08-15 日本電信電話株式会社 予測参照情報生成方法、動画像符号化及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
JP4821723B2 (ja) 2007-07-13 2011-11-24 富士通株式会社 動画像符号化装置及びプログラム
JP2009164880A (ja) * 2008-01-07 2009-07-23 Mitsubishi Electric Corp トランスコーダ及び受信機
JP4600574B2 (ja) 2009-01-07 2010-12-15 日本電気株式会社 動画像復号装置、動画像復号方法、及びプログラム
TWI387314B (zh) * 2009-03-10 2013-02-21 Univ Nat Central Image processing apparatus and method thereof
KR101490646B1 (ko) * 2009-05-29 2015-02-06 미쓰비시덴키 가부시키가이샤 화상 복호 장치 및 화상 복호 방법
CN102783152A (zh) * 2010-03-02 2012-11-14 三星电子株式会社 用于使用可分级视频编码方案进行自适应流传输的方法和设备
WO2012008506A1 (ja) 2010-07-15 2012-01-19 シャープ株式会社 画像フィルタ装置、復号装置、動画像復号装置、符号化装置、動画像符号化装置、および、データ構造
HRP20231669T1 (hr) * 2010-09-02 2024-03-15 Lg Electronics, Inc. Inter predikcija
US8861617B2 (en) * 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
CN107105258B (zh) * 2010-10-08 2020-09-01 Ge视频压缩有限责任公司 编码器和编码方法与解码器和解码方法
EP2717575B1 (en) 2011-05-27 2018-10-10 Sun Patent Trust Image decoding method and image decoding device
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
ES2779226T3 (es) 2011-05-31 2020-08-14 Sun Patent Trust Procedimiento de descodificación de vídeo y dispositivo de descodificación de vídeo
US9866859B2 (en) * 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
JP5488666B2 (ja) 2011-09-28 2014-05-14 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
CN108881903B (zh) 2011-10-19 2022-01-04 太阳专利托管公司 图像编码方法及装置、图像解码方法及装置、编解码装置
WO2013108613A1 (ja) 2012-01-17 2013-07-25 パナソニック株式会社 動画像符号化方法、動画像復号化方法、動画像符号化装置、動画像復号化装置および動画像符号化復号化装置
BR122022002972B1 (pt) * 2012-01-19 2022-11-22 Electronics And Telecommunications Research Institute Aparelho de decodificação de imagem
PL3716621T3 (pl) 2012-04-12 2022-01-24 Jvckenwood Corporation Urządzenie do kodowania ruchomych obrazów, sposób kodowania ruchomych obrazów, program kodujący ruchome obrazy oraz urządzenie do dekodowania ruchomych obrazów, sposób dekodowania ruchomych obrazów, program dekodujący ruchome obrazy

Also Published As

Publication number Publication date
SI3833023T1 (sl) 2022-06-30
EP3833023A1 (en) 2021-06-09
TWI578759B (zh) 2017-04-11
EP3833024C0 (en) 2023-07-05
ES2912134T3 (es) 2022-05-24
US20220078471A1 (en) 2022-03-10
TW201717621A (zh) 2017-05-16
US20170223375A1 (en) 2017-08-03
RU2708359C1 (ru) 2019-12-05
HUE062452T2 (hu) 2023-11-28
US11206421B2 (en) 2021-12-21
HUE056708T2 (hu) 2022-03-28
EP2838261B1 (en) 2020-06-17
US9872037B2 (en) 2018-01-16
US20210021854A1 (en) 2021-01-21
DK3833023T3 (da) 2022-04-19
PL2838261T3 (pl) 2020-11-30
US9872038B2 (en) 2018-01-16
RU2617920C9 (ru) 2017-08-29
RU2708360C1 (ru) 2019-12-05
TWI586145B (zh) 2017-06-01
PL3833022T3 (pl) 2022-05-30
US20170223376A1 (en) 2017-08-03
US20160323575A1 (en) 2016-11-03
US10230975B2 (en) 2019-03-12
DK2838261T3 (da) 2020-07-06
ES2902536T3 (es) 2022-03-28
US9918103B2 (en) 2018-03-13
US9667966B2 (en) 2017-05-30
EP2838261A1 (en) 2015-02-18
RU2682368C1 (ru) 2019-03-19
EP2838261A4 (en) 2015-11-25
SI3833022T1 (sl) 2022-06-30
RU2708359C9 (ru) 2019-12-17
US10523962B2 (en) 2019-12-31
HRP20220541T1 (hr) 2022-06-10
HRP20220542T1 (hr) 2022-06-10
EP3833022A1 (en) 2021-06-09
US11831898B2 (en) 2023-11-28
RU2708360C9 (ru) 2019-12-17
EP3833024A1 (en) 2021-06-09
RU2617920C2 (ru) 2017-04-28
US20240048754A1 (en) 2024-02-08
TW201717620A (zh) 2017-05-16
RU2658146C9 (ru) 2018-12-12
ES2912132T3 (es) 2022-05-24
HRP20211884T1 (hr) 2022-03-04
RU2682368C9 (ru) 2019-10-01
PL3716621T3 (pl) 2022-01-24
PL3833023T3 (pl) 2022-05-30
US20140376638A1 (en) 2014-12-25
WO2013153823A1 (ja) 2013-10-17
TWI578760B (zh) 2017-04-11
BR112014024294B1 (pt) 2020-02-11
US20170223374A1 (en) 2017-08-03
DK3716621T3 (da) 2021-12-06
SI3716621T1 (sl) 2022-01-31
US20190191176A1 (en) 2019-06-20
TW201717619A (zh) 2017-05-16
US20200137410A1 (en) 2020-04-30
HRP20230687T1 (hr) 2023-10-13
PL3833024T3 (pl) 2024-01-22
HUE050755T2 (hu) 2021-01-28
TW201349873A (zh) 2013-12-01
EP3833024B1 (en) 2023-07-05
SI2838261T1 (sl) 2020-08-31
US10791336B2 (en) 2020-09-29
EP3833022B1 (en) 2022-03-30
TWI580248B (zh) 2017-04-21
EP3833023B1 (en) 2022-03-30
ES2951398T3 (es) 2023-10-20
EP3716621B1 (en) 2021-12-01
TWI575935B (zh) 2017-03-21
RU2014145257A (ru) 2016-06-10
DK3833022T3 (da) 2022-04-19
US9681134B2 (en) 2017-06-13
US20180131957A1 (en) 2018-05-10
EP3716621A1 (en) 2020-09-30
RU2658146C1 (ru) 2018-06-19

Similar Documents

Publication Publication Date Title
TWI578760B (zh) Dynamic image decoding device, dynamic image decoding method and dynamic image decoding program
TWI578766B (zh) Dynamic video coding device, dynamic image coding method and dynamic image coding program
TWI552577B (zh) Motion picture decoding device, dynamic image decoding method, and dynamic image decoding program product
JP6206558B2 (ja) 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP6020763B1 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP6644270B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP2013102259A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム