JP2023518988A - 復号化方法、符号化方法、装置、及びデバイス - Google Patents

復号化方法、符号化方法、装置、及びデバイス Download PDF

Info

Publication number
JP2023518988A
JP2023518988A JP2022558281A JP2022558281A JP2023518988A JP 2023518988 A JP2023518988 A JP 2023518988A JP 2022558281 A JP2022558281 A JP 2022558281A JP 2022558281 A JP2022558281 A JP 2022558281A JP 2023518988 A JP2023518988 A JP 2023518988A
Authority
JP
Japan
Prior art keywords
block
sub
motion information
matching
vector prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022558281A
Other languages
English (en)
Other versions
JP7375223B2 (ja
Inventor
▲樹▼清 方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Publication of JP2023518988A publication Critical patent/JP2023518988A/ja
Priority to JP2023182870A priority Critical patent/JP2023179792A/ja
Application granted granted Critical
Publication of JP7375223B2 publication Critical patent/JP7375223B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Error Detection And Correction (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本発明は、復号化方法、符号化方法、装置、及びデバイスを提供し、当該復号化方法は、カレントブロックに強化型時間動きベクトル予測技術が作動していると判断された場合、カレントブロックのビットストリームから強化型時間動きベクトル予測モードのインデックス情報を解析するステップと、カレントブロックのマッチングブロックを決定するステップと、マッチングブロック及びマッチングブロックをオフセットして得られた新しいマッチングブロックに基づいて強化型時間動きベクトル予測モード候補を決定し、強化型時間動きベクトル予測モード候補に基づいて時間モード候補リストを構築するステップと、インデックス情報に基づいて時間モード候補リストから強化型時間動きベクトル予測モードを決定するステップと、強化型時間動きベクトル予測モードに基づいてカレントブロック内の各サブブロックの動き情報を決定し、カレントブロック内の各サブブロックの動き情報に基づいてカレントブロック内の各サブブロックの動き補償を行うステップとを含む。

Description

本発明はビデオの符号化復号化技術に関し、特に復号化方法、符号化方法、装置、及びデバイスに関する。
完全なビデオ符号化には通常、予測、変換、量子化、エントロピー符号化、およびフィルタリングなどの操作が含まれる。予測は、イントラ予測とインター予測に分けることができる。イントラ予測は、周辺符号化されたブロックを参照としてカレント符号化されていないブロックを予測し、空間領域での冗長性を効果的に除去する。インター予測は、隣接する符号化された画像を使用してカレント画像を予測し、時間領域の冗長性を効果的に除去する。
汎用ビデオ符号化(Versatile Video Coding、VVC)標準で採用されている選択可能な時間動きベクトル予測(Alternative Temporal Motion Vector Prediction、ATMVP)技術は、時間領域サブブロックの動き情報を使用して、カレント符号化ユニット内の各サブブロックに異なる動き情報を提供する。
しかしながら、実際の応用には、ATMVP技術において、co-locatedフレームにおいてカレント符号化ブロックの対応する位置の符号化ブロックを見つけることは、カレント符号化ブロックの周辺ブロックの動き情報に依存する必要がある。周辺ブロックの情報が不正確であると、対応する位置の符号化ブロックの動き情報も信頼できなくなり、符号化性能に影響を与える。
そこで、本発明は、復号化方法、符号化方法、装置、及びデバイスを提供する。
本発明の実施例の第1の態様により、以下を含む復号化方法を提供する。
前記方法は、カレントブロックに強化型時間動きベクトル予測技術が作動していると判断された場合、前記カレントブロックのビットストリームから強化型時間動きベクトル予測モードのインデックス情報を解析するステップと、
前記カレントブロックのマッチングブロックを決定するステップであって、
少なくともターゲット参照フレームインデックス、ターゲット参照方向、および前記カレントブロックの位置に従って、前記カレントブロックのマッチングブロックを決定することであって、ここで、前記ターゲット参照フレームインデックスは、List0における最初のフレームのインデックスであり、前記ターゲット参照方向はList0方向であり、または、前記ターゲット参照フレームインデックスはList1の最初のフレームのインデックスであり、前記ターゲット参照方向はList1方向であることを含む、ステップと、
前記マッチングブロック、及び前記マッチングブロックをオフセットして得られた新しいマッチングブロックに基づいて、強化型時間動きベクトル予測モード候補を決定し、前記強化型時間動きベクトル予測モード候補に基づいて時間モード候補リストを構築するステップと、
前記インデックス情報に基づいて、前記時間モード候補リストから強化型時間動きベクトル予測モードを決定するステップと、
決定された強化型時間動きベクトル予測モードに基づいて、前記カレントブロック内の各サブブロックの動き情報を決定し、前記カレントブロック内の各サブブロックの動き情報に基づいて、前記カレントブロック内の各サブブロックの動き補償を行うステップと、を含み、
ここで、前記決定された強化型時間動きベクトル予測モードに基づいて、前記カレントブロック内の各サブブロックの動き情報を決定することは、
ターゲットマッチングブロック内の任意のサブブロックについて、当該サブブロックの前方動き情報及び後方動き情報の両方が利用可能な場合、当該サブブロックの前方動き情報及び後方動き情報をそれぞれList0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、前記カレントブロックの対応する位置のサブブロックに与え、または、
当該サブブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、当該サブブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報を前記カレントブロックの対応する位置のサブブロックに与え、または、
当該サブブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、当該サブブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報を前記カレントブロックの対応する位置のサブブロックに与えることを含み、
強化型時間動きベクトル予測技術がカレントブロックに作動しているかどうかを示すために、シーケンスパラメータセットレベルシンタックスを使用する。
本発明の実施例の第2の態様により、以下を含む符号化方法を提供する。
前記方法は、前記カレントブロックのマッチングブロックを決定するステップであって、
少なくともターゲット参照フレームインデックス、ターゲット参照方向、および前記カレントブロックの位置に従って、カレントブロックのマッチングブロックを決定することであって、ここで、前記ターゲット参照フレームインデックスは、List0における最初のフレームのインデックスであり、前記ターゲット参照方向はList0方向であり、または、前記ターゲット参照フレームインデックスはList1の最初のフレームのインデックスであり、前記ターゲット参照方向はList1方向であることを含む、ステップと、
前記マッチングブロック、及び前記マッチングブロックをオフセットして得られた新しいマッチングブロックに基づいて、強化型時間動きベクトル予測モード候補を決定し、前記強化型時間動きベクトル予測モード候補に基づいて時間モード候補リストを構築するステップと、
前記時間モード候補リスト内の各強化型時間動きベクトル予測モード候補をトラバースし、任意の強化型時間動きベクトル予測モード候補について、当該強化型時間動きベクトル予測モード候補に基づいて、前記カレントブロック内の各サブブロックの動き情報を決定し、前記カレントブロック内の各サブブロックの動き情報に基づいて、前記カレントブロック内の各サブブロックの動き補償を行うステップと、
各強化型時間動きベクトル予測モード候補に対応するレート歪みコストに基づいて、最小のレート歪みコストを有する強化型時間動きベクトル予測モード候補を、前記カレントブロックの強化型時間動きベクトル予測モードとして決定するステップと、
前記カレントブロックのビットストリームにインデックス情報を付加させるステップであって、前記インデックス情報は、前記決定された強化型時間動きベクトル予測モードのモードインデックスを示すために使用されるステップと、を含み、
ただし、前記当該強化型時間的動きベクトル予測モード候補に基づいて、前記カレントブロック内の各サブブロックの動き情報を決定することは、
ターゲットマッチングブロック内の任意のサブブロックについて、当該サブブロックの前方動き情報及び後方動き情報の両方が利用可能な場合、当該サブブロックの前方動き情報及び後方動き情報をそれぞれList0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、前記カレントブロックの対応する位置のサブブロックに与え、または、
当該サブブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、当該サブブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報を前記カレントブロックの対応する位置のサブブロックに与え、または、
当該サブブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、当該サブブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報を前記カレントブロックの対応する位置のサブブロックに与えること、を含む。
本発明の実施例の第3の態様により、以下を含む復号化装置を提供する。
前記装置は、カレントブロックに強化型時間動きベクトル予測技術が作動していると判断された場合、前記カレントブロックのビットストリームから強化型時間動きベクトル予測モードのインデックス情報を解析するための復号化ユニットと、
前記カレントブロックのマッチングブロックを決定するための第1決定ユニットと、
前記マッチングブロック、及び前記マッチングブロックをオフセットして得られた新しいマッチングブロックに基づいて、強化型時間動きベクトル予測モード候補を決定し、前記強化型時間動きベクトル予測モード候補に基づいて、時間モード候補リストを構築するための構築ユニットと、
前記強化型時間動きベクトル予測モードのインデックス情報に基づいて、前記時間モード候補リストから強化型時間動きベクトル予測モードを決定するための第2決定ユニットと、
決定された強化型時間動きベクトル予測モードに基づいて、前記カレントブロック内の各サブブロックの動き情報を決定し、前記カレントブロック内の各サブブロックの動き情報に基づいて、前記カレントブロック内の各サブブロックの動き補償を行うための予測ユニットと、を備え
ここで、前記予測ユニットは、さらに、ターゲットマッチングブロック内の任意のサブブロックについて、当該サブブロックの前方動き情報及び後方動き情報の両方が利用可能な場合、当該サブブロックの前方動き情報及び後方動き情報をそれぞれList0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、前記カレントブロックの対応する位置のサブブロックに与え、または、
当該サブブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、当該サブブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報を前記カレントブロックの対応する位置のサブブロックに与え、または、
当該サブブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、当該サブブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報を前記カレントブロックの対応する位置のサブブロックに与えるために用いられ、
強化型時間動きベクトル予測技術がカレントブロックに作動しているかどうかを示すために、シーケンスパラメータセットレベルシンタックスを使用し、
前記第1決定ユニットは、前記カレントブロックのマッチングブロックを決定する際に、少なくともターゲット参照フレームインデックス、ターゲット参照方向、および前記カレントブロックの位置に従って、カレントブロックのマッチングブロックを決定し、ここで、前記ターゲット参照フレームインデックスは、List0における最初のフレームのインデックスであり、前記ターゲット参照方向はList0方向であり、または、前記ターゲット参照フレームインデックスはList1の最初のフレームのインデックスであり、前記ターゲット参照方向はList1方向である。
本発明の実施例の第4の態様により、以下を含む符号化装置を提供する。
前記装置は、カレントブロックのマッチングブロックを決定するための第1決定ユニットと、
前記マッチングブロック、及び前記マッチングブロックをオフセットして得られた新しいマッチングブロックに基づいて、強化型時間動きベクトル予測モード候補を決定し、前記強化型時間動きベクトル予測モード候補に基づいて時間モード候補リストを構築するための構築ユニットと、
前記時間モード候補リスト内の各強化型時間動きベクトル予測モード候補をトラバースし、任意の強化型時間動きベクトル予測モード候補について、当該強化型時間動きベクトル予測モード候補に基づいて、前記カレントブロック内の各サブブロックの動き情報を決定し、前記カレントブロック内の各サブブロックの動き情報に基づいて、前記カレントブロック内の各サブブロックの動き補償を行う予測ユニットと、
各強化型時間動きベクトル予測モード候補に対応するレート歪みコストに基づいて、最小のレート歪みコストを有する強化型時間動きベクトル予測モード候補を、前記カレントブロックの強化型時間動きベクトル予測モードとして決定する第2決定ユニットと、
前記カレントブロックのビットストリームにインデックス情報を付加させる符号化ユニットであって、前記インデックス情報は、前記決定された強化型時間動きベクトル予測モードのモードインデックスを示すために使用される符号化ユニットとを備え、
ここで、前記予測ユニットは、さらに、
ターゲットマッチングブロック内の任意のサブブロックについて、当該サブブロックの前方動き情報及び後方動き情報の両方が利用可能な場合、当該サブブロックの前方動き情報及び後方動き情報をそれぞれList0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、前記カレントブロックの対応する位置のサブブロックに与え、または、
当該サブブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、当該サブブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報を前記カレントブロックの対応する位置のサブブロックに与え、または、
当該サブブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、当該サブブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報を前記カレントブロックの対応する位置のサブブロックに与えるために用いられ、
前記第1決定ユニットは、前記カレントブロックのマッチングブロックを決定する際に、少なくともターゲット参照フレームインデックス、ターゲット参照方向、および前記カレントブロックの位置に従って、カレントブロックのマッチングブロックを決定し、ここで、前記ターゲット参照フレームインデックスは、List0における最初のフレームのインデックスであり、前記ターゲット参照方向はList0方向であり、または、前記ターゲット参照フレームインデックスはList1の最初のフレームのインデックスであり、前記ターゲット参照方向はList1方向である。
本発明の実施例の第5態様により、復号化デバイスを提供する。前記復号化デバイスは、プロセッサと、機械可読記憶媒体とを備え、前記機械可読記憶媒体は、前記プロセッサによって実行可能な機械実行可能命令を記憶し、前記プロセッサは、前記機械実行可能命令を実行することにより、請求項に記載の復号化方法を実施するために用いられる。
本発明の実施例の第5態様により、符号化デバイスを提供する。前記符号化デバイスは、プロセッサと、機械可読記憶媒体とを備え、前記機械可読記憶媒体は、前記プロセッサによって実行可能な機械実行可能命令を記憶し、前記プロセッサは、前記機械実行可能命令を実行することにより、請求項に記載の符号化方法を実施するために用いられる。
本発明の実施例の復号化方法は、カレントブロックに強化型時間動きベクトル予測技術が作動していると判断した場合、カレントブロックのビットストリームから強化型時間動きベクトル予測モードのインデックス情報を解析し、カレントブロックのマッチングブロックを決定し、マッチングブロック及びマッチングブロックをオフセットして得られた新しいマッチングブロックに基づいて強化型時間動きベクトル予測モード候補を決定し、強化型時間動きベクトル予測モード候補に基づいて時間モード候補リストを構築し、インデックス情報に基づいて時間モード候補リストから強化型時間動きベクトル予測モードを決定し、強化型時間動きベクトル予測モードに基づいてカレントブロック内の各サブブロックの動き情報を決定し、カレントブロック内の各サブブロックの動き情報に基づいてカレントブロック内の各サブブロックの動き補償を行う。これにより、周辺ブロックの動き情報が不正確なためにマッチングブロックの動き情報が不正確になる確率を低減し、復号化性能を向上させた。
本発明の例示的な実施例に示されるブロック分割の模式図である。 本発明の例示的な実施例に示されるブロック分割の模式図である。 本発明の例示的な実施例に示される符号化、復号化方法の模式図である。 本発明の例示的実施例に示されるClip操作の模式図である。 本発明の例示的な実施例に示される復号化方法のフローチャートである。 本発明の例示的な実施例に示される別の復号化方法のフローチャートである。 本発明の例示的な実施例に示されるカレントブロックの周辺ブロックの模式図である。 本発明の例示的な実施例に示されるカレントブロックの第1周辺ブロックに基づいてカレントブロックのマッチングブロックを決定するフローチャートである。 本発明の例示的な実施例に示されるマッチングブロックをオフセットする際の参照ブロックの模式図である。 本発明の例示的な実施例に示されるマッチングブロックをオフセットする模式図である。 本発明の例示的な実施例に示されるマッチングブロックをオフセットする模式図である。 本発明の例示的な実施例に示されるマッチングブロックをオフセットする模式図である。 本発明の例示的な実施例に示されるマッチングブロックをオフセットする模式図である。 本発明の例示的な実施例に示されるマッチングブロックをオフセットする模式図である。 本発明の例示的な実施例に示される復号化装置の構造の模式図である。 本発明の例示的な実施例に示される復号化デバイスのハードウェア構造の模式図である。 本発明の例示的な実施例に示される符号化装置の構造の模式図である。 本発明の例示的な実施例に示される符号化デバイスのハードウェア構造の模式図である。
本発明の実施例で使用された用語は特定の実施例を説明するための目的のみであり、本発明を限定するものではない。文脈が明らかに他の意味を示さない限り、本発明の実施形態と特許請求の範囲に使用される単数形の「一種」、「前記」及び「当該」は複数形を含むことも意図する。理解すべきことは、本明細書で使用される用語の「及び/又は」は挙げられた1つ又は複数の関連する項目の任意又は全ての可能な組み合わせを含むことを意味する。理解すべきことは、本発明の実施形態において、第1、第2、第3等の用語を利用して様々な情報を説明するかもしれないが、これらの情報はこれらの用語に限定されない。これらの用語は、同じ種類の情報を区別するのみ使用される。例えば、本発明の範囲から逸脱しない場合、第1情報は第2情報と呼称されてもよく、類似的に、第2情報は第1情報と呼称されてもいい。また、使用されている「もし」という言葉は、文脈により「…とき」、「…場合」、又は「…に応じて」と解釈されてもいい。
ここで例示的な実施例について詳細的に説明する。その例示は図面に示している。以下の説明は図面に係る時、特に示さない限り、異なる図面における同じ数字は同じ又は類似する要素を示す。以下の例示的な実施例に記載された実施例は本発明と一致する全ての実施例ではない。逆に、それらは添付の特許請求の範囲で詳細に説明された、本発明のいくつかの態様と一致する装置及び方法の例に過ぎない。
本発明の実施例で使用された用語は特定の実施例を説明するための目的のみであり、本発明を限定するものではない。文脈が明らかに他の意味を示さない限り、本発明の実施例と特許請求の範囲に使用される単数形の「一種」、「前記」及び「当該」は複数形を含むことも意図する。
当業者が本発明の実施例によって提供される技術的な解決手段をよりよく理解できるように、先ず、本発明の実施例に関わるいくつかの技術用語及び既存のビデオの符号化、復号化の主なプロセスについて、簡単に説明する。
当業者が本発明の実施例によって提供される技術的な解決手段をよりよく理解できるように、先ず、本発明の実施例に関わるいくつかの技術用語について簡単に説明する。
技術用語:
1、予測画素(Prediction Signalとも呼ばれる):すでに符号化、復号化された画素から得られた画素値であり、元の画素と予測画素との差で残差を求め、残差の変換、量子化及び係数符号化を行う。
例示的に、インター予測における予測画素は、カレント画像ブロックに対して参照フレーム(再構成画素フレーム)から得られた画素値を指し、画素の位置が離散的であるため、最終的な予測画素を得るために補間する必要がある。予測画素が元の画素に近いほど、両者を差し引いて得られた残差エネルギーは小さくなり、符号化圧縮性能は高くなる。
2、動きベクトル(Motion Vector、MV):インター符号化において、MVはカレント符号化ブロックとその参照画像のベストマッチングブロックとの間の相対変位を表すために使用される。分割して得られた各ブロック(サブブロックともいう)には、該当する動きベクトルを復号化側に伝送する必要がある。特にサブブロックの数が多い場合、各サブブロックのMVを独立して符号化し、伝送すると、相当数のビットが消費される。MVの符号化に用いるビット数を削減するために、ビデオ符号化では隣接する画像ブロック間の空間相関を利用し、既に符号化されている隣接ブロックのMVに基づいてカレント符号化対象ブロックのMVを予測し、予測差分を符号化する。これにより、MVを表現するためのビット数を効果的に削減することができる。これに基づき、カレント画像ブロックのMVを符号化する時に、一般に、まず隣接する符号化されたブロックのMVを用いてカレント画像ブロックのMVを予測し、MVの予測値(Motion Vector Prediction、MVP)と動きベクトルの実質推定値との差、すなわち動きベクトル残差(Motion Vector Difference、MVD)を符号化することで、MVで符号化するビット数を効果的に削減することができる。
3、動き情報(Motion Information):MVはカレント画像ブロックとある参照画像のベストマッチングブロックとの間の相対変位を表すため、画像ブロックを指す情報を正確に取得するためには、MV情報に加えて、どの参照画像を使用したのかを示す参照画像のインデックス情報も必要となる。ビデオ符号化技術では、通常、カレント画像に対して、ある規則に基づいて参照画像リストを作成し、参照画像インデックスは、参照画像リストの何個目の参照画像がカレント画像ブロックに使用されたかを示す。また、符号化技術では、複数の参照画像リストをサポートしてもいいため、どの参照画像リストを使用したかを示すインデックスも必要となり、当該インデックスを参照方向と呼ぶことができる。ビデオ符号化では、MV、参照フレームインデックス、参照方向などの動きに関する情報を動き情報と総称する。
4、レート歪み最適化(Rate‐Distortion Optimized、RDO):符号化の効率を評価する指標として、ビットレート(Bit Per Second、BPS)、ピーク信号対雑音比(Peak Signal to Noise Ratio、PSNR)などがある。ビットレートが小さいほど圧縮率が高く、PSNRが大きいほど再構成された画像の品質が高い。符号化モードを選択する時に、判別式は実質的に両者を合わせた評価である。
例えば、符号化モードのコスト:J(mode)=D+λ*R。ここで、Dは歪み(Distortion)、通常はSSE(Sum of Square Error、二乗和誤差)指標で測定し、SSEとは再構成されたブロックとソース画像ブロックとの二乗和誤差であり、λはラグランジュ乗数、Rは当該符号化モードで画像ブロックを符号化するために必要な実際のビット数であり、モード情報、動き情報、予測残差の符号化に必要なビット数の合計を含む。
符号化モードを選択する際、RDOで比較判定すれば、通常、より高い符号化性能を保証できる。
次に、既存のビデオ符号化標準でのブロック分割技術及び既存のビデオの符号化、復号化の主なプロセスについて、簡単に説明する。
ビデオ符号化標準でのブロック分割技術:
高効率ビデオコーディング(High Efficiency Video Coding、HEVC)では、例えば、コーディングツリーユニット(Coding Tree Unit、CTU)を4分木で再帰的にコーディングユニット(Coding Units、CU)に分割している。図1A、図1Bに示すように、分割されていないCTUは、最大コーディングユニット(LCU)である。後述のCTUはLCUと置き換えて使用できる。葉ノードCUレベルでイントラ符号化又はインター符号化を使用するか否かを決定する。CUはさらに2つまたは4つの予測ユニット(Prediction Unit、PU)に分割される可能であり、同じPU内では同じ予測情報を使用する。予測終了後に残差情報を取得した後、CUをさらに4分木で複数の変換ユニット(Transform Units、TU)に分割できる。例えば、本発明におけるカレントブロックは、1つのPUである。
しかし、最新提案された汎用ビデオ符号化では、ブロック分割の技術が大きく変わった。2分/3分/4分木の分割構造は、従来の分割モデルを置き換え、CU、PU、TUという従来の概念の区別を取り消し、より柔軟なCUの分割方法をサポートする。CUは正方形や長方形の分割が可能となる。CTUはまず4分木で分割され、4分木分割で得られた葉ノードはさらに2分木や3分木に分割されることが可能である。図1Aに示すように、CUの分割タイプは、4分木分割、水平2分木分割、垂直2分木分割、水平3分木分割、垂直3分木分割の5種類があり、図1Bに示すように、CTU内のCUの分割は、上記5種類の分割タイプを自由に組み合わせることによって、各PUの形状が異なり、例えば、サイズが異なる矩形や正方形にすることが可能である。
ビデオの符号化、復号化の主なプロセス:
図2の(a)に示すように、ビデオ符号化を例として、ビデオ符号化は一般的に予測、変換、量子化、エントロピー符号化などの処理を含み、さらに、図2の(b)のような枠組みで符号化を行うことも可能である。
ここで、予測は、イントラ予測とインター予測に分けることができる。イントラ予測は、周辺符号化されたブロックを参照としてカレント符号化されていないブロックを予測し、空間領域での冗長性を効果的に除去する。インター予測は、隣接する符号化された画像を使用してカレント画像を予測し、時間領域の冗長性を効果的に除去する。
変換とは、画像を空間領域から変換領域へ画像を変換し、画像を表現するために変換係数を用いることを指す。大多数の画像は、平坦領域と緩変化領域が多く含まれ、適切な変換を行うことで、画像を空間領域での散乱分布から変換領域での比較的集中した分布に変換させ、信号間の周波数領域の相関を取り除き、量子化処理と合わせてビットストリームを効果的に圧縮することができる。
エントロピー符号化は、一連の要素記号(例えばビデオシーケンスを表現するためのもの)を伝送または保存のためのバイナリビットストリームに変換する可逆符号化方法である。エントロピー符号化モジュールに入力される要素記号は、量子化された変換係数、動きベクトル情報、予測モード情報、変換・量子化に関するシンタックスなどを含む。エントロピー符号化は、ビデオ要素記号の冗長性を効果的に除去することができる。
以上、符号化を例に紹介したが、ビデオ復号化の処理はビデオ符号化の処理と相対するものであり、すなわちビデオ復号化には通常エントロピー復号化、予測、逆量子化、逆変換、フィルタリングなどの処理があり、各処理の実施原理はビデオ符号化と同一または類似のものである。
ATMVP技術の実施について、以下に簡単に説明する。
ATMVP技術の実施は、主に以下のプロセスで構成される。
1)、時間動きベクトル予測(Temporal Motion Vector Prediction、TMVP)の決定:カレント符号化ブロックの位置A0の動き情報が以下の条件を満たすかどうかを判断する。
a)位置A0が存在し、かつ、カレント符号化ユニットと同じスライス(Slice)及びタイル(Tile)にある。
b)位置A0の予測モードは、インター予測モードである。
c)位置A0の参照フレームインデックスは、カレントフレームに対応するco-locatedフレーム(コロケーテッドフレーム)の参照フレームインデックスと同じである(L0方向を先に判定し、次にL1方向を判定する)。
ここで、位置A0は、(xCb-1、yCb+CbHeight-1)の位置であり、(xCb,yCb)はカレントブロックの左上隅の座標であり、CbHeightはカレントブロックの高さである。
2)、中心参照ブロックの位置の計算:ステップ1)で得られたTMVPの精度は1/16であり、位置A0の動きベクトルを右に4ビット移動させる必要があり、それにより当該動きベクトルを整数画素(integer-pixel)に変換する。同時に、中心参照ブロックの位置をカレントCTUの範囲内にクリップ(Clip)する必要がある。すなわち、中心参照ブロックの位置がカレントCTUの範囲内にない場合、中心参照ブロックをカレントCTUの範囲内にちょうど入るように水平方向または/および垂直方向に移動させる。その模式図を図3に示す。本発明において、カレントCTUは、参照フレームにおけるCTUを表してもよい。カレントCTUは、マッチングブロックと同じ画像にあり、また、カレントCTUは、参照フレームにおける、カレントブロックが位置する最大の符号化ユニットと同じ位置にある最大の符号化ユニットであってよい。
中心参照ブロックの位置は、以下のように算出される:
Figure 2023518988000002
ただし、(xColCb、yColCb)は中心参照ブロックの左上隅の座標であり、(xCtb,yCtb)はカレントCTUの左上隅の座標であり、PicWidth及びPicHeightはそれぞれカレントフレームの幅及び高さであり、CtbLog2Sizeは、2を底としたカレントCTUのサイズの対数であり、(xColCtrCb、yColCtrCb)はカレントブロックの中心の座標であり、tempMv[0]とtempMv[1]はそれぞれ位置A0の水平動きベクトルと垂直動きベクトルである。
3)、中心参照ブロックの予測モードの判断:予測モードが非インター予測モードであれば、ctrPredFlagL0とctrPredFlagL1は共に0であり、それ以外、つまり予測モードがインター予測モードであり、ステップ4)へと進む。
4)、参照位置の調整:サブブロックサイズが8*8であるため、動き情報は8*8単位になる。そのため、中心参照ブロックの左上隅の座標を8倍に調整する必要がある。調整式は以下に示す。
xColCb=((xColCb>>3)<<3)
yColCb=((yColCb>>3)<<3)
5)、調整された中心参照ブロックの動き情報の取得:調整された中心参照ブロックの予測モードがイントラ予測またはイントラブロックコピー(Intra Block Copy、IBC)モードであれば、FlagLXCol=0、それ以外は、調整された中心参照ブロックのL0方向とL1方向の動き情報がそれぞれ存在するかどうかを判断し、存在すれば、FlagLXCol=1、調整された中心参照ブロックのL0方向および/またはL1方向の動き情報を取得する。
例えば、LX=L0またはLX=L1、調整された中心参照ブロックの予測モードがイントラ予測モードまたはイントラブロックコピーモードである場合、FlagL0Col=0且つFlagL1Col=0である。
調整された中心参照ブロックの予測モードがイントラ予測モードでもイントラブロックコピーモードでもない場合、調整された中心参照ブロックのL0方向の動き情報が存在するときは、FlagL0Col=1、調整された中心参照ブロックのL0方向の動き情報が存在しないときはFlagL0Col=0、調整された中心参照ブロックのL1方向の動き情報が存在するときはFlagL1Col=1、調整された中央参照ブロックのL1方向の動き情報が存在しない場合はFlagL1Col=0とする。
FlagL1Col=1のとき、カレントフレームの長期参照フレームとco-locatedフレームの長期参照フレームが同じフレームでなければ、調整された中心参照ブロックの動き情報は利用できないと判断し、ctrPredFlagLX=0、それ以外、ListX(X=0または1)の最初のフレームを指すように当該調整された中心参照ブロックの動き情報をスケーリング(scale)させ、スケーリングされた動き情報をカレント中心参照ブロックの動き情報として、ctrPredFlagLX=1である。本発明において、ListXは参照画像キューX(参照画像リストXとも呼ばれる)を表すことができ、例えば、List0は参照画像キュー0を表し、List1は参照画像キュー1を表すことができる。
6)、ctrPredFlagLX=1の場合、各サブブロックの動き情報の計算:マッチングブロック内の各サブブロックをトラバースし、任意のサブブロックについて、カレントCTUの範囲内に当該サブブロックをClipし、Clip後のサブブロックの動き情報が利用可能であれば、当該Clip後のサブブロックの動き情報をListXの最初のフレームを指すようにスケーリングし、スケーリングされた動き情報をカレントブロックの対応する位置のサブブロックに与える。Clip後のサブブロックの動き情報が利用可能でない場合は、調整された中心参照ブロックの中心位置の動き情報をListXの最初のフレームを指すようにスケーリングし、スケーリングされた動き情報をカレントブロックの対応する位置のサブブロックに与える。
本発明の実施例の上記目的、特徴及び利点をより理解しやすくするために、本発明の実施例における技術的な解決手段を添付図面と合わせて以下に更に詳細に説明する。
図4Aを参照し、本発明の実施例で提供される復号化方法のフローチャートであり、ここで、当該復号化方法を復号化デバイスに適用することができ、当該復号化方法は以下のステップからなることができる。
ステップS401:カレントブロックに強化型時間動きベクトル予測技術が作動していると判断された場合、前記カレントブロックのビットストリームから強化型時間動きベクトル予測モードのインデックス情報を解析する。
ステップS402:前記カレントブロックのマッチングブロックを決定する。
ステップS403:前記マッチングブロック、及び前記マッチングブロックをオフセットして得られた新しいマッチングブロックに基づいて、強化型時間動きベクトル予測モード候補を決定し、前記強化型時間動きベクトル予測モード候補に基づいて時間モード候補リストを構築する。
ステップS404:前記インデックス情報に基づいて、前記時間モード候補リストから強化型時間動きベクトル予測モードを決定する。
ステップS405:決定された強化型時間動きベクトル予測モードに基づいて、前記カレントブロック内の各サブブロックの動き情報を決定し、前記カレントブロック内の各サブブロックの動き情報に基づいて、前記カレントブロック内の各サブブロックの動き補償を行う。ただし、前記決定された強化型時間動きベクトル予測モードに基づいて、前記カレントブロック内の各サブブロックの動き情報を決定することは、ターゲットマッチングブロック内の任意のサブブロックについて、当該サブブロックの前方動き情報及び後方動き情報の両方が利用可能な場合、当該サブブロックの前方動き情報及び後方動き情報をそれぞれList0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、前記カレントブロックの対応する位置のサブブロックに与え、または、当該サブブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、当該サブブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報を前記カレントブロックの対応する位置のサブブロックに与え、または、当該サブブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、当該サブブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報を前記カレントブロックの対応する位置のサブブロックに与えること、を含む。ここで、強化型時間動きベクトル予測技術がカレントブロックに作動しているかどうかを示すために、シーケンスパラメータセットレベルシンタックスを使用することができる。
本発明の実施例において、前記カレントブロックのマッチングブロックを決定することは、少なくともターゲット参照フレームインデックス、ターゲット参照方向、および前記カレントブロックの位置に従って、カレントブロックのマッチングブロックを決定することを含み、ここで、前記ターゲット参照フレームインデックスは、List0における最初のフレームのインデックスであり、前記ターゲット参照方向はList0方向であり、または、前記ターゲット参照フレームインデックスはList1の最初のフレームのインデックスであり、前記ターゲット参照方向はList1方向である。
図4Bを参照し、本発明の実施例で提供される別の復号化方法のフローチャートであり、ここで、当該復号化方法を復号化デバイスに適用することができ、当該復号化方法は以下のステップからなることができる。
ステップS400、カレントブロックのビットストリームを取得し、カレントブロックのビットストリームから強化型時間動きベクトル予測モードのインデックス情報を解析し、当該インデックス情報は、符号化デバイスによって構築された第1時間モード候補リストにおける強化型時間動きベクトル予測モードの位置である。
本発明の実施例において、カレントブロックは、処理対象の画像の画像ブロックのうちの任意の1つであってもよい。実施では、処理対象の画像を複数の画像ブロックに分割し、各画像ブロックをある順番で順番に処理することができる。ただし、各画像ブロックのサイズや形状を所定の分割規則に従って設定することができる。
復号化デバイスの場合、カレントブロックが復号化対象のブロックとなる。
当該ビットストリームは符号化側から送信され、当該ビットストリームはバイナリビットストリームであってもよく、当該ビットストリームには、復号化デバイスの復号化するための知るべき情報が付加されてもよく、例えば、当該ビットストリームには、符号化デバイスが使用した符号化方法に関する情報、カレントブロックのサイズなどの情報が付加されてもいい。
マッチングブロックの動き情報の信頼性を向上させるために、カレントブロックの周辺ブロックに基づいて決定されるマッチングブロックの数は、1つに限定されず、複数であってもよく、符号化デバイスは、当該複数のマッチングブロックのそれぞれに対応する時間予測モード(本発明では強化型時間動きベクトル予測モード候補と呼ぶことができる)に基づいて時間モード候補リスト(本発明では第1時間モード候補リストと呼ぶ)を構築し、最終的に使用するマッチングブロックに対応する強化型時間動きベクトル予測モード候補(本発明では強化型時間動きベクトル予測モードと呼ぶ)のインデックス情報をカレントブロックのビットストリームに符号化することができ、当該インデックス情報は、符号化デバイスによって構築された第1時間モード候補リストにおける強化型時間動きベクトル予測モードの位置を示すために使用される。
復号化デバイスがカレントブロックのビットストリームを取得する際に、カレントブロックのビットストリームから強化型時間動きベクトル予測モードのインデックス情報を解析することができる。
ステップS410、カレントブロックの第1周辺ブロックに基づいて、カレントブロックのマッチングブロックを決定する。
本発明の実施例では、カレントブロックの第1周辺ブロックは、カレントブロックの任意の復号化された隣接ブロックまたは非隣接ブロックを含むことができる。
例として、図5を参照し、カレントブロックの第1周辺ブロックは、A、B、C、D、F、Gのうちのいずれか1つであってもよい。
復号化デバイスは、カレントブロックの第1周辺ブロックに基づいて、カレントブロックのマッチングブロックを決定することができる。
1つの可能な実施例として、図6に示すように、ステップS410において、カレントブロックの第1周辺ブロックに基づいてカレントブロックのマッチングブロックを決定することは、以下のステップによって実現することができる:
ステップS411、カレントブロックの第1周辺ブロックに基づいて、第1段階の動き情報を決定する。
ステップS412、第1段階の動き情報に基づいて、カレントブロックのマッチングブロックを決定する。
例示的に、第1段階は、カレントブロックの周辺ブロックに基づいてカレントブロックのマッチングブロックを決定するプロセスを指してもよく、第1段階の動き情報は、カレント第1周辺ブロックに基づいて決定された、カレントブロックのマッチングブロックを決定するために使用される動き情報を指してもいい。
例示的に、List0及びList1は共に、双方向予測モードにおける参照フレームの情報、例えば、フレーム番号などの参照フレームの識別情報を記録するために使用される。List0またはList1におけるフレームのインデックスに基づいて、参照フレームの情報を決定することができ、例えば、参照フレームのフレーム番号を決定することができ、さらに、当該フレーム番号に基づいて、対応する参照フレームを取得することができる。
本発明の実施例において、カレントブロックの第1周辺ブロックに基づいて第1段階の動き情報を決定することは、以下を含み得る:
第1段階の動きベクトルが0であり、参照フレームインデックスがList0における最初のフレームのインデックスであり、第1段階の動き情報の参照方向がList0方向であると決定する;
または、第1段階の動きベクトルが0であり、参照フレームインデックスがList1における最初のフレームのインデックスであり、第1段階の動き情報の参照方向がList1方向であると決定する。
本発明の実施例では、List0及びList1は共に、双方向予測モードにおける参照フレームの情報、例えば、フレーム番号のような参照フレームの識別情報を記録するために使用される。List0またはList1におけるフレームのインデックスに基づいて、参照フレームの情報を決定することができ、例えば、参照フレームのフレーム番号を決定することができ、さらに、当該フレーム番号に基づいて、対応する参照フレームを取得することができる。
1つの可能な実施例として、ステップS412において、第1段階の動き情報に基づいてカレントブロックのマッチングブロックを決定することは、以下を含み得る:
カレントブロックの位置と、第1段階の水平動きベクトル及び垂直動きベクトルとに基づいて、カレントブロックに対応するマッチングブロックを決定する。また、当該決定ステップは、動きベクトルの精度と組み合わせて実行してもよい。
例示的に、第1段階の動き情報を決定すると、復号化デバイスは、第1段階の水平動きベクトル(すなわち、第1段階の動きベクトルの水平成分)及び垂直動きベクトル(すなわち、第1段階の動きベクトルの垂直成分)と、カレントブロックの位置とに基づいてカレントブロックのマッチングブロックを決定でき、すなわち、第1段階の動き情報に対応する位置を調整する。
例示的に、動きベクトルの精度は、4、2、1、1/2、1/4、1/8または1/16を含む値をとることができるが、これらに限定されない。
例示的に、カレントブロックの位置は、カレントブロックの左上隅の座標によって示すことができる。
復号化デバイスは、動きベクトルの精度に基づいて、第1段階の水平動きベクトル及び垂直動きベクトルをそれぞれ左(1より大きい精度)又は右(1より小さい精度)に若干ビット移動させ、整数画素に変換し、カレントブロックの位置と、変換された第1段階の水平動きベクトル及び垂直動きベクトルとに基づいて参照位置を決定し、所定の値(実際のシーンに従って設定可能、例えば3)に基づいて参照位置を調整し、調整後の参照位置に基づいてマッチングブロックの位置を決定し、その具体的な実施は下記の具体的な実施例を参照する。
別の可能な実施例として、ステップS412において、第1段階の動き情報に基づいてカレントブロックのマッチングブロックを決定することは、以下を含み得る:
カレントブロックの位置と、第1段階の水平方向動きベクトル及び垂直方向動きベクトルと、サブブロックのサイズとに基づいて、カレントブロックのマッチングブロックを決定する。
例示的に、第1段階の動き情報を決定すると、復号化デバイスは、第1段階の水平動きベクトル(すなわち、第1段階の動きベクトルの水平成分)及び垂直動きベクトル(すなわち、第1段階の動きベクトルの垂直成分)と、カレントブロックの位置とに基づいてカレントブロックのマッチングブロックを決定でき、すなわち、第1段階の動き情報に対応する位置を調整する。
例示的に、動きベクトルの精度は、4、2、1、1/2、1/4、1/8または1/16を含む値をとることができるが、これらに限定されない。
例示的に、カレントブロックの位置は、カレントブロックの左上隅の座標によって示すことができる。
復号化デバイスは、動きベクトルの精度に基づいて、第1段階の水平動きベクトル及び垂直動きベクトルをそれぞれ左(精度が1より大きい)又は右(精度が1より小さい)に若干ビット移動させ、整数画素に変換し、カレントブロックの位置と、変換された第1段階の水平動きベクトル及び垂直動きベクトルとに基づいて参照位置を決定し、サブブロックのサイズに基づいて参照位置を調整し(整列調整と呼ぶことができる)、さらに、調整された参照位置に基づいてマッチングブロックの位置を決定する。
例示的に、サブブロックのサイズを2N*2Nと仮定すると、参照位置をまず右にNビット移動させ、次に左にNビット移動させてもいい。Nは正の整数である。
例示的に、サブブロックの辺の長さに基づいて参照位置の整列調整を行う場合、参照位置の水平・垂直座標をサブブロックの辺の長さで割った余りは、通常、直接捨てられるが、参照位置の水平・垂直座標をサブブロックの辺の長さで割った余りは、辺の長さの半分より大きい場合は、余りを直接捨てるよりその余りをさらなる処理(例えば、余りを切り上げる)を行う方が効果が高く、したがって、通常、決定されたマッチングブロックはより良い。
例示的に、第1段階の動き情報が決定された後、第1段階の水平動きベクトル及び垂直動きベクトルをそれぞれ所定の調整値に基づいて調整し、調整後の第1段階の水平動きベクトル及び垂直動きベクトルと、動きベクトルの精度と、カレントブロックの位置とに基づいて、カレントブロックのマッチングブロックを決定してもよい。
または、第1段階の水平動きベクトル及び垂直動きベクトルと、動きベクトルの精度とに基づいてマッチングブロックの左上隅の水平・垂直座標を仮決定し、仮決定したマッチングブロックの左上隅の水平・垂直座標をそれぞれ所定の調整値に基づいて調整し、最後に調整した水平・垂直座標をサブブロックの辺の長さに基づいて整列調整を行ってもよく、その具体的な実施は下記の具体的な実施例を参照する。
例えば、第1段階の水平動きベクトル及び垂直動きベクトルを、動きベクトルの精度に基づいて整数画素に変換した後、変換後の第1段階の水平動きベクトル及び垂直動きベクトルにそれぞれ2N-1を足してもよいし、上記の方法で仮決定したマッチングブロックの左上隅の水平・垂直座標にそれぞれ2N-1を足してもよい。2をサブブロックの辺の長さである。
例示的に、第1段階の水平動きベクトルを調整するための調整値は、第1段階の垂直動きベクトルを調整するための調整値と同じであってもよいし、異なってもよい。
または、仮決定されたマッチングブロックの左上隅の水平座標を調整するための調整値は、最初に決定されたマッチングブロックの左上隅の垂直座標を調整するための調整値と同じであってもよいし、異なってもよい。
ステップS420、当該マッチングブロック、及び当該マッチングブロックをオフセットして得られた新しいマッチングブロックに基づいて、強化型時間動きベクトル予測モード候補を決定し、決定された強化型時間動きベクトル予測モード候補に基づいて、第2時間モード候補リストを構築する。
本発明の実施例において、ステップS410におけるマッチングブロックが決定された時、当該マッチングブロックをオフセットし、新しいマッチングブロックを取得してもよい。
例示的に、マッチングブロックをオフセットする方式によって得られた新しいマッチングブロックの数は、1つまたは複数であってもよい。
復号化デバイスは、ステップS410で決定したマッチングブロックとステップS420で取得した新しいマッチングブロックとに基づいて、当該マッチングブロックに対応する時間予測モードと新しいマッチングブロックに対応する時間予測モードとを強化型時間動きベクトル予測モード候補として決定し、決定された強化型時間動きベクトル予測モード候補に基づいて時間モード候補リスト(本発明では第2時間モード候補リストと呼ぶ)を構築してもよい。
例示的に、強化型時間動きベクトル予測モード候補の数、および各強化型時間動きベクトル予測モード候補が時間モード候補リストに追加される順序を限定しないが、復号化デバイスおよび符号化デバイスは一貫性を保つ必要がある。
説明すべきことは、具体的な応用シーンにおいて、マッチングブロックをオフセットして得られた新しいマッチングブロックの動き情報が、マッチングブロックの動き情報と同一または類似している場合があり、この場合、新しいマッチングブロックに対応する予測モードを強化型時間動きベクトル予測モード候補として決定しなくてもよい。
1つの可能な実施例として、マッチングブロックをオフセットし、新しいマッチングブロックを取得することは、以下の方法で実現することができる:
第1サブブロックと第2サブブロックをカレントCTUの範囲にClipし、Clip後の第1サブブロックと第2サブブロックの動き情報を比較し、および、第3サブブロックと第4サブブロックをカレントCTUの範囲にClipし、Clip後の第3サブブロックと第4サブブロックの動き情報を比較し、2つの比較結果の少なくとも1つが異なる動き情報となった場合に、マッチングブロックを水平右方向に1単位オフセットし、新しいマッチングブロックを得る;
第5サブブロックと第6サブブロックをカレントCTUの範囲にClipし、Clip後の第5サブブロックと第6サブブロックの動き情報を比較し、および、第7サブブロックと第8サブブロックをカレントCTUの範囲にClipし、Clip後の第7サブブロックと第8サブブロックの動き情報を比較し、2つの比較結果の少なくとも1つが異なる動き情報となった場合に、マッチングブロックを水平左方向に1単位オフセットし、新しいマッチングブロックを得る;
第1サブブロックと第9サブブロックをカレントCTUの範囲にClipし、Clip後の第1サブブロックと第9サブブロックの動き情報を比較し、および、第5サブブロックと第10サブブロックをカレントCTUの範囲にClipし、Clip後の第5サブブロックと第10サブブロックの動き情報を比較し、2つの比較結果の少なくとも1つが異なる動き情報となった場合に、マッチングブロックを垂直下方向に1単位オフセットし、新しいマッチングブロックを得る。
第3サブブロックと第11サブブロックをカレントCTUの範囲にClipし、Clip後の第3サブブロックと第11サブブロックの動き情報を比較し、および、第7サブブロックと第12サブブロックをカレントCTUの範囲にClipし、Clip後の第7サブブロックと第12サブブロックの動き情報を比較し、2つの比較結果の少なくとも1つが異なる動き情報となった場合に、マッチングブロックを垂直に上に1単位オフセットし、新しいマッチングブロックを得る。
例示的に、第1サブブロックは、マッチングブロックの左上隅のサブブロックであり、第2のサブブロックは、マッチングブロックの直右側の一番上の隣接サブブロックであり、第3のサブブロックは、マッチングブロックの左下隅のサブブロックであり、第4のサブブロックは、マッチングブロックの直右側の一番下の隣接サブブロックであり、第5のサブブロックは、マッチングブロックの右上隅のサブブロックであり、第6のサブブロックは、マッチングブロックの直左側の一番上の隣接サブブロックであり、第7のサブブロックは、マッチングブロックの右下隅のサブブロックであり、第8サブブロックは、マッチングブロックの直左側の一番下の隣接サブブロックであり、第9サブブロックは、マッチングブロックの直下側の一番左の隣接サブブロックであり、第10サブブロックは、マッチングブロックの直下側の一番右の隣接サブブロックであり、第11サブブロックは、マッチングブロックの直上側の一番左の隣接サブブロックであり、第12サブブロックは、マッチングブロックの上の一番右側の隣接サブブロックである。
例示的に、1単位は、サブブロックのサイズである。
例えば、8*8のサブブロックの場合、1単位は8画素、4*4のサブブロックの場合、1単位は4画素、16*16のサブブロックの場合、1単位は16画素となる。
説明すべきことは、マッチングブロックをオフセットする場合は、上記実施例で説明したように1単位でオフセットすることに限らず、他の値でもよく、例えば、サブブロックが8*8のサブブロックである場合、マッチングブロックをオフセットするとき、8画素以外の値でもよく、具体的な実施については、ここでは説明しない。
図7を例にとると、第1サブブロックがA1、第2サブブロックがB2、第3サブブロックがA3、第4サブブロックがB4、第5サブブロックがA2、第6サブブロックがB1、第7サブブロックがA4、第8サブブロックがB3、第9サブブロックがC3、第10サブブロックがC4、第11サブブロックがC1、第12サブブロックがC2である。
A1、B2、A3、B4を例にとると、復号化デバイスは、A1、B2、A3、B4をそれぞれカレントCTU(すなわちカレントブロックが属するCTU)の範囲にClipし、Clip後のA1、B2の動き情報を比較し、Clip後のA3、B4の動き情報を比較することができる。Clip後のA1とB2の動き情報が同じであり、かつClip後のA3とB4の動き情報が同じであれば、Clip後のA1とB2の間の他のサブブロックの動き情報は同じである可能性が高く、Clip後のA3とB4の間の他のサブブロックの動き情報は同じである可能性が高いことを考慮し、当該マッチングブロックを水平右方向に1単位オフセットして、得られた新しいマッチングブロックの動き情報は、元のマッチングブロックの動き情報と同じである可能性が高く、このオフセットによって新しい動き情報を得ることができない可能性がある。
Clip後のA1とB2の動き情報が異なる場合、および/またはClip後のA3とB4の動き情報が異なる場合は、マッチングブロックを水平右方向に1単位オフセットすることにより、新しいマッチングブロックが得られ、それによって新しい動き情報が得られる。
同様に、マッチングブロックを水平左方向に1単位、垂直上方向に1単位、垂直下方向に1単位オフセットして、対応する新しいマッチングブロックが得られるかどうかを、上記のロジックに従い、判断することができる。
説明すべきことは、この実施例では、上記方法で新しいマッチングブロックが得られない場合、元のマッチングブロックを最終のマッチングブロック候補と決定してもよく、または、カレントマッチングブロックを他のオフセット策に従ってオフセットし直して、新しいマッチングブロックを得てもよい。
1つの別の可能な実施例として、マッチングブロックをオフセットして得られた新しいマッチングブロックは、以下の方法によって決定されてもよい:
1つまたは複数のオフセット量対(offset pair)にそれぞれ基づいて、マッチングブロックを水平及び垂直方向にオフセットし、1つまたは複数の新しいマッチングブロックを取得する。
例示的に、復号化デバイスは、当該マッチングブロックを水平および垂直方向にそれぞれ所定のオフセット量でオフセットすることによって、新しいマッチングブロックを取得することができる。
例示的に、マッチングブロックを水平方向にオフセットするためのオフセット量と、マッチングブロックを垂直方向にオフセットするためのオフセット量とは、オフセット量対を構成する。
復号化デバイスは、1つまたは複数のオフセット量対にそれぞれ基づいて、マッチングブロックを水平及び垂直方向にオフセットし、1つまたは複数の新しいマッチングブロックを取得することができる。
もう1つ別の可能な実施例として、ステップS410において、カレントブロックのマッチングブロックを決定した後、さらに、以下を含み得る:
決定されたマッチングブロックをカレントCTUの範囲にClipする。
例示的に、後続の処理でカレントブロックの各サブブロックの動き情報を決定する効率を向上させるために、ステップS410でのマッチングブロックが決定された場合、決定されたマッチングブロックに対してClip操作を実行し、当該マッチングブロックをカレントCTUの範囲にClipすることによって、マッチングブロックの各サブブロックがカレントCTUの範囲内にあることを保証する。
一例として、マッチングブロックをオフセットすることによって得られた新しいマッチブロックは、以下のように決定することができる:
Clip後のマッチングブロックの右境界がカレントCTUの右境界に位置しない場合、第13サブブロックと第14サブブロックの動き情報を比較し、且つ第15サブブロックと第16サブブロックの動き情報を比較し、2つの比較結果の少なくとも1つが異なる動き情報となった場合、Clip後のマッチングブロックを水平右方向に1単位オフセットして新しいマッチングブロックを取得する;
Clip後のマッチングブロックの左境界がカレントCTUの左境界に位置しない場合、第17サブブロックと第18サブブロックの動き情報を比較し、且つ第19サブブロックと第20サブブロックの動き情報を比較し、2つの比較結果の少なくとも1つが異なる動き情報となった場合、Clip後のマッチングブロックを水平左方向に1単位オフセットして新しいマッチングブロックを取得する;
Clip後のマッチングブロックの下境界がカレントCTUの下境界に位置しない場合、第13サブブロックと第21サブブロックの動き情報を比較し、第17サブブロックと第22サブブロックの動き情報を比較し、2つの比較結果の少なくとも1つが異なる動き情報となった場合、Clip後のマッチングブロックを垂直下方向に1単位オフセットして新しいマッチングブロックを取得する;
Clip後のマッチングブロックの上境界がカレントCTUの上境界に位置しない場合、第15サブブロックと第23サブブロックの動き情報を比較し、第19サブブロックと第24サブブロックの動き情報を比較し、2つの比較結果の少なくとも1つが異なる動き情報となった場合、Clip後のマッチングブロックを垂直上方向に1単位オフセットして新しいマッチングブロックを取得する;
例示的に、第13サブブロックは、Clip後のマッチングブロックの左上隅のサブブロックであり、第14サブブロックは、Clip後のマッチングブロックの直右側の一番上の隣接サブブロックであり、第15サブブロックは、Clip後のマッチングブロックの左下隅のサブブロックであり、第16サブブロックは、Clip後のマッチングブロックの直右側の一番下の隣接サブブロックであり、第17サブブロックは、Clip後のマッチングブロックの右上隅のサブブロックであり、第18サブブロックは、Clip後のマッチングブロックの直左側の一番上の隣接サブブロックであり、第19のサブブロックは、Clip後のマッチングブロックの右下隅のサブブロックであり、第20サブブロックは、Clip後のマッチングブロックの直左側の一番下の隣接サブブロックであり、第21サブブロックは、Clip後のマッチングブロックの直下側の一番左の隣接サブブロックであり、第22サブブロックは、Clip後のマッチングブロックの直下側の一番右の隣接サブブロックであり、第23サブブロックは、Clip後のマッチングブロックの直上側の一番左の隣接サブブロックであり、第24サブブロックは、Clip後のマッチングブロックの直上側の一番右の隣接サブブロックである。
例示的に、1単位はサブブロックの辺の長さであり、例えば、サイズ8*8のサブブロックである場合、サブブロックの辺の長さは8画素である。
まだ図7を例にとると、図7のマッチングブロックをClip後のマッチングブロックと仮定すると、第13サブブロックがA1、第14サブブロックがB2、第15のサブブロックがA3、第16サブブロックがB4、第17サブブロックがA2、第18サブブロックがB1、第19サブブロックがA4、第20サブブロックがB3、第21サブブロックがC3、第22サブブロックがC4、第23サブブロックがC1、第24サブブロックがC2である。
マッチングブロック内の各サブブロックがカレントCTUの範囲内にあるように保証し、カレントブロック内の各サブブロックの動き情報を決定する効率を向上させるために、ステップS410のマッチングブロックが決定された時、当該マッチングブロックに対してClip操作を行い、Clip後のマッチングブロックがカレントCTUの範囲内にあるようにしてもよい。
マッチングブロックの頂点の座標が全てサブブロックの辺長の整数倍で整列調整され、すなわち、マッチングブロックの頂点の座標が全てサブブロックの辺の長さの整数倍であることを考慮し、Clip後のマッチングブロックの境界からカレントCTUの各境界位置までの距離は全てサブブロックの辺の長さの整数倍である。
オフセットにより得られたマッチングブロック内の各サブブロックがカレントCTUの範囲内にあることを保証するために、Clip後のマッチングブロックをオフセットする場合、オフセット方向に、Clip後のマッチングブロックの境界と対応するカレントCTUの境界との距離が0より大きいことを保証する必要があり、すなわち、オフセット方向に、Clip後のマッチングブロックの境界が対応するカレントCTUの境界に位置しないことを保証する必要がある。
例示的に、Clip後のマッチングブロックの右境界がカレントCTUの右境界に位置しない場合、復号化デバイスは、A1及びB2の動き情報の比較結果と、A3及びB4の動き情報の比較結果とに基づいて、Clip後のマッチングブロックを水平右方向にオフセットする必要があるかどうかを判断してもよい。もし2つの比較結果のうち少なくとも1つが異なる動き情報となった場合、Clip後のマッチングブロックを水平右方向に1単位オフセットしてもよい。
同様に、Clip後のマッチングブロックの左境界がカレントCTUの左境界に位置しない場合、復号化デバイスは、A2及びB1の動き情報の比較結果と、A4及びB3の動き情報の比較結果とに基づいて、Clip後のマッチングブロックを水平左方向にオフセットする必要があるかどうかを判断してもよい。もし2つの比較結果のうち少なくとも1つが異なる動き情報となった場合、Clip後のマッチングブロックを水平左方向に1単位オフセットしてもよい。
Clip後のマッチングブロックの下境界がカレントCTUの下境界に位置しない場合、復号化デバイスは、A1及びC3の動き情報の比較結果と、A2及びC4の動き情報の比較結果とに基づいて、Clip後のマッチングブロックを垂直下方向にオフセットする必要があるかどうかを判断してもよい。もし2つの比較結果のうち少なくとも1つが異なる動き情報となった場合、Clip後のマッチングブロックを垂直下方向に1単位オフセットしてもよい。
Clip後のマッチングブロックの上境界がカレントCTUの上境界に位置しない場合、復号化デバイスは、A3及びC1の動き情報の比較結果と、A4及びC2の動き情報の比較結果とに基づいて、Clip後のマッチングブロックを垂直上方向にオフセットする必要があるかどうかを判断してもよい。もし2つの比較結果のうち少なくとも1つが異なる動き情報となった場合、Clip後のマッチングブロックを垂直上方向に1単位オフセットしてもよい。一例として、ステップS420において、マッチングブロックと、マッチングブロックをオフセットすることによって得られた新しいマッチングブロックとに基づいて、強化型時間動きベクトル予測モード候補を決定することは、以下を含み得る:
少なくとも1つの新しいマッチングブロックが存在する場合、オフセット前のマッチングブロックに対応する予測モードと、オフセットによって得られた新しいマッチングブロックに対応する予測モードとを、強化型時間動きベクトル予測モード候補として決定する。
例示として、マッチングブロックをオフセットする前に、マッチングブロックに対してClip操作を行った場合、オフセット前のマッチングブロックはClip後のマッチングブロックとしてもよく、マッチングブロックをオフセットする前に、マッチングブロックに対してClip操作を行っていない場合、オフセット前のマッチングブロックは元のマッチングブロックである。
例示的に、復号化デバイスは、上記実施例で説明した方法に従って少なくとも1つの新しいマッチングブロックを得るとき、オフセット前のマッチングブロックに対応する予測モード、およびオフセットによって得られた新しいマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として決定してもよい。
説明すべきことは、新しいマッチングブロックが複数存在する場合、復号化デバイスは、当該複数の新しいマッチングブロックに対応する予測モードの一部または全部を、強化型時間動きベクトル予測モード候補として決定してもよい。
復号化デバイスは、上記実施例で説明した方法で新しいマッチングブロックを得られなかった場合、オフセット前のマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として決定してもよい。
例示的に、第2時間モード候補リストは、少なくとも1つの強化型時間動きベクトル予測モード候補を含み、各強化型時間動きベクトル予測モード候補は、それぞれ異なるマッチングブロックに対応する。
ステップS430、強化型時間動きベクトル予測モードのインデックス情報に基づき、第2時間モード候補リストから強化型時間動きベクトル予測モードを決定する。
本発明の実施例では、現在、本発明の実施例が提供する技術方法が採用されている時、同一の画像ブロックについて、符号化デバイスと復号化デバイスが時間モード候補リストを構築するときに、時間モード候補リストにおける各強化型時間動きベクトル予測モード候補の順序が同一であることを考慮すると、そのため、符号化デバイスが構築した時間モード候補リストにおける強化型時間動きベクトル予測モードの位置と、復号化デバイスが構築した時間モード候補リストにおける強化型時間動きベクトル予測モード位置とは同じである。
ゆえに、復号化デバイスは、カレントブロックのビットストリームから解析した強化型時間動きベクトル予測モードのインデックス情報に基づいて、復号化デバイスによって構築された第2時間モード候補リストから強化型時間動きベクトル予測モードを決定することができる。
ステップS440、強化型時間動きベクトル予測モードに基づいてカレントブロック内の各サブブロックの動き情報を決定し、カレントブロック内の各サブブロックの動き情報に基づいてカレントブロック内の各サブブロックの動き補償を行う。
本発明の実施例において、強化型時間動きベクトル予測モードが決定された場合、当該強化型時間動きベクトル予測モードに対応するマッチングブロック(本発明ではターゲットマッチングブロックと呼ぶことができる)に基づいて、カレントブロック内の各サブブロックの動き情報を決定し、カレントブロック内の各サブブロックの動き情報に基づいて、カレントブロックの動き補償を行ってもよい。
例示的に、第2時間モード候補リスト中の各強化型時間動きベクトル予測モード候補はそれぞれ、異なるマッチングブロックに対応する。
1つの可能な実施例として、ステップS440において、強化型時間動きベクトル予測モードに基づいて、カレントブロック内の各サブブロックの動き情報を決定することは、以下を含み得る:
ターゲットマッチングブロック内の任意のサブブロックに対して、当該サブブロックをカレントCTUの範囲にClipする;
Clip後のサブブロックの前方動き情報及び後方動き情報の両方が利用可能な場合、Clip後のサブブロックの前方動き情報及び後方動き情報をそれぞれList0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、カレントブロックの対応する位置のサブブロックに与える;
Clip後のサブブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、Clip後のサブブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報をカレントブロックの対応する位置のサブブロックに与える;
Clip後のサブブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、Clip後のサブブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報をカレントブロックの対応する位置のサブブロックに与える。
例示的に、決定されたカレントブロックの各サブブロックの動き情報の正確性を向上させるために、ターゲットマッチングブロックの任意のサブブロックについて、復号化デバイスは、当該サブブロックをカレントCTUの範囲にClipし、Clip後のサブブロックの後方動き情報及び前方動き情報が利用できるかどうかを判断してもよい。
Clip後のサブブロックの前方動き情報及び後方動き情報の両方が利用可能な場合、復号化デバイスは、Clip後のサブブロックの前方動き情報をList0の最初のフレームを指すようにスケーリングし、Clip後のサブブロックの後方動き情報をList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、カレントブロックの対応する位置のサブブロックに与える。
Clip後のサブブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、Clip後のサブブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報をカレントブロックの対応する位置のサブブロックに与える。
Clip後のサブブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、Clip後のサブブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報を前記カレントブロックの対応する位置のサブブロックに与える。
説明すべきことは、この実施例において、Clip後のサブブロックの前方動き情報は利用可能であるが、後方動き情報が利用可能でない場合、Clip後のサブブロックの前方動き情報をそれぞれ、List0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた動き情報をカレントブロックに対応するサブブロックに与えてもよい(List0の最初のフレームを指すスケーリングされた動き情報を前方動き情報、List1の最初のフレームを指すスケーリングされた動き情報を後方動き情報とする)。
Clip後のサブブロックの後方動き情報は利用可能であるが、前方動き情報が利用可能でない場合も同様である。
例示的に、ターゲットマッチングブロック内の任意のサブブロックについて、当該サブブロックがカレントCTUの範囲にClipするとき、Clip後のサブブロックの前方動き情報及び後方動き情報がいずれも利用できない場合、カレントブロック内の対応する位置のサブブロックの動き情報は、少なくとも以下の方法で決定することができる:
Clip後のサブブロックの前方動き情報及び後方動き情報がいずれも利用できない場合、カレントブロックの第2周辺ブロックの前方動き情報及び後方動き情報の両方が利用可能であるとき、第2周辺ブロックの前方動き情報及び後方動き情報をそれぞれ、List0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、カレントブロックの対応する位置のサブブロックに与え、第2周辺ブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、第2周辺ブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報をカレントブロックの対応する位置のサブブロックに与え、第2周辺ブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、第2周辺ブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報をカレントブロックの対応する位置のサブブロックに与え、第2周辺ブロックの前方動き情報及び後方動き情報がいずれも利用できない場合、ゼロ動き情報をカレントブロックの対応する位置のサブブロックに与える。
例示的に、カレントブロックの第1周辺ブロックは、カレントブロックの任意のすでに復号化された隣接ブロックまたは非隣接ブロックを含んでもいい。
第2周辺ブロックは、第1周辺ブロックと同じでも異なってもよい。
例示的に、Clip後のサブブロックの前方動き情報及び後方動き情報がいずれも利用できない場合、復号化デバイスは、カレントブロックの第2周辺ブロックの前方動き情報及び後方動き情報が利用可能であるか否かを判断することができ、当該第2周辺ブロックの前方動き情報及び後方動き情報の両方が利用可能である場合、復号化デバイスは、当該第2周辺ブロックの前方動き情報及び後方動き情報をそれぞれ、List0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、カレントブロックの対応する位置のサブブロックに与えることができる。
第2周辺ブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、第2周辺ブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報をカレントブロックの対応する位置のサブブロックに与える。
第2周辺ブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、第2周辺ブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報をカレントブロックの対応する位置のサブブロックに与える。
第2周辺ブロックの前方動き情報及び後方動き情報がいずれも利用できない場合、復号化デバイスは、ゼロ動き情報をカレントブロックの対応する位置のサブブロックに与えることができる。
説明すべきことは、この実施例において、Clip後のターゲットマッチングブロックの中心位置の前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、Clip後のターゲットマッチングブロックの中心位置の前方動き情報をそれぞれ、List0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた動き情報をカレントブロックに対応するサブブロックに与えてもよい(List0の最初のフレームを指すスケーリングされた動き情報を前方動き情報、List1の最初のフレームを指すスケーリングされた動き情報を後方動き情報とする)。
Clip後のターゲットマッチングブロックの中心位置の後方動き情報は利用可能であるが、前方動き情報が利用可能でない場合、および、第2周辺ブロックの前方動き情報及び後方動き情報のうち、一方が利用可能であるが、他方が利用できない場合も同様である。
1つの可能な実施例として、ステップS440において、強化型時間動きベクトル予測モードに基づいて、カレントブロック内の各サブブロックの動き情報を決定することは、以下を含み得る:
ターゲットマッチングブロック内の任意のサブブロックについて、当該サブブロックの前方動き情報及び後方動き情報の両方が利用可能な場合、当該サブブロックの前方動き情報及び後方動き情報をそれぞれList0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、カレントブロックの対応する位置のサブブロックに与える;
当該サブブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、当該サブブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報をカレントブロックの対応する位置のサブブロックに与える;
当該サブブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、当該サブブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報を前記カレントブロックの対応する位置のサブブロックに与える。
例示的に、カレントブロックの各サブブロックの動き情報を決定する効率を向上させるために、ターゲットマッチングブロックの任意のサブブロックに対して、復号化デバイスは、当該サブブロックの動き情報が利用可能であるかどうかを判断してもよい。
当該サブブロックの前方動き情報及び後方動き情報の両方が利用可能な場合、復号化デバイスは、当該サブブロックの前方動き情報及び後方動き情報をそれぞれスケーリングすることによって、当該サブブロックの前方動き情報をList0の最初のフレームを指すようにスケーリングし、当該サブブロックの後方動き情報をList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、カレントブロックの対応する位置のサブブロックに与える。
当該サブブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、当該サブブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報をカレントブロックの対応する位置のサブブロックに与える。
当該サブブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、当該サブブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報を前記カレントブロックの対応する位置のサブブロックに与える。
説明すべきことは、この実施例において、サブブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、サブブロックの前方動き情報をそれぞれ、List0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた動き情報をカレントブロックに対応するサブブロックに与えてもよい(List0の最初のフレームを指すスケーリングされた動き情報を前方動き情報、List1の最初のフレームを指すスケーリングされた動き情報を後方動き情報とする)。
サブブロックの後方動き情報は利用可能であるが、前方動き情報が利用可能でない場合も同様である。
例示的に、ターゲットマッチングブロック内の任意のサブブロックについて、当該サブブロックの前方動き情報及び後方動き情報がいずれも利用できない場合、カレントブロック内の対応する位置のサブブロックの動き情報は、少なくとも以下の方法で決定することができる:
当該サブブロックの前方動き情報及び後方動き情報がいずれも利用できない場合、カレントブロックの第2周辺ブロックの前方動き情報及び後方動き情報の両方が利用可能であるとき、第2周辺ブロックの前方動き情報及び後方動き情報をそれぞれ、List0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、前記カレントブロックの対応する位置のサブブロックに与え、第2周辺ブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、第2周辺ブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報をカレントブロックの対応する位置のサブブロックに与え、第2周辺ブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、第2周辺ブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報をカレントブロックの対応する位置のサブブロックに与え、第2周辺ブロックの前方動き情報及び後方動き情報がいずれも利用できない場合、ゼロ動き情報をカレントブロックの対応する位置のサブブロックに与える。
例示的に、当該サブブロックの前方動き情報及び後方動き情報がいずれも利用できない場合、復号化デバイスは、カレントブロックの第2周辺ブロックの前方動き情報及び後方動き情報が利用可能であるか否かを判断することができ、当該第2周辺ブロックの前方動き情報及び後方動き情報の両方が利用可能である場合、復号化デバイスは、当該第2周辺ブロックの前方動き情報及び後方動き情報をそれぞれ、List0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をカレントブロックの対応する位置のサブブロックに与える。
第2周辺ブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、第2周辺ブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報をカレントブロックの対応する位置のサブブロックに与える。
第2周辺ブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、第2周辺ブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報をカレントブロックの対応する位置のサブブロックに与える。
第2周辺ブロックの前方動き情報及び後方動き情報がいずれも利用できない場合、復号化デバイスは、ゼロ動き情報をカレントブロックの対応する位置のサブブロックに与えることができる。
この実施例において、カレントブロックの第2周辺ブロックは、上記の第1周辺のブロックと同じであってもよいし、異なってもよい。図5を参照すると、この第2周辺ブロックは、例えば、カレントブロックの直左側の一番下の隣接ブロック、すなわちブロックFであってよい。
1つの可能な実施例として、ステップS400又はS401において、カレントブロックのビットストリームから強化型時間動きベクトル予測モードのインデックス情報を解析することは、以下を含み得る:
カレントブロックに強化型時間動きベクトル予測技術が作動していると判断した場合、カレントブロックのビットストリームから強化型時間動きベクトル予測モードのインデックス情報を解析する。
例示的に、本発明の実施例によって提供される技術(本発明では、強化型時間動きベクトル予測(Enhanced Tmporal Motion Vector Prediction、ETMVP)技術と呼ぶ)の制御性及び柔軟性を強化し、従来のATMVP技術との互換性を実現するために、実際のシーンに応じて強化型時間動きベクトル予測技術の作動を制御することができる。
復号化デバイスは、カレントブロックのビットストリームを受信し、カレントブロックに対して強化型時間動きベクトル予測技術が作動していると判断すると、カレントブロックのビットストリームから強化型時間動きベクトル予測モードのインデックス情報を解析し、上記の実施例に記載の方法で後続処理を実行することができる。
復号化デバイスが、カレントブロックに対して強化型時間動きベクトル予測技術が作動していないと判断した場合、復号化デバイスは、従来のATMVP技術に従って処理を実行することができる。
一例として、強化型時間動きベクトル予測技術がカレントブロックに作動しているかどうかを示すために、シーケンスパラメータセット(Sequence Paramater Set、SPS)レベルシンタックスを使用することができる。
例示的に、強化型時間動きベクトル予測技術が作動しているかどうかの制御のためのビット消費を減らすために、SPSレベルシンタックスを利用して、強化型時間動きベクトル予測技術がカレントブロックに作動するかどうかを制御することができる。
1つの画像シーケンスに対して、SPSレベルのフラグビットを設定することができ、当該SPSレベルのフラグビットによって、その画像シーケンスに対して強化型時間動きベクトル予測技術が作動しているかどうかを示す。
例えば、SPSレベルのフラグビットは、長さが1ビットのフラグビットであってもよく、当該フラグビットの値が第1値(例えば、1)である場合、対応する画像シーケンスに強化型時間動きベクトル予測が作動していることを示し、フラグビットの値が第2値(例えば、0)である場合、対応する画像シーケンスに強化型時間動きベクトル予測が作動していないことを示す。
任意のブロックについて、復号化デバイスは、当該ブロックが属する画像シーケンスについて強化型時間動きベクトル予測技術が作動しているかどうかに基づいて、カレントブロックについて強化型時間動きベクトル予測技術が作動しているかどうかを判断することができる。
例示的に、カレントブロックが属する画像シーケンスに強化型時間動きベクトル予測技術が作動している場合、カレントブロックに強化型時間動きベクトル予測技術が作動していると判断する。
カレントブロックが属する画像シーケンスに強化型時間動きベクトル予測技術が作動していない場合、カレントブロックに強化型時間動きベクトル予測技術が作動していないと判断する。
本発明の実施例において、カレントブロックのビットストリームを取得し、カレントブロックのビットストリームから強化型時間動きベクトル予測モードのインデックス情報を解析し、カレントブロックのマッチングブロックを決定し、マッチングブロック、及びマッチングブロックをオフセットして得られた新しいマッチングブロックに基づいて強化型時間動きベクトル予測モード候補を決定し、強化型時間動きベクトル予測モード候補に基づいて第2時間モード候補リストを構築し、強化型時間動きベクトル予測モードのインデックス情報に基づいて第2時間モード候補リストから強化型時間動きベクトル予測モードを決定し、強化型時間動きベクトル予測モードに基づいてカレントブロック内の各サブブロックの動き情報を決定し、カレントブロック内の各サブブロックの動き情報に基づいてカレントブロック内の各サブブロックの動き補償を行う。カレントブロックの周辺ブロックに基づいて決定されたマッチングブロックをオフセットして、新しいマッチングブロックを取得することにより、周辺ブロックの動き情報が不正確なためにマッチングブロックの動き情報が不正確になる確率を低減し、復号化性能を向上させた。
一例として、本発明の実施例は、符号化方法をさらに提供し、ここで、当該符号化方法は、符号化デバイスに適用することができ、当該方法は、以下のステップを含み得る。
ステップA1:カレントブロックのマッチングブロックを決定する。
その具体的な実施は、前述の復号化側方法の実施例に参照することができ、本発明の実施例においては、繰り返して説明しない。
ステップA2:マッチングブロック、及びマッチングブロックをオフセットして得られた新しいマッチングブロックに基づいて、強化型時間動きベクトル予測モード候補を決定し、強化型時間動きベクトル予測モード候補に基づいて第1時間モード候補リストを構築する。
その具体的な実施は、図4の実施例におけるステップS420に参照することができ、本発明の実施例においては繰り返して説明しない。
ステップA3:第1時間モード候補リスト内の各強化型時間動きベクトル予測モード候補をトラバースし、任意の強化型時間動きベクトル予測モード候補について、当該強化型時間動きベクトル予測モード候補に基づいて、カレントブロック内の各サブブロックの動き情報を決定し、カレントブロック内の各サブブロックの動き情報に基づいて、カレントブロック内の各サブブロックの動き補償を行う。
例示的に、第1時間モード候補リストをステップA2に記載の方法で構築するとき、符号化デバイスは、第1時間モード候補リスト内の各強化型時間動きベクトル予測モード候補をトラバースしてもよい。
任意の強化型時間動きベクトル予測モード候補について、符号化デバイスは、当該強化型時間動きベクトル予測モード候補に基づいて、カレントブロック内の各サブブロックの動き情報を決定し、カレントブロック内の各サブブロックの動き情報に基づいて、カレントブロック内の各サブブロックの動き補償を行うことができ、その具体的な実施は、図4の実施例におけるステップS440に参照することができ、本発明の実施例で繰り返して説明しない。
ステップA4:各強化型時間動きベクトル予測モード候補に対応するレート歪みコストに基づいて、最小のレート歪みコストを有する強化型時間動きベクトル予測モード候補を、カレントブロックの強化型時間動きベクトル予測モードとして決定する。
例示的に、符号化デバイスは、ステップA3で説明した方法に従って、各強化型時間動きベクトル予測モード候補にそれぞれ基づいてカレントブロック内の各サブブロックの動き補償を行うとき、符号化デバイスは、各強化型時間動きベクトル予測モードに対応するそれぞれのレート歪みコストを決定し、レート歪みコストが最も低い強化型時間動きベクトル予測モード候補をカレントブロックの強化型時間動きベクトル予測モードとして決定してもよい。
ステップA5:カレントブロックのビットストリームにインデックス情報を付加させ、当該インデックス情報は、決定された強化型時間動きベクトル予測モードのモードインデックスを示すために使用される。
例示的に、符号化デバイスは、カレントブロックの強化型時間動きベクトル予測モードを決定するとき、復号化デバイスがビットストリーム内のインデックス情報に基づいてカレントブロックの強化型時間動きベクトル予測モードを決定できるように、カレントブロックのビットストリームにカレントブロックの強化型時間動きベクトル予測モードのインデックス情報を付加させてもよい。
本発明の実施例において、カレントブロックのマッチングブロックを決定し、マッチングブロック及びマッチングブロックをオフセットして得られた新しいマッチングブロックに基づいて、強化型時間動きベクトル予測モード候補を決定し、強化型時間動きベクトル予測モード候補に基づいて第1時間モード候補リストを構築し、第1時間モード候補リスト内の各強化型時間動きベクトル予測モード候補をトラバースし、任意の強化型時間動きベクトル予測モード候補について、当該強化型時間動きベクトル予測モード候補に基づいて、カレントブロック内の各サブブロックの動き情報を決定し、カレントブロック内の各サブブロックの動き情報に基づいて、カレントブロック内の各サブブロックの動き補償を行い、各強化型時間動きベクトル予測モード候補に対応するレート歪みコストに基づいて、最小のレート歪みコストを有する強化型時間動きベクトル予測モード候補を、カレントブロックの強化型時間動きベクトル予測モードとして決定し、カレントブロックのビットストリームにカレントブロックの強化型時間動きベクトル予測モードのインデックス情報を付加させる。カレントブロックの周辺ブロックに基づいて決定されたマッチングブロックをオフセットして、新しいマッチングブロックを取得することにより、周辺ブロックの動き情報が不正確なためにマッチングブロックの動き情報が不正確になる確率を低減し、符号化性能を向上させた。
当業者が本発明の実施例によって提供される技術的な解決手段をより良く理解できるように、以下、本発明の実施例によって提供される技術的な解決手段を具体例とともに説明する。
実施例1
本発明の実施例によって提供される符号化方法は、以下のステップを含み得る。
1、カレントブロックの周辺ブロック(例えば、上記第1周辺ブロック)の動き情報を用いて、第1段階の動き情報を決定する。
2、第1段階の動き情報を用いてカレントブロックのマッチングブロックを決定する。
3、当該マッチングブロックと、当該マッチングブロックをオフセットして得られた新しいマッチングブロックとに基づいて、強化型時間動きベクトル予測モード候補を決定し、決定された強化型時間動きベクトル予測モード候補に基づいて、第1時間モード候補リストを構築する。
4、第1時間モード候補リスト中の各強化型時間動きベクトル予測モード候補を順次トラバースし、任意の強化型時間動きベクトル予測モード候補について、マッチングブロックの動き情報に基づいて、カレントブロック内のすべてのサブブロックの動き情報を取得する。
5、カレントブロック内の各サブブロックの動き情報に基づいて、カレントブロック内の各サブブロックの動き補償を行う。
6、当該強化型時間動きベクトル予測モード候補に対応するレート歪みコストを決定し、レート歪みコスト値を他の強化型時間動きベクトル予測モード候補のレート歪みコストと比較し、レート歪みコスト値が最も低い強化型時間動きベクトル予測モード候補をカレントブロックの強化型時間動きベクトル予測モードとし、強化型時間動きベクトル予測モードのインデックス情報をビットストリームに付加させ、復号化デバイスに送信し、当該インデックス情報は決定された強化型時間動きベクトル予測モードのモードインデックスを示すために使用される。
実施例2
本発明の実施例によって提供される復号化方法は、以下のステップを含み得る。
1、カレントブロックのビットストリームを取得し、カレントブロックのビットストリームから強化型時間動きベクトル予測モードのインデックス情報を解析し、当該インデックス情報は決定された強化型時間動きベクトル予測モードのモードインデックスを示すために使用される。
2、カレントブロックの周辺ブロック(例えば、上記第1周辺ブロック)の動き情報を用いて、第1段階の動き情報を決定する。
3、第1段階の動き情報を用いてカレントブロックのマッチングブロックを決定する。
4、当該マッチングブロックと、当該マッチングブロックをオフセットして得られた新しいマッチングブロックとに基づいて、強化型時間動きベクトル予測モード候補を決定し、決定された強化型時間動きベクトル予測モード候補に基づいて、第2時間モード候補リストを構築する。
5、ステップ1で得られたインデックス情報に従って、第2時間モード候補リスト中の対応する強化型時間動きベクトル予測モードを取得し、当該強化型時間動きベクトル予測モードに対応するターゲットマッチングブロックの動き情報に従って、カレントブロック中のすべてのサブブロックの動き情報を取得する。
6、カレントブロック内の各サブブロックの動き情報に基づいて、カレントブロック内の各サブブロックの動き補償を行う。
以下はいくつかのステップの具体的な実施方法について説明する。
一、カレントブロックの周辺ブロックの動き情報を用いて、第1段階の動き情報を決定する。
例示的に、カレントブロックの空間的な隣接ブロックの模式図は、例えば、図5に示すように、カレントブロックの周辺ブロックはFブロックであることを例とする。
実施例3
第1段階の動きベクトルが0であり、参照フレームインデックスがList0における最初のフレームのインデックスであり、第1段階の動き情報の参照方向がList0方向であると決定する。
実施例4
第1段階の動きベクトルが0であり、参照フレームインデックスがList1における最初のフレームのインデックスであり、第1段階の動き情報の参照方向がList1方向であると決定する。
二、第1段階の動き情報を用いてカレントブロックのマッチングブロックを決定する。
実施例5
第1段階の水平方向の動きベクトルをMVx、垂直方向の動きベクトルをMVy、カレントブロックの左上隅の座標を(Xpos、Ypos)、動きベクトルの精度をPrecisionと仮定する。
例示的に、Precisionは、4、2、1、1/2、1/4、1/8または1/16を含む値をとってもよい。
Precisionの値は1、1/2、1/4、1/8または1/16の場合、カレントブロックに対応するマッチングブロックの左上隅の座標は:
Mx0=((Xpos+(MVx>>shift)+4)>>3)<<3
My0=((Ypos+(MVy>>shift)+4)>>3)<<3
ここで、shiftの値とPrecisionは1対1で対応し、Precisionの値が1、1/2、1/4、1/8、1/16をとるとき、shiftの値はそれぞれ0、1、2、3、4となる。
Precisionの値は4または2の場合、カレントブロックに対応するマッチングブロックの左上隅の座標は:
Mx0=((Xpos+(MVx<<shift)+4)>>3)<<3
My0=((Ypos+(MVy<<shift)+4)>>3)<<3
ここで、shiftの値とPrecisionは1対1で対応し、Precisionの値が4と2をとるとき、shiftの値はそれぞれ2と1となる。
この実施例では、第1段階の水平動きベクトル(MVx>>shift)と垂直動きベクトル(MVy>>shift)をそれぞれ調整値2N-1(Nはサブブロックの辺の長さに対する底が2の対数であり、本実施例では8*8サブブロックを例に、すなわち2N-1=4)を用いて調整したか、または、仮決定されたマッチングブロックの左上隅の水平座標(Xpos+(MVx<<shift))と、垂直座標(Ypos+(MVy<<shift))をそれぞれ調整値4を用いて調整した。
参照位置(Xpos+(MVx>>shift))と(Ypos+(MVy>>shift))に対して整列調整を行う際に、調整値N(Nはサブブロックの辺の長さに対する底が2の対数であり、この実施例では8*8サブブロックを例にとると、すなわちN=3)を使用する。
実施例6
第1段階の水平方向の動きベクトルをMVx、垂直方向の動きベクトルをMVy、カレントブロックの左上隅の座標を(Xpos、Ypos)、動きベクトルの精度をPrecisionと仮定する。
例示的に、Precisionは、4、2、1、1/2、1/4、1/8または1/16を含む値をとってもよい。
Precisionの値は1、1/2、1/4、1/8または1/16の場合、カレントブロックに対応するマッチングブロックの左上隅の座標は:
Mx0=((Xpos+(MVx>>shift))>>3)<<3
My0=((Ypos+(MVy>>shift))>>3)<<3
ここで、shiftの値とPrecisionは1対1で対応し、Precisionの値が1、1/2、1/4、1/8、1/16をとるとき、shiftの値はそれぞれ0、1、2、3、4となる。
Precisionの値は4または2の場合、カレントブロックに対応するマッチングブロックの左上隅の座標は:
Mx0=((Xpos+(MVx<<shift))>>3)<<3
My0=((Ypos+(MVy<<shift))>>3)<<3
ここで、shiftの値とPrecisionは1対1で対応し、Precisionの値が4と2をとるとき、shiftの値はそれぞれ2と1となる。
この実施例において、決定された参照位置(Xpos+(MVx>>shift))及び(Ypos+(MVy>>shift))を、定数3を用いて整列調整を行う。
三、当該マッチングブロックと、当該マッチングブロックをオフセットして得られた新しいマッチングブロックとに基づいて、強化型時間動きベクトル予測モード候補を決定し、強化型時間動きベクトル予測モード候補に基づいて、時間モード候補リストを構築する(符号化デバイスにとっては第1時間モード候補リストであり、復号化デバイスにとっては第2時間モード候補リストである)。
例示的に、図7に示すマッチングブロックを例として、サブブロックのサイズを8*8と仮定する。
実施例7
A1、B2をカレントCTUの範囲にClipし、Clip後のA1、B2の動き情報を取得し、両者の動き情報を比較し、比較結果をr1と表記する(r1には、同一または異なる動き情報であることが含まれ、以下も同様)。
A3、B4をカレントCTUの範囲にClipし、Clip後のA3、B4の動き情報を取得し、両者の動き情報を比較し、比較結果をr2と表記する。
r1とr2のうち少なくとも1つが異なる動き情報となった場合に、当該マッチングブロックを水平右方向に8画素オフセットし、新しいマッチングブロックを取得し、当該新しいマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として、時間モード候補リストに追加する。
A2、B1をカレントCTUの範囲にClipし、Clip後のA2、B1の動き情報を取得し、両者の動き情報を比較し、比較結果をr3と表記する。
A4、B3をカレントCTUの範囲にClipし、Clip後のA4、B3の動き情報を取得し、両者の動き情報を比較し、比較結果をr4と表記する。
r3とr4の中の少なくとも1つが異なる動き情報となった場合に、当該マッチングブロックを水平左方向に8画素オフセットし、新しいマッチングブロックを取得し、当該新しいマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として、時間モード候補リストに追加する。
A1、C3をカレントCTUの範囲にClipし、Clip後のA1、C3の動き情報を取得し、両者の動き情報を比較し、比較結果をr5と表記する。
A2、C4をカレントCTUの範囲にClipし、Clip後のA2、C4の動き情報を取得し、両者の動き情報を比較し、比較結果をr6と表記する。
r5とr6の中の少なくとも1つが異なる動き情報となった場合に、当該マッチングブロックを垂直下方向に8画素オフセットし、新しいマッチングブロックを取得し、当該新しいマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として、時間モード候補リストに追加する。
A3、C1をカレントCTUの範囲にClipし、Clip後のA3、C1の動き情報を取得し、両者の動き情報を比較し、比較結果をr7と表記する。
A4、C2をカレントCTUの範囲にClipし、Clip後のA4、C2の動き情報を取得し、両者の動き情報を比較し、比較結果をr8と表記する。
r7とr8の中の少なくとも1つが異なる動き情報となった場合に、当該マッチングブロックを垂直上方向に8画素オフセットし、新しいマッチングブロックを取得し、当該新しいマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として、時間モード候補リストに追加する。
元のマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として、時間モード候補リストに追加する。
説明すべきことは、元のマッチングブロックに対応する予測モード、及び新しいマッチングブロックに対応する予測モードを、時間モード候補リストに追加する順序は限定されない。
また、新しいマッチングブロックが複数存在する場合、新しいマッチングブロックの一部に対応する予測モードを、強化型時間動きベクトル予測モード候補として時間モード候補リストに追加してもよい。
新しいマッチングブロックが存在しない場合、元のマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として時間モード候補リストに追加する。
例示的に、決定されたマッチングブロックの模式図を図8Aに示し、マッチングブロックを水平右方向に8画素オフセットすることによって得られた新しいマッチングブロックの模式図を図8Bに示し、マッチングブロックを水平左方向に8画素オフセットすることによって得られた新しいマッチングブロックの模式図を図8Cに示し、マッチングブロックを垂直上方向に8画素オフセットすることによって得られた新しいマッチングブロックの模式図を図8Dに示し、マッチングブロックを垂直下方向に8画素オフセットをすることによって得られた新しいマッチングブロックの模式図を図8Eに示してもよい。
実施例8
マッチングブロックをカレントCTUの範囲にClipする。
図7に示すマッチングブロックをClip後のマッチングブロックと仮定する。
Clip後のマッチングブロックの右境界がカレントCTUの右境界に位置しない場合、A1、B2の動き情報を取得し、両者の動き情報を比較し、比較結果をr9と表記する(r9には、同一または異なる動き情報が含まれ、以下も同様)。
A3、B4の動き情報を取得し、両者の動き情報を比較し、比較結果をr10と表記する。
r9とr10のうち少なくとも1つが異なる動き情報となった場合に、当該Clip後のマッチングブロックを水平右方向に8画素オフセットし、新しいマッチングブロックを取得し、当該新しいマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として、時間モード候補リストに追加する。
Clip後のマッチングブロックの左境界がカレントCTUの左境界に位置しない場合、A2、B1の動き情報を取得し、両者の動き情報を比較し、比較結果をr11と表記する。
A4、B3の動き情報を取得し、両者の動き情報を比較し、比較結果をr12と表記する。
r11とr12のうち少なくとも1つが異なる動き情報となった場合に、当該Clip後のマッチングブロックを水平左方向に8画素オフセットし、新しいマッチングブロックを取得し、当該新しいマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として、時間モード候補リストに追加する。
Clip後のマッチングブロックの下境界がカレントCTUの下境界に位置しない場合、A1、C3の動き情報を取得し、両者の動き情報を比較し、比較結果をr13と表記する。
A2、C4の動き情報を取得し、両者の動き情報を比較し、比較結果をr14と表記する。
r13とr14のうち少なくとも1つが異なる動き情報となった場合に、当該Clip後のマッチングブロックを垂直下方向に8画素オフセットし、新しいマッチングブロックを取得し、当該新しいマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として、時間モード候補リストに追加する。
Clip後のマッチングブロックの上境界がカレントCTUの上境界に位置しない場合、A3、C1の動き情報を取得し、両者の動き情報を比較し、比較結果をr15と表記する。
A4、C2の動き情報を取得し、両者の動き情報を比較し、比較結果をr16と表記する。
r15とr16のうち少なくとも1つが異なる動き情報となった場合に、当該Clip後のマッチングブロックを垂直上方向に8画素オフセットし、新しいマッチングブロックを取得し、当該新しいマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として、時間モード候補リストに追加する。
オフセット前のマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として、時間モード候補リストに追加する。
説明すべきことは、オフセット前のマッチングブロックに対応する予測モード、及び新しいマッチングブロックに対応する予測モードを、時間モード候補リストに追加する順序は限定されない。
また、新しいマッチングブロックが複数存在する場合、新しいマッチングブロックの一部に対応する予測モードを、強化型時間動きベクトル予測モード候補として時間モード候補リストに追加してもよい。
新しいマッチングブロックが存在しない場合、オフセット前のマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として時間モード候補リストに追加する。
実施例9
元のマッチングブロックをオフセットし、新しいマッチングブロックを得る。
例示的に、オフセットは以下のように行われる:
Mx1=Mx0+offset1
My1=My0+offset2
ただし、Mx0とMy0はそれぞれ元のマッチングブロックの左上隅の水平・垂直座標であり、Mx1とMy1はそれぞれ新しいマッチングブロックの左上隅の水平・垂直座標であり、offset1とoffset2はオフセット量であり、その値が任意の整数である。
新しいマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として、時間モード候補リストに追加する。
元のマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として、時間モード候補リストに追加する。
説明すべきことは、元のマッチングブロックに対応する予測モード、及び新しいマッチングブロックに対応する予測モードを、時間モード候補リストに追加する順序は限定されない。
offset1とoffset2は複数のセットの値を取り、複数の新しいマッチングブロックを得ることができ、新しいマッチングブロックの数を限定しない。
新しいマッチングブロックが複数存在する場合、新しいマッチングブロックの一部に対応する予測モードを、強化型時間動きベクトル予測モード候補として時間モード候補リストに追加してもよい。
実施例10
A1、B2をカレントCTUの範囲にClipし、Clip後のA1、B2の動き情報を取得し、両者の動き情報を比較し、比較結果をr1と表記する(r1には、同一または異なる動き情報が含まれ、以下も同様)。
A3、B4をカレントCTUの範囲にClipし、Clip後のA3、B4の動き情報を取得し、両者の動き情報を比較し、比較結果をr2と表記する。
r1とr2のうち少なくとも1つが異なる動き情報となった場合に、当該マッチングブロックを水平右方向に8画素オフセットし、新しいマッチングブロックを取得し、当該新しいマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として、時間モード候補リストに追加する。
A2、B1をカレントCTUの範囲にClipし、Clip後のA2、B1の動き情報を取得し、両者の動き情報を比較し、比較結果をr3と表記する。
A4、B3をカレントCTUの範囲にClipし、Clip後のA4、B3の動き情報を取得し、両者の動き情報を比較し、比較結果をr4と表記する。
r3とr4のうち少なくとも1つが異なる動き情報となった場合に、当該マッチングブロックを水平左方向に8画素オフセットし、新しいマッチングブロックを取得し、当該新しいマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として、時間モード候補リストに追加する。
A1、C3をカレントCTUの範囲にClipし、Clip後のA1、C3の動き情報を取得し、両者の動き情報を比較し、比較結果をr5と表記する。
A2、C4をカレントCTUの範囲にClipし、Clip後のA2、C4の動き情報を取得し、両者の動き情報を比較し、比較結果をr6と表記する。
r5とr6のうち少なくとも1つが異なる動き情報となった場合に、当該マッチングブロックを垂直下方向に8画素オフセットし、新しいマッチングブロックを取得し、当該新しいマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として、時間モード候補リストに追加する。
A3、C1をカレントCTUの範囲にClipし、Clip後のA3、C1の動き情報を取得し、両者の動き情報を比較し、比較結果をr7と表記する。
A4、C2をカレントCTUの範囲にClipし、Clip後のA4、C2の動き情報を取得し、両者の動き情報を比較し、比較結果をr8と表記する。
r7とr8のうち少なくとも1つが異なる動き情報となった場合に、当該マッチングブロックを垂直上方向に8画素オフセットし、新しいマッチングブロックを取得し、当該新しいマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として、時間モード候補リストに追加する。
説明すべきことは、新しいマッチングブロックが複数存在する場合、各新しいマッチングブロックに対応する予測モードを、時間モード候補リストに追加する順序は限定されない。
また、新しいマッチングブロックが複数存在する場合、新しいマッチングブロックの一部に対応する予測モードを、強化型時間動きベクトル予測モード候補として時間モード候補リストに追加してもよい。
新しいマッチングブロックが存在しない場合、元のマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として時間モード候補リストに追加する。
実施例11
マッチングブロックをカレントCTUの範囲にClipする。
図7に示すマッチングブロックをClip後のマッチングブロックと仮定する。
Clip後のマッチングブロックの右境界がカレントCTUの右境界に位置しない場合、A1、B2の動き情報を取得し、両者の動き情報を比較し、比較結果をr9と表記する(r9には、同一または異なる動き情報が含まれ、以下も同様)。
A3、B4の動き情報を取得し、両者の動き情報を比較し、比較結果をr10と表記する。
r9とr10のうち少なくとも1つが異なる動き情報となった場合に、当該Clip後のマッチングブロックを水平右方向に8画素オフセットし、新しいマッチングブロックを取得し、当該新しいマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として、時間モード候補リストに追加する。
Clip後のマッチングブロックの左境界がカレントCTUの左境界に位置しない場合、A2、B1の動き情報を取得し、両者の動き情報を比較し、比較結果をr11と表記する。
A4、B3の動き情報を取得し、両者の動き情報を比較し、比較結果をr12と表記する。
r11とr12のうち少なくとも1つが異なる動き情報となった場合に、当該Clip後のマッチングブロックを水平左方向に8画素オフセットし、新しいマッチングブロックを取得し、当該新しいマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として、時間モード候補リストに追加する。
Clip後のマッチングブロックの下境界がカレントCTUの下境界に位置しない場合、A1、C3の動き情報を取得し、両者の動き情報を比較し、比較結果をr13と表記する。
A2、C4の動き情報を取得し、両者の動き情報を比較し、比較結果をr14と表記する。
r13とr14のうち少なくとも1つが異なる動き情報となった場合に、当該Clip後のマッチングブロックを垂直下方向に8画素オフセットし、新しいマッチングブロックを取得し、当該新しいマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として、時間モード候補リストに追加する。
Clip後のマッチングブロックの上境界がカレントCTUの上境界に位置しない場合、A3、C1の動き情報を取得し、両者の動き情報を比較し、比較結果をr15と表記する。
A4、C2の動き情報を取得し、両者の動き情報を比較し、比較結果をr16と表記する。
r15とr16のうち少なくとも1つが異なる動き情報となった場合に、当該Clip後のマッチングブロックを垂直上方向に8画素オフセットし、新しいマッチングブロックを取得し、当該新しいマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として、時間モード候補リストに追加する。
説明すべきことは、オフセット前のマッチングブロックに対応する予測モード、及び新しいマッチングブロックに対応する予測モードを、時間モード候補リストに追加する順序は限定されない。
また、新しいマッチングブロックが複数存在する場合、新しいマッチングブロックの一部に対応する予測モードを、強化型時間動きベクトル予測モード候補として時間モード候補リストに追加してもよい。
新しいマッチングブロックが存在しない場合、オフセット前のマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として時間モード候補リストに追加する。
実施例12
元のマッチングブロックをオフセットし、新しいマッチングブロックを得る。
例示的に、オフセットは以下のように行われる:
Mx1=Mx0+offset1
My1=My0+offset2
ただし、Mx0とMy0はそれぞれ元のマッチングブロックの左上隅の水平・垂直座標であり、Mx1とMy1はそれぞれ新しいマッチングブロックの左上隅の水平・垂直座標であり、offset1とoffset2はオフセット量であり、その値が任意の整数である。
新しいマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として、時間モード候補リストに追加する。
説明すべきことは、offset1とoffset2は複数のセットの値を取り、複数の新しいマッチングブロックを得ることができ、新しいマッチングブロックの数を限定しない。
新しいマッチングブロックが複数存在する場合、新しいマッチングブロックに対応する予測モードを、時間モード候補リストに追加する順序は限定されない。
新しいマッチングブロックが複数存在する場合、新しいマッチングブロックの一部に対応する予測モードを、強化型時間動きベクトル予測モード候補として時間モード候補リストに追加してもよい。
四、マッチングブロックの動き情報に基づいて、カレントブロック内のすべてのサブブロックの動き情報を取得し、カレントブロック内の各サブブロックの動き情報に基づいて、カレントブロック内の各サブブロックの動き補償を行う。
例示的に、符号化デバイスにとって、当該マッチングブロックは、時間モード候補リストにおける任意の強化型時間動きベクトル予測モード候補に対応するマッチングブロック(本発明では、ターゲットマッチング候補と呼ぶ)を含む。
復号化デバイスにとって、当該マッチングブロックは、強化型時間動きベクトル予測モードに対応するマッチングブロック(すなわち、前記ターゲットマッチングブロック)を含む。
実施例13
マッチングブロック内の任意のサブブロックについて、当該サブブロックの前方動き情報及び後方動き情報の両方が利用可能な場合、当該サブブロックの前方動き情報及び後方動き情報をそれぞれList0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、前記カレントブロックの対応する位置のサブブロックに与える。
当該サブブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、当該サブブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報をカレントブロックの対応する位置のサブブロックに与える。
当該サブブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、当該サブブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報をカレントブロックの対応する位置のサブブロックに与える。
カレントブロック内の各サブブロックの動き情報に基づいて、カレントブロック内の各サブブロックの動き補償を行う。
実施例14
マッチングブロック内の任意のサブブロックについて、サブブロックの前方動き情報及び後方動き情報の両方が利用可能な場合、サブブロックの前方動き情報及び後方動き情報をそれぞれList0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、前記カレントブロックの対応する位置のサブブロックに与える。
当該サブブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、当該サブブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報をカレントブロックの対応する位置のサブブロックに与える。
当該サブブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、当該サブブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報をカレントブロックの対応する位置のサブブロックに与える。
当該サブブロックの前方動き情報及び後方動き情報がいずれも利用できない場合、カレントブロックの第2周辺ブロックの前方動き情報及び後方動き情報の両方が利用可能であるとき、第2周辺ブロックの前方動き情報及び後方動き情報をそれぞれ、List0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、カレントブロックの対応する位置のサブブロックに与える。
第2周辺ブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、第2周辺ブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報をカレントブロックの対応する位置のサブブロックに与える。
第2周辺ブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、第2周辺ブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報をカレントブロックの対応する位置のサブブロックに与える。
第2周辺ブロックの前方動き情報及び後方動き情報がいずれも利用できない場合、ゼロ動き情報をカレントブロックの対応する位置のサブブロックに与える。
カレントブロック内の各サブブロックの動き情報に基づいて、カレントブロック内の各サブブロックの動き補償を行う。
強化型時間動きベクトル予測技術が作動するかどうかの制御について、以下に説明する。
実施例15
ETMVPを作動させるかどうかを制御するために、SPSレベルのシンタックスを追加することができる。
例として、u(n),u(v)またはue(n),ue(v)を符号化に用いることができ、u(n)は、連続したnビット(bit)の読み出しを表し、復号化された後の符号なし数であり、ue(n)は符号なし指数Golombエントロピー符号化であることを表している。記述子の括弧内のパラメータがnである場合は、該当シンタックス要素が固定長符号化であることを示し、パラメータがvである場合は、シンタックス要素が可変長符号化であることを示す。選択された符号化方式は限定されない。
一例として、u(1)を符号化に使用し、ETMVPを作動させるかどうかの制御を1ビット(bit)で実現する。
以上は本発明が提供する方法についての説明である。本発明が提供する装置について、以下に説明する。
図9を参照し、図9は本発明の実施例で提供される復号化装置の構造の模式図である。当該装置は以下を含み得る:
カレントブロックに強化型時間動きベクトル予測技術が作動していると判断された場合、カレントブロックのビットストリームから強化型時間動きベクトル予測モードのインデックス情報を解析するための復号化ユニット910と、
前記カレントブロックのマッチングブロックを決定するための第1決定ユニット920と、
前記マッチングブロック、及び前記マッチングブロックをオフセットして得られた新しいマッチングブロックに基づいて、強化型時間動きベクトル予測モード候補を決定し、前記強化型時間動きベクトル予測モード候補に基づいて、時間モード候補リストを構築するための構築ユニット930と、
前記インデックス情報に基づいて、前記時間モード候補リストから強化型時間動きベクトル予測モードを決定するための第2決定ユニット940と、
決定された強化型時間動きベクトル予測モードに基づいて、前記カレントブロック内の各サブブロックの動き情報を決定し、前記カレントブロック内の各サブブロックの動き情報に基づいて、前記カレントブロック内の各サブブロックの動き補償を行うための予測ユニット950とを備え、
ここで、前記予測ユニット950は、さらに、
ターゲットマッチングブロック内の任意のサブブロックについて、当該サブブロックの前方動き情報及び後方動き情報の両方が利用可能な場合、当該サブブロックの前方動き情報及び後方動き情報をそれぞれList0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、前記カレントブロックの対応する位置のサブブロックに与え、または、
当該サブブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、当該サブブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報を前記カレントブロックの対応する位置のサブブロックに与え、または、
当該サブブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、当該サブブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報を前記カレントブロックの対応する位置のサブブロックに与えるために用いられ、
強化型時間動きベクトル予測技術がカレントブロックに作動しているかどうかを示すために、シーケンスパラメータセットレベルシンタックスを使用し、
前記第1決定920ユニットは、前記カレントブロックのマッチングブロックを決定する際に、少なくともターゲット参照フレームインデックス、ターゲット参照方向、および前記カレントブロックの位置に従って、カレントブロックのマッチングブロックを決定し、ここで、前記ターゲット参照フレームインデックスは、List0における最初のフレームのインデックスであり、前記ターゲット参照方向はList0方向であり、または、前記ターゲット参照フレームインデックスはList1の最初のフレームのインデックスであり、前記ターゲット参照方向はList1方向である。
1つの可能な実施例において、前記構築ユニット930は、1つまたは複数のオフセット量対にそれぞれ基づいて、前記マッチングブロックを水平及び垂直方向にオフセットし、1つまたは複数の新しいマッチングブロックを取得することに用いられる。
1つの可能な実施例において、前記構築ユニット930は、前記マッチングブロックをClipするために用いられる。
1つの可能な実施例において、前記構築ユニット930は、
第13サブブロックと第14サブブロックの動き情報を比較し、第15サブブロックと第16サブブロックの動き情報を比較し、2つの比較結果の少なくとも1つが異なる動き情報となった場合、前記Clip後のマッチングブロックを水平右方向に1単位オフセットして新しいマッチングブロックを取得すること、または
第17サブブロックと第18サブブロックの動き情報を比較し、第19サブブロックと第20サブブロックの動き情報を比較し、2つの比較結果の少なくとも1つが異なる動き情報となった場合、前記Clip後のマッチングブロックを水平左方向に1単位オフセットして新しいマッチングブロックを取得すること、または
第13サブブロックと第21サブブロックの動き情報を比較し、第17サブブロックと第22サブブロックの動き情報を比較し、2つの比較結果の少なくとも1つが異なる動き情報となった場合、前記Clip後のマッチングブロックを垂直下方向に1単位オフセットして新しいマッチングブロックを取得すること、または
第15サブブロックと第23サブブロックの動き情報を比較し、第19サブブロックと第24サブブロックの動き情報を比較し、2つの比較結果の少なくとも1つが異なる動き情報となった場合、前記Clip後のマッチングブロックを垂直上方向に1単位オフセットして新しいマッチングブロックを取得することに用いられ、
ただし、第13サブブロックは、前記Clip後のマッチングブロックの左上隅のサブブロックであり、第14サブブロックは、前記Clip後のマッチングブロックの直右側の一番上の隣接サブブロックであり、第15サブブロックは、前記Clip後のマッチングブロックの左下隅のサブブロックであり、第16サブブロックは、前記Clip後のマッチングブロックの直右側の一番下の隣接サブブロックであり、第17サブブロックは、前記Clip後のマッチングブロックの右上隅のサブブロックであり、第18サブブロックは、前記Clip後のマッチングブロックの直左側の一番上の隣接サブブロックであり、第19のサブブロックは、前記Clip後のマッチングブロックの右下隅のサブブロックであり、第20サブブロックは、前記Clip後のマッチングブロックの直左側の一番下の隣接サブブロックであり、第21サブブロックは、前記Clip後のマッチングブロックの直下側の一番左の隣接サブブロックであり、第22サブブロックは、前記Clip後のマッチングブロックの直下側の一番右の隣接サブブロックであり、第23サブブロックは、前記Clip後のマッチングブロックの直上側の一番左の隣接サブブロックであり、第24サブブロックは、前記Clip後のマッチングブロックの直上側の一番右の隣接サブブロックであり、1単位は、サブブロックのサイズである。
1つの可能な実施例において、前記構築ユニット930は、
少なくとも1つの新しいマッチングブロックが存在する場合、オフセット前のマッチングブロックに対応する予測モードと、オフセットによって得られた新しいマッチングブロックに対応する予測モードとを、強化型時間動きベクトル予測モード候補として決定することに用いられる。
1つの可能な実施例において、前記予測ユニット950は、さらに、
当該サブブロックの前方動き情報及び後方動き情報がいずれも利用できない場合、カレントブロックの第2周辺ブロックの前方動き情報及び後方動き情報の両方が利用可能であるとき、前記第2周辺ブロックの前方動き情報及び後方動き情報をそれぞれ、List0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、前記カレントブロックの対応する位置のサブブロックに与え、前記第2周辺ブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、前記第2周辺ブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報をカレントブロックの対応する位置のサブブロックに与え、前記第2周辺ブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、前記第2周辺ブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報をカレントブロックの対応する位置のサブブロックに与え、前記第2周辺ブロックの前方動き情報及び後方動き情報がいずれも利用できない場合、ゼロ動き情報をカレントブロックの対応する位置のサブブロックに与えることに用いられる。
1つの可能な実施例において、シーケンスパラメータセットレベルシンタックスを用いて、強化型時間動きベクトル予測技術がカレントブロックに作動しているかどうかを示す時、前記復号化ユニット910は、
前記カレントブロックが属する画像シーケンスに強化型時間動きベクトル予測技術が作動している場合、前記カレントブロックに強化型時間動きベクトル予測技術が作動していると判断することと、
前記カレントブロックが属する画像シーケンスに強化型時間動きベクトル予測技術が作動していない場合、前記カレントブロックに強化型時間動きベクトル予測技術が作動していないと判断することとに用いられる。
1つの可能な実施例において、上記復号化装置は、ビデオデコーダであってもよい。
図10を参照し、本発明の実施例に示される復号化デバイスのハードウェア構造の模式図である。当該復号化デバイスは、プロセッサ1001と、機械実行可能な命令が格納された機械可読記憶媒体1002とを備えてもよく、プロセッサ1001と機械可読記憶媒体1002は、システムバス1003を介して通信することができる。さらに、機械可読記憶媒体1002の復号化制御ロジックに対応する機械実行可能命令を読み出して実行することにより、プロセッサ1001は、上述した復号化方法を実行することができる。
本発明で言及される機械可読記憶媒体1002は、実行可能な命令、データなどの情報を含むかまたは格納することができる任意の電子、磁気、光学、または他の物理記憶デバイスであってもよい。例えば、機械可読記憶媒体は、RAM(Radom Access Memory)、揮発性メモリ、不揮発性メモリ、フラッシュメモリ、記憶ドライブ(例えば、ハードディスクドライブ)、ソリッドステートドライブ、任意のタイプの記憶ディスク(例えば、光ディスク、dvdなど)、または類似の記憶媒体であってもよく、またはこれらの組み合わせであってもよい。
いくつかの実施例において、機械可読記憶媒体内に格納された機械実行可能命令を有する機械可読記憶媒体も提供され、前記機械実行可能命令は、プロセッサによって実行されると、上述の復号化方法が実施される。例えば、前記機械可読記憶媒体は、ROM、RAM、CD-ROM、磁気テープ、フロッピーディスク、光データ記憶装置などであってもよい。
図11を参照し、図11は本発明の実施例で提供される符号化装置の構造の模式図である。当該装置は以下を含み得る:
前記カレントブロックのマッチングブロックを決定するための第1決定ユニット1110と、
前記マッチングブロック、及び前記マッチングブロックをオフセットして得られた新しいマッチングブロックに基づいて、強化型時間動きベクトル予測モード候補を決定し、前記強化型時間動きベクトル予測モード候補に基づいて時間モード候補リストを構築するための構築ユニット1120と
前記時間モード候補リスト内の各強化型時間動きベクトル予測モード候補をトラバースし、任意の強化型時間動きベクトル予測モード候補について、当該強化型時間動きベクトル予測モード候補に基づいて、前記カレントブロック内の各サブブロックの動き情報を決定し、前記カレントブロック内の各サブブロックの動き情報に基づいて、前記カレントブロック内の各サブブロックの動き補償を行うための予測ユニット1130と、
各強化型時間動きベクトル予測モード候補に対応するレート歪みコストに基づいて、最小のレート歪みコストを有する強化型時間動きベクトル予測モード候補を、前記カレントブロックの強化型時間動きベクトル予測モードとして決定する第2決定ユニット1140と、
前記カレントブロックのビットストリームにインデックス情報を付加させる符号化ユニットであって、前記インデックス情報は、前記決定された強化型時間動きベクトル予測モードのモードインデックスを示すために使用される符号化ユニット1150とを備え、
前記予測ユニット1130はさらに、
ターゲットマッチングブロック内の任意のサブブロックについて、当該サブブロックの前方動き情報及び後方動き情報の両方が利用可能な場合、当該サブブロックの前方動き情報及び後方動き情報をそれぞれList0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、前記カレントブロックの対応する位置のサブブロックに与え、または、
当該サブブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、当該サブブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報を前記カレントブロックの対応する位置のサブブロックに与え、または、
当該サブブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、当該サブブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報を前記カレントブロックの対応する位置のサブブロックに与えるために用いられる予測ユニット1130と、
前記第1決定ユニットは、前記カレントブロックのマッチングブロックを決定する際に、少なくともターゲット参照フレームインデックス、ターゲット参照方向、および前記カレントブロックの位置に従って、カレントブロックのマッチングブロックを決定し、ここで、前記ターゲット参照フレームインデックスは、List0における最初のフレームのインデックスであり、前記ターゲット参照方向はList0方向であり、または、前記ターゲット参照フレームインデックスはList1の最初のフレームのインデックスであり、前記ターゲット参照方向はList1方向である。
1つの可能な実施例において、前記構築ユニット1120は、前記マッチングブロックをClipするために用いられる。
1つの可能な実施例において、前記構築ユニット1120は、
第13サブブロックと第14サブブロックの動き情報を比較し、第15サブブロックと第16サブブロックの動き情報を比較し、2つの比較結果の少なくとも1つが異なる動き情報となった場合、前記Clip後のマッチングブロックを水平右方向に1単位オフセットして新しいマッチングブロックを取得すること、または
第17サブブロックと第18サブブロックの動き情報を比較し、第19サブブロックと第20サブブロックの動き情報を比較し、2つの比較結果の少なくとも1つが異なる動き情報となった場合、前記Clip後のマッチングブロックを水平左方向に1単位オフセットして新しいマッチングブロックを取得すること、または
第13サブブロックと第21サブブロックの動き情報を比較し、第17サブブロックと第22サブブロックの動き情報を比較し、2つの比較結果の少なくとも1つが異なる動き情報となった場合、前記Clip後のマッチングブロックを垂直下方向に1単位オフセットして新しいマッチングブロックを取得すること、または
第15サブブロックと第23サブブロックの動き情報を比較し、第19サブブロックと第24サブブロックの動き情報を比較し、2つの比較結果の少なくとも1つが異なる動き情報となった場合、前記Clip後のマッチングブロックを垂直上方向に1単位オフセットして新しいマッチングブロックを取得することに用いられ、
ただし、第13サブブロックは、前記Clip後のマッチングブロックの左上隅のサブブロックであり、第14サブブロックは、前記Clip後のマッチングブロックの直右側の一番上の隣接サブブロックであり、第15サブブロックは、前記Clip後のマッチングブロックの左下隅のサブブロックであり、第16サブブロックは、前記Clip後のマッチングブロックの直右側の一番下の隣接サブブロックであり、第17サブブロックは、前記Clip後のマッチングブロックの右上隅のサブブロックであり、第18サブブロックは、前記Clip後のマッチングブロックの直左側の一番上の隣接サブブロックであり、第19のサブブロックは、前記Clip後のマッチングブロックの右下隅のサブブロックであり、第20サブブロックは、前記Clip後のマッチングブロックの直左側の一番下の隣接サブブロックであり、第21サブブロックは、前記Clip後のマッチングブロックの直下側の一番左の隣接サブブロックであり、第22サブブロックは、前記Clip後のマッチングブロックの直下側の一番右の隣接サブブロックであり、第23サブブロックは、前記Clip後のマッチングブロックの直上側の一番左の隣接サブブロックであり、第24サブブロックは、前記Clip後のマッチングブロックの直上側の一番右の隣接サブブロックであり、1単位は、サブブロックのサイズであることを特徴とする。
1つの可能な実施例において、前記構築ユニット1120は、
少なくとも1つの新しいマッチングブロックが存在する場合、オフセット前のマッチングブロックに対応する予測モードと、オフセットによって得られた新しいマッチングブロックに対応する予測モードとを、強化型時間動きベクトル予測モード候補として決定することに用いられる。
1つの可能な実施例において、前記予測ユニット1130は、
当該サブブロックの前方動き情報及び後方動き情報がいずれも利用できない場合、前記カレントブロックの第2周辺ブロックの前方動き情報及び後方動き情報の両方が利用可能であるとき、前記第2周辺ブロックの前方動き情報及び後方動き情報をそれぞれ、List0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、前記カレントブロックの対応する位置のサブブロックに与え、前記第2周辺ブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、前記第2周辺ブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報をカレントブロックの対応する位置のサブブロックに与え、前記第2周辺ブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、前記第2周辺ブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報をカレントブロックの対応する位置のサブブロックに与え、前記第2周辺ブロックの前方動き情報及び後方動き情報がいずれも利用できない場合、ゼロ動き情報をカレントブロックの対応する位置のサブブロックに与えることに用いられる。
1つの可能な実施例において、前記構築ユニット1120は、前記カレントブロックに強化型時間動きベクトル予測技術が作動している場合に、前記マッチングブロック及び前記マッチングブロックをオフセットすることによって得られた新しいマッチングブロックに基づいて強化型時間動きベクトル予測モード候補を決定し、前記強化型時間動きベクトル予測モード候補に基づいて第1時間モード候補リストを構築することに用いられる。
1つの可能な実施例において、シーケンスパラメータセットレベルシンタックスを用いて、前記カレントブロックに強化型時間動きベクトル予測技術が作動するかどうかを制御する。
1つの可能な実施例において、上記符号化装置は、ビデオエンコーダであってもよい。
図12を参照し、本発明の例示的な実施例に示される符号化デバイスのハードウェア構造の模式図である。当該符号化デバイスは、プロセッサ1201と、機械実行可能な命令が格納された機械可読記憶媒体1202を備えてもよく、プロセッサ1201と機械可読記憶媒体1202は、システムバス1203を介して通信することができる。さらに、機械可読記憶媒体1202の符号化制御ロジックに対応する機械実行可能命令を読み出して実行することにより、プロセッサ1201は、上述した符号化方法を実行することができる。
本発明で言及される機械可読記憶媒体1202は、実行可能な命令、データなどの情報を含むかまたは格納することができる任意の電子、磁気、光学、または他の物理記憶デバイスであってもよい。例えば、機械可読記憶媒体は、RAM(Radom Access Memory)、揮発性メモリ、不揮発性メモリ、フラッシュメモリ、記憶ドライブ(例えば、ハードディスクドライブ)、ソリッドステートドライブ、任意のタイプの記憶ディスク(例えば、CD-ROM、dvdなど)、または類似の記憶媒体、またはこれらの組み合わせであってもよい。
いくつかの実施例において、機械可読記憶媒体内に格納された機械実行可能命令を有する機械可読記憶媒体も提供され、前記機械実行可能命令は、プロセッサによって実行されると、上述の符号化方法を実施する。例えば、前記機械可読記憶媒体は、ROM、RAM、CD-ROM、磁気テープ、フロッピーディスク、光データ記憶装置などであってもよい。
いくつかの実施例において、さらに、上記いずれかの実施例における符号化装置と、上記いずれかの実施例における復号化装置とを備えるカメラ装置を提供する。
説明すべきことは、本発明では、「第1」や「第2」のような関係用語は、1つの実体や操作をもう1つの実体や操作と区別するためにのみ使用され、それらの実体や操作の間の実際の関係や順序を必ずしも要求したり示唆したりするものではない。さらに、用語「含む」、「備える」またはそれらの派生語は、一連の要素を含むプロセス、方法、物品またはデバイスが、そのような要素を含むだけでなく、明示的に記載されていない他の要素を含み、またはさらにプロセス、方法、物品またはデバイスの固有の要素を含むように、非排他的な包含を伝えることを意図している。それ以上の限定しない場合、「1つの...を含む」によって限定された要素は、前記要素を含むプロセス、方法、物品、またはデバイスに別の同じ要素が存在することを除外しない。
上記は本発明の好ましい実施例に過ぎず、本発明を限定するものではない。本発明の精神及び原理から逸脱することなく行われる任意の修正、等価交換、改良などは、本発明の保護範囲に含まれるものとする。
910 復号化ユニット
920 第1決定ユニット
930 構築ユニット
940 第2決定ユニット
950 予測ユニット
1001 プロセッサ
1002 機械可読記憶媒体
1003 システムバス
1110 第1決定ユニット
1120 構築ユニット
1130 予測ユニット
1140 第2決定ユニット
1150 符号化ユニット
1201 プロセッサ
1202 機械可読記憶媒体
1203 システムバス

Claims (12)

  1. 復号化方法であって、
    カレントブロックに強化型時間動きベクトル予測技術が作動していると判断された場合、前記カレントブロックのビットストリームから強化型時間動きベクトル予測モードのインデックス情報を解析するステップと、
    前記カレントブロックのマッチングブロックを決定するステップであって、
    少なくともターゲット参照フレームインデックス、ターゲット参照方向、および前記カレントブロックの位置に従って、前記カレントブロックのマッチングブロックを決定することであって、ここで、前記ターゲット参照フレームインデックスは、List0における最初のフレームのインデックスであり、前記ターゲット参照方向はList0方向であり、または、前記ターゲット参照フレームインデックスはList1の最初のフレームのインデックスであり、前記ターゲット参照方向はList1方向であることを含む、ステップと、
    前記マッチングブロック、及び前記マッチングブロックをオフセットして得られた新しいマッチングブロックに基づいて、強化型時間動きベクトル予測モード候補を決定し、前記強化型時間動きベクトル予測モード候補に基づいて時間モード候補リストを構築するステップと、
    前記インデックス情報に基づいて、前記時間モード候補リストから強化型時間動きベクトル予測モードを決定するステップと、
    決定された強化型時間動きベクトル予測モードに基づいて、前記カレントブロック内の各サブブロックの動き情報を決定し、前記カレントブロック内の各サブブロックの動き情報に基づいて、前記カレントブロック内の各サブブロックの動き補償を行うステップと、を含み、
    ここで、前記決定された強化型時間動きベクトル予測モードに基づいて、前記カレントブロック内の各サブブロックの動き情報を決定することは、
    ターゲットマッチングブロック内の任意のサブブロックについて、当該サブブロックの前方動き情報及び後方動き情報の両方が利用可能な場合、当該サブブロックの前方動き情報及び後方動き情報をそれぞれList0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、前記カレントブロックの対応する位置のサブブロックに与え、または、
    当該サブブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、当該サブブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報を前記カレントブロックの対応する位置のサブブロックに与え、または、
    当該サブブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、当該サブブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報を前記カレントブロックの対応する位置のサブブロックに与えること、を含み、
    強化型時間動きベクトル予測技術がカレントブロックに作動しているかどうかを示すために、シーケンスパラメータセットレベルシンタックスを使用することを特徴とする復号化方法。
  2. 前記マッチングブロックをオフセットして得られた新しいマッチングブロックは、
    1つまたは複数のオフセット量対にそれぞれ基づいて、前記マッチングブロックを水平及び垂直方向にオフセットし、1つまたは複数の新しいマッチングブロックを取得することによって決定されることを特徴とする請求項1に記載の方法。
  3. 前記カレントブロックのマッチングブロックを決定した後、さらに、
    前記マッチングブロックをクリップすることを含むことを特徴とする請求項1に記載の方法。
  4. 前記マッチングブロックをオフセットして得られた新しいマッチングブロックは、
    第13サブブロックと第14サブブロックの動き情報を比較し、第15サブブロックと第16サブブロックの動き情報を比較し、2つの比較結果の少なくとも1つが異なる動き情報となった場合、前記クリップ後のマッチングブロックを水平右方向にオフセットして新しいマッチングブロックを取得すること、または
    第17サブブロックと第18サブブロックの動き情報を比較し、第19サブブロックと第20サブブロックの動き情報を比較し、2つの比較結果の少なくとも1つが異なる動き情報となった場合、前記クリップ後のマッチングブロックを水平左方向にオフセットして新しいマッチングブロックを取得すること、または
    第13サブブロックと第21サブブロックの動き情報を比較し、第17サブブロックと第22サブブロックの動き情報を比較し、2つの比較結果の少なくとも1つが異なる動き情報となった場合、前記クリップ後のマッチングブロックを垂直下方向にオフセットして新しいマッチングブロックを取得すること、または
    第15サブブロックと第23サブブロックの動き情報を比較し、第19サブブロックと第24サブブロックの動き情報を比較し、2つの比較結果の少なくとも1つが異なる動き情報となった場合、前記クリップ後のマッチングブロックを垂直上方向にオフセットして新しいマッチングブロックを取得することによって決定され、
    第13サブブロックは、前記クリップ後のマッチングブロックの左上隅のサブブロックであり、第14サブブロックは、前記クリップ後のマッチングブロックの直右側の一番上の隣接サブブロックであり、第15サブブロックは、前記クリップ後のマッチングブロックの左下隅のサブブロックであり、第16サブブロックは、前記クリップ後のマッチングブロックの直右側の一番下の隣接サブブロックであり、第17サブブロックは、前記クリップ後のマッチングブロックの右上隅のサブブロックであり、第18サブブロックは、前記クリップ後のマッチングブロックの直左側の一番上の隣接サブブロックであり、第19のサブブロックは、前記クリップ後のマッチングブロックの右下隅のサブブロックであり、第20サブブロックは、前記クリップ後のマッチングブロックの直左側の一番下の隣接サブブロックであり、第21サブブロックは、前記クリップ後のマッチングブロックの直下側の一番左の隣接サブブロックであり、第22サブブロックは、前記クリップ後のマッチングブロックの直下側の一番右の隣接サブブロックであり、第23サブブロックは、前記クリップ後のマッチングブロックの直上側の一番左の隣接サブブロックであり、第24サブブロックは、前記クリップ後のマッチングブロックの直上側の一番右の隣接サブブロックであることを特徴とする請求項3に記載の方法。
  5. 前記マッチングブロック、及び前記マッチングブロックをオフセットして得られた新しいマッチングブロックに基づいて、強化型時間動きベクトル予測モード候補を決定することは、
    少なくとも1つの新しいマッチングブロックが存在する場合、オフセット前のマッチングブロックに対応する予測モード、及びオフセットによって得られた新しいマッチングブロックに対応する予測モードを、強化型時間動きベクトル予測モード候補として決定することを含むことを特徴とする請求項2~4のいずれか1項に記載の方法。
  6. 前記決定された強化型時間動きベクトル予測モードに基づいて、前記カレントブロック内の各サブブロックの動き情報を決定することは、さらに、
    当該サブブロックの前方動き情報及び後方動き情報がいずれも利用できない場合、前記カレントブロックの周辺ブロックの前方動き情報及び後方動き情報の両方が利用可能であるとき、前記周辺ブロックの前方動き情報及び後方動き情報をそれぞれ、List0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、前記カレントブロックの対応する位置のサブブロックに与え、
    前記周辺ブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、前記周辺ブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報をカレントブロックの対応する位置のサブブロックに与え、
    前記周辺ブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、前記周辺ブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報をカレントブロックの対応する位置のサブブロックに与え、
    前記周辺ブロックの前方動き情報及び後方動き情報がいずれも利用できない場合、ゼロ動き情報をカレントブロックの対応する位置のサブブロックに与えることを含むことを特徴とする請求項1に記載の方法。
  7. 強化型時間動きベクトル予測技術がカレントブロックに作動しているかどうかを示すために、シーケンスパラメータセットレベルシンタックスを使用する時、前記カレントブロックに強化型時間動きベクトル予測技術が作動しているかどうかは、
    前記カレントブロックが属する画像シーケンスに強化型時間動きベクトル予測技術が作動している場合、前記カレントブロックに強化型時間動きベクトル予測技術が作動していると判断し、
    前記カレントブロックが属する画像シーケンスに強化型時間動きベクトル予測技術が作動していない場合、前記カレントブロックに強化型時間動きベクトル予測技術が作動していないと判断することによって決定されることを特徴とする請求項1に記載の方法。
  8. 符号化方法であって
    カレントブロックのマッチングブロックを決定するステップであって、
    少なくともターゲット参照フレームインデックス、ターゲット参照方向、および前記カレントブロックの位置に従って、前記カレントブロックのマッチングブロックを決定することであって、ここで、前記ターゲット参照フレームインデックスは、List0における最初のフレームのインデックスであり、前記ターゲット参照方向はList0方向であり、または、前記ターゲット参照フレームインデックスはList1の最初のフレームのインデックスであり、前記ターゲット参照方向はList1方向であることを含む、ステップと、
    前記マッチングブロック、及び前記マッチングブロックをオフセットして得られた新しいマッチングブロックに基づいて、強化型時間動きベクトル予測モード候補を決定し、前記強化型時間動きベクトル予測モード候補に基づいて時間モード候補リストを構築するステップと、
    前記時間モード候補リスト内の各強化型時間動きベクトル予測モード候補をトラバースし、任意の強化型時間動きベクトル予測モード候補について、当該強化型時間動きベクトル予測モード候補に基づいて、前記カレントブロック内の各サブブロックの動き情報を決定し、前記カレントブロック内の各サブブロックの動き情報に基づいて、前記カレントブロック内の各サブブロックの動き補償を行うステップと、
    各強化型時間動きベクトル予測モード候補に対応するレート歪みコストに基づいて、最小のレート歪みコストを有する強化型時間動きベクトル予測モード候補を、前記カレントブロックの強化型時間動きベクトル予測モードとして決定するステップと、
    前記カレントブロックのビットストリームにインデックス情報を付加させるステップであって、前記インデックス情報は、前記決定された強化型時間動きベクトル予測モードのモードインデックスを示すために使用されるステップと、を含み、
    ただし、前記当該強化型時間動きベクトル予測モード候補に基づいて、前記カレントブロック内の各サブブロックの動き情報を決定することは、
    ターゲットマッチングブロック内の任意のサブブロックについて、当該サブブロックの前方動き情報及び後方動き情報の両方が利用可能な場合、当該サブブロックの前方動き情報及び後方動き情報をそれぞれList0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、前記カレントブロックの対応する位置のサブブロックに与え、または、
    当該サブブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、当該サブブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報を前記カレントブロックの対応する位置のサブブロックに与え、または、
    当該サブブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、当該サブブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報を前記カレントブロックの対応する位置のサブブロックに与えること、を含むことを特徴とする符号化方法。
  9. 復号化装置であって、
    カレントブロックに強化型時間動きベクトル予測技術が作動していると判断された場合、前記カレントブロックのビットストリームから強化型時間動きベクトル予測モードのインデックス情報を解析するための復号化ユニットと、
    前記カレントブロックのマッチングブロックを決定するための第1決定ユニットと、
    前記マッチングブロック、及び前記マッチングブロックをオフセットして得られた新しいマッチングブロックに基づいて、強化型時間動きベクトル予測モード候補を決定し、前記強化型時間動きベクトル予測モード候補に基づいて、時間モード候補リストを構築するための構築ユニットと、
    前記強化型時間動きベクトル予測モードのインデックス情報に基づいて、前記時間モード候補リストから強化型時間動きベクトル予測モードを決定するための第2決定ユニットと、
    決定された強化型時間動きベクトル予測モードに基づいて、前記カレントブロック内の各サブブロックの動き情報を決定し、前記カレントブロック内の各サブブロックの動き情報に基づいて、前記カレントブロック内の各サブブロックの動き補償を行うための予測ユニットと、を備え、
    ここで、前記予測ユニットは、さらに、
    ターゲットマッチングブロック内の任意のサブブロックについて、当該サブブロックの前方動き情報及び後方動き情報の両方が利用可能な場合、当該サブブロックの前方動き情報及び後方動き情報をそれぞれList0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、前記カレントブロックの対応する位置のサブブロックに与え、または、
    当該サブブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、当該サブブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報を前記カレントブロックの対応する位置のサブブロックに与え、または、
    当該サブブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、当該サブブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報を前記カレントブロックの対応する位置のサブブロックに与えるために用いられ、
    強化型時間動きベクトル予測技術がカレントブロックに作動しているかどうかを示すために、シーケンスパラメータセットレベルシンタックスを使用し、
    前記第1決定ユニットは、前記カレントブロックのマッチングブロックを決定する際に、少なくともターゲット参照フレームインデックス、ターゲット参照方向、および前記カレントブロックの位置に従って、カレントブロックのマッチングブロックを決定し、ここで、前記ターゲット参照フレームインデックスは、List0における最初のフレームのインデックスであり、前記ターゲット参照方向はList0方向であり、または、前記ターゲット参照フレームインデックスはList1の最初のフレームのインデックスであり、前記ターゲット参照方向はList1方向であることを特徴とする復号化装置。
  10. 符号化装置であって、
    カレントブロックのマッチングブロックを決定するための第1決定ユニットと、
    前記マッチングブロック、及び前記マッチングブロックをオフセットして得られた新しいマッチングブロックに基づいて、強化型時間動きベクトル予測モード候補を決定し、前記強化型時間動きベクトル予測モード候補に基づいて時間モード候補リストを構築するための構築ユニットと、
    前記時間モード候補リスト内の各強化型時間動きベクトル予測モード候補をトラバースし、任意の強化型時間動きベクトル予測モード候補について、当該強化型時間動きベクトル予測モード候補に基づいて、前記カレントブロック内の各サブブロックの動き情報を決定し、前記カレントブロック内の各サブブロックの動き情報に基づいて、前記カレントブロック内の各サブブロックの動き補償を行う予測ユニットと、
    各強化型時間動きベクトル予測モード候補に対応するレート歪みコストに基づいて、最小のレート歪みコストを有する強化型時間動きベクトル予測モード候補を、前記カレントブロックの強化型時間動きベクトル予測モードとして決定する第2決定ユニットと、
    前記カレントブロックのビットストリームにインデックス情報を付加させる符号化ユニットであって、前記インデックス情報は、前記決定された強化型時間動きベクトル予測モードのモードインデックスを示すために使用される符号化ユニットと、を備え、
    ここで、前記予測ユニットは、さらに、
    ターゲットマッチングブロック内の任意のサブブロックについて、当該サブブロックの前方動き情報及び後方動き情報の両方が利用可能な場合、当該サブブロックの前方動き情報及び後方動き情報をそれぞれList0の最初のフレームおよびList1の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報及び後方動き情報をそれぞれ、前記カレントブロックの対応する位置のサブブロックに与え、または、
    当該サブブロックの前方動き情報が利用可能であるが、後方動き情報が利用可能でない場合、当該サブブロックの前方動き情報を、List0の最初のフレームを指すようにスケーリングし、スケーリングされた前方動き情報を前記カレントブロックの対応する位置のサブブロックに与え、または、
    当該サブブロックの後方動き情報が利用可能であるが、前方動き情報が利用可能でない場合、当該サブブロックの後方動き情報を、List1の最初のフレームを指すようにスケーリングし、スケーリングされた後方動き情報を前記カレントブロックの対応する位置のサブブロックに与えるために用いられ、
    前記第1決定ユニットは、前記カレントブロックのマッチングブロックを決定する際に、少なくともターゲット参照フレームインデックス、ターゲット参照方向、および前記カレントブロックの位置に従って、カレントブロックのマッチングブロックを決定し、ここで、前記ターゲット参照フレームインデックスは、List0における最初のフレームのインデックスであり、前記ターゲット参照方向はList0方向であり、または、前記ターゲット参照フレームインデックスはList1の最初のフレームのインデックスであり、前記ターゲット参照方向はList1方向であることを特徴とする符号化装置。
  11. 復号化デバイスであって、
    プロセッサと、機械可読記憶媒体とを備え、前記機械可読記憶媒体は、前記プロセッサによって実行可能な機械実行可能命令を記憶し、前記プロセッサは、前記機械実行可能命令を実行することにより、請求項1~7のいずれか1項に記載の方法を実施するために用いられることを特徴とする復号化デバイス。
  12. 符号化デバイスであって、
    プロセッサと、機械可読記憶媒体とを備え、前記機械可読記憶媒体は、前記プロセッサによって実行可能な機械実行可能命令を記憶し、前記プロセッサは、前記機械実行可能命令を実行することにより、請求項8に記載の方法を実施するために用いられることを特徴とする符号化デバイス。
JP2022558281A 2020-03-26 2021-03-25 復号化方法、符号化方法、装置、及びデバイス Active JP7375223B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023182870A JP2023179792A (ja) 2020-03-26 2023-10-24 復号化方法、符号化方法、装置、及びデバイス

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010225428.1 2020-03-26
CN202010225428.1A CN113453005B (zh) 2020-03-26 2020-03-26 解码方法、编码方法、装置及设备
PCT/CN2021/082954 WO2021190591A1 (zh) 2020-03-26 2021-03-25 解码方法、编码方法、装置及设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023182870A Division JP2023179792A (ja) 2020-03-26 2023-10-24 復号化方法、符号化方法、装置、及びデバイス

Publications (2)

Publication Number Publication Date
JP2023518988A true JP2023518988A (ja) 2023-05-09
JP7375223B2 JP7375223B2 (ja) 2023-11-07

Family

ID=77807342

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022558281A Active JP7375223B2 (ja) 2020-03-26 2021-03-25 復号化方法、符号化方法、装置、及びデバイス
JP2023182870A Pending JP2023179792A (ja) 2020-03-26 2023-10-24 復号化方法、符号化方法、装置、及びデバイス

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023182870A Pending JP2023179792A (ja) 2020-03-26 2023-10-24 復号化方法、符号化方法、装置、及びデバイス

Country Status (6)

Country Link
US (1) US20230013243A1 (ja)
JP (2) JP7375223B2 (ja)
KR (1) KR20220158102A (ja)
CN (2) CN113709484B (ja)
TW (1) TWI790580B (ja)
WO (1) WO2021190591A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023130233A1 (zh) * 2022-01-04 2023-07-13 Oppo广东移动通信有限公司 时域运动信息预测和构建候选列表的方法、装置和系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071461B (zh) * 2010-12-14 2019-11-12 M&K控股株式会社 用于解码运动画面的设备
MX2014000046A (es) * 2011-06-28 2014-02-17 Samsung Electronics Co Ltd Metodo de codificacion de video que utiliza ajustes de desplazamiento de comformidad clasificacion de pixel y aparato para ello, metodo de decodificacion de video y aparato para ello.
SG11201703454XA (en) * 2014-11-18 2017-06-29 Mediatek Inc Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
WO2017204532A1 (ko) * 2016-05-24 2017-11-30 한국전자통신연구원 영상 부호화/복호화 방법 및 이를 위한 기록 매체
WO2018105580A1 (ja) 2016-12-09 2018-06-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN109963155B (zh) * 2017-12-23 2023-06-06 华为技术有限公司 图像块的运动信息的预测方法、装置及编解码器
US10728542B2 (en) * 2018-04-09 2020-07-28 Tencent America LLC Methods and apparatuses for sub-block motion vector prediction
CN108632616B (zh) * 2018-05-09 2021-06-01 电子科技大学 一种基于参考质量做帧间加权预测的方法
CN116781896A (zh) * 2018-06-27 2023-09-19 Lg电子株式会社 对视频信号进行编解码的方法和发送方法
WO2020003258A1 (en) * 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Virtual merge candidates
US10531090B1 (en) * 2018-07-02 2020-01-07 Tencent America LLC Method and apparatus for video coding
US11539958B2 (en) * 2018-07-17 2022-12-27 Lg Electronics Inc. Method for predicting subblock-based temporal motion vector and apparatus therefor
CN110858906B (zh) * 2018-08-26 2023-05-30 北京字节跳动网络技术有限公司 组合的基于历史的运动矢量预测符和多运动模型解码
CN110868602B (zh) * 2018-08-27 2024-04-12 华为技术有限公司 视频编码器、视频解码器及相应方法
CN110225346A (zh) * 2018-12-28 2019-09-10 杭州海康威视数字技术股份有限公司 一种编解码方法及其设备
CN110740317B (zh) * 2019-09-18 2021-10-15 浙江大华技术股份有限公司 子块运动预测、编码方法、编码器及存储装置

Also Published As

Publication number Publication date
CN113709484B (zh) 2022-12-23
CN113709484A (zh) 2021-11-26
TW202139711A (zh) 2021-10-16
US20230013243A1 (en) 2023-01-19
WO2021190591A1 (zh) 2021-09-30
TWI790580B (zh) 2023-01-21
CN113453005A (zh) 2021-09-28
KR20220158102A (ko) 2022-11-29
JP7375223B2 (ja) 2023-11-07
CN113453005B (zh) 2022-11-01
JP2023179792A (ja) 2023-12-19

Similar Documents

Publication Publication Date Title
CN109804627B (zh) 图像编码/解码方法和设备
KR102233820B1 (ko) 비디오 신호의 처리 방법 및 장치
US9154806B2 (en) Method and apparatus for encoding/decoding images using adaptive motion vector resolution
US9674546B2 (en) Method and apparatus for interpolating reference picture and method and apparatus for encoding/decoding image using same
US11638029B2 (en) Method and apparatus for encoding/decoding images using adaptive motion vector resolution
TWI806650B (zh) 解碼方法、編碼方法、裝置、設備及存儲介質
JP7494403B2 (ja) 復号方法、符号化方法、装置、デバイスおよび記憶媒体
JP2023179792A (ja) 復号化方法、符号化方法、装置、及びデバイス
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
JP2024523635A (ja) 復号化方法、符号化方法、装置、デバイスおよび記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230925

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231025

R150 Certificate of patent or registration of utility model

Ref document number: 7375223

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150