JP6855413B2 - 予測動きベクトル誘導方法及びその方法を使用する装置 - Google Patents

予測動きベクトル誘導方法及びその方法を使用する装置 Download PDF

Info

Publication number
JP6855413B2
JP6855413B2 JP2018103677A JP2018103677A JP6855413B2 JP 6855413 B2 JP6855413 B2 JP 6855413B2 JP 2018103677 A JP2018103677 A JP 2018103677A JP 2018103677 A JP2018103677 A JP 2018103677A JP 6855413 B2 JP6855413 B2 JP 6855413B2
Authority
JP
Japan
Prior art keywords
motion vector
candidate prediction
prediction
block
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018103677A
Other languages
English (en)
Other versions
JP2018152904A (ja
Inventor
リム、ソン、チャン
キム、ヒ、ヨン
リー、ジン、ホ
チェ、ジン、ス
キム、ジン、ウン
キム、ジェ、ゴン
リー、サン、ヨン
パク、ウン、キ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2018152904A publication Critical patent/JP2018152904A/ja
Application granted granted Critical
Publication of JP6855413B2 publication Critical patent/JP6855413B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、復号化方法及び装置に関し、より詳しくは、予測動きベクトル誘導方法及びその方法を使用する装置に関する。
最近、HD(High Definition)映像及びUHD(Ultra High Definition)映像のような高解像度、高品質の映像に対する需要が多様な応用分野で増加している。映像データが高解像度、高品質になるほど、既存の映像データに比べて相対的にデータ量が増加するため、既存の有無線広帯域回線のような媒体を利用して映像データを送信し、又は既存の格納媒体を利用して格納する場合、送信費用と格納費用が増加するようになる。映像データが高解像度、高品質化によって発生するこのような問題を解決するためには高効率の映像圧縮技術が活用されることができる。
映像圧縮技術として、現在ピクチャの以前又は以後ピクチャから現在ピクチャに含まれている画素値を予測する画面間予測技術、現在ピクチャ内の画素情報を利用して現在ピクチャに含まれている画素値を予測する画面内予測技術、出現頻度が高い値に短い符号を割り当て、出現頻度が低い値に長い符号を割り当てるエントロピー符号化技術など、多様な技術が存在し、このような映像圧縮技術を利用して映像データを効果的に圧縮して送信又は格納することができる。
本発明の目的は、映像符号化/復号化効率を増加させるための候補予測動きベクトルリスト構成方法を提供することである。
また、本発明の他の目的は、映像符号化/復号化効率を増加させるための候補予測動きベクトルリスト構成方法を実行する装置を提供することである。
前述した本発明の目的を達成するための本発明の一側面に係る候補予測動きベクトルリスト構成方法は、予測対象ブロックの周辺予測ブロックから複数個の空間的候補予測動きベクトル関連情報を決定するステップと、前記複数個の空間的候補予測動きベクトル関連情報に基づいて時間的候補予測動きベクトル関連情報を決定するステップと、を含む。前記空間的候補予測動きベクトル関連情報は,空間的候補予測動きベクトルが誘導されるかどうかを示す空間的候補予測動きベクトル可用性情報及び前記空間的候補予測動きベクトルのうち少なくとも一つを含む情報であり、前記時間的候補予測動きベクトル関連情報は、時間的候補予測動きベクトルが誘導されるかどうかを示す時間的候補予測動きベクトル可用性情報及び前記時間的候補予測動きベクトルのうち少なくとも一つを含む情報である。前記予測対象ブロックの周辺予測ブロックから複数個の空間的候補予測動きベクトル関連情報を決定するステップは、第1の空間的候補予測動きベクトル可用性情報及び第1の空間的候補予測動きベクトルを決定するステップと、第2の空間的候補予測動きベクトル可用性情報及び第2の空間的候補予測動きベクトルを決定するステップと、を含む。前記複数個の空間的候補予測動きベクトル可用性情報及び前記複数個の空間的候補予測動きベクトルに基づいて時間的候補予測動きベクトル関連情報を決定するステップは、前記第1の空間的候補予測動きベクトル可用性情報、前記第2の空間的候補予測動きベクトル可用性情報、前記第1の空間的候補予測動きベクトル及び前記第2の空間的候補予測動きベクトルに基づいて、前記第1の空間的候補予測動きベクトル及び前記第2の空間的候補予測動きベクトルの両方ともが可用し、前記第1の空間的候補予測動きベクトルと前記第2の空間的候補予測動きベクトルが異なるかどうかを判断するステップと、前記第1の空間的候補予測動きベクトル及び前記第2の空間的候補予測動きベクトルの両方ともが可用し、前記第1の空間的候補予測動きベクトルと第2の空間的候補予測動きベクトルが異なる場合、時間的候補予測動きベクトル可用性情報を前記時間的候補予測動きベクトルが可用しないと決定するステップと、を含み、前記時間的候補予測動きベクトル関連情報は、前記時間的候補予測動きベクトル可用性情報及び時間的候補予測動きベクトルのうち少なくとも一つを含む情報である。前記複数個の空間的候補予測動きベクトル可用性情報及び前記複数個の空間的候補予測動きベクトルに基づいて時間的候補予測動きベクトル関連情報を決定するステップは、前記第1の空間的候補予測動きベクトル可用性情報、前記第2の空間的候補予測動きベクトル可用性情報、前記第1の空間的候補予測動きベクトル及び前記第2の空間的候補予測動きベクトルに基づいて、前記第1の空間的候補予測動きベクトル及び前記第2の空間的候補予測動きベクトルの両方ともが可用し、前記第1の空間的候補予測動きベクトルと前記第2の空間的候補予測動きベクトルが異なるかどうかを判断するステップと、前記第1の空間的候補予測動きベクトル及び前記第2の空間的候補予測動きベクトルのうち少なくとも一つの空間的候補予測動きベクトルが可用しない場合、又は前記第1の空間的候補予測動きベクトル及び前記第2の空間的候補予測動きベクトルの両方ともが可用し、前記第1の空間的候補予測動きベクトルと前記第2の空間的候補予測動きベクトルが同じ場合、前記時間的候補予測動きベクトル関連情報の誘導過程を実行して前記時間的候補予測動きベクトル関連情報を決定するステップと、を含み、前記時間的候補予測動きベクトル関連情報は、時間的候補予測動きベクトル可用性情報及び時間的候補予測動きベクトルのうち少なくとも一つを含む情報である。前記候補予測動きベクトルリストは、前記第1の空間的候補予測動きベクトル可用性情報に基づいて前記第1の空間的候補予測動きベクトルが可用な場合、前記第1の空間的候補予測動きベクトルと、前記第2の空間的候補予測動きベクトル可用性情報に基づいて前記第2の空間的候補予測動きベクトルが可用な場合、前記第2の空間的候補予測動きベクトルと、時間的候補予測動きベクトル可用性情報に基づいて時間的候補予測動きベクトルが可用な場合、前記時間的候補予測動きベクトルと、含んで構成し、前記時間的候補予測動きベクトル関連情報は、時間的候補予測動きベクトル可用性情報及び時間的候補予測動きベクトルのうち少なくとも一つを含む情報である。前記候補予測動きベクトルリスト構成方法は、前記候補予測動きベクトルリストを構成する前記第1の空間的候補予測動きベクトルと前記第2の空間的候補予測動きベクトルが同じ場合、前記第2の空間的候補予測動きベクトルを前記候補予測動きベクトルリストから除去するステップをさらに含む。前記候補予測動きベクトルリスト構成方法は、前記候補予測動きベクトルリストに含まれている候補予測動きベクトルの個数が前記候補予測動きベクトルリストに含まれることができる前記候補予測動きベクトルの最大個数である最大候補予測動きベクトル数より小さいかどうかを判断するステップと、前記判断結果に基づいて前記候補予測動きベクトルリストに候補予測動きベクトルを追加又は除去するステップと、をさらに含む。前記判断結果に基づいて前記候補予測動きベクトルリストに候補予測動きベクトルを追加又は除去するステップは、前記候補予測動きベクトルリストに含まれている前記候補予測動きベクトルの個数が前記最大候補予測動きベクトル数より小さい場合、前記候補予測動きベクトルリストに零ベクトルを追加するステップ及び前記候補予測動きベクトルリストに含まれている前記候補予測動きベクトルの個数が前記最大候補予測動きベクトル数より大きい又は同じ場合、前記候補予測動きベクトルが前記最大候補予測動きベクトル数ほど前記候補予測動きベクトルリストに含まれるように前記候補予測動きベクトルのうち一部の候補予測動きベクトルを前記候補予測動きベクトルリストから除去するステップを含む。前記第1の空間的候補予測動きベクトル可用性情報は、第1の空間的候補予測ブロックグループに含まれている第1のブロック又は第2のブロックに第1の動きベクトルが存在するかどうかを判断するステップと、前記第1の空間的候補予測ブロックグループに含まれている前記第1のブロック又は前記第2のブロックに前記第1の動きベクトルが存在しない場合、前記第1の空間的候補予測ブロックグループの前記第1のブロックと前記第2のブロックに第2の動きベクトルが存在するかどうかを判断するステップと、前記第1の空間的候補予測ブロックグループに含まれている前記第1のブロック又は前記第2のブロックに前記第1の動きベクトル又は前記第2の動きベクトルが存在しない場合、前記第1の空間的候補予測ブロックグループの前記第1のブロックと前記第2のブロックに第3の動きベクトルが存在するかどうかを判断するステップと、前記第1の空間的候補予測ブロックグループに含まれている前記第1のブロック又は前記第2のブロックに前記第1の動きベクトル、前記第2の動きベクトル又は前記第3の動きベクトルが存在しない場合、前記第1の空間的候補予測ブロックグループの前記第1のブロックと前記第2のブロックに第4の動きベクトルが存在するかどうかを判断するステップと、を介して算出される情報である。前記第2の空間的候補予測動きベクトル可用性情報は、第2の空間的候補予測ブロックグループに含まれている第3のブロック、第4のブロック又は第5のブロックに第1の動きベクトルが存在するかどうかを判断するステップと、前記第2の空間的候補予測ブロックグループに含まれている前記第3のブロック、前記第4のブロック又は前記第5のブロックに前記第1の動きベクトルが存在しない場合、前記第2の空間的候補予測ブロックグループの前記第3のブロック、前記第4のブロック又は前記第5のブロックに第2の動きベクトルが存在するかどうかを判断するステップと、前記第2の空間的候補予測ブロックグループに含まれている前記第3のブロック、前記第4のブロック又は前記第5のブロックに前記第1の動きベクトル又は前記第2の動きベクトルが存在しない場合、前記第2の空間的候補予測ブロックグループの前記第3のブロック、前記第4のブロック又は前記第5のブロックに第3の動きベクトルが存在するかどうかを判断するステップと、前記第2の空間的候補予測ブロックグループに含まれている前記第3のブロック、前記第4のブロック又は前記第5のブロックに前記第1の動きベクトル、前記第2の動きベクトル又は前記第3の動きベクトルが存在しない場合、前記第2の空間的候補予測ブロックグループの前記第3のブロック、前記第4のブロック又は前記第5のブロックに第4の動きベクトルが存在するかどうかを判断するステップと、を介して算出される情報である。
前述した本発明の目的を達成するための本発明の他の側面に係る映像復号化装置は、候補予測動きベクトルリストに含まれている候補予測動きベクトルのうち予測対象ブロックに対する画面間予測を実行するために使われる予測動きベクトルに対する情報を復号化するエントロピー復号化部と、前記予測対象ブロックの周辺予測ブロックから複数個の空間的候補予測動きベクトル関連情報を決定し、前記複数個の空間的候補予測動きベクトル関連情報に基づいて時間的候補予測動きベクトル関連情報を決定して前記候補予測動きベクトルリストを生成する予測部と、を含む。前記空間的候補予測動きベクトル関連情報は、空間的候補予測動きベクトル可用性情報及び前記空間的候補予測動きベクトルのうち少なくとも一つを含む情報であり、前記時間的候補予測動きベクトル関連情報は、時間的候補予測動きベクトル可用性情報及び前記時間的候補予測動きベクトルのうち少なくとも一つを含む情報である。前記複数個の空間的候補予測動きベクトル関連情報は、第1の空間的候補予測動きベクトル可用性情報及び第1の空間的候補予測動きベクトルのうち少なくとも一つの情報と、第2の空間的候補予測動きベクトル可用性情報及び第2の空間的候補予測動きベクトルのうち少なくとも一つの情報と、である。前記時間的候補予測動きベクトル関連情報は、時間的候補予測動きベクトル可用性情報及び時間的候補予測動きベクトルのうち少なくとも一つを含み、前記第1の空間的候補予測動きベクトル及び前記第2の空間的候補予測動きベクトルの両方ともが可用し、前記第1の空間的候補予測動きベクトルと第2の空間的候補予測動きベクトルが異なる場合、前記時間的候補予測動きベクトル可用性情報を前記時間的候補予測動きベクトルが可用しないと決定する。前記時間的候補予測動きベクトル関連情報は、前記第1の空間的候補予測動きベクトル及び前記第2の空間的候補予測動きベクトルのうち少なくとも一つの空間的候補予測動きベクトルが可用しない場合、又は前記第1の空間的候補予測動きベクトル及び前記第2の空間的候補予測動きベクトルの両方ともが可用し、前記第1の空間的候補予測動きベクトルと前記第2の空間的候補予測動きベクトルが同じ場合、前記時間的候補予測動きベクトル関連情報の誘導過程を実行して決定され、前記時間的候補予測動きベクトル関連情報は、前記時間的候補予測動きベクトル可用性情報及び時間的候補予測動きベクトルのうち少なくとも一つを含む。前記候補予測動きベクトルリストは、前記第1の空間的候補予測動きベクトル可用性情報に基づいて前記第1の空間的候補予測動きベクトルが可用な場合、前記第1の空間的候補予測動きベクトル、前記第2の空間的候補予測動きベクトル可用性情報に基づいて前記第2の空間的候補予測動きベクトルが可用な場合、前記第2の空間的候補予測動きベクトル、時間的候補予測動きベクトル可用性情報に基づいて時間的候補予測動きベクトルが可用な場合、前記時間的候補予測動きベクトルを含んで構成し、前記時間的候補予測動きベクトル関連情報は、時間的候補予測動きベクトル可用性情報及び時間的候補予測動きベクトルのうち少なくとも一つを含む情報である。前記候補予測動きベクトルリストは、前記第1の空間的候補予測動きベクトルと前記第2の空間的候補予測動きベクトルが同じ場合、前記第2の空間的候補予測動きベクトルを除去して再構成されるリストである。前記候補予測動きベクトルリストは、前記候補予測動きベクトルリストに含まれている前記候補予測動きベクトルの個数が前記候補予測動きベクトルリストに含まれることができる前記候補予測動きベクトルの最大個数である最大候補予測動きベクトル数より小さいかどうかを判断し、前記判断結果に基づいて候補予測動きベクトルを追加又は除去して再構成されるリストである。前記候補予測動きベクトルリストは、前記候補予測動きベクトルリストに含まれている前記候補予測動きベクトルの個数が前記最大候補予測動きベクトル数より小さい場合、前記候補予測動きベクトルリストに零ベクトルが追加されて再構成され、前記候補予測動きベクトルリストに含まれている前記候補予測動きベクトルの個数が前記最大候補予測動きベクトル数より大きい又は同じ場合、前記候補予測動きベクトルが前記最大候補予測動きベクトル数ほど前記候補予測動きベクトルリストに含まれるように前記候補予測動きベクトルのうち一部の候補予測動きベクトルが前記候補予測動きベクトルリストから除去されて再構成される。
前述したように、本発明の実施例に係る動きベクトルリスト構成方法及びその方法を使用する装置によると、候補予測動きベクトルリストを構成して予測動きベクトルを算出する方法に関し、最適の予測動きベクトルを誘導時に発生する複雑度を減らして符号化効率を上げることができる。
本発明の一実施例に係る映像符号化装置の構成を示すブロック図である。 本発明の実施例に係る映像復号化装置の構成を示すブロック図である。 本発明の実施例に係る候補予測動きベクトルを算出するための空間的候補予測ブロック及び時間的候補予測ブロックを示す概念図である。 本発明の実施例に係る予測対象ブロックの動きベクトルと空間的候補予測ブロックの動きベクトルとの関係を介して空間的候補予測ブロックの動きベクトルを分類する方法を説明するための概念図である。 本発明の実施例に係る候補予測動きベクトルを算出する方法を示すフローチャートである。 本発明の実施例に係る候補予測動きベクトルを算出する方法を示すフローチャートである。 本発明の実施例に係る候補予測動きベクトルを算出する方法を示すフローチャートである。 本発明の実施例に係る追加候補予測動きベクトルを算出する過程を示すフローチャートである。 本発明の他の実施例に係る追加候補予測動きベクトルを算出する方法を示す順序図である。 本発明の実施例に係る予測動きベクトルを算出する方法を示すフローチャートである。 本発明の実施例に係る予測動きベクトルを算出する方法を示すフローチャートである。 本発明の実施例に係る予測動きベクトル算出方法を示すフローチャートである。 本発明の他の実施例に係る予測動きベクトル算出方法を示すフローチャートである。 本発明の実施例に係る候補予測動きベクトルを算出する方法を示すフローチャートである。 本発明の実施例に係る時間的候補予測動きベクトルを算出する方法を示すための概念図である。 本発明の実施例に係る候補予測動きベクトルリストを算出する方法を示す概念図である。 本発明の実施例に係る候補予測動きベクトルリストから同じ候補予測動きベクトルを除去することを示す概念図である。 本発明の実施例に係る候補予測動きベクトルを追加及び除去して候補予測動きベクトルリストの大きさを調整する方法を示す概念図である。 本発明の実施例に係る候補予測動きベクトルリストで最終予測動きベクトルを決定することを示す概念図である。 本発明の実施例に係る候補予測動きベクトルリストを算出する方法を示すフローチャートである。
以下、図面を参照して本発明の実施形態に対して具体的に説明する。本明細書の実施例を説明するにあたって、関連した公知構成又は機能に対する具体的な説明が本明細書の要旨を不明にすると判断される場合にはその詳細な説明は省略する。
一構成要素が他の構成要素に“連結されている”又は“接続されている”と言及された場合、該当他の構成要素に直接的に連結されている、又は接続されていることもあるが、中間に他の構成要素が存在することもあると理解されなければならない。併せて、本発明において、特定構成を“含む”と記述する内容は、該当構成以外の構成を排除するものではなく、追加的な構成が本発明の実施又は本発明の技術的思想の範囲に含まれることができることを意味する。
第1、第2などの用語は、多様な構成要素の説明に使われることができるが、前記構成要素は、前記用語により限定されてはならない。前記用語は、一つの構成要素を他の構成要素から区別する目的にのみ使われる。例えば、本発明の権利範囲を外れない限り、第1の構成要素は第2の構成要素と命名することができ、同様に、第2の構成要素も第1の構成要素と命名することができる。
また、本発明の実施例に示す構成部は、互いに異なる特徴的な機能を示すために独立的に図示されるものであり、各構成部が分離されたハードウェアや一つのソフトウェア構成単位に構成されることを意味しない。即ち、各構成部は、説明の便宜上、それぞれの構成部として羅列して含むものであり、各構成部のうち少なくとも二つの構成部が統合されて一つの構成部からなり、又は一つの構成部が複数個の構成部に分けられて機能を遂行することができ、このような各構成部の統合された実施例及び分離された実施例も本発明の本質から外れない限り本発明の権利範囲に含まれる。
また、一部の構成要素は、本発明で本質的な機能を遂行する必須な構成要素ではなく、単に性能を向上させるための選択的構成要素である。本発明は、単に性能向上のために使われる構成要素を除いた本発明の本質を具現するのに必須な構成部のみを含んで具現されることができ、単に性能向上のために使われる選択的構成要素を除いた必須構成要素のみを含む構造も本発明の権利範囲に含まれる。
図1は、本発明の一実施例に係る映像符号化装置の構成を示すブロック図である。
図1を参照すると、前記映像符号化装置100は、動き予測部111、動き補償部112、イントラ予測部120、スイッチ115、減算器125、変換部130、量子化部140、エントロピー符号化部150、逆量子化部160、逆変換部170、加算器175、フィルタ部180、及び参照ピクチャバッファ190を含む。
映像符号化装置100は、入力映像に対してイントラ(intra)モード又はインター(inter)モードに符号化を実行し、ビットストリームを出力することができる。イントラモードの場合、スイッチ115がイントラに転換され、インターモードの場合、スイッチ115がインターに転換されることができる。映像符号化装置100は、入力映像の入力ブロックに対する予測ブロックを算出した後、入力ブロックと予測ブロックとの差分(residual)を符号化することができる。
イントラモードの場合、イントラ予測部120は、現在ブロック周辺の既に符号化されたブロックのピクセル値を利用して空間的予測を実行することで、予測ブロックを算出することができる。
インターモードの場合、動き予測部111は、動き予測過程で参照ピクチャバッファ190に格納されている参照映像で入力ブロックと最もよくマッチされる領域を探して動きベクトルを求めることができる。動き補償部112は、動きベクトルを利用して動き補償を実行することによって予測ブロックを算出することができる。
動き予測部111では予測対象ブロックの周辺予測ブロックから誘導された複数個の空間的候補予測動きベクトル関連情報及び複数個の空間的候補予測動きベクトル関連情報に基づいて決定された時間的候補予測動きベクトル関連情報に基づいて前記候補予測動きベクトルリストを生成することができる。詳細な候補予測動きベクトルリスト生成方法に対しては、以下、本発明の実施例で後述し、このような動作を実行する予測部は、本発明の実施例に含まれる。
減算器125は、入力ブロックと算出された予測ブロックとの差分により残差ブロック(residual block)を算出することができる。変換部130は、残差ブロックに対して変換(transform)を実行することで、変換係数(transform coefficient)を出力することができる。ここで、変換係数は、残差ブロック及び/又は残差信号に対する変換を実行することによって算出された係数値を意味することができる。以下、本明細書では変換係数に量子化が適用されて算出された、量子化された変換係数レベル(transform coefficient level)も変換係数と呼ばれることができる。
量子化部140は、入力された変換係数を量子化パラメータによって量子化し、量子化された変換係数レベル(quantized transform coefficientlevel)を出力することができる。
エントロピー符号化部150は、量子化部140で算出された値又は符号化過程で算出された符号化パラメータ値などに基づいてエントロピー符号化を実行することで、ビットストリーム(bit stream)を出力することができる。
エントロピー符号化が適用される場合、高い発生確率を有するシンボル(symbol)に少ない数のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表現されることによって、符号化対象シンボルに対するビット列の大きさが減少されることができる。したがって、エントロピー符号化を介して映像符号化の圧縮性能が高まることができる。エントロピー符号化部150は、エントロピー符号化のために、指数ゴロム(exponential golomb)、CAVLC(Context−Adaptive Variable Length Coding)、CABAC(Context−Adaptive Binary Arithmetic Coding)のような符号化方法を使用することができる。
エントロピー符号化部150では候補予測動きベクトルリストに含まれている候補予測動きベクトルのうち予測対象ブロックに対する画面間予測を実行するために使われる予測動きベクトルに対する情報を符号化することができる。
図1の実施例に係る映像符号化装置は、インター予測符号化、即ち、画面間予測符号化を実行するため、現在符号化された映像は、参照映像として使われるために復号化されて格納される必要がある。したがって、量子化された係数は、逆量子化部160で逆量子化され、逆変換部170で逆変換される。逆量子化、逆変換された係数は、加算器175を介して予測ブロックと加えられて復元ブロック(Reconstructed Block)が算出される。
復元ブロックは、フィルタ部180を経て、フィルタ部180は、デブロッキングフィルタ(deblocking filter)、SAO(Sample Adaptive Offset)、ALF(Adaptive Loop Filter)のうち少なくとも一つ以上を復元ブロック又は復元ピクチャに適用することができる。フィルタ部180を経た復元ブロックは、参照ピクチャバッファ190に格納されることができる。
図2は、本発明の他の実施例に係る映像復号化装置の構成を示すブロック図である。
図2を参照すると、前記映像復号化装置200は、エントロピー復号化部210、逆量子化部220、逆変換部230、イントラ予測部240、動き補償部250、加算器255、フィルタ部260、及び参照ピクチャバッファ270を含む。
映像復号化装置200は、符号化器で出力されたビットストリームの入力を受けてイントラモード又はインターモードに復号化を実行することで、再構成された映像、即ち、復元映像を出力することができる。イントラモードの場合、スイッチがイントラに転換され、インターモードの場合、スイッチがインターに転換されることができる。映像復号化装置200は、入力を受けたビットストリームから復元された残差ブロック(reconstructed residual block)を得て予測ブロックを算出した後、復元された残差ブロックと予測ブロックとを加えて再構成されたブロック、即ち、復元ブロックを算出することができる。
エントロピー復号化部210は、入力されたビットストリームを確率分布によってエントロピー復号化し、量子化された係数(quantized coefficient)形態のシンボルを含むシンボルを算出することができる。エントロピー復号化方法は、前述したエントロピー符号化方法と同様である。
エントロピー復号化方法が適用される場合、高い発生確率を有するシンボルに少ない数のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表現されることによって、各シンボルに対するビット列の大きさが減少されることができる。したがって、エントロピー復号化方法を介して映像復号化の圧縮性能が高まることができる。
エントロピー復号化部210では候補予測動きベクトルリストに含まれている候補予測動きベクトルのうち予測対象ブロックに対する画面間予測を実行するために使われる予測動きベクトルに対する情報を復号化することができる。
量子化された係数は、逆量子化部220で逆量子化され、逆変換部230で逆変換され、量子化された係数が逆量子化/逆変換された結果、復元された残差ブロックが算出されることができる。
イントラモードの場合、イントラ予測部240は、現在ブロック周辺の既に復号化されたブロックのピクセル値を利用して空間的予測を実行することで、予測ブロックを算出することができる。インターモードの場合、動き補償部250は、動きベクトル及び参照ピクチャバッファ270に格納されている参照映像を利用して動き補償を実行することによって予測ブロックを算出することができる。
インターモードの場合、前記予測対象ブロックの周辺予測ブロックから誘導された複数個の空間的候補予測動きベクトル関連情報及び前記複数個の空間的候補予測動きベクトル関連情報に基づいて決定された時間的候補予測動きベクトル関連情報に基づいて前記候補予測動きベクトルリストを生成することができる。詳細な候補予測動きベクトルリスト生成方法に対しては、以下、本発明の実施例で詳述し、このような実施例を実行する予測部を含む復号化装置は、本発明の権利範囲に含まれる。
復元された残差ブロックと予測ブロックは、加算器255を介して加えられ、加えられたブロックは、フィルタ部260を経ることができる。フィルタ部260は、デブロッキングフィルタ、SAO、ALFのうち少なくとも一つ以上を復元ブロック又は復元ピクチャに適用することができる。フィルタ部260は、再構成された映像、即ち、復元映像を出力することができる。復元映像は、参照ピクチャバッファ270に格納されてインター予測に使われることができる。
符号化/復号化装置の予測性能を向上させるための方法には補間(interpolation)映像の正確度を高さは方法と差信号を予測する方法がある。ここで差信号とは、原本映像と予測映像との差を示す信号である。本発明において“差信号”は文脈によって“差分信号”、“残余ブロック”又は“差分ブロック”に代替されて使われることができ、該当技術分野において通常の知識を有する者は、発明の思想、本質に影響を与えない範囲内でこれを区分することができる。
前述したように、以下、本発明の実施例では、説明の便宜上、コーディングユニット(Coding Unit)を符号化単位と定義して使用するが、符号化だけでなく、復号化を実行する単位になることもできる。また、以下、ユニット又はブロックは、映像符号化及び復号化の単位を意味し、映像符号化及び復号化時の符号化又は復号化単位は、一つの映像を細分化されたユニットに分割して符号化又は復号化する時、その分割された単位を意味するため、マクロブロック、符号化ユニット(CU:Coding Unit)、予測ユニット(PU:Prediction Unit)、変換ユニット(TU:Transform Unit)、変換ブロック(transform block)などで呼ぶこともある。一つのブロックは、大きさが小さい下位ブロックに分割されることができる。予測ユニットとは、予測/補償実行時の基本ブロックであり、予測ユニットは、分割されて複数のパーティション(Partition)になることもできる。複数のパーティションも予測実行時の基本ブロックとなり、予測ユニットが分割されたパーティションも予測ユニットという。
本発明の実施例で後述する映像符号化方法及び映像復号化方法は、図1及び図2で詳述した映像符号化器及び映像復号化器に含まれている各構成部で実行されることができる。
構成部の意味は、ハードウェア的な意味だけでなく、アルゴリズムを介して実行されることができるソフトウェア的な処理単位も含むことができる。
図3は、本発明の実施例に係る候補予測動きベクトルを算出するための空間的候補予測ブロック及び時間的候補予測ブロックを示す概念図である。
予測対象ブロックの左側上端に存在するピクセルの位置を(xP,yP)とし、予測対象ブロックの幅をnPSW、予測対象ブロックの高さをnPSHという変数で定義する。MinPuSizeは、最も小さい予測ブロックの大きさを示すことができる。
以下、本発明の実施例では予測対象ブロックの空間的周辺予測ブロックは、(xP−1,yP+nPSH)に存在するピクセルを含むブロックを左側第1のブロック(A0ブロック)300、(xP−1,yP+nPSH−MinPuSize)に存在するピクセルを含むブロックを左側第2のブロック(A1ブロック)310と定義して使用する。また、(xP+nPSW,yP−1)に位置するピクセルを含むブロックを上端第1のブロック(B0ブロック)320、(xP+nPSW−MinPuSize,yP−1)に位置するピクセルを含むブロックを上端第2のブロック(B1ブロック)330、(xP−MinPuSize,yP−1)に位置するピクセルを含むブロックを上端第3のブロック(B2ブロック)340と定義して使用する。
空間的候補予測ブロックは、左側第1のブロック(A0)300、左側第2のブロック(A1、310)、上端第1のブロック(B0)320、上端第2のブロック(B1)330、上端第3のブロック(B2)340を含むことができる。空間的候補予測グループは、二つのグループに分けられ、左側第1のブロック300及び左側第2のブロック310を含むグループを第1の空間的候補予測グループと定義し、上端第1のブロック320、上端第2のブロック330、上端第3のブロック340を含むグループを第2の空間的候補予測グループと定義することができる。
時間的候補予測ブロック350は、現在予測対象ブロックを含むピクチャ内のピクセル位置(xP,yP)に基づいて現在予測ブロックのColocatedピクチャ(Colocated Picture)で(xP+nPSW,yP+nPSH)位置のピクセルを含む予測ブロックであり、又は(xP+nPSW,yP+nPSH)位置のピクセルを含む予測ブロックが可用しない場合、(xP+(nPSW>>1),yP+(nPSH>>1))位置のピクセルを含む予測ブロックになることができる。Colocatedピクチャで(xP+nPSW,yP+nPSH)位置のピクセルを含む予測ブロックを第1のColocatedブロック(Colocated Block)といい、Colocatedピクチャで(xP+(nPSW>>1),yP+(nPSH>>1))位置のピクセルを含む予測ブロックを第2のColocatedブロックということができる。
図3で開示した空間的候補予測ブロックの位置及び個数と時間的候補予測ブロックの位置及び個数は、任意であり、本発明の本質から外れない限り空間的候補予測ブロックの位置及び個数と時間的候補予測ブロックの位置及び個数は変わることができる。また、候補予測動きベクトルリストの構成時、優先的にスキャンされる予測ブロックの順序も変わることができる。即ち、以下、本発明の実施例で説明する候補予測動きベクトルリストの構成時に使われる候補予測ブロックの位置、個数、スキャン順序、候補予測グループなどは、一つの実施例に過ぎず、本発明の本質から外れない限り変わることができる。このとき、候補予測動きベクトルリスト(Candidate Predicted Motion Vector List)は、候補予測動きベクトルを利用して構成されたリストを意味する。
図4は、本発明の実施例に係る予測対象ブロックの動きベクトルと空間的候補予測ブロックの動きベクトルとの関係を介して空間的候補予測ブロックの動きベクトルを分類する方法を説明するための概念図である。
図4を参照すると、予測対象ブロックと同じ参照フレーム及び同じ参照ピクチャリストから算出された空間的候補予測ブロックの動きベクトルを第1の動きベクトル400という。図4を参照すると、予測対象ブロック450の参照ピクチャがjピクチャであり、jピクチャが含まれている参照ピクチャリストがL0リストと仮定する場合、空間的候補予測ブロック470のベクトル400が示す参照ピクチャがjピクチャであり、jピクチャが含まれている参照ピクチャリストがL0リストであるため、空間的候補予測ブロック470の動きベクトルと予測対象ブロックの動きベクトルは、同じ参照ピクチャ及び同じ参照ピクチャリストを有する。このように予測対象ブロックと同じ参照フレームと同じリストから算出された動きベクトルを第1の動きベクトル400と定義する。
予測対象ブロック450と同じ参照フレームを有し、互いに異なる参照ピクチャリストから算出された空間的候補予測ブロック470の動きベクトルを第2の動きベクトル410という。予測対象ブロック450の参照ピクチャがjピクチャであり、jピクチャが含まれている参照ピクチャリストがL0リストと仮定する場合、空間的候補予測ブロック470のベクトルが示す参照ピクチャがjピクチャであり、jピクチャが含まれている参照ピクチャリストがL1リストであるため、空間的候補予測ブロックの動きベクトル410と予測対象ブロックの動きベクトルは、同じ参照ピクチャを有するが、互いに異なる参照ピクチャリストを有する。このように予測対象ブロックと同じ参照フレームであるが、互いに異なるリストから算出された動きベクトルを第2の動きベクトル410と定義する。
予測対象ブロックと互いに異なる参照フレームを有し、同じ参照ピクチャリストから算出された空間的候補予測ブロックの動きベクトルを第3の動きベクトル420という。予測対象ブロック450の参照ピクチャがjピクチャであり、jピクチャが含まれている参照ピクチャリストがL0リストと仮定する場合、空間的候補予測ブロック470のベクトル420が示す参照ピクチャがiピクチャであり、iピクチャが含まれている参照ピクチャリストがL0リストであるため、空間的候補予測ブロックの動きベクトルと予測対象ブロックの動きベクトルは、互いに異なる参照ピクチャを有するが、同じ参照ピクチャリストを有する。このように予測対象ブロック450と互いに異なる参照フレームであるが、同じリストから算出された動きベクトルを第3の動きベクトル420と定義する。第3の動きベクトル420の場合、予測対象ブロックと参照ピクチャが互いに異なるため、空間的候補予測ブロックの動きベクトルを使用時、予測対象ブロックの参照ピクチャを基準にスケーリング(Scaling)して候補予測動きベクトルリストに含まれることができる。
予測対象ブロック450と互いに異なる参照フレームを有して互いに異なる参照ピクチャリストから算出された空間的候補予測ブロック470の動きベクトルを第4の動きベクトル430という。予測対象ブロック450の参照ピクチャがjピクチャであり、jピクチャが含まれている参照ピクチャリストがL0リストと仮定する場合、空間的候補予測ブロック470のベクトル430が示す参照ピクチャがmピクチャであり、mピクチャが含まれている参照ピクチャリストがL1リストであるため、空間的候補予測ブロックの動きベクトルと予測対象ブロックの動きベクトルは、互いに異なる参照ピクチャ及び互いに異なる参照ピクチャリストを有する。このように予測対象ブロックと互いに異なる参照フレーム及び互いに異なる参照ピクチャリストから算出された動きベクトルを第4の動きベクトル430と定義する。第4の動きベクトル430も予測対象ブロック450と参照ピクチャが互いに異なるため、空間的候補予測ブロックの動きベクトルを使用時、予測対象ブロックの参照ピクチャを基準にスケーリングを実行して候補予測動きベクトルリストに含まれることができる。
空間的候補予測ブロックの動きベクトルは、予測対象ブロックの参照フレーム及び参照ピクチャリストによって、前述したように第1の動きベクトル乃至第4の動きベクトルに分類されることができる。第1の動きベクトル及び第2の動きベクトルの場合、スケーリングを実行せずに使用することができるベクトルであり、スケーリングを実行しない非スケーリング(Non−Scaling)動きベクトルと定義し、第3の動きベクトル及び第4の動きベクトルの場合、スケーリングを実行せずに使用することができるベクトルであり、スケーリング(Scaling)動きベクトルと定義して使用することができる。
空間的候補予測ブロックの動きベクトルを第1の動きベクトル乃至第4の動きベクトルに分類する方法は、以下、本発明の実施例で説明する空間的候補予測ブロックの動きベクトルのうち、候補予測動きベクトルとして優先的に使われる動きベクトルに対して決定するときに使われることができる。
以下、本発明の実施例では第1の動きベクトル乃至第4の動きベクトルのような候補予測動きベクトルのうち最適の動きベクトルとして選択された動きベクトルを予測動きベクトルと定義することができる。
図5は、本発明の実施例に係る候補予測動きベクトルを算出する方法を示すフローチャートである。
候補予測動きベクトルは、空間的候補予測動きベクトルと時間的候補予測動きベクトルのうち少なくとも一つ以上を含む意味である。
本発明の実施例に係る候補予測動きベクトル算出方法は、候補予測動きベクトルを誘導するにあたって、誘導過程が並列的に実行されることができる。例えば、候補予測動きベクトルを誘導するにあたって、2個の空間的候補予測グループ(第1の空間的候補予測グループ、第2の空間的候補予測グループ)から各々一つの候補予測動きベクトルが誘導され、時間的候補予測ブロックから一つの候補予測動きベクトルが誘導される場合、第1の空間的候補予測グループ、第2の空間的候補予測グループ、時間的候補予測ブロックから候補予測動きベクトルを算出する動作が並列的に実行されることができる。候補予測動きベクトル誘導過程が並列的に実行されるということは、候補予測動きベクトル誘導過程の複雑度を減少させることができることを意味する。
図5を参照すると、第1の空間的候補予測グループから第1の空間的候補予測動きベクトルを算出するステップ(ステップS500)、第2の空間的候補予測グループから空間的候補予測動きベクトルを算出するステップ(ステップS520)、時間的候補予測ブロックから時間的候補予測動きベクトルを算出するステップ(ステップS540)が並列的に実行される。
図5で並列的に実行された候補予測動きベクトルを算出するためのステップは、任意であり、並列的に候補予測動きベクトルが誘導されるという本発明の本質から外れない限り他の方法を使用することができる。例えば、時間的候補予測ブロックから候補予測動きベクトルを算出するステップは除去され、第1の空間的候補予測グループから候補予測動きベクトルが算出されるステップ及び第2の空間的候補予測グループから候補予測動きベクトルが算出されるステップのみが並列的に実行されることができる。
本発明の実施例に係る候補予測動きベクトル誘導方法では、
A)スケーリングを実行しない予測動きベクトルである非スケーリング動きベクトル(第1の動きベクトル又は第2の動きベクトル)のみを候補予測動きベクトルとして使用する方法。
B)非スケーリング動きベクトル(第1の動きベクトル又は第2の動きベクトル)が存在しない場合、スケーリングを実行しない第3の動きベクトル又は第4の動きベクトルを候補予測動きベクトルとして使用する方法
を介して候補予測動きベクトルを算出することができる。
図6は、本発明の他の実施例に係る候補予測動きベクトルを算出する方法を示すフローチャートである。
図6を参照すると、左側第1のブロックから左側第2のブロックの順に非スケーリング動きベクトル(第1の動きベクトル又は第2の動きベクトル)が存在するかどうかを順次に判断する(ステップS600)。
前述したように、第1の動きベクトル及び第2の動きベクトルは、予測対象ブロックと同じ参照ピクチャインデックスを有しており、スケーリングを実行する必要がない非スケーリング候補予測動きベクトルを意味する。
ステップS600では、例えば、下記のような順序に候補予測動きベクトルの存在可否を判断することができる。
(1)左側第1のブロックに非スケーリング候補予測動きベクトルが存在するかどうかを判断し、左側第1のブロックに非スケーリング候補予測動きベクトルが存在する場合、該当非スケーリング候補予測動きベクトルを候補予測動きベクトルに決定。
(2)左側第1のブロックに非スケーリング候補予測動きベクトルが存在しない場合、左側第2のブロックに非スケーリング候補予測動きベクトルが存在するかどうかを判断する。左側第2のブロックに非スケーリング候補予測動きベクトルが存在する場合、該当非スケーリング候補予測動きベクトルを候補予測動きベクトルに決定。
(3)左側第2のブロックに非スケーリング候補予測動きベクトルが存在しない場合、第1の空間的候補予測グループ(左側第1のブロック及び左側第2のブロック)から候補予測動きベクトルを算出しない。
ステップS600では他の実施例として、下記のような順序に候補予測動きベクトルの存在可否を判断することができる。
(1)左側第1のブロックに第1の動きベクトルが存在するかどうかを判断し、左側第1のブロックに第1の動きベクトルが存在する場合、該当ベクトルを候補予測動きベクトルに決定。
(2)左側第1のブロックに第1の動きベクトルが存在しない場合、左側第2のブロックに第1の動きベクトルが存在するかどうかを判断し、左側第2のブロックに第1の動きベクトルが存在する場合、該当ベクトルを候補予測動きベクトルに決定。
(3)左側第2のブロックに第1の動きベクトルが存在しない場合、左側第1のブロックに第2の動きベクトルが存在するかどうかを判断し、左側第1のブロックに第2の動きベクトルが存在する場合、該当ベクトルを候補予測動きベクトルに決定。
(4)左側第1のブロックに第2の動きベクトルが存在しない場合、左側第2のブロックに第2の動きベクトルが存在するかどうかを判断し、左側第2のブロックに第2の動きベクトルが存在する場合、該当ベクトルを候補予測動きベクトルに決定。
前記のような順序は、第1の空間的候補予測グループから非スケーリング候補予測動きベクトルを算出する方法の例示に過ぎず、他の順序を介して第1の空間的候補予測グループから非スケーリング候補予測動きベクトルを算出することも可能である。
前述したように、ステップS600を介して判断した結果、非スケーリング候補予測動きベクトルが存在しない場合、第1の空間的候補予測グループ(左側第1のブロック及び左側第2のブロック)から候補予測動きベクトルを算出しない。
第1の空間的候補予測グループから非スケーリング候補予測動きベクトルを算出する方法を介して非スケーリング候補予測動きベクトルが存在する場合、第1の空間的候補予測グループ可用性情報(例えば、availableFlagLXY)を1に設定し、第1の空間的候補予測グループに候補予測動きベクトルが存在することを表示することができる。1は、候補予測動きベクトルの存在可否を表示するための任意の二進数であり、他の二進符号を介して同じ意味を含むこともできる。本発明の実施例で所定の情報の内容を表示する1及び0の二進数は、任意であり、他の二進符号化方法又は他の符号化方法を使用して算出された符号に基づいて該当情報を表現することができる。
他の実施例として、ステップS600を介して算出された非スケーリング候補予測動きベクトルが存在しない場合、左側第1のブロック及び左側第2のブロックでスケーリング動きベクトル(第3の動きベクトル又は第4の動きベクトル)が存在するかどうかを順次に判断する(ステップS610)。
例えば、ステップS610では下記のようなステップを介してスケーリング動きベクトルが存在するかどうかを判断することができる。
(1)左側第1のブロックで第3の動きベクトル又は第4の動きベクトルが存在するかどうかを順次に判断した後、左側第1のブロックで第3の動きベクトル又は第4の動きベクトルが存在する場合、該当第3の動きベクトル又は第4の動きベクトルをスケーリングせずに候補予測動きベクトルに決定する。
(2)左側第1のブロックで第3の動きベクトル又は第4の動きベクトルが存在しない場合、左側第2のブロックで第3の動きベクトル乃至第4の動きベクトルが存在するかどうかを順次に判断し、左側第2のブロックで第3の動きベクトル又は第4の動きベクトルが存在する場合、該当第3の動きベクトル又は第4の動きベクトルをスケーリングせずに候補予測動きベクトルに決定する。
即ち、第1の空間的候補予測グループに非スケーリング候補予測動きベクトルが存在しない場合、第1の空間的候補予測グループ(左側第1のブロック及び左側第2のブロック)からスケーリング候補予測動きベクトル(第3の動きベクトル又は第4の動きベクトル)を算出し、スケーリングを実行しない動きベクトルを候補予測動きベクトルとして算出することができる。
ステップS610である左側第1のブロック及び左側第2のブロックでスケーリング候補予測動きベクトル(第3の動きベクトル又は第4の動きベクトル)が存在するかどうかを順次に判断する方法として前述した左側第1のブロック及び左側第2のブロックからスケーリング動きベクトル(第1の動きベクトル又は第1の動きベクトル)を算出する方法のように多様な方法が使われることができ、このような多様な実施例も本発明の権利範囲に含まれる。
ステップS600又はステップS600乃至ステップS610を介して条件を満たす動きベクトルが存在する場合、第1の空間的候補予測グループ可用性情報を1に設定し、以後の動きベクトル存在可否判断手順は実行されない。
第2の空間的候補予測グループでも同様な方法により候補予測動きベクトルが算出されることができる。
上端第1のブロック、上端第2のブロック、上端第3のブロックの順に非スケーリング動きベクトルが存在するかどうかを順次に判断する(ステップS620)。
第2の空間的候補予測グループから候補予測動きベクトルを算出するステップS620は、前述したように、第1の空間的候補予測グループから候補予測動きベクトルを算出するステップS600又はステップS610のうち少なくとも一つのステップと並列的に実行されることができる。
例えば、ステップS600で詳述した方法と同様に、ステップS620では上端第1のブロックから上端第3のブロックの順に第1の動きベクトルが存在するかどうかを判断し、上端第1のブロックから上端第3のブロックに第1の動きベクトルが存在しない場合、上端第1のブロックから上端第3のブロックの順に第2の動きベクトルが存在するかどうかを判断し、又は上端第1のブロックで第1の動きベクトル又は第2の動きベクトルが存在するかどうかを判断し、次に、上端第2のブロックで第1の動きベクトル又は第2の動きベクトルが存在するかどうかを判断し、上端第3のブロックで第1の動きベクトル又は第2の動きベクトルが存在するかどうかを判断する方法を介して空間的候補予測動きベクトルを算出することができる。
ステップS620の判断手順は、ステップS600と同様に、多様な方法により実行されることができ、このような多様な判断手順は、本発明の権利範囲に含まれる。
ステップS620の順次的な判断手順に基づいて上端第1のブロック乃至上端第3のブロックに条件に合う候補予測動きベクトルが存在する場合、その以後の判断手順は実行されない。算出された動きベクトルは、候補予測動きベクトルリストに含まれることができ、第2の空間的候補予測グループ可用性情報を1に設定し、第2の空間的候補予測グループに候補予測動きベクトルが存在することを表示することができる。
ステップS600と同様に、ステップS620を介して上端第1のブロック乃至上端第3のブロックに非スケーリング候補予測動きベクトルである第1の動きベクトル又は第2の動きベクトルが存在しない場合、第2の空間的候補予測グループから候補予測動きベクトルを算出しない。
他の実施例として、ステップS620を介して上端第1のブロック、上端第2のブロック、上端第3のブロックに非スケーリング動きベクトルが存在するかどうかを判断した結果、非スケーリング動きベクトルが存在しない場合、上端第1のブロック、上端第2のブロック、上端第3のブロックにスケーリング動きベクトル(第3の動きベクトル及び第4の動きベクトル)が存在するかどうかを順次に判断する(ステップS630)。
ステップS620を介して上端第1のブロックから上端第3のブロックの順に第1の動きベクトル又は第2の動きベクトルが存在するかどうかを順次に判断した結果、条件に合うベクトルを発見することができない場合、ステップS630を介して候補予測動きベクトルを算出することができる。
もし、ステップS630を介して上端第1のブロック、上端第2のブロック及び上端第3のブロックのうち少なくとも一つのブロックに第3の動きベクトル又は第4の動きベクトルが存在すると判断される場合、該当ベクトルに対してスケーリングを実行せずにスケーリングを実行しない第3の動きベクトル及び第4の動きベクトルを候補予測動きベクトルリストに含ませることができる。
上端第1のブロック、上端第2のブロック及び上端第3のブロックのうち少なくとも一つのブロックに第3の動きベクトル又は第4の動きベクトルが存在するかどうかを判断する手順は、第1の空間的候補予測グループから動きベクトルを算出する方法のように、多様な判断方法を使用して実行されることができる。
ステップS620及びステップS630を介して条件を満たす動きベクトルが存在する場合、第2の空間的候補予測グループから一つの候補予測動きベクトルを算出することができる。
時間的候補予測ブロック(Colocatedブロック)で候補予測動きベクトルが存在するかどうかを判断する(ステップS640)。
時間的候補予測ブロックで候補予測動きベクトルが存在するかどうかを判断するステップS640は、第1の空間的候補予測グループから候補予測動きベクトルを算出するステップS600又はS610及び第2の空間的候補予測グループから候補予測動きベクトルを算出するステップS620又はS630と並列的に実行されることができる。
時間的候補予測ブロックは、前述したように、第1のColocatedブロックと第2のColocatedブロックに分けられることができ、第1のColocatedブロックの可用性可否を判断した後、第1のColocatedブロックが可用しない場合、第2のColocatedブロックがColocatedブロックとして選択されることができる。
時間的候補予測ブロックが含まれるColocatedピクチャは、所定の情報によって現在ピクチャの参照ピクチャリスト内の参照ピクチャのうち一つのピクチャになることができる。それだけでなく、時間的候補予測ブロックが含まれるColocatedピクチャを算出する方法は、多様な方法が使われることができる。二つの参照ピクチャリストを使用する時間的候補予測ブロックは、所定のフラグ情報によって優先的に一つのリストに存在する動きベクトルのみを候補予測動きベクトルとして使用することができる。現在ピクチャと現在ピクチャの参照ピクチャとの間の距離と、時間的候補予測ブロックが含まれているピクチャと時間的候補予測ブロックの参照ピクチャとの間の距離が異なる場合、時間的候補予測ブロックから算出された候補予測動きベクトルにスケーリングを実行することができる。
本発明の実施例によると、時間的候補予測ブロック(Colocatedブロック)に対してもスケーリングを実行しない。例えば、計算複雑度を減少させる具現が必要な場合、スケーリングを実行しない、又はフラグ情報を介してColocatedブロックの動きベクトルに対して適応的にスケーリングを実行しないように設定する方法を介して時間的候補予測ブロックに対するスケーリングを実行しない。
時間的候補予測ブロックから算出された候補予測動きベクトルが算出されることができる場合、時間的候補予測ブロック可用性情報を1に設定することができる。
即ち、本発明の実施例では、第1の空間的候補予測グループ、第2の空間的候補予測グループ、時間的候補予測ブロックで可用な候補予測動きベクトルが存在するかどうかを判断する手順を並列的に実行することで、候補予測動きベクトルを算出するにあたって、第1の空間的候補予測グループ、第2の空間的候補予測グループ、時間的候補予測ブロックから候補予測動きベクトルを算出する時に発生する従属性を除去することができる。
また、並列的に第1の空間的候補予測グループ、第2の空間的候補予測グループ、時間的候補予測ブロックで可用な候補予測動きベクトルが存在するかどうかを判断するにあたって、第1の空間的候補予測グループ、第2の空間的候補予測グループで可用な候補予測動きベクトルが存在するかどうかに対してのみを並列的に判断し、時間的候補予測ブロックで可用な候補予測動きベクトルが存在するかどうかを判断する手順は、従属的に実行すると同様に、第1の空間的候補予測グループ、第2の空間的候補予測グループ、時間的候補予測ブロックから候補予測動きベクトルを算出するにあたって、少なくとも二つのグループでのみ並列的に候補予測動きベクトルを算出するプロセスが実行されるようにすることも可能である。
前記の過程を介して第1の空間的候補予測グループ、第2の空間的候補予測グループ又は時間的候補予測ブロックから算出されることができる動きベクトルが存在する場合、可用性情報フラグ(availableFlagLXY又はavailableFlagCol)を利用して可用な候補予測動きベクトルが存在することを表示することができる。
前述したように、候補予測動きベクトルを算出するにあたって、前述したように、第1の空間的候補予測グループに含まれているブロックの個数及び位置、第2の空間的候補予測グループに含まれているブロックの個数及び位置、時間的候補予測ブロックの個数及び位置は、任意であり、第1の空間的候補予測グループ及び第2の空間的候補予測グループに含まれるブロックの個数及び位置は変わることができ、このような実施例も本発明の権利範囲に含まれる。
図7は、本発明の他の実施例に係る候補予測動きベクトルを算出する方法を示すフローチャートである。
本発明の実施例によると、第1の空間的候補予測グループと第2の空間的候補予測グループから候補予測動きベクトルを誘導する時、他の候補予測ブロックから算出された動きベクトルにスケーリングが実行されたかどうかと関係なしに個別的にスケーリングを実行するようにすることで、並列的に候補予測動きベクトルを誘導するようにすることができる。
第1の空間的候補予測グループ(左側第1のブロック、左側第2のブロック)から候補予測動きベクトルを誘導する。
第1の空間的候補予測グループから候補予測動きベクトルを誘導するために、第1の空間的候補予測グループに非スケーリング動きベクトル(第1の動きベクトル又は第2の動きベクトル)が存在するかどうかを判断することができる(ステップS700)。
第1の空間的候補予測グループに非スケーリング動きベクトル(第1の動きベクトル又は第2の動きベクトル)が存在するかどうかを判断するためにステップS600で詳述した方法を使用することができる。
第1の空間的候補予測グループから候補予測動きベクトルを誘導するために第1の空間的候補予測グループにスケーリング動きベクトル(第3の動きベクトル又は第4の動きベクトル)が存在するかどうかを判断することができる(ステップS710)。
ステップS700を介した判断結果、非スケーリング動きベクトルが存在しない場合、スケーリング動きベクトル(第3の動きベクトル又は第4の動きベクトル)が存在するかどうかを判断し、スケーリング動きベクトル(第3の動きベクトル又は第4の動きベクトル)を候補予測動きベクトルとして選択することができる。
ステップS710ではステップS610のように多様な方法により第1の空間的候補予測グループで第3の動きベクトル又は第4の動きベクトルが存在するかどうかを判断することができ、ステップS710ではステップS610と違ってスケーリングを実行した後に算出された第3の動きベクトル及び第4の動きベクトルを候補予測動きベクトルとして使用することができる。
第2の空間的候補予測グループ(上端第1のブロック、上端第2のブロック、上端第3のブロック)から候補予測動きベクトルを誘導する。
第2の空間的候補予測グループから候補予測動きベクトルを誘導するために第2の空間的候補予測グループに非スケーリング動きベクトル(第1の動きベクトル又は第2の動きベクトル)が存在するかどうかを判断することができる(ステップS720)。
第2の空間的候補予測グループに非スケーリング動きベクトル(第1の動きベクトル又は第2の動きベクトル)が存在するかどうかを判断するためにステップS620で詳述した方法を使用することができる。
第2の空間的候補予測グループから候補予測動きベクトルを誘導するために第2の空間的候補予測グループにスケーリング動きベクトル(第3の動きベクトル又は第4の動きベクトル)が存在するかどうかを判断することができる(ステップS730)。
ステップS720を介した判断結果、非スケーリング動きベクトルが存在しない場合、スケーリング動きベクトル(第3の動きベクトル又は第4の動きベクトル)を候補予測動きベクトルとして選択することができる。
ステップS730ではステップS630のように多様な方法により第2の空間的候補予測グループで第3の動きベクトル又は第4の動きベクトルが存在するかどうかを判断することができ、ステップS730ではステップS630と違ってスケーリングを実行した後に算出された第3の動きベクトル及び第4の動きベクトルを候補予測動きベクトルとして使用することができる。
第2の空間的候補予測グループから算出された第3の動きベクトル及び第4の動きベクトルに対してスケーリングを実行するかどうかは、第1の空間的候補予測グループから候補予測動きベクトルを算出するためにスケーリングを実行したかどうかと関係なしに独立的にスケーリングを実行することができる。
時間的候補予測ブロック(Colocatedブロック)で候補予測動きベクトルが存在するかどうかを判断する(ステップS740)。
時間的候補予測ブロックで候補予測動きベクトルが存在するかどうかを判断するステップS740は、前述した第1の空間的候補予測グループから候補予測動きベクトルを算出するステップS700又はS710と第2の空間的候補予測グループから候補予測動きベクトルを算出するステップS720又はS730と並列的に実行されることができる。
時間的候補予測ブロックは、前述したように、第1のColocatedブロックと第2のColocatedブロックのように複数の候補予測ブロックに分けられることができ、もし、時間的候補予測ブロックから一つの時間的候補予測動きベクトルが算出される場合、第1のColocatedブロックの可用性可否を判断した後、第1のColocatedブロックが可用しない場合、第2のColocatedブロックがColocatedブロックとして選択されることができる。
本発明の実施例によると、時間的候補予測ブロックから算出された候補予測動きベクトルに対しても第1の空間的候補予測グループから算出された候補予測動きベクトル及び第2の空間的候補予測グループから算出された候補予測動きベクトルのスケーリング可否を判断せずに独立的にスケーリングを実行することができる。また、他の方法により時間的候補予測ブロック(Colocatedブロック)に対してスケーリングを実行しない。例えば、計算複雑度を減少させる具現が必要な場合、スケーリングを実行しない、又はフラグ情報を介してColocatedブロックの動きベクトルに対して適応的にスケーリングを実行しないように設定する方法を介して時間的候補予測ブロックに対するスケーリングを実行しない。前記の過程を介して第1の空間的候補予測グループ、第2の空間的候補予測グループ又は時間的候補予測ブロックから算出されることができる動きベクトルが存在する場合、可用性情報フラグ(availableFlagLXY又はavailableFlagCol)を利用して可用な候補予測動きベクトルが存在することを表示することができる。
図6と同様に、前述したように、候補予測動きベクトルを算出するにあたって、前述したように、第1の空間的候補予測グループに含まれているブロックの個数及び位置、第2の空間的候補予測グループに含まれているブロックの個数及び位置、時間的候補予測ブロックの個数及び位置は、任意であり、第1の空間的候補予測グループ及び第2の空間的候補予測グループに含まれるブロックの個数及び位置は、変わることができ、このような実施例も本発明の権利範囲に含まれる。
図7のように第1の空間的候補予測グループ及び第2の空間的候補予測グループの両方ともに対してスケーリングを実行することも可能であるが、本発明の実施例によると、第1の空間的候補予測グループ又は第2の空間的候補予測グループのうち少なくとも一つのグループでのみスケーリングを実行することもできる。
例えば、第1の空間的候補予測グループに対してのみスケーリングを実行することができる。第1の空間的候補予測グループに対してのみスケーリングを実行する場合、図7と類似するが、図7のステップS730において、第2の空間的候補予測グループから候補予測動きベクトルを誘導するために第2の空間的候補予測グループにスケーリング動きベクトル(第3の動きベクトル又は第4の動きベクトル)が存在するかどうかを判断した後、スケーリング動きベクトル(第3の動きベクトル又は第4の動きベクトル)に対してスケーリングを実行せずにスケーリングを実行しない第3の動きベクトル又は第4の動きベクトルを候補予測動きベクトルとして使用することができる。
同様の方法として、第2の空間的候補予測グループに対してのみスケーリングを実行することもできる。このような場合ステップS710において、第1の空間的候補予測グループから候補予測動きベクトルを誘導するために第1の空間的候補予測グループにスケーリング動きベクトル(第3の動きベクトル又は第4の動きベクトル)が存在するかどうかを判断した後、スケーリング動きベクトル(第3の動きベクトル又は第4の動きベクトル)に対してスケーリングを実行せずにスケーリングを実行しない第3の動きベクトル又は第4の動きベクトルを候補予測動きベクトルとして使用することができる。
他の方法として、スケーリング可否を示す所定のフラグ情報を利用して候補予測動きベクトルに対して1回のスケーリングのみを使用するようにすることができる。例えば、第1の空間的候補予測グループで一回のスケーリングが実行された場合、第2の空間的候補予測グループではスケーリングが実行されないようにし、第1の空間的候補予測グループでスケーリングが実行されない場合、第2の空間的候補予測グループでスケーリングを使用するようにフラグ情報を利用してスケーリング可否を表示することができる。
図8は、本発明の実施例に係る追加候補予測動きベクトルを算出する過程を示すフローチャートである。
図8では候補予測動きベクトルリストに含まれることができる候補予測動きベクトルの個数に基づいて現在候補予測動きベクトルリストに含まれている候補予測動きベクトルの個数が最大でない場合、追加の候補予測動きベクトルを候補予測動きベクトルリストに追加する方法に対して開示する。追加の候補予測動きベクトルを候補予測動きベクトルリストに追加する方法を利用して動きベクトル予測時、符号化効率を向上させることができる。
図8を参照すると、空間的候補予測グループ又は時間的候補予測ブロックから誘導された候補予測動きベクトルの個数が候補予測動きベクトルリストの大きさより小さいかどうかを判断する(ステップS800)。
誘導された候補予測動きベクトルの数と候補予測動きベクトルリストに含まれることができる候補予測動きベクトルの数が同じ場合、前記誘導された候補予測動きベクトルのみを候補予測動きベクトルリストに含ませて予測対象ブロックの候補予測動きベクトルとして使用することができる。以下、本発明の実施例では誘導された候補予測動きベクトルの数は、空間的候補予測グループ及び時間的候補予測ブロックから誘導された候補予測動きベクトルで重なる候補予測動きベクトルを除去し、残った候補予測動きベクトルの数を意味する。
誘導された候補予測動きベクトルが候補予測動きベクトルリストに含まれることができる候補予測動きベクトルの数より小さい場合、追加の候補予測動きベクトルを算出する(ステップS810)。
追加の候補予測動きベクトルを算出する方法として、スケーリングを実行する方法、オフセットを使用する方法、統計的結果を使用する方法など、多様な候補予測動きベクトル算出方法が使われることができる。以下、本発明の実施例で追加候補予測動きベクトルを算出する方法を詳細に開示する。
算出された追加の候補予測動きベクトルが候補予測動きベクトルリストに含まれている動きベクトルと重なるかどうかを判断する(ステップS820)。
算出された追加の候補予測動きベクトルが候補予測動きベクトルリストに含まれている動きベクトルと重なる場合、新たな追加候補予測動きベクトルを誘導する(ステップS810)。
算出された追加の候補予測動きベクトルが候補予測動きベクトルリストに含まれている動きベクトルと重複しない場合、算出された追加候補予測動きベクトルを候補予測動きベクトルリストに含ませる(ステップS830)。
図9は、本発明の他の実施例に係る追加候補予測動きベクトルを算出する方法を示す順序図である。
図9は、ステップS810で詳述した追加候補予測動きベクトルを誘導する方法のうちスケーリングを利用した方法を示す。
図9を参照すると、空間的候補予測ブロック900を、2個の動きベクトル(参照ピクチャリストL0に含まれているn−1ピクチャを参照する動きベクトル920及び参照ピクチャリストL1に含まれているn+1ピクチャを参照する動きベクトル940)に基づいて画面間予測を実行する予測ブロックと仮定することができる。
予測対象ブロックの候補予測動きベクトルを算出するにあたって、上端予測ブロックの動きベクトルのうち参照ピクチャリストL0のn−1ピクチャを参照する動きベクトル920は、重複性除去のために候補予測動きベクトルリストから除去され、残りの参照ピクチャリストL1のn+1ピクチャを参照する動きベクトル940のみが候補予測動きベクトルとして使われると仮定する場合、まだ追加候補予測動きベクトルとして使用しない参照ピクチャリストL1を参照する動きベクトル940をスケーリングして誘導された動きベクトルを追加候補予測動きベクトルとして使用することができる。
即ち、参照ピクチャリストL1方向のn+1ピクチャを参照する動きベクトルを、現在予測ブロックのL0リストに含まれている参照ピクチャn−1と参照ピクチャリストL1方向のn+1ピクチャとの間の距離を基準にスケーリングを実行して算出された動きベクトルを追加候補予測動きベクトルとして候補予測動きベクトルリストに含ませることができる。このような動きベクトルを反対方向スケーリング候補予測動きベクトルと定義することができる。
即ち、本発明の実施例によると、ref_list[X]、X=0又は1を参照する予測ブロックから候補予測動きベクトルが誘導された場合、ref_list[1−X]を参照する動きベクトルを、予測ブロックの参照ピクチャを基準にスケーリングして追加候補予測動きベクトルとして誘導して使用することができる。
本発明の他の実施例に係る追加候補予測動きベクトルを算出する方法としてオフセットに基づいた方法が使われることができる。
例えば、候補予測動きベクトルリスト内の候補予測動きベクトルのうち一つの候補予測動きベクトルが{mvp_x,mvp_y}の場合、動きベクトルのX成分とY成分にそれぞれのオフセットα、βを加えて追加候補予測動きベクトル{mvp_x+α,mvp_y+β}を誘導することができる。
このとき、オフセット値は、ピクチャ単位、スライス単位、LCU(largest coding unit)単位、CU単位、PU単位に送信されることができる。
オフセット値は、符号化/復号化された動きベクトル差分(MVD:motion vector difference)値に基づいて算出されることができる。特定の映像単位を基準に最も多く発生したMVD値に高い優先順位を割り当ててオフセット値として使用することができる。多発したMVD値の順に優先順位を有するリストを算出することができ、追加候補予測動きベクトルの個数が複数個の場合、リスト内で優先順位順序に候補予測動きベクトルリスト内の候補予測動きベクトルにオフセットを加えて新たな候補予測動きベクトルを誘導することができる。
本発明の他の実施例に係る追加候補予測動きベクトルを算出する方法として統計的な方法を使用することができる。
例えば、所定のスライスに含まれている予測ブロックの動きベクトルを発生頻度順序に整列し、整列された動きベクトル値のうち少なくとも一つのベクトル値を予測対象ブロックの候補予測動きベクトルとして使用することができる。このとき、複雑度を減少させるために所定の限界値を設定して発生可否及び頻度数をチェックする動きベクトル値を一定の数に制限することができる。
追加候補予測動きベクトルを算出するにあたって、統計的な方法を使用する他の実施例として既に符号化及び復号化されたスライスで最も発生頻度数が多い候補予測動きベクトル値を追加候補予測動きベクトルとして使用することができる。
このとき、符号化/復号化対象ピクチャ又はスライスで符号化/復号化されたピクチャ又はスライスの動きベクトルを参照することは、ビットストリームでエラーが発生する場合、正常に参照することができないため、発生頻度数が高い動きベクトルのうち少なくとも一つ以上をビットストリーム内の上位レベルシンタックス要素(picture parameter set、adaptive parameter set、slice header等)で符号化/復号化することができる。
図10は、本発明の実施例に係る予測動きベクトルを算出する方法を示すフローチャートである。
以下、予測動きベクトルは、候補予測動きベクトルのうち最適の動きベクトルとして選択された動きベクトルを定義する用語で使用することができる。
図10を参照すると、予測対象ブロックの予測動きベクトルが零ベクトルかどうかを判断し、シンタックス要素情報を介して入力を受けることができる。シンタックス要素情報を介して予測動きベクトルが零ベクトルという情報が送信された場合、予測対象ブロックの予測動きベクトルとして使用する候補予測動きベクトルに対して判断するための候補予測動きベクトルリスト情報及びインデックス情報を追加的に符号化及び復号化しないことによって符号化及び復号化過程の複雑度を減少させることができる。このとき、零ベクトルは、ベクトルのx成分とy成分の値の両方ともが0で構成された(0,0)ベクトルを意味する。
予測動きベクトルが零ベクトルかどうかを判断する(ステップS1000)。
所定のシンタックス要素情報を算出するために予測対象ブロックに使われる予測動きベクトルが零ベクトルかどうかを判断する。
予測動きベクトルが零ベクトルの場合、シンタックス要素である零ベクトル決定フラグ(zero_mvp_flag)を1に設定し(ステップS1010)、予測動きベクトルが零ベクトルでない場合、シンタックス要素である零ベクトル決定フラグを0に設定する(ステップS1020)。
シンタックス要素である零ベクトル決定フラグ(zero_mvp_flag)は、現在予測ブロックで使われる予測動きベクトルが零ベクトルということを表示するフラグの例示である。予測対象ブロックで使われる予測動きベクトルが零ベクトルという情報は、フラグ情報でない他の形態のシンタックス要素情報で表現されることができる。
予測動きベクトルが零ベクトルでない場合、予測動きベクトルのインデックス情報を符号化する(ステップS1030)。
予測動きベクトルが零ベクトルでない場合、図3乃至図8で詳述した方法のように候補予測動きベクトルを算出する方法を使用して算出した候補予測動きベクトルリストに基づいて候補予測動きベクトルのうち、予測動きベクトルとして使われたベクトルに対するインデックス情報を符号化することができる。
図11は、本発明の他の実施例に係る予測動きベクトルを算出する方法を示すフローチャートである。
図11では図10で詳述した予測動きベクトルの符号化方法に基づいた復号化方法に対して開示する。
図11を参照すると、零ベクトル決定フラグ情報を復号化してフラグ値が1かどうかを判断する(ステップS1100)。
前述したように、予測対象ブロックで使われる予測動きベクトルが零ベクトルという情報は、フラグ情報でない他の情報と結合されたシンタックス要素情報又は他の形態のシンタックス要素情報で表現されることができる。また、フラグ値が1かどうかを判断することは、任意であり、フラグの定義によってフラグ値が0かどうかを判断することも可能である。
零ベクトル決定フラグ情報が1の場合、予測対象ブロックの予測動きベクトルを零ベクトルに決定する(ステップS1110)。
零ベクトル決定フラグ情報が0の場合、予測対象ブロックの予測動きベクトルを算出するためにインデックス情報を復号化する(ステップS1120)。
零ベクトル決定フラグ値が0と1であることは、予測対象ブロックの予測動きベクトルを零ベクトルかどうかを示すために任意に設定された値である。
零ベクトル決定フラグ情報が0の場合、予測対象ブロックの予測動きベクトルを算出するために予測動きベクトルのインデックス情報を復号化することができる。
復号化されたインデックス情報に基づいて現在予測ブロックの予測動きベクトルを決定する。
表1は、零ベクトル決定フラグが含まれているシンタックス構造を示す。
Figure 0006855413
表1を参照すると、零ベクトル決定フラグが1かどうかによって候補予測動きベクトルのインデックス情報を復号化する過程を実行することで、復号化過程で不必要に候補予測動きベクトルと候補予測動きベクトルリストを算出する過程が選択的に実行されない。
図12は、本発明の実施例に係る予測動きベクトル算出方法を示すフローチャートである。
図12を参照すると、候補予測動きベクトルリストを算出する(ステップS1200)。
例えば、候補予測動きベクトルリストを算出するためには、前述した方法のように、第1の空間的候補予測グループ、第2の空間的候補予測グループ、時間的候補予測ブロックから候補予測動きベクトルを算出し、各々一つの候補予測動きベクトルが算出されると仮定すると、算出された候補予測動きベクトルは、候補予測動きベクトルリストに含まれて予測対象ブロックの予測動きベクトルを算出するために使われることができる。もし、候補予測動きベクトルリストに一定の個数の候補予測動きベクトルのみを含む場合、候補予測動きベクトルリストに一定の個数の候補予測動きベクトルが存在しないと、追加の候補予測動きベクトル(例えば、零ベクトル、スケーリングベクトル等)を候補予測動きベクトルリストに含ませることができる。第1の空間的候補予測グループ、第2の空間的候補予測グループ、時間的候補予測ブロックから算出された候補予測動きベクトルが候補予測動きベクトルリストに含まれることができる候補予測動きベクトルの個数より大きい数が存在する場合、算出された候補予測動きベクトルのうち一部を除去して使用することもできる。
予測ブロックの予測動きベクトルを候補予測動きベクトルリストから誘導する(ステップS1210)。
本発明の実施例に係る予測動きベクトル算出方法では、候補予測動きベクトルに対するインデックス情報を使用せずに候補予測動きベクトルリスト自体で予測動きベクトルを決定することができる。符号化器で候補予測動きベクトルに対するインデックス情報を復号化器に送信する必要がないため、インデックス情報の符号化に必要なビットを節約することができて符号化効率が向上することができる。
例えば、候補予測動きベクトルリスト自体で予測動きベクトルを決定するために候補予測動きベクトルリスト大きさによって各々異なる方法を使用することができる。候補予測動きベクトルリストの大きさは、候補予測動きベクトルリストに含まれることができる候補予測動きベクトルの最大個数を意味する。
候補予測動きベクトルリスト大きさが0の場合、零ベクトルを予測ブロックの予測動きベクトルとして使用し、予測動きベクトルを決定するためのインデックス情報は、追加に復号化しない。
候補予測動きベクトルリストの大きさが1の場合、候補予測動きベクトルリストに存在する候補予測動きベクトルが1個であるため、リストに存在する候補予測動きベクトルを予測ブロックの予測動きベクトルとして使用することができる。候補予測動きベクトルリスト大きさが0の場合と同様に、予測動きベクトルを決定するためのインデックス情報は、追加に復号化しない。
候補予測動きベクトルリストの大きさが2の場合、候補予測動きベクトルリストに含まれている候補予測動きベクトルのうち符号化/復号化対象スライス内で発生頻度数がより多い候補予測動きベクトルを、予測対象ブロックを復号化するための予測動きベクトルとして誘導することができる。複数の候補予測動きベクトルを誘導する場合、発生頻度順序に候補予測動きベクトルを整列した後、高い発生頻度の候補予測動きベクトルを予測ブロックの予測動きベクトルとして誘導することができる。このとき、候補予測動きベクトル発生頻度数計算の複雑度を減少するために、N個の候補予測動きベクトルに対してのみ発生頻度数を計算することができる(Nは、自然数)。
候補予測動きベクトルリストの大きさが2の場合、予測動きベクトルを算出する他の実施例として以下の数式1と数式2を利用して各候補予測動きベクトルのx方向及びy方向の絶対値大きさの和を比較し、絶対値の和が小さい候補予測動きベクトルを予測ブロックの予測動きベクトルとして使用することができる。
Figure 0006855413
Figure 0006855413
候補予測動きベクトルリストの大きさが2の場合、予測動きベクトルを算出する他の実施例として以下の数式3を使用することができる。
Figure 0006855413
数式3を参照すると、予測動きベクトルの各成分を抽出するために、予測動きベクトルのx方向成分を二つの候補予測動きベクトルのx方向成分の平均値として使用し、予測動きベクトルのy方向成分を二つの候補予測動きベクトルのy方向成分の平均値として使用することができる。
候補予測動きベクトルリストの大きさが2の場合、予測動きベクトルを算出する他の実施例として以下の数式4を使用することができる。
Figure 0006855413
数式4を参照すると、予測動きベクトルの各成分を抽出するために、予測動きベクトルのx方向成分を二つの候補予測動きベクトルのx方向成分と零ベクトルの中間値(Median Value)として使用し、予測動きベクトルのy方向成分を二つの候補予測動きベクトルのy方向成分と零ベクトルの中間値として使用することができる。
候補予測動きベクトルリストの大きさが2の場合、予測動きベクトルを算出する他の実施例として以下の数式5を使用することができる。
Figure 0006855413
数式5を参照すると、動きベクトルの各成分を抽出するために、予測動きベクトルのx方向成分を二つの候補予測動きベクトルのx方向成分と零ベクトルの平均値として使用し、予測動きベクトルのy方向成分を二つの候補予測動きベクトルのy方向成分と零ベクトルの平均値として使用することができる。
候補予測動きベクトルリストの大きさが2の場合、予測動きベクトルを算出する他の実施例では、前述した統計的方法で使用する発生頻度数を計算するにあたって、使われるN個の動きベクトルと頻度数計算の対象となる候補予測動きベクトルリスト内の2個の候補予測動きベクトルが異なる場合、インデックス情報に基づいて発生頻度が高いインデックス情報を予測ブロックの予測動きベクトルとして使用することができる。例えば、以前の候補予測動きベクトルリストでインデックス(Index)0に存在する候補予測動きベクトルが予測動きベクトルとして使われた場合、インデックス0値に存在する候補予測動きベクトルを予測動きベクトルとして使用することができる。
候補予測動きベクトルリストの大きさが3の場合、候補予測動きベクトルリストに存在する候補予測動きベクトルが3個であるため、このうち一つの候補予測動きベクトルを予測動きベクトルに決定することができる。
以下の数式6は、予測動きベクトルを決定する方法を示す。
Figure 0006855413
数式6を参照すると、予測動きベクトルを算出するために、3個の候補予測動きベクトルのx方向成分のうち中間値に該当する候補予測動きベクトルと3個の候補予測動きベクトルのy方向成分のうち中間値に該当する候補予測動きベクトルに基づいて予測対象ブロックの予測動きベクトルを算出することができる。
候補予測動きベクトルリストの大きさが3の場合、予測動きベクトルを算出する他の実施例として以下の数式7を使用することができる。
Figure 0006855413
数式7を参照すると、予測動きベクトルを算出するために、3個の候補予測動きベクトルのx方向成分の平均値に該当する候補予測動きベクトルと3個の候補予測動きベクトルのy方向成分の平均値に該当する候補予測動きベクトルに基づいて予測対象ブロックの予測動きベクトルを算出することができる。
候補予測動きベクトルリストに候補予測動きベクトルが3個存在する場合も、候補予測動きリストから一つの予測動きベクトルを算出するにあたって、インデックス情報を使用しない。
図13は、本発明の他の実施例に係る予測動きベクトル算出方法を示すフローチャートである。
候補予測動きベクトルリストに含まれることができる最大候補予測動きベクトルの個数がN個であり、ます、空間的候補予測グループから空間的候補予測動きベクトルが誘導され、その後、時間的候補予測ブロックから時間的候補予測動きベクトルが誘導される場合を仮定することができる。本発明の実施例によると、空間的候補予測グループから誘導された候補予測動きベクトルの個数がN個であり、候補予測動きベクトルリストに含まれることができる候補予測動きベクトルの大きさと同じ場合、時間的候補予測グループから候補予測動きベクトルが誘導されるステップ及び追加的に候補予測動きベクトルを誘導するステップを実行しない。
即ち、本発明の実施例によると、候補予測動きベクトルリストに必要な動きベクトルが既に算出された場合、不必要な候補予測動きベクトル誘導ステップを実行しないことで、符号化及び復号化ステップで複雑度を減少させることができる。
図13を参照すると、候補予測動きベクトルリストに含まれることができる候補予測動きベクトルの個数が算出された空間的候補予測動きベクトルの個数より大きいかどうかを確認する(ステップS1300)。
候補予測動きベクトルリストに含まれることができる候補予測動きベクトルの個数は制限されることができる。例えば、N個の予測動きベクトルが候補予測動きベクトルリストに含まれることができると仮定すると、空間的候補予測グループから算出された空間的候補予測動きベクトルがN個より小さい場合、時間的候補予測ブロックから時間的予測動きベクトルを算出し、又は追加予測動きベクトルを算出することができる。一方、N個の予測動きベクトルが候補予測動きベクトルリストに含まれることができると仮定すると、空間的候補予測グループから算出された空間的候補予測動きベクトルがN個より大きい又は同じ場合、時間的候補予測ブロックから時間的予測動きベクトルを算出し、又は追加予測動きベクトルを算出しなくても候補予測動きベクトルリストを算出することができる(ステップS1320)。
空間的候補予測グループから算出された空間的候補予測動きベクトルがN個より小さい場合、時間的候補予測動きベクトル又は追加予測動きベクトルを算出する(ステップS1310)。このとき、追加予測動きベクトルは、零ベクトルである。
候補予測動きベクトルリストに含まれることができる候補予測動きベクトルの個数が算出された空間的候補予測動きベクトルの個数より大きいかどうかを確認するステップを介して候補予測動きベクトルリストに含まれることができる候補予測動きベクトルの個数が算出された空間的候補予測動きベクトルの個数より大きい場合、時間的予測動きベクトル又は追加予測動きベクトルを算出するステップS1310を介して算出された候補予測動きベクトルを候補予測動きベクトルリストに含ませることができる。
算出された空間的候補予測動きベクトル、時間的候補予測動きベクトル又は追加予測動きベクトルを利用して候補予測動きベクトルリストを算出する(ステップS1320)。
図14は、本発明の実施例に係る候補予測動きベクトルを算出する方法を示すフローチャートである。
図14を参照すると、空間的候補予測動きベクトルを算出する(ステップS1400)。
予測対象ブロックの空間的な周辺に位置した符号化/復号化されたブロック(又は周辺予測ブロック)から複数個の空間的候補予測動きベクトル関連情報を誘導することができる。空間的候補予測動きベクトル関連情報は、空間的候補予測動きベクトル可用性情報(availableFlagLXN)及び空間的候補予測動きベクトル(mvLXN)のうち少なくとも一つを含む情報を示すことができる。即ち、空間的候補予測動きベクトル可用性情報及び空間的候補予測動きベクトルの両方ともを含む情報の単位を空間的候補予測動きベクトル関連情報といい、又は空間的候補予測動きベクトル又は空間的候補予測動きベクトル可用性情報のうち一つを空間的候補予測動きベクトル関連情報ということができる。
例えば、図3のように予測対象ブロックXの上端に隣接したブロックであるB1、予測対象ブロックの左側に隣接したブロックであるA1、予測対象ブロックの右側上端コーナに位置したブロックであるB0、予測対象ブロックの左側上端コーナに位置したブロックであるB2、予測対象ブロックの左側下端コーナに位置したブロックであるA0に該当するブロックから空間的候補予測動きベクトルを誘導し、予測対象ブロックに対する空間的候補予測動きベクトルとして決定することができる。ブロックA0、A1、B0、B1及びB2ブロック(以下、空間的候補予測ブロックという)で符号化/復号化対象ブロックに対する空間的候補予測動きベクトルは、最大2個が算出されることができる。以下、A0、A1、B0、B1及びB2ブロックを空間的候補予測ブロックといい、A0、A1ブロックを第1の空間的候補予測ブロックグループ、B0、B1及びB2ブロックを第2の空間的候補予測グループに分類することができる。
このような空間的候補予測グループは、一つの例示に過ぎず、他の位置のブロックで空間的候補予測グループを生成することができ、このような実施例も本発明の権利範囲に含まれる。以下、本発明の実施例では、説明の便宜上、前述した位置に存在するブロックで構成された空間的候補予測ブロックグループを仮定して説明する。
このとき、空間的候補予測ブロックから空間的候補予測動きベクトルが誘導された場合、availableFlagLXYを1に設定し、そうでない場合、0に設定する。そして、availableFlagLXYにおけるLXは、参照映像リストL0とL1のうち、予測対象ブロックが参照する参照映像リストに対して示し、LXは、L0又はL1に代替されることができる。また、availableFlagLXYにおけるYは、空間的候補予測動きベクトルが誘導された位置を示し、図2のように、A0又はA1位置のブロックから空間的候補予測動きベクトルが誘導された場合、YはAとなり、B0、B1、又はB2位置のブロックから空間的候補予測動きベクトルが誘導された場合、YはBとなることができる。このとき、参照映像リスト(Reference Picture List)は、画面間予測又は動き補償に使われる参照映像が含まれているリストを意味する。参照映像リストの種類は、LC(List Combined)、L0(List0)、L1(List1)などがある。そして、参照映像(Reference Picture)は、画面間予測又は動き補償のために特定ブロックが参照する映像を意味する。
例えば、A0又はA1位置のブロックから一つの空間的候補予測動きベクトルが誘導することができ、B0、B1、又はB2位置のブロックから一つの空間的候補予測動きベクトルが誘導することができる。このとき、予測対象ブロックが参照映像リストL0を参照し、A0位置のブロックから一つの空間的候補予測動きベクトルが誘導され、B1位置のブロックから一つの空間的候補予測動きベクトルが誘導された場合、availableFlagL0Aは1に設定し、availableFlagL0Bも1に設定する。即ち、availableFlagLXYは、予測対象ブロックが参照映像リストLXを参照する場合、所定の位置のブロックから誘導された空間的候補予測動きベクトルが存在するかを示す。
また、前述した図4を参照すると、誘導されることができる空間的候補予測動きベクトルは、下記のように4個の動きベクトルに分類することができる。
(1)第1の動きベクトル:所定の位置にブロックが存在し、該当ブロックが画面内符号化されず、該当ブロックの参照映像リスト及び参照映像と符号化/復号化対象ブロックの参照映像リスト及び参照映像とが同じ場合、該当ブロックから誘導される候補予測動きベクトル。
(2)第2の動きベクトル:所定の位置にブロックが存在し、該当ブロックが画面内符号化されず、該当ブロックの参照映像リストと符号化/復号化対象ブロックの参照映像リストが異なるが、該当ブロックと符号化/復号化対象ブロックが互いに同じ参照映像を参照する場合、該当ブロックから誘導される候補予測動きベクトル。
(3)第3の動きベクトル:所定の位置にブロックが存在し、該当ブロックが画面内符号化されず、該当ブロックの参照映像リストと符号化/復号化対象ブロックの参照映像リストが同じであるが、該当ブロックの参照映像と符号化/復号化対象ブロックの参照映像が異なる場合、該当ブロックの動きベクトルにスケーリングを実行して算出された候補予測動きベクトル。
(4)第4の動きベクトル:所定の位置にブロックが存在し、該当ブロックが画面内符号化されず、該当ブロックの参照映像リスト及び参照映像と、符号化/復号化対象ブロックの参照映像リスト及び参照映像とが異なる場合、該当ブロックの動きベクトルにスケーリングを実行して算出された候補予測動きベクトル。
前記のように分類された4個の空間的候補予測動きベクトルが空間的候補予測ブロックに存在するかどうかを下記の順序によって探索することができる。
(1)第1の空間的候補予測ブロックグループ
1)A0ブロックに第1の動きベクトル又は第2の動きベクトルが存在するかどうかを判断。
2)A1ブロックに第1の動きベクトル又は第2の動きベクトルが存在するかどうかを判断。
3)A0ブロックに第3の動きベクトル又は第4の動きベクトルが存在するかどうかを判断。
4)A1ブロックに第3の動きベクトル又は第4の動きベクトルが存在するかどうかを判断。
前記の1)〜4)を順次に実行して該当ブロックに条件を満たす空間的候補予測動きベクトルが存在するかどうかを判断することができ、条件を満たす空間的候補予測動きベクトルが存在する場合、該当存在する動きベクトルを誘導し、次の手順は実行されない。例えば、1)を満たす空間的候補予測動きベクトルが存在する場合、2)乃至4)手順は実行されない。
3)及び4)を介して条件を満たす空間的候補予測動きベクトルが第3の動きベクトル又は第4の動きベクトルの場合、スケーリングを介して空間的候補予測動きベクトルを算出することができ、このような場合、スケーリング実行可否を表示するフラグ情報を使用してスケーリングが使われたことを示すことができる。または、ブロックA0が可用であり、ブロックA0が画面内予測モードを使用しない場合、又はブロックA1が可用であり、ブロックA1が画面内予測モードを使用しない場合は、スケーリング可否表示フラグを1に設定し、A0ブロック及びA1ブロックが可用しない、又は画面内予測を使用する場合のように第1の空間的候補予測ブロックグループから空間的候補予測動きベクトルを算出することができない場合、スケーリング可否表示フラグを0に設定し、第2の空間的候補予測ブロックグループから2個の空間的候補予測動きベクトルを算出することも可能である。以下、本発明の実施例では、説明の便宜上、第1の空間的候補予測グループから第1の空間的候補予測動きベクトルが算出され、第2の空間的候補予測グループから第2の空間的候補予測動きベクトルが算出される場合を仮定して説明する。
以下、第2の空間的候補予測ブロックグループから空間的候補予測動きベクトルを算出する順序を示す。
(2)第2の空間的候補予測ブロックグループ
1)B0ブロックに第1の動きベクトル又は第2の動きベクトルが存在するかどうかを判断。
2)B1ブロックに第1の動きベクトル又は第2の動きベクトルが存在するかどうかを判断。
3)B2ブロックに第1の動きベクトル又は第2の動きベクトルが存在するかどうかを判断。
4)B0ブロックに第3の動きベクトル又は第4の動きベクトルが存在するかどうかを判断。
5)B1ブロックに第3の動きベクトル又は第4の動きベクトルが存在するかどうかを判断。
6)B2ブロックに第3の動きベクトル又は第4の動きベクトルが存在するかどうかを判断。
第1の空間的候補予測動きベクトルを算出する時と同様に、前記の1)から6)を順次に実行して該当ブロックに条件を満たす空間的候補予測動きベクトルが存在するかどうかを判断することができ、条件を満たす空間的候補予測動きベクトルが存在する場合、該当存在する動きベクトルを誘導し、次の手順は実行されない。
また、空間的候補予測動きベクトルは、最大N個まで誘導することができる。このとき、Nは正の定数であり、一例として、Nは2である。
誘導された2個の空間的候補予測動きベクトルが互いに異なるかどうかを判断する(ステップS1410)。
本発明の実施例によると、空間的候補予測動きベクトル関連情報に基づいて時間的候補予測動きベクトル関連情報(例えば、時間的候補予測動きベクトル可用性情報及び時間的候補予測動きベクトルのうち少なくとも一つ)を決定することができる。即ち、ステップS1400において、誘導された空間的候補予測動きベクトル関連情報に基づいて時間的候補予測動きベクトルを誘導すするかどうかを決定することができる。
誘導された2個の空間的候補予測動きベクトルが互いに異なるかどうかを判断するために2個の空間的候補予測動きベクトルを誘導することができるかどうかを判断し、2個の空間的候補予測動きベクトルが誘導された場合、誘導された空間的候補予測動きベクトルが互いに異なるかどうかを判断するためにavailableFlagLXAとavailableFlagLXBの両方ともが1であり、mvLXAとmvLXBが異なるかどうかを判断する。availableFlagLXAは、第1の空間的候補予測グループから第1の空間的候補予測動きベクトルが算出可能かどうかを示すフラグであり、availableFlagLXBは、第2の空間的候補予測グループから第2の空間的候補予測動きベクトルが算出可能かどうかを示すフラグである。例えば、第1の空間的候補予測グループから第1の空間的候補予測動きベクトルが算出可能な場合、availableFlagLXAは、1に設定されることができる。mvLXAは、第1の空間的候補予測動きベクトルとしてavailableFlagLXAが可用な場合に算出されることができ、mvLXBは、第2の空間的候補予測動きベクトルとしてavailableFlagLXBが可用な場合に算出されることができる。
以下、本発明の実施例ではavailableFlagLXAを第1の空間的候補予測動きベクトル可用性情報と定義し、availableFlagLXBを第2の空間的候補予測動きベクトル可用性情報と定義して使用することができる。また、mvLXAは第1の空間的候補予測動きベクトルと定義し、mvLXBは第2の空間的候補予測動きベクトルと定義することができる。
availableFlagLXAとavailableFlagLXBの両方ともが1であり、mvLXAとmvLXBが異なり、候補予測動きベクトルリストに含まれることができる最大の候補予測動きベクトルリストが2個と仮定すると、空間的候補予測動きベクトルで候補予測動きベクトルリストを構成することができるため、追加的な候補予測動きベクトルの誘導が必要でなくて、Colocatedブロック(時間的候補予測ブロック)から誘導される候補予測動きベクトルである時間的候補予測動きベクトルを誘導する必要がない。したがって、時間的候補予測動きベクトルが可用するかどうかを表示するフラグ情報であるavailableFlagLXColを0に設定し、以下説明するステップS1430のように誘導された空間的候補予測動きベクトルのみで候補予測動きベクトルリストを算出する。即ち、前記時間的候補予測動きベクトルを誘導しないため、候補予測動きベクトル誘導過程の複雑度を減少させることができる。
即ち、空間的候補予測動きベクトル関連情報に基づいて時間的候補予測動きベクトル関連情報を決定することができる。
availableFlagLXAとavailableFlagLXBの両方ともが1の場合、選択的にmvLXAとmvLXBが異なるどうかを判断することも可能である。例えば、二つの判断条件を使用して1)availableFlagLXAとavailableFlagLXBの両方ともが1かどうかを判断するステップと、2)availableFlagLXAとavailableFlagLXBの両方ともが1の場合、mvLXAとmvLXBが異なるかどうかを判断するステップと、を実行することができる。
空間的候補予測動きベクトルが2個誘導されない、又は誘導された2個の空間的候補予測動きベクトルが互いに同じ場合、Colocatedブロックから時間的候補予測動きベクトルを算出する(ステップS1420)。
即ち、ステップS1420では空間的候補予測動きベクトル関連情報に基づいて時間的候補予測動きベクトル関連情報を決定することができる。
availableFlagLXAとavailableFlagLXBの両方ともが1でない、又はmvLXAとmvLXBが同じ場合、Colocatedブロックから時間的候補予測動きベクトルを算出する。
候補予測動きベクトルリストに2個の候補予測動きベクトルが含まれなければならないと仮定すると、availableFlagLXAとavailableFlagLXBの両方ともが1でない、又はmvLXAとmvLXBが同じ場合、候補予測動きベクトルリストに2個の候補予測動きベクトルが含まれないため、Colocatedブロックから時間的候補予測動きベクトルを算出しなければならない。
以下の表2及び表3は、空間的候補予測動きベクトルが誘導された結果によって時間的候補予測動きベクトルの誘導過程実行可否を示す。
Figure 0006855413
Figure 0006855413
表2及び表3を参照すると、空間的候補予測動きベクトルを算出した場合、空間的候補予測動きベクトルが可用するかどうかを示すavailableFlagLXYと誘導された空間的候補予測動きベクトルの同一性可否によって、時間的候補予測動きベクトル誘導過程は四つに分けられることができる。以下、空間的候補予測動きベクトルのavailableFlagLXYによる四つに対して時間的候補予測動きベクトル誘導に対して説明する。
(1)1個の空間的候補予測動きベクトルが誘導される場合であり、availableFlagLXAは1であり、availableFlagLXBは0の場合、又はavailableFlagLXAは0でありavailableFlagLXBは1の場合である。1の場合は一つの空間的候補予測動きベクトルのみ誘導されるため、空間的候補予測動きベクトルの同一性を判断することができない。候補予測動きベクトルリストに含まれることができる候補予測動きベクトルの数が2個の場合、追加の候補予測動きベクトルを算出するために時間的候補予測動きベクトルを誘導するステップを実行する。そして、時間的候補予測動きベクトルが誘導されると、availableFlagLXColを1に設定し、そうでない場合、availableFlagLXColを0に設定する。
(2)2個の空間的候補予測動きベクトルが誘導される場合であり、availableFlagLXA及びavailableFlagLXBが1の場合である。誘導された空間的候補予測動きベクトルが同じ値を有すると、同じ空間的候補予測動きベクトルのうち一つの候補予測動きベクトルは除去される。残った候補予測動きベクトルが一個であるため、候補予測動きベクトルリストに含まれることができる候補予測動きベクトルの数が2個である場合、追加の候補予測動きベクトルを算出するために時間的候補予測動きベクトルを誘導するステップを実行する。時間的候補予測動きベクトルが誘導される場合、availableFlagLXColを1に設定し、時間的候補予測動きベクトルが誘導されない場合、availableFlagLXColを0に設定することができる。
(3)2個の空間的候補予測動きベクトルが誘導される場合であり、availableFlagLXA及びavailableFlagLXBが1の場合である。誘導された空間的候補予測動きベクトルの値が異なると、候補予測動きベクトルリストに含まれることができる候補予測動きベクトルの数が2個である場合、追加の候補予測動きベクトルを算出するために時間的候補予測動きベクトルを誘導するステップを実行する必要がなく、時間的候補予測動きベクトルの可用性を示すavailableFlagLXColを0に設定する。このとき、時間的候補予測動きベクトルの可用性情報であるavailableFlagLXColが所定の値である0の場合、時間的候補予測動きベクトルが誘導されない、又は時間的候補予測動きベクトルが可用しないということを意味する。
(4)2個の空間的候補予測動きベクトルが誘導されない場合であり、availableFlagLXA及びavailableFlagLXBが0の場合である。このような場合、時間的候補予測動きベクトル誘導過程を実行して時間的候補予測動きベクトルを算出することができる。
即ち、候補予測動きベクトルリストに入ることができる候補予測動きベクトルの最大個数が2個であり、空間的候補予測動きベクトル可用性情報(availableFlagLXA、availableFlagLXB)の両方ともが1であり、算出された2個の空間的候補予測動きベクトルが異なる場合、時間的候補予測動きベクトルを算出しない。
前述した本発明の実施例では空間的候補予測動きベクトル関連情報として空間的候補予測動きベクトル可用性情報及び空間的候補予測動きベクトルの両方ともを使用して時間的候補予測動きベクトル関連情報を誘導する方法に対して開示したが、空間的候補予測動きベクトル可用性情報及び空間的候補予測動きベクトルのうち少なくとも一つの情報に基づいて空間的候補予測動き関連情報として時間的候補予測動きベクトル関連情報を誘導するために使用することもできる。
例えば、空間的候補予測動きベクトルを誘導し、誘導された2個の空間的候補予測動きベクトルが互いに異なる値を有する場合、空間的候補予測動きベクトル可用性情報が有する値に対して判断せずに時間的候補予測動きベクトル関連情報を誘導することができる。
以下、時間的候補予測動きベクトルを算出する方法に対して開示する。
図15は、本発明の実施例に係る時間的候補予測動きベクトルを算出する方法を示すための概念図である。
図15を参照すると、予測対象ブロック1500のColocatedピクチャに存在するColocatedブロック1520から時間的候補予測動きベクトルを算出することができる。
予測対象ブロックの左側上端に位置した点が(xP,yP)、予測対象ブロックの広さ値をnPSW、予測対象ブロックの高さ値をnPSHとする場合、第1のColocatedブロック1540はColocatedピクチャに位置した点(xP+nPSW,yP+nPSH)を含むブロックになり、第2のColocatedブロック1560はColocatedピクチャに位置した点(xP+(nPSW>>1),yP+(nPSH>>1))を含むブロックになることができる。第1のColocatedブロックから時間的候補予測動きベクトルが誘導されない場合(例えば、第1のColocatedブロックが画面内予測符号化された場合)、第2のColocatedブロックから時間的候補予測動きベクトルが誘導されることができる。算出される時間的候補予測動きベクトルの個数は制限されることができる。例えば、最大1個の時間的候補予測動きベクトルのみが算出されるようにする場合、第1のColocatedブロックから時間的候補予測動きベクトルが算出されると、第2のColocatedブロックでは時間的候補予測動きベクトルを算出しない。時間的候補予測動きベクトルの場合、予測対象ブロックが含まれているピクチャと予測対象ブロックの参照ピクチャとの間の距離と、Colocatedブロックが含まれているピクチャとColocatedブロックの参照ピクチャとの間の距離と、の関係に基づいて時間的候補予測動きベクトル値をスケーリングして使用することができる。
時間的候補予測動きベクトルが誘導されたかどうかによってavailableFlagLXColの値が決定される。availableFlagLXColにおけるLXは、参照映像リストL0とL1のうち、符号化/復号化対象ブロックが参照する参照映像リストに対して示し、LXは、L0又はL1に代替されることができる。時間的候補予測動きベクトルが誘導された場合、availableFlagLXColを1に設定し、時間的候補予測動きベクトルが誘導されない場合、availableFlagLXColを0に設定することができる。
例えば、符号化/復号化対象ブロックが参照映像リストL0を参照し、図15のH位置ブロックから時間的候補予測動きベクトルが誘導された場合、availableFlagL0Colを1に設定し、時間的候補予測動きベクトルが誘導されない場合、availableFlagL0Colを0に設定する。
誘導された候補予測動きベクトルを候補予測動きベクトルリストに追加する(ステップS1430)。
誘導された空間的候補予測動きベクトル及び時間的候補予測動きベクトルを、誘導された順序通りに候補予測動きベクトルリストに追加する。例えば、候補予測動きベクトルリストは、availableFlagLXA、availableFlagLXB、そして、availableFlagLXColの値によって候補予測動きベクトルを候補予測動きベクトルリストに追加することができる。例えば、availableFlagLXAは1であり、availableFlagLXBは0であり、そして、availableFlagLXColは1の場合、一つの空間的候補予測動きベクトルmvLXAと一つの時間的候補予測動きベクトルmvLXColを候補予測動きベクトルリストに追加する。他の例として、availableFlagLXAは1であり、availableFlagLXBは1であり、そして、availableFlagLXColは0の場合、2個の空間的候補予測動きベクトルmvLXAとmvLXBを候補予測動きベクトルリストに追加する。
他の実施例として、空間的候補予測動きベクトル可用性情報又は時間的候補予測動きベクトル可用性情報に対して判断せずに空間的候補予測動きベクトル又は時間的候補予測動きベクトルが誘導される場合、直接候補予測動きベクトルリストに追加することも可能である。
候補予測動きベクトルリストの大きさは、所定の大きさに制限されることができる。例えば、所定の大きさは3であり、候補予測動きベクトルリストに最初に追加された候補予測動きベクトルはインデックス値0を有し、最後に追加された候補予測動きベクトルはインデックス値2を有することができる。
即ち、候補予測動きベクトルリストに含まれている候補予測動きベクトルの個数が候補予測動きベクトルリストに含まれることができる候補予測動きベクトルの最大個数である最大候補予測動きベクトル数より小さいかどうかを判断することができる。判断結果に基づいて前記候補予測動きベクトルリストに候補予測動きベクトルを追加又は除去することができる。
例えば、候補予測動きベクトルリストに含まれている前記候補予測動きベクトルの個数が前記最大候補予測動きベクトル数より小さい場合、前記候補予測動きベクトルリストに零ベクトルを追加することができる。また、候補予測動きベクトルリストに含まれている前記候補予測動きベクトルの個数が前記最大候補予測動きベクトル数より大きい又は同じ場合、前記候補予測動きベクトルが前記最大候補予測動きベクトル数ほど前記候補予測動きベクトルリストに含まれるように前記候補予測動きベクトルのうち一部の候補予測動きベクトルを前記候補予測動きベクトルリストから除去することができる。
図16は、本発明の実施例に係る候補予測動きベクトルリストを算出する方法を示す概念図である。
図16を参照すると、A1ブロックからスケーリングされない空間的候補予測動きベクトル(1,0)が誘導され、B1ブロックからスケーリングされた空間的候補予測動きベクトル(−2,0)が誘導され、Hブロックからスケーリングされた時間的候補予測動きベクトル(4,1)が誘導された場合、誘導された候補予測動きベクトルは、誘導された順序通りに右側の表のように候補予測動きベクトルリストに追加される。このとき、A1位置のブロックから誘導された候補予測動きベクトルインデックス値は0であり、B1の位置のブロックから誘導された候補予測動きベクトルインデックス値は1であり、Hの位置のブロックから誘導された候補予測動きベクトルインデックス値は2である。
もし、表3の3番の場合のように、候補予測動きベクトルリストの大きさが2であり、誘導された空間的候補予測動きベクトルが2個であり、空間的候補予測動きベクトル2個が互いに異なる場合、候補予測動きベクトルリストの大きさが2であるため、時間的候補予測動きベクトルを別に誘導する必要無しに誘導された空間的候補予測動きベクトルに順次にインデックスを付与して候補予測動きベクトルリストを構成することができる。
同じ候補予測動きベクトルを除去して候補予測動きベクトルリストを再構成する(ステップS1440)。
候補予測動きベクトルリストに含まれている空間的候補予測動きベクトルと時間的候補予測動きベクトルのうち同じ候補予測動きベクトルが存在するかどうかを判断し、同じ候補予測動きベクトルが存在する場合、同じ候補予測動きベクトルのうち一つを除去することで、候補予測動きベクトルリストを再構成する。
例えば、候補予測動きベクトルリストを構成する第1の空間的候補予測動きベクトルと第2の空間的候補予測動きベクトルが同じ場合、第2の空間的候補予測動きベクトルを候補予測動きベクトルリストから除去することができる。
図17は、本発明の実施例に係る候補予測動きベクトルリストから同じ候補予測動きベクトルを除去することを示す概念図である。
図17を参照すると、候補予測動きベクトルリストに含まれているインデックス0及びインデックス1の候補予測動きベクトルが同じベクトルの場合、このうち小さいインデックス値を有する候補予測動きベクトルのみを残し、残りの同じ値を有する候補予測動きベクトルを除去することができる。除去された候補予測動きベクトルのインデックス値より大きいインデックス値を有する候補予測動きベクトルのインデックス値を、除去された候補予測動きベクトルの個数ほど変化させる。
候補予測動きベクトルを追加及び除去して候補予測動きベクトルリストの大きさを調整する(ステップS1450)。
候補予測動きベクトルリストに候補予測動きベクトルを追加し、又は除去して候補予測動きベクトルリストの大きさを調整することができる。Pが候補予測動きベクトルリスト内の候補予測動きベクトルの個数であり、Qが最終候補予測動きベクトルリストの大きさである場合、Pの大きさとQの大きさを同じにするために、PがQより小さい場合、候補予測動きベクトルリストに候補予測動きベクトルを追加することができ、PがQより大きい場合、候補予測動きベクトルリストから候補予測動きベクトルを除去することができる。
図18は、本発明の実施例に係る候補予測動きベクトルを追加及び除去して候補予測動きベクトルリストの大きさを調整する方法を示す概念図である。
例えば、候補予測動きベクトルリストの大きさが2と仮定する場合、図18の上段を参照すると、候補予測動きベクトルリストに含まれている候補予測動きベクトルが一個であるため、候補予測動きベクトルリストに零ベクトル(0,0)を追加して候補予測動きベクトルリストを構成することができる。
図18の下段を参照すると、候補予測動きベクトルリストに含まれている候補予測動きベクトルが3個であるため、候補予測動きベクトルリストのうちインデックス値が最も大きい一つの候補予測動きベクトルを除去して候補予測動きベクトルリストを構成することができる。
候補予測動きベクトルリストから最終予測動きベクトルを決定する(ステップS1460)。
前述したステップS1400〜S1460を介して算出された候補予測動きベクトルリストと符号化器から送信された最終予測動きベクトルのインデックス情報に基づいて動き補償に使用する最終予測動きベクトルを決定する。
図19は、本発明の実施例に係る候補予測動きベクトルリストで最終予測動きベクトルを決定することを示す概念図である。
図19を参照すると、符号化器でインデックス1に該当する候補予測動きベクトルを最終予測動きベクトルとして使用したという情報を送信した場合、算出された候補予測動きベクトルリストでインデックス1に該当する候補予測動きベクトルである(−3,6)を最終予測動きベクトルとして決定することができる。
図20は、本発明の実施例に係る候補予測動きベクトルリストを算出する方法を示すフローチャートである。
図20では図14乃至図19で詳述したように、誘導された空間的候補予測動きベクトルが互いに異なる場合、時間的候補予測動きベクトルを誘導せずに空間的候補予測動きベクトルが互いに同じ場合、時間的候補予測動きベクトルを誘導して候補予測動きベクトルリストを算出する方法に対して整理する。
1)第1の空間的候補予測ブロックグループ(A0,A1)で空間的候補予測動きベクトルが存在するかどうかを示す第1の空間的候補予測動きベクトル可用性情報と、第2の空間的候補予測ブロックグループ(B0,B1,B2)で空間的候補予測動きベクトルが存在するかどうかを示す第2の空間的候補予測動きベクトル可用性情報の両方ともが存在し、
2)第1の空間的候補予測グループから誘導された第1の空間的候補予測動きベクトルと、第2の空間的候補予測グループから誘導された第2の空間的候補予測動きベクトルが互いに異なるかどうかを判断する(ステップS2000)。
ステップS2000は、前述したステップS1410と同様に、可用性情報に基づいて空間的候補予測動きベクトルを誘導し、誘導された2個の空間的候補予測動きベクトルが互いに異なるかどうかを判断することができる。
第1の空間的候補予測動きベクトルの可用性情報は、下記のようなステップを介して算出されることができる。
第1の動きベクトル乃至第4の動きベクトルは、前述した図4での定義と同じである。
(1)第1の空間的候補予測ブロックグループに含まれている第1のブロック(A0)又は第2のブロック(A1)に第1の動きベクトルが存在するかどうかを判断するステップ
(2)第1の空間的候補予測ブロックグループに含まれている第1のブロック(A0)又は第2のブロック(A1)に第1の動きベクトルが存在しない場合、第1の空間的候補予測ブロックグループの第1のブロック(A0)と第2のブロック(A1)に第2の動きベクトルが存在するかどうかを判断するステップ
(3)第1の空間的候補予測ブロックグループに含まれている第1のブロック(A0)又は第2のブロック(A1)に第1の動きベクトル又は第2の動きベクトルが存在しない場合、第1の空間的候補予測ブロックグループの第1のブロック(A0)と第2のブロック(A1)に第3の動きベクトルが存在するかどうかを判断するステップ
(4)第1の空間的候補予測ブロックグループに含まれている第1のブロック(A0)又は第2のブロック(A1)に第1の動きベクトル、第2の動きベクトル又は第3の動きベクトルが存在しない場合、第1の空間的候補予測ブロックグループの第1のブロック(A0)と第2のブロック(A1)に第4の動きベクトルが存在するかどうかを判断するステップ
本発明の実施例によると、第1の空間的候補予測ブロックグループに含まれている第1のブロック(A0)と第2のブロック(A1)が存在しない、又は第1の空間的候補予測ブロックグループに含まれている第1のブロック(A0)と第2のブロック(A1)が画面内予測を実行したブロックの場合、所定のフラグ情報を利用してこのような情報を表示することができる。本発明の実施例によると、第1の空間的候補予測ブロックグループに含まれている第1のブロック(A0)と第2のブロック(A1)が存在しない、又は第1の空間的候補予測ブロックグループに含まれている第1のブロック(A0)と第2のブロック(A1)が画面内予測を実行したブロックであり、第2の空間的候補予測ブロックグループで第3のブロック、第4のブロック又は第5のブロックに第1の動きベクトル又は第2の動きベクトルが存在する場合、第2の空間的候補予測ブロックグループから誘導された第1の動きベクトル又は第2の動きベクトルを第1の空間的候補予測ベクトルとして使用することができる。
第2の空間的候補予測動きベクトルの可用性情報は、下記のようなステップを介して算出されることができる。
(1)第2の空間的候補予測ブロックグループに含まれている第3のブロック(B0)、第4のブロック(B1)又は第5のブロック(B2)に第1の動きベクトルが存在するかどうかを判断するステップ
(2)第2の空間的候補予測ブロックグループに含まれている第3のブロック(B0)、第4のブロック(B1)又は第5のブロック(B2)に第1の動きベクトルが存在しない場合、第2の空間的候補予測ブロックグループの第3のブロック(B0)、第4のブロック(B1)又は第5のブロック(B2)に第2の動きベクトルが存在するかどうかを判断するステップ
(3)第2の空間的候補予測ブロックグループに含まれている第3のブロック(B0)、第4のブロック(B1)又は第5のブロック(B2)に第1の動きベクトル又は第2の動きベクトルが存在しない場合、第2の空間的候補予測ブロックグループの第3のブロック(B0)、第4のブロック(B1)又は第5のブロック(B2)に第3の動きベクトルが存在するかどうかを判断するステップ
(4)第2の空間的候補予測ブロックグループに含まれている第3のブロック(B0)、第4のブロック(B1)又は第5のブロック(B2)に第1の動きベクトル、第2の動きベクトル又は第3の動きベクトルが存在しない場合、第2の空間的候補予測ブロックグループの第3のブロック(B0)、第4のブロック(B1)又は第5のブロック(B2)に第4の動きベクトルが存在するかどうかを判断するステップ
ステップS2000に開示された条件を満たさない場合、時間的候補予測動きベクトルを誘導する(ステップS2010)。
前述したステップS2000に開示された条件を満たす場合、互いに異なる二つの空間的候補予測動きベクトルが存在するが、前述したステップS2000に開示された条件を満たさない場合、一つ以下の空間的候補予測動きベクトルが存在し、又は二つの同じ空間的候補予測動きベクトルが存在する。したがって、前述したステップS2000に開示された条件を満たさない場合、時間的候補予測動きベクトルを誘導することができる。
ステップS2000に開示された条件を満たす場合、時間的候補予測動きベクトル可用性情報を0に設定する(ステップS2020)。
ステップS2000に開示された条件を満たす場合、時間的候補予測動きベクトルを算出するための動作を実行せずに時間的候補予測動きベクトルが可用するかどうかを示す情報である時間的候補予測動きベクトル可用性情報を0に設定する。
候補予測動きベクトルリストを算出する(ステップS2030)。
候補予測動きベクトルリストは、下記のような順序にインデキシングされて算出されることができる。
1)第1の空間的候補予測動きベクトルが可用な場合、第1の空間的候補予測動きベクトル。
2)第2の空間的候補予測動きベクトルが可用な場合、第2の空間的候補予測動きベクトル。
3)時間的候補予測動きベクトルが可用な場合、時間的候補予測動きベクトル。
同じ空間的候補予測動きベクトルを除去する(ステップS2040)。
第1の空間的候補予測動きベクトルの値と第2の空間的候補予測動きベクトル値が同じ場合、第2の空間的候補予測動きベクトルの値を候補予測動きベクトルリストから除去することができる。
候補予測動きベクトルリストを追加及び除去して候補予測動きベクトルリストの大きさを調整する(ステップS2050)。
候補予測動きベクトルリストに含まれている候補予測動きベクトルの個数が2より小さい場合、零ベクトルのような追加のベクトルを候補予測動きベクトルリストに追加することができ、候補予測動きベクトルリストに含まれている候補予測動きベクトルの個数が2より大きい場合、候補予測動きベクトルリストのインデックス0及びインデックス1を除いた残りの候補予測動きベクトルを除去することができる。
候補予測動きベクトルリストから最終予測動きベクトルを決定する(ステップS2060)。
候補予測動きベクトルリストに含まれている候補予測動きベクトルのうち一つを予測対象ブロックの動きベクトルの予測値である最終予測動きベクトルとして使用することができる。
以上で説明した映像符号化及び映像復号化方法は、図1及び図2で詳述した各映像符号化器及び映像復号化器装置の各構成部で具現されることができる。
以上、実施例を参照して説明したが、該当技術分野において、熟練された当業者は、特許請求の範囲に記載された本発明の思想及び領域から外れない範囲内で本発明を多様に修正及び変更可能であることを理解することができる。

Claims (4)

  1. 予測対象ブロックの予測モードを示す予測モード情報を復号化し、前記予測モードに従って、候補予測動きベクトルリストに含まれている候補予測動きベクトルのうち前記予測対象ブロックに対する画面間予測を実行するために使われる予測動きベクトルに関する情報を復号化するエントロピー復号化部と、
    複数個の空間的候補予測動きベクトル関連情報を用いること、及び、前記複数個の空間的候補予測動きベクトル関連情報に基づいて決定された時間的候補予測動きベクトル関連情報を用いることにより、前記候補予測動きベクトルリストを生成し、前記候補予測動きベクトルリストに基づいて前記予測対象ブロックの予測ブロックを生成する予測部と、
    を備え、
    前記複数個の空間的候補予測動きベクトル関連情報は、第1の空間的候補予測動きベクトル可用性情報及び第1の空間的候補予測動きベクトルのうちの少なくとも一つと、第2の空間的候補予測動きベクトル可用性情報及び第2の空間的候補予測動きベクトルのうちの少なくとも一つとを備え、前記時間的候補予測動きベクトル関連情報は、時間的候補予測動きベクトル可用性情報及び前記時間的候補予測動きベクトルのうちの少なくとも一つを備え、
    前記第1の空間的候補予測動きベクトル及び前記第2の空間的候補予測動きベクトルの両方が可用であり、かつ、前記第1の空間的候補予測動きベクトル及び前記第2の空間的候補予測動きベクトルが相互に異なるとき、前記予測部は、前記時間的候補予測動きベクトルは可用でないというように前記時間的候補予測動きベクトル可用性情報を決定し、
    前記第1の空間的候補予測動きベクトルは、前記予測対象ブロックの左側に隣接する第1のブロックに関する情報を用いて導出され、
    前記第2の空間的候補予測動きベクトルは、前記予測対象ブロックの上側に隣接する第2のブロックに関する情報を用いて導出される、映像復号化装置。
  2. 予測対象ブロックの予測モードを示す予測モード情報を復号化し、前記予測モードに従って、候補予測動きベクトルリストに含まれている候補予測動きベクトルのうち前記予測対象ブロックに対する画面間予測を実行するために使われる予測動きベクトルに関する情報を復号化するエントロピー復号化部と、
    複数個の空間的候補予測動きベクトル関連情報を用いること、及び、前記複数個の空間的候補予測動きベクトル関連情報に基づいて決定された時間的候補予測動きベクトル関連情報を用いることにより、前記候補予測動きベクトルリストを生成し、前記候補予測動きベクトルリストに基づいて前記予測対象ブロックの予測ブロックを生成する予測部と、
    を備え、
    前記複数個の空間的候補予測動きベクトル関連情報は、第1の空間的候補予測動きベクトル可用性情報及び第1の空間的候補予測動きベクトルのうちの少なくとも一つと、第2の空間的候補予測動きベクトル可用性情報及び第2の空間的候補予測動きベクトルのうちの少なくとも一つとを備え、前記時間的候補予測動きベクトル関連情報は、時間的候補予測動きベクトル可用性情報及び前記時間的候補予測動きベクトルのうちの少なくとも一つを備え、
    前記第1の空間的候補予測動きベクトル及び前記第2の空間的候補予測動きベクトルのうちの少なくとも一つが可用でなく、あるいは、前記第1の空間的候補予測動きベクトル及び前記第2の空間的候補予測動きベクトルの両方が可用であり、かつ、前記第1の空間的候補予測動きベクトル及び前記第2の空間的候補予測動きベクトルが相互に同一であるとき、前記予測部は、前記時間的候補予測動きベクトル関連情報を、前記時間的候補予測動きベクトル関連情報を導出するプロセスを実行することによって決定し、
    前記第1の空間的候補予測動きベクトルは、前記予測対象ブロックの左側に隣接する第1のブロックに関する情報を用いて導出され、
    前記第2の空間的候補予測動きベクトルは、前記予測対象ブロックの上側に隣接する第2のブロックに関する情報を用いて導出される、映像復号化装置。
  3. 複数個の空間的候補予測動きベクトル関連情報を用いること、及び、前記複数個の空間的候補予測動きベクトル関連情報に基づいて決定された時間的候補予測動きベクトル関連情報を用いることにより、候補予測動きベクトルリストを生成する予測部と、
    測対象ブロックの予測モードを示す予測モード情報を符号化し、前記予測モードに従って、前記候補予測動きベクトルリストに含まれている候補予測動きベクトルのうち前記予測対象ブロックに対する画面間予測を実行するために使われる予測動きベクトルに関する情報を符号化するエントロピー符号化部と、
    を備え、
    前記複数個の空間的候補予測動きベクトル関連情報は、第1の空間的候補予測動きベクトル可用性情報及び第1の空間的候補予測動きベクトルのうちの少なくとも一つと、第2の空間的候補予測動きベクトル可用性情報及び第2の空間的候補予測動きベクトルのうちの少なくとも一つとを備え、前記時間的候補予測動きベクトル関連情報は、時間的候補予測動きベクトル可用性情報及び前記時間的候補予測動きベクトルのうちの少なくとも一つを備え、
    前記第1の空間的候補予測動きベクトル及び前記第2の空間的候補予測動きベクトルの両方が可用であり、かつ、前記第1の空間的候補予測動きベクトル及び前記第2の空間的候補予測動きベクトルが相互に異なるとき、前記予測部は、前記時間的候補予測動きベクトルは可用でないというように前記時間的候補予測動きベクトル可用性情報を決定し、
    前記第1の空間的候補予測動きベクトルは、前記予測対象ブロックの左側に隣接する第1のブロックに関する情報を用いて導出され、
    前記第2の空間的候補予測動きベクトルは、前記予測対象ブロックの上側に隣接する第2のブロックに関する情報を用いて導出される、映像符号化装置。
  4. 複数個の空間的候補予測動きベクトル関連情報を用いること、及び、前記複数個の空間的候補予測動きベクトル関連情報に基づいて決定された時間的候補予測動きベクトル関連情報を用いることにより、候補予測動きベクトルリストを生成する予測部と、
    測対象ブロックの予測モードを示す予測モード情報を符号化し、前記予測モードに従って、前記候補予測動きベクトルリストに含まれている候補予測動きベクトルのうち前記予測対象ブロックに対する画面間予測を実行するために使われる予測動きベクトルに関する情報を符号化するエントロピー符号化部と、
    を備え、
    前記複数個の空間的候補予測動きベクトル関連情報は、第1の空間的候補予測動きベクトル可用性情報及び第1の空間的候補予測動きベクトルのうちの少なくとも一つと、第2の空間的候補予測動きベクトル可用性情報及び第2の空間的候補予測動きベクトルのうちの少なくとも一つとを備え、前記時間的候補予測動きベクトル関連情報は、時間的候補予測動きベクトル可用性情報及び前記時間的候補予測動きベクトルのうちの少なくとも一つを備え、
    前記第1の空間的候補予測動きベクトル及び前記第2の空間的候補予測動きベクトルのうちの少なくとも一つが可用でなく、あるいは、前記第1の空間的候補予測動きベクトル及び前記第2の空間的候補予測動きベクトルの両方が可用であり、かつ、前記第1の空間的候補予測動きベクトル及び前記第2の空間的候補予測動きベクトルが相互に同一であるとき、前記予測部は、前記時間的候補予測動きベクトル関連情報を、前記時間的候補予測動きベクトル関連情報を導出するプロセスを実行することによって決定し、
    前記第1の空間的候補予測動きベクトルは、前記予測対象ブロックの左側に隣接する第1のブロックに関する情報を用いて導出され、
    前記第2の空間的候補予測動きベクトルは、前記予測対象ブロックの上側に隣接する第2のブロックに関する情報を用いて導出される、映像符号化装置。
JP2018103677A 2011-09-16 2018-05-30 予測動きベクトル誘導方法及びその方法を使用する装置 Active JP6855413B2 (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR20110093564 2011-09-16
KR10-2011-0093564 2011-09-16
KR20110106108 2011-10-17
KR10-2011-0106108 2011-10-17
KR10-2012-0005916 2012-01-18
KR1020120005916A KR20130030181A (ko) 2011-09-16 2012-01-18 움직임 벡터 예측기를 이용한 움직임 벡터 부호화/복호화 방법 및 장치
KR10-2012-0102214 2012-09-14
KR1020120102214A KR101419011B1 (ko) 2011-09-16 2012-09-14 예측 움직임 벡터 유도 방법 및 이러한 방법을 사용하는 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016132662A Division JP6416156B2 (ja) 2011-09-16 2016-07-04 予測動きベクトル誘導方法及びその方法を使用する装置

Publications (2)

Publication Number Publication Date
JP2018152904A JP2018152904A (ja) 2018-09-27
JP6855413B2 true JP6855413B2 (ja) 2021-04-07

Family

ID=48179853

Family Applications (9)

Application Number Title Priority Date Filing Date
JP2014530596A Active JP6046142B2 (ja) 2011-09-16 2012-09-14 予測動きベクトル誘導方法及びその方法を使用する装置
JP2016132662A Active JP6416156B2 (ja) 2011-09-16 2016-07-04 予測動きベクトル誘導方法及びその方法を使用する装置
JP2018103676A Active JP6855412B2 (ja) 2011-09-16 2018-05-30 予測動きベクトル誘導方法及びその方法を使用する装置
JP2018103677A Active JP6855413B2 (ja) 2011-09-16 2018-05-30 予測動きベクトル誘導方法及びその方法を使用する装置
JP2018103675A Active JP6855411B2 (ja) 2011-09-16 2018-05-30 予測動きベクトル誘導方法及びその方法を使用する装置
JP2018103678A Active JP6855414B2 (ja) 2011-09-16 2018-05-30 予測動きベクトル誘導方法及びその方法を使用する装置
JP2018103674A Pending JP2018152901A (ja) 2011-09-16 2018-05-30 予測動きベクトル誘導方法及びその方法を使用する装置
JP2020189819A Pending JP2021036718A (ja) 2011-09-16 2020-11-13 予測動きベクトル誘導方法及びその方法を使用する装置
JP2024007606A Pending JP2024026898A (ja) 2011-09-16 2024-01-22 予測動きベクトル誘導方法及びその方法を使用する装置

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2014530596A Active JP6046142B2 (ja) 2011-09-16 2012-09-14 予測動きベクトル誘導方法及びその方法を使用する装置
JP2016132662A Active JP6416156B2 (ja) 2011-09-16 2016-07-04 予測動きベクトル誘導方法及びその方法を使用する装置
JP2018103676A Active JP6855412B2 (ja) 2011-09-16 2018-05-30 予測動きベクトル誘導方法及びその方法を使用する装置

Family Applications After (5)

Application Number Title Priority Date Filing Date
JP2018103675A Active JP6855411B2 (ja) 2011-09-16 2018-05-30 予測動きベクトル誘導方法及びその方法を使用する装置
JP2018103678A Active JP6855414B2 (ja) 2011-09-16 2018-05-30 予測動きベクトル誘導方法及びその方法を使用する装置
JP2018103674A Pending JP2018152901A (ja) 2011-09-16 2018-05-30 予測動きベクトル誘導方法及びその方法を使用する装置
JP2020189819A Pending JP2021036718A (ja) 2011-09-16 2020-11-13 予測動きベクトル誘導方法及びその方法を使用する装置
JP2024007606A Pending JP2024026898A (ja) 2011-09-16 2024-01-22 予測動きベクトル誘導方法及びその方法を使用する装置

Country Status (11)

Country Link
US (8) US9451281B2 (ja)
EP (4) EP3637774B1 (ja)
JP (9) JP6046142B2 (ja)
KR (14) KR20130030181A (ja)
CN (6) CN108391138B (ja)
BR (2) BR122014015724B1 (ja)
CA (8) CA2994619C (ja)
DK (1) DK3258692T3 (ja)
ES (1) ES2970751T3 (ja)
PL (1) PL3637774T3 (ja)
WO (1) WO2013039356A2 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107105280B (zh) * 2010-12-14 2020-01-03 M&K控股株式会社 用于编码运动画面的设备
KR101532665B1 (ko) * 2011-03-14 2015-07-09 미디어텍 인크. 시간적 움직임 백터 예측을 도출하기 위한 방법 및 장치
KR20130030181A (ko) * 2011-09-16 2013-03-26 한국전자통신연구원 움직임 벡터 예측기를 이용한 움직임 벡터 부호화/복호화 방법 및 장치
KR20140121315A (ko) * 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
JP6291032B2 (ja) * 2013-04-11 2018-03-14 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
US10313765B2 (en) 2015-09-04 2019-06-04 At&T Intellectual Property I, L.P. Selective communication of a vector graphics format version of a video content item
CN110100440B (zh) 2016-12-22 2023-04-25 株式会社Kt 一种用于对视频进行解码、编码的方法
KR102480419B1 (ko) 2017-09-13 2022-12-22 삼성전자주식회사 기본 움직임 벡터를 이용하여 움직임 벡터를 부호화하는 장치 및 방법, 및 복호화 장치 및 방법
US11425390B2 (en) 2018-01-26 2022-08-23 Electronics And Telecommunications Research Institute Method and apparatus for image encoding and image decoding using temporal motion information
WO2019147067A1 (ko) 2018-01-26 2019-08-01 한국전자통신연구원 시간적 움직임 정보를 이용하는 영상 부호화 및 영상 복호화를 위한 방법 및 장치
WO2019151093A1 (en) 2018-01-30 2019-08-08 Sharp Kabushiki Kaisha Systems and methods for performing motion vector prediction for video coding using motion vector predictor origins
KR20190113652A (ko) * 2018-03-27 2019-10-08 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR20210016054A (ko) 2018-06-30 2021-02-10 김기백 영상 부호화/복호화 방법 및 장치
CN118714295A (zh) * 2018-07-27 2024-09-27 三星电子株式会社 对图像进行编码和解码的方法和装置
CN112514383B (zh) * 2018-07-31 2023-12-19 寰发股份有限公司 用于视频编解码的利用运动向量差的合并方法和装置
EP3835128A4 (en) 2018-08-06 2021-09-08 Koito Manufacturing Co., Ltd. VEHICLE DISPLAY SYSTEM AND VEHICLE
US11019357B2 (en) * 2018-08-07 2021-05-25 Qualcomm Incorporated Motion vector predictor list generation
US11956460B2 (en) * 2018-08-31 2024-04-09 Hulu, LLC Selective template matching in video coding
US10958932B2 (en) 2018-09-12 2021-03-23 Qualcomm Incorporated Inter-prediction coding of video data using generated motion vector predictor list including non-adjacent blocks
US11943467B2 (en) * 2018-09-21 2024-03-26 Vid Scale, Inc. Affine motion estimation for affine model-based video coding
US10893291B2 (en) * 2018-09-28 2021-01-12 Qualcomm Incorporated Ultimate motion vector expression with adaptive directional information set
US11284066B2 (en) * 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
WO2020089823A1 (en) 2018-10-31 2020-05-07 Beijing Bytedance Network Technology Co., Ltd. Overlapped block motion compensation with adaptive sub-block size
CN113366831B (zh) * 2019-01-13 2024-04-05 北京字节跳动网络技术有限公司 重叠块运动补偿和其他工具之间的协调
US10904553B2 (en) * 2019-01-22 2021-01-26 Tencent America LLC Method and apparatus for video coding
EP3963891A4 (en) * 2019-06-13 2022-08-03 Beijing Dajia Internet Information Technology Co., Ltd. MOTION VECTOR PREDICTION FOR VIDEO ENCODING
CN113727119B (zh) * 2020-05-20 2023-03-17 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器以及计算机存储介质

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748231A (en) * 1992-10-13 1998-05-05 Samsung Electronics Co., Ltd. Adaptive motion vector decision method and device for digital image stabilizer system
EP1128678A1 (en) * 2000-02-24 2001-08-29 Koninklijke Philips Electronics N.V. Motion estimation apparatus and method
JP4114859B2 (ja) 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
KR100492127B1 (ko) 2002-02-23 2005-06-01 삼성전자주식회사 적응형 움직임 추정장치 및 추정 방법
KR100967237B1 (ko) * 2002-11-01 2010-06-30 파나소닉 주식회사 동화상 부호화 방법 및 동화상 복호화 방법
CN1723477A (zh) * 2002-12-11 2006-01-18 皇家飞利浦电子股份有限公司 视频编码方法和相应的计算机程序
CN101288310B (zh) 2005-06-23 2011-04-13 三叉微系统(远东)有限公司 运动估计
JP2010509799A (ja) * 2006-11-03 2010-03-25 サムスン エレクトロニクス カンパニー リミテッド 映像の予測符号化方法及び装置、その復号化方法及び装置
KR101366241B1 (ko) * 2007-03-28 2014-02-21 삼성전자주식회사 영상 부호화, 복호화 방법 및 장치
KR102139535B1 (ko) * 2007-10-16 2020-07-30 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
JP5194833B2 (ja) * 2008-01-23 2013-05-08 ソニー株式会社 符号化装置および方法、記録媒体、並びにプログラム
EP2266318B1 (en) * 2008-03-19 2020-04-22 Nokia Technologies Oy Combined motion vector and reference index prediction for video coding
JP5406465B2 (ja) * 2008-04-24 2014-02-05 株式会社Nttドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
JP4697275B2 (ja) * 2008-07-30 2011-06-08 ソニー株式会社 動きベクトル検出装置、動きベクトル検出方法及びプログラム
CN101686393B (zh) * 2008-09-28 2012-10-17 华为技术有限公司 应用于模板匹配的快速运动搜索方法及装置
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
US20100166073A1 (en) * 2008-12-31 2010-07-01 Advanced Micro Devices, Inc. Multiple-Candidate Motion Estimation With Advanced Spatial Filtering of Differential Motion Vectors
US9113168B2 (en) * 2009-05-12 2015-08-18 Lg Electronics Inc. Method and apparatus of processing a video signal
KR20110008653A (ko) 2009-07-20 2011-01-27 삼성전자주식회사 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법
KR101752418B1 (ko) * 2010-04-09 2017-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US8824558B2 (en) * 2010-11-23 2014-09-02 Mediatek Inc. Method and apparatus of spatial motion vector prediction
KR102390352B1 (ko) * 2011-01-07 2022-04-25 엘지전자 주식회사 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
ES2900107T3 (es) * 2011-03-21 2022-03-15 Lg Electronics Inc Método para seleccionar un predictor de vector de movimiento
US9247249B2 (en) * 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
MX2013012209A (es) * 2011-05-31 2013-11-01 Panasonic Corp Metodo de codificacion de video, aparato de codificacion de video, metodo de decodificacion de video, aparato de decodificacion de video y aparato de codificacion/decodificacion de video.
CA3101406C (en) * 2011-06-14 2023-05-09 Tammy Lee Method and apparatus for encoding motion information and method and apparatus for decoding same
JP5937594B2 (ja) 2011-06-30 2016-06-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 画像復号方法及び画像復号装置
KR20130030181A (ko) * 2011-09-16 2013-03-26 한국전자통신연구원 움직임 벡터 예측기를 이용한 움직임 벡터 부호화/복호화 방법 및 장치

Also Published As

Publication number Publication date
EP4336831A3 (en) 2024-03-27
US9451281B2 (en) 2016-09-20
KR20130030232A (ko) 2013-03-26
KR20180083287A (ko) 2018-07-20
BR112014006320B1 (pt) 2022-05-24
KR20130113400A (ko) 2013-10-15
JP2024026898A (ja) 2024-02-28
EP2757784A2 (en) 2014-07-23
JP2018152902A (ja) 2018-09-27
CA2994621A1 (en) 2013-03-21
CA2849004A1 (en) 2013-03-21
CA3114709C (en) 2023-11-07
EP3637774B1 (en) 2023-11-22
KR20190058426A (ko) 2019-05-29
CA2994615C (en) 2021-04-06
EP3258692B1 (en) 2019-12-04
KR20130111501A (ko) 2013-10-10
JP6855414B2 (ja) 2021-04-07
KR102357774B1 (ko) 2022-02-08
KR20220017460A (ko) 2022-02-11
JP6046142B2 (ja) 2016-12-14
KR102244085B1 (ko) 2021-04-23
US20190110068A1 (en) 2019-04-11
US10708615B2 (en) 2020-07-07
JP6855412B2 (ja) 2021-04-07
KR102115003B1 (ko) 2020-05-25
JP2018152903A (ja) 2018-09-27
KR102594969B1 (ko) 2023-10-30
WO2013039356A3 (ko) 2013-05-16
US10194168B2 (en) 2019-01-29
CN108366266B (zh) 2022-08-05
BR122014015724B1 (pt) 2022-05-24
CA2994625C (en) 2020-12-15
CN108366269A (zh) 2018-08-03
CA2994625A1 (en) 2013-03-21
CA3214829A1 (en) 2013-03-21
CN108366266A (zh) 2018-08-03
CN108377395B (zh) 2022-08-09
KR20210046621A (ko) 2021-04-28
CA2994623A1 (en) 2013-03-21
CA2994623C (en) 2021-01-26
CA3114709A1 (en) 2013-03-21
WO2013039356A2 (ko) 2013-03-21
CA2994621C (en) 2020-07-14
CN108391138B (zh) 2022-05-31
DK3258692T3 (da) 2020-01-27
CA2994619A1 (en) 2013-03-21
JP2021036718A (ja) 2021-03-04
KR101419012B1 (ko) 2014-07-14
CN108391138A (zh) 2018-08-10
KR102482553B1 (ko) 2022-12-30
CN108377395A (zh) 2018-08-07
KR101983124B1 (ko) 2019-05-29
PL3637774T3 (pl) 2024-05-20
US10750202B2 (en) 2020-08-18
CA2849004C (en) 2018-03-27
EP4336831A2 (en) 2024-03-13
BR112014006320A2 (pt) 2017-04-11
US10743022B2 (en) 2020-08-11
EP3637774A1 (en) 2020-04-15
JP2018152905A (ja) 2018-09-27
CA2994615A1 (en) 2013-03-21
KR20130030181A (ko) 2013-03-26
US10194167B2 (en) 2019-01-29
CN108391124A (zh) 2018-08-10
CN108391124B (zh) 2022-09-02
US20160360229A1 (en) 2016-12-08
KR20130110122A (ko) 2013-10-08
CN103988509B (zh) 2018-03-23
EP2757784A4 (en) 2015-08-26
US20160366436A1 (en) 2016-12-15
JP2014526838A (ja) 2014-10-06
ES2970751T3 (es) 2024-05-30
US20200344490A1 (en) 2020-10-29
US20190110066A1 (en) 2019-04-11
JP6416156B2 (ja) 2018-10-31
KR101973487B1 (ko) 2019-04-29
KR101419011B1 (ko) 2014-07-14
KR101879446B1 (ko) 2018-07-17
JP6855411B2 (ja) 2021-04-07
KR20230150929A (ko) 2023-10-31
KR101983123B1 (ko) 2019-05-30
JP2018152901A (ja) 2018-09-27
US20240098302A1 (en) 2024-03-21
US11871031B2 (en) 2024-01-09
CN103988509A (zh) 2014-08-13
KR20230008661A (ko) 2023-01-16
EP3258692A1 (en) 2017-12-20
US20140348241A1 (en) 2014-11-27
KR101879447B1 (ko) 2018-07-17
KR20180083289A (ko) 2018-07-20
KR20180083288A (ko) 2018-07-20
JP2016174428A (ja) 2016-09-29
CA2994619C (en) 2021-05-25
JP2018152904A (ja) 2018-09-27
CN108366269B (zh) 2022-08-09
US20190110067A1 (en) 2019-04-11
KR20200057692A (ko) 2020-05-26

Similar Documents

Publication Publication Date Title
JP6855413B2 (ja) 予測動きベクトル誘導方法及びその方法を使用する装置
JP7071453B2 (ja) 動き情報の復号化方法、符号化方法及び記録媒体
JP6019797B2 (ja) 動画像符号化装置、動画像符号化方法、及びプログラム
KR20130065672A (ko) 움직임 벡터를 복호화하는 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200303

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201116

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201116

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20201127

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20201211

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20201215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210317

R150 Certificate of patent or registration of utility model

Ref document number: 6855413

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250