JP6532542B2 - イントラ予測を行う映像復号方法及びその装置並びにイントラ予測を行う映像符号化方法 - Google Patents

イントラ予測を行う映像復号方法及びその装置並びにイントラ予測を行う映像符号化方法 Download PDF

Info

Publication number
JP6532542B2
JP6532542B2 JP2017559102A JP2017559102A JP6532542B2 JP 6532542 B2 JP6532542 B2 JP 6532542B2 JP 2017559102 A JP2017559102 A JP 2017559102A JP 2017559102 A JP2017559102 A JP 2017559102A JP 6532542 B2 JP6532542 B2 JP 6532542B2
Authority
JP
Japan
Prior art keywords
current block
sample
boundary
block
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017559102A
Other languages
English (en)
Other versions
JP2018520549A (ja
Inventor
パク，ミン−ウ
チェー，イン−クォン
イ，ジン−ヨン
キム，チャン−ヨル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2018520549A publication Critical patent/JP2018520549A/ja
Application granted granted Critical
Publication of JP6532542B2 publication Critical patent/JP6532542B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、イントラ予測を行う映像復号方法及び該装置、並びにイントラ予測を行う映像符号化方法及び該装置に関する。
高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及により、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号したりするビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、ツリー構造の符号化単位に基づいて制限された符号化方式によって符号化されている。
変換を利用して、空間領域の映像データは、周波数領域の係数に変換される。ビデオコーデックは、変換の迅速な演算のために、映像を所定サイズのブロックに分割し、ブロックごとにＤＣＴ（discrete cosine transformation）変換を行い、ブロック単位の周波数係数を符号化する。空間領域の映像データに比べ、周波数領域の係数が、圧縮しやすい形態を有する。特に、ビデオコーデックのインター予測またはイントラ予測を介して、空間領域の映像画素値は、予測誤差によって表現されるので、該予測誤差に対して変換が行われれば、多くのデータが０にも変換される。ビデオコーデックは、連続的に反復的に発生するデータを小サイズのデータに置き換えることにより、データ量を節減している。
ビデオ符号化過程及び復号過程において、予測映像を生成するために、さらに精密であって簡単な予測方法が要求される。
一実施形態により、予測映像生成のためにイントラ予測を行うとき、さらに精密であって簡単な予測方法を提供し、符号化効率を高めることができ、伝送効率も高めることができる。
本発明の技術的課題は、以上で言及した特徴に制限ものではなく、言及されていない他の技術的課題は、下記記載から、当該技術分野の当業者に明確に理解されるであろう。
一実施形態によるビデオ復号方法は、現在ブロックから少なくとも１つのセグメントを決めるための輪郭のモード情報によって決定される前記輪郭の第１座標及び第２座標が、前記現在ブロックの周辺ブロックから誘導可能であるか否かということ決定する段階と、前記現在ブロックの周辺ブロックから、前記輪郭の第１座標及び第２座標が誘導可能である場合、前記現在ブロックの周辺ブロックから誘導される前記輪郭の第１座標及び第２座標に基づいて、前記現在ブロックから、前記少なくとも１つのセグメントを決定する段階と、前記現在ブロックを構成するセグメントの境界を含む境界領域に対して、前記境界の方向に沿って予測を行うか否かということ決定する段階と、前記境界領域に、前記境界の方向に沿って予測を行うと決定される場合、前記境界の方向に沿った前記現在ブロックの周辺サンプルを利用して前記境界領域に予測を行う段階と、を含む。
一実施形態による、輪郭基盤のイントラ予測を行うビデオ符号化装置のブロック図である。 、一実施形態による、輪郭基盤のイントラ予測を行うビデオ符号化方法のフローチャートである。 一実施形態による、輪郭基盤のイントラ予測を行うビデオ復号装置のブロック図である。 一実施形態による、輪郭基盤のイントラ予測を行うビデオ復号方法のフローチャートである。 一実施形態による、符号化単位に基づいた映像符号化部のブロック図である。 一実施形態による、符号化単位に基づいた映像復号部のブロック図である。 多様な実施形態による、現在ブロックから予測符号化のための予測単位であるセグメントを決定する方法を図示する図面である。 多様な実施形態による、現在ブロックから予測符号化のための予測単位であるセグメントを決定する方法を図示する図面である。 多様な実施形態による、現在ブロックから予測符号化のための予測単位であるセグメントを決定する方法を図示する図面である。 多様な実施形態によって、物体の境界による輪郭を利用して、現在ブロックから、予測符号化のためのセグメントを決定する方法を示す図面である。 多様な実施形態による、現在ブロックから、少なくとも１つのセグメントを決定するための輪郭のモードについて説明するための図面である。 多様な実施形態による、現在ブロックから、少なくとも１つのセグメントを決定するための輪郭のモードについて説明するための図面である。 図７Ａの、現在ブロックから、少なくとも１つのセグメントを決定するための輪郭のモードの例示を示す図面である。 図８の、輪郭モードを示す輪郭モード情報の例示を示す図面である。 一実施形態による現在ブロックを示す図面である。 一実施形態による、現在ブロックから、少なくとも１つのセグメントを決定するための輪郭の座標を決定する方法を示す図面である。 多様な実施形態による、現在ブロックから、少なくとも１つのセグメントを決定するための輪郭の座標を決定する方法を示す図面である。 多様な実施形態による、現在ブロックから、少なくとも１つのセグメントを決定するための輪郭の座標を決定する方法を示す図面である。 多様な実施形態による、現在ブロックから、少なくとも１つのセグメントを決定するための輪郭の座標を決定する方法を示す図面である。 多様な実施形態による、輪郭の座標をサンプルの精度によって決定する方法を示す図面である。 多様な実施形態による、輪郭の座標をサンプルの精度によって決定する方法を示す図面である。 多様な実施形態による、輪郭の座標をサンプルの精度によって決定する方法を示す図面である。 一実施形態による、現在ブロックを構成するセグメントの示すマスクの一例示を示す図面である。 図１７の、現在ブロックの境界領域に含まれるサンプルのマスク値を決定する多様な方法の例示を示す図面である。 多様な実施形態による、現在ブロックのマスクを生成する方法の例示を示す図面である。 多様な実施形態による、現在ブロックのマスクを生成する方法の例示を示す図面である。 一実施形態による、現在ブロックのマスクを生成する方法の例示を示す図面である。 一実施形態による、現在ブロックのセグメントに対して予測を行う方法を示す図面である。 一実施形態による、現在ブロックのセグメントに対して予測を行う方法を示す図面である。 多様な実施形態による、現在ブロックのセグメントのサンプル値を伝送する方法について説明するための図面である。 多様な実施形態による、現在ブロックの周辺サンプルを利用して、現在ブロックのセグメントのサンプル値を生成する方法を示す図面である。 多様な実施形態による、現在ブロックの周辺サンプルを利用して、現在ブロックのセグメントのサンプル値を生成する方法を示す図面である。 一実施形態による、現在ブロックから分割されるセグメントの個数による現在ブロックの予測方法のフローチャートである。 一実施形態による、現在ブロックの変換単位による現在ブロックのレジデュアルデータの符号化過程及び復号過程について説明するための図面である。 多様な実施形態による、現在ブロックの輪郭を、現在ブロックの周辺ブロックから獲得する方法を示す図面である。 多様な実施形態による、現在ブロックの輪郭を、現在ブロックの周辺ブロックから獲得する方法を示す図面である。 多様な実施形態による、現在ブロックの輪郭を、現在ブロックの周辺ブロックから獲得する方法を示す図面である。 多様な実施形態による、現在ブロックのサブブロックを利用して予測を行う方法を示す図面である。 多様な実施形態による、現在ブロックのサブブロックを利用して予測を行う方法を示す図面である。 一実施形態による、現在ブロックから３つのセグメントを決定する方法を示す図面である。 一実施形態による、現在ブロックの輪郭に基づいて、現在ブロックのサブブロックを利用して、セグメントを決定する方法を示す図面である。 一実施形態による、現在ブロックの輪郭を決定する方法を示す図面である。 一実施形態による、現在ブロックの予測値を獲得する方法を擬似コード（pseudo code）で示した一例示である。 一実施形態による、現在ブロックに対して予測を行う方法を示す図面である。 一実施形態による、現在ブロックに対して参照サンプルを利用して予測を行う詳細な過程を示す図面である。 多様な実施形態による、現在ブロックの境界領域に対して予測を行う方法を示す図面である。 多様な実施形態による、現在ブロックの境界領域に対して予測を行う方法を示す図面である。 多様な実施形態による、現在ブロックの境界領域に対して予測を行う方法を示す図面である。 多様な実施形態による、現在ブロックの境界領域に対して予測を行う方法を示す図面である。 一実施形態による、現在ブロックの境界領域に対して予測を行う方法を示す図面である。 多様な実施形態による、現在ブロックの境界領域に対して予測を行う方法を示す図面である。 多様な実施形態による、現在ブロックの境界領域に対して予測を行う方法を示す図面である。 一実施形態による、イントラ予測遂行のためのシンタックスエレメントを示す図面である。 多様な実施形態による、深度別符号化単位及び予測単位を図示する図面である。 多様な実施形態による、符号化単位及び変換単位の関係を図示する図面である。 多様な実施形態による符号化情報を図示する図面である。
一実施形態によるビデオ復号方法は、現在ブロックから少なくとも１つのセグメントを決定するための輪郭（contour）モード情報によって決定される前記輪郭の第１座標及び第２座標が、前記現在ブロックの周辺ブロックから誘導可能であるか否かということを決定する段階と、前記現在ブロックの周辺ブロックから、前記輪郭の第１座標及び第２座標が誘導可能である場合、前記現在ブロックの周辺ブロックから誘導される前記輪郭の第１座標及び第２座標に基づいて、前記現在ブロックから、前記少なくとも１つのセグメントを決定する段階と、前記現在ブロックを構成するセグメントの境界を含む境界領域に対して、前記境界の方向に沿って予測を行うか否かということを決定する段階と、前記境界領域に、前記境界の方向に沿って予測を行うと決定される場合、前記境界の方向に沿う前記現在ブロックの周辺サンプルを利用して前記境界領域に予測を行う段階と、を含む。
また、前記境界領域に予測を行う段階は、前記境界領域に、前記境界の方向に沿って予測を行うと決定される場合、前記境界領域の幅（thickness）を決定する段階と、前記決定された幅による前記境界領域に対して予測を行う段階と、を含んでもよい。
また、前記境界領域の幅は、前記現在ブロックを構成するセグメントの境界に位置するサンプルを中心に、水平方向へのサンプルの数、または垂直方向へのサンプル数であることを特徴とする。
また、境界領域の幅を決定する段階は、ビットストリームから獲得される前記境界領域の幅を示す情報に基づいて決定することを特徴とする。
また、前記境界領域の幅を決定する段階は、前記現在ブロックの周辺ブロックを利用して、前記境界領域の幅を決定することを特徴とする。
また、前記現在ブロックが、前記決定された幅による前記境界領域にいずれも含まれない場合、前記境界領域を除いた前記現在ブロックの残り領域に対して予測を行う段階をさらに含んでもよい。
また、前記境界領域に対して、前記境界の方向に沿って予測を行わないと決定された場合、前記現在ブロックを構成するセグメントの境界を示す前記現在ブロックのマスクを生成する段階と、前記現在ブロックの周辺サンプルを利用して、前記少なくとも１つのセグメントに含まれたサンプルのサンプル値を決定する段階と、前記生成されたマスク、及び前記決定されたサンプルのサンプル値に基づいて、前記境界領域の予測値を決定する段階と、をさらに含んでもよい。
また、前記現在ブロックのマスクを生成する段階は、前記現在ブロックを構成するセグメントの境界と、前記現在ブロックのサンプルとの位置関係に基づいて、前記現在ブロックのサンプルのマスク値を決定することにより、前記現在ブロックのマスクを生成することを特徴とする。
また、前記現在ブロックのマスクに基づいて、前記現在ブロックの境界領域にフィルタリングを行う段階をさらに含んでもよい。
また、前記フィルタリングを行う段階は、前記現在ブロックのマスクに基づいて、前記現在ブロックのサンプルが、前記現在ブロックを構成するセグメントの境界に位置するサンプルであるか否かということを決定する段階と、前記現在ブロックのサンプルが、前記境界に位置する場合、前記現在ブロックのサンプルの周辺サンプルに基づいて、前記現在ブロックのサンプルをフィルタリングする段階と、を含んでもよい。
他の一実施形態によるビデオ符号化方法は、現在ブロックから少なくとも１つのセグメントを決定するための輪郭のモードによって決定される前記輪郭の第１座標及び第２座標が、前記現在ブロックの周辺ブロックから誘導可能であるか否かということを決定する段階と、前記現在ブロックの周辺ブロックから、前記輪郭の第１座標及び第２座標が誘導可能である場合、前記現在ブロックの周辺ブロックから誘導される前記輪郭の第１座標及び第２座標に基づいて、前記現在ブロックから、前記少なくとも１つのセグメントを決定する段階と、前記現在ブロックを構成するセグメントの境界を含む境界領域に対して、前記境界の方向に沿って予測を行うか否かということを決定する段階と、前記境界領域に、前記境界の方向に沿って予測を行うか否かということ示す情報、及び前記境界の方向を示す輪郭モード情報を符号化する段階と、を含んでもよい。
また、前記境界領域に、前記境界の方向に沿って予測を行うと決定される場合、前記境界領域の幅を決定する段階をさらに含んでもよい。
また、前記決定された境界領域の幅を示す情報を符号化する段階をさらに含んでもよい。
また、前記境界領域の幅を決定する段階は、前記現在ブロックの周辺ブロックを利用して、前記境界領域の幅を決定することを特徴とする。
また、前記決定された幅による前記境界領域に、前記境界の方向に沿って予測を行う段階と、前記現在ブロックが、前記決定された幅による前記境界領域にいずれも含まれない場合、前記境界領域を除いた前記現在ブロックの残り領域に対して予測を行う段階と、をさらに含んでもよい。
また、前記境界領域に対して、前記境界の方向に沿って予測を行わないと決定された場合、前記現在ブロックを構成するセグメントの境界を示す前記現在ブロックのマスクを生成する段階と、前記現在ブロックの周辺サンプルを利用して、前記少なくとも１つのセグメントに含まれたサンプルのサンプル値を決定する段階と、前記生成されたマスク、及び前記決定されたサンプルのサンプル値に基づいて、前記境界領域の予測値を決定する段階と、をさらに含んでもよい。
また、前記現在ブロックのマスクを生成する段階は、前記現在ブロックを構成するセグメントの境界と、前記現在ブロックのサンプルとの位置関係に基づいて、前記現在ブロックのサンプルのマスク値を決定することにより、前記現在ブロックのマスクを生成することを特徴とする。
また、前記現在ブロックのマスクに基づいて、前記現在ブロックの境界領域にフィルタリングを行う段階をさらに含んでもよい。
また、前記フィルタリングを行う段階は、前記現在ブロックのマスクに基づいて、前記現在ブロックのサンプルが、前記現在ブロックを構成するセグメントの境界に位置するサンプルであるか否かということを決定する段階と、前記現在ブロックのサンプルが、前記境界に位置する場合、前記現在ブロックのサンプルの周辺サンプルに基づいて、前記現在ブロックのサンプルをフィルタリングする段階と、を含んでもよい。
さらに他の一実施形態によるビデオ復号装置は、現在ブロックから少なくとも１つのセグメントを決定するための輪郭モード情報によって決定される前記輪郭の第１座標及び第２座標が、前記現在ブロックの周辺ブロックから誘導可能であるか否かということを決定し、前記現在ブロックの周辺ブロックから、前記輪郭の第１座標及び第２座標が誘導可能である場合、前記現在ブロックの周辺ブロックから誘導される前記輪郭の第１座標及び第２座標に基づいて、前記現在ブロックから、前記少なくとも１つのセグメントを決定するセグメント決定部と、前記現在ブロックを構成するセグメントの境界を含む境界領域に対して、前記境界の方向に沿って予測を行うか否かということを決定し、前記境界領域に、前記境界の方向に沿って予測を行うと決定される場合、前記境界の方向に沿う前記現在ブロックの周辺サンプルを利用して、前記境界領域に予測を行う予測遂行部と、を含む。
以下、図１Ａないし図４５を参照し、一実施形態による輪郭を基盤としたイントラ予測符号化（contour-based intra prediction coding）方法、及び輪郭を基盤としたイントラ復号方法が提案される。また、図４６ないし図４８を参照し、先立って提案した輪郭を基盤としたイントラ予測ビデオ符号化方法が使用されない場合の一実施形態による、階層的構造の符号化単位に基づいたビデオ符号化方法及びビデオ復号方法が開示される。
以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそれ自体を示すことができる。
以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセシング対象になるデータを意味する。例えば、空間領域の映像において、ピクセル値またはブロックのレジデュアルがサンプルでもある。
以下、「現在ブロック（current block）」は、符号化または復号する映像のブロックを意味する。
以下、「周辺ブロック（neighboring block）」は、現在ブロックに隣接する符号化されたり復号されたりする少なくとも１つのブロックを示す。例えば、該周辺ブロックは、現在ブロックの上端、現在ブロックの右側上端、現在ブロックの左側、または現在ブロックの左側上端に位置することができる。また空間的に隣接するブロックだけではなく時間的に隣接するブロックを含んでもよい。例えば、時間的に隣接する周辺ブロックは、参照ピクチャの現在ブロックと同一位置（co-located）ブロック、あるいは同一位置ブロックの周辺ブロックを含んでもよい。
まず、図１Ａないし図４５を参照し、一実施形態による、輪郭基盤イントラ予測を行うためのビデオ復号装置及びビデオ符号化装置と、ビデオ復号方法及び符号化方法と、が開示される。
図１Ａは、一実施形態による、輪郭基盤のイントラ予測を行うビデオ符号化装置１０のブロック図である。図１Ｂは、一実施形態による、輪郭基盤のイントラ予測を行うビデオ符号化方法のフローチャートである。
図１Ａを参照すれば、一実施形態によるビデオ符号化装置１０は、セグメント決定部１２、予測遂行部１４及びビットストリーム生成部１６を含んでもよい。
一実施形態によるビデオに含まれた現在ピクチャは、最大サイズの符号化単位である最大符号化単位にも区画される。例えば、現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位にも分割される。一実施形態による最大符号化単位は、サイズ１６ｘ１６，３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズが８より大きい２の累乗である正方形のデータ単位でもある。
一実施形態による符号化単位は、最大サイズ及び深度によっても決定される。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。該最大符号化単位の深度が最上位深度であり、該最小符号化単位の深度が符号化深度でもある。該最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなる、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
前述のように、符号化単位の最大サイズにより、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが深度によって階層的にも分類される。
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。
一実施形態による最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。該深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。
一実施形態による最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割され、符号化単位の個数が増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって深度別符号化誤差が異なるので、位置によって、符号化深度が異なっても決定される。従って、１つの最大符号化単位に対して符号化深度が１以上設定され、最大符号化単位のデータは、１以上の符号化深度の符号化単位によっても区画される。
従って、一実施形態による、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度と決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内において、同一領域では、深度によって階層的に決定され、他の領域については、独立しても決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立しても決定される。
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２にも設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４に設定され、第２最大深度は、５にも設定される。
また、最大符号化単位の予測符号化及び変換が行われもする。該予測符号化及び該変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。
最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれ、生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の辺宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位である現在ブロックに対する予測符号化及び変換について説明する。
一実施形態によるビデオ符号化装置１０は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたり、同一データ単位が使用され、段階別にデータ単位が変更されもする。
例えば、ビデオ符号化装置１０は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基になる、それ以上さらに分割されない符号化単位を「予測単位」と称する。
一実施形態による原本映像は、直線などで示す物体（objecｔ）の境界（boundary）を原本映像内に含んでもよく、映像の現在ブロックは、物体の境界によって、現在ブロックの輪郭を決定することができる。例えば、現在ブロックの輪郭は、現在ブロックのサンプルの値によって表現される物体の境界により、直線、曲線、折れ線などにもなる。決定された現在ブロックの輪郭を利用して、現在ブロックの予測単位であるセグメントにも分割される。
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択されもする。
具体的には、一実施形態によるセグメント決定部１２は、現在ブロックに対して、輪郭に基づいた予測（contour-based prediction）を行うか否かということを決定することができる。すなわち、一実施形態によるセグメント決定部１２は、現在ブロックの予測を行うための予測単位を、現在ブロックに含まれた物体の境界による輪郭に基づいて決定するか否かということを決定することができる。
例えば、輪郭基盤の予測を行うと決定されれば、一実施形態によるセグメント決定部１２は、現在ブロックのサンプル値による輪郭に基づいて、現在ブロックを多様な形態の複数個のセグメントに分割することができる。また、輪郭基盤の予測を行わないと決定されれば、一実施形態によるセグメント決定部１２は、現在ブロックの所定のパーティションタイプのうち１つのパーティションタイプで分割することができる。
輪郭基盤の予測が行われる場合、一実施形態によるセグメント決定部１２は、現在ブロックに対する予測を行うために、現在ブロックから、現在ブロックの輪郭に基づいて分割されるセグメントを決定することができる。一実施形態による現在ブロックの輪郭は、現在ブロックに含まれた物体の境界に対応しても決定される。例えば、一実施形態による現在ブロックの輪郭は、現在ブロックのサンプルの値に基づいて、または現在ブロックの周辺ブロックを利用しても決定される。
一実施形態によるセグメント決定部１２は、現在ブロックの輪郭によって、現在ブロックの輪郭モードを決定することができる。例えば、現在ブロックの輪郭モードは、現在ブロック内での輪郭の方向を示すことができる。
一実施形態による、現在ブロックから、予測のためのセグメントを決定するための輪郭が直線輪郭である場合、現在ブロックのそれぞれの辺（side）のうち輪郭が通過する辺を示す輪郭モードが決定される。例えば、現在ブロックが上辺、右辺、下辺及び左辺を有する場合、現在ブロックの輪郭モードは、現在ブロックの上辺、右辺、下辺及び左辺のうち、輪郭が触れる少なくとも２つの面を示すことができる。
一実施形態による、現在ブロックから、少なくとも１つのセグメントを決定するための輪郭モードは、第１モードないし第６モードのうち１つのモードにも決定される。例えば、ビデオ符号化装置１０は、ＲＤＯ（rate-distortion optimization）方法を利用して、第１モードないし第６モードによって、現在ブロックの符号化／復号をいずれも行い、第１モードないし第６モードのうち最善のＲＤコストを有するモードを選択することができる。
また、一実施形態によるセグメント決定部１２は、決定された現在ブロックの輪郭モードによって、輪郭モード情報を決定することができる。例えば、セグメント決定部１２は、現在ブロックの各辺に数字を割り当て、現在ブロックの輪郭モードが示す辺に対応する数の組み合わせを、現在ブロックの輪郭モード情報として決定することができる。多様な実施形態による、現在ブロックの輪郭及び輪郭モード情報を決定するさらに具体的な方法は、以下、図６ないし図９を参照して後述する。
一実施形態によるセグメント決定部１２は、現在ブロック輪郭の座標に係わる情報を、現在ブロックの周辺ブロックから誘導するか否かということを決定することができる。該輪郭の座標に係わる情報は、該輪郭の位置を特定するための情報であり、該輪郭のｘ軸及びｙ軸の座標を示すことができる。例えば、一実施形態による、現在ブロックの輪郭が単一直線輪郭である場合、現在ブロック輪郭の座標に係わる情報は、単一直線輪郭の開始点を示す第１座標、及び該輪郭の終点を示す第２座標を示す情報でもある。
具体的には、一実施形態によるセグメント決定部１２は、現在ブロック輪郭の座標に係わる情報が、現在ブロックの周辺ブロックから誘導可能である場合、現在ブロック輪郭の座標に係わる情報を周辺ブロックから獲得することができる。または、一実施形態によるセグメント決定部１２は、現在ブロック輪郭の座標に係わる情報が、現在ブロックの周辺ブロックから誘導可能ではない場合、現在ブロックの内部のサンプルを利用して、輪郭の座標に係わる情報を決定することができる。
例えば、一実施形態によるセグメント決定部１２は、現在ブロックの輪郭モードが示す現在ブロックの辺外部に隣接する周辺サンプルが使用可能である場合、現在ブロックの当該辺に位置する輪郭の座標に隣接する周辺サンプルから誘導することができる。例えば、現在ブロックの外部に隣接する周辺サンプルのうち使用可能なサンプルは、現在ブロックの上側または左側に位置するサンプルでもある。
また、一実施形態によるセグメント決定部１２は、現在ブロックの輪郭モードが示す現在ブロックの辺外部に隣接する周辺サンプルが使用可能ではない場合、現在ブロックの当該辺に位置する輪郭の座標を現在ブロックの内部サンプルから決定することができる。例えば、現在ブロックの外部に隣接する周辺サンプルのうち使用可能ではないサンプルは、現在ブロックの下側または右側に位置するサンプルでもある。現在ブロックの輪郭モードが示す現在ブロックの辺外部に隣接する周辺サンプルが使用可能ではない場合、利用される現在ブロック内部のサンプルは、現在ブロックの辺内部に隣接するサンプルでもあり、決定される輪郭の座標は、周辺ブロックから誘導されることがないので、ビデオ復号装置２０にも伝送される。
多様な実施形態による、現在ブロック輪郭の座標を決定するさらに具体的な方法は、以下、図１０ないし図１６Ｂで後述する。
一実施形態によるセグメント決定部１２は、決定された現在ブロック輪郭の座標に係わる情報に基づいて、現在ブロックから予測のための少なくとも１つのセグメントを決定することができる。
現在ブロックの予測のための少なくとも１つのセグメントが決定されれば、一実施形態による予測遂行部１４は、現在ブロックのセグメントの境界を示す境界領域に対して、現在ブロックの輪郭に対応する境界の方向に沿って予測を行うか否かということを決定することができる。すなわち、予測遂行部１４は、現在ブロックの境界領域に含まれるサンプルに係わる予測値を、境界の方向に基づいて決定するか否かということを決定することができる。
一実施形態による予測遂行部１４は、現在ブロックの境界の方向に沿う予測方法と、現在ブロックのマスクを利用した予測方法とのうち最善のＲＤ costを有する予測方法を選択することができる。
一実施形態による現在ブロックの境界領域は、現在ブロックの輪郭が通過するサンプルによって構成される領域でもあり、現在ブロックの輪郭を基準に、所定幅を含む領域でもある。
一実施形態による境界領域の所定幅は、現在ブロックを構成するセグメントの境界に位置するサンプルを中心にする水平方向への所定サンプルの数、または垂直方向へのサンプルの数を示すことができ、該所定幅は、水平方向への距離、または垂直方向への距離だけではなく、現在ブロックを構成するセグメントの境界を基準に、境界に直交する方向への距離を示すこともできる。
一実施形態による予測遂行部１４は、現在ブロックの境界領域の幅を、現在ブロックの周辺ブロックを利用して決定することができる。また、予測遂行部１４は、現在ブロックの境界領域の幅を、複数個の所定サイズ候補のうち、最善のＲＤ costを有する候補に決定することもできる。
一実施形態による予測遂行部１４は、現在ブロックに対して、境界の方向に沿う予測を行うと決定された場合、現在ブロックの境界領域に対して、境界の方向に沿う現在ブロックの周辺サンプルを利用して予測を行うことができる。
一実施形態による現在ブロックの周辺サンプルは、現在ブロックの外部に隣接するサンプルであり、例えば、現在ブロックの上側周辺サンプル、右上側周辺サンプル、左側周辺サンプル及び左下側周辺サンプルを含んでもよい。具体的には、一実施形態による予測遂行部１４は、現在ブロックの周辺サンプルのうち、境界領域の現在サンプルから境界の方向に沿って決定される参照サンプルを決定することができる。
参照サンプルが決定されれば、一実施形態による予測遂行部１４は、現在ブロックの境界領域に含まれたサンプルの予測値を、決定された参照サンプルのサンプル値に基づいて生成することができる。
また、境界領域に対する予測が行われれば、一実施形態による予測遂行部１４は、現在ブロック内において、境界領域を除いた残り領域、すなわち、セグメントに該当する領域に対して予測が行われもする。例えば、セグメント領域に対して、ＤＣモードによるイントラ予測が行われもする。
多様な実施形態による現在ブロックに対して、境界方向による予測を行うさらに具体的な方法は、以下、図３８ないし図４４を参照して後述する。
また、現在ブロックに対して、境界の方向に沿う予測を行わないと決定された場合、一実施形態による、現在ブロックの予測のための少なくとも１つのセグメントが決定されれば、セグメント間の境界を示す現在ブロックのマスクが生成される。
一実施形態による、現在ブロックのマスクは、現在ブロックから分割される少なくとも１つのセグメントの領域、及びセグメント間の境界を判断するためのデータであり、現在ブロックの各サンプルに対応するマスク値の配列でもっても構成される。一実施形態による、現在ブロックのマスク値は、現在ブロックの輪郭と、現在ブロックの各サンプル値との位置関係に基づいても生成される。
多様な実施形態による、現在ブロックのマスクを決定する具体的な方法は、以下、図１７ないし図２１を参照して後述する。
一実施形態による予測遂行部１４は、現在ブロックのセグメントに対して、輪郭に基づいたイントラ予測を行うことができる。
例えば、一実施形態による予測遂行部１４は、現在ブロックの周辺サンプル、及び生成された現在ブロックのマスクを利用して、現在ブロックに対して予測を行うことができる。
具体的には、一実施形態による予測遂行部１４は、現在ブロックのセグメントのサンプル値を、現在ブロックの周辺サンプルを利用して生成することができる。このとき、セグメントのサンプル値は、セグメント領域に含まれたそれぞれのサンプルのサンプル値でもある。例えば、ＤＣモードなどのイントラ予測方式が利用される。参照する現在ブロックの周辺サンプルの位置は、現在ブロックの輪郭モードに基づいても決定される。
一実施形態による予測遂行部１４は、生成された現在ブロックのセグメントのサンプル値に、現在ブロックのマスクを適用することにより、現在ブロックのセグメント予測値が生成される。このとき、該セグメントの予測値は、セグメント領域に含まれたそれぞれのサンプルの予測値でもあり、現在ブロックのセグメントのサンプル値と、現在ブロックのマスク値との加重合計（weighted sum）を利用しても生成される。
多様な実施形態による、現在ブロックのマスクを利用して、現在ブロックの予想値を生成するさらに具体的な方法は、以下、図２２ないし図２６を参照して後述する。
また、一実施形態による予測が行われた現在ブロックに対して、フィルタリングが行われる。例えば、現在ブロックの現在ブロックセグメント間の境界に位置するサンプルの予測値に対して、フィルタリングが行われる。
一実施形態による現在ブロックに対してフィルタリングを行う場合、現在ブロックのサンプルが、現在ブロックの境界に位置するサンプルであるか否かということは、現在ブロックのマスクに基づいても決定される。
多様な実施形態による予測が行われた現在ブロックに対してフィルタリングを行うさらに具体的な方法は、以下、図３７を参照して後述する。
また、一実施形態によるビデオ符号化装置１０は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。
符号化単位変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさのデータ単位を基に変換が行われる。例えば、該変換のためのデータ単位は、イントラモードのためのデータ単位、及びインターモードのためのデータ単位を含んでもよい。
以下、変換の基になるデータ単位は、「変換単位」と称する。符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度によって、ツリー構造による変換単位によっても区画される。
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０に設定され、変換単位の大きさがＮｘＮであるならば、変換深度１に設定され、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２にも設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
符号化深度別符号化情報は、符号化深度だけでなく、予測関連情報及び変換関連情報が必要である。従って、最小符号化誤差を発生させた符号化深度だけでなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどが決定される。
深度別符号化単位の符号化誤差がラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用しても測定される。
一実施形態によるビットストリーム生成部１６は、決定された現在ブロックの符号化及び復号に必要な情報を含むビットストリームを生成することができる。例えば、一実施形態によるビットストリーム生成部１６は、現在ブロックに対して、輪郭に基づいた予測を行うか否かということを示す情報を含むビットストリームを生成することができる。
また、一実施形態によるビットストリーム生成部１６は、現在ブロックの輪郭モードを示す輪郭モード情報を含むビットストリームを生成することができる。
また、一実施形態によるビットストリーム生成部１６は、現在ブロックの輪郭モード情報によって、現在ブロックの輪郭座標に係わる情報を含むビットストリームを生成することができる。例えば、現在ブロックの輪郭モード情報が、現在ブロックの輪郭座標が、現在ブロックの周辺ブロックから誘導可能であるということを示す場合、現在ブロックの輪郭座標に係わる情報は、ビットストリームに含まれない。また、現在ブロックの輪郭モード情報が、現在ブロックの輪郭座標が、現在ブロックの周辺ブロックから誘導可能ではないということを示す場合、現在ブロックの輪郭座標に係わる情報は、ビットストリームに含まれてもよい。
また、一実施形態によるビットストリーム生成部１６は、現在ブロックに対して、境界の方向に沿って予測を行うか否かということを示す情報、現在ブロックの境界領域の幅に係わる情報、現在ブロックの予測値に対してフィルタリングを行うか否かということを示す情報などがビットストリームにさらに含まれてもよい。
また、一実施形態によるビットストリーム生成部１６は、符号化深度に係わる情報、深度別符号化モードに係わる情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などが、ビットストリームにさらに含まれてもよい。
前述のように、ビデオ符号化装置１０は、輪郭に基づいたイントラ予測を行うことにより、復元映像の品質を向上させると共に、映像の予測に必要な情報の量を減らすことにより、伝送効率及び符号化効率を向上させることができる。
以下、輪郭基盤のイントラ予測を行うビデオ符号化装置１０の動作について、図１Ｂを参照して詳細に説明する。
図１Ｂは、一実施形態による、輪郭基盤のイントラ予測を行うビデオ符号化方法のフローチャートである。
１１段階において、一実施形態によるビデオ符号化装置１０は、現在ブロックから、少なくとも１つのセグメントを決定するための輪郭のモードによって決定される輪郭の第１座標及び第２座標が、現在ブロックの周辺ブロックから誘導可能であるか否かということを決定することができる。
具体的には、一実施形態によるビデオ符号化装置１０は、現在ブロックから、少なくとも１つのセグメントを決定するための輪郭のモードを決定することができる。
例えば、ビデオ符号化装置１０は、現在ブロックのサンプルのサンプル値に基づいて、現在ブロックの輪郭を決定することができる。または、ビデオ符号化装置１０は、現在ブロックの外部に隣接する周辺ブロックを利用して、現在ブロックの輪郭を決定することもできる。一実施形態によるビデオ符号化装置１０は、複数個のモードのうち最善のＲＤ costを有するモードを選択することができる。
一実施形態によるビデオ符号化装置１０は、決定された現在ブロックの輪郭のモードに基づいて、現在ブロックの外部に隣接する周辺ブロックから、輪郭の座標が誘導可能であるか否かということを決定することができる。
例えば、ビデオ符号化装置１０は、現在ブロックの輪郭のモードが示す現在ブロックの辺が、現在ブロックの上辺または左辺である場合、現在ブロックの輪郭座標が、現在ブロックの周辺ブロックから誘導可能であると決定することができる。
また、ビデオ符号化装置１０は、現在ブロックの輪郭のモードが示す現在ブロックの辺が、現在ブロックの下辺または右辺である場合、現在ブロックの輪郭座標が、現在ブロックの周辺ブロックから誘導可能ではないと決定することができる。
一実施形態による現在ブロックの輪郭座標が、現在ブロックの周辺ブロックから誘導可能であるか否かということは、輪郭の複数個の座標についてそれぞれ決定される。
１３段階において、一実施形態によるビデオ符号化装置１０は、現在ブロックの周辺ブロックから、輪郭の第１座標及び第２座標が誘導可能である場合、現在ブロックの周辺ブロックから誘導される輪郭の第１座標及び第２座標に基づいて、現在ブロックから、少なくとも１つのセグメントを決定することができる。
具体的には、一実施形態による符号化装置１０は、現在ブロックの輪郭座標が、現在ブロックの周辺ブロックから誘導可能である場合、現在ブロックの周辺ブロックから、輪郭の座標を誘導することができる。
このとき、一実施形態によるビデオ符号化装置１０は、周辺ブロックから誘導可能ではない輪郭の座標は、現在ブロック内のサンプルを利用して決定することができる。このとき現在ブロック内のサンプルは、現在ブロックの輪郭が示す辺に隣接して現在ブロックの内部に位置するサンプルでもある。
一実施形態によるビデオ符号化装置１０は、周辺ブロックのサンプルに対するサンプル値の変化量（gradient）、または現在ブロック内のサンプルに対するサンプル値の変化量に基づいて、現在ブロックの輪郭座標を決定することができる。
また、一実施形態によるビデオ符号化装置１０は、輪郭の座標に基づいて、現在ブロックから予測遂行のための少なくとも１つのセグメントを決定することができる。例えば、一実施形態によるビデオ符号化装置１０は、現在ブロックが、単一直線輪郭に基づいて分割される場合、２つのセグメントを決定することができる。
１５段階において、一実施形態によるビデオ符号化装置１０は、現在ブロックを構成するセグメントの境界を含む境界領域に対して、境界の方向に沿って予測を行うか否かということを決定することができる。
一実施形態によるビデオ符号化装置１０は、現在ブロックの境界の方向に沿う予測方法と、現在ブロックのマスクを利用した予測方法とのうち最善のＲＤ costを有する予測方法を選択することができる。
一実施形態によるビデオ符号化装置１０は、決定された方法によって、現在ブロックに対する予測を行うことができる。
１７段階において、一実施形態によるビデオ符号化装置１０は、境界領域に境界の方向に沿って予測を行うか否かということ示す情報、及び境界の方向を示す輪郭モード情報を符号化することができる。
現在ブロックに対して、境界の方向に沿う予測を行うと決定された場合、一実施形態によるビデオ符号化装置１０は、現在ブロックの境界領域の幅についての情報をさらに符号化することができる。
また、現在ブロックの輪郭モード情報が、現在ブロックの輪郭座標が、現在ブロックの外部に隣接する周辺ブロックから誘導可能である場合、一実施形態によるビデオ符号化装置１０は、現在ブロックの輪郭座標についての情報を符号化せず、現在ブロックの輪郭モード情報が、現在ブロックの輪郭座標が、現在ブロックの周辺ブロックから誘導可能ではない場合、一実施形態によるビデオ符号化装置１０は、現在ブロックの輪郭座標についての情報を符号化することができる。
一実施形態によるビデオ符号化装置１０は、セグメント決定部１２、予測遂行部１４及びビットストリーム生成部１６を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、セグメント決定部１２、予測遂行部１４及びビットストリーム生成部１６がそれぞれの自体プロセッサ（図示せず）によって作動し、該プロセッサ（図示せず）が相互有機的に作動することにより、ビデオ符号化装置１０が全体的に作動することもできる。または、ビデオ符号化装置１０の外部プロセッサ（図示せず）の制御により、セグメント決定部１２、予測遂行部１４及びビットストリーム生成部１６が制御されもする。
一実施形態によるビデオ符号化装置１０は、セグメント決定部１２、予測遂行部１４及びビットストリーム生成部１６の入出力データが保存される１以上のデータ保存部（図示せず）を含んでもよい。また、一実施形態によるビデオ符号化装置１０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
一実施形態によるビデオ符号化装置１０は、ビデオ符号化結果を出力するために、内部に搭載されたビデオエンコーディングプロセッサまたは外部ビデオエンコーディングプロセッサと連繋して作動することにより、変換を含んだビデオ符号化動作を遂行することができる。一実施形態によるビデオ符号化装置１０の内部ビデオエンコーディングプロセッサは、別個のプロセッサでもって、ビデオ符号化動作を具現することができる。また、ビデオ符号化装置１０または中央演算装置、グラフィック演算装置が、ビデオエンコーディングプロセシングモジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も可能である。
図２Ａは、一実施形態による、輪郭基盤のイントラ予測を行うビデオ復号装置のブロック図である。図２Ｂは、一実施形態による、輪郭基盤のイントラ予測を行うビデオ復号方法のフローチャートである。
図２Ａを参照すれば、ビデオ復号装置２０は、セグメント決定部２２及び予測遂行部２４を含んでもよい。
また、ビデオ復号装置２０は、符号化されたビデオに係わるビットストリームを受信してパージングする受信部（図示せず）をさらに含んでもよい。例えば、一実施形態によるビデオ復号装置２０は、符号化単位別に符号化された映像データと、符号化単位の符号化及び復号に必要な情報とをパージングすることができる。
一実施形態によるビデオ復号装置２０は、ビデオの最大符号化単位別符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号し、現在ピクチャを復元する。すなわち、ビデオ復号装置２０は、最大符号化単位に含まれる符号化単位のうちそれぞれの符号化単位ごとに決定された、予測単位、予測モード、変換単位などに係わる情報に基づいて、符号化された映像データを復号することができる。復号過程は、イントラ予測及び動き補償を含む予測過程、及び周波数逆変換過程を含んでもよい。
具体的には、一実施形態によるセグメント決定部２２は、符号化深度の符号化単位に該当する現在ブロックに対して、輪郭に基づいた予測を行うか否かということを決定することができる。すなわち、一実施形態によるセグメント決定部２２は、現在ブロックの予測を行うための予測単位になるセグメントを、現在ブロックに含まれた物体の境界による輪郭に基づいて決定するか否かということを決定することができる。
一実施形態によるセグメント決定部２２は、ビデオ符号化装置１０から受信される予測モードを示す情報を利用して、現在ブロックに対して輪郭に基づいた予測を行うか否かということを決定することができる。例えば、現在ブロックに係わる予測モードを示す情報は、現在ブロックを、正方形または長方形の予測単位を利用する一般的なイントラモードを利用するか、あるいは現在ブロックに含まれた物体の境界による輪郭を利用して分割される予測単位であるセグメントを利用する輪郭基盤イントラ予測モードを利用するかということを示す情報を含んでもよい。
一実施形態によるセグメント決定部２２は、輪郭基盤の予測を行うと決定されれば、現在ブロックの輪郭に基づいて、現在ブロックを、多様な形態の複数個のセグメントに分割することができる。また、一実施形態によるセグメント決定部２２は、輪郭基盤の予測を行わないと決定されれば、現在ブロックを、現在ブロックの所定のパーティションタイプのうち１つのパーティションタイプで分割することができる。
該輪郭基盤の予測が行われる場合、一実施形態によるセグメント決定部２２は、ビットストリームから獲得される現在ブロックのセグメントの個数に係わる情報に基づいて、現在ブロックのセグメントの個数を決定することができる。例えば、現在ブロックのセグメントの個数に係わる情報が、現在ブロックから分割されるセグメントが１個であることを示す場合、現在ブロックは、分割されない。
また、一実施形態によるセグメント決定部２２は、ビットストリームから獲得される現在ブロックの輪郭に係わる情報を利用して、現在ブロックから、少なくとも１つのセグメントを決定することができる。例えば、現在ブロックの輪郭に係わる情報は、輪郭モード情報、及び輪郭の座標に係わる情報を含んでもよい。
具体的には、一実施形態によるセグメント決定部２２は、現在ブロックの輪郭モード情報に基づいて、現在ブロックの輪郭モードを決定し、現在ブロックの輪郭座標に係わる情報を、ビットストリームからパージングするか否かということを決定することができる。例えば、現在ブロックの輪郭座標に係わる情報は、現在ブロック輪郭の第１座標情報及び第２座標情報を含んでもよい。
一実施形態によるセグメント決定部２２は、現在ブロックの輪郭モード情報が、現在ブロックの輪郭座標が、現在ブロックの周辺ブロックから誘導可能な輪郭モードを示す場合、現在ブロックの輪郭座標に係わる情報をパージングしない。例えば、セグメント決定部２２は、現在ブロックの輪郭モードによる輪郭の第１座標または第２座標が、現在ブロックの上辺または左辺に位置する場合、現在ブロック輪郭の第１座標または第２座標をパージングしない。
また、一実施形態によるセグメント決定部２２は、現在ブロックの輪郭モード情報が、現在ブロックの輪郭座標が、現在ブロックの周辺ブロックから誘導可能ではない輪郭モードを示す場合、現在ブロックの内部サンプルを利用して、輪郭の座標を決定することができる。例えば、セグメント決定部２２は、現在ブロックの輪郭モードによる輪郭の第１座標または第２座標が、現在ブロックの下辺または右辺に位置する場合、現在ブロック輪郭の第１座標または第２座標を、ビットストリームからパージングすることができる。
例えば、一実施形態によるセグメント決定部２２は、輪郭の第１座標を、現在ブロックの上側の外部に隣接する周辺ブロックから誘導する場合、現在ブロックに隣接する上側周辺ブロック最下端の一連サンプルのサンプル値を利用して、輪郭の第１座標を誘導することができる。また、一実施形態によるセグメント決定部２２は、輪郭の第２座標を、現在ブロックの左側に位置する周辺ブロックから誘導する場合、現在ブロックに隣接する左側ブロック最右側の一連サンプルのサンプル値を利用して、輪郭の第２座標を誘導することができる。例えば、現在ブロックの輪郭座標は、周辺ブロックの一連サンプルのサンプル値変化量に基づいても決定される。
また、一実施形態によるセグメント決定部２２は、現在ブロックの周辺ブロックから、現在ブロックの輪郭座標を誘導しない場合、ビットストリームから獲得される輪郭の座標情報に基づいて、現在ブロックの輪郭座標を決定することができる。
多様な実施形態による、現在ブロックの輪郭座標を決定するさらに具体的な方法は、以下、図１０ないし図１６Ｂで後述する。
一実施形態によるセグメント決定部２２は、決定された現在ブロックの輪郭に基づいて、現在ブロックから、予測のための少なくとも１つのセグメントを決定することができる。
一実施形態による、現在ブロックの予測のための少なくとも１つのセグメントが決定されれば、セグメント間の境界を判断するための現在ブロックのマスクが生成される。
具体的には、一実施形態による予測遂行部２４は、現在ブロックのそれぞれのサンプルと、現在ブロックの輪郭との位置関係に基づいて、現在ブロックのそれぞれのサンプルに係わるマスク値を決定することができる。一実施形態による、現在ブロックのマスクは、現在ブロックのセグメントの領域、及びセグメント間の境界を示すことができる。
多様な実施形態による、現在ブロックのマスクを決定するさらに具体的な方法は、以下、図１７ないし図２１を参照して後述する。
現在ブロックの予測のための少なくとも１つのセグメントが決定されれば、一実施形態による予測遂行部２４は、現在ブロックのセグメントの境界を含む境界領域に対して、現在ブロックの輪郭に対応する境界の方向に沿って予測を行うか否かということを決定することができる。すなわち、予測遂行部２４は、現在ブロックの境界領域に含まれるサンプルに係わる予測値を、境界の方向に基づいて決定するか否かということを決定することができる。
一実施形態による予測遂行部２４は、ビットストリームから獲得される現在ブロックに、境界の方向に沿って予測を行うか否かということ示す情報を利用して、境界の方向に沿って予測を行うか否かということを決定することができる。一実施形態による現在ブロックの境界領域は、現在ブロックの輪郭が通過するサンプルによって構成される領域でもあり、現在ブロックの輪郭を基準に、所定幅を含む領域でもある。
一実施形態による予測遂行部２４は、現在ブロックの境界領域の幅を、現在ブロックの外部に隣接する周辺ブロックを利用して決定することができる。また、予測遂行部２４は、現在ブロックの境界領域の幅を、ビットストリームからパージングされる境界領域の幅についての情報を利用して決定することもできる。一実施形態による境界領域の幅についての情報は、境界領域の幅を直接示す所定数値情報でもあり、複数個の所定サイズ候補のうち一つを示すインデックス情報でもある。
一実施形態による予測遂行部２４は、現在ブロックに対して、境界の方向に沿う予測を行うと決定された場合、現在ブロックの境界領域に対して、境界の方向に沿う現在ブロックの外部に隣接する周辺サンプルを利用して予測を行うことができる。
例えば、一実施形態による現在ブロックの周辺サンプルは、、現在ブロックの上側周辺サンプル、右上側周辺サンプル、左側周辺サンプル及び左下側周辺サンプルを含んでもよい。具体的には、一実施形態による予測遂行部２４は、現在ブロックの周辺サンプルのうち、境界領域の現在サンプルから境界の方向に沿って決定される参照サンプルを決定することができる。
参照サンプルが決定されれば、一実施形態による予測遂行部２４は、現在ブロックの境界領域に含まれたサンプルの予測値を、決定された参照サンプルのサンプル値に基づいて生成することができる。
また、境界領域に対する予測が行われれば、一実施形態による予測遂行部２４は、現在ブロック内において、境界領域を除いた残り領域、すなわち、セグメントに該当する領域に対して予測が行われもする。例えば、セグメント領域に対してｂＤＣモードによるイントラ予測が行われもする。
多様な実施形態による現在ブロックに対してｂ境界方向による予測を行うさらに具体的な方法は、以下、図３８ないし図４４を参照して後述する。
また、現在ブロックに対して、境界の方向に沿う予測を行わないと決定された場合、一実施形態による予測遂行部２４は、現在ブロックの周辺サンプル、及び生成された現在ブロックのマスクを利用して、現在ブロックに対して予測を行うことができる。
具体的には、一実施形態による予測遂行部２４は、現在ブロックの周辺サンプルを利用して、現在ブロックのセグメントのサンプル値を生成することができる。このとき、セグメントのサンプル値は、セグメント領域に含まれたそれぞれのサンプルのサンプル値でもある。例えば、ＤＣモードなどのイントラ予測方式が利用されてもよい。参照する現在ブロックの周辺サンプルの位置は、現在ブロックの輪郭モードに基づいても決定される。
また、一実施形態による予測遂行部２４は、生成されたセグメント領域に含まれたサンプルのサンプル値に、現在ブロックのセグメントの領域及び境界を示すマスクを適用することにより、現在ブロックのセグメント予測値を生成することができる。このとき、該セグメントの予測値は、セグメント領域に含まれたそれぞれのサンプルの予測値でもあり、現在ブロックのセグメントのサンプル値と、現在ブロックのマスク値との加重合計を利用しても生成される。
多様な実施形態による、現在ブロックの予測値を生成するさらに具体的な方法は、以下、図２２ないし図２６を参照して後述する。
また、一実施形態による予測遂行部２４は、予測が行われた現在ブロックに対してフィルタリングを行うことができる。例えば、現在ブロックの現在ブロックセグメント間の境界に位置するサンプルの予測値に対して、フィルタリングが行われる。
一実施形態による予測遂行部２４は、ビットストリームからパージングされるフィルタリング遂行いかんを示す情報を利用して、現在ブロックの予測値に対して、フィルタリングを行うか否かということを決定することができる。
多様な実施形態による予測が行われた現在ブロックに対してフィルタリングを行う具体的な方法は、以下、図３７を参照して後述する。
一実施形態による、現在ブロックに対して予測が行われて予測ブロックが生成されれば、ビデオ復号装置２０は、予測されたデータを利用して動き補償を行うことにより、ビデオを復元することができる。該動き補償は、予測データ及びレジデュアルデータを合成し、復元映像を再構成する動作を意味する。
以下、輪郭基盤のイントラ予測を行うビデオ復号装置２０の動作について、図２Ｂを参照して後述する。
図２Ｂは、一実施形態による、輪郭基盤のイントラ予測を行うビデオ復号方法のフローチャートである。
２１段階において、一実施形態によるビデオ復号装置２０は、現在ブロックから、少なくとも１つのセグメントを決定するための輪郭モード情報によって決定される輪郭の第１座標及び第２座標が、現在ブロックの周辺ブロックから誘導可能であるか否かということを決定することができる。
具体的には、一実施形態によるビデオ復号装置２０は、現在ブロックから、少なくとも１つのセグメントを決定するための輪郭モード情報をビットストリームから獲得し、現在ブロックの輪郭モード情報を決定することができる。
一実施形態によるビデオ復号装置２０は、ビットストリームから獲得される現在ブロックに係わる予測モードを示す情報を利用して、現在ブロックに対して、輪郭に基づいた予測を行うか否かということを決定することができる。例えば、現在ブロックに係わる予測モードを示す情報は、現在ブロックを正方形または長方形の予測単位を利用する一般的なイントラモードを利用するか、あるいは現在ブロックに含まれた物体の境界による輪郭を利用して分割される予測単位であるセグメントを利用する輪郭基盤イントラ予測モードを利用するかということ示す情報を含んでもよい。
現在ブロックに対して、輪郭に基づいた予測を行うと決定された場合、一実施形態によるビデオ復号装置２０は、ビットストリームから、現在ブロックの輪郭モード情報を獲得することができる。
一実施形態によるビデオ復号装置２０は、獲得された現在ブロックの輪郭モード情報に基づいて、現在ブロックの周辺ブロックから、輪郭の第１座標及び第２座標が誘導可能であるか否かということを決定することができる。
例えば、一実施形態によるビデオ復号装置２０は、現在ブロックの輪郭モード情報が、現在ブロックの輪郭座標が、現在ブロックの上辺または左辺に位置するモードを示す場合、現在ブロックの該当の輪郭座標が、現在ブロックの外部に隣接する周辺ブロックから誘導可能であると判断することができる。また、一実施形態によるビデオ復号装置２０は、現在ブロックの輪郭モード情報が、現在ブロックの輪郭座標が、現在ブロックの下辺または右辺に位置するモードを示す場合、現在ブロックの当該輪郭座標が、現在ブロックの外部に隣接する周辺ブロックから誘導可能ではないと判断することができる。
２３段階において、一実施形態によるビデオ復号装置２０は、現在ブロックの周辺ブロックから、輪郭の第１座標及び第２座標が誘導可能である場合、現在ブロックの周辺ブロックから誘導される輪郭の第１座標及び第２座標に基づいて、現在ブロックから、少なくとも１つのセグメントを決定することができる。
一実施形態による現在ブロックの周辺ブロックは、現在ブロックの上側または左側に隣接するブロックを含んでもよい。
一実施形態によるビデオ復号装置２０は、現在ブロックの輪郭のモードが示す現在ブロックの辺が上辺または左辺である場合、現在ブロックの輪郭座標を現在ブロックの周辺ブロックから誘導可能であると決定することができる。
一実施形態によるビデオ復号装置２０は、現在ブロックの周辺ブロックから、輪郭の第１座標または第２座標が誘導可能ではない場合、誘導可能ではない輪郭の座標についての情報を、ビットストリームから獲得することができる。
一実施形態によるビデオ復号装置２０は、ビットストリームから獲得された現在ブロックの輪郭座標についての情報と、輪郭モード情報とを利用して、現在ブロックから、少なくとも１つのセグメントを決定することができる。
２５段階において、一実施形態によるビデオ復号装置２０は、現在ブロックを構成する決定されたセグメントの境界を含む境界領域に対して、境界の方向に沿って予測を行うか否かということを決定することができる。
一実施形態によるビデオ復号装置２０は、ビットストリームから獲得される現在ブロックに、境界の方向に沿って予測を行うか否かということ示す情報を利用して、境界の方向に沿って予測を行うか否かということを決定することができる。
２７段階において、一実施形態によるビデオ復号装置２０は、境界領域に、境界の方向に沿って予測を行うと決定される場合、境界の方向に沿う現在ブロックの外部に隣接する周辺サンプルを利用して、該境界領域に予測を行うことができる。
一実施形態による現在ブロックの境界領域は、現在ブロックの輪郭が通過するサンプルによって構成される領域でもあり、現在ブロックの輪郭を基準に、所定幅を含む領域でもある。
一実施形態によるビデオ復号装置２０は、現在ブロックの境界領域の幅を、現在ブロックの周辺ブロックを利用して決定することができる。また、一実施形態によるビデオ復号装置２０は、現在ブロックの境界領域の幅を、ビットストリームからパージングされる境界領域の幅についての情報を利用して決定することもできる。一実施形態による境界領域の幅についての情報は、境界領域の幅を直接示す所定数値情報でもあり、複数個の所定サイズ候補のうち一つを示すインデックス情報でもある。
一実施形態によるビデオ復号装置２０は、現在ブロックの周辺サンプルのうち、境界領域の現在サンプルから境界の方向に沿って決定される参照サンプルを決定することができる。
参照サンプルが決定されれば、一実施形態によるビデオ復号装置２０は、現在ブロックの境界領域に含まれたサンプルの予測値を、決定された参照サンプルのサンプル値に基づいて生成することができる。
また、境界領域に対する予測が行われれば、一実施形態によるビデオ復号装置２０は、現在ブロック内において、境界領域を除いた残り領域、すなわち、セグメントに該当する領域に対して予測が行われもする。例えば、セグメント領域に対して、ＤＣモードによるイントラ予測が行われもする。
多様な実施形態による現在ブロックに対して、境界方向による予測を行うさらに具体的な方法は、以下、図３８ないし図４４を参照して後述する。
また、現在ブロックに対して、境界の方向に沿う予測を行わないと決定された場合、一実施形態によるビデオ復号装置２０は、現在ブロックの周辺サンプル、及び生成された現在ブロックのマスクを利用して、現在ブロックに対して予測を行うことができる。
一実施形態によるビデオ復号装置２０は、セグメント間の境界を示す現在ブロックのマスクを生成することができる。一実施形態によるビデオ復号装置２０は、現在ブロックから、少なくとも１つのセグメントを決定する輪郭と現在ブロックのサンプルの間の位置関係に基づいて、現在ブロックのサンプルのマスク値を決定することができる。
また、一実施形態によるビデオ復号装置２０は、現在ブロックの周辺サンプル、及び生成された現在ブロックのマスクを利用して、現在ブロックに対して予測を行うことができる。
一実施形態によるビデオ復号装置２０は、現在ブロックの周辺サンプルを利用して、現在ブロックのセグメント領域に含まれたサンプルのサンプル値を生成することができる。例えば、ＤＣモードなどのイントラ予測方式が利用されることができる。
また、一実施形態によるビデオ復号装置２０は、生成されたセグメント領域に含まれたサンプルのサンプル値に、現在ブロックのセグメントの領域及び境界を示すマスクを適用することにより、現在ブロックのセグメント予測値を生成することができる。
一実施形態によるビデオ復号装置２０は、予測が行われた現在ブロックに対してフィルタリングを行うことができる。例えば、現在ブロックの現在ブロックセグメント間の境界に位置するサンプルの予測値に対して、フィルタリングが行われる。一実施形態によるビデオ復号装置２０は、ビットストリームから受信されるフィルタリング遂行いかんを示す情報を利用して、現在ブロックの予測値に対して、フィルタリングを行うか否かということを決定することができる。
多様な実施形態によるビデオ復号装置２０は、セグメント決定部２２及び予測遂行部２４を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、セグメント決定部２２及び予測遂行部２４がそれぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、ビデオ復号装置２０が全体的に作動することもできる。または、多様な実施形態によるビデオ復号装置２０の外部プロセッサ（図示せず）の制御により、セグメント決定部２２及び予測遂行部２４が制御される。
多様な実施形態によるビデオ復号装置２０は、セグメント決定部２２及び予測遂行部２４の入出力データが保存される１以上のデータ保存部（図示せず）を含んでもよい。ビデオ復号装置２０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
多様な実施形態によるビデオ復号装置２０は、ビデオ復号を介してビデオを復元するために、内部に搭載されたビデオデコーディングプロセッサまたは外部ビデオデコーディングプロセッサと連繋して作動することにより、逆変換を含んだビデオ復号動作を遂行することができる。多様な実施形態によるビデオ復号装置２０の内部ビデオデコーディングプロセッサは、別個のプロセッサだけではなく、ビデオ復号装置２０または中央演算装置、グラフィック演算装置がビデオデコーディングプロセシングモジュールを含むことにより、基本的なビデオ復号動作を具現する場合も含んでもよい。
図３は、一実施形態による、符号化単位に基づいた映像符号化部３００のブロック図を図示している。
一実施形態による映像符号化部３００は、ビデオ符号化装置１０，１００の符号化単位決定部１２０において、映像データを符号化するのに経る作業を遂行する。すなわち、イントラ予測部３１０は、現在フレーム３０５において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部３２０及び動き補償部３２５は、インターモードの現在フレーム３０５及び参照フレーム３９５を利用して、インター推定及び動き補償を行う。
イントラ予測部３１０、動き推定部３２０及び動き補償部３２５から出力されたデータは、変換部３３０及び量子化部３４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部３６０、逆変換部３７０を介して空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部３８０及びオフセット適用部３９０を経て後処理され、参照フレーム３９５として出力される。量子化された変換係数は、エントロピー符号化部３５０を経て、ビットストリーム３５５としても出力される。
一実施形態によるビデオ符号化装置１０，１００に適用されるためには、映像符号化部３００の構成要素である、イントラ予測部３１０、動き推定部３２０、動き補償部３２５、変換部３３０、量子化部３４０、エントロピー符号化部３５０、逆量子化部３６０、逆変換部３７０、デブロッキング部３８０及びオフセット適用部３９０が、いずれも最大符号化単位ごとに、最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行しなければならない。
特に、イントラ予測部３１０、動き推定部３２０及び動き補償部３２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位において、それぞれの符号化単位の予測単位及び予測モードを決定し、変換部３３０は、ツリー構造による符号化単位において、それぞれの符号化単位内の変換単位サイズを決定しなければならない。例えば、イントラ予測部３１０は、図１Ａのセグメント決定部１２が遂行する動作と同一動作を遂行することができる。
図４は、一実施形態による、符号化単位に基づいた映像復号部４００のブロック図を図示している。
図４を参照すれば、パージング部４１０は、ビットストリーム４０５から、復号対象である符号化された映像データ、及び復号のために必要な符号化に係わる情報をパージングする。符号化された映像データは、エントロピー復号部４２０及び逆量子化部４３０を経て逆量子化されたデータとして出力され、逆変換部４４０を経て、空間領域の映像データが復元される。
空間領域の映像データに対して、イントラ予測部４５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部４６０は、参照フレーム４８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。例えば、イントラ予測部４５０は、図２Ａのセグメント決定部２２及び予測遂行部２４で遂行される動作と同一動作を遂行することができる。
イントラ予測部４５０及び動き補償部４６０を経た空間領域のデータは、デブロッキング部４７０及びオフセット適用部４８０を経て後処理され、復元フレーム４９５としても出力される。また、デブロッキング部４７０及びオフセット適用部４８０を経て後処理されたデータは、参照フレーム４８５としても出力される。
ビデオ復号装置２０において映像データを復号するために、一実施形態による映像復号部４００のパージング部４１０以後の段階別作業が遂行される。
一実施形態によるビデオ復号装置２０に適用されるためには、映像復号部４００の構成要素である、パージング部４１０、エントロピー復号部４２０、逆量子化部４３０、逆変換部４４０、イントラ予測部４５０、動き補償部４６０、デブロッキング部４７０及びオフセット適用部４８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を遂行しなければならない。
特に、イントラ予測部４５０、動き補償部４６０は、ツリー構造による符号化単位ごとに、それぞれ予測単位及び予測モードを決定し、逆変換部４４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。
以下、図５Ａないし図５Ｃは、多様な実施形態による、現在ブロックから予測符号化のための予測単位であるセグメントを決定する方法を図示している。
図５Ａは、一実施形態による、現在ブロックから現在ブロックを構成する少なくとも１つのセグメントを決定する方法を、ＨＥＶＣ（high efficiency video coding）で、現在ブロックから予測ブロックを決定する方法と比較説明するための図面である。
一実施形態による原本映像は、直線などで示される物体の境界を、原本映像内に含んでもよく、図５Ａのように、物体の境界を内部に含む現在ブロック５１を含んでもよい。
物体の境界を内部に含む現在ブロック５１を符号化及び復号するために、例えば、ＨＥＶＣにおいては、現在ブロック５１を階層的に分割した所定サイズの予測単位を利用して、イントラ予測を行うことにより、予測映像を生成することができる。すなわち、ＨＥＶＣにおいては、現在ブロック５１を、正方形または長方形の予測単位に階層的に分割して現在ブロック５１を予測するので、予測の精度を高めるためには、物体の境界近辺で、現在ブロック５１を非常に小さい予測単位に分割し、多数の予測単位に対して予測を行わなければならない。
かように、小さい予測単位を利用する場合、ブロック分割いかんを示す分割情報、分割された最小単位のブロック分割形態を示すパーティションタイプ情報、及びブロックの予測モードのようなブロック分割による情報が追加して必要になる。
例えば、図５Ａを参照すれば、ＨＥＶＣにおいては、物体の境界を含む現在ブロック５１に対して予測を行うために、現在ブロック５１を、ブロック５２のように分割し、複数個の予測単位を決定することができる。このとき、現在ブロック５１の分割いかんを示す分割情報、及び現在ブロック５１から分割されたブロック分割いかんを示す分割情報を含むそれぞれのブロック分割いかんを示す分割情報と、分割された最小単位のブロックを構成する予測単位の分割形態を示すパーティションタイプ情報と、が利用されてもよい。例えば、インター予測の場合、１つのブロックに係わる分割情報及びパーティションタイプ情報は、それぞれ１つのビン（binまたはbit）に該当する情報でもある。このとき、現在ブロック５１が、ブロック５２のように分割されるためには、１７個の分割情報と、４０個のパーティションタイプ情報とによる５７ビンの多数の情報が必要である。
一方、一実施形態による、現在ブロックに含まれた物体の境界による輪郭を利用して、現在ブロックから、現在ブロックの予測単位であるセグメントを決定する輪郭基盤イントラ予測符号化（contour-based intra prediction coding）方法によれば、現在ブロック５１は、現在ブロック５１に含まれた物体の境界によって、ブロック５３のようにも分割される。このとき、現在ブロック５１を、ブロック５３のように分割するために必要なブロック分割に係わる情報は、９個のビンに該当する情報であり、ＨＥＶＣによる分割方法を利用する場合よりはるかに少ない。
例えば、一実施形態による現在ブロック５１から、セグメントを決定する方法によれば、現在ブロック５１は、現在ブロック５１に含まれた物体の境界に対応する輪郭により、ブロック５３の４個のセグメントにも分割される。現在ブロック５１は、物体の境界による３本の直線を利用しても分割される。
具体的には、現在ブロック５１から決定されるセグメントの個数に係わる情報、現在ブロック５１から、少なくとも１つのセグメントを決定するための輪郭のモード情報、及び輪郭の座標に係わる情報を利用して、現在ブロック５１から、少なくとも１つのセグメントが決定される。
一実施形態による現在ブロック５１から決定されるセグメントの個数に係わる情報は、現在ブロック５１を構成するセグメントの総個数を示すための情報であり、例えば、現在ブロック５１から分割されるセグメントの個数に係わる情報は、「セグメントの数−１」でもある。現在ブロック５１が分割されない場合、セグメントは、一つになるので、現在ブロック５１から分割されるセグメントの個数に係わる情報は、０にもなる。
一実施形態による現在ブロック５１からセグメントを決定するための輪郭のモード情報は、現在ブロック５１内の物体境界による輪郭の方向を示す情報でもある。
一実施形態による現在ブロック５１から、セグメントを決定するための輪郭座標に係わる情報は、輪郭の位置を特定するための情報であり、例えば、輪郭が直線である場合、輪郭の開始点を示す第１座標、及び輪郭の終点を示す第２座標を含んでもよい。このとき、それぞれの座標情報は、それぞれの座標に係わるｘ座標及びｙ座標によっても表現される。該座標情報は、符号化及び復号されて送受信され、現在ブロック５１、または現在ブロック５１の周辺ブロックからも誘導される。
一実施形態による、現在ブロック５１から現在ブロック５１を構成するセグメントを決定する方法によれば、現在ブロック５１は、輪郭によって分割されることにより、ビデオ符号化装置１０及びビデオ復号装置２０の間で送受信されるデータの量を減らし、伝送効率を高めることができ、符号化効率も高めることができる。また、現在ブロック５１に含まれた物体との境界に対応する輪郭を利用することにより、さらに正確な予測が可能であり、復元映像の誤差を減らすことができる。
一実施形態による、現在ブロック５１から、輪郭基盤の予測のためのセグメントを決定するさらに詳細な方法は、図６ないし図１４を参照して後述する。
図５Ｂは、他の一実施形態による現在ブロック５４から、現在ブロック５４を構成する少なくとも１つのセグメントを決定する方法の一例示を示している。
図５Ｂを参照すれば、一実施形態による現在ブロック５４は、現在ブロック５４に含まれた物体の境界によって、ブロック５５のようにも分割される。現在ブロック５４に含まれた物体の境界は、曲線でもあり、現在ブロック５４は、当該境界に対応する曲線の輪郭、または折直線に沿って、ブロック５５のようにも分割される。例えば、境界に対応する輪郭は、１つの曲線にもなり、現在ブロック５４を構成する２つのセグメントが決定されもする。
一実施形態による現在ブロック５４は、現在ブロック５４の輪郭座標に係わる情報を利用して、少なくとも１つのセグメントにも分割される。一実施形態による、輪郭の座標に係わる情報は、輪郭の位置を特定するための情報であり、例えば、輪郭を特定するために必要な点の個数に係わる情報、及びそれぞれの点の現在ブロック５４内での位置を示す座標情報を含んでもよい。
例えば、図５Ｂを参照すれば、現在ブロック５４は、３点によって特定される輪郭によって、ブロック５５のようにも分割される。このとき、３点によって特定される輪郭は、折直線または曲線にもなる。
このとき、点を利用して輪郭を特定するために、多様なアルゴリズムが利用されてもよい。例えば、piecewise linear curve、conic sectionまたはBezier curveなどが利用されてもよい。
一実施形態による、輪郭を特定するために必要な点の個数に係わる情報（ｎｕｍ＿point＿minus２）は、「点の個数−２」でもあり、ブロック５５の場合必、要な点の個数に係わる情報は、１にもなる。また、３点の座標情報は、輪郭の開始点を示す第１座標（ｓｅｇ＿start）、輪郭の折れ点を示す第２座標（ｓｅｇ＿middle）、及び輪郭の終点を示す第３座標（ｓｅｇ＿end）を含んでもよい。このとき、該座標情報は、符号化及び復号されて送受信され、現在ブロック５４、または現在ブロック５４の周辺ブロックからも誘導される。
一実施形態による現在ブロック５４は、輪郭によって分割されることにより、ビデオ符号化装置１０及びビデオ復号装置２０の間で送受信されるデータの量を減らし、伝送効率を高めることができ、符号化効率も高めることができる。また、現在ブロック５４に含まれた物体との境界に対応する曲線などの輪郭を利用することにより、さらに正確な予測が可能であり、復元映像の誤差を減らすことができる。
図５Ｃは、さらに他の一実施形態による、現在ブロック５６を構成する少なくとも１つのセグメントを決定する方法の一例示を示している。
図５Ｃを参照すれば、一実施形態による現在ブロック５６は、現在ブロック５６に含まれた物体の境界によって、ブロック５７にも分割される。現在ブロック５６に含まれた物体の境界は、１つの閉図形をなすことができ、現在ブロック５６は、当該境界に対応する図形の輪郭によって、ブロック５７にも分割される。例えば、現在ブロック５６から、セグメントを決定するための輪郭は、１つの閉図形にもなり、現在ブロック５６から決定されるセグメントは、それぞれ閉図形の外部と内部との２つのセグメントでもある。
一実施形態による現在ブロック５６は、現在ブロック５６から、セグメントを決定するための輪郭座標に係わる情報を利用して、少なくとも１つのセグメントにも分割される。一実施形態による、現在ブロック５６から、セグメントを決定するための輪郭座標に係わる情報は、輪郭の位置を特定するための情報であり、例えば、輪郭を特定するために必要な点の個数に係わる情報、及びそれぞれの点の現在ブロック５６内での位置を示す座標情報を含んでもよい。
例えば、図５Ｃを参照すれば、現在ブロック５６は、４点によって特定される輪郭によって、ブロック５７のようにも分割される。このとき、４点によって特定される輪郭は、四角形の閉図形にもなる。
一実施形態による、輪郭を特定するために必要な点の個数に係わる情報（ｎｕｍ＿point＿minus２）は、「点の個数−２」でもあり、ブロック５７の場合、必要な点の個数に係わる情報は、２にもなる。また、４点の座標情報は、閉図形の第１座標（ｓｅｇ＿start）、第２座標（ｓｅｇ＿middle）、第３座標（ｓｅｇ＿middle）及び第４座標（ｓｅｇ＿end）を含んでもよい。このとき、該座標情報は、符号化及び復号されて送受信され、現在ブロック５６、または現在ブロック５６の周辺ブロックからも誘導される。
一実施形態による現在ブロック５６は、輪郭によって分割されることにより、ビデオ符号化装置１０及びビデオ復号装置２０の間で送受信されるデータの量を減らし、伝送効率を高めることができ、符号化効率も高めることができる。また、現在ブロック５６に含まれた物体との境界に対応する閉図形などの輪郭を利用することにより、復元映像の誤差を減らすことができる。
図６は、多様な実施形態によって、物体の境界による輪郭を利用して、現在ブロックから、予測符号化のためのセグメントを決定する方法を示している。
図６を参照すれば、多様な実施形態による、現在ブロックから、予測符号化のためのセグメントを決定する方法において、単一直線、複数本の直線、折直線、単一曲線、複数の曲線、または閉図形などが利用されてもよい。
また、単一直線と単一曲線とを同時に利用するというように、かような方法の組み合わせを利用して、現在ブロックから、予測符号化のためのセグメントが決定される。
以下では、単一直線の輪郭を利用して、現在ブロックから、予測符号化のための少なくとも１つのセグメントを決定する方法の具体的な過程について後述する。
図７Ａ及び図７Ｂは、多様な実施形態によ、る現在ブロック７０から、少なくとも１つのセグメントを決定するための輪郭モードについて説明するための図面である。
一実施形態による現在ブロック７０において、現在ブロック７０内の単一直線輪郭が決定され、決定された単一直線輪郭によって、現在ブロック７０を構成する２つのセグメントが決定される。
このとき、一実施形態による現在ブロック７０から分割されるセグメントを決定するための輪郭モードは、現在ブロック７０に含まれた物体の境界によって決定され、輪郭の方向を示すことができる。
図７Ａを参照すれば、一実施形態による現在ブロック７０から、セグメントを決定するために利用される輪郭が直線である場合、現在ブロック７０の４辺のうち、輪郭が通過する辺を特定することにより、輪郭の方向が特定される。例えば、輪郭モード情報は、現在ブロック７０の上辺、右辺、下辺及び左辺のうち、輪郭が当接する少なくとも２辺を示す情報でもある。
一実施形態による現在ブロック７０の４辺にそれぞれ番号を割り当て、該辺に割り当てられた番号の組み合わせとして可能な輪郭の方向をいずれも示すことができる。
例えば、図７Ａを参照すれば、現在ブロック７０の上辺、右辺、下辺及び左辺に、それぞれ０、１、２及び３が割り当てられる。現在ブロック７０の各辺に、時計回り方向に沿って、昇順または降順に番号が割り当てられる。例えば、現在ブロック７０の右辺と左辺とを通過する直線輪郭を利用して、現在ブロック７０が、２つのセグメントに分割される場合、輪郭モード情報は、右辺を示す１と、左辺を示す３とによる「１−３方向」を示すことができる。
図７Ａのように、現在ブロック７０の４辺に番号が割り当てられた場合、現在ブロック７０を分割する直線輪郭の方向は、０−１方向、０−２方向、０−３方向、１−２方向、１−３方向及び２−３方向がありうる。このとき、１−０方向は、０−１方向と同じ方向として省略される。従って、輪郭モード情報は、現在ブロック７０で利用される直線輪郭の６方向のうち１方向を示す情報でもある。
図７Ｂを参照すれば、現在ブロック７０を構成する４辺だけではなく、現在ブロック７０の周辺ブロックを構成する辺まで利用して、現在ブロック７０の輪郭の方向を特定することができる。
例えば、図７Ｂを参照すれば、現在ブロック７０の上辺、右辺、下辺及び左辺に、それぞれ０、１、２及び３が割り当てられ、現在ブロック７０の右側ブロックの上辺、現在ブロック７０の左側ブロックの上辺、現在ブロック７０の左下側ブロックの右辺、及び現在ブロックの上側ブロックの左辺に、それぞれ４、５、６及び７が割り当てられる。
現在ブロック７０を構成する４辺だけではなく、現在ブロック７０の周辺ブロックを構成する辺まで利用することにより、現在ブロック７０の輪郭の方向がさらに多様にもなる。このとき、輪郭の方向を示す輪郭モード情報は、６個を超える方向のうち１方向を示すことができる。
図７Ａ及び図７Ｂの方法以外にも、輪郭の方向を決定するために、現在ブロック７０を構成する辺、または現在ブロック７０の周辺辺に、多様な方式で番号を割り当て、輪郭の方向を特定することができる。
図８は、図７Ａの現在ブロック７０から、少なくとも１つのセグメントを決定するための輪郭モードの例示を示している。
図７Ａの一実施形態による現在ブロック７０を、単一直線の輪郭に基づいて分割する場合、現在ブロック７０は、輪郭の方向に沿って、図８のブロック８０、ブロック８１、ブロック８２、ブロック８３、ブロック８４及びブロック８５のうち１つの形態にも分割される。
すなわち、図７Ａのように、現在ブロック７０の４辺に番号が割り当てられた場合、現在ブロック７０を分割する輪郭の方向を示す輪郭モードは、第１モード（０−１方向）、第２モード（０−２方向）、第３モード（０−３方向）、第４モード（１−２方向）、第５モード（１−３方向）及び第６モード（２−３方向）中うち一つでもある。図８において、ブロック８０、ブロック８１、ブロック８２、ブロック８３、ブロック８４及びブロック８５は、それぞれ輪郭モードが、第１モード、第２モード、第３モード、第４モード、第５モード及び第６モードの場合を示すことができる。
例えば、ブロック８０を参照すれば、ブロック８０を分割する輪郭の一端である開始点が、ブロック８０の上辺に位置して、残り一端である終点がブロック８０の右辺に位置する場合の輪郭モードは、第１モードでもある。このとき、輪郭の開始点が、ブロック８０の上辺のいずれの位置に位置するかということと、終点がブロック８０の右辺のいずれの位置に位置するということとに係わりなく、輪郭モードは、第１モードである。
また、ブロック８１を参照すれば、ブロック８１を分割する輪郭の開始点が、ブロック８１の上辺に位置し、終点が、ブロック８１の下側に位置する場合の輪郭モードは、第２モードでもある。また、ブロック８２を参照すれば、ブロック８２を分割する輪郭の開始点が、ブロック８２の上辺に位置し、終点が、ブロック８２の左辺に位置する場合の輪郭モードは、第３モードでもある。
また、ブロック８３を参照すれば、ブロック８３を分割する輪郭の開始点が、ブロック８３の右辺に位置し、終点が、ブロック８３の下辺に位置する場合の輪郭モードは、第４モードでもある。また、ブロック８４を参照すれば、ブロック８４を分割する輪郭の開始点が、ブロック８４の右辺に位置し、終点が、ブロック８４の左辺に位置する場合の輪郭モードは、第５モードでもある。また、ブロック８５を参照すれば、ブロック８５を分割する輪郭の開始点が、ブロック８５の下辺に位置し、終点が、ブロック８５の左辺に位置する場合の輪郭モードは、第６モードでもある。
一実施形態による、現在ブロック７０から、少なくとも１つのセグメントを決定するための輪郭モードは、第１モードないし第６モードのうち１つのモードにも決定される。例えば、ビデオ符号化装置１０は、ＲＤＯ（rate-distortion optimization）方法を利用して、第１モードないし第６モードによる現在ブロック７０の符号化／復号をいずれも行い、最善のＲＤコストを有するモードを選択することができる。
または、複雑度を下げるために、ビデオ符号化装置１０は、現在ブロック７０の各辺に係わるコストを計算し、計算された各辺に係わるコストに基づいて、現在ブロック７０の輪郭モードを決定することができる。現在ブロック７０の各辺に係わるコストは、各辺に対応するサンプルを利用して計算することができる。例えば、現在ブロック７０の上辺に係わるコストは、現在ブロック７０内に位置し、上辺に接するサンプルを利用して計算することができる。それと同様に、現在ブロック７０の右辺、下辺及び左辺に係わるコストは、それぞれ現在ブロック７０内の右辺隣接サンプル、下辺隣接サンプル及び左辺隣接サンプルを利用して計算することができる。
例えば、一実施形態による各辺に係わるコストは、各辺のサンプルの分散（variance）でもある。ビデオ符号化装置１０は、現在ブロック７０の各辺のうち、辺に対応するサンプルの分散が最大である２辺を選択し、選択された２辺を示す輪郭モードを決定することができる。
このとき、現在ブロック７０の各辺に係わる分散は、ルマ（luma）ブロックについて求めることもでき、ルマブロックとクロマ（chroma）ブロックとをいずれも利用して求めることもできる。または、ルマブロックに係わる分散と、クロマブロックに係わる分散とにそれぞれ異なる加重値（weight）を置き、ルマブロックとクロマブロックとをいずれも利用した分散を求めることもできる。
または、他の一実施形態による現在ブロック７０の各辺に係わるコストは、各辺のサンプルについて、隣接サンプル間の差値の総計でもある。また、さらに他の一実施形態による各辺に係わるコストは、各辺のサンプルについて、一次元ソーベルオペレータ（１Ｄ Sobel operator）を適用した結果値の絶対値総計でもある。
または、一実施形態による、現在ブロック７０の各辺に係わるコストは、現在ブロック７０の各辺に係わる使用可能いかん（availability）を考慮しても計算される。例えば、現在ブロック７０の各辺に係わる使用可能いかんは、現在ブロック７０の各辺の外部に隣接する周辺ブロックの使用可能いかんを示すことができる。
一実施形態によるビデオ符号化装置１０は、各辺に係わる使用可能いかんを考慮し、使用可能ではない辺を含むモードを除いたモードのうち輪郭モードを決定することができる。例えば、現在ブロック７０が映像エッジに位置するブロックである場合、現在ブロック７０の辺のうち一部辺は、使用可能ではない。
または、一実施形態による現在ブロック７０から、少なくとも１つのセグメントを決定するための輪郭モードは、前述の方法を組み合わせても決定される。例えば、現在ブロック７０の各辺に係わるコストを利用して、６個のモードのうち一部のモードを選択し、選択された一部のモードに対して、現在ブロック７０の符号化／復号を行い、最善のＲＤコストを有する１つのモードを、最終の輪郭モードと決定することができる。
図９は、図８の輪郭モードを示す輪郭モード情報の例示を示している。
図８を参照して説明したように、単一直線の輪郭に基づいて、現在ブロックを分割する場合、輪郭の方向を示す輪郭モードは、６個のモードを含んでもよい。このとき、輪郭モードを示す輪郭モード情報は、ＦＬＣ（fixed length coding）、ＶＬＣ（variable length coding）、算術符号化（arithmeti ccoding）のような多様な符号化方式を利用して、符号化及び復号がなされる。
例えば、図９を参照すれば、ＶＬＣ方式を利用する場合、第２モード及び第５モードを示す情報は、２ビットに二進化されて示され、第１モード、第３モード、第４モード及び第６モードを示す情報は、３ビットにも二進化される。
図９を参照すれば、輪郭モードが第１モードである場合（line＿orient０）、輪郭モード情報は、二進数１００によっても表現される。また、輪郭モードが第２モードである場合（line＿orient１）、輪郭モード情報は、二進数００によっても表現される。輪郭モードが第３モードである場合（line＿orient２）、輪郭モード情報は、二進数１０１によっても表現される。輪郭モードが第４モードである場合（line＿orient３）、輪郭モード情報は、二進数１１０によっても表現される。輪郭モードが第５モードである場合（line＿orient４）、輪郭モード情報は、二進数０１によっても表現される。輪郭モードが第６モードである場合（line＿orient５）、輪郭モード情報は、二進数１１１によっても表現される。
ただし、それらに制限されるものではなく、輪郭モード情報は、多様な方式によっても表現される。
ビデオ符号化装置で二進化された輪郭モード情報は、算術符号化を経て、ビットストリームにも含まれ、ビデオ復号装置２０にも伝送される。ビデオ復号装置２０は、受信されたビットストリームに対して算術復号及び逆二進化を行い、現在ブロックの輪郭モード情報を獲得することができる。
以下、図１０ないし図１６Ｂを参照し、多様な実施形態による、現在ブロックから、少なくとも１つのセグメントを決定するための輪郭座標を決定する方法について後述する。
図１０は、一実施形態による現在ブロックを示している。
図１０を参照すれば、現在ブロックは、８ｘ８サイズのブロックでもある。現在ブロックの大きさは、幅ｘ高さで表現され、それ以外にも６４ｘ６４、３２ｘ３２、１６ｘ１６などの大きさを含んでもよい。また、それ以外にも、ＭｘＮのような多様な大きさを含んでもよい。このとき、Ｍ及びＮは、互いに異なる整数でもある。
図１０において、現在ブロック内のサンプルは、白で示され、現在ブロックの周辺サンプルは、灰色で示されている。
一実施形態による、現在ブロックの輪郭座標は、現在ブロック内のサンプルを利用しても決定される。具体的には、輪郭が単一直線輪郭である場合、輪郭モードによって、輪郭モードが示す辺に、輪郭の両端（開始点及び終点）が位置するので、輪郭の座標は、輪郭モードが示す辺に該当する現在ブロック内のサンプルを利用しても決定される。例えば、輪郭の座標は、現在ブロック内のサンプル間におけるサンプル値変化量（gradient）に基づいても決定される。
具体的には、該輪郭モードが、現在ブロックの上辺と右辺とを示す第１モードである場合、輪郭の第１座標は、現在ブロックの上辺に対応する現在ブロック内のサンプルを利用して決定され、輪郭の第２座標は、現在ブロックの右辺に対応する現在ブロック内のサンプルを利用しても決定される。すなわち、輪郭の第１座標は、上辺に内側に隣接するサンプルのうち１つのサンプルの位置にもなり、輪郭の第２座標は、右辺に内側に隣接するサンプルのうち１つのサンプルの位置にもなる。このとき、サンプルの位置は、整数ピクセル単位でもあり、サブピクセル単位でもある。
すなわち、一実施形態による輪郭モードが示す辺に対応する現在ブロック内のサンプルは、現在ブロックの各辺に内側に隣接するサンプルでもある。例えば、現在ブロックの上辺に該当するサンプルは、現在ブロック内の最上端に位置するサンプルでもある。また、現在ブロックの右辺、下辺及び左辺に該当するサンプルは、それぞれ現在ブロック内の最右側サンプル、最下端サンプル及び最左側サンプルでもある。図１０を参照すれば、現在ブロック内の最上端サンプル、最右側サンプル、最下端サンプル及び最左側サンプルは、それぞれ８個の白サンプルでもある。
また、一実施形態による、現在ブロックから、少なくとも１つのセグメントを決定するための輪郭座標は、現在ブロックの周辺ブロックからも誘導される。具体的には、輪郭の座標は、輪郭モードが示す辺の外部に隣接する周辺ブロックを利用しても決定される。例えば、該輪郭の座標は、現在ブロックの周辺ブロック内のサンプル間のサンプル値変化量に基づいても決定される。このとき、周辺ブロック内のサンプルは、復元されたサンプルでもある。
例えば、該輪郭モードが、現在ブロックの上辺と左辺とを示す第３モードである場合、輪郭の第１座標は、現在ブロックの上側外部に隣接する周辺ブロックのサンプルを利用しても誘導される。輪郭の第１座標は、現在ブロックの上側周辺ブロックの最下端サンプルを利用しても決定される。また、輪郭の第２座標は、現在ブロックの左側外部に隣接する周辺ブロックのサンプルを利用しても誘導される。輪郭の第２座標は、現在ブロックの左側周辺ブロックの最右端サンプルを利用しても決定される。
図１０において、一実施形態による輪郭モードが示す辺に隣接する周辺ブロック内のサンプルは、現在ブロックに、上側または左側に隣接するサンプルであり、上側に隣接する８個のサンプル（陰影表示）、及び左側に隣接する８個の灰色サンプル（陰影表示）を含んでもよい。
現在ブロックから、少なくとも１つのセグメントを決定するための輪郭座標を、現在ブロックの周辺ブロックから誘導する場合、誘導された輪郭の座標を調整（refine）し、調整された輪郭の座標を利用して、現在ブロックを符号化及び復号することもできる。
一実施形態によるビデオ符号化装置１０は、現在ブロックの輪郭座標を符号化し、ビデオ復号装置２０に伝送することができる。または、一実施形態によるビデオ符号化装置１０は、現在ブロックの輪郭座標が、現在ブロックの周辺ブロックから誘導が可能である場合、輪郭の座標を伝送しない。
現在ブロックから、少なくとも１つのセグメントを決定するための輪郭座標を、現在ブロックの周辺ブロックから誘導する場合、ビデオ符号化装置１０は、周辺ブロックから誘導された輪郭の座標値と、現在ブロック内のサンプルを利用して決定された輪郭の座標値との差分値を符号化し、ビデオ復号装置２０に伝送することもできる。ビデオ復号装置２０は、受信された差分値と、現在ブロックの周辺ブロックから誘導される輪郭の座標値とに基づいて、現在ブロックの輪郭座標を決定することができる。
図１１は、一実施形態による、現在ブロックから、少なくとも１つのセグメントを決定するための輪郭座標を決定する方法を示している。
図１１を参照すれば、現在ブロック内のサンプル、及び現在ブロックの周辺サンプルが示されている。
現在ブロックから、少なくとも１つのセグメントを決定するための輪郭座標を決定する場合、現在ブロックの輪郭座標は、図１０で説明したように、現在ブロック内のサンプル、または現在ブロックに隣接した周辺サンプルを利用しても決定される。具体的には、現在ブロック内のサンプル、または現在ブロックに隣接した周辺サンプルを、サンプル間において、サンプル値の変化量が最大であるサンプルの位置が、輪郭の座標位置にも決定される。
例えば、現在ブロック内のサンプル、または現在ブロックに隣接した周辺サンプルに、［−１，０，１］のようなフィルタ値を有する一次元ソーベルオペレータを適用し、輪郭座標を決定することができる。具体的には、輪郭の座標は、一次元ソーベルオペレータを適用した結果である絶対値が最大であるサンプルの位置を輪郭の座標と決定することができる。例えば、輪郭の第１座標及び第２座標は、下記数式に基づいても決定される。
line＿ｐｏｓ１＿ｎ＝ａｒｇ ｍａｘｎ（｜Ｓｎ−１−Ｓｎ＋１｜）
line＿ｐｏｓ２＿ｍ＝ａｒｇ ｍａｘｎ（｜Ｓｍ−１−Ｓｍ＋１｜）
このとき、Ｓｎ、Ｓｎ−１及びＳｎ＋１は、それぞれｎ位置のサンプルのサンプル値、ｎ−１位置のサンプルのサンプル値、及びｎ＋１位置のサンプルのサンプル値であり、Ｓｍ、Ｓｍ−１及びＳｍ＋１は、それぞれｍ位置のサンプルのサンプル値、ｍ−１位置のサンプルのサンプル値、及びｍ＋１位置のサンプルのサンプル値である。ｎは、サンプルのｘ座標であり、ｍは、サンプルのｙ座標にもなる。line＿ｐｏｓ１＿ｎは、輪郭の第１座標の座標であり、line＿ｐｏｓ２＿ｍは、輪郭の第２座標のｙ座標でもある。例えば、輪郭モードによる輪郭の第１座標が、現在ブロックの上側に位置する場合、ｎは、現在ブロックの最上端サンプル、または現在ブロックに隣接した上端サンプルのｘ座標になり、輪郭の第１座標は、（line＿ｐｏｓ１＿ｎ，０）にもなる。
また、輪郭モードによる輪郭の第１座標が、現在ブロックの右側に位置する場合、ｎは、現在ブロックの最右側サンプルのｙ座標になり、輪郭の第１座標は、（ｎＣｂＳ−１，line＿ｐｏｓ１＿ｎ）にもなる。ｎＣｂＳは、現在ブロックの水平方向または垂直方向の大きさでもある。
また、輪郭モードによる輪郭の第２座標が、現在ブロックの下側に位置する場合、ｍは、現在ブロックの最下端サンプルのｘ座標になり、輪郭の第２座標は、（line＿ｐｏｓ２＿ｍ，ｎＣｂＳ−１）にもなる。また、輪郭モードによる輪郭の第２座標が、現在ブロックの左側に位置する場合、ｍは、現在ブロックの最左側サンプル、または現在ブロックに隣接した左側サンプルのｙ座標になり、輪郭の第２座標は、（０，line＿ｐｏｓ２＿ｍ）にもなる。
このとき、輪郭の第１座標及び第２座標の値は、整数ピクセル単位でも決定され、サブピクセル単位でも決定される。
例えば、図１１を参照すれば、現在ブロックの輪郭モードが第３モードである場合、輪郭の第１座標は、現在ブロックの上辺の外部に隣接したサンプル、または上辺の内部に隣接したサンプルを利用し、（line＿ｐｏｓ１＿ｎ，０）と決定され、輪郭の第２座標は、現在ブロックの左辺の外部に隣接したサンプル、または左辺の内部に隣接したサンプルを利用し、（０，line＿ｐｏｓ２＿ｍ）とも決定される。
また、他の一実施形態による、現在ブロックの輪郭座標は、輪郭の第１座標を先に決定し、決定された第１座標を利用して、輪郭の第２座標を決定するとも決定される。具体的には、まず、輪郭モードが示す現在ブロックの一辺に対して、前述の方法を利用して、第１座標を決定することができる。例えば、輪郭の第１座標は、下記数式に基づいても決定される。
line＿ｐｏｓ１＿ｎ＝ａｒｇ ｍａｘｎ（｜Ｓｎ−１−Ｓｎ＋１｜）
また、輪郭の第２座標は、輪郭モードが示す現在ブロックの他の一辺に該当するサンプルと、決定された第１座標の周辺サンプルとを利用しても決定される。輪郭の第２座標は、第１座標の周辺サンプルと、第２座標の周辺サンプルとの相関関係（correlation）を利用しても決定される。例えば、輪郭の第２座標は、下記数式に基づいても決定される。
line＿ｐｏｓ２＿ｍ＝ａｒｇ ｍａｘｍ（４＊｜Ｓｍ−１−Ｓｍ＋１｜−｜Ｓｎ−１−Ｓｍ＋１｜−｜Ｓｎ−１−Ｓｍ＋１｜）
このとき、輪郭の第２座標（０，line＿ｐｏｓ２＿ｍ）を求めるとき、あらかじめ決定された輪郭の第１座標の周辺サンプルのサンプル値であるＳｎ−１及びＳｎ＋１を利用することができる。
それ以外にも、境界検出のために使用される多様な方式のオペレータを利用して、現在ブロックの輪郭座標が決定される。
また、現在ブロック内のサンプル、または現在ブロックに隣接した周辺サンプルを利用して、現在ブロックの輪郭座標を決定する場合、現在ブロック内のサンプル、または現在ブロックに隣接した周辺サンプルのサンプル値をそのまま利用することもでき、ノイズ除去などのために、サンプル値にフィルタを適用し、フィルタリングされたサンプル値を利用することもできる。例えば、サンプル値に適用するフィルタは、低域通過フィルタ（low-pass filter）、または［１，２，１］のようなフィルタ値を有する一次元ガウシアンフィルタ（Gaussian filter）でもある。
また、他の一実施形態によれば、輪郭の第１座標または第２座標は、複数個の候補座標のうち一つにも決定される。例えば、現在ブロック内のサンプル、または現在ブロックに隣接した周辺サンプルを利用して、最適コストを有するＮ個の候補座標が決定される。例えば、候補座標のコストは、前述の数式によっても計算される。決定されたＮ個の候補座標のうち一つが、輪郭の第１座標または第２座標とも決定される。例えば、ビデオ符号化装置１０及びビデオ復号装置２０の間で、候補座標のうち１つの候補を示すインデックス情報が送受信される。
図１２ないし図１４は、多様な実施形態による、現在ブロックから、少なくとも１つのセグメントを決定するための輪郭座標を決定する方法を示している。
図１２ないし図１４において、現在ブロックは、８ｘ８サイズのブロックでもある。現在ブロックの大きさは、幅ｘ高さで表現され、それ以外にも、６４ｘ６４、３２ｘ３２、１６ｘ１６などの大きさを含んでもよい。また、それ以外にも、ＭｘＮのような多様な大きさを含んでもよい。このとき、Ｍ及びＮは、互いに異なる大きさの整数でもある。
図１２を参照すれば、現在ブロックは、現在ブロック内のサンプルを利用してセグメントを決定するための輪郭座標を決定することができる。例えば、該輪郭の座標は、現在ブロックの辺に隣接して内部に位置するサンプルのサンプル値を利用しても決定される。
例えば、図１２において、該輪郭モードが第１モードである場合、輪郭の第１座標は、現在ブロック内の上辺に隣接する８個のサンプルを利用して決定され、輪郭の第２座標は、現在ブロック内の右辺に隣接する８個のサンプルを利用しても決定される。このとき、現在ブロックの右側上端のサンプルは、重なるサンプルであり、第１座標の決定と、第２座標の決定とにいずれも利用される。
また、該輪郭モードが第２モードである場合、輪郭の第１座標は、現在ブロック内の上辺に隣接する８個のサンプルを利用して決定され、輪郭の第２座標は、現在ブロック内の下辺に隣接する８個のサンプルを利用しても決定される。
また、該輪郭モードが第３モードである場合、輪郭の第１座標は、現在ブロック内の上辺に隣接する８個のサンプルを利用して決定され、輪郭の第２座標は、現在ブロック内の左辺に隣接する８個のサンプルを利用しても決定される。このとき、現在ブロックの左側上端のサンプルは、重なるサンプルであり、第１座標の決定と、第２座標の決定とにいずれも利用されることができる。
また、輪郭モードが第４モードである場合、輪郭の第１座標は、現在ブロック内の右辺に隣接する８個のサンプルを利用して決定され、輪郭の第２座標は、現在ブロック内の下辺に隣接する８個のサンプルを利用しても決定される。現在ブロックの右側下端のサンプルは、重なるサンプルであり、第１座標の決定と、第２座標の決定とにいずれも利用されることができる。
また、輪郭モードが第５モードである場合、輪郭の第１座標は、現在ブロック内の右辺に隣接する８個のサンプルを利用して決定され、輪郭の第２座標は、現在ブロック内の左辺に隣接する８個のサンプルを利用しても決定される。
また、輪郭モードが第６モードである場合、輪郭の第１座標は、現在ブロック内の下辺に隣接する８個のサンプルを利用して決定され、輪郭の第２座標は、現在ブロック内の左辺に隣接する８個のサンプルを利用しても決定される。現在ブロックの左側下端のサンプルは、重なるサンプルであり、第１座標の決定と、第２座標の決定とにいずれも利用されることができる。
図１３を参照すれば、現在ブロックは、現在ブロック内のサンプルだけではなく、現在ブロックの周辺サンプルを利用して、セグメントを決定するための輪郭座標を決定することができる。現在ブロックの外部に隣接する周辺サンプルが使用可能である場合、輪郭の座標は、現在ブロックに外部に隣接する周辺サンプルのサンプル値を利用しても決定される。例えば、図１３において、現在ブロックの外部に隣接する使用可能な周辺サンプルは、現在ブロックの上辺に隣接する８個のサンプル、または現在ブロックの左辺に隣接する８個のサンプルを含んでもよい。
例えば、図１３において、輪郭モードが第１モードである場合、輪郭の第１座標は、現在ブロックの上辺の外部に隣接する８個の周辺サンプルを利用して決定され、輪郭の第２座標は、現在ブロック内の右辺に隣接する８個のサンプルを利用しても決定される。
また、輪郭モードが第２モードである場合、輪郭の第１座標は、現在ブロックの上辺の外部に隣接する８個の周辺サンプルを利用して決定され、輪郭の第２座標は、現在ブロック内の下辺に隣接する８個のサンプルを利用しても決定される。
また、輪郭モードが第３モードである場合、輪郭の第１座標は、現在ブロックの上辺の外部に隣接する８個の周辺サンプルを利用して決定され、輪郭の第２座標は、現在ブロックの左側の外部に隣接する８個の周辺サンプルを利用しても決定される。
また、輪郭モードが第４モードである場合、輪郭の第１座標は、現在ブロック内の右辺に隣接する８個のサンプルを利用して決定され、輪郭の第２座標は、現在ブロック内の下辺に隣接する８個のサンプルを利用しても決定される。現在ブロックの右側下端のサンプルは、重なるサンプルであり、第１座標の決定と、第２座標の決定とにいずれも利用される。
また、輪郭モードが第５モードである場合、輪郭の第１座標は、現在ブロック内の右辺に隣接する８個のサンプルを利用して決定され、輪郭の第２座標は、現在ブロックの左辺の外部に隣接する８個の周辺サンプルを利用しても決定される。
また、輪郭モードが第６モードである場合、輪郭の第１座標は、現在ブロック内の下辺に隣接する８個のサンプルを利用して決定され、輪郭の第２座標は、現在ブロックの左辺の内部に隣接する８個のサンプルを利用しても決定される。
または、現在ブロックの右辺の外部に隣接した周辺サンプル、または下辺の外部に隣接した周辺サンプルが使用可能である場合、右辺の外部に隣接した周辺サンプル、または下辺の外部に隣接した周辺サンプルを利用して、輪郭の座標を決定することもできる。
一実施形態による、輪郭の座標が、現在ブロックの周辺サンプルを利用して誘導可能である場合、ビデオ符号化装置１０は、誘導可能な輪郭の座標は、ビデオ復号装置２０に伝送せず、誘導可能ではない輪郭の座標に係わる情報だけ伝送することができる。
または、ビデオ符号化装置１０は、誘導可能な輪郭座標の場合、周辺ブロックから誘導された輪郭の座標値と、現在ブロック内のサンプルを利用して決定された輪郭の座標値との差分値を符号化し、ビデオ復号装置２０に伝送することもできる。ビデオ復号装置２０は、ビットストリームから受信された差分値に、周辺ブロックから誘導された輪郭の座標値を加え、現在ブロックの輪郭座標を決定することができる。
図１４を参照すれば、現在ブロックは、現在ブロック内のサンプルだけではなく、現在ブロックの周辺サンプルを利用して、セグメントを決定するための輪郭座標を決定することができる。このとき、一実施形態による、輪郭の座標は、図１３のサンプルを移動（shift）させた位置のサンプルを利用しても決定される。すなわち、現在ブロック内のサンプル、及び現在ブロックの周辺サンプルを、上側、下側、左側または右側の方向に延長させたサンプルが利用されてもよい。
例えば、図１４において、輪郭モードが第１モードである場合、輪郭の第１座標は、現在ブロックの上辺の外部に隣接した８個のサンプルが、左側に１ほど移動された位置の８個のサンプルを利用して決定され、輪郭の第２座標は、現在ブロック内の右辺に隣接した８個のサンプルを利用しても決定される。
また、輪郭モードが第４モードである場合、輪郭の第１座標は、現在ブロック内の右辺に隣接した８個のサンプルが、上側に１ほど移動された位置の８個のサンプルを利用して決定され、輪郭の第２座標は、現在ブロック内の下辺に隣接した８個のサンプルを利用しても決定される。現在ブロックの右側下端のサンプルは、重なるサンプルであり、第１座標の決定と、第２座標の決定とにいずれも利用される。
また、輪郭モードが第６モードである場合、輪郭の第１座標は、現在ブロック内の下辺に隣接する８個のサンプルを利用して決定され、輪郭の第２座標は、現在ブロックの左辺の外部に隣接する８個のサンプルが、上側に１ほど移動された位置の８個のサンプルを利用しても決定される。
一実施形態による、輪郭の座標を移動された位置のサンプルを利用して決定することにより、輪郭の方向を示す２辺が重なる座標を有さず、さらに多様な組み合わせの輪郭座標が決定される。
図１５ないし図１６Ｂは、多様な実施形態による、輪郭の座標をサンプルの精度によって決定する方法を示している。
多様な実施形態による、輪郭の座標は、多様な実施形態によるサンプルの精度（precision）によっても決定される。
例えば、多様な実施形態による、輪郭の座標は、整数ピクセル精度、ハーフ（１／２）ピクセル精度またはクォーター（１／４）ピクセル精度を利用しても示される。図１５を参照すれば、整数ピクセル精度で示されたブロック１５０１、ハーフピクセル精度で示されたブロック１５０２及びクォーターピクセル精度で示されたブロック１５０３は、４ｘ４サイズのブロックでもある。
ブロック１５０１を参照すれば、整数ピクセル精度を利用する場合、ブロック１５０１の左側上端サンプルの中心点を原点（０，０）にし、整数サンプルの位置を表現することができる。ブロック１５０１の整数サンプル位置のｘ座標及びｙ座標は、それぞれ０ないし３の数にも決定される。このとき、一実施形態による、輪郭の座標は、ブロック１５０１内部の整数サンプルの位置にも決定され、ブロック１５０１外部の仮想整数サンプルの位置にも決定される。
また、整数ピクセル精度を利用する場合、ブロック１５０１の左側上端頂点を原点（０，０）にし、各サンプルの辺を整数位置にし、整数サンプルの位置を表現することもできる。
ブロック１５０２またはブロック１５０３を参照すれば、ハーフピクセル精度またはクォーターピクセル精度を利用する場合、ブロック１５０２またはブロック１５０３の左側上端頂点を原点（０，０）にし、ハーフサンプルまたはクォーターサンプルの位置を表現することができる。ブロック１５０２のハーフサンプル位置のｘ座標及びｙ座標は、それぞれ０ないし７の数に決定され、ブロック１５０３のクォーターサンプル位置のｘ座標及びｙ座標は、それぞれ０ないし１５の数にも決定される。
このとき、一実施形態による、輪郭の座標は、ブロック１５０２内部またはブロック１５０３内部のハーフサンプルまたはクォーターサンプルの位置にも決定され、ブロック１５０２外部またはブロック１５０３外部の仮想ハーフサンプルまたは仮想クォーターサンプルの位置にも決定される。
輪郭座標の精度を変換する場合、座標変換関数を利用することができる。例えば、整数ピクセル精度を、ハーフピクセル精度またはクォーターピクセル精度に変換する場合のように、精度をさらに細分化する場合、非全射単射関数（injective non-surjective function）を利用することができる。また、ハーフピクセル精度を整数ピクセル精度に変換したり、クォーターピクセル精度を、整数ピクセル精度またはハーフピクセル精度に変換したりする場合のように精度を下げる場合、非単射全射関数（surjective non-injective function）を利用することができる。
整数ピクセル精度を利用する場合、一実施形態による輪郭座標は、整数サンプルのサンプル値を利用しても決定される。一実施形態による輪郭座標は、周辺整数サンプルとのサンプル値変化が最大である整数サンプルの位置としても決定される。例えば、一実施形態による輪郭座標は、整数サンプルに、［−１，０，１］のようなフィルタ値を有する一次元ソーベルオペレータを適用し、絶対値が最大であるサンプルの位置としても決定される。
例えば、図１６Ａを参照すれば、横一列に羅列された６個の整数サンプルが示されている。図１６Ａにおいて整数サンプルの位置は、それぞれＸで表示され、Ｘの高低は、それぞれのサンプルのサンプル値の大きさを示すことができる。例えば、サンプルのサンプル値は、０ないし２５５の数でもある。
図１６Ａにおいて、整数サンプル間において、サンプル値の変化が最大である整数サンプルの位置は、整数サンプル１６１０の位置でもある。すなわち、整数サンプル１６１０の左側サンプル値と、右側サンプルのサンプル値との差の絶対値が最も大きくなる。一実施形態による輪郭座標は、整数サンプル１６１０の位置としても決定される。
また、図１６Ｂを参照すれば、一実施形態による輪郭座標は、ハーフピクセル精度を利用しても決定される。図１６Ｂにおいて、整数サンプルは、それぞれ大きいＸで表示され、ハーフサンプルは、それぞれ小さいＸでも表示される。サンプルの高低は、それぞれサンプルのサンプル値の大きさを示すことができる。
図１６Ｂにおいて、輪郭座標は、ハーフサンプル１６２１の位置としても決定される。具体的には、ハーフサンプルのようなサブサンプルのサンプル値を、整数サンプルのサンプル値を利用して補間（interpolation）し、生成することができる。例えば、ハーフサンプル１６２１のサンプル値は、左側整数サンプル１６２０と、右側整数サンプル１６２２とのサンプル値を利用して求めることができる。一実施形態による輪郭座標は、生成されたハーフサンプルのサンプル値、及び整数サンプルのサンプル値を利用しても決定される。例えば、該輪郭座標は、ハーフピクセル精度でもって、サンプルに一次元ソーベルオペレータを適用し、絶対値が最大であるサンプル１６２１の位置としても決定される。
また、縦一列に羅列されたサンプルを利用する場合、ハーフピクセル精度でもって、上側サンプルのサンプル値と、下側サンプルのサンプル値とを利用して、輪郭の座標を決定することができる。
また、演算の複雑度を低減させるために、全てのサブサンプルのサンプル値を生成せずに輪郭の座標が決定される。例えば、整数サンプルに基づいて、輪郭の整数座標１６２１を決定し、整数座標１６２０の左側ハーフサンプル１６２３のサンプル値と、右側ハーフサンプル１６２１のサンプル値とを生成することができる。一実施形態による輪郭座標は、左側ハーフサンプル１６２）のサンプル値と、右側ハーフサンプル１６２１のサンプル値とのうち、整数サンプル１６２０の左側サンプル１６２４のサンプル値と、右側サンプル１６２２のサンプル値との平均値と近い値のサンプル値を有する右側ハーフサンプル１６２１の位置としても決定される。
または、縦一列に羅列されたサンプルを利用する場合、整数サンプルの上側整数サンプルのサンプル値と下側整数サンプルのサンプル値とに基づいて整数座標を決定し、決定された整数座標の上側ハーフサンプルと、下側ハーフサンプルとのうち１つのサンプルの位置として輪郭の座標を決定することができる。
以下では、図１７ないし図２０を参照し、現在ブロックを構成するセグメントの領域及び境界を示す現在ブロックのマスクを生成する方法について後述する。
図１７は、一実施形態による現在ブロック１７０１を構成するセグメントの示すマスクの一例示を示している。
図１７を参照すれば、一実施形態による８ｘ８サイズの現在ブロック１７０１に係わるマスクが示されている。現在ブロック１７０１に係わるマスクは、現在ブロック１７０１から分割されるセグメントの領域、及びセグメント間の境界を判断するためのデータであり、現在ブロック１７０１の各サンプルに対応するマスク値の配列でもっても構成される。
一実施形態による現在ブロック１７０１は、現在ブロックの輪郭によって、複数個のセグメント領域にも分割される。また、一実施形態による現在ブロック１７０１の領域は、複数個のセグメント領域とセグメント領域との境界領域１７２０に区分される。例えば、一実施形態による現在ブロックの境界領域１７２０は、現在ブロックの輪郭が通過するサンプルで構成される領域でもあり、現在ブロックの輪郭を中心に、所定幅を有する領域でもある。
具体的には、図１７を参照すれば、現在ブロック１７０１は、直線輪郭１７０５によって、２つのセグメントにも分割される。現在ブロック１７０１は、原点（０，０）を含む左側セグメント、及び原点（０，０）を含まない右側セグメントにも分割される。例えば、原点（０，０）は、現在ブロック１７０１内の左側上端サンプルの位置でもある。
一実施形態による現在ブロック１７０１の左側セグメント領域に含まれるサンプルに係わるマスク値は、いずれも０に決定され、右側セグメント領域に含まれるサンプルに対応するマスク値は、いずれも１にも決定される。このとき、現在ブロック１７０１内のサンプルは、長方形単位または正方形単位のサンプルでもあるために、現在ブロック１７０１のサンプルの位置が、左側セグメント領域または右側セグメント領域に含まれる場合、それ以外にも、輪郭１７０５近辺の境界領域１７２０において、サンプルの位置が、左側セグメント領域及び右側セグメント領域にまたがっている場合がありうる。
従って、一実施形態による、現在ブロック１７０１の左側セグメントと右側セグメントとの境界領域１７２０に含まれるサンプルに係わるマスク値は、図１８を参照して後述する方法によって、０または１にも決定される。
一実施形態による、境界領域１７２０に含まれるサンプルは、現在ブロック１７０１の輪郭１７０５が通過するサンプルであり、図１７としては、１０個のサンプルが境界領域１７２０に含まれてもよい。例えば、現在ブロック１７０１の輪郭１７０５は、（３，５）に位置するサンプル１７１０を通過することができ、輪郭１７０５の一部を含むサンプル１７０１は、境界領域１７２０に含まれてもよい。
また、一実施形態による現在ブロック１７０１の左側セグメント領域に含まれるサンプルに係わるマスク値は、いずれも０に決定され、右側セグメント領域に含まれるサンプルに対応するマスク値は、いずれも２５５（あるいは、２５６）にも決定される。一実施形態による現在ブロック１７０１の左側セグメントと右側セグメントとの境界領域１７２０に含まれるサンプルに対応するマスク値は、図１８を参照して後述する方法によって、０ないし２５５（あるいは、２５６）の値にも決定される。
左側セグメント領域と右側セグメント領域とのサンプルのマスク値は、前述の例示に制限されるものではなく、マスク値のビットデプスによって、他の値にもなる。
一実施形態による現在ブロック１７０１に含まれた全てのサンプルに係わるそれぞれのマスク値が決定されることにより、マスク値を含む現在ブロック１７０１のマスクが生成される。
一実施形態による現在ブロック１７０１のマスクは、現在ブロック１７０１のルマブロック、及び現在ブロック１７０１のクロマブロックについてそれぞれ生成される。または、現在ブロック１７０１のルマブロックに係わるマスクに基づいて、クロマブロックに係わるマスクを生成することもできる。例えば、現在ブロック１７０１のルマブロックに係わるマスクをダウンサンプリングするか、あるいは位相移動を考慮したデシメーション（decimation）を適用し、クロマブロックに係わるマスクを生成することができる。該デシメーションを適用する場合、水平方向への３タップガウシアンフィルタ、及び垂直方向への３タップガウシアンフィルタのうち少なくとも一つを利用することができる。
または、現在ブロック１７０１のルマブロックに係わる輪郭に係わる情報に基づいて、クロマブロックに係わるマスクを生成することもできる。すなわち、現在ブロック１７０１のルマブロックに係わる輪郭の座標を変換し、クロマブロックに係わる輪郭の座標を獲得し、獲得されたクロマブロックに係わる輪郭の座標を利用して、クロマブロックに係わるマスクを生成することができる。
または、現在ブロック１７０１のクロマブロックに係わるマスクを先に生成した後、クロマブロックに係わるマスクを利用して、ルマブロックに係わるマスクを誘導することもできる。
図１８は、図１７の現在ブロック１７０１の境界領域に含まれるサンプル１７１０のマスク値を決定する多様な方法の例示を示している。
図１８を参照すれば、境界領域に含まれるサンプルであるサンプル１８０１、サンプル１８０２及びサンプル１８０３が示されている。図１７の現在ブロック１７０１の境界領域に含まれるサンプル１７１０に対応するマスク値は、図１８のサンプル１８０１、サンプル１８０２またはサンプル１８０３のような方法でも決定される。
具体的には、サンプル１８０１を参照すれば、一実施形態によるサンプル１８０１に対応するマスク値は、サンプル１８０１を通過する輪郭によって生成されるサンプル１８０１内の２つの領域の面積に基づいても決定される。例えば、図１８において、輪郭によって生成されるサンプル１８０１内の２つの領域は、サンプル１８０１の左側領域（または、左上側領域）、及びサンプル１８０１の右側領域（または、右下側領域）でもある。サンプル１８０１の左側領域は、サンプル１８０１の原点であるサンプル１８０１の左側上端頂点を含む領域でもある。
図１７において、現在ブロック１７０１の左側セグメントに含まれるサンプルのマスク値が０であり、右側セグメントに含まれるサンプルのマスク値が１である場合、一実施形態によるサンプル１８０１に対応するマスク値は、輪郭によって生成されるサンプル１８０１内の２つの領域の面積の大きさによっても決定される。サンプル１８０１に対応するマスク値は、サンプル１８０１内の２つの領域の面積を比較し、右側面積（０．７５）が左側面積（０．２５）より広い場合、現在ブロック１７０１の右側セグメントのマスク値のような値である１にも決定される。
また、図１７において、左側セグメントに含まれるサンプルのマスク値が０であり、右側セグメントに含まれるサンプルのマスク値が２５５である場合、一実施形態によるサンプル１８０１に対応するマスク値は、輪郭によって生成されるサンプル１８０１内の２つの領域の面積の大きさに比例しても決定される。例えば、一実施形態によるサンプル１８０１に対応するマスク値は、「（サンプル１８０１の左側領域の広さ＊左側セグメントのマスク値）＋（サンプル１８０１の右側領域の広さ＊右側セグメントのマスク値））／サンプル１８０１の広さ」とも決定される。
例えば、左側領域は、広さが０．２５であり、右側領域の広さが０．７５であり、現在ブロック１７０１の左側セグメントのマスク値が０であり、現在ブロック１７０１の右側セグメントのマスク値が２５５であり、サンプル１８０１の広さが１である場合、サンプル１８０１に対応するマスク値は、１９１．２５にも決定される。または、サンプル１８０１に対応するマスク値は、１９１．２５の値を四捨五入した１９１にも決定される。または、右側セグメントのマスク値が２５６である場合、サンプル１８０１に対応するマスク値は、１９２にも決定される。
このとき、左側セグメントのマスク値は、サンプル１８０１の左側に隣接するサンプルに対応するマスク値でもあり、右側セグメントのマスク値は、サンプル１８０１の右側に隣接するサンプルに対応するマスク値でもある。または、左側セグメントのマスク値は、サンプル１８０１の上側に隣接するサンプルに対応するマスク値でもあり、右側セグメントのマスク値は、サンプル１８０１の下側に隣接するサンプルに対応するマスク値でもある。
また、サンプル１８０２を参照すれば、一実施形態によるサンプル１８０２に対応するマスク値は、サンプル１８０２の中心と、サンプル１８０２を通過する輪郭との垂直距離ｄに基づいても決定される。例えば、図１８において、輪郭によって生成されるサンプル１８０２内の２つの領域は、サンプル１８０２の左側領域（または、左上側領域）、及びサンプル１８０２の右側領域（または、右下側領域）でもある。サンプル１８０２の左側領域は、サンプル１８０２の原点であるサンプル１８０２の左側上端頂点を含む領域でもある。
図１７において、左側セグメントに含まれるサンプルのマスク値が０であり、右側セグメントに含まれるサンプルのマスク値が２５５である場合、一実施形態によるサンプル１８０２に対応するマスク値は、サンプル１８０２の中心と、サンプル１８０１を通過する輪郭との距離ｄに基づいて、０と２５５との中間値にも決定される。例えば、一実施形態によるサンプル１８０２に対応するマスク値は、サンプル１８０２の中心を含む領域が、サンプル１８０２の原点を含む左側領域である場合、１２８−clip３（０，１，ｄ／threshold）＊１２８」にも決定される。また、一実施形態によるサンプル１８０２に対応するマスク値は、サンプル１８０２の中心を含む領域がサンプル１８０２の原点を含まない右側領域である場合、「１２８＋clip３（０，１，ｄ／threshold）＊１２８」にも決定される。
このとき、該thresholdは、あらかじめ設定される閾値であり、境界領域の幅を調節する役割を行い、clip３関数は、次のように定義もされる。
clip３（ａ，ｂ，ｃ）＝ａ（when ｃ＜ａ）、ｂ（when ｃ＞ｂ）、ｏｒ ｃ（when ａ≦ｃ≦ｂ）
前記数式において、１２８の値は、例示的な値であり、マスク値のビットデプスによって、異なる値にもなる。
また、サンプル１８０３を参照すれば、一実施形態によるサンプル１８０３に対応するマスク値は、サンプル１８０３の中心から、サンプル１８０３を通過する輪郭に至る水平距離ｄｘ及び垂直距離ｄｙを利用しても決定される。
また、一実施形態によるサンプル１７１０に対応するマスク値は、サンプル１７１０に係わるコストｃを計算し、サンプル１７１０に係わるコストを０と比較することにより、決定することができる。
サンプル１７１０に係わるコストｃは、当該サンプル１７１０と、現在ブロック１７０１を通過する輪郭との距離を示す値でもある。例えば、一実施形態によるサンプル１７１０に係わるコストは、次のようにも計算される。
ｃ＝ｆ（ｘ，ｙ，ｘ０，ｙ０，ｘ１，ｙ１）＝（ｙ−ｙ０）＊（ｘ１−ｘ０）−（ｘ−ｘ０）＊（ｙ１−ｙ０）
このとき、（ｘ０，ｙ０）は、サンプル１７１０を通過する輪郭１７０５の第１座標であり、（ｘ１，ｙ１）は、サンプル１７１０を通過する輪郭１７０５の第２座標であり、（ｘ，ｙ）は、現在サンプル１７１０の座標でもある。
図１９及び図２０は、多様な実施形態による現在ブロック１９０１のマスクを生成する方法の例示を示している。
図１９を参照すれば、単一直線輪郭を利用して、２個のセグメントに分割される現在ブロック１９０１が示されている。一実施形態による現在ブロック１９０１は、８ｘ８サイズのブロックでもあるが、それは一例示であるのみ、それ以外にも、６４ｘ６４、３２ｘ３２、１６ｘ１６などの大きさのブロックにもなる。
一実施形態による現在ブロック１９０１は、現在ブロック１９０１から、少なくとも１つのセグメントを決定するための輪郭により、２つのセグメントにも分割される。例えば、現在ブロック１９０１は、輪郭によって、第１セグメントと第２セグメントにも分割される。このとき、図１９を参照すれば、第１セグメントは、現在ブロック１９０１の左側（または、左上側）セグメントであり、第２セグメントは、現在ブロック１９０１の右側（または、右下側）セグメントでもある。
現在ブロック１９０１を参照すれば、現在ブロック１９０１の第１セグメントに完全に含まれるサンプルが位置する領域は、第１領域（白）であり、第２セグメントに完全に含まれるサンプルの位置する領域は、第２領域（陰影表示）でもある。また、現在ブロック１９０１のサンプルの一部は、左側セグメントに含まれ、残り一部は、右側セグメントに含まれるサンプルが位置する領域は、境界領域（ドット表示）でもある。
図１９及び図２０の多様な実施形態による現在ブロック１９０１のマスクを生成する方法によれば、現在ブロック１９０１のマスクを構成する現在ブロック１９０１のそれぞれのサンプルに対応するマスク値は、ビットデプスが１であるバイナリー値にも決定される。
具体的には、一実施形態による現在ブロック１９０１のマスクを生成する方法によれば、第１領域に対応するマスク値は、０に決定され、第２領域に対応するマスク値は、１にも決定される。
このとき、ブロック１９０２を参照すれば、現在ブロック１９０１の境界領域に対応するマスク値は、第１領域に対応するマスク値と同一に０にも決定される。または、ブロック１９０３を参照すれば、現在ブロック１９０１の境界領域に対応するマスク値は、第２領域に対応するマスク値と同一に１にも決定される。
また、図２０において、現在ブロック１９０１のマスクを生成するための他の実施形態によれば、現在ブロック１９０１の境界領域に含まれるサンプルのうち一部サンプルに対応するマスク値は、それぞれ０に決定され、残りサンプルに対応するマスク値は、それぞれ１にも決定される。
具体的には、図２０のブロック２００１を参照すれば、現在ブロック１９０１の各サンプルに対して、２以上のビットデプスを有するグレースケール値を決定し、決定されたグレースケール値に基づいて、現在ブロック１９０１の各サンプルに対して、ビットデプスが１であるバイナリー値を決定することにより、現在ブロック１９０１のマスクが生成される。
現在ブロック１９０１のサンプルに対応するグレースケール値は、図１８で説明した境界領域に含まれるサンプルのマスク値を決定する多様な方法によっても決定される。例えば、ビットデプスが８である場合、現在ブロック１９０１のサンプルに対応するグレースケール値は、０ないし２５５の値にもなる。
例えば、ブロック２００１を参照すれば、現在ブロック１９０１の第１領域に対応するマスク値は、０に決定され、第２領域に対応するマスク値は、２５５にも決定される。また、現在ブロック１９０１の境界領域に含まれるサンプルに対応するマスク値は、図１８で説明した多様な方法によって、それぞれ０と２５５との間の値にも決定される。
かように、０ないし２５５の値に決定されたグレースケールのマスク値をバイナリー値に変換することにより、一実施形態による現在ブロック１９０１のマスクを生成することができる。
例えば、ブロック２００２を参照すれば、ブロック２００１のように決定されたそれぞれのサンプルに係わるグレースケールのマスク値に基づいて、バイナリーのマスク値を生成することができる。ブロック２００１の第１領域に対応するグレースケールのマスク値が０である場合、バイナリーマスク値は、０にも決定される。また、ブロック２００１の第２領域に対応するグレースケールのマスク値が２５５である場合、バイナリーマスク値は、１にも決定される。
また、ブロック２００１の境界領域に含まれたサンプルにおいて、サンプルに対応するグレースケールのマスク値が１２８より小さい場合、当該サンプルのバイナリーマスク値は、０に決定され、サンプルに対応するグレースケールのマスク値が１２８より大きいか、あるいはそれと同じである場合、当該サンプルのバイナリーマスク値は、１にも決定される。または、ブロック２００１の境界領域に含まれたサンプルにおいて、サンプルに対応するグレースケールのマスク値が１２８より小さいか、あるいはそれと同じである場合、当該サンプルのバイナリーマスク値は、０に決定され、サンプルに対応するグレースケールのマスク値が１２８より大きい場合、当該サンプルのバイナリーマスク値は、１にも決定される。
ビデオ復号装置２０及びビデオ符号化装置１０は、グレースケールのマスク値を利用して、現在ブロック１９０１の境界をさらに正確に表現することができ、グレースケールのマスク値をバイナリーマスク値に変換して利用することにより、マスクを利用した演算の複雑度を低下させ、効率を高めることができる。
前述の図１９及び図２０の方法が遂行される過程において、現在ブロック１９０１の第１領域を決定するために、多様な方法が利用される。
例えば、現在ブロック１９０１のセグメントにおいて、現在ブロック１９０１の原点（０，０）である左側上端サンプルを含むセグメントに対応する領域が第１領域に決定され、残りセグメントに対応する領域が第２領域にも決定される。
また、他の方法として、現在ブロック１９０１に含まれたサンプルに係わるコストｃを次のように計算し、計算されたコストが０より小さいサンプルの位置は、第１領域と判断することができる。
ｃ＝ｆ（ｘ，ｙ，ｘ０，ｙ０，ｘ１，ｙ１）＝（ｙ−ｙ０）＊（ｘ１−ｘ０）−（ｘ−ｘ０）＊（ｙ１−ｙ０）
このとき、（ｘ０，ｙ０）は、現在ブロック１９０１を通過する輪郭の第１座標であり、（ｘ１，ｙ１）は、輪郭の第２座標であり、（ｘ，ｙ）は、現在ブロック１９０１のサンプルの座標でもある。
図２１は、一実施形態による、現在ブロック２１０１のマスクを生成する方法の例示を示している。
図２１を参照すれば、単一直線輪郭を利用して、少なくとも１つのセグメントに分割される現在ブロック２１０１が示されている。一実施形態による現在ブロック２１０１は、８ｘ８サイズのブロックでもあるが、それは一例示であるのみ、それ以外にも、６４ｘ６４、３２ｘ３２、１６ｘ１６などの大きさのブロックにもなる。
このとき、現在ブロック２１０１を通過する輪郭は、現在ブロック２１０１を２つのセグメントに分割しないので、現在ブロック２１０１は、図１７のように、第１領域、第２領域及び境界領域で分けられない。例えば、図２１を参照すれば、該輪郭が、現在ブロック２１０１の頂点に位置した１つのサンプルのみを通過する場合、現在ブロック２１０１は、１つのセグメントにも分割され、現在ブロック２１０１は、該輪郭が通過する境界領域と、境界領域ではないセグメント領域とに分けられる。
具体的には、図２１において、該輪郭は、現在ブロック２１０１内のサンプルにおいて、左側上端サンプル、左側下端サンプル、右側上端サンプル及び右側下端サンプルのうち１つのサンプルのみを通過することができる。
図２１のような場合、現在ブロック２１０１のマスクは、第１マスク値及び第２マスク値からも構成される。例えば、現在ブロック２１０１の境界領域に含まれるサンプルに対応するマスク値は、第１マスク値と決定され、現在ブロック２１０１の境界領域ではない残り領域に含まれるサンプルに対応するマスク値は、第２マスク値にも決定される。第１マスク値及び第２マスク値は、あらかじめ設定された値であり、マスク値のビットデプスによって異なるようにも設定される。例えば、第１マスク値は、０であり、第２マスク値は、１２７（あるいは、１２８）でもある。または、第１マスク値が２５５（あるいは、２５６）であり、第２マスク値は、０でもある。
一実施形態による現在ブロック２１０１の第１マスク値及び第２マスク値は、現在ブロック２１０１内での境界領域の位置によって異なるようにも設定される。例えば、現在ブロック２１０１の境界領域が、現在ブロック２１０１内の左側上端に位置する場合、第１マスク値及び第２マスク値は、それぞれ０及び１２７に決定され、現在ブロック２１０１の境界領域が、現在ブロック２１０１内の右側上端に位置する場合、第１マスク値及び第２マスク値は、それぞれ２５５及び１２７にも決定される。
図２２は、一実施形態による現在ブロック２２０１のセグメントに対して予測を行う方法を示している。
現在ブロック２２０１から決定された少なくとも１つのセグメントは、イントラ予測（intra prediction）方式を利用しても予測される。
具体的には、図２２を参照すれば、現在ブロック２２０１のセグメントは、イントラＤＣモードを利用しても予測される。イントラＤＣモードは、現在ブロック２２０１が含まれたピクチャ内の現在ブロック２２０１の周辺の参照サンプルを利用して、現在ブロック２２０１のセグメント予測値を生成する方法でもある。例えば、ＤＣモードにおいて、現在ブロック２２０１のセグメント予測値は、ＤＣ値であり、参照される周辺参照サンプルの平均値にもなる。
一方、現在ブロック２２０１内に輪郭が含まれてセグメント間の境界が生じる場合、一実施形態による現在ブロック２２０１のセグメントに係わる予測は、セグメント間の境界を考慮しても行われる。具体的には、現在ブロック２２０１の周辺の参照サンプルに基づいて、ＤＣ値であるセグメントのサンプル値が先に生成され、生成されたセグメントのサンプル値に、セグメントの領域及び境界を示すマスクを適用し、セグメントの予測値が生成される。このとき、該セグメントのサンプル値は、セグメントに対応する領域に含まれるサンプルそれぞれに係わるサンプル値を意味する。また、該セグメントの予測値は、セグメントに対応する領域に含まれるサンプルにそれぞれに対する予測値を意味する。
図２２は、一実施形態による、現在ブロック２２０１の周辺の参照サンプルを利用して、現在ブロック２２０１のセグメントのサンプル値を生成する方法について説明するための図面である。
一実施形態による、現在ブロック２２０１のセグメントのサンプル値は、現在ブロック２２０１の外部に隣接した参照サンプルに基づいても生成される。一実施形態による、現在ブロック２２０１に隣接した参照サンプルは、現在ブロック２２０１の上側外部に隣接した上側参照サンプル、及び左側外部に隣接した左側参照サンプルを含んでもよい。
図２２を参照すれば、現在ブロック２２０１は、現在ブロック２２０１から、少なくとも１つのセグメントを決定するための輪郭モードによって、２つのセグメントにも分割される。このとき、現在ブロック２２０１の２つのセグメントに含まれたサンプルのサンプル値は、現在ブロック２２０１の参照サンプルのうち、それぞれの当該セグメントの外部に隣接する参照サンプルに基づいても生成される。
具体的には、輪郭モードが第１モードである場合、現在ブロック２２０１は、左側セグメント及び右側セグメントにも分割される。現在ブロック２２０１の左側セグメントのサンプル値は、左側セグメントの上側及び左側外部にそれぞれ隣接する上側参照サンプル及び左側参照サンプルに基づいても生成される。例えば、左側セグメントに含まれたサンプルのサンプル値は、左側セグメントの上側参照サンプル、及び左側参照サンプルのサンプル値の平均値としても決定される。このとき、左側セグメントに隣接する上側参照サンプルは、現在ブロック２２０１の隣接する上側周辺サンプルのうち、現在ブロック２２０１の輪郭の第１座標より左側に位置するサンプルを含んでもよい。また、現在ブロック２２０１の右側セグメントのサンプル値は、右側セグメントに隣接する上側参照サンプルに基づいても生成される。このとき、右側セグメントに隣接する上側参照サンプルは、現在ブロック２２０１の隣接する上側周辺サンプルのうち、現在ブロック２２０１の輪郭の第１座標より右側に位置するサンプルを含んでもよい。
また、輪郭モードが第２モードである場合、現在ブロック２２０１は、左側セグメント及び右側セグメントにも分割される。現在ブロック２２０１の左側セグメントのサンプル値は、左側セグメントに隣接する上側参照サンプル及び左側参照サンプルに基づいて生成され、現在ブロック２２０１の右側セグメントのサンプル値は、右側セグメントに隣接する上側参照サンプルに基づいても生成される。このとき、左側セグメントに隣接する上側参照サンプルは、現在ブロック２２０１の隣接する上側周辺サンプルのうち、現在ブロック２２０１の輪郭の第１座標より左側に位置するサンプルを含んでもよく、右側セグメントに隣接する上側参照サンプルは、現在ブロック２２０１の隣接する上側周辺サンプルのうち、現在ブロック２２０１の輪郭の第１座標より右側に位置するサンプルを含んでもよい。
また、輪郭モードが第３モードである場合、現在ブロック２２０１は、左側セグメント及び右側セグメントにも分割される。現在ブロック２２０１の左側セグメントのサンプル値は、左側セグメントに隣接する上側参照サンプル及び左側参照サンプルに基づいても生成される。このとき、左側セグメントに隣接する上側参照サンプルは、現在ブロック２２０１の隣接する上側周辺サンプルのうち、現在ブロック２２０１の輪郭の第１座標より左側に位置するサンプルを含んでもよく、左側セグメントに隣接する左側参照サンプルは、現在ブロック２２０１の隣接する左側周辺サンプルのうち、現在ブロック２２０１の輪郭の第２座標より上側に位置するサンプルを含んでもよい。また、現在ブロック２２０１の右側セグメントのサンプル値は、右側セグメントに隣接する上側参照サンプル及び左側参照サンプルに基づいても生成される。このとき、右側セグメントに隣接する上側参照サンプルは、現在ブロック２２０１の隣接する上側周辺サンプルのうち、現在ブロック２２０１の輪郭の第１座標より右側に位置するサンプルを含んでもよく、右側セグメントに隣接する左側参照サンプルは、現在ブロック２２０１の隣接する左側周辺サンプルのうち、現在ブロック２２０１の輪郭の第２座標より下側に位置するサンプルを含んでもよい。
また、輪郭モードが第４モードである場合、現在ブロック２２０１は、左側セグメント及び右側セグメントにも分割される。現在ブロック２２０１の左側セグメントのサンプル値は、左側セグメントに隣接する上側参照サンプル及び左側参照サンプルに基づいても生成される。このとき、現在ブロック２２０１の右側セグメントのサンプル値は、現在ブロック２２０１の周辺サンプルを利用して生成されずに直接伝送される。例えば、輪郭モードが第４モードである場合、ビデオ復号装置２０は、ビデオ符号化装置１０から、右側セグメントのサンプル値に係わる情報を受信し、サンプル値を生成することができる。または、現在ブロック２２０１の右側セグメントのサンプル値は、現在ブロック２２０１に隣接していない周辺サンプルを利用しても生成され。それに係わるさらに詳細な説明は、図２３を参照して後述する。
また、輪郭モードが第５モードである場合、現在ブロック２２０１は、上側セグメント及び下側セグメントにも分割される。現在ブロック２２０１の上側セグメントのサンプル値は、上側セグメントに隣接する上側参照サンプル及び左側参照サンプルに基づいても生成される。このとき、上側セグメントに隣接する左側参照サンプルは、現在ブロック２２０１の隣接する左側周辺サンプルのうち、現在ブロック２２０１の輪郭の第２座標より上側に位置するサンプルを含んでもよい。また、現在ブロック２２０１の下側セグメントのサンプル値は、下側セグメントに隣接する左側参照サンプルに基づいても生成される。このとき、下側セグメントに隣接する左側参照サンプルは、現在ブロック２２０１の隣接する左側周辺サンプルのうち、現在ブロック２２０１の輪郭の第２座標より下側に位置するサンプルを含んでもよい。
また、輪郭モードが第６モードである場合、現在ブロック２２０１は、左側セグメント及び右側セグメントにも分割される。現在ブロック２２０１の右側セグメントのサンプル値は、右側セグメントに隣接する上側参照サンプル及び左側参照サンプルに基づいても生成される。このとき、右側セグメントに隣接する左側参照サンプルは、現在ブロック２２０１の隣接する左側周辺サンプルのうち、現在ブロック２２０１の輪郭の第２座標より上側に位置するサンプルを含んでもよい。また、現在ブロック２２０１の左側セグメントのサンプル値は、左側セグメントに隣接する左側参照サンプルに基づいても生成される。このとき、左側セグメントに隣接する左側参照サンプルは、現在ブロック２２０１の隣接する左側周辺サンプルのうち、現在ブロック２２０１の輪郭の第２座標より下側に位置するサンプルを含んでもよい。
ただし、セグメントのサンプル値は、参照サンプルのサンプル値の平均値以外にも、参照サンプルのうち１つのサンプルのサンプル値、または参照サンプルのサンプル値の中間値などによっても決定される。
一実施形態による、現在ブロック２２０１のセグメントのサンプル値は、ルマ成分及びクロマ成分に対してそれぞれ生成され、セグメントの予測値も、ルマ成分及びクロマ成分に対してそれぞれ生成される。現在ブロック２２０１の輪郭モードが第４モードである場合、現在ブロック２２０１の右側セグメントのルマ成分のサンプル値は、ビデオ符号化装置１０及びビデオ復号装置２０の間で直接送受信されると決定され、クロマ成分のサンプル値は、ルマ成分のサンプル値から誘導して決定することができる。
一方、現在ブロック２２０１の輪郭モードが第４モードである場合、一実施形態による、現在ブロック２２０１の右側セグメントのサンプル値は、ビデオ符号化装置１０とビデオ復号装置２０との間で送受信される。
しかし、他の実施形態によるビデオ符号化装置１０は、輪郭モードに係わりなく、現在ブロックに隣接した周辺参照サンプルを利用することができる場合にも、正確な予測のために、現在ブロックの全てのセグメントのサンプル値を決定して伝送することもできる。
また、一実施形態によるビデオ符号化装置１０は、現在ブロックのセグメントに含まれたサンプルを利用して獲得した実際セグメントのサンプル値と、周辺参照サンプルを利用して誘導されるセグメントのサンプル値との差値を計算し、ビデオ復号装置２０に伝送することもできる。ビデオ復号装置２０は、現在ブロックの周辺参照サンプルを利用してセグメントの誘導されるセグメントのサンプル値と、ビデオ符号化装置１０から受信される差値とに基づいて、現在ブロックのセグメントのサンプル値を復元することができる。
前述の方法によって、現在ブロック２２０１のセグメントのサンプル値が生成されれば、生成されたセグメントのサンプル値に、セグメントの領域及び境界を示すマスクを適用し、現在ブロック２２０１のセグメント予測値を生成することができる。
具体的には、一実施形態による、現在ブロック２２０１のマスクがバイナリーマスクである場合、現在ブロック２２０１のセグメント予測値は、セグメントのサンプル値に基づいても決定される。例えば、第１セグメントに含まれるサンプルが位置する第１領域のマスク値が０であり、第２セグメントに含まれるサンプルが位置する第２領域のマスク値が１である場合、現在ブロック２２０１の第１セグメントの予測値は、第１セグメントのサンプル値によって決定され、現在ブロック２２０１の第２セグメントの予測値は、第２セグメントのサンプル値によっても決定される。
このとき、現在ブロック２２０１の境界領域に含まれたサンプルの予測値は、境界領域のマスク値によっても決定される。例えば、現在ブロック２２０１の境界領域に含まれたサンプルのうち、マスク値が０であるサンプルの予測値は、同一マスク値を有する第１セグメントのサンプル値によって決定され、マスク値が１であるサンプルの予測値は、同一マスク値を有する第２セグメントのサンプル値によっても決定される。
また、一実施形態による、現在ブロック２２０１のマスクが、バイナリーマスクがグレースケールのマスクである場合、例えば、マスク値のビットデプスが８ビットである場合、現在ブロック２２０１のセグメント予測値は、セグメントのサンプル値に基づいて、下記のようにも計算される。
Ｐ＝（（２５５−Ｍ）＊ＤＣ０＋（Ｍ）＊ＤＣ１＋１２８）＞＞８
このとき、Ｐは、現在ブロック２２０１に含まれたそれぞれのサンプルの予測値を示し、Ｍは、現在ブロック２２０１に含まれたそれぞれのサンプルのマスク値を示す。また、ＤＣ０は、現在ブロック２２０１の第１セグメントのサンプル値を示し、ＤＣ１は、現在ブロック２２０１の第２セグメントのサンプル値を示すことができる。前記数式において、２５５、１２８は、それぞれ現在ブロック２２０１のマスク値のビットデプスによる最大値及び中間値であり、現在ブロック２２０１のマスク値のビットデプスによっても変更される。
前記数式により、マスク値が０である現在ブロック２２０１の第１セグメントの予測値は、第１セグメントのサンプル値によって決定され、マスク値が２５５である現在ブロック２２０１の第２セグメントの予測値は、第２セグメントのサンプル値によっても決定される。このとき、現在ブロック２２０１の境界領域に含まれたサンプルの予測値は、境界領域のマスク値と、第１セグメントのサンプル値及び第２セグメントのサンプル値とを利用しても決定される。
前述のように、一実施形態による、現在ブロック２２０１から決定されたセグメントを考慮し、現在ブロック２２０１を予測する方法によれば、現在ブロック２２０１内に含まれた物体の境界をさらに正確に表現することができる。
一方、一実施形態による、現在ブロック２２０１の輪郭によって決定されたセグメントを考慮し、現在ブロック２２０１を予測する方法と、既存の四角形の予測ブロックを利用するイントラ予測方法及びインター予測方法とを組み合わせ、現在ブロック２２０１の予測ブロックを生成することもできる。
例えば、一実施形態による現在ブロック２２０１の予測ブロックは、下記のようにも生成される。
Ｐ（ｘ，ｙ）＝（Ｐ０（ｘ，ｙ）＋Ｐ１（ｘ，ｙ）＋１）＞＞１
このとき、Ｐ０（ｘ，ｙ）は、一実施形態による、現在ブロック２２０１の輪郭によって決定されたセグメントを考慮し、現在ブロック２２０１を予測する方法による現在ブロック２２０１の予測ブロックを示す。Ｐ１（ｘ，ｙ）は、既存の四角形の予測ブロックを利用するイントラ予測方法またはインター予測方法による現在ブロック２２０１の予測ブロックを示すことができる。Ｐ（ｘ，ｙ）は、現在ブロック２２０１の最終予測ブロックを示すことができる。
例えば、Ｐ１（ｘ，ｙ）は、ＨＥＶＣのプレーナ（planar）モードを利用して生成された現在ブロック２２０１の予測ブロックでもある。または、Ｐ１（ｘ，ｙ）は、ＨＥＶＣのＭＰＭ（most probable mode）規則によって選択された最初モードを利用して生成された現在ブロック２２０１の予測ブロックでもある。
また、一実施形態による、現在ブロック２２０１の最終予測ブロックは、それぞれの予測ブロックに加重値を割り当て、下記のようにも生成される。
Ｐ（ｘ，ｙ）＝（３＊Ｐ０（ｘ，ｙ）＋Ｐ１（ｘ，ｙ）＋２）＞＞２
現在ブロック２２０１の予測ブロックを、前述のような多様な方法の組み合わせによって生成することにより、現在ブロック２２０１内のサンプル値の勾配またはテクスチャ（texture）の表現に係わる符号化効率を高めることができる。現在ブロック２２０１の予測ブロックに対して、前述のような多様な方法を組み合わせる方法は、ブロック単位で選択的にも適用される。
図２３は、一実施形態による、現在ブロック２３０１のセグメントに対して予測を行う方法を示している。
図２３を参照すれば、一実施形態による、輪郭モードが第４モードである現在ブロック２３０１が示されている。
輪郭モードが第４モードである場合、一実施形態による現在ブロック２３０１は、左側（または、左上側）セグメント及び右側（または、右下側）セグメントにも分割される。このとき、現在ブロック２３０１の右側セグメントは、現在ブロック２３０１の上側参照サンプル及び左側参照サンプルのうちいずれの参照サンプルとも隣接しないために、現在ブロック２３０１の右側セグメントのサンプル値は、現在ブロック２３０１の隣接した上側参照サンプル及び左側参照サンプルを利用することができない。
一方、図２３を参照すれば、一実施形態による、現在ブロック２３０１の右側セグメントのサンプル値は、現在ブロック２３０１の周辺サンプルを参照しても生成される。このとき、参照される現在ブロック２３０１の周辺サンプルは、現在ブロック２３０１に隣接するサンプルではない。
具体的には、一実施形態による、現在ブロック２３０１の右側セグメントのサンプル値は、現在ブロック２３０１の外部に隣接する上側サンプル及び左側サンプルを拡張させた位置のサンプルを参照しても生成される。例えば、参照サンプルは、現在ブロック２３０１の上側サンプルを、右側に拡張させた位置のサンプル、及び現在ブロック２３０１の左側サンプルを、下側に拡張させた位置のサンプルでもある。例えば、参照サンプルは、現在ブロック２３０１の右側上端ブロック２３０２の右側下端に位置したサンプル、及び現在ブロック２３０１の左側下端ブロック２３０２の右側下端に位置したサンプルを含んでもよい。
例えば、一実施形態による、現在ブロック２３０１の右側セグメントのサンプル値は、ブロック２３０２の右側下端に位置したサンプルのサンプル値、及びブロック２３０１の左側下端ブロック２３０２の右側下端に位置したサンプルのサンプル値の平均値とも決定される。
また、他の実施形態による現在ブロック２３０１の右側セグメントのサンプル値は、現在ブロック２３０１の隣接するか、あるいは隣接していない周辺の参照サンプルを参照せず、ビデオ符号化装置１０及びビデオ復号装置２０の間で直接送受信される。
具体的には、一実施形態によるビデオ符号化装置１０は、現在ブロック２３０１の右側セグメントに対応する領域に含まれるサンプルのサンプル値を利用して、右側セグメントのサンプル値を決定することができる。例えば、右側セグメントのサンプル値は、現在ブロック２３０１の右側セグメントに対応する領域に含まれるサンプルのサンプル値の平均によっても決定される。一実施形態によるビデオ符号化装置１０は、決定された右側セグメントのサンプル値を、ビデオ復号装置２０に伝送することができる。
このとき、一実施形態による、右側セグメントのサンプル値は、現在ブロック２３０１のサンプルのビットデプスと同一ビットデプスのデータとしても伝送される。または、右側セグメントのサンプル値は、伝送効率のために、量子化を経て、現在ブロック２３０１のサンプルのビットデプスより小さいビットデプスのデータとしても伝送される。
図２４は、多様な実施形態による、現在ブロック２３０１のセグメントのサンプル値を伝送する方法について説明するための図面である。
一実施形態による、現在ブロック２３０１のセグメントのサンプル値が、ビデオ符号化装置１０とビデオ復号装置２０との間で伝送される場合、セグメントのサンプル値は、伝送効率のために、量子化及び逆量子化される。
具体的には、一実施形態によるビデオ符号化装置１０は、決定されたセグメントのサンプル値が８ビットのＤＣ値である場合、決定されたセグメントのサンプル値を、下記のように４ビットの値に均等に（uniformly）量子化することができる。
ＤＣｑｕａｎｔ＝ＤＣｏｒｉｇ＞＞４
このとき、ＤＣｑｕａｎｔは、量子化されたサンプル値でり、ＤＣｏｒｉｇは、量子化以前のサンプル値でもある。または、一実施形態によるビデオ符号化装置１０は、決定されたセグメントのサンプル値を四捨五入し、下記のように、４ビットの値に均等に量子化することもできる。
ＤＣｑｕａｎｔ＝（ＤＣｏｒｉｇ＋８）＞＞４
また、一実施形態によるビデオ復号装置２０は、ビデオ符号化装置１０から受信されたセグメントのサンプル値を、下記のように逆量子化することができる。
ＤＣ＝ＤＣｑｕａｎｔ＜＜４
または、一実施形態によるビデオ復号装置２０は、ビデオ符号化装置１０から受信されたセグメントのサンプル値を、下記のように逆量子化することができる。
ＤＣ＝（ＤＣｑｕａｎｔ＜＜４）＋８
また、他の一実施形態による、ビデオ符号化装置１０とビデオ復号装置２０は、セグメントのサンプル値を、それぞれ非均等に（non-uniformly）量子化及び逆量子化することができる。
具体的には、図２４を参照すれば、現在ブロック２３０１のサンプルのビットデプスが８ビットである場合の非均等（non-uniformly)量子化のための量子化係数が示されている。図２４のグラフを見れば、グラフ内の数字は、量子化以前のサンプル値であり、ｙ座標は、量子化されたサンプル値でもある。ｘ座標は、量子化されたサンプル値がスケーリングされた結果値でもある。
このとき、セグメントのサンプル値は、中間値である１２８近辺で、さらに細密に量子化され、量子化されたサンプル値は、４ビットのデータにスケーリングされる。かような非均等量子化を行う場合、中間値近辺において、サンプル値が存在する確率が高くなるので、符号化効率を高めることができる。
具体的には、一実施形態によるビデオ符号化装置１０は、セグメントのサンプル値を、下記のように非均等量子化することができる。
ＤＣ＝１２８＋（ＤＣＩｄｘ＜７−１，１）＊（（（ＤＣＩｄｘ−７）＊（ＤＣＩｄｘ−７）＊５８５＋１２８）＞＞８）
一方、現在ブロック２３０１の輪郭モードが第４モードである場合、一実施形態による、現在ブロック２３０１の右側セグメントのサンプル値または予測値は、ビデオ符号化装置１０とビデオ復号装置２０との間で送受信される。
しかし、他の一実施形態によるビデオ符号化装置１０は、輪郭モードに係わりなく、現在ブロックに隣接した周辺参照サンプルを利用することができる場合にも、正確な予測のために、現在ブロックの全てのセグメントのサンプル値を伝送することもできる。
図２５及び図２６は、多様な実施形態による、現在ブロック２５１０，２６１０，２６２０の周辺サンプルを利用して、現在ブロックのセグメントのサンプル値を生成する方法を示している。
図２５を参照すれば、８ｘ８サイズの現在ブロック２５１０と、現在ブロック２５１０の隣接した周辺サンプルとが示されている。一実施形態による、現在ブロック２５１０の周辺サンプルは、現在ブロック２５１０の上側周辺サンプル、左側周辺サンプル及び左上側周辺サンプルを含んでもよい。このとき、図２５に示されたサンプルは、ルマ成分のサンプルでもある。
一実施形態による、現在ブロック２５１０のサンプル値は、周辺サンプルのうち一部の参照サンプルを参照しても生成される。例えば、現在ブロック２５１０の周辺サンプルのうち、輪郭までの所定距離以上になる周辺サンプルが参照サンプルにも決定される。
具体的には、図２５を参照すれば、現在ブロック２５１０の輪郭の第１座標２５０１と第２座標２５０２とを利用して、現在ブロック２５１０の参照サンプルが決定される。例えば、現在ブロック２５１０の輪郭の第１座標２５０１と第２座標２５０２は、図１１ないし図１４で説明した方法によって、現在ブロックに隣接したサンプルの位置としても決定される。
一実施形態による、現在ブロック２５１０の参照サンプルは、現在ブロック２５１０の周辺サンプルのうち、輪郭の第１座標２５０１及び第２座標２５０２との距離が所定距離以上になる周辺サンプルにも決定される。例えば、現在ブロック２５１０の輪郭モードが第３モードであるので、現在ブロック２５１０は、現在ブロック２５１０の左上側の第１セグメント及び右下側の第２セグメントにも分割される。
一実施形態による、現在ブロック２５１０の第１セグメントのサンプル値は、第１セグメントに隣接する上側の周辺サンプルのうち、現在ブロック２５１０の輪郭の第１座標２５０１から左側に所定距離以上離れた参照サンプル、及び第１セグメントに隣接する左側の周辺サンプルのうち、現在ブロック２５１０の輪郭の第２座標２５０２から上側に所定距離以上離れた参照サンプルを利用しても決定される。
また、一実施形態による、現在ブロック２５１０の第２セグメントのサンプル値は、第２セグメントに隣接する上側の周辺サンプルのうち、現在ブロック２５１０の輪郭の第１座標２５０１から右側に所定距離以上離れた参照サンプルと、第２セグメントに隣接する左側の周辺サンプルとのうち、現在ブロック２５１０の輪郭の第２座標２５０２から下側に所定距離以上離れた参照サンプルを利用しても決定される。
このとき、該所定距離は、現在ブロック２５１０の大きさ、演算の効率、映像の画質などを考慮し、あらかじめ設定された距離であり、例えば、図２５では、２ピクセルにもなる。
図２６を参照すれば、４ｘ４サイズの現在ブロック２６１０，２６２０と、現在ブロック２６１０，２６２０の隣接した周辺サンプルとが示されている。多様な実施形態による現在ブロック２６１０，２６２０の周辺サンプルは、現在ブロック２６１０，２６２０の上側周辺サンプル、左側周辺サンプル及び左上側周辺サンプルを含んでもよい。このとき、図２６に示されたサンプルは、クロマ成分のサンプルでもある。
一実施形態による、現在ブロック２６１０のサンプル値は、周辺サンプルのうち一部の参照サンプルを利用しても生成される。例えば、現在ブロック２６１０の周辺サンプルのうち、輪郭から所定距離以上離れた周辺サンプルが参照サンプルにも決定される。
具体的には、図２６を参照すれば、現在ブロック２６１０の輪郭の第１座標２６０１及び第２座標２６０２を利用して、現在ブロック２６１０の参照サンプルが決定される。このとき、一実施形態による、クロマ成分の現在ブロック２６１０は、ハーフピクセル精度のブロックでもある。例えば、図２６において、現在ブロック２６１０の輪郭の第１座標２６０１は、現在ブロック２６１０の上側の整数サンプル位置に決定され、第２座標２６０２は、現在ブロック２６１０の左側のハーフサンプル位置としても決定される。
一実施形態による、現在ブロック２６１０の参照サンプルは、現在ブロック２６１０の周辺サンプルのうち、輪郭の第１座標２６０１及び第２座標２６０２と所定距離以上離れた周辺サンプルにも決定される。例えば、現在ブロック２６１０の輪郭モードが第３モードであるので、現在ブロック２６１０は、現在ブロック２６１０の左上側の第１セグメント及び右下側の第２セグメントにも分割される。
一実施形態による、現在ブロック２６１０の第１セグメントのサンプル値は、第１セグメントに隣接する上側の周辺サンプルのうち、現在ブロック２６１０の輪郭の第１座標２６０１から左側に所定距離以上離れた参照サンプルと、第１セグメントに隣接する左側の周辺サンプルのうち、現在ブロック２６１０の輪郭の第２座標２６０２から上側に所定距離以上離れた参照サンプルとを利用しても決定される。
また、一実施形態による、現在ブロック２６１０の第２セグメントのサンプル値は、第２セグメントに隣接する上側の周辺サンプルのうち、現在ブロック２６１０の輪郭の第１座標２６０１から右側に所定距離以上離れた参照サンプルと、第２セグメントに隣接する左側の周辺サンプルのうち、現在ブロック２６１０の輪郭の第２座標２６０２から下側に所定距離以上離れた参照サンプルとを利用しても決定される。
このとき、該所定距離は、ブロックの大きさ、演算の効率、映像の画質などを考慮し、あらかじめ設定された距離であり、例えば、図２６において該所定距離は、図２５のルマブロックである現在ブロック２５１０の半分である１ピクセルにもなる。
または、他の一実施形態による、クロマ成分の現在ブロック２６２０の参照サンプルは、整数ピクセル単位の第１座標２６０３及び第２座標２６０４に基づいても決定される。一実施形態による、クロマ成分の現在ブロック２６２０の輪郭の第１座標２６０３及び第２座標２６０４は、現在ブロック２６２０の整数単位の周辺サンプルの位置に決定され、現在ブロック２６２０の参照サンプルは、決定された第１座標２６０３及び第２座標２６０４から所定距離以上離れた周辺サンプルにも決定される。
図２７は、一実施形態による、ビデオ復号装置２０において、現在ブロックから分割されるセグメントの個数による現在ブロックの予測方法のフローチャートを示している。
一実施形態による現在ブロックは、現在ブロックから分割されるセグメントの個数によって異なる予測方法を利用しても予測される。
具体的には、２７１０段階において、一実施形態による、現在ブロックから分割されるセグメントの個数が決定される。例えば、現在ブロックから分割されるセグメントの個数は、セグメントの個数に係わる情報（ｓｅｇ＿ｎｕｍ＿minus１）に基づいても決定される。
２７２０段階において、現在ブロックから分割されるセグメントの個数が１個である場合、現在ブロックは、現在ブロック内に物体の境界を含まない。このとき、現在ブロックは、１つのセグメントとしても決定される。
また、現在ブロックから決定された１つのセグメントに係わる予測モードが決定される。例えば、現在ブロックから決定された１つのセグメントに係わる予測モードは、現在ブロックの周辺サンプルを利用して、現在ブロックの予測値を生成するＤＣモード、プレーナモード、垂直（vertical）モード、水平（horizontal）モード、またはそれらの組み合わせを示すモードにもなる。
２７３０段階において、現在ブロックから分割されるセグメントの個数が２個である場合、現在ブロックは、物体の境界による輪郭に基づいて、２個のセグメントに分割され、それぞれのセグメントに係わる予測が行われる。
また、２７３０段階は、セグメントの個数が２個である場合だけではなく、３個以上である場合も含んでもよい。
図２８は、一実施形態による、現在ブロックの変換単位による現在ブロックのレジデュアルデータの符号化過程及び復号過程について説明するための図面である。
一実施形態による現在ブロックは、周波数の変換の基になるデータ単位である変換単位にも分割される。このとき、該変換単位は、現在ブロックの輪郭を含む変換単位と、現在ブロックの輪郭を含まない変換単位とに区分して処理される。
具体的には、現在ブロックの輪郭を含まない変換単位の場合、現在ブロックについて生成された予測ブロックと、原本ブロックとの差分によるレジデュアルデータを生成し、変換、量子化及びエントロピーデコーディングを行い、レジデュアルデータを処理することができる。または、現在ブロックの変換単位に対して予測を行い、変換単位に対する予測ブロックと、原本ブロックとの差分によるレジデュアルデータを生成して処理することができる。
また、現在ブロックの輪郭を含む変換単位の場合、現在ブロックについて生成された予測ブロックと、原本ブロックとの差分によるレジデュアルデータを生成することができる。または、現在ブロックの変換単位において、現在ブロックのそれぞれのセグメントの領域を考慮し、予測ブロックを生成して利用することができる。例えば、予測ブロックの生成時には、生成された現在ブロックのマスクが利用され、変換単位に係わるマスクが新たに生成されて利用されてもよい。
また、一実施形態による、現在ブロックの変換単位に対して、変換単位間の境界誤差を低減させるためのフィルタリングが行われる。例えば、図２８を参照すれば、８ｘ８サイズの変換単位が図示されている。
一実施形態による変換単位のエッジに位置したサンプルは、隣接した周辺サンプルに基づいて、フィルタリングされる。例えば、隣接した周辺サンプルは、使用可能なサンプルとして、変換単位の上側サンプル及び左側サンプルを含んでもよく、使用可能な周辺サンプルに隣接した変換単位のエッジに位置したサンプルがフィルタリングされる。
具体的には、変換単位のフィルタリングされるサンプルは、下記のようにフィルタリングされる。
Ｃ＝（Ａ＋Ｂ＋１）＞＞１
このとき、Ｃは、変換単位のサンプルのフィルタリングされたサンプル値を示し、Ｂは、変換単位のサンプルのフィルタリングされる前のサンプル値を示し、Ａは、変換単位のサンプルをフィルタリングするために利用される周辺サンプルのサンプル値を示すことができる。
また、変換単位のフィルタリングされるサンプルが、上側サンプル及び左側サンプルにいずれも隣接する場合（例えば、変換単位内の左上側サンプル）、変換単位のフィルタリングされるサンプルは、下記のように、上側サンプルのサンプル値Ａ０、及び左側サンプルのサンプル値Ａ１をいずれも利用してフィルタリングされる。
Ｃ＝（Ａ０＋Ａ１＋２＊Ｂ＋２）＞＞２
また、変換単位のフィルタリングされるサンプルは、下記のように、サンプル値に互いに異なる加重値をおいてフィルタリングされる。
Ｃ＝（Ａ＋３＊Ｂ＋２）＞＞２
Ｃ＝（Ａ０＋Ａ１＋６＊Ｂ＋４）＞＞３
一実施形態による変換単位に対するフィルタリングは、ルマ成分の変換ブロック、及びクロマ成分の変換ブロックにそれぞれ適用され、演算の複雑度を低減させるために、ルマ成分にのみ適用されもする。
図２９ないし図３１は、多様な実施形態による、現在ブロックの輪郭を、現在ブロックの周辺ブロックから獲得する方法を示している。
図２９は、一実施形態による現在ブロック２９１０の輪郭を、現在ブロック２９１０の周辺ブロック２９２０から獲得する方法を示している。例えば、一実施形態による現在ブロック２９１０の周辺ブロック２９２０は、現在ブロック２９１０に左側に隣接するブロックでもある。
具体的には、ビデオデコーディング過程において、現在ブロック２９１０の周辺ブロック２９２０の復元が完了すれば、周辺ブロック２９２０のブロック分割に係わる情報を利用して、現在ブロック２９１０のブロック分割に係わる情報を獲得することができる。例えば、周辺ブロック２９２０のブロック分割に係わる情報は、輪郭の座標に係わる情報でもある。
例えば、現在ブロック２９１０の輪郭モード情報及び輪郭座標は、現在ブロックの周辺ブロック２９２０の輪郭座標情報を利用しても決定される。
図２９を参照すれば、周辺ブロック２９２０の輪郭は、第１座標２９２１及び第２座標２９２２を通過する単一直線輪郭であり、該輪郭モードは、第１モードでもある。周辺ブロック２９２０の輪郭は、ピクチャ内の物体境界によるので、現在ブロック２９１０の輪郭と連結される可能性が高いので、周辺ブロック２９２０の輪郭延長線上に、現在ブロック２９１０の輪郭の存在する確率が高い。従って、一実施形態による周辺ブロック２９２０の輪郭を、現在ブロック２９１０に向けて拡張させ、現在ブロック２９１０の輪郭を誘導することができる。
例えば、周辺ブロック２９２０の輪郭は、周辺ブロック２９２０の輪郭の第１座標２９２１及び第２座標２９２２に基づいて、現在ブロック２９１０に向けて拡張される。また、周辺ブロック２９２０の輪郭は、周辺ブロック２９２０の輪郭の傾きに基づいて、現在ブロック２９１０の方向に拡張される。
図２９を参照すれば、周辺ブロック２９２０の輪郭を拡張させて獲得される現在ブロック２９１０の輪郭は、第１座標２９１１及び第２座標２９１２を経て、モードが第５モードである直線輪郭としても決定される。
具体的には、一実施形態による現在ブロック２９１０の輪郭を、周辺ブロック２９２０を利用して決定する方法は、次のような過程によっても遂行される。
まず、現在ブロック２９１０の周辺ブロック２９２０の輪郭に係わる情報が使用可能であるか否かということが決定される。例えば、周辺ブロック２９２０が、現在ブロック２９１０より先に復号され、周辺ブロック２９２０内に輪郭が存在する場合、周辺ブロック２９２０の輪郭に係わる情報が使用可能であるとも決定される。このとき、該輪郭に係わる情報は、輪郭モード情報及び座標情報を含んでもよく、周辺ブロック２９２０内に輪郭の存在するか否かということは、周辺ブロック２９２０のセグメント個数に係わる情報に基づいても決定される。
現在ブロック２９１０の周辺ブロック２９２０の輪郭に係わる情報が使用可能であると決定されれば、現在ブロック２９１０の方向に拡張された周辺ブロック２９２０の輪郭が、現在ブロック２９１０を通過するか否かということが決定される。
拡張された周辺ブロック２９２０の輪郭が現在ブロック２９１０を通過するならば、拡張された周辺ブロック２９２０の輪郭に基づいて、現在ブロック２９１０の輪郭モード及び座標を決定することができる。例えば、現在ブロック２９１０のエッジに位置したサンプルのうち、拡張された周辺ブロック２９２０の輪郭が通過するサンプルの位置が、現在ブロック２９１０の輪郭座標にもなり、現在ブロック２９１０の輪郭座標によって、現在ブロック２９１０の輪郭モードが決定される。
このとき、周辺ブロック２９２０の輪郭に係わる情報に係わるサンプル精度が、現在ブロック２９１０のサンプル精度と異なる場合、周辺ブロック２９２０から誘導された現在ブロック２９１０の輪郭に係わる情報を、サンプル精度の差ほど変換し、変換されたサンプル精度による輪郭の情報を利用することができる。例えば、クォーターピクセル精度周辺ブロック２９２０の輪郭に係わる情報を利用して誘導されたクォーターピクセル精度の現在ブロック２９１０の輪郭に係わる情報を、整数ピクセル精度の情報に変換することができる。
また、図３０を参照すれば、現在ブロック３０１０の輪郭に係わる情報は、現在ブロック３０１０の左側ブロックＡ１以外にも、他の周辺ブロックを利用しても獲得される。例えば、現在ブロック３０１０の左側ブロックＡ１、左下側ブロックＡ０、上側ブロックＢ１、右上側ブロックＢ０及び左上側ブロックＢ２が利用され、それ以外にも、現在ブロック３０１０近辺に位置するブロックのうち現在ブロック３０１０より先に復号されたブロックが利用されてもよい。
また、多数の周辺ブロックのうち１つの周辺ブロックを利用する場合、該周辺ブロックを候補にするリストが生成されもする。例えば、周辺ブロックの候補リストは、左側ブロックＡ１、上側ブロックＢ１、右上側ブロックＢ０、左下側ブロックＡ０及び左上側ブロックＢ２を順に含んでもよい。また、周辺ブロックの候補リストは、左側ブロックＡ１、上側ブロックＢ１、左上側ブロックＢ２、右上側ブロックＢ０及び左下側ブロックＡ０を順に含んでもよいが、それらに制限されるものではなく、多様な順序に周辺ブロックを含む周辺ブロックの候補リストが、ビデオ符号化装置１０とビデオ復号装置２０とにおいて同一に生成される。
このとき、複数個の周辺ブロックについて誘導される現在ブロック３０１０の輪郭が同一である場合、複数個の周辺ブロックのうち１つの周辺ブロックだけが候補に含まれるように、周辺ブロックの候補リストを生成することができる。例えば、同一現在ブロック３０１０の輪郭が誘導される候補を除くプルーニング（pruning）過程が遂行されることにより、複数個の周辺ブロックのうち１つの周辺ブロックだけが候補に含まれてもよい。
また、ビデオ符号化装置１０及びビデオ復号装置２０の間で、周辺ブロックの候補リストのうち１つの候補を示すインデックス情報が送受信される。または、周辺ブロックの候補リストが１つの候補のみを含む場合、インデックス情報は、送受信されない。
また、現在ブロック３０１０の輪郭は、周辺ブロックの候補リストに含まれた候補のうち複数個の候補ブロックを利用しても誘導される。
また、現在ブロック３０１０の輪郭は、周辺ブロックから誘導された現在ブロック３０１０の輪郭座標を調整（refine）するとも決定される。例えば、周辺ブロックから誘導された現在ブロック３０１０の輪郭座標は、ｘ軸またはｙ軸に所定値によって移動することによっても調整される。該所定値は、＋１、−１、＋２、−２などの値にもなる。
また、周辺ブロックの輪郭座標を調整し、調整された周辺ブロックの輪郭に係わる情報が、現在ブロック３０１０の輪郭の獲得に利用される周辺ブロックの候補リストに含まれてもよい。
また、周辺ブロックから誘導される現在ブロック３０１０の輪郭に係わる情報を、予測データとして利用することもできる。例えば、ビデオ復号装置２０は、現在ブロック３０１０内のサンプルを利用して決定される現在ブロック３０１０の輪郭に係わる情報と、周辺ブロックから誘導される現在ブロック３０１０の輪郭に係わる情報との差分値を符号化し、ビデオ復号装置２０に伝送することができる。ビデオ復号装置２０は、受信される差分値と、現在ブロックの周辺ブロックから誘導される現在ブロック３０１０の輪郭に係わる情報とに基づいて、現在ブロック３０１０の輪郭座標を決定することにより、さらに正確な現在ブロック３０１０の復号が可能である。
また、ビデオ符号化装置１０及びビデオ復号装置２０において、周辺ブロックの候補リストを生成する場合、候補リストは、デフォルトブロックをさらに含んでもよい。具体的には、候補リストに含まれた周辺ブロック候補が、所定個数より少ない場合、該候補リストは、デフォルトブロックをさらに含んでもよい。例えば、該候補リストに係わる所定個数は、５個でもある。図３１を参照すれば、デフォルトブロックの例示が示されている。例えば、該リストに含まれた周辺ブロック候補が所定個数より少ない場合、図３１のデフォルトブロックが順に候補リストに含まれてもよい。
また、現在ブロック３０１０の周辺ブロックが、輪郭によって符号化されず、周辺ブロックの輪郭に係わる情報がない場合、復元された周辺ブロックに基づいて、周辺ブロックの輪郭に係わる情報を生成することができる。復元された周辺ブロックに基づいて生成された周辺ブロックの輪郭に係わる情報は、バッファに保存されていて、現在ブロック３０１０の符号化時、現在ブロック３０１０の輪郭の決定にも利用される。このとき、ビデオ復号装置２０においても、同一方法によって復元された周辺ブロックを利用して、現在ブロック３０１０を復号することができる。
また、一実施形態による物体の境界による輪郭に基づいて符号化された現在ブロック３０１０が、ブロック単位に復号される場合、一般的なブロック単位の予測方法（例えば、ＨＥＶＣのイントラ予測）のうち１つのモードが選択される。
具体的には、現在ブロック３０１０の予測モードは、現在ブロック３０１０のＭＰＭ（most probable mode）モードリストのうち最初モードによっても決定される。例えば、現在ブロック３０１０のＭＰＭモードリストは、現在ブロック３０１０に隣接した左側ブロックまたは上側ブロックのモードを含んでもよい。また、現在ブロック３０１０のＭＰＭモードリストは、プレーナモード、ＤＣモード、垂直モードなどをさらに含んでもよい。または、現在ブロック３０１０の予測モードは、ＤＣモードとも決定され、現在ブロック３０１０の予測モードは、現在ブロック３０１０の輪郭の勾配と最も類似した角度のアンギュラ（angular）モードとも決定される。
また、一実施形態による現在ブロック３０１０の輪郭に係わる情報は、現在ブロックに含まれたサンプルに係わるエッジ方向を示す情報を含むエッジマップ（edge map）を参照しても獲得される。現在ブロック３０１０のエッジマップは、ピクチャ単位またはブロック単位で生成され、スライスヘッダ、または現在ブロック３０１０のヘッダに含まれて伝送される。
図３２及び図３３は、多様な実施形態による、ブロック３２１０，３２２０のサブブロックを利用して予測を行う方法を示している。
図３２を参照すれば、一実施形態によるブロック３２１０及びブロック３２２０が示されている。一実施形態によるブロック３２１０及びブロック３２２０が直線輪郭を利用して分割される場合、ブロック３２１０及びブロック３２２０は、サブブロックを利用することができる。例えば、ブロック３２１０及びブロック３２２０は、それぞれ６４ｘ６４サイズのブロックであり、ブロック３２１０及びブロック３２２０のサブブロックは、それぞれ８ｘ８サイズのブロックでもある。
具体的には、ブロック３２１０を参照すれば、ブロック３２１０に含まれた物体の境界は、曲線であるために、ブロック３２１０を直線輪郭に基づいて分割する場合、符号化効率が低下してしまう。従って、一実施形態によるブロック３２１０を、サブブロック３２１１を含む複数個のサブブロックに分割し、複数個のサブブロックを、それぞれ直線輪郭を基に分割することにより、符号化効率が向上する。
一実施形態によるブロック３２１０のサブブロックは、物体の境界による直線輪郭に基づいて、少なくとも１つのセグメントに分割され、それぞれのセグメントに対して予測が行われる。このとき、物体の境界が含まれていないサブブロックは、一般的なイントラ予測方法によっても予測される。
また、ブロック３２２０を参照すれば、複数個の物体の境界を含むブロック３２２０が示されている。具体的には、ブロック３２２０は、２つの物体の境界を含むので、２つの物体の境界による２つの直線輪郭を利用する方法は、単一直線輪郭を利用する方法より複雑度が高い。従って、一実施形態によるブロック３２２０を複数個のサブブロックに分割し、複数個のサブブロックをそれぞれ単一直線輪郭を基に分割することにより、演算の複雑度を低下させることができる。
一実施形態によるブロック３２２０のサブブロックは、物体の境界による単一直線輪郭に基づいて、少なくとも１つのセグメントに分割され、それぞれのセグメントに対して予測が行われる。このとき、物体の境界が含まれていないサブブロックは、一般的なイントラ予測方法によっても予測される。
図３３を参照すれば、多様な実施形態によるブロック３３１０，３３２０，３３３０，３３４０，３３５０に含まれたサブブロックの符号化及び復号順序が示されている。例えば、多様な実施形態によるブロック３３１０がサブブロックを利用して分割される場合、ブロック３３１０のサブブロックは、ｚ−scan順序によって符号化または復号される。
また、ブロック３３２０がサブブロックに分割される場合、ブロック３３２０のサブブロックは、左側から右側の方向で順次に符号化または復号される。
また、ブロック３３３０がサブブロックに分割される場合、ブロック３３３０のサブブロックは、上側から右側の方向で順次に符号化または復号される。
また、ブロック３３４０がサブブロックに分割される場合、ブロック３３４０は、複数個の領域に先に区分され、複数個の領域の優先順位によって、ブロック３３４０のサブブロックが符号化または復号される。例えば、ブロック３３４０が、１領域、２領域、３領域及び４領域に区分され、該１領域に含まれたサブブロックから順次に符号化または復号される。また、ブロック３３４０の１領域内のサブブロック間には、ｚ−scan順序によって、サブブロックの符号化または復号の順序が決定される。
また、ブロック３３５０がサブブロックに分割される場合、ブロック３３５０は、複数個の領域に先に区分され、複数個の領域の優先順位によって、ブロック３３５０のサブブロックが符号化または復号される。例えば、ブロック３３５０が、１領域、２領域、３領域、第４領域及び５領域に区分され、該１領域に含まれたサブブロックから順次に符号化または復号される。また、ブロック３３４０の１領域内のサブブロック間には、ｚ−scan順序によって、サブブロックの符号化または復号の順序が決定される。
図３４は、一実施形態による、現在ブロック３４００から３つのセグメントを決定する方法を示している。
一実施形態による現在ブロック３４００は、現在ブロック３４００の第１輪郭３４０１に基づいて符号化され、現在ブロック３４００に係わる符号化情報は、ビデオ復号装置２０にも伝送される。例えば、伝送される符号化情報は、現在ブロック３４００の第１輪郭３４０１に係わる情報を含んでもよい。
図３４を参照すれば、現在ブロック３４００の第１輪郭３４０１のモードは、第４モードでもある。
一実施形態による現在ブロック３４００に係わる符号化情報を受信したビデオ復号装置２０は、受信された符号化情報から、現在ブロック３４００の第１輪郭３４０１に係わる情報を獲得することができる。ビデオ復号装置２０は、第１輪郭３４０１に係わる情報に基づいて、第１輪郭３４０１のモードが第４モードである場合、現在ブロック３４００の上側及び左側を通る第２輪郭３４０２を決定することができる。このとき、現在ブロック３４００の第２輪郭３４０２は、現在ブロック３４００に隣接する上側周辺サンプル及び左側周辺サンプルを利用しても獲得される。
一実施形態による現在ブロック３４００は、ビットストリームから獲得された符号化情報による第１輪郭３４０１と、現在ブロックの周辺サンプルから誘導される第２輪郭３４０１とを利用して、３つのセグメントに分割されて復号される。例えば、現在ブロック３４００は、第１輪郭３４０１及び第２輪郭３４０２によって、第１セグメント３４１０、第２セグメント３４２０及び第３セグメント３４３０にも分割される。
このとき、一実施形態による現在ブロック３４００のマスクは、第１セグメント３４１０、第２セグメント３４２０及び第３セグメント３４３０に基づいても生成される。例えば、第１セグメント３４１０に対応する領域のマスク値は、０に決定され、第２セグメント３４２０に対応する領域のマスク値は、２５５（あるいは、２５６）に決定され、第３セグメント３４３０に対応する領域のマスク値は、５１１（あるいは、５１２）にも決定される。また、第１セグメント３４１０と第２セグメント３４２０との境界領域のマスク値は、０ないし２５５の値に決定され、第２セグメント３４２０と第３セグメント３４３０との境界領域のマスク値は、２５６ないし５１１の値にも決定される。
一実施形態による現在ブロック３４００は、さらなる誘導された第２輪郭を利用することにより、さらに正確な映像を復元することができる。
図３５は、一実施形態による、現在ブロック３５００の輪郭に基づいて、現在ブロック３５００のサブブロックを利用して、セグメントを決定する方法を示している。
一実施形態による現在ブロック３５００は、現在ブロック３５００に含まれた物体の境界に対応する輪郭に基づいて、複数個のサブブロックにも分割される。このとき、一実施形態による現在ブロック３５００は、現在ブロック３５００の境界に対応する輪郭を決定することができ、決定された輪郭を利用して、複数個のサブブロックにも分割される。
例えば、現在ブロック３５００は、第１サブブロック３５１０のような大きさの４つの第１サブブロックにも分割される。第１サブブロック３５１０の縦横長は、それぞれ現在ブロック３５００の縦横長の半分でもある。
また、現在ブロック３５００は、現在ブロック３５００の輪郭を含むか否かということにより、階層的に連続して、さらに小さいサブブロックにも分割される。例えば、４つの第１サブブロックのうち、現在ブロック３５００の輪郭を含む第１サブブロックは、縦横長が、それぞれ第１サブブロックの縦横長の半分である４つの第２サブブロックにさらに分割される。４つの第１サブブロックのうち、現在ブロック３５００の輪郭を含まない第１サブブロック３５１０は、それ以上分割されない。
一実施形態による現在ブロック３５００は、分割された第１サブブロック及び第２サブブロックを利用して、セグメントを決定することができる。例えば、第２サブブロックのうち、現在ブロック３５００の輪郭を含む第２サブブロック３５２０に対して、現在ブロック３５００の輪郭に基づく第２サブブロック３５２０の輪郭が決定される。また、決定された第２サブブロック３５２０の輪郭により、第２サブブロック３５２０が少なくとも１つのセグメントにも分割される。例えば、第２サブブロック３５２０は、直線輪郭により、２つのセグメントにも分割される。
一実施形態による現在ブロック３５００に対して、現在ブロック３５００の輪郭を含まない第１ブロック３５１０及び第２ブロック３５２０と、現在ブロック３５００の輪郭を含む第２ブロック３５２０とから分割されたセグメントを利用して予測が行われる。
例えば、第１ブロック３５１０及び第２ブロック３５２０に対して、ＤＣモード、プレーナモード、アンギュラモードのようなイントラモードを利用して、イントラ予測が行われる。第２ブロック３５２０のような現在ブロック３５００の輪郭を含む第２ブロックについては、図１ないし図４で説明されたブロック内の物体境界によって分割されるセグメントを利用したイントラ予測が行われる。
このとき、現在ブロック３５００が分割される分割深度は、符号化効率に基づいて決定され、決定された分割深度は、ビデオ符号化装置１０からビデオ復号装置２０にも伝送される。
図３６は、一実施形態による、現在ブロック３６００の輪郭を決定する方法を示している。
一実施形態による、現在ブロック３６００に含まれた物体の境界が単一直線に対応しない場合、現在ブロック３６００の輪郭は、区分的線形（piece-wise linear）輪郭を利用しても決定される。
具体的には、一実施形態による、現在ブロック３６００において、物体の境界に対応する輪郭の開始点を示す第１座標ａと、輪郭の終点を示す第２座標ｂとが決定される。このとき、現在ブロック３６００の輪郭を、第１座標ａと第２座標ｂとを連結する単一直線と決定せず、第３座標ｄを利用して、２本の直線でもって決定することができる。
例えば、第３座標ｄは、第１座標ａと第２座標ｂとを連結する直線の中心から所定変位量ほど垂直移動された座標でもある。このとき、現在ブロック３６００の輪郭を決定するために利用される情報は、第１座標ａ、第２座標ｂ、及び第１座標ａと第２座標ｂを連結する直線の中心から第３座標ｄまでの垂直距離を示す所定変位量でもある。
一実施形態による、現在ブロック３６００の第３座標ｄは、符号化時及び復号時の演算の複雑度を低下させるために、整数ピクセル単位の精度によっても決定される。例えば、実際位置において、最も近い整数サンプルの位置によって決定される方法などが利用されてもよい。また、第３座標ｄを示すための所定変位量も、整数単位によっても決定される。該所定変位量は、あらかじめ設定された複数個の変位量のうちからもインデキシングされる。すなわち、あらかじめ設定された複数個の変位量のうち一つを示すインデックス情報を利用して所定変位量が決定され、該インデックス情報は、ビデオ符号化装置１０及びビデオ復号装置２０の間で送受信される。
図３７は、一実施形態による、現在ブロックの予測値を獲得する方法を擬似コード（pseudo code）で示した一例示である。
一実施形態による、現在ブロックの予測値は、現在ブロックから分割されたセグメントのサンプル値が先に生成され、生成されたセグメントのサンプル値に、セグメントの領域及び境界を示すマスクを適用することによっても生成される。
そのご、一実施形態による、現在ブロックの予測値にフィルタリングを行うことにより、予測遂行時に発生する誤差を減らすことができる。具体的には、該フィルタリングは、現在ブロックの輪郭が位置する境界領域に対しても行われる。
例えば、図３７の擬似コードを参照すれば、現在ブロックのサンプルのうち、現在ブロックのセグメントの境界に位置するサンプルの予測値に対して、フィルタリングを行うことができる。このとき、現在ブロックのサンプルがセグメントの境界に位置するか否かということは、現在ブロックのマスクに基づいて判断されることができる。図３７において、Mask［ｘ］［ｙ］は、現在ブロックの（ｘ，ｙ）位置のサンプルのマスク値を示し、Ｐ［ｘ］［ｙ］は、現在ブロックの（ｘ，ｙ）位置のサンプルの予測値を示し、Ｐｆｔｒ［ｘ］［ｙ］は、現在ブロックの（ｘ，ｙ）位置のサンプルのフィルタリングされた予測値を示す。ＷとＨは、それぞれ現在ブロックの幅及び高さを示す。
一実施形態による、現在ブロックのサンプルがセグメントの境界に位置するか否かということは、現在サンプルの周辺サンプルのマスク値を比較することによっても決定される。例えば、左側サンプルのマスク値と、右側サンプルのマスク値とが異なる場合、現在ブロックの現在サンプルは、セグメント境界に位置するとも決定される。左側サンプルのマスク値と、右側サンプルのマスク値とが同一である場合、現在ブロックの現在サンプルは、セグメントの境界に位置しないとも決定される。または、上側サンプルのマスク値と、下側サンプルのマスク値とが異なる場合、現在ブロックの現在サンプルは、セグメントの境界に位置するとも決定される。上側サンプルのマスク値と、下側サンプルのマスク値とが同一である場合、現在ブロックの現在サンプルは、セグメントの境界に位置しないとも決定される。
ただし、現在ブロックの現在サンプルが、現在ブロックの辺の内側に隣接して位置する場合、現在ブロックの内部サンプルだけ利用するために、現在サンプルのサンプル値と、周辺サンプルのサンプル値とが比較される。
一実施形態による、現在ブロックのサンプルのうち、セグメントの境界に位置すると判断されたサンプルのサンプル値は、周辺サンプルのサンプル値に基づいてフィルタリングされる。例えば、左側サンプルのマスク値と、右側サンプルのマスク値とが異なる場合、現在サンプルのサンプル値は、現在サンプルのサンプル値、左側サンプルのサンプル値、及び右側サンプルのサンプル値の平均にフィルタリングされる。このとき、利用されるそれぞれのサンプル値には、加重値が適用される。例えば、［１，２，１］のようなフィルタ値を有する水平方向の一次元ガウシアンフィルタが利用されてもよい。
また、上側サンプルのマスク値と、下側サンプルのマスクと値が異なる場合、現在サンプルのサンプル値は、現在サンプルのサンプル値、上側サンプルのサンプル値、及び下側サンプルのサンプル値の平均にフィルタリングされる。例えば、［１，２，１］のようなフィルタ値を有する垂直方向の一次元ガウシアンフィルタが利用されてもよい。
一実施形態による、現在ブロックについて、水平方向のフィルタリング、と垂直方向のフィルタリングとが順序に係わらずにいずれも行われる。
または、他の一実施形態によれば、現在ブロックについて、水平方向のフィルタリング及び垂直方向のフィルタリングのうち１つのフィルタリングだけが遂行されてもよい。例えば、現在ブロック輪郭の傾きに基づいて、水平方向のフィルタリング、及び垂直方向のフィルタリングのうち一つが決定される。現在ブロック輪郭の傾きが、水平（ｘ軸）への変化量が、垂直（ｙ軸）への変化量よりさらに大きい場合、垂直方向のフィルタリングが行われ、水平（ｘ軸）への変化量が垂直（ｙ軸）への変化量よりさらに小さい場合、水平方向のフィルタリングが行われる。
または、さらに他の一実施形態によれば、現在ブロックの輪郭モードによって、水平方向のフィルタリング、及び垂直方向のフィルタリングのうち少なくとも１つのフィルタリングが行われる。例えば、現在ブロックの輪郭モードが垂直輪郭を示す第２モードである場合、水平方向のフィルタリングだけ行われ、現在ブロックの輪郭モードが、水平の輪郭を示す第５モードである場合、垂直方向のフィルタリングだけ行われる。また、現在ブロックの輪郭モードが第２モード及び第５モードを除いた残りモードである場合、水平方向のフィルタリングと、垂直方向のフィルタリングとがいずれも行われる。
このとき、ルマブロック及びクロマロックに対して、それぞれ異なる方法でフィルタリングを行うこともできる。例えば、現在ブロックのルマ成分に対して、現在ブロックの輪郭モードによるフィルタリングを行い、現在ブロックのクロマ成分については、現在ブロック輪郭の傾きによるフィルタリングを行うこともできる。
また、それらの組み合わせによって、フィルタリング方法を決定することも可能であり、一次元フィルタに制限されるものではなく、二次元フィルタ、中央値フィルタ（median filter）、平均値フィルタ（average filter）などが利用されてもよい。
以下、図３８ないし図４４では、多様な実施形態による、現在ブロックに対して、現在ブロックの輪郭を利用して予測を行う方法について後述する。このとき、図３８ないし図４４としては、現在ブロックに係わるマスクを生成せず、現在ブロックの輪郭を直接利用して、現在ブロックに係わる予測を行う方法が開示される。
図３８は、一実施形態による、現在ブロック３８００に対して予測を行う方法を示している。
一実施形態による、現在ブロック３８００に対して、現在ブロック３８００に含まれた物体の境界に対応する輪郭３８２０が決定される。例えば、現在ブロック３８００の輪郭３８２０は、輪郭３８２０の座標に係わる情報、及び輪郭３８２０のモード情報によっても特定される。
一実施形態による現在ブロック３８００は、現在ブロック３８００の輪郭３８２０に基づいて、少なくとも１つのセグメントにも分割され、現在ブロック３８００が複数個のセグメントに分割される場合、輪郭３８２０によって、セグメント境界（boundary）を含む境界領域が示される。
このとき、一実施形態による現在ブロック３８００に対して、境界の方向に沿って予測を行うか否かということが決定される。すなわち、現在ブロック３８００の境界領域に含まれるサンプルに係わる予測値を、境界の方向に沿って決定するか否かということが決定される。例えば、一実施形態によるビデオ符号化装置１０は、境界の方向による予測方法と、マスクを利用した予測方法とのうち、最善のＲＤコストを有する予測方法を選択することができ、一実施形態によるビデオ復号装置２０は、ビデオ符号化装置１０から、現在ブロック３８００に対して、境界の方向による予測を行うか否かということを示す情報を受信して決定することができる。
境界の方向による予測が行われると決定されれば、一実施形態による現在ブロック３８００の境界領域に対して、境界の方向による現在ブロック３８００の周辺サンプルを利用して予測が行われる。
一実施形態による現在ブロック３８００の境界領域は、現在ブロック３８００の輪郭３８２０に対応するセグメント間の境界を含む所定領域であり、現在ブロックの輪郭を中心に、所定幅に特定される領域でもある。例えば、図３８を参照すれば、現在ブロック３８００の境界領域は、現在ブロック３８００の輪郭３８２０を中心に、左側直線３８３０までの領域、及び右側直線３８４０までの領域を含む領域でもある。
一実施形態による、境界領域の所定幅は、現在ブロック３８００を構成するセグメントの境界に位置するサンプルを中心とする水平方向への所定サンプルの数、または垂直方向へのサンプルの数を示すことができ、例えば、図３８において、該所定幅は、左側及び右側への２ピクセルにもなる。また、該所定幅は、水平方向への距離、または垂直方向への距離だけではなく、現在ブロック３８００を構成するセグメントの境界を中心に境界に直交する方向への距離を示すこともできる。
一実施形態による、境界領域の所定幅は、現在ブロック３８００の境界に位置するサンプルを中心に、対向方向に対して同一にも決定され、同一ではなく、非対称的にも決定される。
一実施形態によるビデオ符号化装置１０は、境界領域の所定幅を、最善のＲＤコストを有する数に決定することができ、一実施形態によるビデオ復号装置２０は、ビデオ符号化装置１０から、境界領域の所定幅を示す情報を受信することができる。
または、一実施形態による、境界領域の所定は幅は、現在ブロック３８００の周辺ブロックからも誘導される。例えば、境界領域の所定幅は、現在ブロック３８００の上側周辺ブロックまたは左側周辺ブロックの間で、サンプル値の変化量に基づいても決定される。
一実施形態による、現在ブロック３８００の境界領域に含まれるサンプルの予測値は、現在ブロック３８００の境界方向による現在ブロック３８００の周辺サンプルを参照しても獲得される。
具体的には、一実施形態による現在ブロック３８００の周辺サンプルは、現在ブロック３８００の上側周辺サンプル、右上側周辺サンプル、左側周辺サンプル及び左下側周辺サンプルを含んでもよい。一実施形態による、現在ブロック３８００の周辺サンプルのうち、境界領域の予測に参照される参照サンプルは、現在ブロック３８００の輪郭３８２０を利用しても決定される。例えば、現在ブロック３８００の輪郭３８２０が、現在ブロック３８００の上側外部に隣接する周辺サンプルのうちサンプル３８１０を通過する場合、サンプル３８１０及びサンプル３８１０を中心に、水平方向への所定幅内に位置するサンプルが参照サンプルにもなる。図３８において、一実施形態による現在ブロック３８００の境界領域の幅が、水平方向への２ピクセルである場合、参照サンプルは、サンプル３８１０を中心にする５サンプルにもなる。
参照サンプルが決定されれば、一実施形態による、現在ブロック３８００の境界領域に含まれたサンプルの予測値が、決定された参照サンプルに基づいても生成される。
また、境界領域に係わる予測が行われれば、一実施形態による現、在ブロック３８００の境界領域を除いた残り領域、すなわち、セグメントに該当する領域に対して予測が行われる。例えば、セグメント領域に対して、ＤＣモードによるイントラ予測が行われる。
図３９は、一実施形態による、現在ブロック３９００に対して、参照サンプルを利用して予測を行う詳細な過程を示している。
図３９において、現在ブロック３９００の輪郭３９１０による境界領域を含む現在ブロック３９００の一部と、現在ブロック３９００の上側に外部に隣接する上側周辺ブロックが示されている。図３９において、現在ブロック３９００の輪郭３９１０のモードは、第１モードまたは第２モードでもあり、現在ブロック３９００の境界領域の幅は、２ピクセルでもある。図３９を参照し、一実施形態による現在ブロック３９００の境界領域に含まれたサンプルのうちサンプル３９２０の予測値を生成する方法について詳細に説明する。
一実施形態による、現在ブロック３９００の境界領域に係わる予測のために、上側周辺サンプルのうち、サンプル３９３０、サンプル３９４０及びサンプル３９５０が参照サンプルに含まれてもよい。このとき、一実施形態による現、在ブロック３９００の境界領域に含まれたサンプル３９２０の予測値を生成するために、サンプル３９２０の参照位置３９６０が決定される。例えば、サンプル３９２０の参照位置３９６０は、現在ブロック３９００を構成するセグメント間の境界の方向、すなわち、輪郭３９１０の方向に基づいても決定される。
一実施形態による現在ブロック３９００の境界領域に含まれたサンプルの参照位置が、現在ブロック３９００の上側サンプルのうち１つの参照サンプルの中心に位置する場合、現在ブロック３９００の境界領域に含まれたサンプルの予測値は、参照位置のサンプルのサンプル値を利用しても生成される。例えば、現在ブロック３９００の境界領域に含まれたサンプルの予測値は、参照位置のサンプルのサンプル値にもなり、参照位置のサンプルのサンプル値を調整した値にもなる。
ただし、図３９のように、現在ブロック３９００の境界領域に含まれたサンプル３９２０の参照位置３９６０が、１つの参照サンプルの位置を示さない場合、サンプル３９２０の予測値は、複数個の参照サンプルを利用しても生成される。例えば、サンプル３９２０の参照位置３９６０が、参照サンプル３９４０及び参照サンプル３９５０の境界に位置する場合、サンプル３９２０の予測値は、参照サンプル３９４０のサンプル値、及び参照サンプル３９５０のサンプル値に基づいても生成される。
具体的には、サンプル３９２０の参照位置３９６０に対して、参照位置に隣接した参照サンプルを利用して、線形補間（bi-linear interpolation）を行うことにより、サンプル３９２０の参照位置３９６０のサンプル値を生成することができる。例えば、サンプル３９２０の参照位置３９６０のサンプル値は、参照サンプル３９４０及び参照サンプル３９５０のサンプル値の平均値にもなる。このとき、現在ブロック３９００の境界領域に含まれたサンプル３９２０の予測値は、生成された参照位置３９６０のサンプルのサンプル値にもなり、生成された参照位置３９６０のサンプルのサンプル値を調整した値にもなる。
また、一実施形態による、現在ブロック３９００の境界領域に含まれたサンプルの参照位置に対して補間を行う方法は、それらに制限されるものではなく、他の補間方法にも置き換えられる。
また、一実施形態による、現在ブロック３９００の境界領域に含まれたサンプル３９２０の参照位置３９６０は、１／ｎピクセル単位（ｎは、整数）の精度に決定され、決定されたサンプル３９２０の参照位置３９６０により、１／ｎピクセル単位の精度に参照位置３９６０のサンプル値が生成される。例えば、参照位置３９６０に隣接した参照サンプルのサンプル値に、参照位置３９６０との距離による加重値を、１／ｎピクセル単位の精度に割り当てることにより、参照位置３９６０のサンプル値が生成される。
図４０Ａないし図４０Ｃは、多様な実施形態による、現在ブロックの境界領域に対して予測を行う方法を示している。
図４０Ａを参照すれば、一実施形態による、現在ブロック４０１０の境界領域に対して予測を行う過程が示されている。一実施形態による現在ブロック４０１０は、単一直線輪郭による境界を含む境界領域を含んでもよい。
一実施形態による、現在ブロック４０１０の境界領域に含まれたサンプルの予測値は、境界の方向に沿って、現在ブロック４０１０の参照サンプルを利用しても生成される。一実施形態による、現在ブロック４０１０の参照サンプルは、現在ブロック４０１０の外部に隣接するサンプルでもある。例えば、現在ブロック４０１０の参照サンプルは、現在ブロック４０１０の左側サンプル及び左上側サンプル４０１１を含んでもよい。
ただし、図４０Ａにおいて、現在ブロック４０１０の境界領域に含まれたサンプルの参照位置が、左上側サンプル４０１１を外れ、左上側サンプル４０１１より上側を示すことがある。このとき、現在ブロック４０１０の参照サンプルは、さらに拡張され（extend）、現在ブロック４０１０の左上側サンプル４０１１の上側サンプル４０１２をさらに含んでもよい。左上側サンプル４０１１の上側サンプル４０１２のサンプル値は、現在ブロック４０１０より先に符号化及び復号された周辺ブロックからも獲得され、左上側サンプル４０１１のサンプル値をパッディング（padding）することによっても生成される。
一実施形態による現在ブロック４０１０の境界領域に含まれたサンプルの予測値は、現在ブロック４０１０の左側サンプル、左上側サンプル４０１１、及び左上側サンプル４０１１の上側サンプル４０１２のサンプル値を利用しても生成される。
また、図４０Ｂを参照すれば、一実施形態による、現在ブロック４０２０の境界領域に対して予測を行う過程において、境界領域に含まれたサンプルの参照位置が、左上側サンプル４０２１を外れ、左上側サンプル４０２１より上側を示す場合、現在ブロック４０２０の参照サンプルは、拡張され、現在ブロック４０２０の上側サンプル４０２２をさらに含んでもよい。
従って、一実施形態による現在ブロック４０２０の境界領域に含まれたサンプルの予測値は、現在ブロック４０２０の左側サンプル、左上側サンプル４０２１及び上側サンプル４０２２のサンプル値を利用しても生成される。
また、図４０Ｃを参照すれば、一実施形態による、現在ブロック４０３０の境界領域に対して予測を行う過程が示されている。一実施形態による現在ブロック４０３０は、単一直線輪郭による境界を含む境界領域を含んでもよい。
従って、一実施形態による、現在ブロック４０３０の境界領域に含まれたサンプルの予測値は、境界の方向に沿って、現在ブロック４０３０の参照サンプルを利用しても生成される。例えば、現在ブロック４０３０の参照サンプルは、現在ブロック４０３０の上側サンプル及び左上側サンプル４０３１を含んでもよい。
このとき、図４０Ｃにおいて、現在ブロック４０３０の境界領域に含まれたサンプルの参照位置が、サンプル４０３１を外れ、左上側サンプル４０３１より左側を示すことがある。
一実施形態による現在ブロック４０３０の参照サンプルは、さらに拡張され、現在ブロック４０３０の左上側サンプル４０３１の左側サンプル４０３２をさらに含んでもよい。左上側サンプル４０３１の左側サンプル４０３２のサンプル値は、現在ブロック４０３０より先に復号された周辺ブロックからも獲得され、左上側サンプル４０３１のサンプル値をパッディングすることによっても生成される。
従って、一実施形態による現在ブロック４０３０の境界領域に含まれたサンプルの予測値は、現在ブロック４０３０の上側サンプル、左上側サンプル４０３１、及び左上側サンプル４０３１の左側サンプル４０３２のサンプル値を利用しても生成される。
また、図４０Ａないし図４０Ｃで説明された実施形態以外にも、現在ブロックの境界領域に含まれたサンプルの参照位置が、現在ブロックの上側周辺サンプル、右上側周辺サンプル、左側周辺サンプル及び左下側周辺サンプルを外れる場合、上側周辺サンプル、右上側周辺サンプル、左側周辺サンプル及び左下側周辺サンプルのうち近辺位置のサンプルを拡張させたり、現在ブロックの境界の傾きによって補間を行ったりするなど、多様な方式で参照位置のサンプル値を生成することができる。
図４１は、多様な実施形態による、現在ブロックの境界領域に対して予測を行う方法を示している。
現在ブロックの境界の方向による周辺サンプルが、現在ブロックの上側と、現在ブロックの左側とにいずれも存在する。このとき、一実施形態による、現在ブロックの境界領域に含まれたサンプルの予測値は、現在ブロックの上側外部に隣接する上側サンプル、及び現在ブロックの左側外部に隣接する左側サンプルのうち少なくとも一つを参照しても生成される。すなわち、現在ブロックの境界領域に含まれたサンプルの参照サンプルは、現在ブロックの上側サンプル、及び現在ブロックの左側サンプルのうち少なくとも一つを含んでもよい。
例えば、図４１を参照すれば、現在ブロック４１１０の境界領域に含まれたサンプルの予測値は、現在ブロックの上側サンプルのサンプル値を利用しても生成される。また、現在ブロック４１２０の境界領域に含まれたサンプルの予測値は、現在ブロックの左側サンプルのサンプル値を利用しても生成される。
一実施形態による、現在ブロックの境界の方向による参照サンプルが、現在ブロックの上側にも存在し、現在ブロックの左側にも存在する場合、上側サンプルと左側サンプルとのうち使用可能なサンプルを参照サンプルとして利用することができる。
または、現在ブロックの上側サンプルと左側サンプルとがいずれも使用可能である場合、上側サンプルと左側サンプルとがいずれも利用され、二つのうち１つのサンプルだけ利用されてもよい。
例えば、現在ブロックの上側サンプルと左側サンプルとがいずれも使用可能である場合、現在ブロックの境界領域に含まれたサンプルの予測値は、上側サンプルによる予測値と、左側サンプルによる予測値との平均値にもなる。または、現在ブロックの境界領域に含まれたサンプルから上側サンプルまでの距離と、現在ブロックの境界領域に含まれたサンプルから左側サンプルまでの距離とを考慮し、上側サンプルによる予測値と、左側サンプルによる予測値とに加重値を与える場合もある。
また、現在ブロックの上側サンプルと左側サンプルとがいずれも使用可能である場合、現在ブロックの境界領域に含まれたサンプルの予測値は、上側サンプルと左側サンプルとのうち１つのサンプルだけ利用しても生成される。例えば、一実施形態による、現在ブロック輪郭の傾きに基づいて、上側サンプルと左側サンプルとのうち参照する１つのサンプルを決定することができる。現在ブロック輪郭の傾きが水平方向に近い場合、左側サンプルが参照サンプルとして決定され、現在ブロック輪郭の傾きが垂直方向に近い場合、上側サンプルが参照サンプルとしても決定される。
または、一実施形態による、現在ブロックの境界領域の幅に基づいて、上側サンプルと左側サンプルとのうち１つのサンプルが参照サンプルとしても決定される。または、一実施形態による、現在ブロックの上側サンプルと左側サンプルとのうち、現在ブロックの境界領域に対応するサンプルの数がさらに少ない方のサンプルを、参照サンプルとして決定することができる。または、一実施形態による、現在ブロックの境界領域の予測の符号化／復号効率、及び符号化／復号性能に基づいて、現在ブロックの上側サンプルと左側サンプルとのうち参照サンプルを決定することもできる。または、一実施形態による、現在ブロックの上側サンプルと左側サンプルとのうちサンプル値の分散がさらに大きい方のサンプルを参照サンプルとして決定することもできる。
図４２は、一実施形態による、現在ブロック４２００の境界領域に対して予測を行う方法を示している。
一実施形態による現在ブロック４２００は、同一である４つのサブブロックに分割され、それぞれのサブブロック単位で予測が行われる。例えば、現在ブロック４２００は、８ｘ８サイズの符号化単位であり、それぞれのサブブロックは、４ｘ４サイズの変換単位でもある。または、現在ブロック４２００は、最大サイズの符号化単位であり、それぞれのサブブロックは、最大サイズの符号化単位から分割された符号化単位でもある。
一実施形態による、現在ブロック４２００のサブブロック単位に対して予測を行う場合、サブブロックの予測値を生成するための参照サンプルは、現在ブロック４２００に隣接した周辺サンプルにも決定される。
例えば、図４２を参照すれば、一実施形態による現在ブロック４２００に含まれたサブブロックのうち、現在ブロック４２００の左側下端に位置するサブブロックに係わる予測を行う場合、左側下端に位置するサブブロックに隣接する周辺サンプルではなく、現在ブロック４２００の上側に隣接する周辺サンプルを参照し、左側下端に位置するサブブロックの予測値を生成することができる。
具体的には、現在ブロック４２００の左側下端に位置するサブブロックに含まれたサンプルに係わる参照位置は、現在ブロック４２００の境界の方向に沿って、現在ブロック４２００に隣接する周辺サンプルの位置としても決定される。
図４３及び図４４は、多様な実施形態による、現在ブロックの境界領域に対して予測を行う方法を示している。
一実施形態による、現在ブロックの境界領域に対して、境界の方向に沿って予測を行う場合、現在ブロックの境界領域の幅がまず決定される。現在ブロックの境界領域の幅は、現在ブロックを構成するセグメントの境界に位置するサンプルを中心にする水平方向へのサンプルの数、または垂直方向へのサンプルの数を示すことができる。
例えば、一実施形態による現在ブロックにおいて、現在ブロックの境界領域の幅は、現在ブロックの境界に位置するサンプルを中心に、左側へのサンプルの数Ｎ、及び右側でのサンプルの数Ｍによって特定されるか、あるいは上側へのサンプルの数Ｐ、及び下側へのサンプルの数Ｑによっても特定される。
図４０Ａを参照すれば、現在ブロック４０１０の境界領域は、Ｐ＝Ｑ＝４の幅を有することができる。また、図４０Ｂを参照すれば、現在ブロック４０２０の境界領域は、Ｐ＝Ｑ＝２の幅を有することができる。また、図４０Ｃを参照すれば、現在ブロック４０３０の境界領域は、Ｎ＝Ｍ＝２の幅を有することができる。
多様な実施形態による境界領域の幅は、Ｎ及びＭ、またはＰ及びＱが同一に決定されもし、同一ではないようにも決定され、またＮ及びＭ、またはＰ及びＱが固定されてもいて、ブロックごとに異なるように適応的に調整されてもいる。
例えば、現在ブロックの境界領域の幅が、境界に直交する方向に固定される場合、現在ブロックの境界領域の垂直方向への幅、または水平方向への幅は、現在ブロックの境界の傾きによって異なるようにも決定される。また、このとき、境界領域の垂直方向への幅、または水平方向への幅によって、現在ブロックの境界領域の予測のための参照サンプルの数も異なる。
または、現在ブロックの境界領域の幅は、Ｎ＝Ｍ＝Ｐ＝Ｑ＝Ｔであり、所定サイズＴにも決定される。このとき、所定サイズＴは、整数ピクセル単位でもあり、サブピクセル単位でもある。現在ブロックの境界領域の幅に係わる情報である所定サイズＴは、符号化されてビデオ復号装置２０にも伝送される。
また、複数個の所定サイズＴの候補のうち一つを示すインデックス情報が、現在ブロックの境界領域の幅に係わる情報にも利用される。例えば、所定サイズＴに対して、「０」、「４」及び「現在ブロックの幅の２倍」を、それぞれ０、１０、１１にインデキシングしてシグナリングすることができる。このとき、所定サイズＴの単位は、整数ピクセル単位でもある。所定サイズＴが現在ブロックの幅の２倍である場合、現在ブロックの全てのサンプルが境界領域にも含まれ、境界領域に係わる予測を行うことにより、現在ブロックの全てのサンプルの予測値を生成することができる。
または、現在ブロックの境界領域の幅は、現在ブロックの周辺ブロックからも誘導される。例えば、現在ブロックの周辺ブロックに含まれたサンプルに係わる分散、平均、標準偏差、異常点（outlier）などの情報が利用されてもよい。
図４３を参照すれば、多様な実施形態による、現在ブロック４３１０，４３２０，４３３０の境界領域に対して予測を行う過程が示されている。このとき、現在ブロック４３１０，４３２０，４３３０の境界領域は、Ｎ＝Ｍ＝２の幅を有することができ、現在ブロック４３１０，４３２０，４３３０の参照サンプルは、現在ブロック４３１０，４３２０，４３３０の上側周辺サンプルでもある。
このとき、多様な実施形態による現在ブロック４３１０，４３２０，４３３０の境界領域に含まれるサンプルが、多様な基準によっても決定される。例えば、現在ブロック４３１０を参照すれば、現在ブロック４３１０の境界領域に含まれるサンプルは、現在ブロック４３１０のサンプルのうち、サンプルの位置が現在ブロック４３１０の境界領域に完全に含まれるサンプルでもある。
または、現在ブロック４３２０を参照すれば、現在ブロック４３２０の境界領域に含まれるサンプルは、現在ブロック４３２０のサンプルのうち、サンプル位置の中心が現在ブロック４３１０の境界領域に含まれるサンプルでもある。
または、現在ブロック４３３０を参照すれば、現在ブロック４３３０の境界領域に含まれるサンプルは、現在ブロック４３３０のサンプルのうち、サンプルの位置が現在ブロック４３３０の境界領域に全部または一部にもかかるサンプルでもある。
また、図４４は、現在ブロック４４１０，４４２０，４４３０の輪郭が曲線輪郭である場合の例示を示している。現在ブロック４４１０，４４２０，４４３０の境界領域に含まれるサンプルは、図４３の現在ブロック４３１０，４３２０，４３３０と同様に、多様な基準によっても決定される。
多様な実施形態による現在ブロック４３１０，４３２０，４３３０，４４１０，４４２０，４４３０の境界領域に係わる予測が行われれば、境界領域を除いた残り領域に対しても予測が行われる。すなわち、図４３の及び図４４の現在ブロック４３１０，４３２０，４３３０，４４１０，４４２０，４４３０において、境界領域を除いた残り領域は、セグメントに該当する領域であり、図４３及び図４４において、白サンプルで示される領域でもある。例えば、セグメント領域に対して、ＤＣモードによるイントラ予測が行われる。
また、図４３及び図４４の現在ブロック４３１０，４３２０，４３３０，４４１０，４４２０，４４３０の境界領域に係わる予測、及びセグメント領域に係わる予測がいずれも行われれば、境界領域とセグメント領域との間をフィルタリングすることができる。境界領域とセグメント領域とに対して、互いに異なる方法で予測が行われ、誤差による品質低下が発生してしまう。従って、該誤差を減らし、可視的な品質低下を防止するために、境界領域とセグメント領域との間にフィルタリングが行われる。
例えば、図４３及び図４４の現在ブロック４３１０，４３２０，４３３０，４４１０，４４２０，４４３０の境界領域のサンプルのうちサンプルの左側または右側にセグメント領域のサンプルが隣接するサンプルに対して、フィルタリングが行われる。また、図４３及び図４４の現在ブロック４３１０，４３２０，４３３０，４４１０，４４２０，４４３０のセグメント領域のサンプルのうちサンプルの左側または右側に境界領域のサンプルが隣接するサンプルに対して、フィルタリングが行われる。
または、図４３及び図４４の現在ブロック４３１０，４３２０，４３３０，４４１０，４４２０，４４３０の境界領域のサンプルのうちサンプルの上側または下側にセグメント領域のサンプルが隣接するサンプルに対して、フィルタリングが行われる。また、図４３及び図４４の現在ブロック４３１０，４３２０，４３３０，４４１０，４４２０，４４３０のセグメント領域のサンプルのうちサンプルの上側または下側に境界領域のサンプルが隣接するサンプルに対して、フィルタリングが行われる。
具体的には、一実施形態によるサンプリング方法は、図２７の擬似コードと同一アルゴリズムによっても遂行される。このとき、図４３の現在ブロック４３１０，４３２０，４３３０のマスク値は、現在ブロック４３１０，４３２０，４３３０の境界領域に含まれるサンプルを決定するとき、境界領域に含まれるか否かということによって、１または０に決定され、決定されたマスク値がフィルタリングに利用される。
多様な実施形態による図４３及び図４４の現在ブロック４３１０，４３２０，４３３０，４４１０，４４２０，４４３０の境界領域とセグメント領域との間で行われるフィルタリングは、水平方向及び垂直方向のいずれもに適用され、水平方向及び垂直方向のうち１方向に沿っても適用される。
また、多様な実施形態による現在ブロック４３１０，４３２０，４３３０，４４１０，４４２０，４４３０の境界領域に対して予測を行う場合、境界領域の予測値に係わる誤差を減らすために、境界領域にフィルタリングを行うこともできる。
例えば、現在ブロック４３１０，４３２０，４３３０，４４１０，４４２０，４４３０の境界領域に含まれたサンプルの予測値を生成し、生成された予測値にフィルタリングすることができる。例えば、［１，２，１］のようなフィルタ値を有する一次元ガウシアンフィルタが利用されてもよい。また、現在ブロック４３１０，４３２０，４３３０，４４１０，４４２０，４４３０の境界領域を予測するために参照される周辺サンプルに対して、まずフィルタリングを行い、フィルタリングされた周辺サンプルに基づいて、現在ブロック４３１０，４３２０，４３３０，４４１０，４４２０，４４３０の境界領域のサンプルの予測値を生成することもできる。
図４５は、一実施形態による、イントラ予測遂行のためのシンタックスエレメントを示している。
一実施形態による、現在ブロックに係わる予測モードを示す情報が、ビットストリームからパージングされる。例えば、現在ブロックに係わる予測モードを示す情報は、現在ブロックを、正方形または長方形の予測単位を利用する階層的構造の符号化単位に基づいたイントラモードを利用するか、あるいは現在ブロックに含まれた物体の境界による輪郭を利用して分割される予測単位であるセグメントを利用する輪郭基盤イントラ予測モードを利用するかということを示す情報（intra＿mode＿flag）を含んでもよい。
該予測モードを示す情報が、在ブロックが一般的なイントラモードを示す場合、現在ブロックは、ＤＣモード、プレーナモード、アンギュラモードなどのイントラモードによっても予測される。
また、該予測モードを示す情報が、現在ブロックが一般的なイントラモードを示さない場合、現在ブロックから分割されるセグメントの個数に係わる情報（ｓｅｇ＿ｎｕｍ＿minus１）がパージングされる。例えば、現在ブロックのセグメントの個数に係わる情報が、現在ブロックから分割されるセグメントが１個であることを示す場合、現在ブロックは、分割されず、現在ブロックと同一第１セグメントの予測モードを示す情報（１ｓｅｇ＿mode）がパージングされる。例えば、第１セグメントの予測モードを示す情報（１ｓｅｇ＿mode）は、ＤＣモード、プレーナモード、アンギュラモードなどのイントラモードのうち一つを示すことができる。
現在ブロックのセグメント個数に係わる情報が、現在ブロックから分割されるセグメントが２個以上であるということを示す場合、現在ブロックは、現在ブロックの予測のためのセグメントにも分割される。すなわち、現在ブロックから、少なくとも１つのセグメントを決定するための輪郭に係わる情報がパージングされる。一実施形態による、現在ブロックの輪郭に係わる情報は、輪郭モード情報、及び輪郭の座標に係わる情報を含んでもよい。
具体的には、現在ブロックから、２以上のセグメントが分割される場合、現在ブロックの輪郭モード情報（line＿orient）がパージングされる。例えば、輪郭モード情報は、輪郭の方向を示す情報でもある。
一実施形態による、現在ブロックの輪郭モード情報（line＿orient）は、現在ブロックの４辺のうち、現在ブロックの輪郭が当接する少なくとも２辺を示す情報でもある。例えば、一実施形態による、現在ブロックの輪郭モード情報（line＿orient）は、現在ブロックの上側、右側、下側及び左側のうち２辺を示す情報であり、第１モード（line＿orient＝＝０）、第２モード（line＿orient＝＝１）、第３モード（line＿orient＝＝２）、第４モード（line＿orient＝＝３）、第５モード（line＿orient＝＝４）及び第６モード（line＿orient＝＝５）のうち一つを示すことができる。現在ブロックの輪郭モード情報（line＿orient）によって、現在ブロックの輪郭モードが決定される。
一実施形態による現在ブロックの輪郭モードが決定されれば、現在ブロックの輪郭座標に係わる情報をパージングするか否かということが決定される。現在ブロックの輪郭座標に係わる情報は、現在ブロック輪郭の第１座標情報（line＿ｐｏｓ１）及び第２座標情報（line＿ｐｏｓ２）を含んでもよい。具体的には、現在ブロックの輪郭モードによって、現在ブロックの輪郭座標が、現在ブロックの周辺ブロックから誘導可能であるか、あるいはパージングしなければならないかということが決定される。
例えば、現在ブロックの輪郭モードに基づいて、現在ブロック輪郭の第１座標及び第２座標が、現在ブロックの周辺ブロックから誘導可能であると決定される場合、現在ブロック輪郭の第１座標情報（line＿ｐｏｓ１）及び第２座標情報（line＿ｐｏｓ２）は、パージングされない。また、ブロックの輪郭モードに基づいて、現在ブロック輪郭の第１座標及び第２座標が、現在ブロックの周辺ブロックから誘導可能ではないと決定される場合、現在ブロック輪郭の第１座標情報（line＿ｐｏｓ１）及び第２座標情報（line＿ｐｏｓ２）は、ビットストリームからパージングされる。現在ブロックの輪郭座標に係わる情報のパージングいかんは、第１座標及び第２座標それぞれについても決定される。
例えば、現在ブロック輪郭の第１座標が誘導可能であり、第２座標が誘導可能ではない場合（例えば、line＿orient＝＝０）、現在ブロック輪郭の第２座標情報（line＿ｐｏｓ２）だけがパージングされる。
また、現在ブロック輪郭の第１座標及び第２座標が、いずれも現在ブロックの周辺ブロックから誘導可能ではない場合、現在ブロック輪郭の第１座標情報（line＿ｐｏｓ１）及び第２座標情報（line＿ｐｏｓ２）が、いずれもパージングされる。このとき、現在ブロック内の右側下端に位置した第２セグメントのサンプル値または予測値（ｓｅｇ１＿ｄｃ）は、現在ブロックの周辺サンプルを利用して生成されずにパージングされる。
また、一実施形態による、現在ブロックに対して、境界の方向に沿って予測を行うか否かということを示す情報（boundary＿filling＿flag）がパージングされる。境界の方向に沿って予測を行うか否かということを示す情報（boundary＿filling＿flag）が遂行されるということを示す場合、現在ブロックの境界領域に含まれるサンプルの予測値が、境界の方向に沿っても生成される。例えば、現在ブロックの境界領域に含まれるサンプルの予測値は、図３８ないし図４４で説明した方法を利用しても生成される。
このとき、一実施形態による、現在ブロックの境界領域に係わる情報がパージングされる。例えば、現在ブロックの境界領域に係わる情報は、境界領域の幅に係わる情報（boundary＿filling＿thickness）を含んでもよい。境界領域の幅を示す情報は、境界領域の幅を直接示すこともでき、複数個の所定幅の候補のうち一つを示すインデックス情報でもある。
または、境界の方向に沿って予測を行うか否かということを示す情報（boundary＿filling＿flag）が境界の方向による予測を示さない場合、現在ブロックの境界領域に含まれるサンプルの予測値は、現在ブロックのセグメント領域のサンプル及びマスク値を利用しても生成される。
また、一実施形態による、現在ブロックの予測値に対して、フィルタリングを行うか否かということを示す情報（boundary＿filtering＿disable＿flag）がパージングされる。一実施形態による、現在ブロックについて、境界領域の予測値に対して行われるフィルタリング方法の一例示は、図３７の方法と同一でもある。
以下、図４６ないし図４９を参照し、先立って提案した輪郭を基盤としたイントラ予測ビデオ符号化方法が使用されず、長方形または正方形の予測単位を利用する階層的構造の符号化単位に基づいたビデオ符号化方法が使用される場合の、深度別符号化単位、予測単位及び変換単位の関係について後述する。
図４６は、多様な実施形態による、深度別符号化単位及び予測単位を図示している。
一実施形態によるビデオ符号化装置１０、及び一実施形態によるビデオ復号装置２０は、映像特性を考慮するために、階層的な符号化単位を使用することができる。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって、多様に設定される。あらかじめ設定された符号化単位の最大サイズにより、深度別符号化単位の大きさが決定される。
一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が３である場合を図示している。このとき、該最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。このとき、図４６に図示された深度別符号化単位の予測単位及びパーティションは、輪郭基盤の予測符号化方法を利用しない場合の現在ブロックの予測単位を示すことができる。
すなわち、符号化単位６１０は、符号化単位の階層構造６００において最大符号化単位であり、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０が存在する。サイズ８ｘ８である深度３の符号化単位６４０は、最小符号化単位である。
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれる、サイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６にも分割される。
同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれる、サイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６にも分割される。
同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれる、サイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６にも分割される。
同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれる、サイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６にも分割される。
一実施形態によるビデオ符号化装置１０，１００の符号化単位決定部１２０は、最大符号化単位６１０の深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。
同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータに対して、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。
それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の深度及びパーティションモードに選択される。
図４７は、多様な実施形態による、符号化単位及び変換単位の関係を図示している。
一実施形態による、ビデオ符号化装置１０、または一実施形態によるビデオ復号装置２０は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で映像を符号化したり復号したりする。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。
例えば、一実施形態による、ビデオ符号化装置１０、または一実施形態によるビデオ復号装置２０で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。
また、６４ｘ６４サイズの符号化単位７１０のデータを６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
図４８は、多様な実施形態による符号化情報を図示している。
一実施形態による、ビデオ符号化装置１０のビットストリーム生成部１６は、分割情報として、それぞれの深度の符号化単位ごとに、パーティションモードに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。
このとき、図４８に図示されたパーティションモードに係わる情報８００は、映像の現在ブロックについて、輪郭を基盤とした予測符号化を利用しない場合に利用される。
パーティションモードに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうち１つのタイプにも分割される。その場合、現在符号化単位のパーティションモードに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。
予測モードに係わる情報８１０は、予測単位の予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティションモードに係わる情報８００が示す現在ブロックのパーティション、または現在ブロックの輪郭に基づいて決定されたセグメントが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかということが設定される。
また、変換単位サイズに係わる情報８２０は、現在符号化単位を、いかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つでもある。
一実施形態によるビデオ復号装置２０は、それぞれの深度別符号化単位ごとに、パーティションモードに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出して復号に利用することができる。
以上で開示された多様な実施形態が属する技術分野において当業者であるならば、本明細書で開示された実施形態の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本明細書の開示範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本明細書の開示範囲に含まれるものであると解釈されなければならないのである。

Claims (16)

  1. 現在ブロックから、少なくとも１つのセグメントを決定するための輪郭のモード情報によって決定される前記輪郭の第１座標及び第２座標が、前記現在ブロックの周辺ブロックから誘導可能であるか否かということを決定する段階と、
    前記現在ブロックの周辺ブロックから、前記輪郭の第１座標及び第２座標が誘導可能である場合、前記現在ブロックの周辺ブロックから誘導される前記輪郭の第１座標及び第２座標に基づいて、前記現在ブロックから、前記少なくとも１つのセグメントを決定する段階と、
    前記現在ブロックを構成するセグメントの境界を含む境界領域に対して、前記境界の方向に沿って予測を行うか否かということを決定する段階と、
    前記境界領域が前記境界の方向に沿って予測されると決定される場合、前記現在ブロックの周辺ブロックを用いて前記境界領域の幅（ｔｈｉｃｋｎｅｓｓ）を決定する段階と、
    前記境界の方向に沿う前記現在ブロックの周辺サンプルを利用して、前記決定された幅による前記境界領域を予測する段階と、を含むビデオ復号方法。
  2. 前記境界領域の幅は、前記現在ブロックを構成するセグメントの境界に位置するサンプルを中心に、水平方向へのサンプルの数、または垂直方向へのサンプルの数であることを特徴とする請求項１に記載のビデオ復号方法。
  3. 前記境界領域の幅を決定する段階は、
    ビットストリームから獲得される前記境界領域の幅を示す情報に基づいて決定することを特徴とする請求項１に記載のビデオ復号方法。
  4. 前記現在ブロックが、前記決定された幅による前記境界領域にいずれも含まれない場合、前記境界領域を除いた前記現在ブロックの残り領域に対して予測を行う段階をさらに含むことを特徴とする請求項１に記載のビデオ復号方法。
  5. 前記境界領域に対して、前記境界の方向に沿って予測を行わないと決定された場合、前記現在ブロックを構成するセグメントの境界を示す前記現在ブロックのマスクを生成する段階と、
    前記現在ブロックの周辺サンプルを利用して、前記少なくとも１つのセグメントに含まれたサンプルのサンプル値を決定する段階と、
    前記生成されたマスク、及び前記決定されたサンプルのサンプル値に基づいて、前記境界領域の予測値を決定する段階と、をさらに含むことを特徴とする請求項１に記載のビデオ復号方法。
  6. 前記現在ブロックのマスクを生成する段階は、
    前記現在ブロックを構成するセグメントの境界と、前記現在ブロックのサンプルとの位置関係に基づいて、前記現在ブロックのサンプルのマスク値を決定することにより、前記現在ブロックのマスクを生成することを特徴とする請求項５に記載のビデオ復号方法。
  7. 現在ブロックから少なくとも１つのセグメントを決定するための輪郭（Ｃｏｕｎｔｏｕｒ）のモード情報によって決定される前記輪郭の第１座標及び第２座標が前記現在ブロックの周辺ブロックから誘導可能か否かを決定する段階と、
    前記現在ブロックの周辺ブロックから前記輪郭の第１座標及び第２座標が誘導可能な場合、前記現在ブロックの周辺ブロックから誘導される前記輪郭の第１座標及び第２座標に基づいて前記現在ブロックから前記少なくとも１つのセグメントを決定する段階と、
    前記現在ブロックの周辺サンプルを用いて前記少なくとも１つのセグメントに含まれたサンプルのサンプル値を決定する段階と、
    前記現在ブロックを構成するセグメントの境界を含む境界領域に対して前記境界方向に沿って予測を行うか否かを決定する段階と、
    前記境界領域に対して前記境界方向に沿って予測を行うと決定される場合、前記境界方向による前記現在ブロックの周辺サンプルを用いて前記境界領域に予測を行う段階と、
    前記境界領域に対して前記境界方向に沿って予測を行わないと決定された場合、前記現在ブロックを構成するセグメントの境界を示す前記現在ブロックのマスクを生成し、前記生成されたマスク及び前記決定されたサンプルのサンプル値に基づいて、前記境界領域の予測値を決定し、
    前記現在ブロックのマスクに基づいて、前記現在ブロックの境界領域にフィルタリングを行う段階を含むことを特徴とするビデオ復号方法。
  8. 前記フィルタリングを行う段階は、
    前記現在ブロックのマスクに基づいて、前記現在ブロックのサンプルが、前記現在ブロックを構成するセグメントの境界に位置するサンプルであるか否かということを決定する段階と、
    前記現在ブロックのサンプルが、前記境界に位置する場合、前記現在ブロックのサンプルの周辺サンプルに基づいて、前記現在ブロックのサンプルをフィルタリングする段階と、を含むことを特徴とする請求項７に記載のビデオ復号方法。
  9. 現在ブロックから、少なくとも１つのセグメントを決定するための輪郭モードによって決定される前記輪郭の第１座標及び第２座標が、前記現在ブロックの周辺ブロックから誘導可能であるか否かということを決定する段階と、
    前記現在ブロックの周辺ブロックから、前記輪郭の第１座標及び第２座標が誘導可能である場合、前記現在ブロックの周辺ブロックから誘導される前記輪郭の第１座標及び第２座標に基づいて、前記現在ブロックから、前記少なくとも１つのセグメントを決定する段階と、
    前記現在ブロックを構成するセグメントの境界を含む境界領域に対して、前記境界の方向に沿って予測を行うか否かということを決定する段階と、
    前記境界領域が前記境界方向に沿って予測されると決定される場合、前記現在ブロックの周辺ブロックを用いて前記境界領域の幅を決定する段階と、
    前記境界領域に、前記境界の方向に沿って予測を行うか否かということ示す情報、及び前記境界の方向を示す輪郭モード情報を符号化する段階と、を含むビデオ符号化方法。
  10. 前記決定された境界領域の幅を示す情報を符号化する段階をさらに含むことを特徴とする請求項９に記載のビデオ符号化方法。
  11. 前記決定された幅による前記境界領域に、前記境界の方向に沿って予測を行う段階と、
    前記現在ブロックが、前記決定された幅による前記境界領域にいずれも含まれない場合、前記境界領域を除いた前記現在ブロックの残り領域に対して予測を行う段階と、をさらに含むことを特徴とする請求項９に記載のビデオ符号化方法。
  12. 前記境界領域に対して、前記境界の方向に沿って予測を行わないと決定された場合、前記現在ブロックを構成するセグメントの境界を示す前記現在ブロックのマスクを生成する段階と、
    前記現在ブロックの周辺サンプルを利用して、前記少なくとも１つのセグメントに含まれたサンプルのサンプル値を決定する段階と、
    前記生成されたマスク、及び前記決定されたサンプルのサンプル値に基づいて、前記境界領域の予測値を決定する段階と、をさらに含むことを特徴とする請求項９に記載のビデオ符号化方法。
  13. 前記現在ブロックのマスクを生成する段階は、
    前記現在ブロックを構成するセグメントの境界と、前記現在ブロックのサンプルとの位置関係に基づいて、前記現在ブロックのサンプルのマスク値を決定することにより、前記現在ブロックのマスクを生成することを特徴とする請求項１２に記載のビデオ符号化方法。
  14. 現在ブロックから少なくとも１つのセグメントを決定するための輪郭モードによって決定される前記輪郭の第１座標及び第２座標が前記現在ブロックの周辺ブロックから誘導可能か否かを決定する段階と、
    前記現在ブロックの周辺ブロックから前記輪郭の第１座標及び第２座標が誘導可能な場合、前記現在ブロックの周辺ブロックから誘導される前記輪郭の第１座標及び第２座標に基づいて前記現在ブロックから前記少なくとも１つのセグメントを決定する段階と、
    前記現在ブロックを構成するセグメントの境界を含む境界領域に対して前記境界方向に沿って予測を行うか否かを決定する段階と、
    前記境界領域に対して前記境界方向に沿って予測を行うと決定される場合、前記境界方向による前記現在ブロックの周辺サンプルを用いて前記境界領域に予測を行う段階と、
    前記境界領域に対して前記境界方向に沿って予測を行わないと決定された場合、前記現在ブロックを構成するセグメントの境界を示す前記現在ブロックのマスクを生成し、前記生成されたマスク及び前記決定されたサンプルのサンプル値に基づいて、前記境界領域の予測値を決定し、
    前記現在ブロックのマスクに基づいて、前記現在ブロックの境界領域にフィルタリングを行う段階と、
    前記境界領域に前記境界方向に沿って予測を行うか否かを示す情報及び前記境界方向を示す輪郭のモード情報を符号化する段階と、をさらに含むことを特徴とするビデオ符号化方法。
  15. 前記フィルタリングを行う段階は、
    前記現在ブロックのマスクに基づいて、前記現在ブロックのサンプルが、前記現在ブロックを構成するセグメントの境界に位置するサンプルであるか否かということを決定する段階と、
    前記現在ブロックのサンプルが、前記境界に位置する場合、前記現在ブロックのサンプルの周辺サンプルに基づいて、前記現在ブロックのサンプルをフィルタリングする段階と、を含むことを特徴とする請求項１４に記載のビデオ符号化方法。
  16. ビデオ復号装置において、
    現在ブロックから、少なくとも１つのセグメントを決定するための輪郭モード情報によって決定される前記輪郭の第１座標及び第２座標が、前記現在ブロックの周辺ブロックから誘導可能であるか否かということを決定し、前記現在ブロックの周辺ブロックから、前記輪郭の第１座標及び第２座標が誘導可能である場合、前記現在ブロックの周辺ブロックから誘導される前記輪郭の第１座標及び第２座標に基づいて、前記現在ブロックから、前記少なくとも１つのセグメントを決定するセグメント決定部と、
    前記現在ブロックを構成するセグメントの境界を含む境界領域に対して、前記境界の方向に沿って予測を行うか否かということを決定し、前記境界領域に、前記境界の方向に沿って予測を行うと決定される場合、前記境界領域が前記境界の方向に沿って予測されると決定される場合、前記現在ブロックの周辺ブロックを用いて前記境界領域の幅を決定し、前記境界の方向に沿う前記現在ブロックの周辺サンプルを利用して、前記決定された幅による前記境界領域に予測を行う予測遂行部と、を含むビデオ復号装置。
JP2017559102A 2015-05-12 2016-05-10 イントラ予測を行う映像復号方法及びその装置並びにイントラ予測を行う映像符号化方法 Expired - Fee Related JP6532542B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562160164P 2015-05-12 2015-05-12
US62/160,164 2015-05-12
PCT/KR2016/004873 WO2016182316A1 (ko) 2015-05-12 2016-05-10 인트라 예측을 수행하는 영상 복호화 방법 및 그 장치 및 인트라 예측을 수행하는 영상 부호화 방법 및 그 장치

Publications (2)

Publication Number Publication Date
JP2018520549A JP2018520549A (ja) 2018-07-26
JP6532542B2 true JP6532542B2 (ja) 2019-06-19

Family

ID=57249274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017559102A Expired - Fee Related JP6532542B2 (ja) 2015-05-12 2016-05-10 イントラ予測を行う映像復号方法及びその装置並びにイントラ予測を行う映像符号化方法

Country Status (7)

Country Link
US (1) US20180176595A1 (ja)
EP (1) EP3273694A4 (ja)
JP (1) JP6532542B2 (ja)
KR (1) KR20180006915A (ja)
CN (1) CN107852506A (ja)
AU (1) AU2016262259B2 (ja)
WO (1) WO2016182316A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10880548B2 (en) * 2016-06-01 2020-12-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding video according to coding order
WO2018143496A1 (ko) * 2017-02-03 2018-08-09 엘지전자(주) 예측 모드를 유도하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
WO2018174617A1 (ko) 2017-03-22 2018-09-27 한국전자통신연구원 블록 형태에 기반한 예측 방법 및 장치
WO2019041219A1 (zh) * 2017-08-31 2019-03-07 深圳市大疆创新科技有限公司 编码方法、解码方法以及编码装置和解码装置
CN111213379B (zh) * 2017-10-16 2023-11-21 数字洞察力有限公司 用于将图像编码/解码的方法、装置和存储比特流的记录介质
US10939118B2 (en) * 2018-10-26 2021-03-02 Mediatek Inc. Luma-based chroma intra-prediction method that utilizes down-sampled luma samples derived from weighting and associated luma-based chroma intra-prediction apparatus
KR102660160B1 (ko) 2018-11-22 2024-04-24 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브 블록 기반 인터 예측을 위한 조정 방법
EP3989547A4 (en) * 2019-06-21 2023-04-19 Samsung Electronics Co., Ltd. VIDEO ENCODING METHOD AND DEVICE, AND VIDEO DECODER METHOD AND DEVICE
EP3997877A4 (en) 2019-08-13 2023-05-24 Beijing Bytedance Network Technology Co., Ltd. MOTION ACCURACY IN SUBBLOCK-BASED INTERPREDICTION
CN110730343B (zh) * 2019-09-20 2021-12-07 中山大学 一种多功能视频编码帧间划分方法、系统及存储介质
CN114762330A (zh) 2019-09-22 2022-07-15 北京字节跳动网络技术有限公司 视频的子图片编码和解码
US11388419B2 (en) * 2020-02-05 2022-07-12 Apple Inc. Smoothed directional and DC intra prediction

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090268810A1 (en) * 2006-09-29 2009-10-29 Congxia Dai Geometric intra prediction
KR20090095316A (ko) * 2008-03-05 2009-09-09 삼성전자주식회사 영상 인트라 예측 방법 및 장치
WO2010087589A2 (ko) * 2009-01-29 2010-08-05 엘지전자 주식회사 경계 인트라 코딩을 이용한 비디오 신호 처리 방법 및 장치
CN105959688B (zh) * 2009-12-01 2019-01-29 数码士有限公司 用于解码高分辨率图像的方法
JP5222878B2 (ja) * 2010-03-24 2013-06-26 日本放送協会 イントラ予測装置、符号化器、復号器及びプログラム
JP2013524730A (ja) * 2010-04-12 2013-06-17 クゥアルコム・インコーポレイテッド 幾何学的動き区分のための固定小数点実装形態
BR112012027438B1 (pt) * 2010-04-26 2022-02-22 Sun Patent Trust Método para decodificar, meio legível por computador e aparelho para decodificar
MX2013001661A (es) * 2010-09-30 2013-03-21 Panasonic Corp Metodo de decodificacion de imagen, metodo de codificacion de imagen, aparato de decodificacion de imagen, aparato de codificacion de imagen, programa, y circuito integrado.
KR20140139615A (ko) * 2010-10-08 2014-12-05 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 블록 분할 및 블록 병합을 지원하는 픽처 코딩
KR101663394B1 (ko) * 2011-11-11 2016-10-06 지이 비디오 컴프레션, 엘엘씨 적응적 분할 코딩
EP2777284B1 (en) * 2011-11-11 2018-09-05 GE Video Compression, LLC Effective wedgelet partition coding using spatial prediction
JP5962937B2 (ja) * 2012-04-20 2016-08-03 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 画像処理方法
KR101606683B1 (ko) * 2014-05-15 2016-03-28 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
EP3273695A4 (en) * 2015-05-12 2018-07-18 Samsung Electronics Co., Ltd. Image decoding method for performing intra prediction and device thereof, and image encoding method for performing intra prediction and device thereof

Also Published As

Publication number Publication date
CN107852506A (zh) 2018-03-27
EP3273694A1 (en) 2018-01-24
WO2016182316A1 (ko) 2016-11-17
JP2018520549A (ja) 2018-07-26
US20180176595A1 (en) 2018-06-21
KR20180006915A (ko) 2018-01-19
EP3273694A4 (en) 2018-04-25
AU2016262259B2 (en) 2019-01-17
AU2016262259A1 (en) 2017-11-09

Similar Documents

Publication Publication Date Title
JP6532542B2 (ja) イントラ予測を行う映像復号方法及びその装置並びにイントラ予測を行う映像符号化方法
US10742973B2 (en) Image decoding method for performing intra prediction and device thereof, and image encoding method for performing intra prediction and device thereof
CN109314789B (zh) 用于基于帧内预测的视频信号处理的方法及装置
US11039137B2 (en) Encoder, decoder, computer program and computer program product for processing a frame of a video sequence
CN107925758B (zh) 视频编译系统中的帧间预测方法和设备
KR102073638B1 (ko) 픽처 예측 방법 및 픽처 예측 장치
CN110892719A (zh) 影像编码/解码方法及装置
KR20170108367A (ko) 인트라 예측 기반의 비디오 신호 처리 방법 및 장치
TW202025764A (zh) 動畫像編碼裝置和方法、動畫像解碼裝置和方法及媒體
CN112806014B (zh) 图像编码/解码方法和装置
TW201943275A (zh) 用以選擇內預測模式以供填補之設備
US9686558B2 (en) Scalable encoding and decoding
KR20220030940A (ko) 해상도 적응형 비디오 코딩
US20240333923A1 (en) Image encoding/decoding method using neural network-based in-loop filter, device, and recording medium storing bitstream
KR20230175110A (ko) 메타 정보를 이용하는 비디오 코딩방법 및 장치
KR20240120526A (ko) 영상 부호화/복호화 방법
CN118715778A (zh) 利用基于变换器的环内滤波器的视频编解码的方法和装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190521

R150 Certificate of patent or registration of utility model

Ref document number: 6532542

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees