JP5047565B2 - 映像のイントラ予測符号化及び復号化方法、並びに装置 - Google Patents

Description

本発明は、映像のイントラ予測に係り、さらに具体的には、映像のイントラ予測時方向補間を通じて現在ブロックの画素情報を利用する映像のイントラ予測符号化及び復号化方法、並びに装置に関する。

映像信号の圧縮標準の一つであるＨ．２６４／ＭＰＥＧ−４ ＡＶＣ(Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ)は、多重参照動き補償、ループフィルタリング、可変ブロックサイズ動き補償、ＣＡＢＡＣ（Context adaptive binary arithmetic coding)のようなエントロピー符号化など、圧縮効率を向上させるための多様な技術を採択している。

Ｈ．２６４標準によれば、映像を符号化するために一つのピクチャーをマクロブロックに分ける。そして、インター予測及びイントラ予測で利用可能な全ての符号化モードでそれぞれのマクロブロックを符号化した後、マクロブロックの符号化にかかるビット率と、原マクロブロックと復号化されたマクロブロックとの歪曲程度とによって符号化モードを一つ選択してマクロブロックを符号化する。

イントラ予測は、現在ピクチャーのブロックを符号化するために参照ピクチャーを参照するのではなく、符号化しようとする現在ブロックと空間的に隣接した画素値を利用して、符号化しようとする現在ブロックに対する予測値を計算した後、この予測値と実際画素値との差を符号化することをいう。ここで、イントラ予測モードは、輝度成分の４×４イントラ予測モード、８×８イントラ予測モード(ｈｉｇｈ ｐｒｏｆｉｌｅの場合)、１６×１６イントラ予測モード、及び色差成分に対するイントラ予測モードに分けられる。

図１は、Ｈ．２６４標準による輝度成分の１６×１６イントラ予測モードを示す図であり、図２は、Ｈ．２６４標準による輝度成分の４×４イントラ予測モードを示す図である。図１を参照するに、１６×１６イントラ予測モードには、垂直モード、水平モード、ＤＣ(直流)モード、及びプレインモードの総４個のモードが存在する。また、図２を参照するに、４×４イントラ予測モードには、垂直モード、水平モード、ＤＣモード、対角線左側モード、対角線右側モード、垂直右側モード、垂直左側モード、水平アップモード、及び水平ダウンモードの総９個のモードが存在する。

例えば、図２のモード０、すなわち垂直モードにより４×４現在ブロックを予測符号化する動作を説明する。まず、４×４現在ブロックの上側に隣接した画素ＡないしＤの画素値を４×４現在ブロックの画素値と予測する。すなわち、画素Ａの値を４×４現在ブロックの１列目に含まれた４個の画素値と予測し、画素Ｂの値を４×４現在ブロックの２列目に含まれた４個の画素値と予測し、画素Ｃの値を４×４現在ブロックの３列目に含まれた４個の画素値と予測し、画素Ｄの値を４×４現在ブロックの４列目に含まれた４個の画素値と予測する。次に、前記画素ＡないしＤを利用して予測された４×４現在ブロックの画素値と、原４×４現在ブロックとに含まれた画素の実際値とを減算して差値を求めた後、その差値を符号化する。

Ｈ．２６４標準による映像の符号化の実施形態として、前記４×４イントラ予測モード及び１６×１６イントラ予測モードの総１３個モードで現在マクロブロックを符号化した後、そのうち、最もコストが小さなモードでイントラ符号化を行う。具体的には、現在マクロブロックに対して４個の１６×１６イントラ予測モードを行って、コストが最も小さな１６×１６イントラ予測モードを選択し、４×４サブブロックに対して順次に９個の４×４イントラ予測モードを行って、それぞれのサブブロック別にコストが最も小さなモードを選択する。そして、前記選択された１６×１６イントラ予測モードのコストと、それぞれのサブブロックのコストを加算した４×４イントラ予測モードのコストとを比較して、最終的にコストが最も小さなモードを選択する。

このように、従来技術によるイントラ予測は、現在イントラ予測されるブロック内の画素ではなく、周辺ブロックでサンプリングされた画素を利用する。したがって、現在イントラ予測されるブロックと周辺ブロックとの間の映像に多くの差が存在する場合、イントラ予測されたブロックと実際ブロックとの間には多くの差が存在しうる。このように、従来技術によるイントラ予測では、現在イントラ予測されるブロック内の画素情報を利用せず、周辺ブロックの画素情報のみを利用するので、予測に限界が存在し、コーディング効率も低下する。

本発明は、前記問題点を解決するために案出されたものであって、映像のイントラ予測のとき、周辺ブロックの画素だけでなく現在イントラ予測されるブロック内の画素を利用して予測ブロックを形成することによって、予測効率及びコーディング効率を向上させる映像のイントラ予測符号化及び復号化方法、並びに装置を提供するところに目的がある。

前記のような技術的課題を解決するために、本発明による映像のイントラ予測符号化方法は、入力ブロックを少なくとも２つ以上の領域に分離する段階と、前記分離された領域のうち、第１領域の画素に対して周辺ブロックの画素を利用してイントラ予測を行う段階と、前記分離された領域のうち、第２領域の所定の画素周辺に位置した第１領域の画素の間の絶対値差の平均を計算してエッジ方向を決定し、前記決定されたエッジ方向に基づいて前記第２領域の画素の予測のための前記第１領域の参照画素を決定する段階と、前記決定された第１領域の参照画素に基づいて前記第２領域の画素の予測を行う段階とを含むことを特徴とする。

本発明による映像のイントラ予測符号化装置は、入力ブロックを少なくとも２つ以上の領域に分離する領域分離部と、前記分離された領域のうち、第１領域の画素に対して周辺ブロックの画素を利用してイントラ予測を行うイントラ予測遂行部と、前記分離された領域のうち、第２領域の所定の画素周辺に位置した第１領域の画素の間の絶対値差の平均を計算してエッジ方向を決定し、前記決定されたエッジ方向に基づいて前記第２領域の画素の予測のための前記第１領域の参照画素を決定し、前記決定された第１領域の参照画素に基づいて前記第２領域の画素の予測を行う補間部とを備えることを特徴とする。

本発明による映像のイントラ予測復号化方法は、所定のブロックを分割して得られた複数個の領域のうち、周辺ブロックの画素を利用してイントラ予測符号化された第１領域に関するデータと、前記第１領域の画素情報を利用して方向補間された第２領域に関するデータとを含むビットストリームを受信する段階と、前記第１領域の画素に対するイントラ予測復号化を行う段階と、前記第２領域の所定の画素周辺に位置した第１領域の画素の間の絶対値差の平均を計算してエッジ方向を決定し、前記決定されたエッジ方向に基づいて前記第２領域の画素の予測のための前記第１領域の参照画素を決定する段階と、前記決定された第１領域の参照画素を利用して第２領域の画素を予測する段階とを含むことを特徴とする。

本発明の他の側面による映像のイントラ予測復号化方法は、所定のブロックを分割して得られた複数個の領域のうち、周辺ブロックの画素を利用してイントラ予測符号化された第１領域に関するデータを受信する段階と、前記第１領域の画素に対するイントラ予測復号化を行う段階と、前記第２領域の所定の画素周辺に位置した第１領域の画素の間の絶対値差の平均を計算してエッジ方向を決定し、前記決定されたエッジ方向に基づいて前記第２領域の画素の予測のための前記第１領域の参照画素を決定する段階と、前記決定された第１領域の参照画素を利用して前記第２領域の画素を予測する段階とを含むことを特徴とする。

本発明による映像のイントラ予測復号化装置は、所定のブロックを分割して得られた複数個の領域のうち、周辺ブロックの画素を利用してイントラ予測符号化された第１領域に関するデータと、前記第１領域の画素情報を利用して方向補間された第２領域に関するデータとを含むビットストリームを受信し、前記第１領域の画素に対するイントラ予測復号化を行うイントラ予測遂行部と、前記第２領域の所定の画素周辺に位置した第１領域の画素の間の絶対値差の平均を計算してエッジ方向を決定し、前記決定されたエッジ方向に基づいて前記第２領域の画素の予測のための前記第１領域の参照画素を決定し、前記決定された第１領域の参照画素を利用して第２領域の画素を予測する補間部とを備えることを特徴とする。

本発明の他の側面による映像のイントラ予測復号化装置は、所定のブロックを分割して得られた複数個の領域のうち、周辺ブロックの画素を利用してイントラ予測符号化された第１領域に関するデータを受信し、前記第１領域の画素に対するイントラ予測復号化を行うイントラ予測遂行部と、前記第２領域の所定の画素周辺に位置した前記第１領域の画素の間の絶対値差の平均を計算してエッジ方向を決定し、前記決定されたエッジ方向に基づいて前記第２領域の画素の予測のための前記第１領域の参照画素を決定し、前記決定された第１領域の参照画素を利用して前記第２領域の画素を予測する補間部とを備えることを特徴とする。

本発明によれば、映像のイントラ予測のとき、周辺ブロックだけでなく現在イントラ予測されるブロック内の画素情報を利用することによって、予測効率及びコーディング効率を向上させることができる。

以下、添付した図面を参照して、本発明の望ましい実施形態について詳細に説明する。

図３は、本発明によるイントラ予測符号化装置が適用される映像符号化装置を示すブロック図である。以下では、説明の便宜上、Ｈ．２６４標準による映像符号化装置に本発明によるイントラ予測符号化装置が適用される場合を中心に説明するが、本発明によるイントラ予測符号化装置は、イントラ予測を利用する他の方式の圧縮方式にも適用されうる。

図３を参照するに、映像符号化装置３００は、動き推定部３０２、動き補償部３０４、イントラ予測部３３０、変換部３０８、量子化部３１０、再整列部３１２、エントロピー符号化部３１４、逆量子化部３１６、逆変換部３１８、フィルタ３２０、フレームメモリ３２２、及び制御部３２５を備える。ここで、イントラ予測部３３０は、本発明によるイントラ予測符号化装置に対応する。

インター予測のために、現在ピクチャーのマクロブロックの予測値を参照ピクチャーで探すことは、動き推定部３０２で行われる。

そして、動き補償部３０４は、１／２画素または１／４画素単位で参照ブロックが発見された場合は、これらの中間画素値を計算して参照ブロックデータ値を定める。このように、インター予測は、動き推定部３０２と動き補償部３０４とで行われる。

イントラ予測部３３０は、現在ブロックの予測値を現在ピクチャー内で探すイントラ予測を行う。特に、本発明による前記イントラ予測部３３０は、予測符号化する現在ブロックの入力を受けて、前記図１及び２に示したように、イントラ１６×１６予測モードまたはイントラ４×４予測モード、またはイントラ８×８予測モード、及びイントラ色差モードでイントラ予測符号化を行う一方、現在ブロックを少なくとも２つ以上の領域に分離し、前記領域のうちいずれか一つの第１領域に対して先にイントラ予測を行った後、前記イントラ予測された第１領域の復元された情報を利用して残り領域である第２領域を方向補間することで、イントラ予測を行う。

具体的に、イントラ予測部３３０は、現在ブロックを少なくとも２つ以上の領域に分離し、分離された領域のうち、所定の第１領域の画素に対しては周辺ブロックの画素を利用したイントラ予測を行った後、所定のエッジ方向によって前記第１領域の画素の間の絶対値差の平均を計算して、所定の第２領域の画素を中心として前記第１領域の画素のエッジ方向を決定する。

次に、イントラ予測部３３３は、決定されたエッジ方向に位置した第１領域の画素の平均値を利用して、第２領域の画素を補間するイントラ予測を行う。ここで、エッジ方向とは、前記第２領域の画素の補間に用いられる第１領域の参照画素が位置した方向を意味する。このように、現在イントラ予測されるブロックの一部のみをまずイントラ予測し、残り部分は、先にイントラ予測された部分の情報から方向補間を通じて予測ブロックを形成する場合、前記予測ブロックは、現在ブロックの画素情報に基づいて形成されることで、予測効率が向上する。

制御部３２５は、映像符号化装置３００の各構成要素を制御する一方、現在ブロックのイントラ予測モードを決定する。イントラ予測モード決定の望ましい実施形態は、イントラ予測されたブロックと原ブロックとの差を最小化する予測モードを決定するものである。具体的に、制御部３２５は、インター予測された映像及びイントラ予測された映像のコストを計算し、予測された映像のうち最も小さなコストを有する予測モードを最終的な予測モードとして決定できる。ここで、前記コスト計算は、いろいろな方法によって行われうる。使われるコスト関数としては、ＳＡＤ(Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ)、ＳＡＴＤ(Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍｅｄ Ｄｉｆｆｅｒｅｎｃｅ)、ＳＳＤ(Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ)、ＭＡＤ(Ｍｅａｎ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ)及びラグランジュ関数(Ｌａｇｒａｎｇｅ ｆｕｎｃｔｉｏｎ)などがある。ＳＡＤは、各４×４ブロック予測誤差(ｒｅｓｉｄｕｅ)値の絶対値の和である。ＳＡＴＤは、各４×４ブロックの予測誤差値にアダマール変換(Ｈａｄａｍａｒｄ ｔｒａｎｓｆｏｒｍ)を適用して生成された係数の絶対値の和である。ＳＳＤは、各４×４ブロック予測サンプルの予測誤差値の平方和であり、ＭＡＤは、各４×４ブロック予測サンプルの予測誤差値の絶対値の平均である。ラグランジュ関数は、コスト関数にビットストリームの長さ情報を含んで作られた新しい関数である。

インター予測またはイントラ予測が行われて、現在フレームのマクロブロックが参照する予測データが発見されたとすれば、これを現在ピクチャーのマクロブロックから抽出して、変換部３０８で変換を行った後に量子化部３１０で量子化を行う。現在フレームのマクロブロックから動き推定された参照ブロックを差し引いたものを残差(ｒｅｓｉｄｕａｌ)という。一般的に映像の符号化のとき、データ量を減らすために残差を符号化する。量子化された残差は、エントロピー符号化部３１４で符号化するために再整列部３１２を経る。

一方、インター予測に使われる参照ピクチャーを得るために、量子化されたピクチャーを逆量子化部３１６と逆変換部３１８とを経て、現在ピクチャーを復元する。このように復元された現在ピクチャーは、デブロッキングフィルタリングを行うフィルタ３２０を経た後、フレームメモリ３２２に保存されて次のピクチャーに対してインター予測を行うのに使われる。また、デブロッキングフィルタリング以前段階の復元された前記第１領域の映像データ情報は、イントラ予測部３３０に入力されて第２領域の方向補間に用いられる。

図４は、図３の本発明によるイントラ予測部３３０の構成を示すブロック図であり、図５Ａないし図５Ｄは、図４の領域分離部３３１で行われる入力ブロックの領域分離例を示す図である。

図４を参照するに、イントラ予測部３３０は、領域分離部３３１、イントラ予測遂行部３３２、補間部３３３、及び加算部３３４を備える。

領域分離部３３１は、入力される現在ブロックを少なくとも２つ以上の領域に分離する。例えば、図５Ａに示したように、入力ブロックを奇数水平ラインから構成された第１領域と偶数水平ラインから構成された第２領域とに分離できる。また、図５Ｂに示したように、領域分離部３３１は、奇数垂直ラインから構成された第１領域と偶数垂直ラインから構成された第２領域とに入力ブロックを分離できる。他の例として、図５Ｃに示したように、領域分離部３３１は、入力ブロックを上下両端側の水平ラインから構成された第１領域と前記第１領域の間の水平ラインから構成された第２領域とに分離できる。また、図５Ｄに示したように、領域分離部３３１は、入力ブロックを左右両端側の垂直ラインから構成された第１領域と、前記第１領域の間の垂直ラインから構成された第２領域とに分離できる。図５Ａないし図５Ｄに示した領域分離例は、例示的なものであり、それ以外にも領域分離部３３１は、多様なパターンに入力ブロックを所定の領域に分離できる。また、前記第１領域と第２領域とは、互いに置き換え可能である。

イントラ予測遂行部３３２は、領域分離部３３１から分離された領域のうち、まず第１領域の画素に対してのみ周辺ブロックの画素を利用してイントラ予測を行う。この時、Ｈ．２６４標準によるイントラ予測方式や、周辺ブロックの画素を利用して処理する他の方式のイントラ予測方法をそのまま適用できる。以下では、Ｈ．２６４標準によるイントラ予測方式を適用する場合を中心に説明する。

図６は、図４のイントラ予測遂行部３３２によって、図５Ａのように領域分離された入力ブロックに対して行われるイントラ予測過程の一実施形態を示す図である。図６では、Ｈ．２６４標準によるイントラ予測モードのうち、垂直モードによって第１領域の画素がイントラ予測される過程を示している。垂直モードによるイントラ予測のとき、イントラ予測遂行部３３２は、まず現在ブロックの上側に隣接した画素Ｕ_０ないしＵ_１５の画素値を現在ブロックの第１領域の画素の画素値と予測する。すなわち、画素Ｕ_０の値を第１領域の１列目に含まれた８個の画素値と予測し、画素Ｕ_１の値を第１領域の２列目に含まれた８個の画素値と予測し、画素Ｕ_２の値を第１領域の３列目に含まれた８個の画素値と予測する。言い換えれば、Ｃ_００，Ｃ_２０，Ｃ_４０，．．．，Ｃ_１４０は、現在ブロックの上側に位置した周辺ブロックのＵ_０画素値と同じ予測値を有する。同様に、Ｃ_０１，Ｃ_２１，Ｃ_４１，．．．，Ｃ_１４１は、Ｕ_１画素値を、Ｃ_０２，Ｃ_２２，Ｃ_４２，．．．，Ｃ_１４２は、Ｕ_２画素値を予測値として有する。また、第１領域の４列目ないし１６列目に含まれた各画素値は、現在ブロックの上側に位置した画素Ｕ_３ないしＵ_１５からそれぞれ予測される。図示していないが、イントラ予測遂行部３３２は、前記垂直モード以外に水平モードなどの多様なイントラ予測モードによってイントラ予測を行った後、各モードで第１領域のイントラ予測された映像と、原映像のうち第１領域に該当する映像との差によるコストを比較して、第１領域のイントラ予測モードを決定する。

一方、イントラ予測遂行部３３２は、図示したような１６×１６ブロックに対するイントラ予測だけでなく、８×８ブロックや４×４ブロックに対して同様に周辺ブロックの画素を利用したイントラ予測を行うことができる。

イントラ予測遂行部３３２でイントラ予測された第１領域の映像データと、現在ブロックのうち第１領域に該当する映像データとの残差値は、変換部３０８で変換された後に量子化部３１０で量子化される。ここで、変換部３０８は、図６に示すような１６×８サイズの第１領域を変換する場合、２個の８×８変換または８個の４×４変換を行うことができる。それ以外にも多様なブロックサイズの変換を行うことができる。次に、量子化された第１領域の残差映像データは、逆量子化部３１６と逆変換部３１８とを経てイントラ予測された第１領域の映像データとの合算を通じて復元された後、補間部３３３に入力される。

補間部３３３は、以前にイントラ予測されて復号化された第１領域の映像データを入力されて、前記第１領域の映像を除外した残り第２領域の画素に対する予測値を計算する過程を行う。ここで、前記第１領域の画素は、イントラ予測遂行部３３２で先にイントラ予測された後に、変換、量子化、逆量子化、及び逆変換などの過程を経て復元されたので、第２領域の画素を処理するときに利用可能である。

補間部３３３は、エッジ方向検出部３３３ａ及び方向補間部３３３ｂを備える。エッジ方向検出部３３３ａは、前記第２領域の補間される画素を中心として複数個のエッジ方向を設定し、それぞれのエッジ方向によって前記第２領域の補間される画素周辺に位置した前記第１領域の画素間の絶対値差の平均を計算し、前記絶対値差の平均を比較して最小絶対値差の平均を有するエッジ方向を決定する。それ以外にも第１領域の画素を利用した多様なエッジ方向を決定する方式が可能である。方向補間部３３３ｂは、前記第２領域の画素を中心としてエッジ方向検出部３３３ａで決定されたエッジ方向に位置した前記第１領域の画素の平均を利用して、前記第２領域の画素を補間する。

図７ないし図９は、本発明によるエッジ方向検出部３３３ａで補間される第２領域の画素周辺の第１領域の画素のエッジ方向を検出する過程を説明するための図である。図７ないし図９において、図面符号Ｃは、補間される第２領域の画素を示し、Ｕ_−３，Ｕ_−２，Ｕ_−１，Ｕ_０，Ｕ_１，Ｕ_２、及びＵ_３は、前記補間される第２領域の画素Ｃの上側に位置した第１領域の画素を示し、Ｌ_−３，Ｌ_−２，Ｌ_−１，Ｌ_０，Ｌ_１，Ｌ_２，及びＬ_３は、前記補間される第２領域の画素Ｃの下側に位置した第１領域の画素を示す。

図７ないし図９を参照するに、エッジ方向検出部３３３ａは、式（１）のように、第２領域の補間される画素Ｃを中心にその周辺の第１領域の画素Ｕ_−３，Ｕ_−２，Ｕ_−１，Ｕ_０，Ｕ_１，Ｕ_２，Ｕ_３，Ｌ_−３，Ｌ_−２，Ｌ_−１，Ｌ_０，Ｌ_１，Ｌ_２、及びＬ_３を利用して９０°、４５°、１３５°方向のエッジ方向性を検出する。

ここでＤ_９０、Ｄ_４５、Ｄ_１３５は、それぞれ第２領域の補間される画素Ｃ周辺の９０°方向、４５°方向、及び１３５°方向に位置した第１領域の画素の絶対値差の平均を示す。

エッジ方向検出部３３３ａは、前記Ｄ_９０、Ｄ_４５、Ｄ_１３５の値を比較して、そのうち最小絶対値差の平均Ｄ＿Ｍｉｎを有するエッジ方向を決定する。すなわち、エッジ方向検出部３３３ａは、エッジ方向性を検出するために、複数個のエッジ方向によって第２領域の補間される画素Ｃ周辺の第１領域の画素の間の絶対値差の平均を計算し、前記絶対値差の平均が最も小さなエッジ方向を決定する。但し、図示したところに限定されず、多様な角度のエッジ方向を検出することができる。

方向補間部３３３ｂは、前記決定された最小絶対値差の平均Ｄ＿Ｍｉｎを有するエッジ方向に位置した第１領域の画素のうち、前記第２領域の画素Ｃを通過する第１領域の画素の平均値を第２領域の画素Ｃの値に補間する。例えば、Ｄ＿Ｍｉｎ＝Ｄ_９０である場合、第２領域の画素Ｃは、(Ｕ_０＋Ｌ_０)／２の値を有する。同様に、Ｄ＿Ｍｉｎ＝Ｄ_４５である場合、第２領域の画素Ｃは、(Ｕ_１＋Ｌ_−１)／２の値を有し、Ｄ＿Ｍｉｎ＝Ｄ_１３５である場合、第２領域の画素Ｃは、(Ｕ_−１＋Ｌ_１)／の２値を有する。前述した補間過程は、映像でエッジ方向に隣接した画素は相関性が高いので、類似した値を有するという事実に基づいている。

一方、水平方向を除いて前記９０°、４５°、１３５°方向にエッジ方向性を検出する際、前記最小絶対値差の平均Ｄ＿Ｍｉｎが所定の閾値Ｔｈより大きい場合は、水平方向をエッジ方向と決定する。このような場合には、周辺ブロックまたは現在ブロック内の利用可能な画素のうち、第２領域の画素Ｃの左側に最も近い復元された画素値が補間に利用されうる。例えば、図６において、第２領域の画素Ｃ_１０周辺の第１領域の画素の最小絶対値差の平均Ｄ＿Ｍｉｎが所定の閾値Ｔｈより大きい場合には、前記第２領域の画素Ｃ_１０と左側に最も近い周辺ブロックのＬ_１が補間に利用される。すなわち、第２領域の画素Ｃ_１０は、Ｌ_１の画素値と予測される。

一方、第２領域を４×４ブロック単位で処理し、第２領域の画素周辺の第１領域の画素のエッジ方向が水平方向であると決定された場合、以前に補間された左側の画素値を予測値として利用して補間されうる。例えば、図６において、第２領域の画素Ｃ_１１周辺の第１領域の画素のエッジ方向が水平方向であると判断された場合、前記Ｃ_１１の水平方向には、以前に復号化された第１領域のデータが存在しない。このような場合、前記Ｃ_１１の予測値としては、前記過程を通じて補間された左側のＣ_１０’を予測値として利用できる。

前記のような過程を通じて、イントラ予測遂行部３３２でイントラ予測された第１領域の予測データと、補間部３３３で方向補間された第２領域のデータとは、加算部３３４で加算されて、最終的にイントラ予測された入力ブロックが出力される。

前記のような本発明によるイントラ予測過程は、図５Ｂに示したように、入力ブロックを領域分離した場合にも同様に適用されうる。また、図５Ｃに示したように、入力ブロックを領域分離した場合には、第２領域の画素Ｐに上下に隣接した第１領域の画素が存在しないが、図示したような前記画素Ｐ周辺の第１領域の画素Ｕ_−３，Ｕ_−２，Ｕ_−１，Ｕ_０，Ｕ_１，Ｕ_２，Ｕ_３，Ｌ_−３，Ｌ_−２，Ｌ_−１，Ｌ_０，Ｌ_１，Ｌ_２，及びＬ_３を利用して、前記式（１）のようにエッジ方向を検出し、前記第１領域の画素のうち第２領域の補間に用いられる画素を決定して方向補間を行うことができる。

本発明によれば、第２領域に対するイントラ予測過程は、画素単位で行われ、画素単位で固有の予測モードが決定される。また、本発明によれば、前記エッジ方向検出過程を通じて各画素単位別に前記固有の予測モードを決定できるので、別途の予測モード情報を復号器に伝送する必要がない。

図１０は、本発明による方向補間を利用した映像のイントラ予測符号化方法の一実施形態を示すフローチャートである。図１０を参照するに、段階１０１０で入力ブロックを少なくとも２つ以上の領域に分離する。ここで、周辺ブロックの画素を利用して、先にイントラ予測される領域を第１領域といい、前記第１領域の復元された情報から方向補間される領域を第２領域という。

段階１０２０で、周辺ブロックの画素を利用して第１領域の画素に対するイントラ予測を行う。

段階１０３０で、第２領域の補間される画素を中心として複数個のエッジ方向を設定し、それぞれのエッジ方向によって前記第２領域の補間される画素周辺に位置した第１領域の画素の絶対値差の平均を計算する。これは、前記分離された領域のうち、前記第２領域の所定の画素周辺に位置した第１領域の画素の空間的特性を決定し、前記決定された空間的特性に基づいて前記第２領域の画素の予測のための第１領域の参照画素を決定するためのものである。前述したように、前記絶対値差の平均は、前記式（１）を通じて計算されうる。

段階１０４０で、前記計算された第１領域の画素の絶対値差の平均のうち、最小絶対値差の平均を有するエッジ方向を決定する。しかし、前述したように、前記段階１０３０及び１０４０で第１領域の画素を利用したエッジ方向の決定過程は、多様な方法で行われうる。

段階１０５０で、前記決定されたエッジ方向に位置した前記第１領域の画素の平均を利用して、第２領域の画素を補間する。すなわち、前記決定されたエッジ方向に位置した前記第１領域の画素は、参照画素として第２領域の予測に利用され、特に、前記第１領域の参照画素の平均値を前記第２領域の予測に利用することができる。

一方、本発明によってイントラ予測を行った場合、従来技術によるイントラ予測を行う場合に比べて残差値がさらに大きくなりうる。このような場合、適応的に本発明によるイントラ予測方法が適用されるように、所定のブロック単位でフラグ情報を符号化されたビットストリームのヘッダーに追加できる。例えば、８×８ブロック単位で１ビットフラグを設定し、本発明によるイントラ予測方法が適用されれば、１または０をビットストリームのヘッダーに追加する。ここで、前記フラグが０である場合、すなわち従来方法によるイントラ予測方法によって符号化された場合には、別途の方向モード情報を追加的に伝送する。また、前記フラグが１である場合、すなわち本発明によるイントラ予測方法によって符号化されたビットストリームには、別途の方向モード情報なしに処理する。これは、本発明によるイントラ予測符号化の時には、第１領域の画素の間のエッジ方向を計算する過程で第２領域の画素の補間に必要な方向情報を得るためである。

図１１は、本発明による映像のイントラ予測復号化装置が適用される映像復号化装置を示すブロック図である。図１１を参照するに、映像復号化装置１１００は、エントロピーデコーダ１１１０、再整列部１１２０、逆量子化部１１３０、逆変換部１１４０、動き補償部１１５０、イントラ予測部１１６０、及びフィルタ１１７０を備える。ここで、イントラ予測部１１６０は、本発明によるイントラ予測復号化装置に対応する。

エントロピーデコーダ１１１０及び再整列部１１２０は、圧縮されたビットストリームを受信して、エントロピー復号化を行って量子化された係数Ｘを生成する。逆量子化部１１３０及び逆変換部１１４０は、前記量子化された係数Ｘに対する逆量子化及び逆変換を行って、変換符号化係数、動きベクター情報、ヘッダー情報、及びイントラ予測モード情報などを抽出する。動き補償部１１５０及びイントラ予測部１１６０では、復号化されたヘッダー情報を使用して、符号化されたピクチャータイプによって予測ブロックを生成し、前記予測ブロックは、誤差値を示すＤ'_ｎに加算されてｕＦ'_ｎを生成する。前記ｕＦ'_ｎがフィルタ１１７０を経ることで、復元されたピクチャーＦ'_ｎが生成される。

特に、本発明によるイントラ予測部１１６０は、受信されたビットストリームに含まれたイントラ予測モード情報を利用して、現在復号化されるブロックの符号化に利用されたイントラ予測モードを決定し、本発明による方向補間を利用してイントラ予測されたビットストリームの場合には、まず第１領域の画素をイントラ予測復号化し、次に、第２領域の画素は、前記第１領域の復号化された画素を方向補間して復号化する。

図１２は、図９の本発明によるイントラ予測部１１６０の構成を示すブロック図である。図１２を参照するに、イントラ予測部１１６０は、イントラ予測モード決定部１１６１、イントラ予測遂行部１１６３、及び補間部１１６４を備える。

イントラ予測モード決定部１１６１は、ビットストリームから抽出されたイントラ予測モード情報を利用して、現在イントラ予測復号化されるブロックが前記本発明によるイントラ予測モードを含む多様なイントラ予測モードのうち、いずれのイントラ予測モードを通じてイントラ予測符号化されたかを判断し、現在ブロックのイントラ予測モードを決定する。一方、本発明によって領域を分離して圧縮されたビットストリームのみを復号化する復号器では、イントラ予測モード決定部１１６１が省略されうる。

もし、決定されたイントラ予測モードが従来技術によるイントラ予測モードである場合には、イントラ予測遂行部１１６３は、従来技術にしたがってビットストリームをイントラ予測復号化する。

また、イントラ予測遂行部１１６３は、本発明によるイントラ予測符号化方式を通じてイントラ予測符号化されたビットストリームの場合には、前記ビットストリームに含まれたデータから先に第１領域をイントラ予測復号化する。イントラ予測遂行部１１６３で復号化された第１領域に関するデータは、補間部１１６４に入力される。

補間部１１６４は、エッジ方向検出部１１６４ａ及び方向補間部１１６４ｂを備える。エッジ方向検出部１１６４ａは、第２領域の補間される画素を中心として複数個のエッジ方向を設定し、それぞれのエッジ方向によって前記第２領域の補間される画素周辺に位置した前記第１領域の画素間の絶対値差の平均を計算し、前記絶対値差の平均を比較して最小絶対値差の平均を有するエッジ方向を決定する。方向補間部１１６４ｂは、前記第２領域の画素を中心としてエッジ方向検出部１１６４ａで決定されたエッジ方向に位置した前記第１領域の画素の平均を利用して、前記第２領域の画素を補間する。補間部１１６４の機能及び動作は、符号化装置に用いられる図４の補間部３３３と類似している。補間部１１６４は、前記方式以外の多様な方式でもエッジ方向を決定することができる。

イントラ予測遂行部１１６３で復号化された第１領域のデータと、補間部１１６４で方向補間された第２領域のデータとは、加算部１１６５で加算されてイントラ予測されたブロックを形成する。前記イントラ予測されたブロックにビットストリームに含まれた残差値を合算すれば、復元された映像を得ることができる。

図１３は、本発明による方向補間を利用した映像のイントラ予測復号化方法の一実施形態を示すフローチャートである。前述したように、本発明によるイントラ予測復号化方法は、周辺ブロックの画素を利用してイントラ予測された第１領域と前記第１領域の画素から方向補間された第２領域とを復号化するために、まず第１領域をイントラ予測復号化した後、前記第１領域の復号化された画素から第２領域の画素を方向補間して、復号化された予測ブロックを形成する。

図１３を参照するに、段階１３１０で受信されたビットストリームのヘッダーに含まれたイントラ予測モード情報を抽出して、現在ブロックのイントラ予測モードを決定する。

段階１３２０で、前記決定結果、本発明によって方向補間を利用するイントラ予測モードと決定された場合には、ビットストリームに含まれたデータから第１領域の画素に対するイントラ予測復号化を行う。前述したように、周辺ブロックの画素を利用して、先にイントラ予測される領域を第１領域といい、前記第１領域の復元された情報から方向補間される領域を第２領域という。

段階１３３０で、第２領域の補間される画素を中心として複数個のエッジ方向を設定し、それぞれのエッジ方向によって、前記第２領域の補間される画素周辺に位置した前記イントラ予測復号化された第１領域の画素間の絶対値差の平均を計算する。前記絶対値差の平均は、前述した式（１）を通じて計算されうる。

段階１３４０で、前記計算された絶対値差の平均が最小となるようにエッジ方向を決定する。前述したように、前記エッジ方向は、第２領域の画素を補間するために用いられる第１領域の画素が位置した方向を示す。一方、段階１３３０及び１３４０では、前述した方式以外に多様な方式を適用してエッジ方向を決定できる。

段階１３５０で、前記決定されたエッジ方向に位置した第１領域の画素を利用して、第２領域の画素を補間する。前述したイントラ予測符号化過程のように、エッジ方向に位置した第１領域の画素の平均値を利用して、第２領域の画素を補間することができる。

前述したように、本発明によれば、高い相関関係を有する現在ブロック内の画素を補間してイントラ予測を行うことによって、現在ブロックとさらに類似した予測ブロックを形成できることから、コーディング効率を向上させることができる。

本発明は、また、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することができる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読取られるデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光ディスクなどがあり、またキャリアウェーブ（例えば、インターネットを通じた伝送）の形態に具現されるものを含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードが保存されかつ実行されうる。

これまで本発明についてその望ましい実施形態を中心に説明した。当業者ならば、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現できるということを理解できるであろう。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に現れており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれていると解釈されねばならない。

本発明は、映像の符号化及び復号化関連の技術分野に好適に用いられる。

Ｈ．２６４標準による輝度成分の１６×１６イントラ予測モードを示す図である。 Ｈ．２６４標準による輝度成分の４×４イントラ予測モードを示す図である。 本発明によるイントラ予測符号化装置が適用される映像符号化装置を示すブロック図である。 図３の本発明によるイントラ予測部の構成を示すブロック図である。 図４の領域分離部で行われる入力ブロックの領域分離例を示す図である。 図４の領域分離部で行われる入力ブロックの領域分離例を示す図である。 図４の領域分離部で行われる入力ブロックの領域分離例を示す図である。 図４の領域分離部で行われる入力ブロックの領域分離例を示す図である。 図４のイントラ予測遂行部によって、図５Ａに示したように、領域分離された入力ブロックに対して行われるイントラ予測過程の一実施形態を示す図である。 本発明によって補間される第２領域の画素周辺の第１領域の画素のエッジ方向を検出する過程を説明するための図である。 本発明によって補間される第２領域の画素周辺の第１領域の画素のエッジ方向を検出する過程を説明するための図である。 本発明によって補間される第２領域の画素周辺の第１領域の画素のエッジ方向を検出する過程を説明するための図である。 本発明による方向補間を利用した映像のイントラ予測符号化方法を示すフローチャートである。 本発明による映像のイントラ予測復号化装置が適用される映像復号化装置を示すブロック図である。 図９の本発明によるイントラ予測部の構成を示すブロック図である。 本発明による方向補間を利用した映像のイントラ予測復号化方法を示すフローチャートである。

符号の説明

３００、１１００ 映像符号化装置
３０２ 動き推定部
３０４、１１５０ 動き補償部
３０８ 変換部
３１０ 量子化部
３１２、１１２０ 再整列部
３１４ エントロピー符号化部
３１６、１１３０ 逆量子化部
３１８、１１４０ 逆変換部
３２０、１１７０ フィルタ
３２２ フレームメモリ
３２５ 制御部
３３０、１１６０ イントラ予測部
３３１ 領域分離部
３３２、１１６３ イントラ予測遂行部
３３３、１１６４ 補間部
３３３ａ、１１６４ａ エッジ方向検出部
３３３ｂ、１１６４ｂ 方向補間部
３３４、１１６５ 加算部
１１１０ エントロピーデコーダ
１１６１ イントラ予測モード決定部

Claims (23)

1. 映像のイントラ予測符号化方法において、
   入力ブロックを少なくとも２つ以上の領域に分離する段階と、
   前記分離された領域のうち、第１領域の画素に対して周辺ブロックの画素を利用してイントラ予測を行う段階と、
   前記分離された領域のうち、第２領域の所定の画素周辺に位置した第１領域の画素の間の絶対値差の平均を計算してエッジ方向を決定し、前記決定されたエッジ方向に基づいて前記第２領域の画素の予測のための前記第１領域の参照画素を決定する段階と、
   前記決定された第１領域の参照画素に基づいて、前記第２領域の画素の予測を行う段階とを含むことを特徴とする映像のイントラ予測符号化方法。
2. 前記第１領域の参照画素を決定する段階は、
   前記第２領域の所定の画素を中心として複数個の方向を設定し、それぞれの方向によって前記第２領域の所定の画素周辺に位置した前記第１領域の画素の間の絶対値差の平均を計算する段階と、
   前記それぞれの方向による前記絶対値差の平均を比較して、最も小さな絶対値差の平均を有する方向を決定し、前記決定された方向に基づいて前記第２領域の画素の予測のための前記第１領域の参照画素を決定する段階とを含むことを特徴とする請求項１に記載の映像のイントラ予測符号化方法。
3. 前記第２領域の画素の予測を行う段階は、
   前記第２領域の画素を中心として前記決定された第１領域の参照画素の平均を利用することを特徴とする請求項１に記載の映像のイントラ予測符号化方法。
4. 前記第１領域は、前記入力ブロックを構成する偶数水平ラインまたは奇数水平ラインのうち一つであり、前記第２領域は、前記第１領域を除外した前記入力ブロックの残り部分であることを特徴とする請求項１に記載の映像のイントラ予測符号化方法。
5. 前記第１領域は、前記入力ブロックを構成する偶数垂直ラインまたは奇数垂直ラインのうち一つであり、前記第２領域は、前記第１領域を除外した前記入力ブロックの残り部分であることを特徴とする請求項１に記載の映像のイントラ予測符号化方法。
6. 前記第１領域は、入力ブロックの上下両端側の水平ラインから構成され、前記第２領域は、前記第１領域の間の水平ラインから構成されることを特徴とする請求項１に記載の映像のイントラ予測符号化方法。
7. 前記第１領域は、入力ブロックの左右両端側の垂直ラインから構成され、前記第２領域は、前記第１領域の間の垂直ラインから構成されることを特徴とする請求項１に記載の映像のイントラ予測符号化方法。
8. 前記入力ブロックを第１領域と第２領域とに分離してイントラ予測符号化した場合、前記イントラ予測モードを示すフラグを、ビットストリームのヘッダーに追加することを特徴とする請求項１に記載の映像のイントラ予測符号化方法。
9. 映像のイントラ予測符号化装置において、
   入力ブロックを少なくとも２つ以上の領域に分離する領域分離部と、
   前記分離された領域のうち、第１領域の画素に対して周辺ブロックの画素を利用してイントラ予測を行うイントラ予測遂行部と、
   前記分離された領域のうち、第２領域の所定の画素周辺に位置した第１領域の画素の間の絶対値差の平均を計算してエッジ方向を決定し、前記決定されたエッジ方向に基づいて前記第２領域の画素の予測のための前記第１領域の参照画素を決定し、前記決定された第１領域の参照画素に基づいて前記第２領域の画素の予測を行う補間部とを備えることを特徴とする映像のイントラ予測符号化装置。
10. 前記補間部は、
    前記第２領域の所定の画素を中心として複数個のエッジ方向を設定し、それぞれのエッジ方向によって前記第２領域の所定の画素周辺に位置した前記第１領域の画素の間の絶対値差の平均を計算し、前記それぞれのエッジ方向による前記絶対値差の平均を比較して、最も小さな絶対値差の平均を有するエッジ方向を決定し、前記決定された方向に基づいて前記第２領域の画素の予測のための前記第１領域の参照画素を決定するエッジ方向検出部と、
    前記第２領域の所定の画素を中心として前記決定された第１領域の参照画素の平均を利用して、前記第２領域の所定の画素を予測する方向補間部とを備えることを特徴とする請求項９に記載の映像のイントラ予測符号化装置。
11. 前記領域分離部は、
    前記入力ブロックを構成する偶数水平ラインまたは奇数水平ラインのうち一つから構成される第１領域と、前記第１領域を除外した残り部分から構成された第２領域とに入力ブロックを領域分離することを特徴とする請求項９に記載の映像のイントラ予測符号化装置。
12. 前記領域分離部は、
    前記入力ブロックを構成する偶数垂直ラインまたは奇数垂直ラインのうち一つから構成される第１領域と、前記第１領域を除外した残り部分から構成された第２領域とに入力ブロックを領域分離することを特徴とする請求項９に記載の映像のイントラ予測符号化装置。
13. 前記領域分離部は、
    前記入力ブロックの上下両端側の水平ラインから構成された第１領域と、前記第１領域の間の水平ラインから構成される第２領域とに入力ブロックを領域分離することを特徴とする請求項９に記載の映像のイントラ予測符号化装置。
14. 前記領域分離部は、
    前記入力ブロックの左右両端側の垂直ラインから構成された第１領域と、前記第１領域の間の垂直ラインから構成される第２領域とに入力ブロックを領域分離することを特徴とする請求項９に記載の映像のイントラ予測符号化装置。
15. 映像のイントラ予測復号化方法において、
    所定のブロックを分割して得られた複数個の領域のうち、周辺ブロックの画素を利用してイントラ予測符号化された第１領域に関するデータと、前記第１領域の画素情報を利用して補間された第２領域に関するデータとを含むビットストリームを受信する段階と、
    前記第１領域の画素に対するイントラ予測復号化を行う段階と、
    前記第２領域の所定の画素周辺に位置した第１領域の画素の間の絶対値差の平均を計算してエッジ方向を決定し、前記決定されたエッジ方向に基づいて前記第２領域の画素の予測のための前記第１領域の参照画素を決定する段階と、
    前記決定された第１領域の参照画素を利用して第２領域の画素を予測する段階とを含むことを特徴とする映像のイントラ予測復号化方法。
16. 前記第１領域の参照画素を決定する段階は、
    前記第２領域の所定の画素を中心として複数個のエッジ方向を設定し、それぞれのエッジ方向によって前記第２領域の所定の画素周辺に位置した、イントラ予測復号化された第１領域の画素の間の絶対値差の平均を計算し、前記計算された絶対値差の平均が最小となるようにエッジ方向に位置した前記第１領域の参照画素を決定することを特徴とする請求項１５に記載の映像のイントラ予測復号化方法。
17. 前記第２領域の画素を予測する段階は、
    前記決定された第１領域参照画素の平均値を利用して第２領域の画素を予測することを特徴とする請求項１５に記載の映像のイントラ予測復号化方法。
18. 映像のイントラ予測復号化方法において、
    所定のブロックを分割して得られた複数個の領域のうち、周辺ブロックの画素を利用してイントラ予測符号化された第１領域に関するデータを受信する段階と、
    前記第１領域の画素に対するイントラ予測復号化を行う段階と、
    前記第２領域の所定の画素周辺に位置した第１領域の画素の間の絶対値差の平均を計算してエッジ方向を決定し、前記決定されたエッジ方向に基づいて前記第２領域の画素の予測のための前記第１領域の参照画素を決定する段階と、
    前記決定された第１領域の参照画素を利用して前記第２領域の画素を予測する段階とを含むことを特徴とする映像のイントラ予測復号化方法。
19. 前記第２領域の画素を予測する段階は、
    前記決定された第１領域参照画素の平均値を利用して第２領域の画素を予測することを特徴とする請求項１８に記載の映像のイントラ予測復号化方法。
20. 映像のイントラ予測復号化装置において、
    所定のブロックを分割して得られた複数個の領域のうち、周辺ブロックの画素を利用してイントラ予測符号化された第１領域に関するデータと、前記第１領域の画素情報を利用して補間された第２領域に関するデータとを含むビットストリームを受信し、前記第１領域の画素に対するイントラ予測復号化を行うイントラ予測遂行部と、
    前記第２領域の所定の画素周辺に位置した第１領域の画素の間の絶対値差の平均を計算してエッジ方向を決定し、前記決定されたエッジ方向に基づいて前記第２領域の画素の予測のための前記第１領域の参照画素を決定し、前記決定された第１領域の参照画素を利用して第２領域の画素を予測する補間部とを備えることを特徴とする映像のイントラ予測復号化装置。
21. 前記補間部は、
    前記第２領域の所定の画素を中心として複数個のエッジ方向を設定し、それぞれのエッジ方向によって前記第２領域の所定の画素周辺に位置した、イントラ予測復号化された第１領域の画素の間の絶対値差の平均を計算し、前記計算された絶対値差の平均が最小となるようにエッジ方向に位置した前記第１領域の参照画素を決定するエッジ方向検出部と、
    前記決定された第１領域参照画素の平均値を利用して第２領域の画素を予測する方向補間部とを備えることを特徴とする請求項２０に記載の映像のイントラ予測復号化装置。
22. 映像のイントラ予測復号化装置において、
    所定のブロックを分割して得られた複数個の領域のうち、周辺ブロックの画素を利用してイントラ予測符号化された第１領域に関するデータを受信し、前記第１領域の画素に対するイントラ予測復号化を行うイントラ予測遂行部と、
    前記第２領域の所定の画素周辺に位置した前記第１領域の画素の間の絶対値差の平均を計算してエッジ方向を決定し、前記決定されたエッジ方向に基づいて前記第２領域の画素の予測のための前記第１領域の参照画素を決定し、前記決定された第１領域の参照画素を利用して前記第２領域の画素を予測する補間部とを備えることを特徴とする映像のイントラ予測復号化装置。
23. 前記補間部は、
    前記第２領域の所定の画素を中心として複数個のエッジ方向を設定し、それぞれのエッジ方向によって前記第２領域の所定の画素周辺に位置した、イントラ予測復号化された第１領域の画素の間の絶対値差の平均を計算し、前記計算された絶対値差の平均が最小となるようにエッジ方向に位置した前記第１領域の参照画素を決定するエッジ方向検出部と、
    前記決定された第１領域参照画素の平均値を利用して第２領域の画素を予測する方向補間部とを備えることを特徴とする請求項２２に記載の映像のイントラ予測復号化装置。

Images