JP5789172B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、複数の予測方向を用いて画面内予測を行う画像処理装置及びプログラムに関する。

近年マルチメディア化が進み、動画像を扱う機会が多くなってきている。画像データは情報量が大きく、画像の集合である動画像は、テレビ放送の主流であるハイビジョン（１９２０×１０８０）放送で１Ｇｂｉｔ／ｓｅｃを超える情報量である。

そのため、動画像データは、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）や規格化作業中のＨＥＶＣ（High Efficiency Video Coding）などに代表される符号化標準技術によって、情報量を圧縮して伝送・蓄積が行われている。

符号化標準技術であるＨ．２６４／ＡＶＣは、直交変換や画面間予測、画面内予測、算術符号化、デブロッキングフィルタなどのツールを利用して、動画像の１／１００程度までの圧縮を実現している。ツールの一つである画面内予測は、処理対象ブロックに隣接する画素値を参照画素として、複数の予測モードから最適な予測モードを決定して画面内予測を行う。

また、Ｈ．２６４／ＡＶＣで、高画質化のために追加された技術に、８×８の画面内予測がある（非特許文献１）。

図１は、Ｈ．２６４／ＡＶＣの８×８の画面内予測を説明するための図である。図１に示す画素Ａ〜Ｙは、参照画素を示し、文字が無い白丸の画素は、処理対象ブロックの画素を示す。ここで、画面内予測を行う前に、参照画素Ａ〜Ｙに対して、［１／４，１／２，１／４］のローパスフィルタが適用される。ローパスフィルタは以下、ＬＰＦとも呼ぶ。

例えば、参照画素Ｃを参照するときは、Ｂ×０．２５＋Ｃ×０．５＋Ｄ×０．２５の画素値が用いられる。両端の参照画素ＡとＹとについては、［１／４，３／４］のフィルタが用いられる。例えば、参照画素Ａを参照するときは、Ｂ×０．２５＋Ａ×０．７５の画素値が用いられる。

また、規格化作業中であるＨＥＶＣ方式でも、Ｈ．２６４／ＡＶＣの８×８の画面内予測で用いた参照画素のフィルタリングが、ブロックサイズに限らず画面内予測の前に行なわれることで規格化が進められている。

このＨＥＶＣ方式において、着目画素の前後の画素値の差の絶対値が閾値以下の場合はフィルタリングを行い、閾値より大きい場合はフィルタリングを行わない、という参照画素のフィルタリング方法が提案されている（非特許文献２）。

提案されたフィルタリング方法では、例えば、図１に示すＤの画素を参照する場合、ａｂｓ（Ｃ−Ｅ）の値が閾値以下の場合はフィルタリングを行った画素値を用い、ａｂｓ（Ｃ−Ｅ）の値が閾値を超える場合はＤの値をそのまま用いる。

大久保榮監修，「改訂三版 Ｈ．２６４／ＡＶＣ 教科書」，インプレス Ｒ＆Ｄ，ｐ．２６４−２６８，２００９年１月１日 Jane Zhao,「On intra prediction(JCTVC-E437)」,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting: Geneva, CH, 16-23 March, 2011

ここで、画面内予測の参照画素にフィルタリングを行う目的は、参照画素に含まれるノイズを低減することである。フィルタリングを行わない場合、参照画素にノイズが含まれていると、画面内予測の予測方向にそのノイズが引き延ばされてしまう。この場合、処理対象ブロック（予測ブロック）には存在していない縞模様が画面内予測により生成されるため、画面内予測の効率が低下する。

また、画面内予測の予測方向にエッジが存在していた場合、ＬＰＦを適用することでエッジの値が変化するため、画面内予測の効率が低下する。これは、本来存在していたエッジとは異なるエッジが、画面内予測により生成されるからである。

このように、ノイズ削減効果と、エッジが存在していた場合に画面内予測の効率が低下することは表裏一体の関係となっている。

そのため、非特許文献２では、参照画素に隣接する画素値を用いて、ノイズとエッジとの判定を行うことで、画面内予測の効率を向上させていた。

しかしながら、非特許文献２では、参照画素ごとに、参照画素に隣接する画素値を用いた判定を行うため、計算量が増大してしまうという問題点があった。

そこで、本発明は、上記課題に鑑みてなされたものであり、計算量の増加を抑えつつ、画面内予測の効率を向上させることができる画像処理装置及びプログラムを提供することを目的とする。

本発明の一態様における画像処理装置は、複数の予測モードに対応する予測方向を用いて画面内予測を行う画像処理装置であって、参照される可能性に基づいて複数の参照画素を複数のグループに分類する分類部と、前記分類部により分類された各グループに対して異なるフィルタを決定するフィルタ決定部と、前記複数の予測モードの全てに対し、前記フィルタ決定部により決定されたフィルタを用いて、前記各グループに含まれる前記参照画素の画素値にフィルタリングを行うフィルタリング部と、前記フィルタリング部によるフィルタリング後の画素値を用いて、前記画面内予測の予測画像を生成する生成部と、を備える。

また、前記分類部は、参照される予測方向数の数に基づいて前記複数の参照画素を分類してもよい。

また、前記分類部は、処理対象ブロックに隣接するか否かで前記複数の参照画素を分類してもよい。

また、前記分類部は、前記処理対象ブロックに隣接する参照画素、又は前記処理対象ブロックに隣接しない画素をさらに複数のグループに分類してもよい。

また、前記フィルタ決定部は、前記グループ内の参照画素が参照される可能性が高いほど、通過帯域の広いローパスフィルタに決定してもよい。

また、前記フィルタ決定部は、参照される可能性が最も高い参照画素を含む第１グループに対して、ノイズ除去フィルタに決定し、前記第１グループ以外のグループに対して、該グループ内の参照画素が参照される可能性が高いほど、通過帯域の広いローパスフィルタに決定してもよい。

また、本発明の他の態様におけるプログラムは、複数の予測モードに対応する予測方向を用いて画面内予測を行う処理をコンピュータに実行させるためのプログラムであって、前記コンピュータに、参照される可能性に基づいて複数の参照画素を複数のグループに分類する分類ステップと、前記分類ステップにより分類された各グループに対して異なるフィルタを決定するフィルタ決定ステップと、前記複数の予測モードの全てに対し、前記フィルタ決定ステップにより決定されたフィルタを用いて、前記各グループに含まれる前記参照画素の画素値にフィルタリングを行うフィルタリングステップと、フィルタリング後の画素値を用いて、前記画面内予測の予測画像を生成する生成ステップとを実行させる。

本発明によれば、計算量の増加を抑えつつ、画面内予測の効率を向上させることができる。

Ｈ．２６４／ＡＶＣの８×８の画面内予測を説明するための図。 実施例１における画像符号化装置の概略構成の一例を示すブロック図。 イントラ予測部の構成の一例を示すブロック図。 ８×８の画面内予測符号化の予測方向を示す図。 Ｈ．２６４／ＡＶＣにおける参照画素Ｙを参照する予測方向を示す図。 Ｈ．２６４／ＡＶＣにおける参照画素Ｕを参照する予測方向を示す図。 Ｈ．２６４／ＡＶＣにおける参照画素Ｑを参照する予測方向を示す図。 Ｈ．２６４／ＡＶＣにおける参照画素Ｍを参照する予測方向を示す図。 参照画素を２分類する一例を示す図。 参照画素を３分類する一例を示す図。 実験結果を示す図。 実施例１におけるが画面内予測処理の一例を示すフローチャート。 実施例２における画像符号化装置の構成の一例を示すブロック図。

以下、添付図面を参照しながら各実施例について詳細に説明する。

［実施例１］
＜構成＞
図２は、実施例１における画像符号化装置１００の概略構成の一例を示すブロック図である。図２に示す例では、画像符号化装置１００は、予測誤差信号生成部１０１、直交変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆直交変換部１０６、復号画像生成部１０７、デブロッキングフィルタ部１０８、復号画像記憶部１０９、イントラ予測部１１０、インター予測部１１１、動きベクトル計算部１１２、符号化制御及びヘッダ生成部１１３及び予測画像選択部１１４を有する。各部についての概略を以下に説明する。

予測誤差信号生成部１０１は、入力された動画像データの符号化対象画像が、例えば１６×１６画素のブロックに分割されたブロックデータを取得する。

予測誤差信号生成部１０１は、そのブロックデータと、予測画像選択部１１４から出力される予測画像のブロックデータとにより、予測誤差信号を生成する。予測誤差信号生成部１０１は、生成された予測誤差信号を直交変換部１０２に出力する。

直交変換部１０２は、入力された予測誤差信号を直交変換処理する。直交変換部１０２は、直交変換処理によって水平及び垂直方向の周波数成分に分離された信号を量子化部１０３に出力する。

量子化部１０３は、直交変換部１０２からの出力信号を量子化する。量子化部１０３は、量子化することによって出力信号の符号量を低減し、この出力信号をエントロピー符号化部１０４及び逆量子化部１０５に出力する。

エントロピー符号化部１０４は、量子化部１０３からの出力信号をエントロピー符号化して出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。

逆量子化部１０５は、量子化部１０３からの出力信号を逆量子化してから逆直交変換部１０６に出力する。逆直交変換部１０６は、逆量子化部１０５からの出力信号を逆直交変換処理してから復号画像生成部１０７に出力する。これら逆量子化部１０５及び逆直交変換部１０６によって復号処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。

復号画像生成部１０７は、インター予測部１１１で動き補償された画像のブロックデータと、逆量子化部１０５及び逆直交変換部１０６により復号処理された予測誤差信号とを加算する。復号画像生成部１０７は、加算して生成した復号画像のブロックデータを、デブロッキングフィルタ部１０８に出力する。

デブロッキングフィルタ部１０８は、復号画像生成部１０７から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、復号画像記憶部１０９に出力する。

復号画像記憶部１０９は、入力した復号画像のブロックデータを新たな参照画像のデータとして記憶し、イントラ予測部１１０、インター予測部１１１及び動きベクトル計算部１１２に出力する。

イントラ予測部１１０は、符号化対象画像の処理対象ブロックに対して、すでに符号化された参照画素から予測画像を生成する。イントラ予測部１１０の詳細は、図２を用いて後述する。

インター予測部１１１は、復号画像記憶部１０９から取得した参照画像のデータを動きベクトル計算部１１２から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。

動きベクトル計算部１１２は、符号化対象画像におけるブロックデータと、復号画像記憶部１０９から取得する参照画像とを用いて、動きベクトルを求める。動きベクトルとは、ブロック単位で参照画像内から処理対象ブロックに最も類似している位置を探索するブロックマッチング技術を用いて求められるブロック単位の空間的なずれを示す値である。動きベクトル計算部１１２は、求めた動きベクトルをインター予測部１１１に出力する。

イントラ予測部１１０とインター予測部１１１から出力されたブロックデータは、予測画像選択部１１４に入力される。

予測画像選択手段１１４は、イントラ予測部１１０とインター予測部１１１から取得したブロックデータのうち、どちらか一方のブロックデータを予測画像として選択する。選択された予測画像は、予測誤差信号生成部１０１に出力される。

また、符号化制御及びヘッダ生成部１１３について、符号化の全体制御とヘッダ生成を行う。符号化制御及びヘッダ生成部１１３は、イントラ予測部１１０に対して、スライス分割有無の通知、デブロッキングフィルタ部１０８に対して、デブロッキングフィルタ有無の通知、動きベクトル計算部１１２に対して参照画像の制限通知などを行う。

符号化制御及びヘッダ生成部１１３は、その制御結果を用いて、例えばＨ．２６４／ＡＶＣのヘッダ情報を生成する。生成されたヘッダ情報は、エントロピー符号化部１０４に出力され、画像データ、動きベクトルデータとともにストリームとして出力される。

＜イントラ予測部の構成＞
次に、イントラ予測部１１０の構成について説明する。図３は、イントラ予測部１１０の構成の一例を示すブロック図である。図３に示すイントラ予測部１１０は、分類部２０１、フィルタ決定部２０２、フィルタリング部２０３、生成部２０４を有する。

分類部２０１は、画面内予測で用いる複数の参照画素を、その参照画素が参照される可能性に基づいて複数のグループに分類する。分類部２０１は、例えば、参照される予測方向の数や処理対象ブロックに隣接するか否かで、参照画素を分類する。参照画素の分類の詳細については、図４〜１０を用いて後述する。

分類部２０１は、複数の参照画素を複数のグループに分類した場合、参照画素がどのグループに属するかを示す分類情報をフィルタ決定部２０２に出力する。

フィルタ決定部２０２は、分類情報を取得すると、分類された各グループに対して異なるフィルタを決定する。フィルタ決定手段２０２は、例えば、グループに含まれる参照画素が参照される可能性が高いほど、通過帯域の広いＬＰＦに決定する。また、フィルタ決定部２０２は、ノイズ除去フィルタを、参照される可能性が最も高い参照画素を含むグループに決定してもよい。フィルタ決定部２０２の詳細についても後述する。

フィルタ決定部２０２は、どのグループにどのフィルタを決定したかを示すフィルタ情報をフィルタリング部２０３に出力する。

フィルタリング部２０３は、復号画像記憶部１０９から参照画素の画素値を取得する。また、フィルタリング部２０３は、フィルタ決定部２０２からフィルタ情報を取得し、どの参照画素にどのフィルタを用いるかを把握する。

フィルタリング部２０３は、フィルタ決定部２０２により決定されたフィルタを用いて、各グループに含まれる参照画素の画素値をフィルタリングする。フィルタリング部２０３は、フィルタリング後の画素値を生成部２０４に出力する。

生成部２０４は、フィルタリング部２０３から取得したフィルタリング後の画素値を用いて、画面内予測の予測画像を生成する。生成部２０４は、例えば、予測画像生成部２０５、予測モード決定部２０６を有する。

予測画像生成部２０５は、フィルタリング後の画素値を予測値として、画面内予測の予測方向に対応する予測モード毎に、予測画像を生成する。

予測モード決定部２０６は、予測モード毎の予測画像と、処理対象ブロックとの差が最も小さい予測モードを決定する。予測モード決定部２０６は、決定された予測モードの予測画像を、予測画像選択部１１４に出力する。

＜参照画素の分類＞
次に、分類部２０１による参照画素の分類について説明する。参照画素の例として、Ｈ．２６４／ＡＶＣの８×８のブロック（図１参照）を用いて説明するが、このブロックサイズに限らず、４×４、１６×１６などのブロックサイズでもよい。また、輝度及び色差いずれのブロックに対しても適用できる。また、正方形のブロックに限らず、例えば８×１６などの長方形のブロックに対しても適用できる。

まず、Ｈ．２６４／ＡＶＣの場合の予測方向について説明する。図４は、８×８の画面内予測符号化の予測方向を示す図である。図４に示す例では、各予測モードに対応する予測方向を示している。図４に示す灰色丸が参照画素を示し、白丸が処理対象画素を示す。矢印が予測方向を示す。

例えば、予測モード０では、参照画素Ｐを、同じ列の画素（Ｎ０、Ｎ１、・・・、Ｎ７）の予測値とすることを示す。

以下では、図４に示す予測方向を用いるが、図４に示す予測方向に限られず、他の予測方向がある場合でも、以下に説明する分類方法を同様に適用することができる。

（予測方向の数に基づく分類）
分類部２０１は、例えば、参照される予測方向の数に基づいて参照画素を分類する。この分類方法は、参照される予測方向の数が多い場合、そのいずれかの方向にエッジが存在するとき、ＬＰＦにより画面内予測の効率が低下するという考えに基づく。

図５は、Ｈ．２６４／ＡＶＣにおける参照画素Ｙを参照する予測方向を示す図である。図５に示すように、参照画素Ｙは、図４に示す予測モード３の予測方向の場合に参照される。

図６は、Ｈ．２６４／ＡＶＣにおける参照画素Ｕを参照する予測方向を示す図である。図６に示すように、参照画素Ｕは、図４に示す予測モード３、７の予測方向の場合に参照される。

図７は、Ｈ．２６４／ＡＶＣにおける参照画素Ｑを参照する予測方向を示す図である。図７に示すように、参照画素Ｑは、図４に示す予測モード０、３、７の予測方向の場合に参照される。

図８は、Ｈ．２６４／ＡＶＣにおける参照画素Ｍを参照する予測方向を示す図である。図８に示すように、参照画素Ｍは、図４に示す予測モード０、３、４、５、６、７の予測方向の場合に参照される。

例えば、参照画素Ｍについては、図８に示す６方向のいずれかにエッジが存在する場合に、ＬＰＦを適用すると画面内予測の効果が低下する要因となる。

また、参照画素Ｕについては、図６に示す２方向のいずれかにエッジが存在する場合に、ＬＰＦを適用すると画面内予測の効果が低下する要因となるが、その他の予測方向では参照されないため、ＬＰＦの有無による影響が小さい。

ここで、画像中に存在するエッジの方向がランダムであると仮定すると、画面内予測の予測方向と、エッジの方向とが一致する確率は、参照画素Ｍの方が、参照画素Ｕよりも３（＝６（参照画素Ｍの予測方向数）／２（参照画素Ｕの予測方向数））倍高いことになる。

よって、分類部２０１は、参照される予測方向の数に基づいて、参照画素を以下のように分類することができる。
グループ１：Ｖ，Ｗ，Ｘ，Ｙ
グループ２：Ａ，Ｒ，Ｓ，Ｔ，Ｕ
グループ３：Ｈ，Ｉ，Ｑ
グループ４：Ｂ，Ｃ，Ｄ，Ｆ，Ｊ
グループ５：Ｅ，Ｇ，Ｌ，Ｎ，Ｐ
グループ６：Ｋ，Ｍ，Ｏ
グループ１は、参照される予測方向の数が１であり、グループ２は、参照される予測方向の数が２であり、グループ３は、参照される予測方向の数が３であり、グループ４は、参照される予測方向の数が４であり、グループ５は、参照される予測方向の数が５であり、グループ６は、参照される予測方向の数が６である。

また、分類部２０１は、グループ１〜６のうち、複数のグループをまとめて分類してもよい。例えば、分類部２０１は、グループ１と２とを１つのグループ、グループ３と４とを１つのグループ、グループ５と６とを１つのグループにしてもよい。

これにより、予測方向と一致する方向のエッジが存在する確率を考慮して、参照画素の分類を行うことができる。

なお、符号化標準技術のブロックサイズや予測方向によって、分類されるグループ数が異なるが、ブロックサイズやどんな予測方向があるかが決まれば、分類部２０１は、参照画素の分類を一意に行うことができる。

（隣接するか否かに基づく分類）
分類部２０１は、例えば、処理対象ブロックに隣接するか否かで参照画素を分類する。この分類方法は、処理対象ブロックに直接隣接する参照画素が、直接隣接しない参照画素よりも、参照される予測方向が多いという考えに基づく。

図９は、参照画素を２分類する一例を示す図である。図９に示す例では、分類部２０１は、処理対象ブロックに直接隣接するグループ２、直接隣接しないグループ１に分類する。
グループ１：処理対象ブロックに直接隣接しない参照画素
グループ２：処理対象ブロックに直接隣接する参照画素
図１０は、参照画素を３分類する一例を示す図である。図１０に示す例では、分類部２０１は、処理対象ブロックに隣接するグループ２とグループ３と、処理対象ブロックに直接隣接しないグループ１とに分類する。
グループ１：処理対象ブロックに直接隣接しない参照画素
グループ２：処理対象ブロックの左上付近に直接隣接する参照画素
グループ３：処理対象ブロックに直接隣接し、グループ２以外の参照画素
グループ２は、例えば、図１に示すＨ，Ｉ，Ｊの参照画素とする。分類部２０１は、処理対象ブロックに直接隣接する参照画素及び／又は処理対象ブロックに直接隣接しない参照画素を、さらに複数のグループに分類してもよい。

これにより、参照される可能性に基づいて、参照画素を複数のグループに簡易的に分類することができる。

分類部２０１は、予測方向の数に基づく分類、隣接するか否かに基づく分類のいずれかの分類方法で、参照画素を分類すればよい。また、分類部２０１は、符号化レートなどに基づいて、どちらの分類を行うかを選択して分類することも可能である。

＜フィルタ決定＞
次に、フィルタ決定部２０２によるフィルタ決定について説明する。フィルタ決定部２０２は、グループ内の参照画素が参照される可能性が高いほど、エッジ成分の変化が小さいフィルタに決定する。

（ＬＰＦ）
フィルタ決定部２０２は、例えば、グループ内の参照画素が参照される可能性が高いほど、通過帯域の広いＬＰＦになるようフィルタを決定する。フィルタ決定部２０２は、例えば、分類部２０１により分類されたグループの番号が小さいほど、通過帯域の狭いフィルタにするよう決定する。

例えば、分類部２０１は、予測方向の数に基づく分類を行ったとする。この場合、フィルタ決定部２０２は、グループ１と２に対し、［１／４，１／２，１／４］のＬＰＦに決定し、グループ３と４に対し、［１／８，３／４，１／８］のＬＰＦに決定し、グループ５と６に対し、［１／１６，７／８，１／１６］のＬＰＦに決定する。

例えば、分類部２０１は、隣接するか否かに基づいて３つのグループに分類を行ったとする。この場合、フィルタ決定部２０２は、グループ１に対し、［１／４，１／２，１／４］のＬＰＦに決定し、グループ２に対し、［１／８，３／４，１／８］のＬＰＦに決定し、グループ３に対し、［１／１６，７／８，１／１６］のＬＰＦに決定する。上記ＬＰＦは、あくまでも一例であり、タップ数や通過帯域については適宜変更してもよい。

つまり、参照される可能性が高い参照画素では、通過帯域の広いＬＰＦを用いる。通過帯域の広いＬＰＦは、通過帯域の狭いＬＰＦと比較し、着目画素値の変化が小さい。そのため、参照される可能性が高い参照画素は、エッジが存在した場合でも予測効率の低下を小さくすることができる。

一方、参照される可能性が低い参照画素は、適用される予測方向と一致するエッジが存在する確率が低いため、通過帯域の狭いＬＰＦを用いる。これにより、十分なノイズの低減効果を期待することができる。

（ＬＰＦ＋ノイズ除去フィルタ）
フィルタ決定部２０２は、例えば、参照される可能性が一番高い参照画素を含むグループに対し、ノイズ除去フィルタを決定し、その他のグループに対して、グループ内の参照画素が参照される可能性が高いほど、通過帯域の広いＬＰＦになるようフィルタを決定する。

フィルタ決定部２０２は、例えば、分類部２０１により分類されたグループの番号が一番大きいグループに対してノイズ除去フィルタに決定し、その他のグループについてはグループの番号が小さいほど、通過帯域の狭いフィルタにするよう決定する。

ノイズ除去フィルタとは、例えば、メディアンフィルタ、移動平均フィルタ、εフィルタ、ＭＴＭ（Modified Trimmed Mean）フィルタなどがある。例えば、ノイズ除去フィルタとして、フィルタのタップ数が少ないメディアンフィルタが計算量の観点から好適である。

例えば、分類部２０１は、予測方向の数に基づく分類を行ったとする。この場合、フィルタ決定部２０２は、グループ１と２に対し、［１／４，１／２，１／４］のＬＰＦに決定し、グループ３と４に対し、［１／８，３／４，１／８］のＬＰＦに決定し、グループ５と６に対し、３タップのメディアンフィルタに決定する。

例えば、分類部２０１は、隣接するか否かに基づいて３つのグループに分類を行ったとする。この場合、フィルタ決定部２０２は、グループ１に対し、［１／４，１／２，１／４］のＬＰＦに決定し、グループ２に対し、［１／８，３／４，１／８］のＬＰＦに決定し、グループ３に対し、３タップのメディアンフィルタに決定する。上記ＬＰＦは、あくまでも一例であり、タップ数や通過帯域については適宜変更してもよい。

一般的にノイズ除去フィルタは、ＬＰＦよりもエッジの値の変化が小さいため、通過帯域を広くしたＬＰＦと同様の効果が得られる。また、ノイズ除去フィルタは、ＬＰＦよりも計算量は多くなる場合があるが、例えば３タップのメディアンフィルタを用いた場合にはＬＰＦからの計算量の増加は少ない。フィルタ決定部２０２は、上述したように、参照される予測方向の数が多いほど通過帯域を広くし、参照される予測方向の数が小さいほど通過帯域を狭くしたフィルタのセットを複数種類用意しておく。そして、予め各種の絵柄に応じたそれぞれのフィルタセットの効果を確かめておくことで、入力動画像の種類が与えられれば、フィルタ決定部２０２は、使用するフィルタセットを決めることができる。また、フィルタ決定部２０２は、入力動画像の絵柄の種類の判別に応じて、適応的にフィルタセットを変えてもよい。

よって、実施例１では、参照画素毎のエッジ判定を行う必要がなく、参照画素の分類に応じたフィルタリングを行うことで、エッジを維持する効果と、ノイズを低減する効果との組み合わせにより、画面内予測の予測性能を向上させることが可能となる。

＜実験結果＞
次に、ＨＥＶＣの規格化作業で用いられているソフトウェアエンコーダＨＭ３．０と、ＨＭ３．０に実施例１の方式を実装した提案方式とで行った符号化実験について説明する。

実施例１の方式とは、処理対象ブロックに直接隣接するか否かにより２つのグループに分類し（図９参照）、グループ１に［１／４，１／２，１／４］のＬＰＦ、グループ２に［１／８，３／４，１／８］のＬＰＦを適用する。

実験では、画像Ａ〜Ｄに対し、それぞれ符号化を行い、ＨＭ３．０をアンカーとし、提案方式の性能をＢＤ−ＲＡＴＥで表す。
画像Ａ：街の風景
画像Ｂ：室内の人物の映像
画像Ｃ：走る馬
画像Ｄ：屋内の人物の映像
ＢＤ−ＲＡＴＥは、「G. Bjontegaard, "Calculation of average PSNR differences between RD-Curves," ITU-T SG16 Q.6 Document, VCEG-M33,April 2001」に提案された符号化性能を比較する指標である。ＢＤ−ＲＡＴＥの値が０の場合はアンカーと提案方式の性能は等しく、ＢＤ−ＲＡＴＥの値が小さいほどアンカーより提案方式の性能が優れている。

図１１は、実験結果を示す図である。図１１に示すように、提案方式では、ＨＭ３．０よりも符号化性能が向上していることが分かる。よって、実施例１では、計算量の増加を抑えつつ、画面内予測の予測性能を向上させることが可能となる。

＜動作＞
次に、実施例１における画像符号化装置１００の動作について説明する。図１２は、実施例１におけるが画面内予測処理の一例を示すフローチャートである。

図１２に示すステップＳ１０１で、分類部２０１は、参照される可能性に基づいて参照画素を複数のグループに分類する。例えば、分類部２０１は、処理対象ブロックのブロックサイズなどに応じて分類方法を決めておき、この分類方法により分類を行えばよい。分類方法は、前述した通り、予測方向の数に基づく分類か、隣接するか否かに基づく分類かのいずれかを用いればよい。

ステップＳ１０２で、フィルタ決定部２０２は、分類部２０１により決定されたグループに応じて異なるフィルタを決定する。フィルタ決定部２０２は、例えば、グループ内の参照画素が参照される可能性が高いほど、通過帯域の広いＬＰＦに決定する。

ステップＳ１０３で、フィルタリング部２０３は、フィルタ決定部２０２により決定されたフィルタを用いて、参照画素の画素値をフィルタリングする。

ステップＳ１０４で、生成部２０４は、複数の予測モードに対応する予測画像を生成し、最適な予測モードを決定する。生成部２０４は、決定された予測モードの予測画像を予測画像選択部１１４に出力する。

以上、実施例１によれば、計算量の増加を抑えつつ、画面内予測の予測効率を向上させることができる。

［実施例２］
図１３は、実施例２における画像符号化装置３００の構成の一例を示すブロック図である。画像符号化装置３００は、上述した実施例１で説明した画像符号化処理をソフトウェアで実装した装置の一例である。

図１３に示すように、画像符号化装置３００は、制御部３０１、主記憶部３０２、補助記憶部３０３、ドライブ装置３０４、ネットワークＩ／Ｆ部３０６、入力部３０７、表示部３０８を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

制御部３０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部３０１は、主記憶部３０２又は補助記憶部３０３に記憶されたフィルタ処理を含む画像符号化処理のプログラムを実行する演算装置である。制御部３０１は、入力部３０７や記憶装置からデータを受け取り、演算、加工した上で、表示部３０８や記憶装置などに出力する。

制御部３０１は、フィルタ処理を含む画像符号化処理のプログラムを実行することで、各実施例で説明したフィルタ処理を実現することができる。

主記憶部３０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部３０２は、制御部３０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部３０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置３０４は、記録媒体３０５、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。

また、記録媒体３０５に、所定のプログラムを格納し、この記録媒体３０５に格納されたプログラムはドライブ装置３０４を介して画像符号化装置３００にインストールされる。インストールされた所定のプログラムは、画像符号化装置３００により実行可能となる。

ネットワークＩ／Ｆ部３０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と画像符号化装置３００とのインターフェースである。

入力部３０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部３０８の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部３０７は、ユーザが制御部３０１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。

表示部３０８は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等により構成され、制御部３０１から入力される表示データに応じた表示が行われる。

なお、図２に示す復号画像記憶部１０９は、例えば主記憶部３０２又は補助記憶部３０３により実現され、図２に示す復号画像記憶部１０９以外の構成は、例えば制御部３０１及びワークメモリとしての主記憶部３０２により実現されうる。

画像符号化装置３００で実行されるプログラムは、実施例１で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部３０１が補助記憶部３０３からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部３０２上にロードされ、１又は複数の各部が主記憶部３０２上に生成されるようになっている。

このように、上述した実施例１で説明した画面内予測処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、前述したフィルタ処理を実現することができる。

また、このプログラムを記録媒体３０５に記録し、このプログラムが記録された記録媒体３０５をコンピュータや携帯端末に読み取らせて、前述したフィルタ処理を実現させることも可能である。なお、記録媒体３０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、上述した各実施例で説明したフィルタ処理は、１つ又は複数の集積回路に実装してもよい。

なお、実施例では、画像符号化装置を例にして説明したが、複数の予測モードを用いる画面内予測を行う画像復号装置でも同様に適用することができる。画像符号化装置及び画像復号装置をまとめて画像処理装置と呼ぶ。また、上記実施例では、Ｈ．２６４／ＡＶＣを例に説明したが、参照画素に対して複数の予測方向を用いて画面内予測を行う画像処理技術であれば適用できる。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。

１００、３００ 画像符号化装置
１０１ 予測画像生成部
１０２ 直交変換部
１０３ 量子化部
１０４ エントロピー符号化部
１０５ 逆量子化部
１０６ 逆直交変換部
１０７ 復号画像生成部
１０８ デブロッキングフィルタ部
１０９ 復号画像記憶部
１１０ イントラ予測部
１１１ インター予測部
１１２ 動きベクトル計算部
１１３ 符号化制御及びヘッダ生成部
１１４ 予測画像選択部
２０１ 分類部
２０２ フィルタ決定部
２０３ フィルタリング部
２０４ 生成部
２０５ 予測画像生成部
２０６ 予測モード決定部
３０１ 制御部
３０２ 主記憶部
３０３ 補助記憶部
３０４ ドライブ装置
３０６ ネットワークＩ／Ｆ部
３０７ 入力部
３０８ 表示部

Claims (7)

1. 複数の予測モードに対応する予測方向を用いて画面内予測を行う画像処理装置であって、
   参照される可能性に基づいて複数の参照画素を複数のグループに分類する分類部と、
   前記分類部により分類された各グループに対して異なるフィルタを決定するフィルタ決定部と、
   前記複数の予測モードの全てに対し、前記フィルタ決定部により決定されたフィルタを用いて、前記各グループに含まれる前記参照画素の画素値にフィルタリングを行うフィルタリング部と、
   前記フィルタリング部によるフィルタリング後の画素値を用いて、前記画面内予測の予測画像を生成する生成部と、
   を備える画像処理装置。
2. 前記分類部は、
   参照される予測方向数の数に基づいて前記複数の参照画素を分類する請求項１記載の画像処理装置。
3. 前記分類部は、
   処理対象ブロックに隣接するか否かで前記複数の参照画素を分類する請求項１記載の画像処理装置。
4. 前記分類部は、
   前記処理対象ブロックに隣接する参照画素、又は前記処理対象ブロックに隣接しない画素をさらに複数のグループに分類する請求項３記載の画像処理装置。
5. 前記フィルタ決定部は、
   前記グループ内の参照画素が参照される可能性が高いほど、通過帯域の広いローパスフィルタに決定する請求項１乃至４いずれか一項に記載の画像処理装置。
6. 前記フィルタ決定部は、
   参照される可能性が最も高い参照画素を含む第１グループに対して、ノイズ除去フィルタに決定し、前記第１グループ以外のグループに対して、該グループ内の参照画素が参照される可能性が高いほど、通過帯域の広いローパスフィルタに決定する請求項１乃至４いずれか一項に記載の画像処理装置。
7. 複数の予測モードに対応する予測方向を用いて画面内予測を行う処理をコンピュータに実行させるためのプログラムであって、
   前記コンピュータに、
   参照される可能性に基づいて複数の参照画素を複数のグループに分類する分類ステップと、
   前記分類ステップにより分類された各グループに対して異なるフィルタを決定するフィルタ決定ステップと、
   前記複数の予測モードの全てに対し、前記フィルタ決定ステップにより決定されたフィルタを用いて、前記各グループに含まれる前記参照画素の画素値にフィルタリングを行うフィルタリングステップと、
   フィルタリング後の画素値を用いて、前記画面内予測の予測画像を生成する生成ステップとを実行させるためのプログラム。
   

Images