JP6253406B2 - 画像符号化装置、撮像装置、画像符号化方法、及びプログラム - Google Patents

Description

本発明は、画像符号化装置、撮像装置、画像符号化方法、及びプログラムに関する。

現在、デジタルビデオカメラやハードディスクレコーダーなど、動画像を記録できるデジタル機器が普及している。これらのデジタル機器では、情報量の多い動画像を容量の制限されたフラッシュメモリやハードディスクといった記録メディアに効率的に記録するため、動画像データの圧縮符号化を行っている。

代表的な動画像圧縮符号化方式として、Ｈ．２６４符号化方式が挙げられる。Ｈ．２６４符号化方式は、ビデオカメラのハイビジョン記録方式であるＡＶＣＨＤや、地上デジタル放送のワンセグ放送に採用されていて、一般に広く普及している動画像圧縮符号化方式である。なお、ＡＶＣＨＤは、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎの省略形である。

近年、４ｋテレビが市場に出るなど、動画像の高解像度化、高フレームレート化が進んでいる。それに伴い、動画像の圧縮効率の更なる向上が求められている。

Ｈ．２６４符号化方式の後継規格として、更に高効率な動画像圧縮符号化方式であるＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）符号化方式が国際標準規格として策定された。ＨＥＶＣ符号化方式は、Ｈ．２６４符号化方式の約２倍の圧縮効率があると言われ、次世代動画像デジタル機器に採用される見込みであり、将来的に広く普及する可能性が高い動画像圧縮符号化方式である。

ＨＥＶＣ符号化方式で新たに採用された符号化ツールとして、適応オフセット処理（ＳＡＯ：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）と呼ばれる技術がある。これは、デブロッキングフィルタ後のデコード画像に対して行われる処理であり、ＨＥＶＣ符号化方式の高画質化に大きく寄与している（特許文献１参照）。

適応オフセット処理には、バンドオフセット処理とエッジオフセット処理がある。符号化の際には、符号化装置は、ＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）単位でどちらの処理を行うか、もしくはどちらも行わないかを決定する。バンドオフセット処理を行うときは、バンド位置及びオフセット値を決定し、エッジオフセット処理を行うときは、エッジ方向及びオフセット値を決定して、それらのパラメータの符号化を行う。

特開２０１２−５１１３号公報

符号化時に適応オフセット処理のパラメータを決定する際には、画素単位でバンド位置やエッジ方向を調べ、適切なオフセット値を算出するための処理などを行う必要がある。従って、適応オフセット処理の全てのパターンについてそれらの処理を行って各パターンに対応する評価値を算出し、評価値に基づいて最終的に採用するパラメータを決定すると、処理量が膨大になってしまうといった問題がある。

本発明はこのような状況に鑑みてなされたものであり、画質劣化を抑制しつつ、適応オフセット処理のパラメータを決定するための処理量を削減する技術を提供することを目的とする。

上記課題を解決するために、本発明は、符号化対象画像を、複数の第１の分割画像に分割し、前記複数の第１の分割画像の各々を、複数の第２の分割画像に分割する分割手段と、前記符号化対象画像を前記第２の分割画像の単位で予測符号化することにより符号化画像を生成し、当該符号化画像を復号することによりローカルデコード画像を生成する生成手段と、前記ローカルデコード画像を補正するための補正方式を前記第１の分割画像に対応するブロックの単位で選択する選択手段と、前記ローカルデコード画像を、前記選択手段により選択された補正方式に従い、前記第１の分割画像に対応するブロックの単位で補正する補正手段と、を備え、前記選択手段は、前記第２の分割画像の数が閾値以下である前記第１の分割画像に対応するブロックについては、画素値が取り得る値の範囲を複数のバンドに分割し、補正対象画素の画素値が属するバンドに応じたオフセット値により当該補正対象画素を補正する第１の補正方式を選択し、前記第２の分割画像の数が前記閾値より大きい前記第１の分割画像に対応するブロックについては、補正対象画素及び隣接画素の画素値の大小関係に応じたオフセット値により当該補正対象画素を補正する第２の補正方式を選択することを特徴とする画像符号化装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、画質劣化を抑制しつつ、適応オフセット処理のパラメータを決定するための処理量を削減することが可能となる。

第１の実施形態に係る画像符号化装置１００を含む撮像装置の構成例を示すブロック図。 バンドオフセット処理の例を示す図。 エッジオフセット処理の４つのエッジ方向を示す図。 エッジオフセット処理の４つのカテゴリを示す図。 バンドオフセット処理に関するパラメータ決定処理を説明する図。 エッジオフセット処理に関するパラメータ決定処理を説明する図。 第１の実施形態において、適応オフセットパラメータ決定部１２１が、パラメータ決定処理の対象としてバンドオフセット処理又はエッジオフセット処理を選択する処理のフローチャート。 図７の選択処理の結果の例を示す図。 第２の実施形態において、適応オフセットパラメータ決定部１２１が、パラメータ決定処理の対象としてバンドオフセット処理又はエッジオフセット処理を選択する処理のフローチャート。 図９の選択処理の結果の例を示す図。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
図１は、第１の実施形態に係る画像符号化装置１００を含む撮像装置の構成例を示すブロック図である。本実施形態では、ＨＥＶＣ符号化方式を実現する画像符号化装置を例に説明を行う。また、図１において、本実施形態に特に関係のない構成については、省略又は簡略化して示す。

図１の撮像装置は、画像符号化装置１００、撮像部１０１、及び記録回路１１７を含み、記録媒体１１８を装着可能に構成されている。撮像部１０１は、レンズやＣＣＤ等のカメラ部を含み、画像データを取得する。

画像符号化装置１００のフレームメモリ１０２は、インター予測に用いる参照画像を記憶する参照画像メモリ１１４を備えている。被写体を撮像部１０１で撮像して得られた画像データは、フレームメモリ１０２に順次格納され、符号化を行う順序で画像データは取り出される。

取り出された画像データは、符号化ブロックサイズ決定部１２０に入力され、ＣＴＵ（第１の分割画像）に分割される。各々のＣＴＵは、更に、予測符号化の単位となる符号化ブロック（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）（第２の分割画像）に分割される。インター予測部１０３は、動き探索範囲の参照画像データを参照画像メモリ１１４から読み出す。そして、インター予測部１０３は、符号化ブロックサイズ決定部１２０から入力される符号化対象のＣＵの画像データと、参照画像データとの相関に基づいて動きベクトルを検出し、イントラ・インター選択部１０５へ通知する。

一方、イントラ予測部１０４は、後述する加算器１１２から出力される再構成画像データ（符号化画像を復号したローカルデコード画像）を蓄積しておき、符号化対象のＣＵの周辺画素のデータを取得する。そして、イントラ予測部１０４は、符号化ブロックサイズ決定部１２０から入力される符号化対象のＣＵの画像データと、その符号化対象のＣＵの周辺画素のデータから生成される複数のイントラ予測画像データとの相関に基づいてイントラ予測方式を選択する。イントラ予測部１０４は、決定したイントラ予測方式をイントラ・インター選択部１０５へ通知する。なお、周辺画素のデータは、フレームメモリ１０２から読み出してもよい。

イントラ・インター選択部１０５は、インター予測部１０３の結果とイントラ予測部１０４の結果とを取得し、例えば、差分値が小さい方の予測方式を選択して、予測画像生成部１０６へ通知する。

予測画像生成部１０６は、イントラ・インター選択部１０５から通知された予測方式に従って予測画像を生成する。予測方式がインター予測の場合には、イントラ・インター選択部１０５は、動きベクトルなどの予測情報に従って参照画像メモリ１１４から該当データを読み出して予測画像を生成する。一方、予測方式がイントラ予測の場合には、イントラ・インター選択部１０５は、イントラ予測方式に従って、加算器１１２から出力される再構成画像データから予測画像データを生成する。

減算器１０７には、フレームメモリ１０２から読み出される符号化対象のＣＵの画像データと前述の予測画像データとが入力され、符号化対象のＣＵの画像と予測画像との画素値の差分データを整数変換部１０８へ出力する。整数変換部１０８は、画素値の差分データに対して整数変換を施す。整数変換は、整数変換の単位となる整数変換ブロック（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）で行われる。量子化部１０９は、整数変換により生成した変換係数を、量子化制御部１１６から通知される量子化係数で量子化し、量子化後の変換係数をエントロピー符号化部１１５へ出力する。

量子化制御部１１６は、エントロピー符号化部１１５が生成した符号量の通知に基づいて、コントローラー（不図示）から予め指示されている符号量（ストリームのビットレート）となるように量子化係数を制御する。

また、量子化部１０９により量子化された変換係数は、逆量子化部１１０にも入力される。逆量子化部１１０は、入力された変換係数を逆量子化し、逆整数変換部１１１は、逆量子化された信号に対して逆整数変換処理を施す。

加算器１１２には、逆整数変換されたデータと、予測画像生成部１０６により生成された予測画像データとが入力されて加算される。加算後のデータは、再構成画像データ（符号化画像が復号されたローカルデコード画像）となり、予測画像生成部１０６に入力されてイントラ予測画像データの生成に用いられる。また、再構成画像データは、ループ内フィルタ１１３によって、符号化によるブロックノイズの軽減処理が実施される。ループ内フィルタ１１３により処理された画像データは、適応オフセット処理部１２２に入力される。適応オフセット処理部１２２は、適応オフセットパラメータ決定部１２１から通知される適応オフセット処理用のパラメータに従って、画像データに対して適応オフセット処理を施す。適応オフセット処理された画像データは、インター符号化の際に用いる参照画像データとして参照画像メモリ１１４に記憶される。適応オフセット処理の詳細については、後述する。

エントロピー符号化部１１５は、符号化対象のＣＵの量子化された変換係数や、分割情報、オフセットモード情報（補正方式情報）、予測方式情報などの各種情報をエントロピー符号化し、ストリームとして記録回路１１７に出力する。分割情報は、符号化ブロックサイズ決定部１２０において画像データ（符号化対象画像）がどのように分割されたかを示す情報である。オフセットモード情報は、適応オフセット処理部１２２が用いた適応オフセット処理の種類をＣＴＵ単位で示す情報である。

記録回路１１７は、エントロピー符号化部１１５から出力されたストリームを記録媒体１１８に記録する。なお、記録処理は、音声データとの多重化ストリームを生成した後に行ってもよい。また、エントロピー符号化部１１５は、生成した符号量を量子化制御部１１６へ通知する。

（適応オフセット処理）
次に、適応オフセット処理の詳細について説明する。ＨＥＶＣ符号化方式における適応オフセット処理には、バンドオフセット処理（第１の補正方式）とエッジオフセット処理（第２の補正方式）がある。一般的に、バンドオフセット処理は画素値の変化が少ない平坦部の画像に効果があると言われている。また、エッジオフセット処理は、エッジ部分などモスキートノイズが出やすい部分に効果があると言われている。適用する適応オフセット処理の種類はＣＴＵごとに選択され、画像符号化装置１００は、各ＣＴＵについて、バンドオフセット処理を適用するか、エッジオフセット処理を適用するか、又は、適応オフセット処理を行わないかを選択する。

適応オフセット処理は、輝度と色差に対してそれぞれ独立に処理を行うことができる。ここでは、輝度も色差も１画素が８ビットで構成されるものとし、画素値は０〜２５５の値をとるものとする。また、適応オフセット処理は、輝度の処理が行われた後で色差の処理が行われるものとする。これ以降は、輝度に対する処理を例に説明を行うが、色差についても同様の処理が行われる。

まず、バンドオフセット処理について説明する。バンドオフセット処理は、画素値が取り得る値の範囲を８ごとのバンドに分け、オフセット値を加える先頭のバンド位置を指定し、指定されたバンド位置から４バンド分の４つのオフセット値を指定する。そして、指定されたバンド位置から４バンド分の各バンドに該当する画素値の画素に対して、指定されたオフセット値を加える。

各画素のバンド位置は、以下の式（１）で表される。

バンド位置＝画素値÷８ （小数点以下切り捨て） …（１）

即ち、画素値が０〜７であればバンド位置＝０となり、画素値が８〜１５であればバンド位置＝１となる。

オフセット値を指定できるバンド位置は、指定されたバンド位置から４バンド分である。指定されたバンド位置をＢＰとすると、ＢＰ、ＢＰ＋１、ＢＰ＋２、ＢＰ＋３の４つのバンド位置に対して、オフセットをそれぞれ指定できる。バンド位置がＢＰのオフセット値をＯＦＦ０、ＢＰ＋１のオフセット値をＯＦＦ１、ＢＰ＋２のオフセット値をＯＦＦ２、ＢＰ＋３のオフセット値をＯＦＦ３とする。

適応オフセット処理前の補正対象画素の画素値がバンド位置ＢＰ、ＢＰ＋１、ＢＰ＋２、ＢＰ＋３のどれかに該当する場合、該当したバンド位置のオフセット値をこの画素に対して加える処理が行われ、バンドオフセット処理後の画素が生成される。

バンドオフセット処理の例を図２に示す。ここでは、バンド位置ＢＰ＝３（画素値２４〜３１）が指定されているものとする。また、オフセット値として、ＯＦＦ０＝１、ＯＦＦ１＝−１、ＯＦＦ２＝３、ＯＦＦ３＝２と指定されているものとする。これは、画素値２４〜３１にはオフセット値１、画素値３２〜３９にはオフセット値−１、画素値４０〜４７にはオフセット値３、画素値４８〜５５にはオフセット値２が指定されていることを意味する。

例えば、適応オフセット処理前の画素値が３３であった場合、対応するオフセット値は−１なので、画素値は３３＋（−１）＝３２に変更される。同様にして、ＣＴＵ内の全ての画素に対して画素値を調べ、指定されたバンド位置から４バンド分に含まれる場合は、対応するオフセット値が加える処理が行われる。指定されたバンド位置から４バンド分に含まれない画素の値は変更されない。このようにして、バンドオフセット処理が完了する。

次に、エッジオフセット処理について説明する。エッジオフセット処理は、補正対象画素及び２つの隣接画素の計３画素の大小関係によって４つのカテゴリに分類され、カテゴリごとにオフセット値を加える処理を行う。具体的には、隣接画素の方向を指定するエッジ方向の指定と、４つのカテゴリごとのオフセット値の指定とが行われる。

エッジ方向について、図３を用いて説明する。エッジオフセット処理の対象画素をＣ、エッジ方向の隣接画素をＮとする。エッジ方向として、図３（ａ）の横方向、図３（ｂ）の縦方向、図３（ｃ）の斜め方向１、図３（ｄ）の斜め方向２の４つのエッジ方向のうちの１つが指定される。

カテゴリについて、図４を用いて説明する。指定されたエッジ方向について、エッジオフセット処理の対象画素Ｃと、隣接する２つの画素Ｎの計３画素の画素値の大小関係により、カテゴリが決定される。隣接画素Ｎがどちらも対象画素Ｃよりも大きい場合、図４（ａ）のカテゴリ１が選択される。隣接画素Ｎの１画素が対象画素Ｃと同じ画素値で、もう１つの隣接画素Ｎが対象画素Ｃよりも大きい場合、図４（ｂ）のカテゴリ２が選択される。隣接画素Ｎの１画素が対象画素Ｃと同じ画素値で、もう１つの隣接画素Ｎが対象画素Ｃよりも小さい場合、図４（ｃ）のカテゴリ３が選択される。隣接画素Ｎがどちらも対象画素Ｃよりも小さい場合、図４（ｄ）のカテゴリ４が選択される。

エッジオフセット処理は、このように選択した４つのカテゴリに対して、それぞれオフセット値の指定を行う。適応オフセット処理前の画素が、指定されたエッジ方向の隣接画素を含めた３画素の大小関係で４つのカテゴリのうちどれかに当てはまる場合、そのカテゴリに対して指定されたオフセット値を加える処理を行い、エッジオフセット処理後の画素を生成する。対象画素が４つのカテゴリのいずれにも当てはまらない場合は、その対象画素はエッジオフセット処理の適用外となる。このようにして、エッジオフセット処理が完了する。

（適応オフセットパラメータの決定）
次に、適応オフセットパラメータ決定部１２１の動作について説明する。適応オフセットパラメータ決定部１２１は、符号化ブロックサイズ決定部１２０が出力するＣＴＵ単位のＣＵ分割状態に応じて、バンドオフセット処理とエッジオフセット処理のどちらか一方だけを選択してパラメータ決定処理を行う。

図７は、適応オフセットパラメータ決定部１２１が、パラメータ決定処理の対象としてバンドオフセット処理又はエッジオフセット処理を選択する処理のフローチャートである。Ｓ７０１で、適応オフセットパラメータ決定部１２１は、処理対象ＣＴＵ内のＣＵの数（ＣＵ分割数Ｎ）を取得する。Ｓ７０２で、適応オフセットパラメータ決定部１２１は、ＣＵ分割数Ｎが予め設定されている閾値ＴＨ以下か否かを判定する。ＣＵ分割数が閾値以下の場合、Ｓ７０３で、適応オフセットパラメータ決定部１２１は、パラメータ決定処理の対象としてバンドオフセット処理を選択する。他方、ＣＵ分割数が閾値より大きい場合、Ｓ７０４で、適応オフセットパラメータ決定部１２１は、パラメータ決定処理の対象としてエッジオフセット処理を選択する。

Ｓ７０３又はＳ７０４における選択の後、Ｓ７０５で、適応オフセットパラメータ決定部１２１は、全てのＣＴＵについて処理が完了したか否かを判定する。完了していない場合、適応オフセットパラメータ決定部１２１は、Ｓ７０１に戻り、次のＣＴＵを処理対象ＣＴＵとして同様の処理を繰り返す。

一般的に、バンドオフセット処理は画素値の変化が少ない平坦部の画像に効果があると言われている。また、ＣＵの分割は、画素値の変化が少ない領域が１つのＣＵとなるように行われるのが一般的である。そのため、ＣＵ分割数Ｎが小さいＣＴＵは平坦部分が多いと考えられる。このような特性を利用して、本実施形態では、適応オフセットパラメータ決定部１２１は、Ｎ≦ＴＨの場合にバンドオフセット処理を選択し、Ｎ＞ＴＨの場合にエッジオフセット処理を選択する。これにより、処理対象ＣＴＵにとって有効である可能性の高い種類のオフセット処理のみに関してパラメータ決定処理が行われるため、画質劣化を抑制しつつ、パラメータ決定処理の処理量が削減される。

なお、詳細は図５を参照して説明するが、適応オフセットパラメータ決定部１２１は、Ｓ７０３においてバンドオフセット処理を選択した場合であっても、最終的にはバンドオフセット処理を行わないと決定する場合がある。従って、Ｓ７０３においてバンドオフセット処理が選択された場合、適応オフセット処理が行われるとすればその種類は（エッジオフセット処理ではなく）バンドオフセット処理であるが、必ずバンドオフセット処理が行われるという訳ではない。Ｓ７０４においてエッジオフセット処理が選択された場合についても同様である。

図８は、図７の選択処理の結果の例を示す図である。ここでは、閾値ＴＨ＝７であるものとする。図中、網掛けをしたＣＴＵは、エッジオフセット処理が選択されたＣＴＵであり、網掛けをしていないＣＴＵは、バンドオフセット処理が選択されたＣＴＵである。図から明らかなように、平坦部分を多く含むＣＴＵ（即ち、ＣＵ分割数の小さいＣＴＵ）についてバンドオフセット処理が選択されている。

次に、図５を参照して、バンドオフセット処理に関するパラメータ決定処理について説明する。図５の各ブロックは、適応オフセットパラメータ決定部１２１の中に実装された機能ブロックである。パラメータ決定処理の中には、バンドオフセット処理の実施の有無を決定する処理も含まれる。適応オフセット処理のパラメータはＣＴＵごとに符号化されるので、ＣＴＵ単位でパラメータ決定処理が行われる。

本実施形態では、適応オフセットパラメータ決定部１２１は、バンド位置ごとのデブロッキングフィルタ後の画像と符号化対象画像との間の差分平均値をオフセット値として用いるものとする。また、適応オフセットパラメータ決定部１２１は、全バンド位置におけるバンドオフセット適用後の画像と符号化対象画像との間で差分絶対値和によるコスト算出を行い、最小のコストに対応するバンド位置を、バンドオフセット処理のバンド位置として用いる。

まず、適応オフセットパラメータ決定部１２１は、バンド位置ごとのオフセット値を算出する。バンド位置カウンタ５０１は、バンド位置ごとにカウンタを持っており、デブロッキングフィルタ後の画像に対して画素ごとにどこのバンド位置に該当するかを調べ、それぞれのバンド位置に属する画素数をカウントする。バンド位置ごとの画素数はオフセット値算出部５０４に出力される。

差分算出部５０２は、デブロッキングフィルタ後の画像に対して画素ごとにどのバンド位置に該当するかを調べる。また、差分算出部５０２は、デブロッキングフィルタ後の画像と符号化対象画像との間で画素ごとに差分をとり、バンド位置と差分値をセットで累積加算部５０３に出力する。

累積加算部５０３は、バンド位置ごとに該当する差分値の累積加算処理を行い、バンド位置ごとの累積加算値をオフセット値算出部５０４に出力する。オフセット値算出部５０４は、バンド位置ごとに累積加算値を画素数で割り、１画素あたりの差分平均値を算出する。オフセット値算出部５０４は、バンド位置ごとに算出した差分平均値を、対応するバンド位置のオフセット値として決定する。バンド位置ごとのオフセット値は、オフセット値加算部５０５に出力される。

次に、適応オフセットパラメータ決定部１２１は、全バンド位置におけるバンドオフセット適用後のコスト算出を行う。オフセット値加算部５０５は、各バンド位置を順に先頭バンド位置として指定し、デブロッキングフィルタ後の画像に対してバンドオフセット処理を行う。即ち、オフセット値加算部５０５は、指定された先頭バンド位置から４バンド分に含まれる画素値に対して、オフセット値算出部５０４で決定したオフセット値を加算する。オフセット値の加算後の画像は、コスト算出部５０６に出力される。

コスト算出部５０６は、オフセット値の加算後の画像と符号化対象画像との間で、全ての画素に対する差分絶対値和を算出し、この差分絶対値和を、指定された先頭バンド位置のコストとする。コスト算出部５０６は、オフセット値加算部５０５が順に指定する全ての先頭バンド位置についてコストを算出し、最小のコストに対応する先頭バンド位置を、バンドオフセット処理の先頭バンド位置として決定する。

このようにして、バンドオフセット処理のバンド位置（先頭バンド位置）、オフセット値、及び対応するコストが決定される。このコストは、判定部５０７に送られる。

コスト算出部５０６は、更に、バンドオフセット処理を行わない場合のコストも算出する。具体的には、コスト算出部５０６は、デブロッキングフィルタ後の画像と符号化対象画像との間で、全ての画素に対する差分絶対値和を算出し、この差分絶対値和をバンドオフセット処理を行わない場合のコストとする。このコストも判定部５０７に送られる。

判定部５０７は、バンドオフセット処理を行うか否かを判定する。まず、判定部５０７は、バンドオフセット処理を行った場合に画質がどの程度良くなるかを示す指標となる、画質改善コストを算出する。画質改善コストは、バンドオフセット処理を行わない場合のコストからバンドオフセット処理を行った場合のコストを引いたものである。即ち、画質改善コストは、符号化対象画像と、バンドオフセット処理の前後のローカルデコード画像との間の比較結果に関係する値である。

バンドオフセット処理を行う場合、画像符号化装置１００は、バンド位置及びオフセット値を符号化する必要があり、符号量が増加する。バンドオフセット処理を行うか否かの判定は、この符号量の増加に対して、それ以上の画質改善の効果が得られるかどうかによって判定することができる。符号量の増加はほぼ一定なので、画質改善コストがある決められた閾値以上であれば、画質改善効果の方が大きいと判断することができる。判定部５０７は、画質改善コストが予め決められたある閾値以上であればバンドオフセット処理を行い、画質改善コストが閾値未満であればバンドオフセット処理を行わないと判定する。

判定部５０７の判定結果はコスト算出部５０６に送られる。コスト算出部５０６は、判定結果に従い、符号化パラメータを出力する。具体的には、判定結果がバンドオフセット処理を行わないという場合は、コスト算出部５０６は、符号化パラメータとして適応オフセット処理を行わないというフラグを出力する。他方、判定結果がバンドオフセット処理を行うという場合は、コスト算出部５０６は、符号化パラメータとして、バンドオフセット処理を行うというフラグ、バンド位置、及び４バンド分のオフセット値を出力する。

以上のようにして、適応オフセットパラメータ決定部１２１は、バンドオフセット処理のパラメータであるバンド位置及びオフセット値を決定することができる。また、適応オフセットパラメータ決定部１２１は、バンドオフセット処理を行うか否かを判定することができる。図７のフローチャートにおいてバンドオフセット処理が選択されたＣＴＵについては、このようにバンドオフセット処理についてのみパラメータ決定処理が行われるため、処理量が削減される。

なお、バンドオフセット処理のパラメータ決定方法、及びバンドオフセット処理を行うか否かの判定方法は、これに限ったものではない。

次に、図６を参照して、エッジオフセット処理に関するパラメータ決定処理について説明する。図６の各ブロックは、適応オフセットパラメータ決定部１２１の中に実装された機能ブロックである。パラメータ決定処理の中には、エッジオフセット処理の実施の有無を決定する処理も含まれる。適応オフセット処理のパラメータはＣＴＵごとに符号化されるので、ＣＴＵ単位でパラメータ決定処理が行われる。

本実施形態では、適応オフセットパラメータ決定部１２１は、各エッジ方向、カテゴリごとのデブロッキングフィルタ後の画像と符号化対象画像との間の差分平均値をオフセット値として用いるものとする。また、適応オフセットパラメータ決定部１２１は、全エッジ方向におけるエッジオフセット適用後の画像と符号化対象画像との間で差分絶対値和によるコスト算出を行い、最小のコストに対応するエッジ方向を、エッジオフセット処理のエッジ方向として用いる。

まず、適応オフセットパラメータ決定部１２１は、各エッジ方向、カテゴリごとのオフセット値を算出する。カテゴリカウンタ６０１は、各エッジ方向のカテゴリごとにカウンタを持っている。即ち、カテゴリカウンタ６０１は、図３（ａ）〜（ｄ）の４つのエッジ方向のそれぞれに、図４（ａ）〜（ｄ）の４つのカテゴリに対するカウンタを持っている。カテゴリカウンタ６０１は、デブロッキングフィルタ後の画像に対して画素ごとに、４つのエッジ方向全てに対してどのカテゴリに該当するかを調べ、それぞれのカテゴリに属する画素数をカウントする。各エッジ方向、カテゴリごとの画素数は、オフセット値算出部６０４に出力される。

差分算出部６０２は、デブロッキングフィルタ後の画像に対して画素ごとに、各エッジ方向のどのカテゴリに該当するかを調べる。また、差分算出部６０２は、デブロッキングフィルタ後の画像と符号化対象画像との間で画素ごとに差分をとり、エッジ方向及びカテゴリと差分値とをセットで累積加算部６０３に出力する。

累積加算部６０３は、各エッジ方向のカテゴリごとに該当する差分値の累積加算処理を行い、各エッジ方向のカテゴリごとの累積加算値をオフセット値算出部６０４に出力する。オフセット値算出部６０４は、各エッジ方向のカテゴリごとに累積加算値を画素数で割り、１画素あたりの差分平均値を算出する。オフセット値算出部６０４は、各エッジ方向のカテゴリごとに算出した差分平均値を、対応するエッジ方向及びカテゴリのオフセット値として決定する。各エッジ方向のカテゴリごとのオフセット値は、オフセット値加算部６０５に出力される。

次に、適応オフセットパラメータ決定部１２１は、全エッジ方向におけるエッジオフセット適用後のコスト算出を行う。オフセット値加算部６０５は、各エッジ方向を順に指定し、デブロッキングフィルタ後の画像に対してエッジオフセット処理を行う。即ち、オフセット値加算部６０５は、指定されたエッジ方向の各カテゴリに該当する画素値に対して、オフセット値算出部６０４で決定したオフセット値を加算処理する。オフセット値の加算後の画像は、コスト算出部６０６に出力される。

コスト算出部６０６は、オフセット値の加算後の画像と符号化対象画像との間で、全ての画素に対する差分絶対値和を算出し、この差分絶対値和を、指定されたエッジ方向のコストとする。コスト算出部６０６は、オフセット値加算部６０５が順に指定する全てのエッジ方向についてコストを算出し、最小のコストに対応するエッジ方向を、エッジオフセット処理のエッジ方向として決定する。

このようにして、エッジオフセット処理のエッジ方向、オフセット値、及び対応するコストが決定される。このコストは、判定部６０７に送られる。

コスト算出部６０６は、更に、エッジオフセット処理を行わない場合のコストも算出する。具体的には、コスト算出部６０６は、デブロッキングフィルタ後の画像と符号化対象画像との間で、全ての画素に対する差分絶対値和を算出し、この差分絶対値和をエッジオフセット処理を行わない場合のコストとする。このコストも判定部６０７に送られる。

判定部６０７は、エッジオフセット処理を行うか否かを判定する。まず、判定部６０７は、エッジオフセット処理を行った場合に画質がどの程度良くなるかを示す指標となる、画質改善コストを算出する。画質改善コストは、エッジオフセット処理を行わない場合のコストからエッジオフセット処理を行った場合のコストを引いたものである。即ち、画質改善コストは、符号化対象画像と、エッジオフセット処理の前後のローカルデコード画像との間の比較結果に関係する値である。

エッジオフセット処理を行う場合、画像符号化装置１００は、エッジ方向及びオフセット値を符号化する必要があり、符号量が増加する。エッジオフセット処理を行うか否かの判定は、この符号量の増加に対して、それ以上の画質改善の効果が得られるかどうかによって判定することができる。符号量の増加はほぼ一定なので、画質改善コストがある決められた閾値以上であれば、画質改善効果の方が大きいと判断することができる。判定部６０７は、画質改善コストが予め決められたある閾値以上であればエッジオフセット処理を行い、画質改善コストが閾値未満であればエッジオフセット処理を行わないと判定する。

判定部６０７の判定結果はコスト算出部６０６に送られる。コスト算出部６０６は、判定結果に従い、符号化パラメータを出力する。具体的には、判定結果がエッジオフセット処理を行わないという場合は、コスト算出部６０６は、符号化パラメータとして適応オフセット処理を行わないというフラグを出力する。他方、判定結果がエッジオフセット処理を行うという場合は、コスト算出部６０６は、符号化パラメータとして、エッジオフセット処理を行うというフラグ、エッジ方向、及び各カテゴリのオフセット値を出力する。

以上のようにして、適応オフセットパラメータ決定部１２１は、エッジオフセット処理のパラメータであるエッジ方向及びオフセット値を決定することができる。また、適応オフセットパラメータ決定部１２１は、エッジオフセット処理を行うか否かを判定することができる。図７のフローチャートにおいてエッジオフセット処理が選択されたＣＴＵについては、このようにエッジオフセット処理についてのみパラメータ決定処理が行われるため、処理量が削減される。

なお、エッジオフセット処理のパラメータ決定方法、及びエッジオフセット処理を行うか否かの判定方法はこれに限ったものではない。

以上説明したように、第１の実施形態によれば、画像符号化装置１００は、ＣＴＵのＣＵ分割数に応じて、バンドオフセット処理又はエッジオフセット処理を選択する。画像符号化装置１００は、ＣＵ分割数が閾値以下のＣＴＵについては、バンドオフセット処理を選択し、ＣＵ分割数が閾値より大きいＣＴＵについては、エッジオフセット処理を選択する。

これにより、画質劣化を抑制しつつ、適応オフセット処理のパラメータを決定するための処理量を削減することが可能となる。

なお、本実施形態ではＨＥＶＣ符号化方式を例に説明を行ったが、適応オフセット処理を行うものであれば、どのような符号化方式にも本実施形態を適用することができる。

［第２の実施形態］
第１の実施形態では、ＣＵ分割数に基づいてバンドオフセット処理又はエッジオフセット処理を選択する構成について説明した。これに対し、第２の実施形態では、ＣＴＵ内の最小ＣＵのサイズに基づいて選択を行う構成について説明する。本実施形態に係る撮像装置の構成は、第１の実施形態で説明したものと同様であるので（図１参照）、ここでは、主に第１の実施形態との差異について説明する。

図９は、適応オフセットパラメータ決定部１２１が、パラメータ決定処理の対象としてバンドオフセット処理又はエッジオフセット処理を選択する処理のフローチャートである。Ｓ９０１で、適応オフセットパラメータ決定部１２１は、処理対象ＣＴＵ内の最小ＣＵのサイズ（ｍｉｎ＿ｓｉｚｅ）を取得する。Ｓ９０２で、適応オフセットパラメータ決定部１２１は、最小ＣＵのサイズｍｉｎ＿ｓｉｚｅが予め設定されている閾値ＴＨ＿ｓｉｚｅ以下か否かを判定する。最小ＣＵのサイズが閾値以下の場合、Ｓ９０３で、適応オフセットパラメータ決定部１２１は、パラメータ決定処理の対象としてエッジオフセット処理を選択する。他方、最小ＣＵのサイズが閾値より大きい場合、Ｓ９０４で、適応オフセットパラメータ決定部１２１は、パラメータ決定処理の対象としてバンドオフセット処理を選択する。

Ｓ９０３又はＳ９０４における選択の後、Ｓ９０５で、適応オフセットパラメータ決定部１２１は、全てのＣＴＵについて処理が完了したか否かを判定する。完了していない場合、適応オフセットパラメータ決定部１２１は、Ｓ９０１に戻り、次のＣＴＵを処理対象ＣＴＵとして同様の処理を繰り返す。

一般的に、エッジオフセット処理はエッジ部分などモスキートノイズが出やすい部分に効果があると言われている。ままた、ＣＵの分割は、画素値の変化が少ない領域が１つのＣＵとなるように行われるのが一般的である。そのため、小さいＣＵを含むＣＴＵにはエッジ部分が存在すると考えられる。このような特性を利用して、本実施形態では、適応オフセットパラメータ決定部１２１は、ｍｉｎ＿ｓｉｚｅ≦ＴＨ＿ｓｉｚｅの場合にエッジオフセット処理を選択し、ｍｉｎ＿ｓｉｚｅ＞ＴＨ＿ｓｉｚｅの場合にバンドオフセット処理を選択する。これにより、処理対象ＣＴＵにとって有効である可能性の高い種類のオフセット処理のみに関してパラメータ決定処理が行われるため、画質劣化を抑制しつつ、パラメータ決定処理の処理量が削減される。

なお、第１の実施形態と同様、適応オフセットパラメータ決定部１２１は、Ｓ９０３においてエッジオフセット処理を選択した場合であっても、最終的にはエッジオフセット処理を行わないと決定する場合がある。従って、Ｓ９０３においてエッジオフセット処理が選択された場合、適応オフセット処理が行われるとすればその種類は（バンドオフセット処理ではなく）エッジオフセット処理であるが、必ずエッジオフセット処理が行われるという訳ではない。Ｓ９０４においてバンドオフセット処理が選択された場合についても同様である。

図１０は、図９の選択処理の結果の例を示す図である。ここでは、ＣＴＵサイズは６４ｘ６４であり、閾値ＴＨ＿ｓｉｚｅ＝１６ｘ１６であるものとする。図中、網掛けをしたＣＴＵは、エッジオフセット処理が選択されたＣＴＵであり、網掛けをしていないＣＴＵはバンドオフセット処理が選択されたＣＴＵである。図から明らかなように、エッジ部分を含むＣＴＵ（即ち、最小ＣＵのサイズが小さいＣＴＵ）についてエッジオフセット処理が選択されている。

以上説明したように、第２の実施形態によれば、画像符号化装置１００は、ＣＴＵ内の最小ＣＵのサイズに応じて、バンドオフセット処理又はエッジオフセット処理を選択する。画像符号化装置１００は、最小ＣＵのサイズが閾値以下のＣＴＵについては、エッジオフセット処理を選択し、最小ＣＵのサイズが閾値より大きいＣＴＵについては、バンドオフセット処理を選択する。

これにより、画質劣化を抑制しつつ、適応オフセット処理のパラメータを決定するための処理量を削減することが可能となる。

なお、本実施形態ではＨＥＶＣ符号化方式を例に説明を行ったが、適応オフセット処理を行うものであれば、どのような符号化方式にも本実施形態を適用することができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (13)

1. 符号化対象画像を、複数の第１の分割画像に分割し、前記複数の第１の分割画像の各々を、複数の第２の分割画像に分割する分割手段と、
   前記符号化対象画像を前記第２の分割画像の単位で予測符号化することにより符号化画像を生成し、当該符号化画像を復号することによりローカルデコード画像を生成する生成手段と、
   前記ローカルデコード画像を補正するための補正方式を前記第１の分割画像に対応するブロックの単位で選択する選択手段と、
   前記ローカルデコード画像を、前記選択手段により選択された補正方式に従い、前記第１の分割画像に対応するブロックの単位で補正する補正手段と、
   を備え、
   前記選択手段は、前記第２の分割画像の数が閾値以下である前記第１の分割画像に対応するブロックについては、画素値が取り得る値の範囲を複数のバンドに分割し、補正対象画素の画素値が属するバンドに応じたオフセット値により当該補正対象画素を補正する第１の補正方式を選択し、前記第２の分割画像の数が前記閾値より大きい前記第１の分割画像に対応するブロックについては、補正対象画素及び隣接画素の画素値の大小関係に応じたオフセット値により当該補正対象画素を補正する第２の補正方式を選択する
   ことを特徴とする画像符号化装置。
2. 前記符号化画像と、前記分割手段が前記符号化対象画像をどのように分割したかを示す分割情報と、前記補正手段が用いた補正方式を前記第１の分割画像に対応するブロックの単位で示す補正方式情報と、を出力する出力手段を更に備え、
   前記補正方式情報は、前記第２の分割画像の数が前記閾値以下である前記第１の分割画像に対応するブロックについては、前記第１の補正方式を示し、前記第２の分割画像の数が前記閾値より大きい前記第１の分割画像に対応するブロックについては、前記第２の補正方式を示す
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 符号化対象画像を、複数の第１の分割画像に分割し、前記複数の第１の分割画像の各々を、複数の第２の分割画像に分割する分割手段と、
   前記符号化対象画像を前記第２の分割画像の単位で予測符号化することにより符号化画像を生成し、当該符号化画像を復号することによりローカルデコード画像を生成する生成手段と、
   前記ローカルデコード画像を補正するための補正方式を前記第１の分割画像に対応するブロックの単位で選択する選択手段と、
   前記ローカルデコード画像を、前記選択手段により選択された補正方式に従い、前記第１の分割画像に対応するブロックの単位で補正する補正手段と、
   を備え、
   前記選択手段は、最小の前記第２の分割画像のサイズが閾値以下である前記第１の分割画像に対応するブロックについては、補正対象画素及び隣接画素の画素値の大小関係に応じたオフセット値により当該補正対象画素を補正する第２の補正方式を選択し、最小の前記第２の分割画像のサイズが前記閾値より大きい前記第１の分割画像に対応するブロックについては、画素値が取り得る値の範囲を複数のバンドに分割し、補正対象画素の画素値が属するバンドに応じたオフセット値により当該補正対象画素を補正する第１の補正方式を選択する
   ことを特徴とする画像符号化装置。
4. 前記符号化画像と、前記分割手段が前記符号化対象画像をどのように分割したかを示す分割情報と、前記補正手段が用いた補正方式を前記第１の分割画像に対応するブロックの単位で示す補正方式情報と、を出力する出力手段を更に備え、
   前記補正方式情報は、最小の前記第２の分割画像のサイズが前記閾値以下である前記第１の分割画像に対応するブロックについては、前記第２の補正方式を示し、最小の前記第２の分割画像のサイズが前記閾値より大きい前記第１の分割画像に対応するブロックについては、前記第１の補正方式を示す
   ことを特徴とする請求項３に記載の画像符号化装置。
5. 前記第１の分割画像と、前記選択手段により選択された補正方式に従って補正された、前記第１の分割画像に対応するブロックと、前記選択手段により選択された補正方式に従って補正される前の、前記第１の分割画像に対応するブロックとを比較することにより、前記補正手段により補正を行うか否かを前記第１の分割画像に対応するブロックの単位で判定する判定手段を更に備える
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像符号化装置。
6. 符号化対象画像を、複数の第１の分割画像に分割し、前記複数の第１の分割画像の各々を、複数の第２の分割画像に分割する分割手段と、
   前記符号化対象画像を前記第２の分割画像の単位で予測符号化することにより符号化画像を生成し、当該符号化画像を復号することによりローカルデコード画像を生成する生成手段と、
   前記ローカルデコード画像を、前記第１の分割画像に対応するブロックの単位で選択された補正方式に従い、前記第１の分割画像に対応するブロックの単位で補正する補正手段と、
   前記符号化画像と、前記分割手段が前記符号化対象画像をどのように分割したかを示す分割情報と、前記補正手段が用いた補正方式を前記第１の分割画像に対応するブロックの単位で示す補正方式情報と、を出力する出力手段と、
   を備え、
   前記補正方式情報は、前記第２の分割画像の数が閾値以下である前記第１の分割画像に対応するブロックについては、画素値が取り得る値の範囲を複数のバンドに分割し、補正対象画素の画素値が属するバンドに応じたオフセット値により当該補正対象画素を補正する第１の補正方式を示し、前記第２の分割画像の数が前記閾値より大きい前記第１の分割画像に対応するブロックについては、補正対象画素及び隣接画素の画素値の大小関係に応じたオフセット値により当該補正対象画素を補正する第２の補正方式を示す
   ことを特徴とする画像符号化装置。
7. 符号化対象画像を、複数の第１の分割画像に分割し、前記複数の第１の分割画像の各々を、複数の第２の分割画像に分割する分割手段と、
   前記符号化対象画像を前記第２の分割画像の単位で予測符号化することにより符号化画像を生成し、当該符号化画像を復号することによりローカルデコード画像を生成する生成手段と、
   前記ローカルデコード画像を、前記第１の分割画像に対応するブロックの単位で選択された補正方式に従い、前記第１の分割画像に対応するブロックの単位で補正する補正手段と、
   前記符号化画像と、前記分割手段が前記符号化対象画像をどのように分割したかを示す分割情報と、前記補正手段が用いた補正方式を前記第１の分割画像に対応するブロックの単位で示す補正方式情報と、を出力する出力手段と、
   を備え、
   前記補正方式情報は、最小の前記第２の分割画像のサイズが閾値以下である前記第１の分割画像に対応するブロックについては、補正対象画素及び隣接画素の画素値の大小関係に応じたオフセット値により当該補正対象画素を補正する第２の補正方式を示し、最小の前記第２の分割画像のサイズが前記閾値より大きい前記第１の分割画像に対応するブロックについては、画素値が取り得る値の範囲を複数のバンドに分割し、補正対象画素の画素値が属するバンドに応じたオフセット値により当該補正対象画素を補正する第１の補正方式を示す
   ことを特徴とする画像符号化装置。
8. 請求項１乃至７のいずれか１項に記載の画像符号化装置と、
   前記符号化対象画像を撮像する撮像手段と、
   を備えることを特徴とする撮像装置。
9. 画像符号化装置による画像符号化方法であって、
   前記画像符号化装置の分割手段が、符号化対象画像を、複数の第１の分割画像に分割し、前記複数の第１の分割画像の各々を、複数の第２の分割画像に分割する分割工程と、
   前記画像符号化装置の生成手段が、前記符号化対象画像を前記第２の分割画像の単位で予測符号化することにより符号化画像を生成し、当該符号化画像を復号することによりローカルデコード画像を生成する生成工程と、
   前記画像符号化装置の選択手段が、前記ローカルデコード画像を補正するための補正方式を前記第１の分割画像に対応するブロックの単位で選択する選択工程と、
   前記画像符号化装置の補正手段が、前記ローカルデコード画像を、前記選択工程により選択された補正方式に従い、前記第１の分割画像に対応するブロックの単位で補正する補正工程と、
   を備え、
   前記選択工程では、前記第２の分割画像の数が閾値以下である前記第１の分割画像に対応するブロックについては、画素値が取り得る値の範囲を複数のバンドに分割し、補正対象画素の画素値が属するバンドに応じたオフセット値により当該補正対象画素を補正する第１の補正方式を選択し、前記第２の分割画像の数が前記閾値より大きい前記第１の分割画像に対応するブロックについては、補正対象画素及び隣接画素の画素値の大小関係に応じたオフセット値により当該補正対象画素を補正する第２の補正方式を選択する
   ことを特徴とする画像符号化方法。
10. 画像符号化装置による画像符号化方法であって、
    前記画像符号化装置の分割手段が、符号化対象画像を、複数の第１の分割画像に分割し、前記複数の第１の分割画像の各々を、複数の第２の分割画像に分割する分割工程と、
    前記画像符号化装置の生成手段が、前記符号化対象画像を前記第２の分割画像の単位で予測符号化することにより符号化画像を生成し、当該符号化画像を復号することによりローカルデコード画像を生成する生成工程と、
    前記画像符号化装置の選択手段が、前記ローカルデコード画像を補正するための補正方式を前記第１の分割画像に対応するブロックの単位で選択する選択工程と、
    前記画像符号化装置の補正手段が、前記ローカルデコード画像を、前記選択工程により選択された補正方式に従い、前記第１の分割画像に対応するブロックの単位で補正する補正工程と、
    を備え、
    前記選択工程では、最小の前記第２の分割画像のサイズが閾値以下である前記第１の分割画像に対応するブロックについては、補正対象画素及び隣接画素の画素値の大小関係に応じたオフセット値により当該補正対象画素を補正する第２の補正方式を選択し、最小の前記第２の分割画像のサイズが前記閾値より大きい前記第１の分割画像に対応するブロックについては、画素値が取り得る値の範囲を複数のバンドに分割し、補正対象画素の画素値が属するバンドに応じたオフセット値により当該補正対象画素を補正する第１の補正方式を選択する
    ことを特徴とする画像符号化方法。
11. 画像符号化装置による画像符号化方法であって、
    前記画像符号化装置の分割手段が、符号化対象画像を、複数の第１の分割画像に分割し、前記複数の第１の分割画像の各々を、複数の第２の分割画像に分割する分割工程と、
    前記画像符号化装置の生成手段が、前記符号化対象画像を前記第２の分割画像の単位で予測符号化することにより符号化画像を生成し、当該符号化画像を復号することによりローカルデコード画像を生成する生成工程と、
    前記画像符号化装置の補正手段が、前記ローカルデコード画像を、前記第１の分割画像に対応するブロックの単位で選択された補正方式に従い、前記第１の分割画像に対応するブロックの単位で補正する補正工程と、
    前記画像符号化装置の出力手段が、前記符号化画像と、前記分割工程で前記符号化対象画像をどのように分割したかを示す分割情報と、前記補正工程で用いた補正方式を前記第１の分割画像に対応するブロックの単位で示す補正方式情報と、を出力する出力工程と、
    を備え、
    前記補正方式情報は、前記第２の分割画像の数が閾値以下である前記第１の分割画像に対応するブロックについては、画素値が取り得る値の範囲を複数のバンドに分割し、補正対象画素の画素値が属するバンドに応じたオフセット値により当該補正対象画素を補正する第１の補正方式を示し、前記第２の分割画像の数が前記閾値より大きい前記第１の分割画像に対応するブロックについては、補正対象画素及び隣接画素の画素値の大小関係に応じたオフセット値により当該補正対象画素を補正する第２の補正方式を示す
    ことを特徴とする画像符号化方法。
12. 画像符号化装置による画像符号化方法であって、
    前記画像符号化装置の分割手段が、符号化対象画像を、複数の第１の分割画像に分割し、前記複数の第１の分割画像の各々を、複数の第２の分割画像に分割する分割工程と、
    前記画像符号化装置の生成手段が、前記符号化対象画像を前記第２の分割画像の単位で予測符号化することにより符号化画像を生成し、当該符号化画像を復号することによりローカルデコード画像を生成する生成工程と、
    前記画像符号化装置の補正手段が、前記ローカルデコード画像を、前記第１の分割画像に対応するブロックの単位で選択された補正方式に従い、前記第１の分割画像に対応するブロックの単位で補正する補正工程と、
    前記画像符号化装置の出力手段が、前記符号化画像と、前記分割工程で前記符号化対象画像をどのように分割したかを示す分割情報と、前記補正工程で用いた補正方式を前記第１の分割画像に対応するブロックの単位で示す補正方式情報と、を出力する出力工程と、
    を備え、
    前記補正方式情報は、最小の前記第２の分割画像のサイズが閾値以下である前記第１の分割画像に対応するブロックについては、補正対象画素及び隣接画素の画素値の大小関係に応じたオフセット値により当該補正対象画素を補正する第２の補正方式を示し、最小の前記第２の分割画像のサイズが前記閾値より大きい前記第１の分割画像に対応するブロックについては、画素値が取り得る値の範囲を複数のバンドに分割し、補正対象画素の画素値が属するバンドに応じたオフセット値により当該補正対象画素を補正する第１の補正方式を示す
    ことを特徴とする画像符号化方法。
13. コンピュータを、請求項１乃至７のいずれか１項に記載の画像符号化装置の各手段として機能させるためのプログラム。

Images