JP6814029B2

JP6814029B2 - ループフィルタ、符号化装置、復号装置、及びプログラム

Info

Publication number: JP6814029B2
Application number: JP2016227028A
Authority: JP
Inventors: 境田　慎一; 慎一境田; 市ヶ谷　敦郎; 敦郎市ヶ谷; 俊輔岩村
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2016-11-22
Filing date: 2016-11-22
Publication date: 2021-01-13
Anticipated expiration: 2036-11-22
Also published as: JP2018085604A

Description

本発明はループフィルタ、符号化装置、復号装置、及びプログラムに関し、特に、映像圧縮符号化処理又は復号処理においてオフセット処理を行うループフィルタと、当該ループフィルタを備えた符号化装置、復号装置、及びこれらを実現するプログラムに関するものである。

近年、スーパーハイビジョン等の高解像度映像の実用化に伴って、よりリアリティのある映像が求められており、映像の新たな表現を実現する技術手段として、高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）が注目されている（非特許文献１）。これは、ＩＴＵ−Ｒ（International Telecommunication Union Radiocommunications Sector）の勧告ＢＴ．７０９（非特許文献２）で規定される従来のダイナミックレンジであるＳＤＲ（Standard Dynamic Range）に対し、ディスプレイの表示可能な最大輝度を上げることにより、映像信号の表示可能な輝度の範囲も拡大することで、ＳＤＲでは表現できなかった非常に明るい光沢やスタジアムの日向日陰の同時高画質表示などが可能になるものである。

ＨＤＲの実現に際しては、前述の通り高輝度表示が可能なディスプレイが必要な他、撮影するカメラ、編集等を実施する各種機器に関してもＨＤＲ信号への対応が必要になる。また、放送など、映像の配信、伝送を行う応用においては、映像信号の圧縮符号化処理における対応も考慮する必要がある。ＨＤＲはＳＤＲに比べて輝度・色差の範囲が広がってはいるものの、従来の映像機器が扱える１画素あたりの階調数（ビット深度）は変えずに光電変換（ＯＥＴＦ：Optical-Electronic Transfer Function、ガンマカーブ（変換）とも言われる非線形変換処理）の工夫で対応するのが主流である。そのため、映像信号を波形として取り扱う映像符号化処理においては、階調数が変わらない限り基本的にはその処理に変更はない。すなわち、MPEG（Moving Picture Experts Group）-2やAVC（Advanced Video Coding）/H.264、HEVC（High Efficiency Video Coding）/H.265などの映像符号化方式が利用可能である。

また、ＨＤＲ以外に映像の表現を広げる技術として広色域化がある。これは、光の３原色であるＲＧＢ（赤緑青）をテレビジョンで使用する場合に、できるだけ単波長に近い鮮やかな色とすることで、表現できる色域を広げるものである。従来のハイビジョンでは、ＩＴＵ−Ｒ勧告ＢＴ．７０９で規定される３原色を用いていたが、広い色域に対応するものとして、勧告ＢＴ．２０２０で規定される３原色を利用するのが今後の主流となる。広色域に関しても、映像機器の対応は必要であるが、映像符号化処理においては各色に相当するビット深度が変わらなければ、従来の処理が利用可能である。

最新の映像符号化方式であるHEVC/H.265（非特許文献３）においては、ループフィルタが用いられている。ループフィルタは、映像符号化処理の中の局部復号処理を行うループ構造内で画像を処理するフィルタであるが、これに限らず、復号装置における復号処理でも利用されるものである。ループフィルタには、サンプル・アダプティブ・オフセット（ＳＡＯ：Sample Adaptive Offset）と呼ばれる機能がある。これは、符号化処理の量子化により生じるひずみを補正するために画素単位でオフセットを付加するフィルタ機能であり、量子化によって生じた直流成分の誤差やモスキートノイズを減少させる。

図８に、サンプル・アダプティブ・オフセットによる画像処理の概要を示す。また、図９に、具体的なオフセット処理の内容を示す。オフセットには、図８（Ａ）に示すエッジオフセット（ＥＯ：Edge Offset）と、図８（Ｂ）に示すバンドオフセット（ＢＯ：Band Offset）の２種類がある。

このうちエッジオフセット（ＥＯ）は、処理対象画素に隣接する２画素との関係に応じて、処理対象画素の画素値を補正するものである。具体的には、まず、処理対象画素（再構成画素）とそれに隣接する２画素（縦、横、斜め方向に隣接する画素）の画素値を比較し、大小関係に応じてカテゴリに分類する。隣接画素との関係が、図９（Ａ）に示す４種類のパターンのうちのいずれかである場合に、カテゴリ（エッジインデックス）を選択するとともに、オフセットする値を指定してオフセット処理を施す。エッジオフセットは、図８（Ａ）のように、局所的な画素値の山や谷（リンギング）を平坦になるように補正することができる。

一方、バンドオフセット（ＢＯ）は、画素値（輝度あるいは色差）を階調に基づいて３２のバンドに等分し、バンドごとに定めた値によりオフセットを施すものである。図９（Ｂ）に示すように、４つの連続するバンドに対してオフセット処理を施す仕組みになっている。エンコーダ側は最も二乗誤差エネルギーが低減できる４つの連続するバンドを探し、各バンドに対するオフセットを計算して、バンドの位置情報（オフセットを実行する対象バンドの先頭バンドを指定するインデックス）とオフセット値をデコーダ側に送る。デコーダ側では、指定されたオフセット値を、当該バンド内の全画素値に適用する。バンドオフセットは、画素値に応じて処理するため、処理する範囲内の画素値のばらつきが少ない場合に有効である。特に、低周波成分の量子化誤差や動き補償によるフレーム間参照の位相ずれが生じた際に効果があり、図８（Ｂ）のように、エッジ強調の効果がある。

ARIB STD-B67, "ESSENTIAL PARAMETER VALUES FOR THE EXTENDED IMAGE DYNAMIC RANGE TELEVISION (EIDRTV) SYSTEM FOR PROGRAMME PRODUCTION", Version 1.0, Association of Radio Industries and Businesses, July 3, 2015 Recommendation ITU-R BT.709, "Parameter values for the HDTV standards for production and international programme exchange" 大久保榮［監修］、「Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、2013年10月21日発行、p.157 - 161

ＨＤＲのように、信号処理に用いるＯＥＴＦ（光電変換関数）が従来のＳＤＲのＯＥＴＦと異なっている方式の場合には、映像符号化方式自体はそのまま利用可能であるものの、映像信号によっては符号化劣化が表れやすくなることがある。

図１０に、光信号（光学的入力信号）を電気信号（映像信号）に変換するＯＥＴＦの特性の一例を示す。ＯＥＴＦは、被写体を撮影して取得した光信号に対して対数や累乗根のカーブに似た形状の非線形曲線グラフとなり、輝度が高い範囲を圧縮して所定のビット深度に収めるのが一般的である。図１０の縦軸は映像信号の強度（階調）を正規化した値となっており、横軸は光入力信号の強度を示している。光入力信号の１を基準となるReference Whiteとすることができる。この曲線が人間の視覚特性（Weber-Fechner law：ヴェーバー・フェヒナーの法則）に従った対数関数の形状であれば、変換された電気信号を線形信号とみなして画素値に依らない処理をし、最終的にＯＥＴＦの逆変換であるＥＯＴＦ（Electronic- Optical Transfer Function、電気−光変換）をした後にディスプレイ表示すれば、視覚的な画質にはほぼ問題ない。しかしながら、ＯＥＴＦが、人間の視覚特性から乖離した曲線の関数である場合（例えば、従来のＳＤＲ方式と異なるダイナミックレンジを有するとき等）、電気信号を線形とみなして画素値に依らず同じ処理を施すと、画素値によっては品質の劣化を生じる恐れがある。

HEVC/H.265で規定されているバンドオフセットの処理においては、前述のとおり画素値（映像信号の階調）を等分してバンドを設定する。図１１に、映像信号を等バンド幅に分割して設定したバンド分割を模式的に示す。画素値を３２分割すると、映像信号が１０ビット（１０２４画素レベル）の場合１バンドあたり３２画素レベル、８ビット（２５６画素レベル）の場合１バンドあたり８画素レベルに均等に分割される。すなわち、バンドオフセットは、図１１に示すように、画素値を一様に等分してバンド分割を行い、指定されたバンドに対し、画素値に依らずに一定の値のオフセットを施す。そのため、光信号として見た場合には、画素値が高い場合にはオフセットにより大きく光信号が変化するが、画素値が低い場合にはオフセットを施しても光信号はほとんど変化しない。よって、意図したオフセットと実際の画質変化が一致しなくなることが予想される。

また、色信号に関しては映像符号化処理では一般にＲＧＢ信号ではなく、輝度と２つの色差信号に変換して処理されることが多い。これは、輝度と色差に分けることで互いの相関を減らし、人間の視覚が色信号に対して鈍感であるという特性に基づき色差信号の解像度を減らす（サブサンプリングする）ことが目的である。輝度・色差信号（例：ＹＣbＣr）における色差信号空間においては、輝度信号と同様に光信号ではなく電気信号であることと、色差信号空間が均等色空間ではないため例えば色差信号の値が１レベル異なっても、色によってその差の見え方が大きく異なることがある。そのため、バンドオフセットの処理を施すと、意図した色の変化ではない変化になってしまうことがある。

従って、上記のような問題点に鑑みてなされた本発明の目的は、ＨＤＲ信号や広色域信号等の従来と異なる特性を有する画像信号においても、オフセット処理により、品質の高い画像を得ることが可能なループフィルタ、符号化装置、復号装置、及びプログラムを提供することにある。

上記課題を解決するために本発明に係るループフィルタは、符号化された映像信号の局部復号処理又は復号処理においてバンドオフセット処理を行うループフィルタであって、前記バンドオフセット処理を施す映像信号のバンド分割を、ＯＥＴＦ情報又は色空間情報に基づいて、映像信号で等分割するバンド分割と光学的入力信号の均等性に基づいて設定するバンド分割とを切り替えることを特徴とする。

上記課題を解決するために本発明に係るループフィルタは、符号化された映像信号の局部復号処理又は復号処理においてバンドオフセット処理を行うループフィルタであって、前記バンドオフセット処理を施す映像信号のバンド分割を、ＯＥＴＦ情報又は色空間情報に基づいて、映像信号で等分割するバンド分割と光学的入力信号の均等性に基づいて設定するバンド分割とを切り替えるバンド分割部と、オフセットを実行する対象バンドを設定するオフセットパラメータ設定部と、前記対象バンドに対して、与えられたオフセット値に基づいてオフセット処理を実行するオフセット実行部と、を備えることを特徴とする。

また、前記ループフィルタは、前記バンドオフセット処理を施す映像信号のバンド分割を、光学的入力信号の均等性に基づいて設定する際に、光学的入力信号と映像信号の関係に基づいて、分割された各バンドにおいて光学的入力信号の強度幅が均等となるように設定することが望ましい。

また、前記ループフィルタは、前記バンドオフセット処理を施す映像信号のバンド分割を、光学的入力信号の均等性に基づいて設定する際に、光学的入力信号の色信号空間に基づいて、分割された各バンドにおいて均等色空間で色差が均等となるように設定することが望ましい。

また、前記ループフィルタは、前記バンドオフセット処理を施す映像信号のバンド分割を、光学的入力信号の均等性に基づいて設定する際に、光学的入力信号の発生頻度分布に基づいて、分割された各バンドにおいて累積頻度が均等となるように設定することが望ましい。

上記課題を解決するために本発明に係る符号化装置は、符号化された映像信号の局部復号処理を含む符号化装置において、前記局部復号処理におけるバンドオフセット処理を、前記のループフィルタを用いて行うことを特徴とする。

上記課題を解決するために本発明に係る復号装置は、符号化された映像信号の復号処理を行う復号装置において、前記復号処理におけるバンドオフセット処理を、前記のループフィルタを用いて行うことを特徴とする。

上記課題を解決するために本発明に係るプログラムは、コンピュータを、前記のループフィルタ、前記の符号化装置、又は、前記の復号装置として機能させることを特徴とする。

本発明のループフィルタ、符号化装置、復号装置、及びプログラムによれば、ＨＤＲ信号や広色域信号等の従来と異なる特性を有する画像信号においても、バンドオフセットによる画質調整により、映像圧縮符号化処理又は復号処理において品質の高い画像を得ることができる。

本発明の符号化装置の例を示すブロック図である。本発明のループフィルタの構成の例を示すブロック図である。光学的入力信号の強度に基づくバンド分割を説明する図である。光学的入力信号の均等色空間におけるバンド分割を説明する図である。ヒストグラムに基づくバンド分割を説明する図である。本発明のループフィルタの動作の例を示すフローチャートである。本発明の復号装置の例を示すブロック図である。サンプル・アダプティブ・オフセットによる画像処理の概要を示す。サンプル・アダプティブ・オフセットのオフセット処理の内容を示す。ＯＥＴＦの特性の一例を示すグラフである。映像信号を等バンド幅に分割したバンド分割を模式的に示す図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
本発明のループフィルタと当該ループフィルタを備えた符号化装置について説明する。図１は、本発明の実施の形態１の符号化装置の例を示すブロック図である。説明においては、符号化・復号処理としてHEVC/H.265方式を想定するが、バンドオフセットと類似の処理を有する他の符号化方式でも、本発明のループフィルタを適用することができる。

符号化装置１００は、原画像を入力して、符号化されたビットストリームを出力するものであり、光入力信号から原画像（映像信号）を生成した際のＯＥＴＦや色空間処理に対応して、ループフィルタ３０のバンドオフセット処理を変更することができる。そのため、原画像に加えて、ＯＥＴＦ情報及び／又は色空間情報が入力される。

符号化装置１００は、画面分割部１０、減算器１１、変換・量子化部１２、エントロピー符号化部１３、逆量子化・逆変換部１４、加算器１５、デブロッキングフィルタ１６、ループフィルタ３０、動き検出部１７、動き補償予測部１８、及びイントラ予測部１９を備えている。このうち、逆量子化・逆変換部１４、加算器１５、デブロッキングフィルタ１６、及びループフィルタ３０が、局部復号処理部として機能する。そして、変換・量子化部１２と、局部復号処理部と、動き補償予測部１８又はイントラ予測部１９と、減算器１１によりループ構造が構成されている。

本発明は、ループフィルタ３０の機能・構成が従来技術と異なっている。本発明のループフィルタにおいては、入力信号のＯＥＴＦや色空間に応じて、光学的入力信号の均等性に基づいてバンド分割を施すことを特徴とする。

画面分割部１０には、原画像が入力され、所定のサイズの画像に画面分割される。分割された画像データは減算器１１及び動き検出部１７に出力され、画像ブロック毎にその後の処理が行われる。

減算器１１は、画面分割部１０から入力されるブロック化された画像から、動き補償予測部１８又はイントラ予測部１９から入力される予測画像の減算処理を行い、両画像の差分を求めて、差分画像を変換・量子化部１２に出力する。

変換・量子化部１２は、減算器１１から入力された差分画像に対して、例えば、HEVC/H.265で規定されている符号化処理（離散コサイン変換等）及び量子化処理を行い、その結果をエントロピー符号化部１３及び局部復号処理部に出力する。

エントロピー符号化部１３は、変換・量子化部１２から入力された画像の符号化データとともに、後述するＯＥＴＦ情報／色空間情報等の画像の復号に必要なデータをエントロピー符号化（シンボル毎の出現確率に基づき異なる長さの符号語長を用いる符号化）をして、ビットストリームを作成し、その後、伝送路への出力等を行う。

逆量子化・逆変換部１４は、変換・量子化部１２から入力された符号化されたデータを、逆量子化及び逆変換（離散コサイン逆変換等）をする。すなわち、変換・量子化部１２で行われた処理と反対の復号処理を行い、その結果を加算器１５に出力する。

加算器１５は、逆量子化・逆変換部１４で逆量子化及び逆変換されたデータ、すなわち、差分画像の復号処理されたデータと、後述の動き補償予測部１８又はイントラ予測部１９で処理された予測画像データとを加算し、その合成画像データをデブロッキングフィルタ１６とイントラ予測部１９に出力する。

デブロッキングフィルタ１６は、加算器１５からの出力画像データに対して、デブロッキング処理を行う。すなわち、HEVC/H.265等ではブロック単位の処理を行うため、ブロック境界に不連続な歪み（ブロック歪み）が発生する場合がある。デブロッキングフィルタ１６は、ブロック境界部のフィルタ処理を行い、ブロック歪みを低減する。そして、デブロッキング処理を行った画像データを、ループフィルタ３０に出力する。

ループフィルタ３０は、デブロッキング処理を行った画像データに対して、前述のサンプル・アダプティブ・オフセットの処理を行う。本発明のループフィルタ３０には、映像信号（原画像）の生成に関するＯＥＴＦ情報／色空間情報が入力され、バンドオフセットの処理において、映像信号のＯＥＴＦや色空間に応じて、オフセット処理を施すレベル範囲のバンド分割方法を変更する。ループフィルタ３０の構成及び動作の詳細は後述する。ループフィルタ３０はフィルタ処理した画像データを動き検出部１７及び動き補償予測部１８に出力する。

動き検出部１７は、画面分割部１０から入力された画像データと、局部復号処理部のループフィルタ３０から入力された復号画像データとを比較して、画像の動きを検出し、検出された動きに関する情報（動きベクトル等）を動き補償予測部１８に出力する。

動き補償予測部１８は、ループフィルタ３０によりバンドオフセット等の処理がなされた画像と、動き検出部１７から入力された画像の動きの情報に基づいて、動き補償予測処理を行い動き予測画像を減算器１１及び加算器１５に出力する。

イントラ予測部１９は、加算器１５の出力画像に基づいて、イントラ予測、すなわち、画面内予測処理を行って、画面内予測画像を減算器１１及び加算器１５に出力する。なお、減算器１１に、動き補償予測部１８からの動き予測画像を出力するか、イントラ予測部１９からの画面内予測画像を出力するかは、切り替え器により適宜選択することができる。

次に、ループフィルタ３０の構成及び動作について説明する。図１のHEVC/H.265の局部復号処理において、逆量子化、逆変換、動き補償、デブロッキングフィルタが施された映像信号がループフィルタ３０へ入力される。同時に、映像信号のＯＥＴＦを規定するＯＥＴＦ情報および使用する色空間を規定する色空間情報が格納されたＶＵＩ（Video Usability Information）あるいはＳＥＩ（Supplemental Enhancement Information）から、該当する情報が抽出されループフィルタ３０へ入力される。

図２は、ループフィルタ３０の構成の例を示すブロック図である。ループフィルタ３０は、バンド分割部３１、オフセットパラメータ設定部３２、及びオフセット実行部３３を備えている。ループフィルタ３０には、あらかじめ決められたオフセットモード（バンドオフセットとエッジオフセットのどちらを行うかを指定するモード情報）が与えられる。図２は、バンドオフセット処理を行う場合のループフィルタ３０の構成を示しており、エッジオフセットを行う場合の構成は省略している。

バンド分割部３１は、ＯＥＴＦ情報／色空間情報が入力され、この情報に基づいて、バンドオフセットの基礎となるバンド分割を設定する。すなわち、映像信号を生成するＯＥＴＦ情報／色空間情報が従来のＳＤＲ又はＢＴ．７０９で規定される従来の色域である場合は、従来どおり映像信号（電気信号）で等分割するバンド分割を行い、また、映像信号を生成するＯＥＴＦ情報／色空間情報がＨＤＲ又はＢＴ．２０２０で規定される広色域である場合は、光学的入力信号の均等性に基づいてバンド分割を行い、各バンド幅を設定する。なお、従来どおりの映像信号で等分割するバンド分割を行うか、光学的入力信号で等分割するバンド分割を行うかは、光−電気変換が人間の視覚特性（Weber-Fechner law）とどの程度一致しているか（又は乖離しているか）を基準に分けるのが望ましく、適宜の基準を設定して、当該基準と入力されたＯＥＴＦ情報／色空間情報とを比較して決定し、切り替えを行えばよい。

オフセットパラメータ設定部３２は、バンドオフセットの場合、図示しない制御部からオフセット実行バンドの情報（例えば、オフセットを行う対象バンドの内の先頭バンドを指定するインデックス）が入力され、バンド分割部３１で設定したバンド分割と、当該入力情報に基づいて、オフセットを実行する対象となるバンド（例えば、指定されたバンドから連続する４バンド）を設定する。

オフセット実行部３３は、図示しない制御部からオフセット値（オフセットの値と符号）が入力され、オフセットパラメータ設定部３２で設定された対象バンドに対して、指定されたオフセット値に基づいて、バンドオフセットを実行する。指定されたオフセット値は、対象バンド内の全画素値に適用される。

次に、バンド分割部３１で行うバンド分割の設定処理について説明する。特に、映像信号に関するＯＥＴＦ情報／色空間情報に基づいて、バンド分割部３１が、光学的入力信号の均等性に基づいてバンド分割を行う場合について、３種類の処理を説明する。なお、バンド分割部３１は、切り替え機能を備えており、ＳＤＲの場合は従来どおり電気信号（映像信号）を均等割するバンド分割を設定することも可能である。

＜ＨＤＲ信号への対応＞
バンド分割部３１では、入力されたＯＥＴＦ情報に基づき、映像信号を所定数のバンドに分割する。ここでは、映像信号及びＯＥＴＦ情報が、ＨＤＲ信号である場合について説明する。バンドの分割数は、例えば、HEVC/H.265方式に合わせて３２分割とすることができるが、分割数はいくつでも構わない。

ＯＥＴＦ情報には、符号化処理を施す電気信号（映像信号）と、カメラ等で撮影した映像である光信号（光学的入力信号）の関係が数式やルックアップテーブル（ＬＵＴ）などで記述されている。本発明では、HEVC/H.265方式等で電気信号に施しているバンドオフセットを、ＯＥＴＦに基づき変換した光信号において等価的に施すことを可能にする。

図３は、光信号（光学的入力信号）の強度に基づくバンド分割を説明する図である。一例として、ＯＥＴＦによる変換前の光信号でのレベル範囲（光強度範囲）を等バンド幅に分割し（図では８等分に分割されているが、例えば、３２等分であってよい）、光信号の等分割に対応する電気信号の分割位置をＯＥＴＦの関数から計算し、それに応じてバンドオフセット処理の基礎となるバンド分割を設定する。その他の処理はHEVC/H.265処理と同様であり、オフセット実行バンドの情報に基づき、指定されたオフセットを施すバンド及びそのバンドから３つ上までのバンドに対し、設定されたオフセット値でオフセット処理を施す。なお、オフセット処理を施すバンド数は４バンドに限定されず、またオフセット値は最適な値を適宜設定することができる。この例の場合、オフセットが光信号に一致した処理となるため、実際の光と線形に対応したリニア信号での処理を施すことと等価になる。なお、ここでは、ＯＥＴＦがＨＤＲ信号であるとして説明したが、ＨＤＲ以外であって、人間の視覚特性から乖離したＯＥＴＦについて、同様に光信号の強度幅が均等となるバンド分割処理を行ってもよい。

＜広色域信号への対応＞
バンド分割部３１では、入力された色空間情報に基づき、映像信号のうち特に色差信号を所定数のバンドに分割する。ここでは、映像信号及び色空間情報が、広色域信号である場合について説明する。この場合、色空間信号（色空間情報）に基づき、元のＹＣbＣr信号をＲＧＢ色空間およびＸＹＺ色空間を経由してＬｕｖ色空間やＬａｂ色空間などの均等色空間に変換する。

色空間信号が、広色域信号を規定するＡＲＩＢＳＴＤ−Ｂ５６（非定輝度伝送）の場合、ＲＧＢとＹＣbＣrの変換式は、
Y'=0.2627B'+0.6780G'+0.0593R'
Cb'=(B'-Y')/1.8814
Cr'=(R'-Y')/1.4746
となっている。各変数の「'」は、非線形伝達関数、いわゆるガンマ補正が施されていることを示し、このガンマ補正は、前述のＯＥＴＦと同一である。

ＲＧＢ信号は、逆ガンマ補正され光信号に変換されたのち、ＸＹＺ色空間に変換される。変換式を（１）式として示す。なお、ＲＧＢ色空間はデバイス依存であるため、ＸＹＺへの変換式は一通りではない。

（１）式の変換において、たとえばＤ６５を色温度の基準とするｓＲＧＢ（standard RGB）規格であれば、行列Ｍは次式（２）で表わされる。

次に、均等色空間であるＬ^*，ｕ^*，ｖ^*空間への変換について説明する。ＸＹＺ色空間からｕｖ色度図への変換式は、
u'=4X / (X + 15Y + 3Z)
v'=9Y / (X + 15Y + 3Z)
と表される。このu', v'を用い、次式（３）で３次元直交座標空間の色座標（Ｌ^*，ｕ^*，ｖ^*）が定義される。

Ｙ_n，ｕ'_n，ｖ'_n ，は基準とする白色の三刺激値Ｘ，Ｙ，Ｚから求める。Ｄ６５（昼光色）の下ではＸ_n＝95.04，Ｙ_n＝100.00，Ｚ_n＝108.88 である。

また、均等色空間であるＬ^*，ａ^*，ｂ^*空間への変換についてみると、ＸＹＺ色空間から３次元直交座標（Ｌ^*，ａ^*，ｂ^*）の均等色空間への変換式は、次式（４）で定義される。

図４に、光信号（光学的入力信号）の均等色空間におけるバンド分割を示す。変換された均等色空間において等バンド幅を設定し、設定したバンド幅の信号に逆変換を施して元のＹＣbＣrでのバンド幅とする。すなわち、バンド分割を、光学的入力信号の色信号空間に基づいて、分割された各バンドにおいて均等色空間で色差が均等となるように設定する。こうすることにより均等色に合わせたバンド幅を設定したうえでのオフセット処理となるため、実際に知覚される色に対応した信号での処理を施すことと等価になる。

＜ヒストグラムに基づくバンド分割＞
上記の処理とは別の様態として、ＯＥＴＦ情報／色空間情報が与えられない場合にバンド幅設定を自動的に行い、効率的にＳＡＯ処理を実行する方法について説明する。

図５は、ヒストグラムに基づくバンド分割を説明する図である。局部復号あるいは復号処理において、逆量子化、逆変換、動き補償、デブロッキングフィルタが施された映像信号ＹＣbＣrのヒストグラムを作成する。図５（Ａ）は映像信号の画素値（輝度又は色差信号）を横軸（レベル）とし、縦軸を発生頻度とするヒストグラムである。映像信号と光信号（光学的入力信号）は１対１の対応関係があるから、図５の映像信号のヒストグラムは、光学的入力信号の発生頻度分布と等価である。このヒストグラムから信号の分布を解析し、分布に併せて輝度あるいは色差信号のレベルの分割バンド位置を決める。

図５（Ａ）のヒストグラムから、図５（Ｂ）のように累積ヒストグラムを作成し、累積分布の最大値を基準に縦軸（累積頻度）が等幅となるよう所定のバンド数に分割する。累積頻度が均等となる位置で画素値（横軸）を分割し、電気信号における設定バンド幅を決定する。このような手順により、自動的に分布に合わせた分割が可能になる。

このように定めたバンド幅でバンドオフセットを施せば、映像信号及び光学的入力信号に合わせて無駄のないオフセットがつけられる。

次に、ループフィルタの動作について説明する。図６は、ループフィルタの実行する動作の一例について、フローチャートで示したものである。

ステップ１（Ｓ１）として、ＯＥＴＦ情報／色空間情報の入力の有無について判断する。入力がある場合ステップ２に進み、ＯＥＴＦ情報／色空間情報が与えられない場合は、ステップ９に進む。

ステップ２（Ｓ２）では、入力されたＯＥＴＦ情報／色空間情報が、ＯＥＴＦの情報であるか、色空間の情報であるかを判断する。ＯＥＴＦすなわち輝度に関する情報である場合に、ステップ３、すなわち電気・光信号変換に基づく処理ステップに進み、色差信号に関する情報である場合に、ステップＳ６、すなわち均等色空間変換の処理に進む。

ステップ３（Ｓ３）では、電気・光信号変換の変換関数であるＯＥＴＦを読み込み、どのようなバンド分割を行うのか判断し、ステップ４に進む。

ステップ４（Ｓ４）では、読み込んだＯＥＴＦに基づいて、例えば、ＨＤＲ信号であれば光信号が等バンド幅となるようなバンド分割を行い、映像信号における各バンド幅を設定し、ステップ５に進む。

ステップ５（Ｓ５）では、設定されたバンド幅に基づき、オフセット実行バンドとオフセット値に従ってオフセット処理を行う。輝度信号に関するバンドオフセットは以上で終了する。

次に、ステップ２で色差信号（色空間情報）と判断された場合、ステップ６（Ｓ６）では、どのようなバンド分割を行うのか判断し、例えば、広色域信号であれば、読み込んだ色差信号（ＹＣbＣr）に基づいて、均等色空間（例えば、Ｌｕｖ空間又はＬａｂ空間）への変換を行い、ステップ７に進む。

ステップ７（Ｓ７）では、ステップ６で処理された均等色空間において、光信号が等バンド幅となるようなバンド分割を行い、色信号の逆変換を行ってＹＣbＣrでの各バンド幅を設定し、ステップ８に進む。

ステップ８（Ｓ８）では、設定されたバンド幅に基づき、オフセット実行バンドとオフセット値に従ってオフセット処理を行う。色差信号に関するバンドオフセットは以上で終了する。

次に、ステップ１でＯＥＴＦ情報／色空間情報が無いと判断された場合、ステップ９（Ｓ９）において、映像信号ＹＣbＣrのヒストグラムを作成する。さらに、ヒストグラムから、累積ヒストグラムを作成し、ステップ１０に進む。

ステップ１０（Ｓ１０）では、累積ヒストグラムに基づいて、縦軸（累積頻度）が等分される位置で画素値（横軸）を分割し、映像信号における設定バンド幅を決定し、ステップ１１に進む。

ステップ１１（Ｓ１１）では、設定されたバンド幅に基づき、オフセット実行バンドとオフセット値に従ってオフセット処理を行う。ヒストグラムに基づくバンドオフセットは以上で終了する。上記のフローチャートに基づいて、ループフィルタによるバンドオフセットを行う。

なお、図６のフローチャートでは、ループフィルタのバンド分割の方法を、ＯＥＴＦ情報／色空間情報に基づいて切り替えることを説明したが、いずれかの特定のバンド分割を行う専用のループフィルタとすることも可能である。

（実施の形態２）
実施の形態２として、復号装置について説明する。ループフィルタは、符号化装置における局部復号処理のみならず、復号装置の復号処理においても使用される。

図７は、本発明のループフィルタを用いた復号装置の例を示すブロック図である。復号装置２００は、符号化データであるビットストリームを入力し、復号処理を行い、復元画像を出力する。

復号装置２００は、エントロピー復号部２０と、逆量子化・逆変換部２１と、加算器２２と、デブロッキングフィルタ２３と、ループフィルタ３０と、イントラ予測部２４と、動き補償予測部２５を備えている。

エントロピー復号部２０は、入力されたビットストリームをエントロピー復号し、伝送された画像の符号化データとともに、ＯＥＴＦ情報／色空間情報等の画像の復号に必要なデータを復号する。画像の符号化データは、逆量子化・逆変換部２１に出力され、ＯＥＴＦ情報／色空間情報は、ループフィルタ３０に出力される。

逆量子化・逆変換部２１は、エントロピー復号部２０から入力された符号化されたデータを、逆量子化及び逆変換（離散コサイン逆変換等）をする。すなわち、符号化装置１００で行われた処理と反対の復号処理を行い、その結果を加算器２２に出力する。

加算器２２は、逆量子化・逆変換部２１で逆量子化及び逆変換されたデータ（これは、差分画像のデータに相当する）と、後述の動き補償予測部２５又はイントラ予測部２４で処理された予測画像データとを加算し、その合成画像データをデブロッキングフィルタ２３とイントラ予測部２４に出力する。

デブロッキングフィルタ２３は、加算器２２からの出力画像データに対して、デブロッキング処理を行う。すなわち、ブロック境界部のフィルタ処理を行い、ブロック境界に発生する不連続な歪み（ブロック歪み）を低減する。そして、デブロッキング処理を行った画像データを、ループフィルタ３０に出力する。

ループフィルタ３０は、デブロッキングフィルタ２３から入力された画像データに対して、サンプル・アダプティブ・オフセットの処理、特に、バンドオフセットの処理を行う。復号装置２００のループフィルタ３０は、図２の構成を備えており、エントロピー復号部２０から入力されたＯＥＴＦ情報／色空間情報に基づいて、バンドオフセットのバンド幅の設定を行い、オフセット処理を行う。既に説明したように、本発明のループフィルタは、入力信号のＯＥＴＦや色空間に応じて、光学的入力信号の均等性に基づくバンド分割を行う。すなわち、光信号の強度において等分（強度幅が均等）となるバンド分割、或いは、均等色空間で色差が均等となるバンド分割を施す。また、画像信号のヒストグラムに基づくバンド幅設定であっても良い。ループフィルタ３０は、フィルタ処理した画像データを動き補償予測部２５に出力するとともに、復号装置２００の出力画像（復元画像）として出力する。

イントラ予測部２４は、加算器２２の出力画像に基づいて、イントラ予測、すなわち、画面内予測処理を行って、画面内予測画像を加算器２２に出力する。

動き補償予測部２５は、ループフィルタ３０によりバンドオフセット等の処理がなされた画像と、図示しない画像の動きの予測情報に基づいて、動き補償予測処理を行い動き予測画像を加算器２２に出力する。

なお、加算器２２に、動き補償予測部２５からの動き予測画像を出力するか、イントラ予測部２４からの画面内予測画像を出力するかは、切り替え器により適宜選択することができる。

なお、上述したループフィルタ３０、符号化装置１００、及び復号装置２００として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、ループフィルタ３０、符号化装置１００、及び復号装置２００の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

なお、本実施形態では、ループフィルタ３０を含む符号化装置１００及び復号装置２００の構成と動作について説明したが、本発明はこれに限られず、ループフィルタにおけるバンドオフセットの処理方法、符号化装置１００による符号化方法、及び復号装置２００による復号方法として構成されてもよい。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、各ブロック、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成ブロックやステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

１０画面分割部
１１減算器
１２変換・量子化部
１３エントロピー符号化部
１４量子化・逆変換部
１５加算器
１６デブロッキングフィルタ
１７動き検出部
１８動き補償予測部
１９イントラ予測部
２０エントロピー復号部
２１逆量子化・逆変換部
２２加算器
２３デブロッキングフィルタ
２４イントラ予測部
２５動き補償予測部
３０ループフィルタ
３１バンド分割部
３２オフセットパラメータ設定部
３３オフセット実行部
１００符号化装置
２００復号装置

Claims

符号化された映像信号の局部復号処理又は復号処理においてバンドオフセット処理を行うループフィルタであって、
前記バンドオフセット処理を施す映像信号のバンド分割を、ＯＥＴＦ情報又は色空間情報に基づいて、映像信号で等分割するバンド分割と光学的入力信号の均等性に基づいて設定するバンド分割とを切り替えることを特徴とするループフィルタ。
符号化された映像信号の局部復号処理又は復号処理においてバンドオフセット処理を行うループフィルタであって、
前記バンドオフセット処理を施す映像信号のバンド分割を、ＯＥＴＦ情報又は色空間情報に基づいて、映像信号で等分割するバンド分割と光学的入力信号の均等性に基づいて設定するバンド分割とを切り替えるバンド分割部と、
オフセットを実行する対象バンドを設定するオフセットパラメータ設定部と、
前記対象バンドに対して、与えられたオフセット値に基づいてオフセット処理を実行するオフセット実行部と、
を備えることを特徴とするループフィルタ。
請求項１又は２に記載のループフィルタであって、
前記バンドオフセット処理を施す映像信号のバンド分割を、光学的入力信号の均等性に基づいて設定する際に、光学的入力信号と映像信号の関係に基づいて、分割された各バンドにおいて光学的入力信号の強度幅が均等となるように設定することを特徴とするループフィルタ。
請求項１又は２に記載のループフィルタであって、
前記バンドオフセット処理を施す映像信号のバンド分割を、光学的入力信号の均等性に基づいて設定する際に、光学的入力信号の色信号空間に基づいて、分割された各バンドにおいて均等色空間で色差が均等となるように設定することを特徴とするループフィルタ。
請求項１又は２に記載のループフィルタであって、
前記バンドオフセット処理を施す映像信号のバンド分割を、光学的入力信号の均等性に基づいて設定する際に、光学的入力信号の発生頻度分布に基づいて、分割された各バンドにおいて累積頻度が均等となるように設定することを特徴とするループフィルタ。
符号化された映像信号の局部復号処理を含む符号化装置において、
前記局部復号処理におけるバンドオフセット処理を、請求項１乃至５のいずれか一項に記載のループフィルタを用いて行うことを特徴とする符号化装置。
符号化された映像信号の復号処理を行う復号装置において、
前記復号処理におけるバンドオフセット処理を、請求項１乃至５のいずれか一項に記載のループフィルタを用いて行うことを特徴とする復号装置。
コンピュータを、請求項１乃至５のいずれか一項に記載のループフィルタ、請求項６に記載の符号化装置、又は、請求項７に記載の復号装置として機能させるためのプログラム。