WO2015083796A1

WO2015083796A1 - 画像符号化装置

Info

Publication number: WO2015083796A1
Application number: PCT/JP2014/082132
Authority: WO
Inventors: 貴之井對
Original assignee: 三菱電機株式会社
Priority date: 2013-12-04
Filing date: 2014-12-04
Publication date: 2015-06-11
Also published as: JP5951144B2; JPWO2015083796A1

Abstract

　ＳＡＯパラメータ決定部１４が、エッジオフセットＥＯにおける４個のクラスの中から、イントラ予測部４により選択された最適な方向性イントラ予測モードＡＮＧ１と直交する方向に近いＥＯクラス、または、動き補償予測部５から出力された直交変換係数ＣＯＥＦ２に対応するＥＯクラスをＳＡＯパラメータとして選択し、また、入力画像ＩＰ１とフィルタ処理後の入力画像ＩＰＦ１との差分にしたがってＳＡＯ処理のエッジオフセットＥＯにおけるカテゴリ（１）～（４）のオフセット値をＳＡＯパラメータとして決定する。

Description

画像符号化装置

　この発明は、入力画像を圧縮符号化する画像符号化装置に関するものである。

　以下の非特許文献１に記載されている映像符号化国際標準Ｈ．２６５／ＨＥＶＣ（Ｈｉｇｈ　Ｅｆｆｉｃｉｅｎｃｙ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ：以下、「Ｈ．２６５規格」と称する）は、以下の非特許文献２に記載されている映像符号化国際標準Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ：以下、「Ｈ．２６４規格」と称する）と比べて、約２倍の圧縮性能を有すると言われている。

　以下の非特許文献３に記載されているＳＡＯ（Ｓａｍｐｌｅ　Ａｄａｐｔｉｖｅ　Ｏｆｆｓｅｔ）処理は、Ｈ．２６５規格で新規に導入された符号化ツールであり、復号画像に対して、適応的にオフセット処理を施すことで符号化歪みを補正し、予測符号化効率を高めるものである。
　ＳＡＯ処理において、適応的にオフセット処理を実施する際に用いるＳＡＯパラメータについては、画像符号化装置が決定する必要がある。
　なお、ＳＡＯ処理は、Ｈ．２６５規格において、必須のツールではないため、画像符号化装置として、ＳＡＯ処理を実施する構成部を実装しないという選択肢もある。

　以下の非特許文献４には、各々のＳＡＯパラメータに対して、Ｒａｔｅ－Ｄｉｓｔｏｒｔｉｏｎ最適化に基づく評価コストを算出することで、最適なＳＡＯパラメータを決定する技術が開示されている。

"High efficiency video coding"、ITU-T Recommendation H.265、International Telecommunication Union、April 2013 "Advanced video coding for generic audiovisual services"、ITU-T Recommendation H.264、International Telecommunication Union、April 2013 Chih-Ming Fu, Elena Alshina, Alexander Alshin, Yu-Wen Huang, Ching-Yeh Chen, Chia-Yang Tsai, Chih-Wei Hsu, Shawmin Lei, Jeong-Hoon Park, Woojin Han著、"Sample Adaptive Offset in the HEVC Standard"、 IEEE Trans. Circuits Syst. Video Techn. 22(12): 1755-1764、 December 2012 "High Efficiency Video Coding (HEVC) Test Model 11 (HM11) Encoder Description"、JCTVC-M1002、Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11、13th Meeting：Incheon,、KR、18-26　April 2013

　従来の画像符号化装置は以上のように構成されているので、Ｈ．２６５規格に準拠する場合、Ｈ．２６４に準拠する場合と比べて、高い圧縮性能が得られるが、符号化パラメータが多様化しているため、回路規模が増加してしまう課題があった。
　また、非特許文献４に開示されている方法（評価コストを算出して最適なＳＡＯパラメータを決定する方法）を適用する場合、多くのハードウェアリソースが要求される。このため、使用可能なハードウェアリソースが少ない場合には、Ｈ．２６５規格において、必須のツールではないＳＡＯ処理が画像符号化装置に実装されないことが予想される。このようにＳＡＯ処理が実装されない場合、Ｈ．２６５規格における本来の圧縮性能を発揮することができなくなる課題があった。

　この発明は上記のような課題を解決するためになされたもので、大幅な回路規模の増加を招くことなく、ＳＡＯ処理を実装することができる画像符号化装置を得ることを目的とする。

　この発明に係る画像符号化装置は、入力画像と予測画像の差分画像を圧縮して、その差分画像の圧縮データを出力するデータ圧縮部と、データ圧縮部より出力された圧縮データから差分画像を復元し、その差分画像と予測画像の加算画像である局部復号画像を生成する局部復号画像生成部と、ＳＡＯ（Ｓａｍｐｌｅ　Ａｄａｐｔｉｖｅ　Ｏｆｆｓｅｔ）パラメータを用いて、局部復号画像生成部により生成された局部復号画像の符号化歪みを補正するＳＡＯ処理を実施するＳＡＯ処理部と、方向性イントラ予測に属する複数の方向性イントラ予測モードの中から、その予測画像の生成に用いられる方向性イントラ予測モードを選択するイントラ予測モード選択部とを設け、ＳＡＯパラメータ決定部が、ＳＡＯ処理のエッジオフセットにおける複数のクラスの中から、イントラ予測モード選択部により選択された方向性イントラ予測モードに対応するクラスを選択し、当該クラスをＳＡＯ処理部が用いるＳＡＯパラメータに決定するようにしたものである。

　この発明によれば、ＳＡＯパラメータ決定部が、ＳＡＯ処理のエッジオフセットにおける複数のクラスの中から、イントラ予測モード選択部により選択された方向性イントラ予測モードに対応するクラスを選択し、当該クラスをＳＡＯ処理部が用いるＳＡＯパラメータに決定するように構成したので、大幅な回路規模の増加を招くことなく、ＳＡＯ処理を実装することができる効果がある。

この発明の実施の形態１による画像符号化装置を示す構成図である。この発明の実施の形態１による画像符号化装置のイントラ予測部４の処理内容を示すフローチャートである。この発明の実施の形態１による画像符号化装置のＳＡＯパラメータ決定部１４の処理内容を示すフローチャートである。この発明の実施の形態２による画像符号化装置を示す構成図である。この発明の実施の形態２による画像符号化装置のＳＡＯパラメータ決定部２３の処理内容を示すフローチャートである。画像符号化装置がコンピュータで構成される場合のハードウェア構成図である。

　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面にしたがって説明する。
実施の形態１．
　図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
　図１において、入力画像メモリ１は外部から与えられた入力画像ＩＰ１を格納する記憶媒体である。
　入力画像特徴量抽出部２は入力画像メモリ１により格納された入力画像ＩＰ１の画像特徴量ＦＶ１を抽出し、その画像特徴量ＦＶ１をＳＡＯパラメータ決定部１４に出力する処理を実施する。画像特徴量ＦＶ１を抽出する単位は、例えば、ピクチャ、符号化単位ブロック、ピクチャ内の一部（ピクチャ中心部、スライス中心部等）等である。

　入力画像フィルタ部３は入力画像メモリ１により格納された入力画像ＩＰ１に対するフィルタ処理を実施し、フィルタ処理後の入力画像ＩＰＦ１をＳＡＯパラメータ決定部１４に出力する。
　入力画像フィルタ部３がフィルタ処理で用いるフィルタ係数は事前に設計されており、例えば、入力画像として想定される画像群に対して、デブロッキングフィルタ部１１によるデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１を入力画像ＩＰ１に近付けるＷｉｅｎｅｒフィルタが設計されている。フィルタ係数は、ピクチャタイプや量子化パラメータなどの符号化パラメータの値に応じて複数用意して、フィルタ係数を使い分けるようにしてもよい。

　イントラ予測部４は入力画像メモリ１により格納された入力画像ＩＰ１と、加算器１０から出力されたデブロッキング前の局部復号画像ＢＤＦＬＤＰ１とに基づいて、方向性イントラ予測に属する複数の方向性イントラ予測モードの中から、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適な方向性イントラ予測モードＡＮＧ１を選択し、その最適な方向性イントラ予測モードＡＮＧ１をＳＡＯパラメータ決定部１４に出力する処理を実施する。
　また、イントラ予測部４は、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適なイントラ予測モードが、方向性イントラ予測モードであれば、その選択した方向性イントラ予測モードＡＮＧ１を示すイントラ情報ＭＯＤＥ１を符号化部１５に出力するが、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適なイントラ予測モードが、方向性イントラ予測モード以外の予測モードである場合、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に使用する方向性イントラ予測モード以外のイントラ予測モードを示すイントラ情報ＭＯＤＥ１を符号化部１５に出力する。この場合、最適な方向性イントラ予測モードＡＮＧ１はＳＡＯパラメータ決定部１４に出力されない。

　イントラ予測部４はイントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適なイントラ予測モードが、方向性イントラ予測モードである場合、デブロッキング前の局部復号画像ＢＤＦＬＤＰ１を参照しながら、最適な方向性イントラ予測モードＡＮＧ１で、入力画像ＩＰ１に対するイントラ予測処理を実施することでイントラ予測画像ＩＮＴＲＡＰＰ１を生成し、そのイントラ予測画像ＩＮＴＲＡＰＰ１を切替スイッチ６に出力する処理を実施する。
　一方、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適なイントラ予測モードが、方向性イントラ予測モード以外の予測モードである場合、デブロッキング前の局部復号画像ＢＤＦＬＤＰ１を参照しながら、方向性イントラ予測モード以外の予測モードで、入力画像ＩＰ１に対するイントラ予測処理を実施することでイントラ予測画像ＩＮＴＲＡＰＰ１を生成し、そのイントラ予測画像ＩＮＴＲＡＰＰ１を切替スイッチ６に出力する処理を実施する。なお、イントラ予測部４はイントラ予測モード選択部を構成している。

　動き補償予測部５は入力画像メモリ１により格納された入力画像ＩＰ１と局部復号画像メモリ１３により格納された局部復号画像ＬＤＰ１を比較することで動き探索を実施して動きベクトルＭＶ１を算出し、その動きベクトルＭＶ１を用いて、入力画像ＩＰ１に対するインター予測処理（動き補償予測処理）を実施することでインター予測画像ＩＮＴＥＲＰＰ１を生成し、そのインター予測画像ＩＮＴＥＲＰＰ１を切替スイッチ６に出力する処理を実施する。
　また、動き補償予測部５は局部復号画像メモリ１３により格納されている局部復号画像ＬＤＰ１のうち、その動きベクトルＭＶ１が指し示す局部復号画像と入力画像ＩＰ１の差分画像を算出し、その差分画像を直交変換して、その差分画像の直交変換係数ＣＯＥＦ２をＳＡＯパラメータ決定部１４に出力するとともに、その動きベクトルＭＶ１を符号化部１５に出力する処理を実施する。なお、動き補償予測部５は直交変換部を構成している。

　切替スイッチ６は図示せぬ符号化制御部の指示の下、イントラ予測部４により生成されたイントラ予測画像ＩＮＴＲＡＰＰ１又は動き補償予測部５により生成されたインター予測画像ＩＮＴＥＲＰＰ１を選択し、その選択した予測画像をＰＰ１として減算器７に出力する処理を実施する。
　減算器７は入力画像メモリ１により格納された入力画像ＩＰ１と切替スイッチ６から出力された予測画像ＰＰ１との差分画像ＤＰ１を求め、その差分画像ＤＰ１を変換・量子化部８に出力する処理を実施する。
　変換・量子化部８は減算器７から出力された差分画像ＤＰ１の変換処理（例えば、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、図示せぬ符号化制御部から与えられた量子化パラメータＱＰ１を用いて、その差分画像ＤＰ１の変換係数を量子化することで、量子化後の変換係数である直交変換係数ＣＯＥＦ１を差分画像の圧縮データとして、逆変換・逆量子化部９及び符号化部１５に出力する処理を実施する。
　なお、減算器７及び変換・量子化部８からデータ圧縮部が構成されている。

　逆変換・逆量子化部９は変換・量子化部８から出力された量子化パラメータＱＰ１（または、図示せぬ符号化制御部から出力された量子化パラメータＱＰ１）を用いて、変換・量子化部８から出力された直交変換係数ＣＯＥＦ１を逆量子化し、逆量子化後の直交変換係数ＣＯＥＦ１の逆変換処理（例えば、逆ＫＬ変換等の逆変換処理）を実施することで、その逆変換処理結果である差分画像ＤＰ２を加算器１０に出力する処理を実施する。
　加算器１０は切替スイッチ６から出力された予測画像ＰＰ１と逆変換・逆量子化部９から出力された差分画像ＤＰ２を加算することでデブロッキング前の局部復号画像ＢＤＦＬＤＰ１を生成し、その局部復号画像ＢＤＦＬＤＰ１をイントラ予測部４及びデブロッキングフィルタ部１１に出力する処理を実施する。
　なお、逆変換・逆量子化部９及び加算器１０から局部復号画像生成部が構成されている。

　デブロッキングフィルタ部１１は変換・量子化部８から出力された量子化パラメータＱＰ１（または、図示せぬ符号化制御部から出力された量子化パラメータＱＰ１）を用いて、加算器１０から出力された局部復号画像ＢＤＢＬＤＰ１に対するデブロッキングフィルタ処理を実施し、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１をＳＡＯ処理部１２に出力する処理を実施する。

　ＳＡＯ処理部１２はＳＡＯパラメータ決定部１４から出力されるＳＡＯパラメータＳＡＯＰＡＲＡＭ１を用いて、デブロッキングフィルタ部１１から出力されたデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の符号化歪みを補正するＳＡＯ処理を実施し、ＳＡＯ処理後の局部復号画像ＬＤＰ１を局部復号画像メモリ１３に格納する。
　局部復号画像メモリ１３はＳＡＯ処理部１２から出力された局部復号画像ＬＤＰ１を格納する記憶媒体である。

　ＳＡＯパラメータ決定部１４はＳＡＯパラメータＳＡＯＰＡＲＡＭ１として、ＳＡＯ処理のエッジオフセットＥＯ（Ｅｄｇｅ　Ｏｆｆｓｅｔ）におけるカテゴリ（１）～（４）のオフセット値を決定するとともに、ＳＡＯ処理のエッジオフセットＥＯにおけるＥＯクラスを決定する処理を実施する。
　即ち、ＳＡＯパラメータ決定部１４は入力画像メモリ１により格納された入力画像ＩＰ１と入力画像フィルタ部３によるフィルタ処理後の入力画像ＩＰＦ１との差分画像を求め、その差分画像を構成している各画素の画素値のうち、正値の画素値の平均値を算出するとともに、負値の画素値の平均値を算出し、正値の画素値の平均値をエッジオフセットＥＯにおけるカテゴリ（１）（２）のオフセット値に決定し、負値の画素値の平均値をエッジオフセットＥＯにおけるカテゴリ（３）（４）のオフセット値に決定する処理を実施する。

　また、ＳＡＯパラメータ決定部１４は切替スイッチ６によりイントラ予測画像ＩＮＴＲＡＰＰ１が選択される場合、イントラ予測部４により選択された最適な方向性イントラ予測モードＡＮＧ１と直交する方向に強いエッジがあるため、ＳＡＯ処理のエッジオフセットＥＯにおける４個のクラス（非特許文献３を参照）の中から、最適な方向性イントラ予測モードＡＮＧ１と直交する方向に近いＥＯクラスを選択する処理を実施する。
　一方、切替スイッチ６によりインター予測画像ＩＮＴＥＲＰＰ１が選択される場合、動き補償予測部５から出力された直交変換係数ＣＯＥＦ２に基づいて、垂直方向の高周波成分と水平方向の高周波成分のうち、どちらの高周波成分が大きいかを判定し、垂直方向の高周波成分の方が大きければ、ＳＡＯ処理のエッジオフセットＥＯにおける４個のクラスの中から、垂直方向のＥＯクラスを選択し、水平方向の高周波成分の方が大きければ、水平方向のＥＯクラスを選択する処理を実施する。

　ＳＡＯパラメータ決定部１４はカテゴリ（１）～（４）のオフセット値を決定するとともに、ＥＯクラスを選択すると、カテゴリ（１）～（４）のオフセット値とＥＯクラスをＳＡＯパラメータＳＡＯＰＡＲＡＭ１としてＳＡＯ処理部１２及び符号化部１５に出力する処理を実施する。

　符号化部１５は変換・量子化部８から出力された量子化パラメータＱＰ１及び直交変換係数ＣＯＥＦ１と、イントラ予測部４から出力されたイントラ情報ＭＯＤＥ１又は動き補償予測部５から出力された動きベクトルＭＶ１と、ＳＡＯパラメータ決定部１４から出力されたＳＡＯパラメータＳＡＯＰＡＲＡ１とを可変長符号化して、その量子化パラメータＱＰ１と、直交変換係数ＣＯＥＦ１と、イントラ情報ＭＯＤＥ１又は動きベクトルＭＶ１と、ＳＡＯパラメータＳＡＯＰＡＲＡ１との符号化データが多重化されているビットストリームＣＤ１を生成する処理を実施する。

　図１の例では、画像符号化装置の構成要素である入力画像メモリ１、入力画像特徴量抽出部２、入力画像フィルタ部３、イントラ予測部４、動き補償予測部５、切替スイッチ６、減算器７、変換・量子化部８、逆変換・逆量子化部９、加算器１０、デブロッキングフィルタ部１１、ＳＡＯ処理部１２、局部復号画像メモリ１３、ＳＡＯパラメータ決定部１４及び符号化部１５のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成されていてもよい。
　図６は画像符号化装置がコンピュータで構成される場合のハードウェア構成図である。
　画像符号化装置をコンピュータで構成する場合、図６に示すように、入力画像メモリ１及び局部復号画像メモリ１３をコンピュータのメモリ５１上に構成するとともに、入力画像特徴量抽出部２、入力画像フィルタ部３、イントラ予測部４、動き補償予測部５、切替スイッチ６、減算器７、変換・量子化部８、逆変換・逆量子化部９、加算器１０、デブロッキングフィルタ部１１、ＳＡＯ処理部１２、ＳＡＯパラメータ決定部１４及び符号化部１５の処理内容を記述しているプログラムをコンピュータのメモリ５１に格納し、当該コンピュータのＣＰＵなどのプロセッサ５２がメモリ５１に格納されているプログラムを実行するようにすればよい。

　次に動作について説明する。
　入力画像メモリ１には、外部から与えられた入力画像ＩＰ１が格納される。
　入力画像特徴量抽出部２は、入力画像メモリ１から入力画像ＩＰ１を読み出し、その入力画像ＩＰ１の画像特徴量ＦＶ１を抽出して、その画像特徴量ＦＶ１をＳＡＯパラメータ決定部１４に出力する。
　画像特徴量ＦＶ１を抽出する単位は、例えば、ピクチャ、符号化単位ブロック、ピクチャ内の一部（ピクチャ中心部、スライス中心部等）等である。

　入力画像フィルタ部３は、入力画像メモリ１から入力画像ＩＰ１を読み出し、その入力画像ＩＰ１に対するフィルタ処理を実施して、フィルタ処理後の入力画像ＩＰＦ１をＳＡＯパラメータ決定部１４に出力する。
　入力画像フィルタ部３がフィルタ処理で用いるフィルタ係数は事前に設計されており、例えば、入力画像として想定される画像群に対して、デブロッキングフィルタ部１１によるデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１を入力画像ＩＰ１に近付けるＷｉｅｎｅｒフィルタが設計されている。
　なお、フィルタ係数は、ピクチャタイプや量子化パラメータなどの符号化パラメータの値に応じて複数用意して、フィルタ係数を使い分けるようにしてもよい。

　イントラ予測部４は、入力画像ＩＰ１に対するイントラ予測処理を実施することでイントラ予測画像ＩＮＴＲＡＰＰ１を生成するが、この実施の形態１では、Ｈ．２６５規格の方向性イントラ予測モードを用いる場合がある。
　Ｈ．２６５規格の方向性イントラ予測モードは、非特許文献１に開示されており、３３方向の予測モードがある。
　方向性イントラ予測モードでは、入力画像内の符号化ブロックの周囲画素から１／３２精度画素を生成することで、方向性予測画像を生成する。
　１／３２精度画素の生成方法については、非特許文献１の１２５頁の式（８－６０）に記載されているように、符号化ブロックの周囲画素の中の２画素の線形補間によって生成される。ただし、式（８－６１）が適用される場合には、周囲画素の中の１画素がそのまま予測画素になり、線形補間の必要はない。
　最適な方向性イントラ予測モードとしては、変換・量子化部８から出力される直交変換係数ＣＯＥＦ１の高周波成分が小さくなるように、エッジに沿う方向性イントラ予測モードが選ばれる傾向にある。

　図２はこの発明の実施の形態１による画像符号化装置のイントラ予測部４の処理内容を示すフローチャートである。
　以下、図２を参照しながら、イントラ予測部４の処理内容を具体的に説明する。
　イントラ予測部４は、入力画像メモリ１から入力画像ＩＰ１を読み出し、その入力画像ＩＰ１と、加算器１０から出力されたデブロッキング前の局部復号画像ＢＤＦＬＤＰ１とに基づいて、方向性イントラ予測に属する３３方向の方向性イントラ予測モードの中から、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適な方向性イントラ予測モードＡＮＧ１を選択する（図２のステップＳＴ１）。
　３３方向の方向性イントラ予測モードの中からイントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適な方向性イントラ予測モードＡＮＧ１を選択する処理自体は公知の技術であるため、ここでは詳細な説明を省略する。

　イントラ予測部４は、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適な方向性イントラ予測モードＡＮＧ１を選択すると、最適な方向性イントラ予測モードＡＮＧ１をＳＡＯパラメータ決定部１４に出力する。
　また、イントラ予測部４は、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適な方向性イントラ予測モードＡＮＧ１を示すイントラ情報ＭＯＤＥ１を符号化部１５に出力するが、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適なイントラ予測モードが、方向性イントラ予測モード以外の予測モードである場合もある。
　この場合、方向性イントラ予測モード以外の予測モードを示すイントラ情報ＭＯＤＥ１を符号化部１５に出力する。また、この場合、最適な方向性イントラ予測モードＡＮＧ１をＳＡＯパラメータ決定部１４に出力しない。

　イントラ予測部４は、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適なイントラ予測モードが、方向性イントラ予測モードである場合、デブロッキング前の局部復号画像ＢＤＦＬＤＰ１を参照しながら、最適な方向性イントラ予測モードＡＮＧ１で、入力画像ＩＰ１に対するイントラ予測処理を実施することでイントラ予測画像ＩＮＴＲＡＰＰ１を生成し、そのイントラ予測画像ＩＮＴＲＡＰＰ１を切替スイッチ６に出力する（ステップＳＴ２）。
　一方、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適なイントラ予測モードが、方向性イントラ予測モード以外の予測モードである場合、デブロッキング前の局部復号画像ＢＤＦＬＤＰ１を参照しながら、方向性イントラ予測モード以外の予測モードで、入力画像ＩＰ１に対するイントラ予測処理を実施することでイントラ予測画像ＩＮＴＲＡＰＰ１を生成し、そのイントラ予測画像ＩＮＴＲＡＰＰ１を切替スイッチ６に出力する。
　この実施の形態１では、説明の便宜上、最適な方向性イントラ予測モードＡＮＧ１で、入力画像ＩＰ１に対するイントラ予測処理を実施しているものとする。

　動き補償予測部５は、入力画像メモリ１から入力画像ＩＰ１を読み出し、その入力画像ＩＰ１と局部復号画像メモリ１３により格納されている局部復号画像ＬＤＰ１を比較することで動き探索を実施して動きベクトルＭＶ１を算出する。
　動き補償予測部５は、動きベクトルＭＶ１を算出すると、その動きベクトルＭＶ１を用いて、入力画像ＩＰ１に対するインター予測処理を実施することでインター予測画像ＩＮＴＥＲＰＰ１を生成し、そのインター予測画像ＩＮＴＥＲＰＰ１を切替スイッチ６に出力する。
　動きベクトルＭＶ１の算出処理やインター予測画像の生成処理は公知の技術であるため、ここでは詳細な説明を省略する。

　また、動き補償予測部５は、局部復号画像メモリ１３により格納されている局部復号画像ＬＤＰ１のうち、その動きベクトルＭＶ１が指し示す局部復号画像と入力画像ＩＰ１の差分画像を算出する。
　動き補償予測部５は、動きベクトルＭＶ１が指し示す局部復号画像と入力画像ＩＰ１の差分画像を算出すると、その差分画像を直交変換して、その差分画像の直交変換係数ＣＯＥＦ２をＳＡＯパラメータ決定部１４に出力するとともに、その動きベクトルＭＶ１を符号化部１５に出力する。

　切替スイッチ６は、図示せぬ符号化制御部の指示の下、イントラ予測部４により生成されたイントラ予測画像ＩＮＴＲＡＰＰ１又は動き補償予測部５により生成されたインター予測画像ＩＮＴＥＲＰＰ１を選択し、その選択した予測画像をＰＰ１として減算器７に出力する。
　減算器７は、入力画像メモリ１から入力画像ＩＰ１を読み出し、その入力画像ＩＰ１と切替スイッチ６から出力された予測画像ＰＰ１との差分画像ＤＰ１を求め、その差分画像ＤＰ１を変換・量子化部８に出力する。
　変換・量子化部８は、減算器７から差分画像ＤＰ１を受けると、その差分画像ＤＰ１の変換処理（例えば、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施する。
　また、変換・量子化部８は、図示せぬ符号化制御部から与えられた量子化パラメータＱＰ１を用いて、その差分画像ＤＰ１の変換係数を量子化することで、量子化後の変換係数である直交変換係数ＣＯＥＦ１（差分画像の圧縮データ）を逆変換・逆量子化部９及び符号化部１５に出力する。また、量子化パラメータＱＰ１を逆変換・逆量子化部９、デブロッキングフィルタ部１１及び符号化部１５に出力する。

　逆変換・逆量子化部９は、変換・量子化部８から量子化パラメータＱＰ１及び直交変換係数ＣＯＥＦ１を受けると、その量子化パラメータＱＰ１を用いて、その直交変換係数ＣＯＥＦ１を逆量子化し、逆量子化後の直交変換係数ＣＯＥＦ１の逆変換処理（例えば、逆ＫＬ変換等の逆変換処理）を実施することで、その逆変換処理結果である差分画像ＤＰ２を加算器１０に出力する。
　加算器１０は、切替スイッチ６から出力された予測画像ＰＰ１と逆変換・逆量子化部９から出力された差分画像ＤＰ２を加算することで、デブロッキング前の局部復号画像ＢＤＦＬＤＰ１を生成し、その局部復号画像ＢＤＦＬＤＰ１をデブロッキングフィルタ部１１に出力する。

　デブロッキングフィルタ部１１は、加算器１０から局部復号画像ＢＤＢＬＤＰ１を受けると、変換・量子化部８から出力された量子化パラメータＱＰ１を用いて、その局部復号画像ＢＤＢＬＤＰ１に対するデブロッキングフィルタ処理を実施し、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１をＳＡＯ処理部１２に出力する。
　デブロッキングフィルタ処理は公知の技術であるため、ここでは詳細な説明を省略する。

　ＳＡＯ処理部１２は、デブロッキングフィルタ部１１からデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１を受けると、後述するＳＡＯパラメータ決定部１４から出力されるＳＡＯパラメータＳＡＯＰＡＲＡＭ１を用いて、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の符号化歪みを補正するＳＡＯ処理を実施し、ＳＡＯ処理後の局部復号画像ＬＤＰ１を局部復号画像メモリ１３に格納する。ＳＡＯ処理の詳細は、非特許文献３に記載されている。

　ＳＡＯパラメータ決定部１４は、ＳＡＯパラメータＳＡＯＰＡＲＡＭ１として、ＳＡＯ処理のエッジオフセットＥＯにおけるカテゴリ（１）～（４）のオフセット値を決定するとともに、ＳＡＯ処理のエッジオフセットＥＯにおけるＥＯクラスを決定する処理を実施する。
　図３はこの発明の実施の形態１による画像符号化装置のＳＡＯパラメータ決定部１４の処理内容を示すフローチャートである。
　以下、図３を参照しながら、ＳＡＯパラメータ決定部１４の処理内容を具体的に説明する。

　ＳＡＯ処理には、２種類のオフセット（エッジオフセットＥＯ、バンドオフセットＢＯ（Ｂａｎｄ　Ｏｆｆｓｅｔ））があり、画像符号化装置は、エッジオフセットＥＯ又はバンドオフセットＢＯを適応的に使い分ける必要がある。
　非特許文献３の１７５７頁のＦｉｇ.４には、エッジオフセットＥＯの方がバンドオフセットＢＯより、局部復号画像ＡＤＦＬＤＰ１の符号化歪みの補正に有利な例が開示されており、非特許文献３の１７５８頁のＦｉｇ.６には、バンドオフセットＢＯの方がエッジオフセットＥＯより、局部復号画像ＡＤＦＬＤＰ１の符号化歪みの補正に有利な例が開示されている。
　エッジオフセットＥＯには、４個のクラスがあり（非特許文献３の１７５７頁のＦｉｇ．２を参照）、画像符号化装置は、４個のクラスを適応的に使い分ける必要がある。
　また、エッジオフセットＥＯには、４つのカテゴリ（１）～（４）があり、画像符号化装置は、４つのカテゴリ（１）～（４）のオフセット値（絶対値）を決定する必要がある。
　バンドオフセットＢＯの場合、画素値を複数のバンド位置に分類して、オフセットを適用するバンド位置を決定する必要がある（非特許文献３の１７５８頁のＦｉｇ．５を参照）。

　まず、ＳＡＯパラメータ決定部１４は、入力画像特徴量抽出部２から出力された入力画像ＩＰ１の画像特徴量ＦＶ１を入力する。
　エッジオフセットＥＯの場合、画素値の変動が大きい場合に有効であるため、入力画像特徴量抽出部２では、入力画像ＩＰ１の画像特徴量ＦＶ１として、入力画像ＩＰ１の画素分散値、画素偏差値、隣接画素との差分絶対値の総和又は最大値、ラプラシアンなどを算出しているものとする。

　ＳＡＯパラメータ決定部１４は、入力画像ＩＰ１の画像特徴量ＦＶ１を入力すると、その画像特徴量ＦＶ１が、画素値の変動が所定の変動量より大きい旨を示していれば、エッジオフセットＥＯの方がバンドオフセットＢＯより、局部復号画像ＡＤＦＬＤＰ１の符号化歪みの補正に有利であると判定する。一方、画素値の変動が所定の変動量より小さい旨を示していれば、バンドオフセットＢＯの方がエッジオフセットＥＯより、局部復号画像ＡＤＦＬＤＰ１の符号化歪みの補正に有利であると判定する（ステップＳＴ１１）。

　ＳＡＯパラメータ決定部１４は、エッジオフセットＥＯの方が有利であると判定すると（ステップＳＴ１１でＹｅｓの場合）、切替スイッチ６により選択される予測画像ＰＰ１が、イントラ予測部４により生成されたイントラ予測画像ＩＮＴＲＡＰＰ１である場合、イントラ予測部４により選択された最適な方向性イントラ予測モードＡＮＧ１と直交する方向に強いエッジがあるため、エッジオフセットＥＯにおける４個のクラスの中から、最適な方向性イントラ予測モードＡＮＧ１と直交する方向に近いＥＯクラスを選択する（ステップＳＴ１２）。

　一方、切替スイッチ６により選択される予測画像ＰＰ１が、動き補償予測部５により生成されたインター予測画像ＩＮＴＥＲＰＰ１である場合、動き補償予測部５から出力された直交変換係数ＣＯＥＦ２に基づいて、垂直方向の高周波成分と水平方向の高周波成分のうち、どちらの高周波成分が大きいかを判定する。
　ＳＡＯパラメータ決定部１４は、垂直方向の高周波成分の方が大きければ、エッジオフセットＥＯにおける４個のクラスの中から、垂直方向のＥＯクラスを選択し、水平方向の高周波成分の方が大きければ、水平方向のＥＯクラスを選択する（ステップＳＴ１２）。

　次に、ＳＡＯパラメータ決定部１４は、入力画像メモリ１から入力画像ＩＰ１を読み出し、入力画像フィルタ部３によるフィルタ処理後の入力画像ＩＰＦ１を入力する。
　そして、ＳＡＯパラメータ決定部１４は、入力画像ＩＰ１とフィルタ処理後の入力画像ＩＰＦ１との差分画像を求め、その差分画像を構成している各画素の画素値のうち、正値の画素値の平均値と、負値の画素値の平均値とを算出する。
　ＳＡＯパラメータ決定部１４は、正値の画素値の平均値をエッジオフセットＥＯにおけるカテゴリ（１）（２）のオフセット値に決定し、負値の画素値の平均値をエッジオフセットＥＯにおけるカテゴリ（３）（４）のオフセット値に決定する（ステップＳＴ１３）。

　ＳＡＯパラメータ決定部１４は、４個のクラスの中から最適な方向性イントラ予測モードＡＮＧ１と直交する方向に近いＥＯクラスを選択するとともに、カテゴリ（１）～（４）のオフセット値を決定すると、その選択したＥＯクラスとカテゴリ（１）～（４）のオフセット値をＳＡＯパラメータＳＡＯＰＡＲＡＭ１としてＳＡＯ処理部１２及び符号化部１５に出力する（ステップＳＴ１４）。
　これにより、ＳＡＯ処理部１２では、その選択したＥＯクラスとカテゴリ（１）～（４）のオフセット値を用いて、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の符号化歪みを補正するＳＡＯ処理を実施する。

　ＳＡＯパラメータ決定部１４は、バンドオフセットＢＯの方が有利であると判定すると（ステップＳＴ１１でＮｏの場合）、ＳＡＯ処理を実施しない旨を示すＳＡＯパラメータＳＡＯＰＡＲＡＭ１をＳＡＯ処理部１２及び符号化部１５に出力する（ステップＳＴ１５）。この場合、ＳＡＯ処理部１２では、ＳＡＯ処理を実施しない。
　なお、エッジオフセットＥＯでは、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１に対して、ローパスフィルタをかけるのと同様の効果が得られるため、リンギングノイズ等が軽減される。このため、ＳＡＯ処理をエッジオフセットＥＯに限定して、バンドオフセットＢＯを適用しなくても、多くの入力画像に対して圧縮性能を得ることが可能である。

　符号化部１５は、変換・量子化部８から出力された量子化パラメータＱＰ１及び直交変換係数ＣＯＥＦ１と、イントラ予測部４から出力されたイントラ情報ＭＯＤＥ１又は動き補償予測部５から出力された動きベクトルＭＶ１と、ＳＡＯパラメータ決定部１４から出力されたＳＡＯパラメータＳＡＯＰＡＲＡＭ１とを可変長符号化して、その量子化パラメータＱＰ１と、直交変換係数ＣＯＥＦ１と、イントラ情報ＭＯＤＥ１又は動きベクトルＭＶ１と、ＳＡＯパラメータＳＡＯＰＡＲＡＭ１との符号化データが多重化されているビットストリームＣＤ１を生成する。

　以上で明らかなように、この実施の形態１によれば、ＳＡＯパラメータ決定部１４が、エッジオフセットＥＯにおける４個のクラスの中から、イントラ予測部４により選択された最適な方向性イントラ予測モードＡＮＧ１と直交する方向に近いＥＯクラスを選択して、そのＥＯクラスをＳＡＯパラメータとして決定し、または、動き補償予測部５から出力された直交変換係数ＣＯＥＦ２に対応するＥＯクラスをＳＡＯパラメータとして決定するように構成したので、大幅な回路規模の増加を招くことなく、ＳＡＯ処理を実装することができる効果を奏する。
　また、この実施の形態１によれば、ＳＡＯパラメータ決定部１４が、入力画像ＩＰ１と入力画像フィルタ部３によるフィルタ処理後の入力画像ＩＰＦ１との差分にしたがってＳＡＯ処理のエッジオフセットＥＯにおけるカテゴリ（１）～（４）のオフセット値をＳＡＯパラメータとして決定するように構成したので、大幅な回路規模の増加を招くことなく、ＳＡＯ処理を実装することができる効果を奏する。

　即ち、Ｈ．２６４規格やＨ．２６５規格などの映像符号化標準に準拠している画像符号化装置では、イントラ予測部４や動き補償予測部５は必須の機能部であり、入力画像特徴量抽出部２や入力画像フィルタ部３は、多くの画像符号化装置に備わっている機能部である。
　この実施の形態１では、それらの機能部で算出されたパラメータをＳＡＯパラメータセットの決定に利用するとともに、ＳＡＯ処理部１２の機能をエッジオフセットＥＯに限定しているので、回路規模の増加を抑えてＳＡＯパラメータの決定を行うことができる効果を奏する。

実施の形態２．
　図４はこの発明の実施の形態２による画像符号化装置を示す構成図であり、図４において、図１と同一符号は同一または相当部分を示すので説明を省略する。
　デブロッキング後画像フィルタ部２１はデブロッキングフィルタ部１１によるデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１に対するフィルタ処理を実施し、フィルタ処理後の画像であるデブロッキング後画像ＡＤＢＬＤＰＦ１をＳＡＯパラメータ決定部２３に出力する処理を実施する。
　デブロッキング後画像フィルタ部２１がフィルタ処理で用いるフィルタ係数は事前に設計されており、例えば、入力画像として想定される画像群に対して、デブロッキングフィルタ部１１によるデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１を入力画像ＩＰ１に近付けるＷｉｅｎｅｒフィルタが設計されている。フィルタ係数は、ピクチャタイプや量子化パラメータなどの符号化パラメータの値に応じて複数用意して、フィルタ係数を使い分けるようにしてもよい。

　デブロッキング後画像特徴量抽出部２２はデブロッキングフィルタ部１１によるデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１を抽出し、その画像特徴量ＦＶ１１をＳＡＯパラメータ決定部２３に出力する処理を実施する。

　ＳＡＯパラメータ決定部２３はＳＡＯパラメータＳＡＯＰＡＲＡＭ１として、ＳＡＯ処理のエッジオフセットＥＯにおけるカテゴリ（１）～（４）のオフセット値を決定するとともに、ＳＡＯ処理のエッジオフセットＥＯにおけるＥＯクラスを決定する処理を実施する。また、ＳＡＯ処理のバンドオフセットＢＯにおけるバンド位置を決定するとともに、バンドオフセットＢＯのオフセット値を決定する処理を実施する。
　即ち、ＳＡＯパラメータ決定部２３は入力画像メモリ１により格納された入力画像ＩＰ１とデブロッキング後画像フィルタ部２１によるデブロッキングフィルタ処理後のデブロッキング後画像ＡＤＢＬＤＰＦ１（または、入力画像フィルタ部３によるフィルタ処理後の入力画像ＩＰＦ１）との差分画像を求め、その差分画像を構成している各画素の画素値のうち、正値の画素値の平均値を算出するとともに、負値の画素値の平均値を算出し、正値の画素値の平均値をエッジオフセットＥＯにおけるカテゴリ（１）（２）のオフセット値に決定し、負値の画素値の平均値をエッジオフセットＥＯにおけるカテゴリ（３）（４）のオフセット値に決定する処理を実施する。

　また、ＳＡＯパラメータ決定部２３は切替スイッチ６によりイントラ予測画像ＩＮＴＲＡＰＰ１が選択される場合、イントラ予測部４により選択された最適な方向性イントラ予測モードＡＮＧ１と直交する方向に強いエッジがあるため、ＳＡＯ処理のエッジオフセットＥＯにおける４個のクラスの中から、最適な方向性イントラ予測モードＡＮＧ１と直交する方向に近いＥＯクラスを選択する処理を実施する。
　一方、切替スイッチ６によりインター予測画像ＩＮＴＥＲＰＰ１が選択される場合、動き補償予測部５から出力された直交変換係数ＣＯＥＦ２に基づいて、垂直方向の高周波成分と水平方向の高周波成分のうち、どちらの高周波成分が大きいかを判定し、垂直方向の高周波成分の方が大きければ、ＳＡＯ処理のエッジオフセットＥＯにおける４個のクラスの中から、垂直方向のＥＯクラスを選択し、水平方向の高周波成分の方が大きければ、水平方向のＥＯクラスを選択する処理を実施する。

　ＳＡＯパラメータ決定部２３はＳＡＯ処理のバンドオフセットＢＯにおける複数のバンド位置の中から、デブロッキング後画像特徴量抽出部２２により抽出された画像特徴量ＦＶ１１に対応するバンド位置を選択する処理を実施する。
　また、ＳＡＯパラメータ決定部２３は入力画像特徴量抽出部２により抽出された入力画像ＩＰ１の画像特徴量ＦＶ１と、デブロッキング後画像特徴量抽出部２２により抽出されたデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１との差分にしたがってバンドオフセットＢＯのオフセット値を決定する処理を実施する。
　ＳＡＯパラメータ決定部２３は選択したＥＯクラス及びカテゴリ（１）～（４）のオフセット値、または、選択したバンド位置及びバンドオフセットＢＯのオフセット値をＳＡＯパラメータＳＡＯＰＡＲＡＭ１として、ＳＡＯ処理部１２及び符号化部１５に出力する処理を実施する。

　図４の例では、画像符号化装置の構成要素である入力画像メモリ１、入力画像特徴量抽出部２、入力画像フィルタ部３、イントラ予測部４、動き補償予測部５、切替スイッチ６、減算器７、変換・量子化部８、逆変換・逆量子化部９、加算器１０、デブロッキングフィルタ部１１、ＳＡＯ処理部１２、局部復号画像メモリ１３、符号化部１５、デブロッキング後画像フィルタ部２１、デブロッキング後画像特徴量抽出部２２及びＳＡＯパラメータ決定部２３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成されていてもよい。
　画像符号化装置をコンピュータで構成する場合、図６に示すように、入力画像メモリ１及び局部復号画像メモリ１３をコンピュータのメモリ５１上に構成するとともに、入力画像特徴量抽出部２、入力画像フィルタ部３、イントラ予測部４、動き補償予測部５、切替スイッチ６、減算器７、変換・量子化部８、逆変換・逆量子化部９、加算器１０、デブロッキングフィルタ部１１、ＳＡＯ処理部１２、符号化部１５、デブロッキング後画像フィルタ部２１、デブロッキング後画像特徴量抽出部２２及びＳＡＯパラメータ決定部２３の処理内容を記述しているプログラムをコンピュータのメモリ５１に格納し、当該コンピュータのＣＰＵなどのプロセッサ５２がメモリ５１に格納されているプログラムを実行するようにすればよい。

　次に動作について説明する。
　デブロッキング後画像フィルタ部２１、デブロッキング後画像特徴量抽出部２２及びＳＡＯパラメータ決定部２３以外は、上記実施の形態１と同様であるため、ここでは、デブロッキング後画像フィルタ部２１、デブロッキング後画像特徴量抽出部２２及びＳＡＯパラメータ決定部２３の処理内容だけを説明する。

　デブロッキング後画像フィルタ部２１は、デブロッキングフィルタ部１１からデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１を受けると、その局部復号画像ＡＤＦＬＤＰ１に対するデブロッキングフィルタ処理を実施し、デブロッキングフィルタ処理後の画像であるデブロッキング後画像ＡＤＢＬＤＰＦ１をＳＡＯパラメータ決定部２３に出力する。
　デブロッキング後画像フィルタ部２１がデブロッキングフィルタ処理で用いるフィルタ係数は事前に設計されており、例えば、入力画像として想定される画像群に対して、デブロッキングフィルタ部１１によるデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１を入力画像ＩＰ１に近付けるＷｉｅｎｅｒフィルタが設計されている。
　なお、フィルタ係数は、ピクチャタイプや量子化パラメータなどの符号化パラメータの値に応じて複数用意して、フィルタ係数を使い分けるようにしてもよい。

　デブロッキング後画像特徴量抽出部２２は、デブロッキングフィルタ部１１からデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１を受けると、その局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１を抽出し、その画像特徴量ＦＶ１１をＳＡＯパラメータ決定部２３に出力する。
　エッジオフセットＥＯの場合、画素値の変動が大きい場合に有効であるため、デブロッキング後画像特徴量抽出部２２では、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１として、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画素分散値、画素偏差値、隣接画素との差分絶対値の総和又は最大値、ラプラシアン、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画素平均値などを算出するものとする。

　ＳＡＯパラメータ決定部２３は、ＳＡＯパラメータＳＡＯＰＡＲＡＭ１として、エッジオフセットＥＯにおけるＥＯクラス、エッジオフセットＥＯにおけるカテゴリ（１）～（４）のオフセット値、バンドオフセットＢＯにおけるバンド位置及びバンドオフセットＢＯのオフセット値を決定する処理を実施する。
　図５はこの発明の実施の形態２による画像符号化装置のＳＡＯパラメータ決定部２３の処理内容を示すフローチャートである。
　以下、図５を参照しながら、ＳＡＯパラメータ決定部２３の処理内容を具体的に説明する。

　まず、ＳＡＯパラメータ決定部２３は、デブロッキング後画像特徴量抽出部２２から出力されたデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１を入力する。
　ＳＡＯパラメータ決定部２３は、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１を入力すると、その画像特徴量ＦＶ１１が、画素値の変動が所定の変動量より大きい旨を示していれば、エッジオフセットＥＯの方がバンドオフセットＢＯより、局部復号画像ＡＤＦＬＤＰ１の符号化歪みの補正に有利であると判定する。一方、画素値の変動が所定の変動量より小さい旨を示していれば、バンドオフセットＢＯの方がエッジオフセットＥＯより、局部復号画像ＡＤＦＬＤＰ１の符号化歪みの補正に有利であると判定する（ステップＳＴ２１）。
　ここでは、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１に基づいて、画素値の変動が所定の変動量より大きいか否かを判断しているが、上記実施の形態１と同様に、入力画像特徴量抽出部２から出力された入力画像ＩＰ１の画像特徴量ＦＶ１に基づいて、画素値の変動が所定の変動量より大きいか否かを判断するようにしてもよい。

　ＳＡＯパラメータ決定部２３は、エッジオフセットＥＯの方が有利であると判定すると（ステップＳＴ２１でＹｅｓの場合）、図１のＳＡＯパラメータ決定部１４と同様に、切替スイッチ６により選択される予測画像ＰＰ１が、イントラ予測部４により生成されたイントラ予測画像ＩＮＴＲＡＰＰ１である場合、イントラ予測部４により選択された最適な方向性イントラ予測モードＡＮＧ１と直交する方向に強いエッジがあるため、エッジオフセットＥＯにおける４個のクラスの中から、最適な方向性イントラ予測モードＡＮＧ１と直交する方向に近いＥＯクラスを選択する（ステップＳＴ２２）。

　一方、切替スイッチ６により選択される予測画像ＰＰ１が、動き補償予測部５により生成されたインター予測画像ＩＮＴＥＲＰＰ１である場合、動き補償予測部５から出力された直交変換係数ＣＯＥＦ２に基づいて、垂直方向の高周波成分と水平方向の高周波成分のうち、どちらの高周波成分が大きいかを判定する。
　ＳＡＯパラメータ決定部２３は、垂直方向の高周波成分の方が大きければ、エッジオフセットＥＯにおける４個のクラスの中から、垂直方向のＥＯクラスを選択し、水平方向の高周波成分の方が大きければ、水平方向のＥＯクラスを選択する（ステップＳＴ２２）。

　次に、ＳＡＯパラメータ決定部２３は、デブロッキングフィルタ部１１によるデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１と、デブロッキング後画像フィルタ部２１によるフィルタ処理後のデブロッキング後画像ＡＤＢＬＤＰＦ１とを入力する。
　そして、ＳＡＯパラメータ決定部２３は、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１とフィルタ処理後のデブロッキング後画像ＡＤＢＬＤＰＦ１との差分画像を求め、その差分画像を構成している各画素の画素値のうち、正値の画素値の平均値と、負値の画素値の平均値とを算出する。
　ＳＡＯパラメータ決定部２３は、正値の画素値の平均値をエッジオフセットＥＯにおけるカテゴリ（１）（２）のオフセット値に決定し、負値の画素値の平均値をエッジオフセットＥＯにおけるカテゴリ（３）（４）のオフセット値に決定する（ステップＳＴ２３）。

　ＳＡＯパラメータ決定部２３は、４個のクラスの中から最適な方向性イントラ予測モードＡＮＧ１と直交する方向に近いＥＯクラスを選択するとともに、カテゴリ（１）～（４）のオフセット値を決定すると、その選択したＥＯクラスとカテゴリ（１）～（４）のオフセット値をＳＡＯパラメータＳＡＯＰＡＲＡＭ１としてＳＡＯ処理部１２及び符号化部１５に出力する（ステップＳＴ２４）。
　これにより、ＳＡＯ処理部１２では、その選択したＥＯクラスとカテゴリ（１）～（４）のオフセット値を用いて、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の符号化歪みを補正するＳＡＯ処理を実施する。

　ＳＡＯパラメータ決定部２３は、バンドオフセットＢＯの方が有利であると判定すると（ステップＳＴ２１でＮｏの場合）、デブロッキング後画像特徴量抽出部２２から出力されたデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１に基づいて、バンドオフセットＢＯを適用するか否かを判定する（ステップＳＴ２５）。
　例えば、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１である画素値ヒストグラムから、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１における画素値のばらつき具合を判定し、画素値のばらつきが予め設定されている閾値より小さければ、バンドオフセットＢＯを適用するものとする。

　ＳＡＯパラメータ決定部２３は、バンドオフセットＢＯを適用する場合（ステップＳＴ２５でＹｅｓの場合）、ＳＡＯ処理のバンドオフセットＢＯにおける複数のバンド位置の中から、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１に対応するバンド位置を選択する（ステップＳＴ２６）。
　以下、バンド位置の選択処理の一例を説明する。
　ただし、ここでは、説明の簡単化のため、バンドオフセットＢＯにおけるバンドが０～２５５の幅を有し、そのバンドが８ビット単位に３２分割されている場合を想定する。
　即ち、バンドオフセットＢＯにおける各バンド位置は、０～７，８～１５，１６～２３，２４～３１，・・・，２４８～２５５である。
　このとき、画像特徴量ＦＶ１１が画素平均値であり、その画素平均値が例えば“２５”であれば、“２５”を略中心に含んでいる連続している４個のバンド位置（８～１５，１６～２３，２４～３１，２５～３９のバンド位置）を選択する。
　また、画素平均値が例えば“２４１”であれば、“２４１”を略中心に含んでいる連続している４個のバンド位置（２２４～２３１，２３２～２３９，２４０～２４７，２４８～２５５のバンド位置）を選択する。
　ここでは、画像特徴量ＦＶ１１が画素平均値である例を示しているが、画像特徴量ＦＶ１１が画素平均値に限るものではなく、例えば、画像特徴量ＦＶ１１である画素値ヒストグラムにしたがってバンド位置を選択するようにしてもよい。

　次に、ＳＡＯパラメータ決定部２３は、入力画像特徴量抽出部２により抽出された入力画像ＩＰ１の画像特徴量ＦＶ１と、デブロッキング後画像特徴量抽出部２２により抽出されたデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１との差分にしたがってバンドオフセットＢＯのオフセット値を決定する（ステップＳＴ２７）。
　例えば、入力画像ＩＰ１の画像特徴量ＦＶ１が入力画像ＩＰ１の画素平均値、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１がデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画素平均値である場合、入力画像ＩＰ１の画素平均値とデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画素平均値との差分ｄを算出する。
　そして、差分ｄに対して予め設定された定数αを乗算することで、バンドオフセットＢＯのオフセット値（＝ｄ×α）を算出する。
　ここでは、入力画像単位の画素平均値間の差分ｄを算出しているが、バンド毎の画素平均値を求めて、バンド毎に入力画像ＩＰ１の画素平均値とデブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画素平均値との差分ｄを算出することで、バンド毎にバンドオフセットＢＯのオフセット値（＝ｄ×α）を算出するようにしてもよい。

　ＳＡＯパラメータ決定部２３は、バンドオフセットＢＯにおける複数のバンド位置の中から、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の画像特徴量ＦＶ１１に対応するバンド位置を選択するとともに、バンドオフセットＢＯのオフセット値を決定すると、その選択したバンド位置とバンドオフセットＢＯのオフセット値をＳＡＯパラメータＳＡＯＰＡＲＡＭ１としてＳＡＯ処理部１２及び符号化部１５に出力する（ステップＳＴ２８）。
　これにより、ＳＡＯ処理部１２では、その選択したバンド位置とバンドオフセットＢＯのオフセット値を用いて、デブロッキングフィルタ処理後の局部復号画像ＡＤＦＬＤＰ１の符号化歪みを補正するＳＡＯ処理を実施する。

　ＳＡＯパラメータ決定部２３は、バンドオフセットＢＯを適用しない場合（ステップＳＴ２５でＮｏの場合）、ＳＡＯ処理を実施しない旨を示すＳＡＯパラメータＳＡＯＰＡＲＡＭ１をＳＡＯ処理部１２及び符号化部１５に出力する（ステップＳＴ２９）。この場合、ＳＡＯ処理部１２では、ＳＡＯ処理を実施しない。

　Ｈ．２６４規格やＨ．２６５規格などの映像符号化標準に準拠している画像符号化装置では、イントラ予測部４や動き補償予測部５は必須の機能部であり、入力画像特徴量抽出部２、デブロッキング後画像フィルタ部２１やデブロッキング後画像特徴量抽出部２２は、多くの画像符号化装置に備わっている機能部である。
　この実施の形態２では、それらの機能部で算出されたパラメータをＳＡＯパラメータセットの決定に利用しているので、回路規模の増加を抑えてＳＡＯパラメータの決定を行うことができる効果を奏する。

実施の形態３．
　上記実施の形態１，２では、イントラ予測部４が、入力画像メモリ１により格納された入力画像ＩＰ１と、加算器１０から出力されたデブロッキング前の局部復号画像ＢＤＦＬＤＰ１とに基づいて、方向性イントラ予測に属する３３方向の方向性イントラ予測モードの中から、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適な方向性イントラ予測モードＡＮＧ１を選択するものを示したが、方向性イントラ予測に属する３３方向の方向性イントラ予測モードのうち、線形補間が不要な方向性イントラ予測モード（４５度方向、９０度方向、１３５度方向、１８０度方向、２２５度方向の方向性イントラ予測モード）の中から、イントラ予測画像ＩＮＴＲＡＰＰ１の生成に用いる最適な方向性イントラ予測モードＡＮＧ１を選択するようにしてもよい。

　最適な方向性イントラ予測モードＡＮＧ１の選択対象を３３方向の方向性イントラ予測モードから、５方向の方向性イントラ予測モード（４５度方向、９０度方向、１３５度方向、１８０度方向、２２５度方向の方向性イントラ予測モード）に制限することで、更に回路規模を削減することができる。
　即ち、最適な方向性イントラ予測モードＡＮＧ１の選択対象を制限することで、例えば、非特許文献１の１２３頁に記載されているＴａｂｌｅ８－４におけるＩｎｔｒａＰｒｅｄＡｎｇｌｅが、｜ＩｎｔｒａＰｒｅｄＡｎｇｌｅ｜＝３２になるため、非特許文献１の１２５頁に記載されている式（８－５０）、（８－５１）、（８－５８）及び（８－５９）の乗算が不要になり、さらに、式（８－５１）及び（８－５９）において、ｉＦａｃｔ＝０になるため、１２５頁に記載されている式（８－５２）及び（８－６０）の実装が不要になる。従って、回路規模を削減することができる。

　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

　この発明に係る画像符号化装置は、入力画像を圧縮符号化するに際して、大幅な回路規模の増加を招くことなく、ＳＡＯ処理を実装する必要があるものに適している。

　１　入力画像メモリ、２　入力画像特徴量抽出部、３　入力画像フィルタ部、４　イントラ予測部（イントラ予測モード選択部）、５　動き補償予測部（直交変換部）、６　切替スイッチ、７　減算器（データ圧縮部）、８　変換・量子化部（データ圧縮部）、９　逆変換・逆量子化部（局部復号画像生成部）、１０　加算器（局部復号画像生成部）、１１　デブロッキングフィルタ部、１２　ＳＡＯ処理部、１３　局部復号画像メモリ、１４　ＳＡＯパラメータ決定部、１５　符号化部、２１　デブロッキング後画像フィルタ部、２２　デブロッキング後画像特徴量抽出部、２３　ＳＡＯパラメータ決定部、５１　メモリ、５２　プロセッサ。

Claims

　入力画像と予測画像の差分画像を圧縮して、前記差分画像の圧縮データを出力するデー
タ圧縮部と、
　前記データ圧縮部より出力された圧縮データから前記差分画像を復元し、前記差分画像と前記予測画像の加算画像である局部復号画像を生成する局部復号画像生成部と、
　ＳＡＯ（Ｓａｍｐｌｅ　Ａｄａｐｔｉｖｅ　Ｏｆｆｓｅｔ）パラメータを用いて、前記局部復号画像生成部により生成された局部復号画像の符号化歪みを補正するＳＡＯ処理を実施するＳＡＯ処理部と、
　方向性イントラ予測に属する複数の方向性イントラ予測モードの中から、前記予測画像の生成に用いられる方向性イントラ予測モードを選択するイントラ予測モード選択部と、
　前記ＳＡＯ処理のエッジオフセットにおける複数のクラスの中から、前記イントラ予測モード選択部により選択された方向性イントラ予測モードに対応するクラスを選択し、当該クラスを前記ＳＡＯ処理部が用いる前記ＳＡＯパラメータに決定するＳＡＯパラメータ決定部と
　を備えた画像符号化装置。
　前記イントラ予測モード選択部は、前記方向性イントラ予測に属する複数の方向性イントラ予測モードのうち、線形補間が不要な方向性イントラ予測モードの中から、前記予測画像の生成に用いられる方向性イントラ予測モードを選択することを特徴とする請求項１記載の画像符号化装置。
　前記入力画像に対するフィルタ処理を実施する入力画像フィルタ部を備え、
　前記ＳＡＯパラメータ決定部は、前記入力画像と前記入力画像フィルタ部によるフィルタ処理後の入力画像との差分にしたがって前記ＳＡＯ処理のエッジオフセットにおける複数のカテゴリのオフセット値を決定し、前記複数のカテゴリのオフセット値を前記ＳＡＯ処理部が用いる前記ＳＡＯパラメータに決定することを特徴とする請求項１記載の画像符号化装置。
　前記予測画像を生成する際に探索する動きベクトルが指し示す局部復号画像と前記入力画像の差分画像を直交変換して、前記差分画像の直交変換係数を出力する直交変換部を備え、
　前記ＳＡＯパラメータ決定部は、前記ＳＡＯ処理のエッジオフセットにおける複数のクラスの中から、前記直交変換部から出力された直交変換係数に対応するクラスを選択し、当該クラスを前記ＳＡＯ処理部が用いる前記ＳＡＯパラメータに決定することを特徴とする請求項１記載の画像符号化装置。
　前記入力画像の特徴量を抽出する入力画像特徴量抽出部を備え、
　前記ＳＡＯパラメータ決定部は、前記入力画像特徴量抽出部により抽出された特徴量に基づいて、前記ＳＡＯ処理におけるエッジオフセットとバンドオフセットのうち、どちらのオフセットが前記局部復号画像の符号化歪みの補正に有利であるかを判定し、前記バンドオフセットより前記エッジオフセットの方が有利である場合に限り、前記ＳＡＯ処理部が用いる前記ＳＡＯパラメータを決定することを特徴とする請求項１記載の画像符号化装置。
　前記局部復号画像生成部により生成された局部復号画像に対するデブロッキングフィルタ処理を実施するデブロッキングフィルタ部と、
　前記デブロッキングフィルタ部によるデブロッキングフィルタ処理後の局部復号画像の特徴量を抽出するデブロッキング後画像特徴量抽出部とを備え、
　前記ＳＡＯパラメータ決定部は、前記ＳＡＯ処理のバンドオフセットにおける複数のバンド位置の中から、前記デブロッキング後画像特徴量抽出部により抽出された特徴量に対応するバンド位置を選択し、当該バンド位置を前記ＳＡＯ処理部が用いる前記ＳＡＯパラメータに決定することを特徴とする請求項１記載の画像符号化装置。
　前記ＳＡＯパラメータ決定部は、前記デブロッキング後画像特徴量抽出部により抽出された特徴量に基づいて、前記ＳＡＯ処理におけるバンドオフセットを適用するか否かを判定し、前記バンドオフセットを適用する場合に限り、前記ＳＡＯ処理部が用いる前記ＳＡＯパラメータを決定することを特徴とする請求項６記載の画像符号化装置。
　前記入力画像の特徴量を抽出する入力画像特徴量抽出部と、
　前記局部復号画像生成部により生成された局部復号画像に対するデブロッキングフィルタ処理を実施するデブロッキングフィルタ部と、
　前記デブロッキングフィルタ部によるデブロッキングフィルタ処理後の局部復号画像の特徴量を抽出するデブロッキング後画像特徴量抽出部とを備え、
　前記ＳＡＯパラメータ決定部は、前記入力画像特徴量抽出部により抽出された特徴量と前記デブロッキング後画像特徴量抽出部により抽出された特徴量の差分にしたがって前記ＳＡＯ処理のバンドオフセットのオフセット値を決定し、前記バンドオフセットのオフセット値を前記ＳＡＯ処理部が用いる前記ＳＡＯパラメータに決定することを特徴とする請求項１記載の画像符号化装置。
　前記ＳＡＯパラメータ決定部は、前記デブロッキング後画像特徴量抽出部により抽出された特徴量に基づいて、前記ＳＡＯ処理におけるバンドオフセットを適用するか否かを判定し、前記バンドオフセットを適用する場合に限り、前記ＳＡＯ処理部が用いる前記ＳＡＯパラメータを決定することを特徴とする請求項８記載の画像符号化装置。