JP4828950B2 - 動画像復号装置 - Google Patents

Description

本発明は、動画像復号装置に係り、特にデブロッキングフィルタ処理に関する。

動画像をデジタルデータに変換して記憶及び／または伝送する際、動画像を所定時間間隔で切り出して静止画（以後、ピクチャと称する。）を作成し、ピクチャ単位で符号化する処理が通常行われている。このピクチャの符号化は、ピクチャを、例えば１６画素×１６画素のマクロブロックに分割し、この分割されたマクロブロックに対して更に変換を行うブロック（例えば、４×４。）の単位で離散コサイン変換、及び量子化を行い、得られた値をハフマン符号化することによって行われる。

なお、ピクチャの符号化には、そのピクチャ内の情報のみを用いてイントラ符号化を行うイントラ符号化と、時間的に過去のピクチャの情報との差分を用いて符号化するインター符号化があり、イントラ符号化されたピクチャはＩピクチャ、インター符号化されたピクチャはＰピクチャと呼ばれている。

上述の通り、ピクチャの符号化は、マクロブロック単位で実行されるため、符号化されたピクチャを復号したとき、マクロブロックの境界や上記変換を行うブロックの境界で画像が不連続となるブロック歪が生じる問題がある。そこで、Ｈ．２６４／ＡＶＣでは、そのブロック歪を平滑化し、その歪を減少させるためのデブロッキングフィルタ処理が取り入れられている。即ち、符号化に際し、複数の連結されたマクロブロック（スライスと称する。）毎にデブロッキングフィルタ処理が施されたか否かを示す情報が付加される。そして、符号化されたピクチャを復号する際、そのピクチャを復号の後（復号されたピクチャを復号画像と称する。）、その付加された情報に従って復号画像にデブロッキングフィルタ処理を施す。

ところが、デブロッキングフィルタ処理は、演算量の多い処理であるため、復号装置の負荷が高い場合、その復号処理が間に合わなくなり、ピクチャの全てを復号することが不可能となって、コマ落ちが生じることや、再生画像の動きが遅くなるなどの不具合が生じる可能性があった。

このような問題を解決するため、復号装置がデブロッキングフィルタ処理を行うことが処理量の観点から困難な場合、復号装置は、符号化の際に指定されたレベルのデブロッキングフィルタ処理に比較して、処理量が少ないレベルのデブロッキングフィルタ処理を行うことが知られている（例えば、特許文献１参照。）。
特開２００５−８６８３０号公報（第１７頁、図７）

しかしながら、上述した特許文献１に開示されている方法では、復号装置は、符号化されたピクチャに、符号化の際にデブロッキングフィルタ処理を施したか否かのみが付加されている場合、如何にしてデブロッキングフィルタ処理量を削減するかが明らかでない問題点があった。

また、全ての復号画像のデブロッキングフィルタ処理を行うことは処理量の観点から困難であるが、一部の復号画像のデブロッキングフィルタ処理は可能と判断された場合、いずれの復号画像のデブロッキングフィルタ処理を省略することが適切であるかが明らかでない問題点があった。

本発明は、上記問題点を解決するためになされたもので、デブロッキングフィルタ処理を省略する復号画像を、負荷量に応じて適切に選択する動画像復号装置を提供することを目的とする。

上記目的を達成するために、本発明の動画像復号装置は、受信された符号化ピクチャを復号するデコード手段と、前記デコード手段によって復号された復号画像のブロックノイズを抑制させたブロックノイズ抑制復号画像を作成するブロックノイズ抑制処理手段と、前記ブロックノイズ抑制処理手段を制御して、前記ブロックノイズ抑制処理を行わせて、前記ブロックノイズ抑制復号画像を送信させ、または、前記ブロックノイズ抑制処理を行わせずに前記復号画像を前記ブロックノイズ抑制復号画像として送信させる制御手段とを有し、前記制御手段は、負荷量を検出し、その検出された負荷量が所定の値未満の場合、前記ブロックノイズ抑制処理手段を制御して前記ブロックノイズ抑制処理を行わせ、前記検出された負荷量が前記所定の値以上であり、かつ、前記デコード手段によって復号された復号画像が非参照ピクチャの場合、前記ブロックノイズ抑制処理手段を制御してその非参照ピクチャの前記ブロックノイズ抑制処理を行わせないことを特徴とする。

また、本発明の動画像復号装置は、受信された符号化ピクチャを復号するデコード手段と、前記デコード手段によって復号された復号画像のブロックノイズを抑制させたブロックノイズ抑制復号画像を作成するブロックノイズ抑制処理手段と、前記ブロックノイズ抑制処理手段を制御して、前記ブロックノイズ抑制処理を行わせて、前記ブロックノイズ抑制復号画像を送信させ、または、前記ブロックノイズ抑制処理を行わせずに前記復号画像を前記ブロックノイズ抑制復号画像として送信させる制御手段とを有し、前記制御手段は、負荷量を検出し、その検出された負荷量が所定の値以上の場合、前記ブロックノイズ抑制処理手段を制御して、その検出された負荷量が多ければ多い程より多くの前記復号画像のブロックノイズ抑制処理を行わせず、そのブロックノイズ抑制処理を行わせない復号画像は、ピクチャ内の情報のみを用いて符号化されたピクチャが復号された復号画像に至るまでの復号画像の数が少ない復号画像を優先して選択させることを特徴とする。

本発明によれば、デブロッキングフィルタ処理を省略する復号画像を、負荷量に応じて適切に選択する動画像復号装置を提供することができる。

以下に、本発明による動画像復号装置の実施の形態を、図面を参照して説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る動画像復号装置の構成を示すブロック図である。

この動画像復号装置は、装置全体の制御を行う制御機能１１と、デコード機能１２と、デブロッキングフィルタ機能１３とを含むプロセッサ１４と、復号画像記憶部１５とからなる。デコード機能１２は、符号化ピクチャ２１を受信し、復号画像２２を作成して復号画像記憶部１５に格納する。デブロッキングフィルタ機能１３は、復号画像記憶部１５に記憶された復号画像２２を読み出して、復号画像記憶部１５から消去し、読み出された復号画像２２に対してデブロッキングフィルタ処理を施し、または、施さずに復号画像２３として送信する。

なお、プロセッサ１４は、上記説明した他にＯＳ機能（図示せず）、画像表示機能（図示せず）及び音声処理機能（図示せず）などを含む。

上記のように構成された、本発明の実施形態に係る動画像復号装置の各部の動作を、図１を参照して説明する。

デコード機能１２は、受信したパケットから符号化ピクチャ２１を抽出し、この符号化ピクチャ２１を復号して復号画像２２を得、この得られた復号画像２２を復号画像記憶部１５に格納する。なお、復号画像２２は、抽出した符号化ピクチャ２１に対してハフマン復号、逆量子化、及び逆離散コサイン変換することによって得られる。

また、デコード機能１２は、復号画像２２を復号画像記憶部１５に格納するとき、符号化ピクチャ２１には符号化ピクチャ２１の作成時に符号化装置によって行われたデブロッキングフィルタ処理に関する情報、即ち、スライス毎にデブロッキングフィルタ処理が行われたか否かを示す情報（以下、フィルタ情報と称する。）が属性情報の一つとして割り当てられているため、このフィルタ情報を復号画像２２と共に格納する。更に、上記属性情報の一つとてして、その復号画像２２が、他のピクチャによって参照されるか否かを示す情報（以下、参照情報と称する。）もあり、この情報も復号画像２２と共に格納される。他のピクチャによって参照されるか否かは、Ｈ．２６４／ＡＶＣ規格によれば、スライスＮＡＬ（Network Abstraction Layer）ユニットのＮＡＬユニットヘッダの要素によって判断が可能である。

更に、デコード機能１２は、符号化ピクチャ２１が直近の過去に受信されたＩピクチャの次のＰピクチャから起算して何個目のピクチャであるかを示す情報も格納する。例えば、符号化ピクチャ２１がＩピクチャの次のＰピクチャであれば１個目のピクチャであり、Ｉピクチャとの間にＰピクチャが１つ存在するのであれば、２個目のピクチャとなる。

デブロッキングフィルタ機能１３は、制御機能１１の指示に従い、復号画像記憶部１５に記憶された復号画像２２を読み出し、その復号画像２２にデブロッキングフィルタ処理が行われたことを示すフィルタ情報が付加されていると、該当する復号画像２２に対してデブロッキングフィルタ処理を施して復号画像２３を出力する。そして当該フィルタ情報が付加されていないと、デブロッキングフィルタ機能１３から該当する復号画像２２のままの復号画像２３が出力される。

また、デブロッキングフィルタ機能１３は、後述するように、制御機能１１の指示に従い、かつ、復号画像２２に付加された参照情報、及び、直近の過去に受信されたＩピクチャの次のＰピクチャから数えて何個目のピクチャであるか（この個数をＸと称する。）の情報を参照して、読み出された復号画像２２にデブロッキングフィルタ処理が行われたことを示すフィルタ情報が付加されていても、その復号画像２２にデブロッキングフィルタ処理を施すことなく、そのまま復号画像２３として送信することがある。

続いて上記のように構成された、本発明の実施形態に係わる動画像復号装置の制御機能１１によるデブロッキングフィルタ処理の制御動作を説明する。

図２は、制御機能１１のデブロッキングフィルタ処理の制御動作を示している。

制御機能１１は、符号化ピクチャ２１が受信される度にデコード機能１２に符号化ピクチャ２１を復号させる（ステップＳ１１ａ）。そして、デコード機能１２が復号をする符号化ピクチャ２１はＩピクチャであるか、Ｐピクチャであるかをデコード機能１２からの通知に基づいて判断する（ステップＳ１１ｂ）。この通知は、デコード機能１２が符号化ピクチャ２１を参照することによって可能である。

符号化ピクチャ２１がＩピクチャである場合、制御機能１１は、ＧｏＰ（Group of Pictures）のサイズを求めるための変数Ａの値をＧｏＰのサイズとして制御機能１１内に記憶し、変数Ａの値に１を代入する（ステップＳ１１ｃ）。一方、符号化ピクチャ２１がＰピクチャである場合、変数Ａの値に１を加える（ステップＳ１１ｄ）。

このステップＳ１１ｂ〜ステップＳ１１ｄの動作は、ＧｏＰのサイズ、即ち、Ｉピクチャの次のＰピクチャから、上記Ｉピクチャの次のＩピクチャまでのピクチャの数を求めるための動作である。そこで、符号化ピクチャ２１の最初のＩピクチャを受信した際に記憶されたＧｏＰのサイズは、そのＩピクチャの前のＩピクチャを受信していないため、Ｉピクチャの間隔を求めたことにならず、正しくないと考えられるので、削除する。また、制御機能１１内に記憶された複数のＧｏＰのサイズの平均値を算出し、または、異常値を除くことによってＧｏＰのサイズを検出する（このサイズをＹと称する。）。ここで、１つのＧｏＰのサイズのみが他のＧｏＰのサイズと異なり、その１つのＧｏＰのサイズ以外のＧｏＰのサイズが全て等しい場合、その１つのＧｏＰのサイズを異常値と看做す。

なお、Ｉピクチャの受信間隔が一定であると看做せる場合は、所定個数のＩピクチャを受信してＧｏＰのサイズを求めた後、ステップＳ１１ｂ〜ステップＳ１１ｄの動作を省略しても良い。

次に、制御機能１１は、負荷量を検出し（ステップＳ１１ｅ）、その負荷量の高低を判断する（ステップＳ１１ｆ）。ここで、負荷量の検出は、復号画像記憶部１５に記憶された復号画像２２の個数による。

そして、上記負荷量が第１の閾値よりも低い場合、制御機能１１は、デブロッキングフィルタ機能１３を制御して、デブロッキングフィルタ処理が行われたことを示すフィルタ情報が付加されている全ての復号画像２２に対してデブロッキングフィルタ処理をさせて、その処理がされた画像を復号画像２３として出力させ（ステップＳ１１ｇ）、ピクチャのデブロッキングフィルタ処理の制御動作を終了する（ステップＳ１１ｈ）。

一方、ステップＳ１１ｆで、上記負荷量が第１の閾値よりも高く、その第１の閾値よりも大きい値である第２の閾値よりも低い場合、制御機能１１は、デブロッキングフィルタ機能１３を制御して、デブロッキングフィルタ機能１３がデブロッキングフィルタ処理を開始しようとする復号画像２２が非参照ピクチャであるか否かを判断する（ステップＳ１１ｉ）。この判断は、制御機能１１が復号画像２２に付加された情報を参照しても良く、また、デブロッキングフィルタ機能１３を制御してその情報を調べさせても良い。

上記復号画像２２が非参照ピクチャである場合、制御機能１１は、デブロッキングフィルタ機能１３を制御して、その復号画像２２にデブロッキングフィルタ処理が行われたことを示すフィルタ情報が付加されていても、その復号画像２２に対してデブロッキングフィルタ処理をさせないまま、復号画像２３として出力させ（ステップＳ１１ｊ）、デブロッキングフィルタ処理の制御動作を終了する（ステップＳ１１ｈ）。

一方、上記復号画像２２が参照ピクチャである場合、制御機能１１は、ステップＳ１１ｇのデブロッキングフィルタ機能１３を制御して、その復号画像２２にデブロッキングフィルタ処理が行われたことを示すフィルタ情報が付加されていれば、その復号画像２２に対してデブロッキングフィルタ処理をさせる制御動作に移る。

ステップＳ１１ｆで、負荷量が上記第２の閾値よりも高い場合、制御機能１１は、デブロッキングフィルタ機能１３がデブロッキングフィルタ処理を開始しようとする復号画像２２が、参照の影響の少ないピクチャであるか否かを判断する（ステップＳ１１ｋ）。ここで、その負荷量が高ければ高い程、より多くの復号画像２２に対して参照の影響が少ないと判断する。この判断基準として、以下の２通りのいずれかを用いる。

まず第１の判断基準では、ＧｏＰのサイズＹをパラメータとする非減少関数を制御機能１１内に記憶し、上記負荷量にこの非減少関数を適用する。

ここで、非減少関数を適用して得られる値の最小値は１であり、最大値はＧｏＰのサイズから１を減じた値（Ｙ−１）である。ここで、１を減じる理由は、ＧｏＰ中のＰピクチャの数とするためである。このようにして得られた参照の影響の少ないピクチャの数をＮとする。そして、非減少関数は、ＧｏＰのサイズＹをパラメータとすることによって、例えば、参照の影響の少ないピクチャと全ピクチャとの比率を制御することができる。

次に、制御機能１１は、符号化ピクチャ２１がＩピクチャの次のＰピクチャから数えて何個目かを示すＸと、検出されたＧｏＰのサイズＹとから、Ｘ≧Ｙ−Ｎである復号画像２２（ただし、Ｉピクチャは除く。）は参照の影響の少ない復号画像２２であると判断し、ステップＳ１１ｊのデブロッキングフィルタ機能１３を制御して、その復号画像２２にデブロッキングフィルタ処理が行われたことを示すフィルタ情報が付加されていても、その復号画像２２に対してデブロッキングフィルタ処理をさせない制御動作に移る。

一方、制御機能１１は、ステップＳ１１ｋで、Ｘ＜Ｙ−Ｎである復号画像２２は参照の影響の多いピクチャであると判断し、ステップＳ１１ｉの、その復号画像２２は、非参照ピクチャであるか否かの判断の制御動作に移る。そして、その判断に依存して、ステップＳ１１ｇのその復号画像２２に対してデブロッキングフィルタ処理をさせ、または、ステップＳ１１ｊのその復号画像２２に対してデブロッキングフィルタ処理をさせない制御動作をする。

上記説明したステップＳ１１ｋの参照の影響が少ないピクチャであるか否かの判断により、制御機能１１は、負荷量が第２の閾値よりも高い場合、ステップＳ１１ｉで行われる、復号画像２２は非参照ピクチャであるとの判断に基づいてデブロッキングフィルタ処理をさせない制御に加えて、まず、Ｉピクチャの時間的に１つ前のＰピクチャのデブロッキングフィルタ処理をさせない。

そして、負荷量が第２の閾値を超え、より高くなるに従って、時間的に次のＩピクチャに近いＰピクチャからデブロッキングフィルタ処理をさせないことによって、デブロッキングフィルタ機能１３の動作による負荷を軽減させつつ、復号画像２３のブロックノイズの蓄積を最小限に止めることができる。

一方、第２の判断基準では、ＧｏＰのサイズＹをパラメータとする非増加関数を制御機能１１内に記憶し、上記負荷量にこの非増加関数を適用するとする。ここで、非増加関数を適用して得られる値の最小値は１であり、最大値はＧｏＰのサイズから１を減じた値（Ｙ−１）である。このようにして得られた参照の影響の多いピクチャの数をＱとする。

次に、制御機能１１は、符号化ピクチャ２１がＩピクチャの次のＰピクチャから数えて何個目かを示すＸから、Ｘ≦Ｑである復号画像２２は、参照の影響の多い復号画像２２であると判断し、Ｘ＞Ｑである復号画像２２は、参照の影響の少ない復号画像２２であると判断する。なお、この第２の判断基準によると、ＧｏＰのサイズＹは、必ずしも必要ではない。しかし、ＧｏＰのサイズＹの検出値が変更される場合、上記非増加関数のパラメータが変更となるため、その関数を適用して得られる値は異なる。その他のこの第２の判断基準による動作は、上記第１の判断基準による動作と同様であり、説明を省略する。

なお、ステップＳ１１ｆで負荷量が特に高い、即ち、負荷量が上記第２の閾値よりも高い第３の閾値を設け、この第３の閾値より高い場合、制御機能１１は、デブロッキングフィルタ機能１３を制御して、デブロッキングフィルタ処理が行われたことを示すフィルタ情報が付加されていても、Ｉピクチャが復号された復号画像２２を含む、全ての復号画像２２に対してデブロッキングフィルタ処理をさせない制御を行う（図示せず）。

なお、制御機能１１は、ステップＳ１１ｉの復号画像２２が非参照ピクチャであるか否かの判断と、ステップＳ１１ｋの復号画像２２が参照の影響の少ないピクチャであるか否かの判断とを入れ替えても良い。

この入れ替えを行った場合、制御機能１１は、ステップＳ１１ｆで、負荷量は第１の閾値よりも高く、第２の閾値よりも低いと判断された場合、復号画像２２が参照の影響の少ないピクチャであるか否かの判断を行い、影響が少ないピクチャであれば、ステップＳ１１ｊのデブロッキングフィルタ処理をさせず、影響が多いピクチャであれば、ステップＳ１１ｇのデブロッキングフィルタ処理をさせる制御動作をする。

また、制御機能１１は、ステップＳ１１ｆで、負荷量は第２の閾値よりも高いと判断された場合、復号画像２２が参照の影響が大きいと判断され、かつ、非参照ピクチャではないと判断された場合、ステップＳ１１ｇのデブロッキングフィルタ処理をさせ、その他の場合、ステップＳ１１ｊのデブロッキングフィルタ処理をさせない制御動作をすることになり、上記入れ替えによって復号画像２２にデブロッキングフィルタ処理をさせるか否かの判断への影響はない。

また、以上の説明では、符号化ピクチャ２１には、デブロッキングフィルタ処理が施されているか否かを示す情報が付加されているとしたが、これに限るものではない。その情報が付加されていない場合にあっても、デブロッキングフィルタ機能１３は、復号画像２２にデブロッキングフィルタ処理を行ってブロックノイズを抑制させることとし、制御機能１１は、上記説明したようにデブロッキングフィルタ処理をさせない復号画像２２を負荷量に応じて適切に選択することができる。

また、以上の説明は、インター符号化は、時間的に過去に符号化された、時間的に過去のピクチャからの差分を符号化する方法であるとしたが、これに限るものではない。時間的に過去に符号化された、時間的に過去または将来のＩピクチャまたはＰピクチャからの差分を符号化する方法（この方法によって符号化されたピクチャを、Ｂピクチャと称する。）を併せて用いても良い。Ｂピクチャを併せて用いる場合、参照の影響の多少を次のＩピクチャに至るまでの符号化されたピクチャの数によって判断することが同様に可能である。

（第２の実施形態）
本発明の第２の実施形態に係る動画像復号装置が第１の実施形態に係る動画像復号装置と異なる点は、制御機能１１のデブロッキングフィルタ処理の制御動作であって、ステップＳ１１ｅの制御動作にある。

そこで、制御機能１１のデブロッキングフィルタ処理の制御動作の第２の実施形態を、図面を参照して説明する。

図３は、制御機能１１のデブロッキングフィルタ処理の制御動作の第２の実施形態を示している。ただし、第１の実施形態と同じ部分は、同じ符号を付して説明を省略する。

制御機能１１は、ステップＳ１１ｃの変数Ａの値をＧｏＰのサイズとして制御機能１１内に記憶し、変数Ａの値に１を代入する動作、または、ステップＳ１１ｄの変数Ａの値に１を加える動作の後、ＯＳ機能によって検出されたプロセッサ１４の稼働率から負荷量を検出する（ステップＳ１１ｍ）。そして、ステップＳ１１ｆの負荷量の高低を判断する動作に移る。

（その他の実施形態）
上記の第１の実施形態及び第２の実施形態は、適宜組み合わせて実施することが可能である。

本発明の実施形態に係る動画像復号装置の構成を示すブロック図。 本発明の第１の実施形態に係る制御機能のデブロッキングフィルタ処理の制御動作を示すフローチャート。 本発明の第２の実施形態に係る制御機能のデブロッキングフィルタ処理の制御動作を示すフローチャート。

符号の説明

１１ 制御機能
１２ デコード機能
１３ デブロッキングフィルタ機能
１４ プロセッサ
１５ 復号画像記憶部
２１ 符号化ピクチャ
２２ 復号画像
２３ 復号画像

Claims (4)

1. 受信された符号化ピクチャを復号するデコード手段と、
   前記デコード手段によって復号された復号画像のブロックノイズを抑制させたブロックノイズ抑制復号画像を作成するブロックノイズ抑制処理手段と、
   前記ブロックノイズ抑制処理手段を制御して、前記ブロックノイズ抑制処理を行わせて、前記ブロックノイズ抑制復号画像を出力させ、または、前記ブロックノイズ抑制処理を行わせずに前記復号画像を前記ブロックノイズ抑制復号画像として出力させる制御手段と
   を有し、
   前記制御手段は、負荷量を検出し、その検出された負荷量が所定の値以上の場合、前記ブロックノイズ抑制処理手段を制御して、その検出された負荷量が多ければ多いほどより多くの前記復号画像のブロックノイズ抑制処理を行わせず、そのブロックノイズ抑制処理を行わせない復号画像は、ピクチャ内の情報のみを用いて符号化されたピクチャを復号して得られる復号画像に至るまでの復号画像の数が少ない復号画像ほど優先して選択させる
   ことを特徴とする動画像復号装置。
2. 前記制御手段は、検出された負荷量が前記所定の値よりも小さい第２の値以上であって前記デコード手段によって復号された復号画像が非参照ピクチャの場合、前記ブロックノイズ抑制処理手段を制御してその非参照ピクチャの前記ブロックノイズ抑制処理を行わせないことを特徴とする請求項１に記載の動画像復号装置。
3. 前記ブロックノイズ抑制処理手段によって行われる前記復号画像のブロックノイズを抑制させる処理は、デブロッキングフィルタ処理である
   ことを特徴とする請求項１または請求項２に記載の動画像復号装置。
4. 前記制御手段は、前記負荷量を前記デコード手段によって復号され、かつ、前記ブロックノイズ抑制処理手段によって出力されていない情報の量を用いて検出する
   ことを特徴とする請求項１または請求項２に記載の動画像復号装置。

Images