JP4782023B2 - 動画像データ復号装置、及びプログラム - Google Patents

Description

本発明は、動画像データ復号装置、及びプログラムに関する。

近年、動画像データの情報量を圧縮するための符号化技術が種々提案されており、その例としては、ＭＰＥＧ−２方式やＨ．２６４／ＡＶＣ(Advanced Video Coding)方式などが挙げられる。

一般に、動画像データは連続する複数の静止画像（以下、フレームという。）により構成されており、上記各方式など現在広く用いられている映像の符号化技術は、いずれも、各フレームをイントラフレーム又はインターフレームのいずれかとして符号化することにより、上記圧縮を実現している。

ここで、イントラフレームは、自フレーム内の情報のみを用いて符号化されたフレームであり、イントラフレームの符号化では、自フレーム内の情報に基づく予測符号化、直交変換、及び量子化の各処理が行われる。また、インターフレームは、過去の他のフレーム内の情報も用いて符号化されたフレームであり、インターフレームの符号化では、過去の他のフレーム内の情報に基づく予測符号化、動き補償、直交変換、及び量子化の各処理が行われる。

イントラフレームよりインターフレームの方が圧縮効率が良いことが多いが、インターフレームは既に符号化された他のフレーム内の情報を必要とするため、動画像データ内において一番最初に位置するフレームはイントラフレームとしなければならない。また、早送りや巻戻しといったランダムアクセスを実現するため、定期的（通常は０．５秒〜２秒に１回程度の間隔）に、イントラフレームが必要となる。さらに、インターフレームとすると逆に圧縮効率が悪化してしまうフレーム（シーンチェンジ直後のフレームなど直前のフレームとの関連性が薄いフレーム。）は、イントラフレームとして符号化される。

この技術では、インターフレームとイントラフレームにかかる符号化処理の違い及び量子化処理を行っていることに起因し、インターフレームからイントラフレームに切り替わる際、視覚的に映像の不連続が感じられてしまうことが知られている。この現象はフリッカと呼ばれ、フリッカの発生を抑制するための技術が種々提案されている。以下、このような技術の具体的な例を列挙する。

特許文献１に開示される技術は、イントラフレームの符号化時に、直前のフレームと比べてあまり変化していない画素については、直前のフレームの画素値をイントラフレームの画素値として利用することで、映像の不連続の発生を抑制している。すなわち、フリッカの発生を抑制している。

特許文献２に開示される技術は、イントラフレームの符号化時に、時間方向の予測誤差が小さくなる予測の仕方（予測モード）を利用できるようにすることで、フリッカの発生を抑えている。

特許文献３に開示される技術は、予測モード及び量子化値（圧縮率を示す値）の複数の組み合わせのうち、イントラフレームを一旦仮に符号化し、さらに復号して得られる信号と、以前に符号化していた直前フレームを復号して得られる信号と、の差が最小となる上記組み合わせを用いてイントラフレームを符号化するようにすることで、フリッカの発生を抑制している。

特許文献４に開示される技術は、直前のフレームと同一の予測モードをイントラフレームの予測モードとして用いるようにすることにより、フリッカの発生を抑制している。

特許文献５に開示される技術は、イントラフレームの符号化のための予測画像ブロック（符号化対象フレームのある部分（ブロック）を符号化する際に参照する他のブロック）を生成する際、直前のフレームの同一部分で使用した予測画像ブロックとの類似度が最大となるようにすることにより、フリッカの発生を抑制している。
特開２００５−３９３２１号公報 特開２００５−３１８４６８号公報 特開２００５−３２３３１５号公報 特開２００５−３４８００８号公報 特開２００６−１９１２８７号公報

しかしながら、上記各特許文献に開示される技術は、いずれも符号化段階でフリッカの発生を抑制しようとするものであるため、以前に符号化された状態で記憶媒体に固定されている動画像データや、上記各技術を採用していない符号化装置において符号化された動画像データについては、何ら効果を奏し得ないという問題がある。

従って、本発明の課題の一つは、符号化段階でのフリッカ発生抑制技術によらず、フリッカの発生の抑制を実現する動画像データ復号装置、及びプログラムを提供することにある。

上記課題を解決するための本発明にかかる動画像データ復号装置は、一連のフレームにより構成され、各フレームがイントラフレーム又はインターフレームのいずれかとして符号化されてなる動画像データを復号する動画像データ復号装置であって、前記一連のフレームの入力を順次受け付ける入力受付手段と、前記入力受付手段により受け付けられたフレームに順次注目し、注目した各フレームを順次復号する復号手段と、前記復号手段により復号された注目フレームがイントラフレームとして符号化されたものである場合に、該注目フレームの復号結果である画像と、前記復号手段により該注目フレームの直前に復号された他の少なくとも１つのフレームの復号結果に基づく画像と、を所定の混合比による重み付きで画素値を加算することにより混合する混合手段と、を含むことを特徴とする。

これによれば、注目フレームがイントラフレームである場合に、直前に復号した少なくとも１つのフレームの復号結果に基づく画像と注目フレームの復号結果である画像とを混合するので、注目フレームとその直前のフレームとの間での映像の不連続の発生が抑制される。すなわち、復号段階において、フリッカの発生の抑制が実現される。

また、上記動画像データ復号装置において、前記混合手段は、前記復号手段により復号された注目フレームがイントラフレームとして符号化されたものである場合に、該注目フレームの復号結果である画像と、前記復号手段により該注目フレームの直前に復号された他の少なくとも１つのフレームの復号結果に基づく画像と、を混合するとともに、該注目フレームの後に前記復号手段により復号される所定数のフレームについても、該各フレームの復号結果である画像と、前記復号手段により該各フレームそれぞれの直前に復号された他の少なくとも１つのフレームの復号結果に基づく画像と、を混合する、こととしてもよい。

これによれば、イントラフレームとして符号化された注目フレームの後、所定数のフレームについても、該注目フレーム同様に復号結果を混合することができるので、本発明を適用することによる復号結果の変化を緩和することができる。

また、上記動画像データ復号装置において、前記混合手段は、前記注目フレームの復号結果である画像と、前記他の少なくとも１つのフレームの復号結果に基づくと、を画素単位で混合し、当該動画像データ復号装置は、前記注目フレーム内の静止領域を抽出する静止領域抽出手段、を含み、前記混合手段は、前記静止領域抽出手段により抽出された静止領域に属する画素について、前記注目フレームの復号結果である画像と、前記他の少なくとも１つのフレームの復号結果に基づく画像と、を混合する、こととしてもよい。

復号結果である画像を直前のフレームの復号結果に基づく画像と混合すると、出力映像は２つ（又は２つ以上）のフレームが混じったものとなる。この混じりは、出力映像内の変化の少ない部分（静止領域）では問題とはならないが、変化の多い部分（非静止領域）では画像がぼけたように見え、見る者に不快感を与えてしまう。この点、上記動画像データ復号装置によれば、注目フレーム内の静止領域を抽出し、静止領域について上記混合を行うようにしているので、上記不快感を与えることを防止できる。なお、非静止領域では、例えフリッカが発生しても、より大きなその他の変動があることにより見る者には気づかれないことが多いので、混合の実施に制限を加えたとしても、視覚的に映像の不連続が感じられてしまうこととなる虞は小さい。

また、上記動画像データ復号装置において、
前記静止領域抽出手段は、前記注目フレーム内の所定の画素数のサイズの領域ごとに画素値の平均値のフレーム間差を算出し、算出した各フレーム間差に基づき、前記各領域が静止領域であるか否かを判定し、判定結果に基づいて、前記注目フレーム内の静止領域を抽出する、こととしてもよい。

これによれば、例えば画素値（輝度又は色差）の平均値の変化が小さい領域を静止領域として抽出することができる。

また、上記動画像データ復号装置において、インターフレームとして符号化されてなる前記各フレームには、該各フレーム内の所定の画素数のサイズの領域ごとに、動きベクトルを用いる動き補償が行われており、前記静止領域抽出手段は、過去所定時間内にわたる前記各領域についての１又は複数の動きベクトルの大きさに基づき、該各領域が静止領域であるか否かを判定し、判定結果に基づいて、前記注目フレーム内の静止領域を抽出する、こととしてもよい。

一般に、動きベクトルの大きさの小さい状態が継続している領域は静止領域に属すると考えられる。上記動画像データ復号装置によれば、過去所定時間内にわたる動きベクトルの大きさに基づいて静止領域を抽出しているので、的確に静止領域を抽出することができる。

また、上記動画像データ復号装置において、インターフレームとして符号化されてなる前記各フレームには、該各フレーム内の所定の画素数のサイズの領域ごとに、動き補償が行われており、当該動画像データ復号装置は、前記動き補償の際に取得される前記領域ごとの動き補償予測誤差を取得する動き補償予測誤差取得手段、を含み、前記静止領域抽出手段は、過去所定時間内にわたり前記動き補償予測誤差取得手段により取得される前記各領域についての１又は複数の動き補償予測誤差に基づき、該各領域が静止領域であるか否かを判定し、判定結果に基づいて、前記注目フレーム内の静止領域を抽出する、こととしてもよい。

一般に、動き補償予測誤差の小さい状態が継続している領域は静止領域に属すると考えられる。上記動画像データ復号装置によれば、過去所定時間内にわたる動き補償予測誤差に基づいて静止領域を抽出しているので、的確に静止領域を抽出することができる。

また、上記動画像データ復号装置において、前記各フレームには、所定の画素数のサイズの領域ごとに、該領域ごとの量子化特性値に基づく量子化処理が行われており、前記静止領域抽出手段は、前記領域ごとの量子化特性値に基づき、前記各領域が静止領域であるか否かを判定し、判定結果に基づいて、前記注目フレーム内の静止領域を抽出する、こととしてもよい。

量子化処理は、各画素の画素値を、不連続な値に置き換える処理である。量子化特性値は、この不連続な値の間隔を示す値である。一般に、量子化特性値が小さい領域ほどフリッカは起きにくく、このような領域で上記混合手段による復号結果の混合を行ってフリッカの発生の抑制を行う必要性は乏しい。上記動画像データ復号装置によれば、上記領域ごとの量子化特性値に基づいて、上記各領域が静止領域であるか否かを判定しているので、量子化特性値が小さいためにそもそもフリッカが起きにくく、上記混合手段による復号結果の混合を行ってフリッカの発生の抑制を行う必要性に乏しい領域について、静止領域でないとすることにより、上記混合手段による混合が行われないようにすることができ、動画像データ復号装置の処理負荷を軽減することができる。

また、上記各動画像データ復号装置において、前記混合手段は、混合を行う場合、混合結果である画像を出力するとともに、混合を行わない場合、前記注目フレームの復号結果である画像を出力し、前記他の少なくとも１つのフレームの復号結果に基づく画像は、該各フレームを注目フレームとして前記混合手段が出力した画像である、こととしてもよい。

これによれば、注目フレームの復号結果である画像と、他のフレームについて混合手段が出力した画像と、を混合することができる。

また、本発明にかかるプログラムは、コンピュータを、一連のフレームにより構成され、各フレームがイントラフレーム又はインターフレームのいずれかとして符号化されてなる動画像データを復号する動画像データ復号装置として機能させるためのプログラムであって、前記一連のフレームの入力を順次受け付ける入力受付手段、前記入力受付手段により受け付けられたフレームに順次注目し、復号する復号手段、及び前記復号手段により復号された注目フレームがイントラフレームとして符号化されたものである場合に、該注目フレームの復号結果と、前記復号手段により該注目フレームの直前に復号された他の少なくとも１つのフレームの復号結果と、を所定の混合比による重み付きで画素値を加算することにより混合する混合手段、として前記コンピュータをさらに機能させるためのプログラムである。

本発明の実施の形態について、図面を参照しながら説明する。

図１は、本実施の形態にかかる動画像データ復号装置１のシステム構成及び機能ブロックを示す概略ブロック図である。同図に示すように、動画像データ復号装置１は、デコード（復号）部１０、処理開始・中断判定部２０、静止領域判定部３０、混合比生成部４０、フレームメモリ５０、乗算器６０、乗算器７０、加算器８０を含んで構成される。また、デコード部１０は、その内部にフレームモード復号部１１、動きベクトル復号部１２、動き補償予測誤差信号復号部１３、量子化特性値復号部１４を含んで構成される。

図示しない符号化装置は、例えばＢＳ・地上波デジタル放送やワンセグサービスにおいて放送の対象となる動画像を取得し、該動画像を構成する各フレームを所定の大きさの複数のブロックに分割する。そして、ブロックごとに、ＭＰＥＧ−２方式やＨ．２６４／ＡＶＣ方式などの符号化方式を用いて動画像を符号化する。符号化装置は、一連のフレームにより構成され、各フレームがイントラフレーム又はインターフレームのいずれかとして符号化されてなる動画像データを、符号化の結果として取得する。符号化装置は、こうして取得した各フレームに、該各フレームがイントラフレーム又はインターフレームのいずれであるかを示すフレームモード情報を含むヘッダを付加し、ビットストリームとして出力する。具体的な例では、放送用のアンテナから無線送出する。

動画像データ復号装置１は、こうして出力されたビットストリームを受信し、復号する装置である。以下、詳細に説明する。

デコード部１０はビットストリームの入力を受け付ける。上述のように、このビットストリームは上記一連のフレームを含んで構成されており、デコード部１０は、このビットストリームを受け付けることにより、上記一連のフレームの入力を順次受け付ける。そして、受け付けた各フレームに順次注目し、動画像データの符号化に用いた符号化方式により、注目した各フレームを上記ブロックごとに順次復号する。デコード部１０は、復号の結果得られる復号画像を、フレームごとに順次出力する。

フレームモード復号部１１は、受け付けたビットストリームに含まれる上記ヘッダから各フレームのフレームモード情報を取得し、処理開始・中断判定部２０に出力する。

処理開始・中断判定部２０、混合比生成部４０、フレームメモリ５０、乗算器６０、乗算器７０、及び加算器８０は、デコード部１０により復号されたフレーム（注目フレーム）がイントラフレームとして符号化されたものであるか否かに応じて、イントラフレームとして符号化されたものである場合には、注目フレームの復号結果である画像（デコード部１０から出力される復号画像）を、デコード部１０により注目フレームの直前に復号された他の少なくとも１つのフレームの復号結果に基づく画像（デコード部１０から出力され、後述する乗算器７０及び加算器８０における処理を施された復号画像。以下では出力画像と称する。）を用いて制御する制御手段として機能する。この制御手段はさらに、該注目フレームの後にデコード部１０により復号される所定数のフレームについても、該注目フレームと同様、各フレームの復号結果を、デコード部１０により各フレームそれぞれの直前に復号された他の少なくとも１つのフレームの復号結果を用いて制御する。また、制御手段は、具体的な制御方法として、注目フレームの復号結果である画像（復号画像）と、上記他の少なくとも１つのフレームの復号結果に基づく画像（出力画像）と、の混合を用いる。以下、詳細に説明する。

まず、処理開始・中断判定部２０は、フレームモード復号部１１からフレームモード情報の入力を受け付ける。そして、受け付けたフレームモード情報に基づき、デコード部１０により復号されるフレームがイントラフレームとして符号化されたものであるか否かを判定する。

ここで、上述のように、イントラフレームは、原則として所定の周期（イントラフレーム周期と称する。）で定期的に挿入され、例外として、インターフレームとすると圧縮効率が悪化してしまうフレームもイントラフレームとして符号化される。処理開始・中断判定部２０は、注目フレームがイントラフレームとして符号化されたものであった場合、該注目フレームと直前のイントラフレームとの間に挿入されたインターフレームの数を算出する。そして、この数に１を足したもの（算出周期と称する。）がイントラフレーム周期と等しい場合に、混合比生成部４０に対し、処理開始信号を出力する。混合比生成部４０は、処理開始信号の入力を受け付けると、その処理を開始する（詳細は後述する。）。

一方、処理開始・中断判定部２０は、算出周期がイントラフレーム周期と等しくない場合には、混合比生成部４０に対し、処理中断信号を出力する。混合比生成部４０は、処理中断信号の入力を受け付けた場合、その処理を中断する（詳細は後述する。）。

また、処理開始・中断判定部２０は、注目フレームがイントラフレームとして符号化されたものでなかった場合には、処理開始信号及び処理中断信号のいずれも出力しない。

ここで、イントラフレーム周期について説明する。符号化装置は、上記ヘッダ内にイントラフレーム周期を示すイントラフレーム周期情報を含めることがある。この場合、処理開始・中断判定部２０は、デコード部１０により受け付けられたビットストリームに含まれる上記ヘッダからイントラフレーム周期情報を取得することにより、イントラフレーム周期を取得する。

一方、符号化装置が上記ヘッダ内にイントラフレーム周期情報を含めていない場合、処理開始・中断判定部２０は、次のようにしてイントラフレーム周期を取得する。すなわち、処理開始・中断判定部２０は算出周期を順次算出し、算出した算出周期が一定回数にわたり同一である場合に、その算出周期をイントラフレーム周期として取得する。また、処理開始・中断判定部２０は、このようなイントラフレーム周期の取得を継続的に行い、新たなイントラフレーム周期が取得されるまでの間は、それまでに取得した最新のイントラフレーム周期を上述の処理において使用する。

上記一定回数としては、適宜適切な値が選択される。この値が小さすぎると、例えばカットチェンジが連続するようなシーンで、イントラフレーム周期が頻繁に変化してしまう虞がある。一方、大きすぎると、動画像データ復号装置１によるフリッカ低減処理の開始が遅れてしまう。具体的な値としては、２〜４回程度とすることが考えられる。また、イントラフレーム周期の初期値を定めておくことも有用であり、この場合、動画像データ復号装置１を適用する放送サービスで用いられる典型的な周期(例えば、ＢＳ・地上波デジタル放送であれば１５フレーム(０．５秒)、ワンセグサービスであれば３０フレーム(２秒)、など)に設定することが望ましい。

図２は、処理開始・中断判定部２０によるイントラフレーム周期の取得及び処理開始信号及び処理中断信号の出力について、具体的な例により説明するための説明図である。同図では図面横方向に時間軸が設けられており、イントラフレーム（「Ｉ」と記す。）と、インターフレーム（「ｐ」と記す。）とが、同図に示す順序で順次デコード部１０に入力される。なお、図２では、イントラフレームのみ、「Ｉ１」や「Ｉ２」のように、入力順を示す番号を付与している。また、ここでは上記一定回数を３とする。

処理開始・中断判定部２０は、イントラフレーム「Ｉ」がデコード部１０に入力される都度、その直前に入力されたイントラフレーム「Ｉ」との間に挿入されたインターフレーム「ｐ」の数を取得する。そして、その数に１を足して算出周期とする。図２では、当初算出周期は４フレームであり、その後もイントラフレーム「Ｉ４」が入力される時点まで３回にわたり算出周期４フレームが継続されているので、処理開始・中断判定部２０は、イントラフレーム「Ｉ４」が入力されたときに、イントラフレーム周期を４フレームとする。

図２では、イントラフレーム「Ｉ５」も４フレームの周期で入力されている。この場合、算出周期は４フレームとなり、イントラフレーム周期と等しいので、処理開始・中断判定部２０は、イントラフレーム「Ｉ５」を混合比生成部４０の処理対象フレームとすることを決定し、混合比生成部４０に対し、処理開始信号を出力する。

一方、イントラフレーム「Ｉ５」の次にイントラフレーム「Ｉ６」が入力されたことに応じて処理開始・中断判定部２０が算出する算出周期は２フレームとなる。この場合、算出周期がイントラフレーム周期と等しくないので、処理開始・中断判定部２０は、イントラフレーム「Ｉ６」を混合比生成部４０の処理対象フレームとしないことを決定し、混合比生成部４０に対し、処理中断信号を出力する。

次に、イントラフレーム「Ｉ６」の次にイントラフレーム「Ｉ７」が入力されたことに応じて処理開始・中断判定部２０が算出する算出周期は４フレームとなる。この場合、算出周期がイントラフレーム周期と等しいので、処理開始・中断判定部２０は、イントラフレーム「Ｉ７」を混合比生成部４０の処理対象フレームとすることを決定し、混合比生成部４０に対し、処理開始信号を出力する。

以後、イントラフレーム「Ｉ８」及びイントラフレーム「Ｉ９」が順次入力されるが、これらに応じて処理開始・中断判定部２０が算出する算出周期は３フレームとなる。このため、処理開始・中断判定部２０は、これらの各イントラフレームについて処理中断信号を出力する。

さて、イントラフレーム「Ｉ９」の次にイントラフレーム「Ｉ１０」が入力されたことに応じて処理開始・中断判定部２０が算出する算出周期も、それまで同様３フレームとなる。すなわち、イントラフレーム「Ｉ１０」が入力され、算出周期３フレームが算出された時点で、３回にわたり算出周期３フレームが継続されている。そこで、処理開始・中断判定部２０は、イントラフレーム「Ｉ１０」が入力されたときに、イントラフレーム周期を３フレームに変更する。また、処理開始・中断判定部２０は、イントラフレーム「Ｉ１０」を混合比生成部４０の処理対象フレームとすることを決定し、混合比生成部４０に対し、処理開始信号を出力する。

以上のようにして、処理開始・中断判定部２０によるイントラフレーム周期の取得及び処理開始信号及び処理中断信号の出力が行われる。

フレームメモリ５０は、制御手段による復号結果制御後の復号画像（出力画像）を所定フレーム数分にわたり記憶する。なお、フレームメモリ５０は先入先出方式により出力画像を記憶する。すなわち、加算器８０が新たな出力画像を出力すると、最も古い出力画像を破棄し、新たな出力画像を記憶する。

静止領域判定部３０は、デコード部１０から出力された復号画像を取得するとともに、フレームメモリ５０に記憶される出力画像を取得し、取得した各画像に基づき、注目フレーム内の静止領域を抽出する。

以下、静止領域判定部３０による静止領域抽出の具体的な例を５つ挙げる。

第１の例では、静止領域判定部３０は、上記ブロックごとに画素値の平均値のフレーム間差を算出する。そして、静止領域判定部３０は、算出した各フレーム間差に基づき、各ブロックが静止領域であるか否かを判定し、判定結果に基づいて、注目フレーム内の静止領域を抽出する。具体的には、フレーム間差が所定値より小さい状態が、注目フレームまで一定数フレーム以上継続しているブロックを、注目フレーム内の静止領域とする。

第２の例では、静止領域判定部３０は、デコード部１０における復号時に取得される動きベクトルを用いる。具体的には、符号化装置は、インターフレームとして符号化されてなる各フレームの符号化の際、その処理の一部として、フレーム内の上記ブロックごとに、動きベクトルを用いる動き補償を行っている。動きベクトルは、ブロック内に含まれる画像の内容の、前フレーム内における位置からの動きを示すベクトルであり、動きがない場合、すなわち画像の内容の位置が移動していない場合には、動きベクトルは零ベクトルとなる。符号化装置は、この動きベクトルを上記ビットストリームに含める。

動きベクトル復号部１２は、上記ビットストリームから動きベクトルを取得する。デコード部１０は、動きベクトル復号部１２が取得した動きベクトルを用いて、各ブロックを復号する。

静止領域判定部３０は、過去所定時間内のインターフレームについて、動きベクトル復号部１２から動きベクトルを取得する。具体的には、注目フレームの直前に順次入力された一定数のインターフレームについて、ブロックごとに、動きベクトル復号部１２から動きベクトルを取得する。そして、静止領域判定部３０は、取得した１又は複数の動きベクトルの大きさに基づき、各ブロックが静止領域であるか否かを判定し、判定結果に基づいて、注目フレーム内の静止領域を抽出する。具体的には、上記一定数のインターフレームにわたり、同一フレーム内位置のブロックの動きベクトルが零ベクトルである状態が継続している場合に、注目フレーム内における該フレーム内位置のブロックを、注目フレーム内の静止領域とする。

第３の例では、静止領域判定部３０は、デコード部１０における復号時に取得される動き補償予測誤差を用いる。具体的には、符号化装置は、上述の動き補償を行う際、ブロックごとに、動き補償をして予測符号化した結果と、元のフレームと、の誤差を示す動き補償予測誤差を取得する。符号化装置は、この動き補償予測誤差を上記ビットストリームに含める。

動き補償予測誤差信号復号部１３は、上記ビットストリームからブロックごとの動き補償予測誤差を取得する。デコード部１０は、動き補償予測誤差信号復号部１３が取得した動き補償予測誤差を用いて、各ブロックを復号する。

静止領域判定部３０は、注目フレームの直前に順次入力された一定数のインターフレームについて、ブロックごとに、動き補償予測誤差信号復号部１３から動き補償予測誤差を取得する。そして、静止領域判定部３０は、取得した１又は複数の動き補償予測誤差に基づき、各ブロックが静止領域であるか否かを判定し、判定結果に基づいて、注目フレーム内の静止領域を抽出する。具体的には、該一定数のインターフレームにわたり、同一フレーム内位置のブロックの動き補償予測誤差が所定値を下回る状態が継続している場合に、注目フレーム内における該フレーム内位置のブロックを、注目フレーム内の静止領域とする。

第４の例は、第１の例に、第２の例又は第３の例を組み合わせたものである。すなわち、静止領域判定部３０は、第２の例又は第３の例により静止領域候補を決定し、決定した静止領域候補のうち、第１の例によっても静止領域となるブロックのみを、静止領域として抽出する。

第５の例では、静止領域判定部３０は、デコード部１０における復号時に取得される量子化特性値を用いる。具体的には、符号化装置は、各フレームの符号化の際、各フレームを構成する各画素の画素値を、不連続な値に置き換える量子化処理を行っている。量子化特性値は、この不連続な値の間隔を示す値であり、符号化装置の処理負荷などに応じてブロックごとに決定される。量子化特性値が大きいほど画質が劣化し、フリッカが起きやすくなる。逆に言えば、量子化特性値が小さいほどフリッカは起きにくい。符号化装置は、この量子化特性値を上記ビットストリームに含める。

量子化特性値復号部１４は、上記ビットストリームから量子化特性値を取得する。デコード部１０は、量子化特性値復号部１４が取得した量子化特性値を用いて、各ブロックを復号する。

静止領域判定部３０は、注目フレームを構成する各ブロックについて、量子化特性値復号部１４から量子化特性値を取得する。そして、ブロックごとの量子化特性値に基づき、各ブロックについて混合処理をすべきか否かを判定し、混合処理が必要なブロックと判定されたブロックを静止領域と判定し、混合処理が不要と判定されたブロックは非静止領域と判定する。具体的には、取得した量子化特性値が所定値を上回るブロックを、注目フレーム内の静止領域とする。

なお、上記各例において、上記ブロックは動き補償の最小単位(例えばＨ．２６４／ＡＶＣ方式であれば４×４画素）とすることが望ましいが、それより大きな単位（例えばマクロブロック（１６×１６画素））としてもよい。また、上記例ごとに異なる単位のブロックを用いてもよい。

次に、混合比生成部４０は、注目フレームの復号結果である画像と、注目フレームの直前に復号された他の少なくとも１つのフレーム（以下では１つのフレームであるとし、このフレームを混合フレームと称する。）の復号結果に基づく画像と、を混合する際の混合比αを生成する。

具体的には、混合比αは０以上１以下の数値であり、混合比αが大きいほど、注目フレームの復号結果である画像に対する混合フレームの復号結果に基づく画像の混合割合が大きくなる。混合比生成部４０は、処理開始・中断判定部２０から処理開始信号が入力されたフレームについて、混合比αを予め定めた初期値（例えば１）とする。そして、時間の経過とともにαの値を所定の減少割合で減じていく。例えば、フレームごとに０．３ずつ減じていくこととすると、αは０．７，０．４，０．１，０，０，・・・というように次第に小さくなり、最終的に０となる。なお、αは０以上であるので、０を下回った場合にはα＝０としている。また、フレームごとにαの値を５０％にしていくこととすると、αは０．５，０．３，０．１，０，０・・・というように次第に小さくなり、最終的に０となる。なお、この例では小数点第２位以下を四捨五入している。

また、混合比生成部４０は、処理開始・中断判定部２０から処理中断信号が入力されると、混合比α＝０とし、次に処理開始信号が入力されるまでの間、各フレームについての混合比αの算出を行わない。

さらに、混合比生成部４０は、静止領域判定部３０により静止領域であると判定された各ブロックについて混合比αの算出を行い、他のブロックについては混合比α＝０とする。

ここで、上記初期値及び上記減少割合について説明する。これらの具体的な値は実験によって適宜決定されることが望ましいが、以下に示す処理により適宜調整することが望ましい。

すなわち、フリッカの程度は符号化時の上記量子化特性値に依存しており、量子化特性値が大きいほどフリッカの程度が大きくなる。そこで、混合比生成部４０は、量子化特性値復号部１４からブロックごとの量子化特性値を取得する。そして、量子化特性値が大きいブロックほど、上記初期値を大きくし、上記減少割合を小さくする。また、混合比生成部４０は、上記イントラフレーム周期内に混合比α＝０となるよう、イントラフレーム周期に応じて上記初期値及び上記減少割合を決定する。

ところで、隣接するブロック間で混合比αの値が大きく異なると、その境界が視認でき、画質劣化の原因となる場合がある。そこで、混合比生成部４０は、隣接するブロック間で混合比αの値が大きく異なってしまうことのないよう、あるブロックについての混合比αを算出する際には、隣接する各ブロックの混合比αに基づいて、混合比αを算出するようにすることが望ましい。具体的には、上述の処理によりまず全ブロックについての混合比αを算出し、その後混合比αに空間ローパスフィルタを適用することにより、各ブロックの混合比αを平均化することが望ましい。より実用的には、上記画質劣化は静止領域に属するブロックと、静止領域に属しないブロックと、の境界付近で顕著であるので、全ブロックの混合比αではなく、該境界付近に位置するブロックの混合比αのみについて、空間ローパスフィルタを適用することとしてもよい。なお、ローパスフィルタを適用した結果、非静止領域のαの値が大きくなると、前記のように画像がぼける原因となる場合がある。そこで、ローパスフィルタの適用前に、αの値が０であったブロックは、ローパスフィルタの適用後も０になるようなローパスフィルタ処理を行うと、なおよい。

なお、空間ローパスフィルタを用いる場合、混合比生成部４０は、ブロック単位（静止領域判定部３０による静止領域抽出の単位）ではなく、より小さいサイズの領域ごとに混合比αを生成することとしてもよい。

乗算器６０、乗算器７０、及び加算器８０は、混合比生成部４０が生成した混合比αを用いて、注目フレームの復号結果である画像（デコード部１０から出力される復号画像）と、混合フレームの復号結果に基づく画像（フレームメモリ５０に記憶される出力画像）と、を画素単位で混合する混合手段として機能する。乗算器６０、乗算器７０、及び加算器８０による具体的な処理は、以下の式（１）で表される。ただし、ｎは一連のフレームに付与される通番であり、Ｄ（ｎ）は注目フレームの復号画像（デコード部１０から出力された画像）、Ｙ（ｎ）は注目フレームの出力画像（加算器８０から出力される画像）、Ｙ（ｎ−１）は混合フレームの出力画像（加算器８０から出力され、フレームメモリ５０に記憶されている画像。すなわち、1フレーム前に、加算器８０から出力された画像）をそれぞれ示している。また、式（１）内のαは、処理の対象となっている画素の属するブロックについて算出された混合比である。
Ｙ（ｎ）＝Ｙ（ｎ−１）×α＋Ｄ（ｎ）×（１−α）・・・（１）

乗算器６０、乗算器７０、及び加算器８０による上記処理の結果、制御手段による復号結果制御後の復号画像（出力画像）が得られ、出力される。

図３は、動画像データ復号装置１によるあるブロックの復号の結果を示す図である。同図においては、横軸が時間（単位はフレーム）、縦軸がブロック内の画素値の平均値を示している。また、同図中の点線は、混合比αを常に０とした場合(すなわち、デコード部の出力が、そのまま出力画像となる場合)の、出力画像中のある画素の画素値の時間変化を示し、実線は、混合比αを上述のようにして適宜算出した場合の、同画素の画素値の時間変化を示している。また、同図は、イントラフレーム周期が１５フレームである場合の例を示している。

図３に示すように、混合比αを常に０とした場合の画素値は、インターフレームからイントラフレームに切り替わるときに急激に変化している。すなわち、スパイク状の変化や矩形波状の変化を示している。これに対し、混合比αを上述のようにして適宜算出した場合の画素値では、このような変化が低減されている。このように、混合比αを用いて注目フレームの復号結果と、混合フレームの復号結果と、を混合することにより、復号段階において、フリッカの発生の抑制が実現されている。

以上説明したように、動画像データ復号装置１によれば、注目フレームがイントラフレームであるか否かに応じて、直前に復号した１又は複数のフレームの復号結果に基づく画像（出力画像）を用いて注目フレームの復号結果である画像（復号画像）を制御することができるので、復号段階において、フリッカの発生の抑制が実現される。

すなわち、動画像データ復号装置１は、直前に復号した少なくとも１つのフレームの復号結果に基づく画像（出力画像）と注目フレームの復号結果である画像（復号画像）とを混合するので、注目フレームとその直前のフレームとの間での映像の不連続の発生が抑制される。これにより、フリッカの発生の抑制が実現される。

また、イントラフレームとして符号化された注目フレームの後、上記初期値及び上記減少割合に応じた数のフレームについても、上記同様に復号画像を制御することができるので、本発明を適用することによる復号画像の変化を緩和することができる。

さらに、動画像データ復号装置１は、注目フレーム内の静止領域を抽出し、静止領域について上記混合を行うようにしているので、画像がぼけて見る者に不快感を与えることを防止できる。

また、動画像データ復号装置１によれば、画素値（輝度又は色差）の平均値の変化が小さい領域を静止領域として抽出することができる他、過去所定時間内にわたる動きベクトルの大きさに基づいて静止領域を抽出することにより、的確に静止領域を抽出することができる。また、過去所定時間内にわたる動き補償予測誤差に基づいて静止領域を抽出することにより、的確に静止領域を抽出することもできる。

さらに、動画像データ復号装置１によれば、ブロックごとの量子化特性値に基づいて、各ブロックに混合処理が必要か否かを判定しているので、量子化特性値が小さいためにそもそもフリッカが起きにくく、上記制御手段による復号結果の制御を行ってフリッカの発生の抑制を行う必要性に乏しい領域について、静止領域でないとすることにより、上記制御手段による制御が行われないようにすることができ、当該動画像データ復号装置１の処理負荷を軽減することができる。

なお、本発明は上記実施の形態に限定されるものではない。例えば、上記実施の形態ではブロック単位で静止領域を抽出しているが、画素単位で抽出することとしてもよい。こうすれば、混合比αも画素単位で算出することができ、よりきめ細かい制御が可能になる。

また、図４に示す動画像データ復号装置１ａのように、デコード部１０から出力される復号画像をそのまま出力する第１ルートと、デコード部１０から出力される復号画像に乗算器７０及び加算器８０による処理を施して出力する第２ルートと、の２ルートを設け、加算器８０の出力端子付近にルート切り替えのためのＳＷ（スイッチ）９０を設けることとしてもよい。この場合、処理開始・中断判定部２０は、処理開始信号を出力する際、ＳＷ９０を第１ルート側に切り替え、処理中断信号を出力する際、ＳＷ９０を第２ルート側に切り替えるようにすることが望ましい。

また、上記実施の形態では、直前に復号した少なくとも１つのフレームの出力画像と注目フレームの復号画像とを混合していたが、直前に復号した少なくとも１つのフレームの復号画像と注目フレームの復号画像とを混合するようにしてもよい。この場合、フレームメモリ５０は、制御手段による復号結果制御前の復号画像を所定フレーム数分にわたり記憶するようにすることが望ましい。

また、動画像データ復号装置１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上記動画像データ復号装置１の各処理を行ってもよい。
ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、この「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに、「コンピュータ読み取り可能な記録媒体」には、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
さらに、上記プログラムは、上述した各機能の一部を実現するためのものであってもよい。さらに、上述した各機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

本発明の実施の形態にかかる動画像データ復号装置のシステム構成及び機能ブロックを示す概略ブロック図である。 本発明の実施の形態にかかる処理開始・中断判定部によるイントラフレーム周期の取得及び処理開始信号及び処理中断信号の出力について、具体的な例により説明するための説明図である。 本発明の実施の形態にかかる動画像データ復号装置による復号の結果を示す図である。 本発明の実施の形態の変形例にかかる動画像データ復号装置のシステム構成及び機能ブロックを示す概略ブロック図である。

符号の説明

１，１ａ 動画像データ復号装置、
１０ デコード部、
１１ フレームモード復号部、
１２ 動きベクトル復号部、
１３ 動き補償予測誤差信号復号部、
１４ 量子化特性値復号部、
２０ 処理開始・中断判定部、
３０ 静止領域判定部、
４０ 混合比生成部、
５０ フレームメモリ、
６０，７０ 乗算器、
８０ 加算器。

Claims (9)

1. 一連のフレームにより構成され、各フレームがイントラフレーム又はインターフレームのいずれかとして符号化されてなる動画像データを復号する動画像データ復号装置であって、
   前記一連のフレームの入力を順次受け付ける入力受付手段と、
   前記入力受付手段により受け付けられたフレームに順次注目し、注目した各フレームを順次復号する復号手段と、
   前記復号手段により復号された注目フレームがイントラフレームとして符号化されたものである場合に、該注目フレームの復号結果である画像と、前記復号手段により該注目フレームの直前に復号された他の少なくとも１つのフレームの復号結果に基づく画像と、を所定の混合比による重み付きで画素値を加算することにより混合する混合手段と、
   を含むことを特徴とする動画像データ復号装置。
2. 請求項１に記載の動画像データ復号装置において、
   前記混合手段は、前記復号手段により復号された注目フレームがイントラフレームとして符号化されたものである場合に、該注目フレームの復号結果である画像と、前記復号手段により該注目フレームの直前に復号された他の少なくとも１つのフレームの復号結果に基づく画像と、を混合するとともに、該注目フレームの後に前記復号手段により復号される所定数のフレームについても、該各フレームの復号結果である画像と、前記復号手段により該各フレームそれぞれの直前に復号された他の少なくとも１つのフレームの復号結果に基づく画像と、を混合する、
   ことを特徴とする動画像データ復号装置。
3. 請求項１又は２に記載の動画像データ復号装置において、
   前記混合手段は、前記注目フレームの復号結果である画像と、前記他の少なくとも１つのフレームの復号結果に基づく画像と、を画素単位で混合し、
   当該動画像データ復号装置は、
   前記注目フレーム内の静止領域を抽出する静止領域抽出手段、
   を含み、
   前記混合手段は、前記静止領域抽出手段により抽出された静止領域に属する画素について、前記注目フレームの復号結果である画像と、前記他の少なくとも１つのフレームの復号結果に基づく画像と、を混合する、
   ことを特徴とする動画像データ復号装置。
4. 請求項３に記載の動画像データ復号装置において、
   前記静止領域抽出手段は、前記注目フレーム内の所定の画素数のサイズの領域ごとに画素値の平均値のフレーム間差を算出し、算出した各フレーム間差に基づき、前記各領域が静止領域であるか否かを判定し、判定結果に基づいて、前記注目フレーム内の静止領域を抽出する、
   ことを特徴とする動画像データ復号装置。
5. 請求項３又は４に記載の動画像データ復号装置において、
   インターフレームとして符号化されてなる前記各フレームには、該各フレーム内の所定の画素数のサイズの領域ごとに、動きベクトルを用いる動き補償が行われており、
   前記静止領域抽出手段は、過去所定時間内にわたる前記各領域についての１又は複数の動きベクトルの大きさに基づき、該各領域が静止領域であるか否かを判定し、判定結果に基づいて、前記注目フレーム内の静止領域を抽出する、
   ことを特徴とする動画像データ復号装置。
6. 請求項３又は４に記載の動画像データ復号装置において、
   インターフレームとして符号化されてなる前記各フレームには、該各フレーム内の所定の画素数のサイズの領域ごとに、動き補償が行われており、
   当該動画像データ復号装置は、
   前記動き補償の際に取得される前記領域ごとの動き補償予測誤差を取得する動き補償予測誤差取得手段、
   を含み、
   前記静止領域抽出手段は、過去所定時間内にわたり前記動き補償予測誤差取得手段により取得される前記各領域についての１又は複数の動き補償予測誤差に基づき、該各領域が静止領域であるか否かを判定し、判定結果に基づいて、前記注目フレーム内の静止領域を抽出する、
   ことを特徴とする動画像データ復号装置。
7. 請求項３に記載の動画像データ復号装置において、
   前記各フレームには、所定の画素数のサイズの領域ごとに、該領域ごとの量子化特性値に基づく量子化処理が行われており、
   前記静止領域抽出手段は、前記領域ごとの量子化特性値に基づき、前記各領域が静止領域であるか否かを判定し、判定結果に基づいて、前記注目フレーム内の静止領域を抽出する、
   ことを特徴とする動画像データ復号装置。
8. 請求項１から７の動画像データ復号装置において、
   前記混合手段は、混合を行う場合、混合結果である画像を出力するとともに、混合を行わない場合、前記注目フレームの復号結果である画像を出力し、
   前記他の少なくとも１つのフレームの復号結果に基づく画像は、該各フレームを注目フレームとして前記混合手段が出力した画像である、
   ことを特徴とする動画像データ復号装置。
9. コンピュータを、一連のフレームにより構成され、各フレームがイントラフレーム又はインターフレームのいずれかとして符号化されてなる動画像データを復号する動画像データ復号装置として機能させるためのプログラムであって、
   前記一連のフレームの入力を順次受け付ける入力受付手段、
   前記入力受付手段により受け付けられたフレームに順次注目し、復号する復号手段、及び
   前記復号手段により復号された注目フレームがイントラフレームとして符号化されたものである場合に、該注目フレームの復号結果と、前記復号手段により該注目フレームの直前に復号された他の少なくとも１つのフレームの復号結果と、を所定の混合比による重み付きで画素値を加算することにより混合する混合手段、
   として前記コンピュータをさらに機能させるためのプログラム。

Images