JP4155905B2 - 画像再生装置 - Google Patents

Description

本発明は、画像再生装置に関し、特に、画像データを高速再生する際に用いて好適なものである。

近年、画像情報を圧縮符号化する技術として、ＭＰＥＧ（Moving Picture Experts Group）が種々の装置に用いられている。かかる圧縮符号化技術を用いることにより、画像や音声の品質を落とさずに、より少ない情報でもとの映像や音声を表現することができる。

図６に、ＭＰＥＧ符号化された画像情報を再生する画像再生装置の基本的構成例を示す。

図において、ＶＬＣデコーダ１０１は、ＶＬＣ（Variable Length Code：可変長符号）処理されたＭＰＥＧデータストリームを復号して、ブロック毎（８画素×８フレーム）の量子化係数を導出する。逆量子化処理部１０２は、復号された量子化係数を逆量子化し、ブロック毎のＤＣＴ係数を導出する。ＩＤＣＴ処理部１０３は、ブロック毎のＤＣＴ係数を逆ＤＣＴ（Discrete Cosine Group：離散コサイン変換）処理し、当該ブロックの画像データを導出する。フレームメモリ１０４は、ＩＤＣＴ処理部１０３から出力された画像データに動き補償処理部１０５からの参照画像データを加算して得られた１フレーム分の画像データ（Ｉピクチャ、Ｐピクチャ）を参照画像として保持する。動き補償処理部１０５は、フレームメモリ１０４に保持された参照画像データを動きベクトル分だけずらした画像データを生成する。

ここで、ＶＬＣデコード処理された１ブロックの量子化係数は、当該ピクチャに適用されたスキャン順序（ジグザグスキャン、オルタネートスキャン）に従って、図７に示すように配列される。図において、左上の（０，０）の位置にある量子化係数は、当該ブロックのＤＣ成分を示すＤＣＴ係数を量子化したもの、それ以外の量子化係数は、それぞれ、水平周波数と垂直周波数が所定の値を持つＡＣ成分のＤＣＴ係数を量子化したものである。

１ブロックの画像データは、図７に示す量子化係数を逆量子化（各量子化係数に量子化係数値を乗算）して各周波数成分のＤＣＴ係数を求め、求めたＤＣＴ係数を逆ＤＣＴ処理することによって取得される。ここで、ＤＣＴ係数は、各周波数成分に応じた変換基底（基本パターン）の大きさを示す。したがって、逆ＤＣＴ処理によって得られる画像データは、各周波数成分の変換基底をＤＣＴ係数に応じた重み付けにて合成して得られる画像を表現するものとなる。

上記再生処理において、ＩＤＣＴ処理部１０３における計算コストを低減するために、図７に示す各周波数成分のうち、低周波部分のＤＣＴ係数のみを用いて逆ＤＣＴ処理を行う場合がある。たとえば、図８（ａ）（ｂ）に示すように、低周波側から３つまたは６つのＤＣＴ係数を用いて逆ＤＣＴ処理を実行する。このように、低次側のＤＣＴ係数のみを用いた場合にも、大まかな画像を再生表示することができる。かかる処理は、早送り再生やサムネイル画像の再生時等に実行される。

なお、かかる高速再生処理を用いた画像再生方法は、たとえば、以下の特許文献１に示されている。
特開２０００−２３１６０号公報

ところで、ＭＰＥＧ２およびＭＰＥＧ４においては、インターレース画像を効率的に符号化するために、フレームＤＣＴモードとフィールドＤＣＴモードの２つのＤＣＴ処理が準備されている。

図９に、フレームＤＣＴモードとフィールドＤＣＴモードの処理方法を示す。

同図（ａ）に示す如く、フレームＤＣＴモードは、１６画素×１６ラインからなる領域をそのまま４分割してブロックを切り出し、このブロックに対してＤＣＴ処理を施すものである。このＤＣＴ処理は、ＭＰＥＧ１においても適用されている。

これに対し、フィールドＤＣＴモードは、図９（ｂ）に示す如く、１６画素×１６ラインからなる領域を左右２分割した後、それぞれの分割領域の奇数ラインと偶数ラインを分離して取り出してブロックを構成し、このブロックに対してＤＣＴ処理を施すものである。

上記何れかのＤＣＴモードが適用されたＭＰＥＧデータを復号する場合、フィールドＤＣＴモードにあっては、トップフィールド（奇数フレーム群）とボトムフィールド（偶数フレーム群）のそれぞれに対して逆ＤＣＴ処理が行われるため、上記高速再生処理により低次側のＤＣＴ係数のみを用いて逆ＤＣＴ変換を行っても、トップフィールドの画像とボトムフィールドの画像が互いに悪影響を及ぼしあうようなことは起こりえない。しかしながら、フレームＤＣＴモードにあっては、トップフィールドとボトムフィールドが混じり合った状態で逆ＤＣＴ処理が施されるため、トップフィールドとボトムフィールドの差が激しい画像に対して上記高速再生を行うと、トップフィールドの画像とボトムフィールドの画像が互いに悪影響を及ぼしあうことが起こり得る。

すなわち、上記の如く、低次のＤＣＴ係数は当該ブロックを平均化したような情報を有するため、フレームＤＣＴモードが適用されたブロックに対し、低次のＤＣＴ係数のみを用いて逆ＤＣＴ処理を実行すると、各画素が混じり合った画像が生成されることとなる。このため、たとえば図１０（ｂ）に示すように、トップフィールドの画像がボトムフィールドに滲み出したような画像データが生成され、さらに、次にデコードされるフレームがこのフレームを参照すると、物体の背景の中に突然、不連続に物体の一部が現われるといった現象が生じる場合がある。この現象は、人間の目には、非常に目立つ画像劣化として認識される。

そこで、本発明は、かかる問題を解消し、高速再生時においても良好に再生画像を表示し得る画像再生装置を提供するものである。

上記課題に鑑み、本発明は、以下の特徴を有する。

本発明は、ＭＰＥＧエンコードされた画像情報を再生する画像再生装置において、一つのピクチャを構成するブロック領域のうち画像劣化を引き起こすブロック領域を検出するブロック検出手段と、前記ブロック検出手段の検出結果に応じて高速再生処理を実行する高速再生手段とを有し、前記高速再生手段は、前記ブロック検出手段によって画像劣化を引き起こすと検出されたブロック領域に対しては、画像劣化を引き起こさないと検出されたブロック領域よりもさらに高次側のＤＣＴ係数まで用いて逆ＤＣＴ処理を実行する処理を含むことを特徴とする。

ここで、前記ブロック検出手段は、当該ブロック領域のＤＣＴモードを識別するモード識別手段と、当該ブロック領域の周波数成分のうち特定の周波数成分の値を参照する参照手段とを備え、前記モード識別手段によってフレームＤＣＴモードであると識別され、且つ、前記参照手段によって前記特定周波数成分の値が設定値範囲内にあると判定されたときに、当該ブロック領域を、画像劣化を引き起こすブロック領域として検出するよう構成することができる。

また、前記参照手段は、前記特定周波数成分に対応する量子化係数の絶対値の加算値がその閾値を超えたか否か、または、前記特定周波数成分に対応するＤＣＴ係数の絶対値の加算値がその閾値を超えたか否かを判定するよう構成することができる。

また、前記参照手段は、ブロック領域の周波数成分のうち水平周波数成分が低く、且つ、垂直周波数成分が高い周波数成分を、前記特定周波数成分として参照するよう構成することができる。

本発明の特徴は、以下に示す実施の形態の説明により更に明らかとなろう。

ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

本発明によれば、一つのピクチャを構成するブロック領域のうち画像劣化を引き起こすブロック領域に対しては、画像劣化を引き起こさないと検出されたブロック領域よりもさらに高次側のＤＣＴ係数まで用いて逆ＤＣＴ処理を実行するものであるから、トップフィールドの画像がボトムフィールドに滲み出したような画像デーが生成されるのを抑制でき、もって、物体の背景の中に突然、不連続に物体の一部が現われるといった画質劣化現象を抑制できる。

なお、ブロック領域が画像劣化を引き起こすか否かは、請求項２ないし４に記載のように、当該ブロック領域のＤＣＴモードと、当該ブロック領域の特定周波数成分の値を監視することによって検出できる。ここで、ＤＣＴモードの判別は、ＭＰＥＧストリーム中に挿入されたＤＣＴタイプ情報を参照して行うことができ、また、特定周波数成分の値の判定は、当該周波数成分に対応する量子化係数またはＤＣＴ係数を参照して行うことができため、これらの判別・判定に際し、別途複雑な処理は必要とならない。よって、請求項２ないし４の発明によれば、簡易な処理により円滑に、画像劣化を引き起こすブロックの検出を行うことができる。

また、請求項５の発明によれば、画像劣化を引き起こすと検出されたブロック領域に対しては、垂直方向に高次のＤＣＴ係数を含めて逆ＤＣＴ処理を実行するものであるから、処理されるＤＣＴ係数の数を抑制しながら画像劣化の抑制を効果的に行うことができる。

さらに、請求項６の発明によれば、他のフレームから参照されるＩピクチャおよび／もしくはＰピクチャのみを対象として画像劣化を引き起こすブロックを検出するものであるから、処理の簡素化を図りながら、問題ブロックによる画像劣化の発生を効果的に抑制することができる。

その他、上記各請求項に記載の発明の効果は、以下に示す実施の形態の説明によって、さらに明らかになろう。

以下、本発明の実施の形態につき図面を参照して説明する。

まず、図１に実施の形態に係る画像再生装置の構成を示す。なお、上記従来例にて示した図６の構成と同一部分には同一符号を付し、説明を省略する。

本実施の形態に係る画像再生装置は、上記図６の構成に比べ、ＶＡＤ（Vertical Activity Detector）１１０と適応的ＩＤＣＴ１１１の構成が相違している。

ＶＡＤ１１０は、復号対象ブロックのＤＣＴモード（フレームＤＣＴモード／フィールドＤＣＴモード）と、当該復号対象ブロックの量子化係数とに基づいて、当該ブロックが画像劣化を引き起こすブロックか否かを判別する。なお、判別の方法は後述する。

適応的ＩＤＣＴ１１１は、高速再生時、当該ブロックが画像劣化を引き起こさないブロックの場合には、低次側のＤＣＴ係数、例えば、低次側から６個のＤＣＴ係数のみを用いて逆ＤＣＴ処理を実行し、当該ブロックが画像劣化を引き起こすブロックの場合には、上記よりもさらに高次側のＤＣＴ係数、例えば、当該ブロックの全ての周波数成分のＤＣＴ係数を用いて逆ＤＣＴ処理を実行する。なお、逆ＤＣＴに用いるＤＣＴ係数は、ここに例示したものに限られず、適宜変更可能である。

図２に、ＭＰＥＧ２規格に従うＭＰＥＧストリームのレイヤ構成を示す。

図示の如く、ＭＰＥＧストリームは、シーケンスレイヤ、ＧＯＰ（Group of Picture）レイヤ、ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ、ブロックレイヤから構成されている。なお、図中、ＧＯＰレイヤのＩ、Ｐ、ＢはそれぞれＩピクチャ、Ｐピクチャ、Ｂピクチャを示し、ピクチャレイヤのＭＢは１６画素×１６ラインからなるマクロブロックを示し、マクロブロックレイヤのＢＬは８画素×８ラインのブロックを示す。

上記ＤＣＴモードを識別するための情報は、マクロブロックレイヤ中に、“ＤＣＴタイプ”として付加されており、ＤＣＴモードはマクロブロック毎に設定可能となっている。すなわち、一つのマクロブロックを構成する４つのブロックには、当該マクロブロックに対して設定されたＤＣＴモードが共通して適用されている。上記ＶＡＤ１１０は、マクロブロック毎に設定されたＤＣＴモードをマクロブロックレイヤから抽出し、抽出したＤＣＴモードを、当該マクロブロックを構成する４つのブロックのＤＣＴモードとして認識する。そして、認識したＤＣＴモードがフレームＤＣＴモードであるときは、以下のように、当該マクロブロックを構成する４つのブロックの量子化係数をそれぞれ参照し、それぞれのブロックが画像劣化を引き起こすブロックに該当するかを判別する。

図３に、画像劣化を引き起こすか否かを判別する際に参照する量子化係数を示す。

本実施の形態では、同図に示すように、（０，７）（１，７）の位置にある量子化係数を参照する。そして、これら２つの量子化係数の加算値（絶対値の加算）が閾値Ｓ１以上の場合に、画像劣化を引き起こすブロックとし、加算値が閾値Ｓ１未満の場合には、画像劣化を引き起こさないブロックとする。なお、閾値Ｓ１は、実験的検証結果を反映して設定される。たとえば、図３に示すように、（０，７）（１，７）の位置にある周波数成分の量子化係数を判定対象とする場合、閾値Ｓ１は、Ｓ１＝１に設定される。

図４に、かかる場合の判定例を示す。

復号対象ブロックの量子化係数が同図（ａ）のようになっている場合、（０，７）（１，７）の位置にある量子化係数の加算値は「０」であるから、このブロックは、画像劣化を引き起こさないブロックとして判定される。これに対し、復号対象ブロックの量子化係数が同図（ｂ）のようになっている場合、（０，７）（１，７）の位置にある量子化係数の加算値は「３」であるから、このブロックは、画像劣化を引き起こすブロックとして判定される。

ところで、上記のように、（０，７）（１，７）の位置にある量子化係数を判定対象としたのは、トップフィールドとボトムフィールドの差が激しい画像に対して高速再生（低次側のＤＣＴ係数のみで逆ＤＣＴ処理）したときに画像劣化が生じやすいことに起因するものである。すなわち、図１０に示す如く、トップフィールドとボトムフィールドは垂直方向に１ライン分ずれた関係にあるため、トップフィールドとボトムフィールドの画像差は、垂直方向の周波数成分に反映されることとなる。つまり、トップフィールドとボトムフィールドの画像差の激しさは、垂直周波数成分によって検出することができ、具体的には、両画像の差が激しくなるほど、垂直周波数成分の高次側の量子化係数が大きくなる。よって、垂直周波数成分の高次側にある量子化係数の値が大きければ、当該ブロックを低次側のＤＣＴ係数のみで高速再生したときに画像劣化が生じやすいことになる。

上記では、この点に着目して、（０，７）（１，７）の位置にある量子化係数を、画質劣化の判定対象に用いている。ただし、判定対象に用いる量子化係数はこれに限定されるものではなく、実験的検証結果に応じて適宜設定するようにすれば良い。

たとえば、（０，７）の位置にある量子化係数は、トップフィールドとボトムフィールドの画像差の激しさを最も端的に示すものであるから、この量子化係数のみを用いて画像劣化の検出をおこなっても精度の良い判定結果が得られるものと予測できる。あるいは、判定対象の量子化係数を、（０，１）〜（０，７）、（１，１）〜（１，７）、（２，１）〜（２，７）の位置にある量子化係数にまで広げるようにしても良い。この場合は、トップフィールドとボトムフィールドの画像差が比較的緩やかな垂直方向低次側の量子化係数も判定対象に含まれるため、これらの値をそのまま加算（絶対値の加算）して閾値と比較する場合には、画像劣化の検出精度が高められるよう、閾値を細かく調整する必要がある。なお、このとき、低次側の量子化係数よりも高次側の量子化係数が強調されるように、加算時に重み付けを設定するようにしてもよい。

なお、垂直方向に低次の量子化係数と、水平方向に高次の量子化係数を判定対象に含めると、画像劣化の判定において誤差成分が大きくなるため、検出精度が低下する危惧がある。このため、通常は、ブロックの周波数成分のうち水平周波数成分が低く、且つ、垂直周波数成分が高い周波数成分を判定対象とするのが好ましい。具体的には、（０，４）〜（０，７）、（１，４）〜（１，７）、（２，４）〜（２，７）の範囲内で判定の際に参照する量子化係数を設定すると良い。この場合も、各量子化係数に適宜重み付けして加算するようにすると良い。

図５に、一つのピクチャに対して実行される高速再生処理のフローチャートを示す。

当該ピクチャに対する高速再生処理が開始されると、まず、先頭ブロックのＤＣＴタイプが参照され（Ｓ１０１）、当該先頭ブロックのＤＣＴモードがフレームＤＣＴモードであるかが判別される（Ｓ１０２）。かかる判別結果がＮＯであれば、Ｓ１０６に進み、通常の高速再生、すなわち、低次側のＤＣＴ係数（たとえば低次側から６つのＤＣＴ係数）を用いて逆ＤＣＴ処理が実行される。

一方、Ｓ１０２においてＹＥＳなら、当該ブロック中の特定周波数成分の量子化係数、たとえば、（０，７）（１，７）の位置にある量子化係数が加算され（Ｓ１０４）、この加算値が閾値Ｓ１以上であるか判別される（Ｓ１０４）。この判別結果がＮＯであれば、Ｓ１０６に進み、上記と同様、低次側のＤＣＴ係数を用いた逆ＤＣＴ処理が実行される。一方、Ｓ１０４の判定結果がＹＥＳであれば、当該ブロックが画像劣化を引き起こすブロックとされ、高次側のＤＣＴ係数（たとえば全てのＤＣＴ係数）を用いた逆ＤＣＴ処理が実行される（Ｓ１０５）。

このようにして、先頭ブロックに対する処理が終了すると、Ｓ１０１に戻り、次のブロックに対して、上記と同様の処理が実行される。かかるＳ１０１〜Ｓ１０６の処理は、当該ピクチャに含まれる全てのブロックに対して処理が実行されるまで繰り返される。全てのブロックに対する処理が終了すると（Ｓ１０７）、当該ピクチャに対する処理は終了し、次のピクチャの対する処理に移行する。

なお、図５に示す処理は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの何れにも同様に適用されるものである。このとき、Ｓ１０４における閾値Ｓ１は、ピクチャ種別毎に適宜変更するようにすると良い。なお、Ｂピクチャは他のピクチャから参照されないことから、Ｂピクチャに問題ブロックが含まれていても、これによる画像劣化の影響は比較的小さい。したがって、図５の示す処理は、ＩピクチャおよびＰピクチャのみを対象として行うようにしても良い。さらに、ＩピクチャとＰピクチャのイントラブロックのみを対象とするようにしても良い。これにより、処理の簡素化を図りながら、高速再生時における画像劣化の発生を効果的に抑制することができる。

以上、本実施の形態によれば、ＤＣＴタイプと特定周波数成分の量子化係数をもとに当該ブロックが画像劣化を引き起こすブロックであるかを判定し、その判定結果に応じて、逆ＤＣＴに用いるＤＣＴ係数の数を適宜変更するものであるから、高速再生を阻害することなく画質劣化を効果的に抑制することができる。

なお、本発明はかかる実施の形態に限定されるものではなく、他に種々の変更が可能であることは言うまでもない。

たとえば、上記実施の形態では、特定周波数成分の量子化係数を参照して画像劣化の有無を判定するようにしたが、当該特定周波数成分の量子化係数を逆量子化して得られるＤＣＴ係数を参照して画像劣化の有無を判定するようにしても良い。ここで、当該量子化係数を逆量子化して得られるＤＣＴ係数を加算し、これを閾値と比較して画像劣化の有無を判定する場合には、当然ながら、閾値をＤＣＴ係数の大きさに合うように調整（たとえば、上記Ｓ１に量子化値を乗算して調整）する必要がある。

また、対象ブロックが画像劣化を引き起こすブロックであるとき、たとえば図１１に示すように、垂直方向に高次のＤＣＴ係数（同図中、ハッチが付されたＤＣＴ係数）を含めて逆ＤＣＴ変換を行うようにしても良い。これにより、高速再生を阻害することなく画質劣化を効果的に抑制することができるようになる。

その他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。

実施の形態に係る画像再生装置の構成を示す図 実施の形態に係るＭＰＥＧストリームの構成を示す図 実施の形態に係る判定対象の量子化係数を示す図 実施の形態に係る画像劣化ブロックの判定例を示す図 実施の形態に係る高速再生処理フローを示す図 従来の画像再生装置の構成を示す図 周波数成分の配列を示す図 高速再生時に用いられるＤＣＴ係数を示す図 フレームＤＣＴとフィールドＤＣＴについて説明する図 高速再生時のおいて生じる画像劣化現象を説明する図 高速再生時に用いられるＤＣＴ係数の変更例を示す図

符号の説明

１１０ ＶＡＤ
１１１ 適応的ＩＤＣＴ

Claims (3)

1. ＭＰＥＧエンコードされた画像情報を再生する画像再生装置において、
   一つのピクチャを構成するブロック領域のうち画像劣化を引き起こすブロック領域を検出するブロック検出手段と、
   前記ブロック検出手段の検出結果に応じて高速再生処理を実行する高速再生手段とを有し、
   前記高速再生手段は、前記ブロック検出手段によって画像劣化を引き起こすと検出されたブロック領域に対しては、画像劣化を引き起こさないと検出されたブロック領域よりもさらに高次側のＤＣＴ係数まで用いて逆ＤＣＴ処理を実行する処理を含み、
   前記ブロック検出手段は、当該ブロック領域のＤＣＴモードを識別するモード識別手段と、当該ブロック領域の周波数成分のうち特定の周波数成分の値を参照する参照手段とを備え、前記モード識別手段によってフレームＤＣＴモードであると識別され、且つ、前記参照手段によって前記特定周波数成分の値が設定値範囲内にあると判定されたときに、当該ブロック領域を、画像劣化を引き起こすブロック領域として検出する、
   ことを特徴とする画像再生装置。
2. 請求項１において、
   前記参照手段は、前記特定周波数成分に対応する量子化係数の絶対値の加算値がその閾値を超えたか否か、または、前記特定周波数成分に対応するＤＣＴ係数の絶対値の加算値がその閾値を超えたか否かを判定する、
   ことを特徴とする画像再生装置。
3. 請求項１または２において、
   前記参照手段は、ブロック領域の周波数成分のうち水平周波数成分が低く、且つ、垂直周波数成分が高い周波数成分を、前記特定周波数成分として参照する、
   ことを特徴とする画像再生装置。
   

Images