JP3993030B2

JP3993030B2 - デジタル映像復号装置

Info

Publication number: JP3993030B2
Application number: JP2002184745A
Authority: JP
Inventors: 英輔中須; 正顕黒住; 智彦杉本; 敦郎市ヶ谷
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2002-06-25
Filing date: 2002-06-25
Publication date: 2007-10-17
Anticipated expiration: 2022-06-25
Also published as: JP2004032299A

Description

【０００１】
【発明の属する技術分野】
本発明はデジタル映像復号装置に関し、特に、ブロック分割及び直交変換を用いてデジタル符号化されたデジタル映像の復号を行うデジタル映像復号装置に関する。
【０００２】
【従来の技術】
映像信号の圧縮に広く用いられているＭＰＥＧ−２規格では、映像をブロック分割し各ブロックを２次元ＤＣＴ（離散コサイン変換）により符号化している。
【０００３】
図８は、従来のデジタル映像復号化装置の一例のブロック図を示す。同図中、符号化データは可変長符号復号部１０に供給され、可変長符号の復号が行われ、これによって得られる量子化ＤＣＴ係数は逆量子化部１１で逆量子化され、ＤＣＴ係数が得られる。こののち、逆直交変換部１２で逆ＤＣＴが行われ、各ブロックの画像が復号される。更に、動き補償部１３で動き補償が行われ、復号画像が得られる。
【０００４】
ＤＣＴ符号化をはじめとする直交変換を用いたデジタル符号化方式では、変換係数のレベルを量子化することによって符号化歪が発生する。代表的な直交変換であるＤＣＴの場合、上記符号化歪によって復号画像のブロック境界が不連続になるブロック歪を発生する。
【０００５】
例えば、任意の変換係数のレベルが「２^Ｎ＋α」であったとして、これが「２^Ｎ」に量子化されると、量子化誤差「α」が発生して符号化歪となる。また、ＤＣＴ符号化では、各ＤＣＴの基底ベクトルは両端の値が「＋１」または「−１」であるために、復号時にブロック境界で上記符号化歪が大きく表れ、ブロック境界が不連続になるブロック歪を発生する。
【０００６】
図９にブロック歪の一例を示す。図９（Ａ）に示す元の画像に対して、ＤＣＴ符号化データを復号して得た復号画像は図９（Ｂ）に示すように、ブロックが見える状態となる。
【０００７】
従来、このブロック歪を低減するためには、復号画像のブロック境界において、復号画像の映像信号にフィルタ処理を施し、高周波成分を低減する方法を取ることが一般的であった。
【０００８】
【発明が解決しようとする課題】
従来は、復号した映像信号のブロック境界においてフィルタ処理を施し高周波の歪を低減するものであるため、フィルタ処理のカットオフ周波数は固定されており画像の絵柄によってはボケ感が目立つなどの不自然な画質劣化が問題となっていた。また、フィルタ処理部を必要とし回路規模が大きくなるという問題があった。
【０００９】
本発明は、上記の点に鑑みなされたもので、簡単な構成で、ボケなどの不自然な画質劣化が小さく、ブロック歪を低減できるデジタル映像復号装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
請求項１に記載の発明は、符号化時の基底ベクトルを補正して２次元逆離散コサイン変換を行い、
前記符号化時の基底ベクトルの補正は、前記基底ベクトルの両端とその近傍を低減補正することにより、
復号時のブロック境界で生じるブロック歪を軽減することができ、フィルタ処理部を必要とせず回路規模が小さくて済む。
【００１２】
請求項２に記載の発明は、符号化時の基底ベクトルの補正は、高周波成分の基底ベクトルであるほど補正量を大きくすることにより、
画像の絵柄によるボケなどの不自然な画質劣化を小さく抑えることができる。
【００１３】
請求項３に記載の発明は、符号化時の基底ベクトルの両端とその近傍を低減補正する補正係数を格納した補正係数テーブルを有し、
符号化時の基底ベクトルに補正係数テーブルの補正係数を乗算して補正することにより、
量子化幅やピクチャタイプや走査形式等に応じて補正係数テーブルを切り換えることが可能となる。
【００１４】
請求項４に記載の発明では、デジタル符号化は、ＭＰＥＧ映像符号化であり、
符号化時の直交変換の基底ベクトルを補正して逆直交変換を行う第１逆直交変換部と、
符号化時の直交変換の基底ベクトルで逆直交変換を行う第２逆直交変換部と、
第２逆直交変換部で得た参照画像を基に、第１逆直交変換部で得た予測誤差と動きベクトルで動き補償を行い復号画像を得ることにより、
参照画像は符号化時と同一となり過補正による画質が劣化のおそれがなくなり、更に高品質の復号画像を得ることができる。
【００１５】
【発明の実施の形態】
ＭＰＥＧ−２映像符号化における復号過程を例に本発明の実施例を説明する。図１は、本発明のデジタル映像復号化装置の第１実施例のブロック図を示す。同図中、符号化データは可変長符号復号部２０に供給される。この符号化データは、量子化ＤＣＴ係数、動きベクトル、符号化モード情報を可変長符号化したものである。
【００１６】
ところで、ＭＰＥＧ−２符号化では、画面を８画素×８画素のブロックに分割し、各ブロックに対して２次元ＤＣＴが用いられる。映像の水平方向をｘ軸、垂直方向をｙ軸とした場合のＮ×Ｎの画素ｆ（ｘ，ｙ）に対し、周波数軸上での横方向位置ｕ、縦方向位置ｖの２次元ＤＣＴ係数Ｆ（ｕ，ｖ）は、（１）式のとおり定義される。
【００１７】
【数１】

逆ＤＣＴは、逆離散コサイン変換処理を表し、従来は、以下の（２）式で定義されている。
【００１８】
【数２】

図１において、符号化データは可変長符号復号部２０に供給され、可変長符号の復号が行われ、量子化ＤＣＴ係数、動きベクトル、符号化モード情報が得られる。量子化ＤＣＴ係数は逆量子化部２１で逆量子化され、ＤＣＴ係数が得られる。こののち、逆直交変換部２２で逆ＤＣＴが行われ、各ブロックの画像が復号される。更に、動き補償部２４で動き補償が行われ、復号画像が得られる。
【００１９】
本発明において、逆直交変換部２２は可変長符号復号部２０から量子化幅やピクチャタイプ等の情報が供給されており、例えば量子化幅が所定の閾値を超えた場合、補正係数テーブル２３から読み出した補正係数を符号化時と同一のＤＣＴの基底ベクトルに乗算してＤＣＴの基底ベクトルを補正し、補正した基底ベクトルを用いて逆ＤＣＴを行う。なお、補正係数を符号化時と同一のＤＣＴの基底ベクトルに乗算した補正済みのＤＣＴの基底ベクトルをテーブルに格納する構成としても良い。
【００２０】
図２に示す１次元逆ＤＣＴの構成図を用いて発明原理を説明する。同図中、乗算器３０ａ〜３０ｈで、８個のＤＣＴの基底ベクトルと、それぞれに対応するＤＣＴ係数を乗算し、全ての乗算値を加算器３２で加算する。なお、逆直交変換部２２で行う２次元ＤＣＴでは、まず水平方向の逆ＤＣＴを行い、同様の回路で垂直方向の逆ＤＣＴを行うことにより画像を復号する。
【００２１】
従来の復号装置では、図３（Ａ）〜（Ｈ）に示す符号化時と同一のＤＣＴの基底ベクトルを用いて逆ＤＣＴを行っている。これに対し、本発明では、例えば量子化幅が所定の閾値を超えた場合、図４（Ａ）〜（Ｈ）に示すＤＣＴの基底ベクトルを用いて逆ＤＣＴを行う。図４において、図４（Ａ）の直流成分の基底ベクトルを除き、図４（Ｂ）〜（Ｈ）の各基底ベクトルは両端のレベルを実線で示すように低減補正する。なお、図４（Ｂ）〜（Ｈ）の破線は符号化時と同一のＤＣＴの基底ベクトルを示している。
【００２２】
本発明の逆直交変換部２２で用いる逆ＤＣＴ処理を（３）式に示す。
【００２３】
【数３】

（３）式で用いる基底ベクトルの補正係数ｇ（ｘ，ｕ），ｈ（ｙ，ｖ）の一実施例を図５（Ａ），（Ｂ）に示す。この補正係数ｇ（ｘ，ｕ），ｈ（ｙ，ｖ）は予め補正係数テーブル２３に格納されている。図５（Ａ）の補正係数ｇ（ｘ，ｕ）は、第１行の直流成分の基底ベクトルに対しては値が全て「１」とされ、補正を行わないことを示している。第２行の低周波成分の基底ベクトルに対してはｘ軸方向の両端の値が「０．９」でその内側の値が「０．９５」とされ、端部ほど低減補正（補正量小）することを示している。更に、第４行〜第８行の高周波成分の基底ベクトルに対してはｘ軸方向の両端の値が「０．６」とされ、両端を低減補正（補正量大）することを示している。
【００２４】
図５（Ｂ）の補正係数ｈ（ｙ，ｖ）も補正係数ｇ（ｘ，ｕ）と同様であるが、図５（Ｂ）における第４行〜第８行の高周波成分の基底ベクトルに対してはｙ軸方向の両端の値が「０．９」とされ、両端を低減補正（補正量小）することを示している。高周波成分に対する補正係数ｈ（ｙ，ｖ）の補正量が補正係数ｇ（ｘ，ｕ）のそれに対して小さいのは、ブロック歪みはラインと平行な歪みが目立ちにくく、インターレース走査では更に目立ちにくいからである。
【００２５】
このように、ｘ軸方向両端とその近傍、及びｙ軸方向両端とその近傍の基底ベクトルを低減補正することにより、復号時のブロック境界で生じるブロック歪を軽減することができ、フィルタ処理部を必要としないので回路規模が小さくて済む。また、基底ベクトルを低減補正は周波数毎に設定され、高周波成分であるほど低減補正の補正量を大とすることで、画像の絵柄によるボケなどの不自然な画質劣化を小さく抑えることができる。
【００２６】
上記実施例では、量子化幅が所定の閾値を超えた場合に補正係数テーブル２３を用いて基底ベクトルの補正を行っているが、ビットレートが小さいときにのみ固定的に基底ベクトルの補正を行っても良い。更に、ピクチャタイプがＩピクチャであるときにのみ基底ベクトルの補正を行い、ＰピクチャやＢピクチャでは基底ベクトルの補正を行わないようにしても良い。
【００２７】
なお、基底ベクトルの補正を行わない場合には、全ての補正係数を値「１」とした補正係数テーブルを用意しておき、図５に示す補正係数テーブルと切り換えて使用する。更に、補正量の異なる補正係数テーブルを複数の設け、量子化幅、ピクチャタイプ、走査形式（インターレースの有無）、動きベクトル、符号化モード等に応じて補正係数テーブルを切り換える構成としても良い。
【００２８】
図６は、本発明のデジタル映像復号化装置の第２実施例のブロック図を示す。同図中、図１と同一部分には同一符号を付す。符号化データは可変長符号復号部２０に供給され、可変長符号の復号が行われ、量子化ＤＣＴ係数、動きベクトル、符号化モード情報が得られる。量子化ＤＣＴ係数は逆量子化部２１で逆量子化され、ＤＣＴ係数が得られる。
【００２９】
逆直交変換部２２は逆ＤＣＴを行って、各ブロックの画像を復号する。逆直交変換部２２は可変長符号復号部２０から量子化幅やピクチャタイプ等の情報を供給されており、例えば量子化幅が所定の閾値を超えた場合、補正係数テーブル２３から読み出した補正係数をＤＣＴの基底ベクトルに乗算してＤＣＴの基底ベクトルを補正し、補正した基底ベクトルを用いて逆ＤＣＴを行う。
【００３０】
また、逆直交変換部２５は、ピクチャタイプを供給されており、ＩピクチャとＰピクチャに対して、補正していない符号化時と同一のＤＣＴの基底ベクトルを用いて逆ＤＣＴを行う。
【００３１】
ここで、図７（Ａ）に符号化入力の画像を示す。画像に付した数字は画像番号（入力順）を表し、Ｉ，Ｂ，Ｐは符号化時のピクチャタイプを表す。符号化出力の画像、即ちデジタル映像復号化装置入力の画像は図７（Ｂ）に示すように、画像の出力順がＩ，Ｐ，Ｂの順に変更されている。デジタル映像復号化装置はこの画像を復号化して図７（Ｃ）に示すように、符号化入力と同じ順で画像を出力する。
【００３２】
動き補償部２６は、２つの予測メモリ４０，４１を有している。逆直交変換部２５の出力（基底ベクトル補正無し）を供給された加算部４２の出力するＩピクチャ１Ｉを参照画像としてスイッチ４４から予測メモリ４０に格納する。このとき、逆直交変換部２２の出力（基底ベクトル補正有り）を供給された加算部４３の出力する図７（Ｃ）に示すＩピクチャ１Ｉがデジタル映像復号化装置から外部に出力される。
【００３３】
次に、予測メモリ４０からの参照画像（予測信号）１Ｉと逆直交変換部２５出力のＰピクチャ予測誤差４Ｐを加算部４２で加算して得た参照画像４Ｐをスイッチ４４から予測メモリ４１に格納すると共に、予測メモリ４０からの参照画像１Ｉと逆直交変換部２２出力のＰピクチャ予測誤差４Ｐを加算部４３で加算して得た参照画像４Ｐを外部に出力する。なお、予測メモリ４０から読出される参照画像のブロックは可変長符号復号部２０から供給される動きベクトルに応じて決定される。
【００３４】
こののち、予測メモリ４０，４１それぞれの参照画像１Ｉ，４Ｐと逆直交変換部２２出力のＢピクチャ予測誤差２Ｂを加算部４３で加算して得た画像２Ｂを外部に出力し、同様にして予測メモリ４０，４１それぞれの参照画像１Ｉ，４Ｐと逆直交変換部２２出力のＢピクチャ予測誤差３Ｂを加算部４３で加算して得た画像３Ｂを外部に出力する。なお、予測メモリ４０，４１から読出される参照画像のブロックは可変長符号復号部２０から供給される動きベクトルに応じて決定される。
【００３５】
次に、予測メモリ４１の参照画像４Ｐと逆直交変換部２５出力のＰピクチャ予測誤差７Ｐを加算部４２で加算して参照画像７Ｐを得て予測メモリ４０に格納すると共に、予測メモリ４１の参照画像４Ｐと逆直交変換部２２出力のＰピクチャ予測誤差７Ｐを加算部４３で加算して得た参照画像７Ｐを外部に出力する。こののち、予測メモリ４０，４１それぞれの参照画像７Ｐ，４Ｐと逆直交変換部２２出力のＢピクチャ予測誤差５Ｂを加算部４３で加算して得た画像５Ｂを外部に出力し、同様にして予測メモリ４０，４１それぞれの参照画像７Ｐ，４Ｐと逆直交変換部２２出力のＢピクチャ予測誤差６Ｂを加算部４３で加算して得た画像６Ｂを外部に出力する。
【００３６】
なお、可変長符号復号部２０から供給される符号化モードに応じて、Ｐピクチャを復号する際にはスイッチ４５でイントラ／順方向予測をマクロブロック毎に切り換え、Ｂピクチャを復号する際にはスイッチ４５でイントラ／順方向予測／逆方向予測／双方向予測をマクロブロック毎に切り換える。
【００３７】
参照画像（Ｉ，Ｐピクチャ）として基底ベクトルを補正した逆直交変換部２２の出力する画像を用いて動き補償を行うと過補正により画質が劣化するおそれが有るが、この実施例では予測メモリ４０，４１に格納する参照画像（Ｉ，Ｐピクチャ）は符号化時と同一となるため上記過補正による画質が劣化のおそれがなくなり、更に高品質の復号画像を得ることができる。
【００３８】
なお、逆直交変換部２２が請求項記載の第１逆直交変換部に対応し、逆直交変換部２５が第２逆直交変換部に対応する。
【００３９】
【発明の効果】
上述の如く、請求項１に記載の発明は、符号化時の基底ベクトルを補正して２次元逆離散コサイン変換を行い、
前記符号化時の基底ベクトルの補正は、前記基底ベクトルの両端とその近傍を低減補正することにより、復号時のブロック境界で生じるブロック歪を軽減することができ、フィルタ処理部を必要とせず回路規模が小さくて済む。
【００４１】
請求項２に記載の発明は、符号化時の基底ベクトルの補正は、高周波成分の基底ベクトルであるほど補正量を大きくすることにより、画像の絵柄によるボケなどの不自然な画質劣化を小さく抑えることができる。
【００４２】
請求項３に記載の発明は、符号化時の基底ベクトルの両端とその近傍を低減補正する補正係数を格納した補正係数テーブルを有し、符号化時の基底ベクトルに補正係数テーブルの補正係数を乗算して補正することにより、量子化幅やピクチャタイプや走査形式等に応じて補正係数テーブルを切り換えることが可能となる。
【００４３】
請求項４に記載の発明では、デジタル符号化は、ＭＰＥＧ映像符号化であり、符号化時の直交変換の基底ベクトルを補正して逆直交変換を行う第１逆直交変換部と、符号化時の直交変換の基底ベクトルで逆直交変換を行う第２逆直交変換部と、第２逆直交変換部で得た参照画像を基に、第１逆直交変換部で得た予測誤差と動きベクトルで動き補償を行い復号画像を得ることにより、参照画像は符号化時と同一となり過補正による画質が劣化のおそれがなくなり、更に高品質の復号画像を得ることができる。
【図面の簡単な説明】
【図１】本発明のデジタル映像復号化装置の第１実施例のブロック図である。
【図２】１次元逆ＤＣＴの構成図である。
【図３】符号化時と同一のＤＣＴの基底ベクトルを示す図である。
【図４】低減補正したＤＣＴの基底ベクトルを示す図である。
【図５】基底ベクトルの補正係数ｇ（ｘ，ｕ），ｈ（ｙ，ｖ）の一実施例を示す図である。
【図６】本発明のデジタル映像復号化装置の第２実施例のブロック図である。
【図７】符号化入力，符号化出力，復号化出力それぞれの順序を説明するための図である。
【図８】従来のデジタル映像復号化装置の一例のブロック図である。
【図９】ブロック歪の一例を示す図である。
【符号の説明】
２０可変長符号復号部
２１逆量子化部
２２，２５逆直交変換部
２３補正係数テーブル
２４動き補償部
３０ａ〜３０ｈ乗算器
３２加算器
４０，４１予測メモリ
４２，４３加算部
４４，４５スイッチ

Claims

ブロック分割及び直交変換によりデジタル符号化されたデジタル映像の復号を行うデジタル映像復号装置において、
符号化時の基底ベクトルを補正して２次元逆離散コサイン変換を行い、
前記符号化時の基底ベクトルの補正は、前記基底ベクトルの両端とその近傍を低減補正することを特徴とするデジタル映像復号装置。
請求項１記載のデジタル映像復号装置において、
前記符号化時の基底ベクトルの補正は、高周波成分の基底ベクトルであるほど補正量を大きくすることを特徴とするデジタル映像復号装置。
請求項１または２記載のデジタル映像復号装置において、
前記符号化時の基底ベクトルの両端とその近傍を低減補正する補正係数を格納した補正係数テーブルを有し、
前記符号化時の基底ベクトルに前記補正係数テーブルの補正係数を乗算して補正することを特徴とするデジタル映像復号装置。
請求項１乃至３の何れか記載のデジタル映像復号装置において、
前記デジタル符号化は、ＭＰＥＧ映像符号化であり、
符号化時の直交変換の基底ベクトルを補正して逆直交変換を行う第１逆直交変換部と、
符号化時の直交変換の基底ベクトルで逆直交変換を行う第２逆直交変換部と、
前記第２逆直交変換部で得た参照画像を基に、前記第１逆直交変換部で得た予測誤差と動きベクトルで動き補償を行い復号画像を得ることを特徴とするデジタル映像復号装置。