JP4898103B2 - カラー映像のためのビデオ符号化／復号化装置およびその方法 - Google Patents

Description

本発明は、カラー映像のためのビデオ符号化／復号化装置およびその方法に係り、さらに詳細には、カラー映像の色情報および解像度情報による最適の符号化／復号化を行う装置およびその方法に関する。

従来のビデオ（ビデオ信号）圧縮方法は、圧縮率を高めるために、機器から直接取得できるＲ−Ｇ−Ｂなどの映像形式を圧縮に適したＹ−Ｃｂ−Ｃｒなどの映像形式に変換する。また、従来のビデオ圧縮方法は、圧縮効率を高めるためにＣｂ成分およびＣｒ成分を四分の一のサイズに減らして符号化する。しかし、従来のビデオ圧縮方法は、高品質の映像復元を必要とするアプリケーションに適するものとはいえない。それは、Ｃｂ成分およびＣｒ成分のサブサンプリングによってＣｈｒｏｍａ（Ｃｂ、Ｃｒ）成分にエネルギー損失が発生し、さらにＲ−Ｇ−Ｂ成分をＹ−Ｃｂ−Ｃｒ成分に変換する時に映像の品質損失が発生するためである。このような損失を減らすためには、Ｃｂ成分およびＣｒ成分をＹ成分と同じ解像度で符号化する必要がある。

もし、Ｙ−Ｃｂ−Ｃｒ成分を符号化するとき、さらに良い品質を所望するのであれば、Ｒ−Ｇ−Ｂ成分を直接符号化することにより、Ｙ−Ｃｂ−Ｃｒ成分に変換する時に発生する損失をなくして、映像品質の損失を低減する必要がある。しかし、従来のビデオ圧縮手法は、従来型のＹ−Ｃｂ−Ｃｒ符号化器を利用してＲ−Ｇ−Ｂ成分を符号化するものであり、Ｒ−Ｇ−Ｂカラー成分に存在するＹ−Ｃｂ−Ｃｒ成分とは異なる特性を利用することができない。このような従来の手法として代表的なものが、２つの国際標準化機構であるＩＳＯ／ＩＥＣのＭＰＥＧおよびＩＴＵ−ＴのＶＣＥＧによる、共同ビデオチーム（Joint Video Team）のＡＶＣ／Ｈ.２６４標準化技術である。

しかし、Ｒ−Ｇ−Ｂ成分とＹ−Ｃｂ−Ｃｒ成分では、映像の特性が異なるため、従来のＹ−Ｃｂ−Ｃｒ符号化器でＲ−Ｇ−Ｂ成分を符号化すると、符号化効率が大きく低下する。例えば、Ｙ−Ｃｂ−Ｃｒ映像は、空間上、同じ位置でＹ、Ｃｂ、Ｃｒの各成分間に相関関係がほとんどないが、一方、Ｒ−Ｇ−Ｂ映像は各成分間に相関関係が残っている。

また、Ｒ−Ｇ−Ｂ映像では、Ｒ、Ｇ、Ｂの各成分間の周波数特性が類似しているが、Ｙ−Ｃｂ−Ｃｒ映像では、Ｒ−Ｇ−Ｂ映像から変換する時に行われる処理によって、Ｌｕｍａ成分であるＹ成分とＣｈｒｏｍａ成分であるＣｂおよびＣｒ値とが相異なる周波数特性を有するものとなる。このように、従来のビデオ圧縮方法では、Ｒ−Ｇ−Ｂ映像およびＹ−Ｃｂ−Ｃｒ映像の特性を正確に符号化に反映できなかった。また、従来のビデオ圧縮方法は、符号化する際に、映像のサイズによる周波数特性の変化を考慮するものではなかった。

本発明が解決しようとする技術的課題は、インタープレーン（inter-plane）予測を利用してＲ−Ｇ−Ｂ映像の符号化／復号化効率を高めるビデオ符号化／復号化装置およびその方法を提供することである。

本発明が解決しようとする他の技術的課題は、ビデオ符号化／復号化に際し、色情報および解像度情報による効率的な動き補償を行う動き補償装置およびその方法を提供することである。

本発明が解決しようとする他の技術的課題は、ビデオ符号化／復号化に際し、色情報および解像度情報によって効率的にブロック効果（ノイズ／歪）を低減するデブロッキングフィルタ装置およびその方法を提供することである。

前記課題を達成するための本発明によるビデオ符号化装置は、入力映像の第１動き予測結果に基づいて前記入力映像に対する第１予測誤差映像を算出する第１動き予測部と、Ｒ−Ｇ−Ｂ映像の色成分のうち所定の色成分を基準色成分と設定し、前記入力映像がＹ−Ｃｂ−Ｃｒ映像であるか前記Ｒ−Ｇ−Ｂ映像であるかを把握し、前記入力映像の色成分が前記基準色成分であるか否かを把握する映像情報把握部と、前記入力映像が前記Ｒ−Ｇ−Ｂ映像であり、前記入力映像の色成分が前記基準色成分以外の色成分であれば、前記基準色成分に基づいて前記第１予測誤差映像に対する動き予測を行って第２予測誤差映像を算出する第２動き予測部と、を含む。

前記課題を達成するための本発明によるビデオ符号化方法は、入力映像の第１動き予測結果に基づいて前記入力映像に対する第１予測誤差映像を算出する段階と、Ｒ−Ｇ−Ｂ映像の色成分のうち所定の色成分を基準色成分と設定し、前記入力映像がＹ−Ｃｂ−Ｃｒ映像であるか前記Ｒ−Ｇ−Ｂ映像であるかを把握し、前記入力映像の色成分が前記基準色成分であるか否かを把握する段階と、前記入力映像が前記Ｒ−Ｇ−Ｂ映像であり、前記入力映像の色成分が前記基準色成分以外の色成分であれば、前記基準色成分に基づいて前記第１予測誤差映像に対する動き予測を行って第２予測誤差映像を算出する段階と、を含む。

前記課題を達成するための本発明によるビデオ復号化装置は、符号化映像に所定の演算を行って前記符号化映像から復元された第１予測誤差映像を算出する第１復元部と、前記符号化映像がＲ−Ｇ−Ｂ映像であるかＹ−Ｃｂ−Ｃｒ映像であるかを把握し、前記符号化映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する映像情報把握部と、前記符号化映像が前記Ｒ−Ｇ−Ｂ映像であり、前記符号化映像の色成分が前記基準色成分以外の色成分であれば、前記基準色成分に基づいて前記符号化映像から復元された第２予測誤差映像を算出する第２復元部と、前記第１予測誤差映像および第２予測誤差映像に基づいて復元された前記符号化映像に対する復号化映像のブロック効果を減少させるデブロッキングフィルタと、を含む。

前記課題を達成するための本発明によるビデオ復号化方法は、符号化映像に所定の演算を行って前記符号化映像から復元された第１予測誤差映像を算出する段階と、前記符号化映像がＲ−Ｇ−Ｂ映像であるかＹ−Ｃｂ−Ｃｒ映像であるかを把握し、前記符号化映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する段階と、前記符号化映像が前記Ｒ−Ｇ−Ｂ映像であり、前記符号化映像の色成分が前記基準色成分以外の色成分であれば、前記基準色成分に基づいて前記符号化映像から復元された第２予測誤差映像を算出する段階と、前記第１予測誤差映像および第２予測誤差映像に基づいて復元された前記符号化映像に対する復号化映像のブロック効果を減少させる段階と、を含む。

前記課題を達成するための本発明によるビデオ符号化／復号化装置用の動き補償装置は、入力映像の色情報を把握する映像情報把握部と、前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択するフィルタタップ選択部と、前記選択された長さのフィルタタップを利用して前記入力映像を補間する補間器と、前記補間結果に対して動き補償を行う動き補償部と、を含む。

前記課題を達成するための本発明によるビデオ符号化／復号化用の動き補償方法は、入力映像の色情報を把握する段階と、前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択する段階と、前記選択された長さのフィルタタップを利用して前記入力映像を補間する段階と、前記補間結果に対して動き補償を行う段階と、を含む。

前記課題を達成するための本発明によるビデオ符号化／復号化装置用の動き補償装置の他の実施形態は、入力映像の解像度および色情報を把握する映像情報把握部と、前記入力映像の解像度および前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択するフィルタタップ選択部と、前記選択された長さのフィルタタップを利用して前記入力映像を補間する補間器と、前記補間結果に対して動き補償を行う動き補償部と、を含む。

前記課題を達成するための本発明によるビデオ符号化／復号化用の動き補償方法の他の実施形態は、入力映像の解像度および色情報を把握する段階と、前記入力映像の解像度および前記入力映像の色情報に基づいて補間のためのフィルタタップの長さを選択する段階と、前記選択された長さのフィルタタップを利用して前記入力映像を補間する補間器と、前記補間結果に対して動き補償を行う段階と、を含む。

前記課題を達成するための本発明によるデブロッキングフィルタ装置は、復号化対象映像の色情報を把握する映像情報把握部と、前記色情報に基づいて前記復号化対象映像のブロック効果を減少させるデブロッキングフィルタの長さを選択するデブロッキングフィルタ選択部と、前記選択された長さのデブロッキングフィルタを利用して前記復号化対象映像をフィルタリングするフィルタリング部と、を含む。

前記課題を達成するための本発明によるデブロッキングフィルタ選択方法は、復号化対象映像の色情報を把握する段階と、前記色情報に基づいて前記復号化対象映像のブロック効果を減少させるデブロッキングフィルタの長さを選択する段階と、前記選択された長さのデブロッキングフィルタを利用して前記復号化対象映像をフィルタリングする段階と、を含む。

本発明は、上述のような形態により、色情報および解像度特性による最適の符号化／復号化を行う。

本発明は、入力映像の色成分特性と解像度特性とを考慮して、ビデオデータを効率的に符号化および復号化できる。Ｒ−Ｇ−Ｂ映像の場合は、特に、インタープレーン予測を使用して符号化効率を改善する。本発明は、Ｒ−Ｇ−Ｂ映像を直接符号化する場合、高品質の映像情報が必要なデジタル映画およびデジタルアーカイブなどの応用に適している。

また、本発明は、符号化および復号化のプロセスにおける動き補償とデブロッキングフィルタの方法で、色成分の特性および映像解像度特性を利用した。フィルタリング過程を経て映像品質を改善するこれら方法を、映像の特性に適合するように構成することにより、符号化効率を改善する。したがって、Ｙ−Ｃｂ−Ｃｒ映像だけではなく、Ｒ−Ｇ−Ｂ映像に対しても、それぞれの特性に適する符号化および復号化が可能である。

以下、添付された図面を参照して本発明によるビデオ符号化／復号化装置とその方法、動き補償装置とその方法およびデブロッキングフィルタ装置とその方法について詳細に説明する。

図１Ａは、本発明によるビデオ符号化装置の一実施例の構成を示す図面である。

図１Ａに示すように、本発明によるビデオ符号化装置は、第１動き予測部１００と、映像情報把握部１１０と、第２動き予測部１２０と、符号化部１３０とにより構成される。第１動き予測部１００は、インタープレーン予測部１０１と、イントラプレーン予測部１０４と、予測誤差算出部１０７とにより構成される。

第１動き予測部１００のインタープレーン予測部１０１およびイントラプレーン予測部１０４は、それぞれ入力映像に対して時／空間的に隣接した映像に基づいて動き予測を行う。インタープレーン予測部１０１は、入力映像と時間的に隣接した先行復元映像を利用して動き予測を行い、イントラプレーン予測部１０４は、空間的に隣接した入力映像の符号化単位ブロックを利用して動き予測を行う。一般に、最初の入力映像に対しては先行する復元映像がないので、イントラプレーン予測部１０４が動き予測を行い、以後の入力映像に対してはインタープレーン予測部１０１が動き予測を行う。予測誤差算出部１０７は、インタープレーン予測部１０１またはイントラプレーン予測部１０４の動き予測結果と入力映像との差を利用して第１予測誤差映像を算出する。

また、第１動き予測部１００は、入力映像の色情報および解像度情報によって動き補償のために使用するフィルタタップの長さを異にする。これについては、その詳細を、図４ないし図９を参照して後述する。

映像情報把握部１１０は、入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握する。また、映像情報把握部１１０は、入力映像の色成分を把握する。すなわち、映像情報把握部１１０は、入力映像の色成分がＲ−Ｇ−Ｂ映像のＲ成分、Ｇ成分、Ｂ成分であるか、またはＹ−Ｃｂ−Ｃｒ映像のＹ成分（Ｌｕｍａ）、Ｃｂ成分、Ｃｒ成分（Ｃｈｒｏｍａ）であるかを把握する。そして、映像情報把握部１１０は、Ｒ−Ｇ−Ｂ映像の色成分のうち所定の色成分を本発明によるイントラプレーン予測のための基準色成分と設定する。基準色成分は、Ｒ、Ｇ、Ｂ成分のうち何れか一つの成分が任意に設定され、以下ではＧ成分を基準色成分に設定したものと仮定する。

第２動き予測部１２０は、入力映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分以外の色成分であれば、基準色成分に基づいて、第１動き予測部１００から出力される第１予測誤差映像に対して、動き予測を行って第２予測誤差映像を算出する。第２動き予測部１２０で使われる基準色成分は、現在の入力映像の前に入力されて符号化された後に再び復号化された値である。具体的には、第２動き予測部１２０は、符号化されかつ復号化された基準色成分の予測誤差映像に基づいて動き予測を行う。

例えば、基準色成分がＧ成分であり、入力映像の色成分がＢ成分である場合、第１動き予測部１００は、入力映像の動き予測結果に基づいてＢ成分およびＧ成分に対する第１予測誤差を算出する。そして、映像情報把握部１１０は、入力映像がＲ−Ｇ−Ｂ映像であり、入力映像の色成分が基準色成分（Ｇ成分）以外の成分（Ｂ成分）であることを把握する。第２動き予測部１２０は、符号化された後に再び復号化された基準色成分（Ｇ成分）の第１符号化予測誤差映像に基づいて、入力映像（Ｂ成分）の第１予測誤差映像に対するインタープレーン予測を行って第２予測誤差映像を算出する。すなわち、Ｂ成分の入力映像は、第１動き予測部１００および第２動き予測部１２０によって二回の予測過程を経る。

符号化部１３０は、第１動き予測部１００による第１予測誤差映像および第２動き予測部１１０による第２予測誤差映像を符号化してビットストリームを生成する。具体的には、符号化部１３０は、予測誤差映像を離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）１３２または離散整数変換１３２して、変換された値を量子化１３４およびエントロピー符号化１３６して符号化映像（ビットストリーム）を生成する。

Ｙ−Ｃｂ−Ｃｒ映像は、Ｒ−Ｇ−Ｂ映像から色座標空間変換方式によって変換されるので、Ｙ−Ｃｂ−Ｃｒ映像とＲ−Ｇ−Ｂ映像とは符号化側面で相異なる特性を有する。すなわち、Ｙ−Ｃｂ−Ｃｒ映像のＹ、Ｃｂ、Ｃｒ成分は、空間上同じ位置の各成分間に相関関係がほとんどないが、一方で、Ｒ−Ｇ−Ｂ映像は、各成分間に相関関係が残っている。したがって、本発明によるビデオ符号化装置は、入力映像がＲ−Ｇ−Ｂ映像であるかＹ−Ｃｂ−Ｃｒ映像であるかによって、符号化する時に使用する予測方法を異にする。

結局、本発明によるビデオ符号化装置は、Ｒ−Ｇ−Ｂ映像の色成分のうち何れか一つを基準色成分と設定し、設定された基準色成分は、従来の符号化方法で符号化する。そして、ビデオ符号化装置は、Ｒ−Ｇ−Ｂ映像の基準色成分以外の残りの２つの色成分を、空間上隣接した画素または時間上隣接した画素を利用して予測した後、予測された結果を基準色成分に基づいて再び予測する。

図１Ｂは、本発明によるビデオ符号化装置の一実施例の構成を示す図面である。

図１Ｂに示すように、本発明によるビデオ符号化装置は、第１動き予測部１００と、映像情報把握部１１０と、第２動き予測部１２０と、符号化部１３０と、第１復元部１４０と、第２復元部１５０と、デブロッキングフィルタ１６０とにより構成される。また、第１動き予測部１００は、インタープレーン予測部１０１と、イントラプレーン予測部１０４と、予測誤差算出部１０７とにより構成される。

入力映像Ｆ（ｎ）１７０は、Ｙ−Ｃｂ−Ｃｒ映像またはＲ−Ｇ−Ｂ映像である。本発明によるビデオ符号化装置において、入力映像１７０は、ブロック単位で処理される。第１動き予測部１００は、インタープレーン予測部１０１とイントラプレーン予測部１０４とにより構成される。インタープレーン予測部１０１は、動き予測部（Motion Estimation unit：ＭＥ）１０２および動き補償部（Motion Compensation unit：ＭＣ）１０３を含み、符号化効率を高めるために、以前の復元映像Ｆ_r（ｎ−１） １７２に基づいて動きを推定しかつ予測する。イントラプレーン予測部１０４は、空間推定部（Spatial Estimation unit：ＳＥ）１０５および空間予測部（Spatial Prediction unit：ＳＰ）１０６を含み、空間的に隣接しているブロックに基づいて動きを推定しかつ予測する。

Ｙ−Ｃｂ−Ｃｒ（あるいは、Ｙ−Ｕ−Ｖ）映像とＲ−Ｇ−Ｂ映像のそれぞれの色成分によって、動き補償に使用する補間方法（interpolation）は異なる。まず、予測誤差算出部１０７は、入力映像１７０と、インタープレーン予測部１０１またはイントラプレーン予測部１０４の動き予測結果と、に基づいて符号化予測誤差映像ΔＦ（ｎ）を得る。もし、入力映像１７０がＹ−Ｃｂ−Ｃｒ映像であれば、予測誤差算出部１０７は、ΔＦ（ｎ）から予測誤差ΔＹ（ｎ）、ΔＵ（ｎ）、ΔＶ（ｎ）を得る。一方、入力映像１７０がＲ−Ｇ−Ｂ映像であれば、予測誤差算出部１０７は、ΔＦ（ｎ）から予測誤差ΔＲ（ｎ）、ΔＧ（ｎ）、ΔＢ（ｎ）を得る。

符号化部１３０は、Ｙ−Ｃｂ−Ｃｒ映像のΔＹ（ｎ）、ΔＵ（ｎ）、ΔＶ（ｎ）と、Ｒ−Ｇ−Ｂ映像のΔＧ（ｎ）とを、ＤＣＴ（または、離散整数変換）１３２、量子化１３４、エントロピー符号化１３６を経て圧縮する。

入力映像１７０がＲ−Ｇ−Ｂ映像であれば、第２動き予測部１２０の誤差予測部（Residue Prediction unit：ＲＰ）１２２は、Ｒ成分およびＢ成分の予測誤差映像ΔＢ（ｎ）およびΔＲ（ｎ）を、復元されたＧ成分の予測誤差映像ΔＧ_r（ｎ）を利用してインタープレーン予測する。そして、符号化部１３０は、インタープレーン予測によって得た予測誤差映像ΔＢ′（ｎ）およびΔＲ′（ｎ）を、ＤＣＴ（または、離散整数変換）１３２、量子化１３４、エントロピー符号化１３６を経て圧縮する。ＤＣＴは、ＩＳＯ／ＩＥＣのＭＰＥＧ−４パート２標準化技術であり、離散整数変換は、ＩＳＯ／ＩＥＣのＭＰＥＧおよびＩＴＵ−ＴのＶＣＥＧによる共同ビデオチームが策定したＡＶＣ／Ｈ.２６４標準化技術である。

第１復元部１４０は、符号化部１３０が変換１３２し量子化１３４した復元対象映像を、空間的に近接したブロックあるいは時間的に後で入力される映像を利用した予測で使用できるように、逆量子化１４４し、逆ＤＣＴ（ＩＤＣＴ：Inverse DCT）（または、逆離散整数変換）１４２を行って、当該映像のそれぞれの色成分に対する予測誤差映像を生成する。

第１復元部１４０は、復元対象映像がＹ−Ｃｂ−Ｃｒ映像であれば、復元された予測誤差映像ΔＹ_r（ｎ）、ΔＵ_r（ｎ）、ΔＶ_r（ｎ）を得る。また、第１復元部１４０は、復元対象映像がＲ−Ｇ−Ｂ映像であれば、復元された予測誤差映像ΔＧ_r（ｎ）、ΔＢ′_r（ｎ）、ΔＲ′_r（ｎ）を得る。ΔＧ_r（ｎ）は、第２動き予測部１２０によるインタープレーン予測のためにバッファ１２４に保存される。

第２復元部１５０は、復元対象映像の色成分がＲ成分およびＢ成分であれば、Ｇ成分の復元された予測誤差映像ΔＧ_r（ｎ）を利用してＲ成分およびＢ成分の復元された予測誤差映像ΔＢ_r（ｎ）およびΔＲ_r（ｎ）を得る。Ｙ−Ｃｂ−Ｃｒ映像の復元誤差映像ΔＹ_r（ｎ）、ΔＵ_r（ｎ）、ΔＶ_r（ｎ）あるいはＲ−Ｇ−Ｂ映像の復元誤差映像ΔＧ_r（ｎ）、ΔＢ_r（ｎ）、ΔＲ_r（ｎ）は、デブロッキングフィルタ１６０の入力Ｆ_r（ｎ）となる。

デブロッキングフィルタ（ループフィルタ）１６０は、Ｆ_r（ｎ）と第１動き予測部１００によるインタープレーン予測またはイントラプレーン予測の結果を第２復元部１５０の出力値と加算して求めた復元された映像をフィルタリングすることにより、ブロック効果を低減する。本発明によるデブロッキングフィルタ１６０は、Ｙ−Ｃｂ−Ｃｒ（あるいは、Ｙ−Ｕ−Ｖ）映像とＲ−Ｇ−Ｂ映像との各成分によってブロックの境界領域で使用するフィルタタップの長さが異なるものを用いる。これについての詳細は、図１０および図１１を参照して後述する。

図２は、本発明によるビデオ符号化方法の一実施例を示すフローチャートである。

図１Ａおよび２を参照して、本発明のビデオ符号化方法を説明する。まず、第１動き予測部１００は、入力映像に対して時／空間上予測（インタープレーン予測／イントラプレーン予測）を行う（Ｓ２００）。映像情報把握部１１０は、Ｒ−Ｇ−Ｂ映像の基準色成分としてＧ成分を設定し、入力映像がＲ−Ｇ−Ｂ映像であるか否かを判断する（Ｓ２１０）。もし、入力映像がＲ−Ｇ−Ｂ映像であれば、映像情報把握部１１０は、入力映像の色成分が基準色成分のＧ成分であるか否かを判断する（Ｓ２２０）。もし、入力映像の色成分がＲ成分またはＢ成分であれば、第２動き予測部１２０は、復元されたＧ成分の予測誤差映像を利用して各成分のインタープレーン予測を行う（Ｓ２３０）。言い換えれば、本発明によるビデオ符号化方法は、Ｒ−Ｇ−Ｂ映像の基準色成分以外の成分に対して第１動き予測部１００によって動き予測を行い、基準色成分に基づいて再び動き予測を行う。第１動き予測部１００または第２動き予測部１２０によって算出された予測誤差映像は、ＤＣＴあるいは離散整数変換、量子化、エントロピー符号化を通じて圧縮される。

Ｒ−Ｇ−Ｂ映像の基準色成分以外の色成分であるＲ成分およびＢ成分に適用されるイントラプレーン予測について、以下その原理を詳細に説明する。まず、空間的に隣接した映像あるいは時間的に隣接した映像値を利用して予測した値を入力映像から減算してＧ成分の予測誤差映像ΔＧを得る。この予測誤差映像は、次の数式１の通りである。

ここで、ＧｐはＧ成分を空間的に隣接したＧ成分映像あるいは時間的に隣接したＧ成分映像を利用して予測した値である。この予測誤差映像が実際にエントロピー符号化される。

Ｙ−Ｃｒ−Ｃｂ成分と違って、Ｇ成分、Ｒ成分、Ｂ成分間には依然として大きな相関度がある。Ｇ成分との類似性を利用するために、まず、Ｒ成分およびＢ成分を、Ｇ成分と同様に、時／空間上の予測にかける。ここで、得た予測誤差映像ΔＲおよびΔＧは、次の通りである。

ここで、ＲｐおよびＢｐは、Ｒ成分およびＢ成分を空間的に隣接した映像あるいは時間的に隣接した映像を利用して予測したものである。ここで得た予測誤差映像を、符号化された後に再び復号化されたＧ成分の予測誤差映像の線形変換した値で減算してインタープレーン予測されたＲ成分およびＢ成分の予測誤差映像ΔＲ′およびΔＧ′を得る。以上の処理は、次の数式４および数式５のように表すことができる。

これらの値は、Ｒ成分およびＢ成分の時／空間上の予測誤差ΔＲおよびΔＢに比べて、符号化するデータの量が少なくなっており、符号化効率が改善されたことがわかる。これは、予測誤差映像ΔＧ、ΔＲ、ΔＢ間の相関度が大きいので、ΔＧとΔＲおよびΔＧとΔＢの関係を線形の関数で表現することで、ΔＲおよびΔＢをΔＧの関数に近似させることができるためである。以下の数式において、ａおよびｂ（数式６、７）は、Ｒ成分の予測誤差をＧ成分の予測誤差を利用して予測するときに近似させた線形関数の傾きおよび偏差となり、ｃおよびｄ（数式８、９）は、Ｂ成分の予測誤差をＧ成分の予測誤差を利用して予測するときに近似させた線形関数の傾きおよび偏差である。

ここで、ｃｏｖ（・）は共分散を表し、Ｅ（・）は値の平均、そして、σ²は分散を表す。

図３Ａは、本発明によるビデオ復号化装置の一実施例の構成を示すブロック図である。

図３Ａに示すように、本発明によるビデオ復号化装置は、第１復元部３００と、映像情報把握部３１０と、第２復元部３２０と、動き推定部３３０と、デブロッキングフィルタ３４０とにより構成される。

本発明によるビデオ復号化装置は、図１Ｂのビデオ符号化装置の過程と反対の過程とを経て圧縮されたビットストリーム（すなわち、符号化映像）から映像を復元する。第１復元部３００は、圧縮されたデータを、エントロピー復号化３０２、逆量子化３０４、逆離散整数変換３０６して、Ｙ−Ｃｂ−Ｃｒ映像の場合、各成分の復元された予測誤差映像ΔＹ_r（ｎ）、ΔＵ_r（ｎ）、ΔＶ_r（ｎ）を得る。一方、第１復元部３００は、圧縮されたビットストリームがＲ−Ｇ−Ｂ映像であれば、復元された予測誤差映像ΔＧ_r（ｎ）、ΔＢ′_r（ｎ）、ΔＲ′_r（ｎ）を得る。

映像情報把握部３１０は、圧縮されたビットストリームがＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、圧縮されたビットストリームの色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する。以下の説明では、基準色成分をＧ成分と仮定する。

圧縮されたビットストリームがＹ−Ｃｂ−Ｃｒ映像であるか、またはＲ−Ｇ−Ｂ映像の基準色成分（Ｇ成分）であれば、第１復元部３００によって復元された予測誤差映像が動き推定部３３０の入力に使われる予測誤差映像ΔＦ_r（ｎ）となる。

第２復元部３２０は、圧縮されたビットストリームがＲ−Ｇ−Ｂ映像のＢ成分またはＲ成分（すなわち、基準色成分以外の成分）であれば、Ｇ成分の予測誤差映像ΔＧ_r（ｎ）をＲ成分およびＢ成分の予測誤差映像復元のためのインタープレーン予測のために保存する。

一方、第２復元部３２０は、Ｒ成分およびＢ成分の予測誤差映像ΔＢ′_r（ｎ）およびΔＲ′_r（ｎ）をＧ成分の復元された予測誤差映像ΔＧ_r（ｎ）を利用して復元した予測誤差映像ΔＢ_r（ｎ）およびΔＲ_r（ｎ）を得る。Ｒ成分およびＢ成分の場合、その値（ΔＢ_r（ｎ）およびΔＲ_r（ｎ））がΔＦ_r（ｎ）となる。

第２復元部３２０は、ビットストリームがビデオ符号化装置（図１Ａ、図１Ｂ参照）でインタープレーン予測を利用して符号化された場合には、動き推定部３３０のＭＣ（Motion Comparator）３３２による先行映像Ｆ_r（ｎ−１）３５０のインタープレーン予測値と第１復元部３００による予測誤差映像とを加算してＲ−Ｇ−ＢあるいはＹ−Ｃｂ−Ｃｒ映像の各成分の復元された値を得る。一方、第２復元部３２０は、ビットストリームがイントラプレーン予測を利用して符号化された場合には、動き推定部３３０のＳＰ（Spatial Predictor）３３４によるイントラプレーン予測値と第１復元部３００による予測誤差映像とを加算してＲ−Ｇ−ＢあるいはＹ−Ｃｂ−Ｃｒ映像の各成分の復元された値を得る。ここで、動き推定部３３０のＭＣ３３２によるインタープレーン予測は、Ｙ−Ｃｂ−Ｃｒ（あるいは、Ｙ−Ｕ−Ｖ）映像とＲ−Ｇ−Ｂ映像との各成分によって動き補償するときに使用する補間方法を異にする。これについての詳細は、図４ないし図９を参照して後述する。第２復元部３２０によって復元された値は、ブロック効果を低減するデブロッキングフィルタ３４０を経て各色成分の復元映像Ｆ_r（ｎ）３５２（すなわち、前記ビットストリームとしての符号化映像に対する復号化映像）となる。

デブロッキングフィルタ３４０は、Ｙ−Ｃｂ−Ｃｒ（あるいは、Ｙ−Ｕ−Ｖ）映像とＲ−Ｇ−Ｂ映像との各成分によって、ブロックの境界領域で使用するフィルタタップの長さを異にする。これについての詳細は、図１０および図１１を参照して後述する。

図３Ｂは、本発明によるビデオ復号化方法の一実施例を示すフローチャートである。

図３Ａおよび３Ｂを参照して、本発明によるビデオ復号化方法の一実施例を説明する。まず、第１復元部３００は、ビットストリームから第１予測誤差映像を算出する（Ｓ３５０）。そして、映像情報把握部３１０は、ビットストリームがＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、ビットストリームの色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する（Ｓ３５５）。

第２復元部３２０は、ビットストリームがＲ−Ｇ−Ｂ映像であり、ビットストリームの色成分がＲ−Ｇ−Ｂ映像の基準色（Ｇ）成分以外の成分（Ｒ、Ｂ成分）であれば、第１復元部３００によって算出された第１予測誤差映像を基準色（Ｇ）成分の第１予測誤差映像を利用して予測し、第２予測誤差映像を得る（Ｓ３６０）。

第２復元部３２０は、第１予測誤差映像および第２予測誤差映像を、動き推定部３３０の先行映像に対する動き予測結果と加算して、復元された映像（前記符号化映像に対する復号化映像）を獲得する（Ｓ３６５）。デブロッキングフィルタ３４０は、復元された映像のブロック効果を減少させ、最終復元された映像Ｆ_r（ｎ）３５２を得る（Ｓ３７０）。

図４は、本発明による動き補償装置の一実施例の構成を示す図面である。

図４に示すように、本発明による動き補償装置１０３，３３２は、映像情報把握部（図示せず）と、フィルタタップ選択部４００と、長いフィルタタップ補間部４１０と、短いフィルタタップ補間部４２０と、動き補償部（Motion Compensator：ＭＣ）４３０とにより構成される。

Ｒ−Ｇ−Ｂ映像は、Ｒ、Ｇ、Ｂの各成分間の周波数特性が類似しているが、Ｙ−Ｃｂ−Ｃｒ映像は、Ｌｕｍａ成分であるＹ成分とＣｈｒｏｍａ成分であるＣｂ成分およびＣｒ成分との周波数特性が異なる。そして、Ｙ−Ｃｂ−Ｃｒ映像では、一般に、Ｃｈｒｏｍａ成分はＬｕｍａ成分に比べて低周波成分が多く、相関度も大きい。図４は、このような映像の色成分によって異なる方法により先行フレームを利用した動き予測を行う、動き補償装置の構成を示すブロック図である。

映像情報把握部（図示せず）は、入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、入力映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する。一般に、Ｒ−Ｇ−Ｂ映像の基準色成分はＧ成分である。

フィルタタップ選択部４００は、映像情報把握部（図示せず）から受信した入力映像の色成分情報４０２に基づき、長いフィルタタップ補間部４１０または短いフィルタタップ補間部４２０を選択する。すなわち、フィルタタップ選択部４００は、入力映像のそれぞれの色成分に基づいて最適の動き推定のためのフィルタタップを選択する。長いフィルタタップは一般に６タップフィルタであり、短いフィルタタップは２タップフィルタである。

例えば、フィルタタップ選択部４００は、入力映像がＹ−Ｃｂ−Ｃｒ映像であるか、または入力映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分以外の成分であれば、６タップフィルタ補間部を選択し、入力映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であれば、２タップフィルタ補間部を選択する。

補間部４１０，４２０は、フィルタタップ選択部４００によって選択されると、動き補償のために入力映像を補間する。このとき、それぞれの補間部４１０，４２０は、先行フレームの動きベクトル４１２に基づいて入力映像を補間する。

例えば、補間部４１０，４２０は、それぞれ、６タップフィルタの補間部４１０と双一次補間する補間部４２０とにより構成することができる。この場合、フィルタタップ選択部４００によって６タップフィルタの補間部４１０が選択されれば、６タップフィルタの補間部４１０は入力映像を補間する。

補間部４１０，４２０によって補間された入力映像は、ＭＣ４３０によって動き補償される。

図５は、本発明による動き補償方法の一実施例を示すフローチャートである。以下、図４の装置構成ブロック図と図５のフローチャートを参照しつつ、入力映像の色成分による動き補償方法について説明する。

図４および図５に示すように、フィルタタップ選択部４００は、映像情報把握部（図示せず）から受信した色情報に基づいてフィルタタップを選択する（Ｓ５００）。もし、入力映像の色成分がＲ−Ｇ−Ｂ成分であれば（Ｓ５１０）、フィルタタップ選択部４００はＲ−Ｇ−Ｂ映像の各成分に対して同じ補間方法を選択する（Ｓ５２０）。例えば、フィルタタップ選択部４００は、Ｒ−Ｇ−Ｂ各成分のすべてに対して同じように、すなわち、すべてに長いフィルタタップ補間部４１０を選択して適用するか、すべてに短いフィルタタップ補間部４２０を選択して適用する。

入力映像の色成分がＲ−Ｇ−Ｂ成分ではなく、Ｙ−Ｃｂ−Ｃｒ成分であれば、映像情報把握部（図示せず）は、入力映像の色成分がＹ成分（Ｌｕｍａ）であるか否かを判断する（Ｓ５３０）。もし、入力映像の色成分がＬｕｍａ成分であれば、フィルタタップ選択部４００は、入力映像が長いタップのフィルタを通じて補間されるように長いフィルタタップを有する補間部４１０を選択する（Ｓ５４０）。もし、入力映像の色成分がＣｈｒｏｍａ成分（Ｃｂ，Ｃｒ）であれば、フィルタタップ選択部４００は短いフィルタタップ補間部４２０を選択する（Ｓ５５０）。

このようにフィルタタップの長さを入力映像の色成分ごとに異ならしめる理由は、入力映像の色成分に高周波成分が多ければ、周囲に多くの画素を使用する長いフィルタタップ補間方法が高周波成分をよく復元する可能性が大きいためである。一方、低周波成分が多ければ、周囲に少ない画素を使用する短いフィルタタップが、長いフィルタタップと性能において差がなく、複雑度の面ではかえって有利である。

図６は、本発明による動き補償装置の他の実施例の構成を示すブロック図である。

図６に示すように、本発明による動き補償装置１０３，３３２は、映像情報把握部（図示せず）と、フィルタタップ選択部６００と、長いフィルタタップ補間部６１０と、短いフィルタタップ補間部６２０と、動き補償部（Motion Compensator：ＭＣ）６３０とにより構成される。

映像の色成分６０２だけでなく、映像のサイズあるいは解像度情報６０４も周波数特性に影響を及ぼす。図６を参照して、色情報以外に映像の解像度情報に基づき異なる動き補償方法を採用する動き補償装置について説明する。

映像情報把握部（図示せず）は、入力映像の色成分および解像度情報を把握する。具体的に、映像情報把握部（図示せず）は、入力映像が高解像度であるか低解像度であるかを把握し、入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、入力映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを把握する。

フィルタタップ選択部６００は、映像情報把握部（図示せず）によって把握された入力映像の色情報および解像度情報によってフィルタタップの長さを選択する。具体的に、フィルタタップ選択部６００は、入力映像が高解像度映像であるか、または入力映像の色成分がＹ−Ｃｂ−Ｃｒ映像のＬｕｍａ（Ｙ）成分以外の成分であれば、短いタップのフィルタを選択する。そして、フィルタタップ選択部６００は、入力映像が低解像度映像であるか、入力映像がＲ−Ｇ−Ｂ映像であるか、入力映像の色成分がＹ−Ｃｂ−Ｃｒ映像のＬｕｍａ（Ｙ）成分であれば、長いタップのフィルタを選択する。一般に、長いフィルタタップは６タップフィルタであり、短いフィルタタップは２タップフィルタである。

補間部６１０，６２０は、長いフィルタタップを使用する補間部６１０および短いフィルタタップを使用する補間部６２０により構成され、先行フレームの動き情報（Motion Vector：ＭＶ）に相当する映像情報を補間する。

ＭＣ ６３０は、補間部によって補間された入力映像を動き補償する。

図７は、本発明による動き補償方法の他の実施例を示すフローチャートであって、色成分および解像度情報を利用して動き補償を行う方法を表す。

図６および図７を参照して色成分および解像度情報を利用した動き補償方法について説明する。まず、映像情報把握部（図示せず）は、入力映像の映像サイズ情報を入力されて（Ｓ７００）、入力映像が高解像度映像であるか否かを判断する（Ｓ７１０）。本発明で、高解像度はＨＤ（High Definition）解像度である１２８０×７２０映像サイズを基準として、これより大きい映像を意味する。この基準となる値は、適用される環境と応用とによって変わる。

もし、入力映像が高解像度映像であれば、フィルタタップ選択部６００は、短いフィルタタップを使用する補間部を選択する（Ｓ７５０）。これは、高解像度映像の場合、低周波成分が多く含まれていて、敢えて長いフィルタタップを使用しなくてもよいためである。高解像度映像の場合、実際映像の小さな領域を多数の画素で表示するため、画素間の変化程度が小さい。この場合、長いフィルタタップと短いフィルタタップ間にビデオ品質の差が小さいので、複雑度を考慮して、フィルタタップ選択部６００は短いフィルタタップ補間部６２０を選択する。

もし、入力映像が低解像度映像であれば、映像情報把握部（図示せず）は、色情報を入力されて（Ｓ７００）、入力映像がＲ−Ｇ−Ｂ成分であるか否かを判断する（Ｓ７２０）。もし、入力映像の色成分がＲ−Ｇ−Ｂ成分であれば（Ｓ７３０）、フィルタタップ選択部６００は、各成分すべてに対して長いタップのフィルタを使用して補間するように長いフィルタタップ補間部６１０を選択する（Ｓ７４０）。もし、入力映像の色成分がＲ−Ｇ−Ｂ成分ではなく、Ｙ−Ｃｂ−Ｃｒ成分であれば、映像情報把握部（図示せず）は、Ｙ（Ｌｕｍａ）成分であるか否かを判断する（Ｓ７３０）。もし、入力映像の色成分がＬｕｍａ成分であれば、フィルタタップ選択部６００は長いタップのフィルタを選択する（Ｓ７４０）。もし、入力映像の色成分がＣｈｒｏｍａ成分であれば、フィルタタップ選択部６００は短いタップのフィルタを選択する（Ｓ７５０）。

図８は、動き補償のために先行フレームの映像を垂直／水平方向にそれぞれ４倍ずつ補間する場合に、６タップフィルタを使用した例を示す図面である。

６タップフィルタは、ＭＰＥＧ−４のＡＶＣ／Ｈ.２６４で使用する方式である。図８で、先行フレームの画素ＡからＵまで与えられた時、１／４あるいは１／２解像度の画素ａからｓを、次のような方式で求める。

まず、垂直あるいは水平方向に１／２解像度の位置にあるｂおよびｈは、周囲の６つの画素を利用して、次のように補間する（数式１０、数式１１のｂ１およびｈ１は、それぞれｂおよびｈを求めるための中間結果である）。

ここで、Ｃｌｉｐ１（ｘ）は、ｘを映像画素のビット範囲内へ切断（クリップ）することを意味する。もし、８ビット映像であれば、Ｃｌｉｐ１（ｘ）は、ｘが０より小さければ０とし、２５５より大きければ２５５とし、その他の値であればその値をそのまま維持させる。補間に使用したフィルタタップは、比較的周囲の画素を多く利用した６タップフィルタ（１，−５，２０，２０，−５，１）である。

垂直および水平方向に１／２解像度の位置にあるｊ画素は、以前に復元された垂直あるいは水平方向の１／２解像度にある周囲の画素を利用して、次の数式１４および数式１５のように補間する。

ここで、周囲画素ｃｃ、ｄｄ、ｈ１、ｍ１、ｅｅ、ｆｆあるいはａａ、ｂｂ、ｂ、ｓ１、ｇｇ、ｈｈは、前記数式１０および数式１１と同様に、６タップフィルタを使用して補間した中間結果である。

１／２解像度の最後の値であるｓおよびｍは、前記数式１２および数式１３によってｓ１およびｍ１から復元される。

１／４解像度の位置にあるａ、ｃ、ｄ、ｎ、ｆ、ｉ、ｋ、ｑは、二つの垂直あるいは水平方向に隣接した画素の平均によって、次のように求める。

１／４解像度の位置にあるｅ、ｇ、ｐ、ｒは、二つの対角線方向に隣接した画素の平均によって、次のように求める。

図９は、動き補償するために先行フレームの映像を垂直／水平方向にそれぞれ４倍ずつ補間する時、短いフィルタタップの一例として双一次補間方法を使用した例である。この双一次補間方法は、ＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４で使用する方式である。

先行フレームの画素Ａ、Ｂ、Ｃ、Ｄで１／４あるいは１／２の解像度の画素ａを次のように求める。

ここで、ｄｘはａがＡあるいはＣから水平方向に離れた距離を１／４解像度で表示した値である。そして、ｄｙはａがＡあるいはＢから垂直方向に離れた距離を１／４解像度で表示した値である。

図９を参照すれば、双一次補間方法は、図７に示す方法と異なり、使用する周囲の画素が比較的少なく、補間する値と近接した距離の周囲値を用いるものであることがわかる。

図１０は、本発明による色成分特性を利用したデブロッキングフィルタの一実施例の構成を示すブロック図である。動き補償だけでなく、映像復元後に発生するブロック効果を低減するためのデブロッキングフィルタにも映像の色成分特性を利用する。図１０を参照して、このような映像の色成分によって異なるデブロッキングフィルタ適用方法を採用するデブロッキングフィルタの一実施例について説明する。

図１０に示すように、デブロッキングフィルタ１６０，３４０は、映像情報把握部（図示せず）と、デブロッキングフィルタ選択部１０００と、フィルタリング部（長いタップのデブロッキングフィルタ１０１０，短いタップのデブロッキングフィルタ１０２０）とにより構成される。

映像情報把握部（図示せず）は、入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、入力映像の色成分がＹ−Ｃｂ−Ｃｒ映像のＬｕｍａ（Ｙ）成分であるか否かを把握する。

デブロッキングフィルタ選択部１０００は、入力映像の色成分に基づいて相異なる長さのフィルタタップより構成されたデブロッキングフィルタ１０１０，１０２０のうち何れか一つのデブロッキングフィルタを選択する。例えば、デブロッキングフィルタ選択部１０００は、入力映像がＲ−Ｇ−Ｂ映像であるか、または入力映像の色成分がＹ−Ｇｂ−Ｇ_r映像のＬｕｍａ（Ｙ）成分であれば、長いタップのデブロッキングフィルタ１０１０を選択する。そして、デブロッキングフィルタ選択部１０００は、入力映像がＹ−Ｃｂ−Ｃｒ映像のＣｈｒｏｍａ（Ｃｂ，Ｃｒ）成分であれば、短いタップのデブロッキングフィルタ１０２０を選択する。

フィルタリング部１０１０，１０２０はそれぞれ異なる長さのタップのデブロッキングフィルタより構成され、デブロッキングフィルタ選択部１０００によって選択されたデブロッキングフィルタ１０１０，１０２０を利用して入力映像をフィルタリングする。

フィルタリング部１０１０，１０２０は、ブロック単位の符号化モードと、ＣＢＰ（Coded Block Pattern）と、先行フレームの動き情報（ＭＶ，ＭＣ）のための参照映像番号と、インターレース映像である場合のフィールド情報とによってフィルタリング適用の有無を決定して最終的に映像のブロック効果を取り除く。

図１１は、入力映像の色成分によってデブロッキングフィルタタップを選択する方法を示すフローチャートである。

図１０および図１１を参照して説明すれば、デブロッキングフィルタ選択部１０００は、映像情報把握部（図示せず）から色情報を入力されて（Ｓ１１００）、入力映像の色成分がＲ−Ｇ−Ｂ成分であるか否かを判断する（Ｓ１１１０）。もし、入力映像がＲ−Ｇ−Ｂ成分であれば、デブロッキングフィルタ選択部１０００は、各成分に対して同じ方式のフィルタタップ係数を選択する（Ｓ１１３０）。一般に、長いタップのフィルタを選択する。もし、Ｒ−Ｇ−Ｂ成分ではなく、Ｙ−Ｃｂ−Ｃｒ（Ｙ−Ｕ−Ｖ）成分であれば、映像情報把握部（図示せず）は、入力映像の色成分がＹ成分（Ｌｕｍａ）であるか否かを判断する（Ｓ１１２０）。もし、入力映像の色成分がＬｕｍａ（Ｙ）成分であれば、デブロッキングフィルタ選択部１０００は長いフィルタタップ１０１０を選択する（Ｓ１１４０）。もし、Ｃｈｒｏｍａ成分であれば、フィルタタップ選択部１０００は短いフィルタタップ１０２０を選択する（Ｓ１１５０）。

図１２は、１６×１６マクロブロック内でブロック効果を減らすためにデブロッキングフィルタが適用される垂直／水平方向の境界を示す図面である。

マクロブロック内で１６個の４×４ブロックに分けられ、それぞれ符号化されるので、ブロック効果は、この４×４ブロック境界から発生する。図１２Ａに示すように、まず、垂直境界１２０１，１２０２，１２０３，１２０４に対してデブロッキングフィルタが適用される。次いで、図１２Ｂに示すように、水平境界１２０５，１２０６，１２０７，１２０８に対してデブロッキングフィルタが適用される。

図１３は、４×４ブロックの垂直／水平境界でデブロッキングフィルタに適用する時に利用される係数を表す図面である。

垂直境界の場合、図１３Ａのように、ｐ０、ｐ１、ｐ２、ｐ３、ｑ０、ｑ１、ｑ２、ｑ３画素値およびフィルタタップを使用してブロック効果を減らすようにｐ０、ｐ１、ｐ２、ｑ０、ｑ１、ｑ２の画素値を変える。図１３Ｂは、水平境界でデブロッキングフィルタに適用される画素を表す。

４×４ブロックごとに損失の程度が異なるので、フィルタ係数が変わり、フィルタ適用如何も決定しなければならない。このために、図１０のようにブロック単位の符号化モードと、ＣＢＰと、先行フレームの動き情報ＭＶ、ＭＣのための参照映像番号と、インターレース映像である場合のフィールド情報とを利用して既定の臨界値を利用してデブロッキングフィルタ適用如何、フィルタ係数の長さなどを決定する。基本的なフィルタリング方法は、ＭＰＥＧ−４ ＡＶＣ／Ｈ.２６４で使用する方式を使用した。４×４ブロックにフィルタ適用如何を決定するための値ｆｉｌｔｅｒＦｌａｇは、次のように決定される。

ここで、ｆｉｌｔｅｒＦｌａｇが１である場合にだけデブロッキングフィルタを適用する。αとβとは量子化値が大きくなれば、値が大きくなり、周囲画素の変化量によってデブロッキングフィルタの適用を決定する臨界値である。Ｂｓ（フィルタ強度）は、デブロッキングフィルタを適用する場合、フィルタを通じて何れの画素情報まで値を変化させるかを表す値である。０から４の値を有し、０である場合、フィルタを適用せずに１から４へ行くほどフィルタの係数を長くし、ｐ０、ｐ１、ｐ２、ｐ３、ｑ０、ｑ１、ｑ２、ｑ３のうち多数の画素がブロック効果を減らすようにその値が変わる。また、１から４へ行くほど、大きい値が変わりうる。

まず、色成分がＲ−Ｇ−Ｂ成分であるか、またはＹ−Ｃｂ−Ｃｒ映像のＹ成分である場合、適用される長いタップ係数フィルタは、次のように数式２０ないし数式２９を使用して定義できる。

Ｂｓが４以下であれば、境界に最も近接したｐ０およびｑ０は、その値が次のようにｐ′０およびｑ′０に変わる。

ここで、Ｃｌｉｐ３（ｍｉｎ，ｍａｘ，ｘ）は、ｘを最小値ｍｉｎと最大値ｍａｘ間に位置させる。Ｃｌｉｐ１（ｘ）は、数式１２でのＣｌｉｐ１（ｘ）と意味が同じである。ｔｃは、画素が所定値以上か以下には値を有しないようにする臨界値である。ここで、Ｂｓが大きければ、ｔｃも大きい値を有するようになって画素の変化程度が大きくなる。

ｐ１およびｑ１の場合に、フィルタリング如何を決定するために、次の値を定義する。

ｐ１は、ａｐがβより小さければ、次のようにｐ′１に変わり、そうでなければ、変わらない。

ｑ１は、ａｑがβより小さければ、次のようにｑ′１に変わり、そうでなければ、変わらない。

Ｂｓが４であれば、まず、フィルタ係数の長さを決定するためのＴｐおよびＴｑの値を次のように定義する。

もし、Ｔｐが１であれば、ｐ０、ｐ１、ｐ２は、次のようにフィルタ係数を長くしてｐ′０、ｐ′１、ｐ′２に変わる。

そうではなく、Ｔｐが０であれば、次のようにｐ０だけがフィルタ係数を短くしてｐ′０に変わる。

もし、Ｔｑが１であれば、ｑ０、ｑ１、ｑ２は、次のようにフィルタ係数を長くしてｑ′０、ｑ′１、ｑ′２に変わる。

そうではなく、Ｔｑが０であれば、次のようにｑ０だけがフィルタ係数を短くしてｐ′０に変わる。

Ｙ−Ｃｂ−Ｃｒ映像のうち色成分がＣｂやＣｒであれば、短いタップフィルタ係数を利用して次のように定義できる。まず、Ｂｓが４以下であれば、ｐ０およびｑ０は、数式２１のようにそれぞれｐ′０およびｑ′０となる。Ｒ−Ｇ−Ｂ映像およびＹ成分と違って、ｐ１およびｑ１はその値が変わらない。Ｂｓが４であれば、ｐ０およびｑ０の値だけが数式２７および数式２９を利用してｐ′０およびｑ′０となる。Ｒ−Ｇ−Ｂ映像およびＹ成分と違って、ｐ１およびｑ１はその値が変わらない。

図１４は、Ｒ−Ｇ−Ｂ映像が入力映像である場合に、本発明によるインタープレーン予測による結果を示す図面である。言い換えれば、図１４は、本発明でのインタープレーン予測を使用した場合とそうではない場合とに対して比較した結果である。

使用した入力映像は、１２８０×７２０サイズのＣＲＥＷ映像であり、これに対する結果を４個所のビット率でＰＳＮＲと表示した。図１４Ａは、空間上の予測だけを使用したイントラモードだけを使用したものであって、図１４Ｂは、時／空間上の予測を何れも使用した結果である。図示されたように、同じビット率で３〜４ｄＢ以上の利得が発生することがわかる。

図１５Ａは、入力映像としてＲ−Ｇ−Ｂ映像を使用した時、動き補償のために６タップフィルタを使用した場合（ＭＣ＿ＬＬ）とＧ成分の場合とは６タップフィルタ、Ｒ−Ｂ成分の場合は双一次フィルタを使用した場合（ＭＣ＿ＬＣ）を６４０×３５２ Ｈａｒｂｏｕｒ映像に対して比較した結果である。

本発明のＭＣ＿ＬＬ方式が同じビット率でＰＳＮＲ利得が発生することがわかる。

図１５Ｂは、入力映像としてＹ−Ｃｂ−Ｃｒ映像を使用した時、動き補償のためにＹ成分の場合は６タップフィルタを使用し、Ｃｂ−Ｃｒ成分の場合は双一次を使用した場合（ＭＣ＿ＬＣ）とＹ−Ｃｂ−Ｃｒ何れも６タップフィルタを使用した場合（ＭＣ＿ＬＬ）とを６４０×３５２ Ｈａｒｂｏｕｒ映像に対して比較した結果を表す。図１５Ｂを参照すれば、本発明により、Ｙ−Ｃｂ−Ｃｒそれぞれの成分に対してモード同じビット率でＰＳＮＲが改善されることがわかる。

本発明はまた、コンピュータ可読記録媒体にコンピュータ可読コードとして具現可能である。コンピュータ可読記録媒体は、コンピュータシステムによって読取られるデータが保存される全ての種類の記録装置を含む。コンピュータ可読記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ保存装置などがあり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）状に具現されるものも含む。また、コンピュータ可読記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードが保存されかつ実行されうる。

以上、本発明についてその望ましい実施例を中心に説明した。当業者は、本発明の本質的な特性から外れない範囲で変形された形態に具現できることがわかる。したがって、開示された実施例を限定的な観点ではなく、説明的な観点で考慮しなければならない。本発明の範囲は、特許請求の範囲内にあらわれており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されなくてはならない。

本発明は、映像を圧縮して保存するビデオレコーダ、ＤＶＤ、カムコーダ、デジタルＴＶなどに適用して映像を効率的に圧縮、復元できる。

本発明によるビデオ符号化装置の一実施例の構成を示すブロック図である。 本発明によるビデオ符号化装置の一実施例の構成を示すブロック図である。 本発明によるビデオ符号化方法の一実施例を示すフローチャートである。 本発明によるビデオ復号化装置の一実施例の構成を示すブロック図である。 本発明によるビデオ復号化方法の一実施例を示すフローチャートである。 映像の色情報による動き補償装置の一実施例の構成を示すブロック図である。 映像の色情報による動き補償方法の一実施例を示すフローチャートである。 映像の色情報および解像度情報による動き補償装置の一実施例の構成を示すブロック図である。 映像の色情報および解像度情報による動き補償方法の一実施例を示すフローチャートである。 長いフィルタタップを利用した補間方法を示す図面である。 短いフィルタタップを利用した補間方法を示す図面である。 映像の色情報によるデブロッキングフィルタの構成を示すブロック図である。 映像の色情報によるデブロッキングフィルタ選択方法の一実施例を示すフローチャートである。 デブロッキングフィルタが適用されるマクロブロックの垂直／水平境界を示す図面である。 デブロッキングフィルタが適用されるマクロブロックの垂直／水平境界を示す図面である。 ４×４ブロックの垂直／水平境界の映像サンプルを示す図面である。 ４×４ブロックの垂直／水平境界の映像サンプルを示す図面である。 本発明によるインタープレーン予測符号化実施例の結果を示す図面である。 本発明によるインタープレーン予測符号化実施例の結果を示す図面である。 本発明による動き補償装置を利用した符号化実施例の結果を示す図面である。 本発明による動き補償装置を利用した符号化実施例の結果を示す図面である。

符号の説明

１００ 第１動き予測部
１０１ インタープレーン予測部
１０２ ＭＥ
１０３ ＭＣ
１０４ イントラプレーン予測部
１０５ ＳＥ
１０６ ＳＰ
１０７ 予測誤差算出部
１１０ 映像情報把握部
１２０ 第２動き予測部
１２２ 誤差予測部
１２４ 予測誤差映像
１３０ 符号化部
１３２ 離散コサイン変換（または離散整数変換）
１３４ 量子化
１３６ エントロピー符号化
１４０ 第１復元部
１４２ Ｔ^-1
１４４ Ｑ^-1
１５０ 第２復元部
１５２ 誤差補償部
１６０ デブロッキングフィルタ
１７０ Ｆ（ｎ）
１７２ Ｆ_r（ｎ−１）
１７４ Ｆ_r（ｎ）
１８０ ΔＦ_n（ｎ）

Claims (22)

1. 入力映像の第１動き予測結果に基づいて前記入力映像に対する第１予測誤差映像を算出する第１動き予測部と、
   Ｒ−Ｇ−Ｂ映像の色成分のうち所定の色成分を基準色成分と設定し、前記入力映像がＹ−Ｃｂ−Ｃｒ映像であるか前記Ｒ−Ｇ−Ｂ映像であるかを判定し、前記入力映像の色成分が前記基準色成分であるか否かを判定する映像情報判定部と、
   前記入力映像が前記Ｒ−Ｇ−Ｂ映像であり、前記入力映像の色成分が前記基準色成分以外の色成分であると判定された場合、前記基準色成分に基づいて前記基準色成分以外の色成分の前記第１予測誤差映像に対するインタープレーン予測であって、前記入力映像と前記入力映像に時間的に隣接する先行復元映像とを利用したインタープレーン予測を行って第２予測誤差映像を算出する第２動き予測部と、
   を含むことを特徴とするビデオ符号化装置。
2. 前記第１予測誤差映像及び第２予測誤差映像を符号化する符号化部を更に含む、
   ことを特徴とする請求項１記載のビデオ符号化装置。
3. 前記符号化部は、前記第１予測誤差映像及び第２予測誤差映像を離散コサイン変換又は離散整数変換し、量子化し、エントロピー符号化する、
   ことを特徴とする請求項２記載のビデオ符号化装置。
4. 前記Ｒ−Ｇ−Ｂ映像の基準色成分はＧ成分である、
   ことを特徴とする請求項１記載のビデオ符号化装置。
5. 前記第２動き予測部は、符号化された後に復号化された前記基準色成分の第１予測誤差映像に基づいて前記入力映像の第１予測誤差映像に対する動き予測を行って第２予測誤差映像を算出する、
   ことを特徴とする請求項１記載のビデオ符号化装置。
6. 前記第２動き予測部は、前記基準色成分の第１予測誤差映像の線形変換値と前記入力映像の第１予測誤差映像との差に基づいて第２予測誤差映像を算出する、
   ことを特徴とする請求項５記載のビデオ符号化装置。
7. 前記基準色成分は、前記入力映像の入力前に入力されて符号化された後に復号化される、
   ことを特徴とする請求項１、５、６のうち何れか記載のビデオ符号化装置。
8. 前記第１動き予測部は、
   前記入力映像と時間的に隣接した以前の復元映像を利用して前記入力映像の動きを予測するインタープレーン予測部と、
   前記入力映像と空間的に隣接した符号化単位ブロックを利用して前記入力映像の動きを予測するイントラプレーン予測部と、
   前記インタープレーン予測部又は前記イントラプレーン予測部の予測結果を選択し、前記選択された予測結果と前記入力映像との差に基づいて前記第１予測誤差映像を算出する予測誤差算出部とを含む、
   ことを特徴とする請求項１記載のビデオ符号化装置。
9. 前記予測誤差算出部は、最初の入力映像に対しては前記イントラプレーン予測部の予測結果を選択し、前記最初の入力映像以後に入力される入力映像に対しては前記インタープレーン予測部の予測結果を選択する、
   ことを特徴とする請求項８記載のビデオ符号化装置。
10. 入力映像の第１動き予測結果に基づいて前記入力映像に対する第１予測誤差映像を算出する段階と、
    Ｒ−Ｇ−Ｂ映像の色成分のうち所定の色成分を基準色成分と設定し、前記入力映像がＹ−Ｃｂ−Ｃｒ映像であるか前記Ｒ−Ｇ−Ｂ映像であるかを判定し、前記入力映像の色成分が前記基準色成分であるか否かを判定する段階と、
    前記入力映像が前記Ｒ−Ｇ−Ｂ映像であり、且つ前記入力映像の色成分が前記基準色成分以外の色成分であると判定された場合、前記基準色成分に基づいて前記基準色成分以外の色成分の前記第１予測誤差映像に対するインタープレーン予測であって、前記入力映像と前記入力映像に時間的に隣接する先行復元映像とを利用したインタープレーン予測を行って第２予測誤差映像を算出する段階と、
    を含むことを特徴とするビデオ符号化方法。
11. 前記第１予測誤差映像及び第２予測誤差映像を、離散コサイン変換又は離散整数変換し、量子化し、エントロピー符号化する段階を更に含む、
    ことを特徴とする請求項１０記載のビデオ符号化方法。
12. 前記第２予測誤差映像算出段階は、符号化された後に復号化された前記基準色成分の第１予測誤差映像に基づいて前記入力映像の第１符号化予測誤差映像に対する動き予測を行って第２予測誤差映像を算出する段階を含む、
    ことを特徴とする請求項１０記載のビデオ符号化方法。
13. 前記第２予測誤差映像算出段階は、前記基準色成分の第１予測誤差映像の線形変換値と前記入力映像の第１予測誤差映像との差に基づいて第２予測誤差映像を算出する段階を含む、
    ことを特徴とする請求項１０記載のビデオ符号化方法。
14. 前記第１予測誤差映像算出段階は、
    前記入力映像と時間的に隣接した以前の復元映像を利用して前記入力映像の動きを予測する段階と、
    前記予測結果と前記入力映像との差に基づいて前記第１予測誤差映像を算出する段階とを含む、
    ことを特徴とする請求項１０記載のビデオ符号化方法。
15. 符号化映像に所定の演算を行って前記符号化映像から復元された第１予測誤差映像を算出する第１復元部と、
    前記符号化映像がＲ−Ｇ−Ｂ映像であるかＹ−Ｃｂ−Ｃｒ映像であるかを判定し、前記符号化映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを判定する映像情報判定部と、
    前記符号化映像が前記Ｒ−Ｇ−Ｂ映像であり、前記符号化映像の色成分が前記基準色成分以外の色成分であると判定された場合、前記基準色成分に基づいて前記基準色成分以外の色成分の第１予測誤差映像に対するインタープレーン予測であって、前記符号化映像が復元された映像と前記符号化映像が復元された映像に時間的に隣接する先行復元映像とを利用したインタープレーン予測を施すことで前記符号化映像から復元された第２予測誤差映像を算出する第２復元部と、
    前記第１予測誤差映像及び第２予測誤差映像に基づいて復元された前記符号化映像に対する復号化映像のブロック効果を減少させるデブロッキングフィルタと、
    を含むことを特徴とするビデオ復号化装置。
16. 前記第１復元部は、前記符号化映像に対してエントロピー復号化、逆量子化、逆離散整数変換を行って前記第１予測誤差映像を算出する、
    ことを特徴とする請求項１５記載のビデオ復号化装置。
17. 前記デブロッキングフィルタは、前記符号化映像がＲ−Ｇ−Ｂ映像であるか又は前記符号化映像の色成分がＹ成分である場合には、６タップのデブロッキングフィルタであり、前記符号化映像の色成分がＣｂ成分又はＣｒ色成分である場合には、２タップのデブロッキングフィルタである、
    ことを特徴とする請求項１５記載のビデオ復号化装置。
18. 符号化映像に所定の演算を行って前記符号化映像から復元された第１予測誤差映像を算出する段階と、
    前記符号化映像がＲ−Ｇ−Ｂ映像であるかＹ−Ｃｂ−Ｃｒ映像であるかを判定し、前記符号化映像の色成分がＲ−Ｇ−Ｂ映像の基準色成分であるか否かを判定する段階と、
    前記符号化映像が前記Ｒ−Ｇ−Ｂ映像であり、前記符号化映像の色成分が前記基準色成分以外の色成分であると判定された場合、前記基準色成分に基づいて前記基準色成分以外の色成分の第１予測誤差映像に対するインタープレーン予測であって、前記符号化映像が復元された映像と前記符号化映像が復元された映像に時間的に隣接する先行復元映像とを利用したインタープレーン予測を施すことで前記符号化映像から復元された第２予測誤差映像を算出する段階と、
    前記第１予測誤差映像及び第２予測誤差映像に基づいて復元された前記符号化映像に対する復号化映像のブロック効果を減少させる段階と、
    を含むことを特徴とするビデオ復号化方法。
19. 前記第１予測誤差映像算出段階は、前記符号化映像に対してエントロピー復号化、逆量子化、逆離散整数変換を行って前記第１予測誤差映像を算出する段階を含む、
    ことを特徴とする請求項１８記載のビデオ復号化方法。
20. 前記ブロック効果減少段階は、前記符号化映像がＲ−Ｇ−Ｂ映像であるか又は前記符号化映像の色成分がＹ成分である場合には、６タップのデブロッキングフィルタを選択し、前記符号化映像の色成分がＣｂ成分又はＣｒ色成分である場合には、２タップのデブロッキングフィルタを選択する段階を含む、
    ことを特徴とする請求項１８記載のビデオ復号化方法。
21. 請求項１０記載の方法をコンピュータで実行可能なプログラムを記録したコンピュータ読み取り可能な記録媒体。
22. 請求項１８記載の方法をコンピュータで実行可能なプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images