JP3809120B2 - インタレース走査ディジタルビデオ信号の復号化方法 - Google Patents
インタレース走査ディジタルビデオ信号の復号化方法 Download PDFInfo
- Publication number
- JP3809120B2 JP3809120B2 JP2002092178A JP2002092178A JP3809120B2 JP 3809120 B2 JP3809120 B2 JP 3809120B2 JP 2002092178 A JP2002092178 A JP 2002092178A JP 2002092178 A JP2002092178 A JP 2002092178A JP 3809120 B2 JP3809120 B2 JP 3809120B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- frame
- field
- sub
- motion compensation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、ディジタルストレージメディアまたは伝送メディアのための、インタレース走査ディジタルビデオシーケンスの効率的情報符号化に関する。
【０００２】
【従来の技術】
ビデオ信号のためのディジタル符号化方法の標準化の努力の成果は、今日活発に進歩しつつある。このような標準化の努力には、異なったビットレートにおけるさまざまなビデオ信号フォーマットのディジタル符号化の研究が含まれる。ビデオシーケンスがどのようにして記録装置により捕捉され、また表示装置上にリフレッシュされるかを定める走査技術により、ビデオシーケンスは２つの型に分類される。すなわち順次走査ビデオシーケンスと、インタレース走査ビデオシーケンスとである。順次走査ビデオシーケンスにおいては、シーケンス内のフレームは、フレームの頂部から底部まで線毎に順次捕捉されリフレッシュされる。インタレース走査ビデオシーケンスのフレームは２フィールドから成り、偶数フィールドはフレームの偶数線から形成され、奇数フィールドはフレームの奇数線から形成される。捕捉およびリフレッシュは、まず偶数フィールドにおいてフィールドの頂部から底部まで順次行なわれ、続いて奇数フィールドにおいて同様に行なわれる。現在多数の信号源はインタレース走査フォーマットのものである（例えばＮＴＳＣ、ＰＡＬ）ので、多くの研究努力はインタレース走査ビデオシーケンスの効率的符号化に対して向けられてきた。
【０００３】
従来の研究結果は３種類に分類される。すなわちフレーム符号化プロセスと、フィールド符号化プロセスと、補間フィールド符号化プロセスと、である。フレーム符号化プロセスにおいては、例えばKazuto KamikuraおよびTaikun Li著「Consideration of Bit Allocation and Distribution of Moving Image Coding for Storage Media」，DAPA Meeting Report，Fourth Telematic Symposium，Tokyo，February 1991によれば、ビデオシーケンスは基本的にはフレーム毎に符号化され、その場合偶数フィールドはインタレース的に合成される（諸フレームは順次的であるかのようにして処理される）。フレーム符号化プロセスにおいては、それぞれのフレームを画素データのブロックに区分し、その後それらを、MPEG Video Simulation Model Three，International Organization for Standardization，Coded Representation of Picture and Audio Information，1990，ISO-IEC/JTC1/SC2/WG8 MPEG90/041に説明されているように、動き補償（ＭＣ）のある、またはない、離散コサイン変換（ＤＣＴ）のようなブロック符号化方法により処理することができる。もし、フレームが、シーケンス内の他フレームと無関係に、かつ偶奇フィールドに対して異なった処理を行なうことなく、符号化されるならば、そのプロセスは、イントラフレーム符号化プロセスと呼ばれる。もし、フレームが、シーケンス内の他フレームを用いた動き補償のもとに符号化されるならば、そのプロセスはインタフレーム符号化プロセスと呼ばれる。要するに、フレーム符号化プロセスは、ビデオシーケンスが、イントラフレーム符号化プロセスのみによって、またはイントラフレームおよびインタフレーム符号化プロセスの組合せによって、符号化されるプロセスである。
【０００４】
フィールド符号化プロセスにおいては、ビデオシーケンスはまず、偶数フィールドシーケンスと奇数フィールドシーケンスとの２シーケンスに分割され、偶奇フィールドシーケンスのそれぞれは同じ符号化プロセスを受ける（例えば、Ichiro Andoh，Y．Yamada外著の論文「Some Considerations and Experiments of Interlaced Moving Image Coding」，DAPA Meeting Report，Fourth Telematic Symposium，Tokyo，February 1991参照）。フィールド符号化プロセスにおける動き補償または動き補間は、偶奇フィールドシーケンスのそれぞれとは無関係に、またはIchiro Andoh外著の論文に示されているように２シーケンスに相互依存して、行なわれうる。従って、フィールド符号化プロセスは、正にイントラフィールド符号化プロセスであるか、またはイントラフィールドおよびインタフィールド符号化プロセスの組合せである。
【０００５】
補間フィールド符号化プロセスの場合は、一方のフィールドシーケンスのみが符号化され、他方のフィールドシーケンスは符号化されたフィールドシーケンスに基づく予測または補間プロセスによって再生される。この符号化プロセスの例は、Feng-Ming WangおよびDimitris Anastassiou著の論文「High-Quality Coding of the Even Fields Based on the Odd Fields of the Interlaced Video Sequences」，IEEE Transaction on Circuits and Systems,January 1991，およびMPEG Video Simulation Model Three，International Organization for Standardization，Coded Representation of Picture and Audio Information，1990，ISO-IEC/JTC1/SC2/WG8 MPEG90/041に説明されている。
【０００６】
【発明が解決しようとする課題】
インタレース走査ビデオシーケンス内の対象物が静止を続ける時には、毎ライン上のおよび相互隣接ライン上の、隣接画素間の相関は高いので、通常の離散コサイン変換符号化方法のような一般に知られた画像圧縮方法により、フレーム符号化プロセスにおいて（線間の高相関を利用して）、フィールドまたは補間フィールド符号化プロセスと比較して、高圧縮比を達成することができる。この場合、インタフレーム動き補償も、より良い効率で行なわれうる。しかし、もしシーケンス内の対象物が動き始めれば、フィールド間の相関は低下し、従って、例えばＤＣＴ法の効率は、フィールド符号化プロセスが用いられた時の方がよくなる。さらに、この状況に動き補償が関与する時は、それぞれのフィールドに対し個々に動き補償を行なうインタフィールド符号化プロセスは、シーケンス内の対象物の動きのより良い予測を行なう利点を有する。一般に、フレーム符号化、フィールド符号化、および補間フィールド符号化のプロセスは、シーケンス内の対象物の動きが極めてダイナミックでありうる場合には、効率に関しては準最適でしかない。ビデオ符号化方式の効率の改善は、高ビットレート低減符号化方式においては特に重要である。
【０００７】
【課題を解決するための手段】
（イントラ／インタ）フレーム符号化および（イントラ／インタ）フィールド符号化プロセスを利用するためには、フレームおよびフィールド符号化プロセスのいずれを使用すべきかを判断するためにフレームのそれぞれの領域を適応的に検査する方法が考案されうる。そのようにして、フレーム内の静止領域は、フレーム内の高い空間的相関を利用して、フレーム符号化プロセスを効率的に用いることにより符号化される。また、シーケンス内の動く対象物に対応するフレーム内の領域は、それぞれのフィールド内においてこれらの領域内により良い相関が見出されるので、フィールド符号化プロセスを用いて符号化される。
【０００８】
この方法は、まず入力インタレース走査ビデオ信号のそれぞれのフレームを画素データの小ブロックに区分し、それぞれの該ブロック内の２フィールド間の画素値の差を決定し、もし該ブロック内の２フィールド間の誤差が小さいと決定されたならば該ブロックをしてフレーム符号化プロセスを受けしめ、そうでない場合は該ブロックをしてフィールド符号化プロセスを受けしめることによって行なわれうる。
【０００９】
上述の方法によれば、フィールド間における動きを有する、すなわち相関の低いフィールドを有するブロックを、フィールド間において高い空間的相関を有するブロックから分離することができ、これら２種類のブロックにおいて最良の結果を達成するためにフィールド符号化プロセスまたはフレーム符号化プロセスが最適に適用されうる。そのフレーム符号化プロセスの場合には、該ブロックは、ＤＣＴ法のような通常のブロック符号化技術を用いてイントラフレーム符号化されるか、またはインタフレーム動き補償を伴うブロック符号化技術を用いてインタフレーム符号化されうる。フィールド符号化プロセスの場合におけるように、前記ブロック内の２フィールドは、サブブロックに分けられ、通常のブロック符号化方法を用いてイントラフィールド符号化されるか、またはインタフィールド動き補償を伴ってインタフィールド符号化される。
【００１０】
【発明の実施の形態】
従来技術の動き補償（例えば、MPEG Video Simulation Model Three，International Organization for Standardization，Coded Representation of Picture and Audio Information，1990，ISO-IEC/JTC1/SC2/WG8 MPEG90/041参照）においては、インタレース走査ビデオシーケンス内の、画像とも呼ばれうるフレームは３通りに分類されうる。すなわち、（１）イントラ符号化フレーム（すなわちＩフレーム）−それぞれのフレームはそれ自身からのみの情報を用いて符号化される；（２）予測符号化フレーム（すなわちＰフレーム）−それぞれのフレームは過去のＩまたはＰフレームからの動き補償された予測を用いて符号化される；（３）２方向予測符号化フレーム（すなわちＢフレーム）−それぞれのフレームは過去および／または未来のＩまたはＰフレームからの動き補償された予測を用いて符号化される；である。図５には、シーケンス内における３種類のフレームの配置例が示されている。Ｉフレーム間にあるＰフレームの数およびＩまたはＰフレーム間にあるＢフレームの数は、必ずしもそれぞれ４および２である必要はない。シーケンスの符号化には、他の適切な数が用いられうる。例えばＢフレームはなくてもよく、あるいはＢおよびＰフレームが全くなくてもよい。
【００１１】
図１は、本発明の１実施の形態の方法を用いるインタレース走査ビデオ信号符号化装置のブロック図である。シーケンスの入力フレーム１はまずブロック区分プロセス２により画素データのブロックに区分され、それぞれの該ブロックは、ブロック内の２フィールドからの画素データ間の差を検査するインタフィールド差検出プロセス３を受ける。該インタフィールド差検出プロセスの一例においては、ブロック輝度領域の偶奇線対間の２乗誤差が計算され、その計算された結果が、同じ領域の連続する奇数線対および連続する偶数線対間において計算された２乗誤差と比較される。もし、連続する奇数線対および偶数線対間の２乗誤差に対する偶奇線対間の２乗誤差の比が、あらかじめ定められたスレッショルド値より大ならば、前記ブロック４はフィールド符号化プロセス５によって符号化され、そうでない場合は、該ブロックはフレーム符号化プロセス６によって符号化される。２つの計算された２乗誤差の比は、ブロックの活動性による多くのスレッショルドと比較されて、より良い検出が行なわれるようにされうる。１６×１６画素のブロックサイズ用の「Ｃ」プログラムプロシージャとして構成されたインタフィールド差検出プロセスの例は、次のように与えられる。
【００１２】
【表１】
【００１３】
上記「Ｃ」プログラムの例におけるブロックサイズ、スレッショルド値の１２，１８，３０、および活動値の８０００，１０００００は、もし必要ならば、他の適切な値に調節または拡張されうる。このインタフィールド差検出プロセスの結果７は、サイド情報として符号化される。
【００１４】
図２には、フレーム符号化プロセス６およびフィールド符号化プロセス５を行なう装置の実施の形態が示されている。フレーム符号化プロセスにおいては、入力ブロックは、もし入力フレームがＩフレームであれば、フレーム再構成プロセス２１、ブロック符号化プロセス２２、およびブロック復号化プロセス２３を含むイントラフレーム符号化プロセスを受け、もし入力フレームがＩフレームでなければ、インタフレーム動き補償プロセス２０、フレーム再構成プロセス２１、ブロック符号化プロセス２２、およびブロック復号化プロセス２３を含むインタフレーム符号化プロセスを受ける。同様にして、フィールド符号化プロセス５においては、入力ブロックは、もし入力フレームがＩフレームであれば、フィールド再構成プロセス２５、ブロック符号化プロセス２２、およびブロック復号化プロセス２３を含むイントラフィールド符号化プロセスを受け、そうでない場合は、インタフィールド動き補償プロセス２６、フィールド再構成プロセス２５、ブロック符号化プロセス２２、およびブロック復号化プロセス２３を含むインタフィールド符号化プロセスを受ける。フレームメモリ２８は、ブロック復号化プロセス２３の結果から再構成されたフレームを記憶し、それは符号化されるべき次のフレームからの入力ブロックの、インタフレームまたはインタフィールド動き補償プロセス２０，２６において用いられる。
【００１５】
図３はインタフレーム動き補償プロセスの１実施の形態の装置のブロック図である。インタフレーム動き補償プロセスへの入力ブロック２７は、入力フレームの型により１つの動き補償プロセスを、すなわち、もし入力フレームがＰフレームであればインタフレーム動き予測プロセスを、またもし入力フレームがＢフレームであればインタフレーム動き補間プロセスを、受ける。インタフレーム動き予測プロセスにおいては、入力ブロックは、前動きベクトル４４を評価するためのインタフレーム前動きベクトル検出プロセス４１を受ける。該動きベクトルの検出においては、通常のブロック比較技術が用いられうる。次に、前動き予測プロセス４２が行なわれるが、これは基本的に、検出された前動きベクトルを用いて以前に符号化されたフレームから前動き変位ブロックを得るものである。最後に、前動き予測プロセス４２の結果が、動き補償モード選択プロセス４３において入力ブロック２７と比較され、２ブロックのいずれが符号化されるべきかが判断される。そのわけは、動き補償は、特にビデオシーケンス内において極めて速い変化が行なわれる領域内では、必ずしも成功しないからである。もし入力ブロックが符号化されるべきであると判断されれば、入力ブロックの実際の値が符号化される。そうでない場合は、入力ブロックと前動き変位ブロックとの差、すなわち前動き補償されたブロックが符号化される。動き補償モード選択プロセスのＣ言語によるプロシージャの例は次の通りである。
【００１６】
【表２】
【００１７】
インタフレーム動き補間プロセスは、インタフレーム前動きベクトル検出４１、インタフレーム後動きベクトル検出４６、前動き予測４２、前／後動き補間４７、後動き予測４８、および動き補間モード選択４９の諸プロセスを含む。過去および未来のＩまたはＰフレーム（符号化された、またはされないフレームが使用されうる）を参照して、インタフレーム前および後動きベクトル検出プロセスは、通常のブロック比較技術を用いることにより前動きベクトルおよび後動きベクトルを評価する。２つの評価された動きベクトルを用い、前述と同様にして、前および後動き予測プロセス４２および４８により、前動き変位ブロックおよび後動き変位ブロックが見出される。前／後動き補間プロセス４７においては、前および後動き変位ブロックを平均することにより、前／後動き補間ブロックが計算される。前および後動き変位ブロックを平均する時は、フレーム距離に基づく加重が用いられ、あるいは用いられない。上述の３つの動き変位および補間ブロックは入力ブロック２７と共に、動き補間モード選択プロセス４９において比較され、いずれのブロックが符号化されるべきかが決定される。いずれのブロックが符号化されるべきかを決定する１つの方法は、MPEG Video Simulation Model Three，International Organization for Standardization，Coded Representation of Picture and Audio Information，1990，ISO-IEC/JTC1/SC2/WG8 MPEG90/041に説明されている平均２乗誤差の比較による。もし決定されたブロックが入力ブロックでなければ、決定されたブロックと入力ブロックとの差が符号化される。
【００１８】
フィールド符号化プロセス５への入力ブロック２９内の２フィールドのデータは、一般に相関がなく、あるいはインタフィールド差検出プロセス３によって選択された動きを含むので、２フィールドからのデータに基づいて独立して動き補償を行なうインタフィールド動き補償が選択される。しかし、図４に示されているインタフィールド動き補償プロセスの実施の形態は、動きベクトル検出プロセスおよび動き変位ブロックの構成を除外すると、インタフレーム動き補償プロセス（図３）に極めて類似している。インタフィールド前／後動きベクトル検出プロセス６１および６２においては、１つの動きベクトルが、入力ブロック３０内のそれぞれのフィールドに対して、かつ前および後方向において評価され、従って、前動きベクトル１および２と、後動きベクトル１および２とが評価される。評価された動きベクトル１および２に基づき、以前に符号化された画像からブロックの２つの動き変位フィールドが得られ、それによって動き変位ブロックおよびさらに動き補間ブロックが、プロセス６３，６４，６５において形成される。モード選択プロセス４３および４９は、インタフレーム動き補償プロセス２０において用いられたものと同じプロセスである。前動きベクトル１および２または後動きベクトル１および２の符号化に関しては、入力ブロック内の２フィールドにおける動きの差および以前の隣接符号化ブロック間の動きの差は大きいものとは考えられないので、効率的な符号化の方法は、１フィールドの（前および／または後）動きベクトルを、以前の符号化ブロック、および入力ブロック内の２フィールドの動きのデルタ差を参照して、デルタ符号化することである。
【００１９】
入力ブロック４またはインタフレーム動き補償プロセスの出力は、フレーム再構成プロセス（図２の参照番号２１）を受け、そこでそれは、例えばＤＣＴ（離散コサイン変換）法に基づくブロック符号化プロセスに適するさらに小さいサブブロックに空間的に区分される。図６（ａ）は、４つのさらに小さい８×８サブブロックに区分された、輝度データ（Ｙ）の１６×１６ブロックの例を示す。フレーム再構成プロセスにおいてインタレースフィールドは、ブロック符号化プロセスがフィールド間の相関を利用しうるようにするために、分離されない。フレーム再構成プロセスは、さらに、色情報（Ｃｒ／Ｃｂ）の解像度を低下せしめるイントラフレーム・サブサンプリングプロセスを含みうる。図６（ｂ）においては、（４：２：２源における１６×１６輝度ブロックと同位置にある）８×１６色ブロックの例が、その色ブロックのそれぞれの偶奇線対を平均することによって、８×８色サブブロックにイントラフレーム・サブサンプリングされている。色信号のこのようなサブサンプリングは、可視的な差を発生せしめることなく符号化される必要のある情報量を減少させるために行なわれる。
【００２０】
フィールド再構成プロセス（図２の参照番号２５）は、インタフィールド動き補償プロセス（図２の参照番号２６）または入力ブロック４から結果を受ける。該プロセスは、入力の輝度データ（Ｙ）を、２フィールドが分離されたさらに小さいサブブロックに区分する。図７（ａ）は、１６×１６入力輝度ブロックを、４つの８×８サブブロックであってその２つが偶数フィールドデータを含み、他の２つが奇数フィールドデータを含む該４つの８×８サブブロックに区分する、そのようなプロセスを示す。これは、ブロック符号化プロセス（図２の参照番号２２）が、それぞれのサブブロックにおけるフィールド内の高相関を利用するように行なわれる。フィールド再構成プロセスは、さらに、それぞれのフィールドにおける色情報（Ｃｒ／Ｃｂ）の解像度を低下せしめるイントラフィールド・サブサンプリングプロセスを含む。図７（ｂ）において、８×１６色ブロックの例は、それぞれのフィールドの全ての連続する２線を別々に平均することによって、８×８色サブブロックにイントラフィールド・サブサンプリングされている。これらの平均された線は、２フィールドが出力サブブロックにおいて分離されているように再配置される。これらの平均された線はまた、出力サブブロックにおいてはインタレース状に配列されるが、得られる符号化効率は前述の方法ほど良くない。
【００２１】
フレームまたはフィールド再構成プロセスによって発生せしめられるそれぞれのサブブロックは、サブブロック内の相関を調査することにより、データ圧縮のためのブロック符号化プロセス（図２の参照番号２２）を受けしめられる。図８に示されているブロック符号化装置の実施の形態は、サブブロックを離散コサイン変換（ＤＣＴ）係数に離散コサイン変換８０（ＤＣＴ）し、ＤＣＴ係数を出力情報８５の量を監視するレート制御装置８４に基づいて量子化８１し、量子化されたＤＣＴ係数をジグザグ走査８２し、ジグザグ走査の結果およびサブブロックを記述するのに必要な全てのサイド情報を可変長符号化８３（ＶＬＣ）して、ディジタルストレージメディアまたは伝送メディアのための符号化情報８５を発生するための手段を含む。図８に示されているブロック符号化プロセスの装置化の例の詳細は、MPEG Video Simulation Model Three，International Organization for Standardization，Coded Representation of Picture and Audio Information，1990，ISO-IEC/JTC1/SC2/WG8 MPEG90/041に見出される。
【００２２】
ブロック復号化プロセス（図２の参照番号２３）は、ブロック符号化プロセス（図２の参照番号２２）の出力を復号化し、フレームを再構成する。ブロック復号化プロセスにより再構成されたフレームは、フレームメモリ（図２の参照番号２８）内に記憶されて、インタフレーム／インタフィールド動き補償プロセス（図２の参照番号２０および２６）によって使用される。該ブロック復号化プロセスはまた、前記ブロック符号化プロセスおよび／または前記動き補償プロセスによって作られた、ディジタルストレージメディアまたは伝送メディアからの符号化情報を復号化するのにも用いられる。図９は、図８に示されたブロック符号化プロセスに対応するブロック復号化装置の実施の形態を示し、これは、符号化情報を多重分離／ＶＬＣ復号化９０してジグザグ走査されたサブブロックおよび含まれていたサイド情報を再生し、該サブブロックを逆ジグザグ走査９１した後逆量子化９２してＤＣＴ係数を再生し、該係数を逆ＤＣＴ９３し、この逆ＤＣＴの結果をして、符号化画像型（Ｉ，Ｐ、またはＢフレーム）およびインタフィールド差検出プロセス（図１の参照番号３）の符号化結果に従って、インタフレームまたはインタフィールド動き補償プロセス（図３および図４）の逆９４および９５を受けしめることにより再構成サブブロック９６を再生し、インタフィールド差検出プロセスの符号化結果に従ってフレーム／フィールド再構成プロセスの逆９７および９８を行なって再構成ブロック１００を再生し、これが次にフレームメモリ１０１内に記憶せしめられて逆動き補償プロセス９４または９５に、あるいはモニタスクリーン上への表示に用いられるようにする手段を含む。もしブロック復号化プロセスがビデオ信号符号器内においてブロック符号化プロセスと共に用いられるべき場合は、逆量子化器への入力および他のサイド情報はブロック符号化プロセスにおける対応する諸プロセスから直接得られるので、多重分離器／ＶＬＣ復号器および逆ジグザグ走査装置は省略されうる。
【００２３】
【発明の効果】
以上説明したように、入力フレームは画素データの小ブロックに区分され、それぞれのブロック内の２フィールドは相関について検査される。もしブロック内の２フィールド間の差が小さければ（すなわち相関が高ければ）、そのブロックは、ブロック内の全ての線が順次走査されるフレーム符号化プロセスにより、従って効率的に設計されるインタフレーム動き補償プロセスおよび色データのイントラフレーム・サブサンプリングプロセスを用いて、符号化される。一方、もしブロック内の２フィールド間の差が大きければ（すなわち相関が低ければ）、そのブロックは、それぞれのフィールド内の（イントラフィールド）相関およびそれぞれのフィールドとその隣接フィールドとの（インタフィールド）相関の調査が強化されるフィールド符号化プロセスによって符号化され、さらに、このようなブロックにおいては、色データのイントラフィールド・サブサンプリングはより良く行なわれる。一般のビデオシーケンスにおいては、それぞれの画像フレーム内における相関レベルは、静止情景または対象物を含む領域と、動く情景または対象物を含む領域との間では相異なる。従って、本発明は、これら２つの型の領域を、それぞれの領域の型により適する方法によって、より効率的に、または適応的に符号化する効果を提供する。固定ビットレートのビデオ符号化システムにおいては、本発明は、より良い再構成画像品質を与える効果を提供する。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係るインタレース走査ビデオ符号化方法のブロック図
【図２】本発明の該実施の形態の一部を示す、フレーム符号化プロセスおよびフィールド符号化プロセスのブロック図
【図３】本発明の前記実施の形態の一部を示す、インタフレーム動き補償プロセスのブロック図
【図４】本発明の前記実施の形態の一部を示す、インタフィールドブロック動き補償プロセスのブロック図
【図５】Ｉ画像，Ｐ画像、およびＢ画像の配置および関係の例の説明図
【図６】（ａ）は、フレーム再構成プロセスの効果例の説明図
（ｂ）は、色データに対するイントラフレーム・サブサンプリングプロセスの例を示す説明図
【図７】（ａ）は、フィールド再構成の効果例を示す説明図
（ｂ）は、色データに対するイントラフィールド・サブサンプリングプロセスの例を示す説明図
【図８】本発明の一実施の形態の一部に係るブロック符号化プロセスのブロック図
【図９】本発明の一実施の形態におけるブロック復号化プロセスのブロック図
【符号の説明】
２ ブロック区分プロセス
３ インタフィールド差検出プロセス
５ フィールド符号化プロセス
６ フレーム符号化プロセス
２０ インタフレーム動き補償プロセス
２１ フレーム再構成プロセス
２２ ブロック符号化プロセス
２３ ブロック復号化プロセス
２５ フィールド再構成プロセス
２６ インタフィールド動き補償プロセス
【発明の属する技術分野】
本発明は、ディジタルストレージメディアまたは伝送メディアのための、インタレース走査ディジタルビデオシーケンスの効率的情報符号化に関する。
【０００２】
【従来の技術】
ビデオ信号のためのディジタル符号化方法の標準化の努力の成果は、今日活発に進歩しつつある。このような標準化の努力には、異なったビットレートにおけるさまざまなビデオ信号フォーマットのディジタル符号化の研究が含まれる。ビデオシーケンスがどのようにして記録装置により捕捉され、また表示装置上にリフレッシュされるかを定める走査技術により、ビデオシーケンスは２つの型に分類される。すなわち順次走査ビデオシーケンスと、インタレース走査ビデオシーケンスとである。順次走査ビデオシーケンスにおいては、シーケンス内のフレームは、フレームの頂部から底部まで線毎に順次捕捉されリフレッシュされる。インタレース走査ビデオシーケンスのフレームは２フィールドから成り、偶数フィールドはフレームの偶数線から形成され、奇数フィールドはフレームの奇数線から形成される。捕捉およびリフレッシュは、まず偶数フィールドにおいてフィールドの頂部から底部まで順次行なわれ、続いて奇数フィールドにおいて同様に行なわれる。現在多数の信号源はインタレース走査フォーマットのものである（例えばＮＴＳＣ、ＰＡＬ）ので、多くの研究努力はインタレース走査ビデオシーケンスの効率的符号化に対して向けられてきた。
【０００３】
従来の研究結果は３種類に分類される。すなわちフレーム符号化プロセスと、フィールド符号化プロセスと、補間フィールド符号化プロセスと、である。フレーム符号化プロセスにおいては、例えばKazuto KamikuraおよびTaikun Li著「Consideration of Bit Allocation and Distribution of Moving Image Coding for Storage Media」，DAPA Meeting Report，Fourth Telematic Symposium，Tokyo，February 1991によれば、ビデオシーケンスは基本的にはフレーム毎に符号化され、その場合偶数フィールドはインタレース的に合成される（諸フレームは順次的であるかのようにして処理される）。フレーム符号化プロセスにおいては、それぞれのフレームを画素データのブロックに区分し、その後それらを、MPEG Video Simulation Model Three，International Organization for Standardization，Coded Representation of Picture and Audio Information，1990，ISO-IEC/JTC1/SC2/WG8 MPEG90/041に説明されているように、動き補償（ＭＣ）のある、またはない、離散コサイン変換（ＤＣＴ）のようなブロック符号化方法により処理することができる。もし、フレームが、シーケンス内の他フレームと無関係に、かつ偶奇フィールドに対して異なった処理を行なうことなく、符号化されるならば、そのプロセスは、イントラフレーム符号化プロセスと呼ばれる。もし、フレームが、シーケンス内の他フレームを用いた動き補償のもとに符号化されるならば、そのプロセスはインタフレーム符号化プロセスと呼ばれる。要するに、フレーム符号化プロセスは、ビデオシーケンスが、イントラフレーム符号化プロセスのみによって、またはイントラフレームおよびインタフレーム符号化プロセスの組合せによって、符号化されるプロセスである。
【０００４】
フィールド符号化プロセスにおいては、ビデオシーケンスはまず、偶数フィールドシーケンスと奇数フィールドシーケンスとの２シーケンスに分割され、偶奇フィールドシーケンスのそれぞれは同じ符号化プロセスを受ける（例えば、Ichiro Andoh，Y．Yamada外著の論文「Some Considerations and Experiments of Interlaced Moving Image Coding」，DAPA Meeting Report，Fourth Telematic Symposium，Tokyo，February 1991参照）。フィールド符号化プロセスにおける動き補償または動き補間は、偶奇フィールドシーケンスのそれぞれとは無関係に、またはIchiro Andoh外著の論文に示されているように２シーケンスに相互依存して、行なわれうる。従って、フィールド符号化プロセスは、正にイントラフィールド符号化プロセスであるか、またはイントラフィールドおよびインタフィールド符号化プロセスの組合せである。
【０００５】
補間フィールド符号化プロセスの場合は、一方のフィールドシーケンスのみが符号化され、他方のフィールドシーケンスは符号化されたフィールドシーケンスに基づく予測または補間プロセスによって再生される。この符号化プロセスの例は、Feng-Ming WangおよびDimitris Anastassiou著の論文「High-Quality Coding of the Even Fields Based on the Odd Fields of the Interlaced Video Sequences」，IEEE Transaction on Circuits and Systems,January 1991，およびMPEG Video Simulation Model Three，International Organization for Standardization，Coded Representation of Picture and Audio Information，1990，ISO-IEC/JTC1/SC2/WG8 MPEG90/041に説明されている。
【０００６】
【発明が解決しようとする課題】
インタレース走査ビデオシーケンス内の対象物が静止を続ける時には、毎ライン上のおよび相互隣接ライン上の、隣接画素間の相関は高いので、通常の離散コサイン変換符号化方法のような一般に知られた画像圧縮方法により、フレーム符号化プロセスにおいて（線間の高相関を利用して）、フィールドまたは補間フィールド符号化プロセスと比較して、高圧縮比を達成することができる。この場合、インタフレーム動き補償も、より良い効率で行なわれうる。しかし、もしシーケンス内の対象物が動き始めれば、フィールド間の相関は低下し、従って、例えばＤＣＴ法の効率は、フィールド符号化プロセスが用いられた時の方がよくなる。さらに、この状況に動き補償が関与する時は、それぞれのフィールドに対し個々に動き補償を行なうインタフィールド符号化プロセスは、シーケンス内の対象物の動きのより良い予測を行なう利点を有する。一般に、フレーム符号化、フィールド符号化、および補間フィールド符号化のプロセスは、シーケンス内の対象物の動きが極めてダイナミックでありうる場合には、効率に関しては準最適でしかない。ビデオ符号化方式の効率の改善は、高ビットレート低減符号化方式においては特に重要である。
【０００７】
【課題を解決するための手段】
（イントラ／インタ）フレーム符号化および（イントラ／インタ）フィールド符号化プロセスを利用するためには、フレームおよびフィールド符号化プロセスのいずれを使用すべきかを判断するためにフレームのそれぞれの領域を適応的に検査する方法が考案されうる。そのようにして、フレーム内の静止領域は、フレーム内の高い空間的相関を利用して、フレーム符号化プロセスを効率的に用いることにより符号化される。また、シーケンス内の動く対象物に対応するフレーム内の領域は、それぞれのフィールド内においてこれらの領域内により良い相関が見出されるので、フィールド符号化プロセスを用いて符号化される。
【０００８】
この方法は、まず入力インタレース走査ビデオ信号のそれぞれのフレームを画素データの小ブロックに区分し、それぞれの該ブロック内の２フィールド間の画素値の差を決定し、もし該ブロック内の２フィールド間の誤差が小さいと決定されたならば該ブロックをしてフレーム符号化プロセスを受けしめ、そうでない場合は該ブロックをしてフィールド符号化プロセスを受けしめることによって行なわれうる。
【０００９】
上述の方法によれば、フィールド間における動きを有する、すなわち相関の低いフィールドを有するブロックを、フィールド間において高い空間的相関を有するブロックから分離することができ、これら２種類のブロックにおいて最良の結果を達成するためにフィールド符号化プロセスまたはフレーム符号化プロセスが最適に適用されうる。そのフレーム符号化プロセスの場合には、該ブロックは、ＤＣＴ法のような通常のブロック符号化技術を用いてイントラフレーム符号化されるか、またはインタフレーム動き補償を伴うブロック符号化技術を用いてインタフレーム符号化されうる。フィールド符号化プロセスの場合におけるように、前記ブロック内の２フィールドは、サブブロックに分けられ、通常のブロック符号化方法を用いてイントラフィールド符号化されるか、またはインタフィールド動き補償を伴ってインタフィールド符号化される。
【００１０】
【発明の実施の形態】
従来技術の動き補償（例えば、MPEG Video Simulation Model Three，International Organization for Standardization，Coded Representation of Picture and Audio Information，1990，ISO-IEC/JTC1/SC2/WG8 MPEG90/041参照）においては、インタレース走査ビデオシーケンス内の、画像とも呼ばれうるフレームは３通りに分類されうる。すなわち、（１）イントラ符号化フレーム（すなわちＩフレーム）−それぞれのフレームはそれ自身からのみの情報を用いて符号化される；（２）予測符号化フレーム（すなわちＰフレーム）−それぞれのフレームは過去のＩまたはＰフレームからの動き補償された予測を用いて符号化される；（３）２方向予測符号化フレーム（すなわちＢフレーム）−それぞれのフレームは過去および／または未来のＩまたはＰフレームからの動き補償された予測を用いて符号化される；である。図５には、シーケンス内における３種類のフレームの配置例が示されている。Ｉフレーム間にあるＰフレームの数およびＩまたはＰフレーム間にあるＢフレームの数は、必ずしもそれぞれ４および２である必要はない。シーケンスの符号化には、他の適切な数が用いられうる。例えばＢフレームはなくてもよく、あるいはＢおよびＰフレームが全くなくてもよい。
【００１１】
図１は、本発明の１実施の形態の方法を用いるインタレース走査ビデオ信号符号化装置のブロック図である。シーケンスの入力フレーム１はまずブロック区分プロセス２により画素データのブロックに区分され、それぞれの該ブロックは、ブロック内の２フィールドからの画素データ間の差を検査するインタフィールド差検出プロセス３を受ける。該インタフィールド差検出プロセスの一例においては、ブロック輝度領域の偶奇線対間の２乗誤差が計算され、その計算された結果が、同じ領域の連続する奇数線対および連続する偶数線対間において計算された２乗誤差と比較される。もし、連続する奇数線対および偶数線対間の２乗誤差に対する偶奇線対間の２乗誤差の比が、あらかじめ定められたスレッショルド値より大ならば、前記ブロック４はフィールド符号化プロセス５によって符号化され、そうでない場合は、該ブロックはフレーム符号化プロセス６によって符号化される。２つの計算された２乗誤差の比は、ブロックの活動性による多くのスレッショルドと比較されて、より良い検出が行なわれるようにされうる。１６×１６画素のブロックサイズ用の「Ｃ」プログラムプロシージャとして構成されたインタフィールド差検出プロセスの例は、次のように与えられる。
【００１２】
【表１】
上記「Ｃ」プログラムの例におけるブロックサイズ、スレッショルド値の１２，１８，３０、および活動値の８０００，１０００００は、もし必要ならば、他の適切な値に調節または拡張されうる。このインタフィールド差検出プロセスの結果７は、サイド情報として符号化される。
【００１４】
図２には、フレーム符号化プロセス６およびフィールド符号化プロセス５を行なう装置の実施の形態が示されている。フレーム符号化プロセスにおいては、入力ブロックは、もし入力フレームがＩフレームであれば、フレーム再構成プロセス２１、ブロック符号化プロセス２２、およびブロック復号化プロセス２３を含むイントラフレーム符号化プロセスを受け、もし入力フレームがＩフレームでなければ、インタフレーム動き補償プロセス２０、フレーム再構成プロセス２１、ブロック符号化プロセス２２、およびブロック復号化プロセス２３を含むインタフレーム符号化プロセスを受ける。同様にして、フィールド符号化プロセス５においては、入力ブロックは、もし入力フレームがＩフレームであれば、フィールド再構成プロセス２５、ブロック符号化プロセス２２、およびブロック復号化プロセス２３を含むイントラフィールド符号化プロセスを受け、そうでない場合は、インタフィールド動き補償プロセス２６、フィールド再構成プロセス２５、ブロック符号化プロセス２２、およびブロック復号化プロセス２３を含むインタフィールド符号化プロセスを受ける。フレームメモリ２８は、ブロック復号化プロセス２３の結果から再構成されたフレームを記憶し、それは符号化されるべき次のフレームからの入力ブロックの、インタフレームまたはインタフィールド動き補償プロセス２０，２６において用いられる。
【００１５】
図３はインタフレーム動き補償プロセスの１実施の形態の装置のブロック図である。インタフレーム動き補償プロセスへの入力ブロック２７は、入力フレームの型により１つの動き補償プロセスを、すなわち、もし入力フレームがＰフレームであればインタフレーム動き予測プロセスを、またもし入力フレームがＢフレームであればインタフレーム動き補間プロセスを、受ける。インタフレーム動き予測プロセスにおいては、入力ブロックは、前動きベクトル４４を評価するためのインタフレーム前動きベクトル検出プロセス４１を受ける。該動きベクトルの検出においては、通常のブロック比較技術が用いられうる。次に、前動き予測プロセス４２が行なわれるが、これは基本的に、検出された前動きベクトルを用いて以前に符号化されたフレームから前動き変位ブロックを得るものである。最後に、前動き予測プロセス４２の結果が、動き補償モード選択プロセス４３において入力ブロック２７と比較され、２ブロックのいずれが符号化されるべきかが判断される。そのわけは、動き補償は、特にビデオシーケンス内において極めて速い変化が行なわれる領域内では、必ずしも成功しないからである。もし入力ブロックが符号化されるべきであると判断されれば、入力ブロックの実際の値が符号化される。そうでない場合は、入力ブロックと前動き変位ブロックとの差、すなわち前動き補償されたブロックが符号化される。動き補償モード選択プロセスのＣ言語によるプロシージャの例は次の通りである。
【００１６】
【表２】
インタフレーム動き補間プロセスは、インタフレーム前動きベクトル検出４１、インタフレーム後動きベクトル検出４６、前動き予測４２、前／後動き補間４７、後動き予測４８、および動き補間モード選択４９の諸プロセスを含む。過去および未来のＩまたはＰフレーム（符号化された、またはされないフレームが使用されうる）を参照して、インタフレーム前および後動きベクトル検出プロセスは、通常のブロック比較技術を用いることにより前動きベクトルおよび後動きベクトルを評価する。２つの評価された動きベクトルを用い、前述と同様にして、前および後動き予測プロセス４２および４８により、前動き変位ブロックおよび後動き変位ブロックが見出される。前／後動き補間プロセス４７においては、前および後動き変位ブロックを平均することにより、前／後動き補間ブロックが計算される。前および後動き変位ブロックを平均する時は、フレーム距離に基づく加重が用いられ、あるいは用いられない。上述の３つの動き変位および補間ブロックは入力ブロック２７と共に、動き補間モード選択プロセス４９において比較され、いずれのブロックが符号化されるべきかが決定される。いずれのブロックが符号化されるべきかを決定する１つの方法は、MPEG Video Simulation Model Three，International Organization for Standardization，Coded Representation of Picture and Audio Information，1990，ISO-IEC/JTC1/SC2/WG8 MPEG90/041に説明されている平均２乗誤差の比較による。もし決定されたブロックが入力ブロックでなければ、決定されたブロックと入力ブロックとの差が符号化される。
【００１８】
フィールド符号化プロセス５への入力ブロック２９内の２フィールドのデータは、一般に相関がなく、あるいはインタフィールド差検出プロセス３によって選択された動きを含むので、２フィールドからのデータに基づいて独立して動き補償を行なうインタフィールド動き補償が選択される。しかし、図４に示されているインタフィールド動き補償プロセスの実施の形態は、動きベクトル検出プロセスおよび動き変位ブロックの構成を除外すると、インタフレーム動き補償プロセス（図３）に極めて類似している。インタフィールド前／後動きベクトル検出プロセス６１および６２においては、１つの動きベクトルが、入力ブロック３０内のそれぞれのフィールドに対して、かつ前および後方向において評価され、従って、前動きベクトル１および２と、後動きベクトル１および２とが評価される。評価された動きベクトル１および２に基づき、以前に符号化された画像からブロックの２つの動き変位フィールドが得られ、それによって動き変位ブロックおよびさらに動き補間ブロックが、プロセス６３，６４，６５において形成される。モード選択プロセス４３および４９は、インタフレーム動き補償プロセス２０において用いられたものと同じプロセスである。前動きベクトル１および２または後動きベクトル１および２の符号化に関しては、入力ブロック内の２フィールドにおける動きの差および以前の隣接符号化ブロック間の動きの差は大きいものとは考えられないので、効率的な符号化の方法は、１フィールドの（前および／または後）動きベクトルを、以前の符号化ブロック、および入力ブロック内の２フィールドの動きのデルタ差を参照して、デルタ符号化することである。
【００１９】
入力ブロック４またはインタフレーム動き補償プロセスの出力は、フレーム再構成プロセス（図２の参照番号２１）を受け、そこでそれは、例えばＤＣＴ（離散コサイン変換）法に基づくブロック符号化プロセスに適するさらに小さいサブブロックに空間的に区分される。図６（ａ）は、４つのさらに小さい８×８サブブロックに区分された、輝度データ（Ｙ）の１６×１６ブロックの例を示す。フレーム再構成プロセスにおいてインタレースフィールドは、ブロック符号化プロセスがフィールド間の相関を利用しうるようにするために、分離されない。フレーム再構成プロセスは、さらに、色情報（Ｃｒ／Ｃｂ）の解像度を低下せしめるイントラフレーム・サブサンプリングプロセスを含みうる。図６（ｂ）においては、（４：２：２源における１６×１６輝度ブロックと同位置にある）８×１６色ブロックの例が、その色ブロックのそれぞれの偶奇線対を平均することによって、８×８色サブブロックにイントラフレーム・サブサンプリングされている。色信号のこのようなサブサンプリングは、可視的な差を発生せしめることなく符号化される必要のある情報量を減少させるために行なわれる。
【００２０】
フィールド再構成プロセス（図２の参照番号２５）は、インタフィールド動き補償プロセス（図２の参照番号２６）または入力ブロック４から結果を受ける。該プロセスは、入力の輝度データ（Ｙ）を、２フィールドが分離されたさらに小さいサブブロックに区分する。図７（ａ）は、１６×１６入力輝度ブロックを、４つの８×８サブブロックであってその２つが偶数フィールドデータを含み、他の２つが奇数フィールドデータを含む該４つの８×８サブブロックに区分する、そのようなプロセスを示す。これは、ブロック符号化プロセス（図２の参照番号２２）が、それぞれのサブブロックにおけるフィールド内の高相関を利用するように行なわれる。フィールド再構成プロセスは、さらに、それぞれのフィールドにおける色情報（Ｃｒ／Ｃｂ）の解像度を低下せしめるイントラフィールド・サブサンプリングプロセスを含む。図７（ｂ）において、８×１６色ブロックの例は、それぞれのフィールドの全ての連続する２線を別々に平均することによって、８×８色サブブロックにイントラフィールド・サブサンプリングされている。これらの平均された線は、２フィールドが出力サブブロックにおいて分離されているように再配置される。これらの平均された線はまた、出力サブブロックにおいてはインタレース状に配列されるが、得られる符号化効率は前述の方法ほど良くない。
【００２１】
フレームまたはフィールド再構成プロセスによって発生せしめられるそれぞれのサブブロックは、サブブロック内の相関を調査することにより、データ圧縮のためのブロック符号化プロセス（図２の参照番号２２）を受けしめられる。図８に示されているブロック符号化装置の実施の形態は、サブブロックを離散コサイン変換（ＤＣＴ）係数に離散コサイン変換８０（ＤＣＴ）し、ＤＣＴ係数を出力情報８５の量を監視するレート制御装置８４に基づいて量子化８１し、量子化されたＤＣＴ係数をジグザグ走査８２し、ジグザグ走査の結果およびサブブロックを記述するのに必要な全てのサイド情報を可変長符号化８３（ＶＬＣ）して、ディジタルストレージメディアまたは伝送メディアのための符号化情報８５を発生するための手段を含む。図８に示されているブロック符号化プロセスの装置化の例の詳細は、MPEG Video Simulation Model Three，International Organization for Standardization，Coded Representation of Picture and Audio Information，1990，ISO-IEC/JTC1/SC2/WG8 MPEG90/041に見出される。
【００２２】
ブロック復号化プロセス（図２の参照番号２３）は、ブロック符号化プロセス（図２の参照番号２２）の出力を復号化し、フレームを再構成する。ブロック復号化プロセスにより再構成されたフレームは、フレームメモリ（図２の参照番号２８）内に記憶されて、インタフレーム／インタフィールド動き補償プロセス（図２の参照番号２０および２６）によって使用される。該ブロック復号化プロセスはまた、前記ブロック符号化プロセスおよび／または前記動き補償プロセスによって作られた、ディジタルストレージメディアまたは伝送メディアからの符号化情報を復号化するのにも用いられる。図９は、図８に示されたブロック符号化プロセスに対応するブロック復号化装置の実施の形態を示し、これは、符号化情報を多重分離／ＶＬＣ復号化９０してジグザグ走査されたサブブロックおよび含まれていたサイド情報を再生し、該サブブロックを逆ジグザグ走査９１した後逆量子化９２してＤＣＴ係数を再生し、該係数を逆ＤＣＴ９３し、この逆ＤＣＴの結果をして、符号化画像型（Ｉ，Ｐ、またはＢフレーム）およびインタフィールド差検出プロセス（図１の参照番号３）の符号化結果に従って、インタフレームまたはインタフィールド動き補償プロセス（図３および図４）の逆９４および９５を受けしめることにより再構成サブブロック９６を再生し、インタフィールド差検出プロセスの符号化結果に従ってフレーム／フィールド再構成プロセスの逆９７および９８を行なって再構成ブロック１００を再生し、これが次にフレームメモリ１０１内に記憶せしめられて逆動き補償プロセス９４または９５に、あるいはモニタスクリーン上への表示に用いられるようにする手段を含む。もしブロック復号化プロセスがビデオ信号符号器内においてブロック符号化プロセスと共に用いられるべき場合は、逆量子化器への入力および他のサイド情報はブロック符号化プロセスにおける対応する諸プロセスから直接得られるので、多重分離器／ＶＬＣ復号器および逆ジグザグ走査装置は省略されうる。
【００２３】
【発明の効果】
以上説明したように、入力フレームは画素データの小ブロックに区分され、それぞれのブロック内の２フィールドは相関について検査される。もしブロック内の２フィールド間の差が小さければ（すなわち相関が高ければ）、そのブロックは、ブロック内の全ての線が順次走査されるフレーム符号化プロセスにより、従って効率的に設計されるインタフレーム動き補償プロセスおよび色データのイントラフレーム・サブサンプリングプロセスを用いて、符号化される。一方、もしブロック内の２フィールド間の差が大きければ（すなわち相関が低ければ）、そのブロックは、それぞれのフィールド内の（イントラフィールド）相関およびそれぞれのフィールドとその隣接フィールドとの（インタフィールド）相関の調査が強化されるフィールド符号化プロセスによって符号化され、さらに、このようなブロックにおいては、色データのイントラフィールド・サブサンプリングはより良く行なわれる。一般のビデオシーケンスにおいては、それぞれの画像フレーム内における相関レベルは、静止情景または対象物を含む領域と、動く情景または対象物を含む領域との間では相異なる。従って、本発明は、これら２つの型の領域を、それぞれの領域の型により適する方法によって、より効率的に、または適応的に符号化する効果を提供する。固定ビットレートのビデオ符号化システムにおいては、本発明は、より良い再構成画像品質を与える効果を提供する。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係るインタレース走査ビデオ符号化方法のブロック図
【図２】本発明の該実施の形態の一部を示す、フレーム符号化プロセスおよびフィールド符号化プロセスのブロック図
【図３】本発明の前記実施の形態の一部を示す、インタフレーム動き補償プロセスのブロック図
【図４】本発明の前記実施の形態の一部を示す、インタフィールドブロック動き補償プロセスのブロック図
【図５】Ｉ画像，Ｐ画像、およびＢ画像の配置および関係の例の説明図
【図６】（ａ）は、フレーム再構成プロセスの効果例の説明図
（ｂ）は、色データに対するイントラフレーム・サブサンプリングプロセスの例を示す説明図
【図７】（ａ）は、フィールド再構成の効果例を示す説明図
（ｂ）は、色データに対するイントラフィールド・サブサンプリングプロセスの例を示す説明図
【図８】本発明の一実施の形態の一部に係るブロック符号化プロセスのブロック図
【図９】本発明の一実施の形態におけるブロック復号化プロセスのブロック図
【符号の説明】
２ ブロック区分プロセス
３ インタフィールド差検出プロセス
５ フィールド符号化プロセス
６ フレーム符号化プロセス
２０ インタフレーム動き補償プロセス
２１ フレーム再構成プロセス
２２ ブロック符号化プロセス
２３ ブロック復号化プロセス
２５ フィールド再構成プロセス
２６ インタフィールド動き補償プロセス
Claims (4)
- ２フィールドから成るフレームの画素を複数のブロックに分け、各ブロックについてインタフィールド動き補償プロセスを含むフィールド符号化プロセス又はインタフレーム動き補償プロセスを含むフレーム符号化プロセスを行った画素データを復号化するインタレース走査ディジタルビデオ信号のブロック復号化装置であって、
前記画素データは、
前記フレームが予測符号化フレームである場合には、
前記インタフィールド動き補償プロセスを含むフィールド符号化プロセスにおいて、前動きベクトルを用いた前記インタフィールド動き補償プロセスで動き補償された前記ブロックをフィールド毎の画素で構成される４つのサブブロックに区分し、
前記インタフレーム動き補償プロセスを含むフレーム符号化プロセスにおいて、前動きベクトルを用いた前記インタフレーム動き補償プロセスで動き補償された前記ブロックを２フィールドに分離しない画素で構成される４つのサブブロックに区分し、
前記サブブロックをそれぞれＤＣＴ符号化した画素データであり、
前記フレームが２方向予測符号化フレームである場合には、
前記インタフィールド動き補償プロセスを含むフィールド符号化プロセスにおいて、前動きベクトルを用いたか、後ろ動きベクトルを用いたか、あるいは双方の動きベクトルを用いたかによる前記インタフィールド動き補償プロセスで動き補償された前記ブロックをフィールド毎の画素で構成される４つのサブブロックに区分し、
前記インタフレーム動き補償プロセスを含むフレーム符号化プロセスにおいて、前動きベクトルを用いたか、後ろ動きベクトルを用いたか、あるいは双方の動きベクトルを用いたかによる前記インタフレーム動き補償プロセスで動き補償された前記ブロックを２フィールドに分離しない画素で構成される４つのサブブロックに区分し、
前記サブブロックをそれぞれＤＣＴ符号化した画素データであって、
前記ブロック復号化装置は、
前記フレームが予測符号化フレームである場合には、
前記サブブロック単位で逆ＤＣＴを行い、
インタフレーム動き補償プロセスを含むフレーム符号化プロセスを行った、２フィールドに分離しない画素で構成される前記サブブロックを、前記ＤＣＴ符号化された画素データに多重して伝送され、受信された動きベクトルであって、前記ブロックに対して検出された前動きベクトルを用いて逆インタフレーム動き補償し、前記逆インタフレーム動き補償された４つの前記サブブロックから前記ブロックを再生し、
インタフィールド動き補償プロセスを含むフィールド符号化プロセスを行った、フィールド毎の画素で構成される前記サブブロックを、前記ＤＣＴ符号化された画素データに多重して伝送され、受信された動きベクトルであって、前記ブロックのそれぞれのフィールドに対して検出された前動きベクトルを用いて逆インタフィールド動き補償し、前記逆インタフィールド動き補償された４つの前記サブブロックから前記ブロックを再生するものであり、
前記フレームが２方向予測符号化フレームである場合には、
前記サブブロック単位で逆ＤＣＴを行い、
インタフレーム動き補償プロセスを含むフレーム符号化プロセスを行った、２フィールドに分離しない画素で構成される前記サブブロックを、前記ＤＣＴ符号化された画素データに多重して伝送され、受信された動きベクトルであって、前記ブロックに対して検出された前動きベクトル、後ろ動きベクトル、あるいは双方の動きベクトルを用いて逆インタフレーム動き補償し、前記逆インタフレーム動き補償された４つの前記サブブロックから前記ブロックを再生し、
インタフィールド動き補償プロセスを含むフィールド符号化プロセスを行った、フィールド毎の画素で構成される前記サブブロックを、前記ＤＣＴ符号化された画素データに多重して伝送され、受信された動きベクトルであって、前記ブロックのそれぞれのフィールドに対して検出された前動きベクトル、後ろ動きベクトル、あるいは双方の動きベクトルを用いて逆インタフィールド動き補償し、前記逆インタフィールド動き補償された４つの前記サブブロックから前記ブロックを再生するものである、
ことを特徴とするブロック復号化装置。 - ２フィールドから成るフレームの画素を複数のブロックに分け、各ブロックについてインタフィールド動き補償プロセスを含むフィールド符号化プロセス又はインタフレーム動き補償プロセスを含むフレーム符号化プロセスを行った画素データを復号化するインタレース走査ディジタルビデオ信号のブロック復号化方法であって、
前記画素データは、
前記フレームが予測符号化フレームである場合には、
前記インタフィールド動き補償プロセスを含むフィールド符号化プロセスにおいて、前動きベクトルを用いた前記インタフィールド動き補償プロセスで動き補償された前記ブロックをフィールド毎の画素で構成される４つのサブブロックに区分し、
前記インタフレーム動き補償プロセスを含むフレーム符号化プロセスにおいて、前動きベクトルを用いた前記インタフレーム動き補償プロセスで動き補償された前記ブロックを２フィールドに分離しない画素で構成される４つのサブブロックに区分し、
前記サブブロックをそれぞれＤＣＴ符号化した画素データであり、
前記フレームが２方向予測符号化フレームである場合には、
前記インタフィールド動き補償プロセスを含むフィールド符号化プロセスにおいて、前動きベクトルを用いたか、後ろ動きベクトルを用いたか、あるいは双方の動きベクトルを用いたかによる前記インタフィールド動き補償プロセスで動き補償された前記ブロックをフィールド毎の画素で構成される４つのサブブロックに区分し、
前記インタフレーム動き補償プロセスを含むフレーム符号化プロセスにおいて、前動きベクトルを用いたか、後ろ動きベクトルを用いたか、あるいは双方の動きベクトルを用いたかによる前記インタフレーム動き補償プロセスで動き補償された前記ブロックを２フィールドに分離しない画素で構成される４つのサブブロックに区分し、
前記サブブロックをそれぞれＤＣＴ符号化した画素データであって、
前記ブロック復号化方法は、
前記フレームが予測符号化フレームである場合には、
前記サブブロック単位で逆ＤＣＴを行い、
インタフレーム動き補償プロセスを含むフレーム符号化プロセスを行った、２フィールドに分離しない画素で構成される前記サブブロックを、前記ＤＣＴ符号化された画素データに多重して伝送され、受信された動きベクトルであって、前記ブロックに対して検出された前動きベクトルを用いて逆インタフレーム動き補償し、前記逆インタフレーム動き補償された４つの前記サブブロックから前記ブロックを再生し、
インタフィールド動き補償プロセスを含むフィールド符号化プロセスを行った、フィールド毎の画素で構成される前記サブブロックを、前記ＤＣＴ符号化された画素データに多重して伝送され、受信された動きベクトルであって、前記ブロックのそれぞれのフィールドに対して検出された前動きベクトルを用いて逆インタフィールド動き補償し、前記逆インタフィールド動き補償された４つの前記サブブロックから前記ブロックを再生するものであり、
前記フレームが２方向予測符号化フレームである場合には、
前記サブブロック単位で逆ＤＣＴを行い、
インタフレーム動き補償プロセスを含むフレーム符号化プロセスを行った、２フィールドに分離しない画素で構成される前記サブブロックを、前記ＤＣＴ符号化された画素データに多重して伝送され、受信された動きベクトルであって、前記ブロックに対して検出された前動きベクトル、後ろ動きベクトル、あるいは双方の動きベクトルを用いて逆インタフレーム動き補償し、前記逆インタフレーム動き補償された４つの前記サブブロックから前記ブロックを再生し、
インタフィールド動き補償プロセスを含むフィールド符号化プロセスを行った、フィールド毎の画素で構成される前記サブブロックを、前記ＤＣＴ符号化された画素データに多重して伝送され、受信された動きベクトルであって、前記ブロックのそれぞれのフィールドに対して検出された前動きベクトル、後ろ動きベクトル、あるいは双方の動きベクトルを用いて逆インタフィールド動き補償し、前記逆インタフィールド動き補償された４つの前記サブブロックから前記ブロックを再生するものである、
ことを特徴とするブロック復号化方法。 - ２フィールドから成るフレームの画素を複数のブロックに分け、各ブロックについてインタフィールド動き補償プロセスを含むフィールド符号化プロセス又はインタフレーム動き補償プロセスを含むフレーム符号化プロセスを行った画素データを復号化するインタレース走査ディジタルビデオ信号のブロック復号化装置であって、
前記画素データは、
前記フレームが予測符号化フレームである場合には、
前記インタフィールド動き補償プロセスを含むフィールド符号化プロセスにおいて、前動きベクトルを用いた前記インタフィールド動き補償プロセスで動き補償された前記ブロックをフィールド毎の画素で構成される４つの輝度サブブロックに区分すると共に前記ブロックの２つのフィールドに分離しない画素で色差サブブロックを構成し、
前記インタフレーム動き補償プロセスを含むフレーム符号化プロセスにおいて、前動きベクトルを用いた前記インタフレーム動き補償プロセスで動き補償された前記ブロックを２フィールドに分離しない画素で構成される４つの輝度サブブロックに区分すると共に前記ブロックの２つのフィールドに分離しない画素で色差サブブロックを構成し、
前記輝度サブブロックおよび前記色差サブブロックをそれぞれＤＣＴ符号化した画素データであり、
前記フレームが２方向予測符号化フレームである場合には、
前記インタフィールド動き補償プロセスを含むフィールド符号化プロセスにおいて、前動きベクトルを用いたか、後ろ動きベクトルを用いたか、あるいは双方の動きベクトルを用いたかによる前記インタフィールド動き補償プロセスで動き補償された前記ブロックをフィールド毎の画素で構成される４つの輝度サブブロックに区分すると共に前記ブロックの２つのフィールドに分離しない画素で色差サブブロックを構成し、
前記インタフレーム動き補償プロセスを含むフレーム符号化プロセスにおいて、前動きベクトルを用いたか、後ろ動きベクトルを用いたか、あるいは双方の動きベクトルを用いたかによる前記インタフレーム動き補償プロセスで動き補償された前記ブロックを２フィールドに分離しない画素で構成される４つの輝度サブブロックに区分すると共に前記ブロックの２つのフィールドに分離しない画素で色差サブブロックを構成し、
前記輝度サブブロックおよび前記色差サブブロックをそれぞれＤＣＴ符号化した画素データであって、
前記ブロック復号化装置は、
前記フレームが予測符号化フレームである場合には、
前記輝度サブブロック単位および前記色差サブブロック単位で逆ＤＣＴを行い、
インタフレーム動き補償プロセスを含むフレーム符号化プロセスを行った、２フィールドに分離しない画素で構成される前記輝度サブブロックおよび２フィールドに分離しない画素で構成される前記色差サブブロックを、前記ＤＣＴ符号化された画素データに多重して伝送され、受信された動きベクトルであって、前記ブロックに対して検出された前動きベクトルを用いて逆インタフレーム動き補償し、前記逆インタフレーム動き補償された４つの前記輝度サブブロックおよび前記色差サブブロックから前記ブロックを再生し、
インタフィールド動き補償プロセスを含むフィールド符号化プロセスを行った、フィールド毎の画素で構成される前記輝度サブブロックおよび２フィールドに分離しない画素で構成される前記色差サブブロックを、前記ＤＣＴ符号化された画素データに多重して伝送され、受信された動きベクトルであって、前記ブロックのそれぞれのフィールドに対して検出された前動きベクトルを用いて逆インタフィールド動き補償し、前記逆インタフィールド動き補償された４つの前記輝度サブブロックおよび前記色差サブブロックから前記ブロックを再生するものであり、
前記フレームが２方向予測符号化フレームである場合には、
前記輝度サブブロック単位および前記色差サブブロック単位で逆ＤＣＴを行い、
インタフレーム動き補償プロセスを含むフレーム符号化プロセスを行った、２フィールドに分離しない画素で構成される前記輝度サブブロックおよび２フィールドに分離しない画素で構成される前記色差サブブロックを、前記ＤＣＴ符号化された画素データに多重して伝送され、受信された動きベクトルであって、前記ブロックに対して検出された前動きベクトル、後ろ動きベクトル、あるいは双方の動きベクトルを用いて逆インタフレーム動き補償し、前記逆インタフレーム動き補償された４つの前記輝度サブブロックおよび前記色差サブブロックから前記ブロックを再生し、
インタフィールド動き補償プロセスを含むフィールド符号化プロセスを行った、フィールド毎の画素で構成される前記輝度サブブロックおよび２フィールドに分離しない画素で構成される前記色差サブブロックを、前記ＤＣＴ符号化された画素データに多重して伝送され、受信された動きベクトルであって、前記ブロックのそれぞれのフィールドに対して検出された前動きベクトル、後ろ動きベクトル、あるいは双方の動きベクトルを用いて逆インタフィールド動き補償し、前記逆インタフィールド動き補償された４つの前記輝度サブブロックおよび前記色差サブブロックから前記ブロックを再生するものである、
ことを特徴とするブロック復号化装置。 - ２フィールドから成るフレームの画素を複数のブロックに分け、各ブロックについてインタフィールド動き補償プロセスを含むフィールド符号化プロセス又はインタフレーム動き補償プロセスを含むフレーム符号化プロセスを行った画素データを復号化するインタレース走査ディジタルビデオ信号のブロック復号化方法であって、
前記画素データは、
前記フレームが予測符号化フレームである場合には、
前記インタフィールド動き補償プロセスを含むフィールド符号化プロセスにおいて、前動きベクトルを用いた前記インタフィールド動き補償プロセスで動き補償された前記ブロックをフィールド毎の画素で構成される４つの輝度サブブロックに区分すると共に前記ブロックの２つのフィールドに分離しない画素で色差サブブロックを構成し、
前記インタフレーム動き補償プロセスを含むフレーム符号化プロセスにおいて、前動きベクトルを用いた前記インタフレーム動き補償プロセスで動き補償された前記ブロックを２フィールドに分離しない画素で構成される４つの輝度サブブロックに区分すると共に前記ブロックの２つのフィールドに分離しない画素で色差サブブロックを構成し、
前記輝度サブブロックおよび前記色差サブブロックをそれぞれＤＣＴ符号化した画素データであり、
前記フレームが２方向予測符号化フレームである場合には、
前記インタフィールド動き補償プロセスを含むフィールド符号化プロセスにおいて、前動きベクトルを用いたか、後ろ動きベクトルを用いたか、あるいは双方の動きベクトルを用いたかによる前記インタフィールド動き補償プロセスで動き補償された前記ブロックをフィールド毎の画素で構成される４つの輝度サブブロックに区分すると共に前記ブロックの２つのフィールドに分離しない画素で色差サブブロックを構成し、
前記インタフレーム動き補償プロセスを含むフレーム符号化プロセスにおいて、前動きベクトルを用いたか、後ろ動きベクトルを用いたか、あるいは双方の動きベクトルを用いたかによる前記インタフレーム動き補償プロセスで動き補償された前記ブロックを２フィールドに分離しない画素で構成される４つの輝度サブブロックに区分すると共に前記ブロックの２つのフィールドに分離しない画素で色差サブブロックを構成し、
前記輝度サブブロックおよび前記色差サブブロックをそれぞれＤＣＴ符号化した画素データであって、
前記ブロック復号化方法は、
前記フレームが予測符号化フレームである場合には、
前記輝度サブブロック単位および前記色差サブブロック単位で逆ＤＣＴを行い、
インタフレーム動き補償プロセスを含むフレーム符号化プロセスを行った、２フィールドに分離しない画素で構成される前記輝度サブブロックおよび２フィールドに分離しない画素で構成される前記色差サブブロックを、前記ＤＣＴ符号化された画素データに多重して伝送され、受信された動きベクトルであって、前記ブロックに対して検出された前動きベクトルを用いて逆インタフレーム動き補償し、前記逆インタフレーム動き補償された４つの前記輝度サブブロックおよび前記色差サブブロックから前記ブロックを再生し、
インタフィールド動き補償プロセスを含むフィールド符号化プロセスを行った、フィールド毎の画素で構成される前記輝度サブブロックおよび２フィールドに分離しない画素で構成される前記色差サブブロックを、前記ＤＣＴ符号化された画素データに多重して伝送され、受信された動きベクトルであって、前記ブロックのそれぞれのフィールドに対して検出された前動きベクトルを用いて逆インタフィールド動き補償し、前記逆インタフィールド動き補償された４つの前記輝度サブブロックおよび前記色差サブブロックから前記ブロックを再生するものであり、
前記フレームが２方向予測符号化フレームである場合には、
前記輝度サブブロック単位および前記色差サブブロック単位で逆ＤＣＴを行い、
インタフレーム動き補償プロセスを含むフレーム符号化プロセスを行った、２フィールドに分離しない画素で構成される前記輝度サブブロックおよび２フィールドに分離しない画素で構成される前記色差サブブロックを、前記ＤＣＴ符号化された画素データに多重して伝送され、受信された動きベクトルであって、前記ブロックに対して検出された前動きベクトル、後ろ動きベクトル、あるいは双方の動きベクトルを用いて逆インタフレーム動き補償し、前記逆インタフレーム動き補償された４つの前記輝度サブブロックおよび前記色差サブブロックから前記ブロックを再生し、
インタフィールド動き補償プロセスを含むフィールド符号化プロセスを行った、フィールド毎の画素で構成される前記輝度サブブロックおよび２フィールドに分離しない画素で構成される前記色差サブブロックを、前記ＤＣＴ符号化された画素データに多重して伝送され、受信された動きベクトルであって、前記ブロックのそれぞれのフィールドに対して検出された前動きベクトル、後ろ動きベクトル、あるいは双方の動きベクトルを用いて逆インタフィールド動き補償し、前記逆インタフィールド動き補償された４つの前記輝度サブブロックおよび前記色差サブブロックから前記ブロックを再生するものである、
ことを特徴とするブロック復号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002092178A JP3809120B2 (ja) | 2002-03-28 | 2002-03-28 | インタレース走査ディジタルビデオ信号の復号化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002092178A JP3809120B2 (ja) | 2002-03-28 | 2002-03-28 | インタレース走査ディジタルビデオ信号の復号化方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001113699A Division JP3548731B2 (ja) | 2001-04-12 | 2001-04-12 | 圧縮デジタルビデオ信号の復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002344975A JP2002344975A (ja) | 2002-11-29 |
| JP3809120B2 true JP3809120B2 (ja) | 2006-08-16 |
Family
ID=19193517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002092178A Expired - Lifetime JP3809120B2 (ja) | 2002-03-28 | 2002-03-28 | インタレース走査ディジタルビデオ信号の復号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3809120B2 (ja) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58137379A (ja) * | 1982-02-10 | 1983-08-15 | Nec Corp | 動き補償フレ−ム間・フイ−ルド間符号化装置 |
| JP2562499B2 (ja) * | 1989-05-29 | 1996-12-11 | 日本電信電話株式会社 | 高能率画像符号化装置およびその復号化装置 |
| JP3265290B2 (ja) * | 1999-07-29 | 2002-03-11 | 松下電器産業株式会社 | インタレース走査ディジタルビデオ信号のブロック復号化装置及び方法 |
-
2002
- 2002-03-28 JP JP2002092178A patent/JP3809120B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002344975A (ja) | 2002-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2991833B2 (ja) | インターレス走査ディジタルビデオ信号の符号化装置及びその方法 | |
| JP3365771B2 (ja) | ビデオ信号圧縮装置 | |
| KR101182343B1 (ko) | 메모리가 저감된 ｈ264／ｍｐｅｇ-4 ａｖｃ 코덱 | |
| US6421385B1 (en) | Apparatus and method for efficient conversion of DV (digital video) format encoded video data into MPEG format encoded video data by utilizing motion flag information contained in the DV data | |
| US7324595B2 (en) | Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction | |
| US7010044B2 (en) | Intra 4×4 modes 3, 7 and 8 availability determination intra estimation and compensation | |
| US7822123B2 (en) | Efficient repeat padding for hybrid video sequence with arbitrary video resolution | |
| JPH0937243A (ja) | 動画像符号化装置及び復号装置 | |
| CN102334336B (zh) | 组合数字视频信号的复用方法和相关联的系统 | |
| GB2362772A (en) | Video data compression system concealing errors in the data | |
| JP3809118B2 (ja) | インタレース走査ディジタルビデオ信号の符号化方法 | |
| JP3809120B2 (ja) | インタレース走査ディジタルビデオ信号の復号化方法 | |
| JP3809121B2 (ja) | インタレース走査ディジタルビデオ信号の復号化方法 | |
| JP3809117B2 (ja) | インタレース走査ディジタルビデオ信号の復号化方法 | |
| JP3809119B2 (ja) | インタレース走査ディジタルビデオ信号のブロック復号化装置及び方法 | |
| JP3809116B2 (ja) | インタレース走査ディジタルビデオ信号の符号化方法 | |
| JP3809115B2 (ja) | インタレース走査ディジタルビデオ信号の符号化方法 | |
| JP3265290B2 (ja) | インタレース走査ディジタルビデオ信号のブロック復号化装置及び方法 | |
| JP3548731B2 (ja) | 圧縮デジタルビデオ信号の復号化装置 | |
| JP2004007719A (ja) | インタレース走査ディジタルビデオ信号の符号化装置 | |
| JPH0698311A (ja) | 画像信号の高能率符号化及び復号化装置 | |
| JPH06197326A (ja) | 画像信号符号化方法および復号化方法並びに画像信号符号化装置および復号化装置 | |
| KR20020070501A (ko) | 압축 인코딩된 비디오의 압축 해제 | |
| JPH06326999A (ja) | 画像信号伝送方法及び装置、並びに画像信号復号化方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040406 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040603 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040608 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050620 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20051007 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060331 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060519 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110526 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110526 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120526 Year of fee payment: 6 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120526 Year of fee payment: 6 |