JP3900534B2 - 動画像の符号化装置および符号化方法 - Google Patents

Description

技術分野
この発明は、動き補償を用いた動画像の符号化装置および符号化法に関する。
背景技術
ＭＰＥＧ(Moving Pictures Expert Group)規格に代表される動画像符号化方法が知られている。ＭＰＥＧでは、複数の画像データにより構成されるＧＯＰ(Group of Pictures)構造が採用されている。ＧＯＰを単位として、ランダム・アクセスが可能とされる。また、ＭＰＥＧでは、ピクチャコーディングタイプとして、Ｉピクチャ、Ｐピクチャ、Ｂピクチャが規定されている。
Ｉピクチャは、Intra-Pictureの略であり、フレーム内符号化画像である。Ｉピクチャは、画面のすべてをイントラ符号化し、原画像と同じ順序で符号化される。Ｐピクチャは、Predictive-Pictureの略であり、フレーム間順方向予測符号化画像である。すなわち、過去の画像から動き補償予測される画像である。Ｐピクチャは、画面内の小ブロック単位の部分ではイントラ符号化を含む場合もあり、原画像と同じ順序で符号化される。Ｂピクチャは、Bidirectionally Predictive-Pictureの略であり、両方向予測符号化画像である。すなわち、過去および未来の画像からそれぞれ動き補償予測される画像である。Ｂピクチャは、画面内の小ブロック単位の部分ではイントラ符号化を含む場合もある。
ＧＯＰの中には、少なくとも１枚のＩピクチャが含まれるものとされる。１ＧＯＰは、Ｎ例えば１５枚のピクチャ（０．５秒の時間）で構成され、ＩピクチャまたはＰピクチャが周期Ｍ例えば３で現れる。ＮおよびＭの値は、規定されていないが、実用的には、Ｎが０．４秒から数秒に相当する値、Ｍが３から６程度に選ばれる。また、ＭＰＥＧ１では、ビット・ストリーム上で、ＧＯＰの最初は、Ｉピクチャであること、原画面順序でＧＯＰの最後は、ＩまたはＰピクチャであることが規定されている。
上述のＭＰＥＧの符号化方法において、時間的に連続するシーケンスをＭを変化させて符号化した場合の処理を第６図に示す。Ｍを変化させることは、例えばフレーム周波数が２５Hz（ＰＡＬ方式等のテレビジョン方式の場合）、３０Hz（ＮＴＳＣ方式の場合）と相違するテレビジョン方式の画像データを連続的に符号化する場合に必要とされる。他の例として、ＧＯＰ単位の編集により二つのＭが異なるデータを接続した場合にも、Ｍがシーケンス中で変化する。
第６図では、Ｍ＝２の画像信号とＭ＝３のものとが接続された例であり、ビデオ入力が原画像を示している。また。ＣＵＲ＿Ｍが現在のフレームに対するＭの数を表している。さらに、Ｂ、Ｉ、Ｐの符号は、上述したピクチャコーディングタイプを表している。
Ｂピクチャの符号化処理では、ＩピクチャおよびＰピクチャを先に処理した後で、その間に挿入されるＢピクチャが符号化される。このために、符号化処理のピクチャの順序は、原画像の順序（ディスプレーオーダー）と異なったものとされる。すなわち、ＩおよびＰタイプのピクチャに対しては、フレーム遅延を与えず、Ｂタイプのピクチャに対して、ＣＵＲ＿Ｍで指示されるフレーム数の遅延を与え、それによって、ＢタイプのピクチャがＩまたはＰタイプのピクチャの間に入るようになされる。第６図中で、ＭＣ（動き補償）の現在と表したものが上述したように、画像の順序をディスプレイーオーダーから符号化処理の順序（コーディングオーダー）へ入れ替えたものである。
また、第６図において、ＭＣの順方向と表したピクチャは、コーディングオーダーのピクチャに対して、過去のピクチャを表し、順方向予測のために使用されるものである。例えば４Ｐで示すピクチャに対して、過去のピクチャが３Ｉであり、このピクチャ３Ｉを使用して順方向予測がなされる。ＭＣの逆方向と表したピクチャは、コーディングオーダーのピクチャに対して、未来のピクチャを表し、逆方向予測のために使用されるものである。例えば２Ｂで示すピクチャに対して、過去のピクチャが１Ｉであり、未来のピクチャが２Ｉであり、これらのピクチャを使用して両方向予測がなされる。通信路に送出され、あるいは記録媒体に記録される符号化出力は、コーディングオーダーのビットストリームである。ＭＰＥＧの予測符号化は、ローカル復号され、動き補償された予測画像と現画像とのフレーム差分をＤＣＴ(Discrete Cosine Transform)で符号化するものである。
この第６図のコーディングオーダーのビットストリームにおいて、Ｍ＝２からＭ＝３へと変化した箇所では、１フレームのデータが不足し、無信号区間が発生する。従って、復号化する場合には、時間軸を利用した補間、例えばその前の復号画像を繰り返すような前置ホールド（フリーズと称される）、あるいは前後の平均値で置き換える平均値補間によって、抜けたフレームデータを補間する必要がある。さらに、Ｍ＝３からＭ＝２へと変化した箇所では、１フレームデータが詰まり、そのまま復号すると、５Ｂ’で示すピクチャが欠落する。このように、Ｍ＝２の部分とＭ＝３の部分の間では、時間的に１フレームのずれが生じ、また、Ｍの変化点でデータが欠落するフレームが発生する。
なお、第６図では、Ｍが２から３へ変化した場合について説明したが、その他のＭの値の変化についても同様である。Ｍの数の差が大きいほど、補間する必要があるフレーム数、並びに欠落するフレーム数が増大する。
従って、この発明の目的は、符号化処理時にＩピクチャまたはＰピクチャの周期Ｍを変化させても、画像データの抜けや、時間軸のずれを生じることを防止することが可能な動画像の符号化装置および符号化方法を提供することになる。
発明の開示
この発明は、少なくとも二つの画像信号が接続点にて接続された入力画像信号であって、現在のフレームに対するＩピクチャ又はＰピクチャが現れる周期Ｍが接続点において異なった値へ変化する入力画像信号を符号化する符号化装置において、
入力画像信号のシーケンスに対するピクチャタイプを示す情報と、周期Ｍを表すＣＵＲ＿Ｍと、入力画像信号のシーケンス中の最大のＭを表すＭＡＸ＿Ｍとが入力され、
入力画像信号のピクチャタイプを示す情報がＩピクチャまたはＰピクチャであるピクチャに対して、ＭＡＸ＿Ｍ−ＣＵＲ＿Ｍのフレーム遅延を与え、
入力画像信号のピクチャタイプを示す情報がＢピクチャであるピクチャに対してＭＡＸ＿Ｍのフレーム遅延を与えることにより、入力画像信号のシーケンスを符号化順序に並び替える並び替え手段と、
並び替え手段により並び替えられた入力画像信号のシーケンスを符号化する符号化手段と
を有することを特徴とする符号化装置である。
また、この発明は、少なくとも二つの画像信号が接続点にて接続された入力画像信号であって、現在のフレームに対するＩピクチャ又はＰピクチャが現れる周期Ｍが接続点において異なった値へ変化する入力画像信号を符号化する符号化方法において、
入力画像信号のシーケンスに対するピクチャタイプを示す情報と、周期Ｍを表すＣＵＲ＿Ｍと、入力画像信号のシーケンス中の最大のＭを表すＭＡＸ＿Ｍとを入力し、
入力画像信号のピクチャタイプを示す情報がＩピクチャまたはＰピクチャであるピクチャに対して、ＭＡＸ＿Ｍ−ＣＵＲ＿Ｍのフレーム遅延を与え、
入力画像信号のピクチャタイプを示す情報がＢピクチャであるピクチャに対してＭＡＸ＿Ｍのフレーム遅延を与えることにより、入力画像信号のシーケンスを符号化順序に並び替える並び替えステップと、
並び替えステップにより並び替えられた入力画像信号のシーケンスを符号化する符号化ステップと
を有することを特徴とする符号化方法である。
この発明では、入力画像信号に対して指示されるピクチャコーディングタイプのみを参照するのと異なり、時間的に連続するシーケンスの中の最大のＭ数を考慮して、フレーム遅延を与えることによって、フレーム画像が抜けたり、元のフレーム画像が欠落することを防止することができる。
【図面の簡単な説明】
第１図は、この発明による符号化方法の一実施例の処理を示すタイミングチャートである。
第２図は、この発明による符号化方法の他の実施例の処理を示すタイミングチャートである。
第３図は、この発明が適用された符号化装置の一実施例のブロック図である。
第４図は、この発明の一実施例におけるフレーム並び替え回路の一例のブロック図である。
第５図は、フレーム並び替え回路の動作を示すフローチャートである。
第６図は、この発明を適用できる符号化方法の処理を示すタイミングチャートである。
発明を実施するための最良の形態
上述した問題点がピクチャコーディングタイプＩ、Ｐ、Ｂのみを参照してフレーム単位の処理を決定することにより発生する点に着目して、この発明では、時間的に連続するシーケンス（時間的に連続する処理する単位を意味する）の最大のＭ数（以降、ＭＡＸ＿Ｍと称する）と現フレームのＭ数（以降ＣＵＲ＿Ｍと称する）を使用することを特徴としている。
この発明は、コーディングタイプがＩまたはＰピクチャの場合では、（ＭＡＸ＿Ｍ−ＣＵＲ＿Ｍ）分のフレーム遅延を与え、これがＢピクチャの場合では、（ＭＡＸ＿Ｍ）分のフレーム遅延を与えるものである。すなわち、フレーム遅延は、下記の式に従って与えられる。
ＩまたはＰピクチャの場合、
フレーム遅延＝ＭＡＸ＿Ｍ−ＣＵＲ＿Ｍ
Ｂピクチャの場合、
フレーム遅延＝ＭＡＸ＿Ｍ
このように、フレーム遅延を与えることによって、フレーム間の時間ずれがなくなり、良好な符号化および復号化が可能となる。具体的な例として、上述した第６図の例のように、Ｍが２から３へ変化する場合に、この発明を適用した例を第１図に示す。
第１図の例では、時間的に連続するシーケンスの中のＭＡＸ＿Ｍが３である。従って、Ｂピクチャに対しては、３フレームの遅延を与える。また、ＩまたはＰピクチャに対しては、（３−ＣＵＲ＿Ｍ）フレームの遅延を与える。第１図中のフレーム遅延量は、このように決定されたフレーム遅延を表している。
すなわち、ＭＣ（現在）と表したシーケンス中の各ピクチャに関して、ビデオ入力に対するフレーム遅延量がその上側に書かれている。例えば１Ｉの画像は、（３−２＝１）フレームの遅延が与えられ、１Ｂの画像は、３フレームの遅延が与えられる。このように与えられたフレーム遅延によって、ビデオ入力（ディスプレイオーダー）がＭＣ（現在）と表すコーディングオーダーへ変換される。
なお、第１図中において、ＭＣ（順方向）の各ピクチャは、ＭＣ（現在）のピクチャの順方向予測に使用されるピクチャであって、ＭＣ（逆方向）の各ピクチャは、ＭＣ（現在）のピクチャの逆方向予測に使用されるピクチャである。そして、コーディングオーダーとされた画像中がそれぞれのピクチャコーディングタイプに応じて符号化され、第１図中で、ビットストリームとして示されるコーディングオーダーの圧縮符号化出力が得られる。
このビットストリームは、Ｉピクチャに対しては、フレーム内符号化を施したものであり、Ｐピクチャに対しては、順方向予測符号化を施したものであり、Ｂピクチャに対しては、両方向予測符号化を施したものである。ＭＰＥＧの場合の予測符号化は、ローカル復号され、動き補償された予測画像と現画像とのフレーム差分を求め、このフレーム差分をＤＣＴ符号化し、ＤＣＴ係数データを量子化するものである。ＤＣＴ係数は、さらに可変長符号化される。
第１図と第３図とを比較すると分かるように、この発明は、ビットストリーム中のＭが変化する箇所において、ピクチャ２Ｂと３Ｉとの間の画像の抜けが生じることがなく、また、ピクチャ５Ｂ’が欠落することを防止することができる。
第２図は、この発明の他の実施例を示すものである。他の実施例では、ビデオ入力から分かるように、Ｍの数が２、３、４、１と順に変化する。ＭＡＸ＿Ｍ＝４であるので、Ｂピクチャに対しては、４フレームの遅延が与えられる。また、ＩピクチャまたはＰピクチャに対しては、ＭＡＸ＿Ｍ−ＣＵＲ＿Ｍのフレーム遅延が与えられる。すなわち、ＩピクチャまたはＰピクチャに対しては、ＣＵＲ＿Ｍ＝１の場合は３フレーム遅延が与えられ、ＣＵＲ＿Ｍ＝２の場合は２フレーム遅延が与えられ、ＣＵＲ＿Ｍ＝３の場合は１フレーム遅延が与えられ、ＣＵＲ＿Ｍ＝４の場合はフレーム遅延が与えられない。
上述した一実施例と同様に、ＭＣ（現在）と表すシーケンス中の各フレームに対して与えられるフレーム遅延量が付随して示されている。例えば１Ｉの画像には、（４−２＝２）フレーム遅延が与えられ、１Ｂの画像には、４フレーム遅延が与えられる。
他の実施例のように、Ｍ数が１、２、３、４と変化する場合でも、画像データが抜けて補間が必要となることを防止でき、また、画像データが詰まって、欠落を生じることがない。
第３図は、上述したこの発明による符号化方法を実現するための符号化装置の一実施例の構成を示す。入力端子１からのデジタルビデオ信号がフレーム並び替え回路２に供給される。フレーム並び替え回路２は、上述したようなフレーム遅延を与えることによって、入力ビデオ信号の順序（ディスプレイオーダー）をコーディングオーダへ変換する。
フレーム並び替え回路２の出力が動き推定回路３に供給される。動き推定回路３では、過去の画像から現在の画像への動きベクトル（順方向動きベクトル）、並びに未来の画像から現在の画像への動きベクトル（逆方向動きベクトル）が検出される。これらの動きベクトルがフレームメモリ、予測器１５に供給され、順方向動き補償予測、逆方向動き補償予測、両方向動き補償予測がなされる。
動き推定回路３の後に減算回路４が設けられる。減算回路４では、入力画像信号とフレームメモリ、予測器１５からの予測信号との差分が計算される。図示しないが、フレーム並び替え回路２、およびフレームメモリ、予測器１５に対しては、入力画像信号の各フレームのピクチャコーディングタイプ（Ｉ、Ｐ、Ｂ）を指示する制御信号が供給されている。この制御信号に基づいて、フレーム並び替え回路２が後述するように、フレーム遅延を各フレームに対して与える。また、フレームメモリ、予測器１５は、Ｐの画像の場合では、順方向動き補償予測画像を出力し、Ｂの画像の場合では、両方向動き補償予測画像を出力し、Ｉの画像の場合では、０の画像データを出力する。
減算回路４の出力信号がＤＣＴ(Discrete Cosine Transform)の変換回路５に供給され、変換回路５からの係数データが量子化回路６にて量子化される。量子化回路６の出力が可変長符号のエンコーダ７にて可変長符号化されると共に、逆量子化回路１２に供給される。逆量子化回路１２の出力が逆変換回路１３に供給され、逆変換回路１３の出力が加算回路１４に供給される。
加算回路１４には、フレームメモリ、予測器１５の出力が供給され、加算回路１４からローカル復号信号が発生する。このローカル復号信号がフレームメモリ、予測器１５に供給される。
可変長符号化のエンコーダ７の出力信号と順方向動きベクトルと逆方向動きベクトルとが多重化回路８に供給され、ビットストリーム中にこれらの動きベクトルが多重化される。多重化回路８の出力（ビットストリーム）がバッファ９を介して出力端子１０に取り出される。出力端子１０に取り出されたビットストリームが通信路を介して伝送されたり、記録媒体に記録される。バッファ９は、レートコントロールのために設けられており、バッファ９のメモリ容量の残量を監視し、一定レートのデータを出力する場合に、量子化回路６を制御して、バッファ９のオーバーフローあるいはアンダーフローが生じないように制御される。
上述した動き補償フレーム間予測符号化（一例として、ＭＰＥＧ）において、フレーム並び替え回路２において、上述した規則に基づいてフレーム遅延を与えることによって、出力ストリーム中に補間を必要とするフレームが生じたり、フレームが抜けたりすることを防止することができる。
第４図は、フレーム並び替え回路２の一例の構成を示す。入力端子１からのディスプレイオーダーのビデオ信号がフレームメモリＦＬ１、ＦＬ２、ＦＬ３、・・・・の縦続接続に対して入力される。これらのフレームメモリを接続する個数は、与えるフレーム遅延量の最大値に依存している。入力ビデオ信号と、各フレームメモリの出力ビデオ信号とがフレーム遅延制御回路２１に供給される。
フレーム遅延制御回路２１は、ＣＰＵ２３からの情報ＭＡＸ＿Ｍ、ＣＵＲ＿Ｍ、ＰＣＴ（ピクチャコーディングタイプ）を受け取り、与えるべきフレーム遅延量を決定し、決定されたフレーム遅延量と対応するフレームメモリの出力信号を選択する。ＣＰＵ２３は、符号化の全体を制御する制御回路を構成する。選択されたビデオ信号がフレーム遅延制御回路２１からコーディングオーダビデオ信号として出力される。
第５図は、フレーム遅延制御回路２１においてなされるフレーム遅延量の決定の処理を示す。ＣＰＵ２３から受け取ったＰＣＴを参照して、入力画像フレームのピクチャコーディングタイプがＩまたはＰかどうかが決定される。入力画像のフレームのタイプがＩまたはＰであれば、そのフレームに対して与えられるフレーム遅延が（ＭＡＸ＿Ｍ−ＣＵＲ＿Ｍ）により計算される。若し、入力画像フレームのタイプがＩまたはＰでなければ、そのフレームに対して与えられるフレーム遅延がＭＡＸ＿Ｍとされる。
なお、この発明は、ＭＰＥＧに限らず、両方向予測による予測符号化を行なう動画像の符号化方法に対して適用することができる。
この発明は、時間的に連続するシーケンスの最大のＭ数と現在のＭ数の二つのパラメータを使用することによって、Ｍが変化しても時間的な連続性を保ったまま符号化、復号化が可能となる利点がある。
なお、この発明の主旨を逸脱しない範囲において種々の変形、応用例が考えうる。従って、この発明の要旨は、上述した実施例に限定されるものではない。

Claims (6)

1. 少なくとも二つの画像信号が接続点にて接続された入力画像信号であって、現在のフレームに対するＩピクチャ又はＰピクチャが現れる周期Ｍが上記接続点において異なった値へ変化する入力画像信号を符号化する符号化装置において、
   上記入力画像信号のシーケンスに対するピクチャタイプを示す情報と、上記周期Ｍを表すＣＵＲ＿Ｍと、上記入力画像信号のシーケンス中の最大のＭを表すＭＡＸ＿Ｍとが入力され、
   上記入力画像信号のピクチャタイプを示す情報がＩピクチャまたはＰピクチャであるピクチャに対して、ＭＡＸ Ｍ−ＣＵＲ＿Ｍのフレーム遅延を与え、
   上記入力画像信号のピクチャタイプを示す情報がＢピクチャであるピクチャに対してＭＡＸ＿Ｍのフレーム遅延を与えることにより、上記入力画像信号のシーケンスを符号化順序に並び替える並び替え手段と、
   上記並び替え手段により並び替えられた上記入力画像信号のシーケンスを符号化する符号化手段と
   を有することを特徴とする符号化装置。
2. 特許請求の範囲１に記載の符号化装置において、
   上記入力画像信号は、上記接続点が編集点であり、上記編集点において上記周期Ｍがシーケンス中で変化する画像信号である
   ことを特徴とする符号化装置。
3. 特許請求の範囲２に記載の符号化装置において、
   上記入力画像信号は、上記編集点において異なるフレーム周波数の画像信号が接続され、上記編集点において上記周期Ｍがシーケンス中で変化する画像信号である
   ことを特徴とする符号化装置。
4. 少なくとも二つの画像信号が接続点にて接続された入力画像信号であって、現在のフレームに対するＩピクチャ又はＰピクチャが現れる周期Ｍが上記接続点において異なった値へ変化する入力画像信号を符号化する符号化方法において、
   上記入力画像信号のシーケンスに対するピクチャタイプを示す情報と、上記周期Ｍを表すＣＵＲ＿Ｍと、上記入力画像信号のシーケンス中の最大のＭを表すＭＡＸ＿Ｍとを入力し、
   上記入力画像信号のピクチャタイプを示す情報がＩピクチャまたはＰピクチャであるピクチャに対して、ＭＡＸ＿Ｍ−ＣＵＲ＿Ｍのフレーム遅延を与え、
   上記入力画像信号のピクチャタイプを示す情報がＢピクチャであるピクチャに対してＭＡＸ＿Ｍのフレーム遅延を与えることにより、上記入力画像信号のシーケンスを符号化順序に並び替える並び替えステップと、
   上記並び替えステップにより並び替えられた上記入力画像信号のシーケンスを符号化する符号化ステップと
   を有することを特徴とする符号化方法。
5. 特許請求の範囲４に記載の符号化方法において、
   上記入力画像信号は、上記接続点が編集点であり、上記編集点において上記周期Ｍがシーケンス中で変化する画像信号である
   ことを特徴とする符号化方法。
6. 特許請求の範囲５に記載の符号化方法において、
   上記入力画像信号は、上記編集点において異なるフレーム周波数の画像信号が接続され、上記編集点において上記周期Ｍがシーケンス中で変化する画像信号である
   ことを特徴とする符号化方法。

Images