JP3599909B2 - 動画像符号化装置 - Google Patents
動画像符号化装置 Download PDFInfo
- Publication number
- JP3599909B2 JP3599909B2 JP20024296A JP20024296A JP3599909B2 JP 3599909 B2 JP3599909 B2 JP 3599909B2 JP 20024296 A JP20024296 A JP 20024296A JP 20024296 A JP20024296 A JP 20024296A JP 3599909 B2 JP3599909 B2 JP 3599909B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- picture
- data
- circuit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は動画像符号化装置に関し、特にテレビジョン信号などの動画像映像信号を、フレーム内符号化と、フレーム間符号化とを組合せた動き予測を用いて、可変長符号により圧縮符号化する動画像符号化装置に関する。特に、シーンチェンジ発生時の悪影響を防止することで、画質の安定化を図る動画像符号化装置に関する。
【０００２】
【従来の技術】
動画像を圧縮符号化する符号化方式として、ＭＰＥＧ方式がＭＰＥＧ−Ｖｉｄｅｏ（ＩＳＯ／ＩＥＣ １１１７２−２）およびＭＰＥＧ２−Ｖｉｄｅｏ（ＩＳＯ／ＩＥＣ １３８１８−２）として規格化されている。この方式は、記録以外にもデジタル放送、デジタル伝送といった放送、通信分野で広く用いられている。
【０００３】
ＭＰＥＧ方式では、１フレームの画像内で符号化を行なう、Ｉ−Ｐｉｃｔｕｒｅと呼ばれるフレーム内符号化フレーム、そして過去のフレームを参照することにより圧縮を行なうＰ−Ｐｉｃｔｕｒｅ、過去および未来の２つのフレームを参照することにより圧縮を行なう、Ｂ−Ｐｉｃｔｕｒｅと呼ばれる２つのフレーム間符号化フレームによってフレームデータが構成されている。そして、Ｐ−Ｐｉｃｔｕｒｅは再生時間順に最も近い過去に存在する参照フレーム（参照されるフレームであり、Ｉ−ＰｉｃｔｕｒｅまたはＰ−Ｐｉｃｔｕｒｅ）を参照することにより、Ｂ−Ｐｉｃｔｕｒｅは最も近い過去に存在する参照フレームと最も近い未来に存在する参照フレームとを参照することにより符号化および復号化がなされる。
【０００４】
ＭＰＥＧ方式とは、複数のフレームの集合であるＧＯＰ（グループオブピクチャ）をフレームシーケンス中に構成し、このＧＯＰ内で１枚のフレームのフレーム内圧縮を行ない、これ以外のフレームは、他の画像データを参照することによりフレーム間圧縮を行ない、圧縮符号化する方式である。
【０００５】
フレーム内圧縮ではＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ ）と量子化とを用いて得られたデータの可変長符号化を行なうという方式が取られている。
【０００６】
まず、フレームデータをマクロブロックと呼ばれる小領域に分割し、この領域内の８×８の画素ブロックごとにＤＣＴ変換を施し、周波数領域を求める。人間の視覚特性は高周波に対して鈍感なために、この得られた周波数領域中の高周波領域への符号割当を少なくすることにより、人間の視覚的には大きな劣化の感じられないフレームデータを求めることができる。この割当を行なうのが量子化である。
【０００７】
量子化は８×８画素のＤＣＴ変換を行なった結果得られた８×８の周波数領域データに対し、あるマトリックスで除算をすることにより実現される。
【０００８】
復号器側では、このマトリックスを可変長復号器から得られたデータに対して乗算（逆量子化）することにより、元の逆ＤＣＴ演算を行なうマトリックスを得ることが可能になる。
【０００９】
ここで、高次のデータ、つまり高周波領域のデータに対する除算値を大きく設定することにより、高周波領域の符号化精度を下げることができる。またこれにより高周波領域に相当するデータを少なくすることができる。
【００１０】
このようにして得られた量子化データは、ゼロ値の多いものとなる。このため、このデータに対してゼロ値の数と、それに続く実値という組で可変長符号化テーブルが形成される。可変長符号化とは、エントロピー符号化の１種で、出現頻度の高いデータには短い符号を割当て、出現頻度の低いデータには長い符号を割当てるものである。この組合せにより、効率の高い圧縮が行なわれる。ＭＰＥＧではこのフレームはＩ−Ｐｉｃｔｕｒｅと呼ばれている。
【００１１】
フレーム間圧縮の方法としては、動きベクトル検出を用いた動き補償という手法が用いられる。これにフレーム内圧縮と同様に、ＤＣＴと量子化と可変長符号化とが組合せられて符号化が行なわれる。まず、フレームデータをフレーム内圧縮の場合と同様にマクロブロックと呼ばれる小領域に分割する。そして、フレーム間圧縮においては、そのフレームデータだけではなく、参照を行なう他のフレームデータが必要となる。このフレームデータとしては、時間的に近い位置に存在するフレームのデータが用いられる。そして、各マクロブロックごとに、参照されるフレームデータ中から、最もそのマクロブロックにデータ的に近い領域が検索される。この「データ的に近い領域」とは、通常画素データについて輝度のみ比較して、その自乗誤差平均が最も少ない値を示す領域をいう。
【００１２】
ＭＰＥＧの場合には、この検索は半画素単位で行なうことになっている。これによって各マクロブロックの所定の範囲の領域から、この検索精度でデータ的に最も近い領域が検索されることになる。これを動き予測と呼ぶ。
【００１３】
また、この動き量は動きベクトルと呼ばれ、この値も可変長符号化される。これにより復号側では、参照するフレームデータが存在すれば、この「データ的に近い」領域を切出すことが可能となる。
【００１４】
得られたフレームデータは、符号化しようとしているマクロブロックのデータと、当然全く同じものではない。このため、この差を補償してやる必要がある。ＭＰＥＧでは、この差の補償のために、各画素ごと（輝度、色差）に差分を取り、この差分領域データを構成する。
【００１５】
そして、これらの中で８×８画素の各領域ごとにデータのＤＣＴ演算を行ない、フレーム内圧縮の場合と同様に量子化を行なう。ただし、ここで行なわれる量子化は、差分データのものであるため、通常全体的に精度を落とすものとして行なわれる。
【００１６】
このため、差分値においては通常高周波領域と低周波領域との区別を行なわないものがＭＰＥＧではデフォルトとして用意されている。もちろん、この量子化マトリックスもエンコーダ側で自由に変更可能である。
【００１７】
このようにして得られたデータを逆量子化し、逆ＤＣＴし、参照されるフレームデータがデコーダ内部に存在していれば、この得られた値をその動き量から得られた画像領域に加算することにより、マクロブロックの復号が行なわれることになる。
【００１８】
ＭＰＥＧでは、このフレーム間圧縮された画像データは、２種類存在している。過去のフレームからのみ参照が行なわれるフレームデータをＰ−Ｐｉｃｔｕｒｅという。また、過去および未来の双方から参照が行なわれるフレームデータをＢ−Ｐｉｃｔｕｒｅと呼ぶ。
【００１９】
Ｐ−Ｐｉｃｔｕｒｅは時間的に過去に位置するＩまたはＰ−Ｐｉｃｔｕｒｅだけから予測される。Ｂ−Ｐｉｃｔｕｒｅは時間的に過去および未来に位置するＩもしくはＰ−Ｐｉｃｔｕｒｅだけから予測される。このため、Ｂ−Ｐｉｃｔｕｒｅは動き予測のための参照フレームとして用いられることはない。
【００２０】
これらのフレーム圧縮手法を組合せることにより、得られた符号化データは原画像データと比較して数分の１から数百分の１のデータになる。また比較的高い画質が得られている。
【００２１】
ただし、フレームの参照という方法を用いているために、上記手法を実現するためには、復号器側において参照される側のフレームデータを保持する構造が必要になる。また、復号器側では、参照される側のフレームデータとしては、復号されたフレームデータしか当然存在しないために、エンコーダとしては、この条件でエンコードを行なわなくてはならない。つまり、符号化の過程において、Ｉ−ＰｉｃｔｕｒｅおよびＰ−Ｐｉｃｔｕｒｅを符号化後、復号器と同じ条件で復号を行ない、その復号後のフレームデータを保持する必要がある。そして、このフレームデータを参照することにより、フレーム間圧縮であるＰ−Ｐｉｃｔｕｒｅ、Ｂ−Ｐｉｃｔｕｒｅの符号化を行なわなくてはならない。
【００２２】
図５に、ＭＰＥＧ動画像のフレームシーケンスの一例を示す。
図中Ａは各フレームの表示順であり、ＭＰＥＧで最も一般的に用いられるフレームの種類の順を示しているが、もちろんこの順番に限定されるものではない。矢印は終点に当たるフレームの符号化、復号を行なう場合に、始点にあるフレームデータを参照することを示している。
【００２３】
この中で、５０３、５１８はＩ−Ｐｉｃｔｕｒｅである。５０６、５０９、５１２および５１５はＰ−Ｐｉｃｔｕｒｅである。５０１、５０２、５０４、５０５、５０７、５０８、５１０、５１１、５１３、５１４、５１６、および５１７はＢ−Ｐｉｃｔｕｒｅである。たとえば、フレーム５０１および５０２は、Ｉ−Ｐｉｃｔｕｒｅ５０３が復号され、復号器であればフレームとして復号器内部に保持されていないと復号することができない。エンコーダであれば、エンコードが終了し、Ｉ−Ｐｉｃｔｕｒｅの復号が行なわれてエンコーダ内部にフレームデータとして保持されていないとエンコードできないことになる。
【００２４】
また、同様にフレーム５０４および５０５の符号化、復号化はＩ−Ｐｉｃｔｕｒｅ５０３、およびＢ−Ｐｉｃｔｕｒｅ５０６が復号されていなければ、不可能である。また、Ｐ−Ｐｉｃｔｕｒｅにおいても、５０６は５０３が、５０９は５０６が復号されていなければ符号化、復号化は不可能である。
【００２５】
このため、これらのデータの記録順は、図中Ｂのようになる。この記録順に復号を行ない、Ｉ−Ｐｉｃｔｕｒｅ、Ｐ−Ｐｉｃｔｕｒｅの復号フレームデータを順次保持することにより、それぞれのフレームデータの符号化、復号化が可能になる。また、このような方法のため、Ｉ−Ｐｉｃｔｕｒｅはそれ自体で高い画質を維持する必要がある。また、Ｐ−ＰｉｃｔｕｒｅもＢ−Ｐｉｃｔｕｒｅの参照に利用されるために、高い画質を維持する必要がある。このため、通常Ｉ−Ｐｉｃｔｕｒｅに最も多くの符号を割当て、次にＰ−Ｐｉｃｔｕｒｅ、Ｂ−Ｐｉｃｔｕｒｅの順で用いるデータ量を減らすことにより、全体としての高画質を維持している。
【００２６】
このようなＭＰＥＧ符号化方式によって動画像の映像信号を圧縮符号化する動画像符号化装置の具体例を図４に示す。
【００２７】
装置は、入力端子４１１と、画像並べ換え回路４１２と、ラスタスキャンからマクロブロックへの走査変換回路４１３と、減算回路４１４と、ＤＣＴ回路４１６と、重み付けを行なう量子化回路４１８と、可変長符号化回路４２０と、エンコーダからの読出バッファ４２２と、符号化データ列を出力する出力端子４２３と、レート（量子化幅）制御回路４２４と、逆量子化回路４２６と、逆ＤＣＴ回路４２８と、加算回路４３０と、画像メモリ４３２と、画像メモリのデータの読出バス４３２ａ，４３２ｂと、動き補償回路４３４と、モード判定回路４３６と、動き検出回路４３８とを備える。
【００２８】
まず、入力端子４１１から画像並べ換え回路４１２に画像信号が入力される。画像並べ換え回路４１２は、図５のＢに示されるように、画像記録順すなわち画像の処理順にフレームの順序を入替える回路である。これにより、Ｉ−Ｐｉｃｔｕｒｅとして、圧縮符号化を行なうフレームが最初に入力され、以降図５のＢに示されるような順序にフレームの並べ換えが行なわれることになる。
【００２９】
まず、画像信号は走査変換回路４１３に入力される。通常画像信号はデジタル化された画像データ列であり、ラスタスキャンで得られたデジタルデータである。これは、画面の左上から１画素ずつデータが出力され、１画素のラインが形成された後、次の１画素下に相当するラインのデータが出力される形式である。ＭＰＥＧでは、マクロブロックと呼ばれる小領域を単位としてデータの処理を行なうために、このブロックにデータを変換する必要がある。ＭＰＥＧでは、このマクロブロックは輝度データ１６×１６画素、色差データ各８×８画素から構成される。ＭＰＥＧでは色差の割合が画像フォーマットによって変更されるが、輝度で１６×１６画素に相当する範囲がマクロブロックとして処理され、動きベクトルの検索もこれを単位として行なわれる。
【００３０】
以下に符号化の手順を圧縮手法別に説明する。
まず、Ｉ−Ｐｉｃｔｕｒｅのデータは、通常動きベクトルの検索を行なわない（ただしＭＰＥＧでは例外的に、エラーの復帰のためにＩ−Ｐｉｃｔｕｒｅに動きベクトルを導入することが可能である）ために、走査変換回路４１２を介してそのままＤＣＴ回路４１６に入力される。そして、画像データの空間−周波数変換が行なわれた後、量子化回路４１８によって各周波数領域への重み付けが行なわれる。
【００３１】
そして、このデータが可変長符号化回路４２０に入力され、可変長符号化がなされる。これらのデータは可変長符号化を行なうために、常時一定の転送レートでデータの出力を行なうことができない。このため、読出バッファ４２２において、その転送時のレートへの緩衝を行なう。これにより出力端子４２３から圧縮符号列は一定の転送レートで出力される。
【００３２】
また、この可変長符号化回路４２０の出力したデータ量はレート制御回路４２４によって観測される。そして、各フレームデータの予定していた符号化データ量と観測されたデータ量とで差異が大きい場合には、量子化の値を変更する。
【００３３】
量子化において、前述したマトリックスにエンコーダ側が決定できる量子化幅と呼ばれるスカラ値を決めることができる。これは、量子化マトリックスの各値にそのまま乗じて用いるものなので、この値が大きいほど、つまり粗く量子化するほど発生するデータ量は少なくなり、小さいほど、つまり細かく量子化するほど発生するデータ量は多くなる。
【００３４】
また、量子化回路４１８の出力は、可変長符号化回路４２０へ入力されると同時に、逆量子化回路４２６へも入力される。これは、前述の、参照に用いられる符号フレームデータを形成するためであり、以降逆ＤＣＴが逆ＤＣＴ回路４２８でなされ、この結果が順次画像メモリ４３２に入力される。この結果、画像メモリ内部には、参照の基準となるＩ−Ｐｉｃｔｕｒｅの復号画像が記憶されることになる。
【００３５】
次に、Ｐ−Ｐｉｃｔｕｒｅの符号化について説明する。Ｐ−Ｐｉｃｔｕｒｅの符号化の際には、各マクロブロックごとに動きベクトルが検索される。これは、画像メモリ４３２に記憶されたＩ−ＰｉｃｔｕｒｅまたはＰ−Ｐｉｃｔｕｒｅのデータを参照することにより検索される。ただし、Ｐ−Ｐｉｃｔｕｒｅのデータでは、すべてのマクロブロックを動きベクトルを用いて符号化するわけではない。動画像データで、たとえば動きの速い画像の場合であって、左に大きくパンする画像などでは右端側のマクロブロックのデータは、そのフレームデータで始めて出現したデータということになる。このようなデータは他のフレーム中から似た部分を検索しても圧縮の効果があまり得られない。
【００３６】
このため、この場合にはＩ−Ｐｉｃｔｕｒｅと同様に動きベクトルを用いない処理を行なうモードなどを用いることになる。他にも、背景処理を簡単に行なうための同位置のブロックデータをそのまま切出すモードがあり、これらのどのモードがそのマクロブロックの符号化に有効であるかをモード判定回路４３６が行なう。
【００３７】
そして、モード判定回路４３６が動き補償を行なうという判断を下すと、その命令が動き補償回路４３４に入力される。また、動き検出回路４３８によって得られた動きベクトルも同様に動き補償回路４３４に入力される。動き補償回路はこれらのデータから相当する領域のデータを画像メモリ４３２中から検出し、減算回路４１４に出力する。その差分がＤＣＴされ、量子化され、その後にＩ−Ｐｉｃｔｕｒｅの場合と同様に符号化される。
【００３８】
ただし、Ｐ−Ｐｉｃｔｕｒｅは、時間的に未来に位置するＰ−Ｐｉｃｔｕｒｅもしくは過去および未来に位置するＢ−Ｐｉｃｔｕｒｅから参照に利用されることになる。このため、このデータはＩ−Ｐｉｃｔｕｒｅを記憶したのと同様に画像メモリ４３２に記憶する必要がある。この場合に、フレームの復号を行なうが、Ｐ−Ｐｉｃｔｕｒｅはそのデータ自体で複号を行なうことができない。したがって、この場合にはそのフレームの符号化に用いた動きベクトルをもう一度用いて、動き補償回路４３４が加算回路４３０に対して該当する領域の画素データを加算してやることにより、復号がなされる。そして、復号されたＰ−Ｐｉｃｔｕｒｅのデータは、画像メモリ４３２に記憶される。
【００３９】
次に、Ｂ−Ｐｉｃｔｕｒｅの符号化について説明する。
Ｂ−Ｐｉｃｔｕｒｅの場合も、符号化の手法はＰ−Ｐｉｃｔｕｒｅと基本的には同じである。ただし、Ｂ−Ｐｉｃｔｕｒｅの場合は、過去および未来に位置するＩ−ＰｉｃｔｕｒｅもしくはＢ−Ｐｉｃｔｕｒｅからの参照により圧縮を行なうために、動きベクトルをＰ−Ｐｉｃｔｕｒｅの２倍検索する必要がある。
【００４０】
そして、符号化を行なうが、Ｂ−Ｐｉｃｔｕｒｅはどのフレームからも参照に用いられないため、そのまま符号化データが出力されるだけで、復号画像はエンコーダ内に生成しなくてもよい。
【００４１】
Ｂ−Ｐｉｃｔｕｒｅの場合には、マクロブロックの符号化のモードは過去および未来から予測と、過去からのみ予測と、未来からのみ予測と、単位内符号化との４種類から選択することになる。
【００４２】
このようにして、ＭＰＥＧのフレームデータが生成されることになるが、各符号化タイプの性質の違いから各符号化タイプごとにデータ量の割当が異なっており、データ量の割当の多い順にＩ−Ｐｉｃｔｕｒｅ、Ｐ−Ｐｉｃｔｕｒｅ、Ｂ−Ｐｉｃｔｕｒｅとなる。
【００４３】
【発明が解決しようとする課題】
しかしながら、従来の技術において、データ量の割当の最も少ないＢ−Ｐｉｃｔｕｒｅでシーンチェンジが発生すると、過去および未来の双方向のフレームを参照することができなくなる。これによりＢ−Ｐｉｃｔｕｒｅにおける高い圧縮率を維持することができなくなり、一時的にデータ量が増加する。レート制御回路４２４では、一時的に増加したデータ量を吸収すべく続いて符号化されるフレームに割当てるデータ量を減少させる。
【００４４】
このために、引続いて符号化される参照フレームであるＩ−ＰｉｃｔｕｒｅまたはＰ−Ｐｉｃｔｕｒｅへのデータ量の割当も減少することになり、参照フレームの再生画質が低下する。したがって、復号時における再生画像の画質低下を一時的に招くという問題点があった。
【００４５】
この発明はそのような問題点を解決するためになされたものであって、安定した再生画像を提供することのできる動画像符号化装置を提供することを目的としている。
【００４６】
【課題を解決するための手段】
上記目的を達成するため、この発明のある局面に従うと、動画像符号化装置は、Ｉフレーム、ＰフレームおよびＢフレームを含む一連のフレーム動画像信号が入力されるとともに、Ｉフレームに対してはフレーム内符号化を行い、ＰフレームおよびＢフレームに対しては予め設定された参照先フレームをもとにフレーム間符号化を行う符号化手段と、前記一連のフレーム動画像信号を構成する各フレームのうちシーンチェンジが行われるフレームを検出する識別手段と、前記識別手段によってシーンチェンジが検出されたフレームが前記Iフレーム、PフレームおよびBフレームのうち何れのフレームであるかを判定する判定手段と、前記判定手段によってシーンチェンジが行われるフレームがBフレームであると判定されたとき、当該Bフレームおよび当該Bフレームからシーンチェンジ後に最初に現れるIフレームまたはPフレームまでの間に存在するBフレームを前記符号化手段にてフレーム間符号化したデータに代えて、前記シーンチェンジ後に最初に現れるIフレームまたはPフレームの画像を表示するための情報を出力する出力手段と、を有することを特徴とする。
【００５３】
【発明の実施の形態】
図１は、この発明の第１の実施の形態における動画像符号化装置の構成を示すブロック図である。
【００５４】
なお、図４における従来の装置と同一の機能を持つブロックには同一の番号を付して説明を繰返さない。
【００５５】
図１に示される装置は、図４の構成に加えて、シーンチェンジ検出回路１０２と、画像置換え判定回路１０４と、符号切換回路１０６と、画像置換え符号発生回路１０８とを備える。
【００５６】
シーンチェンジ検出回路１０２は、入力端子４１１から入力された動画像信号を入力とし、シーンチェンジの判定を行ない、シーンチェンジ検出信号を出力する回路である。シーンチェンジは、たとえば動画像の高域成分の変化、画像のエッジ成分の変動、低域成分の変動などによって検出することができる。また、シーンチェンジ検出回路の現入力フレームに対して基準となるフレームは、時間軸上の直前に位置するフレームの他に、符号化装置において現入力フレームが参照する参照フレームを用いることができる。なお、ここではシーンチェンジ検出における検出方法および対象となるフレームについて例を挙げて説明したが、検出方法および対象フレームをこれに限定するものではない。
【００５７】
画像置換え判定回路１０４は、シーンチェンジ検出回路１０２のシーンチェンジ検出信号を入力とし、各フレームに対する符号化タイプ、すなわち画像がＩ−Ｐｉｃｔｕｒｅ、Ｐ−ＰｉｃｔｕｒｅまたはＢ−Ｐｉｃｔｕｒｅのいずれであるかを判定する。これにより、シーンチェンジが検出されたフレームの符号化タイプが判定される。画像置換え判定回路１０４は、非参照フレーム（他のフレームから参照されないフレーム）であるＢ−Ｐｉｃｔｕｒｅにおいてシーンチェンジが検出された場合に、可変長符号化回路４２０から出力される、そのＢ−Ｐｉｃｔｕｒｅに相当する符号を、そのＢ−Ｐｉｃｔｕｒｅが参照する最も近い過去に位置する参照フレームであるＩ−ＰｉｃｔｕｒｅもしくはＰ−Ｐｉｃｔｕｒｅまたは、最も近い未来に位置するＩ−ＰｉｃｔｕｒｅもしくはＰ−Ｐｉｃｔｕｒｅと同一の画像を復号時に復号画として出力するよう指示するデータ量の少ない画像置換え符号に置換えるための信号を符号切換手段１０６に出力する。
【００５８】
画像置換え符号発生回路１０８は、非参照フレームの置換えをする場合に、符号化時にＢ−Ｐｉｃｔｕｒｅに最も近い過去に位置する参照フレームであるＩ−ＰｉｃｔｕｒｅもしくはＰ−Ｐｉｃｔｕｒｅ、または最も近い未来に位置するＩ−ＰｉｃｔｕｒｅもしくはＰ−Ｐｉｃｔｕｒｅを復号画として出力するように指示する、Ｂ−Ｐｉｃｔｕｒｅに相当する符号のデータ量より少ないデータ量の符号である画像置換え符号を発生する。
【００５９】
符号切換回路１０６は、画像置換え判定回路１０４からの画像置換え指示に従って、可変長符号化回路４２０の出力である、シーンチェンジの検出されたＢ−Ｐｉｃｔｕｒｅに相当する符号を、画像置換え符号生成回路１０８の出力である画像置換え符号に置換える。
【００６０】
たとえばＭＰＥＧ２方式では、規格上画像置換えを行なう符号は定義されていない。しかし、各画像の最も左上に位置する、マクロブロック単位でのスキャン順で最初のマクロブロック（画像の最も左上に位置するブロック）と、最後のマクロブロック（画像の最も右下のブロック）のマクロブロックヘッダのみを符号化すれば、データ量の少ない符号によって、復号時に、Ｂ−Ｐｉｃｔｕｒｅを復号化する際に参照するいずれかのＩ−ＰｉｃｔｕｒｅまたはＰ−Ｐｉｃｔｕｒｅを該Ｂ−Ｐｉｃｔｕｒｅとして復号するように指示することができる。
【００６１】
まず、シーンチェンジが起きない通常時における動作について説明する。
入力端子４１１から入力された動画像信号がシーンチェンジ検出回路１０２に入力される。シーンチェンジ検出回路１０２では、シーンチェンジの検出がなされない。したがって、画像置換え判定回路１０４は、可変長符号化回路４２０の出力である符号を選択するよう指示する。符号切換回路１０６は、可変長符号化回路４２０の出力である符号を後段のエンコーダ読出バッファ４２２に出力する。
【００６２】
次に、非参照フレームにおいてシーンチェンジが起きた場合について動作を説明する。
【００６３】
図５のＢ−Ｐｉｃｔｕｒｅ５０８においてシーンチェンジが起きたと仮定する。入力端子４１１から入力された動画像信号がシーンチェンジ検出回路１０２に入力される。シーンチェンジ検出回路１０２では、Ｂ−Ｐｉｃｔｕｒｅ５０８においてシーンチェンジを検出し、シーンチェンジ検出信号を出力する。画像置換え判定回路１０４では、シーンチェンジ検出信号がＢ−Ｐｉｃｔｕｒｅ５０８において発生したことを確認した上で、画像置換え符号を出力するように符号切換回路１０６に指示する。画像置換え符号生成回路１０８は、符号化される画像として、Ｂ−Ｐｉｃｔｕｒｅ５０８の符号化に寄与するＰ−Ｐｉｃｔｕｒｅ５０９を、Ｂ−Ｐｉｃｔｕｒｅ５０８に代わって復号画像として出力するように指示する画像置換え符号を生成する。
【００６４】
符号切換回路１０６は、画像置換え判定回路１０４からの画像置換え符号出力の指示を受けて、可変長符号化回路４２０の出力であるＢ−Ｐｉｃｔｕｒｅ５０８を符号化した符号をすべて取除き、画像置換え符号生成回路１０８からの画像置換え符号を後段のエンコーダ読出バッファ４２２に出力する。
【００６５】
次に、参照フレームにおいてシーンチェンジが起きた場合について動作を説明する。
【００６６】
図５のＰ−Ｐｉｃｔｕｒｅ５１２において、シーンチェンジが起きたと仮定する。
【００６７】
入力端子４１１から入力された動画像信号が、シーンチェンジ検出回路１０２に入力される。シーンチェンジ検出回路１０２では、Ｐ−Ｐｉｃｔｕｒｅ５１２においてシーンチェンジを検出し、シーンチェンジ検出信号を出力する。画像置換え判定回路１０４では、シーンチェンジがＰ−Ｐｉｃｔｕｒｅ５１２において発生したことを確認し、通常動作と同様に、可変長符号化回路４２０の出力であるＰ−Ｐｉｃｔｕｒｅ５１２を符号化した符号を選択するように指示する。
【００６８】
符号切換回路１０６は、可変長符号化回路４２０の出力であるＰ−Ｐｉｃｔｕｒｅ５１２を符号化した符号を後段のエンコーダ読出バッファ４２２に出力する。
【００６９】
このようにして、Ｂ−Ｐｉｃｔｕｒｅにおいてシーンチェンジが発生した際に発生する、データ量の非常に多いＢ−Ｐｉｃｔｕｒｅに対する符号をデータ量の少ない画像置換え符号に入替えることができる。これにより、Ｂ−Ｐｉｃｔｕｒｅに予定より多いデータ量の符号が発生するのを抑え、シーンチェンジが生じたときの符号化効率を高めることができる。このため、結果として高画質で安定な圧縮符号化を実現することができる。
【００７０】
また、ここでは画像置換え判定回路１０４は、シーンチェンジ検出回路１０２のシーンチェンジ検出結果を入力とし、シーンチェンジが検出されたＢ−Ｐｉｃｔｕｒｅの画像置換えを指示するようにしたが、（１）シーンチェンジの発生したＢ−Ｐｉｃｔｕｒｅの参照する参照フレームと同一の参照フレームを参照する、すべてのＢ−Ｐｉｃｔｕｒｅの、（２）シーンチェンジの発生したＢ−Ｐｉｃｔｕｒｅ以前のすべてのＢ−Ｐｉｃｔｕｒｅの、または（３）シーンチェンジの発生したＢ−Ｐｉｃｔｕｒｅ以降のすべてのＢ−Ｐｉｃｔｕｒｅの、フレームを置換えるように指示する場合も考えられる。
【００７１】
また、画像置換え符号生成回路１０８において入力された符号の時間的に未来に位置するＰ−Ｐｉｃｔｕｒｅを、復号時に、画像置換えを指示されたフレームに代わって復号画像とするように説明したが、時間的に未来に位置する参照フレームがＩ−Ｐｉｃｔｕｒｅであれば、そのＩ−Ｐｉｃｔｕｒｅを復号フレームとする。
【００７２】
さらに、画像置換え符号生成回路１０８において時間的に未来に位置するＰ−ＰｉｃｔｕｒｅまたはＩ−Ｐｉｃｔｕｒｅを復号時に画像置換えを指示された画像に代わって復号フレームとするようにしたが、時間的に過去のＰ−ＰｉｃｔｕｒｅまたはＩ−Ｐｉｃｔｕｒｅ、時間的に最も近くに位置するＰ−ＰｉｃｔｕｒｅまたはＩ−Ｐｉｃｔｕｒｅを復号時に、画像置換えを指示されたフレームに代わって復号フレームとするようにしてもよい。
【００７３】
図２は、本発明の第２の実施の形態における動画像符号化装置の構成を示すブロック図である。図４または図１に示される回路と同一の機能を持つブロックには、同一の番号を付して説明を繰返さない。
【００７４】
この回路では、図４の回路に加えて、画像置換え判定回路２０２と、画像置換え符号生成回路１０８と、バッファメモリ２０４とを備える。
【００７５】
画像置換え判定回路２０２は、モード判定回路４３６の出力であるマクロブロックタイプおよび動き検出回路４３８の出力である動きベクトルを入力とし、Ｂ−Ｐｉｃｔｕｒｅにおけるフレーム内符号化マクロブロック数、１方向からの予測によるブロック数、所定のしきい値を超える動きベクトル数などの動きの程度を示すパラメータに基づいて画像置換えの判定を行なう。
【００７６】
バッファメモリ２０４は、画像置換え判定回路２０２において判定結果が出力されるまでの期間、可変長符号化回路４２０の出力である符号を遅延させるためのメモリである。
【００７７】
本実施の形態においては、図１の実施の形態におけるシーンチェンジ検出回路１０２および画像置換え判定回路１０４の行なう一連の判定動作を、入力の異なる新たな画像置換え判定回路２０２によって行なうことにより、同様の効果を得るものである。
【００７８】
図３は、本発明の第３の実施の形態における動画像符号化装置の構成を示すブロック図である。図１および図４に示される回路と同一の機能を持つブロックには、同一の番号を付して説明を繰返さない。
【００７９】
この回路は、図４に示される回路に加えて、データ量計数回路３０２と、画像置換え判定回路３０４と、レート制御回路３０６と、バッファメモリ３０８と、画像置換え符号生成回路１０８とを備える。
【００８０】
データ量計数回路３０２は、可変長符号化回路４２０から出力される符号を入力として、フレームごとにリセットされるカウンタである。データ量計数回路３０２は、各フレームの先頭からのデータ量を出力する。
【００８１】
画像置換え判定回路３０４は、データ量計数回路３０２の出力であるフレーム先頭からのデータ量を入力とし、そのデータ量がＢ−Ｐｉｃｔｕｒｅにおいて所定のしきい値を超えた場合に、そのフレームをそのＢ−Ｐｉｃｔｕｒｅに最も近い過去に位置する参照フレームであるＩ−ＰｉｃｔｕｒｅもしくはＰ−Ｐｉｃｔｕｒｅ、または最も近い未来に位置するＩ−ＰｉｃｔｕｒｅもしくはＰ−Ｐｉｃｔｕｒｅと同一のフレーム（フレーム置換え）とするため、バッファメモリ３０８から出力されるそのＢ−Ｐｉｃｔｕｒｅに相当する符号を、データ量の少ない画像置換え符号に置換えるか否かを判定する。そして、画像置換えを符号切換回路１０６に指示するとともに、レート制御回路３０６にも画像置換えを実施したことを伝える。
【００８２】
レート制御回路３０６は、従来のレート制御回路４２４の処理機能に加えて、画像置換え判定回路３０４からの画像置換えの実施の信号を受けて、そのＢ−Ｐｉｃｔｕｒｅにおいて発生した符号のデータ量を画像置換え符号のデータ量に下方修正する。これにより、後続のフレームを符号化する際のデータ量の配分を修正する機能を備えたレート制御回路となっている。
【００８３】
バッファメモリ３０８は、少なくとも画像置換え判定回路３０４で、置換えを行なうと判定されるデータ量のしきい値以上のデータの蓄積が可能な符号遅延用バッファメモリであり、可変長符号化回路４２０の出力である符号を入力とする。
【００８４】
まず、Ｂ−Ｐｉｃｔｕｒｅにおけるデータ量が所定のしきい値を超えない場合の動作について説明する。
【００８５】
可変長符号化回路４２０の出力がデータ量計数回路３０２に入力される。データ量計数回路はフレームの先頭でクリアされ、フレームの先頭からのデータ量を出力する。画像置換え判定回路３０４はそれを入力する。
【００８６】
このとき、そのＢ−Ｐｉｃｔｕｒｅにおけるデータ量は所定のしきい値を超えないため、画像置換え判定回路３０４は、バッファメモリ３０８の出力である、可変長符号化回路４２０の出力を遅延させた符号を選択するように指示する。符号切換回路１０６は、可変長符号化回路４２０の出力である符号を後段のエンコーダ読出バッファ４２２に出力する。
【００８７】
また、Ｉ−Ｐｉｃｔｕｒｅ、Ｐ−Ｐｉｃｔｕｒｅにおいても、しきい値を超えないと同様の判断がなされ、バッファメモリ３０８の出力が選択される。
【００８８】
次に、Ｂ−Ｐｉｃｔｕｒｅにおけるデータ量が所定のしきい値を超えた場合の動作について説明する。
【００８９】
可変長符号化回路４２０の出力が、データ量計数回路３０２に入力される。データ量計数回路は、フレームの先頭でクリアされ、フレームの先頭からのデータ量を出力する。画像置換え判定回路３０４はそれを入力する。
【００９０】
画像置換え判定回路３０４は、データ量計数回路３０２の出力であるデータ量を観測し、そのデータ量が所定のしきい値を超えたときに、画像置換え符号を出力するように符号切換回路１０６に指示する。すなわちＢ−Ｐｉｃｔｕｒｅに相当する符号が可変長符号化回路４２０から出力されている途中であっても、データ量が所定のしきい値を超えたときに画像置換え符号を出力するように符号切換回路１０６に指示するのである。
【００９１】
このようにしきい値を超えると同時に、画像置換えを決定すれば、バッファメモリ３０８は所定のしきい値に相当するデータ量を蓄積することのできるメモリであればよいことになる。符号切換回路１０６は、画像置換え判定回路３０４からの画像置換え符号出力の指示を受けて、バッファメモリ３０８からの、可変長符号化回路４２０の出力であるＢ−Ｐｉｃｔｕｒｅを符号化した符号をすべて取除き、画像置換え符号生成回路１０８からの画像置換え符号を後段のエンコーダ読出バッファ４２２に出力する。
【００９２】
さらに、レート制御回路３０６では、そのＢ−Ｐｉｃｔｕｒｅにおいて発生した符号の総データ量を、Ｂ−Ｐｉｃｔｕｒｅに対する画像置換え符号の総データ量に置換えて後続のフレームに割当てるデータ量を修正する。
【００９３】
このようにして、本実施の形態においては、図１の実施の形態と同様の効果を得ることができる。
【００９４】
また、この実施例では画像置換え判定回路３０４において、データ量が所定のしきい値を超えると同時に置換えを行なうようにしたが、フレームごとのデータ量を計数し終えた後に判定を行なうようにしてもよい。
【００９５】
このように、非参照フレームにおいてシーンチェンジが発生したときに、データ量の増加の発生を抑えることで、シーンチェンジでの符号化効率を高めることができる。このため結果として、高画質で安定な圧縮符号化を実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における動画像符号化装置のブロック図である。
【図２】本発明の第２の実施の形態における動画像符号化装置のブロック図である。
【図３】第３の実施の形態における動画像符号化装置のブロック図である。
【図４】従来の技術における動画像符号化装置の構成を示すブロック図である。
【図５】フレーム内符号化フレームを含む、動き予測符号化の参照関係を説明するための図である。
【符号の説明】
１０２ シーンチェンジ検出回路
１０４，２０２，３０４ 画像置換え判定回路
１０６ 切換回路
１０８ 画像置換え符号生成回路
３０２ データ量計数回路
３０６ レート（量子化幅）制御回路
【発明の属する技術分野】
この発明は動画像符号化装置に関し、特にテレビジョン信号などの動画像映像信号を、フレーム内符号化と、フレーム間符号化とを組合せた動き予測を用いて、可変長符号により圧縮符号化する動画像符号化装置に関する。特に、シーンチェンジ発生時の悪影響を防止することで、画質の安定化を図る動画像符号化装置に関する。
【０００２】
【従来の技術】
動画像を圧縮符号化する符号化方式として、ＭＰＥＧ方式がＭＰＥＧ−Ｖｉｄｅｏ（ＩＳＯ／ＩＥＣ １１１７２−２）およびＭＰＥＧ２−Ｖｉｄｅｏ（ＩＳＯ／ＩＥＣ １３８１８−２）として規格化されている。この方式は、記録以外にもデジタル放送、デジタル伝送といった放送、通信分野で広く用いられている。
【０００３】
ＭＰＥＧ方式では、１フレームの画像内で符号化を行なう、Ｉ−Ｐｉｃｔｕｒｅと呼ばれるフレーム内符号化フレーム、そして過去のフレームを参照することにより圧縮を行なうＰ−Ｐｉｃｔｕｒｅ、過去および未来の２つのフレームを参照することにより圧縮を行なう、Ｂ−Ｐｉｃｔｕｒｅと呼ばれる２つのフレーム間符号化フレームによってフレームデータが構成されている。そして、Ｐ−Ｐｉｃｔｕｒｅは再生時間順に最も近い過去に存在する参照フレーム（参照されるフレームであり、Ｉ−ＰｉｃｔｕｒｅまたはＰ−Ｐｉｃｔｕｒｅ）を参照することにより、Ｂ−Ｐｉｃｔｕｒｅは最も近い過去に存在する参照フレームと最も近い未来に存在する参照フレームとを参照することにより符号化および復号化がなされる。
【０００４】
ＭＰＥＧ方式とは、複数のフレームの集合であるＧＯＰ（グループオブピクチャ）をフレームシーケンス中に構成し、このＧＯＰ内で１枚のフレームのフレーム内圧縮を行ない、これ以外のフレームは、他の画像データを参照することによりフレーム間圧縮を行ない、圧縮符号化する方式である。
【０００５】
フレーム内圧縮ではＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ ）と量子化とを用いて得られたデータの可変長符号化を行なうという方式が取られている。
【０００６】
まず、フレームデータをマクロブロックと呼ばれる小領域に分割し、この領域内の８×８の画素ブロックごとにＤＣＴ変換を施し、周波数領域を求める。人間の視覚特性は高周波に対して鈍感なために、この得られた周波数領域中の高周波領域への符号割当を少なくすることにより、人間の視覚的には大きな劣化の感じられないフレームデータを求めることができる。この割当を行なうのが量子化である。
【０００７】
量子化は８×８画素のＤＣＴ変換を行なった結果得られた８×８の周波数領域データに対し、あるマトリックスで除算をすることにより実現される。
【０００８】
復号器側では、このマトリックスを可変長復号器から得られたデータに対して乗算（逆量子化）することにより、元の逆ＤＣＴ演算を行なうマトリックスを得ることが可能になる。
【０００９】
ここで、高次のデータ、つまり高周波領域のデータに対する除算値を大きく設定することにより、高周波領域の符号化精度を下げることができる。またこれにより高周波領域に相当するデータを少なくすることができる。
【００１０】
このようにして得られた量子化データは、ゼロ値の多いものとなる。このため、このデータに対してゼロ値の数と、それに続く実値という組で可変長符号化テーブルが形成される。可変長符号化とは、エントロピー符号化の１種で、出現頻度の高いデータには短い符号を割当て、出現頻度の低いデータには長い符号を割当てるものである。この組合せにより、効率の高い圧縮が行なわれる。ＭＰＥＧではこのフレームはＩ−Ｐｉｃｔｕｒｅと呼ばれている。
【００１１】
フレーム間圧縮の方法としては、動きベクトル検出を用いた動き補償という手法が用いられる。これにフレーム内圧縮と同様に、ＤＣＴと量子化と可変長符号化とが組合せられて符号化が行なわれる。まず、フレームデータをフレーム内圧縮の場合と同様にマクロブロックと呼ばれる小領域に分割する。そして、フレーム間圧縮においては、そのフレームデータだけではなく、参照を行なう他のフレームデータが必要となる。このフレームデータとしては、時間的に近い位置に存在するフレームのデータが用いられる。そして、各マクロブロックごとに、参照されるフレームデータ中から、最もそのマクロブロックにデータ的に近い領域が検索される。この「データ的に近い領域」とは、通常画素データについて輝度のみ比較して、その自乗誤差平均が最も少ない値を示す領域をいう。
【００１２】
ＭＰＥＧの場合には、この検索は半画素単位で行なうことになっている。これによって各マクロブロックの所定の範囲の領域から、この検索精度でデータ的に最も近い領域が検索されることになる。これを動き予測と呼ぶ。
【００１３】
また、この動き量は動きベクトルと呼ばれ、この値も可変長符号化される。これにより復号側では、参照するフレームデータが存在すれば、この「データ的に近い」領域を切出すことが可能となる。
【００１４】
得られたフレームデータは、符号化しようとしているマクロブロックのデータと、当然全く同じものではない。このため、この差を補償してやる必要がある。ＭＰＥＧでは、この差の補償のために、各画素ごと（輝度、色差）に差分を取り、この差分領域データを構成する。
【００１５】
そして、これらの中で８×８画素の各領域ごとにデータのＤＣＴ演算を行ない、フレーム内圧縮の場合と同様に量子化を行なう。ただし、ここで行なわれる量子化は、差分データのものであるため、通常全体的に精度を落とすものとして行なわれる。
【００１６】
このため、差分値においては通常高周波領域と低周波領域との区別を行なわないものがＭＰＥＧではデフォルトとして用意されている。もちろん、この量子化マトリックスもエンコーダ側で自由に変更可能である。
【００１７】
このようにして得られたデータを逆量子化し、逆ＤＣＴし、参照されるフレームデータがデコーダ内部に存在していれば、この得られた値をその動き量から得られた画像領域に加算することにより、マクロブロックの復号が行なわれることになる。
【００１８】
ＭＰＥＧでは、このフレーム間圧縮された画像データは、２種類存在している。過去のフレームからのみ参照が行なわれるフレームデータをＰ−Ｐｉｃｔｕｒｅという。また、過去および未来の双方から参照が行なわれるフレームデータをＢ−Ｐｉｃｔｕｒｅと呼ぶ。
【００１９】
Ｐ−Ｐｉｃｔｕｒｅは時間的に過去に位置するＩまたはＰ−Ｐｉｃｔｕｒｅだけから予測される。Ｂ−Ｐｉｃｔｕｒｅは時間的に過去および未来に位置するＩもしくはＰ−Ｐｉｃｔｕｒｅだけから予測される。このため、Ｂ−Ｐｉｃｔｕｒｅは動き予測のための参照フレームとして用いられることはない。
【００２０】
これらのフレーム圧縮手法を組合せることにより、得られた符号化データは原画像データと比較して数分の１から数百分の１のデータになる。また比較的高い画質が得られている。
【００２１】
ただし、フレームの参照という方法を用いているために、上記手法を実現するためには、復号器側において参照される側のフレームデータを保持する構造が必要になる。また、復号器側では、参照される側のフレームデータとしては、復号されたフレームデータしか当然存在しないために、エンコーダとしては、この条件でエンコードを行なわなくてはならない。つまり、符号化の過程において、Ｉ−ＰｉｃｔｕｒｅおよびＰ−Ｐｉｃｔｕｒｅを符号化後、復号器と同じ条件で復号を行ない、その復号後のフレームデータを保持する必要がある。そして、このフレームデータを参照することにより、フレーム間圧縮であるＰ−Ｐｉｃｔｕｒｅ、Ｂ−Ｐｉｃｔｕｒｅの符号化を行なわなくてはならない。
【００２２】
図５に、ＭＰＥＧ動画像のフレームシーケンスの一例を示す。
図中Ａは各フレームの表示順であり、ＭＰＥＧで最も一般的に用いられるフレームの種類の順を示しているが、もちろんこの順番に限定されるものではない。矢印は終点に当たるフレームの符号化、復号を行なう場合に、始点にあるフレームデータを参照することを示している。
【００２３】
この中で、５０３、５１８はＩ−Ｐｉｃｔｕｒｅである。５０６、５０９、５１２および５１５はＰ−Ｐｉｃｔｕｒｅである。５０１、５０２、５０４、５０５、５０７、５０８、５１０、５１１、５１３、５１４、５１６、および５１７はＢ−Ｐｉｃｔｕｒｅである。たとえば、フレーム５０１および５０２は、Ｉ−Ｐｉｃｔｕｒｅ５０３が復号され、復号器であればフレームとして復号器内部に保持されていないと復号することができない。エンコーダであれば、エンコードが終了し、Ｉ−Ｐｉｃｔｕｒｅの復号が行なわれてエンコーダ内部にフレームデータとして保持されていないとエンコードできないことになる。
【００２４】
また、同様にフレーム５０４および５０５の符号化、復号化はＩ−Ｐｉｃｔｕｒｅ５０３、およびＢ−Ｐｉｃｔｕｒｅ５０６が復号されていなければ、不可能である。また、Ｐ−Ｐｉｃｔｕｒｅにおいても、５０６は５０３が、５０９は５０６が復号されていなければ符号化、復号化は不可能である。
【００２５】
このため、これらのデータの記録順は、図中Ｂのようになる。この記録順に復号を行ない、Ｉ−Ｐｉｃｔｕｒｅ、Ｐ−Ｐｉｃｔｕｒｅの復号フレームデータを順次保持することにより、それぞれのフレームデータの符号化、復号化が可能になる。また、このような方法のため、Ｉ−Ｐｉｃｔｕｒｅはそれ自体で高い画質を維持する必要がある。また、Ｐ−ＰｉｃｔｕｒｅもＢ−Ｐｉｃｔｕｒｅの参照に利用されるために、高い画質を維持する必要がある。このため、通常Ｉ−Ｐｉｃｔｕｒｅに最も多くの符号を割当て、次にＰ−Ｐｉｃｔｕｒｅ、Ｂ−Ｐｉｃｔｕｒｅの順で用いるデータ量を減らすことにより、全体としての高画質を維持している。
【００２６】
このようなＭＰＥＧ符号化方式によって動画像の映像信号を圧縮符号化する動画像符号化装置の具体例を図４に示す。
【００２７】
装置は、入力端子４１１と、画像並べ換え回路４１２と、ラスタスキャンからマクロブロックへの走査変換回路４１３と、減算回路４１４と、ＤＣＴ回路４１６と、重み付けを行なう量子化回路４１８と、可変長符号化回路４２０と、エンコーダからの読出バッファ４２２と、符号化データ列を出力する出力端子４２３と、レート（量子化幅）制御回路４２４と、逆量子化回路４２６と、逆ＤＣＴ回路４２８と、加算回路４３０と、画像メモリ４３２と、画像メモリのデータの読出バス４３２ａ，４３２ｂと、動き補償回路４３４と、モード判定回路４３６と、動き検出回路４３８とを備える。
【００２８】
まず、入力端子４１１から画像並べ換え回路４１２に画像信号が入力される。画像並べ換え回路４１２は、図５のＢに示されるように、画像記録順すなわち画像の処理順にフレームの順序を入替える回路である。これにより、Ｉ−Ｐｉｃｔｕｒｅとして、圧縮符号化を行なうフレームが最初に入力され、以降図５のＢに示されるような順序にフレームの並べ換えが行なわれることになる。
【００２９】
まず、画像信号は走査変換回路４１３に入力される。通常画像信号はデジタル化された画像データ列であり、ラスタスキャンで得られたデジタルデータである。これは、画面の左上から１画素ずつデータが出力され、１画素のラインが形成された後、次の１画素下に相当するラインのデータが出力される形式である。ＭＰＥＧでは、マクロブロックと呼ばれる小領域を単位としてデータの処理を行なうために、このブロックにデータを変換する必要がある。ＭＰＥＧでは、このマクロブロックは輝度データ１６×１６画素、色差データ各８×８画素から構成される。ＭＰＥＧでは色差の割合が画像フォーマットによって変更されるが、輝度で１６×１６画素に相当する範囲がマクロブロックとして処理され、動きベクトルの検索もこれを単位として行なわれる。
【００３０】
以下に符号化の手順を圧縮手法別に説明する。
まず、Ｉ−Ｐｉｃｔｕｒｅのデータは、通常動きベクトルの検索を行なわない（ただしＭＰＥＧでは例外的に、エラーの復帰のためにＩ−Ｐｉｃｔｕｒｅに動きベクトルを導入することが可能である）ために、走査変換回路４１２を介してそのままＤＣＴ回路４１６に入力される。そして、画像データの空間−周波数変換が行なわれた後、量子化回路４１８によって各周波数領域への重み付けが行なわれる。
【００３１】
そして、このデータが可変長符号化回路４２０に入力され、可変長符号化がなされる。これらのデータは可変長符号化を行なうために、常時一定の転送レートでデータの出力を行なうことができない。このため、読出バッファ４２２において、その転送時のレートへの緩衝を行なう。これにより出力端子４２３から圧縮符号列は一定の転送レートで出力される。
【００３２】
また、この可変長符号化回路４２０の出力したデータ量はレート制御回路４２４によって観測される。そして、各フレームデータの予定していた符号化データ量と観測されたデータ量とで差異が大きい場合には、量子化の値を変更する。
【００３３】
量子化において、前述したマトリックスにエンコーダ側が決定できる量子化幅と呼ばれるスカラ値を決めることができる。これは、量子化マトリックスの各値にそのまま乗じて用いるものなので、この値が大きいほど、つまり粗く量子化するほど発生するデータ量は少なくなり、小さいほど、つまり細かく量子化するほど発生するデータ量は多くなる。
【００３４】
また、量子化回路４１８の出力は、可変長符号化回路４２０へ入力されると同時に、逆量子化回路４２６へも入力される。これは、前述の、参照に用いられる符号フレームデータを形成するためであり、以降逆ＤＣＴが逆ＤＣＴ回路４２８でなされ、この結果が順次画像メモリ４３２に入力される。この結果、画像メモリ内部には、参照の基準となるＩ−Ｐｉｃｔｕｒｅの復号画像が記憶されることになる。
【００３５】
次に、Ｐ−Ｐｉｃｔｕｒｅの符号化について説明する。Ｐ−Ｐｉｃｔｕｒｅの符号化の際には、各マクロブロックごとに動きベクトルが検索される。これは、画像メモリ４３２に記憶されたＩ−ＰｉｃｔｕｒｅまたはＰ−Ｐｉｃｔｕｒｅのデータを参照することにより検索される。ただし、Ｐ−Ｐｉｃｔｕｒｅのデータでは、すべてのマクロブロックを動きベクトルを用いて符号化するわけではない。動画像データで、たとえば動きの速い画像の場合であって、左に大きくパンする画像などでは右端側のマクロブロックのデータは、そのフレームデータで始めて出現したデータということになる。このようなデータは他のフレーム中から似た部分を検索しても圧縮の効果があまり得られない。
【００３６】
このため、この場合にはＩ−Ｐｉｃｔｕｒｅと同様に動きベクトルを用いない処理を行なうモードなどを用いることになる。他にも、背景処理を簡単に行なうための同位置のブロックデータをそのまま切出すモードがあり、これらのどのモードがそのマクロブロックの符号化に有効であるかをモード判定回路４３６が行なう。
【００３７】
そして、モード判定回路４３６が動き補償を行なうという判断を下すと、その命令が動き補償回路４３４に入力される。また、動き検出回路４３８によって得られた動きベクトルも同様に動き補償回路４３４に入力される。動き補償回路はこれらのデータから相当する領域のデータを画像メモリ４３２中から検出し、減算回路４１４に出力する。その差分がＤＣＴされ、量子化され、その後にＩ−Ｐｉｃｔｕｒｅの場合と同様に符号化される。
【００３８】
ただし、Ｐ−Ｐｉｃｔｕｒｅは、時間的に未来に位置するＰ−Ｐｉｃｔｕｒｅもしくは過去および未来に位置するＢ−Ｐｉｃｔｕｒｅから参照に利用されることになる。このため、このデータはＩ−Ｐｉｃｔｕｒｅを記憶したのと同様に画像メモリ４３２に記憶する必要がある。この場合に、フレームの復号を行なうが、Ｐ−Ｐｉｃｔｕｒｅはそのデータ自体で複号を行なうことができない。したがって、この場合にはそのフレームの符号化に用いた動きベクトルをもう一度用いて、動き補償回路４３４が加算回路４３０に対して該当する領域の画素データを加算してやることにより、復号がなされる。そして、復号されたＰ−Ｐｉｃｔｕｒｅのデータは、画像メモリ４３２に記憶される。
【００３９】
次に、Ｂ−Ｐｉｃｔｕｒｅの符号化について説明する。
Ｂ−Ｐｉｃｔｕｒｅの場合も、符号化の手法はＰ−Ｐｉｃｔｕｒｅと基本的には同じである。ただし、Ｂ−Ｐｉｃｔｕｒｅの場合は、過去および未来に位置するＩ−ＰｉｃｔｕｒｅもしくはＢ−Ｐｉｃｔｕｒｅからの参照により圧縮を行なうために、動きベクトルをＰ−Ｐｉｃｔｕｒｅの２倍検索する必要がある。
【００４０】
そして、符号化を行なうが、Ｂ−Ｐｉｃｔｕｒｅはどのフレームからも参照に用いられないため、そのまま符号化データが出力されるだけで、復号画像はエンコーダ内に生成しなくてもよい。
【００４１】
Ｂ−Ｐｉｃｔｕｒｅの場合には、マクロブロックの符号化のモードは過去および未来から予測と、過去からのみ予測と、未来からのみ予測と、単位内符号化との４種類から選択することになる。
【００４２】
このようにして、ＭＰＥＧのフレームデータが生成されることになるが、各符号化タイプの性質の違いから各符号化タイプごとにデータ量の割当が異なっており、データ量の割当の多い順にＩ−Ｐｉｃｔｕｒｅ、Ｐ−Ｐｉｃｔｕｒｅ、Ｂ−Ｐｉｃｔｕｒｅとなる。
【００４３】
【発明が解決しようとする課題】
しかしながら、従来の技術において、データ量の割当の最も少ないＢ−Ｐｉｃｔｕｒｅでシーンチェンジが発生すると、過去および未来の双方向のフレームを参照することができなくなる。これによりＢ−Ｐｉｃｔｕｒｅにおける高い圧縮率を維持することができなくなり、一時的にデータ量が増加する。レート制御回路４２４では、一時的に増加したデータ量を吸収すべく続いて符号化されるフレームに割当てるデータ量を減少させる。
【００４４】
このために、引続いて符号化される参照フレームであるＩ−ＰｉｃｔｕｒｅまたはＰ−Ｐｉｃｔｕｒｅへのデータ量の割当も減少することになり、参照フレームの再生画質が低下する。したがって、復号時における再生画像の画質低下を一時的に招くという問題点があった。
【００４５】
この発明はそのような問題点を解決するためになされたものであって、安定した再生画像を提供することのできる動画像符号化装置を提供することを目的としている。
【００４６】
【課題を解決するための手段】
上記目的を達成するため、この発明のある局面に従うと、動画像符号化装置は、Ｉフレーム、ＰフレームおよびＢフレームを含む一連のフレーム動画像信号が入力されるとともに、Ｉフレームに対してはフレーム内符号化を行い、ＰフレームおよびＢフレームに対しては予め設定された参照先フレームをもとにフレーム間符号化を行う符号化手段と、前記一連のフレーム動画像信号を構成する各フレームのうちシーンチェンジが行われるフレームを検出する識別手段と、前記識別手段によってシーンチェンジが検出されたフレームが前記Iフレーム、PフレームおよびBフレームのうち何れのフレームであるかを判定する判定手段と、前記判定手段によってシーンチェンジが行われるフレームがBフレームであると判定されたとき、当該Bフレームおよび当該Bフレームからシーンチェンジ後に最初に現れるIフレームまたはPフレームまでの間に存在するBフレームを前記符号化手段にてフレーム間符号化したデータに代えて、前記シーンチェンジ後に最初に現れるIフレームまたはPフレームの画像を表示するための情報を出力する出力手段と、を有することを特徴とする。
【００５３】
【発明の実施の形態】
図１は、この発明の第１の実施の形態における動画像符号化装置の構成を示すブロック図である。
【００５４】
なお、図４における従来の装置と同一の機能を持つブロックには同一の番号を付して説明を繰返さない。
【００５５】
図１に示される装置は、図４の構成に加えて、シーンチェンジ検出回路１０２と、画像置換え判定回路１０４と、符号切換回路１０６と、画像置換え符号発生回路１０８とを備える。
【００５６】
シーンチェンジ検出回路１０２は、入力端子４１１から入力された動画像信号を入力とし、シーンチェンジの判定を行ない、シーンチェンジ検出信号を出力する回路である。シーンチェンジは、たとえば動画像の高域成分の変化、画像のエッジ成分の変動、低域成分の変動などによって検出することができる。また、シーンチェンジ検出回路の現入力フレームに対して基準となるフレームは、時間軸上の直前に位置するフレームの他に、符号化装置において現入力フレームが参照する参照フレームを用いることができる。なお、ここではシーンチェンジ検出における検出方法および対象となるフレームについて例を挙げて説明したが、検出方法および対象フレームをこれに限定するものではない。
【００５７】
画像置換え判定回路１０４は、シーンチェンジ検出回路１０２のシーンチェンジ検出信号を入力とし、各フレームに対する符号化タイプ、すなわち画像がＩ−Ｐｉｃｔｕｒｅ、Ｐ−ＰｉｃｔｕｒｅまたはＢ−Ｐｉｃｔｕｒｅのいずれであるかを判定する。これにより、シーンチェンジが検出されたフレームの符号化タイプが判定される。画像置換え判定回路１０４は、非参照フレーム（他のフレームから参照されないフレーム）であるＢ−Ｐｉｃｔｕｒｅにおいてシーンチェンジが検出された場合に、可変長符号化回路４２０から出力される、そのＢ−Ｐｉｃｔｕｒｅに相当する符号を、そのＢ−Ｐｉｃｔｕｒｅが参照する最も近い過去に位置する参照フレームであるＩ−ＰｉｃｔｕｒｅもしくはＰ−Ｐｉｃｔｕｒｅまたは、最も近い未来に位置するＩ−ＰｉｃｔｕｒｅもしくはＰ−Ｐｉｃｔｕｒｅと同一の画像を復号時に復号画として出力するよう指示するデータ量の少ない画像置換え符号に置換えるための信号を符号切換手段１０６に出力する。
【００５８】
画像置換え符号発生回路１０８は、非参照フレームの置換えをする場合に、符号化時にＢ−Ｐｉｃｔｕｒｅに最も近い過去に位置する参照フレームであるＩ−ＰｉｃｔｕｒｅもしくはＰ−Ｐｉｃｔｕｒｅ、または最も近い未来に位置するＩ−ＰｉｃｔｕｒｅもしくはＰ−Ｐｉｃｔｕｒｅを復号画として出力するように指示する、Ｂ−Ｐｉｃｔｕｒｅに相当する符号のデータ量より少ないデータ量の符号である画像置換え符号を発生する。
【００５９】
符号切換回路１０６は、画像置換え判定回路１０４からの画像置換え指示に従って、可変長符号化回路４２０の出力である、シーンチェンジの検出されたＢ−Ｐｉｃｔｕｒｅに相当する符号を、画像置換え符号生成回路１０８の出力である画像置換え符号に置換える。
【００６０】
たとえばＭＰＥＧ２方式では、規格上画像置換えを行なう符号は定義されていない。しかし、各画像の最も左上に位置する、マクロブロック単位でのスキャン順で最初のマクロブロック（画像の最も左上に位置するブロック）と、最後のマクロブロック（画像の最も右下のブロック）のマクロブロックヘッダのみを符号化すれば、データ量の少ない符号によって、復号時に、Ｂ−Ｐｉｃｔｕｒｅを復号化する際に参照するいずれかのＩ−ＰｉｃｔｕｒｅまたはＰ−Ｐｉｃｔｕｒｅを該Ｂ−Ｐｉｃｔｕｒｅとして復号するように指示することができる。
【００６１】
まず、シーンチェンジが起きない通常時における動作について説明する。
入力端子４１１から入力された動画像信号がシーンチェンジ検出回路１０２に入力される。シーンチェンジ検出回路１０２では、シーンチェンジの検出がなされない。したがって、画像置換え判定回路１０４は、可変長符号化回路４２０の出力である符号を選択するよう指示する。符号切換回路１０６は、可変長符号化回路４２０の出力である符号を後段のエンコーダ読出バッファ４２２に出力する。
【００６２】
次に、非参照フレームにおいてシーンチェンジが起きた場合について動作を説明する。
【００６３】
図５のＢ−Ｐｉｃｔｕｒｅ５０８においてシーンチェンジが起きたと仮定する。入力端子４１１から入力された動画像信号がシーンチェンジ検出回路１０２に入力される。シーンチェンジ検出回路１０２では、Ｂ−Ｐｉｃｔｕｒｅ５０８においてシーンチェンジを検出し、シーンチェンジ検出信号を出力する。画像置換え判定回路１０４では、シーンチェンジ検出信号がＢ−Ｐｉｃｔｕｒｅ５０８において発生したことを確認した上で、画像置換え符号を出力するように符号切換回路１０６に指示する。画像置換え符号生成回路１０８は、符号化される画像として、Ｂ−Ｐｉｃｔｕｒｅ５０８の符号化に寄与するＰ−Ｐｉｃｔｕｒｅ５０９を、Ｂ−Ｐｉｃｔｕｒｅ５０８に代わって復号画像として出力するように指示する画像置換え符号を生成する。
【００６４】
符号切換回路１０６は、画像置換え判定回路１０４からの画像置換え符号出力の指示を受けて、可変長符号化回路４２０の出力であるＢ−Ｐｉｃｔｕｒｅ５０８を符号化した符号をすべて取除き、画像置換え符号生成回路１０８からの画像置換え符号を後段のエンコーダ読出バッファ４２２に出力する。
【００６５】
次に、参照フレームにおいてシーンチェンジが起きた場合について動作を説明する。
【００６６】
図５のＰ−Ｐｉｃｔｕｒｅ５１２において、シーンチェンジが起きたと仮定する。
【００６７】
入力端子４１１から入力された動画像信号が、シーンチェンジ検出回路１０２に入力される。シーンチェンジ検出回路１０２では、Ｐ−Ｐｉｃｔｕｒｅ５１２においてシーンチェンジを検出し、シーンチェンジ検出信号を出力する。画像置換え判定回路１０４では、シーンチェンジがＰ−Ｐｉｃｔｕｒｅ５１２において発生したことを確認し、通常動作と同様に、可変長符号化回路４２０の出力であるＰ−Ｐｉｃｔｕｒｅ５１２を符号化した符号を選択するように指示する。
【００６８】
符号切換回路１０６は、可変長符号化回路４２０の出力であるＰ−Ｐｉｃｔｕｒｅ５１２を符号化した符号を後段のエンコーダ読出バッファ４２２に出力する。
【００６９】
このようにして、Ｂ−Ｐｉｃｔｕｒｅにおいてシーンチェンジが発生した際に発生する、データ量の非常に多いＢ−Ｐｉｃｔｕｒｅに対する符号をデータ量の少ない画像置換え符号に入替えることができる。これにより、Ｂ−Ｐｉｃｔｕｒｅに予定より多いデータ量の符号が発生するのを抑え、シーンチェンジが生じたときの符号化効率を高めることができる。このため、結果として高画質で安定な圧縮符号化を実現することができる。
【００７０】
また、ここでは画像置換え判定回路１０４は、シーンチェンジ検出回路１０２のシーンチェンジ検出結果を入力とし、シーンチェンジが検出されたＢ−Ｐｉｃｔｕｒｅの画像置換えを指示するようにしたが、（１）シーンチェンジの発生したＢ−Ｐｉｃｔｕｒｅの参照する参照フレームと同一の参照フレームを参照する、すべてのＢ−Ｐｉｃｔｕｒｅの、（２）シーンチェンジの発生したＢ−Ｐｉｃｔｕｒｅ以前のすべてのＢ−Ｐｉｃｔｕｒｅの、または（３）シーンチェンジの発生したＢ−Ｐｉｃｔｕｒｅ以降のすべてのＢ−Ｐｉｃｔｕｒｅの、フレームを置換えるように指示する場合も考えられる。
【００７１】
また、画像置換え符号生成回路１０８において入力された符号の時間的に未来に位置するＰ−Ｐｉｃｔｕｒｅを、復号時に、画像置換えを指示されたフレームに代わって復号画像とするように説明したが、時間的に未来に位置する参照フレームがＩ−Ｐｉｃｔｕｒｅであれば、そのＩ−Ｐｉｃｔｕｒｅを復号フレームとする。
【００７２】
さらに、画像置換え符号生成回路１０８において時間的に未来に位置するＰ−ＰｉｃｔｕｒｅまたはＩ−Ｐｉｃｔｕｒｅを復号時に画像置換えを指示された画像に代わって復号フレームとするようにしたが、時間的に過去のＰ−ＰｉｃｔｕｒｅまたはＩ−Ｐｉｃｔｕｒｅ、時間的に最も近くに位置するＰ−ＰｉｃｔｕｒｅまたはＩ−Ｐｉｃｔｕｒｅを復号時に、画像置換えを指示されたフレームに代わって復号フレームとするようにしてもよい。
【００７３】
図２は、本発明の第２の実施の形態における動画像符号化装置の構成を示すブロック図である。図４または図１に示される回路と同一の機能を持つブロックには、同一の番号を付して説明を繰返さない。
【００７４】
この回路では、図４の回路に加えて、画像置換え判定回路２０２と、画像置換え符号生成回路１０８と、バッファメモリ２０４とを備える。
【００７５】
画像置換え判定回路２０２は、モード判定回路４３６の出力であるマクロブロックタイプおよび動き検出回路４３８の出力である動きベクトルを入力とし、Ｂ−Ｐｉｃｔｕｒｅにおけるフレーム内符号化マクロブロック数、１方向からの予測によるブロック数、所定のしきい値を超える動きベクトル数などの動きの程度を示すパラメータに基づいて画像置換えの判定を行なう。
【００７６】
バッファメモリ２０４は、画像置換え判定回路２０２において判定結果が出力されるまでの期間、可変長符号化回路４２０の出力である符号を遅延させるためのメモリである。
【００７７】
本実施の形態においては、図１の実施の形態におけるシーンチェンジ検出回路１０２および画像置換え判定回路１０４の行なう一連の判定動作を、入力の異なる新たな画像置換え判定回路２０２によって行なうことにより、同様の効果を得るものである。
【００７８】
図３は、本発明の第３の実施の形態における動画像符号化装置の構成を示すブロック図である。図１および図４に示される回路と同一の機能を持つブロックには、同一の番号を付して説明を繰返さない。
【００７９】
この回路は、図４に示される回路に加えて、データ量計数回路３０２と、画像置換え判定回路３０４と、レート制御回路３０６と、バッファメモリ３０８と、画像置換え符号生成回路１０８とを備える。
【００８０】
データ量計数回路３０２は、可変長符号化回路４２０から出力される符号を入力として、フレームごとにリセットされるカウンタである。データ量計数回路３０２は、各フレームの先頭からのデータ量を出力する。
【００８１】
画像置換え判定回路３０４は、データ量計数回路３０２の出力であるフレーム先頭からのデータ量を入力とし、そのデータ量がＢ−Ｐｉｃｔｕｒｅにおいて所定のしきい値を超えた場合に、そのフレームをそのＢ−Ｐｉｃｔｕｒｅに最も近い過去に位置する参照フレームであるＩ−ＰｉｃｔｕｒｅもしくはＰ−Ｐｉｃｔｕｒｅ、または最も近い未来に位置するＩ−ＰｉｃｔｕｒｅもしくはＰ−Ｐｉｃｔｕｒｅと同一のフレーム（フレーム置換え）とするため、バッファメモリ３０８から出力されるそのＢ−Ｐｉｃｔｕｒｅに相当する符号を、データ量の少ない画像置換え符号に置換えるか否かを判定する。そして、画像置換えを符号切換回路１０６に指示するとともに、レート制御回路３０６にも画像置換えを実施したことを伝える。
【００８２】
レート制御回路３０６は、従来のレート制御回路４２４の処理機能に加えて、画像置換え判定回路３０４からの画像置換えの実施の信号を受けて、そのＢ−Ｐｉｃｔｕｒｅにおいて発生した符号のデータ量を画像置換え符号のデータ量に下方修正する。これにより、後続のフレームを符号化する際のデータ量の配分を修正する機能を備えたレート制御回路となっている。
【００８３】
バッファメモリ３０８は、少なくとも画像置換え判定回路３０４で、置換えを行なうと判定されるデータ量のしきい値以上のデータの蓄積が可能な符号遅延用バッファメモリであり、可変長符号化回路４２０の出力である符号を入力とする。
【００８４】
まず、Ｂ−Ｐｉｃｔｕｒｅにおけるデータ量が所定のしきい値を超えない場合の動作について説明する。
【００８５】
可変長符号化回路４２０の出力がデータ量計数回路３０２に入力される。データ量計数回路はフレームの先頭でクリアされ、フレームの先頭からのデータ量を出力する。画像置換え判定回路３０４はそれを入力する。
【００８６】
このとき、そのＢ−Ｐｉｃｔｕｒｅにおけるデータ量は所定のしきい値を超えないため、画像置換え判定回路３０４は、バッファメモリ３０８の出力である、可変長符号化回路４２０の出力を遅延させた符号を選択するように指示する。符号切換回路１０６は、可変長符号化回路４２０の出力である符号を後段のエンコーダ読出バッファ４２２に出力する。
【００８７】
また、Ｉ−Ｐｉｃｔｕｒｅ、Ｐ−Ｐｉｃｔｕｒｅにおいても、しきい値を超えないと同様の判断がなされ、バッファメモリ３０８の出力が選択される。
【００８８】
次に、Ｂ−Ｐｉｃｔｕｒｅにおけるデータ量が所定のしきい値を超えた場合の動作について説明する。
【００８９】
可変長符号化回路４２０の出力が、データ量計数回路３０２に入力される。データ量計数回路は、フレームの先頭でクリアされ、フレームの先頭からのデータ量を出力する。画像置換え判定回路３０４はそれを入力する。
【００９０】
画像置換え判定回路３０４は、データ量計数回路３０２の出力であるデータ量を観測し、そのデータ量が所定のしきい値を超えたときに、画像置換え符号を出力するように符号切換回路１０６に指示する。すなわちＢ−Ｐｉｃｔｕｒｅに相当する符号が可変長符号化回路４２０から出力されている途中であっても、データ量が所定のしきい値を超えたときに画像置換え符号を出力するように符号切換回路１０６に指示するのである。
【００９１】
このようにしきい値を超えると同時に、画像置換えを決定すれば、バッファメモリ３０８は所定のしきい値に相当するデータ量を蓄積することのできるメモリであればよいことになる。符号切換回路１０６は、画像置換え判定回路３０４からの画像置換え符号出力の指示を受けて、バッファメモリ３０８からの、可変長符号化回路４２０の出力であるＢ−Ｐｉｃｔｕｒｅを符号化した符号をすべて取除き、画像置換え符号生成回路１０８からの画像置換え符号を後段のエンコーダ読出バッファ４２２に出力する。
【００９２】
さらに、レート制御回路３０６では、そのＢ−Ｐｉｃｔｕｒｅにおいて発生した符号の総データ量を、Ｂ−Ｐｉｃｔｕｒｅに対する画像置換え符号の総データ量に置換えて後続のフレームに割当てるデータ量を修正する。
【００９３】
このようにして、本実施の形態においては、図１の実施の形態と同様の効果を得ることができる。
【００９４】
また、この実施例では画像置換え判定回路３０４において、データ量が所定のしきい値を超えると同時に置換えを行なうようにしたが、フレームごとのデータ量を計数し終えた後に判定を行なうようにしてもよい。
【００９５】
このように、非参照フレームにおいてシーンチェンジが発生したときに、データ量の増加の発生を抑えることで、シーンチェンジでの符号化効率を高めることができる。このため結果として、高画質で安定な圧縮符号化を実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における動画像符号化装置のブロック図である。
【図２】本発明の第２の実施の形態における動画像符号化装置のブロック図である。
【図３】第３の実施の形態における動画像符号化装置のブロック図である。
【図４】従来の技術における動画像符号化装置の構成を示すブロック図である。
【図５】フレーム内符号化フレームを含む、動き予測符号化の参照関係を説明するための図である。
【符号の説明】
１０２ シーンチェンジ検出回路
１０４，２０２，３０４ 画像置換え判定回路
１０６ 切換回路
１０８ 画像置換え符号生成回路
３０２ データ量計数回路
３０６ レート（量子化幅）制御回路
Claims (1)
- Ｉフレーム、ＰフレームおよびＢフレームを含む一連のフレーム動画像信号が入力されるとともに、Ｉフレームに対してはフレーム内符号化を行い、ＰフレームおよびＢフレームに対しては予め設定された参照先フレームをもとにフレーム間符号化を行う符号化手段と、
前記一連のフレーム動画像信号を構成する各フレームのうちシーンチェンジが行われるフレームを検出する識別手段と、
前記識別手段によってシーンチェンジが検出されたフレームが前記Iフレーム、PフレームおよびBフレームのうち何れのフレームであるかを判定する判定手段と、
前記判定手段によってシーンチェンジが行われるフレームがBフレームであると判定されたとき、当該Bフレームおよび当該Bフレームからシーンチェンジ後に最初に現れるIフレームまたはPフレームまでの間に存在するBフレームを前記符号化手段にてフレーム間符号化したデータに代えて、前記シーンチェンジ後に最初に現れるIフレームまたはPフレームの画像を表示するための情報を出力する出力手段と、
を有することを特徴とする動画像符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20024296A JP3599909B2 (ja) | 1996-07-30 | 1996-07-30 | 動画像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20024296A JP3599909B2 (ja) | 1996-07-30 | 1996-07-30 | 動画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1051784A JPH1051784A (ja) | 1998-02-20 |
| JP3599909B2 true JP3599909B2 (ja) | 2004-12-08 |
Family
ID=16421167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20024296A Expired - Fee Related JP3599909B2 (ja) | 1996-07-30 | 1996-07-30 | 動画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3599909B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100480028B1 (ko) * | 2002-05-07 | 2005-03-30 | 엘지전자 주식회사 | 장면 변화 신택스 엘리먼트 추가에 의한 ｂ 픽쳐의 개선된다이렉트 예측 방법 |
| KR100901030B1 (ko) * | 2002-05-11 | 2009-06-04 | 엘지전자 주식회사 | 동영상 코딩방법 |
| KR100794797B1 (ko) | 2002-10-14 | 2008-01-21 | 삼성전자주식회사 | 디지털 ａ/ｖ 데이터의 기록/재생 장치 및 그 제어방법 |
| JP2005012527A (ja) * | 2003-06-19 | 2005-01-13 | Nippon Hoso Kyokai <Nhk> | 符号化装置、符号化プログラムおよび符号化方法 |
-
1996
- 1996-07-30 JP JP20024296A patent/JP3599909B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1051784A (ja) | 1998-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240048721A1 (en) | Image coding device, image decoding device, image coding method, and image decoding method | |
| JP4014263B2 (ja) | 映像信号変換装置及び映像信号変換方法 | |
| US5737022A (en) | Motion picture error concealment using simplified motion compensation | |
| US7324595B2 (en) | Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction | |
| JP4384130B2 (ja) | 動画像復号方法及び装置 | |
| KR100231186B1 (ko) | 화상 데이타의 복호화 처리중에 발생되는 양자화 노이즈 감소방법 및 화상 데이타 복호화 장치 | |
| US5635985A (en) | Low cost joint HD/SD television decoder methods and apparatus | |
| US7362809B2 (en) | Computational reduction in motion estimation based on lower bound of cost function | |
| US6587509B1 (en) | Reducing undesirable effects of an emphasis processing operation performed on a moving image by adding a noise signal to a decoded uncompressed signal | |
| US8064516B2 (en) | Text recognition during video compression | |
| KR100504641B1 (ko) | 화상 부호화 장치 및 화상 부호화 방법 | |
| US7787541B2 (en) | Dynamic pre-filter control with subjective noise detector for video compression | |
| JPH0998429A (ja) | ディジタル映像信号符号化装置および復号化装置 | |
| JP2001285876A (ja) | 画像符号化装置とその方法、ビデオカメラ、画像記録装置、画像伝送装置 | |
| JP3519441B2 (ja) | 動画像伝送装置 | |
| US6697430B1 (en) | MPEG encoder | |
| JP3599942B2 (ja) | 動画像符号化方法、及び動画像符号化装置 | |
| JP2933561B2 (ja) | 動画符号変換装置 | |
| JP3599909B2 (ja) | 動画像符号化装置 | |
| JP3245496B2 (ja) | 画像符号化方法、画像符号化回路、画像符号化装置及び再生装置 | |
| US20060109906A1 (en) | Methods and apparatus for dynamically adjusting f-codes for a digital picture header | |
| JP3246074B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
| JPH09261530A (ja) | 映像記録装置 | |
| JPH1056646A (ja) | 映像信号復号化装置 | |
| JP3141149B2 (ja) | 画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20030422 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040805 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040915 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070924 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |