JP6207728B2

JP6207728B2 - 画像符号化装置、および画像復号装置

Info

Publication number: JP6207728B2
Application number: JP2016517746A
Authority: JP
Inventors: 崇西辻; 勝大草野; 西川　博文; 博文西川
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2014-05-08
Filing date: 2014-05-08
Publication date: 2017-10-04
Anticipated expiration: 2034-05-08
Also published as: GB2540320B; US20170055001A1; JPWO2015170364A1; GB2540320A; WO2015170364A1

Description

この発明は、動画像データを符号化して符号化ストリームを送出する画像符号化装置、および当該符号化ストリームを復号する画像復号装置に関するものである。

動画像を圧縮して符号化する技術が広く用いられている。代表的なものに、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）−ＶＩＤＥＯに採用されているＭＰＥＧ−２（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）と呼ばれる方式や、携帯端末向けの地上デジタル放送（ワンセグ放送）やＢｌｕ−ｒａｙＤｉｓｋ（登録商標）に採用されているＨ．２６４方式などがある。

下記特許文献１には、インタレース方式における画像データのトップフィールドおよびボトムフィールドを独立して符号化し、一方のフィールドが欠損していた場合、他方のフィールドを代用することにより、画像の復号、表示を継続することが可能な画像符号化装置、および画像復号装置が開示されている。同文献にはまた、Ｉピクチャ（画面内予測符号化されたピクチャ）と
Ｐピクチャ、Ｂピクチャ（画面間予測を用いて符号化されたピクチャ）からなる符号化ビットストリームに対して、Ｉピクチャの挿入位置をトップフィールドとボトムフィールドでずらすことで、システムスタートアップ時とチャネル切り替え時に生じる画像の表示遅延を短縮する技術が開示されている。

特開２００３−３０４５４２号公報

上記特許文献に記載の画像符号化装置、および画像復号装置によれば、トップフィールドおよびボトムフィールドを独立して符号化することで、一方のフィールドでデータの欠損が生じた際、他方のフィールドに置き換えることで表示を継続することができる。しかし、各フィールドの画像データが表示順に対して順方向に符号化されているため、逆再生を行うには、参照する画像を全て復号する必要があるため、表示遅延が生じるという課題がある。また、上記特許文献に記載の装置は、トップフィールドとボトムフィールドが存在するインタレース方式の画像データを対象としているため、プログレッシブ方式の画像データにおいてデータが欠損した場合に表示を継続することはできず、逆再生においても表示までに時間を要するという課題がある。

本発明は上記の課題を解決するためになされたものであり、画像データの一部に欠損が生じた場合であっても表示を継続できるとともに、逆再生時の遅延を低減することが可能な画像符号化装置、および画像復号装置を提供することを目的とする。

本発明に係わる画像符号化装置は、トップフィールドおよびボトムフィールドによって構成されるピクチャを符号化する画像符号化装置であって、
一連の前記ピクチャからなる入力画像を蓄積するための入力画像蓄積手段と、
前記入力画像蓄積手段から出力される入力画像のうち、所定数のピクチャからなるピクチャ群の先頭ピクチャに対し画面内予測符号化を行い、他のピクチャに対し画面間予測符号化を行う符号化手段と、を備え
前記符号化手段は、前記先頭ピクチャ以外のピクチャを構成するトップフィールドおよびボトムフィールドのいずれか一方のフィールドを表示順に対し順方向に画面間予測符号化し、他方のフィールドを表示順に対し逆方向に画面間予測符号化するものである。

本発明に係わる画像符号化装置は、フレームによって構成されるピクチャを符号化する画像符号化装置であって、
一連の前記ピクチャからなる入力画像を蓄積するための入力画像蓄積手段と、
前記入力画像蓄積手段から出力される入力画像のうち、所定数のピクチャからなるピクチャ群の先頭ピクチャに対し画面内予測符号化を行い、他のピクチャに対し、前記先頭ピクチャを参照画像とする画面間予測符号化を行う符号化手段と、を備え、
前記符号化手段は、前記先頭ピクチャ以外のピクチャを構成する偶数フレームおよび奇数フレームのいずれか一方のフレームを表示順に対し順方向に画面間予測符号化し、他方のフレームを表示順に対し逆方向に画面間予測符号化するものである。

本発明に係わる画像符号化装置によれば、トップフィールドおよびボトムフィールドのいずれか一方のフィールド、または奇数フレームおよび偶数フレームのいずれか一方のフレームを表示順に対し逆方向に画面間予測符号化するので、逆再生時における表示遅延を短縮することができる。また、いずれか一方のフィールド、またはフレームに欠損が生じた場合において、欠損の生じていないフィールド、またはフレームを代用することにより、表示を継続することが可能となる。

実施の形態１に係わる画像符号化装置を示す構成図である。実施の形態１に係わる画像符号化方式を示す図である。実施の形態１に係わる入力画像信号と符号化ストリームを示す図である。順方向符号化の処理工程を示すフローチャートである。逆方向符号化の処理工程を示すフローチャートである。実施の形態２に係わる画像符号化方式を示す図である。実施の形態２に係わる入力画像信号と符号化ストリームを示す図である。実施の形態３に係わる画像復号装置を示す構成図である。通常再生時の復号処理工程を示すフローチャートである。逆再生時の復号処理工程を示すフローチャートである。実施の形態５に係わる画像符号化方式を示す図である。実施の形態５に係わる入力画像信号と符号化ストリームを示す図である。順方向符号化の処理工程を示すフローチャートである。逆方向符号化の処理工程を示すフローチャートである。実施の形態６に係わる画像符号化方式を示す図である。実施の形態６に係わる入力画像信号と符号化ストリームを示す図である。通常再生時の復号処理工程を示すフローチャートである。逆再生時の復号処理工程を示すフローチャートである。

実施の形態１．
図１はこの発明の実施の形態１に係る画像符号化装置の一例を示す構成図である。
入力画像バッファ１０１は、トップフィールドとボトムフィールドとによって構成される１フレームの入力画像信号を制御部１１３が出力する制御信号に基づき、減算部１０２、画面内予測部１１０、および画面間予測部１１１にそれぞれ出力するか、または破棄する。減算部１０２は、入力画像バッファ１０１から出力される入力画像信号と、画面内予測部１１０、または画面間予測部１１１から出力される予測画像信号との差分を直交変換部１０３に出力する。直交変換部１０３は減算部１０２より出力された差分信号に対して直交変換を行い、変換係数を量子化部１０４に出力する。量子化部１０４は直交変換部１０３より出力された変換係数に対して量子化を行い、量子化係数をエントロピー符号部１０５、および逆量子化部１０６にそれぞれ出力する。エントロピー符号化部１０５は、量子化部１０４から出力された量子化係数を符号化し、符号化ストリームを画像符号化装置の外部に出力する。

逆量子化部１０６は、量子化部１０４から出力された量子化係数に対して逆量子化を行い、復号変換係数を逆直交変換部１０７へ出力する。逆直交変換部１０７は、逆量子化部１０６から出力された復号変換係数に対して逆直交変換を行い、復号差分信号を加算部１０８へ出力する。加算部１０８は、逆直交変換部から出力された復号差分信号と、画面内予測部１１０、または画面間予測部１１１から出力された予測画像信号とを加算し、復号画像信号をピクチャバッファ１０９、およびラインバッファ１１２へそれぞれ出力する。ピクチャバッファ１０９は、加算部１０８から出力される復号画像信号を蓄積し、制御部１１３から入力される制御信号に基づき、画面間予測部１１１に出力するか、または破棄する。ラインバッファ１１２は、加算部１０８から出力された復号画像信号のうち、画面内予測部１１０において符号化に使用されるデータを保持し、画面内予測部１１０に出力する。制御部１１３は、画像符号化装置外部から入力される画像信号のフレームをカウントし、各フレームの入力画像信号がＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅ）の先頭か否かを判断し、ＧＯＰの先頭であれば入力画像信号を画面内予測符号化し、ＧＯＰの先頭でなければ一方のフィールドは表示順に対して順方向に、他方のフィールドは逆方向に画面間予測符号化するよう、入力画像バッファ１０１、およびピクチャバッファ１０９に対し、蓄積しているデータの出力または破棄を命令する信号を出力する。

図２は、実施の形態１に係わる画像符号化装置における予測符号化画像の参照方向の一例を示す図である。図２に示す符号化画像は８枚のフレーム（１６枚のフィールド）によりＧＯＰを構成している。図２において、Ｔはトップフィールド、Ｂはボトムフィールドの符号化画像を表し、数字はピクチャの表示順（ＰＯＣ：ＰｉｃｔｕｒｅＯｒｄｅｒＣｏｕｎｔ）を表している。

図２に示すように、トップフィールドＴ１〜Ｔ７のピクチャはＴ０を基点として表示順に、直近のトップフィールドを参照して画面間予測符号化される。すなわち、Ｔ０をＩピクチャとして画面内予測符号化後、Ｔ０を参照画像としてＴ１が画面間予測符号化され、次にＴ１を参照してＴ２が画面間予測符号化され、後続のトップフィールドＴ３〜Ｔ７までが同様に順次画面間予測符号化される。一方、ボトムフィールドＢ１〜Ｂ７は入力バッファに保持される。ボトムフィールドＢ１〜Ｂ７のピクチャは、次のＧＯＰ先頭のＩピクチャのボトムフィールドＢ８を基点として表示順に対し逆方向に、直後のボトムフィールドを参照して画面間予測符号化される。すなわち、Ｂ８をＩピクチャとして画面内予測符号化後、Ｂ８を参照してＢ７が画面間予測符号化され、次にＢ７を参照してＢ６が画面間予測符号化され、先行するボトムフィールドＢ５〜Ｂ１までが同様に画面間予測符号化される。

上記の符号化を実現するため、制御部１１３は、入力画像信号のフレームがＧＯＰ先頭のフレームであるか否かを判別し、ＧＯＰ先頭のフレームであれば画面内予測符号化し、先頭以外のフレームであればトップフィールドは表示順に対し順方向に、ボトムフィールドは表示順に対し逆方向に符号化されるよう、入力画像バッファ１０１、およびピクチャバッファ１０９に対し、それぞれのバッファに蓄積されている入力画像信号、および復号画像信号を出力または削除させる制御信号を出力する。

図４は、実施の形態１に係わる画像符号化装置において、１ＧＯＰ内のフィールドを表示順に対して順方向に符号化する場合の処理工程を示すフローチャートである。
制御部１１３は、画像符号化装置に入力される入力画像信号のフレーム数をカウントし、予め設定されたＧＯＰを構成するフレームの枚数に基づき、入力画像バッファ１０１に蓄積された入力画像信号のうち、ＧＯＰの先頭ピクチャとして画面内予測符号化すべきピクチャを判別する（ステップＳＴ４０１）。ＧＯＰの先頭ピクチャとする場合、制御部１１３は、ＧＯＰの先頭ピクチャとする入力画像信号を出力させる制御信号を入力画像バッファ１０１に出力し、当該入力画像信号に対して画面内予測符号化が行われる（ステップＳＴ４０２）。入力画像信号をＧＯＰの先頭以外のピクチャとして画面間予測符号化する場合、制御部１１３は、トップフィールドを構成する入力画像信号を表示順に対して順方向に出力させる制御信号を入力画像信号バッファ１０１に出力し、当該入力画像信号に対して画面間予測符号化が行われる（ステップＳＴ４０３）。ここで、ボトムフィールドを構成する入力画像については逆方向に符号化する必要があるため、入力画像バッファに保持される。順方向に符号化された入力画像信号は、符号化ストリームとして画像符号化装置外部に出力される（ステップＳＴ４０４）。制御部１１３は、加算部１０８から出力された復号画像信号を参照画像として保存させる制御信号をピクチャバッファ１０９に出力する（ステップＳＴ４０５）。符号化したピクチャの枚数が予め設定されたＧＯＰを構成するピクチャの枚数に達したことを制御部１１３が検出した場合、１ＧＯＰ分の符号化処理を完了し、ＧＯＰを構成するピクチャの枚数に達していない場合はステップＳＴ４０１に戻る（ステップＳＴ４０６）。

図５は、発明の実施の形態１による画像符号化装置において、１ＧＯＰ内のフィールドを表示順に対して逆方向に符号化する場合の処理工程を示すフローチャートである。
制御部１１３は画像符号化装置に入力される入力画像信号のフレーム数をカウントし、予め設定されたＧＯＰを構成するフレームの枚数に基づき、入力画像バッファ１０１に蓄積された入力画像信号のうち、ＧＯＰの先頭ピクチャとして画面内予測符号化すべきピクチャを判別する（ステップＳＴ５０１）。ＧＯＰの先頭ピクチャとする場合、制御部１１３は、ＧＯＰの先頭ピクチャとする入力画像信号を出力させる制御信号を入力画像バッファ１０１に出力し、当該入力画像信号に対して画面内予測符号化が行われる（ステップＳＴ５０２）。入力画像信号をＧＯＰの先頭以外のピクチャとして画面間予測符号化する場合、制御部１１３は、ボトムフィールドを構成する入力画像信号を表示順に対して逆方向に出力させる制御信号を入力画像信号バッファ１０１に出力し、当該入力画像信号に対して画面間予測符号化が行われる（ステップＳＴ５０３）。符号化された入力画像信号は、符号化ストリームとして画像符号化器外部へ出力される（ステップＳＴ５０４）。制御部１１３は、ピクチャバッファ１０９に対し、加算部１０８から出力された復号画像信号を参照画像として保存させる制御信号を出力する（ステップＳＴ５０５）。ボトムフィールドの入力画像信号を表示順に対して逆方向に符号化した後、制御部１１３は符号化が完了したフィールドの入力画像信号を削除するための制御信号を、入力画像バッファ１０１に出力する。入力画像バッファ１０１は制御信号に応じて符号化が完了したフィールドの入力画像信号を削除する（ステップＳＴ５０６）。符号化したピクチャの枚数が予め設定されたＧＯＰを構成するピクチャの枚数に達したことを制御部１１３が検出した場合、１ＧＯＰ分の符号化処理を完了し、ＧＯＰを構成するピクチャの枚数に達していない場合はステップＳＴ５０１に戻る（ステップＳＴ５０７）。

図３は、実施の形態１に係わる画像符号化装置に入力される入力画像信号と、出力される符号化ストリームとの関係を示す図である。図３において、Ｔはトップフィールド、Ｂはボトムフィールド、数字はピクチャ（フィールド）の表示順（ＰＯＣ）を表す。また、網掛けされたピクチャはＩピクチャ、それ以外はＰピクチャあるいはＢピクチャを表す。また、図３において、入力画像信号および出力画像信号は、左から右に示す順序でそれぞれ入力および出力され、各フィールドのデータは符号化された順番で符号化ストリームとして出力される。

図３に示すように、実施の形態１に係わる画像符号化装置は、最初のＧＯＰ先頭のトップフィールドＴ０を基点としてトップフィールドＴ１〜Ｔ７を画面間予測符号化して出力し、次のＧＯＰ先頭のボトムフィールドＢ８を基点として表示順序に対し逆方向にボトムフィールドＢ１〜Ｂ７を画面間予測符号化し、次のＧＯＰにおいて順方向に画面間予測符号化されるトップフィールドＴ９〜Ｔ１５とともに出力する。

なお、図２にはトップフィールドを表示順に対して順方向、ボトムフィールドを逆方向に画面間予測符号化する例を示したが、トップフィールドを表示順に対して逆方向、ボトムフィールドを表示順に対して逆方向に画面間予測符号化してもよい。

以上のように実施の形態１に係る画像符号化装置は、ＧＯＰの先頭ピクチャ以外のピクチャのうち、トップフィールド、およびボトムフィールドのいずれか一方のフィールドを表示順に対し順方向に画面間予測符号化し、他方のフィールドを逆方向に画面間予測符号化するので、逆再生を行う際、逆方向に画面間予測符号化された画像データを選択的に復号することにより、処理量を少なくして表示遅延を短縮することができる。

実施の形態２
実施の形態２に係る画像符号化装置は、図１に示す実施の形態１に係る画像符号化装置と同様の構成を有する。また、実施の形態２に係る画像符号化装置における符号化処理の処理工程は、図４、５に示すフローチャートと同様である。

図６は、実施の形態２に係わる画像符号化装置における予測画像の参照方向の一例を示す図である。
図６に示すように、トップフィールドＴ１〜Ｔ７のピクチャは、Ｔ０をＩピクチャとして画面内予測符号化した後、Ｔ０を参照画像としてそれぞれ画面間予測符号化される。一方、ボトムフィールドＢ１〜Ｂ７は入力画像バッファ１０１に保持される。ボトムフィールドＢ１〜Ｂ７のピクチャは、Ｉピクチャとして画面内予測符号化される次のＧＯＰの先頭のボトムフィールドＢ８を参照画像として表示順に画面間予測符号化され、符号化処理が完了したボトムフィールドは入力画像バッファ１０１から順次削除される。

上記の符号化を実現するため、制御部１１３は、入力画像信号のフレームがＧＯＰ先頭のフレームであるか否かを判別し、ＧＯＰ先頭のフレームであれば画面内予測符号化し、先頭以外のフレームであればトップフィールドはＧＯＰ先頭のトップフィールドを参照画像とし、ボトムフィールドは次のＧＯＰ先頭のボトムフィールドを参照画像として画面間予測符号化されるよう、入力画像バッファ１０１、およびピクチャバッファ１０９に対し、これらのバッファにそれぞれ蓄積されている入力画像信号、および復号画像信号を出力または削除させる制御信号を出力する。

図７は、実施の形態に係わる画像符号化装置に入力される入力画像信号と、出力される符号化ストリームとの関係を示す図である。図７に示すように、通常再生（順方向再生）における復号時の遅延を少なくするため、画面間予測符号化されたボトムフィールドＢ１〜Ｂ７は表示順に出力される。画面内予測符号化されたＢ８を参照画像としてＢ１が画面間予測符号化され、次にＢ８を参照画像としてＢ２が画面間予測符号化され、Ｂ３〜Ｂ７についても同様にＢ８を参照画像として表示順に画面間予測符号化されて出力される。

なお、図６にはトップフィールドを表示順に対して順方向、ボトムフィールドを逆方向に画面間予測符号化する例を示したが、トップフィールドを表示順に対して逆方向、ボトムフィールドを表示順に対して逆方向に画面間予測符号化してもよい。

以上のように実施の形態２に係る画像符号化装置は、ＧＯＰの先頭ピクチャ以外のピクチャのうち、トップフィールド、およびボトムフィールドのいずれか一方のフィールドを表示順に対し順方向に画面間予測符号化し、他方のフィールドを逆方向に画面間予測符号化するとともに、逆方向に画面間予測符号化したピクチャを表示順に出力するので、逆再生を行う際、逆方向に画面間予測符号化された画像データを選択的に復号することにより、処理量を少なくして表示遅延を短縮するとともに、通常再生時における表示遅延も少なくすることができる。

実施の形態３
図８は実施の形態３に係る画像復号装置の一例を示す構成図である。実施の形態３に係わる画像復号装置は、実施の形態１および２に係わる画像符号化装置により出力される符号化ストリームを復号するものである。

ストリームバッファ８０１は画像復号装置に入力される符号化ストリームを蓄積し、エントロピー符号部８０２及び制御部８１１に出力する。エントロピー符号部８０２は、ストリームバッファ８０１から出力された符号化ストリームに対して可変長復号を行い、量子化係数、動きベクトル、参照元情報、および被参照情報を逆量子化部８０３、画面内予測部８０６、画面間予測部８０７に出力する。逆量子化部８０３は、エントロピー符号部８０２から入力された量子化係数に対して逆量子化を行い、復号変換係数を逆直交変換部８０４へ出力する。逆直交変換部８０４は、逆量子化部８０３から出力された復号変換係数に対して逆直交変換を行い、復号差分信号を加算部８０５に出力する。加算部８０５は、逆直交変換部８０４から出力された復号差分信号と画面内予測部８０６、または画面間予測部８０７より出力された予測画像信号を加算し、復号画像信号を出力画像バッファ８０８、およびピクチャバッファ８１０に出力する。出力画像バッファ８０８は、加算部８０５から出力された復号画像信号を蓄積し、制御部８１１の制御信号に基づいて、トップフィールド、ボトムフィールドの復号画像信号を符号化時に設定された表示順に従って画像復号装置外部へ出力する。

ラインバッファ８０９は、加算部８０５から出力された復号画像信号を蓄積し、画面内予測部８０６が予測に用いる復号画像信号を出力する。ピクチャバッファ８１０は、加算部８０５から出力される復号画像信号を蓄積し、制御８１１の制御信号に基づき、復号画像信号を画面間予測部８０７に出力するか、または破棄する。制御部８１１は、画像復号装置に入力される符号化ストリームの入力数をカウントするとともに、ユーザから入力される逆再生指示に従って、出力画像バッファ８０８、およびピクチャバッファ８１０に対し、これらのバッファに蓄積されている画像信号の出力または削除を指示する制御信号を出力する。また、制御部８１１は、符号化ストリームの欠損を検出し、欠損したフィールドの代わりに他方のフィールドを出力させる制御信号を出力画像バッファ８０８に出力する。

図９は、実施の形態３に係わる画像復号装置の通常再生時の処理を示すフローチャートである。入力された符号化ストリームは復号され（ステップＳＴ９０１）、出力画像バッファ８０８に蓄積される（ステップＳＴ９０２）。図３に示す符号化ストリームが入力された場合、ボトムフィールドのピクチャは、図２に示すように表示順に対して逆方向に符号化されているため、画像復号装置に表示順と逆順に入力される。出力画像バッファ８０８は、ボトムフィールドの復号画像信号を蓄積し、表示順に符号化されたトップフィールドの復号画像を対となるよう並び替えて出力する。制御部８１１はストリームバッファ８０１から出力される符号化ストリームの入力数をカウントし、１ＧＯＰ分のトップフィールドと対応するボトムフィールドが出力可能か否かを判断する（ステップＳＴ９０３）。出力可能であれば出力画像バッファ８０８から表示順に画像を出力し（ステップＳＴ９０４）、出力不可能であればステップＳＴ９０１に戻り、次のフィールドを復号する。出力された画像は出力画像バッファ８０８から削除される（ステップＳＴ９０５）。ユーザからの復号終了命令があれば上記の復号処理は終了する（ステップＳＴ９０６）。

入力された符号化ストリームの欠損を制御部８１１が検出した場合、トップフィールドとボトムフィールドとが独立して符号化されているため、欠損のないフィールドの復号画像信号を欠損のあるフィールドの復号画像信号に代用して表示を継続できる。制御部８１１は欠損したフィールドの代わりに他方のフィールドのデータを出力する制御信号を出力画像バッファ８０８へ出力する。例えば、図２に示す符号化方法において、トップフィールドＴ３が欠損していた場合、トップフィールドＴ４〜Ｔ７は復号不可能となるが、ボトムフィールドＢ４〜Ｂ７を代用することで表示を継続できる。また、図６に示す符号化方法おいて、参照画像となるボトムフィールドＢ８が欠損した場合、ボトムフィールドＢ１〜Ｂ７は復号不可能だが、トップフィールドＴ０〜Ｔ７を代用することで表示を継続できる。

図１０は、実施の形態３に係わる画像復号装置の逆再生時の処理を示すフローチャートである。入力された符号化ストリームは復号され（ステップＳＴ１００１）、出力画像バッファ８０８に蓄積される（ステップＳＴ１００２）。制御部８１１に逆方向再生指示が入力されている場合、制御部８１１は出力画像バッファ８０８に対し、表示順に対して逆方向に符号化されたフィールドのみを出力させる制御信号を出力する（ステップＳＴ１００３）。また、制御部８１１は、表示しない順方向に符号化されたフィールドの代わりに逆方向に符号化されたフィールドを出力させる制御信号を出力画像バッファ８０８に出力する。出力画像バッファ８０８は、制御部８１１から逆再生時の制御信号が出力された場合、表示順に対して逆方向に符号化されたフィールドのみを出力し（ステップＳＴ１００４）、逆再生の指示がなければ図９に示すフローチャートの処理と同様に、トップフィールドとボトムフィールドを表示順（ＰＯＣ）にしたがって出力する（ステップＳＴ１００５）。

以上のように、逆方向再生時、表示順に対し逆方向に符号化されたフィールドのみを復号し、順方向に符号化されたフィールドの代わりに出力することにより、逆再生時の復号処理を少なくすることが可能となる。

また、通常再生時においては、表示順に対し逆方向に符号化されたフィールド復号画像信号を蓄積し、表示順に符号化されたフィールドの復号画像を対となるよう並び替えて出力するので、表示順に従って復号画像信号を出力することがきる。

さらに、トップフィールドとボトムフィールドとを独立に復号するので、欠損のあるフィールドを欠損のないフィールドで代用することにより、一部のフィールドに欠損が生じた場合も表示を継続することができる。

実施の形態４
実施の形態４に係る画像符号化装置は、実施の形態１に係る画像符号化装置と同様の構成を有する。
図１１は、実施の形態４に係わる画像符号化装置における予測画像の参照方向を示す図である。図１１に示す符号化画像は８枚のフレームによりＧＯＰを構成している。図１１において、Ｆはフレーム、数字はＰＯＣ、網掛けはＩフレーム（画面内予測符号化されたフレーム）であることを表している。

図１１に示すように、実施の形態４に係る画像符号化装置においては、ＧＯＰを構成するフレームのうち、偶数フレームを表示順に対して順方向に符号化し、奇数フレームを表示順に対して逆方向に符号化される。フレームＦ０を画面内予測符号化後、Ｆ０を参照画像としてＦ２が画面間予測符号化され、次にＦ２を参照画像としてＦ４が画面間予測符号化され、同様にＦ６が画面間予測符号化される。この間、奇数フレームＦ１，Ｆ３，Ｆ５，Ｆ７は、入力画像バッファ１０１に保持される。奇数フレームＦ１，Ｆ３，Ｆ５，Ｆ７は、次のＧＯＰの先頭フレームＦ８を画面内予測符号化後、Ｆ８を基点として表示順に対して逆方向に画面間予測符号化される。すなわち、図１１に示すように、Ｆ８を参照画像としてＦ７が画面間予測符号化され、次にＦ７を参照画像としてＦ５が画面間予測符号化され、同様にＦ３、Ｆ１が画面間予測符号化される。

上記の符号化を実現するため、制御部１１３は、入力画像信号のフレームがＧＯＰ先頭のフレームであるか否かを判別し、ＧＯＰ先頭のフレームであれば画面内予測符号化し、先頭以外のフレームであれば偶数フレームは順方向に、奇数フレームは逆方向に符号化されるよう、入力画像バッファ１０１、およびピクチャバッファ１０９に対し、これらのバッファにそれぞれ蓄積されている入力画像信号、および復号画像信号を出力または削除させる制御信号を出力する。

図１２は、実施の形態４に係わる画像符号化装置に入力される入力画像信号と、出力される符号化ストリームの関係を示す図である。図１２において、Ｆはフレームを表し、数字は表示順（ＰＯＣ）を表す。網掛けされたピクチャはＩフレームであることを表し、それ以外はＰフレームあるいはＢフレームを表す。図１２に示すように、偶数フレームはＰＯＣに従って出力され、奇数フレームはＰＯＣと逆の順序で、偶数フレームと交互に出力される。

図１３は、実施の形態４に係わる画像符号化装置において、１ＧＯＰ分の偶数フレームを符号化する場合の処理工程を示すフローチャートである。
制御部１１３は、画像符号化装置に入力される入力画像信号のフレームをカウントし、予め設定されたＧＯＰを構成するフレームの枚数に基づき、入力画像信号をＧＯＰの先頭フレームとして画面内予測符号化するかどうかを判断する（ステップＳＴ１３０１）。ＧＯＰの先頭フレームとする場合、先頭フレームとする入力画像信号を出力させる制御信号を入力画像信号バッファ１０１に出力し、当該入力画像信号に対し画面内予測符号化が行われる（ステップＳＴ１３０２）。制御部１１３は、ＧＯＰの先頭フレーム以外のフレームのうち偶数フレームの入力画像信号を表示順に対して順方向に出力させる制御信号を入力画像信号バッファ１０１に出力し、当該入力画像信号について画面間予測符号化処理が行われる（ステップＳＴ１３０３）。符号化された入力画像信号は、符号化ストリームとして画像符号化装置外部に出力される（ステップＳＴ１３０４）。直前に符号化されたフレームを参照画像として画面間予測符号化するため、制御部１１３は、加算部１０８から出力された復号画像信号を参照画像としてピクチャバッファ１０９に保存させる制御信号を出力する（ステップＳＴ１３０５）。制御部１１３は、符号化処理が完了した入力画像信号を削除させる制御信号を入力画像バッファ１０１に出力し、入力画像バッファ１０１は制御信号に従い入力画像信号を削除する（ステップＳＴ１３０６）。符号化したフレームの枚数が、ＧＯＰを構成する偶数フレームの枚数に達したことを制御部１１３が検出した場合、１ＧＯＰ分の符号化処理が完了し、達していない場合はステップＳＴ１３０１に戻る（ステップＳＴ１３０７）。

図１４は、実施の形態４に係わる画像符号化装置において、１ＧＯＰ分の奇数フレームを符号化する場合の処理工程を示すフローチャートである。
制御部１１３は画像符号化装置に入力される入力画像信号のフレームをカウントし、予め設定されたＧＯＰを構成するフレームの枚数に基づき、入力画像信号をＧＯＰの先頭フレームとして画面内予測符号化するかどうかを判断する（ステップＳＴ１４０１）。ＧＯＰの先頭フレームとする場合、先頭フレームとする入力画像信号を入力画像信号バッファ１０１に出力し、当該入力画像信号を画面内予測符号化する（ステップＳＴ１４０２）。制御部１１３は、ＧＯＰの先頭フレーム以外のフレームのうち奇数フレームの入力画像信号を表示順に対して逆方向に出力させる制御信号を入力画像信号バッファ１０１に出力し、当該入力画像信号に対し画面間予測符号化が行われる（ステップＳＴ１４０３）。符号化された入力画像信号は、符号化ストリームとして画像復号装置外部へ出力される（ステップＳＴ１４０４）。直前に符号化されたフレームを参照画像として画面間予測符号化するため、制御部１１３は、加算部１０８から出力された復号画像信号を参照画像としてピクチャバッファ１０９に保存させる制御信号を出力する（ステップＳＴ１４０５）。制御部１１３は、符号化処理が完了した入力画像信号を削除させる制御信号を入力画像バッファ１０１に出力し、入力画像バッファ１０１は制御信号に従い入力画像信号を削除する（ステップＳＴ１４０６）。符号化したフレームの枚数が、ＧＯＰを構成する奇数フレームの枚数に達したことを制御部１１３が検出した場合、１ＧＯＰ分の符号化処理が完了し、達していない場合はステップＳＴ１４０１に戻る（ステップＳＴ１４０７）。

なお、図１１には、偶数フレームを表示順に符号化し、奇数フレームを表示順に対して逆方向に符号化する例を示したが、奇数フレームを表示順に符号化し、偶数フレームを表示順に対して逆方向に符号化してもよい。

以上のように実施の形態４に係る画像符号化装置は、プログレッシブ方式の画像データにおいて、ＧＯＰの先頭ピクチャ以外のピクチャのうち、奇数フレーム、および偶数フレームのいずれか一方のフレームを表示順に対し順方向に画面間予測符号化し、他方のフレームを逆方向に画面間予測符号化するので、逆再生を行う際、逆方向に画面間予測符号化された画像データを選択的に復号することにより、処理量を少なくして表示遅延を短縮することができる。

実施の形態５
実施の形態５に係る画像符号化装置は、図１に示す実施の形態１に係わる画像符号化装置と同様の構成を有する。また、実施の形態５に係る画像符号化装置における符号化処理の処理工程は、図１３、１４に示すフローチャートと同様である。

図１５は、実施の形態５に係わる画像符号化装置おける予測画像の参照方向を示す図である。図１５に示すように、ＧＯＰの先頭フレームＦ０をＩフレームとして画面内予測符号化後、Ｆ０を参照画像として偶数フレームＦ２、Ｆ４、Ｆ６が画面間予測符号化される。この間、奇数フレームＦ１，Ｆ３，Ｆ５，Ｆ７は、入力画像バッファ１０１に保持される。奇数フレームＦ１，Ｆ３，Ｆ５，Ｆ７は、次のＧＯＰの先頭フレームＦ８を画面間予測符号化後、Ｆ８を参照画像としてそれぞれ画面間予測符号化される。

図１６は、実施の形態５に係わる画像符号化装置に入力される入力画像信号と、出力される符号化ストリームとの関係を示す図である。図１６に示すように、復号時の遅延を少なくするため、表示順に対し逆方向に画面間予測符号化された奇数フィールドＦ１，Ｆ３，Ｆ５，Ｆ７は表示順に出力される。

上記の符号化を実現するため、制御部１１３は、入力画像信号のフレームがＧＯＰ先頭のフレームであるか否かを判別し、ＧＯＰ先頭のフレームであれば画面内予測符号化し、先頭以外のフレームであれば偶数フレームはＧＯＰ先頭のフレームを参照画像とし、奇数フレームは次のＧＯＰ先頭のフレームを参照画像として画面間予測符号化されるよう、入力画像バッファ１０１、およびピクチャバッファ１０９に対し、これらのバッファにそれぞれ蓄積されている入力画像信号、および復号画像信号を出力または削除させる制御信号を出力する。

図１５には、偶数フレームをＧＯＰの先頭フレームを参照画像として順方向に符号化し、奇数フレームを次のＧＯＰの先頭フレームを参照画像として表示順に対して逆方向に符号化したが、奇数フレームを順方向に符号化し、偶数フレームを逆方向に符号化してもよい。

以上のように実施の形態５に係る画像符号化装置は、プログレッシブ方式の画像データにおいて、ＧＯＰの先頭ピクチャ以外のピクチャのうち、奇数フレーム、および偶数フレームのいずれか一方のフレームを表示順に対し順方向に画面間予測符号化し、他方のフレームを逆方向に画面間予測符号化するとともに、逆方向に画面間予測符号化したピクチャを表示順に出力するので、逆再生を行う際、逆方向に画面間予測符号化された画像データを選択的に復号することにより、処理量を少なくして表示遅延を短縮するとともに、通常再生時における表示遅延も少なくすることができる。

実施の形態６
実施の形態６に係る画像復号装置は、図８に示す実施の形態３に係る画像復号装置と同様の構成を有する。実施の形態６に係わる画像復号装置は、実施の形態４および５に係わる画像符号化装置により出力される符号化ストリームを復号するものである。

図１７は、実施の形態６に係わる画像復号装置の通常再生時の処理を示すフローチャートである。入力された符号化ストリームは復号され（ステップＳＴ１７０１）、出力画像バッファ８０８に保存される（ステップＳＴ１７０２）。図１２に示す符号化ストリームにおいて、奇数フレームは表示順と逆順に入力される。出力画像バッファ８０８は、出力画像の順番を整えるため、奇数フレームの復号処理が完了するまで、偶数フレームの復号画像信号を蓄積する。制御部８１１は、ストリームバッファ８０１から出力される符号化ストリームの入力数をカウントし、１ＧＯＰ分のフレームを出力可能か否か判断する（ステップＳＴ１７０３）。出力可能であれば出力画像バッファ８０８から表示順に画像を出力し（ステップＳＴ１７０４）、出力不可能であればステップＳＴ１７０１に戻り、次のフレームを復号する。出力された画像は出力画像バッファ８０８から削除され（ステップＳＴ１７０５）。ユーザからの復号終了命令があれば上記の復号処理は終了する（ステップＳＴ１７０６）。

入力された符号化ストリームの欠損を制御部８１１が検出した場合、偶数フレームと奇数フレームが独立して符号化されているため、欠損のないフレームの復号画像信号を欠損のあるフレームの復号画像信号に代用して表示を継続できる。制御部８１１は欠損したフレームの代わりに前後のフレームを出力させる制御信号を出力画像バッファ８０８に出力する。例えば、図１１に示す符号化方法おいて、偶数フレームＦ２が欠損した場合、Ｆ４，Ｆ６は復号できなくなるが、奇数フレームＦ３，Ｆ５，Ｆ７を代用することで表示を継続できる。

図１８は実施の形態６に係る画像復号装置の逆再生時の処理を示すフローチャートである。入力された符号化ストリームは復号され（ステップＳＴ１８０１）、出力画像バッファ８０８に蓄積される（ステップＳＴ１８０２）。制御部８１１に逆方向再生指示が入力されている場合（ステップＳＴ１８０３）、制御部８１１は出力画像バッファ８０８に対し、表示順に対し逆方向に画面間予測符号化されたフレームのみを出力させる制御信号を出力する（ステップＳＴ１８０４）。図１５に示す符号化画像データが入力された場合は、奇数フレームのみを出力する制御信号が出力バッファ８０８に出力される。また、制御部８１１は、表示しない、表示順に対し順方向に符号化されたフレームの代わりに逆方向に符号化されたフレームを出力させる制御信号を出力画像バッファ８０８に出力する。出力画像バッファ８０８は、制御部８１１から逆再生時の制御信号が出力された場合、逆方向に符号化されたフレームのみを出力し（ステップＳＴ１８０４）、逆再生の指示がなければ通常再生時の処理と同様に表示順（ＰＯＣ）にしたがって画像を出力させる制御信号を出力画像バッファ８０８に出力する（ステップＳＴ１８０５）。

以上のように、逆方向再生時、表示順に対し逆方向に符号化されたフレームのみを復号して出力することにより、逆再生時の復号処理を少なくすることが可能となる。

また、通常再生時においては、表示順に対し逆方向に符号化されたフレームの復号画像信号を蓄積し、表示順に符号化されたフレームの復号画像とともに並び替えて出力するので、表示順に従って復号画像信号を出力することがきる。

さらに、奇数フレームと、偶数フレームとを独立に復号するので、欠損のあるフレームを欠損のないフレームで代用することにより、一部のフレームに欠損が生じた場合も表示を継続することができる。

１０１入力画像バッファ、１０２加算部、１０３直交変換部、１０４量子化部、１０５エントロピー符号化部、１０６逆量子化部、１０７逆直交変換部、１０８加算部、１０９ピクチャバッファ、１１０画面内予測部、１１１画面間予測部、１１２ラインバッファ、１１３制御部、８０１ストリームバッファ、８０２エントロピー復号部、８０３逆量子化部、８０４逆直交変換部、８０５加算部、８０６画面内予測部、８０７画面間予測部、８０８出力画像バッファ、８０９ラインバッファ、８１０ピクチャバッファ、８１１制御部

Claims

トップフィールドおよびボトムフィールドによって構成されるピクチャを符号化する画像符号化装置であって、
一連の前記ピクチャからなる入力画像を蓄積するための入力画像蓄積手段と、
前記入力画像蓄積手段から出力される入力画像のうち、所定数のピクチャからなるピクチャ群の先頭ピクチャに対し画面内予測符号化を行い、他のピクチャに対し画面間予測符号化を行う符号化手段と、を備え
前記符号化手段は、前記先頭ピクチャ以外のピクチャを構成するトップフィールドおよびボトムフィールドのいずれか一方のフィールドを表示順に対し順方向に画面間予測符号化し、他方のフィールドを表示順に対し逆方向に画面間予測符号化することを特徴とする画像符号化装置。
前記符号化手段は、表示順に対し順方向に画面間予測符号化を行う場合、符号化対象フィールドの直前のフィールドを参照画像とし、表示順に対し逆方向に画面間予測符号化を行う場合、符号化対象フィールドの直後のフィールドを参照画像とすることを特徴とする請求項１記載の画像符号化装置。
前記符号化手段は、表示順に対し順方向に画面間予測符号化を行う場合、前記ピクチャ群の先頭ピクチャを構成するフィールドを参照画像とし、表示順に対し逆方向に画面間予測符号化を行う場合、前記ピクチャ群の次のピクチャ群の先頭ピクチャを構成するフィールドを参照画像とすることを特徴とする請求項１記載の画像符号化装置。
トップフィールドおよびボトムフィールドによって構成されるピクチャの符号化画像を復号する画像復号装置であって、
トップフィールドおよびボトムフィールドの符号化画像のうち、表示順に対し順方向に符号化されたフィールドの符号化画像、および表示順に対し逆方向に符号化されたフィールドの符号化画像をそれぞれ復号する復号手段と、
前記復号手段により復号された復号画像を蓄積するための復号画像蓄積手段と、
前記復号画像蓄積手段に蓄積された復号画像を所定の順序で出力するための制御信号を出力する制御手段と、を備え、
逆再生の指示が入力された場合、前記制御手段は、表示順に対し逆方向に符号化されたフィールドの復号画像を選択して出力させる制御信号を前記復号画像蓄積手段に出力し、
前記復号画像蓄積手段は蓄積された復号画像を、前記制御信号に従って出力することを特徴とする画像復号装置。
前記制御手段は、前記符号化画像の一方のフィールドに欠損が生じた場合、欠損が生じたフィールドに代えて、欠損が生じていない他方のフィールドの復号画像を出力させる制御信号を前記復号画像蓄積手段に出力することを特徴とする請求項４記載の画像復号装置。