JP4581192B2 - 画像情報符号化装置及び方法 - Google Patents
画像情報符号化装置及び方法 Download PDFInfo
- Publication number
- JP4581192B2 JP4581192B2 JP2000207369A JP2000207369A JP4581192B2 JP 4581192 B2 JP4581192 B2 JP 4581192B2 JP 2000207369 A JP2000207369 A JP 2000207369A JP 2000207369 A JP2000207369 A JP 2000207369A JP 4581192 B2 JP4581192 B2 JP 4581192B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- encoding
- prediction
- display order
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Description
【０００１】
【発明の属する技術分野】
本発明は、符号化された画像圧縮情報を復号して表示する場合や、画像圧縮情報をネットワークを用いて配信し、復号端末において受信し、復号して表示するようなデータ配信システムにおいて特殊再生を行う場合に用いて最適な、画像情報符号化装置及び方法、画像情報変換方法、画像情報復号装置及び方法に関する。
【０００２】
【従来の技術】
従来、ＤＶＤ（digital versatile/video disc）やハードディスク等にビデオ信号を符号化して蓄積し、復号して表示するような再生端末が提供されている。再生端末は、例えば、ビデオソース信号をビデオデータに符号化する符号化部と、ビデオデータを蓄積する記録媒体と、記録媒体からビデオデータを読み出す読み出し部と、ビデオデータを変換するデータ変換部と、ビデオデータを復号する復号部と、逆転再生や一時停止などの特殊再生を制御する特殊再生制御部とから構成される。
【０００３】
入力されたビデオソース信号は、符号化部によりビデオデータへと符号化され、記憶媒体へ蓄積される。記録媒体に蓄積されたビデオデータは、読み出し部により読み出され、復号部へ送られる。復号部により復号されたビデオデータは、図示されていない表示端末により表示される。なお、再生専用の端末では、符号化部を備えない場合もある。
【０００４】
逆転再生や一時停止などの特殊再生を行う場合、特殊再生制御部は、ユーザの特殊再生指定入力にしたがって、読み出し部及び復号部を制御する。すなわち、読み出し部は、特殊再生制御部の制御に応じて、指定された特殊再生に必要なデータのみを記憶媒体から読み出す。例えば早送り再生では、読み出し部は、復号及び表示に使用しないデータを読み飛ばし、必要なデータのみを復号部へ送る。
【０００５】
再生端末におけるビデオデータの符号化方式としては、例えばISO/IEC13818-2（いわゆるMPEG-2 video）で規定された方式がある。ISO/IEC13818-2のビデオフレームの符号化方法には、フレーム内データのみから符号化するイントラ符号化画像（Ｉピクチャ）と、前フレームからの予測を利用して符号化する前方（順方向）予測符号化画像（Ｐピクチャ）、前後（順方向及び逆方向）のフレームからの予測を使用して符号化する双方向予測符号化画像（Ｂピクチャ）がある。この符号化方式は、フレーム間における予測を使用しているため、特殊再生の中でも特に逆転再生を行う際の処理が複雑になる。
【０００６】
ここで、ISO/IEC13818-2で符号化されたビデオデータを逆転再生する場合の処理を説明する。図９に、逆転再生の際に、ＢピクチャＢ11を復号する場合を具体例として示す。図中のＩはＩピクチャ、ＰはＰピクチャ、ＢはＢピクチャを表す。
【０００７】
最初のステップＳ９００では、Ｉ12は既に復号されているものとする。Ｂ11を復号するためには、前後のＩもしくはＰピクチャを予測元ピクチャとして参照する必要がある。すなわち、Ｉ12及びＰ9が復号されている必要があることになる。Ｐピクチャを復号するためには予測元ピクチャであるＰピクチャもしくはＩピクチャが必要であるが、本来符号化された向きと後方に再生しているため、予測元ピクチャは未だ復号されていない。そこで、ステップＳ９０１において、Ｐ9を復号するために逆転再生方向において次のＩピクチャであるＩ0を検出し、復号する。そして、ステップＳ９０２において、復号されたＩ0に基づいて、Ｂ11の復号に必要なＰ9までの全てのＰピクチャであるＰ3、Ｐ6、Ｐ9を順次復号する。ステップＳ９０３において、復号されたＰ9を用いて、Ｐ9とＩ12に基づいてＢ11を復号する。このように、逆転再生を行う際には、符号化の順番と復号の順番が逆転しているため、１つのピクチャを復号するために多数のピクチャを予め復号しておかなければならない。
【０００８】
再生端末の読み出し部及び復号部は、逆転再生を行う際に上記のように多数のピクチャを先読みし、復号しなければならない。したがって、１枚のピクチャを表示する時間間隔において多数のピクチャの復号を行わなければならないため、高速の復号部を必要とする。上記のように複数のピクチャを高速に復号する能力を持たない場合には、ビデオデータ中のＩピクチャのみを抽出して復号する方法もある。しかし、Ｉピクチャ間のＢピクチャ及びＰピクチャが欠落してしまうと、復号される逆転再生画像はコマ送り状になってしまう。さらに、再生端末の読み出し部及び復号部は、予測元ピクチャを保存しておくための余分なフレームメモリを必要とする。もしくは、Ｂピクチャを復号するごとに、直後のＩピクチャから復号を繰り返さなければならない。
【０００９】
次に、蓄積されているビデオデータを復号して表示するのではなく、伝送媒体１１５を介して復号端末１１７へ配信する従来のシステムを説明する。
【００１０】
このシステムは、サーバ１００と、復号端末１１７とからなり、これらは伝送媒体１１５により接続されている。サーバ１００は、符号化部１０５と、記憶媒体１０７と、読み出し部１０９と、復号部１１０と、再符号化部１１２と、送信部１１４と、特殊再生制御部１０２とを備えている。復号端末１１７は、受信部１１８と、復号部１１９とを備えている。
【００１１】
サーバ１００はビデオデータ１０６を記憶媒体１０７に蓄積し、送信部１１４によって配信データ１１６として伝送媒体１１５を介して復号端末１１７へ送信する。復号端末１１７は、受信部１１８により上記配信データ１１６を受信し、復号部１１９により復号し、図示していない表示部によって表示する。
【００１２】
逆転再生や一時停止などの特殊再生を行う場合には、ユーザは特殊再生制御部１０２へ特殊再生指定入力１０１を入力する。図１０に示すようなデータ配信システムで特殊再生を行う場合、復号端末１１７の復号部１１９において上述した再生端末の再生部と同様の特殊再生用復号処理を行うためには、特殊再生用に特別な配信データの配信方法が必要となる。例えば図９に示した逆転再生の例では、ＢピクチャＢ11を復号するために必要な全てのピクチャ（Ｉ0、Ｐ3、Ｐ6、Ｐ9）を、Ｂ11の復号時刻までに配信しなければならず、局所的に配信データのレートが高くなってしまう。特殊再生用に特別なデータ形式で配信を行うためには、伝送媒体１１５、受信部１１８及び復号部１１９が特殊再生用の特別なデータ形式に対応しなければならない。この問題は、特殊再生の際には、配信する前にサーバ１００が、要求に応じた特殊再生用にビデオデータを変換する方法により回避することができる。
【００１３】
図１０に示すような特殊再生に対応した従来のデータ配信システムは、再生端末で行われているように特殊再生の指定に応じてビデオデータを読み出す読み出し部１０９と、ビデオデータを復号する復号部１１０とに加えて、復号したデータを再び符号化する再符号化部１１２によってデータ変換を行うことができる。再符号化部１１２が出力する変換済ビデオデータ１１３は、特殊再生の結果を反映済みのデータとなる。ただし、復号部１１０及び再符号化部１１２によりビデオデータを再符号化するために、処理負荷が大きく、画質が劣化する恐れもある。また、データ変換にかかる処理遅延が大きくなり、結果として特殊再生指定入力１０１が入力されてから、実際に復号端末１２０で特殊再生が表示されるまでの遅延が増大してしまう。
【００１４】
【発明が解決しようとする課題】
上述のように、再生端末において、フレーム間の予測を使用する符号化方法を用いてビデオデータを復号すると、逆転再生を行う際、１枚のピクチャを復号するために複数のピクチャを予め復号しなければならない。したがって、再生端末の読み出し部及び復号部において、１枚のピクチャを表示する間に多数のピクチャを先読みして復号するために、高速の処理が必要になる。さらに、予測元ピクチャを保存しておくためにフレームメモリが余分に必要となる。もしくは、Ｂピクチャを復号するごとに、直後のＩピクチャから復号を繰り返さなければならない。このように、逆転再生を通常再生と同様の復号処理で行うことはできなかった。
【００１５】
従来のデータ配信システムでは、蓄積されているビデオデータはサーバによって伝送媒体を介して復号端末へ配信される。このため、特殊再生用に特別な配信データの配信方法が必要となり、伝送媒体、受信部及び復号部が特殊再生用の特別なデータ形式に対応していなければならないという問題がある。この問題を回避するために、特殊再生の際に、要求に応じた特殊再生用にサーバによって変換されたビデオデータを配信する方法が考えられる。しかし、この方法は、ビデオデータをサーバにおいて再符号化する必要が生じるため、処理負荷が大きく、画質が劣化するという問題がある。また、データ変換にかかる処理遅延が大きくなり、結果として特殊再生指定入力が入力されてから、実際に復号端末で特殊再生が表示されるまでの遅延が増大してしまうという問題がある。
【００１６】
本発明は、上述の実情に鑑みて提案されるものであって、特殊再生を行う際の処理の負担を軽減し、特に逆転再生を効率よく行うような画像情報符号化装置及び方法、画像情報変換方法、画像情報復号装置及び方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上述の課題を解決するために、本発明は、画像情報を符号化する符号化装置において、画像内で画像を符号化するイントラ符号化方式と、他の画像を参照して画像を予測符号化する予測符号化方式とを用いて画像情報を画像圧縮情報に符号化する符号化手段を有し、上記符号化手段は、上記画像を所定の符号化単位ごとに符号化し、上記画像を前方予測符号化する際には、表示順序が逆転した際の予測元画像を参照して復号する符号化単位の内、通常再生時の予測元画像の予測位置の符号化単位と、逆転した表示順序で前方の予測元画像の同じ予測位置の符号化単位との画像に変化が無い場合、上記表示順序で前方の予測元画像の当該符号化単位を参照して符号化する前方予測符号化方式を用いて符号化し、これ以外の符号化単位を画像内で符号化するイントラ符号化方式を用いて符号化する。
【００１８】
本発明は、他の画像を参照して予測符号化する予測符号化方式を用いて画像情報を符号化した画像圧縮情報を変換する画像情報変換方法において、上記予測符号化方式として、表示順序が逆転した際の予測元画像を参照して復号する符号化単位の内、通常再生時の予測元画像の予測位置の符号化単位と、逆転した表示順序で前方の予測元画像の同じ予測位置の符号化単位との画像に変化が無い場合、上記表示順序で前方の予測元画像の当該符号化単位を参照して符号化する前方予測符号化方式が少なくとも用いられ、画像圧縮情報を構成する符号化画像を、この画像圧縮情報の表示順序とは逆の順序に並び替え、上記符号化画像が参照する予測元画像の入れ替えに応じて予測方向も入れ替えるように変換する。
【００１９】
本発明は、他の画像を参照して予測符号化する予測符号化方式を用いて画像情報を符号化した画像圧縮情報を復号する画像情報復号装置において、上記予測符号化方式として、表示順序が逆転した際の予測元画像を参照して復号する符号化単位の内、通常再生時の予測元画像の予測位置の符号化単位と、逆転した表示順序で前方の予測元画像の同じ予測位置の符号化単位との画像に変化が無い場合、上記表示順序で前方の予測元画像の当該符号化単位を参照して符号化する前方予測符号化方式が少なくとも用いられ、画像圧縮情報を構成する符号化画像を、この画像圧縮情報の表示順序とは逆の順序に並び替えた画像圧縮情報が入力され、上記符号化画像が参照する予測元画像の入れ替えに応じて予測方向も入れ替えて復号する復号手段を有する。
【００２０】
本発明は、他の画像を参照して予測符号化する予測符号化方式を用いて画像情報を符号化した画像圧縮情報を配信するものであって、画像圧縮情報を構成する符号化画像を、この画像圧縮情報の表示順序とは逆の順序に並び替え、上記符号化画像が参照する予測元画像の入れ替えに応じて予測方向も入れ替えるように変換し、上記変換手段で変換された画像圧縮情報を配信するものである。
【００２１】
本発明は、画像情報を提供するものであって、画像内で画像を符号化するイントラ符号化方式と、他の画像を参照して画像を予測符号化するものであって、表示順序が逆転した際に予測方向を反転させるだけで復号できる予測符号化方式とを用いて画像圧縮情報に符号化された画像情報を提供するものである。
【００２２】
すなわち、本発明は、画像情報すなわちビデオソース信号を画像圧縮情報すなわちビデオデータへ符号化する際に、逆転再生のために予測元ピクチャが並べ替えられても影響を受けないイントラ符号化方式と、予測方向を反転させるだけで復号が可能となる予測方式とを用いる符号化方法により、１枚のピクチャの表示時間間隔内で多数のピクチャを復号しなければならないという問題点を解決する。
【００２３】
また、ビデオデータを読み出して復号する再生端末において、逆転再生中は表示順序で前方及び後方を参照して符号化された双方向予測符号化画像すなわちＢピクチャ中の前方予測と後方予測を反転させて復号することにより、逆転再生中も通常再生中と同様の復号を可能とする。もしくは、復号部に入力する前に、Ｂピクチャ中の前方予測と後方予測を反転させるよう変換し、ピクチャの順番を並べ替えることにより、通常再生機能のみを持つ復号部によって逆転再生を復号可能とする。
【００２４】
さらに、蓄積されているビデオデータをサーバが伝送媒体を介して復号端末へ配信するデータ配信システムでは、サーバが配信前にＢピクチャ中の前方予測と後方予測を反転させるよう変換し、ピクチャの順番を並べ替えてから配信することにより、特別なデータ配信方法が不要な逆転再生を可能とする。伝送媒体、受信部及び復号部は逆転再生用の特別なデータ形式に対応する必要が無い。サーバにおける逆転再生用のデータ変換は再符号化無しで行うことが可能となるため、画質の劣化が無く、処理が簡易で余分なフレームメモリを必要としない。
【００２５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００２６】
まず、第１の実施の形態として、本発明を適用した再生端末を図１に示す。この再生端末１２０は、画像情報すなわちビデオソース信号を符号化した画像圧縮情報すなわちビデオデータを蓄積し、復号して表示するものである。
【００２７】
再生端末１２０は、特殊再生制御部１０２と、符号化部１０５と、記録媒体１０７と、読み出し部１０９と、データ変換部１０８と、復号部１１０とを有している。
【００２８】
再生端末１２０に入力されたビデオソース信号１０４は、符号化部１０５によりビデオデータ１０６へと符号化され、記憶媒体１０７へ蓄積される。読み出し部１０９は、ビデオデータ１０６を記録媒体１０７から読み出し、データ変換部１０８へ送る。データ変換部１０８は、特殊再生用にビデオデータの変換を行い、復号部１１０へ送る。ビデオデータは復号部１１０により復号され、図示されていない表示端末により表示される。逆転再生などの特殊再生を行う場合、ユーザの特殊再生指定入力１０１にしたがって、特殊再生制御部１０２が読み出し部１０９及びデータ変換部１０８をコントロール１０３する。なお、再生専用の端末では、符号化部１０５を備えない場合もある。
【００２９】
以降、ビデオデータの符号化方法としてISO/IEC13818-2を用いた場合を例にとって説明する。本実施の形態の符号化装置は、フレーム内データのみから符号化するイントラ符号化画像すなわちＩピクチャと、表示順序で前方（順方向）及び後方（逆方向）のフレームからの前方（順方向）予測及び後方（逆方向）予測を使用して符号化する双方向予測符号化画像すなわちＢピクチャのみを使用して符号化することを特徴とする。この符号化装置では、ＩピクチャとＢピクチャのみを使用する符号化構成により、逆転再生を行う場合に１枚のピクチャの表示時間間隔において予測元ピクチャを得るために複数のピクチャを復号する必要は無い。
【００３０】
本実施の形態の読み出し部１０９及びデータ変換部１０８の動作を説明するために、逆転再生のための変換処理を説明する。図２のＡには符号化順の通常再生用ビデオデータを、図２のＢには表示順の通常再生用ビデオデータを示している。これら本実施の形態の符号化装置により符号化されたビデオデータは、Ｉピクチャ及びＢピクチャのみからなる。図中のＩ及びＢはピクチャタイプを表し、添え字は表示順番を表している。ISO/IEC13818-2のビデオデータ中におけるＩピクチャの符号化順番は、Ｂピクチャを復号する際に予測元となる前後のＩピクチャが予め復号されている必要があるため、１つ前のＩピクチャの表示順番に並べ替えられて符号化されている。
【００３１】
一方、図２のＣは符号化順の変換済ビデオデータを、図２のＤは表示順の変換済ビデオデータを示している。具体的には、ＢピクチャＢ5の直後から逆転再生を開始した場合を示している。逆転再生中は、図１の再生端末１２０における読み出し部１０９は、図２のＤに示すように、復号されるピクチャの表示順番が逆転再生となるようにピクチャの順番を並べ替えて読み出す。本実施の形態の符号化装置により符号化されたビデオデータは、Ｉピクチャ及びＢピクチャのみからなるため、通常再生中と同様に、１枚のピクチャが表示される時間間隔において１枚のピクチャを復号すれば逆転再生が可能となる。例えば逆転再生中のＢピクチャＢ5を復号する場合、Ｂ5の予測元ピクチャであるＩ3及びＩ6は既に復号済みであり、予測元ピクチャを得るためにＩピクチャを検出して複数のＩピクチャ及びＰピクチャを復号する必要が無い。
【００３２】
ただし、再生方向を逆転するためにピクチャを並べ替える結果、Ｂピクチャの予測元ピクチャが前後入れ替わってしまう。例えばＢピクチャＢ5は、通常再生用ビデオデータとして、Ｉ3からの前方予測とＩ6からの後方予測を使用して符号化されている。しかし、逆転再生用に並べ替えられた場合には、前方予測の予測元ピクチャがＩ3ではなくＩ6に、後方予測の予測元ピクチャがＩ6ではなくＩ3であるとして復号されてしまう。したがって、図１に示した本実施の形態の再生端末１２０におけるデータ変換部１０８は、ビデオデータ中の前方予測と後方予測のデータを交換することで、予測元ピクチャが前後入れ替わっていることに対処する。すなわち、例えばＩ3からの前方予測とＩ6からの後方予測を使用して符号化されているＢピクチャＢ5を、逆転再生用にＩ3からの後方予測とＩ6からの前方予測からなるデータに変換する。それぞれの予測データが通常再生と同じ予測元ピクチャを参照することになるため、矛盾無く復号することが可能となる。
【００３３】
このようなデータ変換は、データ変換部１０８において、ISO/IEC13818-2のピクチャのデータ構造を利用して行われる。ピクチャの符号化データは、図３のＡに示すように、ヘッダ（picture_header）、コーディングエクステンション（picture_coding_extension）、データ（picture_data）から構成される。図３のＢに示すように、ヘッダ中に符号化されているpicture_coding_typeにより、そのピクチャがＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれであるかを知ることができる。また、ヘッダ中には、ピクチャごとに１ずつ増加する表示順番を表すtemporal_referenceが符号化されている。temporal_referenceは、ＧＯＰ（Group Of Pictures）ごとに０にリセットされる。図３のＣに示すように、picture_coding_extension中には、復号に使用する動きベクトルの探索範囲を表すf_codeが符号化されている。f_codeには、前方予測と後方予測の夫々について水平方向と垂直方向がある。図３のＤに示すように、picture_dataはスライス（slice）から、図３のＥに示すように、このスライスはさらにマクロブロック（macroblock）と呼ばれる符号化単位からなる。図３のＦに示すように、マクロブロックごとに予測を用いた符号化が行われているため、マクロブロックごとに予測元ピクチャ中の参照位置を表す動きベクトル（motion_vector）が符号化されている。Ｂピクチャでは、マクロブロックごとに予測方法を指定することが可能であり、符号化方法は予測符号化単位型すなわちマクロブロックタイプ（macroblock_type）によって示されている。Ｂピクチャのマクロブロックの予測の種類には、予測元ピクチャを参照しないイントラ（intra）、前方（順方向）予測のみ（forward）、後方（逆方向）予測のみ（backward）、前方及び後方双方の予測を使用する内挿（interpolation）が存在する。予測を使用している場合には、動きベクトルが符号化される。内挿の場合には、前方予測のためのmotion_vector(0)と後方予測のための動きベクトルmotion_vector(1)の２つのベクトルが符号化される。
【００３４】
データ変換部１０８は、逆転再生の際には、、逆転再生に伴って変更される表示順番にしたがって、全てのピクチャのヘッダ中に符号化されているtemporal_referenceを変換する。さらに、データ変換部１０８は、Ｂピクチャに対して、予測元ピクチャが逆転再生のために並べ替えられる影響を受けるため、図４に示した手順で逆転再生のためのデータ変換を行う。
【００３５】
最初のステップＳ４０１において、データ変換部１０８は、逆転再生のための並べ替えによってＢピクチャの前後の予測元ピクチャが入れ替わったので、動きベクトルの探索範囲を表すf_codeについて、前方と後方を入れ替える。すなわち、forward_horizontal_f_codeをbackward_horizontal_f_codeと、forward_vertical_f_codeをbackward_vertical_f_codeと夫々入れ替える。
【００３６】
ステップＳ４０２において、データ変換部１０８は、マクロブロック（macroblock）ごとに符号化されているマクロブロックタイプ（macroblock_type）から、そのマクロブロックで使用されている予測のタイプを判別する。そして、マクロブロックタイプ（macroblock_type）が前方／後方（forward/backard）の場合はステップＳ４０３に、内挿（interpolation）の場合はステップＳ４０４に処理を進める。そして、イントラ（intra）の場合は、予測元ピクチャを参照せず逆転再生のために並べ替えが行われても復号に影響しないため、マクロブロック（macroblock）の変換は行わずに、ステップＳ４０５に進む。
【００３７】
ステップＳ４０３はマクロブロックの予測のタイプが前方予測（forward）もしくは後方予測（backward）の場合であり、逆転再生のための並べ替えによって予測元ピクチャの前後関係が入れ替わっている。データ変換部１０８は、前方予測のみを示しているマクロブロックタイプ（macroblock_type）を後方予測のみに変換し、後方予測のみを示しているマクロブロックタイプ（macroblock_type）を前方予測のみに変換する。
【００３８】
ステップＳ４０４はマクロブロック（macroblock）の予測のタイプが前方及び後方双方の予測を使用する内挿（interpolation）の場合である。データ変換部１０８は、前方予測のための動きベクトルmotion_vector(0)と後方予測のための動きベクトルmotion_vector(1)を入れ替える。
【００３９】
ステップＳ４０５において、データ処理部１０８は、Ｂピクチャ中の全てのマクロブロック（macroblock）を処理したならばこの一連の処理を終了する。まだ残っているならば、データ処理部１０８は、ステップＳ４０６で次のマクロブロック（macroblock）へ処理を進め、ステップＳ４０２から繰り返す。
【００４０】
上述のように、本実施の形態によると、ＩピクチャとＢピクチャのみを使用する符号化方法を採用するので、１枚のピクチャの表示時間間隔内で通常再生と同様に１枚のピクチャを復号すれば良い。また、図４に示したデータ変換により変換されたビデオデータを入力とすることにより、復号部は通常再生中と同様の処理により逆転再生用のビデオデータを復号することが可能となる。
【００４１】
なお、この第１の実施の形態の再生端末１２０のデータ変換部１０８で変換した変換済みビデオデータ１１３を、媒体によって提供することもできる。この媒体によって提供されるビデオデータは、ＩピクチャとＢピクチャのみを使用したものであり、１枚のピクチャの表示時間間隔内で通常再生と同様に１枚のピクチャを復号すれば良いものである。
【００４２】
次に、第２の実施の形態として、本発明を適用した再生端末を説明する。図５に示すように、再生端末１２０は、特殊再生制御部１０２と、符号化部１０５と、記憶媒体１０７と、読み出し部１０９と、復号部１１０とから構成されている。符号化部１０５は、上述した第１の実施の形態と同様に、フレーム内データのみから符号化するＩピクチャと、前後のフレームからの前方予測及び後方予測を使用して符号化するＢピクチャとのみにより符号化することを特徴とする。また、読み出し部１０９は第１の実施の形態の再生端末１２０における読み出し部１０９と同様に、逆転再生中に復号されるピクチャの表示順番が逆転再生となるように、ピクチャの順番を並べ替えて読み出す。読み出し部１０９により読み出されたビデオデータは、復号部１１０へ変換されずに入力される。復号部１１０は、第１の実施の形態とは異なり、特殊再生制御部１０２によるコントロール１０３に応じてＢピクチャを逆転再生用に復号する。すなわち、復号部１１０は、第１の実施の形態においてデータ変換部１０８が行っていた変換処理と同等の変換を復号処理と同時に行う。したがって、本実施の形態では、復号前にピクチャ中のデータを実際に変換する必要が無い。
【００４３】
復号部１１０は、予測元ピクチャを前後交換して参照することによりＢピクチャを復号する。例えば、図２のＣ及びＤに示した逆転再生の例において逆転再生中のＢピクチャＢ5を復号する際に、前方予測のための予測元ピクチャとしてＩ6ではなくＩ3を使用し、後方予測のための予測元ピクチャとしてＩ3ではなくＩ6を使用する。つまり、本実施の形態においては、予測に使用する予測元ピクチャへの参照を交換するのみで、それ以外に特別な処理を一切必要とせずに、特殊再生用に並べ替えられたビデオデータを復号することが可能になる。
【００４４】
次に、第３の実施の形態として、本発明を適用したデータ配信システムを図６に示す。本実施の形態は、蓄積されているビデオデータをサーバが伝送媒体を介して復号端末へ配信するデータ配信システムにおいて、逆転再生用のデータを配信可能とするためのビデオデータ符号化方法、変換方法、配信方法を提供する。
【００４５】
符号化部１０５は、第１の実施の形態及び第２の実施の形態と同様に、フレーム内データのみから符号化するＩピクチャと、前後のフレームからの前方予測及び後方予測を使用して符号化するＢピクチャのみを使用して符号化することを特徴とする。
【００４６】
読み出し部１０９は第１の実施の形態及び第２の実施の形態における読み出し部と同様に、逆転再生中は復号されるピクチャの表示順番が逆転再生となるようにピクチャの順番を並べ替えて読み出しを行う。データ変換部１０８は、第１の実施の形態と同様に、逆転再生用に予測元ピクチャの前後が反転して並べ替えられたビデオデータにおいて正しい予測元ピクチャを参照できるようにＢピクチャのデータを変換する。復号端末１１７の受信部１１８及び復号部１１９は、データ変換部１０８から出力される変換済ビデオデータ１１３が配信されるので、逆転再生中も通常再生と同様の処理を行えば良い。また、本実施の形態のデータ配信方法によれば、逆転再生のためにビデオデータのレートが増大することが無いため、伝送媒体１１５は、通常再生用のビデオデータを配信可能でさえすれば良い。サーバ１００では、逆転再生用のデータ変換は再符号化無しで行うため、画質の劣化が無い。したがって、再符号化する場合に比べると処理が簡易であり、余分なフレームメモリを必要としない。
【００４７】
次に、第４の実施の形態として、本発明を適用した符号化方式を図７を参照して説明する。本実施の形態は、第１の実施の形態、第２の実施の形態及び第３の実施の形態におけるビデオデータの符号化方法に代わり、Ｐピクチャも使用し、かつ再生のための復号及びデータ変換後の配信を可能とするような符号化方法を用いる。
【００４８】
このような符号化方法を、図７を参照して説明する。図７のＡには、通常再生における表示順のビデオデータが示されている。ＰピクチャＰ3を符号化する際に、前方予測を用いたマクロブロック７０１は、通常再生中は予測元ピクチャＩ0中の、動きベクトル７０３で示される予測位置７００に基づいて復号される。しかし、図７のＢに示す逆転再生における表示順のビデオデータで、逆転再生用に並べ替えられた順番でビデオデータを復号する際には、予測元ピクチャがＩ6に変化してしまうため、Ｐ3を正しく復号することができない。本実施の形態の符号化方法では、ＰピクチャＰ3中のマクロブロック７０１を符号化する際に、前方予測の動きベクトル７０３で参照する予測元ピクチャＩ0中の予測位置７００と、同じ位置にある逆転再生時の予測元ピクチャＩ6中の予測位置７０２とを比較し、画像に変化が無い場合は、そのまま前方予測による予測符号化方式を用いて符号化する。予測位置７００，７０２の画像に変化がある場合には、マクロブロック７０１は、予測を使用しないイントラ符号化方式で符号化する。上記の符号化方法により、逆転再生のための並べ替えによって予測元ピクチャが変化しても、Ｐピクチャは正しく復号されることが保証される。特に画像中に変化が少ない場合には、ＩピクチャとＢピクチャのみを用いて符号化する方法に比較して、ビットレートを低く抑えることが可能となる。
【００４９】
なお、本実施の形態の符号化方式で符号化したビデオデータを媒体によって提供することができる。この媒体によって提供されるビデオデータは、Ｐピクチャを使用し、逆転再生のための復号及びデータ変換後の配信を可能とするものである。
【００５０】
次に、第５の実施の形態として、本発明を適用した符号化方式を図８を参照して説明する。本実施の形態は、第１の実施の形態、第２の実施の形態及び第３の実施の形態におけるビデオデータの符号化方法に代わり、スキップマクロブロックを利用したＰピクチャを使用して符号化し、逆転再生のための復号及びデータ変換後の配信を可能とする符号化方法である。ここで、スキップマクロブロックとは、予測元ピクチャの同じ位置にある画像データをそのまま復号データとすることを意味するマクロブロックである。
図８のＢに示すように、本実施の形態の符号化方式では、ＰピクチャＰ3及びＰ6を符号化する際に、前後直近のＩピクチャと、それらのＩピクチャに挟まれる全てのＰピクチャ中の、同じマクロブロックの位置にあるビデオソース信号を比較する。画像に変化が無い場合、つまり、図８のＡにおける入力画像中の位置８００，８０１，８０２，８０３に変化が無く、同一のデータとして符号化しても良い場合には、上記Ｉピクチャに挟まれる全てのＰピクチャ中の、同じマクロブロックの位置を、スキップマクロブロックで符号化する。画像に変化があり、同一のデータとして符号化できないと判断された場合には、上記Ｉピクチャに挟まれる全てのＰピクチャ中の、同じマクロブロックの位置を、予測ピクチャを参照しないイントラ符号化方式により符号化する。上記の符号化方法により、図８のＢに示す逆転再生における標準のビデオデータでは、逆転再生のための並べ替えによって予測元ピクチャが変化しても、Ｐピクチャは正しく復号されることが保証される。特に画像中に変化が少ない場合には、ＩピクチャとＢピクチャのみを用いて符号化する方法に比較して、ビットレートを低く抑えることが可能となる。
【００５１】
さらに、連続するＩピクチャＩ0，Ｉ9に挟まれる全てのＰピクチャＰ3，Ｐ6中の、同じマクロブロックの位置８０１，８０２をスキップマクロブロックで符号化した場合には、直後のＩピクチャＩ9中の同じ位置にあるマクロブロック８０３は、直前のＩピクチャＩ0中の同じ位置にあるマクロブロック８００と同じ量子化スケールを使用して符号化することにより、逆転再生のために並べ替えが行われて予測元ピクチャが変更されても、Ｐピクチャの復号画像の乱れを小さく抑えることができる。さらに、直後のＩピクチャＩ9中の同じ位置にあるマクロブロック８０３は、直前のＩピクチャＩ0中の同じ位置にあるマクロブロック８００と同じ符号化データに符号化することにより、逆転再生のために並べ替えが行われて予測元ピクチャが変更されても、Ｐピクチャの復号結果が通常再生中と等しくなることを保証することができる。
【００５２】
なお、本実施の符号化方式で符号化されたビデオデータを媒体によって提供することができる。この媒体によって提供されるビデオデータは、スキップマクロブロックを利用したＰピクチャを使用して符号化し、逆転再生のための復号及びデータ変換後の配信を可能とするものである。このビデオデータは、直前のＩピクチャ中の同じマクロブロックを同じ量子化スケールを用いて符号化し、復号画像が等しくなるように符号化したものである。
【００５３】
なお、本発明は上述の実施の形態に限定されることは無く、本発明の符号化装置は、再生端末もしくはデータ配信のためのサーバに備わらなくとも良く、本発明の符号化方法によって符号化されたビデオデータを再生端末もしくはサーバの記憶媒体に記憶させることにより、本発明は同様に有効である。
【００５４】
また、本発明は、ISO/IEC13818-2で規定されている符号化方式だけでなく、ピクチャ間で予測を用いる全ての符号化方式において有効である。
【００５５】
【発明の効果】
ビデオデータを復号する再生端末において、フレーム間の予測を使用している符号化方法では、逆転再生を行う際に、１枚のピクチャを復号するために複数のピクチャを予め復号しなければならないという問題があり、再生端末の読み出し部及び復号部は、１枚のピクチャを表示する時間間隔において、多数のピクチャを先読みし、復号しなければならなかった。本発明では、逆転再生のために予測元ピクチャが並べ替えられても影響を受けないイントラ符号化方式と、予測方向を反転させるだけで復号が可能となる予測方式とを用いる符号化方法により、通常再生と同様の復号処理で逆転再生を可能とした。したがって、複数の予測元ピクチャを保存しておくための余分なフレームメモリを不用にすると共に、逆転再生のために特別な高速復号処理を不要とする効果がある。
【００５６】
また、本発明のデータ変換装置が、逆転再生用の並べ替えによって入れ替えられる予測元ピクチャに合せて予測のための動きベクトルも入れ替えることにより、通常再生処理を行う復号装置に一切の追加機能無しで、逆転再生用のビデオデータを復号可能とした。通常再生用の一般的なビデオ復号装置を使用して逆転再生を行えるという効果がある。
【００５７】
さらに、逆転再生を行う際に並べ替えによって入れ替えられる予測元ピクチャに合せて、復号時に参照する予測元ピクチャを入れ替えて復号する復号方法により、データ変換不要で逆転再生を可能とした。復号装置は、予測元ピクチャへの参照を交換するのみで、それ以外に特別な処理を一切必要とせずに、特殊再生用に並べ替えられたビデオデータを復号することが可能になる。
【００５８】
蓄積されているビデオデータをサーバが伝送媒体を介して復号端末へ配信するデータ配信システムでは、本発明の符号化方法及びデータ変換方法により逆転再生用の並べ替えによって入れ替えられる予測元ピクチャに合せて予測のための動きベクトルも入れ替えたビデオデータに変換済みであるため、特別なデータ配信方法が不用な逆転再生を可能とする。伝送媒体、受信装置及び復号装置は逆転再生用の特別なデータ形式に対応する必要が無くなるという効果がある。サーバにおける逆転再生用のデータ変換は再符号化無しで行うことが可能となるため、画質の劣化が無く、処理が簡易で余分なフレームメモリを必要としない。
【図面の簡単な説明】
【図１】第１の実施の形態の再生端末の構成を示すブロック図である。
【図２】逆転再生のための並べ替え例を示す図である。
【図３】 ISO/IEC13818-2に規定されるＢピクチャの符号化データ構造を示す図である。
【図４】逆転再生のためのＢピクチャデータ変換を示すフローチャートである。
【図５】第２の実施の形態の再生端末の構成を示すブロック図である。
【図６】第３の実施の形態のデータ配信システムの構成を示すブロック図である。
【図７】第４の実施の形態におけるＰピクチャ中のマクロブロック符号化を示す図である。
【図８】第５の実施の形態におけるＰピクチャ中のマクロブロック符号化を示す図である。
【図９】従来の再生端末における逆転再生を示す図である。
【図１０】従来のデータ配信システムの構成を示す図である。
【符号の説明】
１００ サーバ、１０１ 特殊再生指定入力、１０２ 特殊再生制御部、１０３ コントロール、１０４ ビデオソース信号、１０５ 符号化部、１０６ ビデオデータ、１０７ 記憶媒体、１０８ データ変換部、１０９ 読み出し部、１１０復号装置、１１１ 復号済ビデオデータ、１１２再符号化部、１１３ 変換済ビデオデータ、１１４ 送信部、１１５ 伝送媒体、１１６ 配信データ、１１７ 復号端末、１１８ 受信部、１１９ 復号部、１２０ 再生端末
【発明の属する技術分野】
本発明は、符号化された画像圧縮情報を復号して表示する場合や、画像圧縮情報をネットワークを用いて配信し、復号端末において受信し、復号して表示するようなデータ配信システムにおいて特殊再生を行う場合に用いて最適な、画像情報符号化装置及び方法、画像情報変換方法、画像情報復号装置及び方法に関する。
【０００２】
【従来の技術】
従来、ＤＶＤ（digital versatile/video disc）やハードディスク等にビデオ信号を符号化して蓄積し、復号して表示するような再生端末が提供されている。再生端末は、例えば、ビデオソース信号をビデオデータに符号化する符号化部と、ビデオデータを蓄積する記録媒体と、記録媒体からビデオデータを読み出す読み出し部と、ビデオデータを変換するデータ変換部と、ビデオデータを復号する復号部と、逆転再生や一時停止などの特殊再生を制御する特殊再生制御部とから構成される。
【０００３】
入力されたビデオソース信号は、符号化部によりビデオデータへと符号化され、記憶媒体へ蓄積される。記録媒体に蓄積されたビデオデータは、読み出し部により読み出され、復号部へ送られる。復号部により復号されたビデオデータは、図示されていない表示端末により表示される。なお、再生専用の端末では、符号化部を備えない場合もある。
【０００４】
逆転再生や一時停止などの特殊再生を行う場合、特殊再生制御部は、ユーザの特殊再生指定入力にしたがって、読み出し部及び復号部を制御する。すなわち、読み出し部は、特殊再生制御部の制御に応じて、指定された特殊再生に必要なデータのみを記憶媒体から読み出す。例えば早送り再生では、読み出し部は、復号及び表示に使用しないデータを読み飛ばし、必要なデータのみを復号部へ送る。
【０００５】
再生端末におけるビデオデータの符号化方式としては、例えばISO/IEC13818-2（いわゆるMPEG-2 video）で規定された方式がある。ISO/IEC13818-2のビデオフレームの符号化方法には、フレーム内データのみから符号化するイントラ符号化画像（Ｉピクチャ）と、前フレームからの予測を利用して符号化する前方（順方向）予測符号化画像（Ｐピクチャ）、前後（順方向及び逆方向）のフレームからの予測を使用して符号化する双方向予測符号化画像（Ｂピクチャ）がある。この符号化方式は、フレーム間における予測を使用しているため、特殊再生の中でも特に逆転再生を行う際の処理が複雑になる。
【０００６】
ここで、ISO/IEC13818-2で符号化されたビデオデータを逆転再生する場合の処理を説明する。図９に、逆転再生の際に、ＢピクチャＢ11を復号する場合を具体例として示す。図中のＩはＩピクチャ、ＰはＰピクチャ、ＢはＢピクチャを表す。
【０００７】
最初のステップＳ９００では、Ｉ12は既に復号されているものとする。Ｂ11を復号するためには、前後のＩもしくはＰピクチャを予測元ピクチャとして参照する必要がある。すなわち、Ｉ12及びＰ9が復号されている必要があることになる。Ｐピクチャを復号するためには予測元ピクチャであるＰピクチャもしくはＩピクチャが必要であるが、本来符号化された向きと後方に再生しているため、予測元ピクチャは未だ復号されていない。そこで、ステップＳ９０１において、Ｐ9を復号するために逆転再生方向において次のＩピクチャであるＩ0を検出し、復号する。そして、ステップＳ９０２において、復号されたＩ0に基づいて、Ｂ11の復号に必要なＰ9までの全てのＰピクチャであるＰ3、Ｐ6、Ｐ9を順次復号する。ステップＳ９０３において、復号されたＰ9を用いて、Ｐ9とＩ12に基づいてＢ11を復号する。このように、逆転再生を行う際には、符号化の順番と復号の順番が逆転しているため、１つのピクチャを復号するために多数のピクチャを予め復号しておかなければならない。
【０００８】
再生端末の読み出し部及び復号部は、逆転再生を行う際に上記のように多数のピクチャを先読みし、復号しなければならない。したがって、１枚のピクチャを表示する時間間隔において多数のピクチャの復号を行わなければならないため、高速の復号部を必要とする。上記のように複数のピクチャを高速に復号する能力を持たない場合には、ビデオデータ中のＩピクチャのみを抽出して復号する方法もある。しかし、Ｉピクチャ間のＢピクチャ及びＰピクチャが欠落してしまうと、復号される逆転再生画像はコマ送り状になってしまう。さらに、再生端末の読み出し部及び復号部は、予測元ピクチャを保存しておくための余分なフレームメモリを必要とする。もしくは、Ｂピクチャを復号するごとに、直後のＩピクチャから復号を繰り返さなければならない。
【０００９】
次に、蓄積されているビデオデータを復号して表示するのではなく、伝送媒体１１５を介して復号端末１１７へ配信する従来のシステムを説明する。
【００１０】
このシステムは、サーバ１００と、復号端末１１７とからなり、これらは伝送媒体１１５により接続されている。サーバ１００は、符号化部１０５と、記憶媒体１０７と、読み出し部１０９と、復号部１１０と、再符号化部１１２と、送信部１１４と、特殊再生制御部１０２とを備えている。復号端末１１７は、受信部１１８と、復号部１１９とを備えている。
【００１１】
サーバ１００はビデオデータ１０６を記憶媒体１０７に蓄積し、送信部１１４によって配信データ１１６として伝送媒体１１５を介して復号端末１１７へ送信する。復号端末１１７は、受信部１１８により上記配信データ１１６を受信し、復号部１１９により復号し、図示していない表示部によって表示する。
【００１２】
逆転再生や一時停止などの特殊再生を行う場合には、ユーザは特殊再生制御部１０２へ特殊再生指定入力１０１を入力する。図１０に示すようなデータ配信システムで特殊再生を行う場合、復号端末１１７の復号部１１９において上述した再生端末の再生部と同様の特殊再生用復号処理を行うためには、特殊再生用に特別な配信データの配信方法が必要となる。例えば図９に示した逆転再生の例では、ＢピクチャＢ11を復号するために必要な全てのピクチャ（Ｉ0、Ｐ3、Ｐ6、Ｐ9）を、Ｂ11の復号時刻までに配信しなければならず、局所的に配信データのレートが高くなってしまう。特殊再生用に特別なデータ形式で配信を行うためには、伝送媒体１１５、受信部１１８及び復号部１１９が特殊再生用の特別なデータ形式に対応しなければならない。この問題は、特殊再生の際には、配信する前にサーバ１００が、要求に応じた特殊再生用にビデオデータを変換する方法により回避することができる。
【００１３】
図１０に示すような特殊再生に対応した従来のデータ配信システムは、再生端末で行われているように特殊再生の指定に応じてビデオデータを読み出す読み出し部１０９と、ビデオデータを復号する復号部１１０とに加えて、復号したデータを再び符号化する再符号化部１１２によってデータ変換を行うことができる。再符号化部１１２が出力する変換済ビデオデータ１１３は、特殊再生の結果を反映済みのデータとなる。ただし、復号部１１０及び再符号化部１１２によりビデオデータを再符号化するために、処理負荷が大きく、画質が劣化する恐れもある。また、データ変換にかかる処理遅延が大きくなり、結果として特殊再生指定入力１０１が入力されてから、実際に復号端末１２０で特殊再生が表示されるまでの遅延が増大してしまう。
【００１４】
【発明が解決しようとする課題】
上述のように、再生端末において、フレーム間の予測を使用する符号化方法を用いてビデオデータを復号すると、逆転再生を行う際、１枚のピクチャを復号するために複数のピクチャを予め復号しなければならない。したがって、再生端末の読み出し部及び復号部において、１枚のピクチャを表示する間に多数のピクチャを先読みして復号するために、高速の処理が必要になる。さらに、予測元ピクチャを保存しておくためにフレームメモリが余分に必要となる。もしくは、Ｂピクチャを復号するごとに、直後のＩピクチャから復号を繰り返さなければならない。このように、逆転再生を通常再生と同様の復号処理で行うことはできなかった。
【００１５】
従来のデータ配信システムでは、蓄積されているビデオデータはサーバによって伝送媒体を介して復号端末へ配信される。このため、特殊再生用に特別な配信データの配信方法が必要となり、伝送媒体、受信部及び復号部が特殊再生用の特別なデータ形式に対応していなければならないという問題がある。この問題を回避するために、特殊再生の際に、要求に応じた特殊再生用にサーバによって変換されたビデオデータを配信する方法が考えられる。しかし、この方法は、ビデオデータをサーバにおいて再符号化する必要が生じるため、処理負荷が大きく、画質が劣化するという問題がある。また、データ変換にかかる処理遅延が大きくなり、結果として特殊再生指定入力が入力されてから、実際に復号端末で特殊再生が表示されるまでの遅延が増大してしまうという問題がある。
【００１６】
本発明は、上述の実情に鑑みて提案されるものであって、特殊再生を行う際の処理の負担を軽減し、特に逆転再生を効率よく行うような画像情報符号化装置及び方法、画像情報変換方法、画像情報復号装置及び方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上述の課題を解決するために、本発明は、画像情報を符号化する符号化装置において、画像内で画像を符号化するイントラ符号化方式と、他の画像を参照して画像を予測符号化する予測符号化方式とを用いて画像情報を画像圧縮情報に符号化する符号化手段を有し、上記符号化手段は、上記画像を所定の符号化単位ごとに符号化し、上記画像を前方予測符号化する際には、表示順序が逆転した際の予測元画像を参照して復号する符号化単位の内、通常再生時の予測元画像の予測位置の符号化単位と、逆転した表示順序で前方の予測元画像の同じ予測位置の符号化単位との画像に変化が無い場合、上記表示順序で前方の予測元画像の当該符号化単位を参照して符号化する前方予測符号化方式を用いて符号化し、これ以外の符号化単位を画像内で符号化するイントラ符号化方式を用いて符号化する。
【００１８】
本発明は、他の画像を参照して予測符号化する予測符号化方式を用いて画像情報を符号化した画像圧縮情報を変換する画像情報変換方法において、上記予測符号化方式として、表示順序が逆転した際の予測元画像を参照して復号する符号化単位の内、通常再生時の予測元画像の予測位置の符号化単位と、逆転した表示順序で前方の予測元画像の同じ予測位置の符号化単位との画像に変化が無い場合、上記表示順序で前方の予測元画像の当該符号化単位を参照して符号化する前方予測符号化方式が少なくとも用いられ、画像圧縮情報を構成する符号化画像を、この画像圧縮情報の表示順序とは逆の順序に並び替え、上記符号化画像が参照する予測元画像の入れ替えに応じて予測方向も入れ替えるように変換する。
【００１９】
本発明は、他の画像を参照して予測符号化する予測符号化方式を用いて画像情報を符号化した画像圧縮情報を復号する画像情報復号装置において、上記予測符号化方式として、表示順序が逆転した際の予測元画像を参照して復号する符号化単位の内、通常再生時の予測元画像の予測位置の符号化単位と、逆転した表示順序で前方の予測元画像の同じ予測位置の符号化単位との画像に変化が無い場合、上記表示順序で前方の予測元画像の当該符号化単位を参照して符号化する前方予測符号化方式が少なくとも用いられ、画像圧縮情報を構成する符号化画像を、この画像圧縮情報の表示順序とは逆の順序に並び替えた画像圧縮情報が入力され、上記符号化画像が参照する予測元画像の入れ替えに応じて予測方向も入れ替えて復号する復号手段を有する。
【００２０】
本発明は、他の画像を参照して予測符号化する予測符号化方式を用いて画像情報を符号化した画像圧縮情報を配信するものであって、画像圧縮情報を構成する符号化画像を、この画像圧縮情報の表示順序とは逆の順序に並び替え、上記符号化画像が参照する予測元画像の入れ替えに応じて予測方向も入れ替えるように変換し、上記変換手段で変換された画像圧縮情報を配信するものである。
【００２１】
本発明は、画像情報を提供するものであって、画像内で画像を符号化するイントラ符号化方式と、他の画像を参照して画像を予測符号化するものであって、表示順序が逆転した際に予測方向を反転させるだけで復号できる予測符号化方式とを用いて画像圧縮情報に符号化された画像情報を提供するものである。
【００２２】
すなわち、本発明は、画像情報すなわちビデオソース信号を画像圧縮情報すなわちビデオデータへ符号化する際に、逆転再生のために予測元ピクチャが並べ替えられても影響を受けないイントラ符号化方式と、予測方向を反転させるだけで復号が可能となる予測方式とを用いる符号化方法により、１枚のピクチャの表示時間間隔内で多数のピクチャを復号しなければならないという問題点を解決する。
【００２３】
また、ビデオデータを読み出して復号する再生端末において、逆転再生中は表示順序で前方及び後方を参照して符号化された双方向予測符号化画像すなわちＢピクチャ中の前方予測と後方予測を反転させて復号することにより、逆転再生中も通常再生中と同様の復号を可能とする。もしくは、復号部に入力する前に、Ｂピクチャ中の前方予測と後方予測を反転させるよう変換し、ピクチャの順番を並べ替えることにより、通常再生機能のみを持つ復号部によって逆転再生を復号可能とする。
【００２４】
さらに、蓄積されているビデオデータをサーバが伝送媒体を介して復号端末へ配信するデータ配信システムでは、サーバが配信前にＢピクチャ中の前方予測と後方予測を反転させるよう変換し、ピクチャの順番を並べ替えてから配信することにより、特別なデータ配信方法が不要な逆転再生を可能とする。伝送媒体、受信部及び復号部は逆転再生用の特別なデータ形式に対応する必要が無い。サーバにおける逆転再生用のデータ変換は再符号化無しで行うことが可能となるため、画質の劣化が無く、処理が簡易で余分なフレームメモリを必要としない。
【００２５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００２６】
まず、第１の実施の形態として、本発明を適用した再生端末を図１に示す。この再生端末１２０は、画像情報すなわちビデオソース信号を符号化した画像圧縮情報すなわちビデオデータを蓄積し、復号して表示するものである。
【００２７】
再生端末１２０は、特殊再生制御部１０２と、符号化部１０５と、記録媒体１０７と、読み出し部１０９と、データ変換部１０８と、復号部１１０とを有している。
【００２８】
再生端末１２０に入力されたビデオソース信号１０４は、符号化部１０５によりビデオデータ１０６へと符号化され、記憶媒体１０７へ蓄積される。読み出し部１０９は、ビデオデータ１０６を記録媒体１０７から読み出し、データ変換部１０８へ送る。データ変換部１０８は、特殊再生用にビデオデータの変換を行い、復号部１１０へ送る。ビデオデータは復号部１１０により復号され、図示されていない表示端末により表示される。逆転再生などの特殊再生を行う場合、ユーザの特殊再生指定入力１０１にしたがって、特殊再生制御部１０２が読み出し部１０９及びデータ変換部１０８をコントロール１０３する。なお、再生専用の端末では、符号化部１０５を備えない場合もある。
【００２９】
以降、ビデオデータの符号化方法としてISO/IEC13818-2を用いた場合を例にとって説明する。本実施の形態の符号化装置は、フレーム内データのみから符号化するイントラ符号化画像すなわちＩピクチャと、表示順序で前方（順方向）及び後方（逆方向）のフレームからの前方（順方向）予測及び後方（逆方向）予測を使用して符号化する双方向予測符号化画像すなわちＢピクチャのみを使用して符号化することを特徴とする。この符号化装置では、ＩピクチャとＢピクチャのみを使用する符号化構成により、逆転再生を行う場合に１枚のピクチャの表示時間間隔において予測元ピクチャを得るために複数のピクチャを復号する必要は無い。
【００３０】
本実施の形態の読み出し部１０９及びデータ変換部１０８の動作を説明するために、逆転再生のための変換処理を説明する。図２のＡには符号化順の通常再生用ビデオデータを、図２のＢには表示順の通常再生用ビデオデータを示している。これら本実施の形態の符号化装置により符号化されたビデオデータは、Ｉピクチャ及びＢピクチャのみからなる。図中のＩ及びＢはピクチャタイプを表し、添え字は表示順番を表している。ISO/IEC13818-2のビデオデータ中におけるＩピクチャの符号化順番は、Ｂピクチャを復号する際に予測元となる前後のＩピクチャが予め復号されている必要があるため、１つ前のＩピクチャの表示順番に並べ替えられて符号化されている。
【００３１】
一方、図２のＣは符号化順の変換済ビデオデータを、図２のＤは表示順の変換済ビデオデータを示している。具体的には、ＢピクチャＢ5の直後から逆転再生を開始した場合を示している。逆転再生中は、図１の再生端末１２０における読み出し部１０９は、図２のＤに示すように、復号されるピクチャの表示順番が逆転再生となるようにピクチャの順番を並べ替えて読み出す。本実施の形態の符号化装置により符号化されたビデオデータは、Ｉピクチャ及びＢピクチャのみからなるため、通常再生中と同様に、１枚のピクチャが表示される時間間隔において１枚のピクチャを復号すれば逆転再生が可能となる。例えば逆転再生中のＢピクチャＢ5を復号する場合、Ｂ5の予測元ピクチャであるＩ3及びＩ6は既に復号済みであり、予測元ピクチャを得るためにＩピクチャを検出して複数のＩピクチャ及びＰピクチャを復号する必要が無い。
【００３２】
ただし、再生方向を逆転するためにピクチャを並べ替える結果、Ｂピクチャの予測元ピクチャが前後入れ替わってしまう。例えばＢピクチャＢ5は、通常再生用ビデオデータとして、Ｉ3からの前方予測とＩ6からの後方予測を使用して符号化されている。しかし、逆転再生用に並べ替えられた場合には、前方予測の予測元ピクチャがＩ3ではなくＩ6に、後方予測の予測元ピクチャがＩ6ではなくＩ3であるとして復号されてしまう。したがって、図１に示した本実施の形態の再生端末１２０におけるデータ変換部１０８は、ビデオデータ中の前方予測と後方予測のデータを交換することで、予測元ピクチャが前後入れ替わっていることに対処する。すなわち、例えばＩ3からの前方予測とＩ6からの後方予測を使用して符号化されているＢピクチャＢ5を、逆転再生用にＩ3からの後方予測とＩ6からの前方予測からなるデータに変換する。それぞれの予測データが通常再生と同じ予測元ピクチャを参照することになるため、矛盾無く復号することが可能となる。
【００３３】
このようなデータ変換は、データ変換部１０８において、ISO/IEC13818-2のピクチャのデータ構造を利用して行われる。ピクチャの符号化データは、図３のＡに示すように、ヘッダ（picture_header）、コーディングエクステンション（picture_coding_extension）、データ（picture_data）から構成される。図３のＢに示すように、ヘッダ中に符号化されているpicture_coding_typeにより、そのピクチャがＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれであるかを知ることができる。また、ヘッダ中には、ピクチャごとに１ずつ増加する表示順番を表すtemporal_referenceが符号化されている。temporal_referenceは、ＧＯＰ（Group Of Pictures）ごとに０にリセットされる。図３のＣに示すように、picture_coding_extension中には、復号に使用する動きベクトルの探索範囲を表すf_codeが符号化されている。f_codeには、前方予測と後方予測の夫々について水平方向と垂直方向がある。図３のＤに示すように、picture_dataはスライス（slice）から、図３のＥに示すように、このスライスはさらにマクロブロック（macroblock）と呼ばれる符号化単位からなる。図３のＦに示すように、マクロブロックごとに予測を用いた符号化が行われているため、マクロブロックごとに予測元ピクチャ中の参照位置を表す動きベクトル（motion_vector）が符号化されている。Ｂピクチャでは、マクロブロックごとに予測方法を指定することが可能であり、符号化方法は予測符号化単位型すなわちマクロブロックタイプ（macroblock_type）によって示されている。Ｂピクチャのマクロブロックの予測の種類には、予測元ピクチャを参照しないイントラ（intra）、前方（順方向）予測のみ（forward）、後方（逆方向）予測のみ（backward）、前方及び後方双方の予測を使用する内挿（interpolation）が存在する。予測を使用している場合には、動きベクトルが符号化される。内挿の場合には、前方予測のためのmotion_vector(0)と後方予測のための動きベクトルmotion_vector(1)の２つのベクトルが符号化される。
【００３４】
データ変換部１０８は、逆転再生の際には、、逆転再生に伴って変更される表示順番にしたがって、全てのピクチャのヘッダ中に符号化されているtemporal_referenceを変換する。さらに、データ変換部１０８は、Ｂピクチャに対して、予測元ピクチャが逆転再生のために並べ替えられる影響を受けるため、図４に示した手順で逆転再生のためのデータ変換を行う。
【００３５】
最初のステップＳ４０１において、データ変換部１０８は、逆転再生のための並べ替えによってＢピクチャの前後の予測元ピクチャが入れ替わったので、動きベクトルの探索範囲を表すf_codeについて、前方と後方を入れ替える。すなわち、forward_horizontal_f_codeをbackward_horizontal_f_codeと、forward_vertical_f_codeをbackward_vertical_f_codeと夫々入れ替える。
【００３６】
ステップＳ４０２において、データ変換部１０８は、マクロブロック（macroblock）ごとに符号化されているマクロブロックタイプ（macroblock_type）から、そのマクロブロックで使用されている予測のタイプを判別する。そして、マクロブロックタイプ（macroblock_type）が前方／後方（forward/backard）の場合はステップＳ４０３に、内挿（interpolation）の場合はステップＳ４０４に処理を進める。そして、イントラ（intra）の場合は、予測元ピクチャを参照せず逆転再生のために並べ替えが行われても復号に影響しないため、マクロブロック（macroblock）の変換は行わずに、ステップＳ４０５に進む。
【００３７】
ステップＳ４０３はマクロブロックの予測のタイプが前方予測（forward）もしくは後方予測（backward）の場合であり、逆転再生のための並べ替えによって予測元ピクチャの前後関係が入れ替わっている。データ変換部１０８は、前方予測のみを示しているマクロブロックタイプ（macroblock_type）を後方予測のみに変換し、後方予測のみを示しているマクロブロックタイプ（macroblock_type）を前方予測のみに変換する。
【００３８】
ステップＳ４０４はマクロブロック（macroblock）の予測のタイプが前方及び後方双方の予測を使用する内挿（interpolation）の場合である。データ変換部１０８は、前方予測のための動きベクトルmotion_vector(0)と後方予測のための動きベクトルmotion_vector(1)を入れ替える。
【００３９】
ステップＳ４０５において、データ処理部１０８は、Ｂピクチャ中の全てのマクロブロック（macroblock）を処理したならばこの一連の処理を終了する。まだ残っているならば、データ処理部１０８は、ステップＳ４０６で次のマクロブロック（macroblock）へ処理を進め、ステップＳ４０２から繰り返す。
【００４０】
上述のように、本実施の形態によると、ＩピクチャとＢピクチャのみを使用する符号化方法を採用するので、１枚のピクチャの表示時間間隔内で通常再生と同様に１枚のピクチャを復号すれば良い。また、図４に示したデータ変換により変換されたビデオデータを入力とすることにより、復号部は通常再生中と同様の処理により逆転再生用のビデオデータを復号することが可能となる。
【００４１】
なお、この第１の実施の形態の再生端末１２０のデータ変換部１０８で変換した変換済みビデオデータ１１３を、媒体によって提供することもできる。この媒体によって提供されるビデオデータは、ＩピクチャとＢピクチャのみを使用したものであり、１枚のピクチャの表示時間間隔内で通常再生と同様に１枚のピクチャを復号すれば良いものである。
【００４２】
次に、第２の実施の形態として、本発明を適用した再生端末を説明する。図５に示すように、再生端末１２０は、特殊再生制御部１０２と、符号化部１０５と、記憶媒体１０７と、読み出し部１０９と、復号部１１０とから構成されている。符号化部１０５は、上述した第１の実施の形態と同様に、フレーム内データのみから符号化するＩピクチャと、前後のフレームからの前方予測及び後方予測を使用して符号化するＢピクチャとのみにより符号化することを特徴とする。また、読み出し部１０９は第１の実施の形態の再生端末１２０における読み出し部１０９と同様に、逆転再生中に復号されるピクチャの表示順番が逆転再生となるように、ピクチャの順番を並べ替えて読み出す。読み出し部１０９により読み出されたビデオデータは、復号部１１０へ変換されずに入力される。復号部１１０は、第１の実施の形態とは異なり、特殊再生制御部１０２によるコントロール１０３に応じてＢピクチャを逆転再生用に復号する。すなわち、復号部１１０は、第１の実施の形態においてデータ変換部１０８が行っていた変換処理と同等の変換を復号処理と同時に行う。したがって、本実施の形態では、復号前にピクチャ中のデータを実際に変換する必要が無い。
【００４３】
復号部１１０は、予測元ピクチャを前後交換して参照することによりＢピクチャを復号する。例えば、図２のＣ及びＤに示した逆転再生の例において逆転再生中のＢピクチャＢ5を復号する際に、前方予測のための予測元ピクチャとしてＩ6ではなくＩ3を使用し、後方予測のための予測元ピクチャとしてＩ3ではなくＩ6を使用する。つまり、本実施の形態においては、予測に使用する予測元ピクチャへの参照を交換するのみで、それ以外に特別な処理を一切必要とせずに、特殊再生用に並べ替えられたビデオデータを復号することが可能になる。
【００４４】
次に、第３の実施の形態として、本発明を適用したデータ配信システムを図６に示す。本実施の形態は、蓄積されているビデオデータをサーバが伝送媒体を介して復号端末へ配信するデータ配信システムにおいて、逆転再生用のデータを配信可能とするためのビデオデータ符号化方法、変換方法、配信方法を提供する。
【００４５】
符号化部１０５は、第１の実施の形態及び第２の実施の形態と同様に、フレーム内データのみから符号化するＩピクチャと、前後のフレームからの前方予測及び後方予測を使用して符号化するＢピクチャのみを使用して符号化することを特徴とする。
【００４６】
読み出し部１０９は第１の実施の形態及び第２の実施の形態における読み出し部と同様に、逆転再生中は復号されるピクチャの表示順番が逆転再生となるようにピクチャの順番を並べ替えて読み出しを行う。データ変換部１０８は、第１の実施の形態と同様に、逆転再生用に予測元ピクチャの前後が反転して並べ替えられたビデオデータにおいて正しい予測元ピクチャを参照できるようにＢピクチャのデータを変換する。復号端末１１７の受信部１１８及び復号部１１９は、データ変換部１０８から出力される変換済ビデオデータ１１３が配信されるので、逆転再生中も通常再生と同様の処理を行えば良い。また、本実施の形態のデータ配信方法によれば、逆転再生のためにビデオデータのレートが増大することが無いため、伝送媒体１１５は、通常再生用のビデオデータを配信可能でさえすれば良い。サーバ１００では、逆転再生用のデータ変換は再符号化無しで行うため、画質の劣化が無い。したがって、再符号化する場合に比べると処理が簡易であり、余分なフレームメモリを必要としない。
【００４７】
次に、第４の実施の形態として、本発明を適用した符号化方式を図７を参照して説明する。本実施の形態は、第１の実施の形態、第２の実施の形態及び第３の実施の形態におけるビデオデータの符号化方法に代わり、Ｐピクチャも使用し、かつ再生のための復号及びデータ変換後の配信を可能とするような符号化方法を用いる。
【００４８】
このような符号化方法を、図７を参照して説明する。図７のＡには、通常再生における表示順のビデオデータが示されている。ＰピクチャＰ3を符号化する際に、前方予測を用いたマクロブロック７０１は、通常再生中は予測元ピクチャＩ0中の、動きベクトル７０３で示される予測位置７００に基づいて復号される。しかし、図７のＢに示す逆転再生における表示順のビデオデータで、逆転再生用に並べ替えられた順番でビデオデータを復号する際には、予測元ピクチャがＩ6に変化してしまうため、Ｐ3を正しく復号することができない。本実施の形態の符号化方法では、ＰピクチャＰ3中のマクロブロック７０１を符号化する際に、前方予測の動きベクトル７０３で参照する予測元ピクチャＩ0中の予測位置７００と、同じ位置にある逆転再生時の予測元ピクチャＩ6中の予測位置７０２とを比較し、画像に変化が無い場合は、そのまま前方予測による予測符号化方式を用いて符号化する。予測位置７００，７０２の画像に変化がある場合には、マクロブロック７０１は、予測を使用しないイントラ符号化方式で符号化する。上記の符号化方法により、逆転再生のための並べ替えによって予測元ピクチャが変化しても、Ｐピクチャは正しく復号されることが保証される。特に画像中に変化が少ない場合には、ＩピクチャとＢピクチャのみを用いて符号化する方法に比較して、ビットレートを低く抑えることが可能となる。
【００４９】
なお、本実施の形態の符号化方式で符号化したビデオデータを媒体によって提供することができる。この媒体によって提供されるビデオデータは、Ｐピクチャを使用し、逆転再生のための復号及びデータ変換後の配信を可能とするものである。
【００５０】
次に、第５の実施の形態として、本発明を適用した符号化方式を図８を参照して説明する。本実施の形態は、第１の実施の形態、第２の実施の形態及び第３の実施の形態におけるビデオデータの符号化方法に代わり、スキップマクロブロックを利用したＰピクチャを使用して符号化し、逆転再生のための復号及びデータ変換後の配信を可能とする符号化方法である。ここで、スキップマクロブロックとは、予測元ピクチャの同じ位置にある画像データをそのまま復号データとすることを意味するマクロブロックである。
図８のＢに示すように、本実施の形態の符号化方式では、ＰピクチャＰ3及びＰ6を符号化する際に、前後直近のＩピクチャと、それらのＩピクチャに挟まれる全てのＰピクチャ中の、同じマクロブロックの位置にあるビデオソース信号を比較する。画像に変化が無い場合、つまり、図８のＡにおける入力画像中の位置８００，８０１，８０２，８０３に変化が無く、同一のデータとして符号化しても良い場合には、上記Ｉピクチャに挟まれる全てのＰピクチャ中の、同じマクロブロックの位置を、スキップマクロブロックで符号化する。画像に変化があり、同一のデータとして符号化できないと判断された場合には、上記Ｉピクチャに挟まれる全てのＰピクチャ中の、同じマクロブロックの位置を、予測ピクチャを参照しないイントラ符号化方式により符号化する。上記の符号化方法により、図８のＢに示す逆転再生における標準のビデオデータでは、逆転再生のための並べ替えによって予測元ピクチャが変化しても、Ｐピクチャは正しく復号されることが保証される。特に画像中に変化が少ない場合には、ＩピクチャとＢピクチャのみを用いて符号化する方法に比較して、ビットレートを低く抑えることが可能となる。
【００５１】
さらに、連続するＩピクチャＩ0，Ｉ9に挟まれる全てのＰピクチャＰ3，Ｐ6中の、同じマクロブロックの位置８０１，８０２をスキップマクロブロックで符号化した場合には、直後のＩピクチャＩ9中の同じ位置にあるマクロブロック８０３は、直前のＩピクチャＩ0中の同じ位置にあるマクロブロック８００と同じ量子化スケールを使用して符号化することにより、逆転再生のために並べ替えが行われて予測元ピクチャが変更されても、Ｐピクチャの復号画像の乱れを小さく抑えることができる。さらに、直後のＩピクチャＩ9中の同じ位置にあるマクロブロック８０３は、直前のＩピクチャＩ0中の同じ位置にあるマクロブロック８００と同じ符号化データに符号化することにより、逆転再生のために並べ替えが行われて予測元ピクチャが変更されても、Ｐピクチャの復号結果が通常再生中と等しくなることを保証することができる。
【００５２】
なお、本実施の符号化方式で符号化されたビデオデータを媒体によって提供することができる。この媒体によって提供されるビデオデータは、スキップマクロブロックを利用したＰピクチャを使用して符号化し、逆転再生のための復号及びデータ変換後の配信を可能とするものである。このビデオデータは、直前のＩピクチャ中の同じマクロブロックを同じ量子化スケールを用いて符号化し、復号画像が等しくなるように符号化したものである。
【００５３】
なお、本発明は上述の実施の形態に限定されることは無く、本発明の符号化装置は、再生端末もしくはデータ配信のためのサーバに備わらなくとも良く、本発明の符号化方法によって符号化されたビデオデータを再生端末もしくはサーバの記憶媒体に記憶させることにより、本発明は同様に有効である。
【００５４】
また、本発明は、ISO/IEC13818-2で規定されている符号化方式だけでなく、ピクチャ間で予測を用いる全ての符号化方式において有効である。
【００５５】
【発明の効果】
ビデオデータを復号する再生端末において、フレーム間の予測を使用している符号化方法では、逆転再生を行う際に、１枚のピクチャを復号するために複数のピクチャを予め復号しなければならないという問題があり、再生端末の読み出し部及び復号部は、１枚のピクチャを表示する時間間隔において、多数のピクチャを先読みし、復号しなければならなかった。本発明では、逆転再生のために予測元ピクチャが並べ替えられても影響を受けないイントラ符号化方式と、予測方向を反転させるだけで復号が可能となる予測方式とを用いる符号化方法により、通常再生と同様の復号処理で逆転再生を可能とした。したがって、複数の予測元ピクチャを保存しておくための余分なフレームメモリを不用にすると共に、逆転再生のために特別な高速復号処理を不要とする効果がある。
【００５６】
また、本発明のデータ変換装置が、逆転再生用の並べ替えによって入れ替えられる予測元ピクチャに合せて予測のための動きベクトルも入れ替えることにより、通常再生処理を行う復号装置に一切の追加機能無しで、逆転再生用のビデオデータを復号可能とした。通常再生用の一般的なビデオ復号装置を使用して逆転再生を行えるという効果がある。
【００５７】
さらに、逆転再生を行う際に並べ替えによって入れ替えられる予測元ピクチャに合せて、復号時に参照する予測元ピクチャを入れ替えて復号する復号方法により、データ変換不要で逆転再生を可能とした。復号装置は、予測元ピクチャへの参照を交換するのみで、それ以外に特別な処理を一切必要とせずに、特殊再生用に並べ替えられたビデオデータを復号することが可能になる。
【００５８】
蓄積されているビデオデータをサーバが伝送媒体を介して復号端末へ配信するデータ配信システムでは、本発明の符号化方法及びデータ変換方法により逆転再生用の並べ替えによって入れ替えられる予測元ピクチャに合せて予測のための動きベクトルも入れ替えたビデオデータに変換済みであるため、特別なデータ配信方法が不用な逆転再生を可能とする。伝送媒体、受信装置及び復号装置は逆転再生用の特別なデータ形式に対応する必要が無くなるという効果がある。サーバにおける逆転再生用のデータ変換は再符号化無しで行うことが可能となるため、画質の劣化が無く、処理が簡易で余分なフレームメモリを必要としない。
【図面の簡単な説明】
【図１】第１の実施の形態の再生端末の構成を示すブロック図である。
【図２】逆転再生のための並べ替え例を示す図である。
【図３】 ISO/IEC13818-2に規定されるＢピクチャの符号化データ構造を示す図である。
【図４】逆転再生のためのＢピクチャデータ変換を示すフローチャートである。
【図５】第２の実施の形態の再生端末の構成を示すブロック図である。
【図６】第３の実施の形態のデータ配信システムの構成を示すブロック図である。
【図７】第４の実施の形態におけるＰピクチャ中のマクロブロック符号化を示す図である。
【図８】第５の実施の形態におけるＰピクチャ中のマクロブロック符号化を示す図である。
【図９】従来の再生端末における逆転再生を示す図である。
【図１０】従来のデータ配信システムの構成を示す図である。
【符号の説明】
１００ サーバ、１０１ 特殊再生指定入力、１０２ 特殊再生制御部、１０３ コントロール、１０４ ビデオソース信号、１０５ 符号化部、１０６ ビデオデータ、１０７ 記憶媒体、１０８ データ変換部、１０９ 読み出し部、１１０復号装置、１１１ 復号済ビデオデータ、１１２再符号化部、１１３ 変換済ビデオデータ、１１４ 送信部、１１５ 伝送媒体、１１６ 配信データ、１１７ 復号端末、１１８ 受信部、１１９ 復号部、１２０ 再生端末
Claims (6)
- 画像情報を符号化する符号化装置において、
画像内で画像を符号化するイントラ符号化方式と、他の画像を参照して画像を予測符号化する予測符号化方式とを用いて画像情報を画像圧縮情報に符号化する符号化手段を有し、
上記符号化手段は、上記画像を所定の符号化単位ごとに符号化し、上記画像を前方予測符号化する際には、表示順序が逆転した際の予測元画像を参照して復号する符号化単位の内、通常再生時の予測元画像の予測位置の符号化単位と、逆転した表示順序で前方の予測元画像の同じ予測位置の符号化単位との画像に変化が無い場合、上記表示順序で前方の予測元画像の当該符号化単位を参照して符号化する前方予測符号化方式を用いて符号化し、これ以外の符号化単位を画像内で符号化するイントラ符号化方式を用いて符号化する
画像情報符号化装置。 - 上記画像圧縮情報は、上記イントラ符号化方式により画像内で符号化されたイントラ符号化画像と、上記予測符号化方式により表示順序で前方を参照して符号化された前方予測符号化画像と、上記予測符号化方式により表示順序で前方及び後方を参照して符号化された双方向予測符号化画像とにより構成される請求項１記載の画像情報符号化装置。
- 他の画像を参照して予測符号化する予測符号化方式を用いて画像情報を符号化した画像圧縮情報を復号する画像情報復号装置において、
上記予測符号化方式として、表示順序が逆転した際の予測元画像を参照して復号する符号化単位の内、通常再生時の予測元画像の予測位置の符号化単位と、逆転した表示順序で前方の予測元画像の同じ予測位置の符号化単位との画像に変化が無い場合、上記表示順序で前方の予測元画像の当該符号化単位を参照して符号化する前方予測符号化方式が少なくとも用いられ、
画像圧縮情報を構成する符号化画像を、この画像圧縮情報の表示順序とは逆の順序に並び替えた画像圧縮情報が入力され、上記符号化画像が参照する予測元画像の入れ替えに応じて予測方向も入れ替えて復号する復号手段
を有する画像情報復号装置。 - 画像情報を符号化する符号化方法において、
画像内で画像を符号化するイントラ符号化方式と、他の画像を参照して画像を予測符号化する予測元画像を参照することで復号する予測符号化方式とを用いて画像情報を画像圧縮情報に符号化する符号化工程を有し、
上記符号化工程では、上記画像を所定の符号化単位ごとに符号化し、上記画像を前方予測符号化する際には、表示順序が逆転した際の予測元画像を参照して復号する符号化単位の内、通常再生時の予測元画像の予測位置の符号化単位と、逆転した表示順序で前方の予測元画像の同じ予測位置の符号化単位との画像に変化が無い場合、上記表示順序で前方の予測元画像の当該符号化単位を参照して符号化する前方予測符号化方式を用いて符号化し、これ以外の符号化単位を画像内で符号化するイントラ符号化方式を用いて符号化する
画像情報符号化方法。 - 他の画像を参照して予測符号化する予測符号化方式を用いて画像情報を符号化した画像圧縮情報を変換する画像情報変換方法において、
上記予測符号化方式として、表示順序が逆転した際の予測元画像を参照して復号する符号化単位の内、通常再生時の予測元画像の予測位置の符号化単位と、逆転した表示順序で前方の予測元画像の同じ予測位置の符号化単位との画像に変化が無い場合、上記表示順序で前方の予測元画像の当該符号化単位を参照して符号化する前方予測符号化方式が少なくとも用いられ、
画像圧縮情報を構成する符号化画像を、この画像圧縮情報の表示順序とは逆の順序に並び替え、上記符号化画像が参照する予測元画像の入れ替えに応じて予測方向も入れ替えるように変換する
画像情報変換方法。 - 他の画像を参照して予測符号化する予測符号化方式を用いて画像情報を符号化した画像圧縮情報を復号する画像情報復号方法において、
上記予測符号化方式として、表示順序が逆転した際の予測元画像を参照して復号する符号化単位の内、通常再生時の予測元画像の予測位置の符号化単位と、逆転した表示順序で前方の予測元画像の同じ予測位置の符号化単位との画像に変化が無い場合、上記表示順序で前方の予測元画像の当該符号化単位を参照して符号化する前方予測符号化方式が少なくとも用いられ、
画像圧縮情報を構成する符号化画像を、この画像圧縮情報の表示順序とは逆の順序に並び替えた画像圧縮情報が入力され、上記符号化画像が参照する予測元画像の入れ替えに応じて予測方向も入れ替えて復号する
画像情報復号方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000207369A JP4581192B2 (ja) | 2000-07-07 | 2000-07-07 | 画像情報符号化装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000207369A JP4581192B2 (ja) | 2000-07-07 | 2000-07-07 | 画像情報符号化装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002027478A JP2002027478A (ja) | 2002-01-25 |
| JP4581192B2 true JP4581192B2 (ja) | 2010-11-17 |
Family
ID=18704136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000207369A Expired - Fee Related JP4581192B2 (ja) | 2000-07-07 | 2000-07-07 | 画像情報符号化装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4581192B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7024098B2 (en) * | 2003-05-05 | 2006-04-04 | Thomson Licensing | Reverse trick modes on progressive video using special groups of pictures |
| US7379656B2 (en) * | 2003-05-05 | 2008-05-27 | Thomson Licensing | Forward trick modes on progressive video using special groups of pictures |
| US6873786B2 (en) * | 2003-05-05 | 2005-03-29 | Thomson Licensing S.A. | Reverse trick modes on non-progressive video using special groups of pictures |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01300781A (ja) * | 1988-05-30 | 1989-12-05 | Nec Corp | 動画像信号の符号化・復号化方式 |
| JPH02281885A (ja) * | 1989-04-24 | 1990-11-19 | Nippon Telegr & Teleph Corp <Ntt> | 動画像符号化処理装置 |
| JPH10191259A (ja) * | 1996-12-23 | 1998-07-21 | Tektronix Inc | Ｍｐｅｇビデオの反転再生方法 |
| JPH1198513A (ja) * | 1997-09-18 | 1999-04-09 | Toshiba Corp | 動画像符号化／復号化装置 |
-
2000
- 2000-07-07 JP JP2000207369A patent/JP4581192B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01300781A (ja) * | 1988-05-30 | 1989-12-05 | Nec Corp | 動画像信号の符号化・復号化方式 |
| JPH02281885A (ja) * | 1989-04-24 | 1990-11-19 | Nippon Telegr & Teleph Corp <Ntt> | 動画像符号化処理装置 |
| JPH10191259A (ja) * | 1996-12-23 | 1998-07-21 | Tektronix Inc | Ｍｐｅｇビデオの反転再生方法 |
| JPH1198513A (ja) * | 1997-09-18 | 1999-04-09 | Toshiba Corp | 動画像符号化／復号化装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002027478A (ja) | 2002-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3923898B2 (ja) | 画像符号化方法及び装置 | |
| JP5188033B2 (ja) | 記録再生装置、送出装置及び伝送システム。 | |
| JP3840895B2 (ja) | 動画像符号化データ変換装置及びその方法 | |
| US5706053A (en) | Compressed motion video code processor | |
| JP2005510984A (ja) | デジタルビデオコンテンツのためのピクチャレベルの適応フレーム／フィールド符号化 | |
| JP2005510984A5 (ja) | ||
| KR20060027779A (ko) | 영상 블록의 시간상 및 공간상 상관관계를 이용한영상신호의 엔코딩 및 디코딩 방법과 장치 | |
| US5936670A (en) | Method and device for decoding coded digital video signals | |
| JP4581192B2 (ja) | 画像情報符号化装置及び方法 | |
| JP2898413B2 (ja) | 所要メモリ容量の低減化を伴う圧縮ビデオデータ流の復号化及び符号化のための方法 | |
| JP2006246277A (ja) | 再符号化装置、再符号化方法、および再符号化用プログラム | |
| JP3245496B2 (ja) | 画像符号化方法、画像符号化回路、画像符号化装置及び再生装置 | |
| JP4073541B2 (ja) | 動画像再符号化装置 | |
| JP4462559B2 (ja) | トリック再生用コンテンツ作成方法および装置、トリック再生用圧縮動画データ送出方法および装置、およびトリック再生用コンテンツ作成用プログラム | |
| JPH1198513A (ja) | 動画像符号化／復号化装置 | |
| JP7378035B2 (ja) | 変換装置、復号装置、変換方法および復号方法 | |
| JP3506504B2 (ja) | ディジタル映像信号記録再生装置 | |
| JP4614895B2 (ja) | トランスコーダ及びトランスコード方法 | |
| JPH10234045A (ja) | 動画像通信装置 | |
| JP3480980B2 (ja) | 画像信号伝送方法及び装置、並びに画像信号復号化方法及び装置 | |
| JPH08163575A (ja) | 画像復号方法および装置 | |
| JP2005159832A (ja) | 信号処理装置 | |
| JPH0837660A (ja) | 画像圧縮符号化装置 | |
| JPH08130741A (ja) | 画像復号化装置 | |
| JPH08163570A (ja) | 低遅延モード画像復号方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070129 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090609 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100518 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100712 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100803 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100816 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |