JPWO2006016418A1 - 符号化ストリーム記録媒体、画像符号化装置、及び画像復号化装置 - Google Patents

Abstract

既存の符号化方法においてフレーム単位で逆方向再生するためには、一旦順方向に復号しなければならず処理量とメモリが増大するという問題点があった。符号化ストリームにあるフレームについて前方予測のみからなるピクチャと後方予測のみからなるピクチャを記録することによって、フレーム単位で簡易に逆方向再生が可能なストリームを提供する。またこれを多視点画像の符号化に用いることにより、リアルタイムに視点を変更して画像を再生可能な装置を実現する。

Description

本発明は画像を符号化した符号化ストリームを記録した媒体、画像を符号化するための符号化装置、復号化するための復号化装置、画像を符号化する方法、及び復号化する方法に関し、特にこれらを用いた画像記録装置、映像プレーヤ、携帯電話、デジタルカメラ等の装置に関する。

映像、音声情報を記録、伝達する手法として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方法等の符号化方法が策定され、ＭＰＥＧ−１規格、ＭＰＥＧ−２規格、ＭＰＥＧ−４規格等として国際標準の符号化方法となっている。また、さらに圧縮率を向上させる方法として、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格等が定められている。これらの方法はデジタル衛星放送やＤＶＤ、携帯電話やデジタルカメラなどにおける符号化方法として採用されている。
一方で、このようなアプリケーションでは撮像した時系列とは逆方向に再生する場合がある。このような逆方向の再生可能なストリームを生成する手段としては、イントラ符号化フレームと両方向予測フレームのみを用いるようにすることで逆方向再生を実現する方法がある（例えば特開平８−２８００２４号公報参照）。
上述の方式では、伝送されたストリームを受信側で復号する時、任意の再生箇所から逆方向に映像を再生するためには、復号化のためのメモリが大量に必要であるという問題点があった。例えば、ここで図３記載の多視点からの物体撮像システム（３０１）によって撮影された多視点画像を既存の方式で圧縮符号化したとする。この場合、各視点位置の画像が通常のストリームにおける時間方向のフレームに対応する。図３において、Ｉはイントラ符号化フレーム、Ｐは前方予測フレーム、Ｂは両方向予測フレームを示す。ここでＢ６の位置の画像を再生しようとした場合、まずＩ１からＰ４を復号し、その後Ｐ４とＩ７からＢ６を復号する必要がある。このため、Ｂ６の復号のためにＩ１、Ｐ４、Ｉ７、Ｂ６と４枚の画像を処理するためのメモリが必要であり、処理量も大幅に増大してしまうという問題点があった。このため、受信側でリアルタイムに視点位置を変更して画像を表示する多視点画像の伝送表示方式は実現されていなかった。これは、既存の動画像圧縮方式が、時間方向に対して順方向に再生するために符号化方法を設計しているためであり、フレーム単位での逆方向再生に対応していないために発生する問題である。
更に、上記特許文献１記載の方法では前方予測フレームを用いることができないため、画質を一定以上に保つためにはイントラ符号化フレームを多くする必要があり、データ量が非常に多くなってしまうという問題点がある。従ってこの方法は、上記のような多視点画像の伝送には不向きである。
本発明は、上記従来技術を鑑みて、画質が高く圧縮率の高いフレーム単位での逆方向再生可能な符号化ストリームと、これに対応した画像符号化装置、画像復号化装置を提供するものである。また、本発明は多視点画像の圧縮に適しており、これを用いた多視点画像の符号化ストリームと画像符号化装置、画像復号化装置を提供するものである。

（解決手段）
上記課題を解決するために本願で開示する構成の代表的なものは以下の通りである。
複数のフレームをそれぞれピクチャデータとして符号化してあり、１のフレームについて、他の上記フレームから前方予測したピクチャデータと、他の上記フレームから上記前方予測とは反対方向に後方予測したピクチャデータとを有している符号化ストリームを記録している記録媒体。
又、複数の入力画像を記憶することのできる画像メモリと、画像の処理順序を判定する処理方向判定部と、予測処理を行う予測処理部とを有する画像符号化装置であって予測処理部は処理方向判定部の指示により上記参照画像からの入力を符号化対象のフレームに対して過去の参照画像と未来の参照画像とで切り替える画像符号化装置。及び、上記符号化ストリームが１の画像について前方予測して生成したピクチャデータと該前方予測とは反対方向に後方予測して生成したピクチャデータとを区別するフラグを有する符号ストリームの入力を受け、処理方向を決定する処理方向判定部の指示に従って上記符号化ストリームを復号化する復号化装置。
本発明により、画質、圧縮率が高く、かつ、フレーム単位での逆方向再生可能な符号化ストリームを作成することができる。更に、これに対応した画像符号化装置、画像復号化装置を実現できる。また、多視点画像の圧縮に適した符号化ストリームと画像符号化装置、画像復号化装置を実現することができる。

図１は、本発明で用いる符号化ストリームの一実施例の説明図、
図２は、復号化方法における既存方法と本発明による方法の比較図、
図３は、多視点画像の撮影システムを説明した図、
図４は、本発明の符号化ストリームを多視点画像符号化に用いた実施例の説明図、
図５は、本発明で用いる画像符号化装置の一実施例の説明図、
図６は、本発明で用いる画像符号化装置の一実施例を詳しく説明した図、
図７は、本発明で用いる画像復号化装置の一実施例の説明図、
図８は、本発明で用いる画像復号化装置の一実施例を詳しく説明した図、
図９は、本発明の画像符号化方法を説明した図、
図１０は、本発明の画像復号化方法を説明した図、
を示す図である。

本発明の実施例を図示により説明する。
図１に本発明による符号化ストリームの一実施例を示し、その特徴について述べる。
原画像列（１−０１）を符号化したストリーム（１０４）を用いて説明する。符号化ストリームはデータ記録媒体（１０２）にデータ列（１０３）として記録されるものである。原画像列において、Ｉはイントラ符号化フレーム、Ｐは前方予測フレーム、Ｂは両方向予測フレームを示す。番号は再生時のフレーム番号を示す。符号化ストリーム（１０４）において、Ｉ１’はＩ１フレームを符号化したデータを示す。Ｐピクチャ、Ｂピクチャではそれぞれ前方予測、両方向予測を行った後の符号化データである。以下、記号の意味は同様である。又、矢印１０６は順方向再生の方向を、矢印１０７は逆再生方向を示す。
まず符号化ストリーム（１０４）をＩ１、Ｂ２、Ｂ３、Ｐ４の順に順方向再生する方法を示す。Ｉ１’はイントラ符号化されているので単独で復号化され、Ｉ１が再生される。次にＰ４’は前方予測符号化されているのでＩ１とＰ４’のデータからＰ４が再生される。またＢ２’は両方向予測符号化されているのでＩ１、Ｐ４とＢ２’のデータからＢ２が再生される。Ｂ３の再生も同様に行うことができる。このように、最大３つの関連するピクチャデータを読み出すことによって再生を行うことができる。
次にＩ７、Ｂ６、Ｂ５、Ｐ４の順に逆方向再生する方法を示す。本願の特徴は後方予測フレームＲ４’の存在にある。後方予測フレームとは本来の再生順序（時間順）では後から再生されるフレームのみを参照フレームとして予測されたフレームをいう。具体的には、本願実施例において画像Ｐ４について、前方予測によって生成されたピクチャデータＰ４’と前方予測とは逆方向の後方予測によって生成されたピクチャデータＰ４’を有する点が特徴である。Ｉ７’は単独で復号化されＩ７が再生される。次にＰ４は、既存の方法ではＩ１とＰ４’を用いなければ再生できない。しかし本発明では後方予測したピクチャデータであるＲ４’（１０５）を持つ。これはＩ７からＰ４を後方予測して得られるピクチャデータである。つまり復号されたＩ７とＲ４’のデータを用いることでＰ４を再生することができる。続いてＢ６、Ｂ５については、Ｉ７、Ｐ４とそれぞれＢ６’、Ｂ５’を用いることによって再生できる。このように、本願ではあるフレームについて、他のフレームから時間方向または視点位置の移動方向に前方予測したデータのみからなるピクチャデータＰと、同じフレームについて、他のフレームから時間方向または視点位置の移動方向に後方予測したデータのみからなるピクチャデータＲとを有する。これにより既存の方法で逆方向再生を行うためには大量のメモリと処理が必要であったが、本発明の符号化ストリームを用いることによって少ないメモリと処理量で簡単にフレーム単位での逆方向再生を可能とすることができる。両方向からの予測フレームをそれぞれ別に持つため高画質であり、イントラフレームを持つ場合と比較して符号量が小さいというメリットがある。Ｒ４’のピクチャデータは既存のストリームには存在しないデータである。そこでこの後方予測フレームのデータを既存のストリームに付加情報として記録する方法であるプライベートデータ形式によって記録してもよい。プライベートデータ形式とは既存の規格と拡張された規格の互換性を取るためのデータ形式でありアッディショナルデータとも呼ばれる。一般に規格にはプライベートデータの範囲を示す情報が含まれており、既存規格にのみ対応したデコーダはこのプライベートデータの内容を無視する。拡張規格に対応するデコーダはこのプライベートデータの内容を読み取り処理することができる。この形式を用いることにより、このストリームを逆方向再生に対応しない既存の復号化装置に入力したとしても、通常のストリームとして順方向に再生することができる。
図２を用いて本発明による方法と既存方法の処理量の違いを説明する。
逆方向再生として、Ｉ１３、Ｂ１２、Ｂ１１、Ｐ１０の順に再生することを想定し、Ｂ１２を再生する場合を考える。Ｂ１２を再生するためにはＩ１３とＰ１０が復号されている必要があり、既存方法図２Ａでは、Ｐ１０を再生するためにＩ１からＰ４を予測して復号するステップと、Ｐ４からＰ７を予測して復号するステップと、Ｐ７からＰ１０を予測して復号するステップと、Ｉ１３単独で復号するステップと、最後にＩ１３とＰ１０からＢ１２を復号するステップが必要であり、５段階の処理が必要となる。またその分のデータを保持するメモリも持たなければならない。
一方で提案方法図２Ｂでは、後方予測ピクチャによりＩ１３からＰ１０が復号可能であるため、Ｉ１３単独で復号するステップと、Ｉ１３からＰ１０を予測して復号するステップと、Ｉ１３とＰ１０からＢ１２を復号するステップとがあればよく、３段階の処理で済み、既存方法に比べて処理量、メモリ量を削減できる。
次に図３において、多視点画像を撮影記録するシステムに本願を適用する一実施例について説明する。
多視点画像を撮影するシステムには、図３Ａに示すように撮影対象物体（３０４）を取り囲むようにカメラ（３０２）等の視点位置を配置するタイプものや、図３Ｂに示すようにカメラを外側に向け全周のパノラマ画像を撮影するようなタイプのものがある。図３Ａ、図３Ｂにおいてカメラの撮影する各画像の符号化タイプの一実施例を示したものがそれぞれ（３０３）、（３０６）である。このような多視点画像を伝送する場合、データ量圧縮のために隣り合う視点間の相関を利用して予測を行い符号化する。具体的には、図のＩ１〜Ｂ１２の数字に示される順番に従いあるフレームから１周するように連続するフレームとして取り込み、それぞれイントラ予測符号化、前方予測符号化、両方向予測符号化等の何れかを行う。又、視点間の予測を行った後に、各視点位置について時間方向に予測を行ってもよい。これは対象物体を動画像として記録したい場合に行われる。手順としては、まず上記の方法で各視点位置の画像を符号化する。次に符号化した画像を参照フレームとして、視点位置ごとに独立に動画像として時間方向に予測を行い符号化する。これを一定の時間間隔で行うことにより多視点の動画像を記録できる。但し、視点の移動は視点間で予測符号化したタイミングの時に限られる。
図４に、本発明による符号化ストリームを多視点画像の符号化に用いる場合について説明する。
前述のように多視点画像の撮影システムでは、複数の視点位置のカメラ（４０１）または移動するカメラによってそれぞれの位置に対応する画像（４０２）が撮影され、これらが連続するフレームとして予測符号化され符号化ストリーム（４０３）が作成される。ストリームを受信して再生する側では、ユーザが対象物体を見回すため、その指示により符号化した方向（右回り・順方向）だけでなく、逆方向（左回り）にも画像を再生して提示しなければならない。前述のように既存方法で逆方向再生を行うためには処理量・メモリが非常に多く必要となるが、本発明による後方予測ピクチャＲ１０’（４０４）を有する方法を用いればこれを大幅に削減でき、逆方向再生も簡易に行うことができる。
本発明による多視点画像の符号化ストリームでは、既存の符号化ストリームにおけるタイムスタンプ部分に再生時間情報ではなく、時間以外の視点位置に関する情報等を記録してもよい。例えば視点位置のインデックスや、カメラの角度、絶対位置、各視点位置のフレームの表示持続時間等を記録すればよい。また、このような再生時間情報ではない情報が記録されていることを示すフラグをストリーム中に記録してもよい。視点位置のインデックスやカメラの角度、絶対位置を記録しておくことにより、ユーザが対象物体をどの方向から見たいかを指示した時に、これらの情報をもとにして表示するのに最も適切なフレームをストリームから選択することができる。また視点位置のフレームの表示持続時間を記録しておけば、対象物体を周りからぐるっと見回したときの映像を自動的に再生することができる。これらの情報は既存の規格におけるタイムスタンプとは記述方法が異なるので、別の情報が記録されていることを示すフラグをストリームに記録しておく。
前述のように、多視点画像を符号化したストリームをユーザの指示によって視点位置を変更して再生する場合、逆方向に再生を行うと、ストリーム中の最初に符号化したフレームを再生した後に、最後に符号化したフレームを再生する場合がある。このような再生順序は特殊な再生方法となるため、復号化装置によっては既存のストリームと区別するフラグが必要となる。このように逆方向のループ再生が可能であることを示すフラグをストリーム中に記録し、このフラグが有る場合には、連続したフレームの前後最終フレームを再生した後（本実施例において例えばＢ１２）は他の一方のフレーム（Ｉ１）を連続して再生させるようにしてもよい。
図５に本発明による画像符号化装置の一実施例を示す。
画像符号化装置は、画像入力部（５０１）、画像メモリ（５０２）、処理方向判定部（５０３）、符号化予測処理部（５０４）、誤差調整部（５０５）、符号化処理部（５０６）、フレームメモリ（５０７）、出力部（５０８）からなる。誤差調整部（５０５）はなくてもよいが備えることで画質を向上することができる。
まず画像入力部（５０１）はカメラ等からの画像情報を符号化装置に入力し、画像メモリ（５０２）に蓄える。画像は複数のカメラから同時に取り込んでもよいし、連続的に入力して蓄えてもよい。次に処理方向判定部（５０３）が、画像の処理する順番、前方予測、後方予測等の符号処理方法を判定し、符号化予測処理部（５０４）に伝える。予測処理部（５０４）は指示に従い、画像メモリ（５０２）から適切な画像を取得し、フレームメモリ（５０７）の参照画像を用いて予測処理を行う。符号化予測処理部（５０４）にて各ピクチャの予測符号化処理が行われるが、図４の実施例で示したＰ４のように前方予測ピクチャデータＰ４’と後方予測ピクチャデータＲ４’のような２つのデータが作成される画像では、再生の方向によって復号画像に画質の差が生じる場合がある。両方向予測ピクチャを用いる場合、順方向及び逆方向の再生時ともに同じデータが使われるため、参照画像の画質に差があると再生方向によって画質に差が生じてしまう。これを回避するために本発明による画像符号化装置では、誤差調整部（５０５）によって再生方向による画質差の調整を行う。前方予測ピクチャデータと後方予測ピクチャデータをそれぞれ一旦デコードしてブロック毎に画質を比較し、一定以上画質に差があるブロックは、画質が揃うように一方または両方のピクチャのブロックをパラメータを調整して再エンコードする。次に符号化処理部（５０６）が予測された情報を元に画像の符号化を行い、データを出力部（５０８）に送って符号化ストリームを作成する。また一方、符号化処理部（５０６）は作成した符号化データを復号化して画像に戻しフレームメモリ（５０７）に送る。フレームメモリ（５０７）に蓄えられた画像は、符号化予測処理部（５０４）に従って次の画像の予測に使うために参照フレームとして格納される。
次に図６を用いて、画像符号化装置の一実施例の詳しい説明を行う。図６は符号化予測処理部（５０４）を詳しく示した図である。
まず画像メモリ（５０２）から符号化する原画像が原画像メモリ（６０１）に取り込まれる。また、フレームメモリ（５０７）からは参照画像が参照画像メモリ（６０３）に取り込まれる。次に、処理方向判定部（５０３）から画像の予測方法、どのタイプの予測を行うのかに関する符号化方法の指示が切替処理部（６０２）に伝わり、この指示に従って参照画像と原画像が各予測処理部であるイントラ符号化予測部（６０４）、片方向符号化予測部（６０５）、両方向符号化予測部（６０６）に送られる。イントラ符号化予測部（６０４）は画像内部で符号化の予測処理を行う処理部であり、片方向符号化予測部（６０５）は順方向または逆方向の符号化予測処理を行う。両方向符号化予測部（６０６）は両方向符号化予測処理を行う。すなわち、前方予測と後方予測はどちらも片方向の予測処理であるので、切替処理部（６０２）によって予測に用いる参照画像の入れ替えを行えば、同じ片方向符号化予測部（６０５）によって処理が可能である。つまり後方予測符号化を行う場合にのみ切替処理を行えばよい。参照画像メモリには過去画像メモリと未来画像メモリがあり、前方予測時は過去画像メモリ、両方向予測時は両方を用いる。後方予測時は未来画像メモリのみを用いればよいが、前方予測部と処理を共通化するために、本来は未来画像メモリに入れる参照画像を切替処理によって過去画像メモリに入れる。このように切替部は予測部で用いる参照画像を符号化対象の画像の未来の画像と過去の画像とで切り替えることで本願を実現する。各予測処理部によって処理されたデータは誤差調整部（５０５）に送られる。以上のような処理によって符号化が行われる。
図７に本発明による画像復号化装置の一実施例を示す。
画像復号化装置は、ストリーム入力部（７０１）、ストリームバッファ（７０２）、処理方向判定部（７０３）、復号化予測処理部（７０４）、復号化処理部（７０５）、フレームメモリ（７０６）、出力部（７０７）からなる。
まずストリーム入力部（７０１）は符号化ストリームを復号化装置に入力し、ストリームバッファ（７０２）に蓄える。次に処理方向判定部（７０３）が、ユーザの指示入力に従って処理するべきデータの順番を決定し、復号化予測処理部（７０４）に伝える。例えば、多視点画像を再生する復号化装置では、ユーザが対象物体を右回りで見回したり左回りで見回したりと、様々な向きに符号化ストリームの復号化方向を変える。処理方向判定部（７０３）はストリームバッファ（７０２）に蓄えられたデータの中から、ユーザの指示に基づいて適切なピクチャデータの位置を指定し、復号化の順番を復号化予測処理部（７０４）に伝える。また処理方向判定部（７０３）は、ストリーム中のフラグのチェックを行い、入力されたストリームが逆方向再生可能かどうかを判定したり、多視点画像の符号化ストリームとして逆方向のループ再生が可能かどうかを判定したりする。
次に復号化予測処理部（７０４）は指示に従い、ストリームバッファ（７０２）から適切なピクチャデータを取得して予測処理を行う。データ及び参照画像の切り替えを除けば、復号化予測処理部（７０４）は通常の復号化装置の予測処理部と同様のものでかまわない。予測処理後のデータは復号化処理部（７０５）に送られ、画像として再生され出力部（７０７）に出される。また復号化された画像はフレームメモリ（７０７）に送られ、次に復号される画像の参照画像として蓄えられる。
次に図８を用いて、画像復号化装置の一実施例の詳しい説明を行う。図８は復号化予測処理部（７０４）を詳しく示した図である。
まずストリームバッファ（７０２）から復号化するピクチャデータがデータ切替部（８０１）に取り込まれる。また、フレームメモリ（７０６）からは参照画像が参照画像メモリ（８０２）に取り込まれる。次に、処理方向判定部（７０３）から画像の予測方法、復号化方法に関する指示がデータ切替部（８０１）に伝わり、この指示に従って適切なデータが各予測処理部であるイントラ復号化予測部（８０３）、片方向復号化予測部（８０４）、両方向復号化予測部（８０５）に送られる。イントラ復号化予測部（８０３）は画像内部で復号化の予測処理を行う処理部であり、片方向復号化予測部（８０４）は順方向または逆方向の復号化予測処理を行う。両方向復号化予測部（８０５）は両方向復号化予測処理を行う。すなわち、前方予測と後方予測はどちらも片方向の予測処理であるので、データ切替部（８０１）によって復号化するデータの順序と参照画像を適宜入れ替えれば、同じ片方向復号化予測部（８０４）によって処理が可能である。各予測処理部によって処理されたデータは復号化処理部（７０５）に送られる。以上のような処理によって復号化が行われる。以上のように符号化・復号化装置のいずれにしても既存の装置を少し改良するのみで実現することができる。
次に、図９に本発明による画像符号化方法の概略を示し、内容を説明する。
まずステップ（９０１）において画像のバッファリングを行う。ここでは複数視点からの画像や連続するフレームをメモリに取り込む。次にステップ（９０２）では、イントラ予測・順方向予測・両方向予測の処理を行う。これは既存の符号化手順と同じ処理であり、既存の符号化ストリームと同じピクチャデータを作成するステップである。次にステップ（９０３）ではメモリ切替を行う。これは、逆方向再生可能なストリームを作成するにあたり、前述の順方向予測と同じ処理によって逆方向予測を行うため、対象となる参照画像の入れ替えを行う処理である。次にステップ（９０４）では逆方向の予測処理を行う。ここで逆方向再生を可能にする後方予測のみによるピクチャデータを作成する。次にステップ（９０５）において誤差調整とフラグ処理を行う。誤差調整は前述のように、順方向再生時と逆方向再生時で画質の差が生じないように前方予測のみによるピクチャデータと後方予測のみによるピクチャデータの符号化方法の調整を行う処理である。またフラグ処理では、出力する符号化ストリームが逆方向再生に対応することを示すフラグや、多視点画像の符号化ストリームの時には、カメラの視点位置情報、逆方向ループ再生が可能であることを示す情報等を出力する。最後にステップ（９０６）では、以上のようにして作成した符号化データをストリームとして出力する。処理手順としては、ステップ（９０２）の通常の処理とステップ（９０４）の逆方向の処理をメモリを切り替えるなどして同時に行ってもよい。以上のような方法で逆方向再生可能なストリームが作成される。
次に、図１０に本発明による画像復号化方法の概略を示し、内容を説明する。
まずステップ（１００１）において符号化ストリームのデータバッファリングを行う。次にステップ（１００２）では、符号化ストリームのフラグ判定を行う。フラグの内容については前述のとおりである。次にステップ（１００３）では再生方向の判定を行う。ユーザの指示によって変更される画像の再生方向を判定する処理を行う。次にステップ（１００４）ではデータ切り替えを行う。データ切り替えは、再生方向に対応したピクチャデータを、データを蓄積したメモリから読み出し予測処理部にデータを渡す。次にステップ（１００５）では予測・復号化処理を行う。ステップ（１００４）によって適切な順序のデータが渡されることによって、復号処理自体は既存の復号化と同様の処理によって実現できる。最後にステップ（１００６）において復号化された画像が出力される。以上のような方法で逆方向再生可能なストリームから画像が復号化される。
上記のような手段により、フレーム単位での逆方向再生可能な符号化ストリームを作成、伝送し再生することができる。また、これを用いた多視点画像符号化装置、復号化装置を実現できる。
なお、前記実施例では多視点画像の符号化装置、復号化装置を例に挙げて説明してきたが、本発明の適用はこれに限定されるものではなく、通常の動画像の符号化を初めとして様々な画像符号化装置、復号化装置等に用いることができる。本方式を通常の動画像符号化に用いた場合には、少ないメモリ量でフレーム単位の逆方向再生が可能になり、多視点画像符号化に用いた場合には、少ないメモリ量でユーザの指示に応じた自由な視点位置移動が可能になる。
尚、本願で記述した実施例はプログラムで規定し、コンピュータで読み込んで実行することができ、またハードウェアとの協調、若しくは、ハードウェア単体にて実現することができる。

本願は、情報の符号化復号化に適用できる。

【０００５】
徴について述べる。
原画像列（１０１）を符号化したストリーム（１０４）を用いて説明する。符号化ストリームはデータ記録媒体（１０２）にデータ列（１０３）として記録されるものである。原画像列において、Ｉはイントラ符号化フレーム、Ｐは前方予測フレーム、Ｂは両方向予測フレームを示す。番号は再生時のフレーム番号を示す。符号化ストリーム（１０４）において、Ｉ１’
はＩ１フレームを符号化したデータを示す。Ｐピクチャ、Ｂピクチャではそれぞれ前方予測、両方向予測を行った後の符号化データである。以下、記号の意味は同様である。又、矢印１０６は順方向再生の方向を、矢印１０７は逆再生方向を示す。
まず符号化ストリーム（１０４）をＩ１、Ｂ２、Ｂ３、Ｐ４の順に順方向再生する方法を示す。Ｉ１’はイントラ符号化されているので単独で復号化され、Ｉ１が再生される。次にＰ４’は前方予測符号化されているのでＩ１とＰ４’のデータからＰ４が再生される。またＢ２’は両方向予測符号化されているのでＩ１、Ｐ４とＢ２’のデータからＢ２が再生される。Ｂ３の再生も同様に行うことができる。このように、最大３つの関連するピクチャデータを読み出すことによって再生を行うことができる。
次にＩ７、Ｂ６、Ｂ５、Ｐ４の順に逆方向再生する方法を示す。本願の特徴は後方予測フレームＲ４’の存在にある。後方予測フレームとは本来の再生順序（時間順）では後から再生されるフレームのみを参照フレームとして予測されたフレームをいう。具体的には、本願実施例において画像Ｐ４について、前方予測によって生成されたピクチャデータＰ４’と前方予測とは逆方向の後方予測によって生成されたピクチャデータＲ４’を有する点が特徴である。Ｉ７’は単独で復号化されＩ７が再生される。次にＰ４は、既存の方法ではＩ１とＰ４’を用いな

Claims (10)

1. 複数のフレームをそれぞれピクチャデータとして符号化した符号化ストリームを記録した媒体であって、
   該符号化ストリームは、上記１のフレームについて、他の上記フレームから前方予測したピクチャデータと、他の上記フレームから上記前方予測とは反対方向に後方予測したピクチャデータとを有することを特徴とする記録媒体。
2. 上記符号化ストリームには、上記１のフレームについて前方予測したピクチャデータと後方予測したピクチャデータとが含まれていることを示すフラグが含まれていることを特徴とする請求項１記載の記録媒体。
3. 上記後方予測したピクチャデータは、プライベートデータ形式で記録されていることを特徴とする請求項１又は２に記載の記録媒体。
4. 上記符号化ストリームは、上記各フレームの再生時間を表すタイムスタンプ情報、又は、上記各フレーム撮像の撮像位置に関する情報の少なくとも何れかを有することを特徴とする請求項１乃至３の何れかに記載の記録媒体。
5. 上記符号化ストリームは、再生時に、上記複数のフレームの最後のフレームの再生後に最初のフレームを再生する、あるいは最初のフレームの再生後に最後のフレームを再生することが可能であることを示すフラグを有することを特徴とする請求項１乃至４の何れかに記載の記録媒体。
6. 複数の入力画像を記憶することのできる画像メモリと、画像の処理順序を判定する処理方向判定部と、上記入力画像と参照画像とを用いて予測処理を行う予測処理部とを有し、
   上記予測処理部は上記参照画像を格納する参照画像メモリと、処理方向判定部の指示により上記参照画像からの入力の切替を行う切替処理部とを有し、該切替処理部は上記参照画像からの入力を符号化対象のフレームに対して過去の参照画像と未来の参照画像とで切り替えることを特徴とする画像符号化装置。
7. 上記予測処理部は１の画像について、上記過去の参照画像を用いて前方予測して生成したピクチャデータと該前方予測とは反対方向に上記未来の参照画像を用いて後方予測して生成したピクチャデータとを生成することを特徴とする請求項６記載の画像符号化装置。
8. 上記前方予測ピクチャデータと上記後方予測ピクチャデータをデコードしてブロック毎に画質を比較し、差が所定以上あるブロックはパラメータを調整して再エンコードする誤差調整部を更に有することを特徴とする請求項７記載の画像符号化装置。
9. 入力された符号化ストリームを蓄えるメモリと、入力手段を介して入力される再生方向指示情報と前記符号化ストリームに含まれるフラグ情報に従って処理方向を決定する処理方向判定部と、
   上記処理方向判定部の指示に従って上記符号化ストリームを復号化する復号化処理部とを有し、
   上記フラグは上記符号化ストリームが１の画像について前方予測して生成したピクチャデータと該前方予測とは反対方向に後方予測して生成したピクチャデータとを有すものであることを示すものであることを特徴とする画像復号化装置。
10. 上記画像復号化装置は、上記再生方向指示情報に基づいて、ストリームの最後のフレームの再生後に最初のフレームを再生する、あるいは最初のフレームの再生後に最後のフレームを再生することが可能であることを特徴とする請求項９記載の画像復号化装置。

Images