JP4790446B2 - 動画像復号装置及び動画像符号化装置 - Google Patents

Description

この発明は符号化データを受信して復号する動画像復号装置及び映像データを符号化して符号化データを送信する動画像符号化装置に関するものであり、特に、伝送路において符号化データの誤りや、欠落、伝送時間の揺らぎが生じ、受信側で本来正常な表示を行うために、所定のタイミングで必要な符号化データの受信を完了して復号を開始しなければならないにもかかわらず、全ての符号化データが揃わない場合に、一旦復号を開始して後に全ての符号化データが揃った段階で再度復号し、先に復号した復号データと入れ替えることで、後続の符号化データの復号に伴う画質劣化を軽減する動画像復号装置及び動画像符号化装置に関するものである。

従来の動画像復号装置では、インターネット等のネットワーク経由で受信した符号化データを復号する際に、伝送中の誤り付加や欠落、順番の入れ替わり等を考慮する必要がある。そのために、例えば、復号前に一旦符号化データをバッファリングしたり、誤りや欠落が生じている場合には送信側へ再送を依頼したり、また、順番が入れ替わって到着した場合は受信側のバッファで正しい順序に並べ替える等の処理を行う。

こういった処理を行うプロトコルとしてＴＣＰ（Transmission Control Protocol）があるが、再送パケットの到着時間は保証されないため、リアルタイムでの動画像伝送等の用途には不向きで、ＲＴＰ（Real-time Transport Protocol）／ＵＤＰ（User Datagram Protocol）等のプロトコルを利用して即時性を確保すると共に、再送制御等を行わない代わりにエラー訂正符号の追加を行っている。

また、符号化データの到着タイミングの揺らぎや入れ替わりについても、受信側でのバッファリングにより対応できるが、バッファリング時間は、そのまま送信側から再生までの遅延時間に加算されるため、通常、リアルタイムの動画像伝送においては、長い時間バッファリングすることができない。

こういった課題を解決する方法として、例えば特許文献１に記載されたビデオパケットの受信復号システムがある。ここでは、受信した符号化データに誤りや欠落が生じた場合に、継続して復号する一方で、それ以降の符号化データを一時蓄積し、後から先ほどの誤りや欠落を生じた符号化データが、例えば受信側からのリクエスト等により再送され到着した場合に、一時蓄積してあった符号化データを読み出して復号をやり直している。復号器は上記誤りや欠落や生じたところから復号を再開可能なように、そのときの復号状態を保持しておき、再開する際はその状態から復帰することで、時間的に前の受信状態以降全ての符号化データの復号をやり直すことを可能としている。

特開２００２−２４７５７８号公報（段落００１５）

従来の動画像復号装置としての上記特許文献１の方式では、過去に誤りが生じた符号化データに対応する正しい符号化データを受信したタイミングから、その誤りが生じたタイミングまで時間的にさかのぼってその時点から全ての符号化データの復号をし直すため、通常より処理量が多くなる。そのため復号器の処理能力により、高速に復号できない場合は、本来そのタイミングで受信・復号すべき符号化データの処理に間に合わず、画面の表示が乱れるという課題があった。

また、伝送路の遅延時間が長く、再送等による正しい符号化データの到着までに複数フレーム時間を要する場合には、その間、正しい符号化データが受信されている場合でも、全ての受信データを蓄積する大きなバッファや、数フレーム時間の復号遅れを取り戻す高速な復号器が必要となるという課題があった。

さらに、処理を間に合わせることが可能となる蓄積時間の範囲や復号器の処理能力に関する明確な規準がなく、処理が早ければ間に合うといったあいまいなものであった。

この発明は上記のような課題を解決するためになされたもので、フレーム間予測を含む動画像符号化方式で符号化された映像データを、誤りを含む伝送路を経由して受信し復号する場合において、復号後、他映像フレームの復号に参照されるまで蓄積しておく時間を活用することで受信から復号までの時間を延ばさずに、再送等により遅れて到着した符号化データを利用して復号し、復号画質の劣化を抑えることができる動画像復号装置及び動画像符号化装置を得ることを目的とする。

この発明に係る動画像復号装置は、伝送路から複数種類の映像フレームを受信し映像フレームを構成する符号化データの欠落や誤りの受信状況を通知する受信部と、該受信部により受信された映像フレームを復号に必要な復号済みの映像フレームを参照して復号する復号部と、上記受信部により受信状況を通知された後述の制御部からの指示に基づき、上記受信部により受信された欠落や誤りのあった符号化データにより構成された映像フレームと、上記受信部によりその後に受信された欠落や誤りのあった符号化データを補完する補完の符号化データを蓄積し、正常な順序に並び替えて正常な符号化データにより構成された映像フレームを蓄積するデータ蓄積部と、該データ蓄積部に蓄積されている映像フレームを復号に必要な復号済みの映像フレームを参照して復号する再復号部と、上記復号部又は上記再復号部により復号された復号済みの映像フレームで以後の映像フレームの復号の際に参照される少なくとも２枚の復号済みの映像フレームを蓄積するフレーム蓄積部と、上記復号部又は上記再復号部により復号された復号済みの映像フレームで以後の映像フレームの復号の際に参照される少なくとも１枚の復号済みの映像フレームを蓄積するフレーム追加蓄積部と、上記受信部により通知された受信状況に基づき上記データ蓄積部に上記指示を与えると共に、上記復号部及び上記再復号部に参照する復号済みの映像フレームを指示し復号された映像フレームを上記フレーム蓄積部又は上記フレーム追加蓄積部に蓄積するよう指示する制御部とを備えたものである。

この発明により、欠落や誤りが発生した他映像フレームの復号時に参照される被参照映像フレームの復号画質を改善することができると共に、被参照フレームを参照する後続の映像フレームの復号画質も併せて改善することができるという効果が得られる。

実施の形態１．
図１はこの発明の実施の形態１による動画像復号装置の構成を示すブロック図である。図１に示す動画像復号装置は、受信部１００、復号部１０１、フレーム蓄積部１０２、データ蓄積部１０３、フレーム追加蓄積部１０４、再復号部１０５及び制御部１０６を備えている。

受信部１００は伝送路から複数種類の映像フレームを受信し映像フレームを構成する符号化データの欠落や誤りの受信状況を通知する。復号部１０１は受信部１００により受信された映像フレームを復号に必要な復号済みの映像フレームを参照して復号する。データ蓄積部１０３は受信部１００により受信状況を通知された制御部１０６からの指示に基づき、受信部１００により受信された欠落や誤りのあった符号化データにより構成された映像フレームと、受信部１００によりその後に受信された欠落や誤りのあった符号化データを補完する補完の符号化データを蓄積し、正常な順序に並び替えて正常な符号化データにより構成された映像フレームを蓄積する。

再復号部１０５はデータ蓄積部１０３に蓄積されている映像フレームを復号に必要な復号済みの映像フレームを参照して復号する。フレーム蓄積部１０２は復号部１０１又は再復号部１０５により復号された復号済みの映像フレームで以後の映像フレームの復号の際に参照される少なくとも２枚の復号済みの映像フレームを蓄積する。フレーム追加蓄積部１０４は復号部１０１又は再復号部１０５により復号された復号済みの映像フレームで以後の映像フレームの復号の際に参照される少なくとも１枚の復号済みの映像フレームを蓄積する。

制御部１０６は、受信部１００により通知された受信状況に基づき、受信部１００により受信された欠落や誤りのあった符号化データにより構成された映像フレームと、受信部１００によりその後に受信された欠落や誤りのあった符号化データを補完する補完の符号化データを蓄積し、正常な順序に並び替えて正常な符号化データにより構成された映像フレームを蓄積するようデータ蓄積部１０３に指示を与えると共に、復号部１０１及び再復号部１０５に参照する復号済みの映像フレームを指示し復号された映像フレームをフレーム蓄積部１０２又はフレーム追加蓄積部１０４に蓄積するよう指示する。

また、制御部１０６は、欠落や誤りのあった符号化データにより構成された映像フレームのうち、復号部１０１及び再復号部１０５が復号の際に参照する映像フレームをデータ蓄積部１０３に蓄積させたり、又は復号部１０１及び再復号部１０５が復号の際に前後の映像フレームを参照せず単独で復号可能な映像フレームをデータ蓄積部１０３に蓄積させる。

さらに、制御部１０６は、受信部１００が補完の符号化データを受信した際に、復号部１０１に既に復号済みの映像フレームを参照しての復号を中止するよう指示する。

次に動作について説明する。
伝送路よりフレーム間予測符号化された映像の符号化データが受信部１００に入力されて復号部１０１に出力される。また、この符号化データの一部は、制御部１０６の指示に従い、データ蓄積部１０３に一旦蓄積された後、再復号部１０３に対しても出力される。復号部１０１及び再復号部１０５は共にフレーム間予測符号化による符号化データの復号を行う機能を有しており、復号時又は復号後はフレーム蓄積部１０２及びフレーム追加蓄積部１０４のいずれか片方又は両方に対して復号済み映像フレームの読み書きを行う。復号済みの映像フレームは、復号部１０１より直接、後段の表示部（図示せず）に出力されるか、フレーム蓄積部１０２又はフレーム追加蓄積部１０４より後段の表示部に出力される。

制御部１０６は、受信部１００から受信データの誤り状況等１０６ａを取得し、それに基づき受信部１００にデータ蓄積部１０３への符号化データ分配指示１０６ｂを出力する。また、制御部１０６は、復号部１０１及び再復号部１０５に対し、映像フレームの読み書き先をフレーム蓄積部１０２又はフレーム追加蓄積部１０４の何れかにするかの切替指示１０６ｃ、１０６ｄを出力し、データ蓄積部１０３に対しても、再復号部１０５への出力指示１０６ｅを出力する。

最初に、符号化データに誤りや欠落がなく正常に復号される場合、つまり通常のフレーム間予測符号化に対応した符号化データを受信して復号する場合について説明する。
映像フレームを構成する符号化データは受信部１００経由で復号部１０１に入力され、復号部１０１はフレーム単位で復号を行う。このとき、別の復号済みの映像フレームが必要となる場合には、復号部１０１はフレーム蓄積部１０２の中に格納されている復号済みの映像フレームを参照して復号し後段の表示部に出力する。なお、復号済みの映像フレームが、後続する映像フレームの復号時の被参照フレームとなる場合には、復号部１０１はその復号済みの映像フレームをフレーム蓄積部１０２に蓄積する。

ここで、復号時における復号部１０１と別の復号済みの映像フレームの参照に伴うフレーム蓄積部１０２の関係について詳しく説明する。
図２は通常のフレーム間予測符号化方式を用いた符号化データを復号する際の復号部１０１とフレーム蓄積部１０２の動きについて説明する図である。図２において、横方向を時間軸とし、１フレームの表示時間を１フレーム時間とする。例えば、通常のＴＶ放送では、１秒間に約３０枚のフレームが表示されるため、１フレーム時間は約３３ｍｓｅｃとなる。

図２において、時間軸以下の各行は、復号部１０１が処理中の映像フレームと、フレーム蓄積部１０２が保持する映像フレームを示し、最終行は各映像フレームの表示タイミングを示す。説明を簡単化するため、全ての映像フレームの復号には１フレーム時間を要するものとし、また、フレーム蓄積部１０２は内部に少なくとも２枚の復号済みの映像フレームを蓄積する２面のフレームのバッファ（バッファ１及びバッファ２）を持つものとする。

例えば、符号化方式とてＭＰＥＧ（Moving Picture Experts Group）２Ｖｉｄｅｏ（ISO/IEC 13818-2）の場合、各映像フレームはＩフレーム、Ｐフレーム、Ｂフレームの３種類の「フレーム（ピクチャ）タイプ」に分けられる。また、Ｉフレームを先頭に数枚から数十枚の映像フレームで、ＧＯＰ（Group Of Picture）というグループを構成する。Ｉフレームは符号化・復号の際に、前後の映像フレームを参照せずに単独で符号化・復号できる。Ｐフレームは符号化・復号の際に、前のＩフレーム又はＰフレームを参照する必要がある。最後にＢフレームは、符号化・復号の際に、前後のＩフレーム又はＰフレームを参照する必要がある。つまり、Ｂフレームは２枚の参照画像を必要とするため、本符号化方式に対応するには、フレーム蓄積部１０２には図２に示すように少なくとも２枚の映像フレームを格納できるバッファが必要となる。

図２において、Ｉ２、Ｂ０等のアルファベットはフレーム（ピクチャ）タイプを示し、数字は表示順を示し、Ｎ値は１ＧＯＰ内のフレーム数、すなわちＩフレームの周期（フレーム数）を示し、Ｍ値はＩフレーム又はＰフレームの周期（フレーム数）を示す。図２の例では、Ｎ値は１２であり、すなわち１ＧＯＰは１２枚の映像フレームで構成され、Ｍ値は３であり、すなわち映像フレームが３個毎にＩフレーム又はＰフレームが出現する。

この図２の例の場合、復号部１０１への入力はＩフレーム（Ｉ２）、Ｂフレーム（Ｂ０）、Ｂフレーム（Ｂ１）の順に入力され復号されるが、表示はＢ０フレームから始まるということになる。図２では、Ｉ２フレームは最初に復号後、しばらくバッファリングされ、その後自身が表示され、また、その後しばらくバッファリングされる。このバッファリングされている間に、他の映像フレームの復号時に参照される。具体的には、符号化順と同一である表示順で考えて、Ｉ２フレームは前のＢ０，Ｂ１フレーム、後のＢ３，Ｂ４，Ｐ５フレームの復号時に参照されるため、このうち復号順において最後となるＢ４フレームの復号が終わるまでバッファリングされる。この図２においては、２面あるバッファのうち、Ｉ２フレームの復号時点で片方のバッファ（バッファ１）が前のＧＯＰ（図示せず）により占有されているため、もう１面のほうのバッファ（バッファ２）にＩ２フレームの復号結果は保持される。

同様に、Ｐ５フレームもＢ３，Ｂ４，Ｂ６，Ｂ７フレームから参照されるため、Ｐ５フレーム自身の復号後、最後Ｂ７フレームの復号までの間、バッファリングされることになる。ここでも片方の空いたバッファ（バッファ１）に復号後の映像データを保持し、上記各Ｂフレームの復号時に参照される。

このように、符号化データを正常に受信した場合は、復号部１０１及び内部に２枚の映像フレームを蓄積可能なフレーム蓄積部１０２のみで復号処理が行われるため、データ蓄積部１０３や再復号部１０５、フレーム追加蓄積部１０４は使用することなく、後段の表示部に対し復号後の映像フレームが出力される。
なお、受信部１００の前段（図示せず）において、符号化データのバッファリングが行われ、到着タイミングの揺らぎの吸収や到着順序の入れ替えの補正が正しく行われた場合も同様である。

次に受信した符号化データに誤りや欠落が生じた場合について説明する。
これは受信部１００の前段で符号化データのバッファリング等の有無に関わらず、最終的に受信部１００に対し正しい順序・タイミングで符号化データが入力されない場合を示すものである。例えば、受信部１００の前段でバッファリングしていたとしても、その蓄積時間を越える幅で揺らいで遅延到着する符号化データについては、同バッファリングでは吸収できず、受信部１００に誤った順序・タイミングで到着することを意味する。

まず、図１において、受信部１００は欠落や誤りを含む符号化データを受信した場合、制御部１０６に対して受信データの誤り状況等１０６ａを通知し、制御部１０６は受信部１００により受信された符号化データが蓄積対象と判断すれば、受信部１００に対して復号部１０１への出力に加え、データ蓄積部１０３への符号化データ分配指示１０６ｂを出力してデータ蓄積部１０３に対しても分配出力させる。このとき、制御部１０６は、符号化データを映像フレームの種別で蓄積対象かどうかを判定し、例えば、映像フレームがＩフレーム及びＰフレームの場合に蓄積対象と判定し、映像フレームがＢフレームの場合に蓄積対象でないと判定する。そして、制御部１０６は、蓄積対象の場合にはその映像フレームを構成する符号化データ全体をデータ蓄積部１０３に分配出力するよう受信部１００に指示し、それ以降、別の映像フレームを構成する符号化データが欠落や誤りを含まない場合、又は欠落や誤りを含んでいても蓄積対象でない場合には、通常通り復号部１０１にのみ出力させる。

その後、受信部１００が先ほどデータ蓄積部１０３に蓄積した符号化データの誤りを補完する符号化データを受信した場合には、制御部１０６は受信部１００に対してデータ蓄積部１０３にのみ補完の符号化データを出力させる。

データ蓄積部１０３において、前に分配出力された符号化データのうち、欠落や誤りの含まれない部分の符号化データと補完の符号化データは正しい順序になるよう並び替えられて構成された後、制御部１０６からの出力指示１０６ｅにより再復号部１０５に出力される。再復号部１０５は新たに構成された符号化データの復号を行う。ここでは前述の復号部１０１の動作と同様に、復号時には復号済みの映像フレームの参照が発生するため、フレーム蓄積部１０２からの読み出しが行われる。

ここで、復号部１０１は、受信部１００からの映像フレームを、復号済みの映像フレームを参照して復号する際に、それまで保持してある欠落や誤りを含んだ映像フレームではなく、制御部１０６の指示に基づき、ここで新たに再復号された劣化の少ない映像フレームを参照するよう参照先を切り替えれば復号画質を改善することができる。但し、図２に示すとおり、フレーム蓄積部１０２内部のバッファは２面とも占有されているため、再復号部１０５は制御部１０６の指示に基づきフレーム追加蓄積部１０４に対し復号済みの映像フレームを書き込み、復号部１０１は制御部１０６の指示に基づきフレーム蓄積部１０２に代わりにフレーム追加蓄積部１０４を参照する。

なお、詳細は後述するが、フレーム追加蓄積部１０４からの参照を開始した後は、フレーム蓄積部１０２及びフレーム蓄積追加部１０４の計３面のバッファは制御部１０６の指示により、その空き状況に応じて適宜読み書き先が切り替わるので、再復号部１０５の書き込み先・読み出し元がフレーム追加蓄積部１０４に固定されるものではなく、同様に復号部１０１の書き込み先・読み出し元もフレーム蓄積部１０２に固定されない。

次に復号部１０１での参照映像フレームを復号部１０１により復号された復号済みの映像フレームから再復号部１０５により再復号された復号済みの映像フレームに切り替えるタイミングにより、復号画質に及ぼす影響について詳しく説明する。
図３は順次入力される映像フレームの復号と、それと並行して動作する誤りが改善された符号化データの到着タイミングと、再復号の影響について説明する図である。縦軸が順次受信部１００に到着する符号化データを示し、横軸に映像フレーム毎にこの動画像復号装置における各種処理のタイミングを示し、最下段に表示タイミングを示す。

この例では、Ｉ２フレームを構成する符号化データを受信して復号する際に、一部の符号化データに欠落や誤りがあり、続くＢ０フレームの入力後にＩ２フレームを補完する残りの符号化データが到着した場合を示している。この図３において、最初の誤りを含むＩ２フレームからＢ０，Ｂ１，Ｐ５の各フレームの復号は復号部１０１で行われており、参照データの書き込み・参照先はフレーム蓄積部１０２、フレーム追加蓄積部１０４の何れか片方が制御部１０６により選択される。一方で欠落や誤りを含むＩ２フレームを構成する符号化データはデータ蓄積部１０３でも蓄積される。その後、Ｉ２フレームを構成する残りの補完の符号化データが到着したタイミングにおいて、再復号部１０５で再度復号され、制御部１０６の指示に従い、フレーム蓄積部１０２又はフレーム追加蓄積部１０４のいずれかの空き領域に蓄積される。

この図３においては、最初に到着した誤りを含むＩ２フレームの復号後の映像は劣化を伴っている。また、Ｂ０，Ｂ１フレームの復号時点では、まだこの欠落や誤りを含むＩ２フレームのみがフレーム蓄積部１０２又はフレーム追加蓄積部１０４に存在するため、これを参照（図３内の縦方向の矢印が参照を示す）して復号するＢ０，Ｂ１フレームの復号映像には、Ｉ２フレームの欠落や誤りが伝搬して劣化が生じることとなる。これはＢ０，Ｂ１フレーム自体の符号化データの誤り有無に依存しない。但し、Ｐ５フレーム及びそれ以降の映像フレームの復号を開始する前には、Ｉ２フレームの再復号が完了し、その復号データがフレーム蓄積部１０２又はフレーム追加蓄積部１０４に存在するため、Ｐ５フレーム及びそれ以降の映像フレームは、再復号後の復号データを参照することによりＩ２フレームの元の誤りの影響を受けずに、復号することが可能となる。

この図３の例においては、復号に１フレーム時間を要しているため、本来のＩ２フレームの復号開始タイミングより２フレーム時間経過（Ｂ１フレームの復号開始タイミングに一致）するまでの間にＩ２フレームの残りの符号化データを受信して再復号を始めることができれば、Ｐ５フレームの復号時に、再復号のＩ２フレームを参照フレームとすることが可能なため、以降の映像フレームの復号に元のＩ２フレームの復号の欠落や誤りが伝搬することがない。

逆の言い方をすれば、このタイミングまでに間に合わない場合は、Ｐ５フレーム及びそれ以降の映像フレームは復号時にエラーの含むＩ２フレームを参照するため、それぞれの受信データに誤りがなくても、復号結果に劣化が生じることとなる。これは次にＩフレームを受信するまで継続することとなる。

次に制御部１０６がどのように復号部１０１及び再復号部１０５の復号済みの映像フレームの読み書き先をフレーム蓄積部１０２又はフレーム追加蓄積部１０４のいずれに決めるかについて説明する。
図４はこの実施の形態１による動画像復号装置の復号部１０１及び再復号部１０５の動作タイミング並びにフレーム蓄積部１０２及びフレーム追加蓄積部１０４のデータ蓄積内容を示す図である。

図４において、Ｉ２フレームが誤りや欠落等を含むか含まないに関わらず復号時刻になり、復号部１０１に入力され復号される映像フレームを示し、Ｉ２’フレームは遅れてＩ２フレームを構成する符号化データの不足分である補完の符号化データが届き、データ蓄積部１０３にて蓄積・再構成の後、再復号部１０５で復号される映像フレームを示す。つまり、復号前の符号化データとして、Ｉ２フレームよりＩ２’フレームのほうが誤りや欠落が少ないため、その復号後の画質もＩ２’フレームのほうが優れているということになる。

この図４において、例えばＩフレームとＰフレームが蓄積対象フレームとして扱われ、また、当該ＩフレームとＰフレームが後続するＰフレームとBフレームに参照されるタイミングまで再復号を待機する場合を想定している。

図４において、Ｂ１フレームの復号直前にＩ２’フレームを構成する補完の符号化データが受信され、データ蓄積部１０３に符号化データが揃い、再復号部１０５においてその復号が行われる。その際、フレーム蓄積部１０２内の２面のバッファは占有されているため、フレーム追加蓄積部１０４内のバッファが復号中及び復号後の蓄積に使用される。Ｂ０，Ｂ１フレームの復号時には、まだＩ２’フレームがフレーム蓄積部１０２又はフレーム追加蓄積部１０４の何れにも存在しない、または復号途中のため、制御部１０６は、フレーム蓄積部１０２にあるＩ２，Ｐ１１（前ＧＯＰ）フレームを参照してＢ０，Ｂ１フレームを復号するように復号部１０１に対し指示する。Ｉ２’フレームの復号完了後は、後のＰ５フレームの復号時の参照先を、フレーム蓄積部１０２のバッファ１のＩ２フレームから、フレーム追加蓄積部１０４のバッファのＩ２’フレームに切り替えるように制御部１０６は復号部１０１に指示する。さらに、続くＢ３，Ｂ４フレームの復号時も、Ｉ，Ｐ２枚の参照フレームのうち、１つはフレーム蓄積部１０２のバッファ１のＰ５フレームだが、もう１つはフレーム追加蓄積部１０４のＩ２’フレームとするよう指示する。

よって、Ｉ２’フレームの復号完了以降、Ｉ２フレームは何れの復号にも参照されず不要となるため、フレーム蓄積部１０２のバッファ１に蓄積されているＩ２フレームは消去されて、フレーム蓄積部１０２のバッファ１は開放され、直後に復号部１０１でのＰ５フレームの復号に使用される。
なお、Ｐ５フレームの復号直後にＩ２フレームの表示タイミングが来るが、後段の表示部への出力についても、このフレーム追加蓄積部１０４のバッファからＩ２’フレームが読み出される。

以上の手順と同様に、Ｐ５フレームについても、Ｐ５’フレームの復号が再復号部１０５において完了した時点で開放され、以降、復号時にＰ５フレームを参照予定だった各フレーム（Ｐ８，Ｂ６，Ｂ７）はフレーム蓄積部１０２のバッファ２に蓄積されたＰ５’フレームを参照する。
なお、Ｉ２’フレームは、復号部１０１でのＢ４フレームの復号のみならず、再復号部１０５でのＰ５’フレームの再復号においても参照される事を付け加えておく。

ここで、再復号開始タイミングは、必ずしも復号部１０１での各映像フレームの復号開始タイミングと同期している必要はない。図４に示す例の場合、Ｐ８フレームの復号開始直後、１フレーム時間も満たない間にＰ８フレームの欠落や誤りを改善する符号化データが受信され、Ｐ８’フレームの再復号が始まるケースを示している。このとき、Ｐ１１，Ｂ９，Ｂ１０フレームのみならず、Ｂ７フレームの復号時にも、このＰ８’フレームの参照が可能である。

なお、Ｐ８’フレームの再復号完了はＢ６フレームの復号中になるが、復号部１０１の構成に応じて、復号中に参照フレームを切替えることが可能なら即座に参照先をＰ８フレームからＰ８’フレームに切り替えても良いし、図４に示すように、Ｂ６フレームの復号完了を待ってから切替えても良い。

このように、復号部１０１、再復号部１０５が映像フレームの読み書きする先をフレーム蓄積部１０２及びフレーム追加蓄積部１０４に切り替えられるよう制御部１０６が指示することにより、従来の方式に加え、フレーム追加蓄積部１０４を追加することで、再復号後の映像による被参照画像の差し替えが可能となる。

なお、この実施の形態１では、フレーム間予測符号化方式を採用した符号化方式としてＭＰＥＧ２Ｖｉｄｅｏ規格を例に挙げ、一時蓄積し再復号を行う対象としてＩフレーム、Ｐフレームの両方としたが、Ｉフレームのみ、又は何れか片方でも構わない。また、符号化方式もＭＰＥＧ４やＨ．２６４等別の符号化方式でも構わない。さらに、将来的に新たに符号化方式が出てきた場合においても、復号後、後続する別の映像フレームの復号時に参照されたり、又は表示するまでの間に一定の時間を要するものであれば、本方式が適用可能である。
さらに、この実施の形態１では、復号時に最大２フレームを参照するフレーム間予測符号化方式を例に示しているが、それ以上のフレーム数を参照する場合においても、フレーム蓄積部１０２に蓄積可能なフレーム数が、通常の復号が可能な分確保できていれば同様のことが言える。

一方で、Ｂフレームは他の映像フレームの復号に参照されないため、画質を改善しても後段の映像フレームの画質に影響を及ぼさず、参照されるためのバッファリングも不要であるため、再復号の対象としない。これはＭＰＥＧ４やＨ．２６４、その他の符号化方式においても同様のことが言える。

なお、この実施の形態１において、復号手段として復号部１０１及び再復号部１０５の２つを示したが、上記の通り通常の１フレームの復号時間内に２フレームの復号が可能であれば、必ずしも物理的に２つの復号部を用意する必要はなく、例えば通常の倍の速度で復号可能な復号部を１つ備え、タイムシェアリングして用いても良い。
また図３、図４と異なり、復号時間が１フレーム時間では無い場合、また他フレームを参照する場合の参照タイミングが復号先頭タイミングのみでは無い場合についても、本方式が適用可能である。但し、再復号により誤りが後続の復号に伝搬しないためのデータ蓄積部１０３における蓄積時間は異なる事は言うまでも無い。

図５はこの実施の形態１において、後で参照画像が改善されることが判明した場合に、通常の復号を中止する場合を説明する図である。
この図５において、Ｂ０フレームの復号中に、Ｉ２フレームを構成する正しい符号化データが遅延到着し、Ｉ２’フレームの再復号を行っている場合を示している。このとき、Ｉ２’フレームの再復号が完了し、参照画像としてこれを参照できるのはＰ５フレーム以降の復号からとなる。よって、Ｂ０，Ｂ１フレームの復号時には、最初に復号したＩ２フレームを参照するが、後続のＰ５フレーム以降の映像フレームで画質が改善することが分かっているため、Ｂ０，Ｂ１フレームの復号及び表示（後段表示部への出力）を中止しても良い。

なお、上記では、通常の復号開始から再復号を開始するまでの時間、つまりデータ蓄積部１０３での蓄積時間が２フレーム時間以内なら、再復号した映像フレームを後続の映像フレームが参照可能としたが、それ以外の一定時間、データ蓄積部１０３で蓄積することにより待機しても良い。
また、復号部１０１における復号開始タイミングが時間で管理されておらず、前の映像フレームの復号が終わったタイミングで次の復号が開始するといった場合もあるが、その場合も復号部１０１での復号の進行状況および再復号に要する時間を加味した上で、再復号後の映像フレームが後続の映像フレームの復号時の参照に間に合うようデータ蓄積部１０３で蓄積すれば良い。

また、遅延到着等により欠落や誤りの改善した符号化データが全て届いた段階で、符号化データの蓄積を終了し再復号したが、誤りの改善度に関し、何らかの閾値を設けて再復号を行っても良いし、一定時間経過の段階で誤りの改善が完全でなくても再復号を開始しても良い。また、再復号開始のタイミングで誤りの改善度が低く、復号画質の改善が望めない場合は再復号を行わずにデータを廃棄しても良い。

以上のように、この実施の形態１によれば、受信部１００が欠落や誤りを含む符号化データの映像フレームを受信した場合、制御部１０６は映像フレームの種別により蓄積対象か否かを判定し、蓄積対象の映像フレームの場合に、データ蓄積部１０３は、制御部１０６の指示に基づき、欠落や誤りが発生した符号化データと、その符号化データの欠落や誤りを補完する符号化データとを蓄積して、正しい順序になるよう並び替え、再復号部１０５は、制御部１０６の指示に基づき、新たに構成された正常な符号化データの復号を行って、フレーム蓄積部１０２又はフレーム追加蓄積部１０４に被参照フレームとして蓄積し、復号部１０１は、制御部１０６の指示に基づき、その後に続く映像フレームの復号を行う際に、再復号部１０５により復号され、フレーム蓄積部１０２又はフレーム追加蓄積部１０４に蓄積されている被参照フレームを参照して復号することにより、欠落や誤りが発生した他映像フレームの復号時に参照される被参照映像フレームの復号画質を改善することができると共に、被参照フレームを参照する後続の映像フレームの復号画質も併せて改善することができるという効果が得られる。

また、この実施の形態１によれば、従来の復号時のバッファリング時間の中で、遅延到着する補完の符号化データの受信及び再復号を行うようにしたので、受信から表示までの遅延時間を変えることなく復号画質の劣化を抑えることができるという効果が得られる。

さらに、この実施の形態１によれば、参照フレームと被参照フレームの構成により、すなわち、ＧＯＰのフレーム構成により、いつまでに再復号を完了すれば誤りの伝搬を抑えることができるかを明確にしたので、符号化データの蓄積時間を的確に設定することができるという効果が得られる。

さらに、この実施の形態１によれば、蓄積及び再復号の対象とする符号化データを被参照映像フレームを構成する符号化データのみとしたので、データ蓄積部１０３の容量削減及び再復号部１０５の処理を軽減することができるという効果が得られる。

さらに、この実施の形態１によれば、ＭＰＥＧ２及びＭＰＥＧ４形式の動画において、Ｉフレーム及びＰフレームを蓄積及び再復号の対象としたので、ＤＶＤ(Digital Video Disc）やデジタル放送、携帯端末への動画配信等で幅広く普及し流通している動画像データを本方式で伝送・受信する場合に、復号画質の画質劣化を抑制することができるという効果が得られる。

さらに、この実施の形態１によれば、後続の映像フレームの復号時には再復号後の映像フレームを参照し、再生画質が改善することが分かっている場合には、現在復号中の映像フレームから上記再復号後の映像フレームを参照する直前の映像フレームまで復号及び表示を行わないようにしたので、劣化した復号画像の不要な表示を抑えることができ、復号に伴う計算処理負荷を抑えることができるという効果が得られる。
さらに、ここで生じた計算処理リソースを再復号に割り当て、より高速に再復号処理が行うことができれば、再復号の開始タイミングを遅らせることが可能となるので、再復号
対象となる符号化データの遅延到着の許容時間を延長することができるという効果が得られる。
さらに、この実施の形態１によれば、意図せずネットワークでの伝送中に生じた誤りや欠落、順番の入れ替わりを考慮し、復号画像の改善を図るものであるが、この実施の形態１に示す動画像復号装置が、従来の装置と比べネットワークの遅延揺らぎ等に対する耐性が強い事を考慮して、送信側やネットワーク上の伝送制御を従来よりも緩い制約で行うことができるので、それらに対する負荷を下げることができるという効果が得られる。
また同じネットワークに接続された、より遅延に耐性の低い装置に優先してリソースを割り当てることができるという効果が得られる。

実施の形態２．
上記の実施の形態１において、データ蓄積部１０３のデータ蓄積時間及び復号時間は一定時間であったが、この実施の形態２では、参照フレームと被参照フレームの構成、すなわち、ＧＯＰのフレーム構成や、復号部１０１の復号時間に応じて、データ蓄積部１０３における符号化データの蓄積時間を変えることにより、正しい符号化データを受信し再復号する機会を増やす場合について説明する。

図６は、上記実施の形態１の図４と同様に、復号部１０１及び再復号部１０５の動作タイミング並びにフレーム蓄積部１０２及びフレーム追加蓄積部１０４のデータ蓄積内容を示す図であり、ＧＯＰ内の被参照フレームと参照フレームの構成が途中でＭ値３からＭ値２に変化している点で上記実施の形態１の図４と異なる。

図７はこの発明の実施の形態２による動画像復号装置の構成を示すブロック図であり、ＧＯＰ内の被参照フレームと参照フレームの構成の変化に対応して符号化データの蓄積時間を変える場合の復号方式を実現するものであり、上記実施の形態１の図１と比較して、受信部１００から制御部１０６へのデータ構造情報１０６ｆの信号線が追加されている点が異なり、その他の構成は図１と同じである。

図７において、受信部１００は複数種類の映像フレームのフレーム構成を解析してデータ構造情報を制御部１０６に通知し、制御部１０６は受信部１００により通知されたデータ構造情報に基づきデータ蓄積部１０３における映像フレームの蓄積時間を制御する。

次に動作について説明する。
図６も受信する符号化データがＭＰＥＧ２ＶＩＤＥＯ形式の場合を示しており、最初のＧＯＰはＭ値３、つまりＩ，Ｐ２つの被参照フレームの間に、このＩ，Ｐフレームを参照する映像フレームであるＢフレームが２枚挿入されている。一方、次のＧＯＰはＭ値２となっている。最初のＧＯＰの場合、参照フレームにも被参照フレームにもなるＰフレームが、実際の復号時に別の映像フレームを参照するタイミングまでに再復号を終えるには、復号所要時間を１フレーム時間とした場合、通常の復号開始タイミングより２フレーム時間再復号のタイミングを遅らせることができる。

例えば、図６においては、Ｉ２フレームを参照し、自身も後続の映像フレームに参照されるのはＰ５フレームであり、このＰ５フレームの復号時にＩ２フレームを参照するまでの間に、Ｉ２フレームの復号画質を改善することができれば、画像の劣化が後続の画像に伝搬することを抑制することができる。復号時間１フレーム時間を加味すれば、Ｉ２フレームの復号開始後２フレーム時間経過後までに、Ｉ２フレームを構成する正常な符号化データが受信できれば、Ｐ５フレーム復号時の参照までにＩ２’フレームの復号を終えることができる。

一方、次のＧＯＰでは、Ｍ値２であるため、例えばＰ３フレームの再復号結果であるＰ３’フレームの再復号を、それを参照するＰ５フレームの復号開始までに終えるには、元のＰ３フレームの復号から最大１フレーム時間、再復号開始タイミングを遅らせることができる。

このように、ＧＯＰのフレーム構成に応じて、データ蓄積部１０３における符号化データの蓄積時間を変えることで、必要な参照タイミングに間に合うよう再復号の開始タイミングを制御することが可能となる。図７に示す構成はこれを実現するもので、受信部１００が、ＧＯＰのフレーム構成を解析し、参照フレームと被参照フレームの構成を調べ、データ構造情報１０６ｆとして制御部１０６に伝えることにより、制御部１０６は、受信部１００が、遅延到着した被参照フレームの符号化データをいつまでデータ蓄積部１０３に分配可能か、また、データ蓄積部１０３がいつまで符号化データを蓄積し、再復号部１０５にデータを送出することが可能かを制御することが可能となる。

なお、例えば、符号化方式がＭＰＥＧ２ＶＩＤＥＯ形式の場合、受信部１００が符号化データの参照フレーム、被参照フレームの構成を調べる方法としては、各映像フレームのピクチャヘッダに付与されているＴＥＭＰＯＲＡＬ＿ＲＥＦＥＲＥＮＣＥ値を見ることができる。これは図６においてＩ２フレームの“２”、Ｂ０フレームの“０”に示すように、ＧＯＰ内の表示順序に相当する値である。つまり、ＧＯＰ内で１枚目の符号化データに付与されたＴＥＭＰＯＲＡＬ＿ＲＥＦＥＲＥＮＣＥ値が２であれば、後にＢフレームが２枚続くことを意味し、同値が１であればＢフレームが１枚であることを意味する。
但し厳密には、符号化ストリームの先頭等、前にＧＯＰがない場合はＩフレームの直後にすぐＰフレームが来ることもある。

また、例えば符号化データ中にＭ値に相当する情報が直接又は間接的に示されていれば、そのＭ値に相当する情報の内容により判断しても良いし、符号化データ内外のユーザーデータ領域に同情報を独自に格納して伝送し、それを抽出することで判断しても良い。

なお、上記では復号の所要時間を１フレーム時間固定としているが、復号の所要時間が変化する場合に、再復号を行う際に、復号部１０１による復号時間を用いてデータ蓄積部１０３における符号化データの蓄積時間を決めても良い。
図８は、図６と同様に、復号部１０１及び再復号部１０５の動作タイミング並びにフレーム蓄積部１０２及びフレーム追加蓄積部１０４のデータ蓄積内容を示す図であり、復号部１０１によるＰ５フレームの復号時間及び再復号部１０５によるＰ５’フレームの復号時間が０．５フレーム時間となっている点で図６と異なる。

図９はこの発明の実施の形態２による動画像復号装置の他の構成を示すブロック図であり、再復号を行う際に、復号部１０１による復号時間を用いてデータ蓄積部１０３における符号化データの蓄積時間を決定する場合の復号方式を実現するものであり、上記実施の形態１の図１と比較して、復号部１０１から制御部１０６への復号所要時間１０６ｇの信号線が追加されている点が異なり、その他の構成は図１と同じである。

図９において、復号部１０１は映像フレームの復号に要した復号時間を制御部１０６に通知し、制御部１０６は復号部１０１により通知された復号時間に基づきデータ蓄積部１０３における映像フレームの蓄積時間を制御する。

図８ではＰ５フレームの復号が０．５フレーム時間で終了した場合を示している。この場合、Ｐ５’フレームの復号をＰ８フレームの復号時の参照までに間に合わせるには、Ｐ５フレームの復号開始からのデータ蓄積部１０３における符号化データの蓄積時間は、２フレーム時間ではなく、２．５フレーム時間とすることが可能となる。

そこで、図９に示すように、復号部１０１は、映像フレームの復号終了後に、その映像フレームの復号所要時間１０６ｇを制御部１０６に通知し、制御部１０６はその復号所要時間１０６ｇに応じてデータ蓄積部１０３における符号化データの蓄積時間を決定する。

以上のように、この実施の形態２によれば、受信部１００は複数種類の映像フレームのフレーム構成を解析してデータ構造情報を制御部１０６に通知し、制御部１０６は受信部１００により通知されたデータ構造情報に基づきデータ蓄積部１０３における映像フレームの蓄積時間を制御することにより、後続する映像フレームの復号画像への劣化の伝搬を抑える範囲で、可能な限り長時間、符号化データをデータ蓄積部１０３に蓄積することができるので、正しい符号化データを受信し再復号する機会を増やすことができるという効果が得られる。

また、この実施の形態２によれば、復号部１０１は映像フレームの復号に要した復号時間を制御部１０６に通知し、制御部１０６は復号部１０１により通知された復号時間に基づきデータ蓄積部１０３における映像フレームの蓄積時間を制御することにより、復号所要時間に応じて可能な限り長時間、符号化データをデータ蓄積部１０３に蓄積することができるので、正しい符号化データを受信し再復号する機会を増やすことができるという効果が得られる。

実施の形態３．
この実施の形態３では、さらにもう１枚の映像フレームを蓄積するバッファ領域を増やし、画像劣化の伝搬を抑える対象映像フレームを増加する場合について説明する。

図１０は、図４と同様に、復号部１０１及び再復号部１０５の動作タイミング並びにフレーム蓄積部１０２及びフレーム追加蓄積部１０４のデータ蓄積内容を示す図であり、フレーム追加蓄積部１０４のバッファがさらに１面増えている点（バッファ２ａ，２ｂ）で図４と異なる。

図１１はこの発明の実施の形態３による動画像復号装置の構成を示すブロック図であり、上記実施の形態１の図１のフレーム追加蓄積部１０４の代わりにフレーム追加蓄積部１１４を備え、フレーム追加蓄積部１１４内部のバッファを１面を増やした点が異なり、その他の構成は図１と同じである。すなわち、図１１において、フレーム追加蓄積部１１４は少なくとも２枚の復号済みの映像フレームを蓄積する。

次に動作について説明する。
図１０の例においては、上記実施の形態１の同様に、２フレーム時間の符号化データの遅延到着を待つことで、他の映像フレームの復号時に参照される映像フレームの復号までに再復号を終えることができるが、これに加え、その後２フレーム時間まで待つことを許容すると、上記映像フレームの復号には間に合わないものの、後続する別の映像フレームの復号には間に合わせることができる。

具体的には、Ｉ２フレームの復号開始から２フレーム時間以内にＩ２’フレームの再復号を開始しないと、Ｐ５フレームの復号時の参照に間に合わせることができず、それ以後Ｐ５フレームを参照する画像をはじめとする後続の画像に劣化が伝搬するが、例えばＩ２フレームの復号開始から３フレーム時間以内であれば、Ｂ３フレームの復号時の参照に間に合うため、Ｂ３フレーム及びＢ４フレームへの画質劣化の伝搬を抑えることが可能であり、さらに、図１０に示すように、Ｉ２フレームの復号開始から４フレーム時間以内であれば、Ｂ４フレームへのみ劣化の伝搬を抑えることが可能となる。

但し、図１０に示すとおり、Ｉ２フレームのフレーム蓄積部１０２における蓄積時間が延び、Ｐ５フレームの復号開始によるＰ５フレームの復号中及び復号後のフレーム蓄積期間と重なるため、もう１面のバッファが必要となる。

そこで、図１１に示すように、フレーム追加蓄積部１１４内にもう１面のバッファを追加し、制御部１０６は、復号部１０１及び再復号部１０５に対し、映像フレームを読み書きする先を、フレーム蓄積部１０２とフレーム追加蓄積部１１４の各バッファのいずれにすべきかについて、図１０に示す内容を参照して指示する必要がある。

以上のように、この実施の形態３によれば、再復号に伴い蓄積可能なフレーム数を増やし、再復号が可能な期間を延ばすことができるようにしたので、伝送路から再送等の手段により遅延到着をより長く待つことが可能になり、通常タイミングより誤りや欠落の少ない符号化データが揃うため、復号時にこの再復号後の映像フレームを参照する映像フレームの復号画質を向上させることができるという効果が得られる。

実施の形態４．
この実施の形態４では、従来の動画像復号装置を実現するための機能を一部流用する場合について説明する。

図１２はこの発明の実施の形態４による動画像復号装置の構成を示すブロック図であり、高解像度及び標準解像度の動画像の符号化データを復号するものである。なお、高解像度とは、標準的なＴＶ放送の画素サイズに対して高解像度の画面の動画像であるものを意味し、例えばアナログハイビジョン、デジタルＴＶ放送のＨＤＴＶ(High Definition TeleVision）等が該当する。

図１２に示す動画像復号装置は、受信部１００、復号部１０１、データ蓄積部１０３、再復号部１０５、制御部１０６及びフレーム蓄積部１１２を備えている。
図１３は例えば高解像度の映像フレームを復号する場合のフレーム蓄積部１１２の内部構成を説明する図であり、図１４は例えば標準解像度の映像フレームを復号する場合のフレーム蓄積部１１２の内部構成を説明する図である。

図１２において、受信部１００は伝送路から高解像度又は標準解像度の複数種類の映像フレームを受信し、標準解像度の映像フレームを受信した場合に映像フレームを構成する符号化データの欠落や誤りの受信状況を通知し、復号部１０１は受信部１００により受信された高解像度又は標準解像度の映像フレームを復号に必要な復号済みの映像フレームを参照して復号し、データ蓄積部１０３は受信部１００により受信状況を通知された制御部１０６からの指示に基づき、受信部１００により受信された欠落や誤りのあった符号化データにより構成された標準解像度の映像フレームと、受信部１００によりその後に受信された欠落や誤りのあった符号化データを補完する補完の符号化データを蓄積し、正常な順序に並び替えて正常な符号化データにより構成された標準解像度の映像フレームを蓄積し、再復号部１０５はデータ蓄積部１０３に蓄積されている標準解像度の映像フレームを復号に必要な復号済みの映像フレームを参照して復号し、フレーム蓄積部１１２は復号部１０１により復号された高解像度の復号済みの映像フレームで以後の高解像度の映像フレームの復号の際に参照される少なくとも２枚の高解像度の復号済みの映像フレームを蓄積すると共に、復号部１０１又は再復号部１０５により復号された標準解像度の復号済みの映像フレームで以後の標準解像度の映像フレームの復号の際に参照される少なくとも３枚の標準解像度の復号済みの映像フレームを蓄積し、制御部１０６は受信部１００により通知された受信状況に基づきデータ蓄積部１００に上記指示を与えると共に、復号部１０１及び再復号部１０５に参照する標準解像度の復号済みの映像フレームを指示し復号された標準解像度の映像フレームをフレーム蓄積部１１２に蓄積するよう指示する。

また、図１２において、受信部１００は伝送路から復号の際に３枚以上の復号済みの映像フレームを参照する複数種類の第１の映像フレーム又は復号の際に２枚の復号済みの映像フレームを参照する複数種類の第２の映像フレームを受信し、第２の映像フレームを受信した場合に映像フレームを構成する符号化データの欠落や誤りの受信状況を通知し、復号部１０１は受信部１００により受信された第１又は第２の映像フレームを復号に必要な復号済みの映像フレームを参照して復号し、データ蓄積部１０３は受信部１００により受信状況を通知された制御部１０６からの指示に基づき、受信部１００により受信された欠落や誤りのあった符号化データにより構成された第２の映像フレームと、受信部１００によりその後に受信された欠落や誤りのあった符号化データを補完する補完の符号化データを蓄積し、正常な順序に並び替えて正常な符号化データにより構成された第２の映像フレームを蓄積し、再復号部１０５はデータ蓄積部１０３に蓄積されている第２の映像フレームを復号に必要な復号済みの映像フレームを参照して復号し、フレーム蓄積部１１２は復号部１０１により復号された第１の復号済みの映像フレームで以後の第１の映像フレームの復号の際に参照される少なくとも３枚以上の第１の復号済みの映像フレームを蓄積すると共に、復号部１０１又は再復号部１０５により復号された第２の復号済みの映像フレームで以後の第２の映像フレームの復号の際に参照される少なくとも３枚の第２の復号済みの映像フレームを蓄積し、制御部１０６は受信部１００により通知された受信状況に基づきデータ蓄積部１０３に上記指示を与えると共に、復号部１０１及び再復号部１０５に参照する第２の復号済みの映像フレームを指示し復号された第２の映像フレームをフレーム蓄積部１１２に蓄積するよう指示する。

さらに、図１２において、受信部１００は伝送路から標準解像度又は標準解像度より画素数を削減した低解像度の複数種類の映像フレームを受信し、低解像度の映像フレームを受信した場合に映像フレームを構成する符号化データの欠落や誤りの受信状況を通知し、復号部１０１は受信部１００により受信された標準解像度又は低解像度の映像フレームを復号に必要な復号済みの映像フレームを参照して復号し、データ蓄積部１０３は受信部１００により受信状況を通知された制御部１０６からの指示に基づき、受信部１００により受信された欠落や誤りのあった符号化データにより構成された低解像度の映像フレームと、受信部１００によりその後に受信された欠落や誤りのあった符号化データを補完する補完の符号化データを蓄積し、正常な順序に並び替えて正常な符号化データにより構成された低解像度の映像フレームを蓄積し、再復号部１０５はデータ蓄積部１０３に蓄積されている低準解像度の映像フレームを復号に必要な復号済みの映像フレームを参照して復号し、フレーム蓄積部１１２は復号部１０１により復号された標準解像度の復号済みの映像フレームで以後の標準解像度の映像フレームの復号の際に参照される少なくとも２枚の標準解像度の復号済みの映像フレームを蓄積すると共に、復号部１０１又は再復号部１０５により復号された低解像度の復号済みの映像フレームで以後の低解像度の映像フレームの復号の際に参照される少なくとも３枚の低解像度の復号済みの映像フレームを蓄積し、制御部１０６は受信部１００により通知された受信状況に基づきデータ蓄積部１０３に上記指示を与えると共に、復号部１０１及び再復号部１０５に参照する低解像度の復号済みの映像フレームを指示し復号された低解像度の映像フレームをフレーム蓄積部１１２に蓄積するよう指示する。

次に動作について説明する。
従来の動画像伝送復号装置の場合は、高解像度の場合でも基本的な構成は標準画像のものと同様であり、このため、従来の動画像復号装置を実現するには、伝送路から入力される符号化データを復号部１０１で復号し、フレーム種別に応じてフレーム蓄積部１１２の読み書きが発生することとなる。例えば、ＭＰＥＧ２Ｖｉｄｅｏ形式の場合、前述の通り前後に参照画像を持つＢフレームも存在するため、フレーム蓄積部１１２には２枚の参照画像を蓄積可能な蓄積領域が存在することとなる。

図１３は従来の高解像度の映像フレームを復号する場合のフレーム蓄積部１１２の内部構成を示しており、２枚の高解像度の映像フレームを蓄積可能な蓄積領域１１２ａ，１１２ｂが必要となる。従来方式では再復号を行わないため、再復号部１０５からの読み書きは発生しない。

ここで、標準画質の動画像の復号を行う場合に、標準画像の画素数は高解像度の画像の画素数より小さいため、フレーム蓄積部１１２で必要な領域は少なくて済む。そこで、図１４に示すように、蓄積領域を１１２ｃ，１１２ｄ，１１２ｅと３面確保することにより、上記実施の形態１同様に、再復号時の復号済みの映像フレームの蓄積及び参照を１つのフレーム蓄積部１１２で実現可能となる。

また、Ｈ．２６４等のビデオ符号化方式の中には、参照画像の数が前後２枚のみならず、前後複数枚サポートしているものがある。こういった復号に対応した動画像復号装置の場合、従来のフレーム蓄積部１１２において３枚以上の映像フレームを蓄積可能である。これを用いて従来のＭＰＥＧ２Ｖｉｄｅｏのような参照画像が２枚の動画像符号化データを扱う場合、データの蓄積及び再復号を行う際に、空いている参照画像の蓄積領域を使用することで、フレーム蓄積部１１２の追加をする必要はない。

また、標準解像度の動画像復号のみに対応した動画像復号装置においても、ビットレートの削減等の目的で画素数が減らしてある符号化データも存在し、後段の表示部で通常サイズに伸張して表示する場合がある。こういった符号化データを復号する際には、フレーム蓄積部１１２に必要とする蓄積領域のサイズも小さくてすむため、図１３及び図１４と同様に、２面の標準映像を蓄積可能な領域が確保できれば、その領域を３分割し、画素数を減らしたフレームの蓄積領域を３面確保できる。これにより、新たにフレーム蓄積部１１２を追加することなく、再復号時の参照フレームの読み書きが可能となる。

以上のように、この実施の形態４によれば、高解像度の映像フレームの復号に対応したフレーム蓄積部１１２及び復号部１０１を持つ場合で、標準解像度の映像フレームの復号及び遅延データの蓄積や再復号を行う場合には、フレーム蓄積部１１２に３面のフレーム蓄積領域を確保するようにしたので、フレーム蓄積部の追加が不要であり、ハードウェアで実現の場合は回路規模の削減が可能で、ソフトウェアで実現の場合は消費メモリの削減が可能になるという効果が得られる。

また、この実施の形態４によれば、通常の復号時に３枚以上の参照フレームを必要とするフレーム蓄積部１１２及び復号部１０１を持つ場合で、２枚の参照フレームを持つ映像符号化データの蓄積や再復号を行う場合には、空いている参照フレーム蓄積領域を、再復号時に参照画像の読み書きを行うための領域として使用するようにしたので、フレーム蓄積部の追加が不要であり、ハードウェアで実現の場合は回路規模、ソフトウェアで実現の場合は消費メモリの削減が可能になるという効果が得られる。

さらに、この実施の形態４によれば、画素数が低い映像フレームを含む符号化データを復号する場合、フレーム蓄積部１１２における１フレーム分の蓄積領域を減らし、通常の２面に加えもう１面を再復号時に参照画像の読み書きを行うための領域として使用するようにしたので、フレーム蓄積部の追加が不要であり、ハードウェアで実現の場合は回路規模、ソフトウェアで実現の場合は消費メモリの削減が可能になるという効果が得られる。

実施の形態５．
この実施の形態５では、送信側に対し符号化データの送信内容に対しリクエスト信号を送信する機能を設ける場合について説明する。

図１５はこの発明の実施の形態５による動画像復号装置の構成を示すブロック図であり、上記実施の形態１の図１との相違は制御部１０６より送信側に向けリクエスト信号３００を送信する機能が付いている点であり、その他の構成は図１と同じである。

図１５において、制御部１０６は欠落や誤りのあった符号化データを補完する補完の符号化データの再送を要求するリクエスト信号を送信側に送信する。

また、図１５において、制御部１０６は、受信した映像フレームの誤り率に応じて、復号の際に他の映像フレームを参照する映像フレームの数を増減するよう要求するリクエスト信号を送信側に送信する。

次に動作について説明する。
上記実施の形態１の図５にも示したように、通常のタイミングで符号化データの復号を行った後、欠落や誤りを補完する補完の符号化データが到着するまで、所定の期間データ蓄積部１０３に欠落や誤りがあった符号化データを蓄積する。この間、制御部１０６から欠落や誤りの生じた符号化データの情報を伝送路を通じて送信側にリクエスト信号３００として通知し、所望の補完の符号化データを得る。

例えば、符号化データがＵＤＰ等のプロトコルを使用して伝送される場合、各ＵＤＰパケットにはシーケンス番号が付与されており、例えば、そのシーケンス番号を使用して、欠落や誤りが生じて正しく受信できなかったパケットを送信側へ通知して再送をリクエストする。リクエスト信号３００の具体的送信手順は問わず、例えばＴＣＰで送信しても良い。
また、送信側と受信側の間のネットワークに中継ノードが１つまたは複数存在し、そのノードにおいて送信データのコピーを保持している場合には、その中継ノードが送信側に代わって再送リクエストに応じても良い。

また、上記実施の形態２の図６でも示したように、再復号開始まで、データ蓄積部１０３における符号かデータの蓄積時間は、符号化データの参照フレーム・被参照フレームの構成により変化する。図６の例において、最初のＧＯＰでＩ，Ｐフレーム間のＢフレームの枚数が２枚（Ｍ値＝３）の場合、Ｉ２’フレームの再復号はＩ２フレームの復号開始タイミングから２フレーム時間蓄積することが可能であるが、次のＧＯＰでＭ値＝２の場合では、先頭Ｉフレームの遅延到着までのデータ蓄積時間は１フレーム時間となる。

つまり、Ｂフレームの枚数が多いほどデータ蓄積部１０３に蓄積し、再復号開始までの間、遅延到着を待つことができる期間が長くなり、欠落や誤りを補完する符号化データが揃う可能性が高くなる。

そこで、受信データの誤り率や遅延到着タイミングに応じて、上記リクエスト信号３００として、送信側に対し符号化データ内の参照フレームの数をリクエストする。例えば、誤り率が高い場合は、参照フレームの割合を増やすようリクエストすることで、データ蓄積部１０３での蓄積時間が長くなるようにする。また、例えば、ＭＰＥＧ２Ｖｉｄｅｏ形式の場合は、ＧＯＰ内のＢフレームの枚数が増やすよう、Ｍ値の増加を送信側にリクエストする。

以上のように、この実施の形態５によれば、欠落や誤りが生じた符号化データの再送をするよう送信側にリクエストするようにしたので、再復号開始までの間にそれらの符号化データが受信側に届き、再復号する映像フレーム及びその映像フレームを参照する後続の映像フレームの画質劣化を抑制することができるという効果が得られる。

また、この実施の形態５によれば、誤り率が高い場合や遅延到着タイミングが遅い場合に、送信側に対し符号化データ内の参照フレームの割合を増やすようリクエストするようにしたので、再復号開始までのデータ蓄積部１０３における符号化データの蓄積時間が増加し、その間、再送データ等が多く届くようになるので、再復号する映像フレーム及びその映像フレームを参照する後続の映像フレームの画質劣化を抑制することができるという効果が得られる。

実施の形態６．
この実施の形態６では、上記実施の形態５に示した受信側からのリクエスト信号３００を受けた場合の送信側の動作について説明する。

図１６はこの発明の実施の形態６による動画像符号化装置の構成を示すブロック図である。この動画像符号化装置は、送信部２００、符号化部２０１、送信制御部２０２及び送信データ蓄積部２０３を備えている。

図１６において、符号化部２０１は送信対象の映像データを符号化し符号化データにより複数種類の映像フレームを構成して出力し、送信部２００は符号化部２０１により出力された映像フレームを送信し、送信データ蓄積部２０３は送信部２００により送信された映像フレームのうち復号側で復号の際に参照される映像フレームを蓄積し、送信制御部２０２は復号側から欠落や誤りのあった符号化データを補完する補完の符号化データの再送を要求するリクエスト信号３００を受信し、送信データ蓄積部２０３に蓄積されている映像フレームにおける補完の符号化データを送信部２００に送信させる。

また、図１６において、送信制御部２０２は、復号側から復号の際に他の映像フレームを参照する映像フレームの数を増減するよう要求するリクエスト信号３００を受信し、符号化部２０１に複数種類の映像フレームのフレーム構成を変更するよう指示する。

次に動作について説明する。
符号化部２０１は送信対象となる映像データを符号化し、その後、送信部２００は符号化データを伝送路に適した形式に変換して送信する。なお、映像データが既に符号化されている場合には、符号化部２０１を介さずに直接、送信部２００に入力しても良い。
上記実施の形態５で示したリクエスト信号３００は送信制御部２０２に入力される。送信制御部２０２は、リクエスト信号３００の内容が既に送信済みの映像データの再送のリクエストの場合は、送信データ蓄積部２０３に対し再送データ指定２０２ａによりその符号化データを読み出し、送信部２００に対し、再送指示２０２ｂにより伝送路に送信させる。そのため、受信側において再復号対象となる被参照フレームの符号化データについては、上記の通り送信部２００より伝送路に送信すると共に、再送リクエストに備えて、一定時間、送信データ蓄積部２０３に蓄積しておく必要がある。

なお、送信データ蓄積部２０３における符号化データの蓄積時間は送信データ蓄積部２０３の容量等を加味した一定時間でも良いし、上記実施の形態２で示した受信側でのデータ蓄積時間と同様に、送信している符号化データの参照フレームと被参照フレームの構成や復号時間に応じて可変としても良い。

さらに、送信制御部２０２に入力されたリクエスト信号３００が符号化データのフレームの構成を構成するリクエスト、つまり参照フレーム変更を要求するものである場合には、送信制御部２０２は符号化部２０１に対して符号化制御２０２ｃによりデータの構成を指示する。なお、映像データが予め符号化されている場合で、その構成が受信側からのリクエストに合わないものである場合には、一旦復号の後、符号化部２０１でリクエストに応じたフレーム構成となるよう再符号化しても良い。

以上のように、この実施の形態６によれば、送信側に再送のリクエスト信号３００を受信解析する送信制御部２０２を備え、再送対象となる符号化データを保持し、要求に応じ送信側に再送するようにしたので、受信側が再復号を行う際に、誤りや欠落の生じた符号化データの再送データを受け取ることができ、再復号後の映像フレーム及びその映像フレームを参照する後続の映像フレームの復号画質の劣化を抑制することができるという効果が得られる。

また、この実施の形態６によれば、送信側に符号化データのフレーム構成を変更するリクエスト信号３００を受信解析する送信制御部２０２を備え、そのリクエスト信号に応じて符号化部２０１が映像フレームにおける参照フレームと被参照フレームの構成を変更するようにしたので、受信側が誤りや欠落の生じた符号化データの再送データを受け取るのに必要な時間を調整することができ、再復号後の映像フレーム及びその映像フレームを参照する後続の映像フレームの復号画質の劣化を抑制することができるという効果が得られる。

実施の形態７．
この実施の形態７では、動画像符号化装置が所定のデータ構造を有する符号化データを生成することにより、受信側において、受信後、表示までの遅延時間を短縮する方法について説明する。

この発明の実施の形態７による動画像符号化装置の構成を示すブロック図は上記実施の形態６の図１６に示す構成と同じである。
この実施の形態７における図１６において、送信制御部２０２は、符号化部２０１に対し、フレーム間予測を含まない先頭の映像フレームを出力する際に、送信対象の映像データの一部を低解像度で符号化して出力し、その後、送信対象の映像データの残りを標準解像度で符号化して出力するよう指示する。

図１７及び図１８はこの発明の実施の形態７による動画像復号装置において符号化データを受信し復号し表示する際の処理シーケンスを示す図である。図１７は通常のデータ構成の場合で、図１８はこの実施の形態７固有のデータ構成の場合を示している。

次に動作について説明する。
図１７において、動画像復号装置の受信部１００に入力される符号化データは通常のデータ構成であり、これまで同様に、ＭＰＥＧ２Ｖｉｄｅｏを例としてあげている。一般的に、フレーム間予測符号化を含む符号化方式の場合、先頭のＩフレームはフレーム間予測を含まないため、図１７に示すように、符号化データサイズは他のフレームに比べ大きくなる。よって、先頭Ｉ２フレームの受信を完了し、復号を開始するまでの時間は、Ｉ２フレームのサイズに依存するが比較的長い時間を要する。

これに対し、図１８では動画像復号装置の受信部１００に入力される符号化データはこの実施の形態７固有のデータ構成である。これは動画像符号化装置の符号化部２０１において、先頭Ｉフレームを２回符号化して送出するというものである。１回目のＩ２フレームは画質を抑える代わりに符号化データサイズを抑えるため低解像度で符号化し、２回目のＩ２’フレーム（伝送時にＩ２’ａフレームとＩ２’ｂフレームに分割）は、通常の画質となる代わりに、符号化データサイズも通常通り（図１７のＩ２と同じ）として標準解像度で符号化するものである。

動画像符号化装置はこの２種類のＩフレーム及び後続の通常の符号化データを送信する。最初にサイズの小さいＩ２フレームを送出し、それに続いて通常サイズのＩ２’フレームを送出する。このとき、図１８においては、Ｂ０，Ｂ１フレームの符号化データをその復号開始タイミングまでに送信するのと同時に、Ｉ２’フレームもＰ５フレームの復号開始までに再復号が可能なように送出する必要がある。この図１８においては、Ｂ０フレームの前後にＩ２’ａフレームとＩ２’ｂフレームの２回に分割して送出している。

受信側では最初の低解像度のＩ２フレームの受信完了後、直ちに復号を開始する。図１８に示すとおり、Ｉ２フレームの符号化データサイズが比較的小さいため、図１７と比べ比較的早くＩ２フレームの復号を開始できる。続いて受信したＢ０，Ｂ１フレームの復号と並行し、受信した標準解像度のＩ２’フレームをデータ蓄積部１０３に蓄積し、全て受信した時点で再復号部１０５がその復号を行う。

すると、この図１８の例において、Ｂ０，Ｂ１フレームの復号時点では、その参照画像はＩ２フレームであり、解像度が低いものではあるが、Ｉ２’フレームの復号はＰ５フレームの復号開始前に完了しているため、Ｐ５フレームの復号の際には、図１７と同様に、通常画質の映像の復号が可能となる。つまり表示順において、先頭２枚のＢ０，Ｂ１フレームの画質は低いものの、以降の映像フレームは通常画質の映像で再生が可能となる。

なお、この実施の形態７における符号化データは、送信側において送出時にリアルタイムに生成しても良いし、予め本方式で符号化したデータを蓄積しておき、送信のみを行っても良い。

以上のように、この実施の形態７によれば、送信制御部２０２は、符号化部２０１に対し、フレーム間予測を含まない先頭の映像フレームを出力する際に、送信対象の映像データの一部を低解像度で符号化して出力し、その後、送信対象の映像データの残りを標準解像度で符号化して出力するよう指示することで、受信側において、まず低解像度の映像データを短い遅延時間で受信し復号し表示すると共に、後から受信した通常解像度の映像を差し替えることにより、復号画質の劣化も抑制することができるという効果が得られる。

この発明の実施の形態１による動画像復号装置の構成を示すブロック図である。 この発明の実施の形態１による動画像復号装置において、通常のフレーム間予測符号化方式を用いた符号化データを復号する際の復号部とフレーム蓄積部の動きについて説明する図である。 この発明の実施の形態１による動画像復号装置において、順次入力される映像フレームの復号と、それと並行して動作する誤りが改善された符号化データの到着タイミングと、再復号の影響について説明する図である。 この発明の実施の形態１による動画像復号装置の復号部及び再復号部の動作タイミング並びにフレーム蓄積部及びフレーム追加蓄積部のデータ蓄積内容を示す図である。 この発明の実施の形態１による動画像復号装置において、後で参照画像が改善されることが判明した場合に、通常の復号を中止する場合を説明する図である。 この発明の実施の形態２による動画像復号装置の復号部及び再復号部の動作タイミング並びにフレーム蓄積部及びフレーム追加蓄積部のデータ蓄積内容を示す図である。 この発明の実施の形態２による動画像復号装置の構成を示すブロック図である。 この発明の実施の形態２による動画像復号装置の復号部及び再復号部の動作タイミング並びにフレーム蓄積部及びフレーム追加蓄積部のデータ蓄積内容を示す図である。 この発明の実施の形態２による動画像復号装置の他の構成を示すブロック図である。 この発明の実施の形態３による動画像復号装置の復号部及び再復号部の動作タイミング並びにフレーム蓄積部及びフレーム追加蓄積部のデータ蓄積内容を示す図である。 この発明の実施の形態３による動画像復号装置の構成を示すブロック図である。 この発明の実施の形態４による動画像復号装置の構成を示すブロック図である。 この発明の実施の形態４による動画像復号装置において例えば高解像度の映像フレームを復号する場合のフレーム蓄積部の内部構成を説明する図である。 この発明の実施の形態４による動画像復号装置において例えば標準解像度の映像フレームを復号する場合のフレーム蓄積部の内部構成を説明する図である。 この発明の実施の形態５による動画像復号装置の構成を示すブロック図である。 この発明の実施の形態６による動画像符号化装置の構成を示すブロック図である。 この発明の実施の形態７による動画像復号装置において符号化データを受信し復号し表示する際の処理シーケンスを示す図である。 この発明の実施の形態７による動画像復号装置において符号化データを受信し復号し表示する際の処理シーケンスを示す図である。

符号の説明

１００ 受信部、１０１ 復号部、１０２ フレーム蓄積部、１０３ データ蓄積部、１０４ フレーム追加蓄積部、１０５ 再復号部、１０６ 制御部、１０６ａ 受信データの誤り状況等、１０６ｂ 符号化データ分配指示、１０６ｃ 切替指示、１０６ｄ 切替指示、１０６ｅ 出力指示、１０６ｆ データ構造情報、１０６ｇ 復号所要時間、１１２ フレーム蓄積部、１１２ａ 蓄積領域、１１２ｂ 蓄積領域、１１２ｃ 蓄積領域、１１２ｄ 蓄積領域、１１２ｅ 蓄積領域、１１４ フレーム追加蓄積部、２００ 送信部、２０１ 符号化部、２０２ 送信制御部、２０２ａ 再送データ指定、２０２ｂ 再送指示、２０２ｃ 符号化制御、２０３ 送信データ蓄積部、３００ リクエスト信号。

Claims (12)

1. 伝送路から複数種類の映像フレームを受信し映像フレームを構成する符号化データの欠落や誤りの受信状況を通知する受信部と、
   該受信部により受信された映像フレームを復号に必要な復号済みの映像フレームを参照して復号する復号部と、
   上記受信部により受信状況を通知された後述の制御部からの指示に基づき、上記受信部により受信された欠落や誤りのあった符号化データにより構成された映像フレームと、上記受信部によりその後に受信された欠落や誤りのあった符号化データを補完する補完の符号化データを蓄積し、正常な順序に並び替えて正常な符号化データにより構成された映像フレームを蓄積するデータ蓄積部と、
   該データ蓄積部に蓄積されている映像フレームを復号に必要な復号済みの映像フレームを参照して復号する再復号部と、
   上記復号部又は上記再復号部により復号された復号済みの映像フレームで以後の映像フレームの復号の際に参照される少なくとも２枚の復号済みの映像フレームを蓄積するフレーム蓄積部と、
   上記復号部又は上記再復号部により復号された復号済みの映像フレームで以後の映像フレームの復号の際に参照される少なくとも１枚の復号済みの映像フレームを蓄積するフレーム追加蓄積部と、
   上記受信部により通知された受信状況に基づき上記データ蓄積部に上記指示を与えると共に、上記復号部及び上記再復号部に参照する復号済みの映像フレームを指示し復号された映像フレームを上記フレーム蓄積部又は上記フレーム追加蓄積部に蓄積するよう指示する制御部とを備えた動画像復号装置。
2. 上記制御部は、欠落や誤りのあった符号化データにより構成された映像フレームのうち、上記復号部及び上記再復号部が復号の際に参照する映像フレームを上記データ蓄積部に蓄積させることを特徴とする請求項１記載の動画像復号装置。
3. 上記制御部は、欠落や誤りのあった符号化データにより構成された映像フレームのうち、上記復号部及び上記再復号部が復号の際に前後の映像フレームを参照せず単独で復号可能な映像フレームを上記データ蓄積部に蓄積させることを特徴とする請求項２記載の動画像復号装置。
4. 上記制御部は、上記受信部が補完の符号化データを受信した際に、上記復号部に既に復号済みの映像フレームを参照しての復号を中止するよう指示することを特徴とする請求項１記載の動画像復号装置。
5. 上記受信部は複数種類の映像フレームのフレーム構成を解析してデータ構造情報を上記制御部に通知し、
   上記制御部は上記受信部により通知されたデータ構造情報に基づき上記データ蓄積部における映像フレームの蓄積時間を制御することを特徴とする請求項１記載の動画像復号装置。
6. 上記復号部は映像フレームの復号に要した復号時間を上記制御部に通知し、
   上記制御部は上記復号部により通知された復号時間に基づき上記データ蓄積部における映像フレームの蓄積時間を制御することを特徴とする請求項１記載の動画像復号装置。
7. 上記フレーム追加蓄積部は少なくとも２枚の復号済みの映像フレームを蓄積することを特徴とする請求項１記載の動画像復号装置。
8. 伝送路から高解像度又は標準解像度の複数種類の映像フレームを受信し、標準解像度の映像フレームを受信した場合に映像フレームを構成する符号化データの欠落や誤りの受信状況を通知する受信部と、
   該受信部により受信された高解像度又は標準解像度の映像フレームを復号に必要な復号済みの映像フレームを参照して復号する復号部と、
   上記受信部により受信状況を通知された後述の制御部からの指示に基づき、上記受信部により受信された欠落や誤りのあった符号化データにより構成された標準解像度の映像フレームと、上記受信部によりその後に受信された欠落や誤りのあった符号化データを補完する補完の符号化データを蓄積し、正常な順序に並び替えて正常な符号化データにより構成された標準解像度の映像フレームを蓄積するデータ蓄積部と、
   該データ蓄積部に蓄積されている標準解像度の映像フレームを復号に必要な復号済みの映像フレームを参照して復号する再復号部と、
   上記復号部により復号された高解像度の復号済みの映像フレームで以後の高解像度の映像フレームの復号の際に参照される少なくとも２枚の高解像度の復号済みの映像フレームを蓄積すると共に、上記復号部又は上記再復号部により復号された標準解像度の復号済みの映像フレームで以後の標準解像度の映像フレームの復号の際に参照される少なくとも３枚の標準解像度の復号済みの映像フレームを蓄積するフレーム蓄積部と、
   上記受信部により通知された受信状況に基づき上記データ蓄積部に上記指示を与えると共に、上記復号部及び上記再復号部に参照する標準解像度の復号済みの映像フレームを指示し復号された標準解像度の映像フレームを上記フレーム蓄積部に蓄積するよう指示する制御部とを備えた動画像復号装置。
9. 伝送路から復号の際に３枚以上の復号済みの映像フレームを参照する複数種類の第１の映像フレーム又は復号の際に２枚の復号済みの映像フレームを参照する複数種類の第２の映像フレームを受信し、上記第２の映像フレームを受信した場合に映像フレームを構成する符号化データの欠落や誤りの受信状況を通知する受信部と、
   該受信部により受信された第１又は第２の映像フレームを復号に必要な復号済みの映像フレームを参照して復号する復号部と、
   上記受信部により受信状況を通知された後述の制御部からの指示に基づき、上記受信部により受信された欠落や誤りのあった符号化データにより構成された第２の映像フレームと、上記受信部によりその後に受信された欠落や誤りのあった符号化データを補完する補完の符号化データを蓄積し、正常な順序に並び替えて正常な符号化データにより構成された第２の映像フレームを蓄積するデータ蓄積部と、
   該データ蓄積部に蓄積されている第２の映像フレームを復号に必要な復号済みの映像フレームを参照して復号する再復号部と、
   上記復号部により復号された第１の復号済みの映像フレームで以後の第１の映像フレームの復号の際に参照される少なくとも３枚以上の第１の復号済みの映像フレームを蓄積すると共に、上記復号部又は上記再復号部により復号された第２の復号済みの映像フレームで以後の第２の映像フレームの復号の際に参照される少なくとも３枚の第２の復号済みの映像フレームを蓄積するフレーム蓄積部と、
   上記受信部により通知された受信状況に基づき上記データ蓄積部に上記指示を与えると共に、上記復号部及び上記再復号部に参照する第２の復号済みの映像フレームを指示し復号された第２の映像フレームを上記フレーム蓄積部に蓄積するよう指示する制御部とを備えた動画像復号装置。
10. 伝送路から標準解像度又は標準解像度より画素数を削減した低解像度の複数種類の映像フレームを受信し、低解像度の映像フレームを受信した場合に映像フレームを構成する符号化データの欠落や誤りの受信状況を通知する受信部と、
    該受信部により受信された標準解像度又は低解像度の映像フレームを復号に必要な復号済みの映像フレームを参照して復号する復号部と、
    上記受信部により受信状況を通知された後述の制御部からの指示に基づき、上記受信部により受信された欠落や誤りのあった符号化データにより構成された低解像度の映像フレームと、上記受信部によりその後に受信された欠落や誤りのあった符号化データを補完する補完の符号化データを蓄積し、正常な順序に並び替えて正常な符号化データにより構成された低解像度の映像フレームを蓄積するデータ蓄積部と、
    該データ蓄積部に蓄積されている低準解像度の映像フレームを復号に必要な復号済みの映像フレームを参照して復号する再復号部と、
    上記復号部により復号された標準解像度の復号済みの映像フレームで以後の標準解像度の映像フレームの復号の際に参照される少なくとも２枚の標準解像度の復号済みの映像フレームを蓄積すると共に、上記復号部又は上記再復号部により復号された低解像度の復号済みの映像フレームで以後の低解像度の映像フレームの復号の際に参照される少なくとも３枚の低解像度の復号済みの映像フレームを蓄積するフレーム蓄積部と、
    上記受信部により通知された受信状況に基づき上記データ蓄積部に上記指示を与えると共に、上記復号部及び上記再復号部に参照する低解像度の復号済みの映像フレームを指示し復号された低解像度の映像フレームを上記フレーム蓄積部に蓄積するよう指示する制御部とを備えた動画像復号装置。
11. 上記制御部は欠落や誤りのあった符号化データを補完する補完の符号化データの再送を要求するリクエスト信号を送信側に送信することを特徴とする請求項１、請求項８、請求項９または請求項１０のうちのいずれか１項記載の動画像復号装置。
12. 上記制御部は、受信した映像フレームの誤り率に応じて、復号の際に他の映像フレームを参照する映像フレームの数を増減するよう要求するリクエスト信号を送信側に送信することを特徴とする請求項１、請求項８、請求項９または請求項１０のうちのいずれか１項記載の動画像復号装置。

Images