WO2004010707A1 - 符号化装置、符号化方法、復号化装置及び復号化方法 - Google Patents

Abstract

連続再生できるようにする。少なくともBピクチャを予測符号化対象として用いることができるよう規定された符号化方式に従って符号化処理を実行する符号化装置において、符号化処理を実行した結果生成される複数の符号化情報が復号化側で順次復号化されることを見越して、当該符号化情報の復号結果に対する出力時期を算出する時期算出手段と、時期算出手段により算出された出力時期を、対応する符号化情報の復号結果が得られる前に復号化側に通知する時期通知手段とを設けるようにした。

Description

明 細 書 符号化装置、 符号化方法、 復号化装置及び複号化方法 技術分野

本発明は、 符号化装置、 符号化方法、 復号化装置及び複号化装置に関し、 例え ば複数の単位画像情報が連続してなる画像情報 （以下、 これを連続画像情報と呼 ぶ） を、 衛星放送、 ケーブル TV若しくはインターネット等のネットワークメデ ィァを介して伝送する際に、 又は光ディスク、 磁気ディスク若しくはフラッシュ メモリ等の記憶メディア上で処理する際に好適なものである。 背景技術

近年、 連続画像をデジタル情報として取り扱い、 その際、 効率の高い情報の伝 送又は蓄積等を目的とし、 当該連続画像情報特有の冗長性を利用して離散コサイ ン変換等の直交変換や動き補償を用いて符号化 （圧縮） する MP EG (Mo v i n g P i c t u r e E x p e r t s G r o u p) などの符号化方式に準 拠した装置が、 放送局や一般家庭等において普及しつつある。

特に、 MP EG 2 ( I S O/ I E C 1 3 8 1 8— 2) 符号化方式は、 汎用画 像符号化方式として定義されており、 飛び越し走查画像及び順次走査画像の双方 、 並びに標準解像度画像及び高精細画像を網羅するようになされており、 プロフ ェッショナル用及びコンシューマー用途の広範なアプリケーションとして現在広 く用いられている。 この MP EG 2符号化方式では、 例えば 7 2 0 X 4 80画素 を持つ標準解像度の飛び越し走査画像であれば 4〜 8 [Mb p s ] 、 1 9 2 0 X 1 08 8画素を持つ高解像度の飛び越し走査画像であれば 1 8〜2 2 [Mb p s 〕 の符号量 （ビッ トレ ト） を割り当てることで、 高い符号化効率 （圧縮率） と 良好な画質の実現が可能である。

かかる MP EG 2符号化方式は、 主として放送用に適合する高画質符号化を対 象として用いられていたが、 MPEG 1符号化方式より低い符号量 （ビットレー ト） 、 つまりより高い符号化効率の符号化方式には対応していなかった。 今後こ のような符号化方式のニーズは、 例えば携帯端末の普及等に伴って高まると思わ れ、 これに対応して MPEG4符号化方式の標準化が行われた。 そして画像に関 する MP EG 4符号化方式については、 1 998年 1 2月に I S 0 I EC 1 4496— 2としてその規格が国際標準に承認された。

さらに、 近年、 VCEG団体と MP EG団体とのジョイントビデオチームによ つて MP EG 4 AVCあるレ、は H. 264と呼ばれる符号化方式 （以下、 これを J VT符号化方式と呼ぶ） が規格化された。 この J VT符号化方式では、 MPE G 2や MP EG 4等といった従来の符号化方式に比べ、 その符号化又は復号化に より多くの演算量が要求されるが、 より高い符号化効率が実現されることが知ら れている。

ここで、 上述した各種符号化方式のいずれかに従って符号化処理を実行する符 号化装置の概略構成を図 8に示す。 図 8において、 符号化装置 1 00は、 画像並 ベ替えバッファ 1 0 2と、 加算器 1 03と、 直交変換部 1 04と、 量子化部 1 0 5と、 可逆符号化部 1 06と、 蓄積バッファ 10 7と、 逆量子化部 1 08と、 逆 直交変換部 1 09と、 フレームメモリ 1 1 0と、 動き予測 ·補償部 1 1 1と、 レ 一ト制御部 1 1 2とによって構成される。

この場合、 符号化装置 1 00は、 連続画像情報を画像並べ替えバッファ 1 0 2 に蓄積し、 当該連続画像情報を GO P (G r o u p o f P i c t u r e s) 構造に応じて単位画像情報 （フレーム又はフィールドのデータ） ごとに並べ替え を行う。

ここで、 画像並べ替えバッファ 1 02は、 連続画像情報のうちイントラ予測符 号化を行うべき単位画像情報については、 直交変換部 1 04に供給する。 直交変 換部 1 04は、 この単位画像情報に対して離散コサイン変換又はカルーネン · レ 一べ変換等の直交変換処理を施し、 得られた直交変換係数を量子化部 1 05に供 給する。 量子化部 1 0 5は、 直交変換部 1 0 4から供給された直交変換係数に対して、 レート制御部 1 1 2の制御に応じた量子化処理を施し、 得られた量子化情報 （量 子化された直交変換係数） を可逆符号化部 1 0 6及び逆量子化部 1 0 8に供給す る。 可逆符号化部 1 0 6は、 量子化情報に対して可変長符号化あるいは算術符号 化等の可逆符号化処理を施し、 得られた符号化情報 （符号化された量子化情報） を蓄積バッファ 1 0 7に蓄積する。

逆量子化部 1 0 8は、 量子化情報に対して逆量子化処理を施し、 得られた直交 変換係数を逆直交変換部 1 0 9に供給する。 逆直交変換部 1 0 9は、 直交変換係 数に対して逆直交変換処理を施し、 得られた単位画像情報を参照画像情報として 必要に応じてフレームメモリ 1 1 0に蓄積する。

一方、 画像並べ替えバッファ 1 0 2は、 連続画像情報のうちインター予測符号 化を行うべき単位画像情報については、 動き予測 ·補償部 1 1 1に供給する。 動 き予測 '補償部 1 1 1は、 この単位画像情報と、 フレームメモリ 1 1 0より取り 出した参照画像情報とを用いて動き予測 ·補償処理を施し、 得られた予測画像情 報を加算器 1 0 3に供給する。 加算器 1 0 3は、 予測画像情報と対応する単位画 像情報との差分を差分情報として直交変換部 1 0 4に供給する。

この差分情報は、 イントラ符号化の場合と同様にして各種処理が施され、 この 結果、 符号化情報として蓄積バッファ 1 0 7に蓄積されると共に、 参照画像情報 としてフレームメモリ 1 1 0に必要に応じて.蓄積される。

また、 動き補償 ·予測部 1 1 1は、 動き予測 ·補償処理を施すことにより予測 画像情報と共に得られる動きべク トル情報を可逆符号化部 1 0 6に供給する。 可 逆符号化部 1 0 6は、 動きべク トル情報に対して可逆符号化処理を施し、 得られ た符号化動きべク トル情報を対応する符号化情報のヘッダ部として生成する。 このようにして符号化装置 1 0 0は、 連続画像情報に対して符号化処理を実行 することにより単位画像情報ごとに符号化情報を順次生成し、 この後、 当該符号 化情報を蓄積バッファ 1 0 7を介して順次出力するようになされている。

次に、 かかる符号化装置 1 0 0に対応する符号化方式に従って復号化処理を実 行する複号化装置の概略構成を図 9に示す。 図 9おいて、 復号化装置 1 2 0は、 蓄積バッファ 1 2 1と、 可逆復号部 1 2 2と、 逆量子化部 1 2 3と、 逆直交変換 部 1 2 4と、 加算器 1 2 5と、 画像並べ替えバッファ 1 2 6と、 動き予測 ·補償 部 1 2 7と、 フレームメモリ 1 2 8とによって構成される。

この場合、 復号化装置 1 2 0は、 順次入力される符号化情報を蓄積バッファ 1 2 1に一時的に格納した後に可逆復号部 1 2 2に供給する。 可逆復号部 1 2 2は 、 イントラ予測符号化が行われた符号化情報である場合には、 当該符号化情報に 対して可変長復号又は算術復号等の複号化処理を施し、 得られた量子化情報を逆 量子化部 1 2 3に供給する。

逆量子化部 1 2 3は、 可逆復号部 1 2 2から供給された量子化情報に対して逆 量子化処理を施し、 得られた直交変換係数を逆直交変換部 1 2 4に供給する。 逆 直交変換部 1 2 4は、 直交変換係数に対して逆直交変換処理を施して、 符号化処 理前の元の画像情報 （以下、 これを復元画像情報と呼ぶ） を生成し、 これを画像 並べ替えバッファ 1 2 6に格納する。

一方、 可逆復号部 1 2 2は、 インタ一予測符号化が行われた符号化情報である 場合には、 この符号化情報及び当該符号化情報のヘッダ部に挿入された符号化動 きべク トル情報に対してそれぞれ複号化処理を施し、 得られた量子化情報を逆量 子化部 1 2 3に供給すると共に、 動きべク トル情報を動き予測 ·補償部 1 2 7に 供給する。 この量子化情報は、 イントラ符号化された符号化情報を復号化する場 合と同様にして各種処理が施され、 この結果、 差分情報として加算器 1 2 5に供 給される。

また、 動き予測 ·補償部 1 2 7は、 動きべク トル情報とフレームメモリ 1 2 8 に格納された参照画像情報とに基づいて予測画像情報を生成し、 これを加算器 1 2 5に供給する。 加算器 1 2 5は、 この参照画像情報と差分情報とを合成し、 得 られた復元画像情報を画像並べ替えバッファ 1 2 6に格納する。

このようにして複号化装置 1 2 0は、 順次入力される符号化情報に対して復号 化処理を実行することにより復元画像情報を順次生成し、 この後、 当該復元画像 情報を画像並べ替えバッファ 1 26を介して例えば表示部 （図示せず） に順次出 力するようにして連続再生する。

ところで MP EG 2符号化方式では、 インター予測符号化対象として、 I ( I n t r a) ピクチャ及び P (P r e d i c t i v e) ピクチャのみを用いるよ う規定されているため、 復号化処理の際における複号化順が一義的に決まってく る。

従って、 復号化装置 1 20においては、 かかる MP EG 2符号化方式に準拠し た各符号化情報に対して複号化処理を実行して生成した復元画像情報を連続再生 する場合には、 当該復元画像情報の出力時期を画像並べ替えバッファ 1 26を介 してあえて調整しなくても、 当該各復元画像情報に基づく画像を適切に表示部に 表示することができる。

これに対して J VT符号化方式では、 インター予測符号化対象として、 I及び Pピクチャに加えて B (B i d i r e c t i o n a 1 ) ピクチャをも用いること ができる等、 MPEG 2符号化方式に比して予測符号化対象として選択できるピ クチャの選択自由度が多く規定されている。

しかしながら J VT符号化方式では、 このような規定に伴って復号化処理の際 における複号化順が一義的に決まらないにも係わらず、 復元画像情報の出力時期 については明確に規定していない。

従って、 複号化装置 1 20は、 かかる J VT符号化方式に準拠した各符号化情 報に対して複号化処理を実行して生成した復元画像情報を連続再生すると、 画像 並べ替えバッファ 1 26のリソースに制限があるので、 ある符号化情報に対応す る復元画像情報の出力時期であるにも係わらず当該符号化情報を未だ複号化中で あるといった事態が発生し、 この結果、 当該連続性が途切れてしまうという問題 力 ^sめった。 発明の開示

本発明は、 このような実状に鑑みてなされたものであり、 複号化装置に連続再 生させ得る符号化装置及び符号化方法と、 連続再生し得る復号化装置及び復号化 方法とを提供することを目的とする。

かかる課題を解決するため本発明においては、 少なくとも Bピクチャを予測符 号化対象として用いることができるよう規定された符号化方式に従って符号化処 理を実行する符号化装置において、 符号化処理を実行した結果生成される複数の 符号化情報が復号化側で順次復号化されることを見越して、 当該符号化情報の復 号結果に対する出力時期を算出する時期算出手段と、 時期算出手段により算出さ れた出力時期を、 対応する符号化情報の復号結果が得られる前に複号化側に通知 する時期通知手段とを設けるようにした。

従って、 本発明による符号化装置では、 符号化情報が復号側で復号化されたこ とを想定した出力時期を事前に複号化側に認識させて、 復号化順が一義的に決ま らない符号化方式に従って符号化された符号化情報であっても復元画像情報にお ける出力の連続性を確保することができ、 かく して、 復号化側に対して連続再生 させることができる。

また本発明においては、 少なくとも Bピクチャを予測符号化対象として用いる ことができるよう規定された符号化方式に従って符号化処理を実行する符号化方 法において、 符号化処理を実行した結果生成される複数の符号化情報が複号化側 で順次複号化されることを見越して、 当該符号化情報の復号結果に対する出力時 期を算出し、 当該算出した出力時期を、 対応する符号化情報の復号結果が得られ る前に複号化側に通知するようにした。

従って、 本発明による符号化方法では、 符号化情報が復号側で複号化されたこ とを想定した出力時期を事前に複号化側に認識させて、 複号化順が一義的に決ま らない符号化方式に従って符号化された符号化情報であっても復元画像情報にお ける出力の連続性を確保することができ、 かく して、 複号化側に対して連続再生 させることができる。

また本発明においては、 少なく とも Bピクチャを予測符号化対象として用いる ことができるよう規定された符号化方式に従って符号化された複数の符号化情報 に対して、 複号化処理を実行する複号化装置において、 複号化処理の結果順次生 成される復元画像情報を一時的に蓄積する蓄積手段と、 蓄積手段に蓄積される復 元画像情報の出力を制御する出力制御手段とを設け、 出力制御手段は、 蓄積手段 に蓄積される復元画像情報が破綻した場合に、 当該破綻時の直前に出力した復元 画像情報を再出力するようにした。

従って、 本発明による複号化装置では、 復号化順が一義的に決まらない符号化 方式に従って符号化された符号化情報であっても復元画像情報における出力の連 続性,を確保することができ、 かく して、 連続再生することができる。

また本発明においては、 少なくとも Bピクチャを予測符号化対象として用いる ことができるよう規定された符号化方式に従って符号化された複数の符号化情報 に対して、 復号化処理を実行する複号化方法において、 複号化処理の結果順次生 成される復元画像情報を一時的に蓄積する第 1のステップと、 蓄積される復元画 像情報の出力する第 2のステップと、 蓄積される復元画像情報が破綻した場合に 、 当該破綻時の直前に出力した復元画像情報を再出力する第 3のステップとを設 けるようにした。

従って、 本発明による複号化方法では、 複号化順が一義的に決まらない符号化 方式に従って符号化された符号化情報であっても復元画像情報における出力の連 続性を確保することができ、 かく して、 連続再生することができる。 図面の簡単な説明

図 1は、 第 1の実施の形態による画像再生システムを示すプロック図である。 図 2は、 符号制御部の処理内容を示す機能プロック図である。

図 3は、 出力時期の算出の説明に供する図表である。

図 4は、 出力時期通知処理手順を示すフローチヤ一トである。

図 5は、 第 2の実施の形態による画像再生システムを示すブロック図である。 図 6は、 再出力の制御の説明に供する図表である。

図 7は、 再出力制御処理手順を示すフローチヤ一トである。 図 8は、 符号化装置の構成を示すブロック図である。

図 9は、 複号化装置の構成を示すブロック図である。 発明を実施するための最良の形態

実施例 1

(1) 画像再生システム 1の構成

図 1において、 1は全体として第 1の実施の形態による画像再生システムを示 し、 J VT符号化方式に準拠した符号化装置 2及び複号化装置 3を所定の伝送路 を介して互いに接続することにより構成される。

符号化装置 2は、 図 8で上述した符号化装置 1 00と同一構成でなる符号化部 1 0と、 この符号化部 10の制御を司る符号制御部 1 1とを有しており、 外部か ら供給された又は内部の HDD (H a r d D i s k D r i v e ) 等の記録媒 体 （図示せず） から読み出した連続画像情報 D 1に対して、 当該符号制御部 1 1 に制御される符号化部 1 0を介して、 図 8で上述した場合と同様にして符号化処 理を実行することにより単位画像情報 （フレーム又はフィールドのデータ） D 1 a〜D 1 nごとに符号化情報 D 2 (D 2 a、 D 2 b、 ……又は D 2 n) を順次生 成し、 この後、 当該符号化情報 D 2を順次出力する。

一方、 複号化装置 3は、 図 9で上述した複号化装置 1 20と同一構成でなる復 号化部 20と、 この復号化部 20の制御を司る復号制御部 21とを有しており、 伝送路を介して順次入力される符号化情報 D 2に対して、 当該復号制御部 21に 制御される複号化部 20を介して、 図 9で上述した場合と同様にして複号化処理 を実行することにより復元画像情報 D 3 (D3 a、 D3 b、 ……又は D3 n) を 順次生成し、 この後、 当該復元画像情報 D 3を表示部 （図示せず） に順次出力す るようにして連続再生する。

(2) 符号制御部 1 1の構成

この符号化装置 2の符号制御部 1 1は、 予め内部に格納された J VT符号化方 式に準拠したプログラムゃテ一ブル情報等に基づいて、 符号化部 1 0に入力され た連続画像情報 D 1に対する GOP構造や、 符号化順等の符号化処理に関する条 件 （以下、 これを符号化条件と呼ぶ） を決定し、 この符号化条件に従って符号化 部 10を制御する。

かかる構成に加えて、 この符号制御部 1 1においては、 符号化情報 D 2が復号 化側 （復号化装置 3) で順次複号化されることを見越して、 当該符号化情報 D 2 の復号結果である復元画像情報 D 3の出力時期を算出し、 この出力時期を、 当該 復元画像情報 D 3を生成する前の複号化装置 3に通知する出力時期通知処理を実 行するようになされている。

ここで、 符号制御部 1 1における出力時期通知処理の処理内容を機能的に分類 すると、 例えば図 2に示すように、 符号化情報 D 2に対する複号化処理を実行し 始めてから、 当該処理により生成された復号画像情報 D 3を出力するまでの期間

(以下、 これをデコードディレイと呼ぶ） を算出するディレイ算出部 1 1 aと、 当該デコードディレイを対応する符号化情報 D 2のヘッダとして付加するヘッダ 付加部 1 1 bとに分類することができる。 これらディレイ算出部 1 1 a及びへッ ダ付加部の処理について、 図 3に示す例を用いて具体的に説明する。

この図 3において、 「E I (E n c o d e r I n p u t) 」 の欄は、 符号化 部 10に入力される各単位画像情報 D 1 a〜D 1 nを、 GOP構造に応じて割り 当てられたピクチャタイプで表しており、 即ち符号化処理前のピクチャタイプの 順序を示している。 「EO (E n c o d e r Ou t p u t) 」 の欄は、 符号化 部 1 0に入力された各単位画像情報 D 1 a〜D 1 nに対して所定の符号化順に従 つて符号化処理を実行した結果生成される符号化情報 D 2 a〜D 2 nのピクチャ タイプ表しており、 即ち符号化処理後のピクチャタイプの順序を示している。

「 E d (En c o d e r D e l a y) 」 の欄は、 単位画像情報 D 1 a、 D 1 b、 ……又は D 1 nに対して符号化処理を実行し始めてから、 当該処理により生 成された符号化情報 D 2を出力するまでの期間 （以下、 これをエンコードディレ ィと呼ぶ） をそれぞれ示しており、 符号化条件に基づいて算出される。 このェン コードディレイ （ 「E d」 の欄） に基づいて、 符号化情報1323〜132₁ ( ΓΕ o」 の欄） の出力時期が必要に応じて調整される。 具体的に例えば、 I ピクチャ タイプである最初の単位画像情報 D 1 a ( 「E I」 欄における 「 I 00」 ） につ いては、 入力されたとき （ t =0) から、 符号化情報 D 2 a ( 「EO」 欄におけ る 「 1 00」 ） として生成されたときまでの期間が対応するエンコードディレイ ( 「E d」 欄における 「6」 [秒] ) に満たない場合には、 符号化部 1 0の蓄積 バッファ 1 07 (図 8) への蓄積により調整され、 当該エンコードディレイの経 過 （ t = 6) と同時期に出力される。

ディレイ算出部 1 1 aは、 かかるエンコードディレイに基づいて、 各符号化情 報 D 2に対するデコードディレイ （ 「Dd (D e c o d e r D e l a y) 」 の 欄） を算出するようになされており、 当該エンコードディレイ （ 「E d」 の欄） のうち、 最大のエンコードディレイ （1 0 [秒] ) となる符号化情報 D 2 ( 「B 13」 ） に対するデコードディレイが最小 （0 [秒] ) となるように、 各符号化 情報 D 2 a〜D 2 nのデコードディレイを算出する。

具体的にはディレイ算出部 1 1 aは、 エンコードディレイの最大値が 1 0 [秒 ] であるため、 この 1 0 [秒] から各々の符号化情報 D 2 a〜D 2 nに対応する エンコードディレイの値を減算することにより、 当該符号化情報 D 2 a〜D 2 n に対するデコードディレイの値 （ 「Dd」 の欄の各項の値） を算出する。

そしてディレイ算出部 1 1 aは、 このようにして算出した各デコードディレイ をデコ一ドディレイ情報 D 1 0として生成し、 これをヘッダ付加部 1 1 bに送出 するようになされている。

ヘッダ付加部 1 1 bは、 ディレイ算出部 1 1 aから供給されるデコードディレ ィ情報 D 1 0に基づいて、 符号化部 1 0において順次符号化情報 D 2が生成され るごとに、 対応するデコードディレイをヘッダとして置換することにより当該符 号化情報 D 2に付加する。

この場合、 かかるデコードディレイがヘッダとして付加された例えば符号化情 報 D 2 a ( 「EO」 欄における 「 1 00」 ) は、 エンコードディ レイの経過と同 時期に出力され、 伝送路を介して複号化装置 3に入力される。 なお、 図 3では、 説明の便宜上、 符号化装置 2と複号化装置 3との間における伝送路の伝送時間等 については考慮せず、 複号化装置 3.における符号化情報 D 2の入力時期は、 符号 化部 1 0からの符号化情報 D 2の出力時期 （ 「EO」 の欄） と同等とみなしてい る。 '

そして復号化装置 3では、 この符号化情報 D 2のデコードディレイに基づいて 、 当該符号化情報 D 2の復号結果である復元画像情報 D 3の出力時期が調整され る。 即ち、 例えば最初の符号化情報 D 2 aのデコードディレイ （ 「Dd」 欄にお ける 4 [秒] ) は、 復号化装置 3において、 当該符号化情報 D 2 aに付加された ヘッダに基づいて当該符号化情報 D 2 aの複号化処理前に復号制御部 2 1により 認識される。 この後、 符号化情報 D 2 aは、 復号化部 20において復元画像情報 D3 aとして生成され、 このとき入力時 （t = 6) からの経過期間が対応するェ ンコードディレイ （4 [秒] ) に満たない場合には、 画像並べ替えバッファ 1 2 6 (図 9) への蓄積により必要に応じて調整され、 当該デコードディレイの経過 (4 [秒] ( t = 1 0) ) と同時期に出力するようにして表示部に表示される。 また残りの符号化情報 D 2 b〜D 2 nについても、 符号化情報 D 2 aと同様に して、 複号化部 20において復元画像情報 D 3 b〜D 3 nとして生成され、 これ ら復元画像情報 D3 b〜D 3 nは、 必要に応じて、 画像並べ替えバッファ 1 26 (図 9) において符号化処理前と同じピクチャタイプの順序 （ 「DO (D e c o d e r Ou t p u t ) 」 の欄） に並び替えられると共に、 対応するェンコ ードディレイに基づいて出力時期が調整された後に出力され、 この結果、 連続再 生されることとなる。

このようにして符号制御部 1 1は、 出力時期通知処理を実行することにより、 符号化情報 D 2が複号化装置 3で復号化されたことを想定したデコードディレイ をヘッダを介して復号化装置 3に事前に認識させることができるようになされて いる。

ここで、 上述したような出力時期通知処理は、 図 4に示す出力時期通知処理手 順 RT 1に従って順次実行される。 すなわち、 符号制御部 1 1は、 例えば符号化処理を実行するための所定の操作 が入力部 （図示せず） を介して行われると、 この出力時期通知処理手順 R T 1を ステップ S P 0から開始し、 続くステップ S P 1において符号化条件に基づいて 算出されたェンコ一ドディレイのなかから最大のェンコ一ドディレイを認識する

(図 3において 「E d」 欄の 1 0 [秒] に相当） 。

そして符号制御部 1 1は、 ステップ S P 2において符号化部 1 0内の可逆符号 化部 1 0 6 (図 8 ) に存在する例えば符号化情報 D 2 aを蓄積バッファ 1 0 7 ( 図 8 ) に取り込み、 ステップ S P 3において当該取り込みが成功したか否かを判 定し、 否定結果が得られた場合には、 ステップ S P 2に戻って再度符号化情報 D 2 aを取り込む。

これに対して符号制御部 1 1は、 ステップ S P 2で肯定結果が得られた場合に は、 続くステップ S P 3において、 ステップ S P 1で認識したエンコードディレ ィから、 ステップ S P 2で取り込んだ符号化情報 D 2 aに対するェンコ一ドディ レイ （図 3において 「E d」 欄の 6 [秒] に相当） を減算することにより、 当該 符号化情報 D 2 aに対するデコードディレイ （ 「D d」 欄の 4 [秒] に相当） を 算出し、 ステップ S P 4において当該算出したデコ一ドディレイを当該符号化情 報 D 2 aにヘッダとして付加する。

そして符号制御部 1 1は、 ステップ S P 5において全ての符号化情報 D 2を蓄 積バッファ 1 0 7 (図 8 ) に取り込んだか否かを判定し、 否定結果が得られた場 合には、 ステップ S P 2に戻って上述の処理を繰り返し、 これに対して肯定結果 が得られた場合には、 続くステップ S P 6に移って、 この出力時期通知処理手順 R T 1を終了する。

このようにして符号制御部 1 1は、 出力時期通知処理手順 R T 1に従って出力 時期通知処理を実行することができるようになされている。

以上の構成において、 この符号化装置 2においては、 J V T符号化方式に従つ て符号化処理された結果得られる符号化情報 D 2が復号化装置 3側で復号化され ることを見越して、 当該符号化情報 D 2の復号結果 （各復元画像情報 D 3 ) に対 する出力時期 （デコードディレイ） を算出し、 当該算出した出力時期をヘッダと して付加するようにした。

従って、 この符号化装置 2では、 符号化情報 D 2が復号化装置 3で復号化され たことを想定したデコードディレイをヘッダを介して復号化処理前の復号化装置 3に認識させることができるため、 復号化順が一義的に決まらない J V T符号化 方式に従って符号化された符号化情報 D 2であっても、 復元画像情報 D 3におけ る出力の連続性を確保することができる。

この場合、 符号化装置 2においては、 符号化処理を実行し始めてから、 符号化. 情報 D 2を出力するまでの期間 （エンコードディレイ） のうち、 最大の期間とな る符号化情報 D 2 (図 3中 「B 1 3」 ） の復号結果が直ちに出力されるように、 各復元画像情報 D 3に対する出力時期 （デコードディレイ） を算出するようにし た。

従って、 この符号化装置 2では、 複号化側での復号化処理に最も時間を費やす 符号化情報 D 2に対する復号化側での出力時期 （エンコードディレイ） を基準に 、 各符号化情報 D 2の復号結果 （各復元画像情報 D 3 ) に対する出力時期 （デコ ードディレイ） を算出することができるため、 復号化装置 3での複号化中のを出 力時期を振り分ける （相殺する） ようにしてほぼ確実にアンダーフローを発生す ることなく調整することができる。

以上の構成によれば、 J V T符号化方式に従つて符号化処理された結果得られ る符号化情報 D 2が複号化装置 3側で復号化されることを見越して、 当該符号化 情報 D 2が復号化された際の各復元画像情報 D 3に対する出力時期 （デコ一ドデ ィレイ） を算出し、 当該算出した出力時期をヘッダとして付加するようにしたこ とにより、 複号化順が一義的に決まらない J V T符号化方式に従って符号化され た符号化情報 D 2であっても復元画像情報 D 3における出力の連続性を確保する ことができ、 かく して、 複号化装置 3に連続再生させることができる。

( 3 ) 他の実施の形態

なお上述の第 1の実施の形態においては、 J V T符号化方式を適用するように した場合について述べたが、 本発明はこれに限らず、 少なくとも Bピクチャを予 測符号化対象として用いることができるよう規定されたこの他種々の符号化方式 を適用することができる。

また上述の第 1の実施の形態においては、 符号化処理を実行した結果生成され る複数の符号化情報 D 2が複号化側で順次復号化されることを見越して、 当該符 号化情報の復号結果に対する出力時期を算出する時期算出手段として、 ェンコ一 ドディレイのうち、 最大のェンコ一ドディレイとなる符号化情報 D 2の復号結果 が直ちに出力されるように、 符号化情報の復号結果に対するデコードディレイを 算出するようにした場合について述べたが、 本発明はこれに限らず、 当該デコー ドディレイに代えて当該符号化情報の復号結果を生成してから出力時期までの期 間を算出したり、 あるいは複号化側のバッファに蓄積される情報量の占有率を想 定した計算結果に基づいて当該符号化情報の復号結果に対するディコードディレ ィを算出するようにしても良い。 かかる計算結果に基づいて出力時期を算出すれ ば、 復号化側に連続再生を確実にさせるような出力時期を算出することができる さらに上述の第 1の実施の形態においては、 対応する符号化情報の復号結果が 得られる前に複号化側に出力時期を通知する時期通知手段として、 ディレイ算出 部 1 1 aから供給されるデコードディレイ情報 D 1 0に基づいて、 当該出力時期 (デコードディレイ） をヘッダとして対応する符号化情報 D 2に付加するように した場合について述べたが、 本発明はこれに限らず、 例.えばヘッダとして付加す ることなくデコードディレイ情報 D 1 0を符号化処理前に直接複号化側に出力す るようにしても良い。

実施例 2

( 1 ) 画像再生システム 5 1の構成

図 1との対応部分に同一符号を付して示す図 5において、 5 1は全体として第 2の実施の形態による画像再生システムを示し、 J V T符号化方式に準拠した符 号化装置 5 2及び複号化装置 5 3を所定の伝送路を介して互いに接続することに より構成され^)。

符号化装置 5 2は、 符号化部 1 0と、 この符号化部 1 0の制御を司る符号制御 部 6 1とを有しており、 当該符号制御部 6 1は、 上述した出力時期通知処理を実 行しないが、 その他については上述の第 1の実施の形態の場合と同様である。 こ の場合、 符号化装置 5 2は、 連続画像情報 D 1に対して、 符号制御部 6 1に制御 される符号化部 1 0を介して符号化処理を実行することにより、 デコードディレ ィがヘッダとして付加されていない符号化情報 D 2を順次生成し、 この後、 当該 符号化情報 D 2を順次出力する。

一方、 複号化装置 5 3は、 複号化部 2 0と、 この複号化部 2 0の制御を司る復 号制御部 7 1とを有しており、 伝送路を介して順次入力される符号化情報 D 2に 対して、 当該復号制御部 7 1に制御される複号化部 2 0を介して複号化処理を実 行することにより復元画像情報 D 3を順次生成し、 この後、 当該復元画像情報 D 3を表示部 （図示せず） に順次出力するようにして連続再生する。

( 2 ) 復号制御部 7 1の構成

実際上、 この複号化装置 5 3の復号制御部 7 1は、 順次入力される符号化情報 D 2を複号化部 2 0内の蓄積バッファ 1 2 1 (図 9 ) に一時的に蓄積し、 当該符 号化情報 D 2に含まれるヘッダ等に基づいて、 当該符号化情報 D 2の複号化処理 順や、 複号化処理の開始時期あるいは等の複号化に関する条件 （以下、 これを復 号化条件と呼ぶ） を把握し、 この複号化条件に従って複号化部 2 0を制御する。 かかる構成に加えて復号制御部 7 1は、 複号化処理された後に画像並べ替えバ ッファ 1 2 6 (図 9 ) に蓄積される復元画像情報 D 3の蓄積状態を監視し、 当該 蓄積状態として破綻 （アンダーフロー） を検出したとき、 当該検出 （破綻） 時の 直前に出力した復元画像情報 D 3を再出力する再出力制御処理を実行するように なされている。 この再出力制御処理について、 図 6に示す例を用いて具体的に説 明する。

この図 6では、 図 3と同様に、 「E I」 の欄は符号化処理前のピクチャタイプ の順序、 「E O」 の欄は符号化処理後のピクチャタイプの順序、 「D O」 は復号 化後のピクチャタイプの順序、 「E d」 の欄はエンコードディレイ、 「Dd」 の 欄はデコードディレイをそれぞれ示している。 またこの図 6では、 図 3と同様に 、 符号化装置 5 2と複号化装置 53との間における伝送路の伝送時間等について は考慮せず、 複号化装置 53における符号化情報 D 2の入力時期は、 符号化部 1 0からの符号化情報 D 2の出力時期 （ 「EO」 の欄） と同等とみなしている。 そして 「S u d (S t a r t -u p d e l a y) 」 の欄は、 各符号化情報 D 2を入力してから複号化処理を開始し始めるまでの期間 （以下、 これをスタート アップディレイと呼ぶ） を示しており、 このスタートアップディレイは、 符号化 装置 52において、 符号化条件に基づいて符号制御部 6 1により算出され、 へッ ダとして付加されるようになされている。

復号制御部 7 1は、 まず最初の符号化情報 D 2 aを入力すると （ 「EO」 の欄 における 「1 00」 ） 、 当該符号化情報 D 2 aに対するスタートアップディレイ ( 「S u d」 の欄における 「6」 [秒] ) に従わず、 当該符号化情報 D 2 aを直 ちに可逆符号化部 1 22に送出して複号化処理を開始するように制御する （ 「D d」 の欄における 「0」 [秒] ) 。 この結果、 復号制御部 71は、 連続再生する 際の準備期間 （起動時間） を短縮するできるようになされている。

この場合、 復号制御部 7 1においては、 かかる制御により生じた本来開始すベ き復号処理開始時期との間のずれ期間 （調整しなければならない遅延量であり、 具体的に図 6では 6 [秒] である。 以下、 当該期間を調整分遅延量と呼ぶ） が発 生するので、 この調整分遅延量について、 符号化情報 D 2 aの複号化処理結果で ある復元画像情報 D 3 aを画像並べ替えバッファ 1 26を介して出力した後に再 出力 （ 「DO」 欄における 「 t = 8」 の項に相当） することにより、 当該調整分 遅延量の一部 （ 「Dd」 欄における 「t =8」 の 「2」 [秒」 に相当） を相殺す る。

そして復号制御部 7 1は、 符号化情報 D 2 aに続いて順次入力される符号化情 報 D 2 b、 D 2 c…… ( 「EO」 欄における 「P 0 1」 、 「P 02」 …… ) をス タートアップディレイに従って複号化処理を実行させ、 当該複号化処理後に画像 並べ替えバッファ 1 26 (図 9) に蓄積される復元画像情報 D 3 b、 D 3 c…… ( 「DO」 欄における 「P 0 1」 、 「P 02」 …… ) の蓄積状態を監視する。 この状態において復号制御部 7 1は、 画像並べ替えバッファ 1 26に蓄積され る復元画像情報 D 3が破綻 （アンダーフロー） するごとに （図 6では 「 t = l 8 」 及び 「 t = 30」 ） 、 当該破綻時直前に出力した復元画像情報 D 3 ( 「DOj 欄における 「P 05」 及び 「P 1 0」 ） を再出力することにより、 残りの調整分 遅延量を定期的に相殺する。

このようにして復号制御部 71は、 再出力制御処理を実行することにより、 復 元画像情報 D 3における出力の連続性を確保することができるようになされてい る。

ここで、 上述したような出力時期通知処理は、 図 7に示す再出力制御処理手順 RT 2に従って順次実行される。

すなわち、 復号制御部 7 1は、 例えば複号化処理を実行するための所定の操作 が入力部 （図示せず） を介して行われると、 この再出力制御処理手順 RT 2をス テツプ S P 1 0から開始し、 続くステップ S P 1 1において最初の符号化情報 D 2 aの入力を待ち受け、 当該符号化情報 D 2 aが入力された場合には、 ステップ S P 1 2に移る。

そして復号制御部 7 1は、 このステップ S P 1 2において符号化情報 D 2 aに 対するスタートアップディレイに従わず直ちに復号化処理を開始させ、 続くステ ップ S P 1 3において当該複号化処理結果である復元画像情報 D 3 aを出力させ た後に、 ステップ S P 14において当該復元画像情報 D 3 aを再出力させて調整 分遅延量の一部を相殺する。

続いて復号制御部 7 1は、 ステップ S P 1 5において次の復元画像情報 D2 ( D 2 b、 D2 c、 …… D 2 n) の複号化処理を開始させて当該処理により得られ る復元画像情報 D 3 (D 3 b、 D 3 c、 …… D 3 n) を出力させ、 続くステップ S P 1 6において面像並べ替えバッファ 1 26 (図 9) に蓄積される復元画像情 報 D 3が破綻したか否かを判定し、 否定結果が得られた場合、 ステップ S P 1 5 に戻って上述の処理を操り返す。

これに対して肯定結果が得られた場合、 復号制御部 7 1は、 続くステップ S P 1 7において、 ステップ S P 1 5で出力した復元画像情報 D 3 ( 「DO」 欄にお ける 「P 05」 及び 「P 1 0」 ） を再出力することにより、 残りの調整分遅延量 の一部 （又は全部） を相殺し、 続くステップ S P 1 8に移る。

そして復号制御部 7 1は、 このステップ S P 1 8において調整分遅延量が全て 相殺されたか否かを判定し、 否定結果が得られた場合には、 ステップ S P 1 5に 戻って上述の処理を繰り返し、 これに対して肯定結果が得られた場合には、 続く ステップ S P 1 9に移って、 この再出力制御処理手順 RT 2を終了する。

このようにして符号制御部 1 1は、 再出力制御処理手順 RT 2に従って再出力 制御処理を実行することができるようになされている。

以上の構成において、 この複号化装置 53は、 J VT符号化方式に従って符号 化された符号化情報 D 2に対して複号化処理を実行した結果順次生成される復元 画像情報 D 3を画像並べ替えバッファ 1 26 (図 9) に一時的に蓄積し、 当該画 像並べ替えバッファ 1 26 (図 9) に蓄積される復元画像情報 D 3が破綻した場 合に、 当該破綻時の直前に出力した復元画像情報 D 3を再出力するようにした。 従って、 この複号化装置 53では、 複号化順が一義的に決まらない J VT符号 化方式に従って符号化された符号化情報 D 2であっても、 復元画像情報 D 3にお ける出力の連続性を確保することができる。

この場合、 復号化装置 5 3は、 蓄積バッファ 1 21 (図 9) に蓄積した最初の 符号化情報 D 2 aに定められた復号化開始時期 （スタートアップディレイ） に従 わず、 当該符号化情報 D 2 aを直ちに複号化を開始させ、 これにより生じた復号 化開始時期とのずれ期間 （調整分遅延量） を、 画像並べ替えバッファ 1 26 (図 9) に蓄積される復元画像情報 D 3が破綻した場合に、 当該破綻時の直前に出力 した復元画像情報を再出力することにより相殺するようにした。

従って、 この復号化装置 53では、 連続再生する際の準備期間 （起動時間） を 短縮できると共に、 当該短縮により生じたずれ期間 （調整分遅延量） を、 定期的 に分散するようにして緩和しながら復元画像情報における出力の連続性を確保す ることができる。

以上の構成によれば、 J V T符号化方式に従って符号化された符号化情報 D 2 に対して複号化処理を実行した結果順次生成される復元画像情報 D 3を画像並べ 替えバッファ 1 2 6 (図 9 ) に一時的に蓄積し、 当該画像並べ替えバッファ 1 2 6 (図 9 ) に蓄積される復元画像情報 D 3が破綻した場合に、 当該破綻時の直前 に出力した復元画像情報 D 3を再出力するようにしたことにより、 複号化順が一 義的に決まらない J V T符号化方式に従って符号化された符号化情報 D 2であつ ても、 復元画像情報 D 3における出力の連続性を確保することができ、 かく して 、 連続再生することができる。

( 3 ) 他の実施の形態

なお上述の第 2の実施の形態においては、 J V T符号化方式を適用するように した場合について述べたが、 本発明はこれに限らず、 少なくとも Bピクチャを予 測符号化対象として用いることができるよう規定されたこの他種々の符号化方式 を適用することができる。

また上述の第 2の実施の形態においては、 各符号化情報と、 当該符号化情報に 対する複号化処理の結果順次生成される復元画像情報とを一時的に蓄積する蓄積 手段として、 蓄積バッファ 1 2 1 と、 並べ替えバッファ 1 2 6とを別々に用いる ようにした場合について述べたが、 本発明はこれに限らず、 当該蓄積バッファ 1 2 1及び並べ替えバッファ 1 2 6共用するようにしても良い。 この場合、 ノ ッフ ァの数や蓄積の態様については適宜変更することができる。

また上述の第 2の実施の形態においては、 出力制御手段としての復号制御部 7 1により、 蓄積バッファ 1 2 1 (図 9 ) に蓄積した最初の上記符号化情報 D 2 a に定められた復号化開始時期 （スタートアップディレイ） に従わず、 当該符号化 情報 D 2 aを直ちに複号化を開始させ、 これにより生じた上記復号化開始時期の ずれ期間 （調整分遅延量） を、 画像並べ替えバッファ 1 2 6 (図 9 ) に蓄積され る復元画像情報 D 3が破綻した場合に、 当該破綻時の直前に出力した上記復元画 像情報を再出力することにより相殺するようにした場合について述べたが、 これ に加えて、 当該蓄積バッファ 1 2 1に蓄積された各符号化情報 D 2 a〜D 2 bの 蓄積順序 （すなわち 「E O」 の欄に相当） が当該符号化される前の順序 （すなわ ち 「E I」 の欄に相当） と異なっていた場合 （例えば図 6中 「t = 3 2」 の項に 相当） には、 その異なっていた符号化情報 D 2に対応する復元画像情報 D 3を再 出力するようにしても良い。 このようにすれば、 かかる順序が異なる場合に最も 増大するデコードディレイを、 再出力により補完でき、 復元画像情報 D 3におけ る出力の連続性を一段と確保することができる。 産業上の利用の可能性

本発明は、 連続画像情報を、 衛星放送、 ケーブル T V若しくはインターネッ ト 等のネットワークメディアを介して伝送する際に、 又は光ディスク、 磁気ディス ク若しくはフラッシュメモリ等の記憶メディア上で処理する際に利用可能である

Claims

請 求 の 範 囲

1 . 少なくとも Bピクチャを予測符号化対象として用いることができるよう規定 された符号化方式に従って符号化処理を実行する符号化装置において、

上記符号化処理を実行した結果生成される複数の符号化情報が復号化側で順次 復号化されることを見越して、 当該符号化情報の復号結果に対する出力時期を算 出する時期算出手段と、

上記時期算出手段により算出された上記出力時期を、 対応する上記符号化情報 の上記復号結果が得られる前に上記複号化側に通知する時期通知手段と

を具えることを特徴とする符号化装置。

2 . 上記時期算出手段は、

上記符号化処理を実行し始めてから、 上記符号化情報を '出力するまでの期間の うち、 最大の上記期間となる上記符号化情報の上記復号結果が直ちに出力される ように、 当該符号化情報の復号結果に対する出力時期を算出する

ことを特徴とする請求の範囲第 1項に記載の符号化装置。

3 . 少なくとも Bピクチャを予測符号化対象として用いることができるよう規定 された符号化方式に従って符号化処理を実行する符号化方法において》

上記符号化処理を実行した結果生成される複数の符号化情報が複号化側で順次 複号化されることを見越して、 当該符号化情報の復号結果に対する出力時期を算 出する第 1のステップと、

上記第 1のステップで算出された上記出力時期を、 対応する上記符号化情報の 上記復号結果が得られる前に上記複号化側に通知する第 2のステップと

を具えることを特徴とする符号化方法。

4 . 上記第 1のステップでは、 上記符号化処理を実行し始めてから、 上記符号化情報を出力するまでの期間の うち、 最大の上記期間に該当する上記符号化情報の上記復号結果が直ちに出力さ れるように、 当該符号化情報の復号結果に対する出力時期を算出する

ことを特徴とする請求の範囲第 3項に記載の符号化方法。

5 . 少なくとも Bピクチャを予測符号化対象として用いることができるよう規定 された符号化方式に従って符号化された複数の符号化情報に対して、 複号化処理 を実行する複号化装置において、

上記複号化処理の結果順次生成される復元画像情報を一時的に蓄積する蓄積手 段と、

上記蓄積手段に蓄積される上記復元画像情報の出力を制御する出力制御手段と を具え、

上記出力制御手段は、

- 上記蓄積手段に蓄積される上記復元画像情報が破綻した場合に、 当該破綻時の 直前に出力した上記復元画像情報を再出力する

ことを特徴とする複号化装置。

6 . 上記蓄積手段は、 各上記符号化情報も一時的に蓄積し、

上記出力制御手段は、

上記蓄積手段に蓄積された最初の上記符号化情報に定められた復号化開始時期 に従わず、 当該符号化情報を直ちに複号化を開始させ、 これにより生じた上記復 号化開始時期とのずれ期間を、 上記破綻した場合に当該破綻時の直前に出力した 上記復元画像情報を再出力することにより相殺する

ことを特徴とする請求の範囲第 5項に記載の複号化装置。

7 . 上記蓄積手段は、 各上記符号化情報も一時的に蓄積し、

上記出力制御手段は、 上記蓄積手段に蓄積された各上記符号化情報の蓄積順序が当該符号化される前 の順序と異なっていた場合には、 その異なっていた上記符号化情報に対応する上 記復元画像情報を再出力する

ことを特徴とする請求の範囲第 5項に記載の複号化装置。

8 . 少なくとも Bピクチャを予測符号化対象として用いることができるよう規定 された符号化方式に従って符号化された複数の符号化情報に対して、 複号化処理 を実行する復号化方法において、

上記復号化処理の結果順次生成される復元画像情報を一時的に蓄積する第 1の ステップと、

上記蓄積される上記復元画像情報の出力する第 2のステップと、

上記蓄積される上記復元画像情報が破綻した場合に、 当該破綻時の直前に出力 した上記復元画像情報を再出力する第 3のステップと

ことを特徴とする複号化方法。

9 . 上記第 1のステップでは、

上記複号化処理前に各上記符号化情報を一時的に蓄積し、 当該蓄積した最初の 上記符号化情報については当該符号化情報に定められた復号化開始時期に従わず 、 当該符号化情報を直ちに復号化を開始させる復号開始ステップを具え、 上記第 3のステップでは、 ' 上記復号化開始ステップで上記復号化開始時期に従わずに復号化を開始させた ことにより生じた上記復号化開始時期とのずれ期間を、 上記破綻した場合に当該 破綻時の直前に出力した上記復元画像情報を再出力することにより相殺する ことを特徴とする請求の範囲第 8項に記載の複号化装置。

1 0 . 上記第 1のステップでは、

上記復号化処理前に各上記符号化情報を一時的に蓄積し、 当該蓄積された各上 記符号化情報の蓄積順序が当該符号化される前の順序と異なっているか否かを判 定する判定ステップを具え、

上記第 3のステップでは、

上記判定ステップで異なっている判定結果が得られた場合には、 その異なって いた上記符号化情報に対応する上記復元画像情報を再出力する

ことを特徴とする請求の範囲第 8項に記載の複号化方法。