WO1998010591A1

WO1998010591A1 - Information transmitting method, encoder/decoder of information transmitting system using the method, and encoding multiplexer/decoding inverse multiplexer

Info

Publication number: WO1998010591A1
Application number: PCT/JP1997/003054
Authority: WO
Inventors: Toshiaki Watanabe; Yoshihiro Kikuchi; Takeshi Chujoh; Takeshi Nagai
Original assignee: Kabushiki Kaisha Toshiba
Priority date: 1996-09-02
Filing date: 1997-09-02
Publication date: 1998-03-12
Also published as: NO981976D0; US20030086417A1; CA2236411A1; US20060062256A1; KR100309174B1; US20030086416A1; US20020031123A1; US20060062257A1; MX9803377A; US7002999B2; BR9706703A; US20030123444A1; US7010003B2; AU4033197A; JPH1174868A; US7002998B2; EP0860999A4; US6952432B2; US6310897B1; NO981976L

Description

明細書情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置 /複号化装匱、並びに符号ィヒ ·多重化装置復号ィ匕 ·逆多重化装置技術分野

本発明は、 I S D Nやインタ一ネッ卜等の有線通信網（wire

communication network )めるレヽは P H S-v¾r星通 ·ί§ ( satellite co誦 unication)等の無線通 ί言網（radio communication network)を用レ、て、符号化され/こ動画像（video picture ) /!^止画像（still picture )を伝送する情報伝送方法（data transmission method)およびその方法が適用される情報伝送システム ί data transmission system)における符号化 Z復号化装置 encoding/ decoding apparatus )に関する。

背景技術

近年、画像をはじめとする各極情報をディジタル符号化（digital

encoding )する技術及び広帯域ネットワーク技術の進展により、これらの技術を利用したアプリケーション（application)の開 ¾が盛んになつており、圧縮符号化した画像（compress- encoded picture )などを通 ί言網を利用して伝送するシステムが開発されている。

例えば、テレビ電話（ videophone )、テレビ会鏃システム

( teleconference system) , デンタノレアレビ力女 ( digital television broadcast ) ίこおレヽて ίま、動画像（video )や音声（speech)をそれそ ' v少なレヽ情報！:に圧縮符号化し、それら圧縮された動画像符号列（video code stream)、音声符号歹 lj ( voice code stream)や il!iのデータ符号歹リ（data code stream)を多重化してひとつの符号列にまとめて伝送ノ蓄積する技術が用いられている。

動画像信号の圧縮符号化技術としては動き補償（motion compensation) , 離散コサイン変換（D C T) 、サブバンド符号化 ί sub-band encoding) , ピラミツド符号ィ匕（pyramid encoding)、可変長符号化（variable word- length encoding)等の技術やこれらを組み合わせた方式が開発されている。動画像符号ィヒの国際標準方式（national standard scheme )としては ISO MPEG1,MPEG2, ITU-T H .261 ,Η .262 , H .263力存在し、また動画像、音声 ' オーディォ信号（ speech/audio signal )を圧縮した符号列や他のデータを多重化する国際標準方式としては I SO MPEGシステム、 I TU— TI-I. 22 1 , H. 223が存在する。

上述の動画像符号化国際標準方式のような従来の動画像符号化方式においては、動画像信号をフレーム毎に分割し、さらにフレームを細かい領域に分割した、 G OB、マクロブロック等の単位毎に符号化が行われ、このフレーム、 GOB、マク口プロック毎に符号化のモ一ド等を示すへッダ情報が付加される。これらのへッダ情報はそのフレーム、 GOB等全体の復号に必ず必要な情報である。このため、もしへッダ情報に伝送路 Z蓄積媒体による誤りが混入し、動画像複号化装匱 (video decoder)において正しく復号できないと、そのヘッダ情報のあるフレーム、 GOB等全体が正しく復号できず、動画像復号化装 Eにおける再生動画像（reconstructed picture)の品質が大きく劣化してしまうことになる。すなわち、通信網を利用して圧縮符号化された画像を伝送する場合には、受信側では伝送されてきた 0 Z 1のビット列から、意味のある情報を再生する復号処理が必要になる。そのためには、一定のビット列（bit stream)のまとまり力；どのような規則のもとに符号化されてきたものなのかを指し示す情報として、前述のヘッダ情報（header information)が非^に! S耍になる。このヘッダ情報とは例えば、現在復号しているフレームの予測タイプ（フレーム内の符号化 (intraframe encoding)である力フレーム問の符号化（ inter frame encoding)である力、等）、そのフレームを表示するタイミングを示す情報

(タイム · レファランス）、あるいは虽子化を行う際のステップサイズ情報などである。これらのヘッダ情報が失われてしまうと、それ以後に伝送されてきた情報が正しく復号出来ないことになる。

例えばフレームの予測タイプが、本来はフレーム問の符号化であることを示していたにも関わら ·τ、何らかの原因でビット列に誤りが混入し、フレーム内を示すビットパターンに変化したとする。この場合、その後の実際の情報が正しく伝送されてきたとしても、復号側ではその信号をフレーム内符号化の結果と判断してしまうため、最終的には正しく復号されないことになる。よって、動画像復号化装置における再生動画像の品質が大きく劣化してしまうことになる。

従来の画像伝送は有線通信網を用いたシステムが主流であり、仮に無線通信網を用いる場合でも誤り率が非常に少ない衛星通信を想定していた。従って、伝送する符号化列の構造自体にっレ、ての誤り耐性（error robust )につレ、ては十分な考慮がなされておらず、ヘッダ情報等の重要情報に対する伝送路誤り保護が -卜分ではなかった。

今後移動体通信の主流の一つになる P H Sでは誤り率（error ratio )が衛星通信の十万倍乃至百万倍程度になるため、従来のように符号化されたビット列に誤り訂正を施しただけでは十分な訂正が不可能な状態になる。また、 P H Sと同様に今後の通信の主流になると予想されるインターネットでは、いつ、どの様な誤りがデータに混入するかが統計的に明らかになつておらず、適切な誤り訂正が行えない場合もある。しかもこれら P H Sやインターネットの場合は、符号列中の一部の情報が消失してしまう場合もあり、理論的に誤り訂正では対処できなレ、事態も発生する事になる。そのため符号列自体の構造に誤り耐性能力を持たせることが必要になってくる。

このように従来は、伝送する符号化列の構造自体の誤り耐性 ( error rotmst )について十分な考虛がなされておらず、特に、伝送路誤り

( transmission line error)カ人ると大さな画質劣化を誘発するヘッダ' 報等の重要情報に対しては伝送路誤りに対する考が十分ではなかった。

本発明は、符号化列の構造自体に誤り耐性能力を持たせることにより、伝送路誤りによってヘッダ情報のような逭要情報に誤りが ¾生しても高品位に画像信号を復号することが可能な情報伝送方法およびその方法が適用される情報伝送システムにおける符号化 Z復号化装置を提供することを目的とする。

発明の開示

本発明は、送信側で、ヘッダ情報またはそのヘッダ情報の一部の情報の内容を復元可能にするために必要な復元用情報を符号化情報に付加して伝送し、受信側で、前記ヘッダ情報またはその一部の情報についてエラ一チェックを行い、このェラ一チヱックで誤りが検出されたとき、前記復元用情報を代用して前記符号ィ匕情報を復号する情報伝送方法を提供する。

本発明は、符号化情報を復号するときに必要なへッダ情報またはこのへッダ情報の一部の情報の内容を復元可能にするための復元用情報をデータストリ一ムに付加して伝送し、受信側で前記へッダ情報またはその一部の情報にっレ、ての誤りが検出されたとき、前記復元用情報を代用して前記データストリームを復号できるようにした情報伝送方法を提供する。

この情報伝送方法によれば、たとえへッダ情報に誤りが混入してこのへッダ情報が復号処理に利用出来なくなつたとしても、指示情報が示す新たな情報を代用して、復号処理を正しく継続することが可能となる。復元用情報としては、へッダ情報またはそのへッダ情報の一部をそのまま使用したり、以前伝送したへッダ情報またはその一部と現在伝送しようとしている重要情報との差分情報などを用いることができる。

また、本発明は、情報を 2つ以上のレイヤ（例えば、ピクチャ層、 G O B層、マクロブロック層、ブロック層）に分け、各レイヤに同期信号と、復号に必要なヘッダ情報とを付加して伝送する情報伝送システムにおいて、該ヘッダ情報内に予め定められたパターンを持つ指示情報を挿入する手段および上位レイヤですでに伝送した情報あるいはその一部の情報または同一レイヤ内においてすでに伝送した情報あるいはその一部の情報ある.いは前記上位レイヤまたは同一レイヤ内にぉレ、てすでに伝送した情報あるレ、はその一部の情報の内容（画像の内容、例えば人物画像、顔画像など）を復元できる情報を伝送することが可能な手段を有する符号化装置およびその復号装置を提供する。

また、本発明は、同期信号と、復号に必要なヘッダ情報とを付加して伝送する情報伝送システムにおレ、て、該へッダ情報内に予め定められたパターンを持つ指示情報を挿入する挿入部およびすでに伝送した情報あるいはこの情報の一部の情報あるいは該情報あるいは該情報の一部の情報の内容を復元できる情報を伝送することができる伝送部を有する情報伝送システム符号化装置およびその復号装匱を提供する。また、この発明は、同期信号と、復号に必要なヘッダ情報とを付カ卩して伝送する情報伝送システムにおレ、て、該へッダ情報内に予め定められたパターンを持つ指示情報を挿入する挿入部および前記へッダ情報が関わってレ、る部分の符号化処理を、該ヘッダ情報が関わっている部分以前の符号化処理から変更するための情報を伝送することが可能な伝送部を有し、符号列の構造自 ί本に誤り耐性能力を持たせ、これによつてへッダ情報に誤りが発生しても正常に復号処理を行うことを可能にしている符号化装置およびその復号装匱を提供する。

上記装匱において、指示情報により伝送されてきたことが示される復元用情報としては、全てのレイヤの復号処理にとって必要な情報であることが好ましい。また、指示情報により伝送されてきたことが示されている復元用情報と、他の部分で復号された情報とを組み合わせることで、全てのレイャの復号処理にとって必要な情報となるようにしてもよい。さらに、指示情報のビットパターンとしては、該指示情報以外のヘッダ情報として定義されているビットパターンの中で未使用のパターンを使用することができる。また、画像情報の伝送に際しては、指示情報により伝送することが可能となった情報は、フレームを表示するタイミングを示す情報、その画面の予測の種類を示す情報、量子化ステップサイズ情報、画像フレームの時刻を表す情報であることが好ましい。

また、本発明は、画像信号を入力して圧縮符号化する 1以上の画像符号化器と、各画像符号化器力ゝら出力された画像符号列および他のデータ情報符号列等を多 fi ィヒし、多重ィ匕ヘッダおよび多化ペイロード（multiplexed payload )を含む多重化符号列を出力する多 IB化器とを有する符号化装^において、前記画像符号列中のへッダ情報あるレ、はその一部を前記多化へッダ中に挿入する挿入部と、前記多靈化へッダ中の情報から生成された誤り訂正 z検出符号を前記多 s化へッダに付加し、前記颐像符号列中のへッダ情報を前記多 IB化へッダ中の多 fli化に係る他の情報と共に誤り訂正 Z検出符号で誤り保護して伝送する伝送部とでなる情報伝送装置を提供する。

この符号化装置では、誤りが入ると復号画像に大きな劣化を生じる函像符号列中のへッダ情報が、多重化へッダと共に誤り訂正/検出符号を用いて強く誤り保護されるため、誤りのある伝送路/蓄積媒 (本などを迎して圧縮画像を伝送しても、高い再生画像品質が得られる。

また、前記多重化へッダに含められる画像符号列中のへッダ情報は符号化した画像フレームの時刻を示す情報にしても良い。これにより、画像符号列中のへッダ情報に含まれる画像フレームの時刻を示す情報が欠落しても、多重化ヘッダから画像フレームの時刻を復号することができるため、復号した画像を正しい時刻に表示再生できると共に、画像符号列中の画像フレームの境界を正しく知ることができる。

さらに、本発明は、入力信号を圧縮符号ィヒして得られた複数種類の圧縮符号列を符号化の単位毎に区切る区切り部（segmentation section )と、前記区切られた圧縮号歹 lj ( compressed code string ) iこ各区切り- 毎 (こスタッフィングビット（staf f ing bit )を寸カ卩して多重化位符号歹リ（10111 :丄 16 601 unit code string )を生成する第 1多重化部と、前記多重化単位符号列を多重化して多重化符号列を生成する第 2多重化部とにより構成され、前記多重化単位符号列は予め定められた長さの整数倍の長さを持つ符号化 ·多重化装置を提供する。

このように各区切り単位毎にスタッフィングビットを付加して、予め定められた長さの整数倍の長さを持つ多重化- ¥ -位符号列を生成することによって、復号化 ·逆多重化装置側では、多靈化単位符号列毎に圧縮符号列の終了位置とスタッフィングビッ卜の開始位置とを比敉することで、りの混入を容易に検出することが可能になる。また、誤りが混入しても疑似同期符号（pseudo-sync code ) 力 ^生しにくくなるので、強い誤り耐性を持たせることができる。

また、本発明の符号化 ·多 IS化装置は、入力信号をある符号化単位に区切って符号化し圧縮符号列を生成する圧縮符号化器と、前記区切られた圧縮符号列から重要度が同一の符号語をそれぞれ狼めて多重化符号列を生成する多化部を有し、前記各 S耍度に応じて巣められた多 !E化符号列に、前記符号化 i位の区^りを示す符号を挿入し、これにより、符号語の IE要度に応じた誤り保護を行うことが可能となり、伝送路誤りが入った場合の復号画像の品質が向上する。

図面の簡単な説明

図 1は、本発明の第 1実施例に係る情報伝送システムで使用される符号化装置の構成を示すブロック図。

図 2は、同第 1実施例の情報伝送システムで使用される複号化装置の構成を示すブロック図。

図 3 Aおよび 3 Bは、同第 1実施例の情報伝送システムにおいて画面を複数のレイヤに分割する様子を示す図。

図 4 A乃至 4 Cは、図 3 Aおよび 3 Bで示した各レイヤのビット列の一例を示す図。

図 5 A乃至 5 Eは、図 4 A乃至 4 Cに代わる別のビット列の構成を示す図。図 6 Aおよび 6 Bは、同第 1実施例の情報伝送システムにおいて画面を単一のレイヤで構成する場合の例を示す図。

図 7は、同第 1実施例の情報伝送システムで使用される符号化装置の他の構成例を示すプロック図。

図 8は、図 7の符号化装匱に対応する復号装置の構成を示すプロック図。図 9 Aおよび 9 Bは、同第 1実施例の情報伝送システムにおいてリフレッシュを行う場合のフレーム内の様子と、それに対応するビット列の例を示す図。図 1 0 Aおよび 1 0 Bは、同第 1実施例の情報伝送システムで伝送される II要情報の内容に関する他の例を示す図。

図 1 1は、図 1 O Aおよび 1 0 Bに対応する復号処理回路の構成を示す図。図 1 2は、同第 1実施例にぉレ、て使用される指示情報が他のへッダ情報テ一ブノレの一部を成している場合の例を示す図。

図 1 3は、本 ¾明の第 2実施例の情報伝送システムで使用されるフレーム内の符号化領域を説明する図。

図 1 4 A乃至 1 4 Dは、同第 2実施例で用いられる画像符号化列の例を示す図。図 1 5は、図 1 4 A乃至 1 4 Dの画像符号ィヒ列に含まれる時刻を示す情報を説明する図。

図 1 6は、本第 2実施例で使用される復号化装置の構成を示すプロック図。

図 1 7 A乃至 1 7 Cは、本第 2実施例で使用される V O Pヘッダおよびビデオノケットへッダの例を示す図。

図 1 8は、本第 2実施例で使用される復号ィヒ装置の他の構成を示すプロック図。図 1 9は、本発明の第 3実施例に係る情報伝送システムで使用される画像 .音声符号化装匱の全体構成を示すプロック図。

図 2 0は、同第 3実施例で使用される画像 ·音声復号化装置の全体構成を示すブロック図。

図 2 1 Aおよび 2 1 Bは、同第 3実施例で使用される動画像符号列の一例を示す図。

図 2 2は、同第 3実施例で使用される多重化符号列の一例を示す図。

図 2 3 Aおよび 2 3 Bは、同第 3実施例で使用される多重化へッダの第 1の例を示す図。

図 2 4 Aおよび図 2 4 Bは、同第 3実施例で使用される多重化へッダの第 2の例を示す図。

図 2 5は、同第 3実施例で使用される多重化符号列の第 2の例を示図。

図 2 6は、同第 3実施例で使用される多重化符号列の第 3の例を示す図。

図 2 7 Aおよび 2 7 Bは、本発明で用いられるビデオバケツトヘッダ（Video packet header) の第 3の例を示す図。

図 2 8 Aおよび 2 8 Bは、本発明で用いられるビデオバケツトヘッダの第 4の例を示す図。

図 2 9は、本発明による情報を記録する媒 ί本とその復号装匱を示すブロック図。図 3◦は、図 2 9の媒 ί本に記録された情報を復号する順を示すフローチヤ一卜。図 3 1 Α乃至 3 1 Dは、本発明における符号列に疑似同期符号を防止するためのビットを付加した例を示す図。

図 3 2 A乃至 3 2 Cは、本発明で符号列に使用されるマ一カビットを説明するための図。

図 3 3は、本発明にぉレ、てスライスレイヤを川レ、た場合のビッ卜列の例を示す図。図 3 4 A乃至図 3 4 Cは、本発明の第 4実施例で使川される動画像符号列の例を示す図。

図 3 5 Λおよび 3 5 Bは、同第 4実施例における同期符号の配膛方法とスタッフイングビットの例を示す図。

図 3 6は、同第 4実施例における多重化器の構成の例を示す図。図 3 7は、同第 4実施例におけるァダプテ一シヨン層からの出力の例を示す図。図 3 8 A乃至 3 8 Cは、同第 4実施例における多重化層からの出力の例を示す図。図 3 9 A乃至 3 9 Cは、同第 4実施例におけるァダプテ一シヨン層での動画像符号列の区切り方の第 1の例を示す図。

図 4 O A乃至 4 0 Cは、同第 4実施例におけるァダプテ一ション層での動画像符号列の区切り方の第 2の例を示す図。

図 4 1 Aおよび 4 1 Bは、同第 4実施例におけるァダプテーシヨン層での動画像符号列の区切り方の第 3の例を示す図。

図 4 2 A乃至図 4 2 Cは、同第 4実施例におけるァダプテ一シヨン層での動画像符号列の区切り方の第 4の例を示す図。

H 4 3 A乃至 4 3 Cは、同第 4実施例におけるァダプテ一シヨン層での動画像符号列の区切り方の第 5の例を示す図。

図 4 4 Aおよび図 4 4 Bは、同第 4実施例におけるァダプテ一ション層での動画像符号列の区切り方の第 6の例を示す図。

図 4 5 Aおよび図 4 5 Bは、同第 4実施例におけるァダプテ一シヨン層での動画像符号列の区切り方の第 7の例を示す図。

図 4 6 A乃至図 4 6 Dは、同第 4実施例におけるァダプテ一シヨン層での動画像符号列の区切り方の第 8の例を示す図。

図 4 7は、同第 4実施例におけるァダプテーシヨン層でのスタッフイングの例を説明するための図。

図 4 8は、同第 4実施例における多重化器の構成の第 2の例を示す図。

図 4 9は、同第 4実施例における図 4 8の構成の多近化器の F 1 e x M u x層で生成された符号列の例を示す図。

図 5 0は、同第 4実施例におけるアクセスュニッ卜の境界および? ΐί同期マ一力 ( resync marker )のフレーム内の配置の他の例を説明するための図。

図 5 1は、同第 4実施例にぉレ、てフレーム内の領域の IS耍度に応じて誤り保護を切り替える例を説明するための図。

図 5 2 Λ乃至 5 2 Cは、同第 4実施例におけるアクセスュニットの他の構成例を示す図。図 5 3は、図 1に示される符号化装置の符号化回路の回路構成を示す図。

図 5 4は、図 2に示される複号化装置の復号回路の回路構成を示す図。

発明を実施するための最良の形態

以下、図面を参照して本発明の実施例を説明する。

図 1は、本発明の一実施例に係る符号化装置の構成を示している。カメラ 1 0

1で取り込まれた動画像は A/D変^! (A/D converter ) 1 0 2でディジタル信号に変換され、符号化回路（encoder ) 1 0 3に入力される。符号化回路 1 0 3では、 D C T変換（DCT transformation ) , 量子ィ匕（quantization )、可変長符号化（variable length encoding ) , 逆 ft子化

( dequantization ) _¾ 逆 D C T変換 ( inverse DCT trans formation ) , 動き補償 (motion compensation )などによって、動画像信号の高能率圧縮符号化（high-ef ficiency compress— encoding )力 S行われ、符号ィ匕されたデ一タ列が生成される。この符号化においては、復号に必要な重要情報がデータ列に挿入される。符号化されたデータ列の中の重要へッダ情報は重要へッダ情報再構 ( important header information reconstruction circuit )

1 0 4に入力され、ここに一旦保持される。符号化回路 1 0 3の後にはビット列 f ?成 IE]路 ( bit string reconstruction circuit ) 1 0 力あり、こで伝送路に送り出される最終的な符号列、すなわち M P E G 2などに'準拠したデ一タストリ一ムが決定される。

ビット列再構成回路 1 0 7においては、まず、ある一定のビット列単位でデータ列の先頭に同期信号回路（sync signal circuit ) 1 0 5で決定されている同期 ί言号が付加され、その後、指示情報す ίΡ入回路 1 0 6により、そのビット列に指示情報が挿入される。この指示情報は ffl耍へッダ惜報の追加の有無を示す情報であり、この指示情報をビット列に挿入することによって、そのビット列に重要ヘッダ情報を追加することが可能となる。例えば、この指示情報の直後に ffl要へッダ情報を揷入することとする。次いで、重要情報 P?構築回路（important information reconstruction circuit ) 1 0 4力り必要な Ik要ヘッダ情報が取り出され、それがビット列に付加される。なお、ここでのビット列構成の詳細は、図 4 A乃至 4 Cおよび図 5 Λ乃至 5 Eを参照して後述する。ビット列再構築回路 1 0 7で最終的に決定したビット列は、符号化された他の音声情報 ( speech information ) , 文 '(W報 ( character information)等と多重化回路（multiplexer) 1 0 8において多重化され、伝送路

( transmission path ) 1 1 0に送出される。なお、ヘッダ情報内の何を重要ヘッダ情報とするかについては、符号化回路 1 0 3の外からユーザが自由に指定することも可能である。

図 2は本発明に関わる復号部の構成である。

伝送されてきたビット列は分離回路（demultiplexer) 1 2 1において、画像情報、音声情報、文字情報等に分離 ( denmltiplex)される。画像情報のビッ卜歹 lj (まま " 、同期検出回路（synchronization detector ) 1 2 2におレヽて同期を検出することにより、ビット列内の復号開始位置を検出する。その情報が復号回路 1 2 4に送られ、ここから復号処理が開始、あるいは再開される。まず最も上位のレイヤのヘッダ情報から復号が開始されるが、これら復号された信号はエラ一チェック回路 1 2 5により誤りが混入しているかどうかがチェックされる。もし誤りの混入が確認された場合は、その部分が使用出来ないため、その旨を重要情報回路 1 2 6に伝えておく。次のレイャのへッダ情報を復号する際に、同期検出回路 1 2 2において同期を検出した後、今度は同じビット列が指示情報判定回路 1 2 3にも転送され、ここで指示情報の内容が調べられる。これにより、 E 要へッダ情報が追加されているか否力および追加されている場合にはその重要ヘッダ情報の種類及び追加位置などが検出される。この検出結朵に ¾づき、指示情報判定回路 1 2 3から復号回路 1 2 4に動作指示が与えられる。復号回路 1 2 4では、現レイヤのヘッダ情報と、そこに付加されている ϋ要ヘッダ情報の復号が行われる。 ffi要ヘッダ情報の復号結果は、 IB耍惜報持回路 1 2 6に転送され、ここで一旦保持される。もしエラ一チェック回路 1 2 5から誤り混入確認信号が来ている場合は、上位レイヤでの道要ヘッダ情報が i'ii川できないことがわかるため、復号回路 1 2 4は、現レイヤで送られてきた IS要ヘッダ情報を代用することにより、現レイヤに後続する符号列に対する復号処理を継続する。彼号された画像などの情報は、 D/Λ回路 1 2 7においてアナログ信号に戻され、モニタ 1 2 8上に表示される。次に、本実施例で用いられる画像符号列の構造について説明する。

図 3 Aおよび 3 Bは画面を複数のレイヤに分割する場合の概念図である。

—つのフレーム 200は例えば 16画素 X 16画素のマクロブロックを集めた多数のスライス（マクロブロックライン） 201に分割される（図 3A) 。一方、各スライス 201はその中がいくつかのマクロブロック 203の集合として構築されている（図 3 B) 。フレーム 200として画面全体を捉えた場合が最上位レィャとなり、その中の 201ごとに捉えた場合が次のレイヤ、 203レベルがさらにその次のレイヤということになる。

図 4A、 4B、 4 Cは、図 3A、 3 Bで示した各レイヤのデータ構造の一例を示した図である。

図 4Aは、図 3 Aに対応する最上位のフレームレイヤのビット列であり、図 4 Bは図 3 Bのスライスに対応するスライスレイャのビット列の従来例である。 ― 方、図 4Cは、図 3 Bのスライスに対応するスライスレイヤについてのここで提案する新たなビット列の例である。

図 4 Λに示されているように、フレームレイヤすなわち 1フレームの画像符号列は、ピクチャのスタート位置を示す同期信（ピクチャスタートコード； PS C) から始まる。 PSCの後にはフレームを洱生するタイミングを示すタイムレファランス（TR) 、フレーム内ノフレーム問等の予測符号化のタイプ情報（P T) が続き、その後には ift子化ステップサイズ情報（PQ) が続く。これら TR, PT, PQは画面の全ての復号処现あるいは表示に際して必要な情報であり、これらの情報が誤り等によって破壊された場合、仮にその後のレイヤで洱び同期が取れたとしても、復号あるいは表示が正しくは行われないことになる。 PQの後の Da t aには、下位のレイヤ情報が格納されており、その典型的なビット列が図 4 Bとなる。

図 4 Bに示されているように、スライスレイヤにおいては、各スライス 201 の画像符号列は、その開始を示す同期信号（SSC) から始まり、その後に予測タイプ情報（S PT) 、続いてそのスライス番号（SN) 、最後は ffl子化ステツプサイズ情報（SQ) となる。その後の Da t aは、さらに下位のマクロブロックレイヤの情報である。次に本第 1実施例で使用されるスライスレイヤの構造を図 4 Cを用いて説明する。

上述したように図 4 Aの情報は重要情報であり、この部分が使用できなレ、場合は、仮にその下層のスライスレイヤの情報が破壊されていなくても、正しく画面を復号することが出来なレ、。図 4 Aの情報が使用できない場合でもその下層のスライスレイャの情報を正しく復号できるようにするためには、図 4 Aのへッダ情報の内容がスライスレイヤで分かることが必要になる。そこで、本第 1実施例では、 S P T内に指示情報を示す予め定められたビッ卜パターンの符号を用意し、その符号が現れた場合は、図 4 Aで伝送したへッダ情報を再びスライスレイャで伝送するようにしている。この例では T Rと P Tを伝送している（この場合は S

P Tを指示情報として使用しており、 S P Tが本来の予測タイプを表していないこと力ら、 P Tが必要となっている）。図 4 Aのフレームレイヤに誤りが混入しなかった場合は、この情報（T R， P T) は使用されないことになるが、もしフレームレイヤの情報が誤り等で破壊された場合には、図 4 Cにおけるこれらの情報（T R， P T) を代用して、復号処理を続けることが可能となる。

図 5 A乃至 5 Eは図 4 A乃至 4 Cに代わる別の例である。

図 5 Aに示すフレームレイヤは図 4 Aと同様であるが、図 5 B、 5 Cのスライスレイヤにっレ、ては、そのへッダ情報に挿入される指示情報が図 4 Λ乃至 4 Cと異なっている。図 4八乃至4〇では3 丁内に指示情報を)11意したが、ここでは新たなビット（I S ) を挿入している。この I Sは 1ビットで 2種類の識別情報とすることができる力;、 2ビットととして 4嵇類の識別を行うこともできる。

I Sが次にフレームレイャの IE要情報が続くことを示してレ、る場合は、図 5 C に示されているように I Sの次に T Rを伝送し、 ¾∑号側は、フレームレイャの情報が誤り等で破壞された場合には、スライスレイヤの T Rを利用する。この場合は、 S P Tが純粋に予測タィプのみを表すようになつているため、図 4 Λ乃至 4 Cの場合のように P Tを度スライスレイヤで伝送する必要はない。

図 5 Dは図 5 Bの変形例であり、スライスレイヤにぉレ、て、 S Tを伝送しない場合の例である。この時は、 I Sの指示によってフレームレイヤの重要情報を再送する際に、スライスレイヤでは、図 5 Eのように T Rと P Tが必要になる。図 6 Λ， 6 Βは、画面が単一のレイヤで構成される場合の概念図、およびその時のビッ卜列の例である。

この場合は、図 6 Αのように、画面内が単純にブロック（マクロブロック）だけで分割される。この場合の 1フレームの画像符号列は、図 6 Bのように、一つの同期信号 P S Cのみによって画面全体の同期を取る仕組みになる。この時も T Rや P Tが重要であることにかわりなレ、ため、仮にこれらの情報が破壊された場合には、その後の情報が正しく伝送されても、復号を行うことが出来ない。従つて、何らかの方法でこれら重要情報を再度伝送する仕組みが有効である。特にランダムエラーが発生する場合、 T Rと P Tのどちらの情報も破壊される確率は、一度しか情報を伝送しない場合に比べて格段に減少する。またバ一ストエラ一が発生する場合も、これら再送情報を一度目の情報からある程度離しておくことによって、双方とも破壊される確率を減少させることができる。図 6 Bの例では、重要情報 T R， P T, P Q等の後に I Sを挿入し、この信号の指示によってこの後に T R, P T等を挿入することが可能な構成になっている。指示情報 I Sの位置は、上述した理由により、例えばバーストエラーの統計的な継続期 Rf]以上、重要情報力ら離しておくことが有効となる。

図 7は本発明に関わる符号化部の他の構成例である。

カメラ 3 0 1で取り込まれた画像は A D変換器 3 0 2でディジタノレ信号に変換され、符号化回路 3 0 3に入力される。符号化回路 3 0 3の後にはビット列再構成回路 3 0 7があり、ここで伝送路に送り出される最終的なビット列が決定される。特に、誤りが ¾生しゃすいネットワークを使川する場合は、回復しきれな力、つた誤りの伝搬を極力避けるため、予測を行わなレ、リフレッシュという換作をある一定時問ごとに行うことが普迎である。このようなリフレッシュは画而全^ に対して行うことも可能であるが（この場合はそのフレームの予測タイプがフレ —ム内になる）、リフレッシュ（フレーム內符号ィ匕）はフレーム符号化に比べて発生情報 fiが格段に多いため、特に低ビッ卜レートの符号化伝送に使用することは難しレ、。そのため、連続する複数のフレームにっき、それぞれ 1フレ一ム内の一部分のみにリフレッシュを行うことにより、複数のフレーム分の時間をかけて 1フレーム分のリフレッシュを終了するという手法を用いることが好ましい。また、誤りが復号側で検知された場合は、再送要求を出して、誤りに相当する部分のみを再送してもらうようにすることも重要である。

これらの処理を実現するためには、符号化回路 3 0 3で符号化している途中で、フレーム内 Zフレーム間の予測切り替えが行えることが必要である。仮にある一定の部分（ここでは一例として図 3 Aおよび 3 Bに示した特定のスライスとする）のみのリフレッシュを行う場合、このスライスの予測タイプはその前までのスライスの予測タイプと異なるため、非常に重要な情報となる。また、リフレツシュの場合は量子化ステップサイズもフレーム問予測の場合とは大きく異なるため、この情報も重要である。

図 7の符号化装匱においては、符号化回路 3 0 3でリフレッシュのための符号化を行った場合、符号ィヒのための情報が指示情報挿入回路 3◦ 5に送られる。一- 方、前記リフレッシュのための重要情報は符号化処理変更情報回路 3 0 6に予め格納されている。ビッ卜列再構成回路 3 0 7では、リフレツシュのための符号化が行われたスライスのビット列の先頭に同期信号回路 3 0 4で決定されている同期信号が付加され、その後、指示情報挿入回路 3 0 5により、リフレッシュを行つたことを示す指示情報が沛入される。この状態で、リフレッシュされた画像を復号するために必要な前述の重要情報が追加可能となるため、符号化処理変更情報回路 3 0 6から必要な S要情報が取り出され、スライスのビット列に付加される。なおここでのビット列怫成例の詳細は図 9 Aおよび 9 Bで説明する。

ビット列再構成回路 3 0 7で最終的に決定したビッ卜列は、他の符号化された音声情報、文字情報等と多 ffl化回路 3 0 8において多重化され、伝送路 3 1 0に送出される。なおリフレッシュに際して、どの様な情報を要情報として追加するかは符号化処理変更情報回路 3 0 6の外部からユーザが自由に指定することも可能である。

図 8は、図 7の符号化部に対応する復号装^の構成例である。伝送されてきた符号列は分離回路 3 2 0において、画像情報、音声情報、文字情報等に分離される。画像情報のビット列はまず、同期検出回路 3 2 1において同期を検出することにより、ビット列内の復号開始位置が検出される。その情報が復号回路 3 2 3 に送られ、ここから復号処理が開始、あるいは再開される。さらにビット列は指示情報判定回路 3 2 2にも転送され、ここで指示情報の内容が判定される。リフレッシュが実現可能な構成の場合、この指示情報によって、復号処理の種類をフレ一ム内ノフレーム間予測符号化タイプに合わせて変更できれば良レ、ため、復号回路 3 2 3内のフレーム内復号器 3 2 4、フレーム問復号器 3 2 5を切り替えるスィッチを、指示情報判定回路 3 2 2からの信号により切り替える。リフレツシュのためのスライスについては、フレーム内復号（intraframe decoder ) 3 2 4によって復号処理が実行される。このフレーム内復号処理は、前述の量子化ステップサイズなどの重要情報に従って制御される。復号回路 3 2 3のフレーム内復号 3 2 またはフレーム問復号器（interframe decoder ) 3 2 5で復号された画像情報は、 DZA回路 3 2 6においてアナログ信号に戻された後、モニタ 3 2 7上に表示される。

図 9 Λ， 9 Βはリフレッシュを行う場合のフレーム内の様子と、それに対応する画像符号列の構造を示した図である。

フレーム 3 5 1は複数のスライスに分割されるが、ここでは例えばフレーム間符号化を行うスライス 3 5 2の次に、リフレッシュのためのスライス 3 5 3が伝送される場合を考える（図 9 Α) 。その次のスライス 3 5 4はびフレーム間符号化となる。この時に伝送されるビット列の搽子を図 9 Βに示す。このビット列內の各部分 3 6 1 , 3 6 2および 3 6 3は、それぞれ図 9 Αのスライス 3 5 2、 3 5 3および 3 5 4に相当する。リフレッシュのためのスライスのビッ卜列に含まれている S P T 2内には、フレーム內符号化を使川したリフレッシュであることを示す指示情報が挿入される。その後の S Q 2はリフレッシュ用に用意された子化ステップサイズを示している。また、 D a 1; a 2は全て、フレーム內符号化の結果として復号される。

図 1 0八、 1 0 Bは IE要情報の内容に関する別の例を示した図であり、図 1 0 Λはフレーム、図 1 0 βはスライスレイヤのビット列である。

スライスレイヤにおいて、指示情報となる S Ρ Τ後に来る情報は図 4 Α乃至 4 Cでは T Rであった。これは表示のタイミングをそのまま表現しても良いが、場合によってはその表現に関わるビット数が多大になることもある。これを避けるために、図 1 0 A、 1 0 Bでは、圧縮符号化で一般に行われる処理であり、ある情報とこの情報に対応する、以前に伝送した情報との差分を符号化する、という手法が採用されている。

すなわち、 TRとして 0から 255までを考えた場合、これらをそのまま表現するには 8ビットを要する。しかしこれを例えば、 3フレーム以上のコマ落とし (low speed shot)がないという拘束条件が成り立つ場合を考えると、この時、表示する際に互いに隣合うフレームは、最大で 3フレーム以上は離れないことになるから、相対的なタイムレファランスとしては 4つの状態（コマ落としの数が〇、 1、 2、 3) が表現できれば十分である。この時は TRとして 2ビットあれば良いことになり、ビット数の削减が可能になる。ただしこの場合は、すでに復号された直前の情報が必要となるため、この部分の TRのみでは表示タイミングが確定しない。

図 1 0 Bは、上で説明した差分の T R (図では D T R) を ffi要へッダ情報としてスライスレイヤにて伝送する場合のビット列の例である。 DT Rが復号された後、すでに復号されている前フレームの図 1 OAに相当するフレームレイヤのピット列の TR情報に DTRを加えることによって、現フレームの真の TRを算出することができる。

図 1 1は図 1 0 Λ、 1 0 Βのような場合の復号処理を行う回路を示した図である。この図は、図 2の復号部分と入^えることによって動作する。まず分離回路 1 2 1から送られてきたビット列は、同期検出回路 1 22により復号開始位置がわかり、フレームレイヤの TR, ΡΤ等が復号器 40 1で復号される。同時にこの復号された TR情報はメモリ（2) 404に格納される。また、これらへッダ情報はェラーチェック回路 402で誤りがチェックされ、その結果がメモリ

(1) 403に云送される（以上図 1 OAについての処理）。一方、図 1 0 Bのスライスレイヤについては、まず指示情報判定回路 1 23によって S PTが判定され、その後の DTR, PTが復号回路 40 1で復号される。また、 DTRはメモリ 403に転送される。もしエラーチェック回路 402からの情報により、その上位のフレームレイヤのヘッダ情報（TR) が誤り等により使用できないことが分かった場合は、メモリ 403からメモリ 404へリクエスト信号を出して、ここにすでに格納されている前フレ一ムの TR情報をメモリ 403に転送する。メモリ 403内ではこの TRと、現フレームにおける上記 DTRとを加算して、現フレームの TRを作成し、これを復号回路 401に戻して復号処理を継続するとともに、この TR情報をメモリ 404にも転送して、次のフレームでの同様の処理に使用できるようにしておく。

図 12は、他のヘッダ情報のための用意されているビットパターンの中で未使用のパターンを指示情報として使用する場合の例である。

ここでは、 SPTとして 2ビットのビッ卜パターンが予め割り当てられている場合を想定する。予測タイプは I (フレーム内符号化（intrafrarae

encoding)) 、 P (順方向予測符号ィ匕 ί forward predictive encoding)リ、 B (双方向予測符号化（bidirectionally predictive encoding)) の 3 種類であり、それぞれ 00、 01、 10のビットパターンが割り当てられている。従って "1 1" に対する情報が未使用であるため、この符号を指示情報として使用する。つまり、 S PT力； "1 1" である場合は予測タイプではなく、その後に重要情報が続くことを示している。なお、指示情報が示す重要情報はヘッダ情報 (TR, PT， PQ) あるいはその一部でも良いし、あるいはその後のデータ

(例えば図 4 Αの Da t a) を含んでも良い。これらはシステムの要求や、ネットワークの誤り発生頻度、必要な符号化レー卜等によって変更することが可能である。

以上のように、本第 1実施例では、ヘッダ情報のような重要情報が消失しても、それを復元するための情報がある一定の指示情報の指示に従つて追加伝送されるため、 ®要へッダ情報を誤りなどが発生してそれを復号できなレ、堤合でも、その後に転送される指示情報とその指示情報で指定される復元用情報を用いて、復号処迎を正しく継続することが可能となる。

次に、本発明の第 2実施例にっレ、て説明する。

本第 2実施例に係る符号化装蹬の全体構成は図 1の符号化装と同一である。本第 2実施例においては、画像信号は、図 13のように各フレーム（ピクチャまたは VO Pとも呼ぶ）はマク口プロックと呼ばれる小領域（図中線の領域）に分割されて符号化が行われる。さらに、画像信号を符号化した画像符号列に誤りが混入した時にそのフレーム内の個々の符号列でも同期が回復できるように、フレームを 1ないしは複数マクロブロックからなるビデオパケット（図中実線の領域）と呼ばれる単位に区切って符号ィ匕が行われる。

図 14 A乃至 14Dは、符号化装置から出力される画像符号列の 1例を示したものである。図 14Aは 1つのフレーム（VOP) 全体の画像符号列である。 V OPの先頭には一意に復号可能な同期符号である VOP start code (図中 V

SC) と、その VOPに関するヘッダ情報を含む VOPヘッダ（図中 VOP header) 力つけられる。

VOPの符号列はさらに、マクロブロックデータ（図中 MB data) を含むビデォバケツト毎の符号列に区切られている。各ビデオバケツトの画像符号列の先頭には resync marker (図中 RM) と呼ばれる一意に復号可能な同期符号と、そこ続くビデ才バケツトヘッダ（図中 Video packet header) 力付けられる。ただし、 VOPの最初のビデオパケットには VOP start codeと VOP headerが付いているので、ここには resync marker (RM) とビデオバケツトヘッダ（Video packet header) は付けない。

図 14Bは、 VOPヘッダに含まれるヘッダ情報の例を示している。図中、 modulo time base ( TB) と VOP time increment (VT I ) は、その VOPの時刻を示す情報である。この時刻情報は、その VOPのフレームを復号及び表示するタイミングを規定するために使用される。

ここで、図 1 5を用いて、 VOPの時刻と、 modulo time base (MTB) 、 VOP time increment (VT 1 ) との関係を説明する。 VOP time incrementは時刻をミリ秒精度で表す情報であり、 V O Pの時刻を 1 000ミリ秒（1秒）で剰余を取った値が入る。 modulo time baseは時刻を秒精度で表す情報であり、直前に符号化した VOPと同じ秒ならば "0" になり、 ¾なる秒ならばその差分値になる。

例えば、図 1 5のように VOPの時刻（ミリ秒）が 0， 33， 700, 100

0， 1300， 1833， 2067の場合、 V〇 P time incremen はそれぞれ 1000の剰余、すなわち、 0, 33, 700， 0， 300, 833， 67 である。また、 modulo time base力 S 1となるのは、時刻を 1000で割って小数点以下を切り捨てた値（図の例では 0, 0， 0, 1， 1， 1， 2となる）力;. 直前の VOPと異なる場合、すなわち、時刻 =0， 1000, 2067に相当する VOPで "1" になり、それ以タトの VOPでは "0" になる。また、 modulo time baseは可変長符号を用いた符号化を行ってもよい。例えば modulo time baseが 0， 1, 2…のときに、可変長符号をそれぞれ " 1" , "01" ， "001" …のように対応づけて用いることも可能である。

また、図 14 Bの VOP予測モード（図中 VPT) はその VOP全体の予測符号化モード（1， B， P) を示す情報である。 VOP量子化パラメータ（図中 P Q) はその VOPの符号化に用いられた量子化ステップ幅を示す情報である。ただし、 VOPを複数のビデオパケットに分割して符号化する場合は、ビデオパケットごとに量子化ステップ幅を変更可能であるため、最初のビデオバケツ卜の量子化ステ

としてもよレ、。

図 14 Cおよび 14 Dは、ビデオノケットに付加されるへッダ情報であるビデォパケットヘッダに含まれる情報の例を示したものである。マクロブロック番号

(図中 M B A ) はそのビデオパケットの最初のマクロブロックの番号を示す情報である。ビデオパケット量子化パラメータ（図中 SQ) はそのビデオパケットの量子化ステップ幅を示す情報である。へッダ拡張コード（ header expans ion code) (図中 HEC、これは図 5 B乃至 5 Eの I Sに相当する）は、ビデオパケットヘッダに二 IS化（多重化）する ffl耍情報が追加されているかどうかを示すフラグである。 HEC力； "0" のときは図 14 Cのように逭要情報は追加されておら" f、また HECが "1" のときは図 14 Dのように ffl要情報が追加されている。図 14 Dの例では、画像フレームの時.刻情報を復元できるようにするために、逭要情報として、 VOPの時刻を表す modulo time base (図中 MTB) と VO P time increment (図中 VT I) がそのまま付加されている。

図 16は、図 14 Λ乃至 14 Dの画像符号化列に対応した復号化装蹬の構成を示すブロック図である。ここでは、図 2の復号化装 i と相対応する部分に同一の符号を付してその差¾のみを説明する。図 16の復号化装置においては、図 2の復号化装匱の構成に加え、 ¥〇卩へッダ復号回路（〇1^ header decoder) 601、ビ'デ才ノヽ⁰ケッ卜ヘッダ ί复号回路（video packet header decoder) 602、時刻復号回路（time decoder) 603、一時記憶回路（buffer memory) 621が設けられている。

同期検出回路 122で〇？ start codeが検出されると、復号回路 124 にこれが検出されたことを示す信号が通知される。復号回路 1 24はその通知に応答して、 VOP start codeに引き続く VO Pヘッダが含まれる符号列、すなわち最初のビデオバケツ卜を VOPヘッダ復号回路 601に送り、そこで VO Pヘッダの復号を実行させる。 VOPヘッダ復号回路 601では、 V〇Pヘッダに含まれる時刻、 VOP符号化モード、 VOP量子化パラメータが復号される。このうち、時刻については、 modulo time baseおよび V〇P time incrementが時刻復号回路 603に送られ、そこで時刻が復号される。

時刻復号回路 603では、まず、送られてきた modulo time baseおよび

VOP time incrementが復号されるとともに、誤りがないかのチェックが行なわれる。誤りのチェックは、 modulo time baseおよび VOP time increment力ゝら復号された時刻が、実際に存在しうる時刻であるかを検証することによって行う。例えば、符号ィヒした画像信号が NTS C信号の場合にはフレ —ムレー卜は 30 H zであるため、卩夺刻は 1 / 30秒（= 33ミリ秒）の倍数の値を取るはずである。従って、復号された時刻が 1 30秒の倍数でなかった場合には modulo time baseおよび VOP time incrementに伝送路 ¾Hり力；あると判定する。同時に、 PAL信号の場合には 1/25秒の倍数になっているかでチェック可能である。

このようなエラ一チェックのための基準値は、画像信号の嵇類（PAL， NT

SC， C I F等）ごとに符号化装置、復号化装置で予め定められた値を/ π意しておいてもよいし、（図示しなレ、）システム情報の符列にこれを示す情報を入れて示してもよいし、画像符号列の一部に入れてもよい。

時刻復号回路 603での時刻の復号およびりチェックが終わると、 VOPへッダ復号回路 601には、りがあると判定'されたときはそれを示す信号が、 m りがないと判定されたときは復号された時刻を示す信号が送られる。 V O Pへッダ複号化回路 601は、時刻に誤りがなかった場合には、一時記憶回路 621にこの時刻を示す情報を格納した後、その情報と他の情報とをあわせて復号回路 1 24に送る。一方、時刻に誤りがあったときには、その VOPヘッダが含まれる最初のビデオバケツトの符号列は破棄され、次のビデオバケツトの復号が開始される。

同期検出回路 1 2 2 T resync marker ( RM) が検出されると復号回路 1 2 4にそれらが検出されたことを示す信号が伝えられる。復号回路 1 2 4はそれに応じて、 resync marker ( RM) に引き続くビデオパケットヘッダが含まれる符号列、つまり 2番目以降のあるビデオバケツトをビデオバケツトヘッダ復号回路 6 0 1に送り、そこでビデオパケットヘッダの復号を実行させる。ビデオパケットへッダ復号回路 6 0 2では、ビデオパケットへッダに含まれるマク口ブロック番号（MB A) 、ビデオパケット量子化パラメータ（S Q) 、ヘッダ拡張コ —ド（H E C) の復号が行われる。

もし、ヘッダ拡張コード（H E C) = " 1 " だった場合には、それに引き続く modulo time baseおよび V O P time incrementを時刻復号回路 6 0 3 に送り、ここで時刻の復号を行う。時刻復号回路 6 0 3では、先の V O Pへッダの復号の場合と同様に、送られてきた modulo time baseおよび V O P time incrementを復号するとともに、誤りがなレ、かチヱックを行う。時刻復号回路 6 0 3での時刻の復号および誤りチェックが終わると、ビデオノ、。ケッ卜へッダ復号回路 6 0 2には、誤りがあると判定されたときはそれを示す信号力;、誤りがなレ、と判定されたときは復号された時刻を示す信号が送られる。ビデオへッダ復号化回路 6 0 2では、時刻に誤りがあったときには、その V O Pヘッダが含まれるビデオパケットの符号列は破桀し、次のビデオパケットの復号を行う。一方、時刻に誤りがなかった場合には、第 1の一時記億回路 6 2 1に格納されている時刻、すなわち直前に復号されたビデオパケットで得た時刻との比蛟を行 V、、現在のビデオパケッ卜が含まれる V O Pの判定を行う。もし同一の時刻であれば、そのビデオパケットは直前に復号されたビデオパケットと同一の V O Pに含まれていると判定し、復号回路 1 2 4に復号されたビデオバケツトヘッダの情報を示す信号を送って復号を行う。一方、復号された時刻と一時記憶回路 6 2 1 に格納されている時刻が ¾なる場合には、これから復号しょうとするビデオパケットは、直前に復号されたビデオバケツ卜とは異なる V O Pに含まれていると判定する。この場合は、一時記憶回路 6 2 1に復号された時刻を記録するとともに、復号回路 1 24に対して、直前のビデオパケットとこのビデオパケットとの間に VOP領域があり、このビデオバケツ卜から新しい VOPとして復号することを示す V O P分割信号、復号された時刻、および、復号されたビデオノ、'ケットへッダの情報を示す信号を送る。復号回路 1 24では VOP分割信号を受け、直前に復号されたビデオパケットで V O Pが終了したとみなして V O P復号終了処理を行い、これから復号しょうとするビデオパケッ卜が次の VO Pの最初のビデオパケットとみなして VOP復号開始処理を行い、弓 Iき続きビデオバケツ卜の復号を行う。

このような処理を行うことにより、たとえ VOP start codeおよび VOP ヘッダが誤りによって失われてしまっても、ビデオパケットヘッダの時刻情報によって V O P境界を判定できるとともに、正しレ、復号時刻を得ることができるため、復号画像の品質が向上する。

図 1 7 乃至1 7Cは、 VOPヘッダおよびビデオパケットヘッダの第 2の例を示したものである。図 14 A乃至 14 Dの例と比較すると、ヘッダに含まれる情報に誤りが入ったかどうかをチェックする CRC検査ビットが付加されている点が異なる。

図 17 Aは VOPヘッダである。図中、 CW1は VOPヘッダに含まれる modulo time base, VOP time increment, VOP符号化モード、 V〇 P量子化ノ、"ラメ一タに刘する C R Cチェックを行うための検査ビットである。図 1 7 Bおよび 1 7 Cはビデオパケットヘッダでる。図中、 CW2は、マクロブロック番号、ビデオノくケット子化ノ、。ラメ一タおよびへッダ拡張コードに対する CRCチェックを行うための検査ビットである。また、 CW3は HEC = "1" 、すなわち、蜇要情報が付加されたビデオパケットヘッダのみに存在し、重耍情報、すなわち、 modulo time baseおよび VOP time increment に対する C R Cチェックを行うための検查ビットである。

図 18は、図 1 7八乃至1 7 Cの画像符号列に対応する復号化装置の構成である。図 16の復号化装置に相対する部分に同一の符号を付してその違いのみを説明すると、 CRC判定回路 605が加わっている点が! ¾なる。

VOPヘッダ復号回路 601では、 VOPヘッダに含まれる情報の復号を行うと共に、 CRC検查ビット CW1を用いて VOPヘッダの CRCチェックを行う。もし、 CRCチェックで誤りありと判定された場合は、その VOPヘッダおよびそれが含まれるビデオバケツトを破棄して、次のビデオバケツトの復号に移る。ビデオパケットへッダ復号回路 602では、ビデオパケットへッダに含まれる情報の復号を行うと共に、 C R C検査ビット C W 2を用いてビデオパケットへッダの CRCチェックを行う。もし、 CRCチェックで誤りありと判定された場合は、そのビデオパケットへッダおよびそれが含まれるビデオパケットを破棄して、次のビデオパケットの復号に移る。もし、誤りなしと判定された場合には、復号されたヘッダ拡張コード HEじが "1 " であった場合には、それに引き続く追加された重要情報（MT Bおよび V T I ) を復号する。 C R C検査ビット C W 3を用いて重要情報に誤りが入っているか否かがチヱックされる。もし、誤りがなければ前述の図 16の複号化装置の場合と同様に、 V O Pへッダゃ他のビデオパケットへッダ中の時刻情報との比蛟、 VOP分割処理等を行う。

以上説明したように、第 2実施例にぉレ、ては、画像フレームの時刻を表す情報をそのフレーム内のビデオパケットに付加しているため、 VOPヘッダに含まれる時刻情報が誤りによつて失われてもビデオパケットへッダ中の逭要情報により正しい時刻を復号できるため、復号装置において正しい時刻に画像を再生表示することができる。

また、ビデオパケットヘッダの時刻情報と、 VOPヘッダあるいは他のビデオパケットへッダの時刻情報を比較して V O P境界判定を行うことにより、 VOP start codeが誤りによって失われても VOPの境界を正しく復号でき、復号画像の品質が向上する。

上述の例において、 IE要情報が含まれるかどうかは各ビデオバケツト ί¾にへッダ拡張コード（HEC) によって示される。例えば、すべてのビデオパケットへッダで H E C二 "1" として重要情報を入れるようにしてもよいし、一部のビデォパケットのみ H EC= "1" としてもよレ、。伝送路誤りの状態に応じて IE要情報を入れるビデオパケットの数を制御することにより、少なレ、ォ一バーへッドで効率的に重要情報を保護することができる。

例えば、上述の例のように modulo time base (MTB) と VOP time increment (VT I ) を用いて復号時刻を表す場合には、 MTB = 0の場合には時刻情報が正しく復号できなくても復号時刻の誤差は 1秒以下だが、 MT Bが 0以外の V O Pで MT Bが正しく復号されなレ、とそれ以降の V O Pで復号時刻に秒単位の大きな誤差が生じてしまう。このため、 MTBが 0の VOPでは全てのビデオパケットで H E C = " 0 " とするか少数のビデオパケットでのみ H EC =

"1" とし、 MTBが 1以外の VOPでは全てないしは多くのビデオパケットで HEC= "1" として MTBが正しく復号されるようにしても良い。

第 2の実施例では、二重化する重要情報として、時刻を表す情報（modulo time base, VOP time increment) を用いる例を示したが、この情報以外にも、例えば、符号化モードを表す情報、量子化パラメ一タを表す情報、動き補償に関する情報、動きべク卜ル情報等を合わせて二重化してもよレ、。

複数の V〇P予測モード（例えば、フレーム內予測（intraframe

predictive) VO P (I— VOP) 、前方予測（forward predictive) V O P (P— VOP) 、前方後方予測（bidirectional predictive) V O P (B -VOP) 等）を VOP毎に切り替えて符号化する場合には、この V〇P予測モ一ドに関する情報が正しく復号できないとその V O Pを復号することができなレ、。 VO P予測モードもビデオバケツトヘッダに二重化情報として含めることにより、 VOPヘッダの VOP予測モードが誤りによって失われても、ビデオバケツトへッダ中の二重化情報に含まれてレ、る V O P予測モ一ド情報をもとにその V O Pを復号することが可能である。以下、そのような例について説明する。

図 27 Aおよび 27 Bは、第 2の奘施例におけるビデオバケツトヘッダの第 3 の例を示したものである。 1つのフレーム（VOP) 全体の画像符号列および V OPヘッダはそれぞれ図 14Λおよび 14 Bと同一である。図 27 Aおよび 27 Bはそれぞれ、ヘッダ拡張コード HE C= "0" および HEC= "1" の時のビデォパケットへッダである。図 14 Λ乃至 14 Dのビデオパケットへッダに比べ、

HEC= "1" の時に、時刻を表す情報（図中 MTB, VT I ) に加え、 VOP 予測モード（図中 VPT) が含まれている点が ¾なる。

図 27 Aおよび 27 Bの画像符号列に対する復号化装置はその全 ί本構成は図 16と同じである。ただし、ビデオバケツトヘッダ復号回路 602の動作が異なる。また、一時記憶回路 62 1に時刻情報（modulo time base, VOP time increment) だけでなく、 VOP予測モード情報（VPT) も記録する点が異なる。以下、この相違点を中心に復号ィヒ回路の動作を説明する。

同期検出回路 1 22で 0？ start codeが検出されると復号回路 1 24にこれが検出されたことを示す信号が伝えられる。復号回路 1 24はそれに応じて、 VO P start codeに引き続く V O Pヘッダが含まれる符号列を V〇 Pヘッダ復号回路 60 1に送り、 V O Pへッダの復号が行われる。 V O Pへッダ復号回路 60 1では、 VOPヘッダに含まれる時刻情報（MTB, V T I ) 、 VOP符号化モード情報（VPT) 、 VOP量子化パラメータ（PQ) の復号が行われる。このうち、時刻については、 odulo time base (MTB) および VOP time increment (VT I ) を時刻復号回路 603に送り、ここで時刻の復号力'行われる。

時刻復号回路 603では、まず、送られてきた modulo time baseおよび VOP time incrementを復号するとともに、誤りがないかチェックを行う。りのチェックは、 modulo time baseおよび V〇P time increment力ら復号された時刻が、実際に存在しうる時刻であるかを検証することによって行う。例えば、符号化した画像信号が NTS C信号の場合にはフレームレ一卜は 3 0 H zであるため、時刻は 1 Z30秒（== 33ミリ秒）の倍数の値を取るはずである。従って、復号された時刻が 1/30秒の倍数でなかった場合には modulo time baseおよび VOP time incrementに ·β送路,誤りカ有ると半 lj定する。同様に、 PAL信号の場合には 1/25秒の倍数になっているかでチェック可能である。

画像信号の嵇類（PAL, NTSC, C I F等）は符号化装 i 、復号化装置で予め定められた値を丌】レ、てもよいし、（図示しなレ、）システム情報の符号列にこれを示す情報を入れて示してもよいし、画像符号列の一部に入れてレ、も良レ、。時刻復号回路 603での時刻の復号および誤りチェックが終わると、 VO Pへッダ復号回路 60 1に、誤りが有ると判定されたときはそれを示す信号が、誤り力'嘸レ、と判定されたときは復号された時刻を示す信号が送られれる。 V O Pへッダ復号化回路 601では、時刻に誤りがなかった場合には、さらに VOP予測モ —ド情報（V P T) を復号する。もし、 V O P予測モード情報にも誤りがなかつた場合は、時刻情報と V O P予測モード情報を一時記憶回路 6 2 1に格納し、他の情報とあわせて復号回路 1 2 4に送る。一方、 V O Pヘッダに含まれる時刻情報や V O P予測モード情報に誤りがあったときには、その V O Pヘッダが含まれるビデオパケットの符号列は破棄し、次のビデオパケットの復号を行う。

同期検出回路 1 2 2で resync markerが検出されると復号回路 1 2 4にそれらが検出されたことを示す信号が伝えられる。復号回路 1 2 4はそれに応じて、 resync markerに引き続くビデオバケツトヘッダが含まれる符号列をビデオバケツ卜ヘッダ復号回路 6 0 1に送り、ビデオバケツトヘッダの復号が行われる。ビデオパケットへッダ復号回路 6 0 1では、ビデオパケットへッダに含まれるマクロブロック番号、ビデオノケット量子化パラメ一タ、へッダ拡張コ一ドの復号を行う。

もし、ヘッダ拡張コード H E C = " 1 " だった場合には、それに引き続く modulo time baseおよび V O P time incrementを時刻復号回路 6 0 3 に送り、ここで時刻の復号を行う。時刻復号回路 6 0 3では、先の V O Pへッダの復号の場合と同様に、送られてきた modulo time baseおよび V〇P ime incrementを復号するとともに、誤りがないかチェックを行う。時刻復号回路 6 0 3での時刻の復号および誤りチェックが終わると、ビデオパケットへッダ復号回路 6 0 2に、誤りが有ると判定されたときはそれを示す信号が、誤りが無レ、と判定されたときは復号された時刻を示す信号が送られる。ビデオパケッ卜ヘッダ復号化回路 6 0 2では、時刻に誤りがあったときには、そのビデオパケットへッダが含まれるビデオノケットの符号列は破棄し、次のビデオ/ヽ。ケットの復号を行う。

一方、時刻に誤りがなかった場合には、さらに時刻情報に引き続く V O P予測モード情報の復号を行う。もし、 V〇 P予測モード情報にも復号誤りが無かつた場合には、復号された時刻情報と、一時記憶回路 6 2 1に格納されている時刻との比較を行い、そのビデオパケットが含まれる V O Pの判定を行う。もし同一の時刻であれば、そのビデオバケツトは直前に復号されたビデオバケツトと同一の V O Pに含まれていると判定し、復号回路 1 2 4に復号されたビデオパケットへッダの情報を示す信号を送って復号を行う。一方、復号された時刻と一時記億回路 621に格納されている時刻が異なる場合には、これから復号しょうとするビデォバケツトは、直前に復号されたビデオバケツ卜とは異なる VOPに含まれていると判定する。この場合は、一時記憶回路 621に復号された時刻情報および V〇 P予測モード情報を記録するとともに、復号回路 1 24に、このビデオパケットが V O Pの最初であることを示す V〇 P分割信号、復号された時刻、および、復号されたビデオバケツトヘッダの情報を示す信号を送る。復号回路 124では VOP分割信号を受け、直前に復号されたビデオバケツ卜で VOPが終了したとみなして VOP復号終了処理を行い、これから復号しょうとするビデオパケットが次の V O Pの最初のビデオパケットとみなして V〇 P復号開始処迎を行レ、、弓 I き続きビデオバケツトの復号を行う。

なお、ビデオパケットヘッダに含まれている VOP予測モード情報と、一時記億回路 621に記録されている VOP予測モ一ド情報が異なる場合には、そのビデォバケツトはビデオバケツトヘッダに含まれている VOP予測モードを用いて復号処理を行っても良い。これにより、 VOPヘッダに含まれている VOP予測モード情報が正しく復号できなかった場合にもそのビデオバケツ卜を復号することが可能である。

このような処理を行うことにより VOP start codeおよび VO Pヘッダが誤りによって失われてしまってもビデオバケツトヘッダの時刻情報および VO P 予測モード情報によって VOP境界と VOP予測モードを正しく識別できるため、復号画像の品贤が向上する。

なお、 V O Pへッダゃビデオパケッ卜へッダを復号する際に、画像符号列中に (図示しない）誤り検¾情報（CRC、スタッフイングビット等）がある堤合や、伝送路 /菩稍媒体からの符号列を受信する回路、あるいは、受信した符号列を面像符号列、音声符号列等に分離する逆多 ffi化回路（demultiplexer)において符号列中に誤りがあることを判定する機能がある凝合には、これらによって誤り判定された結果を fflレ、て復された V O Pへッダゃビデオパケットへッダに誤りがあるかを判定するようにしても良い。もし、これによつて復号された情報に誤りがあると判定された場合には、それらの情報は岡像復号には用いないようにする。また、誤りがあると判定された情報が含まれるビデオパケットは復号せずに破棄するようにしても良い。

図 28 Aおよび 28 Bは、第 2の実施例におけるビデオパケットへッダの第 4 の例を示している。 1つのフレーム（VOP) 全体の画像符号列および VOPへッダはそれぞれ図 14 Aおよび図 1 7 Aと同一である。図 28Aおよび 2813はそれぞれ、 H E C = " 0 " および H E C = "1" の時のビデオパケッ卜へッダである。図 1 7Bおよび 1 7 Cのビデオバケツトヘッダに比べ、 HEC= "1" の時に、時刻を表す情報（図中 MTB， VT I) に加え、 VOP予測モード（図中 VPT) が含まれている点が異なる。

図 28八ぉょび288の画像符号列に対応する復号化装置はその全体構成は図

1 8と同じである。ただし、ビデオバケツトヘッダ復号回路 602の動作が異なる。また、一時記憶回路 621に時刻情報（modulo time base, VOP time increment) だけでなく、 VO I)予測モード情報（VPT) も記録する点が異なる。以下、この相違点を中心に複号化回路の動作を説明する。

V O Pへッダ復号回路 601では、 V O Pへッダに含まれる情報の復号を行うと共に、 CRC検查ビット CW1を用いて VOPヘッダの CRCチェックを行う。もし、 CRCチェックで誤りありと判定された場合は、その VOPヘッダおよびそれが含まれるビデオパケットを破棄して、次のビデオパケットの復号に移る。ビデオバケツトヘッダ復号回路 602では、ビデオバケツトヘッダに含まれる情報の復号を行うと共に、 CRC検査ビット CW 2を/]!いてビデオバケツトへッダの CRCチェックを行う。もし、 CRCチェックで誤りありと判定された場合は、そのビデオパケッ卜ヘッダおよびそれが含まれるビデオパケットを破粲して、次のビデオパケットの復号に移る。もし、誤り無しと判定された場合には、復号されたヘッダ拡張コ一ド HECが 1であった場合には、それに引き続く二 ffi化された ffi要情報（図中 MT13, VT Iおよび VPT) を復号する。 CRC検査ビット CW3を fflいて二^化遨要情報に誤りが入っているかチェックする。もし、誤りがなければ、前述の図 16の復号化装置と同様に、 V O Pへッダゃ他のビデオバケツ卜ヘッダ中の時刻情報との比較、 VOP分割処迎等を行う。

以上説明したように、時刻を表す情報を fi要情報に含めているため、 VOPへッダに含まれる時刻情報が誤りによって失われてもビデオバケツトヘッダ中の重要情報により正しい時刻を復号できるため、復号装匱において正しい時刻に画像を再生表示することができる。また、ビデオパケットヘッダの時刻情報と、 VO Pへッダあるレ、は他のビデオパケットへッダの時刻情報を比較して V〇 P境界判定を行うことにより、 VOP start codeが誤りによって失われても V O Pの境界を正しく復号でき、復号画像の品質が向上する。

また、 VOP予測モードもビデオバケツトヘッダに二道化情報として含めることにより、 VOPヘッダの VOP予測モード情報が誤りによって失われても、ビデォパケットへッダ中の二逭化情報に含まれている V〇 P予測モ一ド情報をもとにその VOPを復号することが可能である。

また、第 2の実施例において、 VOPヘッダ、ビデオパケットヘッダに同期符 (Picture start code, Vu P start code, Resync marker等リと同一のパターンが生じないようにマーカビットと呼ばれるビットを付加してもよレ、。

図 31 Λ乃至 3 1 Dは図 14 A乃至 14 Dの符号列にマ一力ビットを付加した例である。図 31 A乃至 31 D中、 VOP time increment (VT I ) の後ろにある "marker"がマ一力ビットであり、予め定められたビット値（例えば "1" ) を持つ。

図 32 A乃至 32Cは、マ一カビッ卜のないビデオパケッ卜ヘッダとマーカビットのあるビデオパケットヘッダを比較して示したものである。図 32 Aのように、同期符号の一つである resync markerを "0000000000000 0001" というビッ卜パターンを持つ 1 7ビッ卜の符号語とする。また、 V〇 P time increment (VT I ) は 10ビッ卜の任意の値を持つ符号語であり、 MTBは最後のビッ卜が 0の可変長符号である。

図 32 Bのようにマーカビッ卜がない場合には VT Iが 0の連続するパターンになった場合には resync markerと同一のビットパターンが生じてしまう。図 32 Bの例では、 MT 1 の "0" と VT Iの "0000000000" とそれに続く "000001" とレヽぅビット歹 IJで resync markerと同一のパターンが生じてしまっている。これに対し図 3 2 Cのように VT Iの後ろにマーカビット "1 " を付加することにより、ビデオバケツトヘッダ中の連続する 0ビットの数が最大 1 1ビット (MTBの最後の 1 ビットの 0と VT Iの "0000000000" ) に抑えられるため、 resync markerと同一のビットパターンを生じることはなレ、。

なお、マーカビットは予め定められたビット値（図 3 2 A乃至 3 2 Cの例では

"1 " ) を持っため、復号化装置においてマーカビットがこの予め定められた値かどうかを判定することにより、 VOPヘッダ、ビデオパケットヘッダに伝送路誤りがあるかどうかを判定するようにしてもよい。

第 2の実施例で示した図 1 7 A乃至 1 7 C、図 2 7Λ、 2 7 Β、図 28Λ、および 28 Β等の他の符号列にも同様にマ一力ビットを付加して用いることができる。

また、このような符号列の構造はスライスレイヤを用レ、た場合にも適用できる。図 3 3は第 1の実施例におけるスライス構造を用いた符号列の別の例を示したものである。

図 3 3中、 S S Cはスライス同期符号、 E P Bは同期符号（例えば S S C ) 以外の部分が同期符号と同一のビットパターンにならないように付加されるビッ卜 \ "1 " を持つビット、 ΜΒΛはそのスライスの最初のマクロブロックの番号を示す情報、 SQUATNTはそのスライスで用いられる量子化パラメ一タ、 GF I Dはピクチャヘッダに含まれる情報またはその一部を示すための情報である。また、同期符号 S S Cを符号列中のバイト位置にそろえる場合にはスタッフイングビット S 3丁1；卩が3 S Cの前に付加される。 Macroblock Dataは各マクロブ口ックの情報である。

TRが二化された! !¾¾情報であり、時刻怙報（Temporal Reference) を示している。 TR Iは TRが付加されたかどうかを示す 1ビッ卜のフラグで、 T R I = 1の時に T Rが付加される。

次に、本発明の第 3実施例にっレ、て説明する。

図 1 9は本第 3実施例に係る動画像 ·音声符号化装置の全体構成を示す。圧縮符号化する動画像信号 1 0 1 Aおよび音声信号 1 0 2 Λはそれぞれ動画像符号化装置 1 1 1 Λおよび音声符号化装置 1 1 2 Aに入力され、それぞれ圧縮されて動画像符号列 1 21 Λおよび音声符号列 122 Aが出力される。動画像符号化装置および音声符号化装置の構成については、文献（安田浩編著、 "マルチメディア符号化の国際標準"、丸善（平成 6年））等の詳しいのでここでは省略する。動画像符号列 121 Aおよび音声符号列 1 22 Λは、データ符号列 103 Aと共に、多重化装置 130Λで多重化され、多重化符号列 135 Aが出力される。図 20は、図 19の動画像 ·音声符号化装匱（video/speech encoder)に対応する動画像 ·音声復号化装置（video/speech decoder)の全体構成を示す図である。動画像 ·音声符号化装匱からの多 fi化符号列 185 Aは、多重分離装置（demultiplexer) 1 80 Aで分离 ίされ（demultiplex)、動画像符号歹 ij 1 71 Λ、音声符号列 1 72 Αおよびデータ符号列 1 73 Aが出力される。動画像符号列 1 71 Λ、音声符号列 1 72 Αはそれぞれ動画像復号化装置（video decoder) 161 Aおよび音声復号化装置（ speech decoder) 162 Aに人力され、そこでそれぞ L^号されることにより、再生動画像信号

(reconstructed video signal) 1 51 Λおよび生音声信号 1 52 Αが出力される。

図 21 Aおよび 21 Bは、動画像符号列 1 21 Λの 2つの例を示したものである。動画像符号化装置 1 1 1 Aにおける符号化はピクチャ（フレーム， VOP) 単位に行われて動画像符号列 1 21 Aが作成される。ピクチャの中はさらにマクロブ口ックと呼ばれる小領域に分割されて符号化が行われる。

1ピクチャの動画像符号列はピクチャのスタ一卜位^を示す一意に復号可能な符号であるピクチャスタートコード（PSC) 201 Λ (VOPスタートコードともいう）からはじまる。

ピクチャスタートコード 201 Λの後ろにはピクチャヘッダ（PH) 202 A (VOPヘッダともいう）力;続く。ピクチャヘッダ 202Λには、ピクチャの時問 0勺位置を示 — PTR (Picture Temporal Reference) 221 Λ、ヒ。クチャ全体の符号化モードを示すピクチャ符号化モード（PCM) 222Λ、ピクチャ量子化ステップサイズ（PQ) 223Αが含まれている。ピクチャヘッダ 20 2 Αの後ろには各マクロプロックの符号化データ 203 Aが続く。

図 21 Bは複数のマクロブロックをまとめたスライス毎に符号化を行った例を示したものである。

各スライスの符号列においては、スライスのスタ一卜位置を示す一意に復号可能な符号である再同期マ一力（recync marker) ( RM) 2 1 O A, スライスヘッダ（S H) 2 1 1 Aが続き、さらに各マクロブロックのマクロブロックデータ（MB ) 2 0 3 Aが続く。スライスヘッダ 2 1 1 Aにはスライスの最初のマクロブロックの番号を示す S M B N (Slice Macroblock Number) 2 3 1 A、量子化ステップサイズ（S Q) 2 3 2 Λが含まれている。

再同期マ一力 2 1 O Aおよびスライスヘッダ 2 1 1 Λは、予め定められた一定ビット毎に付力 ί』しても良いし、画像フレーム中の特定の位置に付加するようにしてもよレ、。このようにスライス構造をもつ符号ィ匕を行った場合には、動画像符号列中に誤りが混入しても、一意に復号可能な同期マーカ 2 1 O Aで再同期をとることができ、誤りが伝播する範囲をそのスライスの中に収めることができるため、伝送路誤りがあったときの再生画像の品 Kが向上する。

図 2 2は、多重化器で多重化された多重化符号列 1 3 5 Λの一例を示す図である。多重化符号列 1 3 5 Aは、動画像符号列 (VIDEO) 、音声（オーディオ）符号列 (SPEECH) 、データ，制御情報符号列 (DATA) が所定のサイズごとにそれぞれ多重化されている複数の多 Jgパケットから梆成されている。図 2 2中、 3 0 1 A, 3 0 2 A, 3 0 3 Λで示す区問がそれぞれひとつの多 ffi化パケットである。これは、全ての多 IS化パケットが同じ長さ（ビット数）の固定長パケットでも良いし、多 ®化パケット毎に長さの ¾なる可変長パケットでも良い。

各多道化バケツ卜は最初に多重化バケツトのスタート位置を示す多 ffi化スター卜コード（M S C) 3 1 Ο Λが付き、その後ろに多泣化ヘッダ（MH) 3 1 1 Λ, 3 1 2 Λ, 3 1 3 Aが続く。その後ろに図 1 9の動両像符号列 1 2 1 Λ、昔声符号列 1 2 2 Α、データ符号列 1 0 3 Λをバケツ卜 ίϊί位などで多重化した多 Itt化ぺイロ一ド（図中 3 2 1 Λ， 3 2 2 Λ, 3 2 3 Λ) が続く。

図 2 3 Αおよび図 2 3 Βは多重化ヘッダ（MH) 3 1 1 Λ中に含まれる情報の第 1の例を示す図である。図中、多重化コード（M C) 3 5 1 Aは、多 ffi化ペイロード 3 2 1 Aの中に動画像符号列 (Video) 、音声符号列（Speech) 、デ一タ符号列 (Data) がどのように多重化されているかを示している情報である。この多重化コード情報（MC) に伝送誤りが生じると、多重化がどのように行われているかが分からなくなるため、多重分離装置 1 8 OAで動画像符号列、音声符号列、データ符号列を正しく分離できなくなる。このため、動画像復号化装置 161 A、音声複号化装置 1 62 Aでも正しい復号を行うことができず、再生動画像信号、音声信号の品質が劣化してしまう。

これを避けるため、多重化ヘッダ（MH) はいずれも誤り検査符号および誤り訂正符号により強い誤り保護を行う。図 23 Λおよび 23 B中、 353 Λ (CR C) が CRC誤り検查ビット、 354Λ (FEC) が誤り訂正符号の検査ビットである。

本第 3実施例では、動画像符号列 (Video) を含む多重化パケットの多化へッダ（MH) には、動画像符号列 (Video) のビデオヘッダ情報（VHD) 35 2 Λも多重化コード情報（MC) と一緒に含められている。図 23 Λおよび 23 Bの例では、ビデオヘッダ情報（VHD) 352Λが含まれる多重化ヘッダ（M H) は、 MH1 (31 1 A) およひ TVIH2 (31 2 A) である。ビデオヘッダ情報（VHD) 352Aは、動画像符号化におけるピクチャ（フレーム）全体の符号化モ一ド等の、誤りが混入すると再生画像に大きな劣化が生じてしまう ®要な情報である。例えば、動画像符号化列が図 21 Aおよび 21 Bに示すフォーマツ卜の場合は、ピクチャヘッダ 202 Aやスライスヘッダ 21 1 Λないしはその中の一部の情報をビデオへッダ情報（VHD) 352Λとして多重化へッダ中に入れる。

このように、動像符号化におけるピクチャヘッダ等の重要情報を多 S化へッダに挿入して、多 2Ϊ化コード（MC) と合わせて誤り訂正符号および誤り検出符号を生成してそれらによつて強、誤り保護を行うことが本第 3実施例の特徴である。これにより、 S要情報に対して誤り保護を行わない従来の動画像符号化装置に比べ、伝送路誤りに対する耐性が向上する。

図 24 Aおよび図 24 Bは多重化へッダ（MH) の第 2の例を示す図である。図 23 Aおよび 23 Bに示した第 1の例に相対応する情報に同一の符号を付して相違点のみを説明すると、動画像符号列 (Video) を含む多重化パケットには、多重化へッダの中にビデオへッダ情報（ V H D ) 352 Λに加え、動画像符号列のピクチャやスライスの境界の位置を示すピクチャポインタ（ALP) 451 A が含まれていることが第 1の例と異なる。

ピクチャポインタ（ALP) 451Aがない場合には、多重分离 (I装置 1 80A で動画像符号列を分離した後、動画像複号化装置 161 Aでピクチャスタートコ —ドゃ再同期マーカによりピクチャやスライス境界を検出する必要がある。これに対し、ピクチャポインタ（ALP) 451 Aを多重化ヘッダに含めた場合には、ピクチャやスライス境界がこのピクチャポインタによっても検出できる。ピクチャポィンタは多重化へッダ中で強く誤り保護が行われているため、ピクチャ境界やスライス境界が正しく検出される確率が向上し、再生画像の品質が向上する。また、ビデオヘッダ情報（VHD) 352Aには、ピクチャヘッダ、スライスへッダに含まれる全ての情報を含めても良いし、一部の情報だけを含めるようにしてもよレ、。

図 25は、動画像符号列 (Video) を含む多重化バケツト 601 A， 601 B それぞれの多重化ヘッダ中に、それぞれ対応する多重化コード（MC 1) 61 1 A, (MC 2) 621 Aに加えて、ビデオヘッダ情報として、 Picture Time

Reference (PTR1) 61 2 A, (PTR2) 622 Aのみを含めた例である。

図中、多重化パケット 601 Aの多重化ペイロード中には、 PTR 1のピクチヤの符号列の最後のスライス（Slice N) 613Aと、それに続く PTR- 2のピクチャのピクチャスター卜コード（P S C) 614Aと、 PTR-2の

Picture Time Reference ( P T R 2 ) 61 5Λと、ピクチャ符号化モード

(PCM2) 616Aと、 PTR= 2のピクチャの符号列の最初のスライスの前半部分（Slice 1) 61 7 Λが含まれている。また、多重化バケツ卜 602A のペイ口一ドには、 P T R = 2のピクチヤの符号列の最初のスラィスの後半分 (Slice 1) 623Λ、第 2スライスの ΡΪ同期マ一力（RM) 624 Λ, スライスヘッダ（SH2) 625A、 PTR= 2のピクチャの符号列の第 2スライス (Slice 2) 626 Λが含まれている。

多重化バケツト 601 Aの多重化ヘッダ（MH 1) には、その多重化バケツト 601 A中に最後の部分の符号列がある PTR= 1のピクチャの PTR612 A が含まれ、多重化コード（MC 1) 6 1 1 Aと共に誤り訂正、検出符号（CRC， FEC) で誤り保護される。従って、多重化ペイロードの動画像符号化列中に含まれる PTR (6 1 5 A) が誤りによって正しく復号できなくても、多重化へッダ中の PTR (6 1 2Λ) が正しく復号され、正しい PTRを得ることができるので、復号したピクチャを正しい時間に表示することができる。

さらに、スライス構造を用いた動画像符号化方式においては、スライススタートコード（再同期マーカ）、スライスヘッダの含まれる多蜇化パケットのビデオへッダ情報 3 5 2 Aに P T Rを入れれば、ピクチャスタ一トコ一ドが誤りによつて正しく復号できなくても、この PTRによってピクチャ境界を判定できる。例えば、ピクチャスタートコ一ド（P S C) 6 1 4 Aや PTR6 1 5 Aが欠落しても、次の多重化バケツ卜の多重化ヘッダ中に PTR 622 Aが含まれているため、これとそれより前の多重化バケツ卜の多 S化ヘッダに含まれる PTR (例えば P TR6 1 2 A) を比較し、これが等しくなければ多重化バケツト 60 1 Λにピクチヤ境界があると判定する。この場合、多重化パケット 602 A中に再同期マー力がある最初のスライス（図の例では 624Λの slice2から）正しく復号を行うことができる。

ピクチャ符号ィ匕モードが頻繁に変わる符号化方式（例えば Bピクチャを用いた符号化方式等）を用いる場合には、多重化ヘッダにピクチャ符号化モードを含めるようにしてもよレ、。

図 26は多篮化符号列の第 3の例である。この多 ffi化符号列では、各多 ffi化パケッ卜 70 1 Λ， 702 A, 703 A中にひとつのピクチャないしはスライス力'；入り、各ピクチャヘッダ（PH 1) 7 1 2Λ、スライスヘッダ（SH2) 722 Aが多逭化ヘッダ 75 1 Λ， 752 Λの中で多重化コード（MC 1 ) 7 1 1 Α, (MC 2) 72 1 Λと一 ί に誤り保護されてレ、る。このように、動颐像符号化のピクチャないしスライスと、多 2Ϊ化パケットをそろえておけば、各多 IB化バケツトは必ずピクチャないしはスライスのスター卜位 {!2であることがー意に分かるため、多重分離された画像符号列の中から改めてピクチャスタートコ一ドゃ再同期マーカを検出する必要がなく、処理量が削減される。さらには、多重化スタートコ一ドを伝送路誤りに対して強い耐性を有する符号としておけば、ピクチャゃスライスのスタート位置が正しく特定できずにそのピクチヤやスライスが復号できない確率が少なくなる。

なお、本第 3実施例では、 1つの画像/音声信号を符号化、復号化する例を示したが、複数の画像/音声信号符号化装置を用いて複数の画像音声信号を符号化および多重化し、また複数の画像 Z音声信号復号化装置を用いて複数の画像 Z 音声信号を分離 Z復号化する場合にも同様に応用できる。この場合、多重化へッダ情報に含めるビデオヘッダ情報には、複数の画像信号を識別する情報を含めるようにしても良い。

また、本第 3実施例と前述の第 1および第 2実施例とを適: I組み合わせて伝送用符号列を生成することにより、さらに信頼性の高い符号化情報の伝送が可能となる。第 3実施例において、時刻を表す P T R (Picture Time

Reference) を第 2実施例と同様の modulo time base, V O P time incrementとして取り扱うことも可能である。このように用いることにより、第 2実施例で説明したのと同様に、 modulo time base, V O P time incrementの規則性を利用したチェックを行ってもよレ、。

次に本発明による情報を蓄積する媒体に関する具^例について説明する。

図 2 9は、本発明による符号化装置から出力された画像符号列が蓄積される記録媒体 8 1 0を用いて函像信号を再-生するシステムを示す図である。記録媒体 8 1 0には、本発明による画像符号化装 gで符号化された画像符号列を含む符号列が蓄嵇されている。復号装 I置 8 2 0はこの菩稍媒体 8 1 0に蓄積されている符号列から、画像信号を生し、画像情報出力装 © 8 3 0は再生画像を出力する。例えば、コンピュータで読み取り可能な記録媒体に記録された函像情報をパ一ソナルコンピュータ等で^生する場合には、その記録媒 ί本より晒像情報のビットストリームを読み出し、瞬像坷生プログラムを用いてビットストリ一ムをソフトウェァ処理 —ることが出来る。ここで、画像情報出力装^ 8 3 0とは、例えばディスプレイ等を示す。あるいは、再生された画像信号を（図示しない）菩 '媒^に記録しても良いし、図示しない伝送路を介して他の装置又はシステムに伝送してもよい。

このような構成の本システムは、蓄積媒 ί本 8 1 0に前述の各実施例で説明した如きフォーマットの符号列を蓄積してある。この符号列は、 VOP (ピクチャ、フレームともいう）へッダ情報の一部がビデオパケッ卜（あるレ、はスライス、 G OB等）ヘッダの一部に二重化情報として記録されていることが特徴である。復号化装置 820はこの蓄稍媒体 81◦に蓄積されている符号列から、画像信号を再生する。すなわち、復号化装置 820は、蓄積媒体 810より信号線 801を介して符号列を読み込み、図 3◦に示す手順により再生画像を生成する。

以下、図 30に従って復号化装匱 820での処理の内容を説明する。

蓄積媒体 810から画像符号列を順次読み込み、まず、同期符号を検出する (ステップ S I 1) 。もし、検出された同期符号が VOP start codeだったら（ステップ S 1 2の YE S) 、直前に復号された VOP (フレーム）を画像情報出力装置 830へ出力する処理を行う（ステップ S 13) 。画像符号列中 VO P start codeに続く VO Pヘッダ（図 29中 VOP header) の復号を行う (ステップ S 14) 。もし、 VOPヘッダが正しく復号できたら（ステップ S 1 5の YES) 、復号化装置中の一時記憶回路に記録されている情報を復号された VOPヘッダ情報（時刻情報、 VOP予測モード等）で置き換える（ステップ S

16) 。 VOPヘッダに引き続くマクロブロックデータ（図 29中 MB data) を復号し、そのビデオパゲットの復号を行う（ステップ S 1 7) 。

もし、検出された同期符号が resync markerだったら（ステップ S 1 8の YES) 、 resync marker (RM) に続くビデオパケットヘッダ（マクロブロック番号（MBA) 、ビデオパケット S子化パラメータ（SQ) 、ヘッダ拡張コ —ド HEC) ) の復号を行う（ステップ S 19) 。もし、ビデオパケットヘッダ中のヘッダ拡張コード HEC= "0" だった場合には（ステップ S 20の NO) 、そのビデオパケットの復号を行う（ステップ S 1 7) 。もし、ヘッダ拡張コード HEC= "1" だった場合には（ステップ S 20の YES) 、それに引き続く二 II化情報（図 29中 DUPH) の復号を行う（ステップ S 21) 。もし、二 ffi化情報が正しく復号できたならば（ステップ S 22の YES) 、この二 ffl化情報と、 —時記憶回路に保存されていた情報を比蛟する（ステップ S 23) 。もし比蛟結果が等しければ（ステップ S 23の NO) 、ビデオパケットヘッダに引き続くマクロブロックデータ（図 29中 MB data) を復号し、そのビデオパケットを復号する（ステップ S I 7 ) 。もし、比較結果が等しくなければ（ステップ S 2 3 の Y E S ) 、このビデオパケットは直前に復号された V O Pとは異なる V O Pに厲すると判定し、直前に復号した V O Pを画像情報出力装置 8 3 0に出力する処理を行い（ステップ S 2 4 ) 、一時記憶装置に記録されている情報を復号した二重化情報で置き換える（ステップ S 2 5 ) 。さらにそのビデオパケットの復号を行う（ステップ S 1 7 ) 。

以上、図 3 0に示した同期符号検出から始まる一連の処理を、蓄積媒体 8 1 0 に記録されている画像符号列を順次読み込みながら繰り返していき、動画像信号を再生する。

なお、画像符号列をそのまま蓄積媒体に記録するのではなく、音声信号ゃォーディォ信号を符号化した符号列、データ、制御情報等との多重化を行った符号列を蓄積媒体に記録するようにしても良い。この場合、蓄積媒体に記録した情報を画像復号化装置 8 2 0で復号する前に、逆多重化装置で画像符号列と音声 ·ォーディォ符号列、データ、制御情報を逆多重化する処理を行い、逆多重化された画像符号列を復号化装置 8 2 0で復号する。

また、図 2 9では、蓄積媒体 8 1 0に記録されている情報が復号化装置 8 2 0 に信号線 8 0 1を介して伝達される例を示したが、信号線以外に、有線/無線/" 赤外線等の伝送路を介して情報を伝達しても構わなレ、。

以上のように本明によれば、萘積媒体に記録されている符号列は、 fi要な情報が二重化して記録されているため、蓄積媒体に記録された情報に誤りがある場合や、蓄稿媒体に記録された情報を洱生画像に送る信号線や伝送路において誤りが生じる場合においても、劣化の少ない再生陋像を W生することができる。

次に、本究明の第 4の実施例にっレ、て説明する。

本実施例に係る動画像 ·音声符号化装歷および動画像 .音声復号化装膛の全体構成はそれぞれ図 1 9および図 2 0と同一である。ただし、各部の動作は第 3の実 ½i例と興なる。以下、この相違点を中心に説明する。

図 3 4 Λ乃至図 3 4 Cは動画像符号列 1 2 1 Λの 3つの咧を示したものである。動画像符号化装置 1 1 1 Aにおける符号化は V O P (ピクチャ、フレーム、フィ —ルドともいう）単位に行われて動画像符号列 1 2 1 Λが作成される。ピクチャの中はさらにマクロプロックと呼ばれる小領域に分割されて符号ィヒが行われる。

1つの VO Pの動画像符号列は一意に復号可能な同期符号である VO Pスタートコード（図中 VSC) (ピクチャスタートコードともいう）力らはじまる。 V OPスタートコードの後ろには VOPヘッダ（図中 VH) (ピクチャヘッダともいう）が続く。 V〇Pヘッダには、 VOPの時刻を表す情報、 VOP符号化モ一ド、 VOP量子化ステップサイズ等が含まれている。 VOPヘッダの後ろには各マクロブロックの符号化デ—タが続く。

図 34 Aは VOP内をビデオパケット（スライス、 GOBともいう）と呼ばれる符号化単位に区切って符号化を行う例を示したものである。ビデオバケツトは 1ないしは複数のマクロブロック（図中 MB data) 力 ^らなる。例えば動きべクトルの隣接マクロブロックの動きべクトルからの予測のように、複数マクロブ G ックにわたる予測を用いた動画像符号化を行う場合には、伝送路誤りの影響が他のビデオパケッ卜に及ばないようにするため、同一のビデオパケットに含まれるマクロブロックだけから予測を行うようにしてもよい。

VOPの最初のビデオパケット以外の各ビデオパケッ卜の符号列は、一意に復号可能な同期符号である再同期マーカ（RM) (スライススタートコード、 GO Bスタートコードともいう）と、ビデオパケットヘッダ（V PH) (スライスへッダ、 GOBヘッダともいう）から始まり、さらに各マクロブロックのデータ (M B data) が続く。ビデオパケッ卜へッダにはビデオパケットの最初のマクロブロックの位置を示すマクロブロック番号（あるいはスライス -号や GOB番号）、ビデオパケットの; a子化ステップサイズ等が含まれている。さらに、第 1 および第 2の実施例で説叨したように、 VOPへッダ f f報の IE要情報を含めるようにしてもよレ、。

図 34Bは、動画像符号列を、予測モードや動きべクトルに関する情報と、動さネ ί1ϊ(¾適 ύ、予測 (motion compensation adaptive Drediction)の差 'i 号（residual error signal)あるいはそれを直交変換（orthogonal transform) (DCT等）した直交変換係数に l する情報との 2つに分けて符号化した符号列の例を示したものである。各ビデオパケットの符号列の中で、予測モ一ドや動きべク卜ルに関する情報（図中 Motion) は前方（図の例ではビデォパケットヘッダないしは V O Pヘッダのすぐ後）にあり、予測残差 D C T係数に関する情報（図中 Texture) は後方にある。 2種類の情報の間はモーションマ一力（図中 MM) で区切られている。

図 3 4 Cは、符号ィヒする画像の形状に関する情報をあわせて符号化する動画像符号化方式の符号列の例を示している。図中、 Shape が形状情報に関する情報であり、各ビデオバケツ卜のなかで予測モードや動きべクトルに関する情報 (Motion) よりも前方（図の例ではビデオパケットへッダなレ、しは V〇 Pへッダのすぐ後）にある。形状情報（Shape) と予測モードや動きべクトルに関する情報（Motion) の間はシヱープマ一力（図中 S M) で区切られている。

図 3 4 Λ乃至図 3 4 Cの動画像符号化列において、スタートコ一ドゃ再同期マ一力等の同期符号は、あるビット数の整数倍のビッ卜位-置に揃えるようにすることが好ましレ、。図 3 5 Λおよび 3 5 Bは、各ビデオパケットの最初にある V O P スタートコード（V S C) および再同期マ一力（RM) の位置を Nビットの整数倍の位置に揃えた例である。このような処理を行うことにより、同期符号を任意のビット位置に配匱する符号ィヒ方式に比べ、復号化装置で同期符号を検出する位置の数を 1 /Nに削減することができる。これにより、復号化装匱における同期検出処理が節略化されると共に、伝送路誤りによって同期符号と同一のビットパターン（疑似同期符号）力;生じ同期符号が誤って検出されてしまう類同期と呼ばれる現象の確率を 1 ZNに抑えることができ、伝送路誤りが入ったときの復号画像の品質が向上する。 - このように同期符号の位置を揃えるために、同期符号の直前の情報と同期符号の問にはスタッフイングビット（図 3 5 A中 stuffing bits) を入れる。図 3 5 Bは、 N = 8の時のスタッフイングビッ卜の符号表の例を示した図である。このスタッフイングビッ卜は従来多く 1]いられてきた全てのビッ卜が " 0 " のスタツフィンダビット等と異なり、符号列の逆方向から一意に復号でき、スタッフィングビットの長さを復号装置で特定できることが特徴である。図 3 5 Bの例では、スタッフイングビッ卜の最初の 1ビットカ； " 0 " で他のビッ卜は " 1 " である。従って、スタッフイングビットの最後のビット、すなわち、同期符号の直前のビッ卜から順に逆方向にみて最初の " 0 " のビッ卜がスタッフイングビットの最初のビットと判定することが可能である。

このように、スタッフイングビッ卜の最初のビッ卜の位置を特定できるため、復号装置にぉレ、て符号列中に伝送路誤りが混入したことを容易に検出することが可能である。符号列の復号が正しく行われた場合には、スタッフィングビットの直前のデータの復号終了位置と、スタッフイングビットの開始位置が一致しているはずである。もし、復号終了位置とスタッフイングビットの開始位置がずれていた場合には、符号列に伝送路誤りが入ったと判定し、その符号列を復^に用いないようにしても良い。

また、符号列の逆方向からも復号可能な可変長符号を用いて逆方向の復号を行う場合には、復号化装置において逆方向復号の開始位置を特定する必要がある。スタッフイングビッ卜は復号開始位匱はスタツフィングビッ卜の直前のビットであるが、従来の、例えば全てのビットが同一のビット値をもつスタッフイングビットはその長さを特定できないため、復号装置で逆方向復号の開始位置がわからない。これに対し、図 3 5 Λおよび 3 5 Bのスタッフイングビットは最初のビットの位置を特定することができるため、逆方向復号の開始位置を特定することが可能である。

また、同期符号が " 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 " のように " 0 " 力 s 多く含まれる符号語の場合、従来の全て "◦" のスタッフイングビッ卜は誤りが混入することにより同期符号と同一のビットパターンになってしまう確率が高く、類似同期を生じやすいという問題があった。これに対し、図 3 5 Aおよび 3 5 B のスタッフイングビッ卜は最初のビット以外全て " 1 " のため、 " 0 " が多く含まれる同期符号とハミング距離が離れており、類同期が生じる可能性がい。以上のように、スタッフイングビットを予め定められた規則に従って生成することにより、復号ィ匕逆多 ISィヒ装 ( decoder/demultiplexer apparatus )において、多重化符号列中のスタッフイングビットをその生成規則と照合し、もしその生成規則に反すると判定された場合には、多 ffi化符号列中に誤りが混入したと判定することが可能である。これにより、復号化逆多道化装置において、逆多重化し、復号化した信号に大きな劣化が生じないような処理を行うことにより、多重ィヒ符号列中に誤りが混入したときの復号化信号の品質を向上させることがでさる。

なお、 VOPスタ一トコ一ドゃ再同期マーカ以外に、モーションマ一力（M M) ゃシエープマーカ（SM) もあるビット数の整数倍のビット位置に揃え、その前に図 35 Bのようなスタッフイングビットを入れても良い。これにより、形状情報、予測モードゃ動きべクトル情報等も誤り検出や逆方向復号を行うことができる。

図 36は多重化器 13 OAの構成の ί列を示した図である。図 36の例では、多重化処理をァダプテ一シヨン層 1031 Λ (Adaptation Layer) と多重化層 1032 A (Multiplex layer) と呼ばれる 2段階で行う。ァダプテーション層 103 1 Aへの入力は動画像符号列 1 21 Λ、音声符号列 122 Α、データ符号列 103 Αである。ァダプテ一ション層で処理を行った出力 1041 A, 1 042A, 1043 Aは多重化層 1032 Aに入力される。多重化層からの出力が多重化符号列 135 Aになる。

図 37は動画像符号列 1 21 Aに対してァダプテ一シヨン層での処理を行った出力符号列 1041 Aの例を示したものである。ァダプテ一シヨン層での処理は、動画像符号列 1 21 Aをある単位に区切った AL— SDU (アクセスュニッ卜

(Access Unit) ともレ、う）という単位毎に処理が行われる。 1つの AL— S DUをァダプテ一シヨン層で処理した出力は A L— PDUとよばれる。図 37は 1つの A L-P DUの構成を示したものである。各 Λ L-P D Uには Λ Lへッダ (AL-header) がっく。 ALヘッダには、例えば、 AL— PDUの番号、性、動画像符号化ゃ多茧化のモ一ド等を示す情報を入れても良い。八 Lヘッダの後ろには A Lペイロード（AL payload) として Λ L— S DUが続く。さらに、その後ろに C R C検奄ビッ卜など、 A L— P D Uに伝送路誤りが入つたかどうかを検出するための検杳ビッ卜を付けても良レ、。

ァダプテ一ション層では、音声符号列 121 Aやデータ符号列 103 Aに対しても同様の処を行い、音声符号列およびデータ符号列に対する A L— P D U 1 042 Aおよび 1043 Aを出力する。ただし、 Λ Lヘッダに入れる情報や C R C検査ビットの長さや有無などは動圃像符号列に対する AL— PDU 1041 A と異なるようにしても良い。ァダプテーシヨン層で作成された AL— PDU 1041 A， 1042 A, 10 43 Aは、多重化層で多重化される。多重化は MUX— PDUと呼ばれる単位毎に行う。図 38 A乃至 38 Cは多重化を行った MUX— PDUの例を示したものである。 MUX— PDUには、多重化同期符号（MUX flag) 、多重化ヘッダ (MUX header) がっく。多重化ヘッダには、 MUX— P DUに多重化されているァダプテ一シヨン層からの出力の種類や多重化の仕方、 MUX— PDUの長さ等の情報を入れても良い。

図 38 Aは 1つの MU X— P D Uの中に 1つの Λ L-PDUを入れる例を示している。

図 38 Bは 1つの AL— PDUを複数（図の例では 2つ）の MUX— PDUに分割する例を示している。この場合、多重化ヘッダには、 MUX— PDUに含まれる分割された A L— P D Uが、 1つの A L— P D U全体の何番目にあたるかを示す情報や、 1つの A L— P D Uの最初あるレ、は最後の分割 Λ L-PD Uであることを示す情報を入れても良レ、。

図 38Cは、 1つの MUX— PDUに複数の AL— PDUを入れる例を示している。同図の例では、動画像符号列の AL— PDU (Video AL-PDU) と音声符号列の AL— PDU (Audio AL-PDU) を合わせて多重化している。この場合、多重化ヘッダには、 MUX— PDU中に含まれる複数の AL— PDUの境界を示す情報を入れても良い。あるいは、八しー1³0リの境界に、境界を示す識別子をつけてもよい。

前述のように、ァダプテ一ション屑では符号列を AL— SDUあるいはァクセスユニット（_access unit) と呼ばれる単位に区切って処理を行う。図 39 A 乃至 39 Cは、動画像符号列のァダプテ一ション屈での区」り方の例を示した図である。

図 39 A乃至 39Cは 1つの VOPを 1つのアクセスュニットとする例である。図 39 A乃至 39 Cがそれぞれ図 34 Λ乃至図 34 Cの動画像符号列に対応する。図 40Λ乃至 40Cは 1つのビデオバケツトを 1つのアクセスュニッ卜とする例である。図 40 Λ乃至 40 Cがそれぞれ図 34 A乃至図 34 Cの動画像符号列に対応する。図 3 4 Bおよび図 3 4 Cのように、ビデオパケツト内をさらに形状情報、動きべクトル情報、 D C T係数情報のように区切って符号化する場合には、アクセスュニットもこれに合わせて区切ってもよい。図 4 1 Aおよび 4 1 Bはこのような例を示している。図 4 1 Aおよび 4 1 Bがそれぞれ図 3 4 Bおよび図 3 4 Cの動画像符号列に対応している。形状情報（Shape) 、予測モードや動きべクトルに関する情報（Motion) 、残差信^その D C T係数に関する情報（Texture) 毎に、その境界を示すモーションマ一力（MM) 、シエーブマ一力（S M) を境にしてアクセスュニットを構成する。

前述のように多重化層において MU X— P D Uや A L— P D Uの境界を示す多重化同期符号、 A L境界識別子（AL boundary identif ier )等が付加されてレ、る場合には、各アクセスユニットのスタート位置はこれらの符号、識別子かち判別することができる。この場合は、動画像符号列からアクセスユニットの先頭にある同期符号を取り除いても構わなレ、。図 4 2 A乃至図 4 2〇は1っの 0？を 1つのアクセスュニッ卜にする例で、この場合は V O Pの先頭にある V O Pスタートコ一ドを取り除レ、ても構わなレ、。図 4 3 A乃至 4 3 Cは 1つのビデオパケットを 1つのアクセスュニットにする例で、この場合はビデオバケツ卜の先頭にある V O Pスタ一卜コード、再同期マーカを取り除いても構わない。図 4 4 Aおよび図 4 4 Bは形状情報（Shape) 、予測モードや動きべクトルに関する†f報 (Motion) 、残差信号やその D C T係数に閲する情報（Texture) 毎にァクセスユニットを構成する例で、この場合、ビデオパケットの先頭にある V O Pスタ —トコ一ド、同期マ一力と、 Shape、Motion、Textureの境界を示モ一シヨンマーカ (MM) 、シェ一プマ一力（S M) を取り除いても構わない。

図 4 5 Λおよび図 4 5 Bのように 1つのアクセスュ-ッ卜に 1ないしは複数のビデオパケットを入れてもよい。この場合、図 4 5 13のようにアクセスユニットの最初にある V O Pスタードコードないしは同期マ一力だけを取り除いても構わない。図 3 4 Bおよび図 3 4 Cの動画像符号列にっレ、ても同搽に複数のビデオバケツトでアクセスュニットを構成してもよい。

図 3 4 Bおよび図 3 4。のように、ビデオパケットを Shape , Motion , Textureのように分割して符号化する場合は、複数のビデオパケッ卜の Shape Motion, Textureをそれぞれ集めてアクセスユニットを構成してもよレ、。図 4 6 A乃至図 4 6 Dは図 3 4 Bの符号列に対してこのような処理を行ったもので， Motion, Textureをそれぞ; h めてアクセスユニットを構成してある。 V O Pへッダおよびビデオパケッ卜へッダは各ビデオパケット毎に Motionの前につける。

Motion, Textureを集めてアクセスュニットを構成する単位は V O P単位でも構わないし、任意の複数個のビデオパケットでも構わない。

このようなアクセスュニット構成において、各ビデオバケツ卜の Motion、 Textureの境界に同期符号をつけてもよレ、。図 4 6 Bは Motionの境界に、図 4 6 Cおよび 4 6 Dは Motionおよび Textureの境界に同期符号（RM) を入れたものである。さらに、図 4 6 Dの例では各アクセスユニットの先頭にも同期符号（V S C) を入れている。 Motionと Textureで異なる同期符号を用いてもよレヽ。例えば、 Motionではモーションマ一力を、 Textureでは再同期マ一力を用いてもよい。

なお、図 3 4 Cの動画像符号歹 Ijiこつレヽても、 Shape, Motion, Textureデ

—タをそれぞれ集めてアクセスュニットを構成することが可能である。

以上のように、 Shape、 Motion, Textureのような重要度の異なる符号歹 IJ の中から同一重要度のもの同士をそれぞれ ftめてアクセスュニットを構成し、各アクセスユニット毎に異なる誤り保護（例えば誤り訂正符号、誤り検出符号、再送等）を行うことにより、それぞれの符号列の IE要度に応じた誤り保護を行うことができ、伝送路誤りが入ったときの復号画像の品質が向上する。一般に、形状情報（Shape ) , モ一ド情報や動きべクトル情報（Motion )は伝送路誤りが入ると復号画像に大きな品質劣化を生じてしまう。このため、 Shape , Motionに対して強レ、誤り訂正符号を用いるとレ、つた強レ、誤り保護を行ってもよレ、。逆に予測残差信号 (Texture) は伝送路誤りが入ってもそれほど大きな晒質劣化を生じないため、それほど強く誤り保護を行わなくてもよく、誤り訂正符号、誤り検出符号等による冗度を少なくすることができる。

以上の動画像符号列の同期符号を取り除く例では、多重化器 1 3 0 Λで動画像符号列 1 2 1 Aに含まれている同期符号を取り除いてもよいし、画像符号化器 1 1 1 Aで予め同期符号を取り除いた動画像符号列 1 2 1 Aを多重化器に渡すようにしてもよレ、。

図 3 9 A乃至図 4 6 Dのいずれの例においても、各アクセスュニッ卜の長さがあらかじめ決められた長さの整数倍（例えばバイト単位）になるようにしてもよレ、。図 3 5 Aおよび 3 5 Bの例で示したように、動画像符号列が再同期マ一力やスタートコ一ドの前にスタツフィングビットを入れて各ビデオパケットゃ各 V O Pが Nビット（例えばバイ卜）単位になっている場合には、このスタッフイングビットを含めてアクセスュニッ卜にすれば、アクセスュニッ卜の長さを決められた長さの整数倍（バイト単位等）にすることが可能である。

もし、動画像符号列でこのような処理を行っていない場合には、図 4 7のように各アクセスュニッ卜の最後にスタッフイングビットを入れてアクセスュニットの長さを決められた長さの整数倍（バイト単位等）にしてもよレ、。スタッフイングビッ卜には例えば図 3 5 Bのスタッフィングビットを用いればよい。この場合、動画像符号列にスタッフイングビットを入れた場合と同様に、スタッフイングビットを用いて符号列に混入した誤りを検出することも可能である。また、動画像符号列以外に音声やデータの符号列に対してもスタッフイングビッ卜を付加してアクセスュニッ卜の長さを決められた長さの整数倍（バイ卜単位等）にしてもよレ、。

多重化層では、多重化ペイロード中に多 S化同期符号と同一のビットパターンがある場合、逆多逮化器でこのビットパターンを誤って多 IS化同期符号と判定し、 MU X— P D Uの境界が誤って検出されてしまう疑似同期（エミユレ一シヨン (emulation)とも言う）が生じることがある。動函像符号化器において動画像符号列中の同期符号（V O Pスタートコード、 Πί同期マーカ等）以外の部分にこれと同一のビットパターンが無いような動両像符号列を生成した場合には、動画像同期符号を用レ、て多 JB化履での疑似同期が生じたかどうかを検出することがでさる。

MU X - P D Uペイ口一ドの先頭位置と、 Λ L— P D Uの先頭位置を合わせ Μ U X - P D Uを構成する。図 3 8 Λ乃至 3 8 Cに示した例は何れもこのような構成になっている。 A L— S D U (アクセスユニット）の先頭に動画像同期符号を入れる。このようにすれば、多重化同期符号と動画像同期符号は多重化ヘッダや A Lヘッダを挟んで隣接して配匱される。もし、逆多重化装置で誤って多茧化同期符号が検出された場合、これに隣接する多重化ヘッダ、 ALヘッダおよび動画像同期符号を検出しょうとするが、検出した多重化同期符号は疑似同期であるため、本来多重化へッダ， A Lへッダぉよび動画像同期符号があるとしてこれらの復号を行った場所には全く別の情報が入っている。従って、逆多重化器において復号した多重化へッダ、 A Lへッダぉよび動画像同期符号が正しレ、情報かどうかを判定し、正しくないと判定された場合には検出した多重化同期符号を疑似同期と判定する。

図 48は、多重化器の構成の第 2の例である。この例では、多重化器は、ド 1 e xMu X層と T r a n sMu X層の 2つの階層に分かれている。さらに、 F 1 e xMu X層はァダプテ一シヨンサブレイヤ（adaptation sub-layer) (A L) と多重ィ匕サブレイヤ（Mux sub-layer) に、 T r a n s M u x層はプロテクシヨンサブレイヤ（Protection sub-layer) とトランスマックスサブレィャ (TransMux sub-layer) に分力れてレヽる。

図 49は F 1 e xMu x層で生成された符号列の例を示したものである。 10 61 Λがァダプテーシヨンサブレイヤで、 1062 Λが多重化サブレイヤで構成された符号列である。ァダプテ一シヨンサブレイヤには、多 ffi化する情報の種類や時刻を表す情報等の情報が入った ALヘッダ（Header) 1 065 Λが付き、さらに、多重化する動園像符号列、音声符号列、データ符号列等のペイロード (Payload) 1066 Aが多 IE化され、 A L— P D Uが生成される。多道化サブレイヤでは、必要に応じて、さらに AL— PDUの極類やチャネル番号などを示すィンデックス（index) 1068Aと、 AL— PDUの長さを示す情報

(length) 1069Λがついて F l e x M u x— P D Uが生成される。

F 1 e xMu x層で生成された F 1 e xMu x— PDl^ T r a n sMu x屑に入力される。 T r a n sMu x層には図 36の多 IS化器の構成を川いても構わなレヽ。この場合、プロテクション-ナブレイヤ（protection sub— layer )カ；！ 36のァダプテーシヨン層 1031 Aに、トランスマックスサブレイヤ

(transmax sub— layer、力図 36の多化層 1032 Aに相当する。あるいは、卜ランスマックスサブレイヤに図 3 6の構成を用い、プロテクションサブレィャは用いないようにしてもよレ、。

なお、スタッフイングビットによつて予め定められた長さの整数倍の長さに設定された単位符号列を多重化する構成、および同一重要度の符号語同士をそれぞれまとめてそれをアクセス単位とする構成は、前述の第 1乃至第 3実施例で説明した多重化符号化列の構造それぞれに適宜適用することができる。

また、図 4 5 Aおよび図 4 5 Bのようにひとつのアクセスュニッ卜に複数のビデォバケツ卜をいれる場合、アクセスュニッ卜の境界および再同期マーカのフレーム内の配置を図 5 0のようにしてもよい。図 5 0中、白丸が再同期マ一力のあるマクロブロック（すなわちビデオパケットの最初のマクロブロック）を、灰色丸がアクセスュニット内の最初のマクロブロックの位置を示している。このような画像では、背景部分よりも人物のほう力 Sより重要な情報であるため、伝送路誤りに対して高い耐性を有する方が好ましい。このため、人物部分に再同期マ一力を多く配してビデオパケットの間隔を細かくし、伝送路誤りから回復が早期に図れるようにして誤りに耐性を強くする。逆に、背景部分は重要度がそれほど高くないため、再同期マ一力は少なくしてビデオバケツトの間隔を広くしても構わない。 '

さらに、フレーム内をラスタスキャンの順に左上から右下のマクロブロックへと符号化する符号化方式においては、あるマクロプロックに混入した誤りがより右下のマク口プロックに波及することがある。特に m要領域内に誤りが波及すると大きな両質劣化を生じるため、 2要領域がスタ一卜するマクロプロックはァクセスュニット內の最初のマクロブロックとし、他のアクセスュニッ卜に混入した誤りの影響が及ばな!/、よ'）にしてもよい。図 5 0の例では IE耍颃城である人物の左端マクロブロックをアクセスュ-ッ卜の最初のマクロブロックにしてある。ひとつのアクセスュニッ卜の中で誤り ί呆護の強さを Jり換えられる場合には、フレーム内の領域の逭耍庶に応じて誤り保護を切り換えてもよレ、。図 5 1はこのような切り換えを行う例である。図 5 1中、萍ぃ灰色（ハッチング）の領域が強い誤り保護を行う領域（High QoS) で、より遠要な情報である人物部分にこれを割り当ててある。図 5 2 Λ乃至 5 2 Cはこれに対応するアクセスュニットの構成の例を示したものである。図中、薄い灰色（ハッチング）部分が図 5 1の薄い灰色のマク口プロックに相当するもので、この部分は強く誤り保護を行う。

ビデオパケットを Motion , Textureのように分割して符 ' 化する場合は、図 5 2 A乃至 5 2 Cのようにアクセスュニット内の前半に Motionを、後半に Textureを入れ、さらに図 5 1中薄い灰色で示した] £要領域をそれぞれの前半にくるようにしてもよい。あるいは図 5 2 Cのように Motionと Textureを別のアクセスユニットにし、それぞれの前半をより強く誤り保護してもよレ、。これらにより、重要領域の符号列のさらに重要な Motion部分をより強く誤り保護することができる。

以上説明したようにこの発明によると、 S同期マーカの配赝やアクセスュニッ卜内の構成を使用することにより、少ないオーバ一へッド（冗 ½度）でより強レ、 mり耐性を持たせることが可能である。一般に再同期マーカや強レ、誤り保護を用いることによりオーバ -ッドが増加してしまう力;、重要な情報である人物等に再同期マ一力を多く割り当てて誤り保護を強くし、背景のようなあまり重要でない領域には再同期マーカを少なくして誤り保護を弱くすることにより、全体に均 -に再同期マーカの割り当てと誤り保護を行う場合に比べ、同じ ψ-均オーバーへッドで重要情報に対してより強レ、誤り耐性を持たせることができる。

さらに、図 5 1の人物部分のように多くの再同期マーカを割り当てた場合、ビデォバケツ卜の長さがこれに対応して非常に短くなるため、 ^ビデオバケツ卜をそれぞれひとつのアクセスユニットに割り当ててしまうと、 A Lヘッダ、多遠化ヘッダ、多道化同期符号等によるオーバーへッドが非常に大きくなつてしまう。この場合は図 4 5 Aおよび図 4 5 Bのようにひとつのアクセスュニッ卜に複数のビデオバケツトを入れた方がオーバ一へッドは少なくなる。

図 5 3は、例えば図 1に示される符号化装置の符号化回路 1 0 3の回路構成を示している。これによると、符号ィ匕回路 1 0 3に入力される両像情報は、まず動き補償回路 1 0 3 6に送られる。ここで、この動き補償回路 1 0 3 6は人力画像情報とフレームメモリ 1 0 3 5に格納されている前フレーム情報との間で動き補償を行う。動き補償後の前フレーム情報と現フレーム情報との差が減算器 1 0 3 0により計算され、差分情報のみが離散コサイン変換回路（D C T) 1 0 3 1により離散コサイン変換され、量子化器 1 0 3 2により量子化され、可変長符号化回路 1 0 3 8に送られる。

一方、量了-化器 1 0 3 2の出力は逆量子化器（ I Q) 1 0 3 3により逆量子化され、その後、逆離散コサイン変換回路（I D C T) 1 0 3 4により逆離散コサイン変換される。この逆離散コサイン変換回路 1 0 3 4の出力と動き補償回路 1 0 3 6の動き補償情報とが加算器 1 0 3 7により加算され、この加算器 1 () 3 7 の出力が現フレームの復号画像情報、即ち局部復号画像情報となる。この局部復号画像情報はフレームメモリ 1 0 3 5に格納され、次のフレームの符号化に際して動き補償のためのデータとして使用される。

可変長符号化回路 1 0 3 8に送られた量子化情報は可変長符号化され、次の IE 要情報指定冋路 1 0 3 9に送られる。この重要情報指定回路 1 0 3 9は、外部から指定さ; Hる重要情報部分のみを可変長符号化情報から取り出し、重要情報成回路 1 0 4に送り出す。なお、全ての情報は重要情報指定回路 1 0 3 9での重要情報指定に関わらずそのままビット列再構成回路 1 0 7に送られる。

図 5 4は、例えば図 2に示される復号化装置の復号回路 1 2 4の回路構成を示してレ、る。これによると、分離回路 1 2 1から送られてきた画像情報は先ず受信バッファ〗 2 4 1に一旦蓄えられる。その後、同期検出回路 1 2 2からの復開始位置情報により、その後に続くヘッダ情報がヘッダ復号回路 1 2 4 2に送られ、ここで、ヘッダ情報が復号される。この時、先ず、最も上位のレイヤのヘッダ情報が復号され、その復号情報がエラ一チェック回路 1 2 5に送られ、誤り混入の有無がチェックされる。これ以降のレイャのへッダ情報は、指示情報判定回路 1 2 3からの動作指示に従って復号される。つまり、重要ヘッダ情報が存在すると指示された場合には、所定の位置の情報は重要ヘッダ情報として復号される。この重要情報は重要情報回路 1 2 6に転送され、そこに一旦格納される。重要情報回路 1 2 6において、最上位レイヤのヘッダ情報に誤りが混入されたことが発見されると、重要情報回路 1 2 6からの重要ヘッダ情報がヘッダ復号回路 1 2 4 2 へ戻されるているため、ヘッダ復号回路 1 2 4 2は重要情報回路 1 2 6からの重要へッダ情報を用、てその後の復号処理を継続する。

ヘッダ情報以降に続く情報（実際の画像情報）は逆量子化回路 1 2 4 3で逆量了-化され、逆 D C T回路 1 2 4 4に送られる。この逆 D C T回路 1 2 4 4は逆量 • 匕情報を逆離散コサイン変換し、前フレームとの差分信号を復する _n この復楚分信号は加算器 1 2 4 5によってフレームメモリ 1 2 4 6に格納されている前フレーム情報（動きべクトノレ情報を用いて動き補償を行った後の前フレーム情報）と加算される。この加算結果信号が現フレームの再生画像情報となる。この情報は D/ A変換回路 1 2 7に送られると同時にフレームメモリ 1 2 4 6にも格納される。

以上説明した各実施例の符号化 /複号化装置の構成およびストリーム構造は適 ϊ¾1み合わせて使用することができる。また、各符号化 Ζ複号化装置の動作はそれぞれソフトウェア制御による処瑰手順に置き換えて宾行することもでき、そのソフトウェアおよび符号化ストリ一ムはそれぞれ記録媒体として提供することができる。

；業上の利用可能性

以上のように、本発明によれば、符号化列自体の構造に誤り耐性能力を持たせることによって、仮にヘッダ情報などの重要情報に誤りが混入してそれを復号処理に利用出来なくなつたとしても、指示情報が示す新たな情報を代用して復号処理を正しく,継続することが可能となる。また、動画像符号列の中のピクチャへッダ、スライスヘッダ等の重要情報が、多重化ヘッダ中で誤り訂正、検出符号によつて強く誤り保護されるので、重要情報に対する誤り保護が十分でない従来の動画像符号化装置および多重化装置に比べ、伝送路りがあつたときでも高品質の動画像信号を復号することができる。さらに、スタッフィングビットを付加して、あらかじめ定められた長さの整数倍の長さを持つ多重化単位符号列を生成することにより、誤りの混入を容易に検出することができる。また、同道要度の符号語同士をそれぞれ集めてそれをアクセス単位とする構成により、符号語の重要度に応じた誤り保護を行うことが可能となり、伝送路誤りが入った場合の復号画像の品質が向上する。

Claims

請求の範囲

1 . 送信側で、ヘッダ情報またはそのヘッダ情報の一部の情報の内容を復元可能にするために必要な復元用情報を符号化情報に付加して伝送し、受信側で、前記へッダ情報またはその一部の情報にっレヽてェラーチェックを行レ、、このエラ一チェックで誤りが検出されたとき、前記復元用情報を代用して前記符号化情報を復号する情報伝送方法。

2 . 前記ヘッダ情報内には、前記復元用情報を付加したことを示す指示情報をさらに付加する請求項 1記載の情報伝送方法。

3 . 前記符号ィ匕情報は画像信号を圧縮符号化することにより得られた画像符号列を含み、前記復元用情報は、前記画像符号化列の各画像フレームの表示時刻を表す情報を含む請求項 1または 2記載の情報伝送方法。

4 . 前記符号化情報は画像信号を圧縮符号化することにより得られた画像符号列を含み、前記復元用情報は、前記画像符号列の各画像フレームの予測モ一ドを表す情報を含む請求項 1または 2記赖の情報伝送方法。

5 . 符号化情報を 2つ以上のレイヤに分け、各レイヤに同期信号および復号に必要なへッダ情報を付加する手段と、

前記符号化情報を復元するための復元 ffl情報として、上位レイヤですでに伝送した情報あるいはその一部の情報、同一レイャ内にぉレ、てすでに伝送した情報あるレ、はその一部の情報、または前記上位レイヤまたは同一レイャ内にぉレ、てすでに伝送した情報の内容若しくはその一部の情報の内容を復元するための情報を、前記符号ィ匕情報に付加して伝送する手段と、

前記へッダ情報内に前記復元用情報を付加したことを示す所定ビットバタ一ンの指示情報を挿入する手段と、

で栴成される符号化装 ffi。

6 . 同期信号と復号に必要なへッダ情報とを付加して情報を符号化する手段と、前記符号化された情報を復元するための復元川報として、すでに伝送した情報あるレ、はその一部の情報または該情報の内容あるレ、はその情報の一部の内容を示す情報を、前記符号化された情報に付加して伝送する手段と、

前記へッダ情報内に前記復元用情報を付加したことを示す所定ビットバターンの指示情報を挿入する手段と、

を具備する符号化装量。

7 . 前記ヘッダ情報内に、該ヘッダ情報が関わっている部分の符号化処理を、該へッダ情報が関わってレ、る部分以前の符号化処理からそれ以外の他の符号化処理に変更するための情報を挿入して伝送する請求項 5または 6記載の符号化装置。

8 . 前記復元用情報は、前記符号化処理を変更するための情報あるいはその一部を復元するための情報である請求項 7記載の符号化装置。

9 . 前記符号化された情報は画像信号を圧縮符号化することにより得られた画像符号列を含み、前記復元用情報は、前記画像符号列の各画像フレームの表示時刻を表す情報を含む請求項 5または 6記載の符号化装匱。

1 0 . 前記符号化された情報は画像信号を圧縮符号化することにより得られた画像符号列を含み、前記復元用情報は、前記画像符号列の各画像フレームの予測モ一ドを表す情報を含む請求項 5または 6記載の符号化装置。

1 1 . 符号化情報を 2つ以上のレイヤに分け、各レイヤに同期信号と、復号に必要なへッダ情報とを付加する手段と、

前記ヘッダ情報内から所定ビットパターンの指示情報を検出する手段と、検出された指示情報により伝送されてきたことを示す情報を、上位レイヤですでに伝送した情報あるいはその一部の情報として、同一レイヤ内においてすでに伝送した情報あるいはその一部の情報として、または ¾記上位レイャまたは同一レイヤ内においてすでに伝送した情報の内容あるいはその一部の情報の内容を復元するための情報として代用して前記符号化†i報を復号する- 段と、

を具備する復号化装。

1 2 . 同期信号と復号に必要なヘッダ情報とを付加して伝送された符号化情報を入力とする手段と、

前記へッダ情報内から所定ビッ卜パターンの指示情報を検出する手段と、前記バタ一ンが検出されたときに、前記指示情報により伝送されてきたことが示されている情報を、すでに伝送された情報あるいはその一部の情報として、あるいは該情報あるいは該一部の情報の内容を復元可能な情報として代用することにより、前記符号化情報を復号する手段と、を具備する復号ィヒ装置。

1 3 . 前記ヘッダ情報内から所定ビットパターンの変更指示情報を検出し、その情報に従って、前記ヘッダ情報が関わっている部分の復号処理を、前記ヘッダ情報が関わっている部分以前の復号処理からそれ以外の他の復号処理に変更する手段とをさらに具備する請求項 1 1または 1 2記載の復号化装匱。

1 4 . 前記符号化された情報は画像信号を圧縮符号化することにより得られた画像符号列を含み、前記復元用情報は、前記画像符号列の各画像フレームの予測モ —ドを表す情報を含む請求項 1 1または 1 2記載の復号化装匱。

1 5 . 前記復元用情報は、前記符号化処理を変更するための情報あるいはその一部を復元するための情報である請項 1 3の復号化装置。

1 6 . 前記符号化された情報は画像信号を圧縮符号化することにより得られた画像符号列を含み、前記復元用情報は、前記画像符号列の各画像フレームの表示時刻を表す情報を含む請求項 1 1または 1 2記敕の複号化装置。

1 7 . 前記復元用情報として伝送された画像フレームの表示時刻を表す情報を復号する手段と、

復号された表示時刻が、予め定められた規則、あるいは別途伝送される情報で示される規則に合致するか否かを検証することにより、該時刻情報に伝送路 mりが混入した力否かを判定する手段とをさらに具備する請求項 1 6記载の復号化装置。

1 8 . 画像信号を入力して圧縮符号化する 1以上の画像符号化手段と、

各画像符号化手段力ゝら出力された画像符号列および他のデータ情報符号列等を多重化し、多重化ヘッダおよび多 Β化ペイ口一ドを含む多 1E化符号列を出力する多重化手段と、

前記画像符号列中のへッダ情報あるレ、はその一部を前記多 ia化へッダ中に柿入する手段と、

前記多重化へッダ中の情報から生成された誤り訂正 "検出符号を前記多 IE 化へッダに付加し、前記画像符号列中のへッダ情報を前記多逭化へッダ中の多 S 化に係る他の情報と共に誤り訂正/検出符号で誤り保護して伝送する手段と、を具備する符号化装置。

1 9. 前記多重化ヘッダ中に含められる前記画像符号列中のヘッダ情報は、前記画像符号列中の画像フレームの表示時刻を表す情報が含まれる請求項 1 8記載の符号化装置。

2 0. 画像符号列等を多重化して生成され、多重化ヘッダおよび多重化ペイ口一ドを含み、前記画像符号列中のヘッダ情報あるいはその一部は前記多重化ヘッダ中で他の多重化に係る情報と共に誤り訂正 Z検出符号で誤り保護されている多重化符号列を入力とし、それを 1ないしは複数の画像符号列および他のデータ情報符号列等に分離する多重分離手段と、

多重分離された画像符号列を復号化する画像復号化手段と、

前記画像符号列中のへッダ情報にっレ、ての誤りが検出されたとき、前記多重化へッダ中に含まれる前記画像符号列中のへッダ情報を利用して前記画像符号列を復号する手段と、

を具備する複号化装匱。

2 1 . 前記多重化ヘッダ中に含められる前記画像符号列中のヘッダ情報は、前記画像符号列中の画像フレームの表示時刻を表す情報を含む請求項 2 0記載の復号化装置。

2 2. 復号に必要なへッダ情報および前記へッダ情報またはそのへッダ情報の一部の情報の内容を復元可能にするための復元/!!情報が付加され、復号化装で前記へッダ情報またはその一部の情報にっレ、てのりが検出されたとき、前記復元用情報を代用して復号される符号列を記録した記録媒体。

2 3 . 入力信号を圧縮符号化して得られた複数種類の圧縮符号列を符号化の単位毎に区切る手段と、

前記区切られた圧縮符号列に各区 /jり位毎にスタツフィングビッ卜を付加して形成され、予め定められた長さの整数倍の長さを持つ多 IE化位符号列を生成する手段と、

前記多重化- ¥-位符号列を多重化して多 ϋ化符号列を生成する手段と、により構成される符号ィヒ ·多道化装置。

2 4 . 多重化符号列を入力して多重化単位符号列を逆多重化する手段と、

前記多重化単位符号列中の圧縮符号列と付加された. とを分離する手段と、

前記分離された圧縮符号列を復号化する手段と、

前記複号化手段における圧縮符号列の復号化の終了位置と、前記スタッフィングビッ卜の開始位匱を比較することにより、前記多重化された符号列中の誤りを検出する手 ¾と、

により構成される復号化 ·逆多重化装匱。

2 5 . 前記スタッフイングビットは逆方向から一意に復号可能である請求項 2 3 記載の符号化 ·多重化装置。

2 6 . 前記分離手段は、前記スタッフイングビットを逆方向から復号することにより圧縮符号列の逆方向からの復号を開始する位置を判定し、前記複号化手段は、前記判定された開始位匱から逆方向の復号を開始する請求項 2 4記載の復号化 · 逆多重化装置。

2 7. 入力信号をある符号化単位に区切って符号化し圧縮符号列を生成する圧縮符号化手段と、

前記区切られた圧縮符号列から重要度が同一の符号語をそれぞれ集めて多重化符号列を生成する手段と、

前記各重要度に応じて集められた多重化符号列に、前記符号化舉位の区切りを示す符号を挿入する手段と、

により構成される符号化 ·多 21化装置。

2 8 . 圧縮符号列を符号語の重要度に応じて柒めて多重化した多 E化符号列を入力して逆多重化する手段と、

前記多重化符号列中の符号化の区切りを示す符号を検出して各区切られた符号列に対応する符号化位を特定する手段と、

前記重要度に応じて多 2E化された多重化符号列から同一の符号化区切りに対応する符号列を集めて圧縮符号列を生成する手段と、

前記圧縮符号列を復号する手段と、

により構成される復号化 ·逆多重化装置。

2 9 . 動画像信号を符号化して符号化データ列を生成し、

符号化データを複数のレイヤに分けて上位レイャおよび下位レイャの少なくともいくつかに復号に必要な重要へッダ情報を付加して伝送する、情報伝送方法。

3 0 . 前記符号化データ列を複数のレイヤに分け、上位レイヤから復号し、復号データをエラーチェックし、

復号データから重要ヘッダ情報を抽出し、エラ一チヱックの結果に応じて下位レイャの重要へッダ情報を代用して復号を継続する、

請求項 2 9記載の情報伝送方法。