JP4218112B2 - マルチメディア通信システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、情報源符号化された音声、ビデオ、データを多重化して送信するメディア多重化装置に関し、特に、ビデオの符号化列を多重化の単位となるパケットに分割する際に誤りに対する耐性を強化したビデオパケット生成方式の機能に関する。また、多重化ストリームを受信して各メディアに分離して得られるビデオの符号化列を復号するメディア分離装置に関し、特に、ビデオの符号化列を復号する際に、誤りに対する耐性を強化したビデオ復号方式の機能に関する。また、情報源符号化された音声、ビデオ、データを多重化して送信し、多重化されたストリームを受信して音声、ビデオ、データに分離して復号するマルチメディア通信システムに関する。
【０００２】
【従来の技術】
従来の動画像符号化方式、たとえばITU-T勧告H.263（以下、H.263と略す）で符号化された動画像符号化列を、ITU-T勧告H.223（以下、H.223と略す）を用いて多重化して伝送する場合を述べる。ここで、H.223は、圧縮符号化された音声、ビデオ、データ等の符号化列を１つのビットストリームに多重化して伝送する際の多重化方式を規定している。
【０００３】
図１６にH.223で勧告された多重化部の構成を示す。図１６に示すように、H.223の多重化部は、アダプテーションレイヤと、多重化レイヤとの２階層から構成される。アダプテーションレイヤは、音声や動画像を符号化するアプリケーションレイヤからの符号化列をAL-SDU(Adaptation Layer Service Data Unit)と呼ばれるパケット単位で入力とし、誤り検出符号(CRC)やその他必要に応じて制御情報を付加する(AL-PDU(Adaptation Layer Protocol Data Unit))。多重化レイヤは、アダプテーションレイヤから出力される各種メディアのパケット(AL-PDU)をMUX-SDU(Multiplex Service Data Unit)と呼ばれるパケットとして入力し、１つのビットストリームにまとめ、すなわち多重化して伝送する。多重化レイヤで多重化されたビットストリームは、MUX-PDU(Multiplex Protocol Data Unit)と呼ばれ、同期フラグ、ヘッダ、MUX-SDUを格納する情報フィールドからなる。なお、アプリケーションレイヤからの符号化列を多重化部で処理される単位となる(AL-SDU)に分割する方法はH.223の規定の範囲外である。
【０００４】
上述した多重化部は送信側の機能である。受信側では送信側と逆の処理を行う分離部を有する。分離部では、分離レイヤにて受信したビットストリーム(MUX-PDU)から、各種メディアのパケットを分離し(MUX-SDU)、アダプテーションレイヤに出力する(AL-PDU)。アダプテーションレイヤでは、AL-PDUに含まれる誤り検出符号(CRC)を復号し、受信したパケット(AL-PDU)の誤り検出を行う。誤り検出の結果はパケット内のメディア情報符号化列(AL-SDU)とともにアプリケーションレイヤに出力する。誤り検出の結果をアプリケーションレイヤでどのように用いるかはH.223の規定の範囲外である。
【０００５】
【発明が解決しようとする課題】
ところで、上述のH.263による動画像符号化方式では、入力画像をある決められたブロック（16X16画素サイズの輝度信号と8X8画素サイズの色差信号とをまとめた単位でマクロブロックと呼ばれる）単位で符号化するため、H.263により符号化された動画像符号化列をAL-SDUへパケット化する方法として、たとえば、複数のマクロブロックの符号化データをまとめて１つのパケットとする方法が考えられる。
【０００６】
しかし、上述したように、H.223では、AL-SDU毎に誤り検出符号が付き、受信側のアプリケーションレイヤでは、誤り検出の結果をAL-SDUとともに受け取るように勧告されていたため、複数のマクロブロックの符号化データをまとめて１つのAL-SDUとした場合には、誤り検出の結果によりAL-SDUに含まれる複数のマクロブロックのいずれかに誤りがあることは判別できるが、どのマクロブロックで誤りが発生したのか、また、マクロブロック内のどの情報で誤りが発生したかを特定することはできず、アプリケーションレイヤで受け取った誤り検出の結果を効果的に利用した誤り隠蔽処理を行うことができない、という課題があった。
【０００７】
本発明は、かかる問題点を解決するためになされたものであり、送信側で動画像符号化列の重要な情報を１つのパケットにして誤り検出符号を付加することによって、受信側ではパケット毎に復号された誤り検出結果により、重要な情報領域で誤りが発生したかを判別することができ、動画像符号化列の復号処理過程において、この誤り検出結果を利用することにより、効果的に誤りから復帰することのできるメディア多重化装置、動画像復号装置およびマルチメディア通信システムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、本発明では、音声、ビデオ、データ等の各種メディア情報を符号化して符号化列を生成し、符号化列を分割して、分割した各パケット毎に誤り検出符号を付加した各種メディアパケットを多重化して通信回線を介して伝送する送信装置と、多重化されたストリームを受信して、各種メディアパケットを分離し、各種メディアパケットを対応するメディア情報復号部で復号する受信装置とを備えたマルチメディア通信システムにおいて、前記受信装置側は、各種メディアパケット毎に付加された誤り検出符号を復号する手段を備え、前記送信装置側は、前記受信装置側で検出された誤りに基づき、回線の誤り状況を監視する手段と、音声、ビデオ、データの各メディアパケットを１つのストリームに多重化するときに、回線の誤り状況に応じて、１つの多重化ストリームに含まれる音声、ビデオ、データの比率を変えて多重化する手段と、を備えたことを特徴とする。
【００１７】
【発明の実施の形態】
実施の形態１．
本実施の形態１では、MPEG-4符号化方式(ISO/IEC 14496-2)で符号化された動画像符号化列等のビデオ符号化列を、音声符号化列、データ符号化列とともに、H.223を用いて多重化して送信し、多重化されたストリームを受信して音声、ビデオ、データを再生するマルチメディア通信システムの送信装置において、動画像符号化列を多重化部における処理の単位にパケット化するビデオパケット生成方式について述べる。また、受信した多重化ストリームを動画像符号化列、音声符号化列、データ符号化列のパケットに分離して復号する受信装置において、得られた動画像符号化列のパケットから誤り検出符号を復号し、復号した誤り検出結果を利用して、誤り耐性を高めて動画像を復号するビデオ復号方式について述べる。
【００１８】
図１に、本実施の形態１におけるマルチメディア通信システムの送信装置の構成を示す。図１において、1はMPEG-4ビデオ符号化部、2は音声符号化部、3はデータ符号化部、4はパケット生成部、5は多重化部、6は動画像符号化列パケット生成部、7は音声符号化列パケット生成部、8はデータ符号化列パケット生成部、9は入力画像信号、10は入力音声信号、11は入力データ信号、12は動画像符号化列、13は音声符号化列、14はデータ符号化列、15は動画像符号化列のパケット、16は音声符号化列のパケット、17はデータ符号化列のパケット、18は多重化ストリーム、である。
【００１９】
次に図１に示す送信装置の動作を説明する。
MPEG-4ビデオ符号化部1では、画像信号9を入力とし、MPEG-4方式により圧縮符号化して動画像符号化列12を出力する。音声符号化部2では、音声信号10を入力とし、各種の音声符号化方式により圧縮符号化して音声符号化列13を出力する。データ符号化部3では、ビデオと音声の同期信号や制御信号等のデータ信号11を入力とし、圧縮符号化あるいはデータ構造の変換等を行い、データ符号化列14を出力する。
【００２０】
動画像符号化列12、音声符号化列13、データ符号化列14は、それぞれ、パケット生成部4において、多重化部における処理の単位となるパケット(AL-SDU)に分割される。生成されたパケット(AL-SDU)は、誤り検出符号等が付加された後、多重化部5にて、動画像符号化列、音声符号化列、データ符号化列のパケット(MUX-SDU)を１つにまとめられて多重化ストリーム(MUX-PDU)18として出力される。多重化部５の動作は従来技術で述べた通りである。
【００２１】
次に、本実施の形態１の特徴であるパケット生成部4について詳細に説明する。
なお、パケット生成部4は、動画像符号化列パケット生成部6、音声符号化列パケット生成部7、データ符号化列パケット生成部8からなるが、本実施の形態１では、特に動画像符号化列パケット生成部6の動作について説明する。
【００２２】
ここで、MPEG-4ビデオ符号化部1より出力される動画像符号化列12は、MPEG-4で規定される後述のデータパーティショニングの機能を用いて符号化されているものとする。
まず、MPEG-4ビデオ符号化部1より出力される動画像符号化列12の構造から説明する。
【００２３】
図２に、MPEG-4ビデオ符号化部1より出力される動画像符号化列12の構造を示す。入力画像の各フレーム（MPEG-4では、ビデオオブジェクトプレーン、VOPと呼ばれる）は、ビデオパケットと呼ばれる再同期単位に分割されて符号化される。
【００２４】
ビデオパケットは、画像空間上では、複数のマクロブロックの集合である。動画像符号化列上では、図２(a)に示すように、複数のマクロブロック単位の符号化データ（マクロブロックデータ）と、再同期のためのユニークワード（再同期マーカー）と、再同期のために必要なヘッダ情報（VPヘッダ）をひとまとめにした単位にあたる。なお、各フレームの先頭のビデオパケットでは、図２(a)に示すように、再同期マーカーの代わりに、フレームの先頭であることを示すユニークコード(VOPスタートコード)と、VPヘッダの代わりに各フレーム内の符号化データを復号するにあたり必要なヘッダ情報(VOPヘッダ)が符号化されている。
【００２５】
データパーティショニングとは、図２(b)に示すように、ビデオパケット中のマクロブロックデータにn個のマクロブロックに関する情報が含まれているときに、n個のマクロブロックの動きベクトルおよびヘッダ情報と、n個のマクロブロックのテクスチャ情報とをそれぞれまとめて配置する構造を指す。動きベクトルと、テクスチャ情報との境界は動きマーカーと呼ばれるユニークワードにより判別する。
【００２６】
動画像符号化列パケット生成部6は、図２に示す構造を有する動画像符号化列を入力とし、入力した動画像符号化列を多重化部における処理の単位となるパケット(AL-SDU)に分割してパケット(AL-PDU)を生成して出力する。
【００２７】
図３に、図２に示す本実施の形態１の動画像符号化列をパケット(AL-SDU)に分割してパケット(AL-PDU)を生成する手法を示す。
入力された動画像符号化列は、図３に示すように、図２（ａ）に示すビデオパケット毎に各ビデオパケットに含まれる動き情報とマクロブロックヘッダ情報の組、動きマーカーとテクスチャ情報の組、再同期マーカーとVPヘッダの組、というようにそれぞれの組を１つのパケット(AL-SDU)としてマッピングする。尚、図２（ａ）に示すように先頭のビデオパケットの場合は、上述したように、再同期マーカーの代わりにVOPスタートコード、VPヘッダの代わりにVOPヘッダが付加されているので、再同期マーカーとVPヘッダの組の代わりにVOPスタートコードとVOPヘッダとの組が１つのパケット(AL-SDU)としてマッピングされることになる。
【００２８】
ここで、各パケット(AL-SDU)の長さは、８ビットの整数倍になっている必要があるが、パケットにマッピングする情報（動き情報とマクロブロックヘッダ情報、動きマーカーとテクスチャ情報、再同期マーカーとVPヘッダ）が８ビットの整数倍になっているとは限らない。従って、動き情報とマクロブロックヘッダ情報、動きマーカーとテクスチャ情報、再同期マーカーとVPヘッダをそれぞれ正確に１つのパケット(AL-SDU)にマッピングするのではなく、再同期マーカーとVPヘッダが含まれるパケットに、動き情報の一部が含まれることもある。
ただし、各パケット(AL-SDU)から構成される１ビデオパケットは、８ビットの整数倍になっているため、異なるビデオパケットのデータが同一のパケットにマッピングされることはない。
【００２９】
多重化部５の動作については詳述しないが、多重化部５では、図３に示すように、パケット(AL-SDU)毎に誤り検出符号(CRC)や、必要に応じて制御情報を付加して、パケット(AL-PDU)を生成する。また、各パケット(AL-SDU)がさらに複数のパケットに分割され、分割された各パケットに対して誤り訂正のための符号が付与された後、誤り検出符号(CRC)や制御情報を付加してパケット(AL-PDU)を生成する場合もある。
【００３０】
次に、送信装置側より送信された多重化ストリームを受信して音声、ビデオ、データなどの各種メディア情報を復号する受信装置側の構成および動作を説明する。
【００３１】
図４に、マルチメディア通信システムの受信装置の構成を示す。図４において、25は多重化ストリーム、26はビデオのメディアパケット、27は音声のメディアパケット、28はデータのメディアパケット、29は動画像符号化列のパケット、30は動画像符号化列の誤り検出結果、31は音声符号化列のパケット、32は音声符号化列の誤り検出結果、33はデータ符号化列のパケット、34はデータ符号化列の誤り検出結果、35は復号画像信号、36は復号音声信号、37は復号データ信号、である。
【００３２】
分離部20では、多重化ストリーム25に含まれる同期フラグやヘッダ情報を利用して、音声、ビデオ、データ等の各メディアパケット(MUX-SDU)を分離する。分離された各メディアパケット26〜28は、それぞれ、誤り検出／パケット分離部21に入力され、各メディアパケット26〜28に含まれる誤り検出符号が復号され、誤り検出符号と制御情報とが取り除かれた各パケット(AL-SDU)29，31，33と、復号された誤り検出結果30，32，34とが、それぞれ対応する情報源復号部22〜24へ出力される。
【００３３】
なお、メディアパケットに誤り訂正のための符号が含まれている場合には、誤り訂正復号して、メディアパケット内の誤りを訂正する。訂正能力を超えて残存した誤りがあるかどうかについては、誤り訂正復号後のメディアパケットに含まれる誤り検出符号を復号して調べる。この場合には、メディアパケット26〜28から、誤り訂正符号、誤り検出符号および制御情報とが取り除かれたビデオ、音声、データの符号化列のパケット(AL-SDU)29，31，33と、それらの誤り検出結果30，32，34とは、それぞれ対応する情報源復号部22〜24へ出力される。つまり、動画像符号化列のパケット29の場合には、MPEG-4ビデオ復号部22へ、音声符号化列のパケット31の場合には、音声復号部23へ、データ符号化列のパケット33である場合には、データ復号部24へ出力される。
【００３４】
次に、本実施の形態１のMPEG-4ビデオ復号部22の構成および動作を説明する。
【００３５】
図５に、MPEG-4ビデオ復号部22の構成を示す。図５において、40は可変長復号部、41は逆量子化部、42は動き補償部、43はメモリ、44は補填画像生成部、45は逆DCT部、46は加算部、47は切替部、48は切替部、49は復号ブロックデータ、50は復号付加情報、51は動きベクトル、52は参照画像、53は復号予測誤差信号、54は復号画像、55は予測画像、56は誤り検出フラグ、57は補填画像、である。なお、復号画像54および補填画像57がMPEG-4ビデオ復号部22から出力される復号画像信号35である。
【００３６】
次に、図５に示すMPEG-4ビデオ復号部22の動作を説明する。
まず、動画像符号化列29のパケットは、可変長復号部40にて、MPEG-4で規定されるシンタックスに基づき、可変長復号される。
【００３７】
その際、可変長復号部40は、動画像符号化列29を復号したときの復号誤り検出機構を備えており、復号した値が不正な値である場合、あるいは同期が外れて復号の継続が不可能な場合等には、復号誤りとして検出する。誤りを検出したときには、誤り検出フラグ56を補填画像生成部44へ出力する。また、図２（ｂ）に示すようにデータパーティショニングの機能を用いて符号化された動画像符号化列のパケットのときに、動き情報領域で誤りを検出せずに復号し、テクスチャ情報領域で誤りを検出した場合には（図３参照。）、切替部48へ誤り検出フラグ56を出力する。
【００３８】
可変長復号部40で復号された動きベクトル51は、動き補償部42にて、動き補償を行うために用いられる。動き補償部42は、動きベクトル51に基づいてメモリ43内の参照画像52から予測画像55を取り出す。予測画像55は、切替部48へ出力され、誤り検出フラグ56を受け取っている場合には、補填画像生成部44へ出力される。誤り検出フラグ56を受け取っていない場合には、加算部46へ出力される。
【００３９】
また、可変長復号部40で復号されたブロックデータ49は、逆量子化部41、逆DCT部45を経て、復号予測誤差信号53となる。復号予測誤差信号53は、加算部46にて、動き補償部42から取り出された予測画像55と加算され、復号画像信号54となる。なお、復号された付加情報50に含まれるマクロブロックタイプがイントラ符号化を示している場合には、切替部47にて0信号が選択され、予測画像55の加算は行われず、復号予測誤差信号53が復号画像54となる。ここで、復号画像54は、復号マクロブロックを意味し、４つの輝度ブロックと２つの色差ブロックとから構成される。復号画像54は、次のフレームの参照画像として用いられるため、メモリ43に書き込まれる。
【００４０】
次に、本実施の形態１の特徴である可変長復号部40について、詳細に説明する。
本実施の形態１で述べた図１に示す送信装置より伝送された多重化ストリームを受信した場合、MPEG-4ビデオ復号部22の可変長復号部40へ入力される動画像符号化列29は、図３に示すように、ビデオパケットに含まれる動き情報とマクロブロックヘッダ情報、動きマーカーとテクスチャ情報、再同期マーカーとVPヘッダそれぞれを、１パケットとした単位で入力される。また、それぞれのパケットとともにそのパケットに誤りが含まれるか否かを示す誤り検出結果30も入力される。
【００４１】
本実施の形態１では、動画像符号化列にビット誤りが含まれる場合の復号処理について述べる。
【００４２】
図６に、動き情報とマクロブロックヘッダの情報領域にビット誤りが発生した場合における誤り検出結果の例を示す。図６は、動き情報とマクロブロックヘッダの情報領域でビット誤りが発生した場合に、誤り（エラー）を検出できずに復号を継続し、テクスチャ情報の途中まで正常に復号を行ってテクスチャ情報領域で誤り（エラー）を検出する場合を示している。
【００４３】
この場合、従来の復号処理においては、誤りを検出するまでの復号結果を正しいと信じて誤り（エラー）を検出した位置より誤り隠蔽処理を施すため、例えば、図６に示す例においては、次の再同期マーカーを探索するとともに、誤りを検出した位置から再同期までの符号化列を破棄し、誤りを検出した位置のマクロブロック以降は、動きマーカー以前に復号された動きベクトルを使って作成したマクロブロックデータで補填することになる。
【００４４】
しかしながら、図６に示す場合では、実際、動き情報とマクロブロックヘッダの情報領域で誤りが発生しているため、誤って復号された動きベクトルやマクロブロックヘッダ情報を用いて補填画像を作成すれば、復元した画像において、主観画質上極めて劣悪な画質劣化を引き起こす。
【００４５】
そこで、本実施の形態１におけるMPEG-4ビデオ復号部22においては、動画像符号化列29のパケットとともに入力されるエラー検出結果30を用いて誤り隠蔽処理を行う。
【００４６】
図７は、本実施の形態１のMPEG-4ビデオ復号部22における復号処理を説明するフローチャートである。
まず、本実施の形態１のMPEG-4ビデオ復号部22は、図６に示すように、ビデオパケットの先頭を示す再同期マーカーを検出すると(S1“Yes”)、続いてVPヘッダ情報を復号すると共に(S2)、ＶＰヘッダに復号誤りのエラーがあったか否かを検出する(S3)。そして、VPヘッダ情報の復号の際にエラーを検出した場合には(S3“Yes”)、そのVPヘッダを持つビデオパケット（VP）内の全データを破棄して誤り隠蔽処理（コンシールメント）を行う(S4)。
【００４７】
これに対し、VPヘッダ情報を復号の際に復号誤りのエラーを検出しなかった場合には(S3“No”)、続いて次のパケット（AL-SDU）に含まれる（図３参照。）動き情報とマクロブロックヘッダ情報を復号すると共に(S5)、復号誤りのエラーがあったか否かを判断する(S6)。このS5の動き情報とマクロブロックヘッダ情報の復号処理およびS6のエラー検出判断処理は、その次のパケット（AL-SDU）に含まれる動きマーカーが検出されるまで(S7“Yes”)、繰り返す。
【００４８】
そして、その動き情報とマクロブロックヘッダ情報を復号の際、復号誤りのエラーを検出した場合には(S6“Yes”)、S3でエラーを検出した場合と同様に、そのビデオパケット（VP）内の全データを破棄して誤り隠蔽処理（コンシールメント）を行う(S4)。
【００４９】
これに対し、エラーを検出せず(S6“No”)、次のパケット（AL-SDU）に含まれる動きマーカーを検出した場合には(S7“Yes”)、続いてそのパケット（AL-SDU）に含まれるテクスチャ情報を復号して(S8)、復号誤りを検出したか否かを判断する(S9)。
【００５０】
ここで、上述した図６に示す場合は、実際はS5の動き情報とマクロブロックヘッダの復号の際にエラーが発生しているのに、S8のテクスチャ情報の復号処理の際に、S9により誤りを検出した一例である。
【００５１】
このため、本実施の形態１では、このような場合に対処するため、S8のテクスチャ情報の復号処理の際に、S9により誤りを検出した場合には(S9“Yes”)、続いて動き情報とマクロブロックヘッダ情報のパケットとともに受け取った誤り検出結果30と、テクスチャ情報のパケットとともに受け取った誤り検出結果30に基づいて、動き情報とマクロブロックヘッダ情報のパケットとテクスチャ情報のパケットとのいずれに誤りがあったのかを判断する(S10)。
【００５２】
ここで、動き情報とマクロブロックヘッダ情報のパケットとともに受け取った誤り検出結果30が誤りがあることを示しており、テクスチャ情報のパケットとともに受け取った誤り検出結果30が誤りがないことを示している場合には(S10“Yes”)、図６に示すように、復号処理の過程ではテクスチャ情報領域の復号の際に誤りを検出したにもかかわらず、動き情報とマクロブロックヘッダ情報の復号の際に誤りの発生している可能性が高い。
【００５３】
そこで、この場合には、ビデオパケット（VP）内のすべてのデータ、すなわち動き情報や、ビデオパケット（VP）内のマクロブロックヘッダ情報、テクスチャ情報のすべてを破棄してコンシールメント処理して補填画像を生成する(S12)ことを示す誤り検出フラグ56を補填画像生成部44へ出力する。
【００５４】
その一方、動き情報とマクロブロックヘッダ情報のパケットとともに受け取った誤り検出結果が誤りがないことを示し、かつ、テクスチャ情報のパケットとともに受け取った誤り検出結果が誤りがあることを示している場合には(S10“No”)、動きマーカー以前に復号された動き情報やマクロブロックヘッダ情報等は正しく復号されていて、復号処理中に誤りを検出したテクスチャ情報領域で誤りが発生している可能性が高い。
【００５５】
そこで、この場合には、動きマーカー以前に復号された動きベクトルを使って作成した予測画像でコンシールメント処理して復号画像を補填する(S11)ことを指示する誤り検出フラグ56を補填画像生成部44と切替部48へ出力する。
【００５６】
そして、補填画像生成部44は、S12の処理によって誤り検出フラグ56がビデオパケット（VP）内のすべてのデータ、すなわち動き情報や、ビデオパケット（VP）内のマクロブロックヘッダ情報、テクスチャ情報のすべてのデータが破棄されていることを示す場合には、参照画像内の情報を用いて、補填画像57を生成する一方、S11の処理によって誤り検出フラグ56が、動き情報が正しく復号されていることを示す場合には、切替部48より出力される予測画像55を用いて、補填画像57を生成する。生成された補填画像57は、次のフレームの参照画像として用いられるため、メモリ43に書き込まれる。
【００５７】
従って、本実施の形態１によれば、動画像符号化列を多重化部における処理の単位にパケット化するときに動画像符号化列内の異なるデータ系列毎に１つのパケットに分割して、誤り検出符号を付加して送信するため、受信側では、データ系列毎に付加される誤り検出符号により、各データ系列内で誤りが発生したかどうかを判別でき、この結果を可変長復号処理中に検出される誤り検出位置とともに用いて誤り隠蔽処理を行うことにより、誤り耐性を高めて動画像符号化列を復号することができる。
【００５８】
実施の形態２．
本実施の形態２は、実施の形態１で述べた動画像符号化列パケット生成部とMPEG-4ビデオ復号部の別の実施の形態である。
【００５９】
本実施の形態２では、MPEG-4ビデオ符号化部より出力される動画像符号化列のマクロブロックデータの構造については特に限定しない。つまり、本実施の形態２では、図２（ａ）に示す動画像符号化列が、実施の形態１で述べた通り図２（ｂ）に示すようにMPEG-4で規定されるデータパーティショニングの機能を用いて符号化されたマクロブロックデータでも、図８に示すように、ｎ個の各マクロブロック毎にマクロブロックヘッダ、動き情報、テクスチャ情報がそれぞれ配置された構造のマクロブロックデータでもよい。本実施の形態２では、マクロブロックデータの構造については、上述の通り限定しないが、便宜上、図８に示す構造のマクロブロックデータの場合で説明するものとする。
【００６０】
本実施の形態２における動画像符号化列パケット生成部6の動作を述べる。
動画像符号化列パケット生成部6は、図２(a)に示す構造の動画像符号化列を入力とし、入力した動画像符号化列を多重化部における処理の単位となるパケット(AL-SDU)に分割し、生成されたパケット(AL-SDU)を出力する。
【００６１】
図９は、本実施の形態２における動画像符号化列をパケット(AL-SDU)にマッピングする手法を説明する図である。本実施の形態２では、生成された動画像符号化列は、図９に示すようにVOPスタートコードとVOPヘッダ、マクロブロックデータ、再同期マーカーとVPヘッダそれぞれを、１つのパケット(AL-SDU)へマッピングし、制御情報や誤り検出符号（CRC）を付加してパケット(AL-PDU)を生成する。
【００６２】
ここで、マクロブロックデータのマッピングについては、マクロブロックデータが実施の形態１で述べたように、図２（ｂ）に示すようにデータパーティショニングの機能を用いて符号化されている場合には、実施の形態１で述べたように図３に示すようにマッピングするようにしてもよい。また、別の手法としては、マクロブロックデータを一つのパケットにマッピングすることもできるが、本実施の形態２の説明では、図９に示すように、マクロブロックデータを一つのパケットにマッピングするようにする。なお、実施の形態１の場合と同様に、各パケット(AL-SDU)は８ビットの倍数であるため、たとえば、VOPスタートコードとVOPヘッダとを含むパケットにマクロブロックデータに関する情報が一部入ることもある。なお、図９では、これ以上図示していないが、再同期マーカーとVPヘッダとのパケットの次には、この再同期マーカーおよびVPヘッダのマクロブロックヘッダがある。
【００６３】
次に、本実施の形態２におけるMPEG-4ビデオ復号部22の動作を説明する。ここでは、上述した図９に示すようにパケット化された動画像符号化列を受信してその動画像符号化列にビット誤りが含まれている場合の復号処理について説明する。
【００６４】
図１０に、本実施の形態２のMPEG-4ビデオ復号部22における復号処理のフローチャートを示す。
まず、本実施の形態２のMPEG-4ビデオ復号部22は、VOPスタートコードを検出するか否かを判断し(S20)、検出した場合には(S20“Yes”)、続いてVOPヘッダ情報を復号し(S21)、さらに次のパケット（AL-SDU）のマクロブロックデータを復号すると共に(S22)、その復号の際にエラーを検出するか否かを判断する(S23)。そして、マクロブロックデータの復号中にエラーを検出した場合に(S23“Yes”)、次のVOPスタートコードあるいは再同期マーカーが検出されるまでのマクロブロックを誤り隠蔽処理（コンシールメント）する(S24)。
【００６５】
これに対し、マクロブロックデータの復号中にエラーが検出されずに(S23“No”)、次のパケット（AL-SDU）の再同期マーカーを検出した場合には(S25“Yes”)、そのパケットのVPヘッダ情報を復号すると共に(S26)、その復号の際にエラーを検出するか否かを判断する(S27)。
【００６６】
そして、VPヘッダ情報の復号の際にエラーを検出しなかった場合には(S27“No”)、次のパケット（AL-SDU）のマクロブロックデータを復号すると共に(S28)、その復号の際にエラーを検出するか否かを判断する(S29)。なお、マクロブロックデータを復号中にエラーを検出した場合は(S29“Yes”)、上述のＳ24の処理の場合と同様に、次のVOPスタートコードあるいは再同期マーカーが検出されるまでマクロブロックをコンシールメントする(S30)。
【００６７】
これに対し、マクロブロックデータの復号中にエラーが検出されずに(S29
“No”)、次の再同期マーカーを検出した場合には(S25“Yes”)、上述したように、そのマクロブロックのVPヘッダ情報を復号すると共に(S26)、その復号の際にエラーを検出するか否かを判断する(S27)。
【００６８】
次に、S26のVPヘッダ情報の復号の際に、S27の処理によりエラーを検出した場合について図示しながら説明する。
【００６９】
図１１は、S26のVPヘッダ情報の復号の際に、S27の処理によりエラーを検出した場合の一例を示している。
まず、VOPスタートコードにエラーが含まれている場合を考える。図１１に示すように、VOPスタートコードより以前にエラーを検出し再同期をとるために、次のVOPスタートコードを探索している場合には、検出されるべきVOPスタートコードがエラーにより壊れているため、VOPスタートコードが検出されず、次の再同期マーカーが再同期位置として検出され、その間のVOPヘッダおよびマクロブロックデータは復号されない。
【００７０】
（１） VP ヘッダ情報にヘッダ拡張情報が含まれている場合
次にVPヘッダを復号し、図１１に示すように、VPヘッダにヘッダ拡張情報が含まれている場合には、そのヘッダ拡張情報と、すでに復号されているVOPヘッダ情報とを比較する。このとき、VOPヘッダは、エラーのため復号されていないため、比較に用いるVOPヘッダ情報は1VOP前の情報となる。従って、このS27では、ヘッダ拡張情報とVOPヘッダ情報とは異なるというエラーを、VPヘッダ情報の復号中に検出する。
【００７１】
しかしながら、従来のMPEG-4ビデオ復号部では、VOPヘッダ情報が正しく復号されていないのか、ヘッダ拡張情報がエラーによって正しく復号されていないのかを判断することは難しい。
【００７２】
そこで、本実施の形態２で述べるMPEG-4ビデオ復号部22では、動画像符号化列のパケットとともに入力される誤り検出結果を用いて誤り隠蔽処理を行う。
【００７３】
つまり、本実施の形態２では、S26のVPヘッダの復号処理中に、S27によりVPヘッダの拡張情報とVOPヘッダ情報とが異なるという誤りを検出した場合には(S27“Yes”)、再同期マーカーとVPヘッダ情報のパケットとともに受信した誤り検出結果を調べて、、再同期マーカーとVPヘッダ情報のパケット内に誤りがないか否かを判断する(S31)。
【００７４】
ここで、誤り検出結果がVPヘッダ情報のパケット内に誤りがないことを示している場合には(S31“Yes”)、VOPスタートコードが誤りによって検出されなかった可能性が高い。そこで、図１１に示すように、VPヘッダ情報に含まれるヘッダ拡張情報(HEC)を用いてコンシールメント処理を行い(S32)、マクロブロックデータの復号を再開する(S32)。
【００７５】
これに対し、誤り検出結果がVPヘッダ情報のパケット内に誤りがあることを示している場合には(S31“No”)、VPヘッダ情報が誤っているので、次の再同期マーカーを探索して、次の再同期マーカーまでの符号化列を破棄してコンシールメント処理を施す(S33)。
【００７６】
（２） VP ヘッダ情報にヘッダ拡張情報が含まれていない場合
ところで、Ｓ27のエラー検出の際に、VPヘッダ情報にヘッダ拡張情報が含まれていない場合には、VPヘッダ情報に含まれるマクロブロックアドレスを調べることによりエラーを調べる。具体的には、再同期をかける前のVPのマクロブロックアドレスと、再同期後に検出されたVPのマクロブロックアドレスとを比較して、再同期後に検出されたVPのマクロブロックアドレスが小さくなっている場合には、エラーを検出する。
【００７７】
従来のMPEG-4ビデオ復号部では、VOPスタートコードが検出されなかったのか、VPヘッダのマクロブロックアドレスでエラーが起きたのかを判定することは難しい。もし誤ってVPヘッダのマクロブロックアドレスでエラーが起きたと判定されるならば、再同期をかける前のVPのマクロブロックアドレスより大きいマクロブロックアドレスをもつVPの再同期マーカーを検出した時点で復号を再開するが、検出されたVPは再同期前のVOPとは異なるVOPであるにも関わらず、再同期前のVPと同じVOPに復号画像が書き込まれることになり、主観画質上極めて劣悪な画質劣化が生じる。
【００７８】
そこで、本実施の形態２で述べるMPEG-4動画像復号部22では、マクロブロックアドレスが再同期前に復号されたVPのマクロブロックアドレスより小さいというエラーを検出した場合、再同期マーカーとVPヘッダ情報のパケットともに受信した誤り検出結果を調べ、誤り検出結果が誤りがないことを示している場合には、VPヘッダ情報のマクロブロックアドレスがエラーにより誤って復号された可能性より、VOPのスタートコードが誤りによって検出されなかった可能性が高いため、次のVOPスタートコードあるいはヘッダ拡張情報を含むVPヘッダを有するVPの再同期マーカーまで再同期をかける。これにより、VOPスタートコードが検出されなかっために異なるVOPのVPデータを誤って書き込むことによる極めて劣悪な画質劣化を回避することができる。
【００７９】
（３） VP ヘッダに含まれるマクロブロックアドレスにおいてエラーを検出した場合
次にVPヘッダに含まれるマクロブロックアドレスにおいて、エラーを検出した場合を考える。VPヘッダに含まれるマクロブロックアドレスにおいてエラーを検出する場合とは、１つ前に復号されたVPの最終マクロブロックアドレスと、VPヘッダに含まれるマクロブロックアドレス（VPの先頭のマクロブロックアドレス）とが不連続の場合である。マクロブロックアドレスが不連続になる場合として、以下の２つの場合が想定される。
【００８０】
▲１▼．１つ前のVP内で、マクロブロックデータを復号中にエラーが発生したため、正しいマクロブロック数と異なる数のマクロブロックデータが復号された場合(図１２(a))。
【００８１】
▲２▼．VPヘッダのマクロブロックアドレスでエラーが発生した場合(図１２(b))。
【００８２】
従来のMPEG-4ビデオ復号部では、上記▲１▼と、▲２▼のいずれの場合により、マクロブロックアドレスのエラーを検出したかを判別することは難しい。このため、上記▲２▼の場合であるにも関わらず、誤って上記▲１▼の場合であると判別した場合には、正しく復号された１つ前のVPのデータを破棄して誤り隠蔽処理をし、誤って復号されたマクロブロックアドレスをもつVPより復号を再開するため、誤ったマクロブロックアドレスに復号画像が書き込まれることによる重大な画質劣化を招くだけでなく、正しく復号された画像データも破棄されるため、画質が著しく劣化する。逆に、上記▲１▼の場合であるにも関わらず、上記▲２▼の場合であると判別した場合には、正しく復号されたVPヘッダ情報をもつVPデータを破棄してしまい、誤って復号されたVPデータをそのまま、復号画像として書き込むため、やはり重大な画質劣化を招く。
【００８３】
そこで、本実施の形態２によるMPEG-4ビデオ復号部22では、図９に示すように、再同期マーカーとVPヘッダ情報のパケットともに受信した誤り検出結果を利用して上記▲１▼、▲２▼のいずれの場合かを判定する。
【００８４】
具体的には、再同期マーカーとVPヘッダ情報のパケットともに受信したエラー検出結果が誤りがあることを示している場合には、すでに再同期マーカーは正しく検出されているので、VPヘッダにエラーが含まれていることを意味する。従って、上記▲１▼の場合よりも、▲２▼の場合の可能性が高い。そこで、次の再同期マーカーまたはスタートコードを探索して、再同期位置とする。
【００８５】
これに対し、再同期マーカーとVPヘッダ情報のパケットともに受信したエラー検出結果がVPヘッダに誤りがあることを示していない場合には、上記▲２▼の場合よりも、▲１▼の場合の可能性が高い。そこで、１つ前のVPに対して誤り隠蔽処理を施し、VPヘッダより復号を再開する。これにより、VPヘッダに含まれるマクロブロックアドレスで不連続が発生したときに、１つ前のVPでエラーが発生したのか、不連続を検出したマクロブロックアドレスでエラーが発生したかの判定を誤ることによる劣悪な画質劣化を回避することができる。
【００８６】
従って、本実施の形態２によれば、動画像符号化列を多重化部における処理の単位にパケット化するときに、VOPスタートコードや再同期マーカー等の再同期のためのユニークコードと、VOPヘッダやVPヘッダ等のヘッダ情報を一つのパケットにマッピングして、誤り検出符号を付加して送信するため、受信側では、再同期のためのユニークコードとヘッダ情報に付加される誤り検出符号により、ヘッダ情報で誤りが発生したかどうかを判別でき、この結果を可変長復号処理中に検出される誤り検出位置とともに用いて誤り隠蔽処理を行うことにより、誤り耐性を高めて動画像符号化列を復号することができるという効果がある。
【００８７】
実施の形態３．
本実施の形態３は、実施の形態１で述べた動画像符号化列パケット生成部の別の実施の形態である。
本実施の形態３における動画像符号化列パケット生成部6においては、VPヘッダ情報の特に重要な情報である再同期マーカーと、マクロブロックアドレスとを１つのパケット(AL-SDU)へマッピングすることを特徴とする。つまり、実施の形態２で述べたように、VPヘッダ情報に含まれるマクロブロックアドレスは、VPの先頭のマクロブロックの絶対位置情報を表す。従って、マクロブロックアドレスが誤っている場合、復号したマクロブロックは画面内の誤った位置に配置されることになり、復号画像において、極めて劣悪な画質劣化が生じる。そこで、本実施の形態３における動画像符号化列パケット生成部6においては、VPヘッダ情報のうち再同期マーカーと、マクロブロックアドレスとを１つのパケット(AL-SDU)へマッピングする。
【００８８】
このようにした場合、本実施の形態３のMPEG-4ビデオ復号部22においては、再同期マーカーと、マクロブロックアドレスのパケットとともにそのパケットに誤りがあるかどうかを示す誤り検出結果を受信することになる。そして、復号処理において、再同期マーカーを復号したときに、再同期マーカーとマクロブロックアドレスのパケットともに受信した誤り検出結果が誤りがあることを示している場合には、マクロブロックアドレスに誤りが発生していることを示すことになる。そこで、本実施の形態３では、そのビデオパケットを破棄し、次のビデオパケットより再同期をとることにより、誤ったマクロブロックアドレスにより、画面内の誤った位置に復号画像を配置することによる重大な画質劣化を防ぐことができる。
【００８９】
実施の形態４．
本実施の形態４は、受信装置側での誤り検出結果に基づき、送信装置側でのパケット生成や、メディア多重化比率等を制御することを特徴とするマルチメディア通信システムについて述べる。
【００９０】
図１３は、本実施の形態４におけるマルチメディア通信システムの受信装置側の構成を示している。図４に示す実施の形態１の送信装置の構成と同じ構成には同一番号を付して説明を省略すると、図１３において、60は誤り検出結果である。
【００９１】
図１４は、本実施の形態４におけるマルチメディア通信システムの送信装置側の構成を示している。図１に示す実施の形態１の送信装置の構成と同じ構成には同一番号を付して説明を省略すると、図１４において、60は受信装置のパケット分離／誤り検出部21からの誤り検出結果、61は誤り監視部、62は誤り発生率、である。
【００９２】
次に動作を説明する。
図１３に示す受信装置側では、パケット分離／誤り検出部21は、検出した動画像パケット（動画像符号化列）の誤り検出結果30、音声パケット（音声像符号化列）の誤り検出結果32、データパケット（データ符号化列）の誤り検出結果34を、受信装置側での誤り検出結果60として送信装置側に渡す。
【００９３】
図１４に示す送信装置側では、誤り監視部61が受信装置側からの誤り検出結果60を監視して、受信装置側の誤り発生率62をパケット生成部4と、多重化部5へ出力する。
【００９４】
パケット生成部4では、誤り監視部61より出力される誤り発生率62に基づいて、パケットの分割手法を切り替える。例えば、誤り発生率が高い場合には、伝送誤りが起こりやすい回線状況のため、誤り耐性を高めたパケット化を行う。具体的には、実施の形態１や実施の形態２で述べたように（図３，図９参照）、スタートコードやヘッダ情報を１つのパケットとしてマッピングする。さらに誤り発生率が高い回線においては、実施の形態１で述べたように（図３参照）、動き情報やテクスチャ情報を異なるパケットとしてマッピングすることにより、誤り耐性を高めてパケット化することができる。逆に、誤り発生率が低い場合には、伝送誤りが起こりにくい回線状況であるため、例えば、ビデオパケットを分割することなく１つのパケットにマッピングする、あるいは、複数のビデオパケットを１つのパケットにマッピングする等によりパケット化に伴う冗長度を小さくすることができる。
【００９５】
多重化部5では、パケット生成部4より出力される各種メディアパケットを多重化して多重化パケットを生成する際に、誤り監視部61より出力される誤り発生率62に基づいて、多重化パケットの多重化パターン変更する。
【００９６】
図１５に、本実施の形態４における多重化部5の構成を示す。
図１５において、70は多重化パターン選択部、71は多重化パケット生成部、72は同期フラグ／ヘッダ情報付加部、73は誤り検出符号付加部、74は多重化パターン、75は多重化パケット、である。尚、62は、誤り監視部61からの誤り発生率62である。
【００９７】
次に、図１５に示す本実施の形態４における多重化部５の動作を述べる。
まず、誤り監視部61より出力される誤り発生率62に基づいて、多重化パターン選択部70にて複数の多重化パターンを規定しているテーブルの中より、１つの多重化パターン74を選択する。ここで、多重化パターンには、例えば、音声のメディアパケットのみを１つの多重化ストリームにする、ビデオのメディアパケットのみを１つの多重化ストリームにする、あるいは、音声とビデオのメディアパケットをある決められた比で多重化したパケットを１つの多重化ストリームとする等の多重化パターンの情報が規定されている。この規定に従えば、ビデオのメディアパケット(MUX-SDU)を分割して異なる多重化ストリームに多重化することも可能である。
【００９８】
例えば、誤り率が高い回線においては、１つの多重化ストリームに含まれるビデオのメディアパケットの割合を小さくする。すなわち、ビデオのメディアパケットを分割して、なるべく多くの多重化ストリームに含まれるようにする。これは、ビデオに発生した誤りは影響が大きく、特にバーストエラーにより、１ビデオパケット内のすべての情報が破棄される場合には、MPEG-4で採用されている各種の誤りツールを有効に活用することができないからである。そこで、誤りが１つのビデオパケットに集中して発生することがないように、１つの多重化ストリームに含まれるビデオのメディアパケットの割合を小さくする。
【００９９】
これに対し、誤り率が低い回線においては、多重化ストリームのヘッダ情報による冗長性を小さくするために、１つの多重化ストリームに多くの情報を多重化するようにする。
【０１００】
次に、多重化パターン選択部70で選択された多重化パターン74は、多重化パケット生成部71および同期フラグ／ヘッダ情報付加部72へ送られ、多重化パケット生成部71は、多重化パターン74に基づいて、動画像符号化列のパケット15、音声符号化列のパケット16、データ符号化列のパケット17を１つにまとめて、多重化パケット75を生成する。多重化パケット75は、同期フラグ／ヘッダ情報付加部72にて同期フラグ、ヘッダ情報が付加される。多重化パターン選択部70にて選択された多重化パターン74は、そのヘッダ情報として多重化される。多重化パケット75は、さらに、誤り検出符号付加部73にてヘッダ情報に誤り耐性をもたせるために、誤り検出符号が付加されて、多重化ストリーム18として出力される。
【０１０１】
従って、本実施の形態３によれば、誤り発生率に応じて、パケット生成部4におけるパケット化の手法を切り替えることにより、誤り発生率が高い時には、誤り耐性を高めたパケット化を実現でき、誤り発生率が低い時には、パケット化に伴う冗長度を小さくすることができる。
【０１０２】
また、誤り発生率に応じて、多重化部5におけるメディア多重化比率を切り替えることにより、誤り率が高いときは、ビデオのメディアパケットを分割して１つの多重化ストリームに含まれるビデオのメディアパケットの割合を小さくして１つのビデオパケットに集中して誤りが発生することを避けることができ、誤り耐性を高めることができる。
【０１０３】
【発明の効果】
以上説明してきたように、本発明では、動画像符号化列を多重化部における処理の単位にパケット化するときに動画像符号化列内の異なるデータ系列毎に１つのパケットに分割して、誤り検出符号を付加して送信するため、受信側では、データ系列毎に付加される誤り検出符号により、各データ系列内で誤りが発生したかどうかを判別でき、この結果を可変長復号処理中に検出される誤り検出位置とともに用いて誤り隠蔽処理を行うことにより、誤り耐性を高めて動画像符号化列を復号することができる。
【０１０４】
また、次の発明では、動画像符号化列を多重化部における処理の単位にパケット化するときに、再同期のためのユニークコードとヘッダ情報を一つのパケットにマッピングして、誤り検出符号を付加して送信するため、受信側では、再同期のためのユニークコードとヘッダ情報に付加される誤り検出符号により、ヘッダ情報で誤りが発生したかどうかを判別でき、この結果を可変長復号処理中に検出される誤り検出位置とともに用いて誤り隠蔽処理を行うことにより、誤り耐性を高めて動画像符号化列を復号することができるという効果がある。
【０１０５】
また、次の発明では、誤り発生率に応じて、パケット生成部におけるパケット化の手法を切り替えることにより、誤り発生率が高い時には、誤り耐性を高めたパケット化を実現でき、誤り発生率が低い時には、パケット化に伴う冗長度を小さくすることができる。
【０１０６】
また、誤り発生率に応じて、多重化部におけるメディア多重化比率を切り替えることにより、誤り率が高いときは、ビデオのメディアパケットを分割して１つの多重化ストリームに含まれるビデオのメディアパケットの割合を小さくして１つのビデオパケットに集中して誤りが発生することを避けることができ、誤り耐性を高めることができる。
【図面の簡単な説明】
【図１】 実施の形態１におけるマルチメディア通信システムの送信装置側の構成を示す図。
【図２】 MPEG-4ビデオ符号化部1より出力される動画像符号化列の構造を示す図。。
【図３】 動画像符号化列をパケット(AL-SDU)に分割する手法を説明する図。
【図４】 実施の形態１におけるマルチメディア通信システムの受信装置側の構成を示す図。
【図５】 MPEG-4ビデオ復号部22の構成を示す図。
【図６】 動画像符号化列にビット誤りが含まれる場合の復号処理の一例を示す図。
【図７】 MPEG-4ビデオ復号部22における復号処理を説明するフローチャート。
【図８】 実施の形態２における使用するマクロブロックデータの一例を示す図。
【図９】 実施の形態２における動画像符号化列をパケット(AL-SDU)にマッピングする手法を説明する図。
【図１０】 実施の形態２における復号処理のフローチャート。
【図１１】 VPヘッダ情報の復号の際にエラーを検出した場合の一例を示す図。
【図１２】 VPヘッダに含まれるマクロブロックアドレスにおいてエラーを検出した場合を示す図
【図１３】 実施の形態４におけるマルチメディア通信システムの受信装置側の構成を示す図。。
【図１４】 実施の形態４におけるマルチメディア通信システムの送信装置側の構成を示す図。
【図１５】 本実施の形態４における多重化部5の構成を示す図。
【図１６】 H.223で勧告された多重化部の構成を示す図。
【符号の説明】
1 MPEG-4ビデオ符号化部、2 音声符号化部、3 データ符号化部、4 パケット生成部、5 多重化部、6 動画像符号化列パケット生成部、7 音声符号化列パケット生成部、8 データ符号化列パケット生成部、9 入力画像信号、10 入力音声信号、11 入力データ信号、12 動画像符号化列、13 音声符号化列、14データ符号化列、15 動画像符号化列のパケット、16 音声符号化列のパケット、17 データ符号化列のパケット、18 多重化ストリーム。

Claims (1)

1. 音声、ビデオ、データ等の各種メディア情報を符号化して符号化列を生成し、符号化列を分割して、分割した各パケット毎に誤り検出符号を付加した各種メディアパケットを多重化して通信回線を介して伝送する送信装置と、多重化されたストリームを受信して、各種メディアパケットを分離し、各種メディアパケットを対応するメディア情報復号部で復号する受信装置とを備えたマルチメディア通信システムにおいて、
   前記受信装置側は、各種メディアパケット毎に付加された誤り検出符号を復号する手段を備え、
   前記送信装置側は、
   前記受信装置側で検出された誤りに基づき、回線の誤り状況を監視する手段と、
   音声、ビデオ、データの各メディアパケットを１つのストリームに多重化するときに、回線の誤り状況に応じて、１つの多重化ストリームに含まれる音声、ビデオ、データの比率を変えて多重化する手段と、
   を備えたことを特徴とするマルチメディア通信システム。

Images