JP4956849B2 - 画像復号装置およびパケット損失補償方法 - Google Patents

Description

本発明は、ＩＰ網から伝送されてくる高能率符号化（圧縮）された画像データに対する画像復号装置およびパケット損失補償方法に関する。

ＩＰ網から伝送されてくる高能率符号化（圧縮）された画像データのＩＰパケットを受信して復号して画像を出力する場合、ＩＰパケットが伝送途上で損失を受けていれば、それを復旧する必要がある。

このようなパケット損失等に起因する受信再生画像の欠落補間技術として、画像復号器内で実施する方法が従来より種々提案されている。例えば、特許文献１では、パケット損失等による不完全なビットストリームを所与のビットストリームとして画像復号器に与え、画像復号器内で復号画像を構成すると共に欠損領域検出を行い、優先付けされた欠損領域の画像補間手段を講じて画像の動画像の表示を行っている。

また、特許文献２では、パケット損失による欠落領域とその面積を特定して、欠落領域周辺の領域にテクスチャ解析を施して、当該欠落領域を補う画像補正を生成している。更に、画像信号の送信装置としてパケット損失対策を施す方法としては、例えば、特許文献３では、受信元からのパケット損失情報に基づき送信済画像の損失パケットに含まれた画像領域を特定して当該領域を参照画像とすることを禁止する手段を講じている。

しかしながら、上述した従来の技術では、ＩＰパケット損失により画像データの欠落と復旧は、それぞれ画像復号器内での誤り遮蔽が主体であるためと、周期的あるいはオンデマンドによる瞬時復号リフレッシュ動作であるため、以下のような問題点があった。

第１の問題点は、高能率符号化された画像信号のＩＰ網を使っての伝送に際して、ＩＰパケット損失による再生画像の大幅な破綻、及びパケット損失部のデータ欠落により規格外データとなって復号器に入力されることによる安定動作の停止といったロバストネス上の課題があるということである。

その理由は、データ欠落処理を画像復号器内の限られた情報に基づいて誤り遮蔽を行うため、欠落部位の誤判定や誤同期に基づいて実施されるからである。このような方法では、データ欠落箇所の前後が単純に結合したビットストリームデータが画像復号器に入力されるため、該当部は規格外データとなり規定違反ストリームの印加が起因となって画像復号器の動作安定性に影響を与えることとなる。

第２の問題点は、データ欠落による送信側と受信側の参照画像の不一致を復旧させる手段として周期的あるいはオンデマンドによる瞬時復号リフレッシュ動作を行う際に、発生情報量のバースト的増加、ネットワーク帯域の逼迫、遅延時間の増大をもたらすということである。

その理由は、参照画像を送信受信間で一致させるときに、フレーム間の相関が高い特徴を活用しないイントラ符号化を行って、リフレッシュ動作を行うために使われる画像を直接伝送するが、このような発生情報量が多いフレームのデータ伝送を固定ビットレート伝送するためには、レートバッファによる平滑送出が必要となり伝送遅延時間の増大をもたらすからである。一方、遅延時間を抑圧するために一定時間で送出を行うと、その間のネットワーク帯域が増大してネットワーク帯域の逼迫させる課題を生じることとなる。

特開２００７−３２９８５８号公報 特開２００７−２８１６９２号公報 特開２００７−２８８６０４号公報

解決しようとする第１の問題点は、高能率符号化された画像信号のＩＰ網を使っての伝送に際して、ＩＰパケット損失による再生画像の大幅な破綻防止、および復号動作の安定動作停止があり得る点である。

解決しようとする第２の問題点は、リフレッシュ動作を行う際に、発生情報量のバースト的増加、ネットワーク帯域の逼迫、遅延時間の増大が伴うという点である。

本発明は、ＩＰパケット損失により欠落した画像領域の全マクロブロック部位のビットストリームを生成して挿入することにより、パケット損失の再生画像に与える影響を最小限に抑制したことを最も主要な特徴とする。

また、リフレッシュ動作に使用する画像の中継に際し、上記のようして得られた再生画像との相関により時間方向の冗長度を削減して符号化することを特徴とする。

本発明は、高能率符号化された画像信号のＩＰ網を使っての伝送に際して、ＩＰパケット損失による再生画像の大幅な破綻を防止し、および復号動作の安定動作停止を回避するという第１の利点を有する。

その理由は、ＩＰパケット損失により画像領域のどのマクロブロック部位が欠落したかをパケット損失の前後のデータを解析することにより入手して、欠落部位のビットストリームを符号化方式のシンタックス規則に準拠した方式で生成して挿入することにより、画像データ復号部での処理のマクロブロック復号の連続性を保証してパケット損失の再生画像に与える影響が最小限に抑制された補償画像の生成を行って安定動作の向上を図るためである。

また、データ欠落による送信側と受信側の参照画像の不一致を復旧させる場合の遅延時間を削減し、ネットワーク帯域のバースト性逼迫を回避するという第２の利点を有する。

その理由は、補償画像として復号した復号画像と復号されたIDRピクチャ画像との時間方向の冗長度を削減して符号化することで切り替えストリームを生成して、修復用スイッチ画像データをレート平滑化して送信するためである。

本発明装置の実施例１を示すブロック図である。 本発明装置の実施例１の動作を説明するためのタイミングチャートである。 損失補償用画像符号化データ生成部の動作を説明するための図である。 本発明装置の実施例２を示すブロック図である。 実施例２におけるストリーム切替器の詳細を示すブロック図である。 本発明装置の実施例２の動作を説明するためのタイミングチャートである。

ＩＰパケット損失による再生画像の大幅な破綻防止、および復号動作の安定動作停止を回避するという目的を、ＩＰパケット損失により画像領域のどのマクロブロック部位が欠落したかをパケット損失の前後のデータを解析することにより入手して、欠落部位のビットストリームを符号化方式のシンタックス規則に準拠した方式で生成して挿入することにより実現した（実施例１）。

また、パケット損失の影響から完全復旧させるためのリフレッシュ動作を行う際の発生情報量のバースト的増加、ネットワーク帯域の逼迫、遅延時間の増加を回避するという目的を、補償画像として復号した復号画像と、復号されたIDRピクチャ画像との時間方向の冗長度を削減して符号化することで切り替えストリームを修復用スイッチ画像データとして生成することによるレート平滑化により実現した（実施例２）。

［構成の説明］
図１は、本発明装置の実施例１の構成を示すブロック図である。この画像復号装置は、ＩＰ網から伝送されてくる高能率符号化（圧縮）された画像データのＩＰパケットを入力データａとして受信し、ＩＰパケットが伝送途上で受けたパケット損失を復旧し復号した出力画像ｍを出力する。パケット損失の補償には、パケットにおける処理単位であるマクロブロックを使用する。

図１において、RTPパケット受信部１は、入力データａを受信してRTPデータｂを出力する。画像データ抽出部２は、RTPパケット受信部１から供給されるRTPデータｂから高能率符号化画像データｅを抽出する。復旧後先頭MB番号検出部６は、高能率符号化画像データｅに含まれる、復旧直後の先頭マクロブロックの番号ｊを検出する。損失補償用画像符号化データ生成部８は、復旧直後の先頭マクロブロックの番号ｊと、復号済み最終マクロブロックの番号ｈとから、パケット損失発生部位のマクロブロック数を計数してマクロブロックスキップ情報を損失補償用画像符号化データｋとして生成する。この損失補償用画像符号化データｋは、先頭マクロブロックの番号ｊと復号済み最終マクロブロック番号ｈとから求められる欠落部位のビットストリームを符号化方式のシンタックス規則に準拠した方式で生成される。

データ多重挿入部９は、高能率符号化画像データｅに対して損失補償用画像符号化データｋを挿入する。画像データ復号部10は、データ多重挿入部９から供給される損失補償済画像符号化データｌを対象に画像復号を行い、出力画像ｍを外部へ出力すると共に、復号済みマクロブロック番号ｉを出力する。

復旧直後の先頭マクロブロックの番号ｊと、復号済み最終マクロブロックの番号ｈは、以下のようにして知ることができる。先ず、シーケンス番号抽出部３は、RTPデータｂからRTPパケットのシーケンス番号ｃを抽出し、パケット損失発生判定部４は、その連続性を検証することでRTPデータｂの損失の有無を判定する。その結果、損失有ならパケット損失検出通知ｄ、損失無ならパケット損失非検出通知ｆを出力する。

復号済最終MB番号保持部５は、パケット損失検出通知ｄを受けると、その時の復号済みマクロブロックの番号ｉを保持して復号済み最終マクロブロックの番号ｈを損失補償用画像符号化データ生成部８へ出力する。また、前パケット損失検出部７は、パケット損失非検出通知ｆを受けると、その時のパケット損失検出通知ｄの有無により前パケットのパケット損失発生状況を検出する。その結果、パケット損失検出通知ｄが有なら、パケット損失復旧検出通知ｇを復旧後先頭MB番号検出部６へ出力する。復旧後先頭MB番号検出部６は、その時の高能率符号化画像データｅに含まれるマクロブロックの番号を復旧直後の先頭マクロブロックの番号ｊとして損失補償用画像符号化データ生成部８へ出力する。

［動作の説明］
図２は、本画像復号装置の動作を説明するためのタイミングチャートであって、入力データａと損失補償用画像符号化データｋと出力画像ｍの間の関係を例示する。入力データａがRTPパケット受信部１に順次、R0、R1、と到達し、R2、R3はパケット損失により未到達となり、次にR4が到達するものとする。

R4の到達時点でR2、R3のパケット損失がパケット損失発生判定部４において判明する。この時、出力画像ｍを復号する画像データ復号部10はR1の復号を完了し復号済最終MB番号保持部５へ復号済みマクロブロックの番号ｉを通知しているため、復号済み最終マクロブロック番号ｈが損失補償用画像符号化データ生成部８に対して供給される。この時の復号済み最終マクロブロック番号の値をMB_endとする。

また、R4の到達時にR4に含まれる先頭マクロブロックの番号ｊが損失補償用画像符号化データ生成部８に対して供給される。この時の先頭マクロブロックの番号の値をMB_startとする。更に、各画像フレームのマクロブロックの番号の初期値を０として、最大のマクロブロック番号をMB_numとする。ここで、MB_endとMB_startの大小関係により、パケット損失の画像フレーム内に含まれる位置関係が異なり損失補償用画像符号化データｋの生成方法が異なる。

図３は、損失補償用画像符号化データ生成部８の動作を説明するための図であって、MB_endとMB_startの大小関係によりパタンに分けて示している。
(1)パタン１
0< MB_end< MB_start< MB_num の場合
この場合は、パケット損失の画像に与える範囲が１画面フレーム内に限定されているパタンである。(MB_start−MB_end-1)個のマクロブロックスキップ情報を損失補償用画像符号化データｋとして生成する。
(2)パタン２
MB_end=MB_numの場合
この場合は、パケット損失の画像に与える範囲は画像フレーム先頭から(MB_start-1)までとみなされるパタンである。フレーム先頭ヘッダ情報と(MB_start) 個のマクロブロックスキップ情報を損失補償用画像符号化データｋとして生成する。
(3) パタン３
MB_start=0の場合
この場合は、パケット損失の画像に与える範囲は(MB_end+1)から最後部までとみなされるパタンである。(MB_num−MB_end-1) 個のマクロブロックスキップ情報を損失補償用画像符号化データｋとして生成する。
(4)パタン４
0< MB_start=< MB_end< MB_num の場合
この場合は、パケット損失の画像に与える範囲は2フレームに跨っているとみなされる。パケット損失の画像に与える範囲は、最初のフレームは(MB_end+1)から最後部まであり、後続フレームは画像フレーム先頭から(MB_start-1)までである。(MB_num−MB_end-1) 個のマクロブロックスキップ情報、フレーム先頭ヘッダ情報、(MB_start) 個のマクロブロックスキップ情報を損失補償用画像符号化データｋとして生成する。
(5)パタン５
MB_end=MB_numかつMB_start=0の場合
この場合は、パケット損失の画像に与える範囲は、フレーム先頭から最後部までの丁度１フレーム分であるとみなされる。フレーム先頭ヘッダ情報と(MB_num+1) 個のマクロブロックスキップ情報を損失補償用画像符号化データｋとして生成する。
(6)パタン６
MB_start= MB_end+1の場合
この場合は、パケット損失の画像に与える範囲は(MB_start)から後続フレームの(MB_start-1)までの丁度１フレーム分の範囲である。パタン４の特別な場合であり、扱いはパタン４に準じる。

以上のようにして生成される損失補償用画像符号化データｋは、図２において補償画像データC2として示されている。補償画像データC2は、データ多重挿入部９において入力データR1とR4の間に挿入され、画像データ復号部10において補償画像C23として復号され、出力画像ｍの一部となって外部へ出力される。この結果、画像データ復号部10での処理のマクロブロック復号の連続性が保証されパケット損失の再生画像に与える影響が最小限に抑制された補償画像の生成が行われる。この影響とは、補償画像C23が後続のR4復号画像に対するものである。

上述のように、実施例１において、画像データ復号部10での処理のマクロブロック復号の連続性が保証されパケット損失の再生画像に与える影響が最小限に抑制された補償画像の生成が行われる。しかし、複数の画像復号装置を多段接続し、画像復号装置の間で画像信号を伝送ネットワーク経由で伝送する場合、画像信号の情報量削減のために、よく行なわれるように、参照画像との差分信号を符号化した画像信号を送出しようとすると、パケット損失の補償画像と正規の参照画像とのズレが以後の再生画像信号に継続的に影響を与えることとなる。

これを回避するには、パケット損失発生後は、符号器の参照フレームメモリと復号器の参照フレームメモリの内容を同一化するリフレッシュ動作が早晩必要である。損失補償用画像符号化データｋは、そのリフレッシュ動作が実施されるまでの間のパケット損失による画質劣化の影響が最小限に抑制される動作に寄与するものの、本質的にリフレッシュ動作を不要とするものではないからである。画像１フレームでリフレッシュ動作を行うために使われる画像は、瞬時復号リフレッシュ動作が可能という意味で、ITU-T勧告H.264符号化方式では瞬時復号リフレッシュピクチャ(IDRピクチャ)と呼ばれる。

ところで、IDRピクチャでは、動画像信号が一般に有する時間方向の冗長度を削減するためのフレーム間差分による符号化を行わないので、符号化結果に発生する情報量はフレーム間差分を行った方式に比べて遥かに多いという特徴を持っている。そのため、IDRピクチャを伝送ネットワーク経由で送信する場合には伝送路帯域を多くする必要がある。この結果、IDRピクチャを１フレーム送るために一定速度の伝送路を用いる場合には、遅延時間の増大、更には後続フレームのスキップといった低遅延動作、動きの再現性動作を犠牲にする必要がある。

実施例２は、多段接続されて画像信号を伝送ネットワーク経由で伝送する画像中継方式の画像復号装置に好適である。ここでは、瞬時復号リフレッシュ動作と共に、IDRピクチャを直接中継して送信するのではなく、補償画像として復号した復号画像と、復号されたIDRピクチャ画像との時間方向の冗長度を削減して符号化することで切り替えストリームを修復用スイッチ画像データとして生成するレート平滑化技法を採用することにより、上記の犠牲を回避する。

［構成の説明］
図４は、本発明装置の実施例２の構成を示すブロック図である。この画像復号装置は、実施例１（図１）の各構成要素１〜８，１０に、満了時間検出部22，タイマー23，再送データ検出抜取部24，IDRピクチャ検出抜取部25，IDRピクチャ復号部26，レート平滑型復旧用修復データ生成部27，再送要求部31およびRTPパケット部38を付加し、データ多重挿入部９をストリーム切替器36で代替したものである。図１と図２で名称が同じ構成要素の機能は略同じであるため、それらの説明は省略し、接続の違いのみに言及する。

再送要求部31は、パケット損失発生判定部30から供給されるパケット損失検出通知Ｑに基づき、損失パケットの再送要求を行うために、入力データＡの送信元へ再送要求信号Ｒを出力し、タイマー23に対して再送要求通知Ｆを出力する。再送データ検出抜取部24は、RTPパケット受信部21から供給されるRTPデータＢの内から、再送されたデータを検出して取り出して、RTPデータ情報ＨとしてIDRピクチャ検出抜取部25へ出力し、また再送データ検出通知Ｅをタイマー23へ出力する。タイマー23は、再送要求通知Ｆにより所定の満了時間を設定してタイマー動作を開始し、再送データ検出通知Ｅに基づきタイマー動作を停止する。満了時間検出部22は、タイマー23から供給されるタイマー情報Ｄに基づき、タイマー23の満了時間を検出してリフレッシュ要求Ｃを入力データＡの送信元へ送出する。

IDRピクチャ検出抜取部25は、RTPデータ情報Ｈから、瞬時復号リフレッシュ動作が可能なIDRピクチャを検出してIDRピクチャデータＪをIDRピクチャ復号部26へ出力し、それ以外の高能率符号化画像データを含むRTPデータ信号Ｉを画像データ抽出部28とシーケンス番号抽出部29へ送出する。画像データ抽出部28とシーケンス番号抽出部29は、図１の画像データ抽出部２とシーケンス番号抽出部３がRTPデータｂを入力信号としたように、RTPデータ信号Ｉを入力信号とする。

IDRピクチャ復号器26は、IDRピクチャデータＪに対する復号動作を行って、IDRピクチャ画像Ｋをレート平滑型復旧用修復データ生成部27へ出力する。IDRピクチャ画像Ｋは時間方向の冗長度を有する画像である。レート平滑型復旧用修復データ生成部27は、IDRピクチャ画像Ｋについて、画像データ復号部37から供給される復号画像Ｌとの相関をとりつつ、IDRピクチャより少ない情報量で、パケット損失補償画像からパケット損失の影響を受けない状態の復号画像に復旧を図るための修復用スイッチ画像データＭを生成し、ストリーム切替器36へ出力する。

ストリーム切替器36は、高能率符号化画像データＮに対して、再送データ検出抜取部24から供給される再送データＧがタイマー満了前の所定時間内に到達した時には再送データＧを挿入し、一方、タイマー満了内に再送データＧが到達しないパケット損失発生時には損失補償用画像符号化データ生成部35から供給される損失補償用画像符号化データＷを挿入する。また、レート平滑型復旧用修復データ生成部27から供給される修復用スイッチ画像データＭを挿入する。なお、パケット損失が発生しない通常時には高能率符号化画像データＮを通過出力する。ストリーム切替器36の出力は、レート平滑化画像データＸとして画像データ復号部37とRTPパケット部38に供給される。

画像データ復号部37は、レート平滑化画像データＸを対象に画像復号を行い、復号済みマクロブロック番号Ｔを復号済最終MB番号保持部32へ、復号画像Ｌをレート平滑型復旧用修復データ生成部へ出力する。また、実施例１における画像データ復号部10と同様に復号画像Ｌを外部へ出力して表示等をすることができる。RTPパケット部38は、レート平滑化画像データＸを対象にRTPパケット化を行って出力データＹを次段の画像復号装置へ出力するよう中継に付する。

このように、ＩＰレイヤと画像復号レイヤとを分離処理にすることにより、画像復号器以外の装置である、画像専用のストリーム中継装置など多用途へ応用することができるのである。また、ＩＰパケット損失の影響をＩＰレイヤで処理することで、画像復号レイヤと分離した対策手段を構築して、回路・装置構成簡易化を図ることができる。

図５はストリーム切替器36の一具体例を示す。ストリーム切替器36は、３つの遅延調整バッファメモリ41〜43と、セレクタ44と、データ多重器45とを具備する。遅延調整バッファメモリ41は、入力される修復用スイッチ画像データＭを蓄積し、遅延調整バッファメモリ42は、入力される高能率符号化画像データＮを蓄積し、遅延調整バッファメモリ43は、入力される損失補償用画像符号化データＷを蓄積する。

セレクタ44は、再送データＧと、遅延調整バッファメモリ43から読み出される読出し損失補償用画像符号化データd3とを入力して、再送データＧが到達時には再送データＧをセレクタデータd4として出力し、タイマー23の満了時（再送データＧ非到達時）には読出し損失補償用画像符号化データd3をセレクタデータd4として出力する。データ多重器45は、上記のようにして読み出されるセレクタデータd4と、IDRピクチャデータＪの出力タイミングで遅延調整バッファメモリ41から読み出される読出し修復用スイッチ画像データd1と、これら以外のときに遅延調整バッファメモリ42から読み出される読出し高能率符号化画像データd2とを入力して、これらのいずれかを出力する。

［動作の説明］
図６は、本画像復号装置の動作を説明するためのタイミングチャートであって、入力データＡと出力データＺと復号画像Ｌの間の関係を例示する。入力データＡがRTPパケット受信部21に順次、R0、R1と到達し（図６の時刻t0,t1）、R2はパケット損失により未到達となり、次にR3、R4、R5が到達し（時刻t3〜t5）、R6はパケット損失により未到達となり、R7、R8、R9、R10が到達する（時刻t7〜t10）ものとする。

R1到達後、R3が到達した時点（時刻t3）で、R2のパケット損失がパケット損失発生判定部30において判明するので、再送要求部31から再送要求信号Ｒをデータの送信元に対して送出する。タイマー23は所与の一定時間だけ、再送データが送信元より送出されて到達することを待つ。図６の例では、R2に対しての再送データがタイマー23の満了前に到達している（時刻t3）ので、出力データＺに元の順番に並べ替えられて出力される。

なお、図６では、再送データの到達前（時刻t2）に、再送データが出力データＺとして示されていて見かけ上、前後関係が矛盾しているが、入力データＡと出力データＺおよび復号データＬとの間には当然に遅延がある。しかし、作図上、入力データＡと出力データＺおよび復号データＬを同一時間軸で図示したまでであり上記の矛盾は無い。出力データＺおよび復号データＬについては、時間軸を右方へスライスして見られたい。

R5到達（時刻t5）後、R7が到達した時点（時刻t7）で、R6のパケット損失がパケット損失発生判定部30において判明するので、再送要求部31から再送要求信号Ｒをデータの送信元に対して送出する。タイマー23は所与の一定時間だけ再送データが送信元より送出されて到達することを待つ。

図６の例では、R6に対しての再送データはタイマー23の満了時（時刻t8）にも到達せず、実施例１で詳述した方法により、損失補償用画像符号化データ生成部35において損失補償用画像符号化データＷが生成される。損失補償用画像符号化データＷは、ストリーム切替器36において、損失補償データC6として出力データＹに本来のR6送出タイミング（時刻t6）に挿入される。この結果、画像データ復号部10での処理のマクロブロック復号の連続性が保証されパケット損失の再生画像に与える影響が最小限に抑制された補償画像の生成が行われる。この影響とは、補償画像C6が後続のR7復号画像に対するものである。

また、損失補償データC6は画像データ復号部37において復号され、R0〜R5等の正規の復号画像と同様にレート平滑型復旧用修復データ生成部27へ供給される。しかし、未だIDRピクチャ検出抜取部25においてIDRピクチャの検出はないので、レート平滑型復旧用修復データ生成部27が機能することはない。

タイマー23の満了時（時刻t8）に、R6に対しての再送データが到達していないことが検出されると同時に、データの送信元に対して満了時間検出部22からリフレッシュ要求Ｃを送出する。時刻t7,t8に到達するR7,R8に対しては、正規の復号が施されるが、R7復号画像には損失補償データC6、R8復号画像にはR7復号画像が影響を与える。

リフレッシュ要求Ｃに応えて、時刻t9でIDRピクチャを含む入力データR9が到達し、IDRピクチャ検出抜取部25がIDRピクチャを検出してIDRピクチャデータＪを出力する。IDRピクチャ復号器26はIDRピクチャデータＪを復号してIDRピクチャ画像Ｋを出力する。

レート平滑型復旧用修復データ生成部27は、補償画像として復号されている復号画像Ｌと、復号されたIDRピクチャ画像Ｋとから、時間方向の冗長度を削減して符号化することで、切替えストリームを修復用スイッチ画像データＭとして生成する。この切替えストリームである修復用スイッチ画像データＭは、時間方向の冗長度を削減しているため元のIDRピクチャ符号化情報に比べて情報量が少なく、画像伝送中継を行う際にレート平滑化された送出が可能である。

修復用スイッチ画像データＭは、RTPパケット部38を経由して出力データＺに本来のR9(IDR)送出タイミング（時刻t10）に挿入されて出力される。図６ではSP9として示されている。修復用スイッチ画像データＭを画像データ復号部37で復号すると、復号結果の画像SP9は、R8の影響を受けないR9(IDR)復号画像と等しくなる。これにより、符号器と復号器の参照用フレームメモリの内容を同一にするというリフレッシュが行なわれたことになる。従って、次のR10がR9(IDR)復号画像との差分符号化情報を正常に復号することが可能である。以上のような、復号画像ＬからIDRピクチャ画像Ｋへの参照画像への切替えを行うストリームの生成方式は、例えばITU-T勧告H.264 SPピクチャとして公知である。
［産業上の利用可能性］
本発明の活用例として以下のようなれ例を掲出することができる。
・パケット損失の発生するQoS（Quality of Service）非保証の劣悪なネットワーク環境を介して行い、しかも長時間の安定性、サービス継続性が求められる画像伝送サービス
・同条件下において実施される拠点間通信を行った画像に対する構内一斉放送等の画像中継サービス

１ RTPパケット受信部
２ 画像データ抽出部
３ シーケンス番号抽出部
４ パケット損失発生判定部
５ 復号済最終MB番号保持部
６ 復旧後先頭MB番号検出部
７ 前パケット損失検出部
８ 損失補償用画像符号化データ生成部
９ データ多重挿入部
10 画像データ復号部
21 RTPパケット受信部
22 満了時間検出部
23 タイマー
24 再送データ検出抜取部
25 IDRピクチャ検出抜取部
26 IDRピクチャ復号部
27 レート平滑型復旧用修復データ生成部
28 画像データ抽出部
29 シーケンス番号抽出部
30 パケット損失発生判定部
31 再送要求部
32 復号済最終MB番号保持部
33 前パケット損失検出部
34 復旧後先頭MB番号検出部
35 損失補償用画像符号化データ生成部
36 ストリーム切替器
37 画像データ復号部
38 RTPパケット部
41 遅延調整バッファメモリ
42 遅延調整バッファメモリ
43 遅延調整バッファメモリ
44 セレクタ
45 データ多重器

Claims (6)

1. ＩＰ網から入力するRTPデータ中の高能率符号化画像データのパケット損失を画像データ復号部で復旧する画像復号装置において、
   前記RTPデータから瞬時復号リフレッシュ動作が可能なIDRピクチャデータを検出すると共に、それ以外の高能率符号化画像データを含むRTPデータを出力するIDRピクチャ検出抜取部と、
   前記IDRピクチャデータに対する復号動作を行ってIDRピクチャ画像を出力するIDRピクチャ復号器と、
   前記IDRピクチャ画像について、前記画像データ復号部から供給される復号画像との相関をとりつつ、IDRピクチャより少ない情報量で、パケット損失補償画像からパケット損失の影響を受けない状態の復号画像に復旧を図るための修復用スイッチ画像データを生成するレート平滑型復旧用修復データ生成部と、
   前記IDRピクチャ検出抜取部が出力するRTPデータから前記高能率符号化画像データを抽出する画像データ抽出部と、
   前記高能率符号化画像データに対して前記修復用スイッチ画像データを挿入しレート平滑化画像データとして出力するストリーム切替器と、
   前記レート平滑化画像データを対象にRTPパケット化を行って出力データを次段の画像復号装置へ出力するよう中継に付するRTPパケット部を有し、
   前記画像データ復号部は前記レート平滑化画像データを対象に画像復号を行い、該復号画像を前記レート平滑型復旧用修復データ生成部へ供給する画像復号装置。
2. 前記IDRピクチャ検出抜取部が出力するRTPデータのシーケンス番号を抽出するシーケンス番号抽出部と、
   前記シーケンス番号の連続性を検証することで前記パケット損失の有無を判定するパケット損失発生判定部と、
   前記パケット損失発生判定部におけるパケット損失判定に基づき、損失パケットの再送要求を行うために、前記RTPデータの送信元へ再送要求信号を出力する再送要求部と、
   前記RTPデータの内から、再送されたデータを検出して取り出して、RTPデータ情報として前記IDRピクチャ検出抜取部へ出力する再送データ検出抜取部と、
   前記再送要求の通知により所定の満了時間を設定してタイマー動作を開始し、前記再送データ検出の通知に基づきタイマー動作を停止するタイマーと、
   前記タイマーから供給されるタイマー情報に基づき、前記タイマーの満了時間を検出してリフレッシュ要求を前記RTPデータの送信元へ送出する満了時間検出部を有する請求項１に記載の画像復号装置。
3. 前記判定の結果が損失有なら、その時の前記復号済みマクロブロックの番号を前記復号済み最終マクロブロックの番号として出力する復号済最終MB番号保持部と、
   前記判定の結果が損失無であり、且つ前パケットの前記判定の結果が損失有なら、パケット損失復旧検出通知を出力する前パケット損失検出部と、
   前記パケット損失復旧検出通知を受けると前記高能率符号化画像データに含まれる復旧直後の先頭マクロブロックの番号を復旧直後の先頭マクロブロックの番号として検出する復旧後先頭MB番号検出部と、
   前記復旧直後の先頭マクロブロックの番号と、復号済み最終マクロブロックの番号とから求められる欠落部位のビットストリームを符号化方式のシンタックス規則に準拠した方式で損失補償用画像符号化データとして生成する損失補償用画像符号化データ生成部を有し、
   前記ストリーム切替器は、前記高能率符号化画像データに対して、前記再送データ検出抜取部から供給される再送データがタイマー満了前の所定時間内に到達した時には該再送データを挿入し、タイマー満了内に再送データが到達しないパケット損失発生時には前記損失補償用画像符号化データ生成部から供給される損失補償用画像符号化データを挿入する請求項２に記載の画像復号装置。
4. ＩＰ網から入力するRTPデータ中の高能率符号化画像データのパケット損失を復旧して復号する画像復号装置におけるパケット損失補償補法であって、
   前記RTPデータから瞬時復号リフレッシュ動作が可能なIDRピクチャデータを検出すると共に、それ以外の高能率符号化画像データを含むRTPデータを出力する手順と、
   前記IDRピクチャデータに対する復号動作を行ってIDRピクチャ画像を出力する手順と、 前記IDRピクチャ画像について、前記復号画像との相関をとりつつ、IDRピクチャより少ない情報量で、パケット損失補償画像からパケット損失の影響を受けない状態の復号画像に復旧を図るための修復用スイッチ画像データを生成する手順と、
   前記出力されるRTPデータから前記高能率符号化画像データを抽出する手順と、
   前記高能率符号化画像データに対して前記修復用スイッチ画像データを挿入しレート平滑化画像データとして出力する手順と、
   前記レート平滑化画像データを対象にRTPパケット化を行って出力データを次段の画像復号装置へ出力するよう中継に付する手順を有し、
   前記復号は前記レート平滑化画像データを対象に行うパケット損失補償補法。
5. 前記出力されるRTPデータのシーケンス番号を抽出する手順と、
   前記シーケンス番号の連続性を検証することで前記パケット損失の有無を判定する手順と、
   前記パケット損失判定に基づき損失パケットの再送要求を行うために、前記RTPデータの送信元へ再送要求信号を出力する手順と、
   前記入力するRTPデータの内から、再送されたデータを検出して取り出し、RTPデータ情報として出力する手順と、
   前記再送要求の通知により所定の満了時間を設定してタイマー動作を開始し、前記再送データ検出の通知に基づきタイマー動作を停止する手順と、
   前記タイマーから供給されるタイマー情報に基づき、前記タイマーの満了時間を検出してリフレッシュ要求を前記RTPデータの送信元へ送出する手順を有する請求項４に記載のパケット損失補償補法。
6. 前記判定の結果が損失有なら、その時の前記復号済みマクロブロックの番号を前記復号済み最終マクロブロックの番号として出力する手順と、
   前記判定の結果が損失無であり、且つ前パケットの前記判定の結果が損失有なら、パケット損失復旧検出通知を出力する手順と、
   前記パケット損失復旧検出通知を受けた時の前記高能率符号化画像データに含まれる復旧直後の先頭マクロブロックの番号を復旧直後の先頭マクロブロックの番号として検出する手順と、
   前記復旧直後の先頭マクロブロックの番号と、復号済み最終マクロブロックの番号とから求められる欠落部位のビットストリームを符号化方式のシンタックス規則に準拠した方式で損失補償用画像符号化データとして生成する手順を有し、
   前記高能率符号化画像データに対して、前記再送データが前記タイマー満了前の所定時間内に到達した時には該再送データを挿入し、タイマー満了内に再送データが到達しないパケット損失発生時には前記損失補償用画像符号化データを挿入する請求項５に記載のパケット損失補償補法。

Images