JPH0951541A - 動画像通信方法 - Google Patents

Abstract

(57)【要約】 【目的】 マイクロブロックに伝送誤りが生じた場合に
あっても、その影響を最小限に抑えた状態で原画像を復
号再生する。 【構成】 動画像フレームを分割したブロック単位で情
報源符号器１によって符号化し、動き補償予測のために
可変長符号化器２でこれらブロックを複数まとめたマイ
クロブロック化して通信制御部５から伝送路６へ伝送す
る動画像通信方法において、送信側では伝送符号部４で
マイクロブロックに誤り検出符号を付加して伝送し、受
信側では、誤り検出符号に基づいて伝送復号部８で伝送
誤りを検出し、伝送誤りを検出したマイクロブロックに
ついては、モノトーンや動き補償ベクトル成分が０の復
号化処理が可能な符号化データをもつマイクロブロック
に置き換えた後に、可変長復号器１０及び情報源復号器
１１で復号化処理を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、圧縮されて伝送さ
れてきた動画像を復号化する動画像通信方法に関し、特
に、動画像フレームを分割したマイクロブロックに伝送
誤りが生じた場合の対処方法に関する。

【０００２】

【従来の技術】動画像を無線或いは有線で遠隔地へ伝送
する動画像伝送システムは、例えば画像による監視を行
うシステム（防犯システム、セキュリティシステム、防
災システム、クレーン運転等の作業監視システム、等）
等といった種々な分野で利用されている。

【０００３】ここで、ＣＣＩＴＴ（国際電信電話諮問委
員会、現ＩＴＵ−ＴＳ：電気通信標準化セクタ）で規格
化されたディジタル画像圧縮方式として、動画像につい
てはＨ．２６１方式、ＭＰＥＧ（Moving Picture Codin
g Experts Group）方式等が知られている。Ｈ．２６１
方式及びＭＰＥＧ方式は離散コサイン変換（ＤＣＴ：Di
screte Cosine Transform）の技術と共に、フレーム間
の相関を利用したフレーム間符号化の技術を用いてい
る。すなわち、Ｈ．２６１方式では動画像を効率よく圧
縮するために動き補償フレーム予測の技術を用い、ＭＰ
ＥＧ方式では更に高画質且つ高圧縮を実現するため時間
的に前後した双方向の動き補償フレーム予測技術を用い
ている。

【０００４】まず、図６乃至図８を参照してＭＰＥＧ方
式を説明する。ＭＰＥＧ方式では、動画像を複数のフレ
ーム（ピクチャ）からなるグループ（ＧＯＰ）に分割し
て符号化を行い、各グループ（ＧＯＰ）がフレーム内符
号化したＩピクチャと、フレーム間符号化したＰピクチ
ャ及びＢピクチャとが混在するようにしている。Ｉピク
チャは同一フレーム内の画素の相関関係を利用して冗長
な画像データ部分を削除したフレームであり、フレーム
内符号化により圧縮された画像データからなっている。
したがって、Ｉピクチャはこの圧縮処理と逆にフレーム
内復号化して伸張処理することにより、フレームに対応
する画像を再生することができる。

【０００５】Ｐピクチャは時間的に前のＩピクチャを参
照してフレーム間符号化したフレームであり、Ｉピクチ
ャに比べて動きのある部分のみを抽出し、抽出した部分
に必要であれば動き補償やフレーム内符号化を加えた画
像データからなっている。したがって、Ｐピクチャはこ
の圧縮処理と逆に、伸張させたＩピクチャにＰピクチャ
の画像データを合成することによりフレーム間復号化し
て伸張処理し、フレームに対応する画像を再生すること
ができる。Ｂピクチャは時間的に前後の２つのフレーム
を参照してフレーム間符号化したフレームであり、前後
にあるＩピクチャ及びＰピクチャに比べて動きのある部
分のみを抽出し、抽出した部分に必要であれば動き補償
やフレーム内符号化を加えた画像データからなってい
る。したがって、Ｂピクチャはこの圧縮処理と逆に、伸
張させたＩピクチャ及びＰピクチャにＢピクチャの画像
データを合成することによりフレーム間復号化して伸張
処理し、フレームに対応する画像を再生することができ
る。

【０００６】動画像画像通信システムは、図６に示すよ
うに、送信側１〜５で符号化した映像信号を伝送路６を
介して伝送し、伝送路６を介して受信した符号化映像信
号を受信側７〜１１において復号させて映像信号を再生
する。送信側では、情報源符号化器１で離散コサイン変
換、量子化及び動き補償予測等を用いて映像信号を符号
化し、この映像信号を可変長符号化器２でエントロピー
符号化及び階層構造符号化した画像符号化データを送信
バッファ３に一旦格納し、送信バッファ３から読み出し
た画像符号化データに伝送符号化部４で誤り訂正符号
（ＦＥＣ：Forword Error Correction）を付加し、これ
を通信制御部５で伝送路に適した信号に変調して伝送路
６へ送信する。

【０００７】一方、受信側では、通信制御部７で伝送路
６から画像符号化データを受信し、伝送復号部８で誤り
訂正復号化して受信バッファ９に一旦格納し、受信バッ
ファ９から読み出したデータに可変長復号器１０及び情
報源復号器１１で送信側の符号化処理と逆の復号化処理
を施して映像信号を再生する。なお、送信側では、送信
バッファ３がオーバーフローしないように符号化制御部
１２でバッファ量を検知して、情報源符号化器１及び可
変長符号化器２による処理を制御している。

【０００８】符号化画像データの伝送は、例えば図７に
示すような８フレームから成るマルチフレーム構造の固
定長伝送フレームの形式でなされ、各フレームは１ビッ
トのフレーム同期ビットＳ1〜Ｓ8、４９３ビットのデー
タ部、１８ビットの誤り訂正符号から構成されている。
また、データ部は１ビットのファイル識別ビットＦiと
４９２ビットの符号化画像データ又はフィルビットから
構成されている。なお、ここにいうフレームとは画面の
単位ではなく、伝送データの１まとまりの単位をいう。
また、フィルビットとは送信データが不足する場合に充
填するダミービット（例えば、全て”１”）をいう。

【０００９】ＭＰＥＧ方式での符号化画像データは図８
に示すような階層構造で扱われ、１又は複数のマイクロ
ブロックＭＢが伝送フレームのデータ部に含ませられて
伝送される。階層構造では、動画像を複数のピクチャ
（Ｉ、Ｂ、Ｐ）からなるグループＧＯＰのシーケンスと
して扱い、各ピクチャを複数のスライスに分割し、各ス
ライスを複数のマイクロブロックＭＢに分割し、各マイ
クロブロックＭＢを４つの輝度信号ブロックＹと２つの
色差信号ブロックＣｂ、Ｃｒに分割して扱う。ブロック
Ｙ、Ｃｂ、Ｃｒは８×８画素であり、離間コサイン変換
を行う最小単位である。マイクロブロックＭＢは、或る
ブロックに対応する色差信号ブロックＣｂ、Ｃｒと当該
ブロックに隣接する４つの合計６つのブロックから構成
されており、動き補償予測を行う最小単位である。

【００１０】なお、Ｈ．２６１方式もＭＰＥＧ方式とほ
ぼ同様な処理を行うが、特に図９に示すように、符号化
画像データの階層構造が異なっている。すなわち、各ピ
クチャを複数のフォーマットに分割し、各フォーマット
を複数のマイクロブロックＭＢに分割し、各マイクロブ
ロックＭＢをＭＰＥＧ方式と同様に４つの輝度信号ブロ
ックＹと２つの色差信号ブロックＣｂ、Ｃｒに分割して
扱う。

【００１１】

【発明が解決しようとする課題】データ伝送において
は、伝送路に加わった外乱等によりデータ化けやデータ
欠落等といった伝送誤りが発生し、受信側が正常な映像
を復号再生できない事態が生ずる場合がある。特に、Ｍ
ＰＥＧ方式やＨ．２６１方式のように原画像分割した画
素ブロックの単位で情報源符号化を行う場合には、１ビ
ットの誤りがあってもその画素ブロック全体に影響が及
んでしまう。例えば、図１０に示すように、複数のピク
チャ（１〜Ｎ）から成る動画像を符号化して伝送し、ｉ
番目のピクチャの部分画像に相当する伝送フレームｊで
誤りが生じた場合、ＭＰＥＧ方式では当該ｉ番目のピク
チャは正常なスライスを受信するまで復号できず、Ｈ．
２６１方式では当該ｉ番目以降のピクチャは正常なピク
チャを受信するまで復号化できない。

【００１２】上記のような動画像通信において発生する
伝送誤りに対して、送信側で伝送フレームに誤り訂正符
号を付加し、受信側で誤り訂正符号に基づいた訂正処理
を行って誤ったデータを訂正することが行われている
が、伝送するデータ量が増大するに伴って、訂正処理を
行っても誤りが残留する可能性があるため、誤りの影響
を大きく残した状態で復号化されたり、或いは、復号化
処理が不能となって伝送処理が続行できない事態が生じ
ていた。本発明は上記従来の事情に鑑みなされたもの
で、伝送誤りが生じた場合にあっても、その影響を最小
限に抑えた状態で原画像を復号再生することができる動
画像通信方法を提供することを目的とする。

【００１３】

【課題を解決するための手段】上記目的を達成するた
め、本発明の動画像通信方法は、動画像フレームを分割
したブロック単位で情報源符号化し、動き補償予測のた
めにこれらブロックを複数まとめたマイクロブロック化
して伝送する動画像通信方法において、送信側ではマイ
クロブロックに誤り検出符号を付加して伝送し、受信側
では、誤り検出符号に基づいて伝送誤りを検出し、伝送
誤りを検出したマイクロブロックについては復号化処理
が可能なマイクロブロックに置き換えた後に、復号化処
理を行うことを特徴とする。

【００１４】したがって、本発明の動画像通信方法で
は、受信側で誤り検出符号に基づいて伝送誤りが生じた
か否かを検出し、伝送誤りがあった場合には、伝送誤り
に係るマイクロブロックを代替マイクロブロックで置換
して復号化処理を行う。この代替マイクロブロックは復
号化可能且つ適当なデータで構成され、例えば、フレー
ム内符号化されたＩピクチャ内のマイクロブロックにつ
いてはモノトーンの部分画像の符号データを有する代替
マイクロブロックが用いられ、フレーム間符号化された
ＰピクチャやＢピクチャについては動き補償ベクトルの
成分が０になる符号データの代替マイクロブロックが用
いられる。

【００１５】

【発明の実施の形態】本発明の一実施例に係る動画像通
信方法を図面を参照して説明する。なお、本実施例はＭ
ＰＥＧ方式又はＨ．２６１方式を用いたものであり、以
下の説明では図６、図８及び図９を適宜参照する。

【００１６】まず、ＭＰＥＧ方式の場合には、８×８画
素のブロック単位で情報源符号化されて可変長符号化さ
れた動画像データに対して、図１に示すような伝送フレ
ーム（ＨＤＬＣフレーム）を作成して受信側への伝送を
行う。この伝送フレームは先頭フラグ、データ部、フレ
ームチェックシーケンス（ＦＣＳ）から構成されてい
る。先頭フラグは同期をとるためのフラグであり、通常
８ビット（例えば、”０１１１１１１０”）構成となっ
ている。フレームチェックシーケンスは伝送誤り検出符
号であり、例えば、１６ビット構成の巡回符号検査（Ｃ
ＲＣ）が用いられる。

【００１７】データ部は１ビットのデータ識別子と可変
長のヘッダ又は画像データから構成されており、データ
識別子によってヘッダか画像データかが示されている。
画像データは画像情報と符号データとを含んでおり、符
号データには１のマイクロブロックＭＢ又は同じ属性を
もつ複数のマイクロブロックＭＢの符号化データが含ま
れている。画像情報にはＩ、Ｐ、Ｂのいずれかを示す３
ビットのピクチャタイプ、量子化ステップ数等を含む５
ビットの圧縮パラメータ、符号データ中のマイクロブロ
ックＭＢがピクチャ中の何番目にものかを示す８ビット
のシーケンス番号が含まれている。

【００１８】また、Ｈ．２６１方式の場合には、８×８
画素のブロック単位で情報源符号化されて可変長符号化
された動画像データに対して、図２に示すような伝送フ
レーム（ＨＤＬＣフレーム）を作成して受信側への伝送
を行う。この伝送フレームは同期をとるための通常８ビ
ットから成る先頭フラグ（例えば、”０１１１１１１
０”）、可変長のデータ部、１６ビットの巡回符号検査
（ＣＲＣ）を用いたフレームチェックシーケンス（ＦＣ
Ｓ）から構成されている。

【００１９】データ部は２ビットの識別子と可変長のヘ
ッダ又はフィルビット又は画像データから構成されてい
る。識別子は１ビットのデータ識別子と１ビットのフィ
ル識別子から構成されており、データ識別子によって画
像データかヘッダ或いはフィルビットかが示され、フィ
ル識別子によってヘッダかフィルビットかが示されてい
る。画像データは画像情報と符号データとを含んでお
り、符号データには１のマイクロブロックＭＢ又は同じ
属性をもつ複数のマイクロブロックＭＢの符号化データ
が含まれている。画像情報には２ビットの符号化モー
ド、量子化ステップ数等を含む５ビットの圧縮パラメー
タ、符号データ中のマイクロブロックＭＢがピクチャ中
の何番目にものかを示す８ビットのシーケンス番号が含
まれている。なお、符号化モードはマイクロブロックＭ
Ｂがフレーム内符号化されたものか又はフレーム間符号
化されたものかを示し、更に、フレーム間符号化された
ものである場合には、情報源符号化処理及び情報源復号
化処理で動き補償予測に用いるループ内フィルタ（空間
的なローパスフィルタ）のオン又はオフを示している。

【００２０】ＭＰＥＧ方式、Ｈ．２６１方式のいずれの
場合にあっても図６に示したシステムにおいて図３に示
すような手順で送信処理がなされる。まず、情報源符号
化器１が図外のバッファ等からブロック単位で映像信号
を読み出し（ステップＳ１）、離散コサイン変換、量子
化及び動き補償予測等を用いて符号化し（ステップＳ
２）、更に、この映像信号を可変長符号化器２でエント
ロピー符号化及び階層構造符号化し（ステップＳ３）、
得られたマイクロブロックＭＢ単位の画像符号化データ
を送信バッファ３に一旦格納する。

【００２１】そして、伝送符号化部４で送信バッファ３
から読み出した画像符号化データに誤り検出符号を付加
して図１又は図２に示した伝送フレーム化し（ステップ
Ｓ４）、通信制御部５で伝送路に適した信号に変調して
伝送路６へ送信する（ステップＳ５）。上記の一連の処
理は符号化圧縮して送信すべき映像信号が無くなるまで
繰り返し行われる（ステップＳ６）。なお、上記の一連
の処理において、符号化制御部１２が送信バッファ３の
空き容量を判断し、空き容量がない場合には情報源符号
化器１及び可変長符号化器２による処理を抑制して（ス
テップＳ８）、送信バッファ３のオーバーフローを防止
している。

【００２２】また、受信処理は、ＭＰＥＧ方式、Ｈ．２
６１方式のいずれの場合にあっても図６に示したシステ
ムにおいて図４に示すような手順でなされる。まず、通
信制御部７で伝送路６から伝送フレームを受信すると
（ステップＳ１１）、伝送復号部８で誤り検査を行って
伝送誤りが発生したかを判断し（ステップＳ１２）、伝
送フレームのデータ部に含まれているデータ部を受信バ
ッファ９に一旦格納する。そして、受信バッファ９から
読み出したデータ部に含まれている符号データを可変長
復号器１０及び情報源復号器１１で送信側の符号化処理
と逆の復号化処理を施して映像信号を再生する（ステッ
プＳ１３、Ｓ１４）。

【００２３】上記の一連の処理は伝送フレームの受信が
終了するまで繰り返し行われるが（ステップＳ１５）、
受信した伝送フレームに伝送誤りがある場合には（ステ
ップＳ１２）、この伝送フレームに含まれているマイク
ロブロックＭＢを代替マイクロブロックＭＢで置き換え
た後に（ステップＳ１６）、復号化処理を行う（ステッ
プＳ１３、Ｓ１４）。

【００２４】この代替マイクロブロックＭＢは、符号化
可能で且つ適当な符号化データを含み、伝送誤りを検出
した際に用いられものであり、フレーム内符号化された
マイクロブロックＭＢに対しては例えばモノトーンの符
号データをもつマイクロブロックＭＢで置換し、フレー
ム間符号化されたマイクロブロックＭＢに対しては例え
ば動き補償ベクトルの成分が０になる符号データをもつ
マイクロブロックＭＢで置換する。なお、代替マイクロ
ブロックＭＢは、受信装置側に予め適当なデータで設定
しておくようにしてもよいが、正常に伝送された同一ピ
クチャ内の周囲の画像データとの相関性や、時間的に前
後のピクチャの画像データとの相関性を考慮して必要な
都度設定すれば、単に復号化処理を続行させることがで
きるだけでなく、画像の補完を行うこともできる。

【００２５】この結果、図５に示すように、複数のピク
チャ（１〜Ｎ）から成る動画像を符号化して伝送し、ｉ
番目のピクチャのマイクロブロックＭＢを含む伝送フレ
ームｋで誤りが生じた場合にあっても、ＭＰＥＧ方式で
は当該ｉ番目のピクチャは誤りの影響は残るが必ず復号
でき、Ｈ．２６１方式では当該ｉ番目以降のピクチャは
正常なピクチャを受信するまで誤りの影響は残るが必ず
復号できる。したがって、伝送誤りの影響を最小限に止
めた状態で原画像を復号再生し、動画像データの伝送処
理を最後まで履行することができる。

【００２６】

【発明の効果】以上説明したように、本発明の動画像通
信方法によれば、伝送誤りを検出したマイクロブロック
については復号化処理が可能なマイクロブロックに置き
換えた後に、復号化処理を行うようにしたため、動画像
データの伝送において伝送誤りが生じた場合にあって
も、伝送誤りの影響を最小限に抑えた状態で原画像を復
号再生することができ、また、復号化処理が不能となる
事態を防止して伝送処理を続行させることができる。

【図面の簡単な説明】

【図１】本発明の一実施例を適用したＭＰＥＧ方式での
伝送フレームを示す構成図である。

【図２】本発明の一実施例を適用したＨ．２６１方式で
の伝送フレームを示す構成図である。

【図３】本発明の一実施例に係る送信処理の手順を示す
フローチャートである。

【図４】本発明の一実施例に係る受信処理の手順を示す
フローチャートである。

【図５】本発明の一実施例に係る動画像通信処理を説明
する概念図である。

【図６】動画像通信システムの構成を示すブロック図で
ある。

【図７】従来の伝送フレームの一例を示す構成図であ
る。

【図８】ＭＰＥＧ方式での符号化データの階層構造を示
す概念図である。

【図９】Ｈ．２６１方式での符号化データの階層構造を
示す概念図である。

【図１０】従来の動画像通信処理を説明する概念図であ
る。

【符号の説明】

１ 情報源符号化器、 ２ 可変長符号化器、 ４ 伝送符号化器、 ５、７ 通信制御部、 ６ 伝送路、 ８ 伝送復号部、 １０ 可変長復号器、 １１ 情報源復号器、

Claims (1)

【特許請求の範囲】
1. 【請求項１】 動画像フレームを分割したブロック単位
   で情報源符号化し、動き補償予測のためにこれらブロッ
   クを複数まとめたマイクロブロック化して伝送する動画
   像通信方法において、 送信側ではマイクロブロックに誤り検出符号を付加して
   伝送し、 受信側では、誤り検出符号に基づいて伝送誤りを検出
   し、伝送誤りを検出したマイクロブロックについては復
   号化処理が可能なマイクロブロックに置き換えた後に、
   復号化処理を行うことを特徴とする動画像通信方法。