JPH0951540A - 動画像通信方法 - Google Patents

Abstract

(57)【要約】 【目的】 マイクロブロックに伝送誤りが生じた場合に
あっても、その影響を最小限に抑えるとともに誤り部分
の画像データを補完して、画質低下を極力抑えた状態で
原画像を復号再生する。 【構成】 動画像フレームを分割したブロック単位で情
報源符号器１によって符号化し、動き補償予測のために
可変長符号化器２でこれらブロックを複数まとめたマイ
クロブロック化して通信制御部５から伝送路６へ伝送す
る動画像通信方法において、送信側では伝送符号部４で
マイクロブロックに誤り検出符号を付加して伝送し、受
信側では、誤り検出符号に基づいて伝送復号部８で伝送
誤りを検出し、伝送誤りを検出したマイクロブロックに
ついては正常に伝送された画像データとの相関性から求
めた復号化処理が可能なマイクロブロックに置き換えた
後に、可変長復号器１０及び情報源復号器１１で復号化
処理を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、圧縮されて伝送さ
れてきた動画像を復号化する動画像通信方法に関し、特
に、動画像フレームを分割したマイクロブロックに伝送
誤りが生じた場合の対処方法に関する。

【０００２】

【従来の技術】動画像を無線或いは有線で遠隔地へ伝送
する動画像伝送システムは、例えば画像による監視を行
うシステム（防犯システム、セキュリティシステム、防
災システム、クレーン運転等の作業監視システム、等）
等といった種々な分野で利用されている。

【０００３】ここで、ＣＣＩＴＴ（国際電信電話諮問委
員会、現ＩＴＵ−ＴＳ：電気通信標準化セクタ）で規格
化されたディジタル画像圧縮方式として、動画像につい
てはＨ．２６１方式、ＭＰＥＧ（Moving Picture Codin
g Experts Group）方式等が知られている。Ｈ．２６１
方式及びＭＰＥＧ方式は離散コサイン変換（ＤＣＴ：Di
screte Cosine Transform）の技術と共に、フレーム間
の相関を利用したフレーム間符号化の技術を用いてい
る。すなわち、Ｈ．２６１方式では動画像を効率よく圧
縮するために動き補償フレーム予測の技術を用い、ＭＰ
ＥＧ方式では更に高画質且つ高圧縮を実現するため時間
的に前後した双方向の動き補償フレーム予測技術を用い
ている。

【０００４】まず、図８乃至図１０を参照してＭＰＥＧ
方式を説明する。ＭＰＥＧ方式では、動画像を複数のフ
レーム（ピクチャ）からなるグループ（ＧＯＰ）に分割
して符号化を行い、各グループ（ＧＯＰ）がフレーム内
符号化したＩピクチャと、フレーム間符号化したＰピク
チャ及びＢピクチャとが混在するようにしている。Ｉピ
クチャは同一フレーム内の画素の相関関係を利用して冗
長な画像データ部分を削除したフレームであり、フレー
ム内符号化により圧縮された画像データからなってい
る。したがって、Ｉピクチャはこの圧縮処理と逆にフレ
ーム内復号化して伸張処理することにより、フレームに
対応する画像を再生することができる。

【０００５】Ｐピクチャは時間的に前のＩピクチャを参
照してフレーム間符号化したフレームであり、Ｉピクチ
ャに比べて動きのある部分のみを抽出し、抽出した部分
に必要であれば動き補償やフレーム内符号化を加えた画
像データからなっている。したがって、Ｐピクチャはこ
の圧縮処理と逆に、伸張させたＩピクチャにＰピクチャ
の画像データを合成することによりフレーム間復号化し
て伸張処理し、フレームに対応する画像を再生すること
ができる。Ｂピクチャは時間的に前後の２つのフレーム
を参照してフレーム間符号化したフレームであり、前後
にあるＩピクチャ及びＰピクチャに比べて動きのある部
分のみを抽出し、抽出した部分に必要であれば動き補償
やフレーム内符号化を加えた画像データからなってい
る。したがって、Ｂピクチャはこの圧縮処理と逆に、伸
張させたＩピクチャ及びＰピクチャにＢピクチャの画像
データを合成することによりフレーム間復号化して伸張
処理し、フレームに対応する画像を再生することができ
る。

【０００６】動画像画像通信システムは、図８に示すよ
うに、送信側１〜５で符号化した映像信号を伝送路６を
介して伝送し、伝送路６を介して受信した符号化映像信
号を受信側７〜１１において復号させて映像信号を再生
する。送信側では、情報源符号化器１で離散コサイン変
換、量子化及び動き補償予測等を用いて映像信号を符号
化し、この映像信号を可変長符号化器２でエントロピー
符号化及び階層構造符号化した画像符号化データを送信
バッファ３に一旦格納し、送信バッファ３から読み出し
た画像符号化データに伝送符号化部４で誤り訂正符号
（ＦＥＣ：Forword Error Correction）を付加し、これ
を通信制御部５で伝送路に適した信号に変調して伝送路
６へ送信する。

【０００７】一方、受信側では、通信制御部７で伝送路
６から画像符号化データを受信し、伝送復号部８で誤り
訂正復号化して受信バッファ９に一旦格納し、受信バッ
ファ９から読み出したデータに可変長復号器１０及び情
報源復号器１１で送信側の符号化処理と逆の復号化処理
を施して映像信号を再生する。なお、送信側では、送信
バッファ３がオーバーフローしないように符号化制御部
１２でバッファ量を検知して、情報源符号化器１及び可
変長符号化器２による処理を制御している。

【０００８】符号化画像データの伝送は、例えば図９に
示すような８フレームから成るマルチフレーム構造の固
定長伝送フレームの形式でなされ、各フレームは１ビッ
トのフレーム同期ビットＳ1〜Ｓ8、４９３ビットのデー
タ部、１８ビットの誤り訂正符号から構成されている。
また、データ部は１ビットのファイル識別ビットＦiと
４９２ビットの符号化画像データ又はフィルビットから
構成されている。なお、ここにいうフレームとは画面の
単位ではなく、伝送データの１まとまりの単位をいう。
また、フィルビットとは送信データが不足する場合に充
填するダミービット（例えば、全て”１”）をいう。

【０００９】ＭＰＥＧ方式での符号化画像データは図１
０に示すような階層構造で扱われ、１又は複数のマイク
ロブロックＭＢが伝送フレームのデータ部に含ませられ
て伝送される。階層構造では、動画像を複数のピクチャ
（Ｉ、Ｂ、Ｐ）からなるグループＧＯＰのシーケンスと
して扱い、各ピクチャを複数のスライスに分割し、各ス
ライスを複数のマイクロブロックＭＢに分割し、各マイ
クロブロックＭＢを４つの輝度信号ブロックＹと２つの
色差信号ブロックＣｂ、Ｃｒに分割して扱う。ブロック
Ｙ、Ｃｂ、Ｃｒは８×８画素であり、離間コサイン変換
を行う最小単位である。マイクロブロックＭＢは、或る
ブロックに対応する色差信号ブロックＣｂ、Ｃｒと当該
ブロックに隣接する４つの合計６つのブロックから構成
されており、動き補償予測を行う最小単位である。

【００１０】なお、Ｈ．２６１方式もＭＰＥＧ方式とほ
ぼ同様な処理を行うが、特に図１１に示すように、符号
化画像データの階層構造が異なっている。すなわち、各
ピクチャを複数のフォーマットに分割し、各フォーマッ
トを複数のマイクロブロックＭＢに分割し、各マイクロ
ブロックＭＢをＭＰＥＧ方式と同様に４つの輝度信号ブ
ロックＹと２つの色差信号ブロックＣｂ、Ｃｒに分割し
て扱う。

【００１１】

【発明が解決しようとする課題】データ伝送において
は、伝送路に加わった外乱等によりデータ化けやデータ
欠落等といった伝送誤りが発生し、受信側が正常な映像
を復号再生できない事態が生ずる場合がある。特に、Ｍ
ＰＥＧ方式やＨ．２６１方式のように原画像分割した画
素ブロックの単位で情報源符号化を行う場合には、１ビ
ットの誤りがあってもその画素ブロック全体に影響が及
んでしまう。例えば、図１２に示すように、複数のピク
チャ（１〜Ｎ）から成る動画像を符号化して伝送し、ｉ
番目のピクチャの部分画像に相当する伝送フレームｊで
誤りが生じた場合、ＭＰＥＧ方式では当該ｉ番目のピク
チャは正常なスライスを受信するまで復号できず、Ｈ．
２６１方式では当該ｉ番目以降のピクチャは正常なピク
チャを受信するまで復号化できない。

【００１２】上記のような動画像通信において発生する
伝送誤りに対して、送信側で伝送フレームに誤り訂正符
号を付加し、受信側で誤り訂正符号に基づいた訂正処理
を行って誤ったデータを訂正することが行われている
が、伝送するデータ量が増大するに伴って、訂正処理を
行っても誤りが残留する可能性があるため、復号化処理
が不能となって伝送処理が続行できない事態が生じてい
た。また、例え符号化処理が行えても、誤りの影響を大
きく残した状態で復号化され、再生画像の質が大きく低
下してしまっていた。本発明は上記従来の事情に鑑みな
されたもので、伝送誤りが生じた場合にあっても、その
影響を最小限に抑えるとともに誤り部分の画像データを
補完して、画質低下を極力抑えた状態で原画像を復号再
生することができる動画像通信方法を提供することを目
的とする。

【００１３】

【課題を解決するための手段】上記目的を達成するた
め、本発明の動画像通信方法は、動画像フレームを分割
したブロック単位で情報源符号化し、動き補償予測のた
めにこれらブロックを複数まとめたマイクロブロック化
して伝送する動画像通信方法において、送信側ではマイ
クロブロックに誤り検出符号を付加して伝送し、受信側
では、誤り検出符号に基づいて伝送誤りを検出し、伝送
誤りを検出したマイクロブロックについては正常に伝送
された画像データとの相関性から求めた復号化処理が可
能なマイクロブロックに置き換えた後に、復号化処理を
行うことを特徴とする。

【００１４】したがって、本発明の動画像通信方法で
は、受信側で誤り検出符号に基づいて伝送誤りが生じた
か否かを検出し、伝送誤りがあった場合には、伝送誤り
に係るマイクロブロックを代替マイクロブロックで置換
して復号化処理を行う。この代替マイクロブロックは正
常に伝送された画像データと相関性をもった復号化可能
なデータで構成され、マイクロブロックがフレーム内符
号化されているか又はフレーム間符号化されているかに
応じて、正常に伝送された同一ピクチャ内の周囲の画像
データとの相関性や時間的に前後のピクチャの画像デー
タとの相関性を考慮して生成される。

【００１５】

【発明の実施の形態】本発明の一実施例に係る動画像通
信方法を図面を参照して説明する。なお、本実施例はＭ
ＰＥＧ方式又はＨ．２６１方式を用いたものであり、以
下の説明では図８、図１０及び図１１を適宜参照する。

【００１６】まず、ＭＰＥＧ方式の場合には、８×８画
素のブロック単位で情報源符号化されて可変長符号化さ
れた動画像データに対して、図１に示すような伝送フレ
ーム（ＨＤＬＣフレーム）を作成して受信側への伝送を
行う。この伝送フレームは先頭フラグ、データ部、フレ
ームチェックシーケンス（ＦＣＳ）から構成されてい
る。先頭フラグは同期をとるためのフラグであり、通常
８ビット（例えば、”０１１１１１１０”）構成となっ
ている。フレームチェックシーケンスは伝送誤り検出符
号であり、例えば、１６ビット構成の巡回符号検査（Ｃ
ＲＣ）が用いられる。

【００１７】データ部は１ビットのデータ識別子と可変
長のヘッダ又は画像データから構成されており、データ
識別子によってヘッダか画像データかが示されている。
画像データは画像情報と符号データとを含んでおり、符
号データには１のマイクロブロックＭＢ又は同じ属性を
もつ複数のマイクロブロックＭＢの符号化データが含ま
れている。画像情報にはＩ、Ｐ、Ｂのいずれかを示す３
ビットのピクチャタイプ、量子化ステップ数等を含む５
ビットの圧縮パラメータ、符号データ中のマイクロブロ
ックＭＢがピクチャ中の何番目のものかを示す８ビット
のシーケンス番号が含まれている。

【００１８】また、Ｈ．２６１方式の場合には、８×８
画素のブロック単位で情報源符号化されて可変長符号化
された動画像データに対して、図２に示すような伝送フ
レーム（ＨＤＬＣフレーム）を作成して受信側への伝送
を行う。この伝送フレームは同期をとるための通常８ビ
ットから成る先頭フラグ（例えば、”０１１１１１１
０”）、可変長のデータ部、１６ビットの巡回符号検査
（ＣＲＣ）を用いたフレームチェックシーケンス（ＦＣ
Ｓ）から構成されている。

【００１９】データ部は２ビットの識別子と可変長のヘ
ッダ又はフィルビット又は画像データから構成されてい
る。識別子は１ビットのデータ識別子と１ビットのフィ
ル識別子から構成されており、データ識別子によって画
像データかヘッダ或いはフィルビットかが示され、フィ
ル識別子によってヘッダかフィルビットかが示されてい
る。画像データは画像情報と符号データとを含んでお
り、符号データには１のマイクロブロックＭＢ又は同じ
属性をもつ複数のマイクロブロックＭＢの符号化データ
が含まれている。画像情報には２ビットの符号化モー
ド、量子化ステップ数等を含む５ビットの圧縮パラメー
タ、符号データ中のマイクロブロックＭＢがピクチャ中
の何番目にものかを示す８ビットのシーケンス番号が含
まれている。なお、符号化モードはマイクロブロックＭ
Ｂがフレーム内符号化されたものか又はフレーム間符号
化されたものかを示し、更に、フレーム間符号化された
ものである場合には、情報源符号化処理及び情報源復号
化処理で動き補償予測に用いるループ内フィルタ（空間
的なローパスフィルタ）のオン又はオフを示している。

【００２０】ＭＰＥＧ方式、Ｈ．２６１方式のいずれの
場合にあっても図８に示したシステムにおいて図３に示
すような手順で送信処理がなされる。まず、情報源符号
化器１が図外のバッファ等からブロック単位で映像信号
を読み出し（ステップＳ１）、離散コサイン変換、量子
化及び動き補償予測等を用いて符号化し（ステップＳ
２）、更に、この映像信号を可変長符号化器２でエント
ロピー符号化及び階層構造符号化し（ステップＳ３）、
得られたマイクロブロックＭＢ単位の画像符号化データ
を送信バッファ３に一旦格納する。

【００２１】そして、伝送符号化部４で送信バッファ３
から読み出した画像符号化データに誤り検出符号を付加
して図１又は図２に示した伝送フレーム化し（ステップ
Ｓ４）、通信制御部５で伝送路に適した信号に変調して
伝送路６へ送信する（ステップＳ５）。上記の一連の処
理は符号化圧縮して送信すべき映像信号が無くなるまで
繰り返し行われる（ステップＳ６）。なお、上記の一連
の処理において、符号化制御部１２が送信バッファ３の
空き容量を判断し、空き容量がない場合には情報源符号
化器１及び可変長符号化器２による処理を抑制して（ス
テップＳ８）、送信バッファ３のオーバーフローを防止
している。

【００２２】また、受信処理は、ＭＰＥＧ方式、Ｈ．２
６１方式のいずれの場合にあっても図８に示したシステ
ムにおいて図４に示すような手順でなされる。まず、通
信制御部７で伝送路６から伝送フレームを受信すると
（ステップＳ１１）、伝送復号部８で誤り検査を行って
伝送誤りが発生したかを判断し（ステップＳ１２）、伝
送フレームのデータ部に含まれているデータ部を受信バ
ッファ９に一旦格納する。そして、受信バッファ９から
読み出したデータ部に含まれている符号データを可変長
復号器１０及び情報源復号器１１で送信側の符号化処理
と逆の復号化処理を施して映像信号を再生する（ステッ
プＳ１３、Ｓ１４）。

【００２３】上記の一連の処理は伝送フレームの受信が
終了するまで繰り返し行われるが（ステップＳ１５）、
受信した伝送フレームに伝送誤りがある場合には（ステ
ップＳ１２）、この伝送フレームに含まれているマイク
ロブロックＭＢを代替マイクロブロックＭＢで置き換え
た後に（ステップＳ１６）、復号化処理を行う（ステッ
プＳ１３、Ｓ１４）。

【００２４】この代替マイクロブロックＭＢは、正常に
伝送された画像データとの相関性から求めた復号化処理
が可能な符号化データから成り、伝送誤りを検出した際
に受信側で生成されて用いられる。すなわち、伝送誤り
のあるマイクロブロックＭＢを補って単に復号化処理を
続行させるだけでなく、相関性に基づいた画像の補完も
行う。

【００２５】フレーム内符号化されたピクチャ（Ｉピク
チャ）内のマイクロブロックＭＢに対する代替マイクロ
ブロックＭＢは、同じピクチャ内の隣接する正常に受信
された画素及び時間的に前後するピクチャの対応する位
置の画素のデータとの相関を用いて生成する。例えば、
図５に示すような画像データ部分に伝送誤りが発生して
当該画像データ部分が破棄される場合には、当該画伝送
誤り部分に隣接する正常に受信された画素ａ、ｂ、ｃ、
ｄの値を用いて、伝送誤り部分に含まれる画素ｘの値を
同図中の（１）式により計算し、この伝送誤り部分の全
画素値を符号データ化して代替マイクロブロックＭＢを
生成する。

【００２６】また、フレーム間符号化されたピクチャ
（Ｐ又はＢピクチャ）内のマイクロブロックＭＢに対す
る代替マイクロブロックＭＢは、同じピクチャ内の正常
に受信された隣接するマイクロブロックＭＢ及び時間的
に前後するピクチャの対応する位置のマイクロブロック
ＭＢの動き補償ベクトル成分からベクトルを推定し、推
定したベクトルを符号データにもつマイクロブロックＭ
Ｂを生成する。例えば、図６に示すようなマイクロブロ
ックＭＢに伝送誤りが発生して当該マイクロブロックＭ
Ｂが破棄される場合には、当該マイクロブロックＭＢに
隣接する正常に受信されたマイクロブロックＭＢｒ0〜
ｒ7の動き補償ベクトルを用いて、伝送誤りマイクロブ
ロックＭＢの動き補償ベクトルを同図中の（２）式によ
り計算し、得られたベクトルを符号データにもつ代替マ
イクロブロックＭＢを生成する。

【００２７】この結果、図７に示すように、複数のピク
チャ（１〜Ｎ）から成る動画像を符号化して伝送し、ｉ
番目のピクチャのマイクロブロックＭＢを含む伝送フレ
ームｋで誤りが生じた場合にあっても、ＭＰＥＧ方式で
は当該ｉ番目のピクチャは誤りの影響は若干残るがかな
り高い画質で必ず復号でき、Ｈ．２６１方式では当該ｉ
番目以降のピクチャは正常なピクチャを受信するまで誤
りの影響は若干残るがかなり高い画質で必ず復号でき
る。したがって、伝送誤りの影響を最小限に止めた状態
で高画質な原画像を復号再生し、動画像データの伝送処
理を最後まで履行することができる。

【００２８】

【発明の効果】以上説明したように、本発明の動画像通
信方法によれば、伝送誤りを検出したマイクロブロック
については正常に伝送された画像データとの相関性性を
有した復号化処理が可能なマイクロブロックに置き換え
た後に、復号化処理を行うようにしたため、動画像デー
タの伝送において伝送誤りが生じた場合にあっても、伝
送誤りの影響を最小限に抑えた状態で高画質な原画像を
復号再生することができ、また、復号化処理が不能とな
る事態を防止して伝送処理を続行させることができる。

【図面の簡単な説明】

【図１】本発明の一実施例を適用したＭＰＥＧ方式での
伝送フレームを示す構成図である。

【図２】本発明の一実施例を適用したＨ．２６１方式で
の伝送フレームを示す構成図である。

【図３】本発明の一実施例に係る送信処理の手順を示す
フローチャートである。

【図４】本発明の一実施例に係る受信処理の手順を示す
フローチャートである。

【図５】フレーム内符号化した代替マイクロブロックの
生成を説明する概念図である。

【図６】フレーム間符号化した代替マイクロブロックの
生成を説明する概念図である。

【図７】本発明の一実施例に係る動画像通信処理を説明
する概念図である。

【図８】動画像通信システムの構成を示すブロック図で
ある。

【図９】従来の伝送フレームの一例を示す構成図であ
る。

【図１０】ＭＰＥＧ方式での符号化データの階層構造を
示す概念図である。

【図１１】Ｈ．２６１方式での符号化データの階層構造
を示す概念図である。

【図１２】従来の動画像通信処理を説明する概念図であ
る。

【符号の説明】

１ 情報源符号化器、 ２ 可変長符号化器、 ４ 伝送符号化器、 ５、７ 通信制御部、 ６ 伝送路、 ８ 伝送復号部、 １０ 可変長復号器、 １１ 情報源復号器、

Claims (1)

【特許請求の範囲】
1. 【請求項１】 動画像フレームを分割したブロック単位
   で情報源符号化し、動き補償予測のためにこれらブロッ
   クを複数まとめたマイクロブロック化して伝送する動画
   像通信方法において、 送信側ではマイクロブロックに誤り検出符号を付加して
   伝送し、 受信側では、誤り検出符号に基づいて伝送誤りを検出
   し、伝送誤りを検出したマイクロブロックについては正
   常に伝送された画像データとの相関性から求めた復号化
   処理が可能なマイクロブロックに置き換えた後に、復号
   化処理を行うことを特徴とする動画像通信方法。