JP2581420B2 - 動画像符号化伝送における復号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像符号化伝送におけ
る復号化装置に係り、特にフレーム間符号化を用いた片
方向伝送を行う動画像伝送において符号化データを復号
する復号化装置に関する。

【０００２】動画像に対する直交変換を用いた符号化伝
送においては、通常ブロック単位でフィールド間又は動
き適応型のフレーム間の差分画像データに対して離散コ
サイン変換（ＤＣＴ）方式で符号化した符号化データを
伝送する第１のモードと、入力画像そのものに対して符
号化した符号化データを伝送する第２のモードとを、入
力画像の内容に従ってある規則によって適応的に切り換
える。

【０００３】しかし、データエラーなどの回線上の問題
によって、復号化装置が正常に復号化動作ができない状
態になることがある。このような状態から正常動作に復
帰するために、所定周期に一度１フレームの画像を強制
的に上記第２のモードで伝送することにより、正常動作
に復帰させる方法がとられている。この場合、突発的な
情報量の発生を防ぐために、１フレームの画像データを
複数に分割して間欠的に伝送する方法が取られる。

【０００４】この方法を採用した場合、正常動作に復帰
後にこの方法で伝送された分割画像データが、回線上の
問題によって正常動作できないときに記憶されていた前
フレームの破壊データにより破壊されることを防止する
ことが必要とされる。

【０００５】

【従来の技術】図３は従来の復号化装置の一例のブロッ
ク図を示す。同図において、復号化装置は、復号化部
１、逆量子化部２、逆直交変換部３、セレクタ４、加算
部５、フィールドメモリ６及び７、並びにアドレス制御
部８よりなる。復号化部１は送信装置より伝送路を介し
て送られてくる符号化データＤ１を入力信号として受
け、符号化する前の元のデータに戻す。逆量子化部２
は、復号化部１により復号された画像インデックスデー
タＤ２を、復号化部１よりの量子化パラメータＳ１に応
じて逆量子化を行う。逆直交変換部３は逆量子化部２に
より逆量子化された画像インデックスデータに対して逆
直交変換を施す。

【０００６】セレクタ４は復号化部１により復号化され
たブロックタイプ情報Ｓ３がセレクト信号として入力さ
れ、これにより前フレームデータ、前フィールドデータ
及びディジタル的ゼロデータの３種類のデータのうちの
いずれか一のデータを選択出力する。加算部５は逆直交
変換部３の出力画像データとセレクタ４の出力データと
をそれぞれ加算する。フィールドメモリ６は、加算部５
の出力画像データを１フィールド分蓄積する。フィール
ドメモリ７はフィールドメモリ６の出力画像データを更
に１フィールド分蓄積する。また、アドレス制御部８は
復号化部１により復号されたベクトルデータＳ２から、
フィールドメモリ７に対するアドレスを制御する。

【０００７】次に、この従来の復号化装置の動作につい
て説明する。送信装置（図示せず）より伝送路を介して
送られてきた符号化データＤ１は復号化部１に入力され
る。符号化データＤ１は通常、Ｍライン×Ｎ画素のブロ
ック単位で符号化処理されている画像データと、その他
それに付随するヘッダ関係のデータからなる、可変長符
号化データである。この符号化データＤ１は復号化部１
において、画像インデックスデータＤ２、量子化パラメ
ータＳ１、ベクトルデータＳ２、ブロックタイプ情報Ｓ
３にそれぞれ復号化される。

【０００８】画像インデックスデータＤ２は逆量子化部
２に量子化パラメータＳ１と共に入力され、ここで量子
化パラメータＳ１に従って量子化される前のデータに変
換された後、逆直交変換部３により元の画像データに変
換される。この画像データは加算部５でセレクタ４の出
力データと加算されて画像データとされた後、後段の回
路（図示せず）へ出力される一方、フィールドメモリ６
に入力されて１フィールド分蓄積される。更に、フィー
ルドメモリ６の出力画像データはフィールドメモリ７に
入力されて１フィールド分蓄積される。

【０００９】これにより、加算部５の出力画像データに
対して１フィールド前の画像データがフィールドメモリ
６から取り出され、また１フレーム前の画像データがフ
ィールドメモリ７から取り出される。セレクタ４は復号
化部１よりのブロックタイプ情報Ｓ３が逆直交変換部３
の出力画像データがフィールド間差分画像データである
ことを示しているときは、フィールドメモリ６の出力画
像データを選択して加算器５へ出力し、フレーム間差分
画像データであることを示しているときは、ベクトルデ
ータＳ２に従ってアドレス制御部８によりアドレスを補
正したフィールドメモリ７の出力画像データを選択して
加算器５へ出力する。これにより、加算器５からは最終
的な画像データが出力される。

【００１０】このような片方向の動画像伝送システムの
復号化装置において、回線（伝送路）上でエラー（デー
タ誤り等）が発生した時のエラーリカバリー処理とし
て、ある一定時間に一度１フレーム分の画像データを強
制的に符号化側（送り側）でフィールド内モードで伝送
することにより、復号化装置内のフィールドメモリ６及
び７を更新することが従来より知られている（例えば、
特開昭６３−２３６４８９号公報）。

【００１１】これを通常、リフレッシュといい、よく用
いられている方法として１フレームをいくつかのブロッ
クに分割してそれらを複数フレームに分けて伝送する方
法が用いられる。これを図４を用いて説明する。図４
（Ａ）〜（Ｄ）に示すように、１画面を領域Ａ〜Ｄの４
つに分割してそれを３０フレーム（約１秒）に一度等間
隔に１分割ずつリフレッシュする場合について説明す
る。

【００１２】まず、第Ｎフレームにおいては図４（Ａ）
に斜線を付して示すように１番上の領域Ａの部分の画像
データをフィールド内モードで伝送し、第Ｎ＋７フレー
ムにおいては同図（Ｂ）に斜線を付して示すように上か
ら２番目の領域Ｂの部分の画像データをフィールド内モ
ードで伝送し、以下同様にして同図（Ｃ）、（Ｄ）に示
すように領域Ｃ、Ｄの部分の画像データを第Ｎ＋１４フ
レーム、第Ｎ＋２１フレームにおいて伝送し、第Ｎ＋３
０フレームで再び領域Ａの部分の画像データを伝送する
というように、３０フレーム内でリフレッシュのための
１画面分の画像データを分割して伝送する。

【００１３】ここで、上記のリフレッシュのための画像
データはエラーリカバリーのために用いられるため、フ
レーム間相関あるいはフィールド間相関を利用した差分
画像データではなく、通常の画像データとされている。
このため、図３に示した従来の復号化装置では、ブロッ
クタイプ情報Ｓ３に基づき逆直交変換部３の出力画像デ
ータがリフレッシュのための画像データであるときは、
セレクタ４はディジタル的ゼロデータを選択して加算部
５へ出力し、加算動作を実質的に禁止する。これによ
り、加算部５に入力されたリフレッシュのための画像デ
ータは、そのまま加算部５から出力され、フィールドメ
モリ６及び７を更新する。

【００１４】

【発明が解決しようとする課題】しかるに、上記の従来
の複合化装置ではエラー復帰の際に破壊されたデータが
モニタ上に表示されることがある。すなわち、このこと
について説明するに、エラーが起こった時点で図３の符
号化データＤ１として、全く不明のデータが復号化部１
に入力されて出力されるため、フィールドメモリ６及び
７のデータが破壊される。その後復帰し、正しい符号化
データＤ１が復号化部１に入力され、第Ｎフレームから
正常な処理が始まったとする。そして、図４（Ｅ）に示
すように、第Ｎ＋１フレームで、領域Ａと領域Ｂとの境
目のブロックＸが下向きの垂直ベクトル情報をもち、か
つ、ブロックタイプがフレーム間であったものとする
と、フィールドメモリ７からは、アドレス制御部８によ
るアドレス補正の結果、ベクトルの大きさに応じて領域
ＢよりブロックＸのデータが読み出されることになる。

【００１５】ということは、この時点でフィールドメモ
リ７に格納されている領域Ｂのデータは第Ｎフレームの
データであり、この領域Ｂのデータは第Ｎ＋７フレーム
まで待たないとリフレッシュされないから、破壊された
状態のままである。この破壊された第Ｎフレームの領域
Ｂのデータはフィールドメモリ７から読み出され、セレ
クタ４を通って加算器５で領域ＡのブロックＸのデータ
と加算された後、フィールドメモリ６を通してフィール
ドメモリ７に第Ｎ＋１フレームの領域ＡのブロックＸの
データとして再び書き込まれる。従って、この時点で第
Ｎフレームにてリフレッシュされた領域Ａの正しいデー
タは、このブロックＸにおいては破壊されてしまう。

【００１６】このようにして、この後ブロックＸのデー
タは正常に戻るためにはブロックタイプがフィールド内
となるか、第Ｎ＋３０フレームで再び領域Ａのデータが
リフレッシュされるまで破壊された状態が続くことにな
る。このため、復号化されたデータをモニタ画面で見た
場合、画面上にその破壊されたデータが見えてしまうと
いう問題がある。

【００１７】本発明は上記の点に鑑みなされたもので、
復帰する際にリフレッシュされたデータ部分がその他の
破壊されたデータによって再び破壊されることのない、
動画像符号化伝送における復号化装置を提供することを
目的とする。

【００１８】

【課題を解決するための手段】本発明は上記の目的を達
成するため、少なくともフレーム間の差分画像データを
ブロック単位で直交変換及び符号化したデータ及びそれ
に付随するデータよりなる第１の符号化データが入力さ
れると共に、１フレームの入力画像そのものを符号化し
たデータを分割した第２の符号化データが所定期間内で
１フレーム分入力されるように間欠的に入力される復号
化部と、復号化して取り出されたデータを逆量子化及び
逆直交変換してもとの画像データに変換する変換部と、
最終的な画像データを出力する加算部と、少なくとも１
フレーム前の画像データを出力するメモリ回路と、復号
化部より取り出されるベクトルデータに基づきメモリ回
路のアドレスを制御するアドレス制御部と、メモリ回路
の出力画像データ又はディジタル的ゼロデータを復号化
部より取り出されるブロックタイプ情報に従って選択し
て加算部へ入力して変換部の出力画像データと加算させ
る第１のセレクタとよりなる復号化装置において、判定
部と選択回路とを設けたものである。

【００１９】ここで、上記の判定部は、復号化部より取
り出されたブロックタイプ情報、ベクトルデータ、画面
上の位置情報及びエラー復帰タイミング情報から、エラ
ー復帰後復号化部から第２の符号化データが１フレーム
分取り出されるまでの期間内に復号化部に入力された前
記第１の符号化データが、第２の符号化データにより書
き換えられた画面位置で、かつ、第２の符号化データに
より書き換えられていない画面位置の画像データと加算
される特定の差分画像データであるか否か判定する。

【００２０】また、上記の選択回路は、特定の差分画像
データ入力が判定された時、変換部より加算部へ出力さ
れる画像データをディジタル的ゼロデータとし、かつ、
メモリ回路より特定の差分画像データと同じ画面位置の
１フレーム前の第２の符号化データの変換画像データを
加算部へ入力する。

【００２１】この選択回路は、それぞれ判定部の判定出
力により選択動作を行う第２及び第３のセレクタよりな
る。第２のセレクタは前記変換部の出力画像データとデ
ィジタル的ゼロデータの一方を選択して前記加算部へ出
力する。第３のセレクタは前記復号化部よりの前記ベク
トルデータとディジタル的ゼロデータの一方を選択して
前記アドレス制御部へ供給する。

【００２２】

【作用】本発明では、判定部によりエラー復帰後復号化
部から第２の符号化データが１フレーム分取り出される
までの期間内に復号化部に入力された前記第１の符号化
データが、第２の符号化データにより書き換えられた画
面位置で、かつ、第２の符号化データにより書き換えら
れていない画面位置の画像データと加算される特定の差
分画像データであると判定されたときには、選択回路に
より変換部から加算部にはディジタル的ゼロデータが供
給されてメモリ回路の出力データと加算されるため、加
算部からはメモリ回路の出力データがそのまま取り出さ
れることとなる。

【００２３】ここで、上記の特定の差分画像データと加
算されるはずのメモリ回路に格納されている画像データ
は、上記第２の符号化データにより書き換えられていな
い画面位置の、エラー復帰前の破壊されたデータである
が、本発明ではこの場合にはメモリ回路の出力データは
上記特定の差分画像データと同じ画面位置の１フレーム
前の第２の符号化データの変換画像データであるため、
破壊されたデータは用いられず、リフレッシュされた正
しい画像データのみが加算回路より取り出され、再びメ
モリ回路に記憶されることとなる。従って、本発明で
は、第２の符号化データによりリフレッシュされたデー
タがその他の破壊されたデータによって、メモリ回路内
で破壊されてしまうことを防止することができる。

【００２４】

【実施例】次に、本発明の一実施例について説明する。
図１は本発明の一実施例のブロック図、図２は図１の動
作説明用の概略のタイムチャートを示す。図１中、図３
と同一構成部分には同一符号を付し、その説明を省略す
る。図１において、復号化装置は、復号化部１０、逆量
子化部２、逆直交変換部３、第１のセレクタ４、加算部
５、フィールドメモリ６及び７、並びにアドレス制御部
８よりなる従来の構成に、判定部１１、第２のセレクタ
１２及び第３のセレクタ１３を付加した構成である。

【００２５】復号化部１０は送信装置より伝送路（いず
れも図示せず）を介して送られてくる符号化データＤ１
を入力信号として受け、符号化する前の元のデータに戻
す点は従来と同じであるが、従来と異なり、画面上の位
置情報Ｓ４とエラー復帰タイミング情報Ｓ５も復号して
出力する。ここで、画面上の位置情報Ｓ４は復号化部１
０の入力符号化データＤ１が、図４のブロックＸのよう
な領域Ａ、Ｂ、Ｃ又はＤの一番下のブロックであること
を識別する情報であり、また、エラー復帰タイミング情
報Ｓ５はエラー復帰後復号化部１０から正しい復号化デ
ータが出力されてから１画面分のデータがリフレッシュ
されるまでの時間（１フレーム分のリフレッシュ用画像
データが入力完了するまでの時間）アクティブとされる
信号である。

【００２６】また、判定部１１は復号化部１０により復
号化された、ベクトルデータＳ２、ブロックタイプ情報
Ｓ３、画面上の位置情報Ｓ４及びエラー復帰タイミング
情報Ｓ５から所定条件を満足する場合にのみ、前フレー
ム画像を出力させるための制御信号を出力する。第２の
セレクタ１２は、逆直交変換部３より出力された画像デ
ータとディジタル的ゼロデータの一方を判定部１１の出
力制御信号により選択して加算部５へ出力する。更に、
第３のセレクタ１３は、復号化部１０により復号化され
たベクトルデータＳ２とディジタル的ゼロデータとを判
定部１１より出力された制御信号によって切り換えてア
ドレス制御部８へ出力する。

【００２７】次に、本実施例の動作について説明する。
送信装置（図示せず）より伝送路を介して送られてきた
符号化データＤ１は復号化部１０に入力され、ここで符
号化されて画像インデックスデータＤ２、量子化パラメ
ータＳ１、ベクトルデータＳ２、ブロックタイプ情報Ｓ
３、画面上の位置情報Ｓ４及びエラー復帰タイミング情
報Ｓ５にそれぞれ復号化される。

【００２８】上記の符号化データＤ１はブロック単位で
フィールド間又は動き適応型のフレーム間の差分画像デ
ータを直交変換及び符号化したデータ及びそれに付随す
るデータよりなる第１の符号化データと、１フレームの
入力画像そのものを符号化したデータを分割して所定期
間内で１フレーム分伝送される第２の符号化データとか
らなる。

【００２９】画像インデックスデータＤ２は逆量子化部
２に量子化パラメータＳ１と共に入力され、ここで量子
化パラメータＳ１に従って量子化される前のデータに変
換された後、逆直交変換部３により図２（Ａ）に示す元
の画像データに変換される。この画像データは後述のセ
レクタ１２を通して加算部５でセレクタ４の出力データ
と加算されて画像データとされた後、後段の回路（図示
せず）へ出力される一方、フィールドメモリ６に入力さ
れて１フィールド分蓄積される。更に、フィールドメモ
リ６の出力画像データはフィールドメモリ７に入力され
て１フィールド分蓄積される。

【００３０】また、復号化部１０より取り出されたベク
トルデータＳ２（図２（Ｄ））、ブロックタイプ情報Ｓ
３（図２（Ｂ））、画面上の位置情報Ｓ４（図２
（Ｅ））及びエラー復帰タイミング情報Ｓ５（図２
（Ｃ））はそれぞれ判定部１１に入力され、ここでエラ
ー復帰後復号化部１０から上記第２の符号化データが１
フレーム分取り出されるまでの期間内に復号化部１０に
入力された第１の符号化データが、第２の符号化データ
により書き換えられた画面位置で、かつ、第２の符号化
データにより書き換えられていない画面位置の画像デー
タと加算される特定の差分画像データであるか否か判定
する。

【００３１】すなわち、図４（Ａ）〜（Ｄ）に示したよ
うに、リフレッシュのための１フレーム分の画像データ
を領域Ａ〜Ｄの４つに分割して３０フレーム内で伝送す
る場合は、第Ｎフレームでエラー復帰したときは第Ｎフ
レームから第Ｎ＋２１フレームまでの期間、上記のエラ
ー復帰タイミング情報Ｓ５がアクティブとなる。また、
図４（Ｅ）に示したように、下向きの垂直ベクトル情報
をもち、かつ、ブロックタイプがフレーム間である、第
Ｎ＋１フレームの領域Ａと領域Ｂとの境目のブロックＸ
のデータは、リフレッシュのための第１の符号化データ
により書き換えられた第Ｎフレームの領域Ａの位置にあ
り、かつ、第１の符号化データにより書き換えられてい
ない第Ｎフレームの領域Ｂの画像データと加算される特
定の差分画像データである。

【００３２】従って、ブロックＸが画像インデックスデ
ータＤ２として復号化部１０より出力されるとき、判定
部１１は特定の差分画像データ入力と判定し、セレクタ
１２及び１３にそれぞれ図２（Ｆ）に示す如く例えばロ
ーレベルの制御信号を出力する。これにより、セレクタ
１２は逆直交変換部３の出力画像データに代えて図２
（Ｊ）に示す如くディジタル的ゼロデータを加算部５へ
出力し、これと同時にセレクタ１３はベクトルデータの
代わりに図２（Ｇ）に示す如くディジタル的ゼロデータ
を選択してアドレス制御部８に供給する。

【００３３】これにより、フィールドメモリ７からはア
ドレス制御部８のアドレス制御に従って、第Ｎフレーム
の領域Ｂのデータでなく、図２（Ｈ）にｈ１で模式的に
示すように第Ｎフレームの領域ＡのブロックＸの部分の
リフレッシュされているデータが読み出され、セレクタ
４を通して加算部５に供給される。加算器５はセレクタ
１よりディジタル的ゼロデータが入力されているため、
加算動作を実質的には行わず、セレクタ４よりの第Ｎフ
レームの領域ＡのブロックＸの部分のリフレッシュされ
ているデータ（図２（Ｉ）にｉ１で模式的に示す。これ
は前記ｈ１と同一）をそのまま出力する。

【００３４】この加算部５より取り出された第Ｎフレー
ムの領域ＡのブロックＸの部分のリフレッシュされてい
るデータ（図２（Ｋ）にｋ１で模式的に示す。これはｉ
１と同じ）は、フィールドメモリ６を通してフィールド
メモリ７に第Ｎ＋１フレームのデータとして再び書き込
まれる。従って、本実施例によれば、リフレッシュされ
た第Ｎフレームの領域ＡのブロックＸの部分のデータ
が、その他の破壊されたデータによって破壊されること
はなく、復号化されたデータをモニタ画面で見た場合、
第Ｎ＋１フレームのブロックＸの部分には、ミスブロッ
ク的に大きく壊れて見えることはなく、第Ｎフレームの
リフレッシュされた正常な画像が再び表示される。

【００３５】なお、判定部１１は特定の差分画像データ
が入力されないと判定したときは、セレクタ１２を逆直
交変換部３の出力画像データを選択させ、セレクタ１３
を復号化部１０の出力ベクトルデータＳ２を選択させ、
従来と同様な動作を行わせる。

【００３６】なお、本発明は上記の実施例に限定される
ものではなく、例えばフィールド間差分データは伝送し
ない動画像符号化伝送システムにも適用することができ
るものである。

【００３７】

【発明の効果】以上説明したように、本発明によれば、
第２の符号化データによりリフレッシュされたデータが
その他の破壊されたデータによって、メモリ回路内で破
壊されてしまうことを防止するようにしたため、エラー
復帰の直後にモニタ画面上に破壊された画像データが表
示されることを防止することができる。

【図面の簡単な説明】

【図１】本発明の一実施例のブロック図である。

【図２】図１の動作説明用タイムチャートである。

【図３】従来の一例のブロック図である。

【図４】リフレッシュ動作とデータ破壊が問題となる画
像の説明図である。

【符号の説明】

２ 逆量子化部 ３ 逆直交変換部 ４ 第１のセレクタ ５ 加算部 ６、７ フィールドメモリ ８ アドレス制御部 １０ 復号化部 １１ 判定部 １２ 第２のセレクタ １３ 第３のセレクタ

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 少なくともフレーム間の差分画像データ
   をブロック単位で直交変換及び符号化したデータ及びそ
   れに付随するデータよりなる第１の符号化データが入力
   されると共に、１フレームの入力画像そのものを符号化
   したデータを分割した第２の符号化データが所定期間内
   で１フレーム分入力されるように間欠的に入力される復
   号化部と、 該復号化部により復号化して取り出されたデータを逆量
   子化及び逆直交変換してもとの画像データに変換する変
   換部と、 最終的な画像データを出力する加算部と、 該加算部の出力画像データを記憶して少なくとも１フレ
   ーム前の画像データを出力するメモリ回路と、 該復号化部より取り出されるベクトルデータに基づき該
   メモリ回路のアドレスを制御するアドレス制御部と、 該メモリ回路の出力画像データ又はディジタル的ゼロデ
   ータを前記復号化部より取り出されるブロックタイプ情
   報に従って選択して前記加算部へ入力して前記変換部の
   出力画像データと加算させる第１のセレクタと、 該復号化部より取り出されたブロックタイプ情報、ベク
   トルデータ、画面上の位置情報及びエラー復帰タイミン
   グ情報から、エラー復帰後該復号化部から前記第２の符
   号化データが１フレーム分取り出されるまでの期間内に
   該復号化部に入力された前記第１の符号化データが、前
   記第２の符号化データにより書き換えられた画面位置
   で、かつ、該第２の符号化データにより書き換えられて
   いない画面位置の画像データと加算される特定の差分画
   像データであるか否か判定する判定部と、 該判定部により該特定の差分画像データ入力が判定され
   た時、前記変換部より前記加算部へ出力される画像デー
   タをディジタル的ゼロデータとし、かつ、前記メモリ回
   路より該特定の差分画像データと同じ画面位置の１フレ
   ーム前の前記第２の符号化データの変換画像データを前
   記加算部へ入力する選択回路とを有することを特徴とす
   る動画像符号化伝送における復号化装置。
2. 【請求項２】 前記選択回路は、前記変換部の出力画像
   データとディジタル的ゼロデータの一方を前記判定部の
   判定出力に基づいて選択して前記加算部へ出力する第２
   のセレクタと、前記復号化部よりの前記ベクトルデータ
   とディジタル的ゼロデータの一方を前記判定部の判定出
   力に基づいて選択して前記アドレス制御部へ供給する第
   ３のセレクタとよりなることを特徴とする請求項１記載
   の動画像符号化伝送における復号化装置。