JPH07111654A - 動画像伝送システム - Google Patents

Abstract

(57)【要約】 【目的】画像の性質に応じた適切なパケット廃棄補償を
行い、復号画像の画質を向上させることができる動画像
伝送システムを提供する。 【構成】パケット分解回路１１からのパケット廃棄検出
信号１３に基づいて識別された復号不可能となるブロッ
クに対して、既復号フレームの画像信号からなる第１の
置き換え信号候補と同一フレーム内の信号を用いた空間
内挿信号からなる第２の置き換え信号候補を作成するコ
ンシールメント回路２７と、第１の置き換え信号候補と
復号不可能と識別されたブロックの周囲の画像信号との
類似性を判定し、また既復号フレーム中の画像信号が置
き換えられた信号であるか否かを判定するフレーム間・
フレーム内置き換え判定回路２９と、この判定結果に基
づいて復号不可能と識別されたブロックの画像信号を第
１および第２の置き換え信号候補のいずれかに置き換え
るセレクタ３０とを有する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像信号を動き補償
予測符号化したデータをパケット化して伝送する動画像
伝送システムにおけるパケット廃棄補償技術に関する。

【０００２】

【従来の技術】画像、音声、データといったマルチメデ
ィア情報をセルと呼ばれる固定長パケットに乗せて転送
／交換を行うＡＴＭ（非同期転送モード）網の研究・開
発が進められている。ＡＴＭ網によって動画像の情報を
伝送する場合、動画像信号を圧縮符号化する動画像符号
化装置が使用される。動画像信号の圧縮符号化方式とし
ては、入力される動画像信号と動き補償予測により得ら
れた予測画像信号との差分である予測誤差信号を符号化
（フレーム間予測符号化）して伝送する動き補償適応予
測符号化方式が知られている。

【０００３】ＡＴＭ網では、通信路で誤りが生じた場合
や、セルが網内で輻輳した場合に、伝送したセルの一部
が廃棄される現象が発生する。このようなセル廃棄が生
じると、同期が回復されるまで画像信号の一部が復号不
可能となり、視覚的に大きな劣化が生じる。そこで、セ
ル廃棄による画質劣化を低減するためのセル廃棄補償技
術として、受信側で復号不可能となったブロックに復号
済みの画像信号を用いて置き換える手法が検討されてい
る。

【０００４】例えば、上述のように送信側で動画像符号
化装置により動き補償予測符号化した符号化データをセ
ル化して伝送し、受信側でセルを分解して動画像復号化
装置により符号化データから元の画像信号を復号する動
画像伝送システムでは、受信側でのセル廃棄補償技術
は、セル廃棄により失われた画像信号をフレームメモリ
（またはフィールドメモリ）に蓄えておき、他の画像信
号を用いて置き換える操作（コンシールメント）により
実現される。

【０００５】このようなセル廃棄補償の従来技術の一例
を図４を用いて説明する。符号化画像内のセル廃棄によ
り復号不可能となったブロックをＡとし、このブロック
Ａの画像信号をブロックＡに隣接する復号可能なブロッ
ク（例えばブロックＢ）の動きベクトルを用いてコンシ
ールメントする。具体的には、ブロックＡに対してブロ
ックＢの動きベクトルで指し示される参照画像内のブロ
ックＡ′の画像信号を動き補償予測することにより、コ
ンシールメントを行う。一般に隣接するブロック間の動
きベクトルの相関が高いため、このようにセル廃棄によ
り復号不可能となったブロックＡを、これに隣接するブ
ロックＢの動きベクトルを用いて動き補償予測すること
により、画質劣化を低減することができ、セル廃棄補償
が可能となる。

【０００６】図４のようなセル廃棄補償の原理を応用し
た例として、例えば１９９２年画像符号化シンポジウム
（ＰＣＳＪ９２），６−１，“セル廃棄耐性を有するＡ
ＴＭ画像符号化方式”では、図５（ａ）に示すように、
セル廃棄により復号不可能となったブロックＡの周囲
に、コンシールメントに用いる動きベクトルの候補（最
大８通り）を設定し、水平・垂直方向に各々独立に動き
ベクトルの重み付き多数決値をとり、最多数となる動き
ベクトルを用いた動き補償予測によりコンシールメント
する方法が開示されている。多数決に用いられる重み
は、図５（ｂ）に示すようにブロックＡに近い動きベク
トルほど選ばれ易くなるように設定される。また、動き
ベクトル間の相関が低く十分な多数決を行うことができ
ない場合は、図５（ｃ）に示すように動きベクトルの候
補を増やして（最大１４通り）、多数決をとり直す。

【０００７】この方法に代表されるような、既復号フレ
ームの画像信号を用いた置き換えによるセル廃棄補償法
は、フレーム間の相関およびフレーム内の動きの相関が
高い画像については非常に有効である。反面、この方法
ではセル廃棄により復号不可能なブロックが生じた場
合、常に既復号フレームの画像信号による置き換えを行
うので、フレーム間の相関またはフレーム内の動きの相
関が低い画像については適切なセル廃棄補償を行うこと
ができないという問題点がある。

【０００８】フレーム間の相関が低い場合とは、例えば
シーンチェンジの時である。シーンチェンジの前後のフ
レーム間の相関は非常に低いので、単純な既復号フレー
ムの画像信号による置き換えではセル廃棄補償として全
く意味をなさない。フレーム内の動きの相関が低い場合
とは、動きの大きさが非常に大きいために符号化装置で
動き補償が十分に効かない場合が挙げられる。このよう
な場合、送信側から送られてくる動きベクトルは実際の
被写体の動きに対応したものとならず、大きくばらつい
ている。

【０００９】また、このようにフレーム間の相関または
フレーム内の動きの相関が低い場合に、既復号フレーム
の画像信号による単純な置き換えにより一度誤った置き
換えがなされると、その後のフレーム間予測により誤り
が伝搬してしまうために、復号画像の画質が大きく劣化
するという問題点もある。

【００１０】ところで、動き補償予測符号化を用いた動
画像伝送システムでは、送信側の動画像符号化装置にお
いて、「画像情報圧縮」（原島博監修・オーム社・１９
９１年）付録３に記載されているような、動き補償予測
に変換符号化を組み合わせたハイブリッド方式が多く用
いられる。これは入力動画像信号と、既に符号化された
信号を局部復号して得られた画像信号を参照フレームと
して動き補償を行って得られた予測画像信号との差分で
ある予測誤差信号にＤＣＴなどの直交変換を施し、得ら
れた変換係数を量子化することによって空間方向の冗長
度を削減するものである。この場合、符号化データとし
ては量子化された変換係数と、動き補償に用いた動きベ
クトルおよび予測モードなどを示すサイド情報が伝送さ
れる。

【００１１】受信側の動画像復号化装置では、受信した
動きベクトルと参照フレームの画像信号とから予測画像
信号を作り、その予測画像信号に、受信した変換係数を
逆量子化、逆直交変換して得られる予測誤信号差を加え
て元の画像信号を再生する。動きベクトルは例えば文献
「ＴＶ画像の多次元信号処理」（吹抜敬彦著、日刊工業
新聞社、１９８９年発行）６．３節にあるマッチング法
などで検出される。

【００１２】ここで、前述したようなセル廃棄により符
号化データの一部が失われると、この符号化データに含
まれていた特定のブロックの動きベクトルが失われるた
め、受信側で予測画像信号を作成できなくなる。このよ
うな場合、従来では失われた動きベクトルについてはゼ
ロベクトルとする方法がとられている。しかし、この方
法では動きのあるブロックについても動きがないとみな
して予測を行うことになるため、復号画像に動きベクト
ルが失われたブロックと動きベクトルが正しく検出され
たブロックとの差が顕著に現れてブロック状の歪が生
じ、画質を大きく劣化させる。

【００１３】この問題を避けるため、受信側の動画像復
号化装置において、動きベクトルは空間的に滑らかに分
布しているという仮定で、周囲の複数ブロックの動きベ
クトルの平均値を該当ブロックの動きベクトルとして用
いる方法が提案されている。しかし、送信側の動画像符
号化装置から出力される動きベクトルの中には、周囲と
全く異なる向きと大きさのものが存在する。特に、動き
が激しかったり、参照フレーム内には存在しなかった物
体が急に現れたりした時、あるいは前述のシーンチェン
ジ時には、動きベクトルのばらつきが大きくなる。この
ような動きベクトルがセル廃棄等により通信路で失われ
た場合、動画像復号化装置において前述のように周囲の
ブロックの動きベクトルから補間する方法では的確な動
きベクトルを求めることは困難であり、復号画像の画質
向上は望めない。

【００１４】一方、動画像伝送システムの受信側におけ
る他のセル廃棄補償技術として、セル廃棄によって符号
化データが失われ正しく復号できない部分を周辺の正し
く復号された画像信号を用いて補間するなどにより修正
する方法も考えられている。しかし、この方法では失わ
れたデータが完全に修復されることはなく、該当する部
分が他の正しくデータが伝送されてきた部分に比べてぼ
けているといった解像度の違いが視覚的に検知された
り、あるいは他の部分との連続性が悪くブロック歪みの
ような違和感が生じるなど、復号画像の画質面でおおい
に問題がある。

【００１５】

【発明が解決しようとする課題】上述したように、動画
像信号の符号化データをＡＴＭ網のセルのようなパケッ
トの形で伝送する動画像伝送システムにおいて従来考え
られているパケット廃棄補償技術は、いずれも画像の性
質によっては的確なパケット廃棄補償を行うことができ
ない場合があり、パケット廃棄によって復号画像の画質
が劣化するという問題があった。

【００１６】本発明の目的は、画像の性質に応じた適切
なパケット廃棄補償を行うことが可能であり、復号画像
の画質を向上させることができる動画像伝送システムを
提供することにある。

【００１７】

【課題を解決するための手段】上記の目的を達成するた
め、第１の発明では受信したパケットの廃棄が検出され
たときパケットの廃棄により復号不可能となるブロック
を識別し、このブロックに対して既復号フレームの画像
信号からなる第１の置き換え信号候補と、該ブロックの
属するフレーム内の信号を用いた空間内挿信号からなる
第２の置き換え信号候補を作成する。そして、これら第
１の置き換え信号候補と復号不可能と識別されたブロッ
クの周囲の画像信号との類似性を判定する第１の判定手
段と、既復号フレーム中の第１の置き換え信号候補の元
となる画像信号が第１および第２の置き換え信号候補の
いずれかにより置き換えられた信号であるか否かを判定
する第２の判定手段の判定結果に基づいて、復号不可能
と識別されたブロックの画像信号が第１および第２の置
き換え信号候補のいずれかに置き換えられる。

【００１８】第２の発明では、動画像信号をブロック単
位で動き補償予測符号化し、その符号化データをパケッ
ト化して伝送するような動画像送信装置における動きベ
クトル検出装置において、入力される動画像信号の符号
化対象ブロックと、この符号化対象ブロックに対して時
間的に異なるフレームの画像信号から抽出された相関の
高い部分である参照ブロックとの間の動きベクトルを求
める第１の動きベクトル検出手段とは別に、符号化対象
ブロックの周囲の少なくとも一つのブロックと参照ブロ
ックとの間の動きベクトルまたは該動きベクトルに演算
処理を施した動きベクトルを求める第２の動きベクトル
検出手段を有し、これら第１および第２の動きベクトル
検出手段によりそれぞれ検出された動きベクトルのいず
れか一方を符号化対象ブロックと参照ブロックとの相関
に基づいて選択して出力する構成とする。

【００１９】第３の発明では、受信したパケットの廃棄
を検出したとき、そのパケットの廃棄により復号不可能
となるブロックを含む画面の画像信号または該画面の該
ブロックを含む一部の画像信号を他の画像信号に置き換
える置き換え手段を有することを特徴とする。

【００２０】

【作用】第１の発明においては、パケット廃棄が検出さ
れた場合、既復号フレームの画像信号からなる第１の置
き換え信号候補、またはパケット廃棄により復号不可能
となるブロックの属するフレーム内の画像信号を用いた
空間内挿信号からなる第２の置き換え信号候補が選択さ
れる。第２の置き換え信号候補としては、例えば復号不
可能なブロックに隣接する復号可能なブロックで用いら
れた動き補償予測方法をコンシールメントに用いる動き
補償予測の候補として設定し、その中から最適な候補を
選ぶことによりフレーム間の置き換え信号候補が作成さ
れる。

【００２１】そして、第１の置き換え信号候補が復号不
可能なブロックの周囲の画像信号との類似性が高く適切
である場合には、この置き換え信号候補で復号不可能な
ブロックの画像信号の置き換えが行われ、適切でない場
合にはフレーム内での空間内挿信号である第２の置き換
え信号候補により復号不可能なブロックの画像信号の置
き換えが行われる。このようにすることで、常に適切な
置き換え信号が得られる。

【００２２】さらに、既復号フレーム中の第１の置き換
え信号候補の元となる画像信号が既に置き換えられた信
号である場合には、無条件に通常の復号画像信号の替わ
りに第２の置き換え信号候補を復号画像信号として選択
することにより、誤った置き換え信号が複数のフレーム
にわたって伝搬することを防止できる。

【００２３】第２の発明によると、正しい動きベクトル
が検出された場合、つまり符号化対象ブロックと相関の
高い参照ブロックが見つかった場合は、第１の動きベク
トルが出力され、逆に誤った動きが検出された場合、つ
まり相関が低い場合は第２の動きベクトル、例えば周囲
のブロックの動きベクトルの平均値が出力される。

【００２４】従って、誤った動きベクトルが正しい動き
ベクトルに混在することによる動きベクトルのばらつき
が小さくなり、動画像復号化装置側でパケット廃棄など
により動きベクトルが欠落した時に周囲のブロックから
補間して得られる動きベクトルの信頼性が高まることに
よって、復号画像の画質が向上する。

【００２５】第３の発明では、パケット廃棄によって完
全には再生することが出来ない画面があったとしても、
修正したことが検知されないような別の画像の画面で置
き換えることにより、ユーザに対して違和感のない画面
をモニタ上に表示することが可能となる。

【００２６】

【実施例】以下、図面を参照して本発明の実施例を説明
する。 （実施例１）図１は、本発明の第１の実施例に係る動画
像伝送システムにおける動画像受信装置の構成を示すブ
ロック図である。図１において、受信パケット１０は例
えばＡＴＭ網を介して伝送されてきたセルであり、図示
しない動画像送信装置において動画像信号を先に述べた
動き補償予測＋ＤＣＴ（離散コサイン変換）のハイブリ
ッド方式により符号化し、符号化データをパケット化し
たものである。ＡＴＭの場合、符号化データはセルのペ
イロード部に収容される。なお、最終的な符号化データ
は可変長符号化されているものとする。

【００２７】受信パケット１０はパケット分解回路１１
により分解され、ペイロード部の符号化データ（ビット
ストリーム）１２が取り出される。パケット分解回路１
１は符号化データに付加されているパケット廃棄識別情
報からパケット廃棄を検出する機能も有し、パケット廃
棄を検出するとパケット廃棄検出信号１３をアドレス発
生器２６およびセレクタ３０へ出力する。

【００２８】パケット分解回路１１から取り出された符
号化データ１２は、デマルチプレクサ・可変長復号化回
路１４に入力される。デマルチプレクサ・可変長復号化
回路１４では、入力された符号化データ１２からＤＣＴ
係数１５、同期信号１６、動きベクトル１７、および予
測モードなどを示すサイド情報１８を分離して復号す
る。これらの各情報のうち、ＤＣＴ係数１５の情報は逆
量子化回路１９および逆ＤＣＴ（ＩＤＣＴ）回路２０を
経て加算器２１に入力される。同期信号１６は、アドレ
ス発生器２６に入力される。動きベクトル１７およびサ
イド情報１８は、動き補償予測回路２３とコンシールメ
ント回路２７に入力される。サイド情報１８は、さらに
アドレス発生器２６にも入力される。

【００２９】動き補償予測回路２３では、ブロック毎に
サイド情報１８で示される予測モードに合わせてフレー
ムメモリ２４から参照画像信号２５を読み込み、この参
照画像信号２５に対して動きベクトル補償予測を行って
予測画像信号２２を作成し、加算器２１に供給する。但
し、フレーム内予測符号化モードのブロックでは、予測
画像信号２２の値は０とする。加算器２１は、逆ＤＣＴ
回路２０からの予測誤差信号と動き補償予測回路２３か
らの予測画像信号２２の値を加算して復号画像信号を作
成し、セレクタ３０に供給する。

【００３０】アドレス発生器２６は、パケット分解回路
１１から供給されるパケット廃棄検出信号１３と、デマ
ルチプレクサ・可変長復号化回路１４から供給される同
期信号１６とから、受信パケット１０から取り出された
符号化データ１２から復号不可能となるブロックを識別
し、復号不可能なブロックについては復号不可能識別情
報をコンシールメント回路２７と置き換えアドレスメモ
リ２８に供給する。

【００３１】置き換えアドレスメモリ２８は、アドレス
発生器２６から復号不可能なブロックについての復号不
可能識別情報を受け、セレクタ３１から出力される復号
画像信号３１における各ブロック位置の画像信号が復号
不可能であったため置き換えられた画像信号であるか否
かを示す情報を各ブロック位置毎に蓄えている。

【００３２】コンシールメント回路２７は、復号不可能
と識別されたブロックについて、フレームメモリ２４に
蓄えられている既復号フレームの画像信号からなる第１
の置き換え信号候補と、同じくフレームメモリ２４に蓄
えられている現在復号中のフレーム（復号不可能と識別
されたブロックが属するフレーム）内の画像信号を用い
た空間内挿信号からなる第２の置き換え信号候補を後述
する方法によって作成すると共に、置き換えられるブロ
ックの周囲の画像信号をフレームメモリ２４から取り出
して出力する。コンシールメント回路２７から出力され
る第１および第２の置き換え信号候補はセレクタ３０
に、またこれらに加えて置き換えられるブロックの周囲
の画像信号がフレーム間・フレーム内置き換え判定回路
２９に送られる。

【００３３】フレーム間・フレーム内置き換え判定回路
２９は、セレクタ３０がコンシールメント回路２７で作
成された第１および第２の置き換え信号のいずれを選択
するかの判定を行う回路であり、第１の判定としてコン
シールメント回路２７からの第１および第２の置き換え
信号候補と、置き換えられるブロックの周囲の画像信号
との類似度を計算する。類似度の指標としては、例えば
ブロックのアクティビティや、ブロック境界の連続性な
どを利用することができる。そして、フレーム間・フレ
ーム内置き換え判定回路２９は、上記判定の結果、第１
および第２の置き換え信号候補のうち周囲の画像信号と
の類似度が近い方の信号がセレクタ３０で選択されるよ
うに、セレクタ３０に対して選択制御信号を送出する。
なお、フレーム間・フレーム内置き換え判定回路２９
は、既復号フレームの画像信号による第１の置き換え信
号候補と周囲のブロックの画像信号との類似度が、ある
予め定められたしきい値より高いか低いかによってセレ
クタ３０が選択を行うように、選択制御信号を送出する
構成であってもよい。

【００３４】さらに、フレーム間・フレーム内置き換え
判定回路２９は、第１の置き換え信号候補を作成する際
に参照した既フレーム中の画像信号の画素位置について
置き換えアドレスメモリ２８を参照し、第１および第２
の置き換え信号候補により置き換えられている画素位置
については、無条件に第２の置き換え信号候補がセレク
タ３０で選択されるように選択制御信号を送出する。置
き換えアドレスメモリ２８は、現在復号中の符号化デー
タ１２のブロックがフレーム内符号化されていることを
アドレス発生器２６がサイド情報１８に基づいて検出し
たとき、そのブロック位置については、そのブロック位
置の画像信号が置き換えられている画像信号であるか否
かを示す情報はリセットされる。

【００３５】また、パケット分解回路１１でパケット廃
棄検出信号１３が出力されない通常の動作時には、セレ
クタ３０は加算器２１からの通常の復号画像信号を選択
して出力する。セレクタ３０より出力された画像信号３
１は、フレームメモリ２４に復号画像信号として書き込
まれる。

【００３６】次に、図２および図３を用いて図１のコン
シールメント回路２７の動作を説明する。図２に示すコ
ンシールメント回路２７の構成は、既復号フレームの画
像信号による第１の置き換え信号候補を作成する系列
（ｂ）と、同じくフレームメモリ２４に蓄えられた現在
復号中のフレームの画像信号を用いた空間内挿による第
２の置き換え信号候補を作成する系列（ａ）の２系列よ
りなる。

【００３７】まず、図２（ｂ）の系列につき説明する。
この図２（ｂ）の系列では、まずパケット廃棄により復
号不可能となるブロック（図３（ａ）のＸ）に隣接する
復号可能なブロック（図３（ａ）のＡ〜Ｈ）で用いられ
ている動き補償予測方法（前方予測、後方予測等の予測
モードと、用いられる動きベクトル）をコンシールメン
トに用いる動き補償予測方法の候補として設定する。次
に、ブロックＸの上下に隣接するブロックＢとブロック
Ｇを組として、各動き補償予測方法の候補を適用したブ
ロックＢとブロックＧの動き補償予測誤差の評価値を計
算し、この誤差評価値が最も小さくなる動き補償予測方
法を選択して、この動き補償予測方法を用いてブロック
Ｘをコンシールメントする様な信号を作成する。

【００３８】図２（ｂ）において、動き補償情報メモリ
４３は図３（ａ）（ｂ）に示されるブロックＡ〜Ｈに対
して動き補償情報、すなわちデマルチプレクサ・可変長
復号化回路１４からの動きベクトル１７の値と、サイド
情報１８で示される動き補償予測モード、およびアドレ
ス発生器２６から供給される復号不可能識別情報を蓄
え、これらを動き補償予測回路４７に供給する。一方、
画像メモリ４５には図３（ａ）のブロックＸをコンシー
ルメントする際に、ブロックＸの周囲の図３（ａ）のハ
ッチングで示すブロックＡ〜Ｈの画像信号が蓄えられ
る。但し、アドレス発生器２６から供給される復号不可
能識別情報によって復号不可能とされたブロックについ
ては、画像メモリ４５に画像信号の代わりにダミーデー
タを蓄えておく。

【００３９】動き補償予測回路４７では、まず動き補償
情報メモリ４３に動き補償情報が蓄えられているブロッ
クＡ〜Ｈの中で、復号可能でありかつフレーム内符号化
でないブロックの動き補償予測方法を用いて、ブロック
Ｘの上下に隣接するブロックＢ，Ｇに対する動き補償予
測値をフレームメモリ２４から読み込んだ参照画像信号
から作成し、誤差評価値計算回路４８に供給する。そし
て、動き補償予測回路４７は誤差評価値計算回路４８で
後述のようにして選択された最適な動き補償予測方法を
用いて、ブロックＸの動き補償予測値（コンシールメン
ト画像信号）をフレームメモリ２４より読み込んだ参照
画像信号から作成し、第１の置き換え信号候補としてブ
ロックメモリ４９に供給する。また、動き補償予測回路
４７はブロックＢとブロックＧが共に復号不可能である
場合には、フレームメモリ２４に蓄えられている参照画
像信号内のブロックＸと同じ位置にあるブロックの画像
信号を第１の置き換え信号候補としてブロックメモリ４
９に供給する。

【００４０】誤差評価値計算回路４８は、ブロックＢ，
Ｇの動き補償予測誤差の評価値を計算し、この誤差評価
値が最小となるような最適な動き補償予測方法を選択す
る。具体的には、誤差評価値計算回路４８は画像メモリ
４５からブロックＢ，Ｇの再生画像信号を読み込み、動
き補償予測回路４７より供給されるブロックＢ，Ｇの予
測値との誤差信号の絶対値和（あるいは２乗和）を誤差
評価値として計算し、この誤差評価値が最も小さくなる
動き補償予測方法を示す予測方法選択情報を動き補償情
報メモリ４３に供給する。但し、ブロックＢあるいはブ
ロックＧの中で、復号不可能なブロックの動き補償予測
誤差は評価しない。

【００４１】なお、上記実施例においては誤差評価値計
算回路４８は２ブロック分の動き補償予測誤差を評価し
なければならない。しかし、図３（ｂ）に示されるよう
に、例えばブロックＡの予測誤差を推定する際にブロッ
クＢ，Ｃの値を全て用いる必要はなく、最大８種類の動
き補償予測値の中から１種類の動き補償予測値を選び出
す分には、ブロックＡと相関の高い領域の動き補償予測
誤差値を評価すれば十分であり、誤差評価値の計算量も
削減される。例えば、図３（ｂ）のハッチングで示した
領域（ブロックＢの下半分とブロックＧの上半分）を用
いた場合、１ブロック分の動き補償予測誤差のみを評価
すれば良い。

【００４２】次に、図２（ａ）の系列について説明す
る。同一フレーム内の画像信号を用いた空間内挿の方法
については、例えば注目ブロックの周囲のブロックの直
流成分から補間する方法が、例えば(1) ＰＣＳＪ（画像
符号化シンポジウム）８７、４−１や、(2) ＰＣＳＪ８
９、２−２などにより提案されている。ここでは、(2)
で提案されている方法を例として取り上げる。

【００４３】直流成分計算回路４０では、計算に必要な
注目ブロックの周囲のブロックの直流成分を計算する。
次に、重み付け加算回路４１でブロック内の画素位置に
応じて各直流成分に対する重み係数が一意に決定され、
この重み係数を用いて重み付け加算が行われる。そし
て、この重み付け加算値が第２の置き換え信号候補とし
てブロックメモリ４２の対応画素位置に書き込まれる。

【００４４】このようにして、図２に示す構成のコンシ
ールメント回路２７において第１および第２の置き換え
信号候補がブロックメモリ４９，４２にそれぞれ蓄えら
れ、かつセレクタ３０がこれらの置き換え信号候補のい
ずれを選択するべきかがフレーム間・フレーム内置き換
え判定回路２９において判定される。

【００４５】本実施例によると、パケット廃棄により画
素信号の一部が欠落した場合、欠落した画像信号を復号
済みのフレームの画像信号からなる第１の置き換え信号
候補でよい場合には該置き換え信号候補によって置き換
え、この置き換えがふさわしくない場合にはフレーム内
の空間内挿信号である第２の置き換え信号候補により置
き換えることにより、適切にパケット廃棄の影響が補償
される。また、本実施例によると、置き換え後の画像信
号は以降の復号には使用されないので、置き換えによる
影響が時間的に継続するという不都合を生じることもな
い。

【００４６】（第２の実施例）次に、第２の発明に係る
動きベクトル検出装置に関する実施例について説明す
る。図６は、送信側の動画像符号化装置に設けられる動
きベクトル検出装置の一実施例の構成を示すブロック図
である。

【００４７】図６において、入力の動画像信号５０はフ
レーム単位で入力され、ブロック化回路５１によって所
定の大きさの複数のブロック（符号化対象ブロック）に
分割される。符号化対象ブロックの画像データ５２は差
分器５３に入力される。

【００４８】一方、フレームメモリ５４には入力動画像
信号５０のフレームと時間的に異なる参照フレームの画
像データが予め保持されている。この参照フレームの画
像データは、例えば既に符号化された画像データを用い
る。

【００４９】制御回路５９は、複数の動きベクトル候補
を記憶しており、その各動きベクトル候補６０を順次出
力し、アドレス発生器６１に送ることにより、フレーム
メモリ５４の読み出しアドレス６２を発生させる。この
読み出しアドレス６２により指定される参照ブロック候
補データ５５がフレームメモリ５４から読み出され、差
分器５３に入力される。差分器５３では符号化対象ブロ
ックの画像データ５２と参照ブロック候補データ５５と
の差分値５６を計算し、誤差演算回路５７に送る。

【００５０】誤差演算回路５７では、制御回路５９から
動きベクトル候補６０が出力される都度、差分値５６に
ついて絶対値誤差や２乗誤差など予め決められている方
法で誤差を計算し、誤差信号５８を制御回路５９へ送
る。そして、誤差演算回路５７でそれまでよりも小さい
誤差信号５８が出力される度に、制御回路５９から出力
される動きベクトル候補６０がメモリ６３に保持され
る。動きベクトル候補６０は予め定められた範囲内で切
り換えられ、その範囲で最小の誤差信号５８が得られた
動きベクトル候補６０がメモリ６３に保持される。そし
て、このメモリ６３に保持された動きベクトル候補が符
号化対象ブロックについての第１の動きベクトル６５と
して出力される。なお、因みに従来の動きベクトル検出
装置では、メモリ６３から出力される動きベクトルが最
終的な動きベクトルとなる。

【００５１】本発明では、以上のような従来の動きベク
トル検出装置の構成に加えて、セレクタ６６、メモリ６
７および平均値演算回路６９が追加されている。ここ
で、メモリ６６には、既に最終的にセレクタ６６から出
力された他の符号化対象ブロックの動きベクトル７１が
保持されている。このメモリ６７に保持されている動き
ベクトルの中から、現在の符号化対象ブロックに隣接す
るブロックの動きベクトル６８の平均値が平均値演算回
路６９で演算され、これが第２の動きベクトルとして求
められる。

【００５２】セレクタ６６には、メモリ６３から出力さ
れる第１の動きベクトル６５と、平均値演算回路６９か
ら出力される第２の動きベクトル７０が入力されてい
る。セレクタ６６は制御回路５９からの選択制御信号６
４によって制御され、この選択制御信号６４に従って第
１および第２の動きベクトル６５，７３のいずれか一方
を選択して、当該符号化対象ブロックに対する最終的な
動きベクトル７１として出力する。

【００５３】ここで、制御回路５９は符号化対象ブロッ
クと参照ブロックとの相関に基づいて選択制御信号６４
を出力する。具体的には、例えば誤差演算回路５７から
出力される誤差信号５８の値が設定値よりも小さい場合
はセレクタ６６が第１の動きベクトル６５を選択し、大
きい場合はセレクタ６６が平均値である第２の動きベク
トル７０を選択して出力するように選択制御信号６４を
発生する。

【００５４】この動作を図７を参照して説明する。図７
において、動きベクトルをフレームの左上から右方向に
順に決定していき、右端まで終わったら次の行の左端に
とび移り、また右方向へ処理を進めていく場合、現在の
符号化対象ブロック７０３までに、既に太線より上方の
ブロックについては動きベクトルが決まっている。この
ような場合、符号化対象ブロック７０３とその直前のブ
ロック７０２での動きベクトルの平均値が平均値演算回
路６９により計算され、これが第２の動きベクトル７０
としてセレクタ６６に送られる。

【００５５】なお、このように平均値演算回路６９で計
算した平均値を用いずに、ブロック７０２での動きベク
トルをそのままセレクタ６６に入力してもよい。この場
合は平均値演算回路６９は不要であり、メモリ６７には
常に１回前に出力した動きベクトル７１だけを保持して
おけば良い。ブロック７０４やブロック７０５の動きベ
クトルも平均値の計算に入れる場合は、ブロック７０３
の動きベクトルの決定を保留して先に処理を進め、ブロ
ック７０４やブロック７０５の動きベクトルを求めた後
で平均値を計算し、ブロック７０３の動きベクトルとし
て決定するようにする。同様に、符号化対象ブロック７
０３の斜め方向のブロックや、さらに離れたブロックの
動きベトクルを平均の計算に入れても良い。また、平均
値演算は単純平均でなく、符号化対象ブロックに近いブ
ロックの動きベクトルに重みを付ける加重平均でも良い
し、他の特定のブロックの動きベクトルに重みを付けて
も良い。

【００５６】このように本実施例によれば、動画像符号
化装置から出力される動きベクトルのばらつきが小さく
なり、復号化装置側でセル廃棄などにより動きベクトル
が欠落した時、周囲のブロックから補間して得られるベ
クトルの信頼性が高まることによって、復号画像の画質
が向上するという効果がある。

【００５７】（実施例３）図８に、本発明の他の実施例
による動画像伝送システムの構成を示す。図８におい
て、動画像送信装置では入力動画像信号８０が減算器８
１に入力され、予測回路８６で作成された予測画像信号
との差分（予測誤差）が計算される。この予測誤差信号
は符号化回路８２に入力され、例えばＤＣＴおよび量子
化により圧縮符号化が行われる。得られた符号化データ
は、パケット化回路８７でパケット化されて伝送路８８
に送出されるとともに、局部復号化回路８３にも送ら
れ、ここで例えば逆量子化および逆ＤＣＴにより予測誤
差が復号される。復号された予測誤差信号は加算器８４
で予測回路８６からの予測画像信号と加算され、局部復
号画像信号としてフレームメモリ８５に格納される。

【００５８】一方、動画像受信装置においては、伝送路
８８より伝送されてきた受信パケットがパケット分解回
路８９により分解され、符号化データが取り出される。
この符号化データは、復号化回路９０に入力されて予測
誤差信号が復号され、この予測誤差信号は加算器９１で
フレームメモリ９２からの予測画像信号と加算されて復
号画像信号となる。この復号画像信号は、再びフレーム
メモリ９２に格納される。

【００５９】パケット分解回路８９は、セル廃棄検出機
能を持っており、具体的にはパケット毎に付加されたパ
ケット番号を随時チェックすることによって、伝送され
てこなかった、つまり途中で廃棄されたパケットを判別
する。パケット分解回路８９でパケット廃棄が検出され
たとき出力されるパケット廃棄情報は、修正画像メモリ
９３と修正回路９４に入力される。修正回路９４は、パ
ケット廃棄検出信号に基づいて現在復号中の画面を修正
するか否かの判定を行う。

【００６０】ここで、修正画像メモリ９３は現在復号中
の画像以前に再生された画像信号が格納されており、こ
のメモリ９３の内容はパケット廃棄が検出されなかった
画面のみ、その再生画像で書き換えられる。従って、こ
の修正画像メモリ９３には現在復号中の画像以前の再生
画像のうち、完全に再生された最も最近の画像が格納さ
れていることになる。また、フレームメモリ９２からは
復号が終了した画面がの画像信号が修正回路９４にも送
られ、もしその画面内にパケット廃棄による再生不可能
な部分が無いことがセル廃棄検出信号の有無により分か
れば、その画像信号はそのままモニタ９５において表示
される。

【００６１】そして、パケット廃棄が起こった場合は、
修正画像メモリ９３に格納されている完全に再生された
再生画面の画像信号が修正回路９４に送られ、そこで不
完全な現在の再生画像信号と画面全体にわたり交換され
ることにより、完全に再生されている画像信号がモニタ
９５で表示される。

【００６２】図９は、修正回路９４における画面交換の
様子を示した図である。完全に再生された画面９０１は
そのまま９１１としてモニタに表示されるが、画面９０
２の部分でパケット廃棄が起こり、この画面が完全には
再生できないとする。この場合、修正画像メモリ９３に
格納されているのは完全に再生された画面９０１であ
り、この画面がそのまま画面９０２の代わりにこの時間
の画像としてモニタ上に表示される（９１２）。

【００６３】ここで、パケット廃棄があった画面のみ画
面の交換を行ってもよいが、図８のように動画像送信装
置において高能率な圧縮符号化のために予測符号化を導
入している場合、既に復号した画像と次に入力される画
像との相関が高いと考えられるため、その復号画像を次
の画像の予測画像として使用する。従って、もし予測画
像にセル廃棄による不完全な再生部分があったとする
と、送信側での予測画像（送信側での予測画像は伝送す
る以前の状態なので、完全に再生されている）と受信側
での予測画像が異なることになり、それ以降の画像につ
いてもパケット廃棄による影響が伝搬していくことにな
る。このようなパケット廃棄による影響の伝搬は、予測
符号化を行わない画面（フレーム内符号化のようなＩＮ
ＴＲＡ画面）が伝送されるまで続く可能性があるため、
上述した画面交換をＩＮＴＲＡ画面が表示されるまで継
続する。

【００６４】すなわち、図９において画面９０２でパケ
ット廃棄が生じたとすると、それに対応した表示画面９
１２を画面９０１で置き換えるとともに、ＩＮＴＲＡ画
面９０５が来るまでの表示画面９１３，９１４について
も画面９０１を引き続き使用し、画面９１５において初
めてＩＮＴＲＡ画面９０５を表示画面として用いる。こ
の場合、修正画像メモリ９３の内容が書き換えられるの
は、パケット廃棄が生ずる以前の各画面が再生された後
と、パケット廃棄が生じてから次のＩＮＴＲＡ画面が来
たときのみということになる。このようにＩＮＴＲＡ画
面で書き換えられた後は、次のパケット廃棄があるまで
各再生画像毎に書き換えが行われる。

【００６５】なお、これら交換する画面は完全に再生さ
れた以前の画面に限られるわけではなく、例えばパケッ
ト廃棄があった旨をユーザに知らせるためのメッセージ
画面や、予め用意していた別の画面を修正画像メモリ９
３に蓄えておいて使用する手法でも良い。

【００６６】（実施例４）図１０は、本発明の別の実施
例における動画像受信装置のブロック図である。図１０
において、図８のパケット分解回路８９から得られた符
号化データは受信側復号化回路１００に入力され、復号
画像信号はフレームメモリ１０１に格納される。フレー
ムメモリ１０１は随時書き換えが行われるが、実際に該
フレームメモリ１０１からモニタ９５に画面が転送され
るか否かは、パケット廃棄検出信号によって決定され
る。

【００６７】復号化回路１００には表示用メモリ１０２
が備えられており、表示画面を変更する場合は、まずこ
の表示用メモリ１０２に画面が転送されて、その後モニ
タ上９５に表示される。従って、パケット廃棄が生じた
場合は、表示用メモリ１０２への画像信号の転送を中止
すれば、モニタ９５に表示される画面は表示用メモリ１
０２に既に格納されている画像信号の画面、つまり既に
転送されていたパケット廃棄が生じていない画面とな
る。この実施例の場合も、図８の実施例と同様にパケッ
ト廃棄があった旨をユーザに知らせるためのメッセージ
画面や、予め用意していた別の画面を表示用メモリ１０
２に蓄えておき、これらを適応的に切り替えて使用する
手法でも良い。

【００６８】また、上述では表示用メモリ１０２を復号
化回路１００内に設けたが、モニタ９５の前段に表示用
メモリ１０４を設けてもよい。上述した実施例３および
４によれば、パケット廃棄によって完全には再生するこ
とが出来ない画面があったとしても、修正したことが検
知されないような別の画像の画面で置き換えることによ
り、ユーザに対して違和感のない画面をモニタ上に表示
することが可能となる。

【００６９】

【発明の効果】以上説明したように、本発明によれば動
画像信号を動き補償予測符号化しパケット化してＡＴＭ
網などにより伝送する動画像伝送システムにおいて、画
像の性質に応じた適切なパケット廃棄補償を行うことが
可能となり、復号画像の画質向上を図ることができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る動画像伝送システムに
おける動画像受信装置の構成を示すブロック図

【図２】図１におけるコンシールメント回路の内部構成
を示すブロック図

【図３】同実施例におけるブロック配置の関係を示す図

【図４】従来のパケット廃棄補償の原理を説明するため
の図

【図５】従来の動きベクトル選択法を説明するための図

【図６】本発明の他の実施例に係る動きベクトル検出装
置の構成を示すブロック図

【図７】同実施例における第２の動きベクトルを求める
方法を説明するための符号化対象ブロックと周囲のブロ
ックの関係を示す図

【図８】本発明の別の実施例に係る動画像伝送システム
の構成を示すブロック図

【図９】同実施例におけるパケット廃棄補償の動作を説
明するための図

【図１０】本発明のさらに別の実施例における動画像受
信装置の構成を示すブロック図

【符号の説明】

１０…入力動画像信号 １１…パケッ
ト分解回路 １２…符号化データ １３…パケッ
ト廃棄検出信号 １４…デマルチプレクサ・可変長復号化回路 １５…ＤＣＴ係数 １６…同期信
号 １７…動きベクトル １８…サイド
情報 １９…逆量子化回路 ２０…逆ＤＣ
Ｔ回路 ２１…加算器 ２２…予測画
像信号 ２３…動き補償予測回路 ２４…フレー
ムメモリ ２５…参照画像信号 ２６…アドレ
ス発生器 ２７…コンシールメント回路 ２８…置き換
えアドレスメモリ ２９…フレーム間・フレーム内置き換え判定回路 ３０…セレクタ ３１…復号画
像信号 ５０…入力動画像信号 ５１…ブロッ
ク化回路 ５２…符号化対象ブロックの画像データ ５３…減算器 ５４…フレームメモリ ５５…参照ブ
ロック候補データ ５６…差分値 ５７…誤差演
算回路 ５８…誤差信号 ５９…制御回
路５９ ６０…動きベクトル候補 ６１…アドレ
ス発生器 ６２…読み出しアドレス ６３…メモリ ６４…選択制御信号 ６５…第１の
動きベクトル ６６…セレクタ ６７…メモリ ６８…隣接ブロックの動きベクトル ６９…平均値
演算回路 ７０…第２の動きベクトル ７１…出力動
きベクトル ８０…入力動画像信号 ８１…減算器 ８２…符号化回路 ８３…局部復
号化回路 ８４…加算器 ８５…フレー
ムメモリ ８６…予測回路 ８７…パケッ
ト化回路 ８８…伝送路 ８９…パケッ
ト分解回路 ９０…復号化回路 ９１…加算器 ９２…フレームメモリ ９３…修正画
像メモリ ９４…修正回路 ９５…モニタ １００…復号化回路 １０１…フレ
ームメモリ １０２…表示用メモリ １０４…表示
用メモリ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 9077−5Ｋ Ｈ０４Ｌ 11/20 １０２ Ａ (72)発明者 三関 公生 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 菊池 義浩 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 井田 孝 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 神庭 進 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 押切 正浩 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 山口 昇 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 中條 健 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 天田 皇 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 宮川 陽子 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 籠嶋 岳彦 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内

Claims (3)

【特許請求の範囲】
1. 【請求項１】動画像信号をブロック単位で動き補償予測
   符号化して得られた符号化データをパケット化して伝送
   する動画像送信装置と、受信したパケットを分解して得
   られた符号化データから元の動画像信号をブロック単位
   で復号する動画像受信装置とからなる動画像伝送システ
   ムにおいて、 前記動画像受信装置は、 前記受信したパケットの廃棄を検出して検出信号を出力
   するパケット廃棄検出手段と、 このパケット廃棄検出手段からの検出信号に基づいてパ
   ケットの廃棄により復号不可能となるブロックを識別す
   る識別手段と、 前記識別手段により復号不可能と識別されたブロックに
   対して、既復号フレームの画像信号からなる第１の置き
   換え信号候補と該ブロックの属するフレーム内の信号を
   用いた空間内挿信号からなる第２の置き換え信号候補を
   作成する置き換え信号候補作成手段と、 前記第１の置き換え信号候補と前記復号不可能と識別さ
   れたブロックの周囲の画像信号との類似性を判定する第
   １の判定手段と、 前記既復号フレーム中の前記第１の置き換え信号候補の
   元となる画像信号が前記第１および第２の置き換え信号
   候補のいずれかにより置き換えられた信号であるか否か
   を判定する第２の判定手段と、 前記第１および第２の判定手段の判定結果に基づいて前
   記復号不可能と識別されたブロックの画像信号を前記第
   １および第２の置き換え信号候補のいずれかに置き換え
   る置き換え手段とを具備することを特徴とする動画像伝
   送システム。
2. 【請求項２】フレーム単位で入力される動画像信号のフ
   レームを複数の符号化対象ブロックに分割するブロック
   化手段と、 このブロック化手段により得られた各符号化対象ブロッ
   クに対して時間的に異なるフレームの画像信号から相関
   の高い部分を参照ブロックとして抽出する参照ブロック
   抽出手段と、 前記符号化対象ブロックと前記参照ブロックとの間の動
   きベクトルを求める第１の動きベクトル検出手段と、 前記符号化対象ブロックの周囲の少なくとも一つのブロ
   ックと前記参照ブロックとの間の動きベクトルまたは該
   動きベクトルに演算処理を施した動きベクトルを求める
   第２の動きベクトル検出手段と、 前記第１および第２の動きベクトル検出手段によりそれ
   ぞれ検出された動きベクトルのいずれか一方を前記符号
   化対象ブロックと前記参照ブロックとの相関に基づいて
   選択して出力する選択手段とを具備することを特徴とす
   る動きベクトル検出装置。
3. 【請求項３】動画像信号をブロック単位で動き補償予測
   符号化して得られた符号化データをパケット化して伝送
   する動画像送信装置と、受信したパケットを分解して得
   られた符号化データから元の動画像信号をブロック単位
   で復号する動画像受信装置とからなる動画像伝送システ
   ムにおいて、 前記動画像受信装置は、 前記受信したパケットの廃棄を検出するパケット廃棄検
   出手段と、 このパケット廃棄検出手段によりパケットの廃棄が検出
   されたときパケットの廃棄により復号不可能となるブロ
   ックを含む画面の画像信号または該画面の該ブロックを
   含む一部の画像信号を他の画像信号に置き換える置き換
   え手段とを具備することを特徴とする動画像伝送システ
   ム。