JP3257156B2 - 画像信号復号装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、平均値分離ベク
トル量子化を採用する場合に、受信あるいは再生された
平均値データおよび／またはインデックスがエラーの場
合に、そのエラーを修整するための画像信号復号装置に
関する。

【０００２】

【従来の技術】ディジタルビデオ信号を例えば回転ヘッ
ドにより磁気テープに記録するディジタルＶＴＲが知ら
れている。ディジタルビデオ信号の情報量が多いので、
その伝送データ量を圧縮するための高能率符号化が採用
されることが多い。高能率符号化として、１枚の画像を
多数のブロックに細分化し、このブロックを単位として
符号化を行う、ブロック符号化が知られている。ブロッ
ク符号化の一つとして、平均値分離ベクトル量子化が提
案されている。この平均値分離ベクトル量子化は、ブロ
ック内の複数画素データの平均値データと、この平均値
に対する画素データの差分のベクトル量子化出力（すな
わち、インデックス情報）を伝送する符号化方法であ
る。

【０００３】再生あるいは伝送過程においては、エラー
によって平均値データまたはインデックス情報が失われ
ることがある。エラー訂正符号化の処理を使用する時に
は、その訂正の能力の範囲内のエラーを訂正することが
できる。しかしながら、エラーである平均値データある
いはインデックス情報を見つけることができても、訂正
不可能なエラーも発生しうる。平均値データあるいはイ
ンデックス情報の少なくとも一つがエラーで失われた場
合には、ブロック全体がエラーであったとして、ブロッ
ク全体を前フレームの画像で置き換えるか、同じフレー
ムの周囲のブロックの画像データを使用した線形補間を
行っていた。

【０００４】

【発明が解決しようとする課題】従来のエラー修整方法
は、修整したブロックと周辺ブロックとの境界が目立つ
歪が発生したり、修整したブロックの画像の解像度が劣
化する問題があった。

【０００５】従って、この発明の目的は、平均値分離ベ
クトル量子化を採用する場合に、ブロックの境界が目立
つ歪、解像度の劣化が防止された画像信号復号装置を提
供することにある。

【０００６】

【課題を解決するための手段】請求項１の発明は、ディ
ジタル画像信号をブロック化し、ブロック内の複数の画
素データの基準値を計算し、基準値に対する複数の画素
データの差分をベクトル量子化することで符号化し、基
準値と、ベクトル量子化で発生したインデックス情報と
を含むデータを受信し、受信されたデータ中のインデッ
クス情報に対応した差分を復号し、受信されたデータ中
の基準値と復号された差分とに基づいてディジタル画像
信号を復号するようにした画像信号復号装置であって、
注目ブロックの基準値およびインデックス情報のエラー
を検出するエラー検出手段と、基準値がエラーであり、
インデックス情報が正しい場合は、注目ブロックと隣接
するブロック内の画素データとインデックス情報に対応
する差分との差に基づいて、注目ブロックの基準値を推
定し、インデックス情報と推定された基準値とに基づい
て注目ブロック内の正しい画素データを推定するエラー
修整手段とを有することを特徴とする画像信号復号装置
である。

【０００７】

【作用】平均値およびインデックス情報の一方がエラー
でその他方がエラーでない場合には、エラーでない情報
を有効に利用する。すなわち、周辺の正しく復号された
ブロックと注目ブロックとの空間的相関を利用して、エ
ラーで失われた平均値またはインデックス情報を推定す
る。この推定された平均値またはインデックス情報を使
用して復号を行うことによって、良好なエラー修整が可
能となる。

【０００８】

【実施例】以下、この発明の一実施例について図面を参
照して説明する。図１は、この一実施例、すなわち、デ
ィジタルＶＴＲの信号処理の概略的構成を示す。１ａで
示す入力端子からアナログビデオ信号が供給され、Ａ／
Ｄ変換器２によって、１サンプルが例えば８ビットにデ
ィジタル化される。このＡ／Ｄ変換器２の出力データあ
るいは入力端子１ｂからのディジタルビデオ信号がブロ
ック化回路３に供給される。この実施例では、ブロック
化回路３によって１フレームの画像の有効領域が（２×
２）画素、（４×４）画素等の大きさに分割される。

【０００９】ブロック化回路３からのブロックの順序に
走査変換されたディジタルビデオ信号がブロック符号化
回路４に供給される。ブロック符号化４は、平均値分離
ベクトル量子化によって、ブロック毎に画像データを圧
縮符号化する。ブロック符号化回路４の前あるいは後で
ディジタルビデオ信号に対してシャフリング処理を行っ
てから符号化を行っても良い。シャフリングは、ブロッ
クの空間的位置をシャッフルするものである。

【００１０】図２は、ブロック符号化回路４の一例を示
す。ブロック化回路３からのディジタル画像信号が平均
化回路２１および遅延回路２２に供給される。遅延回路
２２は、平均化処理に要する時間、減算回路２３に供給
されるデータを遅延させるものである。平均化回路２１
では、ブロック毎に、平均値データＭが計算される。こ
の平均値データＭが伝送される出力として次段に供給さ
れ、また、減算回路２３にも供給される。減算回路２３
では、ブロック内の各画素データとそのブロックの平均
値とが減算され、差分データが形成される。この差分デ
ータがベクトル量子化回路２４に供給される。ベクトル
量子化は、ブロック内の複数画素データをベクトルとし
て表現し、量子化代表ベクトルの集合の中で、このベク
トルと最も近い量子化代表ベクトルを決定し、その量子
化代表ベクトルを指示するインデックスを伝送する。量
子化代表ベクトルの集合がコードブックであり、各量子
化代表ベクトルが所定ビット長のインデックスによって
識別される。ベクトル量子化回路２４からは、インデッ
クス情報Ｉが発生し、これが伝送される。

【００１１】ブロック符号化回路４の出力データ、すな
わち、平均値データおよびインデックス情報がパリティ
発生回路５に供給される。パリティ発生回路５は、エラ
ー訂正符号のパリティを発生する。エラー訂正符号とし
ては、例えばデータのマトリクス状配列の水平方向およ
び垂直方向のそれぞれに対してエラー訂正符号化を行う
積符号を採用することができる。エラー訂正符号化は、
平均値データおよびインデックス情報のエラーを個別に
検出／訂正することができる符号である。符号化データ
およびパリティに対して、シンク（ＳＹＮＣ）ブロック
同期信号およびＩＤ信号が付加される。シンクブロック
の連続する記録データがチャンネル符号化回路６に供給
され、直流分を低減させるためのチャンネル符号化の処
理を受ける。

【００１２】チャンネル符号化回路６の出力データがビ
ットストリームに変換され、さらに記録アンプ７を介し
て回転ヘッドＨに供給され、記録データが磁気テープＴ
上に斜めのトラックとして記録される。通常、複数の回
転ヘッドが使用されるが、簡単のために、一つのヘッド
のみが図示されている。

【００１３】磁気テープＴから回転ヘッドＨにより取り
出された再生データは、再生アンプ１１を介してチャン
ネル復号回路１２に供給され、チャンネル符号化の復号
がなされる。チャンネル復号回路１２の出力データがエ
ラー訂正回路１３に供給され、例えば積符号の復号がさ
れる。エラー訂正回路１３から発生する出力データに
は、再生データの他にエラー訂正した後におけるエラー
の有無を示すエラーフラグが含まれる。図中では、エラ
ーフラグの伝送経路が破線で示されている。

【００１４】エラー訂正回路１３の出力データがブロッ
ク復号回路１４に供給される。この復号回路１４は、上
述した平均値分離ベクトル量子化の復号を行う。ここ
で、平均値データとインデックス情報の双方にエラーが
無い場合は、通常の復号を行ない、何れか一方にエラー
がある場合には、再生データは、そのままブロック分解
回路１５に送られる。記録側において、シャフリング処
理がなされている場合には、その逆のディシャフリング
処理が再生側でなされる。

【００１５】ブロック復号回路１４の出力データがブロ
ック分解回路１５に供給される。ブロック分解回路１５
によって、データの順序がブロックの順序からラスター
走査の順序へ戻される。ブロック分解回路１５の出力デ
ータがエラー修整回路１６に供給される。エラー修整回
路１６は、後述のようにエラーを修整する。エラー修整
回路１６の出力データがＤ／Ａ変換器１７に供給され、
出力端子１８ａには、各画素と対応し、ラスター走査の
順序のアナログ復元データが得られる。ディジタルデー
タの出力端子１８ｂがエラー修整回路１６に対して接続
されている。

【００１６】図３は、上述のエラー修整回路１６の動作
の説明に必要な画素データの配列を示し、図４は、ブロ
ック分解回路１５およびエラー修整回路１６の部分の一
例の構成を示す。図３を参照してこの一実施例のエラー
修整のアルゴリズムについて説明する。図３は、（４×
４）画素のブロックの例であり、ブロック間の境界付近
の復号画素値Ｘ１〜Ｘ１２を含むブロックがエラー修整
の対象としているブロック、すなわち、注目ブロックで
ある。また、この注目ブロックの周辺の正しく復号され
たブロックに含まれ、また、注目ブロックとの境界付近
に位置している復号画素値をＹ１〜Ｙ１６で示す。

【００１７】まず、平均値分離ベクトル量子化を使用す
る時には、再生データ中のエラーの条件は、次の（Ａ）
（Ｂ）または（Ｃ）であり、何れもブロック全体のエラ
ーとなる。 （Ａ）平均値データがエラーで、且つ、インデックス情
報がエラーでない。 （Ｂ）平均値データがエラーでなく、且つ、インデック
ス情報がエラーである。 （Ｃ）平均値データがエラーで、且つ、インデックス情
報がエラーである。

【００１８】（Ａ）の条件（平均値データがエラーで、
インデックス情報が正しい）の時のエラー修整 インデックス情報が正しいので、コードブックを参照す
ることによって、注目ブロックの差分データを復号でき
る。平均値データを推定できれば、各画素の復号値を推
定できる。

【００１９】画像には、空間的相関性が存在するので、
隣接する画素の値が非常に似ていることが多い。従っ
て、エラーにより失われた平均値をＭで表すと、ブロッ
ク間の境界を挟んで、エラーの生じた注目ブロックと周
辺のエラーでないブロックの間では、隣接する画素値Ｙ
ｉおよび差分値ΔＸｉが次のような関係を有するものと
推定できる。 Ｙｉ≒ΔＸｉ＋Ｍ

【００２０】従って、ブロックの境界付近のＮ個の画素
について次の計算を行うことによって、エラーの生じた
平均値を推定することができる。Ｍ＾は、推定された平
均値を表す。 Ｍ＾＝｛（Ｙ１−ΔＸ１）＋（Ｙ２−ΔＸ２）＋（Ｙ３−ΔＸ３）＋（Ｙ４− ΔＸ４）＋（Ｙ５−ΔＸ４）＋（Ｙ６−ΔＸ５）＋（Ｙ７−ΔＸ６）＋（Ｙ８− ΔＸ７）＋（Ｙ９−ΔＸ７）＋（Ｙ１０−ΔＸ８）＋（Ｙ１１−ΔＸ９）＋（Ｙ １２−ΔＸ１０）＋（Ｙ１３−ΔＸ１０）＋（Ｙ１４−ΔＸ１１）＋（Ｙ１５− ΔＸ１２）＋（Ｙ１６−ΔＸ１）｝／１６

【００２１】そして、推定平均値Ｍ＾と正しいインデッ
クス情報を復号することによって得た差分値とから注目
ブロックの各画素の復号値を形成できる。勿論、修整後
に平均値データに付随していたエラーフラグがリセット
される。なお、上述と同様に、注目ブロックの復号値と
周辺の復号値との隣接するもの同士の差分値を合計する
計算をΣ（Ｙｉ−Ｘｉ）と表現する。

【００２２】（Ｂ）の条件（すなわち、平均値データが
エラーでなく、インデックス情報がエラーである）の時
のエラー修整 この場合に適用できる一つの方法を先ず説明する。イン
デックス情報Ｉをｍビットとすると、コードブックの代
表量子化ベクトルの数は、２^m 個存在する。この代表量
子化ベクトルを総当たりで試してみて、正しい平均値デ
ータとともに、注目ブロックの復号値を計算する。この
復号値の中で、周辺の復号値との差の絶対値の合計を最
小、すなわち、隣接画素との相関が最も強い復号値を生
じさせるインデックス情報を正しいものと推定する。

【００２３】上述の総当たり方法は、代表量子化ベクト
ルの数が多いときは、ハードウエアの規模の増大、およ
び処理時間が長くする問題がある。そこで、この一実施
例では、インデックス情報Ｉに１ビットエラーしか生じ
ないという仮定を導入することによって処理の簡略化を
達成する。すなわち、インデックス情報のｍビットの最
上位側から１ビットずつ反転させたｍ個のインデックス
情報に関して、復号を行ない、その中で隣接画素との相
関が最も強い復号値を生じさせるものを正しいインデッ
クス情報と推定する。

【００２４】この（Ｂ）の条件の処理において、ｍ個の
インデックス情報をそれぞれ用いて復号した値（Ｘ１ｉ
〜Ｘｍｉ）と周辺の復号値Ｙｉとの差の絶対値和を求め
る処理は、以下の数式で表される。 Ｓ１＝Σ｜（Ｙｉ−Ｘ１ｉ）｜ Ｓ２＝Σ｜（Ｙｉ−Ｘ２ｉ）｜ Ｓ３＝Σ｜（Ｙｉ−Ｘ３ｉ）｜ ・ ・ Ｓｍ＝Σ｜（Ｙｉ−Ｘｍｉ）｜

【００２５】次に、上述のように求められた差の絶対値
和の中の最小値を検出する。この検出された絶対値和Ｓ
ｊが所定のしきい値ＴＨより小の時に、その絶対値和を
生じさせるインデックス情報を正しいものと推定する。
式で表現すると、 ＴＨ＞Ｓｊ＝｛Ｓ１、Ｓ２、Ｓ３、・・・、Ｓｍ｝ である。１ビットのみが反転するという仮定が成り立た
ない場合もあるので、しきい値ＴＨより小の場合をイン
デックス情報の推定に成功したものと扱っている。推定
に成功した場合は、インデックス情報のエラーフラグを
リセットする。若し、推定が成功しないならば、次に述
べる（Ｃ）の条件と同様に扱う。

【００２６】（Ｃ）の条件（すなわち、平均値データお
よびインデックス情報の両者がエラーである）の時のエ
ラー修整 この場合および上述のように、インデックス情報の推定
に成功しなかった場合には、注目ブロック全体の補間を
行う必要がある。この方法としては、前フレームの同一
位置のブロックのデータで注目ブロックのデータを置き
換える方法、およびフレーム内でブロック境界の正しい
復号値を使って線形補間（曲面フィッティング）を行う
方法がある。さらに、他の方法として、本願発明者らの
提案にかかわる特願平４−３３２３８３号に開示されて
いる、周辺ブロックから動きベクトルを検出し、この動
きベクトルによって前のフレームから正しいブロックを
切り出し、この切り出されたブロックの画像データで補
間を行う、動き補償的な補間方法も利用できる。

【００２７】図４に示されるエラー修整回路１６は、上
述の条件（Ａ）に関して、修整および復号を行う修整・
復号回路３１Ａ、条件（Ｂ）に関しての修整および復号
を行う修整・復号回路３１Ｂ、および条件（Ｃ）に関し
ての修整を行う修整回路３１Ｃを含む。エラー修整回路
１６に対する入力は、ブロック分解回路１５から与えら
れる。ブロック分解回路１５では、入力端子３２ａ、３
２ｂからの復号データおよびそのエラーフラグ、入力端
子３３ａ、３３ｂからの平均値データおよびそのエラー
フラグ、入力端子３４ａ、３４ｂからのインデックス情
報およびそのエラーフラグが供給され、データととも
に、これらの平均値およびエラーフラグがブロック分解
される。ここで、復号データは、正しく復号されたデー
タとともに、エラーフラグで示されるエラーデータ（ま
たはエラーデータと対応するデータブランク期間）を含
んでいる。このエラーデータが修整処理で発生したデー
タに置き換えられて回路３１Ａ、３１Ｂ、３１Ｃから出
力される。そして、セレクタ３６が正しい復号データお
よび修整出力を選択的に発生する。

【００２８】ブロック分解回路１５からの復号データお
よびエラーフラグが遅延回路３５、修整・復号回路３１
Ａ、修整・復号回路３１Ｂおよび修整回路３１Ｃにそれ
ぞれ供給される。遅延回路３５は、タイミングを合わせ
るためのもので、その出力に現れる復号データおよびエ
ラーフラグがセレクタ３６に供給される。セレクタ３６
には、修整・復号回路３１Ａ、３１Ｂおよび修整回路３
１Ｃの出力データも供給される。セレクタ３６により選
択されたデータおよびエラーフラグがフレームメモリ３
７に供給される。フレームメモリ３７の出力端子３８に
エラー修整されたデータが得られる。

【００２９】修整・復号回路３１Ａおよび３１Ｂに対し
ては、復号データの他に、注目ブロックの平均値データ
およびそのエラーフラグと、インデックス情報およびそ
のエラーフラグとが供給される。修整回路３１Ｃには、
復号データとフレームメモリ３７からの前フレームのデ
ータが供給される。例えば修整回路３１Ｃは、平均値デ
ータおよびインデックス情報が共にエラーである注目ブ
ロックに関しては、前フレームの対応するブロックの画
像で補間する処理を行う。上述したように、修整回路３
１Ｃの処理としては、このエラー修整処理に限定されな
い。

【００３０】平均値データおよびインデックス情報のエ
ラーフラグがタイミング合わせ用の遅延回路３９を介し
て判断回路４０に供給される。判断回路４０には、修整
・復号回路３１Ｂの出力に発生するエラーフラグも供給
される。判断回路４０は、再生データに関して、上述の
（Ａ）、（Ｂ）および（Ｃ）の何れの条件が該当するか
を判断する。その結果に基づいてセレクタ３６を制御す
る制御信号を形成する。修整・復号回路３１Ｂのエラー
フラグを判断回路４０に供給するのは、上述のように、
インデックス情報の推定に成功したかどうかの情報を判
断回路４０が必要とするからである。

【００３１】なお、エラー修整回路１６の構成として
は、図４に示すものに限定されず、種々の変形が可能で
ある。例えば修整復号回路３１Ａ、３１Ｂでそれぞれ必
要とされるベクトル量子化の復号回路を共通とすること
ができる。

【００３２】

【発明の効果】この発明によれば、平均値データおよび
インデックス情報の何れか一方がエラーにより失われた
注目ブロックに関して、エラーでない他方を活用して注
目ブロックのエラーを修整することができる。従って、
このようなエラーの状態において、注目ブロックを前の
ブロックの画像で置き換える処理を行うのと比して、復
元画像においてブロックの境界が目立つような歪の発生
を防止することができる。

【図面の簡単な説明】

【図１】この発明を適用することができるディジタルＶ
ＴＲの記録／再生回路の一例のブロック図である。

【図２】この発明の一実施例におけるブロック符号化回
路のブロック図である。

【図３】この発明の一実施例の説明のための画素の配列
を示す略線図である。

【図４】この発明の一実施例におけるエラー修整回路の
ブロック図である。

【符号の説明】

１６ エラー修整回路 ３１Ａ、３１Ｂ 修整・復号回路 ３１Ｃ 修整回路 ４０ 判断回路

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 ディジタル画像信号をブロック化し、上
   記ブロック内の複数の画素データの基準値を計算し、上
   記基準値に対する上記複数の画素データの差分をベクト
   ル量子化することで符号化し、上記基準値と、上記ベク
   トル量子化で発生したインデックス情報とを含むデータ
   を受信し、受信されたデータ中の上記インデックス情報
   に対応した差分を復号し、受信されたデータ中の上記基
   準値と復号された差分とに基づいてディジタル画像信号
   を復号するようにした画像信号復号装置であって、 注目ブロックの基準値およびインデックス情報のエラー
   を検出するエラー検出手段と、 上記基準値がエラーであり、上記インデックス情報が正
   しい場合は、上記注目ブロックと隣接するブロック内の
   画素データと上記インデックス情報に対応する差分との
   差に基づいて、上記注目ブロックの基準値を推定し、上
   記インデックス情報と推定された基準値とに基づいて上
   記注目ブロック内の正しい画素データを推定するエラー
   修整手段とを有することを特徴とする画像信号復号装
   置。
2. 【請求項２】 ディジタル画像信号をブロック化し、上
   記ブロック内の複数の画素データの基準値を計算し、上
   記基準値に対する上記複数の画素データの差分をベクト
   ル量子化することで符号化し、上記基準値と、上記ベク
   トル量子化で発生したインデックス情報とを含むデータ
   を受信し、受信されたデータ中の上記インデックス情報
   に対応した差分を復号し、受信されたデータ中の上記基
   準値と復号された差分とに基づいてディジタル画像信号
   を復号するようにした画像信号復号装置であって、 注目ブロックの基準値およびインデックス情報のエラー
   を検出するエラー検出手段と、 上記インデックス情報がエラーであり、上記基準値が正
   しい場合は、上記注目ブロックのインデックス情報の複
   数の候補と上記基準値とに基づいて推定を行うことで、
   上記複数の候補と対応する複数の暫定的復号値を生成
   し、上記複数の暫定的復号値と上記注目ブロックに隣接
   する復号値との相関度をそれぞれ検出し、上記相関度に
   基づいて、上記暫定的復号値から正しい復号値を推定す
   るエラー修整手段とを有することを特徴とする画像信号
   復号装置。