JPH0799647A - 画像信号再生装置 - Google Patents

Abstract

(57)【要約】 【目的】 復号化不能ブロックが動きありの場合であっ
ても、視覚的に良好な画像を得ることが可能な画像信号
再生装置を提供する。 【構成】 画像信号再生装置は、画像信号を所定数の画
素ごとにブロック符号化したデータをブロック単位で復
号化することにより画像信号を得る画像信号再生装置で
あって、復号化不能ブロックの動きベクトルを検出する
動きベクトル検出手段と、前記動きベクトル検出手段に
より検出された復号化不能ブロックの動きベクトルに基
づき、前記復号化不能ブロックの周囲ブロックのデータ
を用いて前記復号化不能ブロックのデータを構築する手
段とを備えて構成されている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ブロック符号化を用い
て圧縮した画像信号を復号することにより画像信号を得
る画像信号再生装置に関する。

【０００２】

【従来の技術】従来より、画像信号を高能率に圧縮符号
化する技術として、直交変換符号化方式が知られてい
る。これは、画像信号を所定の画素数毎にまとめてブロ
ック化した後、離散コサイン変換（ＤＣＴ）等の直交変
換を行い、変換後の係数に対して量子化、エントロピー
符号化等を行うものである。

【０００３】図６はこのようなブロック符号化及び復号
化を用いた画像記録再生装置としてのデジタルＶＴＲの
要部構成を示すブロック図である。ここで、図６におけ
る画像信号の流れについて説明する。入力端子６０１よ
りデジタル化された画像データが入力し、ブロック化回
路６０２によりｍ画素×ｎ画素単位でブロック化され
る。ｍ×ｎ画素単位でブロック化された画像データは、
ＤＣＴ回路５０３で直交変換され、空間領域から周波数
領域に変換される。周波数領域に変換されたデータは量
子化回路６０４で量子化され、さらに可変長符号化回路
６０５で符号化され、所望のデータ転送レートを得る。
符号化されたデータは記録・再生系５０６にて記録媒体
に適したフォーマット化がなされた後、磁気テープに記
録される。

【０００４】再生時は、記録・再生系６０６にて磁気テ
ープから再生されたデータは、後段の信号処理に適した
形式に変換された後、誤り訂正回路（以下、ＥＣＣ回
路）６０７より符号誤りの訂正が行われた後、可変長符
号復号化回路６０８で復号される。復号されたデータは
逆量子化回路６０９で逆量子化された後、逆ＤＣＴ回路
６１０で逆ＤＣＴされ、周波数領域から空間領域のデー
タへ変換され、フレームメモリ６１１に書き込まれる。
フレームメモリ６１１に書き込まれた画像データは、モ
ニタ等のラスタースキャンに合わせて読みだされ、補間
回路６１２で誤り訂正不能データ（以下、エラーデー
タ）の補間を行った後、出力端子６１３から出力され、
モニタ等に表示される。

【０００５】このような符号化方式ではブロック単位で
符号化がなされるため、符号化データに復号時の誤り訂
正で訂正不可能な誤りが発生した場合は、ブロック単位
で復号誤りが発生する。また可変長符号が用いられるこ
とが多いため、復号誤りが複数ブロックにわたって伝搬
し、大きな画質劣化となる。

【０００６】このようなエラーデータを含むブロック
（以下、エラーブロック）を補間修整する手段として、
従来より、図７に示すような前フレームの画像によって
誤りブロックを置き換えるフレーム間補間方式が知られ
ている。図７において、フレーム＃ＮのブロックＸが復
号不能であった場合、前フレーム＃Ｎ−１における画面
上の同一位置のブロックＡの復号データによってブロッ
クＸのデータを置き換えて補間する。

【０００７】また、エラーブロックに動きがある場合に
対して有効な補間方式としては、図８に示すように、同
一フィールド内の画素を用いて誤りブロックを補間する
フィールド内線形補間方式が知られている。図８におい
て、大文字Ａ、Ｂ、Ｘは符号化ブロックを表し、添え字
１、２・・・付の小文字ａ、ｂ、ｘは各々符号化ブロッ
クＡ、Ｂ、Ｘに含まれる再生画像信号のラインを示す。
添え字が奇数のライン（一点鎖線で示す）は奇数フィー
ルド、添え字が偶数のライン（点線で示す）は偶数フィ
ールドのラインである。説明のため、符号化ブロックは
フレーム内８×８画素（ｍ＝ｎ＝８）で構成されている
ものとする。

【０００８】ブロックＸが復号不能であったエラーブロ
ックで、画面上でＸの上下に位置するブロックＡ、Ｂが
復号可能であるとする。エラーブロックＸのラインｘ１
〜ｘ８は、上のブロックＡの各フィールドの最下ライン
ａ７、ａ８と、下のブロックＢの各フィールドの最上ラ
インｂ１、ｂ２によって、各々フィールド内線形補間し
た値によって置き換えられる。

【０００９】即ち、奇数フィールドにおいては、例え
ば、 ｘ１＝（４ａ７＋ｂ１）／５、ｘ３＝（３ａ７＋２ｂ
１）／５ ｘ５＝（２ａ７＋３ｂ１）／５、ｘ７＝（ａ７＋４ｂ
１）／５ となり、偶数フィールドにおいては、例えば、 ｘ２＝（４ａ８＋ｂ２）／５、ｘ４＝（３ａ８＋２ｂ
２）／５ ｘ６＝（２ａ８＋３ｂ２）／５、ｘ８＝（ａ８＋４ｂ
２）／５ となる。

【００１０】このように、従来の画像信号再生装置にお
いては、エラーブロックの動きの状態を判定し、前述の
ような２通りの補間方法を切り換えることが行われてい
た。

【００１１】

【発明が解決しようとしている課題】しかしながら前記
従来例においては、復号不能ブロックに対する動き情報
は動きあり又は動きなしの２値であり、動きなしの場合
は鮮明な補間が行えるが、動きありの場合はフィールド
内線形補間処理を行うため画像の輪郭等を再現できずボ
ケた画像となり、視覚的に良好な補間が行えないといっ
た問題点があった。

【００１２】前記課題を考慮して、本発明は、復号不能
ブロックが動きありの場合であっても、視覚的に良好な
画像を得ることが可能な画像信号再生装置を提供するこ
とを目的とする。

【００１３】

【課題を解決するための手段】従来抱えている課題を解
決し、前記目的を達成するため、本発明は、画像信号を
所定数の画素ごとにブロック符号化したデータを前記ブ
ロック単位で復号化することにより画像信号を得る画像
信号再生装置であって、復号化不能ブロックの動きベク
トルを検出する動きベクトル検出手段と、前記動きベク
トル検出手段により検出された復号化不能ブロックの動
きベクトルに基づき、前記復号化不能ブロックの周囲ブ
ロックのデータを用いて前記復号化不能ブロックのデー
タを構築する手段とを備えて構成されている。

【００１４】

【実施例】以下、本発明の実施例について図面を用いて
詳細に説明する。

【００１５】図１は本発明の実施例としての画像信号再
生装置の構成を示すブロック図である。以下、図１にお
ける再生画像信号の処理について説明する。

【００１６】図１において、磁気テープ等の記録媒体か
ら再生された画像信号は入力端子１０１から入力し、Ｅ
ＣＣ回路１０２に送られる。なお、ここでは説明のため
再生信号はフレーム単位で再生及び復号化が行われるこ
ととする。

【００１７】そして、ＥＣＣ回路１０２において再生信
号中の符号誤りの訂正を行い、データ分離回路１０４に
出力する。また、ＥＣＣ回路１０２は符号誤りの訂正が
不能のデータについては、誤り訂正不能を示すエラーフ
ラグをエラー検出回路１０３に出力する。エラー検出回
路１０３は、このＥＣＣ回路１０２からのエラーフラグ
に基づいて各画素ブロックが復号化可能か否かを示すブ
ロックエラーフラグを発生する。

【００１８】データ分離回路１０４はＥＣＣ回路１０２
からのデータを受けて、そのブロックの画面上での位置
等を示すブロックアドレスデータを及び画像データに分
離して、メモリ制御回路１０６及びブロック復号化回路
１０５にそれぞれ出力する。ブロック復号化回路１０５
は、画素ブロック単位で画像データを復号化し、後述の
補間処理にかかる時間分の遅延時間を有する遅延回路１
０７を介して、第１フィールドのデータをフィールドメ
モリ１０９に、第２フィールドのデータをフィールドメ
モリ１０８に出力する。この際、メモリ制御回路１０６
はデータ分離回路１０４からのブロックアドレスデータ
に基づいてフィールドメモリ１０７、１０８への各画素
ブロックの復号画像データの書き込みアドレスを決定す
る。

【００１９】フィールドメモリ１１０には、補間を行う
画像（ここではフィールドメモリ内の画像）の１フィー
ルド前の画像データが格納されている。また、動きベク
トル検出回路１１１は、フィールドメモリ１０９，１１
０の画像データから、後述のように画素ブロック単位
で、エラーブロックの周囲の画素ブロックのフィールド
間動きベクトルを検出し、補間回路１１２に出力する。
この動きベクトルの検出は、現フィールドの画像データ
と前フィールドの画像データのマッチングをとるマッチ
ング法や輝度の時間的変化と空間的濃度勾配の関係から
動きベクトルを求める濃度勾配法等、様々な検出方式を
用いることができる。

【００２０】補間回路１１２は、動きベクトル検出回路
１１１で検出したエラーブロックの周囲ブロックの動き
ベクトルを用いてエラーブロックの動きベクトルを推定
し、その後、推定したエラーブロックの動きベクトルを
用いて、フィールドメモリ１１０の画像データによりフ
ィールドメモリ１０９に記憶されているエラーブロック
のデータを書き換えることにより補間を行う。

【００２１】このように第１フィールドの補間処理が終
了すると、フィールドメモリ１１０のデータを出力端子
１１３から外部機器に出力する。また、フィールドメモ
リ１０９のデータをフィールドメモリ１１０に書き込
み、フィールドメモリ１０８のデータをフィールドメモ
リ１０９に書き込む。この時点でフィールドメモリ１１
０には補間処理の完了した第１フィールドの画像データ
が、フィールドメモリ１０９には補間処理を行う前のフ
ィールドのデータが記憶されている。フィールドメモリ
１０９内の画像データに復号化不能データがあった場合
には、この第２フィールドの画像データに対しても同様
の補間処理を行った後、フィールドメモリ１１０のデー
タを出力端子１１３より出力し、また、フィールドメモ
リ１０９のデータをフィールドメモリ１１０に書き込
む。そして、次のフレームの画像データをフィールドメ
モリ１０８，１０９に書き込み、順次補間処理を行って
いく。

【００２２】次に、図３乃至図５を用いて第１の実施例
としての補間回路１１２の動作を説明する。図３は、本
発明の補間回路１１２の構成例を示すブロック図であ
る。また、図４は図３の補間回路１１２の動作を説明す
るための図である。図４におけるＡ〜ＨおよびＸの各正
方形は１つの画素ブロックを示し、図中の配置は１フィ
ールドにおける画面上での配置を示す。なお、本実施例
においては画素ブロックＸをエラーブロックとし、ブロ
ックＸの動きベクトルを推定して補間を行う場合につい
て説明する。

【００２３】２０１は動きベクトルデータの入力端子で
あり、動きベクトル検出回路１１１より画素ブロック単
位で各ブロックの動きベクトルデータが入力される。２
０２はブロックエラーフラグの入力端子であり、ブロッ
クエラー検出回路１０３より画素ブロック単位でブロッ
クエラーフラグが入力される。ＤＬ２０３〜ＤＬ２１８
は遅延回路であり、ＤＬ２０８、ＤＬ２１６はそれぞれ
図４中の画素ブロックＦに対する動きベクトルデータ、
ブロックエラーフラグを同時に出力するように遅延時間
が設定されており、そのときにＤＬ２０３，ＤＬ２０
４，ＤＬ２０５，ＤＬ２０６，ＤＬ２０７，ＤＬ２０
９，ＤＬ２１０はそれぞれ画素ブロックＡ，Ｂ，Ｃ，
Ｄ，Ｅ，Ｇ，Ｈに対する動きベクトルデータを、ＤＬ２
１１，ＤＬ２１２，ＤＬ２１３，ＤＬ２１４，ＤＬ２１
５，ＤＬ２１７，ＤＬ２１８はそれぞれ画素ブロック
Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｇ，Ｈに対するブロックエラーフ
ラグを出力するように遅延時間が設定されている。

【００２４】判定回路２１９〜２２６にはそれぞれ画素
ブロックＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈに対する動き
ベクトルデータとブロックエラーフラグが入力され、該
当画素ブロックが復号可能であった場合はその画素ブロ
ックの動きベクトルデータを出力し、復号不能であった
場合はなにも出力しない。ベクトル合成回路２２７には
判定回路２１９〜２２６からの動きベクトルデータが入
力され、そのベクトルデータの成分を水平・垂直の各成
分毎に加算することによってベクトルの合成を行う。カ
ウンタ回路２２８には、画素ブロックＡ，Ｂ，Ｃ，Ｄ，
Ｅ，Ｆ，Ｇ，Ｈに対するブロックエラーフラグが入力さ
れ、復号可能であった画素ブロックの個数をカウントす
る。２２９は乗算回路であり、ベクトル合成回路２２７
からの合成ベクトルデータが入力され、カウンタ回路２
２８でカウントした復号可能であったブロックの個数Ｋ
で割ることによってエラーブロックの周辺のブロックの
動きベクトルデータの平均を求める。この出力をブロッ
クＸの動きベクトルデータとして読み出しアドレス発生
回路２３１に出力する。

【００２５】ＤＬ２３０は遅延回路であり、乗算器２２
９がブロックＸに対する動きベクトルデータを出力して
いるときに、ブロックＸに対するブロックエラーフラグ
を出力するように遅延時間が設定されている。読み出し
アドレス発生回路２３１にはブロックＸに対する動きベ
クトルデータとブロックエラーフラグが入力される。ブ
ロックエラーフラグが復号不能状態を示している場合、
動きベクトルデータよりフィールドメモリ１１０の読み
出しアドレスを決定し、出力端子２３２に出力する。

【００２６】次に、図４を用いて本実施例における補間
処理について説明する。図４において、前フィールドの
画像の三角形の領域４０１が動いている領域であり、現
フィールドの４０２の領域に移動してきたとする。４０
３は現フィールド画像において欠落しているブロックＸ
である。

【００２７】前述のように、周囲のブロックの動きベク
トルを用いて、エラーブロック５０３の動きベクトルが
決定されると、読み出しアドレス発生回路２３１は図３
中の４０４に相当する領域のアドレスを発生して、出力
端子２３２に出力する。フィールドメモリ１１０はその
出力を受け該当アドレスから４０４の領域の画像データ
を出力し、入力端子２３５にそのデータを出力する。書
き込みアドレス発生回路２３３にはエラーブロック４０
３に対するエラーフラグが入力され、フラグが復号不能
状態を示している場合、フィールドメモリ１０９におい
てエラーブロック４０３に該当する書き込みアドレスを
発生し、出力端子２３４に出力する。画像データ出力端
子２３６は画像データ入力端子２３５からの補間画像デ
ータをフィールドメモリ１０９に出力し、書き込みアド
レスで指定されたアドレスに画像データを書き込むこと
によって補間処理を行う。

【００２８】このようにして、動きベクトルを用いて補
間処理を行うことによって、動きがあるブロックに対し
てボケのない鮮明な補間を行うことができる。

【００２９】次に、図５を用いて本発明の第２の実施例
としての補間回路１１２の動作について説明する。な
お、図５において、図２と同一又は同様の作用を施すも
のについては同一符号を付し、その詳細な説明は省略す
る。

【００３０】図５において、５０１〜５０８は選択回路
であり、判定回路５１９〜５２６から動きベクトルデー
タが入力された場合、その動きベクトルの大きさを求
め、所定の閾値と比較することにより動きの大きいベク
トルデータ（以下、大ベクトル）と動きの小さいベクト
ルデータ（以下、小ベクトル）に分類し、データの出力
先を選択する。各選択回路は、入力された動きベクトル
が大ベクトルと分類された場合、動きベクトルデータを
大ベクトル合成回路５０９に、また大ベクトルであるこ
とを示すフラグをカウンタ回路５１１にそれぞれ出力す
る。また、小ベクトルと分類された場合は、動きベクト
ルデータを小ベクトル合成回路５１０に、小ベクトルで
あることを示すフラグをカウンタ回路５１２にそれぞれ
出力する。各選択回路に動きベクトルデータが入力され
ない場合は何も出力しない。

【００３１】５０９は大ベクトル合成回路であり、選択
回路５０１〜５０８より入力された大ベクトルデータを
水平・垂直の各成分毎に加算することによりベクトルの
合成を行う。５１０は小ベクトル合成回路であり、選択
回路５０１〜５０８より入力された小ベクトルデータを
水平・垂直の各成分毎に加算することによりベクトルの
合成を行う。５１１，５１２はカウンタ回路であり、５
１１は大ベクトルの個数を、５１２は小ベクトルの個数
をカウントする。

【００３２】５１３，５１４は乗算器であり、５１３は
大ベクトル合成回路５０９より入力される合成動きベク
トルデータをカウンタ回路５１１より入力される大ベク
トルの個数Ｋ１で割ることによって、大ベクトルの平均
ベクトルを求める。５１４は小ベクトル合成回路５１０
より入力される合成動きベクトルデータをカウンタ回路
５１２より入力される小ベクトルの個数Ｋ２で割ること
によって、小ベクトルの平均ベクトルを求める。

【００３３】５１５は比較器であり、カウンタ回路５１
１，５１２の出力Ｋ１、Ｋ２の大小を比較する。５１６
は選択スイッチであり、乗算器５１３，５１４から大ベ
クトル，小ベクトルそれぞれの平均ベクトルが入力さ
れ、比較器５１５の出力によって制御される。Ｋ１＞Ｋ
２の場合は大ベクトルの平均ベクトルが、Ｋ１≦Ｋ２の
場合は小ベクトルの平均ベクトルが選択され、この選択
された平均ベクトルを図４におけるブロックＸの動きベ
クトルデータとして読み出し、アドレス発生回路２３１
に出力する。以降の動作は前述の第１の実施例と同様で
ある。

【００３４】このように、本実施例によれば、エラーブ
ロックの動きベクトル推定時に、使用する周辺ブロック
の動きベクトルデータをその大きさに応じて適応的に選
択することにより、動きベクトル推定の際の精度を向上
することができる。

【００３５】なお、前述の実施例においては、エラーブ
ロックの動きベクトルを用いてフィールド間補間を行っ
たが、前述の実施例のように、エラーブロックの動きの
あり・なしを推定し、この動き情報と動きベクトルとを
あわせて用いることにより、フレーム間・フィールド内
補間及びフィールド間補間を適応的に切り換えて、より
適切な補間を行うことも可能である。

【００３６】

【発明の効果】以上説明したように、本発明は、復号化
不能ブロックの動きベクトルを検出し、この復号化不能
ブロックの動きベクトルに基づいて復号化不能ブロック
のデータを構築しているので、例えば、画像に動きがあ
る場合もボケのない鮮明な補間を行うことができ、ブロ
ック単位で欠落した画像に対して良好な再生画像を得ら
れる。

【図面の簡単な説明】

【図１】本発明の実施例としての画像信号再生装置の構
成を示すブロック図である。

【図２】図１の画像信号再生装置における補間回路の構
成を示すブロック図である。

【図３】補間回路の動作を説明するための図である。

【図４】補間回路の動作を説明するための図である。

【図５】本発明の第２の実施例としての補間回路の構成
を示すブロック図である。

【図６】デジタルＶＴＲの構成を示すブロック図であ
る。

【図７】フレーム間補間を説明するための図である。

【図８】フィールド内線形補間を説明するための図であ
る。

【符号の説明】

１０２ 誤り訂正回路 １１１ 動きベクトル検出回路 １１２ 補間回路

Claims (1)

【特許請求の範囲】
1. 【請求項１】 画像信号を所定数の画素ごとにブロック
   符号化したデータを前記ブロック単位で復号化すること
   により画像信号を得る画像信号再生装置であって、 復号化不能ブロックの動きベクトルを検出する動きベク
   トル検出手段と、 前記動きベクトル検出手段により検出された復号化不能
   ブロックの動きベクトルに基づき、前記復号化不能ブロ
   ックの周囲ブロックのデータを用いて前記復号化不能ブ
   ロックのデータを構築する手段とを備えたことを特徴と
   する画像信号再生装置。