JPH09331526A - 画像信号処理装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 エッジやディテール部分をなまらせることな
く、ブロック歪みを除去することができる。 【解決手段】 ブロック復号回路４では、圧縮符号化さ
れた画像データＳ１からブロック単位で復号画像データ
Ｓ４が出力される。平均値算出回路６では、復号画像デ
ータＳ４から平均値データＳ５が算出され、注目ブロッ
クとその隣接ブロックの平均値データが第１のクラスコ
ードＳ６として、係数メモリ１２へ供給される。クラス
生成回路９では、復号画像データＳ４から第２のクラス
コードＳ８が生成され、係数メモリ１２へ供給される。
係数メモリ１２では、第１および第２のクラスコードさ
らに制御回路３からの位置情報Ｓ７から求められた第３
のクラスコードに応答する係数組が係数メモリ１２から
読み出される。積和演算回路１３では、復号画像データ
Ｓ４に対して線形１次結合を施すことによって、予測復
号画像データＳ１０が生成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ブロック符号化
方式を用いて高能率符号化した画像信号を復号する画像
信号処理装置および方法に関する。

【０００２】

【従来の技術】従来、例えばテレビ会議システム等のよ
うに画像信号を遠隔地に伝送するいわゆる画像信号伝送
システムや、画像信号をディジタル化してビデオテープ
レコーダやビデオディスクレコーダに記録し再生する装
置においては、伝送路や記録媒体を効率的に利用するた
め、ディジタル化した画像信号の相関を利用して有意情
報を効率的に符号化することにより伝送情報量や記録情
報量を削減し、伝送効率や記録効率を高めるようになさ
れている。

【０００３】このような場合、一般的には、画像信号を
高能率圧縮符号化することによりデータ量を大幅に削減
するようになされている。この高能率圧縮符号化の手法
として、入力された画像信号を複数のブロックに分割
し、例えばＡＤＲＣ符号化（Adaptive Dynamic Range C
oding ）やＤＣＴ符号化（Discrete Cosine Transfor
m）等を施すブロック符号化が提案されている。

【０００４】因みに、ＡＤＲＣ符号化は、視覚のダイナ
ミックレンジ依存性を利用したものであり、画素分布の
ダイナミックレンジの大きい領域では、画素レベルの微
小な変動は、視認されにくく、反対にダイナミックレン
ジの小さい領域では、画素レベルの微小な反動も視認さ
れやすいという視覚特性を利用して画像圧縮する符号化
方式である。また、ＤＣＴ符号化は、規定波形として複
数のコサイン関数を用いたもので、画像信号をこれら複
数の規定波形に分解して表現する符号化方式である。

【０００５】

【発明が解決しようとする課題】ところで上述のような
手法によって非常に低いレートに圧縮した場合、復元
時、ブロック境界付近にブロック歪みが発生して画像劣
化が生じることがある。特に、割当ビット数が少なくな
るような平坦なブロックでは、その傾向が著しく現れ
る。このためブロック境界に対して局所的に低域通過フ
ィルタ（いわゆるローパスフィルタ：ＬＰＦ）をかける
ことにより、一般的には、このようなブロック歪みを除
去して画像劣化を低減するようになされている。

【０００６】ところがＬＰＦをかけると、高周波成分を
含むエッジやディテール部分をなまらせてしまう不具合
が発生し、ブロック歪みの除去方法としては、未だ不十
分な点がある。

【０００７】従って、この発明の目的は、エッジやディ
テール部分をなまらせることなく、ブロック歪みを除去
し得る画像信号処理装置および方法を提供することにあ
る。

【０００８】

【課題を解決するための手段】請求項１に記載の発明
は、所定の圧縮符号化手段によりブロック単位で圧縮符
号化された圧縮画像データを復号処理する画像信号処理
装置において、圧縮画像データをブロック単位で復号し
た復号画像データの各ブロックの特徴量を検出する特徴
量検出手段と、復号画像データをパターン分類して復号
画像データが属するクラスを検出するクラス検出手段
と、特徴量検出手段によって得た注目ブロックおよび注
目ブロックに隣接する隣接ブロックの特徴量を集めて所
定ビットで量子化することにより得られる第１のクラス
情報と、クラス検出手段によって得た第２のクラス情報
とに基づいて生成された第３のクラス情報に応じて、予
め記憶されている所定の係数を読み出して出力する係数
テーブルと、係数テーブルから出力された所定の係数と
復号画像データとを積和演算することにより予測復号画
像データを生成する演算手段とからなることを特徴とす
る画像信号処理装置である。

【０００９】また、請求項９に記載の発明は、所定の圧
縮符号化手段によりブロック単位で圧縮符号化された圧
縮画像データを復号処理する画像信号処理方法におい
て、圧縮画像データをブロック単位で復号した復号画像
データの各ブロックの特徴量を検出するステップと、復
号画像データをパターン分類して復号画像データが属す
るクラスを検出するステップと、特徴量を検出するステ
ップによって得た注目ブロックおよび注目ブロックに隣
接する隣接ブロックの特徴量を集めて所定ビットで量子
化することにより得られる第１のクラス情報と、クラス
を検出するステップによって得た第２のクラス情報とに
基づいて生成された第３のクラス情報に応じて、予め記
憶されている所定の係数を読み出して出力するステップ
と、出力された所定の係数と復号画像データとを積和演
算することにより予測復号画像データを生成するステッ
プとからなることを特徴とする画像信号処理方法であ
る。

【００１０】この発明は、注目ブロックおよびその隣接
ブロックの特徴量から得られる第１のクラス情報と、パ
ターン分類により得られる第２のクラス情報と、位置情
報とに基づいて新たな第３のクラス情報を生成し、第３
のクラス情報に応じて係数を読み出し、復号画像データ
に積和演算を施して、符号化される前の画像データと略
々同じ予測復号画像データを生成するようにしたことに
より、エッジやディテール部分を含むブロックとブロッ
ク歪みが出やすいブロックとで異なる特徴量の相違に応
じた適応的な処理を行うことができ、エッジやディテー
ル部分をなまらせることを未然に回避してブロック境界
付近に発生するブロック歪みを適応的に除去することが
できる。

【００１１】

【発明の実施の形態】以下、この発明の実施例を図面を
参照して説明する。図１は、この発明の第１の実施例を
示すブロック図である。１で示す入力端子から供給され
るＳ１は、例えばＤＣＴ符号化によって高能率圧縮符号
化された伝送画像データに対して、図示しないが同期分
離回路およびエラー訂正回路を介して供給された画像デ
ータである。この画像データＳ１は、入力端子１からフ
レーム分解回路２に入力される。フレーム分解回路２
は、画像データＳ１から水平同期信号Ｓ２および垂直同
期信号Ｓ３を抽出して制御回路３に出力すると共に、画
像データＳ１を後段のブロック復号回路４へ供給する。

【００１２】ブロック復号回路４は、圧縮符号化された
画像データＳ１をブロック単位で復元するものであり、
可変長符号化に対する復号を施した後、逆量子化して係
数を算出し、逆ＤＣＴ変換して元のレベルデータを復元
する。このようにして復元されたブロック単位の復号画
像データＳ４は、ブロック遅延回路５および平均値算出
回路６へ供給される。

【００１３】平均値算出回路６は、復号画像データＳ４
から各ブロック内の全画素の輝度レベルを標本化して平
均値データＳ５を算出し、得られた平均値データＳ５を
平均値メモリ７に供給する。これにより平均値メモリ７
には、各ブロック毎の平均値データＳ５が順次蓄えられ
る。一方、ブロック遅延回路５は、時間的な調整を行う
ための回路であり、上述のような平均値データＳ５を算
出するまでにかかる時間分だけ復号画像データＳ４を遅
延し、その遅延した復号画像データＳ４を遅延回路８お
よびクラス生成回路９に供給する。

【００１４】遅延回路８は、供給された復号画像データ
Ｓ４をブロック分解して蓄積する。また、遅延回路８
は、蓄積した復号画像データＳ４を読み出す際に、後述
するクラス生成回路９、平均値メモリ７および制御回路
３の処理時間分だけ遅延処理する。遅延回路８は、こう
して遅延処理した復号画像データＳ４を予測タップ生成
回路１０に読み出して供給する。

【００１５】予測タップ生成回路１０は、復号画像デー
タＳ４の各ブロック毎に、注目画素を中心としてその周
辺画素を集めることによって積和演算に要する予測タッ
プを形成する。また、予測タップ生成回路１０は、復号
画像データＳ４を後段の積和演算回路１３の演算形態に
合った信号フォーマットに変換して、積和演算回路１３
に供給する。例えば、積和演算回路１３が１次元で演算
処理する場合には、供給する復号画像データＳ４を１次
元の時系列データに変換して供給し、積和演算回路１３
が２次元で演算処理する場合には、供給する復号画像デ
ータＳ４を所望のライン数の並列時系列データに変換し
て供給する。

【００１６】このような予測タップ生成回路１０から積
和演算回路１３への復号画像データＳ４の供給動作に同
期して、平均値メモリ７に蓄えられた平均値データＳ５
が係数メモリ１２に読み出される。ここで、平均値メモ
リ７からは、図２に示すように、注目ブロックだけでな
く、注目ブロックに隣接するブロックの平均値データも
読み出される。平均値メモリ７は、読み出した平均値デ
ータＳ５をそれぞれｎビットにシフトダウンしてビット
数を減らしたものを第１のクラスコードＳ６として係数
メモリ１２に供給する。

【００１７】また、制御回路３は、水平同期信号Ｓ２お
よび垂直同期信号Ｓ３に基づいて注目画素のブロック内
での相対的な位置を示す位置情報を求める。例えば、図
３の示すように、（８×８）画素でなるブロックの場
合、縦横それぞれ３ビットずつの合計６ビットでブロッ
ク内の相対的な位置を表す。このようにして表された位
置情報Ｓ７は、係数メモリ１２に供給される。なお、制
御回路３から平均値メモリ７に供給されている信号Ｓ９
は、書き込み動作および読み出し動作時に使用するアド
レス信号やイネーブル信号等の制御信号である。

【００１８】また、クラス生成回路９は、各ブロック毎
に注目画素を中心タップとする空間クラスタップを設定
し、この空間クラスタップ内の復号値を、例えばＡＤＲ
Ｃ符号化することにより、空間パターン分類によるクラ
ス検出を行い（すなわち、注目画素が属するクラスを検
出し）、その結果得られる第２のクラスコードＳ８をク
ラスコードメモリ（Class code Memory ：ＣＭ）１１に
供給する。これにより、クラスコードメモリ１１には、
各ブロック毎の第２のクラスコードＳ８が順次蓄えられ
る。クラスコードメモリ１１は、平均値メモリ７と同様
に、予測タップ生成回路１０から積和演算回路１３への
復号画像データＳ４の供給動作に同期して、第２のクラ
スコードＳ８を読み出して係数メモリ１２に供給する。

【００１９】係数メモリ１２は、メモリからなり、積和
演算回路１３での積和演算に使用されるクラス毎の係数
組が予め学習により記録されている。係数メモリ１２
は、第１のクラスコードＳ６、第２のクラスコードＳ８
および位置情報Ｓ７を合わせることにより得られる第３
のクラスコードをアドレス情報として、そのクラス毎の
係数組を読み出して積和演算回路１３に供給する。

【００２０】積和演算回路１３は、予測タップ生成回路
１０から供給された復号画像データＳ４と係数メモリ１
２から供給された係数組とを積和演算処理することによ
り復号画像データＳ４に対してクラス毎に符号化される
前の画像データと略々同じ予測復号画像データを生成
し、（いわゆるクラス毎の適応予測処理を行い）、その
結果ブロック歪みが低減された予測復号画像データを獲
得し、この予測復号画像データＳ１０を出力端子１４か
ら出力する。

【００２１】ここで、係数メモリ１２に記憶されている
係数テーブルは、以下に説明するような学習により求め
られる。まず、既に知られている第１の画像データと、
その第１の画像データに対してＤＣＴ符号化および復号
化を施した第２の画像データを用意する。また、ＡＤＲ
Ｃ符号化によって得たクラスコードに平均値データおよ
び位置情報を付加した新たなクラスコードを生成する。
そして、その求めたクラスコード毎に、第１および第２
の画像データに対して最小自乗法を適用した学習方法を
施して、最適な係数組を求める。この求められた係数組
をクラス毎にメモリに記憶することにより係数テーブル
が形成される。

【００２２】すなわち、係数テーブルを形成する際に
は、図４に示すような係数作成回路２０が用いられる。
まず、係数作成回路２０に対しては、教師信号としての
画像データＳ２０が入力される。この画像データＳ２０
は、学習処理のため係数選定回路２１に入力されると共
に、符号化復号化処理のためにブロック符号化回路２２
に入力される。また、画像データＳ２０のうち垂直同期
信号や水平同期信号等の位置情報Ｓ２１も、位置情報に
よるクラス分類を行うために係数選定回路２１に入力さ
れる。

【００２３】ブロック符号化回路２２は、画像データＳ
２０にブロック単位で、例えばＤＣＴ符号化を施し、そ
の結果得られる。係数データを量子化し、量子化出力を
可変長符号化するものであるブロック符号化回路２２か
らの圧縮符号化された画像データＳ２２をブロック復号
回路２３に供給する。ブロック復号回路２３は、ブロッ
ク符号化回路４と同様に圧縮符号化された画像データＳ
２２をブロック単位で復号し、復号された画像データＳ
２３を係数選定回路２１に供給すると共に、平均値算出
回路２４およびクラス生成回路２５に供給する。

【００２４】平均値算出回路２４は、画像データＳ２３
を基に各ブロック内の全画素を平均化して得られる平均
値データＳ２４を算出する。この平均値データＳ２４
は、クラス分類の一要素として係数選定回路２１に供給
される。また、クラス生成回路２５は、画像データＳ２
３に、例えばＡＤＲＣ符号化を施すことによりクラスコ
ードＳ２５を生成する。このクラスコードＳ２５も、平
均値データＳ２４と同様に、クラス分類の一要素として
係数選定回路２１に供給される。

【００２５】係数選定回路２１は、供給されたクラスコ
ードＳ２５に平均値データＳ２４および位置情報Ｓ２１
の要素を付加して新たなクラスコードを作成し、そのク
ラス毎に画像データＳ２０およびＳ２３の相関関係を線
形１次結合式で表し、この線形１次結合式による画像デ
ータＳ２０およびＳ２３の誤差の自乗が最小となる係数
組を学習により求める。そして、求めた係数組をクラス
コードと共に係数テーブルを形成する係数メモリ１２へ
供給する。これにより、最適に適応予測処理し得る係数
テーブルが作成される。

【００２６】具体的に、上述の構成において、動作を説
明すると、ＤＣＴ符号化によって高能率圧縮符号化され
た伝送画像データをブロック復号回路４によってブロッ
ク単位で復号する。そして、平均値算出回路６によっ
て、各ブロック毎の平均値データＳ５を求め、この平均
値データＳ５が平均値メモリ７に蓄積される。平均値メ
モリ７は、注目ブロックおよびその隣接ブロックの平均
値データが読み出される。こうして読み出される注目ブ
ロックおよびその隣接ブロックの平均値データＳ５は、
それぞれｎビットで量子化されて第１のクラスコードＳ
６として係数メモリ１２に供給される。

【００２７】また、復元されたブロック単位の復号画像
データＳ４をクラス生成回路９に供給し、ここで、例え
ばＡＤＲＣ符号化による第２のクラスコードＳ８を生成
して、この第２のクラスコードＳ８を係数メモリ１２に
供給する。さらに、制御回路３では、水平同期信号Ｓ２
および垂直同期信号Ｓ３を基にして注目画素のブロック
内での相対的な位置を示す位置情報Ｓ７を求め、この位
置情報Ｓ７を係数メモリ１２に供給する。

【００２８】係数メモリ１２は、供給された第１のクラ
スコードＳ６、第２のクラスコードＳ８および位置情報
Ｓ７を合わせたものを第３のクラスコードとし、この第
３のクラスコードをアドレス情報として予めクラス毎に
記憶されている係数組を読み出す。すなわち、クラス分
類処理によって得られた第２のクラスコードＳ８に、注
目ブロックおよびその隣接ブロックの平均値データＳ５
が集められて各々ｎビットで量子化されて得られる第１
のクラスコードＳ６と注目画素のブロック内での相対的
な位置を示す位置情報Ｓ７とを付加したものを新たな第
３のクラスコードとして係数組を読み出す。

【００２９】積和演算回路１３は、遅延回路８および予
測タップ生成回路１０を介して供給される画像データと
係数メモリ１２から供給される係数組とを線形１次結合
式の演算処理することにより画像データに対してクラス
毎に符号化される前の原画像データと略々同じ予測復号
画像データが生成される。その際、係数メモリ１２から
供給される係数組は、ブロック歪みが出やすい、あるい
はエッジやディテール部分を含みやすい等といった特徴
を表す注目ブロックおよびその隣接ブロックの平均値デ
ータＳ５が集められて各々ｎビットで量子化されて得ら
れる第１のクラスコードＳ６や、注目画素がブロック内
のどの位置に当たるかといったことを表す位置情報Ｓ７
を考慮して作成された係数組であるため、エッジやディ
テール部分をなまらせることなく、ブロック境界付近に
発生するブロック歪みを適応的に除去することができ
る。

【００３０】このようにして、画像信号処理装置では、
ブロック毎に平均値データＳ５を検出して、注目ブロッ
クおよびその隣接ブロックの平均値データＳ５が集めら
れて各々ｎビットで量子化されてなる第１のクラスコー
ドＳ６を求めると共に、ブロック内の画素の相対的な位
置情報Ｓ７を検出する。そして、復元したブロック毎の
復号画像データＳ４をパターン分類して得られる第２の
クラスコードＳ８に第１のクラスコードＳ６および位置
情報Ｓ７を付加して新たなクラス分類を行い、そのクラ
ス毎に画像データを符号化される前の原画像データと略
々同じ予測復号画像データを生成する。これにより、エ
ッジやディテール部分をなまらせることなく、ブロック
歪みを適応的に除去することができる。

【００３１】なお、この第１の実施例の場合には、画像
信号処理装置の復号側における処理だけで上述したよう
な効果が得られるため、送信側の装置に負担をかけるこ
となく、また伝送フォーマットを変更する必要もないと
いう利点がある。また、第１の実施例の場合には、クラ
ス毎に画像データを符号化される前の原画像データと略
々同じ予測復号画像データを生成し、いわゆる適応予測
処理を行うことにより、ブロック歪みを適応的に除去し
得るだけでなく、解像度も向上し得る。

【００３２】以上の構成によれば、復号画像データＳ４
の各ブロックの平均値データＳ５を検出すると共に、復
号画像データＳ４の各ブロック内の画素について相対的
な位置情報Ｓ７を検出し、復号画像データＳ４をパター
ン分類して得られる第２のクラスコードＳ８に、平均値
データＳ５から得られる第１のクラスコードＳ６および
位置情報Ｓ７を付加して新たなクラス分類を行い、こい
うして得られた第３のクラスコードをアドレス情報とし
て、そのクラス毎に係数を読み出して画像データを符号
化される前の原画像データと略々同じ予測復号画像デー
タを生成することにより、エッジやディテール部分を含
むブロックとブロック歪みが出やすいブロックとで異な
る平均値の相違に応じた適応的な予測復号画像データの
生成ができ、エッジやディテール部分をなまらせること
を未然に回避してブロック境界付近に発生するブロック
歪みを適応的に除去することができる画像信号処理装置
を実現することができる。

【００３３】次に、この発明の第２の実施例を図５に示
す。この図５において、図１との対応部分に同一符号を
付して、示す。この図５は、図１に示す平均値算出回路
６に換えて最大値検出回路３１、最小値検出回路３２お
よび演算回路３３が設けられており、これらによって中
央値データを求めるようになされている。

【００３４】すなわち、図５に示すように、高能率圧縮
符号化、例えばＤＣＴ符号化された画像データＳ１をフ
レーム分解回路２およびブロック復号回路４を介して復
号処理することにより得られたブロック単位の復号画像
データＳ４は、ブロック遅延回路５に供給されると共
に、最大値検出回路３１および最小値検出回路３２に供
給される。最大値検出回路３１および最小値検出回路３
２は、復号画像データＳ４の各ブロック毎に、例えば輝
度レベルの最大値および最小値をそれぞれ検出し、演算
回路３３に供給する。演算回路３３は、最大値および最
小値に基づいて中央値を算出し、得られた中央値を中央
値データＳ３０として中央値メモリ３４に供給する。具
体的には、最大値および最小値の平均値を算出して中央
値を得ている。中央値メモリ３４は、こうして供給され
る各ブロック毎に中央値データＳ３０を順次蓄える。

【００３５】なお、画像データＳ１がＡＤＲＣ符号化に
よって圧縮符号化されている場合は、圧縮符号化さてい
る画像データＳ１にパラメータとして最大値または最小
値およびダイナミックレンジの情報が含まれているた
め、これらの値から最大値および最小値を求めることが
できる。

【００３６】一方、ブロック遅延回路５は、中央値デー
タＳ３０を算出するまでにかかる時間分だけ復号画像デ
ータＳ４を遅延し、その遅延した復号画像データＳ４を
遅延回路８およびクラス生成回路９に供給する。予測タ
ップ生成回路１０から積和演算回路１３への復号画像デ
ータＳ４の供給動作に同期して、中央値メモリ３４に蓄
えられた中央値データＳ３０が係数メモリ１２に読み出
される。この際、中央値メモリ３４は、注目ブロックお
よびその隣接ブロックの中央値データＳ３０を読み出
し、読み出した中央値データＳ３０をそのまま、あるい
はそれぞれｎビットにシフトダウンしてビット数を減ら
したものを第１のクラスコードＳ３１として係数メモリ
１２に供給する。

【００３７】ここで、係数メモリ１２に記憶されている
係数組は、以下に説明するような学習により求められ
る。まず既に知られている第１の画像データと、その第
１の画像データに対して高能率圧縮符号化、例えばＤＣ
Ｔ符号化および符号化を施した第２の画像データを用意
する。また、ＡＤＲＣ符号化によって得たクラスコード
に中央値データおよび位置情報を付加した新たなクラス
コードを発生する。そして、その求めたクラスコード毎
に、第１および第２の画像データに対して最小自乗法を
適用した学習法を施して、最適な係数組を求める。この
求められた係数組をクラス毎にメモリに記録することに
より係数メモリ１２が形成される。

【００３８】以上の構成において、画像信号処理装置で
は、ＤＣＴ符号化によって高能率圧縮符号化された画像
データＳ１をブロック復号回路４によってブロック単位
で復号する。そして、最大値検出回路３１、最小値検出
回路３２および演算回路３３によって求められた各ブロ
ック毎の中央値データＳ３０が中央値メモリ３４に蓄積
され、中央値メモリ３４から読み出される際に注目ブロ
ックおよびその隣接ブロックの中央値データＳ３０が読
み出される。こうして読み出された各中央値データＳ３
０は、それぞれｎビットで量子化されて第１のクラスコ
ードＳ３１として係数メモリ１２に供給される。また、
復元されたブロック単位の復号画像データＳ４をクラス
生成回路９に供給し、ここで、例えばＡＤＲＣ符号化処
理を施すことにより第２のクラスコードＳ８を生成し
て、この第２のクラスコードＳ８を係数メモリ１２に供
給する。さらに、制御回路３では、水平同期信号Ｓ２お
よび垂直同期信号Ｓ３を基にして注目画素のブロック内
での相対的な位置を示す位置情報Ｓ７を求め、この位置
情報Ｓ７を係数メモリ１２に供給する。

【００３９】係数メモリ１２は、供給された第１のクラ
スコードＳ３１、第２のクラスコードＳ８および位置情
報Ｓ７を合わせたものを第３のクラスコードとし、この
第３のクラスコードをアドレス情報として予めクラス毎
に記憶されている係数組を読み出す。すなわち、クラス
分類処理によって得られた第２のクラスコードＳ８に、
注目ブロックおよびその隣接ブロックの中央値データＳ
３０を集めて各々ｎビットで量子化して得られる第１の
クラスコードＳ３１と注目画素のブロック内での相対的
な位置を示す位置情報Ｓ７とを付加したものを新たな第
３のクラスコードとして係数組を読み出す。

【００４０】積和演算回路１３は、遅延回路８および予
測タップ生成回路１０を介して供給される画像データと
係数メモリ１２から供給される係数組とを積和演算処理
することにより画像データに対してクラス毎に符号化さ
れる前の原画像データと略々同じ予測復号画像データを
生成する。その際、係数メモリ１２から供給される係数
組や、ブロック歪みが出やすい、あるいはエッジやディ
テール部分を含みやすい等といった特徴を表す注目ブロ
ックおよびその隣接ブロックの中央値データＳ３０が集
められて各々ｎビットで量子化されて得られる第１のク
ラスコードＳ３１や、注目画素がブロック内のどの位置
に当たるかといったことを表す位置情報Ｓ７を考慮して
作成された係数組であるため、エッジやディテール部分
をなまらせることなく、ブロック境界付近に発生するブ
ロック歪みを適応的に除去することができる。

【００４１】このようにして画像信号処理装置では、ブ
ロック毎に検出した最大値および最小値から中央値デー
タＳ３０を算出して、この中央値データＳ３０を注目ブ
ロックおよびその隣接ブロックから集めて各々ｎビット
で量子化して第１のクラスコードＳ３１を求めると共
に、ブロック内の画素の相対的な位置情報Ｓ７を検出す
る。そして、復元したブロック毎の復号画像データＳ４
をパターン分類して得られる第２のクラスコードＳ８に
第１のクラスコードＳ３１および位置情報Ｓ７を付加し
て新たなクラス分類を行い、そのクラス毎に符号化され
る前の原画像データと略々同じ予測復号画像データを生
成する。これにより、エッジやディテール部分をなまら
せることなくブロック歪みを適応的に除去することがで
きると共に、復号画像データＳ４の最大値および最小値
の２値から第１のクラスコードＳ３１を得られる。

【００４２】以上の構成によれば、復号画像データＳ４
の各ブロック毎に検出した最大値および最小値から中央
値データＳ３０を算出すると共に、復号画像データＳ４
の各ブロック内の画素について相対的な位置情報Ｓ７を
検出し、復号画像データＳ４をパターン分類して得られ
る第２のクラスコードＳ８に、中央値データＳ３０から
得られる第１のクラスコードＳ３１および位置情報Ｓ７
を付加して新たなクラス分類を行い、こうして得られた
第３のクラスコードをアドレス情報として、そのクラス
毎に係数を読み出して画像データを符号化される前の原
画像データと略々同じ予測復号画像データを生成するよ
うにしたことにより、各ブロック毎に検出した最大値お
よび最小値の２値から中央値データＳ３０を算出し得る
と共に、エッジやディテール部分を含むブロックとブロ
ック歪みが出やすいブロックとで異なる中央値の相違に
応じた適応的な処理を行うことができ、複雑な回路構成
および算出方法を用いることなく、容易に第１のクラス
コードを得ることができ、エッジやディテール部分をな
まらせることを未然に回避してブロック境界付近に発生
するブロック歪みを適応的に除去することができる。

【００４３】次に、この発明の第３の実施例を図６に示
す。この図６において、上述の図５と同様に、図１との
対応部分に同一符号を付して、示す。この図５は、図１
に示す平均値算出回路６に換えて標準偏差算出回路４１
が設けられており、これによって標準偏差値を求めるよ
うになされている。

【００４４】すなわち、図６に示すように、高能率圧縮
符号化、例えばＤＣＴ符号化された画像データＳ１をフ
レーム分解回路２およびブロック復号回路４を介して復
号処理することにより得られたブロック単位の復号画像
データＳ４は、ブロック遅延回路５に供給されると共
に、標準偏差算出回路４１に供給される。標準偏差算出
回路４１は、復号画像データＳ４の各ブロック毎に、例
えば輝度レベルの標準偏差値を検出し、標準偏差値メモ
リ４２に供給する。標準偏差値メモリ４２は、こうして
供給される各ブロック毎に標準偏差値Ｓ４１を順次蓄え
る。

【００４５】一方、ブロック遅延回路５は、標準偏差値
Ｓ４１を算出するまでにかかる時間分だけ復号画像デー
タＳ４を遅延し、その遅延した復号画像データＳ４を遅
延回路８およびクラス生成回路９に供給する。遅延回路
８は、供給された復号画像データＳ４をブロック分解し
て蓄積して、蓄積した復号画像データＳ４を読み出す前
に、クラス生成回路９、標準偏差値メモリ４２および制
御回路３の処理時間分だけ遅延処理する。遅延回路８
は、こうして遅延処理した復号画像データＳ４を予測タ
ップ生成回路１０に読み出して供給する。

【００４６】予測タップ生成回路１０は、復号画像デー
タＳ４の各ブロック毎に、注目画素を中心としてその周
辺画素を集めることによって積和演算に要する予測タッ
プを形成すると共に、復号画像データＳ４を積和演算回
路１３の演算形態に合った信号フォーマットに変換し
て、積和演算回路１３に供給する。

【００４７】このような予測タップ生成回路１０から積
和演算回路１３への復号画像データＳ４の供給動作に同
期して、標準偏差値メモリ４２に蓄えられた標準編纂値
Ｓ４１が係数メモリ１２に読み出される。この際、標準
偏差値メモリ４２は、注目ブロックおよびその隣接ブロ
ックの標準偏差値Ｓ４１を読み出し、読み出した標準偏
差値Ｓ４１をそのまま、あるいはそれぞれｎビットにシ
フトダウンしてビット数を減らしたものを第２のクラス
コードＳ４２として係数メモリ１２に供給する。

【００４８】標準偏差算出回路４１の一例を図７に示
す。入力端子５１から復号画像データＳ４が供給され
る。ブロック単位の復号画像データＳ４は、輝度度数分
布テーブル５２へ供給され、輝度度数分布テーブル５２
において、ブロック単位の輝度レベルの度数分布のテー
ブルが生成される。生成されたテーブルに基づいて、平
均値算出回路５３では、式（１）に示すように平均値が
算出され、算出された平均値は、標準偏差算出回路５４
へ供給される。標準偏差算出回路５４では、度数分布の
テーブルと平均値から標準偏差値が式（２）により算出
され、算出された標準偏差値は、出力端子５５から取り
出される。取り出された標準偏差値が小さいときは、度
数分布の幅は狭く、標準偏差値が大きいときは、度数分
布の幅は広くなる。また、標準偏差値を自乗すること
で、分散値を求めることができ、この分散値を用いても
同様に使用することができる。

【００４９】 平均値＝Σ（輝度レベル×度数）／全度数 （１） 標準偏差値＝√（Σ（輝度レベル−平均値）² ×度数）／全度数） （２） ただし、√（ ）は、（ ）内の演算結果を平方根とす
る。

【００５０】以上の構成において、画像信号処理装置で
は、高能率圧縮符号化、例えばＤＣＴ符号化された画像
データＳ１をブロック復号回路４によってブロック単位
で復号する。そして、標準偏差算出回路４１によって求
められた各ブロック毎の標準偏差値Ｓ４１が標準偏差値
メモリ４２に蓄積され、標準偏差値メモリ４２から読み
出される際に注目ブロックおよびその隣接ブロックの標
準偏差値Ｓ４１が読み出される。こうして読み出された
各標準偏差値Ｓ４１は、それぞれｎビットで量子化され
て第１のクラスコードＳ４２として係数メモリ１２に供
給される。また、復元されたブロック単位の復号画像デ
ータＳ４をクラス生成回路９に供給し、ここで、例えば
ＡＤＲＣ符号化処理を施すことにより第２のクラスコー
ドＳ８を生成して、この第２のクラスコードＳ８を係数
メモリ１２に供給する。さらに、制御回路３では、水平
同期信号Ｓ２および垂直同期信号Ｓ３を基にして注目画
素のブロック内での相対的な位置を示す位置情報Ｓ７を
求め、この位置情報Ｓ７を係数メモリ１２に供給する。

【００５１】係数メモリ１２は、供給された第１のクラ
スコードＳ４２、第２のクラスコードＳ８および位置情
報Ｓ７を合わせたものを第３のクラスコードとし、この
第３のクラスコードをアドレス情報として予めクラス毎
に記憶されている係数組を読み出す。すなわち、クラス
分類処理によって得られた第２のクラスコードＳ８に、
注目ブロックおよびその隣接ブロックの標準偏差値Ｓ４
１を集めて各々ｎビットで量子化して得られる第１のク
ラスコードＳ４２と注目画素のブロック内での相対的な
位置を示す位置情報Ｓ７とを付加したものを新たな第３
のクラスコードとして係数組を読み出す。

【００５２】積和演算回路１３は、遅延回路８および予
測タップ生成回路１０を介して供給される画像データと
係数メモリ１２から供給される係数組とを積和演算処理
することにより画像データに対してクラス毎に復号され
る前の原画像データと略々同じ予測復号画像データを生
成する。その際、係数メモリ１２から供給される係数組
や、ブロック歪みが出やすい、あるいはエッジやディテ
ール部分を含みやすい等といった特徴を表す注目ブロッ
クおよびその隣接ブロックの標準偏差値Ｓ４１が集めら
れて各々ｎビットで量子化されて得られる第１のクラス
コードＳ４２や、注目画素がブロック内のどの位置に当
たるかといったことを表す位置情報Ｓ７を考慮して作成
された係数組であるため、エッジやディテール部分をな
まらせることなく、ブロック境界付近に発生するブロッ
ク歪みを適応的に除去することができる。

【００５３】このようにして画像信号処理装置では、ブ
ロック毎に検出した標準偏差値Ｓ４１を注目ブロックお
よびその隣接ブロックから集めて各々ｎビットで量子化
して第１のクラスコードＳ４２を求めると共に、ブロッ
ク内の画素の相対的な位置情報Ｓ７を検出する。そし
て、復元したブロック毎の復号画像データＳ４をパター
ン分類して得られる第２のクラスコードＳ８に第１のク
ラスコードＳ４２および位置情報Ｓ７を付加して新たな
クラス分類を行い、そのクラス毎に符号化される前の原
画像データと略々同じ予測復号画像データを生成する。
これにより、エッジやディテール部分をなまらせること
なくブロック歪みを適応的に除去することができると共
に、復号画像データＳ４の標準偏差値から第１のクラス
コードＳ４２を得られる。

【００５４】以上の構成によれば、復号画像データＳ４
の各ブロック毎に検出した標準偏差値Ｓ４１と共に、復
号画像データＳ４の各ブロック内の画素について相対的
な位置情報Ｓ７を検出し、復号画像データＳ４をパター
ン分類して得られる第２のクラスコードＳ８に、標準偏
差値Ｓ４１から得られる第１のクラスコードＳ４２およ
び位置情報Ｓ７を付加して新たなクラス分類を行い、こ
うして得られた第３のクラスコードをアドレス情報とし
て、そのクラス毎に係数を読み出して画像データを符号
化される前の原画像データと略々同じ予測復号画像デー
タを生成するようにしたことにより、各ブロック毎に検
出した標準偏差値Ｓ４１を得ると共に、エッジやディテ
ール部分を含むブロックとブロック歪みが出やすいブロ
ックとで異なる標準偏差値の相違に応じた適応的な処理
を行うことができ、複雑な回路構成および算出方法を用
いることなく、容易に第１のクラスコードを得ることが
でき、エッジやディテール部分をなまらせることを未然
に回避してブロック境界付近に発生するブロック歪みを
適応的に除去することができる。

【００５５】なお、上述の実施例において、画像データ
Ｓ１がＤＣＴ符号化によって圧縮符号化された場合につ
いて述べたが、この発明は、これに限らず、画像データ
がＡＤＲＣ符号化、ＤＰＣＭ（Differential Pulse Cod
e Modulation）符号化、ＢＴＣ（Block Truncation Cod
ing ）符号化等、その他の圧縮符号化によって符号化さ
れた場合にも、上述の場合と同様の効果を得ることがで
きる。

【００５６】また、上述の実施例において、係数メモリ
１２と積和演算回路１３とが別々の回路構成でなる場合
について述べたが、この発明は、これに限らず、係数メ
モリ１２と積和演算回路１３とをまとめてブロック歪み
除去回路として構成するようにしても良い。

【００５７】さらに、上述の実施例において、クラス生
成回路９によってブロック毎の復号画像データＳ４をＡ
ＤＲＣ符号化してクラス検出を行い、これにより第２の
クラスコードＳ８が得られる場合について述べたが、こ
の発明は、これに限らず、例えばＡＤＲＣ符号化で圧縮
符号化されている符号化画像信号の場合は、クラス生成
回路で符号化画像信号に含まれる再量子化コードをその
まま抽出して所定タップ数を集めることで第２のクラス
コードとしても良い。

【００５８】また、上述の実施例において、圧縮符号化
されて伝送されてきた画像データＳ１を復号する画像信
号処理装置に、この発明を適用した場合について述べた
が、この発明は、これに限らず、例えば圧縮符号化され
て記録された画像データを復号して再生する画像信号処
理装置に適用した場合にも上述の場合と同様の効果を得
ることができる。要は、圧縮符号化された画像データを
復号する画像信号復号装置であれば広く適用し得る。

【００５９】さらに、上述の実施例において、画像信号
処理装置の再生側または受信側にのみ、この発明を適用
することで上述したような効果が得られるため、送信側
の装置に負担をかけることなく、また伝送フォーマット
を変更する必要もないという利点がある。また、この実
施例の場合にも、クラス毎に画像データを修整する、い
わゆる適応予測処理を行うことにより、ブロック歪みを
適応的に除去し得るだけでなく、解像度も向上し得る。

【００６０】

【発明の効果】この発明に依れば、注目ブロックおよび
その隣接ブロックの各平均値から得られる第１のクラス
情報と、位置情報と、パターン分類により得られる第２
のクラス情報に基づいて新たな第３のクラス情報を生成
し、第３のクラス情報に応じて係数を読み出し、復号さ
れた画像データに積和演算を施して符号化される前の原
画像データと略々同じ予測復号画像データを生成するよ
うにしたことにより、エッジやディテール部分をなまら
せることなく、ブロック境界付近に発生するブロック歪
みを適応的に除去し得ることができる。

【００６１】また、復号された画像データの各ブロック
内の輝度レベルの最大値および最小値を検出し、検出し
た値から中央値を算出して、注目ブロックおよびその隣
接ブロックの各中央値から第１のクラス情報を得るよう
にしたことにより、複雑な回路構成および算出方法を要
することなく第１のクラス情報を得ることができると共
に、エッジやディテール部分を含むブロックとブロック
歪みが出やすいブロックとで異なる中央値の相違に応じ
た適応的な処理を行うことができ、エッジやディテール
部分をなまらせることを未然に回避してブロック境界付
近に発生するブロック歪みを適応的に除去することがで
きる。

【００６２】さらに、復号された画像データの各ブロッ
ク内の輝度レベルの標準偏差値（あるいは分散値）を算
出して、注目ブロックおよびその隣接ブロックの各標準
偏差値から第１のクラス情報を得ることができると共
に、エッジやディテール部分を含むブロックとブロック
歪みが出やすいブロックとで異なる標準偏差値の相違に
応じた適応的な処理を行うことができ、エッジやディテ
ール部分をなまらせることを未然に回避してブロック境
界付近に発生するブロック歪みを適応的に除去すること
ができる。

【００６３】しかも、この発明に依れば、再生または受
信装置側にのみ処理を行うことで上述のような効果を得
ることができるため、記録または伝送側に負担をかける
ことがなく、フォーマットを変更する必要もないという
利点がある。

【図面の簡単な説明】

【図１】この発明の第１の実施例による画像信号処理装
置の構成を示したブロック図である。

【図２】この発明に係るクラスコードを生成するために
平均値データを抽出する注目ブロックおよび隣接ブロッ
クの配置を説明するための略線図である。

【図３】この発明に係る注目画素のブロック内での相対
的な位置情報を説明するための略線図である。

【図４】この発明に適用される係数を学習するための構
成を示すブロック図である。

【図５】この発明の第２の実施例による画像信号処理装
置の構成を示したブロック図である。

【図６】この発明の第３の実施例による画像信号処理装
置の構成を示したブロック図である。

【図７】この発明の第３の実施例に適用される標準偏差
算出回路の構成を示したブロック図である。

【符号の説明】

２・・・フレーム分解回路、３・・・制御回路、４・・
・ブロック復号回路、５・・・ブロック遅延回路、６・
・・平均値算出回路、７・・・平均値メモリ、８・・・
遅延回路、９・・・クラス生成回路、１０・・・予測タ
ップ生成回路、１１・・・クラスコードメモリ、１２・
・・係数メモリ、１３・・・積和演算回路

Claims (9)

【特許請求の範囲】
1. 【請求項１】 所定の圧縮符号化手段によりブロック単
   位で圧縮符号化された圧縮画像データを復号処理する画
   像信号処理装置において、 上記圧縮画像データをブロック単位で復号した復号画像
   データの各ブロックの特徴量を検出する特徴量検出手段
   と、 上記復号画像データをパターン分類して上記復号画像デ
   ータが属するクラスを検出するクラス検出手段と、 上記特徴量検出手段によって得た注目ブロックおよび上
   記注目ブロックに隣接する隣接ブロックの上記特徴量を
   集めて所定ビットで量子化することにより得られる第１
   のクラス情報と、上記クラス検出手段によって得た第２
   のクラス情報とに基づいて生成された第３のクラス情報
   に応じて、予め記憶されている所定の係数を読み出して
   出力する係数テーブルと、 上記係数テーブルから出力された上記所定の係数と上記
   復号画像データとを積和演算することにより予測復号画
   像データを生成する演算手段とからなることを特徴とす
   る画像信号処理装置。
2. 【請求項２】 請求項１に記載の画像信号処理装置にお
   いて、 上記特徴量は、 上記復号画像データの各ブロックの平均値であることを
   特徴とする画像信号処理装置。
3. 【請求項３】 請求項１に記載の画像信号処理装置にお
   いて、 上記特徴量は、 上記復号画像データの各ブロック内の最大値および最小
   値から算出した中央値であることを特徴とする画像信号
   処理装置。
4. 【請求項４】 請求項１に記載の画像信号処理装置にお
   いて、 上記特徴量は、 上記復号画像データの各ブロックの標準偏差であること
   を特徴とする画像信号処理装置。
5. 【請求項５】 請求項１に記載の画像信号処理装置にお
   いて、 上記特徴量は、 上記復号画像データの各ブロックの分散値であることを
   特徴とする画像信号処理装置。
6. 【請求項６】 請求項１に記載の画像信号処理装置にお
   いて、 さらに、上記復号画像データの各ブロック内の画素につ
   いて相対的な位置情報を検出する位置情報検出手段とを
   備えたことを特徴とする画像信号処理装置。
7. 【請求項７】 請求項６に記載の画像信号処理装置にお
   いて、 上記第３のクラス情報は、 上記第１および第２のクラス情報と、上記位置情報とに
   基づいて生成されることを特徴とする画像情報処理装
   置。
8. 【請求項８】 請求項１に記載の画像信号処理装置にお
   いて、 上記係数テーブルは、 上記第３のクラス情報毎に予め学習によって求めた係数
   を、上記第３のクラス情報をアドレス情報として記憶し
   たメモリからなることを特徴とした画像信号処理装置。
9. 【請求項９】 所定の圧縮符号化手段によりブロック単
   位で圧縮符号化された圧縮画像データを復号処理する画
   像信号処理方法において、 上記圧縮画像データをブロック単位で復号した復号画像
   データの各ブロックの特徴量を検出するステップと、 上記復号画像データをパターン分類して上記復号画像デ
   ータが属するクラスを検出するステップと、 上記特徴量を検出するステップによって得た注目ブロッ
   クおよび上記注目ブロックに隣接する隣接ブロックの上
   記特徴量を集めて所定ビットで量子化することにより得
   られる第１のクラス情報と、上記クラスを検出するステ
   ップによって得た第２のクラス情報とに基づいて生成さ
   れた第３のクラス情報に応じて、予め記憶されている所
   定の係数を読み出して出力するステップと、 出力された上記所定の係数と上記復号画像データとを積
   和演算することにより予測復号画像データを生成するス
   テップとからなることを特徴とする画像信号処理方法。