JP3760517B2 - 画像信号処理装置および方法 - Google Patents
画像信号処理装置および方法 Download PDFInfo
- Publication number
- JP3760517B2 JP3760517B2 JP21777196A JP21777196A JP3760517B2 JP 3760517 B2 JP3760517 B2 JP 3760517B2 JP 21777196 A JP21777196 A JP 21777196A JP 21777196 A JP21777196 A JP 21777196A JP 3760517 B2 JP3760517 B2 JP 3760517B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- class
- block
- detecting
- decoded image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、ブロック符号化方式を用いて高能率符号化した画像信号を復号するときに適用される係数を読み出す画像信号処理装置および方法に関する。
【０００２】
【従来の技術】
従来、例えばテレビ会議システム等のように画像信号を遠隔地に伝送するいわゆる画像信号伝送システムや、画像信号をディジタル化してビデオテープレコーダやビデオディスクレコーダに記録し再生する装置においては、伝送路や記録媒体を効率的に利用するため、ディジタル化した画像信号の相関を利用して有意情報を効率的に符号化することにより伝送情報量や記録情報量を削減し、伝送効率や記録効率を高めるようになされている。
【０００３】
このような場合、一般的には、画像信号を高能率圧縮符号化することによりデータ量を大幅に削減するようになされている。この高能率圧縮符号化の手法として、入力された画像信号を複数のブロックに分割し、例えばＡＤＲＣ符号化（Adaptive Dynamic Range Coding ）やＤＣＴ符号化（Discrete Cosine Transform ）等を施すブロック符号化が提案されている。
【０００４】
因みに、ＡＤＲＣ符号化は、視覚のダイナミックレンジ依存性を利用したものであり、画素分布のダイナミックレンジの大きい領域では、画素レベルの微小な変動は、視認されにくく、反対にダイナミックレンジの小さい領域では、画素レベルの微小な反動も視認されやすいという視覚特性を利用して画像圧縮する符号化方式である。また、ＤＣＴ符号化は、規定波形として複数のコサイン関数を用いたもので、画像信号をこれら複数の規定波形に分解して表現する符号化方式である。
【０００５】
【発明が解決しようとする課題】
ところで上述のような手法によって非常に低いレートに圧縮した場合、復元時、ブロック境界付近にブロック歪みが発生して画像劣化が生じることがある。特に、割当ビット数が少なくなるような平坦なブロックでは、その傾向が著しく現れる。このためブロック境界に対して局所的に低域通過フィルタ（いわゆるローパスフィルタ：ＬＰＦ）をかけることにより、一般的には、このようなブロック歪みを除去して画像劣化を低減するようになされている。
【０００６】
ところがＬＰＦをかけると、高周波成分を含むエッジやディテール部分をなまらせてしまう不具合が発生し、ブロック歪みの除去方法としては、未だ不十分な点がある。
【０００７】
従って、この発明の目的は、エッジやディテール部分をなまらせることなく、ブロック歪みを除去し得るときに適用される係数を読み出す画像信号処理装置および方法を提供することにある。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明は、所定の圧縮符号化手段によりブロック単位で圧縮符号化された圧縮画像データをブロック単位で復号処理する復号手段と、復号手段で復号された復号画像データの各ブロックの平均値を検出する平均値検出手段と、復号画像データのブロックの注目画素を中心とする複数の画素のレベル分布のパターン分類によって復号画像データが属するクラスを検出するクラス検出手段と、圧縮画像データから注目画素のブロック内での相対的な位置を示す位置情報を検出する位置情報検出手段と、平均値検出手段によって得た注目ブロックの平均値および注目ブロックに隣接する隣接ブロックの平均値からなる第１のクラス情報と、クラス検出手段で検出されたクラスからなる第２のクラス情報と、位置情報検出手段によって得られる位置情報とを付加して生成された第３のクラスに応じて、予め記憶されている所定の係数を読み出す係数テーブルと、係数係数テーブルから出力された所定の係数と復号画像データの注目画素周辺の複数の画素とに基づく積和演算をすることにより予測復号画像データを生成する演算手段とからなることを特徴とする画像信号処理装置である。
【０００９】
また、請求項６に記載の発明は、所定の圧縮符号化手段によりブロック単位で圧縮符号化された圧縮画像データをブロック単位で復号処理する復号ステップと、復号ステップで復号された復号画像データの各ブロックの平均値を検出する平均値検出ステップと、復号画像データのブロックの注目画素を中心とする複数の画素のレベル分布のパターン分類によって復号画像データが属するクラスを検出するクラス検出ステップと、圧縮画像データから注目画素のブロック内での相対的な位置を示す位置情報を検出する位置情報検出ステップと、平均値検出ステップによって得た注目ブロックの平均値および注目ブロックに隣接する隣接ブロックの平均値からなる第１のクラス情報と、クラス検出ステップで検出されたクラスからなる第２のクラス情報と、位置情報検出ステップによって得られる位置情報とを付加して生成された第３のクラスに応じて、予め記憶されている所定の係数を係数テーブルから読み出すステップと、係数係数テーブルから出力された所定の係数と復号画像データの注目画素周辺の複数の画素とに基づく積和演算をすることにより予測復号画像データを生成する演算ステップとからなることを特徴とする画像信号処理方法である。
【００１０】
この発明は、注目ブロックおよびその隣接ブロックの特徴量から得られる第１のクラス情報と、パターン分類により得られる第２のクラス情報と、位置情報とに基づいて新たな第３のクラス情報を生成し、第３のクラス情報に応じて係数を読み出し、復号画像データに積和演算を施して、符号化される前の画像データと略々同じ予測復号画像データを生成するようにしたことにより、エッジやディテール部分を含むブロックとブロック歪みが出やすいブロックとで異なる特徴量の相違に応じた適応的な処理を行うことができ、エッジやディテール部分をなまらせることを未然に回避してブロック境界付近に発生するブロック歪みを適応的に除去することができる。
【００１１】
【発明の実施の形態】
以下、この発明の実施例を図面を参照して説明する。図１は、この発明の第１の実施例を示すブロック図である。１で示す入力端子から供給されるＳ１は、例えばＤＣＴ符号化によって高能率圧縮符号化された伝送画像データに対して、図示しないが同期分離回路およびエラー訂正回路を介して供給された画像データである。この画像データＳ１は、入力端子１からフレーム分解回路２に入力される。フレーム分解回路２は、画像データＳ１から水平同期信号Ｓ２および垂直同期信号Ｓ３を抽出して制御回路３に出力すると共に、画像データＳ１を後段のブロック復号回路４へ供給する。
【００１２】
ブロック復号回路４は、圧縮符号化された画像データＳ１をブロック単位で復元するものであり、可変長符号化に対する復号を施した後、逆量子化して係数を算出し、逆ＤＣＴ変換して元のレベルデータを復元する。このようにして復元されたブロック単位の復号画像データＳ４は、ブロック遅延回路５および平均値算出回路６へ供給される。
【００１３】
平均値算出回路６は、復号画像データＳ４から各ブロック内の全画素の輝度レベルを標本化して平均値データＳ５を算出し、得られた平均値データＳ５を平均値メモリ７に供給する。これにより平均値メモリ７には、各ブロック毎の平均値データＳ５が順次蓄えられる。一方、ブロック遅延回路５は、時間的な調整を行うための回路であり、上述のような平均値データＳ５を算出するまでにかかる時間分だけ復号画像データＳ４を遅延し、その遅延した復号画像データＳ４を遅延回路８およびクラス生成回路９に供給する。
【００１４】
遅延回路８は、供給された復号画像データＳ４をブロック分解して蓄積する。また、遅延回路８は、蓄積した復号画像データＳ４を読み出す際に、後述するクラス生成回路９、平均値メモリ７および制御回路３の処理時間分だけ遅延処理する。遅延回路８は、こうして遅延処理した復号画像データＳ４を予測タップ生成回路１０に読み出して供給する。
【００１５】
予測タップ生成回路１０は、復号画像データＳ４の各ブロック毎に、注目画素を中心としてその周辺画素を集めることによって積和演算に要する予測タップを形成する。また、予測タップ生成回路１０は、復号画像データＳ４を後段の積和演算回路１３の演算形態に合った信号フォーマットに変換して、積和演算回路１３に供給する。例えば、積和演算回路１３が１次元で演算処理する場合には、供給する復号画像データＳ４を１次元の時系列データに変換して供給し、積和演算回路１３が２次元で演算処理する場合には、供給する復号画像データＳ４を所望のライン数の並列時系列データに変換して供給する。
【００１６】
このような予測タップ生成回路１０から積和演算回路１３への復号画像データＳ４の供給動作に同期して、平均値メモリ７に蓄えられた平均値データＳ５が係数メモリ１２に読み出される。ここで、平均値メモリ７からは、図２に示すように、注目ブロックだけでなく、注目ブロックに隣接するブロックの平均値データも読み出される。平均値メモリ７は、読み出した平均値データＳ５をそれぞれｎビットにシフトダウンしてビット数を減らしたものを第１のクラスコードＳ６として係数メモリ１２に供給する。
【００１７】
また、制御回路３は、水平同期信号Ｓ２および垂直同期信号Ｓ３に基づいて注目画素のブロック内での相対的な位置を示す位置情報を求める。例えば、図３に示すように、（８×８）画素でなるブロックの場合、縦横それぞれ３ビットずつの合計６ビットでブロック内の相対的な位置を表す。このようにして表された位置情報Ｓ７は、係数メモリ１２に供給される。なお、制御回路３から平均値メモリ７に供給されている信号Ｓ９は、書き込み動作および読み出し動作時に使用するアドレス信号やイネーブル信号等の制御信号である。
【００１８】
また、クラス生成回路９は、各ブロック毎に注目画素を中心タップとする空間クラスタップを設定し、この空間クラスタップ内の復号値を、例えばＡＤＲＣ符号化することにより、空間パターン分類によるクラス検出を行い（すなわち、注目画素が属するクラスを検出し）、その結果得られる第２のクラスコードＳ８をクラスコードメモリ（Class code Memory ：ＣＭ）１１に供給する。これにより、クラスコードメモリ１１には、各ブロック毎の第２のクラスコードＳ８が順次蓄えられる。クラスコードメモリ１１は、平均値メモリ７と同様に、予測タップ生成回路１０から積和演算回路１３への復号画像データＳ４の供給動作に同期して、第２のクラスコードＳ８を読み出して係数メモリ１２に供給する。
【００１９】
係数メモリ１２は、メモリからなり、積和演算回路１３での積和演算に使用されるクラス毎の係数組が予め学習により記録されている。係数メモリ１２は、第１のクラスコードＳ６、第２のクラスコードＳ８および位置情報Ｓ７を合わせることにより得られる第３のクラスコードをアドレス情報として、そのクラス毎の係数組を読み出して積和演算回路１３に供給する。
【００２０】
積和演算回路１３は、予測タップ生成回路１０から供給された復号画像データＳ４と係数メモリ１２から供給された係数組とを積和演算処理することにより復号画像データＳ４に対してクラス毎に符号化される前の画像データと略々同じ予測復号画像データを生成し、（いわゆるクラス毎の適応予測処理を行い）、その結果ブロック歪みが低減された予測復号画像データを獲得し、この予測復号画像データＳ１０を出力端子１４から出力する。
【００２１】
ここで、係数メモリ１２に記憶されている係数テーブルは、以下に説明するような学習により求められる。まず、既に知られている第１の画像データと、その第１の画像データに対してＤＣＴ符号化および復号化を施した第２の画像データを用意する。また、ＡＤＲＣ符号化によって得たクラスコードに平均値データおよび位置情報を付加した新たなクラスコードを生成する。そして、その求めたクラスコード毎に、第１および第２の画像データに対して最小自乗法を適用した学習方法を施して、最適な係数組を求める。この求められた係数組をクラス毎にメモリに記憶することにより係数テーブルが形成される。
【００２２】
すなわち、係数テーブルを形成する際には、図４に示すような係数作成回路２０が用いられる。まず、係数作成回路２０に対しては、教師信号としての画像データＳ２０が入力される。この画像データＳ２０は、学習処理のため係数選定回路２１に入力されると共に、符号化復号化処理のためにブロック符号化回路２２に入力される。また、画像データＳ２０のうち垂直同期信号や水平同期信号等の位置情報Ｓ２１も、位置情報によるクラス分類を行うために係数選定回路２１に入力される。
【００２３】
ブロック符号化回路２２は、画像データＳ２０にブロック単位で、例えばＤＣＴ符号化を施し、その結果得られる。係数データを量子化し、量子化出力を可変長符号化するものであるブロック符号化回路２２からの圧縮符号化された画像データＳ２２をブロック復号回路２３に供給する。ブロック復号回路２３は、ブロック符号化回路４と同様に圧縮符号化された画像データＳ２２をブロック単位で復号し、復号された画像データＳ２３を係数選定回路２１に供給すると共に、平均値算出回路２４およびクラス生成回路２５に供給する。
【００２４】
平均値算出回路２４は、画像データＳ２３を基に各ブロック内の全画素を平均化して得られる平均値データＳ２４を算出する。この平均値データＳ２４は、クラス分類の一要素として係数選定回路２１に供給される。また、クラス生成回路２５は、画像データＳ２３に、例えばＡＤＲＣ符号化を施すことによりクラスコードＳ２５を生成する。このクラスコードＳ２５も、平均値データＳ２４と同様に、クラス分類の一要素として係数選定回路２１に供給される。
【００２５】
係数選定回路２１は、供給されたクラスコードＳ２５に平均値データＳ２４および位置情報Ｓ２１の要素を付加して新たなクラスコードを作成し、そのクラス毎に画像データＳ２０およびＳ２３の相関関係を線形１次結合式で表し、この線形１次結合式による画像データＳ２０およびＳ２３の誤差の自乗が最小となる係数組を学習により求める。そして、求めた係数組をクラスコードと共に係数テーブルを形成する係数メモリ１２へ供給する。これにより、最適に適応予測処理し得る係数テーブルが作成される。
【００２６】
具体的に、上述の構成において、動作を説明すると、ＤＣＴ符号化によって高能率圧縮符号化された伝送画像データをブロック復号回路４によってブロック単位で復号する。そして、平均値算出回路６によって、各ブロック毎の平均値データＳ５を求め、この平均値データＳ５が平均値メモリ７に蓄積される。平均値メモリ７は、注目ブロックおよびその隣接ブロックの平均値データが読み出される。こうして読み出される注目ブロックおよびその隣接ブロックの平均値データＳ５は、それぞれｎビットで量子化されて第１のクラスコードＳ６として係数メモリ１２に供給される。
【００２７】
また、復元されたブロック単位の復号画像データＳ４をクラス生成回路９に供給し、ここで、例えばＡＤＲＣ符号化による第２のクラスコードＳ８を生成して、この第２のクラスコードＳ８を係数メモリ１２に供給する。さらに、制御回路３では、水平同期信号Ｓ２および垂直同期信号Ｓ３を基にして注目画素のブロック内での相対的な位置を示す位置情報Ｓ７を求め、この位置情報Ｓ７を係数メモリ１２に供給する。
【００２８】
係数メモリ１２は、供給された第１のクラスコードＳ６、第２のクラスコードＳ８および位置情報Ｓ７を合わせたものを第３のクラスコードとし、この第３のクラスコードをアドレス情報として予めクラス毎に記憶されている係数組を読み出す。すなわち、クラス分類処理によって得られた第２のクラスコードＳ８に、注目ブロックおよびその隣接ブロックの平均値データＳ５が集められて各々ｎビットで量子化されて得られる第１のクラスコードＳ６と注目画素のブロック内での相対的な位置を示す位置情報Ｓ７とを付加したものを新たな第３のクラスコードとして係数組を読み出す。
【００２９】
積和演算回路１３は、遅延回路８および予測タップ生成回路１０を介して供給される画像データと係数メモリ１２から供給される係数組とを線形１次結合式の演算処理することにより画像データに対してクラス毎に符号化される前の原画像データと略々同じ予測復号画像データが生成される。その際、係数メモリ１２から供給される係数組は、ブロック歪みが出やすい、あるいはエッジやディテール部分を含みやすい等といった特徴を表す注目ブロックおよびその隣接ブロックの平均値データＳ５が集められて各々ｎビットで量子化されて得られる第１のクラスコードＳ６や、注目画素がブロック内のどの位置に当たるかといったことを表す位置情報Ｓ７を考慮して作成された係数組であるため、エッジやディテール部分をなまらせることなく、ブロック境界付近に発生するブロック歪みを適応的に除去することができる。したがって、積和演算回路１３では、注目画素を中心としてその周辺画素を集めた画素と、注目画素を考慮した係数組との積和演算によって、注目画素の予測復号画像データが生成される。
【００３０】
このようにして、画像信号処理装置では、ブロック毎に平均値データＳ５を検出して、注目ブロックおよびその隣接ブロックの平均値データＳ５が集められて各々ｎビットで量子化されてなる第１のクラスコードＳ６を求めると共に、ブロック内の画素の相対的な位置情報Ｓ７を検出する。そして、復元したブロック毎の復号画像データＳ４をパターン分類して得られる第２のクラスコードＳ８に第１のクラスコードＳ６および位置情報Ｓ７を付加して新たなクラス分類を行い、そのクラス毎に符号化される前の原画像データと略々同じ予測復号画像データを生成する。これにより、エッジやディテール部分をなまらせることなく、ブロック歪みを適応的に除去することができる。
【００３１】
なお、この第１の実施例の場合には、画像信号処理装置の復号側における処理だけで上述したような効果が得られるため、送信側の装置に負担をかけることなく、また伝送フォーマットを変更する必要もないという利点がある。また、第１の実施例の場合には、クラス毎に符号化される前の原画像データと略々同じ予測復号画像データを生成し、いわゆる適応予測処理を行うことにより、ブロック歪みを適応的に除去し得るだけでなく、解像度も向上し得る。
【００３２】
以上の構成によれば、復号画像データＳ４の各ブロックの平均値データＳ５を検出すると共に、復号画像データＳ４の各ブロック内の画素について相対的な位置情報Ｓ７を検出し、復号画像データＳ４をパターン分類して得られる第２のクラスコードＳ８に、平均値データＳ５から得られる第１のクラスコードＳ６および位置情報Ｓ７を付加して新たなクラス分類を行い、こうして得られた第３のクラスコードをアドレス情報として、そのクラス毎に係数を読み出して符号化される前の原画像データと略々同じ予測復号画像データを生成することにより、エッジやディテール部分を含むブロックとブロック歪みが出やすいブロックとで異なる平均値の相違に応じた適応的な予測復号画像データの生成ができ、エッジやディテール部分をなまらせることを未然に回避してブロック境界付近に発生するブロック歪みを適応的に除去することができる画像信号処理装置を実現することができる。
【００３３】
次に、この発明の第２の実施例を図５に示す。この図５において、図１との対応部分に同一符号を付して、示す。この図５は、図１に示す平均値算出回路６に換えて最大値検出回路３１、最小値検出回路３２および演算回路３３が設けられており、これらによって中央値データを求めるようになされている。
【００３４】
すなわち、図５に示すように、高能率圧縮符号化、例えばＤＣＴ符号化された画像データＳ１をフレーム分解回路２およびブロック復号回路４を介して復号処理することにより得られたブロック単位の復号画像データＳ４は、ブロック遅延回路５に供給されると共に、最大値検出回路３１および最小値検出回路３２に供給される。最大値検出回路３１および最小値検出回路３２は、復号画像データＳ４の各ブロック毎に、例えば輝度レベルの最大値および最小値をそれぞれ検出し、演算回路３３に供給する。演算回路３３は、最大値および最小値に基づいて中央値を算出し、得られた中央値を中央値データＳ３０として中央値メモリ３４に供給する。具体的には、最大値および最小値の平均値を算出して中央値を得ている。中央値メモリ３４は、こうして供給される各ブロック毎に中央値データＳ３０を順次蓄える。
【００３５】
なお、画像データＳ１がＡＤＲＣ符号化によって圧縮符号化されている場合は、圧縮符号化されている画像データＳ１にパラメータとして最大値または最小値およびダイナミックレンジの情報が含まれているため、これらの値から最大値および最小値を求めることができる。
【００３６】
一方、ブロック遅延回路５は、中央値データＳ３０を算出するまでにかかる時間分だけ復号画像データＳ４を遅延し、その遅延した復号画像データＳ４を遅延回路８およびクラス生成回路９に供給する。予測タップ生成回路１０から積和演算回路１３への復号画像データＳ４の供給動作に同期して、中央値メモリ３４に蓄えられた中央値データＳ３０が係数メモリ１２に読み出される。この際、中央値メモリ３４は、注目ブロックおよびその隣接ブロックの中央値データＳ３０を読み出し、読み出した中央値データＳ３０をそのまま、あるいはそれぞれｎビットにシフトダウンしてビット数を減らしたものを第１のクラスコードＳ３１として係数メモリ１２に供給する。
【００３７】
ここで、係数メモリ１２に記憶されている係数組は、以下に説明するような学習により求められる。まず既に知られている第１の画像データと、その第１の画像データに対して高能率圧縮符号化、例えばＤＣＴ符号化および符号化を施した第２の画像データを用意する。また、ＡＤＲＣ符号化によって得たクラスコードに中央値データおよび位置情報を付加した新たなクラスコードを発生する。そして、その求めたクラスコード毎に、第１および第２の画像データに対して最小自乗法を適用した学習法を施して、最適な係数組を求める。この求められた係数組をクラス毎にメモリに記録することにより係数メモリ１２が形成される。
【００３８】
以上の構成において、画像信号処理装置では、ＤＣＴ符号化によって高能率圧縮符号化された画像データＳ１をブロック復号回路４によってブロック単位で復号する。そして、最大値検出回路３１、最小値検出回路３２および演算回路３３によって求められた各ブロック毎の中央値データＳ３０が中央値メモリ３４に蓄積され、中央値メモリ３４から読み出される際に注目ブロックおよびその隣接ブロックの中央値データＳ３０が読み出される。こうして読み出された各中央値データＳ３０は、それぞれｎビットで量子化されて第１のクラスコードＳ３１として係数メモリ１２に供給される。また、復元されたブロック単位の復号画像データＳ４をクラス生成回路９に供給し、ここで、例えばＡＤＲＣ符号化処理を施すことにより第２のクラスコードＳ８を生成して、この第２のクラスコードＳ８を係数メモリ１２に供給する。さらに、制御回路３では、水平同期信号Ｓ２および垂直同期信号Ｓ３を基にして注目画素のブロック内での相対的な位置を示す位置情報Ｓ７を求め、この位置情報Ｓ７を係数メモリ１２に供給する。
【００３９】
係数メモリ１２は、供給された第１のクラスコードＳ３１、第２のクラスコードＳ８および位置情報Ｓ７を合わせたものを第３のクラスコードとし、この第３のクラスコードをアドレス情報として予めクラス毎に記憶されている係数組を読み出す。すなわち、クラス分類処理によって得られた第２のクラスコードＳ８に、注目ブロックおよびその隣接ブロックの中央値データＳ３０を集めて各々ｎビットで量子化して得られる第１のクラスコードＳ３１と注目画素のブロック内での相対的な位置を示す位置情報Ｓ７とを付加したものを新たな第３のクラスコードとして係数組を読み出す。
【００４０】
積和演算回路１３は、遅延回路８および予測タップ生成回路１０を介して供給される画像データと係数メモリ１２から供給される係数組とを積和演算処理することにより画像データに対してクラス毎に符号化される前の原画像データと略々同じ予測復号画像データを生成する。その際、係数メモリ１２から供給される係数組や、ブロック歪みが出やすい、あるいはエッジやディテール部分を含みやすい等といった特徴を表す注目ブロックおよびその隣接ブロックの中央値データＳ３０が集められて各々ｎビットで量子化されて得られる第１のクラスコードＳ３１や、注目画素がブロック内のどの位置に当たるかといったことを表す位置情報Ｓ７を考慮して作成された係数組であるため、エッジやディテール部分をなまらせることなく、ブロック境界付近に発生するブロック歪みを適応的に除去することができる。したがって、積和演算回路１３では、注目画素を中心としてその周辺画素を集めた画素と、注目画素を考慮した係数組との積和演算によって、注目画素の予測復号画像データが生成される。
【００４１】
このようにして画像信号処理装置では、ブロック毎に検出した最大値および最小値から中央値データＳ３０を算出して、この中央値データＳ３０を注目ブロックおよびその隣接ブロックから集めて各々ｎビットで量子化して第１のクラスコードＳ３１を求めると共に、ブロック内の画素の相対的な位置情報Ｓ７を検出する。そして、復元したブロック毎の復号画像データＳ４をパターン分類して得られる第２のクラスコードＳ８に第１のクラスコードＳ３１および位置情報Ｓ７を付加して新たなクラス分類を行い、そのクラス毎に符号化される前の原画像データと略々同じ予測復号画像データを生成する。これにより、エッジやディテール部分をなまらせることなくブロック歪みを適応的に除去することができると共に、復号画像データＳ４の最大値および最小値の２値から第１のクラスコードＳ３１を得られる。
【００４２】
以上の構成によれば、復号画像データＳ４の各ブロック毎に検出した最大値および最小値から中央値データＳ３０を算出すると共に、復号画像データＳ４の各ブロック内の画素について相対的な位置情報Ｓ７を検出し、復号画像データＳ４をパターン分類して得られる第２のクラスコードＳ８に、中央値データＳ３０から得られる第１のクラスコードＳ３１および位置情報Ｓ７を付加して新たなクラス分類を行い、こうして得られた第３のクラスコードをアドレス情報として、そのクラス毎に係数を読み出して符号化される前の原画像データと略々同じ予測復号画像データを生成するようにしたことにより、各ブロック毎に検出した最大値および最小値の２値から中央値データＳ３０を算出し得ると共に、エッジやディテール部分を含むブロックとブロック歪みが出やすいブロックとで異なる中央値の相違に応じた適応的な処理を行うことができ、複雑な回路構成および算出方法を用いることなく、容易に第１のクラスコードを得ることができ、エッジやディテール部分をなまらせることを未然に回避してブロック境界付近に発生するブロック歪みを適応的に除去することができる。
【００４３】
次に、この発明の第３の実施例を図６に示す。この図６において、上述の図５と同様に、図１との対応部分に同一符号を付して、示す。この図５は、図１に示す平均値算出回路６に換えて標準偏差算出回路４１が設けられており、これによって標準偏差値を求めるようになされている。
【００４４】
すなわち、図６に示すように、高能率圧縮符号化、例えばＤＣＴ符号化された画像データＳ１をフレーム分解回路２およびブロック復号回路４を介して復号処理することにより得られたブロック単位の復号画像データＳ４は、ブロック遅延回路５に供給されると共に、標準偏差算出回路４１に供給される。標準偏差算出回路４１は、復号画像データＳ４の各ブロック毎に、例えば輝度レベルの標準偏差値を検出し、標準偏差値メモリ４２に供給する。標準偏差値メモリ４２は、こうして供給される各ブロック毎に標準偏差値Ｓ４１を順次蓄える。
【００４５】
一方、ブロック遅延回路５は、標準偏差値Ｓ４１を算出するまでにかかる時間分だけ復号画像データＳ４を遅延し、その遅延した復号画像データＳ４を遅延回路８およびクラス生成回路９に供給する。遅延回路８は、供給された復号画像データＳ４をブロック分解して蓄積して、蓄積した復号画像データＳ４を読み出す前に、クラス生成回路９、標準偏差値メモリ４２および制御回路３の処理時間分だけ遅延処理する。遅延回路８は、こうして遅延処理した復号画像データＳ４を予測タップ生成回路１０に読み出して供給する。
【００４６】
予測タップ生成回路１０は、復号画像データＳ４の各ブロック毎に、注目画素を中心としてその周辺画素を集めることによって積和演算に要する予測タップを形成すると共に、復号画像データＳ４を積和演算回路１３の演算形態に合った信号フォーマットに変換して、積和演算回路１３に供給する。
【００４７】
このような予測タップ生成回路１０から積和演算回路１３への復号画像データＳ４の供給動作に同期して、標準偏差値メモリ４２に蓄えられた標準編纂値Ｓ４１が係数メモリ１２に読み出される。この際、標準偏差値メモリ４２は、注目ブロックおよびその隣接ブロックの標準偏差値Ｓ４１を読み出し、読み出した標準偏差値Ｓ４１をそのまま、あるいはそれぞれｎビットにシフトダウンしてビット数を減らしたものを第１のクラスコードＳ４２として係数メモリ１２に供給する。
【００４８】
標準偏差算出回路４１の一例を図７に示す。入力端子５１から復号画像データＳ４が供給される。ブロック単位の復号画像データＳ４は、輝度度数分布テーブル５２へ供給され、輝度度数分布テーブル５２において、ブロック単位の輝度レベルの度数分布のテーブルが生成される。生成されたテーブルに基づいて、平均値算出回路５３では、式（１）に示すように平均値が算出され、算出された平均値は、標準偏差算出回路５４へ供給される。標準偏差算出回路５４では、度数分布のテーブルと平均値から標準偏差値が式（２）により算出され、算出された標準偏差値は、出力端子５５から取り出される。取り出された標準偏差値が小さいときは、度数分布の幅は狭く、標準偏差値が大きいときは、度数分布の幅は広くなる。また、標準偏差値を自乗することで、分散値を求めることができ、この分散値を用いても同様に使用することができる。
【００４９】
平均値＝Σ（輝度レベル×度数）／全度数 （１）
標準偏差値＝√（Σ（輝度レベル−平均値）2 ×度数）／全度数） （２）
ただし、√（ ）は、（ ）内の演算結果を平方根とする。
【００５０】
以上の構成において、画像信号処理装置では、高能率圧縮符号化、例えばＤＣＴ符号化された画像データＳ１をブロック復号回路４によってブロック単位で復号する。そして、標準偏差算出回路４１によって求められた各ブロック毎の標準偏差値Ｓ４１が標準偏差値メモリ４２に蓄積され、標準偏差値メモリ４２から読み出される際に注目ブロックおよびその隣接ブロックの標準偏差値Ｓ４１が読み出される。こうして読み出された各標準偏差値Ｓ４１は、それぞれｎビットで量子化されて第１のクラスコードＳ４２として係数メモリ１２に供給される。また、復元されたブロック単位の復号画像データＳ４をクラス生成回路９に供給し、ここで、例えばＡＤＲＣ符号化処理を施すことにより第２のクラスコードＳ８を生成して、この第２のクラスコードＳ８を係数メモリ１２に供給する。さらに、制御回路３では、水平同期信号Ｓ２および垂直同期信号Ｓ３を基にして注目画素のブロック内での相対的な位置を示す位置情報Ｓ７を求め、この位置情報Ｓ７を係数メモリ１２に供給する。
【００５１】
係数メモリ１２は、供給された第１のクラスコードＳ４２、第２のクラスコードＳ８および位置情報Ｓ７を合わせたものを第３のクラスコードとし、この第３のクラスコードをアドレス情報として予めクラス毎に記憶されている係数組を読み出す。すなわち、クラス分類処理によって得られた第２のクラスコードＳ８に、注目ブロックおよびその隣接ブロックの標準偏差値Ｓ４１を集めて各々ｎビットで量子化して得られる第１のクラスコードＳ４２と注目画素のブロック内での相対的な位置を示す位置情報Ｓ７とを付加したものを新たな第３のクラスコードとして係数組を読み出す。
【００５２】
積和演算回路１３は、遅延回路８および予測タップ生成回路１０を介して供給される画像データと係数メモリ１２から供給される係数組とを積和演算処理することにより画像データに対してクラス毎に符号化される前の原画像データと略々同じ予測復号画像データを生成する。その際、係数メモリ１２から供給される係数組や、ブロック歪みが出やすい、あるいはエッジやディテール部分を含みやすい等といった特徴を表す注目ブロックおよびその隣接ブロックの標準偏差値Ｓ４１が集められて各々ｎビットで量子化されて得られる第１のクラスコードＳ４２や、注目画素がブロック内のどの位置に当たるかといったことを表す位置情報Ｓ７を考慮して作成された係数組であるため、エッジやディテール部分をなまらせることなく、ブロック境界付近に発生するブロック歪みを適応的に除去することができる。したがって、積和演算回路１３では、注目画素を中心としてその周辺画素を集めた画素と、注目画素を考慮した係数組との積和演算によって、注目画素の予測復号画像データが生成される。
【００５３】
このようにして画像信号処理装置では、ブロック毎に検出した標準偏差値Ｓ４１を注目ブロックおよびその隣接ブロックから集めて各々ｎビットで量子化して第１のクラスコードＳ４２を求めると共に、ブロック内の画素の相対的な位置情報Ｓ７を検出する。そして、復元したブロック毎の復号画像データＳ４をパターン分類して得られる第２のクラスコードＳ８に第１のクラスコードＳ４２および位置情報Ｓ７を付加して新たなクラス分類を行い、そのクラス毎に符号化される前の原画像データと略々同じ予測復号画像データを生成する。これにより、エッジやディテール部分をなまらせることなくブロック歪みを適応的に除去することができると共に、復号画像データＳ４の標準偏差値から第１のクラスコードＳ４２を得られる。
【００５４】
以上の構成によれば、復号画像データＳ４の各ブロック毎に検出した標準偏差値Ｓ４１と共に、復号画像データＳ４の各ブロック内の画素について相対的な位置情報Ｓ７を検出し、復号画像データＳ４をパターン分類して得られる第２のクラスコードＳ８に、標準偏差値Ｓ４１から得られる第１のクラスコードＳ４２および位置情報Ｓ７を付加して新たなクラス分類を行い、こうして得られた第３のクラスコードをアドレス情報として、そのクラス毎に係数を読み出して符号化される前の原画像データと略々同じ予測復号画像データを生成するようにしたことにより、各ブロック毎に検出した標準偏差値Ｓ４１を得ると共に、エッジやディテール部分を含むブロックとブロック歪みが出やすいブロックとで異なる標準偏差値の相違に応じた適応的な処理を行うことができ、複雑な回路構成および算出方法を用いることなく、容易に第１のクラスコードを得ることができ、エッジやディテール部分をなまらせることを未然に回避してブロック境界付近に発生するブロック歪みを適応的に除去することができる。
【００５５】
なお、上述の実施例において、画像データＳ１がＤＣＴ符号化によって圧縮符号化された場合について述べたが、この発明は、これに限らず、画像データがＡＤＲＣ符号化、ＤＰＣＭ（Differential Pulse Code Modulation）符号化、ＢＴＣ（Block Truncation Coding ）符号化等、その他の圧縮符号化によって符号化された場合にも、上述の場合と同様の効果を得ることができる。
【００５６】
また、上述の実施例において、係数メモリ１２と積和演算回路１３とが別々の回路構成でなる場合について述べたが、この発明は、これに限らず、係数メモリ１２と積和演算回路１３とをまとめてブロック歪み除去回路として構成するようにしても良い。
【００５７】
さらに、上述の実施例において、クラス生成回路９によってブロック毎の復号画像データＳ４をＡＤＲＣ符号化してクラス検出を行い、これにより第２のクラスコードＳ８が得られる場合について述べたが、この発明は、これに限らず、例えばＡＤＲＣ符号化で圧縮符号化されている符号化画像信号の場合は、クラス生成回路で符号化画像信号に含まれる再量子化コードをそのまま抽出して所定タップ数を集めることで第２のクラスコードとしても良い。
【００５８】
また、上述の実施例において、圧縮符号化されて伝送されてきた画像データＳ１を復号する画像信号処理装置に、この発明を適用した場合について述べたが、この発明は、これに限らず、例えば圧縮符号化されて記録された画像データを復号して再生する画像信号処理装置に適用した場合にも上述の場合と同様の効果を得ることができる。要は、圧縮符号化された画像データを復号する画像信号復号装置であれば広く適用し得る。
【００５９】
さらに、上述の実施例において、画像信号処理装置の再生側または受信側にのみ、この発明を適用することで上述したような効果が得られるため、送信側の装置に負担をかけることなく、また伝送フォーマットを変更する必要もないという利点がある。また、この実施例の場合にも、クラス毎に画像データを修整する、いわゆる適応予測処理を行うことにより、ブロック歪みを適応的に除去し得るだけでなく、解像度も向上し得る。
【００６０】
【発明の効果】
この発明に依れば、注目ブロックおよびその隣接ブロックの各平均値から得られる第１のクラス情報と、位置情報と、パターン分類により得られる第２のクラス情報に基づいて新たな第３のクラス情報を生成し、第３のクラス情報に応じて係数を読み出し、復号された画像データに積和演算を施して符号化される前の原画像データと略々同じ予測復号画像データを生成するようにしたことにより、エッジやディテール部分をなまらせることなく、ブロック境界付近に発生するブロック歪みを適応的に除去し得ることができる。
【００６１】
また、復号された画像データの各ブロック内の輝度レベルの最大値および最小値を検出し、検出した値から中央値を算出して、注目ブロックおよびその隣接ブロックの各中央値から第１のクラス情報を得るようにしたことにより、複雑な回路構成および算出方法を要することなく第１のクラス情報を得ることができると共に、エッジやディテール部分を含むブロックとブロック歪みが出やすいブロックとで異なる中央値の相違に応じた適応的な処理を行うことができ、エッジやディテール部分をなまらせることを未然に回避してブロック境界付近に発生するブロック歪みを適応的に除去することができる。
【００６２】
さらに、復号された画像データの各ブロック内の輝度レベルの標準偏差値（あるいは分散値）を算出して、注目ブロックおよびその隣接ブロックの各標準偏差値から第１のクラス情報を得ることができると共に、エッジやディテール部分を含むブロックとブロック歪みが出やすいブロックとで異なる標準偏差値の相違に応じた適応的な処理を行うことができ、エッジやディテール部分をなまらせることを未然に回避してブロック境界付近に発生するブロック歪みを適応的に除去することができる。
【００６３】
しかも、この発明に依れば、再生または受信装置側にのみ処理を行うことで上述のような効果を得ることができるため、記録または伝送側に負担をかけることがなく、フォーマットを変更する必要もないという利点がある。
【図面の簡単な説明】
【図１】この発明の第１の実施例による画像信号処理装置の構成を示したブロック図である。
【図２】この発明に係るクラスコードを生成するために平均値データを抽出する注目ブロックおよび隣接ブロックの配置を説明するための略線図である。
【図３】この発明に係る注目画素のブロック内での相対的な位置情報を説明するための略線図である。
【図４】この発明に適用される係数を学習するための構成を示すブロック図である。
【図５】この発明の第２の実施例による画像信号処理装置の構成を示したブロック図である。
【図６】この発明の第３の実施例による画像信号処理装置の構成を示したブロック図である。
【図７】この発明の第３の実施例に適用される標準偏差算出回路の構成を示したブロック図である。
【符号の説明】
２・・・フレーム分解回路、３・・・制御回路、４・・・ブロック復号回路、５・・・ブロック遅延回路、６・・・平均値算出回路、７・・・平均値メモリ、８・・・遅延回路、９・・・クラス生成回路、１０・・・予測タップ生成回路、１１・・・クラスコードメモリ、１２・・・係数メモリ、１３・・・積和演算回路
【発明の属する技術分野】
この発明は、ブロック符号化方式を用いて高能率符号化した画像信号を復号するときに適用される係数を読み出す画像信号処理装置および方法に関する。
【０００２】
【従来の技術】
従来、例えばテレビ会議システム等のように画像信号を遠隔地に伝送するいわゆる画像信号伝送システムや、画像信号をディジタル化してビデオテープレコーダやビデオディスクレコーダに記録し再生する装置においては、伝送路や記録媒体を効率的に利用するため、ディジタル化した画像信号の相関を利用して有意情報を効率的に符号化することにより伝送情報量や記録情報量を削減し、伝送効率や記録効率を高めるようになされている。
【０００３】
このような場合、一般的には、画像信号を高能率圧縮符号化することによりデータ量を大幅に削減するようになされている。この高能率圧縮符号化の手法として、入力された画像信号を複数のブロックに分割し、例えばＡＤＲＣ符号化（Adaptive Dynamic Range Coding ）やＤＣＴ符号化（Discrete Cosine Transform ）等を施すブロック符号化が提案されている。
【０００４】
因みに、ＡＤＲＣ符号化は、視覚のダイナミックレンジ依存性を利用したものであり、画素分布のダイナミックレンジの大きい領域では、画素レベルの微小な変動は、視認されにくく、反対にダイナミックレンジの小さい領域では、画素レベルの微小な反動も視認されやすいという視覚特性を利用して画像圧縮する符号化方式である。また、ＤＣＴ符号化は、規定波形として複数のコサイン関数を用いたもので、画像信号をこれら複数の規定波形に分解して表現する符号化方式である。
【０００５】
【発明が解決しようとする課題】
ところで上述のような手法によって非常に低いレートに圧縮した場合、復元時、ブロック境界付近にブロック歪みが発生して画像劣化が生じることがある。特に、割当ビット数が少なくなるような平坦なブロックでは、その傾向が著しく現れる。このためブロック境界に対して局所的に低域通過フィルタ（いわゆるローパスフィルタ：ＬＰＦ）をかけることにより、一般的には、このようなブロック歪みを除去して画像劣化を低減するようになされている。
【０００６】
ところがＬＰＦをかけると、高周波成分を含むエッジやディテール部分をなまらせてしまう不具合が発生し、ブロック歪みの除去方法としては、未だ不十分な点がある。
【０００７】
従って、この発明の目的は、エッジやディテール部分をなまらせることなく、ブロック歪みを除去し得るときに適用される係数を読み出す画像信号処理装置および方法を提供することにある。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明は、所定の圧縮符号化手段によりブロック単位で圧縮符号化された圧縮画像データをブロック単位で復号処理する復号手段と、復号手段で復号された復号画像データの各ブロックの平均値を検出する平均値検出手段と、復号画像データのブロックの注目画素を中心とする複数の画素のレベル分布のパターン分類によって復号画像データが属するクラスを検出するクラス検出手段と、圧縮画像データから注目画素のブロック内での相対的な位置を示す位置情報を検出する位置情報検出手段と、平均値検出手段によって得た注目ブロックの平均値および注目ブロックに隣接する隣接ブロックの平均値からなる第１のクラス情報と、クラス検出手段で検出されたクラスからなる第２のクラス情報と、位置情報検出手段によって得られる位置情報とを付加して生成された第３のクラスに応じて、予め記憶されている所定の係数を読み出す係数テーブルと、係数係数テーブルから出力された所定の係数と復号画像データの注目画素周辺の複数の画素とに基づく積和演算をすることにより予測復号画像データを生成する演算手段とからなることを特徴とする画像信号処理装置である。
【０００９】
また、請求項６に記載の発明は、所定の圧縮符号化手段によりブロック単位で圧縮符号化された圧縮画像データをブロック単位で復号処理する復号ステップと、復号ステップで復号された復号画像データの各ブロックの平均値を検出する平均値検出ステップと、復号画像データのブロックの注目画素を中心とする複数の画素のレベル分布のパターン分類によって復号画像データが属するクラスを検出するクラス検出ステップと、圧縮画像データから注目画素のブロック内での相対的な位置を示す位置情報を検出する位置情報検出ステップと、平均値検出ステップによって得た注目ブロックの平均値および注目ブロックに隣接する隣接ブロックの平均値からなる第１のクラス情報と、クラス検出ステップで検出されたクラスからなる第２のクラス情報と、位置情報検出ステップによって得られる位置情報とを付加して生成された第３のクラスに応じて、予め記憶されている所定の係数を係数テーブルから読み出すステップと、係数係数テーブルから出力された所定の係数と復号画像データの注目画素周辺の複数の画素とに基づく積和演算をすることにより予測復号画像データを生成する演算ステップとからなることを特徴とする画像信号処理方法である。
【００１０】
この発明は、注目ブロックおよびその隣接ブロックの特徴量から得られる第１のクラス情報と、パターン分類により得られる第２のクラス情報と、位置情報とに基づいて新たな第３のクラス情報を生成し、第３のクラス情報に応じて係数を読み出し、復号画像データに積和演算を施して、符号化される前の画像データと略々同じ予測復号画像データを生成するようにしたことにより、エッジやディテール部分を含むブロックとブロック歪みが出やすいブロックとで異なる特徴量の相違に応じた適応的な処理を行うことができ、エッジやディテール部分をなまらせることを未然に回避してブロック境界付近に発生するブロック歪みを適応的に除去することができる。
【００１１】
【発明の実施の形態】
以下、この発明の実施例を図面を参照して説明する。図１は、この発明の第１の実施例を示すブロック図である。１で示す入力端子から供給されるＳ１は、例えばＤＣＴ符号化によって高能率圧縮符号化された伝送画像データに対して、図示しないが同期分離回路およびエラー訂正回路を介して供給された画像データである。この画像データＳ１は、入力端子１からフレーム分解回路２に入力される。フレーム分解回路２は、画像データＳ１から水平同期信号Ｓ２および垂直同期信号Ｓ３を抽出して制御回路３に出力すると共に、画像データＳ１を後段のブロック復号回路４へ供給する。
【００１２】
ブロック復号回路４は、圧縮符号化された画像データＳ１をブロック単位で復元するものであり、可変長符号化に対する復号を施した後、逆量子化して係数を算出し、逆ＤＣＴ変換して元のレベルデータを復元する。このようにして復元されたブロック単位の復号画像データＳ４は、ブロック遅延回路５および平均値算出回路６へ供給される。
【００１３】
平均値算出回路６は、復号画像データＳ４から各ブロック内の全画素の輝度レベルを標本化して平均値データＳ５を算出し、得られた平均値データＳ５を平均値メモリ７に供給する。これにより平均値メモリ７には、各ブロック毎の平均値データＳ５が順次蓄えられる。一方、ブロック遅延回路５は、時間的な調整を行うための回路であり、上述のような平均値データＳ５を算出するまでにかかる時間分だけ復号画像データＳ４を遅延し、その遅延した復号画像データＳ４を遅延回路８およびクラス生成回路９に供給する。
【００１４】
遅延回路８は、供給された復号画像データＳ４をブロック分解して蓄積する。また、遅延回路８は、蓄積した復号画像データＳ４を読み出す際に、後述するクラス生成回路９、平均値メモリ７および制御回路３の処理時間分だけ遅延処理する。遅延回路８は、こうして遅延処理した復号画像データＳ４を予測タップ生成回路１０に読み出して供給する。
【００１５】
予測タップ生成回路１０は、復号画像データＳ４の各ブロック毎に、注目画素を中心としてその周辺画素を集めることによって積和演算に要する予測タップを形成する。また、予測タップ生成回路１０は、復号画像データＳ４を後段の積和演算回路１３の演算形態に合った信号フォーマットに変換して、積和演算回路１３に供給する。例えば、積和演算回路１３が１次元で演算処理する場合には、供給する復号画像データＳ４を１次元の時系列データに変換して供給し、積和演算回路１３が２次元で演算処理する場合には、供給する復号画像データＳ４を所望のライン数の並列時系列データに変換して供給する。
【００１６】
このような予測タップ生成回路１０から積和演算回路１３への復号画像データＳ４の供給動作に同期して、平均値メモリ７に蓄えられた平均値データＳ５が係数メモリ１２に読み出される。ここで、平均値メモリ７からは、図２に示すように、注目ブロックだけでなく、注目ブロックに隣接するブロックの平均値データも読み出される。平均値メモリ７は、読み出した平均値データＳ５をそれぞれｎビットにシフトダウンしてビット数を減らしたものを第１のクラスコードＳ６として係数メモリ１２に供給する。
【００１７】
また、制御回路３は、水平同期信号Ｓ２および垂直同期信号Ｓ３に基づいて注目画素のブロック内での相対的な位置を示す位置情報を求める。例えば、図３に示すように、（８×８）画素でなるブロックの場合、縦横それぞれ３ビットずつの合計６ビットでブロック内の相対的な位置を表す。このようにして表された位置情報Ｓ７は、係数メモリ１２に供給される。なお、制御回路３から平均値メモリ７に供給されている信号Ｓ９は、書き込み動作および読み出し動作時に使用するアドレス信号やイネーブル信号等の制御信号である。
【００１８】
また、クラス生成回路９は、各ブロック毎に注目画素を中心タップとする空間クラスタップを設定し、この空間クラスタップ内の復号値を、例えばＡＤＲＣ符号化することにより、空間パターン分類によるクラス検出を行い（すなわち、注目画素が属するクラスを検出し）、その結果得られる第２のクラスコードＳ８をクラスコードメモリ（Class code Memory ：ＣＭ）１１に供給する。これにより、クラスコードメモリ１１には、各ブロック毎の第２のクラスコードＳ８が順次蓄えられる。クラスコードメモリ１１は、平均値メモリ７と同様に、予測タップ生成回路１０から積和演算回路１３への復号画像データＳ４の供給動作に同期して、第２のクラスコードＳ８を読み出して係数メモリ１２に供給する。
【００１９】
係数メモリ１２は、メモリからなり、積和演算回路１３での積和演算に使用されるクラス毎の係数組が予め学習により記録されている。係数メモリ１２は、第１のクラスコードＳ６、第２のクラスコードＳ８および位置情報Ｓ７を合わせることにより得られる第３のクラスコードをアドレス情報として、そのクラス毎の係数組を読み出して積和演算回路１３に供給する。
【００２０】
積和演算回路１３は、予測タップ生成回路１０から供給された復号画像データＳ４と係数メモリ１２から供給された係数組とを積和演算処理することにより復号画像データＳ４に対してクラス毎に符号化される前の画像データと略々同じ予測復号画像データを生成し、（いわゆるクラス毎の適応予測処理を行い）、その結果ブロック歪みが低減された予測復号画像データを獲得し、この予測復号画像データＳ１０を出力端子１４から出力する。
【００２１】
ここで、係数メモリ１２に記憶されている係数テーブルは、以下に説明するような学習により求められる。まず、既に知られている第１の画像データと、その第１の画像データに対してＤＣＴ符号化および復号化を施した第２の画像データを用意する。また、ＡＤＲＣ符号化によって得たクラスコードに平均値データおよび位置情報を付加した新たなクラスコードを生成する。そして、その求めたクラスコード毎に、第１および第２の画像データに対して最小自乗法を適用した学習方法を施して、最適な係数組を求める。この求められた係数組をクラス毎にメモリに記憶することにより係数テーブルが形成される。
【００２２】
すなわち、係数テーブルを形成する際には、図４に示すような係数作成回路２０が用いられる。まず、係数作成回路２０に対しては、教師信号としての画像データＳ２０が入力される。この画像データＳ２０は、学習処理のため係数選定回路２１に入力されると共に、符号化復号化処理のためにブロック符号化回路２２に入力される。また、画像データＳ２０のうち垂直同期信号や水平同期信号等の位置情報Ｓ２１も、位置情報によるクラス分類を行うために係数選定回路２１に入力される。
【００２３】
ブロック符号化回路２２は、画像データＳ２０にブロック単位で、例えばＤＣＴ符号化を施し、その結果得られる。係数データを量子化し、量子化出力を可変長符号化するものであるブロック符号化回路２２からの圧縮符号化された画像データＳ２２をブロック復号回路２３に供給する。ブロック復号回路２３は、ブロック符号化回路４と同様に圧縮符号化された画像データＳ２２をブロック単位で復号し、復号された画像データＳ２３を係数選定回路２１に供給すると共に、平均値算出回路２４およびクラス生成回路２５に供給する。
【００２４】
平均値算出回路２４は、画像データＳ２３を基に各ブロック内の全画素を平均化して得られる平均値データＳ２４を算出する。この平均値データＳ２４は、クラス分類の一要素として係数選定回路２１に供給される。また、クラス生成回路２５は、画像データＳ２３に、例えばＡＤＲＣ符号化を施すことによりクラスコードＳ２５を生成する。このクラスコードＳ２５も、平均値データＳ２４と同様に、クラス分類の一要素として係数選定回路２１に供給される。
【００２５】
係数選定回路２１は、供給されたクラスコードＳ２５に平均値データＳ２４および位置情報Ｓ２１の要素を付加して新たなクラスコードを作成し、そのクラス毎に画像データＳ２０およびＳ２３の相関関係を線形１次結合式で表し、この線形１次結合式による画像データＳ２０およびＳ２３の誤差の自乗が最小となる係数組を学習により求める。そして、求めた係数組をクラスコードと共に係数テーブルを形成する係数メモリ１２へ供給する。これにより、最適に適応予測処理し得る係数テーブルが作成される。
【００２６】
具体的に、上述の構成において、動作を説明すると、ＤＣＴ符号化によって高能率圧縮符号化された伝送画像データをブロック復号回路４によってブロック単位で復号する。そして、平均値算出回路６によって、各ブロック毎の平均値データＳ５を求め、この平均値データＳ５が平均値メモリ７に蓄積される。平均値メモリ７は、注目ブロックおよびその隣接ブロックの平均値データが読み出される。こうして読み出される注目ブロックおよびその隣接ブロックの平均値データＳ５は、それぞれｎビットで量子化されて第１のクラスコードＳ６として係数メモリ１２に供給される。
【００２７】
また、復元されたブロック単位の復号画像データＳ４をクラス生成回路９に供給し、ここで、例えばＡＤＲＣ符号化による第２のクラスコードＳ８を生成して、この第２のクラスコードＳ８を係数メモリ１２に供給する。さらに、制御回路３では、水平同期信号Ｓ２および垂直同期信号Ｓ３を基にして注目画素のブロック内での相対的な位置を示す位置情報Ｓ７を求め、この位置情報Ｓ７を係数メモリ１２に供給する。
【００２８】
係数メモリ１２は、供給された第１のクラスコードＳ６、第２のクラスコードＳ８および位置情報Ｓ７を合わせたものを第３のクラスコードとし、この第３のクラスコードをアドレス情報として予めクラス毎に記憶されている係数組を読み出す。すなわち、クラス分類処理によって得られた第２のクラスコードＳ８に、注目ブロックおよびその隣接ブロックの平均値データＳ５が集められて各々ｎビットで量子化されて得られる第１のクラスコードＳ６と注目画素のブロック内での相対的な位置を示す位置情報Ｓ７とを付加したものを新たな第３のクラスコードとして係数組を読み出す。
【００２９】
積和演算回路１３は、遅延回路８および予測タップ生成回路１０を介して供給される画像データと係数メモリ１２から供給される係数組とを線形１次結合式の演算処理することにより画像データに対してクラス毎に符号化される前の原画像データと略々同じ予測復号画像データが生成される。その際、係数メモリ１２から供給される係数組は、ブロック歪みが出やすい、あるいはエッジやディテール部分を含みやすい等といった特徴を表す注目ブロックおよびその隣接ブロックの平均値データＳ５が集められて各々ｎビットで量子化されて得られる第１のクラスコードＳ６や、注目画素がブロック内のどの位置に当たるかといったことを表す位置情報Ｓ７を考慮して作成された係数組であるため、エッジやディテール部分をなまらせることなく、ブロック境界付近に発生するブロック歪みを適応的に除去することができる。したがって、積和演算回路１３では、注目画素を中心としてその周辺画素を集めた画素と、注目画素を考慮した係数組との積和演算によって、注目画素の予測復号画像データが生成される。
【００３０】
このようにして、画像信号処理装置では、ブロック毎に平均値データＳ５を検出して、注目ブロックおよびその隣接ブロックの平均値データＳ５が集められて各々ｎビットで量子化されてなる第１のクラスコードＳ６を求めると共に、ブロック内の画素の相対的な位置情報Ｓ７を検出する。そして、復元したブロック毎の復号画像データＳ４をパターン分類して得られる第２のクラスコードＳ８に第１のクラスコードＳ６および位置情報Ｓ７を付加して新たなクラス分類を行い、そのクラス毎に符号化される前の原画像データと略々同じ予測復号画像データを生成する。これにより、エッジやディテール部分をなまらせることなく、ブロック歪みを適応的に除去することができる。
【００３１】
なお、この第１の実施例の場合には、画像信号処理装置の復号側における処理だけで上述したような効果が得られるため、送信側の装置に負担をかけることなく、また伝送フォーマットを変更する必要もないという利点がある。また、第１の実施例の場合には、クラス毎に符号化される前の原画像データと略々同じ予測復号画像データを生成し、いわゆる適応予測処理を行うことにより、ブロック歪みを適応的に除去し得るだけでなく、解像度も向上し得る。
【００３２】
以上の構成によれば、復号画像データＳ４の各ブロックの平均値データＳ５を検出すると共に、復号画像データＳ４の各ブロック内の画素について相対的な位置情報Ｓ７を検出し、復号画像データＳ４をパターン分類して得られる第２のクラスコードＳ８に、平均値データＳ５から得られる第１のクラスコードＳ６および位置情報Ｓ７を付加して新たなクラス分類を行い、こうして得られた第３のクラスコードをアドレス情報として、そのクラス毎に係数を読み出して符号化される前の原画像データと略々同じ予測復号画像データを生成することにより、エッジやディテール部分を含むブロックとブロック歪みが出やすいブロックとで異なる平均値の相違に応じた適応的な予測復号画像データの生成ができ、エッジやディテール部分をなまらせることを未然に回避してブロック境界付近に発生するブロック歪みを適応的に除去することができる画像信号処理装置を実現することができる。
【００３３】
次に、この発明の第２の実施例を図５に示す。この図５において、図１との対応部分に同一符号を付して、示す。この図５は、図１に示す平均値算出回路６に換えて最大値検出回路３１、最小値検出回路３２および演算回路３３が設けられており、これらによって中央値データを求めるようになされている。
【００３４】
すなわち、図５に示すように、高能率圧縮符号化、例えばＤＣＴ符号化された画像データＳ１をフレーム分解回路２およびブロック復号回路４を介して復号処理することにより得られたブロック単位の復号画像データＳ４は、ブロック遅延回路５に供給されると共に、最大値検出回路３１および最小値検出回路３２に供給される。最大値検出回路３１および最小値検出回路３２は、復号画像データＳ４の各ブロック毎に、例えば輝度レベルの最大値および最小値をそれぞれ検出し、演算回路３３に供給する。演算回路３３は、最大値および最小値に基づいて中央値を算出し、得られた中央値を中央値データＳ３０として中央値メモリ３４に供給する。具体的には、最大値および最小値の平均値を算出して中央値を得ている。中央値メモリ３４は、こうして供給される各ブロック毎に中央値データＳ３０を順次蓄える。
【００３５】
なお、画像データＳ１がＡＤＲＣ符号化によって圧縮符号化されている場合は、圧縮符号化されている画像データＳ１にパラメータとして最大値または最小値およびダイナミックレンジの情報が含まれているため、これらの値から最大値および最小値を求めることができる。
【００３６】
一方、ブロック遅延回路５は、中央値データＳ３０を算出するまでにかかる時間分だけ復号画像データＳ４を遅延し、その遅延した復号画像データＳ４を遅延回路８およびクラス生成回路９に供給する。予測タップ生成回路１０から積和演算回路１３への復号画像データＳ４の供給動作に同期して、中央値メモリ３４に蓄えられた中央値データＳ３０が係数メモリ１２に読み出される。この際、中央値メモリ３４は、注目ブロックおよびその隣接ブロックの中央値データＳ３０を読み出し、読み出した中央値データＳ３０をそのまま、あるいはそれぞれｎビットにシフトダウンしてビット数を減らしたものを第１のクラスコードＳ３１として係数メモリ１２に供給する。
【００３７】
ここで、係数メモリ１２に記憶されている係数組は、以下に説明するような学習により求められる。まず既に知られている第１の画像データと、その第１の画像データに対して高能率圧縮符号化、例えばＤＣＴ符号化および符号化を施した第２の画像データを用意する。また、ＡＤＲＣ符号化によって得たクラスコードに中央値データおよび位置情報を付加した新たなクラスコードを発生する。そして、その求めたクラスコード毎に、第１および第２の画像データに対して最小自乗法を適用した学習法を施して、最適な係数組を求める。この求められた係数組をクラス毎にメモリに記録することにより係数メモリ１２が形成される。
【００３８】
以上の構成において、画像信号処理装置では、ＤＣＴ符号化によって高能率圧縮符号化された画像データＳ１をブロック復号回路４によってブロック単位で復号する。そして、最大値検出回路３１、最小値検出回路３２および演算回路３３によって求められた各ブロック毎の中央値データＳ３０が中央値メモリ３４に蓄積され、中央値メモリ３４から読み出される際に注目ブロックおよびその隣接ブロックの中央値データＳ３０が読み出される。こうして読み出された各中央値データＳ３０は、それぞれｎビットで量子化されて第１のクラスコードＳ３１として係数メモリ１２に供給される。また、復元されたブロック単位の復号画像データＳ４をクラス生成回路９に供給し、ここで、例えばＡＤＲＣ符号化処理を施すことにより第２のクラスコードＳ８を生成して、この第２のクラスコードＳ８を係数メモリ１２に供給する。さらに、制御回路３では、水平同期信号Ｓ２および垂直同期信号Ｓ３を基にして注目画素のブロック内での相対的な位置を示す位置情報Ｓ７を求め、この位置情報Ｓ７を係数メモリ１２に供給する。
【００３９】
係数メモリ１２は、供給された第１のクラスコードＳ３１、第２のクラスコードＳ８および位置情報Ｓ７を合わせたものを第３のクラスコードとし、この第３のクラスコードをアドレス情報として予めクラス毎に記憶されている係数組を読み出す。すなわち、クラス分類処理によって得られた第２のクラスコードＳ８に、注目ブロックおよびその隣接ブロックの中央値データＳ３０を集めて各々ｎビットで量子化して得られる第１のクラスコードＳ３１と注目画素のブロック内での相対的な位置を示す位置情報Ｓ７とを付加したものを新たな第３のクラスコードとして係数組を読み出す。
【００４０】
積和演算回路１３は、遅延回路８および予測タップ生成回路１０を介して供給される画像データと係数メモリ１２から供給される係数組とを積和演算処理することにより画像データに対してクラス毎に符号化される前の原画像データと略々同じ予測復号画像データを生成する。その際、係数メモリ１２から供給される係数組や、ブロック歪みが出やすい、あるいはエッジやディテール部分を含みやすい等といった特徴を表す注目ブロックおよびその隣接ブロックの中央値データＳ３０が集められて各々ｎビットで量子化されて得られる第１のクラスコードＳ３１や、注目画素がブロック内のどの位置に当たるかといったことを表す位置情報Ｓ７を考慮して作成された係数組であるため、エッジやディテール部分をなまらせることなく、ブロック境界付近に発生するブロック歪みを適応的に除去することができる。したがって、積和演算回路１３では、注目画素を中心としてその周辺画素を集めた画素と、注目画素を考慮した係数組との積和演算によって、注目画素の予測復号画像データが生成される。
【００４１】
このようにして画像信号処理装置では、ブロック毎に検出した最大値および最小値から中央値データＳ３０を算出して、この中央値データＳ３０を注目ブロックおよびその隣接ブロックから集めて各々ｎビットで量子化して第１のクラスコードＳ３１を求めると共に、ブロック内の画素の相対的な位置情報Ｓ７を検出する。そして、復元したブロック毎の復号画像データＳ４をパターン分類して得られる第２のクラスコードＳ８に第１のクラスコードＳ３１および位置情報Ｓ７を付加して新たなクラス分類を行い、そのクラス毎に符号化される前の原画像データと略々同じ予測復号画像データを生成する。これにより、エッジやディテール部分をなまらせることなくブロック歪みを適応的に除去することができると共に、復号画像データＳ４の最大値および最小値の２値から第１のクラスコードＳ３１を得られる。
【００４２】
以上の構成によれば、復号画像データＳ４の各ブロック毎に検出した最大値および最小値から中央値データＳ３０を算出すると共に、復号画像データＳ４の各ブロック内の画素について相対的な位置情報Ｓ７を検出し、復号画像データＳ４をパターン分類して得られる第２のクラスコードＳ８に、中央値データＳ３０から得られる第１のクラスコードＳ３１および位置情報Ｓ７を付加して新たなクラス分類を行い、こうして得られた第３のクラスコードをアドレス情報として、そのクラス毎に係数を読み出して符号化される前の原画像データと略々同じ予測復号画像データを生成するようにしたことにより、各ブロック毎に検出した最大値および最小値の２値から中央値データＳ３０を算出し得ると共に、エッジやディテール部分を含むブロックとブロック歪みが出やすいブロックとで異なる中央値の相違に応じた適応的な処理を行うことができ、複雑な回路構成および算出方法を用いることなく、容易に第１のクラスコードを得ることができ、エッジやディテール部分をなまらせることを未然に回避してブロック境界付近に発生するブロック歪みを適応的に除去することができる。
【００４３】
次に、この発明の第３の実施例を図６に示す。この図６において、上述の図５と同様に、図１との対応部分に同一符号を付して、示す。この図５は、図１に示す平均値算出回路６に換えて標準偏差算出回路４１が設けられており、これによって標準偏差値を求めるようになされている。
【００４４】
すなわち、図６に示すように、高能率圧縮符号化、例えばＤＣＴ符号化された画像データＳ１をフレーム分解回路２およびブロック復号回路４を介して復号処理することにより得られたブロック単位の復号画像データＳ４は、ブロック遅延回路５に供給されると共に、標準偏差算出回路４１に供給される。標準偏差算出回路４１は、復号画像データＳ４の各ブロック毎に、例えば輝度レベルの標準偏差値を検出し、標準偏差値メモリ４２に供給する。標準偏差値メモリ４２は、こうして供給される各ブロック毎に標準偏差値Ｓ４１を順次蓄える。
【００４５】
一方、ブロック遅延回路５は、標準偏差値Ｓ４１を算出するまでにかかる時間分だけ復号画像データＳ４を遅延し、その遅延した復号画像データＳ４を遅延回路８およびクラス生成回路９に供給する。遅延回路８は、供給された復号画像データＳ４をブロック分解して蓄積して、蓄積した復号画像データＳ４を読み出す前に、クラス生成回路９、標準偏差値メモリ４２および制御回路３の処理時間分だけ遅延処理する。遅延回路８は、こうして遅延処理した復号画像データＳ４を予測タップ生成回路１０に読み出して供給する。
【００４６】
予測タップ生成回路１０は、復号画像データＳ４の各ブロック毎に、注目画素を中心としてその周辺画素を集めることによって積和演算に要する予測タップを形成すると共に、復号画像データＳ４を積和演算回路１３の演算形態に合った信号フォーマットに変換して、積和演算回路１３に供給する。
【００４７】
このような予測タップ生成回路１０から積和演算回路１３への復号画像データＳ４の供給動作に同期して、標準偏差値メモリ４２に蓄えられた標準編纂値Ｓ４１が係数メモリ１２に読み出される。この際、標準偏差値メモリ４２は、注目ブロックおよびその隣接ブロックの標準偏差値Ｓ４１を読み出し、読み出した標準偏差値Ｓ４１をそのまま、あるいはそれぞれｎビットにシフトダウンしてビット数を減らしたものを第１のクラスコードＳ４２として係数メモリ１２に供給する。
【００４８】
標準偏差算出回路４１の一例を図７に示す。入力端子５１から復号画像データＳ４が供給される。ブロック単位の復号画像データＳ４は、輝度度数分布テーブル５２へ供給され、輝度度数分布テーブル５２において、ブロック単位の輝度レベルの度数分布のテーブルが生成される。生成されたテーブルに基づいて、平均値算出回路５３では、式（１）に示すように平均値が算出され、算出された平均値は、標準偏差算出回路５４へ供給される。標準偏差算出回路５４では、度数分布のテーブルと平均値から標準偏差値が式（２）により算出され、算出された標準偏差値は、出力端子５５から取り出される。取り出された標準偏差値が小さいときは、度数分布の幅は狭く、標準偏差値が大きいときは、度数分布の幅は広くなる。また、標準偏差値を自乗することで、分散値を求めることができ、この分散値を用いても同様に使用することができる。
【００４９】
平均値＝Σ（輝度レベル×度数）／全度数 （１）
標準偏差値＝√（Σ（輝度レベル−平均値）2 ×度数）／全度数） （２）
ただし、√（ ）は、（ ）内の演算結果を平方根とする。
【００５０】
以上の構成において、画像信号処理装置では、高能率圧縮符号化、例えばＤＣＴ符号化された画像データＳ１をブロック復号回路４によってブロック単位で復号する。そして、標準偏差算出回路４１によって求められた各ブロック毎の標準偏差値Ｓ４１が標準偏差値メモリ４２に蓄積され、標準偏差値メモリ４２から読み出される際に注目ブロックおよびその隣接ブロックの標準偏差値Ｓ４１が読み出される。こうして読み出された各標準偏差値Ｓ４１は、それぞれｎビットで量子化されて第１のクラスコードＳ４２として係数メモリ１２に供給される。また、復元されたブロック単位の復号画像データＳ４をクラス生成回路９に供給し、ここで、例えばＡＤＲＣ符号化処理を施すことにより第２のクラスコードＳ８を生成して、この第２のクラスコードＳ８を係数メモリ１２に供給する。さらに、制御回路３では、水平同期信号Ｓ２および垂直同期信号Ｓ３を基にして注目画素のブロック内での相対的な位置を示す位置情報Ｓ７を求め、この位置情報Ｓ７を係数メモリ１２に供給する。
【００５１】
係数メモリ１２は、供給された第１のクラスコードＳ４２、第２のクラスコードＳ８および位置情報Ｓ７を合わせたものを第３のクラスコードとし、この第３のクラスコードをアドレス情報として予めクラス毎に記憶されている係数組を読み出す。すなわち、クラス分類処理によって得られた第２のクラスコードＳ８に、注目ブロックおよびその隣接ブロックの標準偏差値Ｓ４１を集めて各々ｎビットで量子化して得られる第１のクラスコードＳ４２と注目画素のブロック内での相対的な位置を示す位置情報Ｓ７とを付加したものを新たな第３のクラスコードとして係数組を読み出す。
【００５２】
積和演算回路１３は、遅延回路８および予測タップ生成回路１０を介して供給される画像データと係数メモリ１２から供給される係数組とを積和演算処理することにより画像データに対してクラス毎に符号化される前の原画像データと略々同じ予測復号画像データを生成する。その際、係数メモリ１２から供給される係数組や、ブロック歪みが出やすい、あるいはエッジやディテール部分を含みやすい等といった特徴を表す注目ブロックおよびその隣接ブロックの標準偏差値Ｓ４１が集められて各々ｎビットで量子化されて得られる第１のクラスコードＳ４２や、注目画素がブロック内のどの位置に当たるかといったことを表す位置情報Ｓ７を考慮して作成された係数組であるため、エッジやディテール部分をなまらせることなく、ブロック境界付近に発生するブロック歪みを適応的に除去することができる。したがって、積和演算回路１３では、注目画素を中心としてその周辺画素を集めた画素と、注目画素を考慮した係数組との積和演算によって、注目画素の予測復号画像データが生成される。
【００５３】
このようにして画像信号処理装置では、ブロック毎に検出した標準偏差値Ｓ４１を注目ブロックおよびその隣接ブロックから集めて各々ｎビットで量子化して第１のクラスコードＳ４２を求めると共に、ブロック内の画素の相対的な位置情報Ｓ７を検出する。そして、復元したブロック毎の復号画像データＳ４をパターン分類して得られる第２のクラスコードＳ８に第１のクラスコードＳ４２および位置情報Ｓ７を付加して新たなクラス分類を行い、そのクラス毎に符号化される前の原画像データと略々同じ予測復号画像データを生成する。これにより、エッジやディテール部分をなまらせることなくブロック歪みを適応的に除去することができると共に、復号画像データＳ４の標準偏差値から第１のクラスコードＳ４２を得られる。
【００５４】
以上の構成によれば、復号画像データＳ４の各ブロック毎に検出した標準偏差値Ｓ４１と共に、復号画像データＳ４の各ブロック内の画素について相対的な位置情報Ｓ７を検出し、復号画像データＳ４をパターン分類して得られる第２のクラスコードＳ８に、標準偏差値Ｓ４１から得られる第１のクラスコードＳ４２および位置情報Ｓ７を付加して新たなクラス分類を行い、こうして得られた第３のクラスコードをアドレス情報として、そのクラス毎に係数を読み出して符号化される前の原画像データと略々同じ予測復号画像データを生成するようにしたことにより、各ブロック毎に検出した標準偏差値Ｓ４１を得ると共に、エッジやディテール部分を含むブロックとブロック歪みが出やすいブロックとで異なる標準偏差値の相違に応じた適応的な処理を行うことができ、複雑な回路構成および算出方法を用いることなく、容易に第１のクラスコードを得ることができ、エッジやディテール部分をなまらせることを未然に回避してブロック境界付近に発生するブロック歪みを適応的に除去することができる。
【００５５】
なお、上述の実施例において、画像データＳ１がＤＣＴ符号化によって圧縮符号化された場合について述べたが、この発明は、これに限らず、画像データがＡＤＲＣ符号化、ＤＰＣＭ（Differential Pulse Code Modulation）符号化、ＢＴＣ（Block Truncation Coding ）符号化等、その他の圧縮符号化によって符号化された場合にも、上述の場合と同様の効果を得ることができる。
【００５６】
また、上述の実施例において、係数メモリ１２と積和演算回路１３とが別々の回路構成でなる場合について述べたが、この発明は、これに限らず、係数メモリ１２と積和演算回路１３とをまとめてブロック歪み除去回路として構成するようにしても良い。
【００５７】
さらに、上述の実施例において、クラス生成回路９によってブロック毎の復号画像データＳ４をＡＤＲＣ符号化してクラス検出を行い、これにより第２のクラスコードＳ８が得られる場合について述べたが、この発明は、これに限らず、例えばＡＤＲＣ符号化で圧縮符号化されている符号化画像信号の場合は、クラス生成回路で符号化画像信号に含まれる再量子化コードをそのまま抽出して所定タップ数を集めることで第２のクラスコードとしても良い。
【００５８】
また、上述の実施例において、圧縮符号化されて伝送されてきた画像データＳ１を復号する画像信号処理装置に、この発明を適用した場合について述べたが、この発明は、これに限らず、例えば圧縮符号化されて記録された画像データを復号して再生する画像信号処理装置に適用した場合にも上述の場合と同様の効果を得ることができる。要は、圧縮符号化された画像データを復号する画像信号復号装置であれば広く適用し得る。
【００５９】
さらに、上述の実施例において、画像信号処理装置の再生側または受信側にのみ、この発明を適用することで上述したような効果が得られるため、送信側の装置に負担をかけることなく、また伝送フォーマットを変更する必要もないという利点がある。また、この実施例の場合にも、クラス毎に画像データを修整する、いわゆる適応予測処理を行うことにより、ブロック歪みを適応的に除去し得るだけでなく、解像度も向上し得る。
【００６０】
【発明の効果】
この発明に依れば、注目ブロックおよびその隣接ブロックの各平均値から得られる第１のクラス情報と、位置情報と、パターン分類により得られる第２のクラス情報に基づいて新たな第３のクラス情報を生成し、第３のクラス情報に応じて係数を読み出し、復号された画像データに積和演算を施して符号化される前の原画像データと略々同じ予測復号画像データを生成するようにしたことにより、エッジやディテール部分をなまらせることなく、ブロック境界付近に発生するブロック歪みを適応的に除去し得ることができる。
【００６１】
また、復号された画像データの各ブロック内の輝度レベルの最大値および最小値を検出し、検出した値から中央値を算出して、注目ブロックおよびその隣接ブロックの各中央値から第１のクラス情報を得るようにしたことにより、複雑な回路構成および算出方法を要することなく第１のクラス情報を得ることができると共に、エッジやディテール部分を含むブロックとブロック歪みが出やすいブロックとで異なる中央値の相違に応じた適応的な処理を行うことができ、エッジやディテール部分をなまらせることを未然に回避してブロック境界付近に発生するブロック歪みを適応的に除去することができる。
【００６２】
さらに、復号された画像データの各ブロック内の輝度レベルの標準偏差値（あるいは分散値）を算出して、注目ブロックおよびその隣接ブロックの各標準偏差値から第１のクラス情報を得ることができると共に、エッジやディテール部分を含むブロックとブロック歪みが出やすいブロックとで異なる標準偏差値の相違に応じた適応的な処理を行うことができ、エッジやディテール部分をなまらせることを未然に回避してブロック境界付近に発生するブロック歪みを適応的に除去することができる。
【００６３】
しかも、この発明に依れば、再生または受信装置側にのみ処理を行うことで上述のような効果を得ることができるため、記録または伝送側に負担をかけることがなく、フォーマットを変更する必要もないという利点がある。
【図面の簡単な説明】
【図１】この発明の第１の実施例による画像信号処理装置の構成を示したブロック図である。
【図２】この発明に係るクラスコードを生成するために平均値データを抽出する注目ブロックおよび隣接ブロックの配置を説明するための略線図である。
【図３】この発明に係る注目画素のブロック内での相対的な位置情報を説明するための略線図である。
【図４】この発明に適用される係数を学習するための構成を示すブロック図である。
【図５】この発明の第２の実施例による画像信号処理装置の構成を示したブロック図である。
【図６】この発明の第３の実施例による画像信号処理装置の構成を示したブロック図である。
【図７】この発明の第３の実施例に適用される標準偏差算出回路の構成を示したブロック図である。
【符号の説明】
２・・・フレーム分解回路、３・・・制御回路、４・・・ブロック復号回路、５・・・ブロック遅延回路、６・・・平均値算出回路、７・・・平均値メモリ、８・・・遅延回路、９・・・クラス生成回路、１０・・・予測タップ生成回路、１１・・・クラスコードメモリ、１２・・・係数メモリ、１３・・・積和演算回路
Claims (9)
- 所定の圧縮符号化手段によりブロック単位で圧縮符号化された圧縮画像データをブロック単位で復号処理する復号手段と、
上記復号手段で復号された復号画像データの各ブロックの平均値を検出する平均値検出手段と、
上記復号画像データのブロックの注目画素を中心とする複数の画素のレベル分布のパターン分類によって上記復号画像データが属するクラスを検出するクラス検出手段と、
上記圧縮画像データから上記注目画素のブロック内での相対的な位置を示す位置情報を検出する位置情報検出手段と、
上記平均値検出手段によって得た注目ブロックの平均値および上記注目ブロックに隣接する隣接ブロックの平均値からなる第１のクラス情報と、上記クラス検出手段で検出された上記クラスからなる第２のクラス情報と、上記位置情報検出手段によって得られる上記位置情報とを付加して生成された第３のクラスに応じて、予め記憶されている所定の係数を読み出す係数テーブルと、
上記係数上記係数テーブルから出力された上記所定の係数と上記復号画像データの上記注目画素周辺の複数の画素とに基づく積和演算をすることにより予測復号画像データを生成する演算手段と
からなることを特徴とする画像信号処理装置。 - 所定の圧縮符号化手段によりブロック単位で圧縮符号化された圧縮画像データをブロック単位で復号処理する復号手段と、
上記復号画像データの各ブロック内の最大値を検出する最大値検出手段と、
上記復号画像データの各ブロック内の最小値を検出する最小値検出手段と、
上記最大値検出手段で検出された上記最大値と、上記最小値検出手段で検出された上記最小値とを演算し、中央値を求める演算手段と、
上記復号画像データのブロックの注目画素を中心とする複数の画素のレベル分布のパターン分類によって上記復号画像データが属するクラスを検出するクラス検出手段と、
上記圧縮画像データから上記注目画素のブロック内での相対的な位置を示す位置情報を検出する位置情報検出手段と、
上記演算手段によって得た注目ブロックの中央値および上記注目ブロックに隣接する隣接ブロックの中央値からなる第１のクラス情報と、上記クラス検出手段で検出された上記クラスからなる第２のクラス情報と、上記位置情報検出手段によって得られる上記位置情報とを付加して生成された第３のクラスに応じて、予め記憶されている所定の係数を読み出す係数テーブルと、
上記係数上記係数テーブルから出力された上記所定の係数と上記復号画像データの上記注目画素周辺の複数の画素とに基づく積和演算をすることにより予測復号画像データを生成する演算手段と
からなることを特徴とする画像信号処理装置。 - 所定の圧縮符号化手段によりブロック単位で圧縮符号化された圧縮画像データをブロック単位で復号処理する復号手段と、
上記復号手段で復号された復号画像データの各ブロックの標準偏差を検出する標準偏差検出手段と、
上記復号画像データのブロックの注目画素を中心とする複数の画素のレベル分布のパターン分類によって上記復号画像データが属するクラスを検出するクラス検出手段と、
上記圧縮画像データから上記注目画素のブロック内での相対的な位置を示す位置情報を検出する位置情報検出手段と、
上記標準偏差検出手段によって得た注目ブロックの標準偏差および上記注目ブロックに隣接する隣接ブロックの標準偏差からなる第１のクラス情報と、上記クラス検出手段で検出された上記クラスからなる第２のクラス情報と、上記位置情報検出手段によって得られる上記位置情報とを付加して生成された第３のクラスに応じて、予め記憶されている所定の係数を読み出す係数テーブルと、
上記係数上記係数テーブルから出力された上記所定の係数と上記復号画像データの上記注目画素周辺の複数の画素とに基づく積和演算をすることにより予測復号画像データを生成する演算手段と
からなることを特徴とする画像信号処理装置。 - 所定の圧縮符号化手段によりブロック単位で圧縮符号化された圧縮画像データをブロック単位で復号処理する復号手段と、
上記復号手段で復号された復号画像データの各ブロックの分散値を検出する分散値検出手段と、
上記復号画像データのブロックの注目画素を中心とする複数の画素のレベル分布のパターン分類によって上記復号画像データが属するクラスを検出するクラス検出手段と、
上記圧縮画像データから上記注目画素のブロック内での相対的な位置を示す位置情報を検出する位置情報検出手段と、
上記分散値検出手段によって得た注目ブロックの分散値および上記注目ブロックに隣接する隣接ブロックの分散値からなる第１のクラス情報と、上記クラス検出手段で検出された上記クラスからなる第２のクラス情報と、上記位置情報検出手段によって得られる上記位置情報とを付加して生成された第３のクラスに応じて、予め記憶されている所定の係数を読み出す係数テーブルと、
上記係数上記係数テーブルから出力された上記所定の係数と上記復号画像データの上記注目画素周辺の複数の画素とに基づく積和演算をすることにより予測復号画像データを生成する演算手段と
からなることを特徴とする画像信号処理装置。 - 請求項１に記載の画像信号処理装置において、
上記係数テーブルは、
上記第３のクラス情報毎に予め学習によって求めた係数を、上記第３のクラス情報をアドレス情報として記憶したメモリからなることを特徴とした画像信号処理装置。 - 所定の圧縮符号化手段によりブロック単位で圧縮符号化された圧縮画像データをブロック単位で復号処理する復号ステップと、
上記復号ステップで復号された復号画像データの各ブロックの平均値を検出する平均値検出ステップと、
上記復号画像データのブロックの注目画素を中心とする複数の画素のレベル分布のパターン分類によって上記復号画像データが属するクラスを検出するクラス検出ステップと、
上記圧縮画像データから上記注目画素のブロック内での相対的な位置を示す位置情報を検出する位置情報検出ステップと、
上記平均値検出ステップによって得た注目ブロックの平均値および上記注目ブロックに隣接する隣接ブロックの平均値からなる第１のクラス情報と、上記クラス検出ステップで検出された上記クラスからなる第２のクラス情報と、上記位置情報検出ステップによって得られる上記位置情報とを付加して生成された第３のクラスに応じて、予め記憶されている所定の係数を係数テーブルから読み出すステップと、
上記係数上記係数テーブルから出力された上記所定の係数と上記復号画像データの上記注目画素周辺の複数の画素とに基づく積和演算をすることにより予測復号画像データを生成する演算ステップと
からなることを特徴とする画像信号処理方法。 - 所定の圧縮符号化手段によりブロック単位で圧縮符号化された圧縮画像データをブロック単位で復号処理する復号ステップと、
上記復号画像データの各ブロック内の最大値を検出する最大値検出ステップと、
上記復号画像データの各ブロック内の最小値を検出する最小値検出ステップと、
上記最大値検出ステップで検出された上記最大値と、上記最小値検出ステップで検出された上記最小値とを演算し、中央値を求める演算ステップと、
上記復号画像データのブロックの注目画素を中心とする複数の画素のレベル分布のパターン分類によって上記復号画像データが属するクラスを検出するクラス検出ステップと、
上記圧縮画像データから上記注目画素のブロック内での相対的な位置を示す位置情報を検出する位置情報検出ステップと、
上記演算ステップによって得た注目ブロックの中央値および上記注目ブロックに隣接する隣接ブロックの中央値からなる第１のクラス情報と、上記クラス検出ステップで検出された上記クラスからなる第２のクラス情報と、上記位置情報検出ステップによって得られる上記位置情報とを付加して生成された第３のクラスに応じて、予め記憶されている所定の係数を係数テーブルから読み出すステップと、
上記係数上記係数テーブルから出力された上記所定の係数と上記復号画像データの上記注目画素周辺の複数の画素とに基づく積和演算をすることにより予測復号画像データを生成する演算ステップと
からなることを特徴とする画像信号処理方法。 - 所定の圧縮符号化手段によりブロック単位で圧縮符号化された圧縮画像データをブロック単位で復号処理する復号ステップと、
上記復号ステップで復号された復号画像データの各ブロックの標準偏差を検出する標準偏差検出ステップと、
上記復号画像データのブロックの注目画素を中心とする複数の画素のレベル分布のパターン分類によって上記復号画像データが属するクラスを検出するクラス検出ステップと、
上記圧縮画像データから上記注目画素のブロック内での相対的な位置を示す位置情報を検出する位置情報検出ステップと、
上記標準偏差検出ステップによって得た注目ブロックの標準偏差および上記注目ブロックに隣接する隣接ブロックの標準偏差からなる第１のクラス情報と、上記クラス検出ステップで検出された上記クラスからなる第２のクラス情報と、上記位置情報検出ステップによって得られる上記位置情報とを付加して生成された第３のクラスに応じて、予め記憶されている所定の係数を係数テーブルから読み出すステップと、
上記係数上記係数テーブルから出力された上記所定の係数と上記復号画像データの上記注目画素周辺の複数の画素とに基づく積和演算をすることにより予測復号画像データを生成する演算ステップと
からなることを特徴とする画像信号処理方法。 - 所定の圧縮符号化手段によりブロック単位で圧縮符号化された圧縮画像データをブロック単位で復号処理する復号ステップと、
上記復号ステップで復号された復号画像データの各ブロックの分散値を検出する分散値検出ステップと、
上記復号画像データのブロックの注目画素を中心とする複数の画素のレベル分布のパターン分類によって上記復号画像データが属するクラスを検出するクラス検出ステップと、
上記圧縮画像データから上記注目画素のブロック内での相対的な位置を示す位置情報を検出する位置情報検出ステップと、
上記分散値検出ステップによって得た注目ブロックの分散値および上記注目ブロックに隣接する隣接ブロックの分散値からなる第１のクラス情報と、上記クラス検出ステップで検出された上記クラスからなる第２のクラス情報と、上記位置情報検出ステップによって得られる上記位置情報とを付加して生成された第３のクラスに応じて、予め記憶されている所定の係数を係数テーブルから読み出すステップと、
上記係数上記係数テーブルから出力された上記所定の係数と上記復号画像データの上記注目画素周辺の複数の画素とに基づく積和演算をすることにより予測復号画像データを生成する演算ステップと
からなることを特徴とする画像信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21777196A JP3760517B2 (ja) | 1996-04-11 | 1996-07-31 | 画像信号処理装置および方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11428196 | 1996-04-11 | ||
| JP8-114281 | 1996-04-11 | ||
| JP21777196A JP3760517B2 (ja) | 1996-04-11 | 1996-07-31 | 画像信号処理装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09331526A JPH09331526A (ja) | 1997-12-22 |
| JP3760517B2 true JP3760517B2 (ja) | 2006-03-29 |
Family
ID=26453063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21777196A Expired - Fee Related JP3760517B2 (ja) | 1996-04-11 | 1996-07-31 | 画像信号処理装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3760517B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6151416A (en) * | 1999-02-12 | 2000-11-21 | Sony Corporation | Method and apparatus for adaptive class tap selection according to multiple classification |
| JP4752088B2 (ja) * | 2000-05-09 | 2011-08-17 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びに記録媒体 |
| JP4678454B2 (ja) * | 2000-06-01 | 2011-04-27 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びに記録媒体 |
| JP4078906B2 (ja) | 2002-07-19 | 2008-04-23 | ソニー株式会社 | 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 |
| JP4505729B2 (ja) * | 2004-04-27 | 2010-07-21 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、および記録媒体 |
| KR20090097688A (ko) | 2008-03-12 | 2009-09-16 | 삼성전자주식회사 | 영상의 인트라 예측 부호화/복호화 방법 및 장치 |
| JP4656452B2 (ja) | 2008-05-20 | 2011-03-23 | ソニー株式会社 | 画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラム |
-
1996
- 1996-07-31 JP JP21777196A patent/JP3760517B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09331526A (ja) | 1997-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2728619B2 (ja) | 符号化／復号化装置のブロッキングアーティファクト抑制方法及びその装置 | |
| US5321440A (en) | High efficiency data compressed image encoding | |
| JP2509469B2 (ja) | 変換による連続画像の適応型符号化及び復号方法及び装置 | |
| KR100254505B1 (ko) | 부호화 장치 | |
| US5754699A (en) | Method of reducing mosquito noise generated during decoding process of image data and device for decoding image data using the same | |
| JP3760517B2 (ja) | 画像信号処理装置および方法 | |
| JP2723867B2 (ja) | 画像信号復号化装置 | |
| JP3271098B2 (ja) | ディジタル画像信号復号装置および方法 | |
| JP3627291B2 (ja) | ブロック歪み除去装置および方法 | |
| JP2924691B2 (ja) | 量子化ノイズの低減方法及び画像データの復号化装置 | |
| JP2900808B2 (ja) | 画像データの復号化時に生じるモスキートノイズの低減方法及び画像データの復号化装置 | |
| JP4078652B2 (ja) | 画像信号復号装置及び画像信号復号方法 | |
| JP3661883B2 (ja) | 画像信号復号装置及び画像信号復号方法 | |
| JP2900815B2 (ja) | 適応コアリング方法及び適応コアリング装置 | |
| JP3896635B2 (ja) | 画像データ変換装置及び方法、予測係数生成装置及び方法 | |
| JP2552349B2 (ja) | 画像信号圧縮符号化装置 | |
| JP3590994B2 (ja) | 量子化出力の情報量制御装置および方法 | |
| JP3170929B2 (ja) | ディジタル信号の量子化器 | |
| JP3627256B2 (ja) | ディジタル画像信号の受信／再生装置および方法 | |
| JPH05168001A (ja) | 画像符号化装置 | |
| JP2891251B2 (ja) | 画像符号化装置及び画像復号化装置 | |
| JP3149662B2 (ja) | 映像符号化装置及び映像復号化装置及び光ディスク | |
| JP3945503B2 (ja) | 係数データ生成装置および方法 | |
| JPH05316496A (ja) | 符号化装置 | |
| JPH05176311A (ja) | 画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050105 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050301 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050412 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050613 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060102 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100120 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100120 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110120 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120120 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130120 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |