JP5012306B2

JP5012306B2 - 画像処理装置

Info

Publication number: JP5012306B2
Application number: JP2007209720A
Authority: JP
Inventors: 真一白石
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2007-08-10
Filing date: 2007-08-10
Publication date: 2012-08-29
Anticipated expiration: 2027-08-10
Also published as: JP2009044640A

Description

本発明は、画像処理のための装置、方法、および、プログラムに関するものである。

画像データの各画素の色は、種々の色成分を用いて表されている。例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３成分や、Ｙ（輝度）、Ｃｂ、Ｃｒ（色差）の３成分が利用される。また、このような各色成分の階調値には種々のノイズが含まれ得る。例えば、画像データの生成に利用された撮像素子（例えば、ＣＣＤ）によって生じたノイズや、撮像素子から得られたアナログデータをデジタルデータに変換するＡ−Ｄ変換素子によって生じたノイズや、各色成分の階調値の算出に利用された演算の誤差や、データの符号化（例えば、圧縮）によって生じたノイズ等が挙げられる。ここで、ノイズを低減するために種々の処理が提案されている。

C.Wang, P.Xue, W.Lin, W.Zhang, and S.Yu, "Fast Edge-Preserved Postprocessing for Compressed Images", Circuits and Systems for Video Technology, IEEE Transactions on Volume 16, Issue 9, Sept. 2006, page(s): 1142- 1147 H.Paek, R.C.Kim, and S.U.Lee, "On the POCS-based postprocessing technique to reduce the blockingartifacts in transform coded images", Circuits and Systems for Video Technology, IEEE Transactions on Volume 8, Issue 3, Jun 1998, page(s): 358-367 H.Paek, R.C.Kim, and S.U.Lee, "A DCT-based spatially adaptive post-processing technique to reducethe blocking artifacts in transform coded images", Circuits and Systems for Video Technology, IEEE Transactions on Volume 10, Issue 1, Feb 2000 Page(s):36 - 41 A.Zakhor, " Iterative procedures for reduction of blocking effects in transformimage coding", Circuits and Systems for Video Technology, IEEE Transactions on Volume 2, Issue 1, Mar 1992, page(s): 91-95

画像中のノイズを低減する技術では、画像がぼやけることを抑制しつつ、ノイズを低減することが好ましい。ところが、各画素の色が複数の色成分によって表される場合に、ノイズ低減と画像ぼやけと色成分との関係を考慮することに関しては十分な工夫がなされていないのが実情であった。

本発明は、上記の課題の少なくとも一部を解決するためになされたものであり、ノイズ低減と画像ぼやけと色成分との関係を考慮してノイズを低減することができる技術を提供することを目的とする。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］各画素の色がＮ種類（Ｎは２以上の整数）の元色成分によって表された対象画像データを処理する画像処理装置であって、前記対象画像データを解析することによって、前記Ｎ種類の元色成分を、前記各元色成分の分散のいずれよりも大きな分散を示す色成分を含むＮ種類の処理色成分に変換する変換部と、前記対象画像データによって表される対象画像の少なくとも一部の領域の個々の画素位置において、前記Ｎ種類の処理色成分のうちで分散が最も小さい処理色成分である最小分散処理色成分に対して最も強い平滑化処理を実行する平滑化処理部と、を備える、画像処理装置。

この構成によれば、Ｎ種類の元色成分が、より大きな分散を示す色成分を含むＮ種類の処理色成分に変換されるので、より分散の大きい色成分と、他の色成分とを処理色成分として利用可能である。さらに、分散が最も小さい処理色成分に最も強い平滑化処理が実行されるので、分散の大きな処理色成分に対して過剰に強い平滑化処理が実行されることが防止される。その結果、画像が過剰にぼやけることが防止される。そして、分散が最も小さい処理色成分に対する強い平滑化処理によって、ノイズを適切に低減することができる。これらの結果、ノイズ低減と画像ぼやけと色成分との関係を考慮してノイズを低減することができる。

［適用例２］適用例１に記載の画像処理装置であって、前記平滑化処理部は、前記Ｎ種類の処理色成分の内の前記最小分散処理色成分を含むＭ種類（Ｍは２以上Ｎ以下の整数）の処理色成分のそれぞれに対して、分散が小さいほど強い平滑化処理を実行する、画像処理装置。

この構成によれば、分散が小さいほど強い平滑化処理が実行されるので、分散の大きな処理色成分が過剰に平滑化されて画像がぼやけることを抑制できる。そして、分散の小さな処理色成分を強く平滑化することによってノイズを低減することができる。

［適用例３］適用例１または適用例２に記載の画像処理装置であって、前記変換部は、主成分分析によって、前記元色成分と前記処理色成分との対応関係を決定する、画像処理装置。

この構成によれば、各元色成分の分散のいずれよりも大きな分散を示す色成分を含むＮ種類の処理色成分の算出を、容易に行うことができる。

［適用例４］適用例２に記載の画像処理装置であって、前記対象画像データは、複数の画素を含む画素ブロック毎の復号を利用して生成された画像データであり、前記画像処理装置は、さらに、前記Ｍ種類の処理色成分の中の特定処理色成分に関して、前記対象画像データ内の対象画素ブロックと、前記対象画素ブロックに隣接する他の画素ブロックとの間の境界線におけるブロックノイズ強度を、前記対象画像データを用いた所定のノイズ強度演算によって算出するノイズ強度算出部を備え、前記平滑化処理部は、前記特定処理色成分に関して、前記対象画素ブロック内の少なくとも一部の領域に対して、前記ブロックノイズ強度が強いほど強い平滑化処理を実行し、前記ノイズ強度演算は、前記対象画素ブロック内の画素値の変化率の大きさを示す指数が大きいほど弱い前記ブロックノイズ強度が算出されるように設定されている、画像処理装置。

この構成によれば、対象画素ブロック内の画素値の変化率が大きいほど弱い平滑化処理が実行されるので、画像がぼやける等の不具合の発生を抑制しつつブロックノイズを低減することができる。

［適用例５］各画素の色がＮ種類（Ｎは２以上の整数）の元色成分によって表された対象画像データを処理する画像処理方法であって、前記対象画像データを解析することによって、前記Ｎ種類の元色成分を、前記各元色成分の分散のいずれよりも大きな分散を示す色成分を含むＮ種類の処理色成分に変換する工程と、前記対象画像データによって表される対象画像の少なくとも一部の領域の個々の画素位置において、前記Ｎ種類の処理色成分のうちで分散が最も小さい処理色成分である最小分散処理色成分に対して最も強い平滑化処理を実行する工程と、を備える、方法。

［適用例６］各画素の色がＮ種類（Ｎは２以上の整数）の元色成分によって表された対象画像データを処理するためのコンピュータプログラムであって、
前記対象画像データを解析することによって、前記Ｎ種類の元色成分を、前記各元色成分の分散のいずれよりも大きな分散を示す色成分を含むＮ種類の処理色成分に変換する機能と、前記対象画像データによって表される対象画像の少なくとも一部の領域の個々の画素位置において、前記Ｎ種類の処理色成分のうちで分散が最も小さい処理色成分である最小分散処理色成分に対して最も強い平滑化処理を実行する機能と、をコンピュータに実現させるコンピュータプログラム。

なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。

次に、この発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ｂ．平滑化処理の実施例：
Ｃ．変形例：

Ａ．第１実施例：
図１は、本発明の一実施例としてのプリンタを示す説明図である。図１（Ａ）は、プリンタ１００の外観を示し、図１（Ｂ）は、プリンタ１００の構成の概略を示している。図１（Ａ）に示すように、このプリンタ１００は、ディスプレイ４０と、操作パネル５０と、メモリカードインターフェース７０と、を備えている。さらに、図１（Ｂ）に示すように、このプリンタ１００は、制御部２００と、印刷エンジン３００と、を備えている。

制御部２００は、ＣＰＵ２１０と、ＲＯＭ２２０と、ＲＡＭ２３０と、を備えるコンピュータである。この制御部２００は、プリンタ１００の各構成要素を制御する。印刷エンジン３００は、与えられた印刷データに応じて印刷を実行する印刷機構である。印刷機構としては、インク滴を印刷媒体に吐出して画像を形成する印刷機構や、トナーを印刷媒体上に転写・定着させて画像を形成する印刷機構等の種々の印刷機構を採用可能である。ディスプレイ４０は、画像を含む種々の情報を表示する。ディスプレイ４０としては、液晶ディスプレイや有機ＥＬディスプレイ等の種々のディスプレイを採用可能である。操作パネル５０は、停止ボタン５２と、選択ボタン５４と、再生ボタン５６と、送りボタン５８と、戻しボタン５９と、を含む複数のボタンを有している。いずれかのボタンが押下された場合には、そのボタンが押下されたことを示す信号が、制御部２００に供給される。操作パネル５０は、ユーザの指示を受ける入力部として機能する。このような入力部としては、操作パネル５０に限らず、タッチパネル等のユーザの指示を受ける種々の入力装置を採用可能である。メモリカードインターフェース７０は、メモリカードＭＣを挿入するスロットＭＳを含んでいる。メモリカードＭＣに格納されたデータは、メモリカードインターフェース７０を介して、制御部２００によって読み出される。

図２は、ＲＯＭ２２０（図１）に格納されたモジュールを示す説明図である。第１実施例では、選択モジュール４００と、フィルタモジュール４２０と、出力モジュール４３０と、がＲＯＭ２２０に格納されている。これらのモジュールは、ＣＰＵ２１０によって実行されるプログラムである。また、各モジュールは、ＲＡＭ２３０（図１（Ｂ））を介して種々のデータをやりとりすることが可能である。

図３は、フィルタモジュール４２０を示す説明図である。フィルタモジュール４２０は、色成分変換モジュール４２１と、平滑化モジュール４２４と、を含んでいる。なお、図２、図３に示す各モジュールの機能については、後述する。

図４は、動画像処理の手順を示すフローチャートである。この動画像処理は、制御部２００（図１）によって実行される。この動画像処理では、動画像に含まれる複数の静止画像の中からユーザによって対象画像が指定され、そして、対象画像が印刷される。制御部２００は、スロットＭＳ（図１）に動画像データを格納するメモリカードＭＣが挿入されたことに応じて、自動的に動画像処理を開始する。あるいは、制御部２００は、ユーザの指示に従って、動画像処理を開始してもよい。

最初のステップＳ１００では、選択モジュール４００（図２）が、メモリカードＭＣから動画像データを取得し、動画像の再生を開始する。動画像データのフォーマットとしては、ＭＰＥＧ（Moving Picture Experts Group）やＭｏｔｉｏｎＪＰＥＧ等の種々のフォーマットがある。また、スキャン方式としては、プログレッシブとインタレースとがある。第１実施例では、動画像データのフォーマットが、プログレッシブスキャンのＭＰＥＧフォーマットであることとしている。このような動画像データは、複数のピクチャを含んでいる。このようなピクチャには、いわゆるＩピクチャ、Ｐピクチャ、Ｂピクチャが含まれ得る（図示省略）。第１実施例では、１枚のピクチャが、ある時点における１枚のフレーム画像（静止画像）を表している。

選択モジュール４００は、各ピクチャをデコードすることによって、時系列に沿って並ぶ複数の静止画像を表す静止画像データ（フレーム画像データ）を取得し、取得した静止画像データが表す静止画像（フレーム画像）をディスプレイ４０に表示させる。そして、選択モジュール４００は、表示されるフレーム画像を時系列に沿った順番に切り換えることによって、動画像を再生する。

よく知られているように、ＭＰＥＧフォーマットのピクチャは、画素ブロック毎に符号化されている。選択モジュール４００は、画素ブロック毎にデータを復号（デコード）することによって、フレーム画像データを復元する。

また、図４のステップＳ１００では、ユーザによって対象画像が指定される。第１実施例では、選択ボタン５４（図１（Ｂ））が押下された時点に表示されているフレーム画像が対象画像として利用される。ユーザは、ディスプレイ４０に表示される動画像を見て、好みのショットが表示された時点で選択ボタン５４を押下すればよい。選択ボタン５４が押下されたことを示す信号は、操作パネル５０から制御部２００に供給される。以下、この信号を「指定信号」とも呼ぶ。

選択モジュール４００は、指定信号の受信に応じて、その時点に表示されていたフレーム画像が対象画像として指定されていることを、認識する。選択モジュール４００は、指定信号の受信に応じて、動画像の再生を停止する。そして、選択モジュール４００は、対象画像を表す対象画像データ（デコードによって生成された画像データ）を、フィルタモジュール４２０に供給する。

図４の次のステップＳ１１０では、フィルタモジュール４２０によって、対象画像データに対するフィルタ処理が実行される。このフィルタ処理は、画像データに含まれるノイズを低減する処理である。この処理の詳細については後述する。フィルタ処理が完了したことに応答して、フィルタモジュール４２０は、処理済みの対象画像データを出力モジュール４３０に供給する。

次のステップＳ１３０では、出力モジュール４３０は、対象画像データを利用した印刷を開始する。出力モジュール４３０は、対象画像データを利用して印刷データを生成し、生成した印刷データを印刷エンジン３００に供給する。印刷エンジン３００は、受信した印刷データを利用して印刷を実行する。印刷が完了したことに応じて、図４の動画像処理は終了する。

図５は、フィルタ処理の手順を示すフローチャートである。最初のステップＳ５００では、色成分変換モジュール４２１（図３）が、対象画像データを解析することによって、画像データの色成分を変換する。次のステップＳ５１０では、平滑化モジュール４２４は、変換後の各色成分に対して平滑化処理を実行する。以下、最初に色成分変換について説明し、続けて、平滑化処理について説明する。

色成分変換：
図６は、主成分分析の概略を示す説明図である。本実施例では、色成分変換に主成分分析の手法が利用される。主成分分析では、複数種類の成分を総合して新しい成分が算出される。

図中には、２つの成分ｘ１、ｘ２で表されるグラフが示されている。多数の黒ドットは、２つの成分ｘ１、ｘ２で表される測定点ＭＰを示している。このような２成分で表されるデータとしては、種々のデータが挙げられる。例えば、振動する振り子の上から見た位置が挙げられる。この場合、第１成分ｘ１は、第１方向Ｄ１の位置を示し、第２成分ｘ２は、第１方向Ｄ１とは垂直な第２方向Ｄ２の位置を示している。また、測定点ＭＰは、一定時間毎に測定された振り子の位置を示している。

図６のグラフでは、測定点ＭＰの分布形状は、第１方向Ｄ１と第２方向Ｄ２とのいずれとも斜めに交わる第３方向Ｄ３に沿って延びる直線形状である。このような分布は、上から見て、振り子が第３方向Ｄ３と平行な直線上を往復運動している場合に得られる。なお、各成分ｘ１、ｘ２にはノイズ（例えば、測定誤差）が含まれているので、測定点ＭＰは、各方向Ｄ１、Ｄ２に広がっている。

図中には、別の２成分ｙ１、ｙ２も示されている。第１成分ｙ１は、第３方向Ｄ３の位置を示し、第２成分ｙ２は、第３方向Ｄ３と垂直な方向の位置を示している（すなわち、ｙ１軸はｙ２軸と直交している）。振り子の運動は、元の２成分ｘ１、ｘ２の代わりに、新たな２成分ｙ１、ｙ２によって表され得る。ここで、振り子は、第３方向Ｄ３と平行に運動している。従って、第１成分ｙ１を利用することによって、元の２成分ｘ１、ｘ２の一方のみを利用する場合と比べて、振り子の運動の特徴を詳細に把握することができる。また、これらの新たな２成分ｙ１、ｙ２は、元の２つの成分ｘ１、ｘ２の線形変換によって表される。このように、元の２つの成分ｘ１、ｘ２を総合して得られる新たな第１成分ｙ１は、元の２成分ｘ１、ｘ２のそれぞれと比べて、データの特徴を強く反映している。一方、第２成分ｙ２は、ノイズによる変動を主に表している。

このように、主成分分析では、複数の成分を総合することによって、データの特徴を強く反映した成分が算出される。このような成分は、分散が最大となるような成分を算出することによって、得られる。例えば、図６の例では、測定点ＭＰの分布の分散を種々の方向に沿って見たときに、第１成分ｙ１の第１分散σｙ１²が最大である。また、第２成分ｙ２の第２分散σｙ２²は、第１分散σｙ１²よりも小さい。このように、分散が大きい成分は、データの特徴を強く反映しているということができる。

以上、成分数が２の場合について説明したが、成分数が３以上の場合にも同様に、データの特徴を強く反映した成分が算出される。一般に、主成分分析では、Ｎ種類（Ｎは２以上の整数）の元の成分の線形結合によって、Ｎ種類の主成分が表される。各元成分に割り当てられる係数の２乗和は「１」に維持される。また、各主成分の軸は互いに直交する。このような条件下で、分散が最大となるような主成分が算出される（「第１主成分」とも呼ばれる）。また、分散が２番目に大きな成分も算出される（「第２主成分」とも呼ばれる）。このように、分散がＬ番目（Ｌは１以上Ｎ以下の整数）に大きな主成分（「第Ｌ主成分」とも呼ばれる）が、それぞれ、算出される。このような主成分は、元の成分の共分散行列の固有ベクトルを算出することによって、得られることが知られている。１つの固有ベクトルの各要素は、１つの主成分に関する各元成分に割り当てられる係数を、それぞれ表している。

本実施例では、色成分変換モジュール４２１（図３）は、各画素の色を表すＮ種類（Ｎは２以上の整数）の成分から、Ｎ種類の主成分を算出する。画像データにおいては、図６に示すグラフのように主成分間の分散の差が極端に大きくなることは少ないが、上述したように、分散が大きい主成分は、画像データの特徴を強く反映している。そこで、本実施例では、各主成分に対して、分散が小さいほど強い平滑化処理が実行される。これにより、画像が過剰にぼやけることを抑制し、そして、ノイズを低減することができる。以下、主成分とノイズとの関係について詳細に説明する。

本実施例では、対象画像データの総画素数がＰ（Ｐは２以上の整数）であり、各画素の色がＲＧＢの３成分で表されていることとする。すなわち、対象画像データは、赤成分Ｒ（ｋ）と、緑成分Ｇ（ｋ）と、青成分Ｂ（ｋ）とを含んでいる（ｋは画素識別番号を示す。ｋ＝１〜Ｐ）。ここで、以下の数式１で表されるベクトルＶｘｍ（ｋ）を考える。

このベクトルＶｘｍ（ｋ）の各成分ｘｍＲ（ｋ）、ｘｍＧ（ｋ）、ｘｍＢ（ｋ）は、Ｒ、Ｇ、Ｂの各成分を、平均値が「０」になるようにシフトさせた値である（各成分Ｒ（ｋ）、Ｇ（ｋ）、Ｂ（ｋ）の期待値は、平均値と同じである）。また、このベクトルＶｘｍ（ｋ）は、ｋ番目の画素の画素値を表している。

ここで、各成分ｘｍＲ（ｋ）、ｘｍＧ（ｋ）、ｘｍＢ（ｋ）には、種々のノイズが含まれている。そこで、各成分ｘｍＲ（ｋ）、ｘｍＧ（ｋ）、ｘｍＢ（ｋ）が、本来の値ｘｏＲ（ｋ）、ｘｏＧ（ｋ）、ｘｏＢ（ｋ）と、ノイズｎＲ（ｋ）、ｎＧ（ｋ）、ｎＢ（ｋ）との和で表されていると仮定する（本来の値ｘｏＲ、ｘｏＧ、ｘｏＢと、ノイズｎＲ、ｎＧ、ｎＢとは、現実には区別できない）。すると、観測信号を表すベクトルＶｘｍ（ｋ）は、本来の値（「真の値」とも呼ぶ）を表すベクトルＶｘｏ（ｋ）とノイズを表すベクトルＶｎ（ｋ）とを用いた数式２で表される。

ここで、３つのノイズｎＲ（ｋ）、ｎＧ（ｋ）、ｎＢ（ｋ）のそれぞれの平均値が「０」であり、３つのノイズｎＲ（ｋ）、ｎＧ（ｋ）、ｎＢ（ｋ）が、自身以外と相関が無く、そして、各ノイズｎＲ（ｋ）、ｎＧ（ｋ）、ｎＢ（ｋ）の分散が等しいと仮定する。このような仮定は、種々のノイズに対して、近似的に成立する。特に、色成分に依存せずに生じるノイズに関しては、この仮定は良い近似である。このような仮定の下では、以下の数式３が成立する。

ｎｊ（ｋ）はｘｏｉ（ｋ）と相関が無いので、「ｘｏｉ（ｋ）ｎｊ（ｋ）」の期待値はゼロである（ｉ、ｊ＝Ｒ、Ｇ、Ｂ）。また、「ｎｉ（ｋ）ｎｊ（ｋ）」の期待値は、「ｉ＝ｊ」の場合には、ｎｉ（ｋ）の分散σ_ni ²と同じである。なお、上述の仮定の下では、分散σ_ni ²（ｉ＝Ｒ、Ｇ、Ｂ）は、同じ値（σ_n ²）である。

次に、真の値ｘｏＲ、ｘｏＧ、ｘｏＢの共分散行列Ｃｘｏを考える。この行列Ｃｘｏは、以下の数式４で表される。

行列Ｃｘｏの非対角要素は、異なる色成分間におけるｘｏｉ（ｉ＝Ｒ、Ｇ、Ｂ）の共分散である。次に、ノイズｎＲ、ｎＧ、ｎＢの共分散行列Ｃｎを考える。この行列Ｃｎは、上述の数式３から、以下の数式５で表される。

以上の表記を利用すれば、観測信号ｘｍｉ（ｉ＝Ｒ、Ｇ、Ｂ）のＳＮ比は、以下の数式６で表される。

次に観測信号ｘｍＲ、ｘｍＧ、ｘｍＢの共分散行列Ｃｘｍを考える。この行列Ｃｘｍは、以下の数式７で表される

色成分変換モジュール４２１（図３）は、３つの成分ｘｍｉ（ｉ＝Ｒ、Ｇ、Ｂ）から３つの主成分を算出するために、行列Ｃｘｍの固有ベクトルを算出する。固有ベクトルとの算出方法としては、周知の種々の方法を採用可能である。以下の数式８は、固有値λｉと固有ベクトルＶｗｉとを示している（ｉ＝１、２、３）。

主成分分析において知られているように、各固有値λｉ（ｉ＝１、２、３）は正値である。また、各固有値λｉは、各固有ベクトルＶｗｉを用いて得られる主成分の分散と等しい。従って、最も大きな第１固有値λ１に対応する第１固有ベクトルＶｗ１を利用すれば、第１主成分が得られる。そして、２番目に大きな第２固有値λ２に対応する第２固有ベクトルＶｗ２を利用すれば、第２主成分が得られる。そして、３番目に大きな第３固有値λ３に対応する第３固有ベクトルＶｗ３を利用すれば、第３主成分が得られる。

色成分変換モジュール４２１（図３）は、算出された固有ベクトルＶｗｉを用いて３つの主成分ｙｍｉ（ｋ）を算出する（ｉ＝１、２、３）。主成分を表すベクトルＶｙｍ（ｋ）は、以下の数式９によって表される。

第１主成分ｙｍ１（ｋ）は、３つの観測信号ｘｍＲ、ｘｍＧ、ｘｍＢの線形結合で表される信号の内で、分散が最大となる信号（成分）を表している。逆に、第３主成分ｙｍ３（ｋ）は、３つの観測信号ｘｍＲ、ｘｍＧ、ｘｍＢの線形結合で表される信号の内で、分散が最小となる信号（成分）を表している。なお、行列Ｍｗは、固有ベクトルＶｗｉ（ｉ＝１、２、３）を並べて得られる行列を示している。

次に、主成分ｙｍ１、ｙｍ２、ｙｍ３の共分散行列Ｃｙｍを考える。この行列Ｃｙｍは、数式７、数式９から、以下の数式１０で表される。

ここで、数式１０の最後の行に示す行列演算「Ｍｗ^TＣｘｏＭｗ」は、対角行列となる。この理由は以下の通りである。上述の数式７から理解できるように、行列Ｃｘｍの固有ベクトルは、行列Ｃｘｏの固有ベクトルと同じである（固有値は異なる）。すなわち、行列Ｃｘｍの固有ベクトルＶｗｉ（ｉ＝１、２、３）は、行列Ｃｘｏの固有ベクトルでもある。そして、行列Ｍｗは、これらの固有ベクトルＶｗｉを並べて得られる行列である。従って、「Ｍｗ^TＣｘｏＭｗ」の非対角要素は「ゼロ」になる。ここで、行列演算「Ｍｗ^TＣｘｏＭｗ」の３つの対角要素を、以下の数式１１に示すように、σ_yoi ²とおく（ｉ＝１、２、３）。

さらに、数式１０に示す行列Ｃｙｍの対角要素は、主成分ｙｍｉの分散を示している。そして、数式１０の最後の行に示す行列演算「σ_n ²Ｉ」は、ノイズの分散を示している。従って、残りの値σ_yoi ²（ｉ＝１、２、３）は、各主成分ｙｍ１、ｙｍ２、ｙｍ３の分散からノイズの分散を除いた値、すなわち、本来の値の分散を示している。以下、各主成分ｙｍ１（ｋ）、ｙｍ２（ｋ）、ｙｍ３（ｋ）の本来の値を、それぞれ、値ｙｏ１（ｋ）、ｙｏ２（ｋ）、ｙｏ３（ｋ）と呼ぶ。

ここで、以上の表記を利用すれば、主成分ｙｍｉの分散σ_ymi ²は、以下の数式１２によって表される。

また、主成分ｙｍｉ（ｉ＝１、２、３）のＳＮ比は、以下の数式１３で表される。

ここで、上述の数式１１において、行列Ｍｗは、固有ベクトルＶｗｉを並べて得られる行列であるので、各値σ_yoi ²（ｉ＝１、２、３）は、行列Ｃｘｏの固有値を示している。また、主成分分析の性質から、第１固有値σ_yo1 ²を、共分散行列Ｃｘｏの基の成分ｘｏｉの分散σ_xoi ²（ｉ＝Ｒ、Ｇ、Ｂ）と比較したときに、以下の数式１４が成立する。

従って、第１主成分ｙｍ１のＳＮ比を、元の成分ｘｍＲ、ｘｍＧ、ｘｍＢのＳＮ比よりも向上させることが可能となる（数式６、数式１３）。このことは、以下のように言い換えることもできる。上述したように、第１主成分ｙｍ１の分散σ_ym1 ²は、元成分ｘｍｉの分散σ_xmi ²（ｉ＝Ｒ、Ｇ、Ｂ）以上の値に設定される。一方、ノイズの分散は、第１主成分ｙｍ１と元成分ｘｍｉ（ｉ＝Ｒ、Ｇ、Ｂ）との間で同じである。その結果、第１主成分ｙｍ１のＳＮ比を向上させることができる。

また、主成分分析で知られているように、以下の数式１５が成立する。すなわち、分散の和が維持される。

従って、第１主成分ｙｍ１に関する分散σ_yo1 ²の最大化によって、他の主成分ｙｍ２、ｙｍ３に関する分散σ_yo2 ²、σ_yo3 ²は比較的小さな値に設定される。

以上をまとめると、第１主成分ｙｍ１の真の値ｙｏ１の分散は最も大きく、第１主成分ｙｍ１のＳＮ比は最も大きい。このように、第１主成分ｙｍ１は、画像データの特徴を最も強く反映している重要な成分であり、ノイズの影響が最も小さい綺麗な成分である。一方、第２主成分ｙｍ２と第３主成分ｙｍ３とに関しては、第１主成分ｙｍ１と比べて、重要性が低く、ノイズの影響も大きい。特に、第３主成分ｙｍ３の真の値ｙｏ３の分散は最も小さく、第３主成分ｙｍ３のＳＮ比は最も小さい。このように、第３主成分ｙｍ３は、ノイズの影響を最も強く受けている成分である。このように、色成分変換モジュール４２１（図３）は、主成分分析の手法を用いることによって、ＳＮ比が高く重要性の高い主成分と、ＳＮ比が低く重要性の低い主成分と、を算出する。

図７、図８は、主成分算出の一例を示す説明図である。図７は、サンプル画像ＳＳＩを示している。サンプル画像ＳＳＩは、５１２＊５１２画素の画像データによって表されている。各画素の色は、ＲＧＢの３成分によって表されている。各色成分は０〜２５５の整数値で表されている。図８は、サンプル画像ＳＳＩにノイズを付加することによって得られるノイズ付加画像ＮＳＩを示している。ノイズ付加画像ＮＳＩでは、ＲＧＢのそれぞれの成分に、ノイズが付加されている。ノイズとしては、平均値が「０」であるガウス分布のランダム値が採用されている。ここで、ノイズ付加画像ＮＳＩにおいて、ＲＧＢ各成分のＳＮ比（数式６）が、それぞれ、約１０ｄＢとなるように、ノイズが調整されている。このＳＮ比の算出では、サンプル画像ＳＳＩの画素値が真の値として利用されている。

図８の下部には、算出された主成分ｙｍ１、ｙｍ２、ｙｍ３と元のＲＧＢ成分ｘｍＲ、ｘｍＧ、ｘｍＢとの関係が示されている。色成分変換モジュール４２１は、上述のように主成分分析によって、元の成分ｘｍＲ、ｘｍＧ、ｘｍＢと主成分ｙｍ１、ｙｍ２、ｙｍ３との関係を決定し、そして、対象画像データの各画素の画素値を主成分ｙｍ１、ｙｍ２、ｙｍ３に変換する。平滑化モジュール４２４（図３）は、各主成分に対する平滑化処理を実行する。

平滑化処理：
平滑化モジュール４２４（図３）は、３つの主成分ｙｍ１、ｙｍ２、ｙｍ３のそれぞれに対して平滑化処理を実行する。平滑化モジュール４２４は、強度の異なる３つの平滑化フィルタを利用する。図９（Ａ）〜９（Ｃ）は、３つの平滑化フィルタＦ１、Ｆ２、Ｆ３を示す説明図である。本実施例では、対象画素の画素値が、対象画素と対象画素の周囲の画素とのそれぞれの画素値に重みを付して得られる重み付き合計値に設定される。各平滑化フィルタＦ１、Ｆ２、Ｆ３の要素は重みを表している。中央要素ＣＥＬを中心とする要素配置は、対象画素を中心とする画素配置と同じである。例えば、中央要素ＣＥＬは、対象画素の重みを示し、中央要素ＣＥＬの上の要素ＵＥＬは、対象画素の上の画素の重みを示している。

平滑化処理の強度（「平滑化強度」とも呼ぶ）の強い順番は、第３成分フィルタＦ３、第２成分フィルタＦ２、第１成分フィルタＦ１の順番である。平滑化強度が強いほど、対象画素と対象画素に隣接する画素との間の画素値の差が小さくなる。また、第１成分フィルタＦ１は、第１主成分ｙｍ１の平滑化に利用され、第２成分フィルタＦ２は、第２主成分ｙｍ２の平滑化に利用され、第３成分フィルタＦ３は、第３主成分ｙｍ３の平滑化に利用される。このように、平滑化モジュール４２４は、分散が小さいほど強い平滑化処理を実行する。これらの結果、分散の大きい重要な主成分が過剰に平滑化されて画像がぼやけることを抑制することができる。そして、分散の小さな主成分を強く平滑化することによってノイズを低減することができる。すなわち、ノイズ低減と画像ぼやけと色成分との関係を考慮してノイズを低減することができる。

図１０は、処理画像ＥＩを示している。この処理画像ＥＩは、図９のフィルタＦ１、Ｆ２、Ｆ３を、主成分ｙｍ１、ｙｍ２、ｙｍ３に、それぞれ適用することによって得られる画像である。なお、図５のステップＳ５１０では、平滑化モジュール４２４（図３）は、各主成分ｙｍ１、ｙｍ２、ｙｍ３のそれぞれに対して平滑化処理を実行する。そして、色成分変換モジュール４２１は、平滑化処理の完了に応答して、処理済みの主成分ｙｍ１、ｙｍ２、ｙｍ３を、ＲＧＢに逆変換する。この逆変換には、上述の元成分ｘｍＲ、ｘｍＧ、ｘｍＢと主成分ｙｍ１、ｙｍ２、ｙｍ３との関係がそのまま利用される。また、この逆変換によって、処理済みの対象画像データが生成される。

図１１、図１２は比較例における処理画像ＣＩ１、ＣＩ２を示している。これらの比較例の処理画像ＣＩ１、ＣＩ２は、ノイズ付加画像ＮＳＩ（図８）のＲＧＢの各色成分に対して同じ平滑化処理を実行することによって得られる画像である。図１３（Ａ）、１３（Ｂ）は、比較例で利用された平滑化フィルタＦ１１、Ｆ１２を示している。第１比較フィルタＦ１１は、比較例１の処理画像ＣＩ１の生成に利用されたフィルタである。第２比較フィルタＦ１２は、比較例２の処理画像ＣＩ２の生成に利用されたフィルタである。第１比較フィルタＦ１１によって、比較的強い平滑化が行われる。第２比較フィルタＦ１２によって、比較的弱い平滑化が行われる。

図１０、図１１、図１２に示すように、実施例では、画像が過剰にぼやけることが抑制され、そして、ノイズが低減されている。一方、比較例１、比較例２では、ノイズが低減されているが、画像が過剰にぼやけている。比較例においても、平滑化強度を低減すれば、画像のぼやけが緩和され得る。ただし、ノイズの低減が不十分になる。

以上の図１０、図１１、図１２の説明は、統計的にも示される。図１４は、ＳＮ比と分散とを示す表である。図１４には、ＲＧＢの各色成分毎のＳＮ比と分散とが示されている。ＳＮ比の算出では、サンプル画像ＳＳＩの画素値が真の値として利用されている。また、ＳＮ比の平均値と分散の平均値も示されている。これらの値は、５枚の画像ＳＳＩ、ＮＳＩ、ＥＩ，ＣＩ１、ＣＩ２のそれぞれについて示されている。

図１４に示すように、実施例（処理画像ＥＩ）では、各色成分の分散の過剰な減少が防止されている。すなわち、画像の過剰なぼやけが防止されている。そして、ＳＮ比がノイズ付加画像ＮＳＩと比べて向上している。すなわち、ノイズが低減されている。

一方、比較例（処理画像ＣＩ１、ＣＩ２）では、各色成分の分散が過剰に減少している。すなわち、画像が過剰にぼやけている。ここで、平滑化強度を低減すれば、分散の過剰な現象を防止できるが、その代わりに、ノイズの低減が不十分になる。

以上のように、本実施例では、画像が過剰にぼやけることを抑制し、そして、ノイズを低減することができる。

Ｂ．平滑化処理の実施例：
上述の実施例において、平滑化処理としては、所定の平滑化フィルタを利用する処理に限らず、種々の処理を採用可能である。例えば、ブロックノイズ強度に応じた平滑化処理を実行してもよい。ブロックノイズは、以下に説明する画像で生じ得るノイズである。すなわち、画像を複数のブロックに分割して符号化する技術が知られている（例えば、ＪＰＥＧ方式やＭＰＥＧ方式）。このように符号化されたデータからは、ブロック毎の復号によって、画像データが復元される。このような符号−復号処理としては、非可逆性の処理が知られている（例えば、非可逆性圧縮−伸長）。また、このような非可逆性の処理に起因して、復号後の画像データにブロックノイズ（「ブロック歪み」とも呼ばれる）が生じる場合がある。そこで、このようなブロックノイズを効果的に低減するために、ブロックノイズの強度を算出し、その強度が強いほど強い平滑化処理を実行してもよい。以下、ブロックノイズ強度を利用した平滑化処理の実施例について説明する。

Ｂ１．ブロックノイズ強度を利用した平滑化処理の第１実施例：
図１５は、ピクチャの概要図である。本実施例では、１枚のピクチャＰＣＴは矩形画像を表している。また、１枚のピクチャＰＣＴは、複数の矩形状の画素ブロックＢＬＫに分割され、画素ブロックＢＬＫ毎にデータが符号化されている。これらの画素ブロックＢＬＫは、横方向ｈｒと縦方向ｖｔのそれぞれに沿って並んで配置されている。本実施例では、この画素ブロックＢＬＫは、８＊８画素のブロックである。選択モジュール４００は、画素ブロックＢＬＫ毎にデータを復号（デコード）することによって、フレーム画像データを復元する。

なお、ピクチャＰＣＴの横方向ｈｒの画素数と縦方向ｖｔの画素数としては、種々の値が採用され得る。ピクチャＰＣＴによって表される画像（被写体）が同一の場合には、ピクチャＰＣＴの画素数が多いほど、１つの画素ブロックＢＬＫは、被写体のより細かい一部分を表す。また、１つの画素ブロックＢＬＫの画素数としても、種々の値を採用可能である。

データ符号化としては、フレーム間予測、動き補償、ＤＣＴ（離散コサイン変換）、ハフマン符号化等を組み合わせた種々の符号化を採用可能である。そして、このような符号化によってデータが圧縮され得る。本実施例では、このような符号化として、非可逆性の処理が採用されている（例えば、ＤＣＴによって得られる複数の周波数成分の内の一部の高周波数成分が省略される）。その結果、データの復号（デコード）によって、ブロックノイズが生じ得る。例えば、画素ブロックＢＬＫの境界線に沿った色（画素値）の段差が生じる。

なお、フレーム間予測は、ピクチャの種類毎に異なっている。Ｉピクチャは予測無しの符号化を用いたデータであり、Ｐピクチャは順方向予測符号化を用いたデータであり、Ｂピクチャは双方向予測符号化を用いたデータである。Ｉピクチャに関しては、原画像に対してＤＣＴが実行される。ＰピクチャとＢピクチャとに関しては、フレーム間予測によって生成された予測誤差画像に対してＤＣＴが実行される。

図１６は、フィルタモジュール４２０ｂを示す説明図である。図３に示すフィルタモジュール４２０との差違は、ノイズ強度算出モジュール４２２が追加されている点だけである。

図１７は、色成分毎の平滑化処理の詳細な手順を示すフローチャートである。フィルタモジュール４２０ｂ（図１６）は、図１７の手順に従って、図５のステップＳ５１０の処理を実行する。最初のステップＳ２００では、ノイズ強度算出モジュール４２２は、第３主成分ｙｍ３を利用してブロックノイズ強度を算出する。次のステップＳ２１０では、平滑化モジュール４２４は、ブロックノイズ強度が強いほど強い平滑化処理を実行する。このような平滑化処理によってブロックノイズが低減される（「デブロッキング処理」とも呼ばれる）。以下、最初にブロックノイズ強度について説明し、続けて、平滑化処理について説明する。

ブロックノイズ強度：
図１８、図１９は、ブロックノイズ強度の算出に利用される画素値を示す説明図である。本実施例では、ノイズ強度算出モジュール４２２（図１６）は、色成分変換モジュール４２１（図１６）によって算出された第３主成分ｙｍ３に関するブロックノイズ強度を算出する。すなわち、ブロックノイズ強度の算出に、第３主成分ｙｍ３の画素値が利用される。この第３主成分ｙｍ３は、３種類の主成分ｙｍ１、ｙｍ２、ｙｍ３のうちで分散が最も小さい主成分である。

図１８には、対象画像ＳＩが示されている。以下、対象画像ＳＩに含まれる複数の画素ブロックＢＬＫの内の１つの画素ブロックＦに注目して説明を行う（以下、この画素ブロックＦを「対象ブロックＦ」とも呼ぶ）。図中には、対象ブロックＦを中心とする３＊３の画素ブロックのグループＢＧが拡大して示されている。この対象ブロックＦの上右下左には、上ブロックＮと、右ブロックＥと、下ブロックＳと、左ブロックＷとが、配置されている。また、対象ブロックＦと、これらの４つの画素ブロックＮ、Ｅ、Ｓ、Ｗと間には、境界線Ｂｎ、Ｂｅ、Ｂｓ、Ｂｗが、それぞれ形成されている。以下、横方向ｈｒに延びる境界線Ｂｎ、Ｂｓのことを「横境界線Ｂｎ、Ｂｓ」とも呼ぶ。また、縦方向ｖｔに延びる境界線Ｂｗ、Ｂｅのことを「縦境界線Ｂｗ、Ｂｅ」とも呼ぶ。

図１８には、対象ブロックＦの８＊８の画素値ｆ１１〜ｆ８８が示されている。画素値を表す符号は、アルファベットと２つの数字とで構成されている。アルファベットは、画素ブロックを表すアルファベット符号の小文字を示している。最初の数字は、画素ブロック内の縦方向ｖｔの画素位置を示している。最上位置から下に向かって順番に１〜８が割り当てられている。以下、この縦方向ｖｔの画素位置を縦画素位置ｖｔｐと呼ぶ。また、最後の数字は、画素ブロック内の横方向ｈｒの画素位置を示している。最左位置から右に向かって順番に１〜８が割り当てられている。以下、この横方向ｈｒの画素位置を横画素位置ｈｒｐと呼ぶ。

また、対象ブロックＦ内の６４の画素値ｆ１１〜ｆ８８は、横方向ｈｒに沿って並ぶ８つの画素列Ｖｆ１〜Ｖｆ８に分けられる。各画素列Ｖｆ１〜Ｖｆ８は、縦方向ｖｔに沿って並ぶ８つの画素値で構成される。画素列を表す符号は、「Ｖ」に続くアルファベットと数字とで構成されている。アルファベットは、画素ブロックを表すアルファベット符号の小文字を示している。数字は、横画素位置ｈｒｐを示している。

以下、対象ブロックＦとは異なる他の画素ブロックの画素値に関しても、同じ表記法に基づく符号を用いる。

図１９は、左境界線Ｂｗの周辺の画素値を示している。図示された画素値は、この左境界線Ｂｗにおけるブロックノイズ強度の算出に利用される。この左境界線Ｂｗは、左ブロックＷの第８列Ｖｗ８と対象ブロックＦの第１列Ｖｆ１とに挟まれている。第８列Ｖｗ８の左には第７列Ｖｗ７が配置され、第１列Ｖｆ１の右には第２列Ｖｆ２が配置されている。

ノイズ強度算出モジュール４２２（図１６）は、まず、これらの画素列Ｖｗ７、Ｖｗ８、Ｖｆ１、Ｖｆ２を利用することによってＭＳＤＳ（Mean Square Difference of Slopes）を算出する。このＭＳＤＳは、以下に示す数式１６によって表されている。

２つの画素列の和は、行列の和と同様に、算出される。また、２つの画素列の差は、行列の差と同様に算出される。換言すれば、各画素列は、８次元の列ベクトルとして演算に利用される。例えば、演算「Ｖｆ１−Ｖｗ８」によって、ｉ行目の値が「ｆｉ１−ｗｉ８」であるような８次元の列ベクトルが算出される。また、Ｌ２ノルムは、２次のノルムとも呼ばれ、いわゆるユークリッド距離を算出する演算である。一般に、ｐ次（ｐは１以上の整数）のノルムは以下の数式１７によって表されている。

ＭＳＤＳの算出に利用される境界差分列Ｖｄｂは、左境界線Ｂｗを挟んで隣接する２本の画素列Ｖｆ１、Ｖｗ８の間の差分を表している。このような境界差分列Ｖｄｂは、左境界線Ｂｗ上における左境界線Ｂｗと垂直な方向の画素値の変化率を表している。画素値の変化率は、単位長さ当たりの画素値の変化量を意味している。本実施例では、１画素当たりの画素値の変化量が、画素値の変化率として利用される。

第１内部差分列Ｖｄｆは、対象ブロックＦの内部の２本の画素列Ｖｆ１、Ｖｆ２の間の画素値の差分を表している。これらの画素列Ｖｆ１、Ｖｆ２は、左境界線Ｂｗに最も近い２本の画素列である（左境界線Ｂｗに隣接する第１画素列Ｖｆ１と、この第１画素列Ｖｆ１に隣接する第２画素列Ｖｆ２）。このような第１内部差分列Ｖｄｆは、対象ブロックＦの内部における左境界線Ｂｗと垂直な方向の画素値の変化率を表している。

第２内部差分列Ｖｄｗは、第１内部差分列Ｖｄｆと同様の差分列を、左ブロックＷに関して算出したものである。第２内部差分列Ｖｄｗの算出には、左ブロックＷの内部の、左境界線Ｂｗに最も近い２本の画素列Ｖｗ８、Ｖｗ７が、利用される。

ＭＳＤＳは、境界差分列Ｖｄｂと、２つの内部差分列Ｖｄｆ、Ｖｄｗの平均との差分を利用して算出される。この差分は、左境界線Ｂｗと垂直な方向に沿ってみたときの、画素値変化率の２次微分を表している。このような差分（２次微分）は、左境界線Ｂｗ上での変化率が、その両側の変化率と比べて大きく外れている場合に大きくなる。すなわち、このような差分（２次微分）は、左境界線Ｂｗに沿ってブロックノイズが生じている場合に、大きくなる。

図２０は、左境界線Ｂｗと垂直な方向に沿ってみたときの画素値の変化の一例を示すグラフである。横軸は、横方向ｈｒの画素位置を示している。横軸に添えられた数値は、横画素位置ｈｒｐを示している。縦軸は画素値を示している。本実施例では、画素値は、０〜２５５の範囲内の整数値に設定される。グラフには、左境界線Ｂｗを垂直に横切る代表的な１つの行が示されている。このグラフには、左境界線Ｂｗに近い６つの画素列の画素値が示されている（Ｖｗ６〜Ｖｗ８、Ｖｆ１〜Ｖｆ３）。図２０のグラフでは、画素位置が左ブロックＷから対象ブロックＦに向かって変化したときに、画素値がゆっくりと低減している。このような緩やかな画素値の変化は、例えば、画素ブロックＷ、Ｆが、緩やかなグラデーションを表している場合に、生じる。

図２０では、各画素ブロックＦ、Ｗの内部での画素値の変化は小さく、内部差分列Ｖｄｆ、Ｖｄｗが示す差分は「３」である。一方、境界差分列Ｖｄｂが示す差分は、画素ブロック内部の差分よりも大きな「６」である。このように、左境界線Ｂｗ上で画素値がステップ状に変化している。ここで、左境界線Ｂｗを横切る他の７つの行についても、画素値が同様に変化していることとする。すなわち、左境界線Ｂｗと垂直な方向のステップ状の画素値変化が、左境界線Ｂｗに沿って並んで形成されている。

このような左境界線Ｂｗに沿ったステップ状の画素値変化は、原画像には無い場合であっても、非可逆性符号化と復号とによって生じ得る（ブロックノイズ）。また、このような左境界線Ｂｗに沿って並ぶステップ状の画素値変化は、図２０に示すように画素値がゆっくり変化する領域においては、特に目立ちやすい（見た目のブロックノイズ強度が強い）。また、図１９に示すように、ＭＳＤＳの算出に利用される差分列Ｖｄｂ、Ｖｄｆ、Ｖｄｗは、いずれも、左境界線Ｂｗと平行な複数の画素列の間の画素値差分を表している。従って、ＭＳＤＳは、左境界線Ｂｗに沿ってブロックノイズが生じた場合に、大きくなる。

図２１は、画素値の変化の別の例を示すグラフである。縦軸と横軸とは、図２０の例と同じである。図２１の例では、図２０の例とは異なり、画素位置が左ブロックＷから対象ブロックＦに向かって変化したときに、画素値が急激に低減している。特に、画素ブロックＷ、Ｆの内部においても画素値が大きく変化している。このような急な画素値の変化は、例えば、画素ブロックＷ、Ｆが、被写体の左境界線Ｂｗと平行に延びるエッジを表している場合に、生じる。特に、画素ブロックＷ、Ｆが、エッジの多い被写体（例えば、芝生）を表す場合には、ブロック内部での画素値の変化が大きくなる。

図２１では、内部差分列Ｖｄｆ、Ｖｄｗが示す差分は「１０」である。また、境界差分列Ｖｄｂが示す差分は「１６」である。左境界線Ｂｗを横切る他の７つの行についても、画素値が同様に変化していることとする。すなわち、比較的大きな画素値変化が、左境界線Ｂｗに沿って並んで形成されている。ところが、左境界線Ｂｗの周辺での変化（１０）に対する左境界線Ｂｗ上の変化（１６）の割合（１６／１０）は、図２０の例（６／３）と比べて大幅に小さい。このように、変化の割合が小さい場合には、ブロックノイズは目立ちにくい（見た目のブロックノイズ強度が弱い）。ところが、上述のＭＳＤＳは、大きくなってしまう。

このようなＭＳＤＳの特性は、数学的にも示される。以下に示す数式１８は、ＭＳＤＳを表す数式１６に三角不等式を適用して得られる関係式を示している。

ブロック内部エッジ強度ＢＥＳ（以下「エッジ強度ＢＥＳ」とも呼ぶ）は、各ブロックＦ、Ｗの内部における、左境界線Ｂｗと垂直な方向の画素値の変化率の大きさを表している。図２１に示すように各画素ブロックＦ、Ｗが画像中の被写体のエッジを表している場合に、このエッジ強度ＢＥＳは大きくなる。従って、エッジ強度ＢＥＳは、画素ブロック内部のエッジ強度を表していると考えることができる。また、数式１８に示すように、このエッジ強度ＢＥＳが大きい場合には、ＭＳＤＳの平方根の上限値が大きくなる。すなわち、エッジ強度ＢＥＳが大きい場合には、ブロックノイズが目立たない場合であっても、ＭＳＤＳが大きくなり得る。

そこで、本実施例では、以下に示す数式１９で表される値をブロックノイズ強度ＢＮＳとして利用する。

数式１９によって示されるように、ブロックノイズ強度ＢＮＳは、ＭＳＤＳの平方根をエッジ強度ＢＥＳで割って得られる値である。その結果、画素ブロック内部での画素値の変化率（Ｖｄｗ、Ｖｄｆ）が大きいほど、ブロックノイズ強度ＢＮＳは小さくなる。例えば、図２０に示すように画素値の変化が小さい領域中の左境界線Ｂｗに関しては、大きなブロックノイズ強度ＢＮＳが算出される。また、図２１に示すように画素値の変化が大きい領域中の左境界線Ｂｗに関しては、小さなブロックノイズ強度ＢＮＳが算出される。これらの結果、ブロックノイズ強度ＢＮＳは、見た目のブロックノイズ強度を適切に反映可能である。

なお、エッジ強度ＢＥＳは「０」になり得る。この場合には、「ＭＳＤＳ＞０」が成立する場合には、ＢＮＳが所定の最大値に設定される。この所定の最大値は、エッジ強度ＢＥＳが「０」ではない場合のブロックノイズ強度ＢＮＳの定義上の最大値である。この定義上の最大値は、例えば、エッジ強度ＢＥＳが０より大きな最小値「１」であり、Ｖｄｂの８つの要素の全てが最大値「２５５」である場合に得られる仮想的なＢＮＳと同じである。エッジ強度ＢＥＳが「１」である場合としては、例えば、第１内部差分列Ｖｄｆの８つの要素の内の、１つの要素が「１」であり、他の７つの要素が「０」であり、さらに、第２内部差分列Ｖｄｗの８つの要素の全てが「０」である場合がある。なお、エッジ強度ＢＥＳが「０」であっても、「ＭＳＤＳ＞０」が成立しない場合には、ＢＮＳは「０」に設定される。

以上、左境界線Ｂｗのブロックノイズ強度ＢＮＳについて説明したが、他の境界線Ｂｎ、Ｂｅ、Ｂｓ（図１８）についても、同様に、ブロックノイズ強度ＢＮＳが算出される。ここで、横境界線Ｂｎ、Ｂｓに関しては、画素列の代わりに、画素行が、８次元ベクトルとして演算に利用される。

平滑化処理：
次に平滑化処理について説明する。図２２は、平滑化フィルタを示す説明図である。平滑化モジュール４２４（図１６）は、この平滑化フィルタＳＦ１を利用して、対象画像に含まれる複数の画素のそれぞれに対して平滑化処理を実行する。この平滑化フィルタＳＦ１は、３＊３のマトリックスである。本実施例では、対象画素の画素値が、対象画素と対象画素の周囲の８つの画素との９つの画素の画素値の重み付き合計値に設定される。中央要素ＣＥＬを中心とする９つの要素の配置は、対象画素を中心とする９つの画素の配置と同じである。例えば、中央要素ＣＥＬは、対象画素の重みを示し、中央要素ＣＥＬの上の要素ＵＥＬは、対象画素の上の画素の重みを示している。

平滑化フィルタＳＦ１の各要素は、正規化強度αを利用して表されている。この正規化強度αは、上述のブロックノイズ強度ＢＮＳを、０〜１の範囲に正規化した値である。このような正規化は、ブロックノイズ強度ＢＮＳを、その最大値（ＭＡＸ（ＢＮＳ））で割ることによって、行われる。また、図２２に示す「１／Σ（各要素）」は、図示されたマトリックスの各要素（例えば、α、α²、α⁴）を、９つの要素の合計値で割ることを意味している。これにより、平滑化フィルタＳＦ１の各要素は、９つの要素の合計値が「１」となるように設定される。その結果、平滑化処理後の画素値が、過剰に大きな値や、過剰に小さな値に設定されることが防止される。なお、αが「ゼロ」である場合には、平滑化モジュール４２４は、平滑化処理を実行しない。

また、平滑化フィルタＳＦ１の各要素は、正規化強度αのべき乗で表されている。その指数は、中央要素ＣＥＬ（対象画素）からの距離が遠いほど大きい値に設定されている。具体的には、中央要素ＣＥＬの指数は「１」であり、上下左右の要素の指数は「２」であり、４隅の要素の指数は「４」である。その結果、各要素は、中央要素ＣＥＬ（対象画素）から遠いほど小さくなる。

図２３は、平滑化フィルタＳＦ１の要素と、中央要素ＣＥＬ（対象画素）からの距離との関係を示すグラフである。横軸は距離を示し、縦軸は要素を示している。正規化強度αが大きい場合には、距離の変化に対する要素の変化が小さくなる。すなわち、対象画素の重みと、周辺の画素の重みとの差が小さい。その結果、平滑化の強度が強くなる、すなわち、対象画素と周辺画素との間の画素値の差分が大幅に小さくなる。一方、正規化強度αが小さい場合には、距離の変化に対する要素の変化が大きくなる。すなわち、周辺の画素の重みは、対象画素の重みと比べて、大幅に小さい。その結果、平滑化の強度が弱くなる、すなわち、対象画素と周辺画素との間の画素値の差分の減少量は小さい。

図２４は、平滑化処理の概要を示す説明図である。図中には対象画像ＳＩが示されている。また、図中には、対象画像ＳＩに含まれる複数の画素ブロックＢＬＫの内の第１画素ブロックＢＬＫ１と第２画素ブロックＢＬＫ２との平滑化処理の概要が示されている。

上述したように１つの画素ブロックは４つの境界線Ｂｎ、Ｂｅ、Ｂｓ、Ｂｗに囲まれており、ノイズ強度算出モジュール４２２（図１６）は、各境界線毎にブロックノイズ強度ＢＮＳを算出する。その結果、１つの画素ブロックに関連して４つの正規化強度αが利用可能である。そこで、本実施例では、平滑化モジュール４２４は、４つの正規化強度から算出される代表値を利用して、１つの画素ブロックの平滑化処理を実行する。代表値としては、４つの正規化強度の関数で表される種々の値を採用可能である（例えば、平均値、最大値、中央値（メディアン）、最小値）。本実施例では、最大値が採用される。最大値を採用すれば、ブロックノイズが残ることを抑制できる。

例えば、第１画素ブロックＢＬＫ１の４つの境界線Ｂｎ１、Ｂｅ１、Ｂｓ１、Ｂｗ１に対して、４つ正規化強度αｎ１、αｅ１、αｓ１、αｗ１が、それぞれ算出される。平滑化モジュール４２４は、これらの正規化強度αｎ１、αｅ１、αｓ１、αｗ１の代表値αｆ１を用いて平滑化フィルタＳＦ１（図２２）の各要素を決定する。本実施例では、代表値αｆとして最大値が利用される。そして、決定された平滑化フィルタＳＦ１を用いて、第１画素ブロックＢＬＫ１内の全ての画素の平滑化処理を実行する。

同様に、第２画素ブロックＢＬＫ２の４つの境界線Ｂｎ２、Ｂｅ２、Ｂｓ２、Ｂｗ２に対して、４つ正規化強度αｎ２、αｅ２、αｓ２、αｗ２が、それぞれ算出される。平滑化モジュール４２４は、これらの正規化強度の代表値αｆ２を用いて、平滑化フィルタＳＦ１の各要素を決定する。そして、決定された平滑化フィルタＳＦ１を用いて、第２画素ブロックＢＬＫ２内の全ての画素の平滑化処理を実行する。

ここで、第１代表強度αｆ１が第２代表強度αｆ２よりも大きいと仮定する。この場合には、第１画素ブロックＢＬＫ１の画素には強い平滑化処理が実行され、第２画素ブロックＢＬＫ２には弱い平滑化処理が実行される。

他の画素ブロックの画素についても、同様に、平滑化処理が実行される。このように、ノイズ強度算出モジュール４２２（図１６）は、対象画像ＳＩに含まれる複数の境界線のそれぞれに関するブロックノイズ強度ＢＮＳを算出する（図１７：Ｓ２００）。そして、平滑化モジュール４２４は、画素ブロック毎に、平滑化フィルタＳＦ１を決定して、画素ブロック内の各画素の平滑化処理を実行する（図１７：Ｓ２１０）。なお、１つの画素ブロックに関連するブロックノイズ強度ＢＮＳの算出と平滑化処理とが、画素ブロックを切り替えつつ繰り返し実行されてもよい。また、対象画像ＳＩの縁の画素ブロックに関しては、他の画素ブロックと接する一部の境界線の正規化強度α（ブロックノイズ強度ＢＮＳ）を利用すればよい。例えば、左上隅の画素ブロックＢＬＫ３に関しては、右境界線Ｂｅ３の正規化強度αｅ３と、下境界線Ｂｓ３と正規化強度αｓ３とから算出される代表値を利用すればよい。

以上のように、本実施例では、正規化強度αが大きいほど、すなわち、ブロックノイズ強度ＢＮＳが大きいほど、平滑化の強度は強くなる。その結果、ブロックノイズ強度ＢＮＳが小さい領域では、過剰な平滑化が抑制されるので、画像がぼやけることを抑制できる。そして、ブロックノイズ強度ＢＮＳが大きい領域では、強い平滑化によって、ブロックノイズを低減することができる。

以上、第３主成分ｙｍ３の平滑化について説明した。他の主成分ｙｍ１、ｙｍ２に関しても、第３主成分ｙｍ３と同様に、平滑化モジュール４２４は、代表値αｆに応じた強度で平滑化処理を実行する。ただし、各画素位置における平滑化の強度は、主成分の分散が小さいほど強い。

図２５は、ノイズ強度と平滑化強度との関係を示すグラフである。横軸はブロックノイズ強度αｆを示し、縦軸は平滑化の強度αを示している。ブロックノイズ強度αｆは、ブロック毎に算出された正規化強度の代表値を示している（図２４）。平滑化の強度は、図２２に示すフィルタの要素の決定に利用される値αを示している。また、第１平滑化強度α１は、第１主成分ｙｍ１に適用され、第２平滑化強度α２は、第２主成分ｙｍ２に適用され、第３平滑化強度α３は、第３主成分ｙｍ３に適用される。

各平滑化強度α１、α２、α３のそれぞれは、ブロックノイズ強度αｆが強いほど強くなるように予め設定されている。なお、上述したように、第３主成分ｙｍ３の強度α３としては、代表値αｆが、そのまま、利用される。さらに、ブロックノイズ強度αｆが同じ場合に、第２平滑化強度α２は、第３平滑化強度α３よりも小さくなるように設定され、第１平滑化強度α１は、第２平滑化強度α２よりも小さくなるように設定されている。これらの結果、個々の画素位置において、分散が最小の第３主成分ｙｍ３には、最強の平滑化処理が実行される。そして、個々の画素位置において、各主成分ｙｍ１、ｙｍ２、ｙｍ３に対する平滑化処理の強度は、分散が小さいほど強い。これらの結果、画像が過剰にぼやけることを抑制し、そして、ノイズを低減することができる。

なお、強度α１、α２の決定方法としては、種々の方法を採用可能である。例えば、第３平滑化強度α３に、１より小さな所定係数を乗じて得られる値を、強度α１、α２として利用してもよい。また、第３平滑化強度α３から正の所定値を引いて得られる値を、強度α１、α２として利用してもよい。

Ｂ２．ブロックノイズ強度を利用した平滑化処理の第２実施例：
図２６は、平滑化処理の別の実施例の概要を示す説明図である。図２４に示す実施例との差違は、画素ブロック内の画素位置が境界線に近いほど、平滑化の強度を強くしている点だけである。装置構成と処理手順とは、図１、図２、図１６、図１７に示す実施例と同じである。

図中には、平滑レベルマトリクスＳＬの一例が示されている。この８＊８のマトリクスＳＬは、画素ブロック内の各画素位置における平滑化のレベルを示している。図２６の例では、レベルは１〜４のいずれかに設定されている。大きいレベルは、強い平滑化を意味している。また、レベルは、画素ブロックの境界線Ｂｎ、Ｂｅ、Ｂｓ、Ｂｗに近いほど大きな値に設定されている。

また、図中には、図１８と同様の対象画像ＳＩと画素ブロックグループＢＧとが示されている。平滑化モジュール４２４（図１６）は、４つの境界線Ｂｎ、Ｂｅ、Ｂｓ、Ｂｗのそれぞれに対応する４つの正規化強度αｎ、αｅ、αｓ、αｗから代表正規化強度αｆを決定する。そして、平滑化モジュール４２４は、代表正規化強度αｆに、係数「ＳＬｅ／４」を乗じて得られる値αｆｐに基づいて、各画素位置における平滑化フィルタＳＦ１（図２２）を決定する。ここで、代表正規化強度αｆとしては、図２４に示す実施例で説明した種々の代表値（例えば、最大値）を採用可能である。また、要素ＳＬｅは、平滑レベルマトリクスＳＬの要素（レベル）である。

図中には、下境界線Ｂｓに接する第１画素ＰＸａの第１平滑化フィルタＳＦａと、画素ブロックの中央部の第２画素ＰＸｂの第２平滑化フィルタＳＦｂと、が示されている。第１平滑化フィルタＳＦａの決定に利用される要素ＳＬｅは「４」である。その結果、値αｆｐが代表正規化強度αｆと同じになるので、平滑化の強度が強くなる。一方、第２平滑化フィルタＳＦｂの決定に利用される要素ＳＬｅは「１」である。その結果、値αｆｐが代表正規化強度αｆの１／４となるので、平滑化の強度が弱くなる。

以上のように、第２実施例では、境界線に接している画素に対しては、画素ブロックの中央の画素と比べて強い平滑化処理が実行されるので、境界線の近傍に生じたブロックノイズを低減し、そして、画素ブロックの中央部分の画像がぼやけることを抑制できる。また、第２実施例では、画素ブロック内の画素位置が境界線に近いほど平滑化の強度が強くなるように、複数の段階に分けて平滑化の強度が変化する。従って、画素ブロック内で平滑化強度がステップ状に大きく変化することが抑制される。その結果、画素ブロック内に、このような強度の大きな変化に起因するノイズが生じることを抑制できる。

なお、平滑化のレベルとしては、図２６に示す実施例に限らず、種々のレベルを採用可能である。一般には、平滑化モジュール４２４（図１６）は、画素ブロックの境界線に近いほど強くなるように平滑化の強度を設定することが好ましい。

また、平滑化モジュール４２４（図１６）は、図２５に示す実施例と同様に、第３主成分ｙｍ３の平滑化強度から、他の主成分ｙｍ１、ｙｍ２の平滑化強度を決定すればよい。

Ｂ３．ブロックノイズ強度を利用した平滑化処理の第３実施例：
図２７は、平滑化処理の別の実施例の概要を示す説明図である。図２４に示す実施例との差違は、代表正規化強度αｆの代わりに、画素ブロック内の画素位置に応じた補間によって算出された正規化強度を利用する点だけである。装置構成と処理手順とは、図１、図２、図１６、図１７に示す実施例と同じである。

図２７には、ある対象画素ＰＸｘの平滑化処理の概要が示されている。本実施例では、平滑化モジュール４２４（図１６）は、横方向ｈｒの線形補間によって横正規化強度αｐｈ１を算出し、縦方向ｖｔの線形補間によって縦正規化強度αｐｖ１を算出する。

横正規化強度αｐｈ１は、左境界線Ｂｗの左正規化強度αｗと、右境界線Ｂｅの右正規化強度αｅとから算出される。左境界線Ｂｗに接する画素位置（ｈｒｐ＝１）では、横正規化強度αｐｈ１は左正規化強度αｗに設定される。右境界線Ｂｅに接する画素位置（ｈｒｐ＝８）では、横正規化強度αｐｈ１は右正規化強度αｅに設定される。間の画素位置（ｈｒｐ＝２〜７）では、横正規化強度αｐｈ１は線形補間によって決定される。その結果、対象画素ＰＸｘが左境界線Ｂｗに近いほど、横正規化強度αｐｈ１は左正規化強度αｗに近くなる。そして、対象画素ＰＸｘが右境界線Ｂｅに近いほど、横正規化強度αｐｈ１は右正規化強度αｅに近くなる。

縦正規化強度αｐｖ１は、上境界線Ｂｎの上正規化強度αｎと、下境界線Ｂｓの下正規化強度αｓとから算出される。上境界線Ｂｎに接する画素位置（ｖｔｐ＝１）では、縦正規化強度αｐｖ１は上正規化強度αｎに設定される。下境界線Ｂｓに接する画素位置（ｖｔｐ＝８）では、縦正規化強度αｐｖ１は下正規化強度αｓに設定される。間の画素位置（ｖｔｐ＝２〜７）では、縦正規化強度αｐｖ１は線形補間によって決定される。その結果、対象画素ＰＸｘが上境界線Ｂｎに近いほど、縦正規化強度αｐｖ１は上正規化強度αｎに近くなる。そして、対象画素ＰＸｘが下境界線Ｂｓに近いほど、縦正規化強度αｐｖ１は下正規化強度αｓに近くなる。

平滑化モジュール４２４（図１６）は、横正規化強度αｐｈ１から平滑化フィルタＳＦ１を決定し、この平滑化フィルタＳＦ１を利用して横平滑画素値ＳＰＶｈ１を算出する。そして、平滑化モジュール４２４は、縦正規化強度αｐｖ１から平滑化フィルタＳＦ１を決定し、この平滑化フィルタＳＦ１を利用して縦平滑画素値ＳＰＶｖ１を算出する。そして、平滑化モジュール４２４は、これらの平滑画素値ＳＰＶｈ１、ＳＰＶｖ１の平均値ＳＰＶ１を、対象画素ＰＸｘの最終的な画素値として採用する。

以上説明した第３実施例の平滑化処理は、以下のように言い換えることができる。すなわち、平滑化モジュール４２４（図１６）は、４つの正規化強度αｎ、αｅ、αｓ、αｗに、対象画素ＰＸｘに近いほど大きくなる重みを付すことによって、各正規化強度αｎ、αｅ、αｓ、αｗを平滑化処理に利用している。その結果、ブロックノイズ強度ＢＮＳ（正規化強度α）が大きい境界線に近い画素に対しては、強い平滑化処理が実行されるので、ブロックノイズを低減することができる。そして、ブロックノイズ強度ＢＮＳの強い境界線から遠い画素に対して強い平滑化処理が実行されることが抑制されるので、過剰に画像がぼやけることを抑制できる。

なお、平滑化モジュール４２４（図１６）は、図２５に示す実施例と同様に、第３主成分ｙｍ３の平滑化強度（正規化強度αｐｈ１、αｐｖ１）から、他の主成分ｙｍ１、ｙｍ２の平滑化強度を決定すればよい。

Ｂ４．ブロックノイズ強度を利用した平滑化処理の第４実施例：
図２８は、平滑化処理の別の実施例の概要を示す説明図である。図２４に示す実施例との差違は、各正規化強度αｎ、αｅ、αｓ、αｗを平滑化処理に利用するために、画素ブロック内の画素位置に応じて決まる重みを各正規化強度αｎ、αｅ、αｓ、αｗに付す点である。装置構成と処理手順とは、図１、図２、図１６、図１７に示す実施例と同じである。

本実施例では、平滑化モジュール４２４（図１６）は、横正規化強度αｐｈ２と縦正規化強度αｐｖ２とを算出する。横正規化強度αｐｈ２は、左境界線Ｂｗの左正規化強度αｗと、右境界線Ｂｅの右正規化強度αｅとの重み付き合計値である。図２８の中段のグラフは、各正規化強度αｗ、αｅの重み（縦軸）と、横画素位置ｈｒｐ（横軸）との関係を示している。黒丸は左正規化強度αｗの重みを示し、白丸は右正規化強度αｅの重みを示している。左正規化強度αｗの重みは左境界線Ｂｗに近いほど大きく、右正規化強度αｅの重みは右境界線Ｂｅに近いほど大きい。また、横画素位置ｈｒｐが左境界線Ｂｗよりも右境界線Ｂｅに近い範囲では（５〜８）、左正規化強度αｗの重みはゼロに設定されている。横画素位置ｈｒｐが右境界線Ｂｅよりも左境界線Ｂｗに近い範囲では（１〜４）、右正規化強度αｅの重みはゼロに設定されている。これらの結果、横画素位置ｈｒｐが右境界線Ｂｅよりも左境界線Ｂｗに近い範囲では（１〜４）、左正規化強度αｗに重みを乗じた値が横正規化強度αｐｈ２として利用される。横画素位置ｈｒｐが左境界線Ｂｗよりも右境界線Ｂｅに近い範囲では（５〜８）、右正規化強度αｅに重みを乗じた値が横正規化強度αｐｈ２として利用される。

縦正規化強度αｐｖ２は、上境界線Ｂｎの上正規化強度αｎと、下境界線Ｂｓの下正規化強度αｓとの重み付き合計値である。図２８の下段のグラフは、各正規化強度αｎ、αｓの重み（縦軸）と、縦画素位置ｖｔｐ（横軸）との関係を示している。黒丸は上正規化強度αｎの重みを示し、白丸は下正規化強度αｓの重みを示している。上正規化強度αｎの重みは上境界線Ｂｎに近いほど大きく、下正規化強度αｓの重みは下境界線Ｂｓに近いほど大きい。また、縦画素位置ｖｔｐが上境界線Ｂｎよりも下境界線Ｂｓに近い範囲では（５〜８）、上正規化強度αｎの重みはゼロに設定されている。縦画素位置ｖｔｐが下境界線Ｂｓよりも上境界線Ｂｎに近い範囲では（１〜４）、下正規化強度αｓの重みがゼロに設定されている。これらの結果、縦画素位置ｖｔｐが下境界線Ｂｓよりも上境界線Ｂｎに近い範囲では（１〜４）、上正規化強度αｎに重みを乗じた値が縦正規化強度αｐｖ２として利用される。縦画素位置ｖｔｐが上境界線Ｂｎよりも下境界線Ｂｓに近い範囲では（５〜８）、下正規化強度αｓに重みを乗じた値が縦正規化強度αｐｖ２として利用される。

平滑化モジュール４２４（図１６）は、横正規化強度αｐｈ２から平滑化フィルタＳＦ１を決定し、この平滑化フィルタＳＦ１を利用して横平滑画素値ＳＰＶｈ２を算出する。そして、平滑化モジュール４２４は、縦正規化強度αｐｖ２から平滑化フィルタＳＦ１を決定し、この平滑化フィルタＳＦ１を利用して縦平滑画素値ＳＰＶｖ２を算出する。そして、平滑化モジュール４２４は、これらの平滑画素値ＳＰＶｈ２、ＳＰＶｖ２の平均値ＳＰＶ２を、最終的な画素値として採用する。

以上のように、第４実施例では、平滑化モジュール４２４（図１６）は、４つの正規化強度αｎ、αｅ、αｓ、αｗに、対象画素に近いほど大きくなる重みを付すことによって、各正規化強度αｎ、αｅ、αｓ、αｗを平滑化処理に利用している。その結果、ブロックノイズ強度ＢＮＳが（正規化強度α）が大きい境界線に近い画素に対しては、強い平滑化処理が実行されるので、ブロックノイズを低減することができる。そして、ブロックノイズ強度ＢＮＳが小さい境界線に近い画素に対しては、弱い平滑化処理が実行されるので、過剰に画像がぼやけることを抑制できる。

また、図２８に示す実施例では、境界線に接している画素に対しては、画素ブロックの中央の画素と比べて強い平滑化処理が実行されるので、境界線の近傍に生じたブロックノイズを低減し、そして、画素ブロックの中央部分の画像がぼやけることを抑制できる。

なお、図２８では、横画素位置ｈｒｐが「１」の場合と「８」の場合とで重みが同じ「４／４」である。一方、左正規化強度αｗは、右正規化強度αｅと異なり得る。従って、実際の平滑化の強度は、横画素位置ｈｒｐが「１」の場合と「８」の場合との間で、異なり得る。これは、縦方向ｖｔについても同様である。このように、本実施例では、最寄りの境界線までの距離が同じ場合であっても、実際の平滑化の強度は、最寄りの境界線毎に異なり得る。換言すれば、最寄りの境界線が同じである画素のグループ内において、画素が境界線に近いほど平滑化の強度が強い。

なお、平滑化モジュール４２４（図１６）は、図２５に示す実施例と同様に、第３主成分ｙｍ３の平滑化強度（正規化強度αｐｈ２、αｐｖ２）から、他の主成分ｙｍ１、ｙｍ２の平滑化強度を決定すればよい。

Ｂ５．ブロックノイズ強度を利用した平滑化処理の第５実施例：
図２９は、平滑化処理の別の実施例の概要を示す説明図である。上述の各実施例との差違は、異方性の平滑化フィルタが利用される点である。図２９には、横平滑化フィルタＳＦｈと縦平滑化フィルタＳＦｖとが示されている。装置構成と処理手順とは、図１、図２、図１６、図１７に示す実施例と同じである。

横平滑化フィルタＳＦｈは、図２２に示す平滑化フィルタＳＦ１において、中央要素ＣＥＬと中央要素ＣＥＬの左右の要素とをそのまま維持し、他の要素をゼロに設定したものと同じである。この横平滑化フィルタＳＦｈを利用すれば、横方向ｈｒに沿って画素を辿ったときの画素値の変化を小さくすることができる（以下「横方向ｈｒに沿った平滑化」あるいは「横平滑化」とも呼ぶ）。

横平滑化フィルタＳＦｈの要素の決定には、図２２で説明した正規化強度αの代わりに横正規化強度αｐｈ３が利用される。本実施例では、横正規化強度αｐｈ３として、左正規化強度αｗと右正規化強度αｅとの平均値が利用される（これらの正規化強度αｗ、αｅは、縦境界線Ｂｗ、Ｂｅでの強度である（図２６））。この横正規化強度αｐｈ３は、１つの画素ブロック内の全ての画素に対して共通に利用される。

縦平滑化フィルタＳＦｖは、図２２に示す平滑化フィルタＳＦ１において、中央要素ＣＥＬと中央要素ＣＥＬの上下の要素とをそのまま維持し、他の要素をゼロに設定したものと同じである。この縦平滑化フィルタＳＦｖを利用すれば、縦方向ｖｔに沿って画素を辿ったときの画素値の変化を小さくすることができる（以下「縦方向ｖｔに沿った平滑化」あるいは「縦平滑化」とも呼ぶ）。

縦平滑化フィルタＳＦｖの要素の決定には、図２２で説明した正規化強度αの代わりに縦正規化強度αｐｖ３が利用される。本実施例では、縦正規化強度αｐｖ３として、上正規化強度αｎと下正規化強度αｓとの平均値が利用される（これらの正規化強度αｎ、αｓは、横境界線Ｂｎ、Ｂｓでの強度である（図２６））。この縦正規化強度αｐｖ３は、１つの画素ブロック内の全ての画素に対して共通に利用される。

平滑化モジュール４２４（図１６）は、横正規化強度αｐｈ３と縦正規化強度αｐｖ３とを算出する。そして、平滑化モジュール４２４は、横平滑化フィルタＳＦｈを利用して横平滑画素値ＳＰＶｈ３を算出し、縦平滑化フィルタＳＦｖを利用して縦平滑画素値ＳＰＶｖ３を算出し、これらの平滑画素値ＳＰＶｈ３、ＳＰＶｖ３の平均値ＳＰＶ３を対象画素の最終的な画素値として採用する。

図２９の下段に示す平滑化フィルタＳＦ３は、２つの平滑化フィルタＳＦｈ、ＳＦｖを総合して１つのフィルタにまとめたものである。図示するように、フィルタＳＦ３の要素は、横方向ｈｒと縦方向ｖｔとの間で非対称である。このように、本実施例では、平滑化モジュール４２４（図１６）は、横方向ｈｒと縦方向ｖｔとで強度が異なる異方性の平滑化処理を実行する。その結果、一方向の画素値変化を示すブロックノイズの強度が強いことに起因して、その方向と垂直な方向の平滑化の強度が過剰に強くなることを抑制できる。

特に、本実施例では、横平滑化の強度は、横正規化強度αｐｈ３が大きいほど、強い。この結果、横平滑化の強度を、横方向ｈｒの画素値変化を示すブロックノイズ強度に応じて適切に調整することができる。同様に、縦平滑化の強度は、縦正規化強度αｐｖ３が大きいほど、強い。この結果、縦平滑化の強度を、縦方向ｖｔの画素値変化を示すブロックノイズの強度に応じて適切に調整することができる。

なお、横正規化強度αｐｈ３としては、横方向ｈｒに沿って画素を辿ったときの画素値の変化の大きさ（すなわち、縦方向ｖｔに沿って延びるブロックノイズの強度）を示すような種々の値を採用可能である。例えば、図２７の横正規化強度αｐｈ１や、図２８の横正規化強度αｐｈ２を、そのまま採用してもよい。この場合には、画素ブロック内の画素位置に応じて横正規化強度αｐｈ３は変わり得る。一般には、横正規化強度αｐｈ３は、縦境界線Ｂｗ、Ｂｅの正規化強度αｗ、αｅの内の少なくとも一方を利用して決定されることが好ましい。こうすれば、強いブロックノイズの延びる方向に適合した平滑化処理が実行されるので、画像がぼやける等の不具合の発生を抑制しつつブロックノイズを低減することができる。

同様に、縦正規化強度αｐｖ３としては、縦方向ｖｔに沿って画素を辿ったときの画素値の変化の大きさ（すなわち、横方向ｈｒに沿って延びるブロックノイズの強度）を示すような種々の値を採用可能である。例えば、図２７の縦正規化強度αｐｖ１や、図２８の縦正規化強度αｐｖ２を、そのまま採用してもよい。この場合には、画素ブロック内の画素位置に応じて縦正規化強度αｐｖ３は変わり得る。一般には、縦正規化強度αｐｖ３は、横境界線Ｂｎ、Ｂｓの正規化強度αｎ、αｓの内の少なくとも一方を利用して決定されることが好ましい。

なお、平滑化モジュール４２４（図１６）は、図２５に示す実施例と同様に、第３主成分ｙｍ３の平滑化強度（正規化強度αｐｈ３、αｐｖ３）から、他の主成分ｙｍ１、ｙｍ２の平滑化強度を決定すればよい。

Ｂ６．ブロックノイズ強度を利用した平滑化処理の第６実施例：
図３０は、平滑化処理の別の実施例の概要を示す説明図である。本実施例では、平滑化モジュール４２４（図１６）は、横平滑画素値ＳＰＶｈ４と縦平滑画素値ＳＰＶｖ４との重み付き平均値ＳＰＶ４を、最終的な平滑画素値として利用する。装置構成と処理手順とは、図１、図２、図１６、図１７に示す実施例と同じである。

横平滑画素値ＳＰＶｈ４としては、図２９に示す横平滑画素値ＳＰＶｈ３が利用される。この横平滑画素値ＳＰＶｈ４（ＳＰＶｈ３）は、横平滑化によって算出された平滑画素値である。また、縦平滑画素値ＳＰＶｖ４としては、図２９に示す縦平滑画素値ＳＰＶｖ３が利用される。この縦平滑画素値ＳＰＶｖ４（ＳＰＶｖ３）は、縦平滑化によって算出された平滑画素値である。

図３０には、横重みマトリクスＨＷが示されている。この８＊８のマトリクスＨＷは、画素ブロック内の各画素位置における横平滑画素値ＳＰＶｈ４の重みを示している（「横重みＨＷｅ」とも呼ぶ）。縦平滑画素値ＳＰＶｖ４の重みは、「１−横重みＨＷｅ」に設定される（「縦重み」とも呼ぶ）。

最も近い境界線が縦境界線Ｂｗ、Ｂｅである複数の画素ＨＰについては、縦重みよりも横重みＨＷｅが大きい。そして、縦境界線Ｂｗ、Ｂｅの中央部に近いほど、横重みＨＷｅが大きい。図３０の下段に示すように、このような画素ＨＰに関しては、平均値ＳＰＶ４は、主に横平滑画素値ＳＰＶｈ４によって決まる。

逆に、最も近い境界線が横境界線Ｂｎ、Ｂｓである複数の画素ＶＰについては、横重みＨＷｅよりも縦重みが大きい。そして、境界線Ｂｎ、Ｂｓの中央部に近いほど、縦重みが大きい（横重みＨＷｅが小さい）。図３０の下段に示すように、このような画素ＶＰに関しては、平均値ＳＰＶ４は、主に縦平滑画素値ＳＰＶｖ４によって決まる。

横境界線Ｂｎ、Ｂｓからの距離と、縦境界線Ｂｗ、Ｂｅからの距離が同じである画素については、縦重みと横重みＨＷｅとが同じ「０．５」である。また、画素ブロックの中央部の４つの画素についても、縦重みと横重みＨＷｅとが同じ「０．５」である。

図３１は、平滑化フィルタを示す説明図である。この平滑化フィルタＳＦ４は、上述の横重みマトリクスＨＷと、図２９に示す平滑画素値ＳＰＶｈ３、ＳＰＶｖ３（平滑化フィルタＳＦｈ、ＳＦｖ）とを組み合わせることによって得られる平滑化フィルタである。図３０に示す平滑画素値ＳＰＶｈ４、ＳＰＶｖ４として図２９に示す平滑画素値ＳＰＶｈ３、ＳＰＶｖ３をそれぞれ利用することは、この平滑化フィルタＳＦ４を用いて平滑画素値を算出することと等価である。

図示するように、フィルタＳＦ４の要素は、横方向ｈｒと縦方向ｖｔとの間で非対称である。特に、縦境界線Ｂｗ、Ｂｅに近い画素に関しては、横重みＨＷｅが大きいので、横平滑化の強度が強くなる。このような縦境界線Ｂｗ、Ｂｅの周辺では、横方向ｈｒの画素値変化（縦方向ｖｔに延びるブロックノイズ）が生じやすい。これらの結果、強い横平滑化によってブロックノイズを低減可能である。そして、境界線Ｂｗ、Ｂｅと平行な縦方向ｖｔの平滑化の強度を弱めることによって画像がぼやけることを抑制できる。

一方、横境界線Ｂｎ、Ｂｓに近い画素に関しては、横重みＨＷｅが小さいので、縦平滑化の強度が強くなる。このような横境界線Ｂｎ、Ｂｓの周辺では、縦方向ｖｔの画素値変化（横方向ｈｒに延びるブロックノイズ）が生じやすい。これらの結果、強い縦平滑化によってブロックノイズを低減可能である。そして、境界線Ｂｎ、Ｂｓと平行な横方向ｈｒの平滑化の強度を弱めることによって画像がぼやけることを抑制できる。

なお、横平滑画素値ＳＰＶｈ４としては、縦方向ｖｔに延びる２本の境界線Ｂｗ、Ｂｅの少なくとも一方におけるブロックノイズ強度ＢＮＳを利用する種々の平滑化によって算出される画素値を採用可能である。同様に、縦平滑画素値ＳＰＶｖ４としては、横方向ｈｒに延びる２本の境界線Ｂｎ、Ｂｓの少なくとも一方におけるブロックノイズ強度ＢＮＳを利用する種々の平滑化によって算出される画素値を採用可能である。例えば、本実施例の平滑画素値ＳＰＶｈ４、ＳＰＶｖ４として、図２７に示す平滑画素値ＳＰＶｈ１、ＳＰＶｖ１を利用してもよく、図２８に示す平滑画素値ＳＰＶｈ２、ＳＰＶｖ２を利用してもよい。

これらの場合も、横重みＨＷｅと縦重み（１−ＨＷｅ）とのそれぞれは、平滑化の強度決定に対する重みを示している。すなわち、横重みＨＷｅは、横平滑画素値ＳＰＶｈ４（ＳＰＶｈ１、ＳＰＶｈ２）の決定に利用された横正規化強度αｐｈ１、αｐｈ２の重みを示している。縦重み（１−ＨＷｅ）は、縦平滑画素値ＳＰＶｖ４（ＳＰＶｖ１、ＳＰＶｖ２）の決定に利用された縦正規化強度αｐｖ１、αｐｖ２の重みを示している。すなわち、縦境界線Ｂｗ、Ｂｅの周辺では、縦正規化強度αｐｖ１、αｐｖ２よりも、横正規化強度αｐｈ１、αｐｈ２が、大きな重みで平滑化の強度決定に利用される。その結果、縦境界線Ｂｗ、Ｂｅの周辺で生じやすい横方向ｈｒの画素値変化を示すブロックノイズを効果的に低減可能である。そして、縦正規化強度αｐｖ１、αｐｖ２の重みを小さくすることによって、画像が過剰にぼやけることを抑制できる。

逆に、横境界線Ｂｎ、Ｂｓの周辺に関しては、縦正規化強度αｐｖ１、αｐｖ２の重みを大きくすることによって、横境界線Ｂｎ、Ｂｓの周辺で生じやすい縦方向ｖｔの画素値変化を示すブロックノイズを効果的に低減可能である。そして、横正規化強度αｐｈ１、αｐｈ２の重みを小さくすることによって、画像が過剰にぼやけることを抑制できる。

なお、平滑化モジュール４２４（図１６）は、図２５に示す実施例と同様に、第３主成分ｙｍ３の平滑化強度から、他の主成分ｙｍ１、ｙｍ２の平滑化強度を決定すればよい。そして、平滑化モジュール４２４は、横平滑画素値と縦平滑画素値との重み付き平均値を、各主成分毎に算出すればよい。

Ｂ７．ブロックノイズ強度を利用した平滑化処理の第７実施例：
図３２は、第７実施例におけるフィルタモジュール４２０ａを示す説明図である。図１６に示すフィルタモジュール４２０ｂとの差違は、エッジ方向検出モジュール４２３が追加されている点だけである。装置構成の他の部分は、図１、図２に示す実施例と同じである。また、画像処理は、図４、図５、図１７に示す実施例と同様に実行される。ただし、本実施例では、図１７のステップＳ２１０で、エッジ方向検出モジュール４２３は、画素ブロックが表す画像のエッジ方向を検出する。そして、平滑化モジュール４２４は、検出されたエッジ方向を利用して平滑化処理を実行する。

図３３は、エッジ方向とエッジ強度ＢＥＳとの関係を示す説明図である。図３３には、図１８と同様に、対象画像ＳＩと、対象ブロックＦを中心とする３＊３の画素ブロックグループＢＧが示されている。また、画素ブロックグループＢＧの上には、図２０と同様の第１グラフＧｈが示されている。横軸は横方向ｈｒの画素位置を示し、縦軸は画素値を示している。また、画素ブロックグループＢＧの右には、第２グラフＧｖが示されている。この第２グラフＧｖは、縦方向ｖｔの画素位置（縦軸）と画素値（横軸）との関係を示している。

図３３の例では、画素ブロックグループＢＧは、対象画像ＳＩの被写体のエッジを表している。このエッジは、ほぼ縦方向ｖｔに延びている。これは、画素ブロックグループＢＧの全体（特に対象ブロックＦとその周辺）において、横方向ｈｒに画素を辿ったときの画素値の変化が大きく、縦方向ｖｔに画素を辿ったときの画素値の変化が小さいことを意味している（グラフＧｈ、Ｇｖ参照）。これらの結果、左境界線Ｂｗでのエッジ強度ＢＥＳｗと、右境界線Ｂｅでのエッジ強度ＢＥＳｅが大きくなる（以下、これらのエッジ強度ＢＥＳｗ、ＢＥＳｅのことを「縦エッジ強度ＢＥＳｗ、ＢＥＳｅ」とも呼ぶ）。そして、上境界線Ｂｎでのエッジ強度ＢＥＳｎと、下境界線Ｂｓでのエッジ強度ＢＥＳｓとが小さくなる（以下、これらのエッジ強度ＢＥＳｎ、ＢＥＳｓのことを「横エッジ強度ＢＥＳｎ、ＢＥＳｓ」とも呼ぶ）。

逆に、画素ブロックグループＢＧが横方向ｈｒに延びるエッジを表す場合には、横エッジ強度ＢＥＳｎ、ＢＥＳｓが大きくなり、縦エッジ強度ＢＥＳｗ、ＢＥＳｅが小さくなる（図示省略）。

一般には、エッジの方向と境界線とがなす角度が小さいほど、その境界線に関するエッジ強度ＢＥＳが大きくなる。従って、横エッジ強度ＢＥＳｎ、ＢＥＳｓに対する縦エッジ強度ＢＥＳｗ、ＢＥＳｅの比率によって、エッジ方向を表すことができる。

図３４は、エッジ方向算出を示す概要図である。対象ブロックＦの左上半分の第１三角領域ＡＡ１内の画素については、エッジ方向検出モジュール４２３（図３２）は、まず、上横エッジ強度ＢＥＳｎと左縦エッジ強度ＢＥＳｗとから傾斜角度ＤＡ１を算出する（ＤＡ１＝ａｒｃｔａｎ（ＢＥＳｗ／ＢＥＳｎ））。

この第１傾斜角度ＤＡ１は、エッジ方向と横方向ｈｒとのなす角度を示している。図３４の下段には、２つのエッジ方向ＥＧａ、ＥＧｂが示されている。第１エッジ方向ＥＧａは、右上に向かって延びるエッジ方向を示している。第２エッジ方向ＥＧｂは、右下に向かって延びるエッジ方向を示している。また、２つのエッジ方向ＥＧａ、ＥＧｂのそれぞれに関して、エッジ方向と横方向ｈｒとのなす角度Ａｘは、同じである。なお、右上は、横方向ｈｒを基準とする反時計回り方向の角度（以下「基準角度θ」と呼ぶ）が０〜９０度の範囲を示している。右下は、基準角度θが−９０〜０度の範囲を示している。

第１三角領域ＡＡ１が第１エッジ方向ＥＧａに延びるエッジを表す場合には、第１傾斜角度ＤＡ１は角度Ａｘである。また、第１三角領域ＡＡ１が第２エッジ方向ＥＧｂに延びるエッジを表す場合も、第１傾斜角度ＤＡ１は角度Ａｘである。このように、１つの値を示す第１傾斜角度ＤＡ１は、エッジ方向が右上を指す場合と、エッジ方向が右下を指す場合との両方を示し得る。この理由は、数式１８に示すように、エッジ強度ＢＥＳｎ、ＢＥＳｗのそれぞれが、ゼロ以上の値に設定されるからである。ここで、第１傾斜角度ＤＡ１は、横方向ｈｒを基準とする０〜９０度の範囲の値に設定される。

そこで、エッジ方向検出モジュール４２３（図３２）は、エッジ方向をより詳細に特定する処理を実行する。具体的には、第１三角領域ＡＡ１内の、第１ラインＬｎ１上における画素値の変化率の大きさと、第３ラインＬｎ３上における画素値の変化率の大きさとの比較結果から、右上と右下とが区別される。

第１ラインＬｎ１は、対象ブロックＦの左上隅の画素（ｆ１１）から右下（θ＝−４５度）に向かって中央部の画素（ｆ４４）まで延びるライン（ｆ１１、ｆ２２、ｆ３３、ｆ４４）を示している。この第１ラインＬｎ１上の画素値の変化率の大きさＶＲ１は、種々の方法で算出され得る。例えば、以下の演算式を採用可能である。
ＶＲ１＝（｜ｆ２２-ｆ１１｜＋｜ｆ３３−ｆ２２｜＋｜ｆ４４−ｆ３３｜）／３
この大きさＶＲ１は、第１ラインＬｎ１上で隣接する画素間の画素値差分の絶対値の平均値を示している。

第３ラインＬｎ３は、左下隅の画素（ｆ８１）から右上（θ＝４５度）に向かって右上隅の画素（ｆ１８）まで延びるライン（ｆ８１、ｆ７２、ｆ６３、・・・ｆ２７、ｆ１８）を示している。この第３ラインＬｎ３上の画素値の変化率の大きさＶＲ３は、種々の方法で算出され得る。例えば、以下の演算式を採用可能である。
ＶＲ３＝（｜ｆ７２−ｆ８１｜＋｜ｆ６３−ｆ７２｜＋｜ｆ５４−ｆ６３｜＋｜ｆ４５−ｆ５４｜＋｜ｆ３６−ｆ４５｜＋｜ｆ２７−ｆ３６｜＋｜ｆ１８−ｆ２７｜）／７
この大きさＶＲ３は、第３ラインＬｎ３上で隣接する画素間の画素値差分の絶対値の平均値を示している。

第１エッジ方向ＥＧａのようにエッジ方向が右上を向いている場合には、第１大きさＶＲ１が第３大きさＶＲ３よりも大きくなる。一方、第２エッジ方向ＥＧｂのようにエッジ方向が右下を向いている場合には、第１大きさＶＲ１が第３大きさＶＲ３よりも小さくなる。従って、エッジ方向検出モジュール４２３（図３２）は、第１大きさＶＲ１が第３大きさＶＲ３以上である場合には、第１傾斜角度ＤＡ１を、そのまま、第１エッジ角度ＥＡ１として採用する。第１大きさＶＲ１が第３大きさＶＲ３よりも小さい場合には、第１傾斜角度ＤＡ１の符号を負（−）に設定して得られる値を、第１エッジ角度ＥＡ１として採用する。エッジ方向を示すこの第１エッジ角度ＥＡ１は、横方向ｈｒを基準とする反時計回り方向の角度で表されている（−９０〜＋９０度）。

対象ブロックＦの右下半分の第２三角領域ＡＡ２内の画素については、エッジ方向検出モジュール４２３（図３２）は、下横エッジ強度ＢＥＳｓと右縦エッジ強度ＢＥＳｅとから第２傾斜角度ＤＡ２を算出し、第２傾斜角度ＤＡ２から第２エッジ角度ＥＡ２を算出する。エッジ方向を示すこの第２エッジ角度ＥＡ２は、横方向ｈｒを基準とする反時計回り方向の角度で表されている（−９０〜＋９０度）。なお、２つの領域ＡＡ１、ＡＡ２の境界上の画素については、２つのエッジ角度ＥＡ１、ＥＡ２の内の任意の一方を利用可能である。なお、第２エッジ角度ＥＡ２の算出方法は、第１エッジ角度ＥＡ１の算出方法と同様である。ただし、第１ラインＬｎ１の代わりに第２ラインＬｎ２が利用される。第２ラインＬｎ２は、対象ブロックＦの右下隅の画素（ｆ８８）から左上（θ＝１３５度）に向かって中央部の画素（ｆ５５）まで延びるライン（ｆ８８、ｆ７７、ｆ６６、ｆ５５）を示している。

図３５は、エッジ方向を利用する平滑化処理の概要図である。本実施例では、平滑化モジュール４２４（図３２）は、平滑化の方向が互いに異なる４種類の異方性平滑化フィルタＳＦｈ、ＳＦｉ１、ＳＦｖ、ＳＦｉ２の中から、エッジ角度ＥＡに応じて平滑化フィルタを選択する。

ここで、平滑化の方向は、平滑化の強度が最も強くなる方向、すなわち、画素値の変化率を最も強くなだらかにすることが可能な方向を意味している。このような平滑化の方向は、例えば、以下のようなテスト画像データを用いて確認され得る。テスト画像内の或る特定画素の画素値がピークに設定され、他の画素の画素値が、特定画素からの距離が遠いほど小さくなるように設定されていると仮定する。ここで、テスト画像内における画素値分布の形状は、特定画素をピークとする等方的な山形状である。このようなテスト画像の全体に、同じ平滑化フィルタを用いた平滑化処理を実行する。すると、特定画素と、その周辺の画素との間の画素値差分が小さくなる。この画素値差分の減少量は、平滑化の強度に相当する（減少量が大きいほど平滑化強度が強い）。ここで、画素値差分の減少量を、周辺画素毎に比較する。周辺画素としては、例えば、特定画素の周囲を囲む８つの画素を採用可能である。ここで、特定画素から、画素値差分の減少量が最も大きい周辺画素へ向かう方向が、平滑化の方向であるということができる。以下、平滑化の方向を、横方向ｈｒを基準とする反時計回り方向の角度θｓで表す。なお、ある方向の平滑化の強度が強いことは、その方向と逆方向の平滑化の強度が強いことと等価である。従って、平滑化方向θｓは、−９０〜＋９０度の範囲の値によって表され得る。

図３５には、エッジ角度ＥＡの範囲と平滑化フィルタとの関係を表すテーブルが示されている。エッジ角度ＥＡが横範囲ＥＡＲｈ（−２２．５〜＋２２．５度）内の場合には、横平滑化フィルタＳＦｈが選択される。この横平滑化フィルタＳＦｈは、図２８に示す横平滑化フィルタＳＦｈと同じである。この平滑化フィルタＳＦｈの平滑化方向θｓは０度である。

エッジ角度ＥＡが第１斜範囲ＥＡＲｉ１（＋２２．５〜＋６７．５度）内の場合には、第１斜平滑化フィルタＳＦｉ１が選択される。この第１斜平滑化フィルタＳＦｉ１は、図２１に示す平滑化フィルタＳＦ１において、中央要素ＣＥＬと、中央要素ＣＥＬの右上と左下とのそれぞれの要素とをそのまま維持し、他の要素をゼロに設定したものと同じである。この第１斜平滑化フィルタＳＦｉ１を利用すれば、右上から左下に向かって画素を辿ったときの画素値の変化を小さくすることができる。このように、この平滑化フィルタＳＦｉ１の平滑化方向θｓは４５度である。

エッジ角度ＥＡが縦範囲ＥＡＲｖ（＋６７．５〜＋９０度、−９０〜−６７．５度）内の場合には、縦平滑化フィルタＳＦｖが選択される。この縦平滑化フィルタＳＦｖは、図２８に示す縦平滑化フィルタＳＦｖと同じである。この平滑化フィルタＳＦｖの平滑化方向θｓは９０度である。

エッジ角度ＥＡが第２斜範囲ＲＡＲｉ２（−６７．５〜−２２．５度）内の場合には、第２斜平滑化フィルタＳＦｉ２が選択される。この第２斜平滑化フィルタＳＦｉ２は、図２１に示す平滑化フィルタＳＦ１において、中央要素ＣＥＬと、中央要素ＣＥＬの左上と右下とのそれぞれの要素とをそのまま維持し、他の要素をゼロに設定したものと同じである。この第２斜平滑化フィルタＳＦｉ２を利用すれば、左上から右下に向かって画素を辿ったときの画素値の変化を小さくすることができる。このように、この平滑化フィルタＳＦｉ２の平滑化方向θｓは−４５度である。

平滑化モジュール４２４（図３２）は、各平滑化フィルタの要素を、代表正規化強度αｆに基づいて決定する。代表正規化強度αｆとしては、図２４に示す実施例で説明した種々の代表値（例えば、最大値）を採用可能である。

なお、本実施例では、傾斜角度ＤＡ１、ＤＡ２が、０〜＋２２．５度、＋６７．５〜＋９０度のいずれかの範囲内にある場合には、エッジ方向が右上を指す場合と、エッジ方向が右下を指す場合とで共通の平滑化フィルタが利用される。従って、この場合には、右上と右下とを区別する処理を省略してもよい。

以上のように、本実施例では、エッジ角度ＥＡ（図３４のエッジ角度ＥＡ１、ＥＡ２）に応じて、エッジ方向とほぼ平行な方向の画素値変化を平滑化する平滑化フィルタが選択される。すなわち、エッジ方向の平滑化の強度が、エッジ方向と垂直な方向の平滑化の強度よりも、強くなる。その結果、被写体のエッジが過剰に滑らかになることを抑制できる。そして、ブロックノイズを低減することができる。

なお、エッジ方向検出モジュール４２３は、ノイズ強度算出モジュール４２２と同様に、第３主成分ｙｍ３を利用してエッジ方向を算出すればよい。そして、平滑化モジュール４２４は、各主成分ｙｍ１、ｙｍ２、ｙｍ３に対して、４つのフィルタＳＦｈ、ＳＦｉ１、ＳＦｖ、ＳＦｉ２の中からエッジ方向に応じて選択された１つのフィルタを共通に利用すればよい。また、平滑化モジュール４２４は、図２５に示す実施例と同様に、第３主成分ｙｍ３の平滑化強度から、他の主成分ｙｍ１、ｙｍ２の平滑化強度を決定すればよい。

Ｂ８．ブロックノイズ強度を利用した平滑化処理の第８実施例：
図３６は、第８実施例における色成分毎の平滑化処理の手順を示すフローチャートである。図１７に示す処理との差違は、２つのステップＳ２００、Ｓ２１０の間に、ノイズを付加するステップＳ２０５が追加されている点だけである。２つのステップＳ２００、Ｓ２１０の処理としては、上述の各実施例の処理を採用可能である。

本実施例では、平滑化モジュール４２４（図１６、図３２）は、画素値にノイズを付加し、ノイズが付加された画像データを利用して平滑化処理を実行する。これは、平滑化フィルタを用いた平滑化処理では解消が困難な境界線上の画素値の不連続性を緩和するためである。

図３７は、境界線上の不連続性を示す概略図である。図中には、左境界線Ｂｗにおける不連続性が示されている。第１画素列Ｖｆ１の８つの画素値ｆ１１〜ｆ８１は全て「１００」であり、第８画素列Ｖｗ８の８つの画素値ｗ１８〜ｗ８８は全て「１０１」である。このように左境界線Ｂｗの全体に亘って画素値の変化率は、最小値（１）である。この場合には、平滑画素値を中間の値（例えば、１００．５）に設定することができないので、平滑化フィルタを利用した平滑化処理では、不連続性を解消することが困難である。また、このような不連続性は、筋状のノイズとして目立ちやすい。そこで、本実施例では、このような不連続性を解消するために、画素値にノイズを付加する。なお、このような画素値分布は、例えば、画素ブロックＦ、Ｗが、緩やかなグラデーションを表す場合に、生じ得る。

図３８は、ノイズ付加を示す概要図である。先ず、平滑化モジュール４２４（図１６、図３２）は、対象ブロックＦの第ｉ行の差分指標値Δｉを算出する。この差分指標値Δｉは、第ｉ行に関する、対象ブロックＦと左ブロックＷとの間の画素値の差分を表している。具体的には、左ブロックＷの第ｉ行の第８列の画素値ｗｉ８から、対象ブロックＦの第ｉ行の８つの画素値ｆｉ１〜ｆｉ８の平均値ｆｉ＿ａｖｅを差し引いた差分が、差分指標値Δｉとして利用される。

次に、平滑化モジュール４２４は、差分指標値Δｉに横画素位置ｈｒｐで決まる係数ｎｃを乗じてノイズ特性値Δｉｊを算出する。図３８の中段のグラフに示すように、この係数ｎｃは、横画素位置ｈｒｐが左境界線Ｂｗに近いほど大きい。図３８の実施例では、左境界線Ｂｗに最も近い４つの横画素位置ｈｒｐ（１〜４）に対して、係数ｎｃが「３／４」、「２／４」、「１／４」、「０」に、それぞれ設定されている。なお、横画素位置ｈｒｐが５よりも大きな範囲では（５〜８）、係数ｎｃはゼロに設定されている。

次に、平滑化モジュール４２４は、ノイズ特性値Δｉｊからノイズのパラメータを決定する。本実施例では、正規分布に従う乱数がノイズとして利用される。そして、平均値が「Δｉｊ／２」に設定され、分散が「（Δｉｊ／４）²」に設定される。このように、ノイズの大きさは、ノイズ特性値Δｉｊ（すなわち、差分指標値Δｉ）が大きいほど大きい。なお、このようなノイズは、例えば、平均がゼロで分散が１の正規分布に従う乱数Ｒｎを用いた演算式「（Δｉｊ／２）＋（Δｉｊ／４）＊Ｒｎ」によって生成可能である。

平滑化モジュール４２４は、このようにして得られるランダムノイズを、対象ブロックＦの第ｉ行の８つの画素値ｆｉ１〜ｆｉ８に付加する（だたし、平均と分散とが共にゼロに設定される５つの画素値ｆｉ４〜ｆｉ８にはノイズ付加は行われない）。図３８の下には、ノイズ付加による画素値の変化の概要が示されている。この図では、５つの画素値ｗｉ８、ｆｉ１〜ｆｉ４が示されている。黒丸はノイズ付加前の画素値を示している。白丸はノイズ付加後の平均画素値を示している。矢印で示される範囲は、ノイズ付加後の画素値の偏差を示している。ここで、説明を簡単にするために、対象ブロックＦの画素値ｆｉ１〜ｆｉ４は、全て平均値ｆｉ＿ａｖｅであることとしている。

図示するように、左境界線Ｂｗに近いほど、対象ブロックＦの画素値が左ブロックＷの画素値ｗｉ８に近くなる可能性が高い。また、左境界線Ｂｗから遠いほど、画素値の変化量が小さい。これらにより、対象ブロックＦの中央部分の画素値が過剰に変化することを抑制しつつ、左境界線Ｂｗ上の不連続性を解消することができる。

図３９は、ノイズ付加結果の一例を示す概略図である。この図には、図３７に示す対象ブロックＦにノイズを付加した場合の例が示されている。図示するように、第１画素列Ｖｆ１の８つの画素値ｆ１１〜ｆ８１に、ノイズ付加によるバラツキが生じている。その結果、第８画素列Ｖｗ８の画素値との不連続性が大幅に緩和されている。実際には、第８画素列Ｖｗ８の８つの画素値ｗ１８〜ｗ８８にもノイズが付加されるので、左境界線Ｂｗ上の不連続性は、より適切に、緩和される。さらに、ノイズ付加の後に平滑化処理が実行されるので、付加されたノイズが目立つことも抑制される。

以上、左境界線Ｂｗについて説明したが、対象ブロックＦの他の境界線Ｂｎ、Ｂｅ、Ｂｓについても、同様に、ノイズ付加処理が実行される。ここで、横境界線Ｂｎ、Ｂｓに関しては、横方向ｈｒと縦方向ｖｔを入れ替えた関係に従ってノイズパラメータが決定される。ここで、ブロックノイズ強度ＢＮＳが大きいほど大きな重みをノイズに付してもよい。

なお、ノイズとしては、図３８に示すノイズに限らず、種々のノイズを採用可能である。例えば、乱数を利用してノイズを生成する代わりに、予め設定されたノイズパターンを利用してもよい。また、横画素位置ｈｒｐと縦画素位置ｖｔｐとに依存しない一様なノイズを付加してもよい。ただし、境界線に近いほど画素値の変化が大きくなるようなノイズを採用することが好ましい。こうすれば、画素ブロックの中央部分の画素値が過剰に変化することを抑制しつつ、境界線上の不連続性を解消することができる。

また、ノイズの大きさ（すなわち、ノイズ付加による画素値の変化量）は、境界線における画素値の変化率が大きいほど大きいことが好ましい。このような変化率を表す指標としては、上述の差分指標値Δｉに限らず、変化率と正の相関を有する種々の指標値を採用可能である。例えば、一方の画素ブロック内の画素値の平均値と、他方の画素ブロック内の画素値の平均値との差分を利用してもよい。いずれの場合も、このような指標値が大きいほど大きなノイズを付加すれば、過剰なノイズ付加を避けることができ、そして、境界線上の不連続性が解消されずに残ることを抑制できる。また、大きなノイズが付加された場合であっても、ブロックノイズ強度ＢＮＳが強いほど強い平滑化が実行されるので、ノイズが目立つことも抑制できる。

また、ノイズの周波数分布において、ピークが所定値よりも高いことが好ましい。例えば、１サイクル／４画素よりも高い周波数にピークがあれば、ノイズの斑が目立つことを抑制できる。

また、このようなノイズ付加を、所定の条件が成立した場合に実行してもよい。このような条件としては、例えば、境界線に関するブロックノイズ強度ＢＮＳが所定の閾値よりも強いこと、を採用可能である。

なお、図３６のステップＳ２０５では、平滑化モジュール４２４（図１６、図３２）は、第３主成分ｙｍ３に対してノイズを付加する。また、平滑化モジュール４２４は、第３主成分ｙｍ３に加えて、他の主成分ｙｍ１，ｙｍ２にノイズを付加してもよい。各主成分ｙｍ１、ｙｍ２に付加されるノイズとしては、第３主成分ｙｍ３に対して付加されたノイズと同じノイズを採用可能である。この代わりに、各主成分ｙｍ１、ｙｍ２毎に、第３主成分ｙｍ３と同じ方法でノイズを算出してもよい。

Ｂ９．ブロックノイズ強度を利用した平滑化処理の第９実施例：
上述の各実施例において、ブロックノイズ強度ＢＮＳとしては、数式１９によって表される値に限らず、他の演算式によって表される値を採用してもよい。例えば、以下の数式２０で表される値を採用してもよい。

この数式２０は、数式１９におけるＬ２ノルムをＬ１ノルムに置き換えたものである。Ｌ１ノルムは、１次のノルムとも呼ばれ、全ての要素の絶対値の合計値を算出する演算である（数式１７参照）。このようなＬ１ノルムを用いた数式２０を利用すれば、ｎ乗（ｎは２以上の整数）とｎ乗根との代わりに絶対値計算と加減算とを含む整数演算によってブロックノイズ強度ＢＮＳを算出することが可能である。その結果、演算処理の負荷を大幅に軽減することが可能である。

また、数式２０において、Ｌ１ノルムを最大値ノルムに置き換えてもよい。最大値ノルムは、スープノルムとも呼ばれ、全ての要素の絶対値の内の最大の値を算出する演算である。この場合も、ｎ乗（ｎは２以上の整数）とｎ乗根とを計算せずにブロックノイズ強度ＢＮＳを算出することが可能である。その結果、演算処理の負荷を大幅に軽減することが可能である。

一般に、数式２０において、Ｌ１ノルムをｐ次のノルムに置き換えることが可能である（数式１７参照）。ｐ次のノルムは、幾何学的ベクトルの長さの概念を一般化したものである。従って、このようなノルムを用いることによって、差分列（例えば、Ｖｄｂ、Ｖｄｗ、Ｖｄｆ）が示す差分の総合値（すなわち、境界線と垂直な方向に画素を辿ったときの画素値の変化率、換言すれば、境界線と平行に延びるエッジの強さ）を適切に算出することが可能である。その結果、いずれのノルムを利用しても、ブロックノイズの強度を適切に算出することが可能である。なお、上述の最大値ノルムは、ｐ次ノルムの次数ｐを無限大に設定したときの極限であると見なすことが可能である。

Ｃ．変形例：
なお、上記各実施例における構成要素の中の、独立クレームでクレームされた要素以外の要素は、付加的な要素であり、適宜省略可能である。また、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

変形例１：
上述の各実施例において、対象画像データの各画素の色を表す色成分としては、Ｒ、Ｇ、Ｂの３色成分に限らず、任意の色成分を採用可能である。例えば、Ｙ、Ｃｂ、Ｃｒの３色成分を採用してもよい。また、色成分の総数としては「３」に限らず任意の複数を採用可能である。例えば、２種類の色成分を採用してもよい。２種類の色成分としては、例えば、明るさ（輝度）と彩度との２成分を採用してもよい。このような対象画像データは、色相が所定の色相に固定されたモノトーン画像を表している。また、４種類の色成分を採用してもよい。例えば、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロ）、Ｋ（ブラック）の４色成分を採用してもよい。また、Ｒ（赤）、ＹＧ（黄緑）、Ｂ（青）、ＥＧ（エメラルドグリーン）の４色成分を採用してもよい。

変形例２：
上述の各実施例において、対象画像データの各画素の色がＮ種類（Ｎは２以上の整数）の元色成分で表されている場合には、Ｎ種類の処理色成分（主成分）が算出される。ここで、平滑化処理が、一部の処理色成分に対して実行されてもよい。換言すれば、平滑化処理の対象の処理色成分としては、分散が最も小さい処理色成分を含む少なくとも一部の処理色成分を採用可能である。例えば、分散の最も大きな処理色成分（第１主成分）に対する平滑化処理を省略してもよい。この場合も、分散の小さな処理色成分に対する平滑化処理によって、ノイズの低減が可能である。

また、Ｍ種類（Ｍは２以上Ｎ以下の整数）の処理色成分のそれぞれに対して平滑化処理を実行する場合には、個々の画素位置において、分散が小さいほど平滑化処理の強度が強いことが好ましい。こうすれば、分散の大きな処理色成分が過剰に平滑化されて画像がぼやけることを抑制できる。そして、分散の小さな処理色成分を強く平滑化することによってノイズを低減することができる。ただし、複数の処理色成分に対して同じ強度の平滑化処理が実行されてもよい。また、分散の大きな処理色成分に対して、分散の小さな処理色成分よりも強い平滑化処理が実行されてもよい。

いずれの場合も、個々の画素位置において、Ｎ種類の処理色成分のうちで分散が最も小さい処理色成分に対して最も強い平滑化処理を実行することが好ましい。こうすれば、分散が大きな処理色成分に対して過剰に強い平滑化処理が実行されることが防止されるので、画像が過剰にぼやけることを防止できる。そして、分散が最も小さい処理色成分に対する強い平滑化処理によって、ノイズを適切に低減することができる。なお、平滑化処理が実行されない色成分に関しては、平滑化強度がゼロに設定されているということができる。

変形例３：
上述の各実施例において、平滑化処理の対象となる領域は、対象画像データによって表される対象画像の内の一部の領域であってもよい。例えば、フィルタモジュール４２０、４２０ａ、４２０ｂ（図３、図１６、図３２）は、処理対象領域として、ユーザによって指定された一部の領域を採用してもよい。また、他の装置からの指示によって指定された一部の領域が採用されてもよい。例えば、特定の被写体（例えば、人物）を表す一部の領域を特定する特定装置によって、平滑化処理の対象領域が指定されてもよい。

変形例４：
上述の各実施例において、平滑化処理に利用される処理色成分の決定方法としては、主成分分析による方法に限らず、種々の方法を採用可能である。例えば、近似的に主成分を算出する方法を利用してもよい。また、複数の処理色成分の軸が互いに直交していなくてもよい。ただし、主成分分析によって処理色成分を決定すれば、処理色成分間の相関が過剰に強くなることが防止される。その結果、１つの処理色成分に対する平滑化処理の過剰な影響が他の処理色成分に及ぶことを防止できるので、画像の過剰なぼやけを防止できる。いずれの場合も、色成分変換モジュール４２１（図３、図１６、図３２）は、対象画像データを解析することによって、Ｎ種類の元色成分を、各元色成分の分散のいずれよりも大きな分散を示す色成分を含むＮ種類の処理色成分に変換することが好ましい。こうすれば、元色成分のいずれよりも画像データの特徴を強く反映する処理色成分に対して過剰に強い平滑化処理が実行されることが防止される。その結果、画像が過剰にぼやけることを防止できる。

変形例５：
上述の各実施例において、ブロックノイズ強度の算出に利用される処理色成分としては、分散が最小である処理色成分に限らず、種々の成分を採用可能である。例えば、第１主成分ｙｍ１を利用してノイズ強度を決定し、そのノイズ強度を利用して各処理色成分の平滑化強度を決定してもよい。いずれの場合も、ノイズ強度の算出に利用された処理色成分以外の処理色成分の平滑化強度の決定方法としては、種々の方法を採用可能である。例えば、図２５の実施例と同様に、所定の係数や所定値を利用して平滑化強度に差を設けてもよい。また、処理色成分毎に平滑化フィルタのフィルタ範囲が異なっていてもよい。

また、ブロックノイズ強度の算出と、算出されたブロックノイズ強度に応じた平滑化処理の強度の決定との全体を、処理色成分毎に実行してもよい。また、一部の処理色成分に対する平滑化強度をブロックノイズ強度に応じて決定し、残りの処理色成分に対する平滑化強度を所定の強さに維持してもよい。また、処理色成分毎に平滑化の方向が異なっていても良い。この場合も、処理色成分間の平滑化強度を、第７実施例で説明したようなテスト画像データを用いて比較可能である。上述したように、このテスト画像データでは、テスト画像内における処理色成分の画素値分布の形状が、特定画素をピークとする等方的な山形状である。このようなテスト画像の全体に、同じ平滑化フィルタを用いた平滑化処理を実行する。すると、特定画素と、その周辺の８つの画素との間の画素値差分が小さくなる。この８つの画素値差分減少量のうちの最大値を、その平滑化フィルタによる平滑化強度として利用可能である。そして、このような平滑化強度を用いて、処理色成分間の平滑化強度を比較可能である。ここで、各処理色成分の平滑化強度の算出に、同じ画素値分布を利用すればよい。このような平滑化強度の比較は、各処理色成分の平滑化の方向が同じ場合や、等方的な平滑化処理が実行される場合にも、同様に実行可能である。

いずれの場合も、個々の画素位置において、分散が最も小さい処理色成分に対して最も強い平滑化処理が実行されることが好ましい。そして、個々の画素位置において、分散が小さいほど平滑化処理の強度が強いことが好ましい。

変形例６：
上述の各実施例において、フィルタモジュール４２０、４２０ａ、４２０ｂ（図３、図１６、図３２）は、対象画像データとは異なる色成分で表された処理済み対象画像データを生成してもよい。例えば、フィルタモジュール４２０、４２０ａ、４２０ｂは、ＲＧＢ色空間で表された対象画像データから、ＹＣｂＣｒ色空間で表された処理済み対象画像データを生成してもよい。この場合には、色成分変換モジュール４２１は、平滑化処理が実行された後の処理色成分から、元色成分とは異なる出力色成分への変換を実行すればよい。この際、処理色成分を、一旦、元色成分に変換し、そして、元色成分を出力色成分に変換してもよい。また、色成分変換モジュール４２１とは別の出力変換モジュール（図示せず）によって、このような処理済みのＮ種類の処理色成分から所定のＮ種類の出力色成分への変換が実行されてもよい。このような出力変換モジュールは、フィルタモジュール４２０、４２０ａ、４２０ｂに設けられてもよく、また、他の画像処理装置に設けられても良い。いずれの場合も、平滑化モジュール４２４は、処理済みの処理色成分で表された画像データを出力変換モジュールに送出すればよい。

変形例７：
上述の各実施例の平滑化処理の機能を画像処理装置に実装したときに、適切に実装されているかを確認する方法としては、種々の方法を採用可能である。例えば、画像処理装置によって対象画像データから処理済み対象画像データが生成される場合には、これらの画像データを以下のように比較すればよい。ここで、対象画像データの画素の色を表す３成分ｘｔ１、ｘｔ２、ｘｔ３と、処理済み対象画像データの画素の色を表す３成分ｘｐ１、ｘｐ２、ｘｐ３とが、同じ色成分（例えば、ＲＧＢ）を示していると仮定する。

先ず、対象画像データ（ｘｔ１、ｘｔ２、ｘｔ３）に対して主成分分析を行い、主成分ｙｔ１、ｙｔ２、ｙｔ３を算出する。次に、この主成分分析で得られた対応関係に従って、処理済み対象画像データ（ｘｐ１、ｘｐ２、ｘｐ３）から処理済み主成分ｙｐ１、ｙｐ２、ｙｐ３を算出する。これらの処理済み主成分ｙｐ１、ｙｐ２、ｙｐ３は、対象画像データの主成分ｙｔ１、ｙｔ２、ｙｔ３に平滑化処理を実行した結果を表していると推定される。そこで、処理前主成分ｙｔ１、ｙｔ２、ｙｔ３と、処理済み主成分ｙｐ１、ｙｐ２、ｙｐ３とを比較し、主成分毎の違いを検討する。例えば、平滑化の強度を各主成分間で比較したときに、処理前主成分の分散が小さいほど平滑化の強度が強ければ、上述の各実施例のような平滑化処理が適切に実行されていると推定可能である（第１主成分の平滑化強度＜第２主成分の平滑化強度＜第３主成分の平滑化強度）。

なお、処理前主成分ｙｔ１、ｙｔ２、ｙｔ３と、処理済み主成分ｙｐ１、ｙｐ２、ｙｐ３との比較方法としては、種々の方法を採用可能である。例えば、これらの主成分間の自己相関と相互相関とを利用して、画像処理装置のインパルス応答を推定する。そして、インパルス応答と、インパルス応答から計算される周波数特性等を各主成分間で比較してもよい。インパルス応答の推定方法としては、種々の方法を採用可能である。例えば、自己相関行列と相互相関行列とを利用してYule-Walker方程式を解く方法を採用可能である。

変形例８：
上述の各実施例において、対象画素ブロックと他の画素ブロックとの間の境界線におけるブロックノイズ強度を算出するためのノイズ強度演算としては、種々の演算を採用可能である。ここで、対象画素ブロック内の画素値の変化率の大きさを示す指数が大きいほど弱いブロックノイズ強度が算出されるように、ノイズ強度演算が設定されていることが好ましい。こうすれば、画像がぼやける等の不具合の発生を抑制しつつブロックノイズを低減することができる。ここで、このような指数としては、種々の値を採用可能である。例えば、上述の各実施例のようにエッジ強度ＢＥＳを採用してもよい。また、対象画素ブロック内の画素値の分散を採用してもよい。分散の算出には、対象画素ブロックの全体を利用してもよく、所定の一部の領域を利用してもよい。また、対象画素ブロック内の所定の複数の画素位置における画素値変化率の代表値（例えば、平均値、最大値、最頻値、中央値（メディアン）、最小値）を採用してもよい。このような種々の指数の少なくとも一部に関して、指数が大きいほどブロックノイズ強度が弱いことが好ましい。また、数式１９、数式２０で表される演算式の分母を、このような指標に置き換えても良い。

ここで、ブロックノイズ強度は、以下のように設定されることが好ましい。すなわち、ブロックノイズ強度は、第１算出値を第２算出値で除した値に設定される。ここで、境界線と垂直な方向の画素値の変化率を垂直変化率と呼ぶ。第１算出値は、境界線上における垂直変化率の２次微分と正の相関を有するという第１特徴を示す。第２算出値は、対象画素ブロック内の垂直変化率である対象変化率の大きさを示す対象変化指数と正の相関を有するという第２特徴を示す。さらに、第２算出値は、他の画素ブロック内の垂直変化率である隣接変化率の大きさを示す隣接変化指数と正の相関を有するという第３特徴とを示す。このようなブロックノイズ強度を利用すれば、適切なブロックノイズ強度を算出できる。

第１算出値としては、第１特徴を示す種々の値を採用可能である。例えば、上述の各実施例のようにＭＳＤＳの平方根を利用してもよい。また、境界線上の所定の複数の画素位置における垂直変化率の２次微分の代表値（例えば、平均値、最大値、最頻値、中央値（メディアン）、最小値）を採用してもよい。

対象変化指数としては、対象画素ブロック内の垂直変化率の大きさを示す種々の値を採用可能である。例えば、上述の各実施例のように第１内部差分列Ｖｄｆのノルムを採用してもよい。また、対象画素ブロック内の所定の複数の画素位置における垂直変化率の代表値（例えば、平均値、最大値、最頻値、中央値（メディアン）、最小値）を採用してもよい。このような種々の対象変化指数の少なくとも一部に関して、第２算出値が対象変化指数と正の相関を有することが好ましい。これらの説明は、隣接変化指数についても、同様である。なお、上述の各実施例では、隣接変化指数として、第２内部差分列Ｖｄｗのノルムが利用されている。

なお、第１算出値と対象変化指数と隣接変化指数とのそれぞれは、境界線と垂直な複数の画素ラインを利用して算出可能である。また、各画素ラインから算出された値を総合するために、ｐ次ノルム（数式１７）を採用可能である。ここで、１次ノルムと最大値ノルムのいずれかを利用すれば、演算負荷を大幅に低減できる。また、第１算出値と対象変化指数と隣接変化指数とのそれぞれは、互いに異なる画素ラインから算出されてもよい。

いずれの場合も、画素値変化率は、単位長さ当たりの画素値の変化量を意味している。そして、単位長さとしては、１画素分の長さに限らず、任意の長さ（２画素分の長さや３画素分の長さ）を採用可能である。例えば、３画素分の長さを採用してもよい。この場合には、上述の各実施例で利用される差分列Ｖｄｂ、Ｖｄｗ、Ｖｄｆとして、２画素分の間を空けて選択された画素列の差分を利用すればよい（Ｖｄｂ＝Ｖｆ２−Ｖｗ７、Ｖｄｗ＝Ｖｗ７−Ｖｗ４、Ｖｄｆ＝Ｖｆ５−Ｖｆ２）。ただし、境界線上に生じやすいブロックノイズの強度を算出するためには、単位長さとして小さい長さ（例えば１画素分の長さ）を採用することが好ましい。

変形例９：
上述の各実施例において、平滑化処理の強度は、対象画素ブロックの各画素毎に決定されることが好ましい。こうすれば、画像がぼやける等の不具合の発生を抑制しつつブロックノイズを低減することが容易である。このように平滑化処理の強度を決定する方法としては、例えば、図２６、図２７、図２８、図３０に示す実施例が挙げられる。

変形例１０：
上述の各実施例において、平滑化処理の対象の画素として、画素ブロック内の一部の画素を採用してもよい。例えば、境界線に近い一部の画素を採用可能である。ただし、上述の各実施例のように全ての画素に平滑化処理を実行すれば、平滑化処理が実行された画素と平滑化処理が実行されなかった画素との間の境界に沿ってノイズが生じることを抑制できる。

また、平滑化フィルタとしては、図２２、図２９、図３５の実施例に限らず、種々のフィルタを採用可能である。例えば、フィルタ範囲が３＊３よりも広くてもよい。

変形例１１：
上述の各実施例において、平滑化処理の対象となる対象画像データとしては、動画像に含まれるフレーム画像データに限らず、種々の画像データを採用可能である。例えば、ＪＰＥＧ画像データやＴＩＦＦ画像データ等の静止画像データを採用してもよい。また、ブロックノイズ強度に応じて平滑化強度が調整される平滑化処理（デブロッキング処理）の対象となる対象画像データとしては、動画像に含まれるフレーム画像データに限らず、複数の画素を含む画素ブロック毎の復号を利用して生成された種々の画像データを採用可能である。例えば、ＪＰＥＧ画像データをデコードして得られる画像データを採用してもよい。また、このようなデブロッキング処理を実行する画像処理装置において、画素ブロック毎の復号を行う復号処理部を省略してもよい（図２の実施例では、選択モジュール４００が復号処理部に相当する）。この場合には、画像処理装置は、他の装置によって復号（デコード）された画像データを処理対象として利用すればよい。いずれの場合も、対象画像データの取得方法としては、任意の方法を採用可能である。例えば、着脱可能なメモリカードやネットワークを通じて対象画像データを取得してもよい。

また、対象画像データ内の画素ブロックの配置設定（画素ブロックのサイズ（縦画素数と横画素数）を含む）を特定する方法としては、種々の方法を採用可能である。例えば、所定の配置設定が採用されてもよい。この代わりに、対象画像データに対応付けられた配置情報（画素ブロックの配置設定を表す）を利用してもよい。対象画像データと配置情報とは、フィルタモジュール４２０ａ、４２０ｂ（図１６、図３２：モジュール４２１、４２２、４２３、４２４）に対して、種々の処理部（例えば、上述の復号処理部や外部装置）から供給され得る。同様に、復号処理部は、画素ブロックの配置設定を種々の方法で特定可能である。例えば、符号化された画像データの解析結果や、その画像データに対応付けられた情報（例えば、ヘッダ情報）から、配置設定を特定可能である。

変形例１２：
上述の各実施例において、動画像に含まれる複数のフレーム画像を合成することによって、ユーザによって指定された画像と同じ画像を表す高解像度画像を生成してもよい。ここで、選択モジュール４００（図２）が、合成に利用される複数のフレーム画像を選択すればよい。フィルタモジュール４２０は、各フレーム画像に対してデブロッキング処理を実行すればよい。そして、出力モジュール４３０は、デブロッキング処理が施された複数のフレーム画像を合成することによって、高解像度画像を生成すればよい。

変形例１３：
上述の各実施例において、平滑化処理によって生成された画像データの用途としては、印刷に限らず、種々の用途を採用可能である。例えば、図４のステップＳ１３０において、出力モジュール４３０（図２）は、印刷を実行する代わりに、生成された画像データを含む画像データファイルをユーザに提供してもよい（例えば、ユーザに提供されるデータを格納するためのメモリ（例えば、着脱可能なメモリカードＭＣ（図１））に画像データファイルを格納してもよく、また、ネットワークを通じて接続された通信機器に画像データファイルを送信してもよい）。また、動画像を再生する際に、各フレーム画像に対して平滑化処理を実行してもよい。このように、平滑化処理を実行する画像処理装置としては、プリンタ１００に限らず、任意の装置を採用可能である。例えば、デジタルカメラ、携帯電話、携帯情報端末、動画像再生装置等の種々の装置を採用可能である。特に、第９実施例で説明したように、ｎ乗（ｎは２以上の整数）とｎ乗根とを含まない整数演算によってブロックノイズ強度ＢＮＳを算出すれば、大幅に演算負荷を軽減することができる。その結果、画像処理装置の処理能力が高くない場合であっても、高速に平滑化処理を実行することができる。

変形例１４：
上述の各実施例において、動画像データのフォーマットとしては、ＭＰＥＧフォーマットに限らず、任意のフォーマットを採用可能である。また、上述の各実施例では、プログレッシブスキャンの動画像データを利用しているが、インタレーススキャンの動画像データを利用してもよい。この場合には、対象画像として、フレーム画像の代わりにフィールド画像を採用することが可能である。また、フィールド画像をそのまま採用する代わりに、２枚のフィールド画像から再構成された１枚のフレーム画像を採用してもよい。このようなフィールド画像からのフレーム画像の再構成は、選択モジュール４００（より一般的には、画素ブロック毎の復号を行う復号処理部）によって実行され得る。

変形例１５：
上述の第７実施例において、エッジ方向の検出方法としては、図３４に示す方法に限らず、種々の方法を採用可能である。例えば、ソーベルフィルタを利用してエッジ方向を検出してもよい。ただし、図３４に示すように、ブロックノイズ強度ＢＮＳの算出のために既に算出済みのエッジ強度ＢＥＳを利用すれば、演算負荷を軽減できる。エッジ強度ＢＥＳからエッジ方向を算出する方法としては、種々の方法を採用可能である。例えば、２つの縦エッジ強度ＢＥＳｗ、ＢＥＳｅの平均値と、２つの横エッジ強度ＢＥＳｎ、ＢＥＳｓの平均値とから、エッジ角度を算出してもよい。

また、平滑化の方向が互いに異なる異方性平滑化フィルタとしては、図３５に示したフィルタに限らず、種々のフィルタを採用可能である。また、このような異方性平滑化フィルタの総数としては、４に限らず、種々の複数を採用可能である。ここで、図３５の実施例のように、平滑化方向θｓが、−９０〜＋９０度の範囲内に均等に分布するように、複数の異方性平滑化フィルタを準備することが好ましい。また、異方性平滑化フィルタの総数が４以上であることが好ましい。いずれの場合も、平滑化モジュール４２４は、平滑化の方向が互いに異なる複数種類の平滑化フィルタの中から、平滑化の方向がエッジ方向に最も近い平滑化フィルタを選択することが好ましい。

また、平滑化の強度を、図２６に示す実施例と同様に、画素位置に応じて変化させてもよい。

変形例１６：
上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、図２のフィルタモジュール４２０の機能を、論理回路を有するハードウェア回路によって実現してもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。

本発明の一実施例としてのプリンタを示す説明図である。ＲＯＭ２２０（図１）に格納されたモジュールを示す説明図である。フィルタモジュール４２０を示す説明図である。動画像処理の手順を示すフローチャートである。フィルタ処理の手順を示すフローチャートである。主成分分析の概略を示す説明図である。サンプル画像ＳＩを示す説明図である。ノイズの付加された画像ＮＳＩを示す説明図である。平滑化フィルタＦ１、Ｆ２、Ｆ３を示す説明図である。処理画像ＥＩを示す説明図である。比較例における処理画像ＣＩ１を示す説明図である。比較例における処理画像ＣＩ２を示す説明図である。比較例で利用された平滑化フィルタＦ１１、Ｆ１２を示す説明図である。ＳＮ比と分散とを示す表である。ピクチャの概要図である。フィルタモジュール４２０ｂを示す説明図である。色成分毎の平滑化処理の詳細な手順を示すフローチャートである。ブロックノイズ強度の算出に利用される画素値を示す説明図である。ブロックノイズ強度の算出に利用される画素値を示す説明図である。左境界線Ｂｗと垂直な方向に沿ってみたときの画素値の変化の一例を示すグラフである。画素値の変化の別の例を示すグラフである。平滑化フィルタを示す説明図である。平滑化フィルタＳＦ１の要素と中央要素ＣＥＬ（対象画素）からの距離との関係を示すグラフである。平滑化処理の概要を示す説明図である。ノイズ強度と平滑化強度との関係を示すグラフである。平滑化処理の別の実施例の概要を示す説明図である。平滑化処理の別の実施例の概要を示す説明図である。平滑化処理の別の実施例の概要を示す説明図である。平滑化処理の別の実施例の概要を示す説明図である。平滑化処理の別の実施例の概要を示す説明図である。平滑化フィルタを示す説明図である。フィルタモジュール４２０ａを示す説明図である。エッジ方向とエッジ強度ＢＥＳとの関係を示す説明図である。エッジ方向算出を示す概要図である。エッジ方向を利用する平滑化処理の概要図である。色成分毎の平滑化処理の手順を示すフローチャートである。境界線上の不連続性を示す概略図である。ノイズ付加を示す概要図である。ノイズ付加結果の一例を示す概略図である。

符号の説明

４０…ディスプレイ
５０…操作パネル
５２…停止ボタン
５４…選択ボタン
５６…再生ボタン
５８…送りボタン
５９…戻しボタン
７０…メモリカードインターフェース
１００…プリンタ
２００…制御部
２１０…ＣＰＵ
２２０…ＲＯＭ
２３０…ＲＡＭ
３００…印刷エンジン
４００…選択モジュール
４２０、４２０ａ、４２０ｂ…フィルタモジュール
４２１…色成分変換モジュール
４２２…ノイズ強度算出モジュール
４２３…エッジ方向検出モジュール
４２４…平滑化モジュール
４３０…出力モジュール
ＭＣ…メモリカード
ＭＳ…スロット

Claims

各画素の色がＮ種類（Ｎは２以上の整数）の元色成分によって表された対象画像データを処理する画像処理装置であって、
前記対象画像データを主成分分析することによって、前記Ｎ種類の元色成分と、前記各元色成分の分散のいずれよりも大きな分散を示す色成分を含むＮ種類の処理色成分との対応関係を決定し、前記対象画像データを、前記Ｎ種類の処理色成分によって表される変換後画像データに変換する変換部と、
前記変換後画像データによって表される画像の少なくとも一部の領域の個々の画素位置において、前記処理色成分毎に個別に平滑化処理を実行するものであって、前記Ｎ種類の処理色成分のうちで分散が最も小さい処理色成分である最小分散処理色成分に対して最も強い平滑化処理を実行する平滑化処理部と、
を備える、画像処理装置。
請求項１に記載の画像処理装置であって、
前記平滑化処理部は、前記Ｎ種類の処理色成分の内の前記最小分散処理色成分を含むＭ種類（Ｍは２以上Ｎ以下の整数）の処理色成分のそれぞれに対して、分散が小さいほど強い平滑化処理を実行する、画像処理装置。
請求項２に記載の画像処理装置であって、
前記対象画像データは、複数の画素を含む画素ブロック毎の復号を利用して生成された画像データであり、
前記画像処理装置は、さらに、
前記Ｍ種類の処理色成分の中の特定処理色成分に関して、前記対象画像データ内の対象画素ブロックと、前記対象画素ブロックに隣接する他の画素ブロックとの間の境界線におけるブロックノイズ強度を、前記対象画像データを用いた所定のノイズ強度演算によって算出するノイズ強度算出部を備え、
前記平滑化処理部は、前記特定処理色成分に関して、前記対象画素ブロック内の少なくとも一部の領域に対して、前記ブロックノイズ強度が強いほど強い平滑化処理を実行し、
前記ノイズ強度演算は、前記対象画素ブロック内の画素値の変化率の大きさを示す指数が大きいほど弱い前記ブロックノイズ強度が算出されるように設定されている、
画像処理装置。