JP4931214B2

JP4931214B2 - 画像処理装置及びその方法

Info

Publication number: JP4931214B2
Application number: JP2007014199A
Authority: JP
Inventors: 正大平
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-01-24
Filing date: 2007-01-24
Publication date: 2012-05-16
Anticipated expiration: 2027-01-24
Also published as: CN101232573A; CN101232573B; JP2008182477A

Description

本発明は、例えばＭＰＥＧ（Moving Picture Experts Group）方式などにより、周波数変換及び非可逆圧縮符号化された画像データを復号した画像に含まれるノイズ部分を検出して除去する画像処理装置及びその方法に関するものである。

従来、画像の符号化方式として、フレーム内符号化方式であるMotion JPEGやDigital Video等の符号化方式や、フレーム間予測符号化を用いたＨ．２６１，Ｈ．２６３，ＭＰＥＧ−１，ＭＰＥＧ−２がある。また近年では、Ｈ．２６４等の符号化方式が知られている。これらの符号化方式は、ＩＳＯ（International Organization for Standardization：国際標準化機構）やＩＴＵ（International Telecommunication Union：国際電気通信連合）によって国際標準化されている。

符号化方式で代表的なＭＰＥＧ−２は非可逆符号化と呼ばれ、符号化画像データを復号しても元の画像データに完全には戻らない。これは符号化時に、ＤＣＴ変換の後に量子化を行うことに起因している。これら符号化方式は、画像信号の統計的な性質を利用し、その信号に含まれる冗長性を取り除くことで情報量の削減を図っている。即ち、人間の視覚は画像の高周波成分に鈍感であるため、その高周波成分を粗く量子化して冗長性を削除し、高い符号化効率を得るようにしている。

しかし、この種のＤＣＴ変換を行なう非可逆符号化では、高周波成分を制限することによってデータ圧縮を行っているために、画像のエッジ部、或は移動物体の周囲でモスキートノイズと呼ばれるノイズが発生し、復元した画像の画質劣化の原因となっている。このモスキートノイズを低減する方法が提案されており、例えば、入力画像信号のエッジ部を検出し、ノイズ除去フィルタによって画像信号のエッジ部をフィルタリング処理して、モスキートノイズを低減した画像信号を得る方法が提案されている。尚、その他のＭＰＥＧ等の詳細内容については、ISO/IECによる国際標準を参照されたい。

また、このようなノイズ除去を実行する技術として特許文献１には、動きベクトルの検出後、水平、垂直エッジを検出し、その後それぞれの次元でフィルタを施すことが記載されている。
特開平１０−１３７１８号公報

しかしながら上述の従来技術では、画像信号中のモスキートノイズの有無に関係無く、画像信号のエッジ部分でモスキートノイズ除去のフィルタリング処理が行われるため、モスキートノイズが発生していない部分では画像を劣化させてしまう。また、細かなエッジが含まれるテクスチャの領域があった場合、この領域をエッジと誤って判断してテクスチャの情報を削除していた。このため画質を劣化させる結果となっていた。

これらの問題点は、周波数変換及び非可逆圧縮符号化された画像データを復号した画像に含まれるモスキートノイズなどのノイズ部分を正確に検出することなく、画像信号のエッジ部にノイズ除去処理を施することに起因して生じていた。また画像信号の細かなエッジを含むテクスチャ領域をノイズ部分とみなしてノイズ除去処理を施していたことにも起因している。

更に、ノイズ除去処理の後にインターレース信号をプログレシブ信号へ変換するＩＰ変換等の処理がある場合、その処理へ悪影響を与えないようにノイズを除去する必要がある。言い換えれば、インターレースの情報を維持しつつノイズを除去する必要がある。

本発明の目的は、上述した従来の問題点を解決することにある。

本願発明の特徴は、画像データに含まれるノイズの発生部分を的確に検出して、画像が持つテクスチャを保持しつつ、ノイズ発生部分に対してのみノイズ除去処理を施すことができる。

上記目的を達成するために本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
画像の輝度信号における各ブロックに対して水平エッジ及び垂直エッジの強度を測定して水平及び垂直エッジ強度データを算出するエッジ強度測定手段と、
前記水平及び垂直エッジ強度データを少なくとも１フレーム分記憶するエッジ強度記憶手段と、
前記エッジ強度記憶手段に記憶された各ブロック単位の水平及び垂直エッジ強度データから各ブロックのエッジ強度データを算出し、当該ブロックのエッジ強度データの大きさから、フィルタリング処理を行う対象ブロックを特定する特定情報を算出する算出手段と、
前記算出手段により算出された前記特定情報を少なくとも１フレーム分記憶する記憶手段と、
前記画像の前記輝度信号の対象ブロックに水平フィルタリング処理を行う水平フィルタ手段と、
前記画像の前記輝度信号の対象ブロックに二次元フィルタリング処理を行う二次元フィルタ手段と、
前記記憶手段に記憶した前記特定情報により特定される前記フィルタリング処理を行う対象ブロックに対して、前記エッジ強度測定手段により算出した現フレームに対する水平及び垂直エッジ強度データから算出した前記対象ブロックに対応するブロックのエッジ強度データと、前記エッジ強度記憶手段に記憶された前記現フレームの直前フレームの前記対象ブロックに対応するブロックの水平及び垂直エッジ強度データから算出したエッジ強度データとの差分値と、前記現フレームの対象ブロックの垂直エッジ強度データと水平エッジ強度データとの差分値とから、前記現フレームの対象ブロックに前記水平フィルタ手段或は前記二次元フィルタ手段によるフィルタリング処理を行って出力するか否かを制御するフィルタ制御手段と、を有することを特徴とする。

上記目的を達成するために本発明の一態様に係る画像処理方法は以下のような工程を備える。即ち、
画像の輝度信号における各ブロックに対して水平エッジ及び垂直エッジの強度を測定して水平及び垂直エッジ強度データを算出するエッジ強度測定工程と、
前記水平及び垂直エッジ強度データを少なくとも１フレーム分第１メモリに記憶するエッジ強度記憶工程と、
前記第１メモリに記憶された各ブロック単位の水平及び垂直エッジ強度データから各ブロックのエッジ強度データを算出し、当該ブロックのエッジ強度データの大きさから、フィルタリング処理を行う対象ブロックを特定する特定情報を算出する算出工程と、
前記算出工程により算出された前記特定情報を少なくとも１フレーム分第２メモリに記憶する記憶工程と、
前記画像の前記輝度信号の対象ブロックに水平フィルタリング処理を行う水平フィルタ工程と、
前記画像の前記輝度信号の対象ブロックに二次元フィルタリング処理を行う二次元フィルタ工程と、
前記第２メモリに記憶した前記特定情報により特定される前記フィルタリング処理を行う対象ブロックに対して、前記エッジ強度測定工程で算出した現フレームに対する水平及び垂直エッジ強度データから算出した前記対象ブロックに対応するブロックのエッジ強度データと、前記第１メモリに記憶された前記現フレームの直前フレームの前記対象ブロックに対応するブロックの水平及び垂直エッジ強度データから算出したエッジ強度データとの差分値と、前記現フレームの対象ブロックの垂直エッジ強度データと水平エッジ強度データとの差分値とから、前記現フレームの対象ブロックに前記水平フィルタ工程或は前記二次元フィルタ工程によるフィルタリング処理を行って出力するか否かを制御するフィルタ制御工程と、を有することを特徴とする。

本発明によれば、画像データに含まれるノイズの発生部分を的確に検出して、画像が持つテクスチャを保持しつつノイズ発生部分に対してのみノイズ除去処理を施すことができる。

以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［実施の形態１］
図１は、本発明の実施の形態１に係る画像処理装置の主要部の構成を示すブロック図である。本実施の形態では、画像データの処理の単位を４×４画素のブロックとして、これを対象ブロックと称す。

図１において、水平エッジ強度測定器１００は、画像の輝度信号の１ブロックを入力し、水平方向のエッジ強度を測定する。垂直エッジ強度測定器１０１は、その画像の輝度信号の１ブロックを入力し、垂直方向のエッジ強度を測定する。本実施の形態では、処理単位の対象ブロックの画素に対するエッジ強度をＳｏｂｅｌフィルタの累積値で表す。

図８（Ａ）（Ｂ）は、本実施の形態で用いるＳｏｂｅｌフィルタのオペレータの一例を示す図である。図８（Ａ）は、水平エッジ強度測定器１００で使用される３×３の水平Ｓｏｂｅｌフィルタ、図８（Ｂ）は、垂直エッジ強度測定器１０１で使用される３×３の垂直Ｓｏｂｅｌフィルタの一例を示している。

エッジ強度マップメモリ（エッジ強度記憶部）１０２は、水平及び垂直エッジ強度測定器１００，１０１で測定した水平及び垂直方向のエッジ強度データを入力して、各ブロック単位に１フレーム分だけ格納する。尚、このエッジ強度マップメモリ１０２は２バンク構成であり、一方のメモリバンクに現フレームのエッジ強度データを格納しながら、他方のメモリバンクから、格納されている直前のフレームのエッジ強度データを読み出すことが可能である。このメモリバンクの切替は１フレーム処理毎に行う。除去フラグ算出器１０３は、エッジ強度マップメモリ１０２に格納された各ブロック毎のエッジ強度データから、ノイズ除去の対象ブロックかどうかを示すフラグ（特定情報）を算出する。除去フラグマップメモリ１０４は、この除去フラグ算出器１０３で算出された除去フラグを、各ブロック単位で１フレーム分だけ格納する。尚、この除去フラグマップメモリ１０４も２バンク構成であり、一方のメモリバンクに除去フラグを格納しながら他方のメモリバンクから、格納されている直前のフレームの除去フラグを読み出すことが可能である。このメモリバンクの切替は１フレーム処理毎に行う。

フィルタ制御器１０５は、現フレームの水平エッジ強度データ及び垂直エッジ強度データ、及び直前のフレームのエッジ強度データと、直前のフレームの除去フラグから、後述するフィルタ１０６，１０７、及びセレクタ１０８を制御する。ここで、現フレームの水平エッジ強度及び垂直エッジ強度データはそれぞれ、水平エッジ強度測定器１００と垂直エッジ強度測定器１０１により測定された結果である。また直前のフレームのエッジ強度データは、エッジ強度マップメモリ１０２に格納されており、直前のフレームの除去フラグは除去フラグマップメモリ１０４に格納されている。水平フィルタ１０６は、フィルタ制御器１０５からの制御信号１１０により、フレーム内の水平フィルタリング処理を実行する。２Ｄ（二次元）フィルタ１０７は、フィルタ制御器１０５からの制御信号１１１により、フレーム内の２次元（以降２Ｄと称す）フィルタリング処理を実行する。尚、本実施の形態では、これら水平フィルタ１０６及び２Ｄフィルタ１０７は共に平滑化フィルタを用いている。

図９（Ａ）（Ｂ）は、この平滑化フィルタのオペレータの一例を示す図である。

図９（Ａ）は水平フィルタ１０６で使用される水平平滑化フィルタを示し、図９（Ｂ）は２Ｄフィルタ１０７で使用される２Ｄ平滑化フィルタを示している。

セレクタ１０８は、フィルタ制御器１０５からの制御信号１１２により、水平フィルタ１０６と２Ｄフィルタ１０７からの出力、及びフィルタ無しの信号（入力したブロックの信号）を選択して、ブロック単位の画像信号として出力する。

以上の構成を備える装置における動作を図２、図３、図５及び図６のフローチャートを参照して説明する。尚、本実施の形態１では、先頭フレームとそれ以外のフレームで処理を切り替えるものとする。

図２は、本実施の形態に係る画像処理装置における、入力した画像の先頭フレームに対する処理を説明するフローチャートである。

図３は、本実施の形態に係る画像処理装置における、入力した画像の先頭フレーム以降のフレームに対する処理を説明するフローチャートである。

まず先頭フレームの処理を図２を参照して説明する。

まずステップＳ１００で、入力した輝度信号のブロック（ここでは８×８画素）に対して、水平エッジ強度測定器１００で水平エッジの強度を測定する。これと並行してステップＳ１０１で、入力した輝度信号のブロックに対して垂直エッジ強度測定器１０１にて、垂直エッジの強度を測定する。そしてステップＳ１０２で、それぞれの測定値（エッジ強度データ）をエッジ強度マップメモリ１０２へ格納する。こうして先頭フレームに対する除去フラグマップを除去フラグマップメモリ１０４に格納した後、エッジ強度マップメモリ１０２のバンク切り替えを行って、ステップＳ１０２で格納したエッジ強度マップメモリ１０２からのデータを読み出し可能にする。

次にステップＳ１０３に進み、エッジ強度マップメモリ１０２に格納されたエッジ強度データに基づき、除去フラグ算出器１０３にて除去フラグマップを作成する。この処理は図５のフローチャートを参照して詳しく説明する。次にステップＳ１０４で、除去フラグマップメモリ１０４のメモリバンクを切り替える。これにより、次のフレームでは、エッジ強度マップメモリ１０２及び除去フラグマップメモリ１０４の格納済みのメモリバンクからエッジ強度データや除去フラグマップを読み出す。そして、次のフレームに対する処理では、測定したエッジ強度データや、計算した除去フラグマップが、各対応するメモリの他方のメモリバンクに格納されることになる。

以上の処理により、入力した画像の先頭フレームでは、エッジ強度マップメモリ１０２及び除去フラグマップメモリ１０４への格納処理のみを行い、ノイズ除去のためのフィルタ制御は行わない。

次に先頭フレーム以降のフレームに対する処理について、図３を参照して説明する。このフレームでは、前述の図２の先頭フレームに対する処理（Ｓ１００〜Ｓ１０４）に、ステップＳ２００〜Ｓ２０３で示す処理が追加されたものとなる。従って、ここではこれら追加されたステップＳ２００〜Ｓ２０３について説明する。

ステップＳ１０２で、現フレームのエッジ強度をエッジ強度マップメモリ１０２へ格納した後、ステップＳ２００で、エッジ強度マップメモリ１０２に格納された直前のフレームのブロック毎のエッジ強度データを読み出す。またステップＳ２０１で、除去フラグマップメモリ１０４に格納された直前のフレームのブロック毎の除去フラグマップ（ノイズ除去対象ブロック）を読み出す。次にステップＳ２０２に進み、これら直前のフレームのエッジ強度データと除去フラグマップから、水平フィルタ１０６の制御信号１１０，２Ｄフィルタ１０７の制御信号１１１及びセレクタ１０８の制御信号１１２を生成する。そしてステップＳ２０３で、これら制御信号１１０〜１１２によりノイズ除去フィルタ処理を実行する。次にステップＳ１０３で、エッジ強度マップメモリ１０２に記憶された現フレームのエッジ強度データに基づいて、現フレームに対する除去フラグマップを生成する。そしてこれ以降の処理は図２と同様であるため、その説明を省略する。

図４（Ａ）〜（Ｃ）は、本実施の形態に係るエッジ強度マップメモリ１０２及び除去フラグマップメモリ１０４のデータ構成を説明する図である。

図４（Ａ）は、強度データ或は除去フラグを記憶する１フレーム分のメモリエリアを示し、４００は、１ブロックに対応するデータエリアを示している。図４（Ｂ）は、エッジ強度マップメモリ１０２のデータエリア４００に記憶されるデータ構成を示す。ここには水平エッジ強度測定器１００で求められた水平エッジ強度データと、垂直エッジ強度測定器１０１で求められた垂直エッジ強度データとが対で記憶されている。図４（Ｃ）は、除去フラグマップメモリ１０４に記憶されるノイズ除去対象のブロックであるか否かを示すノイズ除去対象フラグと、後述する拡張したブロックのエッジ強度データと拡張元のブロックのエッジ強度データとの差分値とが記憶される。尚、この差分値は、後述する拡張したブロックでのみ格納される。

図５は、図２及び図３のステップＳ１０３の除去フラグマップの生成処理を説明するフローチャートである。

ステップＳ３００で、エッジ強度マップメモリ１０２に格納された現フレームの水平及び垂直エッジ強度データを読み出して加算し、その現フレームの各ブロック毎のエッジ強度データを算出する。次にステップＳ３０１で、これら測定し格納した現フレームの各ブロックのエッジ強度データのうち、閾値ＥＰ１よりもエッジ強度が高い（エッジ強度データが大きい）ブロックを抽出する。そして、その抽出したブロックに対応するイズ除去対象フラグをオンにする。次にステップＳ３０２で、その抽出したブロックの周辺（隣接）８ブロックのエッジ強度を計算する。次にステップＳ３０３で、その周囲８ブロックに対し、閾値ＥＰ２（ＥＰ２＜ＥＰ１）よりもエッジ強度が低くなる（エッジ強度データが小さい）場合に、ステップＳ３０１で求めたエッジ強度の高いブロックを含めた拡張ブロックと判定する。そしてステップＳ３０４で、この処理により得られた拡張ブロックに対するノイズ除去対象フラグをオンにし、それ以外のブロックに対してはノイズ除去対象フラグをオフにして除去フラグを除去フラグマップメモリ１０４へ格納する。また、その拡張ブロックに対しては、拡張したブロックのエッジ強度データと、拡張元のブロックのエッジ強度データとの差分値を格納する（図４（Ｃ）参照）。

図６は、図３のフローチャートのステップＳ２０２のフィルタ制御処理（制御信号１１０〜１１２の生成処理）を説明するフローチャートである。ここでの処理の対象は、前述したノイズ除去対象フラグがオンであるブロックである。

まずステップＳ３００で、前述の図５のステップＳ３００と同様に、エッジ強度マップメモリ１０２に格納された現フレームの水平、垂直エッジ強度データを加算して現フレームのエッジ強度データを算出する。次にステップＳ４０１で、エッジ強度マップメモリ１０２の別のメモリバンクに記憶されている直前フレームの水平、垂直エッジ強度データを読み出して加算し、直前フレームのエッジ強度データを算出する。次にステップＳ４０２に進み、ステップＳ３００で算出した現フレームのエッジ強度データと、ステップＳ４０１で求めた直前フレームのエッジ強度データとの差分を求める。この結果、｛（直前のフレームのエッジ強度データ）−（現フレームのエッジ強度データ）｝の差分値の絶対値が閾値ＴＨ１以下かどうかを判定する。閾値ＴＨ１以下の場合は、そのブロックがノイズ除去対象ブロックであると判断してステップＳ４０３に進む。そうでない場合は、フィルタ処理の必要がないと判断してステップＳ４０５に進み、制御信号１１２により、セレクタ１０８が入力した画像のブロックをそのまま出力するように制御する（フィルタリング処理を実行しない）。尚、この閾値ＴＨ１は、水平及び／或は垂直エッジが存在しているが、例えば細かい網目のようなブロックに対するフィルタリング処理を除外するための閾値である。

ノイズ除去対象ブロックに対するステップＳ４０３の処理では、フィルタの種類を選択するため、現フレームの垂直エッジ強度データから水平エッジ強度データを減算し、その差分値が閾値ＴＨ２以下かどうかを判定する。ここで閾値ＴＨ２（ＴＨ２＜ＴＨ１）以下の場合は、水平及び垂直方向のエッジ強度差が少ないためステップＳ４０６に進み、２Ｄフィルタ１０７を実行するための制御信号１１１及びそれを選択する制御信号１１２を出力する。一方、ステップＳ４０３で閾値ＴＨ２よりも大きい場合は垂直方向のエッジが強いためステップＳ４０４に進み、水平フィルタ１０６を実行するための制御信号１１０及びそれを選択する制御信号１１２を出力する。この閾値ＴＨ２は、インターレースに特有の水平方向のノイズに対するフィルタリング処理を除外するための値である。

こうしてステップＳ２０３（図３）で、水平フィルタ１０６、２Ｄフィルタ１０７は、エッジ強度差分値による強度でフィルタリング処理を実行し、その結果がセレクタ１０８により選択されて出力される。

図７は、具体的な直前フレームのエッジ領域の拡張例と、現フレームのノイズ除去対象ブロックを決定するまでの例を説明する図である。尚、図７において、各桝目は、前述のブロックに対応している。

まず直前のフレーム７００では、閾値ＥＰ１よりもエッジ強度データが大きいブロック７１０を選定する（Ｓ３０１）。そしてエッジ強度データが極度に小さい閾値ＥＰ２以下のブロック７１１へ、そのブロック７１０の領域を拡張し（Ｓ３０３）、以降の処理のノイズ除去対象ブロックとする。図７の例では、直前フレーム７００の太線で示すブロック７１２が、これら拡張された領域である。

次に直前のフレーム７００のエッジ強度データと現フレーム７０１のエッジ強度データとの差分値を求める。その差分差が閾値ＴＨ１以下であれば（Ｓ４０２）、ノイズ除去対象ブロックとする。一方で、その差分値が閾値ＴＨ１よりも大きくエッジ強度が高い場合には、ノイズ除去対象ブロックから除外する（Ｓ４０５）。

図７の例では、現フレーム７０１の太線で示すブロック７１４が、拡張された領域のブロック７１２のうち、現フレームでノイズ強度が大きくなってノイズ除去対象ブロックから除外されたブロックを示している。

図１０は、本発明の実施の形態に係る画像処理装置を実現するコンピュータ機器のハードウェア構成を示すブロック図である。

ＣＰＵ１０００は、このコンピュータ機器（画像処理装置）の全体の制御、及び種々の処理を行う。メモリ１００１は、このコンピュータ機器の制御に必要なオペレーティングシステム（ＯＳ）、ソフトウエア（前述のフローチャートに示すプログラム）やデータを記憶するとともに、演算等の処理に必要な記憶領域を提供している。また、このメモリ１００１は、ＣＰＵ１０００が各種の処理を行う際のワークエリアとしても用いられる。システムバス１００２は、ＣＰＵ１０００と各部とを接続し、データや制御信号をやりとりする。記憶部１００３は、前述のフローチャートに示すプログラム等の各種のソフトウエアを蓄積する大容量のハードディスク等の記憶部である。記憶部１００４は動画像データを蓄積する記憶部（ハードディスク、ＭＯ，ＣＤ，ＤＶＤ等）である。モニタ（表示部）１００５は、画像やコンピュータからのシステムメッセージなどを表示する。

通信インターフェース（Ｉ／Ｆ）１００７は、通信回路１００８に符号化データを送信する通信インターフェースであり、装置外部のＬＡＮ、公衆回線、無線回線、放送電波等と接続されている。端末１００６は、このコンピュータ機器を起動したり、各種条件を設定したりする。またメモリ１００１には、このコンピュータ機器全体を制御し、各種ソフトウエアを動作させるためのＯＳや動作させるソフトウエアを格納し、画像データを読み込むエリア、各種演算のパラメータ等を格納しておくワーキングエリアが存在する。

以上の構成において、処理に先立ち、端末１００６から記憶部１００４に蓄積されている動画像データから符号化する動画像データを選択して、このコンピュータ機器の起動が指示される。これにより記憶部１００３に格納されているプログラムがシステムバス１００２を介してメモリ１００１のプログラム格納エリアに展開され、この展開されたプログラムが起動される。

そして、ＣＰＵ１０００による記憶部１００４に格納されている動画像データの符号化処理が開始されると、前述の図２，図３、図５、図６及び図１２に示すフローチャートに従ったプログラムコードが実行されることになる。

以上説明したように本実施の形態に係るコンピュータ機器は、本実施の形態１及び後述する実施の形態２に係るノイズ除去を実現する装置として機能する。

［実施の形態１のその他の構成］
本実施の形態１では、処理の対象ブロックのサイズを４×４画素としたが、８×４，４×８，８×８などのサイズでもかまわない。

またエッジ強度測定器１００，１０１の処理では図８（Ａ）（Ｂ）に示すＳｏｂｅｌフィルタを用いたが、そのほかの微分フィルタでもかまわない。

また水平フィルタ１０６，２Ｄフィルタ１０７は、図９（Ａ）（Ｂ）に示すオペレータを用いたがその他のものでもかまわない。

更に、フレームメモリは、フレーム画像を格納するものとしたが、フィールド画像を格納するフィールドメモリでもかまわない。

除去フラグ算出器１０３における閾値ＥＰ１，ＥＰ２は固定ではなく、フレーム毎に可変に設定してもかまわない。

以上説明したように本実施の形態１によれば、インターレース信号を含む動画像符号化装置及びその方法において、画像データに含まれるモスキートノイズのような符号化ノイズの発生部分を的確に検出することが可能になる。また、水平と２Ｄフィルタを適応的に切り替えることで、インターレース信号の状態を維持しながらノイズ除去処理を施すことができる。

［実施の形態２］
図１１は、本発明の実施の形態２に係る画像処理装置の主要部の構成を示すブロック図である。本実施の形態２では、画像データの制御の単位を４×４画素のブロックとして、これを対象ブロックと称す。尚、この図１１において、前述の実施の形態１に係る図１と同じ構成には同じ番号を付し、それらの説明を省略する。

εフィルタ２００は、フィルタ制御器１０５からの制御信号２１０によりεフィルタ処理を実行する。

図１３は、このεフィルタ処理を説明する図である。

このフィルタ処理では、中心画素の画素値ｆ(x,y)とその近傍画素の画素値ｆ(x+i,y+j)，（ｘ，ｙ＝−Ｍ，...，０，１，...，Ｍ）の差分値を計算する。そして、その差分値の絶対値がεよりも大きい場合は、その近傍の画素の画素値を中心画素の画素値に置き換えて平滑化処理を行う。その結果、図１３の数式で得られるｇ(x,y)では、エッジ成分を保護し、小振幅の高調波であるノイズを平滑化して抑制することができる。ここでＭは、εフィルタの画素の範囲を規定する値で、通常は「１」或は「２」（この実施の形態では「１」とする）である。またε0は、フィルタ値の範囲（平滑化対象レベル）を規定する値で、保存したエッジのレベル差よりも小さい値とし、通常は「１０」以下、本実施の形態では「５」とする。尚、このεフィルタ処理の詳細は下記文献１を参照されたい。（文献１．原島博ほか「ε−分離非線形ディジタルフィルタとその応用」電子情報通信学会、昭５７−論１４６〔Ａ−３６〕、昭和５７年４月）
セレクタ１０８は、フィルタ制御器１０５からの制御信号２１１により、εフィルタ２００からの出力、及びフィルタ無しの信号（入力したブロックの色差信号）を選択する。

この実施の形態２に係る装置の動作は、前述の実施の形態１とほぼ同様である。従って、ここでは異なる部分である、εフィルタ２００及びセレクタ１０８の制御の方法について図１２のフローチャートを参照して説明する。

図１２は、本実施の形態２に係る図３のフローチャートのステップＳ２０２のフィルタ制御処理（制御信号２１０，２１１の生成処理）を説明するフローチャートである。尚、この図１２において、前述の図５と共通するステップには同じ符号を付している。ここでの処理の対象は、前述したノイズ除去対象フラグがオンであるブロックである。

まずステップＳ３００で、エッジ強度マップメモリ１０２に格納された現フレームの水平及び垂直エッジ強度データを読み出して加算し、その現フレームの各ブロック毎のエッジ強度データを算出する。次にステップＳ４０１で、既にエッジ強度マップメモリ１０２に格納された直前のフレームの水平及び垂直エッジ強度データを加算し、直前のフレームのエッジ強度データを算出する。またステップＳ４０１で、エッジ強度マップメモリ１０２の別のメモリバンクに記憶されている直前フレームの水平、垂直エッジ強度データを読み出して加算し、直前フレームのエッジ強度データを算出する。

次にステップＳ４０２で、これら算出した直前のフレームのエッジ強度データと現フレームのエッジ強度データとの差分値｛（直前のフレームのエッジ強度データ）−（現フレームのエッジ強度データ）｝を求める。この差分値が閾値ＴＨ１以下の場合、ノイズ対象ブロックであると判定してステップＳ５００に進み、εフィルタ２００でのフィルタ処理を実行するための制御信号２１０を生成する。そして制御信号２１１により、セレクタ１０８がεフィルタ２００の出力を選択して出力するように切り替える。尚、ステップＳ４０２で差分値が閾値ＴＨ１以下でない場合はステップＳ５０１に進み、制御信号２１１により、セレクタ１０８が、入力したブロックの画像データを選択して出力するように切り替える。

具体的な直前のフレームのエッジ領域の拡張例と、現フレームのノイズ除去対象ブロックを決定するまでについては、前述の実施の形態１と同様であるため、その説明を省略する。

［実施の形態２のその他の構成］
本実施の形態２では、処理の対象ブロックのサイズを４×４画素としたが、８×４，４×８，８×８などのサイズでもかまわない。

またエッジ強度測定器１００，１０１の処理では、図８（Ａ）（Ｂ）に示すようなＳｏｂｅｌフィルタを用いたが、そのほかの微分フィルタでもかまわない。

またεフィルタではなく、その他のエッジ保存型フィルタでもかまわない。

フレームメモリはフレーム画像を格納するものとしたが、フィールド画像を格納するフィールドメモリでもかまわない。

また除去フラグ算出器１０３における閾値ＥＰ１，ＥＰ２は固定ではなく、フレーム毎に可変に設定してもかまわない。

以上説明したように本実施の形態２によれば、インターレース信号を含む動画像符号化装置及びその方法において、画像データに含まれるモスキートノイズのような符号化ノイズの発生部分を的確に検出できる。またエッジ保存型フィルタを用いることにより、インターレース信号の状態を維持しつつ、ノイズ除去処理を施すことができる。

以上説明したように本実施の形態によれば、画像データに含まれるモスキートノイズのような符号化ノイズの発生部分を的確に検出することができる。また、本来の画像が持つテクスチャを保持しつつ、ノイズ発生部分に対してのみノイズ除去処理を施すことができる。

（他の実施形態）
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを読み出して実行することによっても達成され得る。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、様々なものが使用できる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。その場合、ダウンロードされるのは、本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する形態としても良い。その場合、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムが実行可能な形式でコンピュータにインストールされるようにする。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される形態以外の形態でも実現可能である。例えば、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるようにしてもよい。この場合、その後で、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。

本発明の実施の形態に係る画像処理装置の主要部の構成を示すブロック図である。本実施の形態に係る画像処理装置における先頭フレームの処理を説明するフローチャートである。本実施の形態に係る画像処理装置における先頭フレーム以降の通常フレームの処理を説明するフローチャートである。本実施の形態に係るエッジ強度マップメモリ及び除去フラグマップメモリのデータ構成を説明する図である。図２及び図３のステップＳ１０３の除去フラグマップの生成処理を説明するフローチャートである。図３のフローチャートのステップＳ２０２のフィルタ制御処理（制御信号１１０，１１２の生成処理）を説明するフローチャートである。具体的な直前フレームのエッジ領域の拡張例と、現フレームのノイズ除去対象ブロックを決定するまでの例を説明する図である。本実施の形態で用いるＳｏｂｅｌフィルタのオペレータの一例を示す図である。本実施の形態に係る平滑化フィルタのオペレータの一例を示す図である。本発明の実施の形態に係る画像処理装置を実現するコンピュータ機器のハードウェア構成を示すブロック図である。本発明の実施の形態２に係る画像処理装置の主要部の構成を示すブロック図である。本実施の形態２に係る図３のフローチャートのステップＳ２０２のフィルタ制御処理（制御信号２１０，２１１の生成処理）を説明するフローチャートである。本発明の実施の形態２に係るεフィルタ処理を説明する図である。

符号の説明

１００水平エッジ強度測定器
１０１垂直エッジ強度測定器
１０２エッジ強度マップメモリ
１０３除去フラグ算出器
１０４除去フラグマップメモリ
１０５フィルタ制御器
１０８セレクタ
２００ εフィルタ

Claims

画像の輝度信号における各ブロックに対して水平エッジ及び垂直エッジの強度を測定して水平及び垂直エッジ強度データを算出するエッジ強度測定手段と、
前記水平及び垂直エッジ強度データを少なくとも１フレーム分記憶するエッジ強度記憶手段と、
前記エッジ強度記憶手段に記憶された各ブロック単位の水平及び垂直エッジ強度データから各ブロックのエッジ強度データを算出し、当該ブロックのエッジ強度データの大きさから、フィルタリング処理を行う対象ブロックを特定する特定情報を算出する算出手段と、
前記算出手段により算出された前記特定情報を少なくとも１フレーム分記憶する記憶手段と、
前記画像の前記輝度信号の対象ブロックに水平フィルタリング処理を行う水平フィルタ手段と、
前記画像の前記輝度信号の対象ブロックに二次元フィルタリング処理を行う二次元フィルタ手段と、
前記記憶手段に記憶した前記特定情報により特定される前記フィルタリング処理を行う対象ブロックに対して、前記エッジ強度測定手段により算出した現フレームに対する水平及び垂直エッジ強度データから算出した前記対象ブロックに対応するブロックのエッジ強度データと、前記エッジ強度記憶手段に記憶された前記現フレームの直前フレームの前記対象ブロックに対応するブロックの水平及び垂直エッジ強度データから算出したエッジ強度データとの差分値と、前記現フレームの対象ブロックの垂直エッジ強度データと水平エッジ強度データとの差分値とから、前記現フレームの対象ブロックに前記水平フィルタ手段或は前記二次元フィルタ手段によるフィルタリング処理を行って出力するか否かを制御するフィルタ制御手段と、
を有することを特徴とする画像処理装置。
前記算出手段は、前記エッジ強度記憶手段に記憶された前記水平及び垂直エッジ強度データを各ブロックごとに加算して各ブロックのエッジ強度データを算出し、前記算出されたエッジ強度データが第１の閾値よりも大きいブロックと、当該ブロックに隣接し前記第１の閾値よりも小さい第２の閾値以下のエッジ強度データを有するブロックとを特定する前記特定情報を決定することを特徴とする請求項１に記載の画像処理装置。
前記フィルタ制御手段は、
前記エッジ強度記憶手段に記憶された前記水平及び垂直エッジ強度データを各ブロックごとに加算して、前記直前フレームの各ブロックのエッジ強度データを算出する手段と、
前記エッジ強度測定手段により算出された前記現フレームの水平及び垂直エッジ強度データを、対応する各ブロックごとに加算して前記現フレームの各ブロックのエッジ強度データを算出する手段とを有し、
前記直前フレームと前記現フレームの各対応するブロックのエッジ強度データの差分値と、前記現フレームの対象ブロックの前記垂直エッジ強度データと前記水平エッジ強度データとの差分値とから、前記水平フィルタ手段或は前記二次元フィルタ手段によりフィルタリング処理した対象ブロックを採用するか否かを決定することを特徴とする請求項１に記載の画像処理装置。
前記エッジ強度記憶手段及び前記記憶手段は、複数のメモリバンクで構成され、各フレームの画像処理ごとにメモリバンクが切り替えられることを特徴とする請求項１に記載の画像処理装置。
画像の輝度信号における各ブロックに対して水平エッジ及び垂直エッジの強度を測定して水平及び垂直エッジ強度データを算出するエッジ強度測定工程と、
前記水平及び垂直エッジ強度データを少なくとも１フレーム分第１メモリに記憶するエッジ強度記憶工程と、
前記第１メモリに記憶された各ブロック単位の水平及び垂直エッジ強度データから各ブロックのエッジ強度データを算出し、当該ブロックのエッジ強度データの大きさから、フィルタリング処理を行う対象ブロックを特定する特定情報を算出する算出工程と、
前記算出工程により算出された前記特定情報を少なくとも１フレーム分第２メモリに記憶する記憶工程と、
前記画像の前記輝度信号の対象ブロックに水平フィルタリング処理を行う水平フィルタ工程と、
前記画像の前記輝度信号の対象ブロックに二次元フィルタリング処理を行う二次元フィルタ工程と、
前記第２メモリに記憶した前記特定情報により特定される前記フィルタリング処理を行う対象ブロックに対して、前記エッジ強度測定工程で算出した現フレームに対する水平及び垂直エッジ強度データから算出した前記対象ブロックに対応するブロックのエッジ強度データと、前記第１メモリに記憶された前記現フレームの直前フレームの前記対象ブロックに対応するブロックの水平及び垂直エッジ強度データから算出したエッジ強度データとの差分値と、前記現フレームの対象ブロックの垂直エッジ強度データと水平エッジ強度データとの差分値とから、前記現フレームの対象ブロックに前記水平フィルタ工程或は前記二次元フィルタ工程によるフィルタリング処理を行って出力するか否かを制御するフィルタ制御工程と、
を有することを特徴とする画像処理方法。
前記算出工程は、前記第１メモリに記憶された前記水平及び垂直エッジ強度データを各ブロックごとに加算して各ブロックのエッジ強度データを算出し、前記算出されたエッジ強度データが第１の閾値よりも大きいブロックと、当該ブロックに隣接し前記第１の閾値よりも小さい第２の閾値以下のエッジ強度データを有するブロックとを特定する前記特定情報を決定することを特徴とする請求項５に記載の画像処理方法。
前記フィルタ制御工程は、
前記第１メモリに記憶された前記水平及び垂直エッジ強度データを各ブロックごとに加算して、前記直前フレームの各ブロックのエッジ強度データを算出する工程と、
前記エッジ強度測定工程で算出された前記現フレームの水平及び垂直エッジ強度データを、対応する各ブロックごとに加算して、前記現フレームの各ブロックのエッジ強度データを算出する工程とを有し、
前記直前フレームと前記現フレームの各対応するブロックのエッジ強度データの差分値と、前記現フレームの対象ブロックの前記垂直エッジ強度データと前記水平エッジ強度データとの差分値とから、前記水平フィルタ工程或は前記二次元フィルタ工程によりフィルタリング処理した対象ブロックを採用するか否かを決定することを特徴とする請求項５に記載の画像処理方法。
前記第１メモリ及び前記第２メモリは、複数のメモリバンクで構成され、各フレームの画像処理ごとにメモリバンクが切り替えられることを特徴とする請求項５乃至７のいずれか１項に記載の画像処理方法。