JP6354586B2 - ノイズ除去システムとノイズ除去方法及びプログラム - Google Patents

Description

（関連出願についての記載）
本発明は、日本国特許出願：特願２０１２−２４９０６９号（２０１２年１１月１３日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明はノイズ除去システム、ノイズ除去方法、及びプログラムに関する。

画像や音声等のデジタル信号に対するデータの圧縮処理やノイズ除去処理において、離散信号を周波数領域に変換する処理が多く用いられている。例えばＪＰＥＧ（Joint Photographic Experts Group）は、以下の手順を含む。
・画像（静止画像）を予め定められたサイズのブロックに分割する。
・ブロック単位で離散コサイン変換(Discrete Cosine Transform：ＤＣＴ)を行って空間領域から周波数領域へ変換する。
・周波数領域の信号成分を量子化して情報量を削減してからハフマン符号によるエントロピー符号化を行う。こうすることで、圧縮（データ量の削減）が行われる。
ＪＰＥＧによる圧縮処理では、離散コサイン変換（ＤＣＴ)によって、信号に含まれる主たるエネルギーを低周波領域に集中させた後に、量子化することで、元の画像に対する影響が少ないデータの圧縮を実現している。
またＪＰＥＧ２０００では、離散コサイン変換（ＤＣＴ)のかわりに、離散ウェーブレット変換（Discrete Wavelet Transform：ＤＷＴ）を用いる（なお、ＪＰＥＧ２０００も、ＪＰＥＧ同様、空間領域から周波数領域に変換し、量子化した上でエントロピー符号化を行う）。

ウェーブレット変換は、画像の画素値を低周波成分と高周波成分にそれぞれ分離する。低周波成分は、比較的元の画像の色彩情報を残しているのに対して、高周波を含む領域では、画像中で画素値が急激に変化する部分、すなわち物体のエッジ情報を保持している。高周波成分には、画像のエッジ情報と共に、ノイズ成分が含まれることがある。ここで、ノイズとは、例えばＣＣＤ（Charge Coupled Device）等の撮像素子を用いて被写体を撮影したときに、隣接する画素間に流れる電流の影響によって混入する色信号等である。撮像素子に由来するノイズ（「カメラノイズ」という）は、例えば数画素程度からなる粒状の特異な点として、画像上に現れる。そのため、カメラノイズは、ウェーブレット変換処理によって、高周波成分として分離されることが多い。カメラノイズは、本来被写体に存在しなかった色情報である。このため、より忠実に被写体の画像を得るには、当該カメラノイズを取り除くことが望ましい。

ウェーブレット変換を用いたノイズ除去処理方法であるウェーブレット縮退（Wavelet Shrinkage）法が、例えば非特許文献１に開示されている。ウェーブレット縮退法は、
・ノイズ成分がウェーブレット変換によって高周波成分として分離されること、
・被写体に存在するエッジ情報よりも、カメラノイズが比較的弱い信号値であること、
等を利用してノイズを除去する方法である。

撮像素子の高性能化に伴い、高感度撮影時に発生するカメラノイズは増加する傾向にある。このため、カメラノイズの除去処理の重要性は、ますます高まりつつある。

一方で、撮像素子の高性能化（例えば高感度化や高解像度化）等に伴う高画質化により、ノイズ除去処理に必要な、メモリ量等の計算資源や計算時間は増加する傾向にある。

例えば、ウェーブレット縮退法では、複数回のウェーブレット変換を用いる多重解像度解析によるノイズ除去処理が一般的に用いられている。この多重解像度解析は、ウェーブレット変換では、高周波成分にノイズ成分が分離されるため、低周波成分に分離されたノイズ成分が除去できない、という問題に対処する手法である。多重解像度解析では、１回目のウェーブレット変換で分解された解像度レベル１の４つの成分（１つの低周波成分と３つの高周波成分）に対して、当該低周波成分に対してウェーブレット変換を行うことで、解像度レベル２となり、７つの領域に分解される。このように、解像度レベルの高いほうへ分解を繰り返す。これにより、１回のウェーブレット変換で分離出来なかった低周波のノイズ成分に対しても、ノイズ除去処理が可能になる。

図１は、多重解像度解析を用いたウェーブレット縮退法の一般的な関連技術を説明する図である。図１の例では、入力信号（原画像）を第１のウェーブレット変換処理部１１で分離された高周波成分に対して、第１のコアリング処理部１２では、ウェーブレット展開係数の閾値処理によりコアリングする（例えば絶対値が閾値よりも小さな係数を例えば０等に置き換える）、いわゆるウェーブレット縮退処理が行われる。第１のコアリング処理部１２でウェーブレット縮退処理した結果は、第１の逆ウェーブレット変換処理部１３に入力される（なお、コアリング処理部は、「ウェーブレット縮退処理部」とも呼ばれる）。第１のウェーブレット変換処理部１１で分離された低周波成分は、第２のウェーブレット変換処理部１４に入力されて１つの低周波成分と高周波成分に分解され（異なる成分の解像度（多重解像度）の画像が生成される）、該高周波成分は、第２のコアリング処理部１５でウェーブレット縮退が行われる。第２のウェーブレット変換処理部１４で分離された低周波成分と、第２のコアリング処理部１５の出力信号が第２の逆ウェーブレット変換部１６に入力される。第２の逆ウェーブレット変換部１６で逆ウェーブレット変換した結果が、第１の逆ウェーブレット変換処理部１３に入力され、第１の逆ウェーブレット変換処理部１３からノイズ除去処理（デノイズ処理）された出力信号が出力される。このように、多重解像度解析を行うと、第１のウェーブレット変換処理部１１で分離された成分ごとに異なる処理が適用される。第１の逆ウェーブレット変換処理部１３に入力される信号の入力タイミングを合わせるためにデータを一時記憶しておく必要がある。

図２に示す例（後述される比較例）では、入力タイミングを合わせるために、ウェーブレット縮退処理後のデータ（第１のコアリング処理部１２の出力）を記憶装置１７に記憶する。

多重解像度解析によるノイズ除去処理をハードウェア回路で実現し、リアルタイム・ストリーム処理を行う場合に、図２の記憶装置１７をバッファとして配置することで、多重解像度解析を用いたウェーブレット縮退によるノイズ除去処理を実現することができる。

多重解像度解析によるノイズ除去処理の性能を高めるためには、ウェーブレット変換を行う回数を増加させる必要がある。しかしながら、ウェーブレット変換を行う回数が増加すると、その分、最後に行われる逆ウェーブレット変換処理（図２では、第１の逆ウェーブレット変換処理部１３）へのデータの入力タイミングの偏差が大となり、より多くのデータを記憶装置１７で蓄積しておく必要が生じる。

このため、ウェーブレット縮退法を用いて、よりノイズ除去性能を高めようとすると、必要な記憶容量（例えば図２の記憶装置１７の記憶容量）が増大する。

撮像素子の高感度化によるノイズ成分の増加に伴って、ノイズ除去処理に要求される性能は、高まりつつある。同時に、記憶装置（例えば図２の記憶装置１７）の記憶容量の削減も求められている。

なお、本出願人による先行技術文献サーチの結果サーチされた特許文献１には、輝度信号と色差信号の生成後にそれぞれの信号に対してウェーブレット変換を行う場合に比べ、ラインメモリを大幅に削減することを可能とした撮像装置が開示されている。特許文献１の撮像装置では、画像信号に対して、ウェーブレット変換処理、コアリング処理、及びウェーブレット逆変換処理を行うウェーブレット処理部を備えている。該ウェーブレット処理部は、画像信号が複数色の信号で構成された状態で、画像信号に対してウェーブレット変換を行うウェーブレット分解処理部と、ウェーブレット変換後に、それぞれ異なる条件を満たす信号を抑圧する複数のコアリング処理部とを備え、所定の配列で並んだ複数色の信号で構成される画像信号のままラインメモリに格納され、ウェーブレット分解処理部がラインメモリに格納された画像データに対してウェーブレット変換を行う構成とされている。特許文献２には、複数の画素からなる原画像を入力し、入力した原画像を多重解像度変換により分解して、逐次的に低い解像度を持つ複数の低周波画像と、それらの各々に対応して逐次的に低い解像度を持つ複数の高周波画像を生成し、生成する複数の低周波画像と複数の高周波画像の各々に対してノイズ除去処理を行い、ノイズ除去された低周波画像とノイズ除去された高周波画像の双方の結果に基づいて、原画像からノイズが除去された画像を得る構成が開示されている。特許文献３には、多重解像度変換手法として、ウェーブレット変換を用いたノイズ低減処理が開示されている。これは、原画像データに対してウェーブレット変換を施し、複数の周波数帯域成分を得た後、帯域成分毎にコアリング処理を行うことでノイズ低減処理を施す。コアリング後の帯域成分は逆ウェーブレット変換により再合成し、ノイズ低減処理がなされた画像データを得ること、及び、補正処理がなされた高周波成分と低周波成分とを用いて、ｎ段階の多重解像度合成を行い、補正された映像信号を生成することが開示されている。特許文献４には、ウェーブレット変換処理部で変換された高域信号成分を含むサブバンド画像信号の微小振幅信号を、コアリング処理部で０値に変換し、ウェーブレット逆変換処理部では、低域信号成分を含むサブバンド画像信号とコアリング処理されたサブバンド画像信号を正相又は逆相の異なる組合せで合成して二つの画像信号を復元し、この二つの画像信号を所定の位相で合成して、出力画像信号でのエッジ波形を回転対称なエッジ波形として出力する画像処理装置が開示されている。これにより、コアリング処理によりノイズを低減させながらコアリング処理によるエッジのぼけや位相ずれを抑制することができるようにしている。

特開２００８−２１１６２７号公報 特開２００６−３０９７４９号公報 特開２００９−７７３９３号公報 特開２００７−１８８２１１号公報

中野宏毅、山本鎭男、吉田靖夫、「ウェーブレットによる信号処理と画像処理」、共立出版、１９９９年、ｐ１０

関連技術の分析を以下に与える。

上記したように、ウェーブレット縮退を用いたノイズ除去処理は、ウェーブレット変換等の周波数領域変換処理（低周波、高周波成分（領域）への分離）と、ウェーブレット縮退等の縮退処理とによってノイズを除去する。その後に、ウェーブレット逆変換により周波数領域から空間領域に変換することで、ノイズ除去処理を施された画像を得る。

またウェーブレット変換によって得られた低周波成分に対して再度ウェーブレット変換を施すことによって、より周波数の低い周波数成分に対してノイズ除去処理を行う多重解像度解析によって、低周波成分に混入しているノイズに対しても、ノイズ除去処理を行うことができる。

ウェーブレット縮退によるノイズ除去の効果を高めるためは、複数回のウェーブレット変換処理と、複数回のウェーブレット縮退処理と、複数回のウェーブレット逆変換処理を実行する必要がある。これらの処理の実行が必要とされることから、ノイズ除去効果をさらに高める場合、計算量が増加する。また、分離した周波数成分を保存しておく記憶装置（図２の１７）が必要とされ、該記憶装置（図２の１７）の記憶容量は、画像の高画質化に伴い増大する。

このため、多重解像度解析等において、例えばウェーブレット縮退を用いたノイズ除去処理中に発生する、周波数成分等の中間データ等（データ量）を削減し、必要な記憶容量の増大を抑制又は削減可能とすることが望まれる。

したがって、本発明は上記課題の認識に基づき創案されたものであって、その目的は、例えば多重解像度解析等によるノイズ除去処理で必要とされる記憶容量を、信号品質に影響を与えることなく削減可能とするシステム、方法、プログラムを提供することにある。

本発明によれば、入力信号を分岐部で少なくとも第１、第２の系統に分岐させ、前記第１の系統の前記入力信号が書き込まれる記憶装置と、
前記記憶装置から読み出された前記入力信号を入力して周波数領域に変換し第１の信号を出力する第１の周波数変換処理部と、
他方の系統の前記入力信号を入力して周波数領域に変換し第２の信号を出力する第２の周波数変換処理部と、
前記第２の周波数変換処理部からの前記第２の信号を入力して周波数領域に変換し第１及び第２の周波数帯域の第３及び第４の信号を出力する第３の周波数変換処理部と、
第１の逆周波数変換処理部と、
前記第３の周波数変換処理部からの前記第３の信号を直接又は間接に入力し、前記第３の周波数変換処理部からの前記第４の信号を入力し、入力した信号を逆周波数変換した第３の変換信号を出力する第２の逆周波数変換処理部と、
第１のコアリング処理部及び／又は第２のコアリング処理部と、
を備え、
前記第１の逆周波数変換処理部は、前記第１の周波数変換処理部からの前記第１の信号を直接又は間接に入力し、前記第２の逆周波数変換処理部からの前記第３の変換信号を直接又は間接に入力し、入力した信号を逆周波数変換した信号を出力し、
前記第１のコアリング処理部は、前記第１の周波数変換処理部からの前記第１の信号に対してノイズ成分を除去した第１の変換信号を出力し、前記第１の逆周波数変換処理部は、前記第１の信号の間接入力として、前記第１のコアリング処理部からの前記第１の変換信号を入力し、
前記第２のコアリング処理部は、前記第３の周波数変換処理部からの前記第３の信号に対してノイズ成分を除去した第２の変換信号を出力し、前記第２の逆周波数変換処理部は、前記第３の信号の間接入力として、前記第２のコアリング処理部からの前記第２の変換信号を入力する、ノイズ除去システムが提供される。

本発明の別の視点によれば、少なくとも第１、第２の系統に分岐させた入力信号のうち前記第１の系統の前記入力信号を記憶装置に一旦書き込む工程と、
前記記憶装置から読み出された前記入力信号を周波数領域に変換し第１の信号を生成する第１の周波数変換処理工程と、
前記第２の系統の前記入力信号を周波数領域に変換し第２の信号を生成する第２の周波数変換処理工程と、
前記第２の信号を周波数領域に変換し第１及び第２の周波数帯域の第３及び第４の信号を生成する第３の周波数変換処理工程と、
第１の逆周波数変換処理工程と、
前記第３の信号を直接又は間接に入力し、前記第４の信号を入力し、入力した信号を逆周波数変換した第３の変換信号を生成する第２の逆周波数変換処理工程と、
第１のコアリング処理工程及び／又は第２のコアリング処理工程と、
含み、
前記第１の逆周波数変換処理工程では、前記第１の信号を直接又は間接に入力し、前記第３の変換信号を直接又は間接に入力し、入力した信号を逆周波数変換した信号を出力し、
前記第１のコアリング処理工程では、前記第１の周波数変換処理工程からの前記第１の信号に対してノイズ成分を除去した第１の変換信号を出力し、前記第１の逆周波数変換工程は、前記第１の信号の間接入力として、前記第１のコアリング処理工程からの前記第１の変換信号を入力し、
前記第２のコアリング処理工程では、前記第３の周波数変換処理工程からの前記第３の信号に対してノイズ成分を除去した第２の変換信号を出力し、前記第２の逆周波数変換処理工程は、前記第３の信号の間接入力として、前記第２のコアリング処理工程からの前記第２の変換信号を入力するノイズ除去方法が提供される。

本発明のさらに別の視点によれば、
少なくとも第１、第２の系統に分岐させた入力信号のうち前記第１の系統の前記入力信号が記憶装置に一旦書き込む処理と、
前記記憶装置から読み出された前記入力信号を入力して周波数領域に変換し第１の信号を出力する第１の周波数変換処理と、
他方の系統の前記入力信号を入力して周波数領域に変換し第２の信号を出力する第２の周波数変換処理と、
前記第２の周波数領域変換処理からの前記第２の信号を入力して周波数領域に変換し第１及び第２の周波数帯域の第３及び第４の信号を出力する第３の周波数変換処理と、
第１の逆周波数変換処理と、
前記第３の周波数変換処理からの前記第３の信号を直接又は間接に入力し、前記第３の周波数変換処理からの前記第４の信号を入力し、入力した信号を逆周波数変換した第３の変換信号を出力する第２の逆周波数変換処理と、
第１のコアリング処理及び／又は第２のコアリング処理と、
をコンピュータに実行させるプログラムであって、
前記第１の逆周波数変換処理は、前記第１の周波数変換処理からの前記第１の信号を直接又は間接に入力し、前記第２の逆周波数変換処理からの前記第３の変換信号を直接又は間接に入力し、入力した信号を逆周波数変換した信号を出力し、
前記第１のコアリング処理は、前記第１の周波数変換処理からの前記第１の信号に対してノイズ成分を除去した第１の変換信号を出力し、前記第１の逆周波数変換処理は、前記第１の信号の間接入力として、前記第１のコアリング処理からの前記第１の変換信号を入力し、
前記第２のコアリング処理は、前記第３の周波数変換処理からの前記第３の信号に対してノイズ成分を除去した第２の変換信号を出力し、前記第２の逆周波数変換処理は、前記第３の信号の間接入力として、前記第２のコアリング処理からの前記第２の変換信号を入力するプログラムが提供される。本発明によれば、該プログラムを記録した半導体メモリあるいは磁気／光記録媒体等の記録媒体が提供される。

本発明によれば、例えば多重解像度解析等によるノイズ除去処理で必要とされる記憶容量を画質に影響を与えることなく削減することができる。

多重解像度解析によるノイズ除去処理を説明する図である。 図１においてタイミング調整用の記憶装置を備えた構成を例示する図である。 本発明の第１の実施形態の構成を例示する図である。 本発明の第１の実施形態の動作を示す流れ図である。 本発明の第２の実施形態の構成を例示する図である。 本発明の第２の実施形態の動作を示す流れ図である。 本発明の第１の実施例の構成を例示する図である。 本発明の第１の実施例を回路ブロックで示す図である。 第１の実施例と比較例を説明する図である。 ＣＤＦ９７フィルタ係数を示す図である。 本発明の第２の実施例の構成を例示する図である。 第２の実施例と比較例を説明する図である。 本発明の第３の実施例の構成を例示する図である。

本発明のいくつかの形態によれば、入力信号を分岐点（分岐部）（図３、図５の１１１）で少なくとも第１、第２の系統に分岐させ、前記第１の系統の前記入力信号を、一旦蓄積する記憶装置（図３、図５の１００）と、
前記記憶装置（図３、図５の１００）から読み出された前記入力信号を入力して周波数領域に変換し第１の信号（図３、図５の第１の高周波信号）を出力する第１の周波数変換処理部（図３、図５の１０２）と、
前記第１の周波数変換処理部（図３、図５の１０２）からの前記第１の信号（図３、図５の第１の高周波信号）を入力し前記第１の信号からノイズ成分を除去した第１の変換信号（図３、図５の第１の変換信号）を出力する第１のコアリング処理部（図３、図５の１０３）と、
前記第２の系統の前記入力信号を入力して周波数領域に変換し第２の信号（図３、図５の第１の低周波信号）を出力する第２の周波数変換処理部（図３、図５の１０５）と、
前記第２の周波数変換処理部（図３、図５の１０５）からの前記第２の信号（図３、図５の第１の低周波信号）を入力して周波数領域に変換し第１及び第２の周波数帯域の第３及び第４の信号（図３、図５の第２の高周波信号、第２の低周波信号）を出力する第３の周波数変換処理部（図３、図５の１０６）と、
前記第３の周波数変換処理部（図３、図５の１０６）からの前記第３の信号（図３、図５の第２の高周波信号）を入力し前記第３の信号からノイズ成分を除去した第２の変換信号（図３、図５の第２の変換信号）を出力する第２のコアリング処理部（図３、図５の１０７）と、
第１の逆周波数変換処理部（図３、図５の１０４）と、
前記第２のコアリング処理部（図３、図５の１０７）からの前記第２の変換信号と前記第３の周波数変換処理部（図３、図５の１０６）からの前記第４の信号（図３、図５の第２の低周波信号）とを入力し、入力したこれらの信号を逆周波数変換した第３の変換信号（図３、図５の第３の変換信号）を出力する第２の逆周波数変換処理部（図３、図５の１０８）と、
を備え、前記第１の逆周波数変換処理部（図３、図５の１０４）は、前記第１のコアリング処理部（図３、図５の１０３）からの前記第１の変換信号を入力し、前記第２の逆周波数変換処理部（図３、図５の１０８）からの前記第３の変換信号を、直接又は間接に入力し、入力したこれらの信号を逆周波数変換した信号を出力する。第１のコアリング処理部（図３、図５の１０３）と、第２のコアリング処理部（図３、図５の１０７）とは、その少なくとも一方を備えた構成としてもよい。

本発明のいくつかの形態によれば、前記第２の逆周波数変換処理部（図３、図５の１０８）からの前記第３の変換信号（図３、図５の第３の変換信号）が、直接又は間接に、前記第１の逆周波数変換処理部（図３、図５の１０４）に入力されるタイミングに合わせて、前記第１のコアリング処理部（図３、図５の１０３）からの前記第１の変換信号が前記第１の逆周波数変換処理部（図３、図５の１０４）に入力されるように、前記記憶装置（図３、図５の１００）から、前記入力信号が読み出され前記第１の周波数変換処理部（図３、図５の１０２）に入力される。

本発明の形態の一つによれば、前記第１の逆周波数変換処理部（図５の１０４）から出力される前記信号に対して予め定められた補正及び／又は更なるノイズ除去処理を施した信号を出力する第１の補填処理部（図５の１１０）と、前記第２の逆周波数変換処理部（図５の１０８）から出力される前記第３の変換信号（図５の第３の変換信号）に対して予め定められた補正及び／又は更なるノイズ除去処理を施した第４の変換信号（図５の第４の変換信号）を出力する第２の補填処理部（図５の１０９）と、を備えた構成としてもよい。
前記第２の逆周波数変換処理部（図５の１０８）からの前記第３の変換信号（図５の第３の変換信号）が、間接に、前記第１の逆周波数変換処理部（図５の１０４）に入力される経路として、
・前記第２の逆周波数変換処理部（図５の１０８）からの前記第３の変換信号（図５の第３の変換信号）が前記第２の補填処理部（図５の１０９）に入力され、
・前記第２の補填処理部（図５の１０９）からの前記第４の変換信号が、前記第１の逆周波数変換処理部（図５の１０４）に入力される、経路がある。

本発明の形態の一つによれば、前記記憶装置（図１１の２００）から読み出された前記一方の系統の前記入力信号に対して予め定められた所定の色空間変換処理を行い、該色空間変換処理した信号を、前記入力信号として、前記第１の周波数変換処理部（図１１の第１のウェーブレット変換処理部２０１）に対して供給する第１の変換処理部（図１１の第１のＹＵＶ→ＲＧＢ変換処理部２０８）と、
前記他方の系統の前記入力信号に対して予め定められた所定の色空間変換処理を行い、変換処理した信号を、前記入力信号として、前記第２の周波数変換処理部（図１１の第２のウェーブレット変換処理部２０３）に対して供給する第２の変換処理部（図１１の第２のＹＵＶ→ＲＧＢ変換処理部２０９）と、
を備えた構成としてもよい。

本発明によれば、入力信号を一時的に保持する記憶装置（図３、図５の１００、図７、図８、図１１、図１３の２００）によって入力信号の読み出しタイミングを調整する構成とされる。このため、データ量の増加による影響を受けることなく、前記第１の逆周波数変換処理部（図３、図５の１０４、図７、図８、図１１、図１３の２０４）に入力される信号のタイミング調整が行われ、データの記憶に必要な記憶装置の記憶容量が削減可能とされている。

入力された画像を内部で処理するためにピクセルデータのビット精度が高くなる場合、特に、画像フォーマット変換処理や周波数領域変換処理等の内部処理等により、必要ビット精度が高くなる場合に、本発明によれば、例えば、入力時のビット精度の低いピクセルデータを、記憶装置（例えば図３、図５の１００、図７、図８、図１１、図１３の２００）に記憶しておき、該記憶装置から読み出されたデータに対して、必要に応じて内部処理を適宜施すことで、データを損失することなく、必要とされる記憶容量を削減することができる。

＜実施形態１＞
図３は、本発明の第１の実施形態の構成を例示する図である。記憶装置１００と、処理装置１０１と、を備える。

記憶装置１００は、分岐点（分岐部）１１１で、少なくとも２系統に分岐された入力信号の一方が書き込まれ、書き込まれた入力信号を一時的に記憶する。

処理装置１０１は、
・記憶装置１００から読み出された入力信号を周波数領域信号に変換し第１の高周波信号を出力する第１の周波数変換処理部１０２と、
・第１の周波数変換処理部１０２からの第１の高周波信号を入力としてコアリング処理し第１の変換信号を出力する第１のコアリング処理部１０３と、
・２分岐した他方の入力信号を周波数領域信号に変換し第１の低周波信号を出力する第２の周波数変換処理部１０５と、
・第２の周波数変換処理部１０５からの前記第１の低周波信号を入力として周波数変換し第２の高周波信号と第２の低周波信号を出力する第３の周波数変換処理部１０６と、
・第３の周波数変換処理部１０６からの第２の高周波信号を入力としてコアリング処理し第２の変換信号を出力する第２のコアリング処理部１０７と、
・第２のコアリング処理部１０７からの第２の変換信号と、第３の周波数変換処理部１０６からの第２の低周波信号を入力として逆周波数変換し第３の変換信号を出力する第２の逆周波数変換処理部１０８と、
・第２の逆周波数変換処理部１０８からの第３の変換信号と、第１のコアリング処理部１０３からの第１の変換信号を入力として逆周波数変換し出力信号を出力する第１の逆周波数変換処理部１０４と、
を備える。

特に制限されないが、処理装置１０１は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ（Microprocessor）等の演算装置や半導体集積回路（Integrated Circuit: IC)で構成してもよい。あるいは、パーソナルコンピュータ（ＰＣ）、シンクライアント端末／サーバ、ワークステーション、メインフレーム、スーパーコンピュータ等のコンピュータで構成してもよい。

また特に制限されないが、記憶装置１００は、例えばＲＡＭ（Random Access Memory）や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM(Read Only Memory))等の電気的に書き換え可能なＲＯＭ等のメモリデバイス、あるいは、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の外部記憶装置（ストレージ）、ＤＶＤ（Digital Versatile Disk）やメモリカード等の記憶媒体（メディア）、あるいは、周辺機器（外付けＨＤＤ等）や外部のサーバ（ストレージサーバ等）に設置された記憶装置、あるいは、不図示のネットワークを介して接続されるＮＡＳ（Network Attached Storage）で構成しても良い。

図３を参照して実施形態１の各処理部の動作の概略を説明する。

第１の周波数変換処理部１０２、第２の周波数変換処理部１０５、第３の周波数変換処理部１０６は、それぞれに入力される信号を周波数領域に変換する。ここで、入力される信号は、例えば撮像素子（図示せず）により撮像されて生成された画像データ等である。第３の周波数変換処理部１０６の入力信号は、第２の周波数変換処理部１０５によって変換された周波数領域の信号（第１の低周波信号）である。

第１の周波数変換処理部１０２、第２の周波数変換処理部１０５、第３の周波数変換処理部１０６は、例えばウェーブレット変換、サイン変換、コサイン変換、フーリエ変換、高速フーリエ変換等を行う。入力信号が離散信号である場合、例えば、離散ウェーブレット変換、離散サイン変換、離散コサイン変換、離散フーリエ変換、高速フーリエ変換を行う。入力信号が画像信号の場合、例えば２次元双直交（Bi-Orthogonal）ウェーブレット変換、２次元コサイン変換等を行う（但し、これらに制限されない）。

第１のコアリング処理部１０３は、第１の周波数変換処理部１０２から出力された第１の高周波信号に対して、コアリング処理を行う。第２のコアリング処理部１０７は、第３の周波数変換処理部１０６から出力された第２の高周波信号に対してコアリング処理を行う。高周波信号であるか否かは、例えば予め定められた所定の周波数との比較により判定すればよい（例えば、前記予め定められた所定の周波数以上の周波数を高周波信号（高域成分）とする）。

第１のコアリング処理部１０３及び第２のコアリング処理部１０７は、それぞれ、入力された高周波成分からノイズ成分を除去した第１の変換信号及び第２の変換信号を出力する。コアリング処理としては、入力された第１の変換信号、第２の変換信号の絶対値を予め定められた閾値と比較して、閾値以下の値を０に縮退させる、ウェーブレット縮退を行う。なお、ウェーブレット縮退は、閾値以下の値を０に縮退させるだけの縮退（ハード縮退）であっても、閾値以下の値を０に縮退させ、閾値以上の値も補正する処理（ソフト縮退）であってもよい。あるいは、コアリング処理では、閾値以下の値を０とするのではなく、一定の値に縮退させる処理であっても良い。コアリング処理は、ＬＰＦ（Low-Pass Filter）、ＨＰＦ（High-Pass Filter）、ＢＰＦ（Band Pass Filter）やＢＳＦ（Band Stop Filter）であってもよい。なお、ＢＰＦやＢＳＦは、ＩＩＲ（Infinite Impulse Response）やＦＩＲ（Finite Impulse Response）型のデジタルフィルタにより実現されていてもよい（ただし、コアリング処理は上記に制限されない）。

第２の逆周波数変換処理部１０８は、第２のコアリング処理部１０７から出力された第２の変換信号と、第３の周波数変換処理部１０６から出力された第２の低周波信号とを入力し逆周波数変換して第３の変換信号を出力する。

第１の逆周波数変換処理部１０４は、第２の逆周波数変換処理部１０８から出力された第３の変換信号と第１のコアリング処理部１０３から出力された第１の変換信号とを入力し逆周波数変換して出力信号を出力する。

本実施形態において、各処理部１０２乃至１０８は、処理装置１０１で実行されるコンピュータ・プログラムによって各処理・機能の一部又は全てを実現するようにしてもよい。本発明によれば、当該コンピュータ・プログラム、及び、コンピュータ・プログラムを格納した半導体メモリ、磁気／光ディスク等の記憶媒体が提供される。

次に、図４のフローチャートを参照して、図３に示した本実施形態１の全体の動作について説明する。入力信号が入力される（ステップＡ０１）。入力信号を２系統に分離し、一方の入力信号に対して、第２の周波数変換処理部１０５で第２の周波数領域変換処理を実行する（ステップＡ０２）。

記憶装置１００は、一時的に入力信号を記憶する（ステップＡ０６）。記憶装置１００は、入力信号が画像信号の場合、ラインごとに入力される入力信号を一時的に記憶する。

第３の周波数変換処理部１０６は、ステップＡ０２で変換された周波数領域信号のうち低周波成分に対して第３の周波数領域変換処理を行う（ステップＡ０３）。

第２のコアリング処理部１０７は、第３の周波数変換処理部１０６で変換された周波数変換の信号の高周波成分である第２の高周波信号の第２のコアリング処理を実施し、ノイズを除去した第２の変換信号を出力する（ステップＡ０４）。

第２の逆周波数変換処理部１０８は、ステップＡ０３で、第３の周波数変換処理部１０６から出力される周波数変換の信号のうちの低周波成分である第２の低周波信号と、ステップＡ０４で、第２のコアリング処理部１０７から出力される第２の変換信号と、を用いて逆周波数領域変換を行い、第３の変換信号を、第１の逆周波数変換処理部１０４に出力する（ステップＡ０５）。

第２の逆周波数変換処理部１０８からの第３の変換信号が第１の逆周波数変換処理部１０４に出力されるのと同時に（同期して）、第１のコアリング処理部１０３からの第１の変換信号が第１の逆周波数変換処理部１０４に出力される、ことが望ましい。そこで、本実施形態では、記憶装置１００に記憶されている入力信号が適切なタイミングで読み出されて第１の周波数変換処理部１０２に入力され、周波数領域変換処理が行われる（ステップＡ０７）。

２分岐された入力信号の一方の分岐経路における、記憶装置１００の読み出しアクセス時間、第１の周波数変換処理部１０２及び第１のコアリング処理部１０３の処理時間（処理部間の転送時間も含む）の合計（＝時間１）と、
前記２分岐された前記入力信号の他方の分岐経路における、第２の周波数変換処理部１０５、第３の周波数変換処理部１０６、第２のコアリング処理部１０７、第２の逆周波数変換処理部１０８の処理時間（処理部間の転送時間も含む）の合計（＝時間２）との差（ただし、時間２＞時間１）に対して、
例えば、記憶装置１００に入力信号が書き込まれたタイミングののち、例えば、
遅延時間＝時間２−時間１
の後に、記憶装置１００に対して、前記入力信号の読み出しアクセスが行われ、第１の周波数変換処理部１０２に入力される構成としてもよい。
この場合、入力信号を書き込んでから所定時間経過後に、読み出すタイミング調整の制御を、記憶装置１００に実装する構成としてもよい（例えば先入れ先出し（First In First Out）制御方式のバッファメモリで実装してもよい）。
あるいは、記憶装置１００における上記同期制御用に、不図示のコントローラを備えてもよい。
あるいは、第２の逆周波数変換処理部１０８から第３の変換信号を出力するタイミングで、記憶装置１００へ読み出しのトリガとなる制御信号を送信することで、制御してもよい。

第１の周波数変換処理部１０２から出力される周波数変換処理後の信号のうち高周波成分に対して第１のコアリング処理が行われる（ステップＡ０８）。

以上のように、ステップＡ０７が適切なタイミングで処理されることにより、ステップＡ０５とステップＡ０８の処理結果が同時に出力され、第１の逆周波数変換処理部１０４の処理が行われる（ステップＡ０９）。

ステップＡ０９の処理結果が出力されることにより、第１の逆周波数変換処理部１０４からノイズ処理後の信号（第１の逆周波数領域変換信号）が得られる（ステップＡ１０）。

本実施の形態によれば、例えば入力信号を、そのビット精度が最も低い部分で記憶装置に一時的に記憶保持し、適切なタイミングで読み出す構成としたことで、多重解像度解析時に必要なタイミング調整用の記憶装置の容量を削減しつつ、画質の劣化を回避したノイズ処理を実現することができる。

＜実施形態２＞
図５は、本発明の第２の実施形態の構成を例示する図である。図６は、第２の実施形態の動作を説明するための流れ図である。図５を参照すると、本発明の第２の実施の形態は、図４の構成に対して第１の補填処理部１１０と、第２の補填処理部１０９と、をさらに備えている。また、第１の逆周波数変換処理部１０４への入力が、第１のコアリング処理部１０３からの出力である第１の変換信号と、第２の補填処理部１０９からの出力である第４の変換信号となる。

第２の補填処理部１０９は、第２の逆周波数変換処理部１０８からの第３の変換信号を入力し第４の変換信号を、第１の逆周波数変換処理部１０４に出力し、第１の補填処理部１１０は、第１の逆周波数変換処理部１０４からの出力信号を入力する。

第１の補填処理部１１０及び第２の補填処理部１０９は、例えば、
・画像の修復、加工等の補正処理や、
・ノイズ除去処理の性能を高める追加ノイズ除去処理等
を行う。

本実施形態において、特に制限されないが、補正処理は、
・ノイズ除去処理による画像のエッジなまりを補正するような、アンシャープマスクフィルタ処理等のエッジ強調処理、
・レンズ歪み補正等の光学補正、
・色彩補正等の
少なくとも１つを含む。また、追加ノイズ除去処理としては、任意のノイズ除去（低減）処理が適用可能である。例えばバイラテラルフィルタ等を用いてもよい。すなわち、ウェーブレット縮退処理でのノイズ除去による画像のぼけ等に対して、ピクセルの値を周りのピクセルの値の重み付け平均で置き換えてノイズ低減を行うにあたり、重み付けを、色が似ているほど大きくし、距離が近いほど大きくするバイラテラルフィルタ等により、輪郭のぼけを、ある程度防ぐことができる。

本実施形態において、各処理部１０２乃至１１０は、処理装置１０１で実行されるコンピュータ・プログラムによって各処理・機能の一部又は全てを実現するようにしてもよい。本発明によれば、当該コンピュータ・プログラム、及び、コンピュータ・プログラムを格納した半導体メモリ、磁気／光ディスク等の記憶媒体が提供される。

図６は、図５に示した第２の実施形態の動作を説明する流れ図である。図６を参照して、本発明の第２の実施形態の動作を説明する。

図６のステップＢ０１からステップＢ０５までは、図４のステップＡ０１からＡ０５と同様である。

ステップＢ０５の第２の逆周波数変換処理の出力信号に対して、第２の補填処理部１０９による第２の補填処理が実行される（ステップＢ０６）。

図６のステップＢ０７は、図４のステップＡ０６と同様であり、入力信号を２系統に分離した後に入力信号を記憶している。ステップＢ０２からステップＢ０６までの処理が実行され、第２の補填処理部１０９からの第４の変換信号が第１の逆周波数変換処理部１０４に出力される。

第２の補填処理部１０９から第４の変換信号が第１の逆周波数変換処理部１０４に出力されるのと同時に、第１のコアリング処理部１０３から第１の変換信号が第１の逆周波数変換処理部１０４に出力されることが望ましい。

そこで、本実施形態では、第２の補填処理部１０９から第４の変換信号が第１の逆周波数変換処理部１０４に出力されるのと同時に、第１のコアリング処理部１０３からの第１の変換信号が第１の逆周波数変換処理部１０４に出力されるように、記憶装置１００に記憶された入力信号が、第１の周波数変換処理部１０２に読み出される（ステップＢ０８）。

２分岐された入力信号の一方の分岐経路における、記憶装置１００の読み出しアクセス時間、第１の周波数変換処理部１０２及び第１のコアリング処理部１０３の処理時間（処理部間の転送時間も含む）の合計（＝時間１）と、
２分岐された入力信号の他方の分岐経路における、第２の周波数変換処理部１０５、第３の周波数変換処理部１０６、第２のコアリング処理部１０７、第２の逆周波数変換処理部１０８、第２の補填処理部１０９の処理時間（処理部間の転送時間も含む）の合計（＝時間２）の差（ただし、時間２＞時間１）に関して、
一方の分岐経路上の記憶装置１００に書き込まれた入力信号は、書き込みのタイミングから、遅延時間＝時間２−時間１の後に、読み出しが行われ、第１の周波数変換処理部１０２に入力される構成としてもよい。この場合、入力信号を書き込んでから所定時間経過後に読み出すタイミング調整の制御を、記憶装置１００に実装する構成としてもよい（例えば先入れ先出し制御方式のバッファメモリで実装してもよい）。あるいは、記憶装置１００における上記同期制御用に不図示のコントローラを備えてもよい。あるいは、第２の逆周波数変換処理部１０８から第３の変換信号を出力するタイミングで、記憶装置１００へ読み出しのトリガとなる制御信号を送信することで制御してもよい。

第１のコアリング処理部１０３は第１の周波数変換処理部１０２から出力される第１の高周波信号をコアリング処理する（ステップＢ０９）。

第１の逆周波数変換処理部１０４は、第１の変換信号と第４の変換信号に対して逆周波数領域変換処理を施す（ステップＢ１０）。

第１の逆周波数変換処理部１０４の処理結果に対して、第１の補填処理部１１０が補填処理を実行する（ステップＢ１１）。

第１の補填処理部１１０が補填処理結果を出力することで、第１の補填処理部１１０からノイズの除去された画像信号が得られる（ステップＢ１２）。

この第２の実施の形態によれば、前記第１の実施形態に加えて、補填処理を行う構成としたことで、画質の向上が期待できる。

補填処理に係る記憶容量の増加は、例えば入力信号がビット精度の最も低い部分で記憶装置１００に一時保持され、第１の周波数変換処理部１０２に適切なタイミングで読み出されるように構成したことで、タイミング調整用の記憶装置の容量を削減しつつ、画質を向上した画像を得ることができる。

＜実施例１＞
図７は、第１の実施例の構成を例示する図である。第１の実施例は、上記第１の実施形態に対応する。図８は、第１の実施例を回路ブロックで説明した図である。第１の実施例では、上記第１の実施形態における周波数変換処理、逆周波数変換処理を、それぞれ、ウェーブレット変換処理、逆ウェーブレット変換処理としたものである。

図７において、記憶装置２００、第１のウェーブレット変換処理部２０１、第２のウェーブレット変換処理部２０３、第３のウェーブレット変換処理部２０５、第１のウェーブレット縮退処理部２０２、第２のウェーブレット縮退処理部２０６、第１の逆ウェーブレット変換処理部２０４、第２の逆ウェーブレット変換処理部２０７、分岐点（分岐部）２１３は、図３の記憶装置１００、第１の周波数変換処理部１０２、第２の周波数変換処理部１０５、第３の周波数変換処理部１０６、第１のコアリング処理部１０３、第２のコアリング処理部１０７、第１の逆周波数変換処理１０４、第２の逆周波数変換処理部１０８、分岐点（分岐部）１１１にそれぞれ対応する。

図７、図８において、第２の逆ウェーブレット変換処理部（回路）２０７からの信号が第１の逆ウェーブレット変換処理部（回路）２０４に出力されるのと同時に、第１のウェーブレット縮退処理部（回路）２０２から信号が第１の逆ウェーブレット変換処理部（回路）２０４に出力される。記憶装置２００に記憶保持されている入力信号が適切なタイミングで読み出され第１のウェーブレット変換処理部２０１に入力される。

なお、図７において、第３のウェーブレット変換処理部２０５からの低周波成分を入力する第４のウェーブレット変換処理部（不図示）、第４のウェーブレット変換処理部から高周波成分を受けノイズ除去する第３のウェーブレット縮退処理部（不図示）、第３のウェーブレット縮退処理部の出力とウェーブレット変換処理部からの低周波成分を受ける第３の逆ウェーブレット変換処理部（不図示）をさらに備えた構成としてもよいことは勿論である。後述する他の実施例についても同様である。第２のウェーブレット変換処理部２０３で画像が４つの成分（１つの低周波成分と３つの高周波成分）に分解され、該低周波成分を入力する第３のウェーブレット変換処理部２０５では解像度レベル２となり７つの領域に分解されるが、第４のウェーブレット変換処理部では解像度レベル３となり１０個の領域に分解される。さらに、第４のウェーブレット変換処理部（不図示）からの低周波成分を入力するウェーブレット変換処理部、ウェーブレット縮退処理部、逆ウェーブレット変換処理部を備えた多段構成としてもよいことは勿論である。

入力信号は画像の横方向（行方向）のラインごと（ラスター単位：ラスタ形式の画像の１行分）で入力される。図８を参照すると、２次元ウェーブレット変換を実現するために、ウェーブレット変換処理回路２０１、２０３、２０５、逆ウェーブレット変換処理回路２０４、２０７は、それぞれ、ラインバッファ２２１、２２３、２２２、２２４、２２５を備える。各ラインバッファで蓄積するライン数は、ウェーブレット変換に係るウェーブレット基底（マザーウェーブレット）の種類によって異なる。ＣＤＦ９７（Cohen-Daubechies-Feauveaの９−７）ウェーブレットにおいては、必要なライン数は５である。

次に、入力信号を内部で処理する際のビット精度の増加について、図９の比較例を用いて説明する。入力信号の例としてＹＵＶ４２２フォーマットによる１９２０×１０８０の２次元画像であり、Ｙ成分（輝度成分）、Ｕ成分（輝度と青色成分の差）、及びＶ成分（輝度と赤色成分の差）が、それぞれ８ビットであるものとする。なお、ＹＵＶ４２２は、サンプリングの際、隣接２×２の４画素（ピクセル）を１セットとし、Ｙ成分を４サンプル、Ｕ成分、Ｖ成分を２サンプルとり、Ｙ成分は各画素独立に８ビット、Ｕ成分とＹ成分は隣接画素間で８ビットを共有する。このため、１画素あたりのビット数は１６ビットとしている。ただし、後に説明されるように、内部処理用のデータは１６ビットよりもビット幅が増加する場合がある。

図１０に、ＣＤＦ９７ウェーブレットにおいて原信号に乗ずるウェーブレット係数（ＣＤＦ９７フィルタ：線形位相フィルタの係数）を示す。離散信号に対するウェーブレット変換は、これらの精度の高い係数（フィルタバンクh(n）、g(n)）を、整数値の原信号s(n)に、順に乗ずることによって実現される。演算精度を保つためには、整数値に加えて、相応の小数値を保持するビット幅が必要になる。

図９の比較例では、小数値を保存するためにＹＵＶの各成分に８ビットを追加している。すなわち、１画素（ピクセル）あたりのビット数は、もとのＹ＝８ビット、Ｕ＝Ｖ＝４ビットの１６ビットから、Ｙ＝１６ビット、Ｕ＝Ｖ＝８ビットの３２ビットに増加する。図９を参照すると、第１のウェーブレット変換処理部３０１で、低周波成分として分離されるデータは、全体の１／４である。すなわち、１ピクセル＝３２ビットの場合、低周波成分として分離されるのは、８ビットであり、高周波成分として分離されるのは、残りの２４ビットということになる。

第１の実施例によって削減される記憶容量について、比較例（図９）を参照して説明する。

図８を参照すると、第１の実施例では、入力信号を分岐部２１３で分岐させた後に、ウェーブレット変換が２回実行されている（第２、第３のウェーブレット変換処理回路２０３、２０５）。ウェーブレット変換を１回実施すると、ラインが貯まる速度が半分になる。したがって、第３のウェーブレット変換処理回路２０５に係る５ライン分がラインバッファ２２２に貯まるのには、１０ライン分の入力信号が必要になる。

第３のウェーブレット変換処理回路２０５、及び第２の逆ウェーブレット変換処理回路２０７の両方のラインバッファ２２２、２２５が満杯となるには、２０ライン分の入力信号が必要になる。合わせて、第２のウェーブレット変換処理回路２０３の５ライン分を含めると、記憶装置２００には、２５ライン分の入力信号が蓄積されることになる。１９２０×１０８０ピクセルの画面解像度のフルＨＤ（full high definition）の画質に対して、記憶装置２００での蓄積記憶量は、１９２０×１６ビット×２５ラインで７５０キロビット（kilo bits）となる。

記憶装置の配置を、図８と相違させた比較例（図９）では、信号を２系統に分離される場所が、図８の第１の実施例（分岐部２１３）とは相違している。なお、図９の記憶装置３０３は、前述した図２の記憶装置１７に対応する。図９に示す比較例では、図８に示す第１の実施例の第２のウェーブレット変換処理回路２０３に相当する５ラインが不要であり、蓄積するライン数は２０ラインである。この場合、記憶装置３０３に蓄積する記憶量（１ピクセル＝２４ビット）は、１９２０×２４ビット×２０ライン、すなわち９００キロビットとなる。したがって、図８の第１の実施例によれば、図９の比較例と比べて、記憶するデータ量を、１５０キロビット削減している。

＜実施例２＞
次に本発明の第２の実施例について説明する。第２の実施例は第１実施形態に対応する。映像・画像撮影機器等においては、通信や画像処理の負担（負荷）を軽減するために、映像、画像信号はＹＵＶ４２２等の適宜画素を間引きされたフォーマットを用いることが多い。例えば機器の内部で画像処理するにあたり、ＲＧＢ（Red Green and Blue color model）等、画像フォーマットを変更して処理する場合がある。本実施例は、そのような状況に対応可能としたものである。図１１は、第２の実施例の構成を例示する図である。図１１を参照すると、図７の第１の実施例の構成に加えて、第１のＹＵＶ→ＲＧＢ変換処理部２０８、第２のＹＵＶ→ＲＧＢ変換処理部２０９、ＲＧＢ→ＹＵＶ変換処理部２１０が追加されている。これ以外は、図７（図８）の構成と同様である。

図１１において、第２の逆ウェーブレット変換処理部（回路）２０７からの信号が第１の逆ウェーブレット変換処理部（回路）２０４に出力されるのと同時に、第１のウェーブレット縮退処理部（回路）２０２から信号が第１の逆ウェーブレット変換処理部（回路）２０４に出力されように、記憶装置２００に記憶されている入力信号が適切なタイミングで読み出され第１のＹＵＶ→ＲＧＢ変換処理部２０８に入力される。

図１１では、入力信号をＹＵＶ４２２としているが、ＹＵＶ４２２に制限されるものでなく、ＹＵＶ４２０、ＹＵＶ４１１等、サンプリングの間引き量は限定されない。また画像フォーマットに係る色空間表現もＹＵＶに制限されるものでなく、ＹＣｂＣｒ、ＹＰｂＰｒ、ＨＳＶ、ＣＭＹ、ＲＧＢ等であってもよい。あるいは、グレースレールや、彩度のみを用いた単色の空間でもよい（ただし、上記にのみ制限されない）。また、図１１では出力信号をＹＵＶ４２２としているが、入力信号と同様、ＹＵＶ４２２に制限されるものない。

図１２を参照すると、本実施例におけるビット精度の増加が例示されている。入力信号は、前記第１の実施形態の第１の実施例と同様であり、８ビットのＹＵＶ４２２を想定してあり、１ピクセルあたりのビット数は１６ビットである。この入力信号に対してＹＵＶからＲＧＢへのフォーマット変換を、ＹＵＶ→ＲＧＢ変換処理部で行う。この例では、Ｒ成分、Ｇ成分、Ｂ成分の各成分が８ビットであることを想定しており、１ピクセルあたりのビット精度は２４ビットに増加している。この信号に対してウェーブレット変換処理を行う。前記第１の実施形態の第１の実施例と同様に小数部の表現に８ビットを用いている。これにより１ピクセルあたりのビット精度は４８ビットとなる。

ウェーブレット変換で低周波成分として分離されるデータは全体の１／４である。すなわち、１ピクセルあたり４８ビットの場合、低周波成分として分離されるのは１２ビットのデータであり、高周波成分として分離されるのは残りの３６ビットになる。

本実施例の作用効果について図１１、図１２を参照して説明する。図１１を参照すると、まず入力信号を２系統に分離し、一方を、記憶装置２００で一時保存する。保持するライン数は、前記第１の実施例と同様であり、２５ラインである。入力信号が１ピクセルあたり１６ビット、画質が１９２０×１０８０ピクセルの場合、記憶装置２００で保持する記憶量は、１９２０×１６ビット×２５ライン＝７５０キロビットである。

図９の比較例において、記憶装置３０３で保持するデータは１ピクセルあたりのビット精度は図１２に示されているように、３６ビットである。前記第１の実施例と同様に保持するライン数は２０ラインであり、図９の記憶装置３０３で保持する記憶量は、１９２０×３６ビット×２０ライン＝１３００キロビットとなる。このことから、本実施例によれば、図９の比較例と比べて、５５０キロビットのデータ量を削減している。

＜実施例３＞
図１３は、本発明の第３の実施例の構成を例示する図である。第３の実施例は、補填処理部を備えた前記第２の実施形態に対応する。図１３を参照すると、本実施例は、図８の構成に加えて、第１のアンシャープマスクフィルタ回路２１１、第２のアンシャープマスクフィルタ回路２１２が追加されている。その他の構成は、図８と同一である。

第１のアンシャープマスクフィルタ回路２１１及び第２のアンシャープマスクフィルタ回路２１２は、それぞれ、図５における第１の補填処理部１１０及び第２の補填処理部１０９にそれぞれ対応する。補填処理の例として、シャープニングを行うアンシャープマスクフィルタを用いている。一般に、ノイズ除去処理は、画像のエッジを多少なりとも鈍らせるので、ノイズ除去処理後に、シャープニング処理が行われる。本実施例では、アンシャープマスク処理においては、例えばアンシャープ処理にガウシアンフィルタを用いる。特に制限されないが、本実施例において、ガウシアンフィルタのフィルタカーネルサイズは１３×１３ピクセルとする。そのため、第１のアンシャープマスクフィルタ回路２１１、及び第２のアンシャープマスクフィルタ回路２１２は、１２ライン分のラインバッファ２２６、２２７を備える。その他の構成は、図６と同様である。

図１３において、第２のアンシャープマスクフィルタ回路２１２からの信号が第１の逆ウェーブレット変換処理部（回路）２０４に出力されるのと同時に、第１のウェーブレット縮退処理回路２０２から信号が第１の逆ウェーブレット変換処理回路２０４に出力されように、記憶装置２００に記憶されている入力信号が適切なタイミングで読み出され第１のウェーブレット変換処理回路２０１に入力される。前記第２の実施形態において説明したように、例えば、記憶装置２００からの入力信号の読み出しの遅延制御、あるいは記憶装置２００への読み出しのトリガとなる制御信号等によるタイミング制御が行われる。

入力信号、及び内部処理に係るビット精度は、前記第１の実施形態の第１実施例と同様である。すなわち、入力信号の例としてＹＵＶ４２２フォーマットによる１９２０×１０８０の２次元画像であり、Ｙ成分、Ｕ成分及びＶ成分がそれぞれ８ｂｉｔであることを想定する。
上記の想定によれば、１画素あたりのビット数は、１６ビットとなる。内部処理用のデータは、ウェーブレット変換処理に依る小数値を保存するためにＹＵＶの各成分に８ビットを追加している。すなわち１ピクセルあたりビット数は３２ビットに増加する。低周波成分として分離されるデータは全体の１／４であり、１ピクセルあたり３２ビットの時、低周波成分として分離されるのは８ビットのデータであり、高周波成分として分離されるのは、残りの２４ビットということになる。

次に本実施例の作用効果について説明する。図１３を参照すると、まず入力信号を２系統に分離し、一方を記憶装置２００で一時保存する。

本実施例の構成における保持するライン数について説明する。第３のウェーブレット変換処理回路２０５、第２の逆ウェーブレット変換処理回路２０７、及び、第２のアンシャープマスクフィルタ回路２１２の各ラインバッファ２２２、２２５、２２７のライン数の合計は、５＋５＋１２＝２２ラインである。ウェーブレット変換処理回路を２段通過しているため（ウェーブレット変換処理回路２０３、２０５の２段）、２２ライン分が貯まるのには、入力信号では、４４ライン分が必要である。これに加えて、第２のウェーブレット変換処理回路２０３の５ライン分を合わせて、４９ライン分を一時保持する必要がある。

入力信号が１ピクセルあたり１６ビット、画質が１９２０×１０８０ピクセルの場合、記憶装置２００で保持する記憶量は、１９２０×１６ビット×４９ライン＝１４７０キロビットである。

比較例の場合、図９の記憶装置３０３で保持するデータについて、１ピクセルあたりのビット精度は２４ビットである。保持するライン数は、４４ラインである。、このことから、図９の記憶装置３０３で保持する記憶量は、１９２０×２４ビット×４４ライン＝１９８０キロビットになる。したがって、第３の実施例によれば、図９の比較例と比べて、５１０キロビットのデータ量を削減している。

また、本実施例の構成には含まれていないが、第２実施例（図１１）のように、画像のフォーマット変換（ＹＵＶ→ＲＧＢ）を含む場合、本実施例の作用効果（所要記憶容量の低減効果）は更に顕著に現れる。

本発明によれば、デジタルカメラの撮像素子等のセンサから出力されるデジタル信号に混入するノイズを除去する用途に適用できる。また、マイクロフォン等のアナログ信号をデジタル変換した信号に対するノイズを除去する用途にも適用できる。

上記した実施形態の一部又は全ては以下のように付記される（ただし、以下に制限されない）。

（付記１）
入力信号を周波数領域の信号に変換して出力する周波数変換処理手段を複数備えたノイズ除去システムであって、
一の周波数領域変換手段から出力された信号のうち低周波成分が入力される周波数変換処理手段と、
周波数領域に変換された信号からノイズ成分を除去するコアリング処理手段と、
前記コアリング処理手段から出力される周波数領域信号から原入力信号を同じ色信号に変換する逆周波数変換処理手段と、を少なくとも１組備え、
原入力信号を２系統に分離した後に保持する記憶装置を備える、ことを特徴とするノイズ除去処理システム。

（付記２）
付記１に記載のノイズ除去処理システムであって、
前記記憶装置から読み出された信号を周波数領域に変換する周波数変換処理手段と、
前記周波数変換処理手段によって出力された信号のうち高周波成分に対してノイズ除去処理を行うコアリング処理手段と、
前記コアリング処理手段から出力された信号を入力とする逆周波数変換処理手段と、
を備えたノイズ除去処理システム。

（付記３）
付記１又は付記２に記載のノイズ除去処理システムであって、
前記逆周波数変換処理手段への２系統の入力のうち、１系統への入力と同期して前記記憶装置からデータが読み出される、ノイズ除去処理システム。

（付記４）
付記１乃至付記３のいずれか一に記載のノイズ除去処理システムであって、
前記逆周波数変換処理手段の後段に補填処理手段を備え、
前記補填処理手段の出力が、前記逆周波数変換処理手段と異なる逆周波数変換処理手段に入力される、ノイズ除去処理システム。

（付記５）
付記１乃至付記４のいずれか一に記載のノイズ除去処理システムであって、
入力信号に対する色空間変換処理手段を備える、ノイズ除去処理システム。

（付記６）
付記１乃至付記５のいずれか一に記載のノイズ除去処理システムであって、
前記周波数変換処理手段は、ウェーブレット変換を用いて周波数領域信号に変換し、
前記逆周波数変換処理手段は、逆ウェーブレット変換を用いて周波数信号から入力信号と同じ色空間の信号に変換する、ノイズ除去処理システム。

（付記７）
付記６に記載のノイズ除去処理システムであって、
前記コアリング処理手段は、ウェーブレット縮退を用いて、前記入力信号に含まれるノイズを除去する、ノイズ除去処理システム。

（付記８）
入力信号を周波数領域の信号に変換して出力する周波数変換処理回路を複数個用いるノイズ除去回路であって、
周波数変換処理回路と、
前記周波数領域変換回路から出力された信号のうち低周波成分が入力される周波数変換処理回路と、
周波数領域に変換された信号からノイズ成分を除去するコアリング処理回路と、
前記コアリング処理回路から出力される周波数領域信号から原入力信号を同じ色信号に変換する逆周波数変換処理回路と、
を１組又は複数組備え、
原入力信号を２系統に分離した後に保持する記憶装置を備える、ことを特徴とするノイズ除去処理回路。

（付記９）
付記８に記載のノイズ除去処理回路であって、
前記記憶装置から読み出された信号を周波数領域に変換する周波数変換処理回路と、
前記周波数変換処理回路によって出力された信号のうち高周波成分に対してノイズ除去処理を行うコアリング処理回路と、
前記コアリング処理回路から出力された信号を入力とする逆周波数変換処理回路と、
を備えたノイズ除去処理回路。

（付記１０）
付記８又は付記９に記載のノイズ除去処理回路であって、
前記逆周波数変換処理回路への２系統の入力のうち、１系統への入力と同期して前記記憶装置からデータが読み出される、ノイズ除去処理回路。

（付記１１）
付記９又は付記１０に記載のノイズ除去処理回路であって、
前記逆周波数変換処理回路の後段に補填処理回路を備え、
前記補填処理回路の出力が前記逆周波数変換処理回路と異なる逆周波数変換処理回路に入力される、ノイズ除去処理回路。

（付記１２）
付記９乃至付記１１のいずれか一に記載のノイズ除去処理回路であって、
前記入力信号に対する色空間変換処理回路を備える、ノイズ除去処理回路。

（付記１３）
付記９乃至付記１２のいずれか一に記載のノイズ除去処理回路であって、
前記周波数変換処理回路は、ウェーブレット変換を用いて周波数領域信号に変換し、
前記逆周波数変換処理回路は、逆ウェーブレット変換を用いて周波数信号から入力信号と同じ色空間の信号に変換する、ノイズ除去処理回路。

（付記１４）
付記１３に記載のノイズ除去処理回路であって、
前記コアリング処理回路は、ウェーブレット縮退を用いて、前記入力信号に含まれるノイズを除去する、ノイズ除去処理回路。

（付記１５）
入力信号を周波数領域の信号に変換して出力する周波数変換処理ステップを複数個用いるノイズ除去方法であって、
周波数変換処理ステップと、
前記周波数領域変換ステップから出力された信号のうち低周波成分が入力される周波数変換処理ステップと、
周波数領域に変換された信号からノイズ成分を除去するコアリング処理ステップと、
前記コアリング処理ステップから出力される周波数領域信号から原入力信号を同じ色信号に変換する逆周波数変換処理ステップと、
を少なくとも１回含み、原入力信号を２系統に分離した後に記憶装置に保持する、ことを特徴とするノイズ除去処理方法。

（付記１６）
付記１５に記載のノイズ除去処理方法であって、
前記記憶装置から読み出された信号を周波数領域に変換する周波数変換処理ステップと、
前記周波数変換処理ステップによって出力された信号のうち高周波成分に対してノイズ除去処理を行うコアリング処理ステップと、
前記コアリング処理ステップから出力された信号を入力とする逆周波数変換処理ステップと、を含むノイズ除去処理方法。

（付記１７）
付記１５又は付記１６に記載のノイズ除去処理方法であって、
前記逆周波数変換処理ステップへの２系統の入力のうち、１系統への入力と同期して前記記憶装置からデータが読み出される、ノイズ除去処理方法。

（付記１８）
付記１５乃至付記１７のいずれか一に記載のノイズ除去処理方法であって、
前記逆周波数変換処理ステップの後段に補填処理ステップを備え、
前記補填処理ステップの出力が前記逆周波数変換処理ステップと異なる逆周波数変換処理ステップに入力される、ノイズ除去処理方法。

（付記１９）
付記１５乃至付記１８のいずれか一に記載のノイズ除去処理方法であって、
入力信号に対する色空間変換処理ステップを備える、ノイズ除去処理方法。

（付記２０）
付記１５乃至付記１９のいずれか一に記載のノイズ除去処理方法であって、
前記周波数変換処理ステップは、ウェーブレット変換を用いて周波数領域信号に変換し、
前記逆周波数変換処理ステップは、逆ウェーブレット変換を用いて周波数信号から入力信号と同じ色空間の信号に変換する、ノイズ除去処理方法。

（付記２１）
付記２０に記載のノイズ除去処理方法であって、
前記コアリング処理ステップは、ウェーブレット縮退を用いて、入力信号に含まれるノイズを除去する、ノイズ除去処理方法。

（付記２２）
入力信号を少なくとも２系統に分岐し、一方の系統の前記入力信号を記憶装置に一旦書き込み、
前記記憶装置から読み出された前記入力信号を周波数領域に変換し第１の信号を生成する第１の周波数変換処理工程と、
他方の系統の前記入力信号を周波数領域に変換し第２の信号を生成する第２の周波数変換処理工程と、
前記第２の信号を周波数領域に変換し第１及び第２の周波数帯域の第３及び第４の信号を生成する第３の周波数変換処理工程と、
第１の逆周波数変換処理工程と、
前記第３の信号を直接又は間接に入力し、前記第４の信号を入力し、入力した信号を逆周波数変換した第３の変換信号を生成する第２の逆周波数変換処理工程と、
含み、
前記第１の逆周波数変換処理工程では、前記第１の信号を直接又は間接に入力し、前記第３の変換信号を直接又は間接に入力し、入力した信号を逆周波数変換した信号を出力し、以下の（A）及び（B）：
（A）前記第１の逆周波数変換処理工程では、前記第１の信号の間接入力として、前記第１の信号をコアリング処理した第１の変換信号を入力する、
（B）前記第２の逆周波数変換処理工程は、前記第３の信号の間接入力として、前記第３の信号をコアリング処理した第２の変換信号を入力する、
の少なくとも一方とされる、ことを特徴とするノイズ除去方法。

（付記２３）
前記第２の逆周波数変換処理工程で生成された前記第３の変換信号が、直接又は間接に、前記第１の逆周波数変換処理工程に入力されるタイミングに合わせて、前記第１の周波数変換処理工程からの前記第１の信号が、直接又は間接に、前記第１の逆周波数変換処理工程に入力されるように、前記記憶装置から前記一方の系統の前記入力信号が読み出される、ことを特徴とする付記２２記載のノイズ除去方法。

（付記２４）
前記第１の逆周波数変換処理工程から出力される前記信号に対して予め定められた補正及び／又は更なるノイズ除去処理を施した信号を出力する第１の補填処理工程と、
前記第２の逆周波数変換処理部から出力される前記第３の変換信号に対して予め定められた補正及び／又は更なるノイズ除去処理を施した第４の変換信号を出力する第２の補填処理工程と、
の少なくとも１方を含み、
前記第１の逆周波数変換処理工程は、前記第２の逆周波数変換処理工程からの前記第３の変換信号の間接入力として、前記第２の逆周波数変換処理工程からの前記第３の変換信号を前記第２の補填処理工程で補正及び／又は更なるノイズ除去処理を施した前記第４の変換信号を入力する、ことを特徴とする付記２２又は２３記載のノイズ除去方法。

（付記２５）
前記第１の逆周波数変換処理工程で前記逆周波数変換した信号に対して予め定められた補正及び／又は更なるノイズ除去処理を施した信号を出力する第１の補填処理工程と、
前記第２の逆周波数変換処理工程から出力される前記第３の変換信号に対して予め定められた補正及び／又は更なるノイズ除去処理を施した第４の変換信号を出力する第２の補填処理工程と、
を含み、
前記第１の逆周波数変換処理工程が、前記第２の逆周波数変換処理工程からの前記第３の変換信号を間接に入力する場合、前記第２の逆周波数変換処理工程からの前記第３の変換信号を前記第２の補填処理工程で補正及び／又は更なるノイズ除去処理を施した前記第４の変換信号を入力する、ことを特徴とする付記２２又は２３記載のノイズ除去方法。

（付記２６）
前記記憶装置から読み出された前記一方の系統の前記入力信号に対して予め定められた所定の色空間変換処理を行い変換処理した信号を前記第１の周波数変換処理工程に対して前記入力信号として供給する第１の変換処理工程と、
前記他方の系統の前記入力信号に対して予め定められた所定の色空間変換処理を行い変換処理した信号を、前記第２の周波数変換処理工程に対して前記入力信号として供給する第２の変換処理工程と、
前記第１の逆周波数変換処理工程の出力信号に対して前記色空間変換処理の逆変換を行う第３の変換処理工程と、
を含む、ことを特徴とする付記２２乃至２５のいずれか一に記載のノイズ除去方法。

（付記２７）
前記各周波数変換処理工程は、ウェーブレット変換を行い、前記各逆周波数変換処理工程は、逆ウェーブレット変換を行う、付記２２乃至２６のいずれか一に記載のノイズ除去方法。

（付記２８）
入力信号を少なくとも２系統に分岐し、一方の系統の前記入力信号が記憶装置に一旦書き込まれ、
前記記憶装置から読み出された前記入力信号を入力して周波数領域に変換し第１の信号を出力する第１の周波数変換処理と、
他方の系統の前記入力信号を入力して周波数領域に変換し第２の信号を出力する第２の周波数変換処理と、
前記第２の周波数領域変換処理からの前記第２の信号を入力して周波数領域に変換し第１及び第２の周波数帯域の第３及び第４の信号を出力する第３の周波数変換処理と、
第１の逆周波数変換処理と、
前記第３の周波数変換処理からの前記第３の信号を直接又は間接に入力し、前記第３の周波数変換処理からの前記第４の信号を入力し、入力した信号を逆周波数変換した第３の変換信号を出力する第２の逆周波数変換処理と、
を含み、
前記第１の逆周波数変換処理において、前記第１の周波数変換処理からの前記第１の信号を直接又は間接に入力し、前記第２の逆周波数変換処理からの前記第３の変換信号を直接又は間接に入力し、入力した信号を逆周波数変換した信号を出力し、以下の（A）及び（B）：
（A）前記第１の逆周波数変換処理が、前記第１の信号の間接入力として、前記第１の周波数変換処理からの前記第１の信号に対して第１のコアリング処理でノイズ成分を除去した第１の変換信号を入力する、
（B）前記第２の逆周波数変換処理が、前記第３の信号の間接入力として、前記第３の周波数変換処理からの前記第３の信号に対して第２のコアリング処理でノイズ成分を除去した第２の変換信号を入力する、
の少なくとも一方の処理をコンピュータに実行させるプログラム。

（付記２９）
前記第２の逆周波数変換処理からの前記第３の変換信号が直接又は間接に前記第１の逆周波数変換処理に入力されるタイミングに合わせて、前記第１の周波数変換処理からの前記第１の信号が直接又は間接に前記第１の逆周波数変換処理に入力されるように、前記記憶装置から、前記一方の系統の前記入力信号を読み出す処理を、前記コンピュータに実行させる、付記２８記載のプログラム。

（付記３０）
前記第１の逆周波数変換処理で前記逆周波数変換した信号に対して予め定められた補正及び／又は更なるノイズ除去処理を施した信号を出力する第１の補填処理と、
前記第２の逆周波数変換処理から出力される前記第３の変換信号に対して予め定められた補正及び／又は更なるノイズ除去処理を施した第４の変換信号を出力する第２の補填処理と、
の少なくとも一方をさらに含み、
前記第１の逆周波数変換処理が、前記第２の逆周波数変換処理からの前記第３の変換信号を間接に入力する場合、前記第２の逆周波数変換処理からの前記第３の変換信号を前記第２の補填処理で補正及び／又は更なるノイズ除去処理を施した前記第４の変換信号を入力する、付記２８又は２９記載のプログラム。

（付記３１）
前記記憶装置から読み出された前記一方の系統の前記入力信号に対して予め定められた所定の色空間変換処理を行い変換処理した信号を前記第１の周波数変換処理に対して前記入力信号として供給する第１の変換処理と、
前記他方の系統の前記入力信号に対して予め定められた所定の色空間変換処理を行い変換処理した信号を、前記第２の周波数変換処理に対して前記入力信号として供給する第２の変換処理と、
前記第１の逆周波数変換処理の出力信号に対して前記色空間変換処理の逆変換を行う第３の変換処理と、
を前記コンピュータに実行させる付記２８乃至３０のいずれか一に記載のプログラム。

（付記３２）
前記各周波数変換処理は、ウェーブレット変換を行い、前記各逆周波数変換処理は、逆ウェーブレット変換を行う、付記２８乃至３１のいずれか一に記載のプログラム。

(付記３３）
多重解像度解析の入力段の周波数変換処理部を少なくとも二つ備え、入力信号を少なくとも２分岐し、一方の分岐の入力信号を前記入力段の第１の周波数変換処理部の前段に配置された記憶装置で一旦バッファリングし、
他方の分岐の前記入力信号は前記入力段の第２の周波数変換処理部に直接入力し、前記第２の周波数変換処理部の出力に対して後段でさらなる周波数変換処理が行われ、
出力段の逆周波数変換処理部は、前記入力段の第１の周波数変換処理部からの出力信号を直接又は間接に入力し前記出力段の１つ前の段の逆周波数変換処理部からの出力信号を直接又は間接に入力し、逆周波数領域変換処理した信号を出力する多重解像度解析システム。

（付記３４）
前記出力段の逆周波数変換処理部には、前記入力段の前記第１の周波数変換処理部からの出力信号の直接又は間接の入力と、前記出力段の１つ前の段の逆周波数変換処理部からの出力信号の直接又は間接の入力とが同一のタイミングとなるように、前記記憶装置から前記入力段の前記第１の周波数変換処理部への前記入力信号の読み出しを制御する付記３３記載の多重解像度解析システム。

なお、上記の特許文献、非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各付記の各要素、各実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ乃至選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

１１ 第１のウェーブレット変換処理部
１２ 第１のコアリング処理部
１３ 第１の逆ウェーブレット変換処理部
１４ 第２のウェーブレット変換処理部
１５ 第２のコアリング処理部
１６ 第２の逆ウェーブレット変換処理部
１７ 記憶装置
１００ 記憶装置
１０１ 処理装置
１０２ 第１の周波数変換処理部
１０３ 第１のコアリング処理部
１０４ 第１の逆周波数変換処理部
１０５ 第２の周波数変換処理部
１０６ 第３の周波数変換処理部
１０７ 第２のコアリング処理部
１０８ 第２の逆周波数変換処理部
１０９ 第２の補填処理部
１１０ 第１の補填処理部
１１１ 分岐点（分岐部）
２００ 記憶装置
２０１ 第１のウェーブレット変換処理部（第１のウェーブレット変換処理回路）
２０２ 第１のウェーブレット縮退処理部（第１のウェーブレット縮退処理回路）
２０４ 第１の逆ウェーブレット変換処理部（第１の逆ウェーブレット変換処理部）
２０３ 第２のウェーブレット変換処理部（第２のウェーブレット変換処理回路）
２０５ 第３のウェーブレット変換処理部（第３のウェーブレット変換処理回路）
２０６ 第２のウェーブレット縮退処理部（第２のウェーブレット縮退処理回路）
２０７ 第２の逆ウェーブレット変換処理部（第２の逆ウェーブレット変換処理回路）
２０８ 第１のＹＵＶ→ＲＧＢ変換処理部
２０９ 第２のＹＵＶ→ＲＧＢ変換処理部
２１０ ＲＧＢ→ＹＵＶ変換処理部
２１１ 第１のアンシャープマスクフィルタ回路
２１２ 第２のアンシャープマスクフィルタ回路
２１３ 分岐点（分岐部）
２２１〜２２７ ラインバッファ
３０１ 第１のウェーブレット変換処理部
３０２ 第１のウェーブレット縮退処理部
３０３ 記憶装置

Claims (7)

1. 入力信号を分岐部で少なくとも第１、第２の系統に分岐させ、前記第１の系統の前記入力信号が書き込まれる記憶装置と、
   前記記憶装置から読み出された前記第１の系統の前記入力信号を入力して周波数領域に変換し第１の信号を出力する第１の周波数変換処理部と、
   前記第２の系統の前記入力信号を入力して周波数領域に変換し第２の信号を出力する第２の周波数変換処理部と、
   前記第２の周波数変換処理部からの前記第２の信号を入力して周波数領域に変換し第１及び第２の周波数帯域の第３及び第４の信号を出力する第３の周波数変換処理部と、
   第１の逆周波数変換処理部と、
   前記第３の周波数変換処理部からの前記第３の信号を直接又は間接に入力し、前記第３の周波数変換処理部からの前記第４の信号を入力し、入力した信号を逆周波数変換した第３の変換信号を出力する第２の逆周波数変換処理部と、
   第１のコアリング処理部及び／又は第２のコアリング処理部と、
   を備え、
   前記第１の逆周波数変換処理部は、前記第１の周波数変換処理部からの前記第１の信号を直接又は間接に入力し、前記第２の逆周波数変換処理部からの前記第３の変換信号を直接又は間接に入力し、入力した信号を逆周波数変換した信号を出力し、
   前記第１のコアリング処理部は、前記第１の周波数変換処理部からの前記第１の信号に対してノイズ成分を除去した第１の変換信号を出力し、前記第１の逆周波数変換処理部は、前記第１の信号の間接入力として、前記第１のコアリング処理部からの前記第１の変換信号を入力し、
   前記第２のコアリング処理部は、前記第３の周波数変換処理部からの前記第３の信号に対してノイズ成分を除去した第２の変換信号を出力し、前記第２の逆周波数変換処理部は、前記第３の信号の間接入力として、前記第２のコアリング処理部からの前記第２の変換信号を入力し、
   前記第２の逆周波数変換処理部からの前記第３の変換信号が直接又は間接に前記第１の逆周波数変換処理部に入力されるタイミングに合わせて、前記第１の周波数変換処理部からの前記第１の信号が直接又は間接に前記第１の逆周波数変換処理部に入力されるように、前記記憶装置から、前記第１の系統の前記入力信号が読み出される、ことを特徴とするノイズ除去システム。
2. 前記第１の逆周波数変換処理部で前記逆周波数変換した信号に対して予め定められた補正及び／又は更なるノイズ除去処理を施した信号を出力する第１の補填処理部と、
   前記第２の逆周波数変換処理部から出力される前記第３の変換信号に対して予め定められた補正及び／又は更なるノイズ除去処理を施した第４の変換信号を出力する第２の補填処理部と、
   の少なくとも一方をさらに備え、
   前記第１の逆周波数変換処理部が、前記第２の逆周波数変換処理部からの前記第３の変換信号を間接に入力する構成として、前記第２の逆周波数変換処理部からの前記第３の変換信号に対して前記第２の補填処理部で補正及び／又は更なるノイズ除去処理を施した前記第４の変換信号を入力する、ことを特徴とする請求項１記載のノイズ除去システム。
3. 前記記憶装置から読み出された前記第１の系統の前記入力信号に対して予め定められた所定の色空間変換処理を行い、前記色空間変換処理した信号を、前記第１の周波数変換処理部に対して前記入力信号として供給する第１の変換処理部と、
   前記第２の系統の前記入力信号に対して予め定められた所定の色空間変換処理を行い、前記色空間変換処理した信号を、前記第２の周波数変換処理部に対して前記入力信号として供給する第２の変換処理部と、
   前記第１の逆周波数変換処理部の出力信号に対して前記色空間変換処理の逆変換を行う第３の変換処理部と、
   を備えた、ことを特徴とする請求項１又は２に記載のノイズ除去システム。
4. 前記各周波数変換処理部は、ウェーブレット変換を行い、前記各逆周波数変換処理部は、逆ウェーブレット変換を行う、請求項１乃至３のいずれか１項に記載のノイズ除去システム。
5. 少なくとも第１、第２の系統に分岐させた入力信号のうち前記第１の系統の前記入力信号を記憶装置に一旦書き込む工程と、
   前記記憶装置から読み出された前記第１の系統の前記入力信号を周波数領域に変換し第１の信号を生成する第１の周波数変換処理工程と、
   前記第２の系統の前記入力信号を周波数領域に変換し第２の信号を生成する第２の周波数変換処理工程と、
   前記第２の信号を周波数領域に変換し第１及び第２の周波数帯域の第３及び第４の信号を生成する第３の周波数変換処理工程と、
   第１の逆周波数変換処理工程と、
   前記第３の信号を直接又は間接に入力し、前記第４の信号を入力し、入力した信号を逆周波数変換した第３の変換信号を生成する第２の逆周波数変換処理工程と、
   第１のコアリング処理工程及び／又は第２のコアリング処理工程と、
   含み、
   前記第１の逆周波数変換処理工程では、前記第１の信号を直接又は間接に入力し、前記第３の変換信号を直接又は間接に入力し、入力した信号を逆周波数変換した信号を出力し、
   前記第１のコアリング処理工程では、前記第１の周波数変換処理工程からの前記第１の信号に対してノイズ成分を除去した第１の変換信号を出力し、前記第１の逆周波数変換処理工程は、前記第１の信号の間接入力として、前記第１のコアリング処理工程からの前記第１の変換信号を入力し、
   前記第２のコアリング処理工程では、前記第３の周波数変換処理工程からの前記第３の信号に対してノイズ成分を除去した第２の変換信号を出力し、前記第２の逆周波数変換処理工程は、前記第３の信号の間接入力として、前記第２のコアリング処理工程からの前記第２の変換信号を入力し、
   前記第２の逆周波数変換処理工程で生成された前記第３の変換信号が、直接又は間接に、前記第１の逆周波数変換処理工程に入力されるタイミングに合わせて、前記第１の周波数変換処理工程からの前記第１の信号が、直接又は間接に、前記第１の逆周波数変換処理工程に入力されるように、前記記憶装置から前記第１の系統の前記入力信号が読み出される、ことを特徴とするノイズ除去方法。
6. 前記第１の逆周波数変換処理工程から出力される前記信号に対して予め定められた補正及び／又は更なるノイズ除去処理を施した信号を出力する第１の補填処理工程と、
   前記第２の逆周波数変換処理工程から出力される前記第３の変換信号に対して予め定められた補正及び／又は更なるノイズ除去処理を施した第４の変換信号を出力する第２の補填処理工程と、
   の少なくとも１方を含み、
   前記第１の逆周波数変換処理工程は、前記第２の逆周波数変換処理工程からの前記第３の変換信号の間接入力として、前記第２の逆周波数変換処理工程からの前記第３の変換信号を前記第２の補填処理工程で補正及び／又は更なるノイズ除去処理を施した前記第４の変換信号を入力する、ことを特徴とする請求項５記載のノイズ除去方法。
7. 少なくとも第１、第２の系統に分岐させた入力信号のうち前記第１の系統の前記入力信号が記憶装置に一旦書き込む処理と、
   前記記憶装置から読み出された前記第１の系統の前記入力信号を入力して周波数領域に変換し第１の信号を出力する第１の周波数変換処理と、
   前記第２の系統の前記入力信号を入力して周波数領域に変換し第２の信号を出力する第２の周波数変換処理と、
   前記第２の周波数変換処理からの前記第２の信号を入力して周波数領域に変換し第１及び第２の周波数帯域の第３及び第４の信号を出力する第３の周波数変換処理と、
   第１の逆周波数変換処理と、
   前記第３の周波数変換処理からの前記第３の信号を直接又は間接に入力し、前記第３の周波数変換処理からの前記第４の信号を入力し、入力した信号を逆周波数変換した第３の変換信号を出力する第２の逆周波数変換処理と、
   第１のコアリング処理及び／又は第２のコアリング処理と、
   をコンピュータに実行させるプログラムであって、
   前記第１の逆周波数変換処理は、前記第１の周波数変換処理からの前記第１の信号を直接又は間接に入力し、前記第２の逆周波数変換処理からの前記第３の変換信号を直接又は間接に入力し、入力した信号を逆周波数変換した信号を出力し、
   前記第１のコアリング処理は、前記第１の周波数変換処理からの前記第１の信号に対してノイズ成分を除去した第１の変換信号を出力し、前記第１の逆周波数変換処理は、前記第１の信号の間接入力として、前記第１のコアリング処理からの前記第１の変換信号を入力し、
   前記第２のコアリング処理は、前記第３の周波数変換処理からの前記第３の信号に対してノイズ成分を除去した第２の変換信号を出力し、前記第２の逆周波数変換処理は、前記第３の信号の間接入力として、前記第２のコアリング処理からの前記第２の変換信号を入力し、
   前記第２の逆周波数変換処理からの前記第３の変換信号が直接又は間接に前記第１の逆周波数変換処理に入力されるタイミングに合わせて、前記第１の周波数変換処理からの前記第１の信号が直接又は間接に前記第１の逆周波数変換処理に入力されるように、前記記憶装置から、前記第１の系統の前記入力信号を読み出す処理を前記コンピュータに実行させる、プログラム。

Images