WO2014103230A1 - 信号処理装置、信号処理方法、および記憶媒体 - Google Patents

Abstract

［課題］　装置規模を増大させることなく、ノイズ除去処理性能を動的に変更できるようにする。 ［解決手段］　信号処理装置は、入力信号を、第１の低周波信号と第１の高周波信号とに分離する第１手段と、第１の低周波信号を、第２の低周波信号と第２の高周波信号とに分離する第２手段と、第２の低周波信号に対してパイプライン処理を行うことによって、第１のパイプライン処理信号を生成するとともに、第１の再構成信号に対してパイプライン処理を行うことによって、第２のパイプライン処理信号を生成する第３手段と、第２の高周波信号と第１のパイプライン処理信号とに基づいて、第１の再構成信号を生成する第４手段と、第１の高周波信号と、第２のパイプライン処理信号とに基づいて、第２の再構成信号を生成する第５手段と、第２の低周波信号と第１の再構成信号のうちの一方を選択し、選択した信号を第３手段に転送する第６手段と、第１のパイプライン処理信号を第４手段に転送し、第２のパイプライン処理信号を第５手段に転送する第７手段と、を有し、第２の再構成信号を出力信号として出力する。

Description

信号処理装置、信号処理方法、および記憶媒体

　本発明は、信号処理装置、信号処理方法、および記憶媒体に関し、特に、画像信号に含まれるノイズを除去する信号処理装置、信号処理方法、および記憶媒体に関する。

　画像データや音声データを構成するデジタル信号に対する、圧縮処理やノイズ除去処理においては、構成データのそれぞれについて、空間或いは平面座標領域から周波数領域への変換処理が多く行われる。すなわち、デジタル信号に対するデータ処理においては、座標領域でのデータ分布における、視覚或いは聴覚で認識される領域と、殆ど認識されない領域とを、周波数領域への変換により分離することができるので、データ量の削減やノイズの除去などの処理が可能である。

　例えば、画像データのデータ量を圧縮する方式の一つであるＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）では、画像データは、離散コサイン変換により空間座標領域から周波数領域へ変換される。周波数領域でのデータは、量子化され、高周波成分の削除によりデータ量が削減された後に、エントロピー符号化によりデータ圧縮が行われる。ＪＰＥＧによる圧縮処理において、画像データは、離散コサイン変換され、視覚により殆ど認識されない高周波成分を除去して低周波成分が残されることにより、元の画像に対して視覚的に殆ど変化がみられないような、データ量の圧縮が行われる。

　さらに、ＪＰＥＧの後継の規格であるＪＰＥＧ２０００では、周波数領域への変換処理に離散ウェーブレット変換が採用される。離散ウェーブレット変換は、離散コサイン変換での基底である遍在した余弦波ではなく、空間的に局在する波束を基底として演算処理を行う。離散ウェーブレット変換における、画像データの画素値の低周波成分の画質は、離散コサイン変換における画質と同等である。さらに、離散ウェーブレット変換は、輪郭などの急激に画素値が変化する部分に対してもノイズを発生させない符号化を実行することができる。離散コサイン変換においては、輪郭部分での高周波成分の削除によるノイズが不可避であったが、離散ウェーブレット変換においては、ノイズの発生が抑制される。すなわち、符号化によって、低周波成分については比較的元の画像の色彩情報が維持される一方、画像中で画素値が急激に変化する部分であるエッジ情報も保持される。

　画像や音声などのデータに含まれるノイズのうち、高周波成分のノイズとして、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサなどの撮像素子に由来するカメラノイズがある。このノイズは、ＣＣＤを用いて被写体を撮影するときに、隣接する画素間を流れる電流の影響により、画素に生じる。このノイズは、数画素程度の大きさの粒状の特異な点として画像上に現れる。このようなノイズは、離散コサイン変換やウェーブレット変換によって、高周波成分として分離されることが多い。

　一方、低周波成分のノイズとしては、上記の粒状のノイズを含む画像信号の変換処理などにより生じるノイズがある。すなわち、デジタルカメラなどの撮像素子から得られるベイヤパターンの色信号は、画像データとしてＲＧＢパターンを生成するときに、画素間で色信号を平均化するなどの処理が必要である。このような画像処理によって、粒状のノイズは広範囲に拡大する。高周波成分のノイズが画像中に粒状の点として視覚されるのに対して、低周波成分のノイズは、画像中では被写体を覆うもやのように視覚される。

　このようなノイズは、被写体に存在しなかった色情報である。より忠実に被写体の画像を得るために、ノイズの除去が必要である。デジタルカメラやデジタルビデオカメラ等の、撮像素子によって得られる画像や映像には、上記のような高周波成分および低周波成分のノイズが混入するため、ノイズの除去が必須である。ノイズの除去は、情報処理装置側で行われることが一般的であるが、デジタルカメラ等の撮影機器側で行われる場合もある。

　撮影機器内でノイズ除去処理が行われる場合、消費電力や実装面積が制約される等の理由により、撮影機器には高性能なＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）が搭載できないことがある。このような場合は、ノイズ除去処理の専用回路、或いはＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）上でノイズ除去処理を実行することにより、高速処理、更にはリアルタイム処理が実現される。

　特許文献１の画像符号化装置は、画像データを画像ブロックに分割し、各画像ブロックに対して離散ウェーブレット変換を行う。画像符号化装置は、変換処理で得られた任意の周波数帯域の変換データから離散ウェーブレット変換後の高域側周波数帯域の変換データ値を予測する。さらに、画像符号化装置は、離散ウェーブレット変換処理で得られた高域側周波数帯域の変換データと上記の予測結果との差分をとる。画像符号化装置は、任意の周波数帯域の変換データを圧縮符号化するとともに、上記の減算結果である差分を圧縮符号化する。連続した同一の値の発生が抑制されることにより、ブロック状のノイズは、除去される。すなわち、特許文献１の画像符号化装置は、ブロックノイズの生成を抑制することはできる。

　しかしながら、特許文献１の画像符号化装置は、上述のように画像中に不規則に発生するカメラノイズや、フォーマット変換により生じる低周波ノイズを除去することはできない。

　画像データのノイズを除去する方法として、分離型変分モデルが提案されている（非特許文献１）。このモデルでは、入力画像は、幾何学的画像構造に対応した骨格成分Ｕと振動的テクスチャＶとに分解される。例えば、画像の拡大処理の場合、成分毎に拡大処理が実行される。それぞれに拡大された各成分が合成されることにより、入力画像を拡大した拡大画像が得られる。

　振動的テクスチャＶは雑音の影響を受けているが、骨格画像Ｕは雑音の影響を受けていない。従って、雑音成分除去の対象は、振動的テクスチャＶのみである。

　入力画像から、ノイズを含まない骨格成分Ｕを分離する方法として、全変分（Ｔｏｔａｌ　Ｖａｒｉａｔｉｏｎ、以下、Ｔ－Ｖと称する）ノルム正則化によるノイズ除去処理方法（以下では、Ｔ－Ｖ法と称する）が知られている。非特許文献２は、Ｔ－Ｖ法を開示する。

　Ｔ－Ｖ法において、画像信号は、骨格成分と残差成分とに分離される。骨格成分は、強エッジと平坦領域から構成される。一方、残差成分は、テクスチャとノイズから構成される。残差成分のノイズ成分を、既知の方法により減衰させることにより、画像信号に含まれるノイズが除去される。

　骨格成分は以下の式（１）で定義されるＴ－ＶノルムＪ（Ｕ）を最小化することにより得られる。
[数１]

　なお、上記の式の中で、Ｕ_Ｔ－Ｖは、骨格成分を示す。ｘは、骨格成分Ｕ_Ｔ－Ｖの水平方向の画素位置を示す。ｙは、骨格成分Ｕ_Ｔ－Ｖの垂直方向の画素位置を示す。

　この最小化問題は、非特許文献３に記載されるＣｈａｍｂｏｌｌｅの射影法を用いて解くことができる。

　ただし、Ｃｈａｍｂｏｌｌｅの射影法は計算量が多く、リアルタイム処理には向いていない。この射影法の代替として、Ｔ－Ｖノルムの劣勾配を用いた劣勾配法が用いられる。劣勾配法においては、ｋを反復回数、Ｕ_Ｔ－Ｖ ^（ｋ）をｋ回目の反復時の骨格成分、βを対象画像のノイズの標準偏差に基づいて設定される値とする。反復処理の初期値（ｋ＝０）として、骨格成分Ｕ_Ｔ－Ｖ ^（０）に入力画像を設定する。

　劣勾配法における反復処理の漸化式を以下の式で示す。すなわち、（ｋ＋１）回目の反復時の骨格成分Ｕ_Ｔ－Ｖ ^{（ｋ＋１）}は、以下のように表される。
[数２]

ただし、

および

　ここで、Ｆは原画像であり、Ｊ（Ｕ）は上述のＴ－Ｖノルムである。

　上記の反復処理において、まず、ｋ回目の反復の結果と（ｋ＋１）回目の反復の結果とが比較される。変動量が十分小さいとの判断により解が収束したと見なされた場合、反復処理は、停止する。一方、収束が遅い場合、反復処理は、反復回数ｋが設定した最大の反復回数に到達したときに、停止する。

　上記のＴ－Ｖノルム正則化によるノイズ除去方法に基づいて、画像信号のノイズを除去する装置は、上記（２）式の処理を実行するためのモジュール（Ｔ－Ｖモジュール）が実行された、専用回路またはＦＰＧＡを備える。このモジュールは、反復処理の１回分の計算を実行する。反復処理において、このモジュールの出力は、再度、Ｔ－Ｖモジュールに入力される。劣勾配法の反復回数だけ再入力を繰り返すことにより、（２）式の反復処理が、実現される。

　特にリアルタイム処理、例えば映像信号に対するストリーム処理、を行う場合、入力される映像信号と少なくとも同じデータレートで、ノイズ除去処理の結果を出力する必要がある。すなわち、処理回路内におけるデータの滞留は、許容されない。しかしながら、上記反復処理（Ｔ－Ｖモジュールの出力をＴ－Ｖモジュールに再入力させることにより、（２）式の反復処理を繰り返す処理）の場合、上記データ滞留が発生する可能性がある。このため、劣勾配法の反復処理に対しては、１段目のＴ－Ｖモジュールの出力は異なるＴ－Ｖモジュールに入力して、それぞれ別個にノイズ除去処理を実行することにより、処理速度の低下を回避する。すなわち、反復回数と同一数のＴ－Ｖモジュールを直列に接続する（パイプライン構造とする）ことにより、Ｔ－Ｖノルム正則化によるノイズ除去は、リアルタイムに実行される。

　特許文献２は、上記のＴ－Ｖ法を利用したノイズ除去処理システムを開示する。

　特許文献２の開示するノイズ除去処理システムにおいては、Ｔ－Ｖノルム最小化問題に対する劣勾配法等の反復処理の初期解Ｕ_Ｔ－Ｖ ^（０）として、原画像を用いる代わりに、異なる手段により生成された初期ノイズ除去画像が設定される。この初期解の設定により、反復処理の収束解が得られるまでの反復処理の回数が削減され、より高速なノイズ除去処理システムが提供される。

　初期ノイズ除去画像を生成する手段として、Ｂｉｌａｔｅｒａｌフィルタを用いる方法、及び、ウェーブレット縮退法を用いる方法がある。ウェーブレット縮退法を用いる方法においては、ウェーブレット変換を複数回用いてフィルタバンクを構成する多重解像度解析を用いることで、原画像中に含まれる低周波成分に含まれるノイズ除去処理性能が向上する。

　図１は、特許文献２の開示するＴ－Ｖ法のノイズ除去処理システム１００１Ａの一例を示す。ノイズ除去処理システム１００１Ａは、ウェーブレット変換を２回行ってノイズ除去処理を行う。最初のウェーブレット変換回路１１０１による多重解像度解析により入力画像信号は、高周波成分と低周波成分に分離される。高周波成分のＴ－Ｖ法によるノイズ除去処理を行う階層と、低周波成分のＴ－Ｖ法によるノイズ除去処理を行う階層のそれぞれにおいて、ウェーブレット縮退回路１１０２及び１１０６は、それぞれに、ノイズ除去処理を実行する。そして、処理された信号が初期解として用いられる。このように、各階層で初期ノイズ除去画像を求めて、各階層のＴ－Ｖ法の初期解とすることにより、各階層のＴ－Ｖ法ノイズ除去処理で解が収束するまでに必要な反復回数が削減される。また、ウェーブレット変換を複数回実行して、より低周波領域の成分を抽出することにより、高周波ノイズだけでなく、多重解像度解析で分離した低周波成分に含まれる低周波ノイズも除去される。ウェーブレット変換の回数を増加させ、より低周波の周波数成分を分離すると、低周波ノイズの除去性能は、向上する。上記のことから、特許文献２に記載されるノイズ除去処理システムにおいては、ウェーブレット変換の回数と、劣勾配法の反復回数制限に応じて、ノイズ除去性能が変更される。

　特許文献３は、パイプライン処理を開示する。特許文献３に記載される画像処理パイプライン回路は、複数の画像処理機能を行うモジュールを連結して、モジュール間の遅延を考慮して、入力されたデータに対して複数回の画像処理を行う。すなわち、画像処理モジュール間の相対的な遅延量を付加して同期信号を生成し、出力信号における遅延による影響を排除する。

特開平８－２４２４５０号公報 特願２０１２－１０２０１９号 特開２００６－３１８３１５号公報

石井勇樹、中川陽介、小松隆、齊藤隆弘、"乗算型骨格／テクスチャ画像分離の画像処理への応用"、電気情報通信学会論文誌Ｄ，Ｖｏｌ．Ｊ９０－Ｄ、Ｎｏ．７、ｐ．１６８２－１６８５、２００７年 Ｌ．Ｌｕｄｉｎ，Ｓ．Ｏｓｈｅｒ，Ｅ．Ｆａｔｅｍｉ，"Ｎｏｎｌｉｎｅａｒ　Ｔｏｔａｌ　Ｖａｒｉａｔｉｏｎ　ｂａｓｅｄ　ｎｏｉｓｅ　ｒｅｍｏｖａｌ　ａｌｇｏｒｉｔｈｍｓ"，Ｐｈｙｓｉｃａ　Ｄ，　ｖｏｌ．６０，１９９２，ｐｐ．２５９－２６８． Ａ．Ｃｈａｍｂｏｌｌｅ、Ｊ．Ｍａｔｈ．Ｉｍａｇｉｎｇ＆Ｖｉｓｉｏｎ、Ｖｏｌ．２０、ｐ．８９－９７、２００４

　このとき、Ｔ－Ｖノルム正則化によるノイズ除去処理の劣勾配法の反復回数は、Ｔ－Ｖモジュールの個数として、回路上に表現される。このとき、過大な反復回数が設定されると、Ｔ－Ｖモジュールの物理的な数が増加し、回路規模の増大につながる。そのため、回路規模の増加を抑制しつつ、所望のノイズ除去性能を達成するためには、劣勾配法の反復回数を調整しながら、最適なモジュール構成を求める必要がある。

　一方、画像信号に混入するノイズの量は、撮影環境の変化にも影響される。混入したノイズの量に比べて、ノイズ除去処理性能が強すぎる場合、画像の解像感を損なう場合がある。このため、ウェーブレット変換の実行回数は多ければよいということはなく、ノイズの混入量に応じて、ノイズ除去処理性能が可変であることが望ましい。

　撮影環境は、撮影場所及び撮影時刻に強く影響されるため、ノイズ除去処理を行う撮影機器は容易にノイズ除去性能を変更できることが望ましい。

　しかしながら、Ｔ－Ｖノルム正則化によるノイズ除去方法によるノイズ除去処理回路では、ウェーブレット変換と、それに続くＴ－Ｖモジュールのパイプラインが物理的に接続されているため、ノイズ除去性能は固定されている。このため、ノイズ除去性能の変更には回路構成そのものの変更を伴うため、ノイズ除去性能の変更には手間と時間がかかっていた。

　特許文献２に記載のノイズ除去処理システムを、リアルタイム処理を行う回路として実装する場合、ウェーブレット変換の回数はウェーブレット変換モジュールの個数として、Ｔ－Ｖ法における反復回数はＴ－Ｖモジュールの個数として回路上で表現される。所望の性能でのノイズ除去処理を実行するには、ウェーブレット変換の回数や、Ｔ－Ｖモジュールの反復回数を調整しながら、最も相応しいモジュール構成を探索する必要がある。すなわち、ウェーブレット変換モジュールの個数及びＴ－Ｖモジュールの個数を調整しながら、最も相応しいモジュール構成を探索する必要がある。

　図２は、特許文献２に記載のノイズ除去処理回路１００１Ｂの一例のブロック図を示す。ノイズ除去処理回路１００１Ｂにおいて、ウェーブレット変換の回数は２回、Ｔ－Ｖモジュールの反復回数はウェーブレット変換の１回目の階層で５回、２回目の階層で３回としている。

　図３は、特許文献２に記載のノイズ除去処理回路１００１Ｂを変形したノイズ除去処理回路１００１Ｃのブロック図を示す。ノイズ除去処理回路１００１Ｃは、ウェーブレット変換の２回目の階層で分離された低周波成分をさらにＴＶノイズ除去を行って初期解生成処理をして、逆ウェーブレット変換回路１１０７に入力する。同時に、ウェーブレット変換の１回目の階層では、Ｔ－Ｖモジュールの反復処理は、省略される。

　図２及び図３に示される各ノイズ除去処理回路１００１Ｂ、１００１Ｃにおいて、それぞれのモジュールは配線によって物理的に結線される。このため、一度回路が実装されると、その回路のノイズ除去処理性能は固定され、撮影環境によってノイズ除去処理性能を動的に変更したいという要求に対応できない。図２に示されるノイズ除去処理回路と図３に示されるノイズ除去処理回路の違いは、Ｔ－Ｖモジュールの反復回数が異なる点のみである。しかしながら、両回路は、別個のハードウェアとして構成されている。

　すなわち、上記のノイズ除去処理回路において、アルゴリズム上のパラメータを変更するには、ハードウェア構成の変更を伴う。このため、Ｔ－Ｖ法を用いたノイズ除去処理回路ではノイズ除去性能が柔軟に変更できないという問題があった。

　また、上記のノイズ除去処理回路は処理性能を変更すると回路規模が大きく変化する。Ｔ－Ｖ法によるノイズ除去処理性能向上の為には、解が収束するまで反復処理を実行する必要があり、計算量はその分増加する。特に劣勾配法の反復式（２）の計算量が大きく、回路化した際にはこの式（２）を計算するＴ－Ｖモジュールの回路規模は大きくなる。リアルタイム処理を実行する回路で、Ｔ－Ｖ法を実行する際には、複数のＴ－Ｖモジュールが必要となるため、さらに回路規模の増加が問題となる。

　すなわち、処理性能の向上は回路規模の増加に直結する。リアルタイム処理が必要な場合、所望の処理性能を達成するためにＴ－Ｖ法の反復回数を増加させると、回路規模が大きいＴ－Ｖモジュールを複数個用いる必要がある。このため、回路規模が増大しやすく、回路規模の制約に反するという問題があった。

　特許文献２に記載のノイズ除去処理回路は、ウェーブレット変換により、Ｔ－Ｖ法の反復回数を削減できる。しかしながら、ウェーブレット変換の回数を増加させることにより、それぞれの階層で新たにＴ－Ｖモジュールが必要となる。ノイズ除去処理性能を向上させようとすれば、ウェーブレット変換を行う回数が増加し、回路規模はその分増大する。すなわち、特許文献２に記載のノイズ除去処理回路は、回路規模の増大を抑制することはできない。

　また、特許文献３の画像処理パイプライン回路は、複数の画像処理モジュールを連結することにより、入力データを多段処理する。画像処理パイプライン回路は、画像処理の段数を動的に変更することはできず、また、処理の段数が画像処理モジュールの個数で決定されるため、回路規模の増大を抑制することはできない。

　本発明は上記課題に鑑みて発明されたものであって、装置規模を増大させることなく、ノイズ除去処理性能を動的に変更することができる信号処理装置、信号処理方法、および記憶媒体を提供することを目的とする。

　本発明の信号処理装置は、入力信号を、第１の低周波信号と第１の高周波信号とに分離する第１のウェーブレット変換処理手段と、前記第１の低周波信号を、第２の低周波信号と第２の高周波信号とに分離する第２のウェーブレット変換処理手段と、前記第２の低周波信号に対してパイプライン処理を行うことによって、第１のパイプライン処理信号を生成するとともに、第１の再構成信号に対して前記パイプライン処理を行うことによって、第２のパイプライン処理信号を生成する第１のパイプライン処理手段と、前記第２の高周波信号と前記第１のパイプライン処理信号とに基づいて、前記第１の再構成信号を生成する第２の逆ウェーブレット変換処理手段と、前記第１の高周波信号と、前記第２のパイプライン処理信号とに基づいて、第２の再構成信号を生成する第１の逆ウェーブレット変換処理手段と、前記第２の低周波信号と前記第１の再構成信号のうちの一方を選択し、選択した信号を前記第１のパイプライン処理手段に転送する入力切替手段と、前記第１のパイプライン処理信号を前記第２の逆ウェーブレット変換処理手段に転送し、前記第２のパイプライン処理信号を前記第１の逆ウェーブレット変換処理手段に転送する出力切替手段とを有し、前記第２の再構成信号を出力信号として出力する。

　本発明の信号処理方法は、入力信号を、第１の低周波信号と第１の高周波信号とに分離し、前記第１の低周波信号を、第２の低周波信号と第２の高周波信号とに分離し、前記第２の低周波信号に対してパイプライン処理を行うことによって、第１のパイプライン処理信号を生成し、前記第２の高周波信号と前記第１のパイプライン処理信号とに基づいて、第１の再構成信号を生成し、前記第１の再構成信号に対して前記パイプライン処理を行うことによって第２のパイプライン処理信号を生成し、前記第１の高周波信号と、前記第２のパイプライン処理信号とに基づいて、第２の再構成信号を生成し、前記第２の低周波信号と前記第１の再構成信号のうちの一方を選択し、選択した信号を前記パイプライン処理に入力し、前記第２の再構成信号を出力信号として出力することを特徴とする。

　本発明の記憶媒体は、入力信号を、第１の低周波信号と第１の高周波信号とに分離する第１のウェーブレット変換処理と、前記第１の低周波信号を、第２の低周波信号と第２の高周波信号とに分離する第２のウェーブレット変換処理と、前記第２の低周波信号に対してパイプライン処理を行うことによって、第１のパイプライン処理信号を生成するとともに、第１の再構成信号に対して前記パイプライン処理を行うことによって、第２のパイプライン処理信号を生成する第１のパイプライン処理と、前記第２の高周波信号と前記第１のパイプライン処理信号とに基づいて、前記第１の再構成信号を生成する第２の逆ウェーブレット変換処理と、前記第１の高周波信号と、前記第２のパイプライン処理信号とに基づいて、第２の再構成信号を生成する第１の逆ウェーブレット変換処理と、前記第２の低周波信号と前記第１の再構成信号のうちの一方を選択し、選択した信号を前記第１のパイプライン処理に入力する入力切替処理と、前記第１のパイプライン処理信号を前記第２の逆ウェーブレット変換処理に入力し、前記第２のパイプライン処理信号を前記第１の逆ウェーブレット変換処理に入力する出力切替処理と、前記第２の再構成信号を出力信号として出力する出力処理とを信号処理装置のコンピュータに実行させるための信号処理プログラムを記憶する。

　本発明によれば、装置規模を増大させることなく、ノイズ除去処理性能を動的に変更することができる。

関連技術におけるノイズ除去処理システムの構成を示す。 関連技術におけるノイズ除去処理回路の構成を示す。 関連技術におけるノイズ除去処理回路の構成を示す。 本発明の第１の実施形態に係るノイズ除去処理システムの構成の一例を示す。 本発明の第１の実施形態に係るパイプライン処理部の構成の一例を示す。 本発明の第１の実施形態に係るノイズ除去処理の手続きの一例を示すフローチャートである。 本発明の第１の実施形態に係るパイプライン処理の手続きの一例を示すフローチャートである。 本発明の第２の実施形態に係るノイズ除去処理システムの構成の一例を示す。 本発明の第２の実施形態に係るノイズ除去処理の手続きの一例を示すフローチャートである。 本発明の第３の実施形態に係るノイズ除去処理システムの構成の一例を示す。 本発明の第３の実施形態に係るパイプライン処理部の構成の一例を示す。 本発明の第３の実施形態に係る信号処理システムの構成の一例を示す。 本発明の第３の実施形態に係るノイズ除去処理システムを構成するノイズ除去処理回路の一部分の構成例を示す。 本発明の第３の実施形態に係るノイズ除去処理システムにおいて処理される信号のタイミングチャートの一例を示す。 本発明の第３の実施形態に係るノイズ除去処理システムにおいて処理される信号のタイミングチャートの、図１４Ａと別の一例を示す。 本発明の第３の実施形態に係るノイズ除去処理の手続きの一例を示すフローチャートである。 本発明の第３の実施形態に係るＴＶパイプライン処理回路における処理の手続きの一例を示すフローチャートである。 本発明の第４の実施形態に係るノイズ除去処理システムの構成の一例を示す。 本発明の第４の実施形態に係るノイズ除去処理の手続きの一例を示すフローチャートである。

［第１の実施形態］
［構成］
　図４は、本発明の第１の実施形態に係る、ノイズ除去処理システム１Ａの構成の一例を示す。

　ノイズ除去処理システム１Ａは、入力データ信号Ａを入力し、出力データ信号Ｌを出力するノイズ除去処理部１１と、入力制御信号Ｋが入力されてノイズ除去処理部１１に制御信号を送信する制御部１２を含む。

　制御部１２は、フロー制御処理部１２１を含む。

　ノイズ除去処理部１１は、第１のウェーブレット変換処理部１０１と、第２のウェーブレット変換処理部１０３と、第１の逆ウェーブレット変換処理部１０２と、第２の逆ウェーブレット変換処理部１０４と、を含む。

　第１のウェーブレット変換処理部１０１および第２のウェーブレット変換処理部１０３は、入力されたデータ信号に対して、ウェーブレット変換処理を実行する。第１の逆ウェーブレット変換処理部１０２および第２の逆ウェーブレット変換処理部１０４は、入力されたデータ信号に対して、逆ウェーブレット変換処理を実行する。

　ノイズ除去処理部１１は、さらに、パイプライン処理部１０６と、入力スイッチ１０５と、出力スイッチ１０７と、を含む。パイプライン処理部１０６は、フロー制御処理部１２１からの制御信号を受けて、所定の信号処理（後述）を実行する。

　外部からノイズ除去処理システム１Ａに入力された入力データ信号Ａは、ノイズ除去処理部１１に入力される。入力データ信号Ａに対して、第１のウェーブレット変換処理部１０１はウェーブレット変換処理を実施し、第１の低周波成分Ｂと、第１の低周波成分Ｂより高い周波数成分を含む第１の高周波成分Ｃとに分離して出力する。第１の低周波成分Ｂに対し、第２のウェーブレット変換処理部１０３は、再度ウェーブレット変換処理を実施し、第２の低周波成分Ｄと、第２の低周波成分Ｄより高い周波数成分を含む第２の高周波成分Ｅとに分離して出力する。

　第１の逆ウェーブレット変換処理部１０２は、第１のウェーブレット変換処理部１０１から出力される第１の高周波成分Ｃ、及びパイプライン処理部１０６から出力されるデータをもとに出力スイッチ１０７で生成された第２のパイプライン処理信号Ｇに対して逆ウェーブレット変換処理を実施し、再構成したデータを出力する。また、第２の逆ウェーブレット変換処理部１０４は、第２のウェーブレット変換処理部１０３から出力される第２の高周波成分Ｅ、及びパイプライン処理部１０６からの出力データをもとに出力スイッチ１０７で生成された第１のパイプライン処理信号Ｆに対して逆ウェーブレット変換処理を実施し、再構成データＱを出力する。

　入力スイッチ１０５は、第２の逆ウェーブレット変換処理部１０４から出力される再構成画像データＱと、第２のウェーブレット変換処理部１０３から出力される第２の低周波成分Ｄとを入力する。入力スイッチ１０５は、フロー制御処理部１２１から送信される入力スイッチ制御信号Ｈに基づいて、再構成画像データＱおよび第２の低周波成分Ｄのうちの一方を選択する。選択された入力信号は、パイプライン処理部１０６に出力される。

　パイプライン処理部１０６は、入力スイッチ１０５によって選択された信号に対して、フロー制御処理部１２１から送信されるパイプライン制御信号Ｉにより制御されて、パイプライン処理を実施する。パイプライン処理部１０６からはパイプライン処理を受けた複数の出力信号が出力される。出力スイッチ１０７は、フロー制御処理部１２１から送信される出力スイッチ制御信号Ｊにより制御されて、パイプライン処理部１０６からの複数の出力信号のうち、いずれか１つを選択して、第１の逆ウェーブレット変換処理部１０２または第２の逆ウェーブレット変換処理部１０４に転送する。

　ノイズ除去処理システム１Ａに入力された入力制御信号Ｋは、制御部１２のフロー制御処理部１２１に入力される。フロー制御処理部１２１は入力制御信号Ｋを受けて、入力スイッチ１０５、パイプライン処理部１０６、および出力スイッチ１０７のそれぞれに制御信号（入力スイッチ制御信号Ｈ、パイプライン制御信号Ｉ、出力スイッチ制御信号Ｊ）を送信して、動作を制御する。

　本実施形態に係るノイズ除去処理システム１Ａは、第１の逆ウェーブレット変換処理部１０２において再構成されたデータを、出力データ信号Ｌとして出力する。

　ノイズ除去処理部１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やマイクロプロセッサ等の演算装置、または半導体集積回路により実現される。また、ノイズ除去処理部１１は、コンピュータ装置（パーソナルコンピュータ、シンクライアントコンピュータ、ワークステーション、メインフレーム、スーパーコンピュータ等）により実現される。ノイズ除去処理部１１の構成が上述した各構成例によって限定されないことは説明するまでもない。

　制御部１２は、ノイズ除去処理部１１と同様に、演算装置、半導体集積回路、あるいは、上記各種コンピュータ装置により実現される。当然のことながら、制御部１２の構成は、上述した各構成例によって限定されない。

　また、ノイズ除去処理部１１および制御部１２は、１つのハードウェア（演算装置、半導体集積回路、コンピュータ装置等）上に構成することもでき、あるいは、別々のハードウェア上に構成することもできる。

　入力スイッチ１０５は、複数の入力系統と１つの出力系統を有し、フロー制御処理部１２１からの入力スイッチ制御信号Ｈに基づいて、入力系統を切り替える。入力スイッチ１０５は、例えば、マルチプレクサ、クロスバースイッチ等の選択装置により実現される。また、入力スイッチ１０５は、ＣＡＭ（Ｃｏｎｔｅｎｔｓ　Ａｄｄｒｅｓｓａｂｌｅ　Ｍｅｍｏｒｙ）やＴＣＡＭ（Ｔｅｒｎａｒｙ　Ｃｏｎｔｅｎｔｓ　Ａｄｄｒｅｓｓａｂｌｅ　Ｍｅｍｏｒｙ）などのＬＵＴ（Ｌｏｏｋ　Ｕｐ　Ｔａｂｌｅ）を用いた転送装置により実現される。

　出力スイッチ１０７は、複数の入力系統と複数の出力系統を有し、フロー制御処理部１２１からの出力スイッチ制御信号Ｊに基づいて、入力系統および出力系統のそれぞれを切り替える。出力スイッチ１０７は、マルチプレクサやデマルチプレクサによる組み合わせ回路や、クロスバースイッチ等の選択装置により実現される。また、出力スイッチ１０７は、ＣＡＭやＴＣＡＭなどのＬＵＴを用いた転送装置により実現される。

　入力スイッチ１０５及び出力スイッチ１０７のそれぞれは、複数の入力信号が同時に入力されるのを避けるための、切り替えタイミング調整機構を有してもよい。

　具体的には、例えば、入力スイッチ１０５或いは出力スイッチ１０７の前段に、これらへのデータ入力のタイミングをずらすためのバッファを設けてもよい。

　また、入力スイッチ１０５及び出力スイッチ１０７のそれぞれは、複数の入力信号が同時に入力した場合にデータの損失を防ぐ機構を有しても良い。

　具体的には、データをバッファに一時的に保持して、データの欠損が生じたときには、欠損したデータを再送するように制御してもよい。これらのタイミングの制御は、フロー制御処理部１２１により行われてもよいし、入力スイッチ１０５或いは出力スイッチ１０７において、内部処理として自律的に制御されてもよい。

　入力スイッチ１０５及び出力スイッチ１０７の構成は、上述した構成例によって限定されない。

　図５は、本実施形態に係るパイプライン処理部１０６の構成の一例を示す。

　パイプライン処理部１０６は、複数の出力切替処理部１１１－１乃至１１１－Ｎ、及び複数の画像処理部１１２－１乃至１１２－Ｎを含む。

　複数の画像処理部１１２－１乃至１１２－Ｎのそれぞれは、全変分（ＴＶ）ノルム正則化によるノイズ除去処理に適用された劣勾配法の反復処理における１回または複数回のデータ処理を行う。データ処理の詳細は（２）式により示される。すなわち、データが通過する画像処理部１１２の個数は、（２）式で示される漸化式の反復回数に対応する。

　入力スイッチ１０５から出力されたデータは、パイプライン処理部１０６の出力切替処理部１段目１１１－１に入力される。

　出力切替処理部１段目１１１－１は２つの出力系統を有し、そのうちの１つの出力系統からのデータは画像処理部１段目１１２－１へ入力され、もう１つの出力系統からのデータはパイプライン処理部１０６の外部へ出力され、出力スイッチ１０７に入力される。

　画像処理部１段目１１２－１で処理されたデータは、出力切替処理部２段目１１１－２に入力される。出力切替処理部２段目１１２－２は出力切替処理部１段目１１２－１と同様に２つの出力系統を有し、１つの出力系統からのデータは画像処理部２段目１１２－２へ入力され、もう１つの出力系統からのデータはパイプライン処理部１０６の外部へ出力され、出力スイッチ１０７に入力される。

　以下同様に、パイプライン処理部１０６において、出力切替処理部１１１と画像処理部１１２とは、交互に且つ直列に接続される。パイプライン処理部１０６がそれぞれＮ個の出力切替処理部１１１と画像処理部１１２とを含む場合（Ｎは２以上の整数）、画像処理部Ｎ段目からの出力はパイプライン処理部１０６の外部へ出力され、出力スイッチ１０７に入力される。パイプライン処理部１０６に含まれるＮ個の出力切替処理部１１１のそれぞれには、フロー制御処理部１２１から、パイプライン制御信号Ｉが入力され、このパイプライン制御信号Ｉに従って出力先の切替処理を実施する。

　本実施形態においては、画像処理部１１２は全て、同一の効果を持つ処理を実施する。例えば、ノイズ除去処理、シャープニング、細線化、色彩強調等の画像補正を含む処理がパイプライン処理部１０６によって繰り返されることにより、強度の異なる処理効果が、得られる。

　次に、ノイズ除去処理部１１におけるデータ処理の流れについて説明する。

　ノイズ除去処理システム１Ａに入力された入力データ信号Ａは、ノイズ除去処理部１１の第１のウェーブレット変換処理部１０１に入力される。入力データ信号Ａは、第１のウェーブレット変換処理部１０１においてウェーブレット変換処理され、第１の低周波成分Ｂと第１の高周波成分Ｃに分離される。第１の低周波成分Ｂは、第２のウェーブレット変換処理部１０３に入力され、第１の高周波成分Ｃは、第１の逆ウェーブレット変換処理部に１０２に入力される。

　第２のウェーブレット変換処理部１０３に入力された第１の低周波成分Ｂは、再度ウェーブレット変換処理され、第２の低周波成分Ｄと第２の高周波成分Ｅに分離される。第２の高周波成分Ｅは第２の逆ウェーブレット変換処理部１０４に入力され、第２の低周波成分Ｄは入力スイッチ１０５に入力される。

　一方、ノイズ除去処理システム１Ａに入力された入力制御信号Ｋは、制御部１２のフロー制御処理部１２１に入力される。フロー制御処理部１２１は、入力制御信号Ｋに従って、動的に、入力スイッチ１０５、パイプライン処理部１０６、及び出力スイッチ１０７のそれぞれを制御する。

　入力スイッチ１０５は、フロー制御処理部１２１から送信された入力スイッチ制御信号Ｈに従って、入力系統を切り替える。このとき、入力スイッチ１０５が入力系統として第２の低周波成分Ｄを選択すると、第２の低周波成分Ｄは入力スイッチ１０５を介してパイプライン処理部１０６に入力される。

　パイプライン処理部１０６に含まれる、複数の出力切替処理部１１１のそれぞれは、フロー制御処理部１２１から送信されるパイプライン制御信号Ｉに従って、出力系統を切り替える。

　パイプライン処理部１０６に入力された第２の低周波成分Ｄは、パイプライン処理部１０６において画像処理され、出力切替処理部１１１の１段目からＮ段目のいずれか、或いは最終段であるＮ段目の画像処理部１１２－Ｎから出力される。

　出力スイッチ１０７は、フロー制御処理部１２１からの出力スイッチ制御信号Ｊにより制御される。すなわち、複数の入力系統のうち１つが選択され、複数の出力系統のうち１つが選択される。

　第２のウェーブレット変換処理部１０３から入力スイッチ１０５を経てパイプライン処理部１０６に入力された第２の低周波成分Ｄは、そのまま画像処理されずに出力されるか、１個以上の画像処理部１１２により画像処理されて、第１のパイプライン処理信号Ｆとして出力スイッチ１０７に入力される。このとき、出力スイッチ１０７は、出力先に第２の逆ウェーブレット変換処理部１０４を選択し、第１のパイプライン処理信号Ｆは第２の逆ウェーブレット変換処理部１０４に入力される。

　次に、第２の逆ウェーブレット変換処理部１０４では、第１のパイプライン処理信号Ｆと第２の高周波成分Ｅが逆ウェーブレット変換処理され、処理された信号（再構成画像データＱ）が入力スイッチ１０５に入力される。このとき、入力スイッチ１０５は、入力スイッチ制御信号Ｈに従って、入力系統として第２の逆ウェーブレット変換処理部１０４を選択する。これにより、第２の逆ウェーブレット変換処理部１０４の出力（再構成画像データＱ）は、パイプライン処理部１０６に入力スイッチ１０５を経て入力される。

　パイプライン処理部１０６では、第２の逆ウェーブレット変換処理部１０４の出力が画像処理される。処理された信号は、フロー制御処理部１２１からのパイプライン制御信号Ｉに従って出力切替処理部１１１が切り替えられて、第２のパイプライン処理信号Ｇとして、出力スイッチ１０７に出力される。出力スイッチ１０７では、フロー制御処理部１２１からの出力スイッチ制御信号Ｊに従って、出力先として第１の逆ウェーブレット変換処理部１０２が選択され、第２のパイプライン処理信号Ｇが入力される。第１の逆ウェーブレット変換処理部１０２では、第１の高周波成分Ｃと第２のパイプライン処理信号Ｇが逆ウェーブレット変換され、出力データ信号Ｌとして、ノイズ除去処理システム１Ａから出力される。
［動作］
　次に、図４乃至図７を参照して、本実施形態に係るノイズ除去処理システム１Ａの動作の一例を詳細に説明する。

　図６は、本実施形態に係るノイズ除去処理システム１Ａにおけるノイズ除去処理の方法の手続きの一例を示すフローチャートである。

　ノイズ除去処理システム１Ａに入力データ信号Ａが入力されると（図６ステップＳ６０１）、入力データ信号Ａに対して第１のウェーブレット変換処理が行われる（ステップＳ６０２）。

　第１のウェーブレット変換処理により分離して出力された第１の低周波成分Ｂに対して、第２のウェーブレット変換処理が行われる（ステップＳ６０３）。第２のウェーブレット変換処理により分離して出力された第２の低周波成分Ｄは、入力スイッチ１０５に入力される。第２の低周波成分Ｄは、フロー制御処理部１２１からの入力スイッチ制御信号Ｈに従って入力スイッチ１０５により入力として選択されて（ステップＳ６０４）、パイプライン処理部１０６に転送され、パイプライン処理される（ステップＳ６０５）。

　パイプライン処理部１０６は、フロー制御処理部１２１からのパイプライン制御信号Ｉに従って、パイプライン処理されたデータの出力系統が制御されて出力スイッチ１０７に出力される。出力スイッチ１０７は、フロー制御処理部１２１からの出力スイッチ制御信号Ｊに従って、出力系統を選択し、第１のパイプライン処理信号Ｆとして、出力先を第２の逆ウェーブレット変換処理部１０４に選択する（ステップＳ６０６）。

　第２の逆ウェーブレット変換処理部１０４では、ステップＳ６０３において第２のウェーブレット変換により分離された第２の高周波成分Ｅと、出力スイッチ１０７から出力された第１のパイプライン処理信号Ｆに対して、第２の逆ウェーブレット変換処理が行われて、再構成画像データＱが構成される（ステップＳ６０７）。再構成画像データＱは、入力スイッチ１０５に入力され、フロー制御処理部１２１からの入力スイッチ制御信号Ｈに従って、入力系統として選択されると（ステップＳ６０８）、再構成画像データＱはパイプライン処理部１０６に入力される。

　パイプライン処理部１０６において、再構成画像データＱはパイプライン処理され（ステップＳ６０９）、パイプライン制御信号Ｉに従って、出力スイッチ１０７に出力される。出力スイッチ１０７は、出力スイッチ制御信号Ｊに従って、パイプライン処理されたデータを第２のパイプライン処理信号Ｇとして、第１の逆ウェーブレット変換処理部１０２に出力する（ステップＳ６１０）。

　第１の逆ウェーブレット変換処理部１０２において、ステップＳ６０２において第１のウェーブレット変換により分離された第１の高周波成分Ｃと、出力スイッチ１０７から出力された第２のパイプライン処理信号Ｇに対して、第１の逆ウェーブレット変換処理が行われて、出力データ信号Ｌが構成される（ステップＳ６１１）。出力データ信号Ｌは、ノイズ除去処理システム１から出力データとして出力され（ステップＳ６１２）、処理を終える。

　図７は、本実施形態に係るパイプライン処理部１０６における、パイプライン処理の手続きの一例を示すフローチャートである。

　パイプライン処理部１０６は、Ｎ個の画像処理部１１２とＮ個の出力切替処理部１１１を有する。パイプライン処理部１０６に入力された信号が最初に入力される出力切替処理部を１段目の出力切替処理部１１１－１として、この段階での処理をｉ＝１とする。以下、ｉ段目の処理が出力切替処理部１１１－ｉで行われるものとする。ただし、ｉは１からＮまでの整数である。

　パイプライン処理部１０６に入力されたデータは、１段目の出力切替処理部１１１－１に入力される（図７ステップＳ７０１）。

　フロー制御処理部１２１からのパイプライン制御信号Ｉに従って、ｉ段目の出力切替処理部１１１－ｉでは、ｉ段目の画像処理部１１２－ｉでｉ回目の画像処理を行うかどうかが選択される（ステップＳ７０２）。

　ステップＳ７０２で、ｉ回目の画像処理を行うと選択した場合（Ｓ７０２Ｙｅｓ）は、出力切替処理部１１１－ｉの出力先としてｉ段目の画像処理部１１２－ｉが選択される（ステップＳ７０３）。ｉ段目の画像処理部１１２－ｉでは、入力されたデータに画像処理が行われ（ステップＳ７０４）、処理されたデータが出力される。

　このとき、ｉの値がＮに等しいかどうかが判定される（ステップＳ７０５）。ｉがＮに等しいときは（Ｓ７０５Ｙｅｓ）、画像処理はパイプライン処理部１０６の最終段１１１－Ｎでの処理であるから、出力スイッチ制御信号Ｊに従って、出力スイッチ１０７の入力系統がＮ段目の画像処理部１１２－Ｎに選択され、処理された信号が出力スイッチ１０７に入力される（ステップＳ７０７）。

　ステップＳ７０５において、ｉがＮでない場合、すなわち、画像処理が最終段Ｎでない場合は、次段の出力切替処理部１１１－（ｉ＋１）に処理されたデータが出力される。すなわち、ｉの値を１つ増やして（ステップＳ７０６）、ステップＳ７０２に戻る。

　一方、ステップＳ７０２において、ｉ番目の画像処理を実行しないと選択された場合（Ｓ７０２Ｎｏ）、パイプライン制御信号Ｉに従って、ｉ段目の出力切替処理部１１１－ｉの出力先に、出力スイッチ１０７が選択される（ステップＳ７０８）。このとき、出力スイッチ１０７は、出力スイッチ制御信号Ｊに従って、ｉ段目の出力切替処理部１１１－ｉに入力系統を選択し（ステップＳ７０９）、データを出力して処理を終える。
［効果］
　本実施形態に係るノイズ除去処理システム１Ａにおいては、フロー制御処理部１２１から、入力スイッチ１０５、パイプライン処理部１０６及び出力スイッチ１０７へ、入力スイッチ制御信号Ｈ、パイプライン制御信号Ｉ及び出力スイッチ制御信号Ｊがそれぞれ入力される。

　入力スイッチ１０５は、入力スイッチ制御信号Ｈに基づいて、入力系統を制御する。パイプライン処理部１０６は、パイプライン制御信号Ｉに基づいて、データに対する画像処理の回数（すなわち、データが通過する画像処理部１１２の個数）を制御する。出力スイッチ１０７は、出力スイッチ制御信号Ｊに基づいて、入力系統及び出力系統を制御する。

　以上説明した第１の実施形態によれば、第２のウェーブレット変換処理部１０３から出力される第２の低周波成分Ｄ、及び第２のウェーブレット逆変換処理部１０４から出力される再構成画像データＱに対して、画像処理の回数をそれぞれ動的に変更することができる。これにより、データに対するノイズ除去処理性能は動的に変更することができる。

　また、本実施形態に係るノイズ除去処理システム１Ａにおいて、第２のウェーブレット変換処理部１０３から出力される第２の低周波成分Ｄを処理する期間と、第２のウェーブレット逆変換処理部１０４から出力される出力信号を処理する期間を、フロー制御処理部によって、１つのパイプライン処理部１０６により、２種類の信号のそれぞれを、異なる画像処理回数でパイプライン処理することが可能である。このため、ノイズ除去処理システムを回路で実現する場合に、回路規模の増大が抑制される。

　なお、本実施形態に係るノイズ除去処理システム１Ａにおいては、入力データに対して２回のウェーブレット変換処理を行うが、これに限定されず。ウェーブレット変換処理は３回以上でもよい。例えば、ウェーブレット変換処理の回数が３の場合、入力スイッチには、３系統の入力、すなわち、第３の低周波成分と、第３の逆ウェーブレット変換処理部からの出力信号と、第２の逆ウェーブレット変換処理部からの出力信号、が入力系統として入力される。この３系統の入力に対して、１つのパイプライン処理部でパイプライン処理が行われる。以下、ウェーブレット変換処理の回数を増加させても、同様である。
［第２の実施形態］
［構成］
　図８は、本発明の第２の実施形態に係るノイズ除去処理システム１Ｂの構成の一例を示す。

　本実施形態に係るノイズ除去処理システム１Ｂにおいては、第１の実施形態に係るノイズ除去処理システム１Ａのノイズ除去処理部１１に、ウェーブレット変換切替処理部１０８が追加される。これに対応して、入力スイッチ１１０は３つの入力系統を備える。この他の構成は第１の実施形態におけるノイズ除去処理部と同一であるので、構成要素のそれぞれに同じ符号を付して説明を省略する。

　本実施形態に係るノイズ除去処理システム１Ｂにおいて、制御部１２に含まれるフロー制御処理部１２１は、ノイズ除去処理システム１Ｂに入力された入力制御信号Ｋに基づいて、入力スイッチ制御信号Ｈと、パイプライン制御信号Ｉと、出力スイッチ制御信号Ｊと、ウェーブレット制御信号Ｒとを生成する。フロー制御処理部１２１は、入力スイッチ制御信号Ｈを入力スイッチ１１０へ出力し、パイプライン制御信号Ｉをパイプライン処理部１０６へ出力し、出力スイッチ制御信号Ｊを出力スイッチ１０７へ出力し、ウェーブレット制御信号Ｒをウェーブレット変換切替処理部１０８へ出力する。

　第１のウェーブレット変換処理部１０１から出力された第１の低周波成分Ｂは、ウェーブレット変換切替処理部１０８に入力される。ウェーブレット変換切替処理部１０８は、１系統の入力に対して、２系統の出力として、第２のウェーブレット変換処理部１０３と、入力スイッチ１１０を有する。ウェーブレット変換切替処理部１０８は、フロー制御処理部１２１からのウェーブレット制御信号Ｒにより制御されて、出力系統を切り替える。

　入力スイッチ１１０は、フロー制御処理部１２１からの入力スイッチ制御信号Ｈにより制御されて、第２のウェーブレット変換処理部１０３から出力された第２の低周波成分Ｄと、第２の逆ウェーブレット変換処理部１０４から出力された出力信号と、ウェーブレット変換切替処理部１０８から出力された第１の低周波成分Ｂのうち、いずれか１つを選択してパイプライン処理部１０６に入力する。

　第１のウェーブレット変換処理部１０１から出力された第１の低周波成分Ｂは、ウェーブレット変換切替処理部１０８に入力され、第２のウェーブレット変換処理部１０３及び入力スイッチ１１０にいずれかに出力される。

　このうち、第１の低周波成分Ｂが第２のウェーブレット変換処理部１０３に入力される場合の処理は、第１の実施形態における処理と同一であるので、説明を省略する。

　第１の低周波成分Ｂが入力スイッチ１１０に入力される場合、入力スイッチ１１０は、フロー制御処理部１２１からの入力スイッチ制御信号Ｈに従って、第１の低周波成分Ｂを入力系統として選択し、パイプライン処理部１０６に入力する。

　第１の低周波成分Ｂは、パイプライン処理部１０６において、０乃至Ｎ個（Ｎは２以上の整数）の画像処理部１１２を経て、第２の第２のパイプライン処理信号Ｇとして、出力スイッチ１０７に入力される。このとき、出力スイッチ１０７は、出力スイッチ制御信号Ｊに従って、出力先として、第１の逆ウェーブレット変換処理部１０２を選択する。第２のパイプライン処理信号Ｇは、第１の逆ウェーブレット変換処理部１０２に入力される。

　第１の逆ウェーブレット変換処理部１０２では、第１の高周波成分Ｃと、第２のパイプライン処理信号Ｇに対して、逆ウェーブレット変換処理が行われ、処理されたデータは出力データ信号Ｌとして、ノイズ除去処理システム１Ｂから出力される。
［動作］
　次に、第２の実施形態に係るノイズ除去処理方法について説明する。

　図９のフローチャートを参照して、本実施形態に係るノイズ除去処理システム１Ｂにおける処理について詳細に説明する。

　図９は、本実施形態にかかるノイズ除去処理システム１Ｂの動作の一例を示すフローチャートである。

　まず、ノイズ除去処理システム１Ｂにデータが入力され（図９ステップＳ９０１）、入力されたデータに対して第１のウェーブレット変換処理が行われる（ステップＳ９０２）。

　次に、第１のウェーブレット変換処理により分離された第１の低周波成分Ｂに対して、引き続き第２のウェーブレット変換処理を実施するか否かが選択される（ステップＳ９０３）。

　ステップＳ９０３において、第２のウェーブレット変換処理を実施する、と選択した場合、ウェーブレット変換切替処理部１０８に出力先として、第２のウェーブレット変換処理部１０３が選択される（ステップＳ９０４）。これ以降の処理は、第１の実施形態における動作と同じである。すなわち、図９におけるステップＳ９０５乃至Ｓ９１４は、第１の実施形態における図６におけるステップＳ６０３乃至Ｓ６１２と同一であり、ステップＳ９０７及びＳ９１１におけるパイプライン処理の動作は、第１の実施形態におけるパイプラインの処理と同じであるので、説明を省略する。

　ステップＳ９０３において、第２のウェーブレット変換処理を実施しない、と選択した場合、ウェーブレット変換切替処理部１０８は、出力先として入力スイッチ１１０を選択する（ステップＳ９１５）。これと同時に、入力スイッチは入力先として第１の低周波成分Ｂを選択する（ステップＳ９１６）。

　入力スイッチは、第１の低周波成分Ｂをパイプライン処理部１０６に転送し、第１の低周波成分Ｂに対してパイプライン処理が実施される（ステップＳ９１１）。パイプライン処理された信号は、出力スイッチ１０７に送られる。出力スイッチ１０７は、出力先として、第１の逆ウェーブレット変換処理部１０２を選択し、パイプライン処理された信号を第１の逆ウェーブレット変換処理部１０２に転送する。第１の逆ウェーブレット変換処理部１０２は、第１の高周波成分Ｃと、パイプライン処理された信号に対して、第１の逆ウェーブレット変換を実施して、処理されたデータを出力データ信号Ｌとして、ノイズ除去処理システム１Ｂから出力する。
［効果］
　次に、本第２の実施形態の効果について説明する。

　第２の実施形態に係るノイズ除去処理システム１Ｂは、第１の実施形態における構成に、ウェーブレット変換切替処理部が追加される。すなわち、第１のウェーブレット変換処理部１０１において出力される第１の低周波成分Ｂが、第２のウェーブレット変換処理部１０３に入力される前に、出力先として、入力スイッチ１１０も選択可能である。すなわち、出力先として、第２のウェーブレット変換処理部１０３が選択された場合は、第１の実施形態と同様の処理が実施され、同様のノイズ除去処理性能が得られる。

　一方、ウェーブレット変換切替処理部１０８において、出力先に入力スイッチが選択された場合は、第２のウェーブレット変換処理部１０３における処理を経ずに、第１の低周波成分Ｂは、パイプライン処理部１０６においてパイプライン処理が実施される。パイプライン処理された信号は、第１の逆ウェーブレット変換処理部１０２に転送されて、出力データ信号Ｌが生成される。このとき出力されるデータ信号は、パイプライン処理が１度のみ実行された入力信号である。従って、本実施形態に係るノイズ除去システム１Ｂは、第１の実施形態に係るノイズ除去処理システム１Ａと比較して、ノイズ除去処理性能を抑制することができる。

　以上のように、本実施形態に係るノイズ除去処理システム１Ｂにおいては、ウェーブレット変換切替処理部１０８でのデータ転送先の切り替えを、フロー制御処理部１２１により動的に制御することが可能である。これにより、第１の実施形態で説明したパイプライン処理部の動的制御に加えて、ウェーブレット変換の段数を動的に制御することができるため、ノイズ除去処理性能をさらに柔軟に変更することが可能である。

　なお、本実施形態では、ウェーブレット変換処理の段数が２段階のケースが例示されているが、上記段数は２段階に限定されない。ウェーブレット変換処理の段数は、３段階以上であってもよい。たとえば、ウェーブレット変換処理を３段階とした場合、第１のウェーブレット変換処理部と第２のウェーブレット変換処理部との間に、第１のウェーブレット変換切替処理部を接続し、第２のウェーブレット変換処理部と第３のウェーブレット変換処理部との間に、第２のウェーブレット変換切替処理部を接続して、それぞれをフロー制御処理部により制御すればよい。

　第１のウェーブレット変換切替処理部の出力先が入力スイッチである場合、第２のウェーブレット変換処理および第３のウェーブレット変換処理は、実施されない。第２のウェーブレット変換切替処理部の出力先が入力スイッチである場合、第３のウェーブレット変換処理のみが実施されない。第２のウェーブレット変換切替処理部の出力先が第３のウェーブレット変換処理部である場合、入力信号に対して、３段階のウェーブレット変換を含むノイズ除去処理が実施される。

　以下同様にして、ウェーブレット変換処理の段数を任意に設定することが可能である。
［第３の実施形態］
　図１０は、本発明の第１の実施形態に対応する、第３の実施形態に係るノイズ除去処理システム１Ｃの構成の一例を示す。ノイズ除去処理システム１Ｃは、ノイズ除去処理回路２１と制御部２２を有する。

　ノイズ除去処理回路２１は、図４に示されるノイズ除去処理部１１を専用の回路として実現する。

　ノイズ除去処理回路２１は、第１のウェーブレット変換処理回路２０１と、第２のウェーブレット変換処理回路２０３と、第１の逆ウェーブレット変換処理回路２０２と、第２の逆ウェーブレット変換処理回路２０４を含む。ノイズ除去処理回路２１はさらに、２系統の入力に対して１系統の出力を行うマルチプレクサ及びバッファを有する２ｔｏ１入力切替スイッチ２０５と、第１のＴＶパイプライン処理回路２０６と、出力クロスバースイッチ２０７を含む。図１０において、ノイズ除去処理回路２１はさらに、第２のＴＶパイプライン処理回路２０９を含む。

　本実施形態において、第１のウェーブレット変換処理回路２０１は図４における第１のウェーブレット変換処理部１０１に対応する。第２のウェーブレット変換処理回路２０２は第２のウェーブレット変換処理部１０３に対応する。第１の逆ウェーブレット変換処理回路２０２は図４における第１の逆ウェーブレット変換処理部１０２に対応する。第２の逆ウェーブレット変換処理回路２０４は第２のウェーブレット変換処理部１０４に対応する。

　また、２ｔｏ１入力切替スイッチ２０５は、図４における入力スイッチ１０５に、第１のＴＶパイプライン処理回路２０６はパイプライン処理部１０６に、出力クロスバースイッチ２０７は出力スイッチ１０７に、それぞれ対応する。第２のＴＶパイプライン処理回路２０９は第１のＴＶパイプライン処理回路２０６と同様の構成を有する。

　第２のＴＶパイプライン処理回路２０９は、第１の逆ウェーブレット変換処理回路２０２で再構成されたデータにパイプライン処理を実施し、ノイズ除去処理システム１Ｃの出力データ信号Ｌとして出力する。

　図１１は、第１のＴＶパイプライン処理回路２０６或いは第２のＴＶパイプライン処理回路２０９の構成の一例を示す。出力切替処理回路１段目２１１－１は、図５における出力切替処理部１１１－１に対応する。ＴＶ処理回路１段目２１２－１は、図５における画像処理部１１２－１に対応する。この段以降の出力切替処理回路およびＴＶ処理回路も同様に、図５に示される構成要素に対応する。

　なお、図１１においては、それぞれ３つの出力切替処理回路２１１及びＴＶ処理回路２１２が示されるが、それぞれの回路の個数は３に限定されない。

　本実施形態は、ＴＶ処理回路がＴＶ正則化法による骨格成分を分離する反復処理の１回分の計算処理を実施すると想定する。そのため、本実施形態は、図１１に示されるように、ＴＶの処理を最大で３回実施する例を示す。

　また、１つのＴＶ処理回路が前記反復処理の複数回分の計算処理を実施するとしてもよい。

　図１２は、本実施形態に係るノイズ除去処理システム１Ｃを含む信号処理システムの構成の一例を示す。ノイズ除去処理システム１Ｃは、入力データ信号Ａを外部のＣＣＤセンサ３から受信し、入力制御信号Ｋを明度センサ４から受信する。

　本実施形態に係るノイズ除去処理システム１Ｃは、入力データ信号Ａを、上記の例に限らず、画像に対して補正処理を実施する、異なる画像処理システムから受信しても良い。また、デジタルカメラ等の撮影装置から受信しても良い。さらに、ハードディスクやストレージ、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）を含む情報処理装置から受信しても良い。

　本実施形態に係るノイズ除去処理システム１Ｃは、入力制御信号Ｋを、上記の例に限らず、赤外線センサや輝度センサ等の各種センサから受信しても良い。また、ノイズ解析システムやシーン解析システムなどのプログラムの実行処理の出力や、情報処理装置からの出力でもよい。さらに、ユーザがスイッチ、ダイアル、などを介して手動で入力したものでも良い。

　ただし、上述の使用例は一例であり、実際には、上記の例に限定されない。

　次に、本実施形態に係るノイズ除去処理システム１Ｃの各部の動作を説明する。

　本実施形態に係るノイズ除去処理システム１Ｃにおいて、入力データ信号Ａは画面の走査線方向に沿って順次１ピクセルずつ入力される。ノイズ除去処理回路２１は、ピクセル単位で入力を受信して、ピクセル単位で出力データ信号Ｌを出力する。

　制御部２２は、フロー制御処理部２２１と、メモリ２２２とを含む。本実施形態に係るノイズ除去処理システム１Ｃにおいて、例えば、フロー制御処理部２２１はＣＰＵやマイコン等の汎用演算処理装置で実現される。また、本実施形態において、フロー制御処理部２２１はメモリ２２２に格納される構成情報を参照して、入力スイッチ制御信号Ｈ、出力スイッチ制御信号Ｊ、第１ＴＶパイプライン制御信号Ｍ、及び第２ＴＶパイプライン制御信号Ｎを生成して発信する。

　次に、図１３を参照して、ＴＶパイプライン処理回路における制御信号とデータの流れについて説明する。

　図１３は、ノイズ除去処理回路２１の一部分の構成例を示す。図１３では、２ｔｏ１切替スイッチ２０５と、第１のＴＶパイプライン処理回路２０６と、出力クロスバースイッチ２０７と、が示される。なお、図１３では、制御部２２を構成するフロー制御処理部２２１も示されている。

　図１３に示されるノイズ除去処理回路２１において、２ｔｏ１切替スイッチ２０５は、２系統の入力（入力系１と入力系２）を有する。例えば、入力系１の入力についてＴＶ処理が３回実施され、入力系２の入力についてＴＶ処理が１回実施される。

　このとき、フロー制御処理部２２１からのパイプライン制御信号は次のように入力データの流れを制御する。すなわち、入力系１からの入力データに対して、ＴＶ処理回路１段目の制御信号で出力先をＴＶ処理回路１段目に設定し、ＴＶ処理回路２段目の制御信号で出力先をＴＶ処理回路２段目に設定し、ＴＶ処理回路３段目の制御信号で出力先をＴＶ処理回路３段目に設定する。

　また、入力系２からの入力データに対して、ＴＶ処理回路１段目の制御信号で出力先をＴＶ処理回路１段目に設定し、ＴＶ処理回路２段目の制御信号で出力先を出力クロスバースイッチに設定する。

　第１のＴＶパイプライン処理回路内において、入力されたデータはパイプライン処理が行われるため、出力クロスバースイッチ２０７への制御信号は１段目から順にタイミングを調整しながら発行される。

　次に、図１４Ａ及び図１４Ｂを参照して、２ｔｏ１切替スイッチ２０５の制御を説明する。

　図１４Ａは、クロック（ＣＬＫ）、入力データ信号Ａ、第１のウェーブレット変換処理回路２０１から出力される第１の低周波成分Ｂ、及び第２のウェーブレット変換処理回路２０３から出力される第２の低周波成分Ｄの波形を示す。

　図１４Ａに示されるように、入力データ信号Ａは、データがクロックに同期して連続的に出力される信号である。これに対して、第１の低周波成分Ｂは、データが間欠的に出力される信号である。信号が間欠的に出力される理由は、２次元ウェーブレット変換に由来する。ウェーブレット変換によって分離された低周波成分の出力スループットは、ウェーブレット変換する前の信号のスループットの４分の１になる。この関係は、ウェーブレット変換の「入力」が第１の低周波成分Ｂである場合における、第１の低周波成分Ｂと「出力」である第２の低周波成分Ｄとの間においても同様である。

　図１０に示されるような、２段のウェーブレット変換処理を実施するノイズ除去処理においては、ＴＶパイプライン処理が３回実施される。すなわち、図１０に示されるノイズ除去処理システム１Ｃの構成は、図３に示されるノイズ除去処理システムに第２のＴＶパイプライン処理回路２０９を追加して得られる構成に対応する。図３に示されるノイズ除去処理システムは、Ｔ－Ｖノイズ除去部１０１４と初期解生成部１０１５を含み、この２つのＴＶ処理部に第２のＴＶパイプライン処理回路２０９を追加して、図１０に示されるノイズ除去処理システム１Ｃが得られる。このようなノイズ除去処理システムにおいては、上記のウェーブレット変換の特徴を用いることにより、ＴＶパイプライン処理回路が共有できる。

　しかしながら、２つの入力を、共有するＴＶパイプライン処理回路に同時に入力することは出来ない。上記のウェーブレット変換の特徴を用いると、ＴＶパイプライン処理回路へのデータ発生のタイミングが、図１４Ａに示されるタイミングと同様の波形になり、入力が同時に発生する。

　そこで、２ｔｏ１切替スイッチ２０５が内部に有するバッファを用いると、図１３に示される、２ｔｏ１入力切替スイッチ２０５の入力系１と入力系２（図１３）からのデータ出力タイミングを、図１４Ｂに示されるように、ずらすことができる。これにより、２つの入力系からのデータを１つの第１のＴＶパイプライン処理回路２０６で処理することができる。２ｔｏ１切替スイッチ２０５を制御するフロー制御処理部２２１は、ステートマシンやサイクルカウンタ等を用いて適切なタイミングで入力スイッチ制御信号Ｈを送信する。２ｔｏ１切替スイッチ２０５は入力スイッチ制御信号Ｈに従って、入力系統を切り替える。

　上記と同様にして、出力クロスバースイッチ２０７においても、複数の信号の出力タイミングが重なる場合、或いは、複数のデータ処理のタイミングを調整する必要がある場合がある。このため、出力クロスバースイッチ２０７は、予め十分な容量のバッファを各クロスバースイッチの入力部、或いは出力部に備え、出力信号を必要な時間だけバッファリングをして出力タイミングを制御する。この制御処理もフロー制御処理部２２１からの出力スイッチ制御信号Ｊに従って実施される。

　制御部２２のメモリ２２２は、上記の制御動作に必要な指示データを格納する。例えば、明度センサ４からの明度信号に従って、フロー制御処理部２２１は、明度信号を解析し、メモリ２２２から明度信号に対応した制御動作に必要なデータを読みだす。フロー制御処理部２２１は、適切なタイミングで各種制御信号を発信して、各部の制御動作を実施する。

　本実施形態では、２ｔｏ１切替スイッチ、出力クロスバースイッチ、ＴＶパイプライン処理回路の全てがフロー制御処理部２２１で制御されるが、これに限定されない。すなわち、ノイズ除去処理回路２１は、独自にステートマシンやクロックカウンタを有して、自律して制御を行なうモジュールを含んでもよい。
［動作］
　次に、図１５を参照して、第３の実施形態に係るノイズ除去処理システム１Ｃの動作を説明する。図１５は、本発明の第３の実施形態に係るノイズ除去処理の手順の一例を示すフローチャートである。

　図１５のステップＳ１５０１乃至ステップＳ１５１２は、それぞれ図６に示されるステップＳ６０１乃至Ｓ６１２に対応する。なお、図１０に示されるノイズ除去処理システム１Ｃの各回路は、パイプライン的に処理動作を行うため、図１５に示されるフローチャートにおけるステップＳ１５０１からＳ１５１２の各工程は、並列処理が可能である。

　例えば、ステップＳ１５０５におけるＴＶパイプライン処理と、ステップＳ１５０９におけるＴＶパイプライン処理は、同時に実行されうる。これに対して、入力のタイミングが重ならないよう、上述のように２ｔｏ１切替スイッチ２０５をクロック単位でタイミング制御し、クロックごとに入力系統を切り替える。これにより、ＴＶパイプライン処理回路２０６を共有することができる。

　図１６は、図１５に示されるステップＳ１５０５乃至ステップＳ１５０９におけるＴＶパイプライン処理回路２０６における一連の手続きを詳細に示すフローチャートである。図１６におけるステップＳ１６０１乃至Ｓ１６０９の処理は、図７に示されるステップＳ７０１乃至Ｓ７０９に対応する。図１６においては、図７におけるＮの値が３である。これ以外の処理については、図７と同一であるので、説明を省略する。
［効果］
　次に、本発明の実施形態に係るノイズ除去処理システム１Ｃの効果を説明する。

　本実施形態に係るノイズ除去処理システム１Ｃは、明度センサ４からの入力制御信号Ｋをフロー制御処理部２２１で解析し、適切な制御動作及び適切な制御のタイミングについてのデータをメモリ２２２から読み出し、ノイズ除去処理回路２１を制御する。

　入力スイッチ制御信号Ｈは、２ｔｏ１切替スイッチ２０５に入力される。各ＴＶパイプライン制御信号は、各ＴＶパイプライン処理回路に入力される。出力スイッチ制御信号Ｊは、出力クロスバースイッチ２０７に入力される。２ｔｏ１切替スイッチ２０５は、入力スイッチ制御信号Ｈに基づいて、入力系統の切替を制御する。各ＴＶパイプライン処理回路は、各パイプライン制御信号に基づいて、ＴＶ処理の回数、即ちデータが通過するＴＶ処理回路の個数を制御する。出力クロスバースイッチ２０７は、出力スイッチ制御信号Ｊに基づいて、入力系統と出力系統のそれぞれの切替を制御する。

　以上説明した第３の実施形態によれば、第２の低周波成分Ｄ及び第１のＴＶ処理信号に対してＴＶパイプライン処理回路において実行される処理の回数を、それぞれ動的に変更することができる。これにより、ノイズ除去処理性能は、動的に変更される。

　また、本実施形態に係るノイズ除去処理システム１Ｃにおいては、ＴＶパイプライン処理回路２０６に対して、第２の低周波成分Ｄが入力されるタイミング、及び第２の逆ウェーブレット変換処理回路２０４からの出力信号が入力されるタイミングが、フロー制御処理部２２１により制御される。すなわち、フロー制御処理部２２１から、２ｔｏ１切替スイッチ２０５を意図的に制御することによって、第２の低周波成分Ｄ、及び第２の逆ウェーブレット変換処理回路２０４からの２種類の信号を、１つのＴＶパイプライン処理回路２０６によって、それぞれ異なるＴＶ処理回数でパイプライン処理することができる。そのため、ノイズ除去処理システムを、回路で実現する場合の回路規模の増大を抑制することができる。
［第４の実施形態］
［構成］
　図１７は、本発明の第２の実施形態に対応する、第４の実施形態に係るノイズ除去処理システム１Ｄの構成の一例を示す。第４の実施形態に係るノイズ除去処理システム１Ｄは、第３の実施形態に係るノイズ除去処理回路２１にウェーブレット変換切替処理回路２０８を追加したものである。これに対応して、第３の実施形態における２ｔｏ１切替スイッチ２０５は、３ｔｏ１切替スイッチ２１０に変更される。ノイズ除去処理回路２１におけるこれら以外の構成要素は、第３の実施形態に係るノイズ除去処理回路２１と同一である。従って、図１７において、図１０と同一の符号が付されるとともに、以下の説明において、それらについての説明は、省略される。さらに、フロー制御処理部２２１には、ウェーブレット変換切替処理回路２０８を制御するためのウェーブレット制御信号Ｒを発行する機能が追加される。

　第１のウェーブレット変換処理回路２０１から出力される第１の低周波成分Ｂは、ウェーブレット変換切替処理回路２０８に入力される。ウェーブレット変換切替処理回路２０８は、フロー制御処理部２２１からのウェーブレット制御信号Ｒに従って、出力先を切り替える。出力先に第２のウェーブレット変換処理回路２０３が選択された場合は、以降の動作は第３の実施形態に係るノイズ除去処理システム１Ｃにおける処理と同一であるため説明を省略する。出力先に３ｔｏ１切替スイッチ２１０が選択された場合、３ｔｏ１切替スイッチ２１０は入力系統として、ウェーブレット変換切替処理回路２０８を選択する。第１の低周波成分Ｂは３ｔｏ１切替スイッチ２１０を経て、第１のＴＶパイプライン処理回路２０６にて処理され、処理されたデータは出力クロスバースイッチ２０７に入力される。出力クロスバースイッチ２０７は、出力先として第１の逆ウェーブレット変換処理回路２０２を選択する。第１の逆ウェーブレット変換処理回路２０２により処理されたデータは、第２のＴＶパイプライン処理回路２０９においてＴＶ処理が実施されて、出力データ信号Ｌとして出力される。
［動作］
　次に、図１８を参照して、第４の実施形態に係るノイズ除去処理システム１Ｄの動作を説明する。図１８は、本発明の第４の実施形態に係るノイズ除去処理の手順の一例を示すフローチャートである。

　図１８のステップＳ１８０１乃至ステップＳ１８１６は、それぞれ図９に示されるステップＳ９０１乃至Ｓ９１６に対応する。なお、図１７に示されるノイズ除去処理システム１Ｄの各回路はパイプライン的に処理動作を行うため、図１８に示されるステップＳ１８０１乃至Ｓ１８１６の各工程は、並列処理が可能である。

　例えば、ステップＳ１８０７におけるＴＶパイプライン処理と、ステップＳ１８１１におけるＴＶパイプライン処理は同時に実行されうる。これに対して、第３の実施形態と同様にして、入力のタイミングが重ならないように、３ｔｏ１切替スイッチ２１０をクロック単位でタイミング制御し、クロックごとに入力系統を切り替える。これにより、ＴＶパイプライン処理部２０６を共有することができる。

　ステップＳ１８０７とステップＳ１８１１におけるＴＶパイプライン処理の動作については、図１６を参照して説明した第３の実施形態におけるＴＶパイプライン処理の動作と同一であるので、説明は省略する。

　本発明に係るノイズ除去処理システムは、モジュール間に出力方向を切り替えるスイッチを配置し、入力データのデータフローを制御するデータフロー制御部を備える。データフロー制御部でモジュール間のスイッチを切り替えることによって、動的にモジュール間接続が変更できる。

　以上説明した第４の実施形態のノイズ除去処理システム１Ｄは、パイプライン処理部の各出力切替処理部を動的に制御して、データが通過する画像処理部の数を動的に変更し、パイプライン処理部での処理強度を動的に変更する。これにより、システム規模の増加を抑制しつつ、ノイズ除去処理性能を動的に変更可能なノイズ除去処理システムを提供するとの本発明の目的を達成することができる。

　また、複数のウェーブレット変換処理部を備える場合において、ノイズ除去処理システム１Ｄは、複数のウェーブレット変換処理部からの出力を１つのパイプライン処理部にスイッチを介して接続させる。各ウェーブレット変換処理部から出力される低周波成分のデータ出力のタイミング、及びスループットが異なる事を考慮して、スイッチの動作が制御される。パイプライン処理部を複数のデータ処理において共有できるため、回路規模の増大を抑制することができる。

　すなわち、ノイズ除去処理システム１Ｄは、第２の低周波成分及び逆ウェーブレット変換処理部からの再構成画像という２つのデータに対して、入力スイッチを動的に制御して、パイプライン処理部に入力されるデータを切り替える。１つのパイプライン処理部には複数のモジュールからデータが入力されるが、これにより、これらの複数のデータフローをそれぞれ独立にパイプライン処理を実施することができる。さらに、それぞれのデータフローにおいて、パイプライン処理部は処理の強度を動的に変更することによって、ノイズ除去処理性能を動的に変更するという本発明の目的を達成することができる。

　なお、上述の処理動作を実行させるためのプログラムを、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ　ｄｉｓｋ）などのコンピュータ読取可能な非一時的な記録媒体に格納して配布し、或いはネットワークを介して配信し、当該プログラムをコンピュータにインストールすることにより、上述の処理動作を実行する装置を構成しても良い。

　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

　この出願は、２０１２年１２月２６日に出願された日本出願特願２０１２－２８３１３３号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　本発明は、デジタルカメラの撮像素子などのセンサから出力されるデジタル信号に対して、混入したノイズを除去するノイズ除去処理システムに好適に適用できる。特に、ノイズの強度によってノイズ除去性能を変更可能な、デジタルカメラ或いはビデオカメラに利用できる。さらに、マイクロフォン等から出力されるアナログ信号をデジタル変換した信号に対してノイズを除去する用途にも適用できる。

　１Ａ、１Ｂ、１Ｃ、１Ｄ　　ノイズ除去処理システム
　３　　ＣＣＤセンサ
　４　　明度センサ
　１１　　ノイズ除去処理部
　１２、２２　　制御部
　２１　　ノイズ除去処理回路
　１０１　　第１のウェーブレット変換処理部
　１０２　　第１の逆ウェーブレット変換処理部
　１０３　　第２のウェーブレット変換処理部
　１０４　　第２の逆ウェーブレット変換処理部
　１０５、１１０　　入力スイッチ
　１０６　　パイプライン処理部
　１０７　　出力スイッチ
　１０８　　ウェーブレット変換切替処理部
　１１１　　出力切替処理部
　１１２　　画像処理部
　１２１　　フロー制御処理部
　２０１　　第１のウェーブレット変換処理回路
　２０２　　第１の逆ウェーブレット変換処理回路
　２０３　　第２のウェーブレット変換処理回路
　２０４　　第２の逆ウェーブレット変換処理回路
　２０５　　２ｔｏ１切替スイッチ
　２０６　　第１のＴＶパイプライン処理回路
　２０７　　出力クロスバースイッチ
　２０８　　ウェーブレット変換切替処理回路
　２０９　　第２のＴＶパイプライン処理回路
　２１０　　３ｔｏ１切替スイッチ
　２１１　　出力切替処理回路
　２１２　　ＴＶ処理回路
　２２１　　フロー制御処理部
　２２２　　メモリ
　１０１１、１０１３、１０１５　　初期解生成部
　１０１２、１０１４　　Ｔ－Ｖノイズ除去部
　１１０１、１１０５　　ウェーブレット変換回路
　１１０２、１１０６　　ウェーブレット縮退回路
　１１０３、１１０７　　逆ウェーブレット変換回路
　１１０４、１１０８、１１０９　　Ｔ－Ｖ処理回路
　Ａ　入力データ信号
　Ｂ　第１の低周波成分
　Ｃ　第１の高周波成分
　Ｄ　第２の低周波成分
　Ｅ　第２の高周波成分
　Ｆ　第１のパイプライン処理信号
　Ｇ　第２のパイプライン処理信号
　Ｈ　入力スイッチ制御信号
　Ｉ　パイプライン制御信号
　Ｊ　出力スイッチ制御信号
　Ｋ　入力制御信号
　Ｌ　出力データ信号
　Ｍ　第１ＴＶパイプライン制御信号
　Ｎ　第２ＴＶパイプライン制御信号
　Ｏ　第１のＴＶ処理信号
　Ｐ　第１のＴＶ処理信号
　Ｑ　再構成画像データ
　Ｒ　　ウェーブレット制御信号

Claims (9)

1. 　入力信号を、第１の低周波信号と第１の高周波信号とに分離する第１のウェーブレット変換処理手段と、
   　前記第１の低周波信号を、第２の低周波信号と第２の高周波信号とに分離する第２のウェーブレット変換処理手段と、
   　前記第２の低周波信号に対してパイプライン処理を行うことによって、第１のパイプライン処理信号を生成するとともに、第１の再構成信号に対して前記パイプライン処理を行うことによって、第２のパイプライン処理信号を生成する第１のパイプライン処理手段と、
   　前記第２の高周波信号と前記第１のパイプライン処理信号とに基づいて、前記第１の再構成信号を生成する第２の逆ウェーブレット変換処理手段と、
   　前記第１の高周波信号と、前記第２のパイプライン処理信号とに基づいて、第２の再構成信号を生成する第１の逆ウェーブレット変換処理手段と、
   　前記第２の低周波信号と前記第１の再構成信号のうちの一方を選択し、選択した信号を前記第１のパイプライン処理手段に転送する入力切替手段と、
   　前記第１のパイプライン処理信号を前記第２の逆ウェーブレット変換処理手段に転送し、前記第２のパイプライン処理信号を前記第１の逆ウェーブレット変換処理手段に転送する出力切替手段と
   を有し、
   　前記第２の再構成信号を出力信号として出力する
   ことを特徴とする信号処理装置。
2. 　前記パイプライン処理手段は、複数の信号処理手段と、前記複数の信号処理手段と同じ数の出力切替処理手段とを含み、
   　前記各出力切替処理手段と前記各信号処理手段は、この順に、交互且つ直列に接続され、
   　前記各出力切替処理手段は、入力された信号を後段の前記信号処理手段と前記出力切替手段のいずれか一つに転送し、
   　最終段の前記信号処理手段は、入力された信号を処理して、処理した信号を前記出力切替手段に転送し、
   　最終段の前記信号処理手段以外の前記信号処理手段は、入力された信号を処理して、処理した信号を後段の前記出力切替処理手段に転送する
   ことを特徴とする請求項１に記載の信号処理装置。
3. 　前記第１の低周波信号を、前記第２のウェーブレット変換処理手段と前記入力切替手段のいずれか一つに転送する、ウェーブレット変換切替処理手段をさらに有し、
   　前記入力切替手段は、前記第１の低周波信号、前記第１の再構成信号、及び前記第２の低周波信号のうちいずれか一つを選択して、前記第１のパイプライン処理手段に転送する
   ことを特徴とする請求項１または２に記載の信号処理装置。
4. 　前記第２の再構成信号にパイプライン処理を行って、前記出力信号を生成する、第２のパイプライン処理手段をさらに有する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の信号処理装置。
5. 　前記入力切替手段、前記出力切替手段、前記第１及び第２のパイプライン処理手段、及び前記ウェーブレット変換処理手段の、少なくとも１つを制御する、フロー制御処理手段をさらに有する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の信号処理装置。
6. 　前記パイプライン処理手段に含まれる複数の信号処理手段は同一の画像信号処理を実施する
   ことを特徴とする請求項２に記載の信号処理装置。
7. 　前記複数の信号処理手段のそれぞれは、全変分ノルム正則化によるノイズ除去処理に適用された劣勾配法の反復処理における１回または複数回の画像信号処理を行う
   ことを特徴とする請求項６に記載の信号処理装置。
8. 　入力信号を、第１の低周波信号と第１の高周波信号とに分離し、
   　前記第１の低周波信号を、第２の低周波信号と第２の高周波信号とに分離し、
   　前記第２の低周波信号に対してパイプライン処理を行うことによって、第１のパイプライン処理信号を生成し、
   　前記第２の高周波信号と前記第１のパイプライン処理信号とに基づいて、第１の再構成信号を生成し、
   　前記第１の再構成信号に対して前記パイプライン処理を行うことによって第２のパイプライン処理信号を生成し、
   　前記第１の高周波信号と、前記第２のパイプライン処理信号とに基づいて、第２の再構成信号を生成し、
   　前記第２の低周波信号と前記第１の再構成信号のうちの一方を選択し、選択した信号を前記パイプライン処理に入力し、
   　前記第２の再構成信号を出力信号として出力する
   ことを特徴とする信号処理方法。
9. 　入力信号を、第１の低周波信号と第１の高周波信号とに分離する第１のウェーブレット変換処理と、
   　前記第１の低周波信号を、第２の低周波信号と第２の高周波信号とに分離する第２のウェーブレット変換処理と、
   　前記第２の低周波信号に対してパイプライン処理を行うことによって、第１のパイプライン処理信号を生成するとともに、第１の再構成信号に対して前記パイプライン処理を行うことによって、第２のパイプライン処理信号を生成する第１のパイプライン処理と、
   　前記第２の高周波信号と前記第１のパイプライン処理信号とに基づいて、前記第１の再構成信号を生成する第２の逆ウェーブレット変換処理と、
   　前記第１の高周波信号と、前記第２のパイプライン処理信号とに基づいて、第２の再構成信号を生成する第１の逆ウェーブレット変換処理と、
   　前記第２の低周波信号と前記第１の再構成信号のうちの一方を選択し、選択した信号を前記第１のパイプライン処理に入力する入力切替処理と、
   　前記第１のパイプライン処理信号を前記第２の逆ウェーブレット変換処理に入力し、前記第２のパイプライン処理信号を前記第１の逆ウェーブレット変換処理に入力する出力切替処理と、
   　前記第２の再構成信号を出力信号として出力する出力処理と
   を信号処理装置のコンピュータに実行させるための信号処理プログラムを記憶する記憶媒体。

Images