JP5903305B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

実施形態は、画像のノイズ低減技術に関する。

電子部品などに対する検査を自動的に行う外観検査システムは、検査画像に含まれるノイズ成分を適切に低減することによって、高精度な検査が可能となる。同様に、Ｘ線検査システムもまた、検査画像に含まれるノイズ成分を適切に低減することによって、高精度な検査が可能となる。他にも、例えば画像の撮影、符号化、復号化、再生などを行うにあたって、画像に含まれるノイズ成分を適切に低減することによって、様々な有利な効果（例えば、符号化効率の向上、再生画像品質の向上など）を得ることができる。

通常、画像に含まれるノイズ成分は、様々なノイズ低減技法によって低減される。しかしながら、係るノイズ低減技法によって、画像に含まれるノイズ成分だけでなく信号成分（特に、エッジなどの高周波成分）までも低減されたり、信号成分が不適切な値に変化したりすることがある。信号成分が低減されたり不適切な値に変化したりすると、ノイズ低減による有利な効果が阻害されるおそれがある。

例えば、ノイズ低減技法の１つとして平滑化フィルタが知られている。平滑化フィルタには、被写体の本来の信号成分（特に高周波成分）が劣化する（ぼやける）というデメリットがある。また、動画像におけるノイズ低減技法として、アベレージングが知られている。アベレージングとは、複数フレーム間で画素値を平均化することによってランダムノイズを低減するものである。例えば、静止した被写体を撮影した動画像においてＮ枚のフレームを用いてアベレージングを行うと、ランダムノイズを理想的には１／√Ｎ倍に低減できる。更に、各フレームにおいて被写体の本来の信号成分は共通に含まれているので、係る信号成分は基本的にはアベレージングによって劣化しない。しかしながら、被写体に動きがあると、フレーム間の画素の対応関係が崩れてしまう。故に、動きのある被写体を撮影した動画像に対してアベレージングを単純に適用することはできない。

特開２００９−０２０６０５号公報

実施形態は、信号成分の劣化を回避しつつノイズ成分を低減することを目的とする。

実施形態によれば、画像処理装置は、第１の分解部と、第２の分解部と、第１の算出部と、合成部と、加算部とを備える。第１の分解部は、注目フレームをレベル１の第１の低周波画像及びレベル１の第１の高周波画像に分解する。第２の分解部は、第１の参照フレームを分解し、レベル１の第２の高周波画像を得る。第１の算出部は、レベル１の第１の高周波画像内の各画素に対して、当該画素を中心としてレベル１の第１の高周波画像及びレベル１の第２の高周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、当該自己相関関数の原点の値に対する原点以外における最大の絶対値に基づく代表値の比の絶対値を算出することによって、レベル１の第１の重み係数を生成する。合成部は、レベル１の第１の高周波画像に対して少なくともレベル１の第２の高周波画像をレベル１の第１の重み係数に基づいて合成することによって、レベル１の合成高周波画像を生成する。加算部は、少なくともレベル１の合成高周波画像を用いて出力画像を得る。

第１の実施形態に係る画像処理装置を例示するブロック図。 第２の実施形態に係る画像処理装置を例示するブロック図。 第３の実施形態に係る画像処理装置を例示するブロック図。 第１の実施形態に係る画像処理装置によって行われる画像処理を例示するフローチャート。 第３の実施形態に係る画像処理装置によって行われる画像処理を例示するフローチャート。 第３の実施形態に係る画像処理装置によって行われる画像処理の説明図。 時空間ブロックを例示する図。 時空間ブロックを例示する図。 図７の第ｎ−１及び第ｎフレームに亘って形成される時空間ブロック内の自己相関関数を示す図。 図７の第ｎフレームに閉じて形成される空間ブロック内の自己相関関数を示す図。 図８の第ｎ−１及び第ｎフレームに亘って形成される時空間ブロック内の自己相関関数を示す図。 図８の第ｎフレームに閉じて形成される空間ブロック内の自己相関関数を示す図。 第６の実施形態に係る外観検査システムを例示するブロック図。 第７の実施形態に係るＸ線検査システムを例示するブロック図。 Ｘ線ＣＴシステムにおいて撮影される断面画像の説明図。

以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。また、以降の説明において、簡単化のために一次元の画素値変化が示されることがあるが、これらは二次元の画素値変化として適宜読み替えることができる。

（第１の実施形態）
第１の実施形態に係る画像処理装置は、図１に示されるように、サブバンド分解部１０１と、サブバンド分解部１０２と、重み係数算出部１１０と、高周波画像合成部１２０と、加算部１３０とを備える。

図１の画像処理装置は、外部から注目フレーム１０及び参照フレーム２０を入力する。注目フレーム１０及び参照フレーム２０は、例えば、同一被写体を撮影した動画像の第ｎフレーム及び第ｎ−１（或いは第ｎ＋１）フレームであってよい。或いは、注目フレーム１０及び参照フレーム２０は、同一被写体を連続撮影した２枚の静止画像であってもよいし、同一被写体からＸ線ＣＴによって撮影された２枚の断面画像であってもよい。

図１の画像処理装置は、後述されるように、時空間ブロック内の自己相関関数に基づく重み係数を利用して注目フレーム１０及び参照フレーム２０の重み付き平均化（即ち、合成）を行うことにより、注目フレーム１０の信号成分の劣化を回避しつつノイズを低減する。図１の画像処理装置は、画像処理結果を出力画像５０として外部に供給する。

サブバンド分解部１０１は、注目フレーム１０を外部から入力する。サブバンド分解部１０１は、注目フレーム１０を２つのサブバンド成分に分解する。具体的には、サブバンド分解部１０１は、注目フレーム１０を注目高周波画像１１及び注目低周波画像１２に分解する。サブバンド分解部１０１は、注目高周波画像１１を重み係数算出部１１０及び高周波画像合成部１２０へと出力し、注目低周波画像１２を加算部１３０へと出力する。

以降の説明において、注目高周波画像１１はＨＦ（０，１）と表現され、注目高周波画像１１の座標（ｉ，ｊ）の画素値（濃度値）はＨＦ（０，１，ｉ，ｊ）と表現されることもある。

サブバンド分解部１０１は、典型的には、注目フレーム１０にウェーブレット変換を適用することにより、注目高周波画像１１及び注目低周波画像１２を得る。或いは、サブバンド分解部１０１は、フィルタリング処理によって注目フレーム１０から注目低周波画像１２を抽出してもよい。例えば、サブバンド分解部１０１は、注目フレーム１０内の隣接４画素毎に画素値を平均化することによって、注目低周波画像１２を抽出してもよい。更に、サブバンド分解部１０１は、当該注目低周波画像１２を注目フレーム１０から減算することによって、注目高周波画像１１を抽出してもよい。

サブバンド分解部１０２は、参照フレーム２０を外部から入力する。サブバンド分解部１０２は、参照フレーム２０を２つのサブバンド成分に分解する。具体的には、サブバンド分解部１０２は、参照フレーム２０を参照高周波画像２１及び参照低周波画像に分解する。サブバンド分解部１０２は、参照高周波画像２１を重み係数算出部１１０及び高周波画像合成部１２０へと出力する。但し、参照低周波画像は本実施形態において不要であるので、サブバンド分解部１０２は必ずしも参照フレーム２０から参照低周波画像を抽出しない。以降の説明において、参照高周波画像２１はＨＦ（ｍ，１）と表現され、参照高周波画像２１の座標（ｉ，ｊ）の画素値はＨＦ（ｍ，１，ｉ，ｊ）と表現されることもある。ｍは、注目フレーム１０を基準とする参照フレーム２０の相対位置を表す。例えば、注目フレーム１０が第ｎフレームに相当し、かつ、参照フレーム２０が第ｎ−１フレームに相当するならば、ｍ＝−１である。

サブバンド分解部１０２は、典型的には、参照フレーム２０にウェーブレット変換を適用することにより、参照高周波画像２１及び参照低周波画像を得る。或いは、サブバンド分解部１０２は、フィルタリング処理によって参照フレーム２０から参照低周波画像を抽出してもよい。例えば、サブバンド分解部１０２は、参照フレーム２０内の隣接４画素毎に画素値を平均化することによって、参照低周波画像を抽出してもよい。更に、サブバンド分解部１０２は、当該参照低周波画像を参照フレーム２０から減算することによって、参照高周波画像２１を抽出してもよい。

ここで、注目高周波画像１１内の各画素と参照高周波画像２１内の各画素とが対応しているならば（即ち、表現対象が同一であるならば）、注目高周波画像１１と参照高周波画像２１とを平均化することによって、注目高周波画像１１に含まれる注目フレーム１０のノイズ成分が低減される。しかしながら、例えば撮影位置のずれ、被写体の変化などの影響により、注目高周波画像１１内の各画素と参照高周波画像２１内の各画素とが必ずしも対応しない。

例えば、参照フレーム２０の注目位置にエッジ成分が含まれていて、かつ、注目フレーム１０の注目位置に同一のエッジ成分が含まれていなければ、高周波成分の平均化を通じて注目位置の画素値が大きく変化するおそれがある。即ち、平均化された高周波画像の注目位置の画素値に参照フレーム２０のエッジ成分の一部が漏れ込むことによって、残像が生じる。また、注目フレーム１０の注目位置にエッジ成分が含まれていて、かつ、参照フレーム２０の注目位置に同一のエッジ成分が含まれていなければ、平均化を通じて注目位置の画素値が大きく変化するおそれがある。即ち、平均化された高周波画像の注目位置において注目フレーム１０のエッジ成分がぼやける。従って、注目高周波画像１１及び参照高周波画像２１を単純に平均化すると、注目高周波画像１１の劣化する画素が局所的に生じるおそれがある。

そこで、図１の画像処理装置は、後述されるように、注目高周波画像１１及び参照高周波画像２１に亘って形成される時空間ブロック内の自己相関関数に基づいて算出される重み係数３０を利用して注目高周波画像１１及び参照高周波画像２１を重み付き平均化することによって、注目フレーム１０の信号成分を維持しつつそのノイズ成分を低減する。

重み係数算出部１１０は、サブバンド分解部１０１から注目高周波画像１１を入力し、サブバンド分解部１０２から参照高周波画像２１を入力する。重み係数算出部１１０は、注目高周波画像１１内の各画素に対して、当該画素を中心とする時空間ブロック内の自己相関関数を算出する。

重み係数算出部１１０において使用される時空間ブロックは、注目高周波画像１１内の注目画素を中心とする複数の画素の集合であり、注目高周波画像１１及び参照高周波画像２１に亘って形成される。３×３×２のサイズを持つボックス状の時空間ブロックが図７及び図８に例示されている。即ち、これら時空間ブロックは空間方向に３×３のサイズを持ち、時間方向に２のサイズを持つ。ここで、時空間ブロックにおける時間方向とは、フレーム順序の方向と同一の意味で用いられてよい。具体的には、図７は、注目画素の画素値における画像の信号成分の寄与度が大きい場合の時空間ブロックを例示する。ここで、画像の信号成分とは、注目高周波画像１１に含まれる被写体の信号成分に相当する。他方、図８は、注目画素の画素値におけるノイズ成分の寄与度が大きい場合の時空間ブロックを例示する。

更に、重み係数算出部１１０は、自己相関関数の原点の値に対する原点の周囲における代表値の比の絶対値を算出することによって、重み係数３０を得る。重み係数算出部１１０は、重み係数３０を高周波画像合成部１２０へと出力する。

自己相関関数の原点の周囲における代表値は、例えば原点以外における最大の絶対値を持つ値である。但し、最大の絶対値を含む上位の複数（例えば３つ）の絶対値の平均値、中央値または最頻値、若しくは最小の絶対値などが代表値であってもよい。以降の説明において、参照高周波画像２１（ＨＦ（ｍ，１））に基づく、座標（ｉ，ｊ）の注目画素に対応する重み係数３０の値はＡＣＦｐｋｒ（ｍ，ｉ，ｊ）と表現されることもある。

具体的には、重み係数算出部１１０は、任意の注目画素を中心とする時空間ブロック内の自己相関関数を下記数式（１）に従って算出できる。図７の時空間ブロック内の自己相関関数が図９に示される。図８の時空間ブロック内の自己相関関数が図１１に示される。

尚、自己相関関数は注目画素毎に算出されるので、以降の説明において、参照高周波画像２１（ＨＦ（ｍ，１））に基づく、座標（ｉ，ｊ）の注目画素に対応する自己相関関数をＲ_ｍｉｊ（ｓ，ｔ，ｕ）と表すものとする。自己相関関数の原点の値はＲ_ｍｉｊ（０，０，０）で表され、これはＲ_ｍｉｊ（ｓ，ｔ，ｕ）の最大値を示す。原点の周囲の代表値は、Ｒ_ｍｉｊ（ｓ_ｒ，ｔ_ｒ，ｕ_ｒ）で表すことができる。即ち、重み係数算出部１１０は、参照高周波画像２１（ＨＦ（ｍ，１））に基づく、座標（ｉ，ｊ）の注目画素に対応する重み係数３０を下記数式（２）に従って算出できる。

注目画素の画素値におけるノイズ成分の寄与度が大きい場合には、自己相関関数の原点の値と周囲の値との乖離が大きくなりやすい。他方、注目画素の画素値における信号成分の寄与度が大きい場合には、自己相関関数の原点の値と周囲の値との乖離が小さくなりやすい。即ち、注目画素の画素値におけるノイズ成分の寄与度が大きいほど重み係数３０は小さくなりやすい。他方、注目画素の画素値における信号成分（即ち、被写体の本来の信号成分）の寄与度が大きいほど重み係数３０は大きくなりやすい。

例えば、図９の自己相関関数の原点の値は３６．４であり、図１１の自己相関関数の原点の値は３６．４である。また、図９の自己相関関数の代表値は−１４．８であり、図１１の自己相関関数の代表値は−６．４である。即ち、図９の自己相関関数に基づく重み係数３０の値は０．４１となり、図１１の自己相関関数に基づく重み係数３０の値は０．１８となる。

少なくとも図９及び図１１の例によれば、注目画素の画素値における信号成分の寄与度及びノイズ成分の寄与度に応じて、重み係数３０が増減する。従って、係る重み係数３０を用いて注目高周波画像１１及び参照高周波画像２１を重み付き平均化することによって、後述されるように、信号成分を維持しつつノイズ成分を低減することが可能となる。

尚、同一フレームのブロックのみを考慮して重み係数を算出する技法も想定される。この比較例は、参照フレームを全く利用せず、注目画素を中心とする空間ブロック内の自己相関関数に基づいて重み係数を算出する。比較例において、自己相関関数は上記数式（１）に代えて下記数式（３）に従って算出される。空間ブロックは、１フレームで閉じて形成される。図７の第ｎフレームで閉じて形成される空間ブロック内の自己相関関数が図１０に示される。図８の第ｎフレームで閉じて形成される空間ブロック内の自己相関関数が図１２に示される。

尚、空間ブロック内の自己相関関数もまた注目画素毎に算出されるので、以降の説明において座標（ｉ，ｊ）の注目画素に対応する空間ブロック内の自己相関関数をＲ_ｉｊ（ｓ，ｔ）と表すものとする。自己相関関数の原点の値はＲ_ｉｊ（０，０）で表され、これはＲ_ｉｊ（ｓ，ｔ）の最大値を示す。原点の周囲において最大の絶対値を持つ代表値は、Ｒ_ｉｊ（ｓ_ｒ，ｔ_ｒ）で表すことができる。即ち、比較例において、座標（ｉ，ｊ）の注目画素に対応する重み係数は、上記数式（２）に代えて下記数式（４）に従って算出される。

ここで、図１０の自己相関関数の原点の値は１８．２であり、図１２の自己相関関数の原点の値もまた１８．２である。また、図１０の自己相関関数の代表値は−６．０であり、図１２の自己相関関数の代表値もまた−６．０である。即ち、図１０の自己相関関数に基づく重み係数は０．３３となり、図１２の自己相関関数に基づく重み係数もまた０．３３となる。

少なくとも図１０及び図１２の例によれば、注目画素の画素値における信号成分の寄与度及びノイズ成分の寄与度に関わらず、重み係数は同程度である。即ち、係る重み係数は、注目画素の画素値における信号成分の寄与度及びノイズ成分の寄与度を反映しにくく、重み付き平均に用いられた場合に望ましくない効果（例えば、ノイズ成分の増加または信号成分の劣化）が生じるおそれがある。故に、本実施形態は、参照フレームを利用して時空間ブロックを形成し、当該時空間ブロック内の自己相関関数から重み係数３０を算出することとする。

高周波画像合成部１２０は、サブバンド分解部１０１から注目高周波画像１１を入力し、サブバンド分解部１０２から参照高周波画像２１を入力し、重み係数算出部１１０から重み係数３０を入力する。高周波画像合成部１２０は、重み係数３０を用いて注目高周波画像１１及び参照高周波画像２１を重み付き平均化することにより、合成高周波画像４０を得る。高周波画像合成部１２０は、合成高周波画像４０を加算部１３０へと出力する。

具体的には、高周波画像合成部１２０は、下記数式（５）に示される演算を行ってもよい。数式（５）の演算によれば、重み係数３０が小さいほど参照高周波画像２１には大きな重みが与えられ、注目高周波画像１１と平均化される。以降の説明において、合成高周波画像４０はＨＦＣと表現され、合成高周波画像４０の座標（ｉ，ｊ）の画素値はＨＦＣ（ｉ，ｊ）と表現されることもある。

加算部１３０は、注目低周波画像１２をサブバンド分解部１０１から入力し、合成高周波画像４０を高周波画像合成部１２０から入力する。加算部１３０は、注目低周波画像１２と抽出高周波画像４０とを加算することによって、出力画像５０を得る。加算部１３０は、出力画像５０を外部へと供給する。

以下、図４を用いて図１の画像処理装置によって行われる画像処理が説明される。尚、図４に示される処理ステップの順序は一例であり、各処理ステップは依存関係がない限り任意の順序で実行されてよい。

図４の画像処理はステップＳ４０１から開始する。ステップＳ４０１において、図１の画像処理装置が、注目フレーム１０及び参照フレーム２０を外部から取り込む。サブバンド分解部１０１及びサブバンド分解部１０２は、ステップＳ４０１において得られた注目フレーム１０及び参照フレーム２０をそれぞれサブバンド分解する（ステップＳ４０２）。

重み係数算出部１１０は、ステップＳ４０２において得られた注目高周波画像１１内の各画素に対して、当該画素を中心とする時空間ブロック内の自己相関関数を算出する（ステップＳ４０３）。尚、前述の通り、時空間ブロックは注目高周波画像１１及びステップＳ４０２において得られた参照高周波画像２１に亘って形成される。重み係数算出部１１０は、ステップＳ４０３において算出された自己相関関数の原点の値に対する周囲の代表値の比の絶対値を算出することによって、重み係数３０を得る（ステップＳ４０４）。尚、前述の通り、周囲の代表値とは、例えば、原点以外で最大の絶対値を持つ値である。

高周波画像合成部１２０は、ステップＳ４０４において得られた重み係数３０に基づいて（例えば、上記数式（５）に従って）、注目高周波画像１１及び参照高周波画像２１の各画素値を重み付き平均化することにより、合成高周波画像４０を得る（ステップＳ４０５）。加算部１３０は、ステップＳ４０２において得られた注目低周波画像１２と、ステップＳ４０５において得られた合成高周波画像４０とを加算することによって、出力画像５０を得る（ステップＳ４０６）。ステップＳ４０６の完了によって、図４の画像処理は終了する。

以上説明したように、第１の実施形態に係る画像処理装置は、注目高周波画像内の各画素に関して時空間ブロック内の自己相関関数に基づいて重み係数を算出し、当該重み係数に基づいて注目高周波画像及び参照高周波画像を重み付き平均化する。従って、この画像処理装置によれば、注目フレームの信号成分を維持しつつノイズ成分を低減することができる。

尚、本実施形態に対して、様々な変形例が想定できる。例えば、時空間ブロックを形成する前に参照フレームに動き補償が行われてもよい。即ち、注目高周波画像と、動き補償された参照高周波画像とに亘って時空間ブロックが形成されてよい。ここで、動き補償は、公知のものであってよく、例えば、ブロックマッチングを利用した動き検出を行い、動き検出によって得られた動きベクトルを用いて参照フレームの画素を移動させるものである。また、時空間ブロックのサイズ及び形状は任意である。例えば、注目画素毎に時空間ブロックのサイズまたは形状が変更されてもよいし、注目画素毎にサイズまたは形状が相異なる複数の時空間ブロックに基づいて重み係数が算出されてもよい。

（第２の実施形態）
第１の実施形態に係る画像処理装置は、１枚の参照フレームを用いて画像処理を行う。他方、第２の実施形態に係る画像処理装置は、２枚以上の参照フレームを利用して画像処理を行う。

本実施形態に係る画像処理装置は、図２に示されるように、サブバンド分解部１０１と、サブバンド分解部１０２と、重み係数算出部１１０と、サブバンド分解部２０３と、重み係数算出部２１１と、高周波画像合成部２２０と、加算部２３０とを備える。

図２の画像処理装置は、外部から注目フレーム１０、参照フレーム２０及び参照フレーム６０を入力する。注目フレーム１０、参照フレーム２０及び参照フレーム６０は、例えば、同一被写体を撮影した動画像の第ｎフレーム、第ｎ−１及び第ｎ＋１フレームであってよい。或いは、注目フレーム１０、参照フレーム２０及び参照フレーム６０は、同一被写体を連続撮影した３枚の静止画像であってもよいし、同一被写体からＸ線ＣＴによって撮影された３枚の断面画像であってもよい。更に、参照フレーム２０及び参照フレーム６０に加えて１枚以上の参照フレームが利用されてもよい。

サブバンド分解部２０３は、参照フレーム６０を外部から入力する。サブバンド分解部２０３は、参照フレーム６０を２つのサブバンド成分に分解する。具体的には、サブバンド分解部２０３は、参照フレーム６０を参照高周波画像６１及び参照低周波画像に分解する。サブバンド分解部２０３は、参照高周波画像６１を重み係数算出部２１１及び高周波画像合成部２２０へと出力する。但し、参照低周波画像は本実施形態において不要であるので、サブバンド分解部２０３は必ずしも参照フレーム６０から参照低周波画像を抽出しない。

以降の説明において、前述の参照高周波画像２１と同じく、参照高周波画像６１はＨＦ（ｍ，１）と表現され、参照高周波画像６１の座標（ｉ，ｊ）の画素値はＨＦ（ｍ，１，ｉ，ｊ）と表現されることもある。参照高周波画像２１及び参照高周波画像６１は、ｍの値によって区別される。

サブバンド分解部２０３は、典型的には、参照フレーム６０にウェーブレット変換を適用することにより、参照高周波画像６１及び参照低周波画像を得る。或いは、サブバンド分解部２０３は、フィルタリング処理によって参照フレーム６０から参照低周波画像を抽出してもよい。例えば、サブバンド分解部２０３は、参照フレーム６０内の隣接４画素毎に画素値を平均化することによって、参照低周波画像を抽出してもよい。更に、サブバンド分解部２０３は、当該参照低周波画像を参照フレーム６０から減算することによって、参照高周波画像６１を抽出してもよい。

重み係数算出部２１１は、サブバンド分解部１０１から注目高周波画像１１を入力し、サブバンド分解部２０３から参照高周波画像６１を入力する。重み係数算出部２１１は、注目高周波画像１１内の各画素に対して、当該画素を中心とする時空間ブロック内の自己相関関数を算出する。重み係数算出部２１１において使用される時空間ブロックは、注目高周波画像１１内の注目画素を中心とする複数の画素の集合であり、注目高周波画像１１及び参照高周波画像６１に亘って形成される。

更に、重み係数算出部２１１は、自己相関関数の原点の値に対する原点の周囲における代表値の比の絶対値を算出することによって、重み係数３１を得る。重み係数算出部２１１は、重み係数３１を高周波画像合成部２２０へと出力する。尚、重み係数算出部２１１の動作は重み係数算出部１１０と同一または類似であってよいので、その詳細な説明は省略される。

高周波画像合成部２２０は、サブバンド分解部１０１から注目高周波画像１１を入力し、サブバンド分解部１０２から参照高周波画像２１を入力し、サブバンド分解部２０３から参照高周波画像６１を入力し、重み係数算出部１１０から重み係数３０を入力し、重み係数算出部２１１から重み係数３１を入力する。高周波画像合成部２２０は、重み係数３０及び重み係数３１を用いて注目高周波画像１１、参照高周波画像２１及び参照高周波画像６１を重み付き平均化することにより、合成高周波画像４１を得る。高周波画像合成部２２０は、合成高周波画像４１を加算部２３０へと出力する。

具体的には、高周波画像合成部２２０は、下記数式（６）に示される演算を行ってもよい。数式（６）の演算によれば、重み係数３０が小さいほど参照高周波画像２１には大きな重みが与えられ、重み係数３１が小さいほど参照高周波画像６１には大きな重みが与えられ、注目高周波画像１１と平均化される。以降の説明において、合成高周波画像４１はＨＦＣと表現され、合成高周波画像４１の座標（ｉ，ｊ）の画素値はＨＦＣ（ｉ，ｊ）と表現されることもある。

加算部２３０は、注目低周波画像１２をサブバンド分解部１０１から入力し、合成高周波画像４１を高周波画像合成部２２０から入力する。加算部２３０は、注目低周波画像１２と合成高周波画像４１とを加算することによって、出力画像５１を得る。加算部２３０は、出力画像５１を外部へと供給する。

以上説明したように、第２の実施形態に係る画像処理装置は、２枚以上の参照フレームを利用して第１の実施形態と同一または類似の画像処理を行う。従って、この画像処理装置によれば、より多くの参照フレームを利用した重み付き平均化が行われるので、ノイズ成分を更に低減することができる。

尚、本実施形態に対して、様々な変形例が想定できる。例えば、時空間ブロックを形成する前に２枚以上の参照フレームの一部または全部に動き補償が行われてもよい。即ち、注目高周波画像と動き補償された参照高周波画像とに亘って時空間ブロックが形成されてもよい。また、時空間ブロックのサイズ及び形状は任意である。例えば、注目画素毎に時空間ブロックのサイズまたは形状が変更されてもよいし、注目画素毎にサイズまたは形状が相異なる複数の時空間ブロックに基づいて重み係数が算出されてもよい。

（第３の実施形態）
第１及び第２の実施形態に係る画像処理装置は、注目フレーム及び参照フレームを２つのサブバンド成分に分解して画像処理を行う。他方、第３の実施形態に係る画像処理装置は、注目フレーム及び参照フレームを３以上のサブバンド成分に分解して画像処理を行う。

本実施形態に係る画像処理装置は、図３に示されるように、サブバンド分解部３０１と、サブバンド分解部３０２と、重み係数算出部３１０と、高周波画像合成部３２０と、加算部３３０とを備える。

図３の画像処理装置は、外部から注目フレーム１０及び参照フレーム２０を取得する。図３の画像処理装置は、サブバンド分解を複数回に亘って再帰的に行い、注目フレーム１０及び参照フレーム２０を３以上のサブバンド成分に分解する。図３の画像処理装置は、時空間ブロック内の自己相関関数に基づく重み係数を利用して注目フレーム１０及び参照フレーム２０の重み付き平均化を２以上のサブバンド成分毎に行うことにより、注目フレーム１０の信号成分の劣化を回避しつつノイズを低減する。

サブバンド分解部３０１は、注目フレーム１０を外部から入力する。サブバンド分解部３０１は、例えばウェーブレット変換を用いて注目フレーム１０を２つのサブバンド成分に分解する。具体的には、サブバンド分解部３０１は、注目フレーム１０をレベル１の注目高周波画像１１−１及びレベル１の注目低周波画像１２−１に分解する。ここで、レベルとはサブバンド分解のレベルを意味するものとする。尚、注目高周波画像１１−１は前述の注目高周波画像１１と同一または類似であり、注目低周波画像１２−１は前述の注目低周波画像１２と同一または類似である。サブバンド分解部３０１は、注目高周波画像１１−１を重み係数算出部３１０及び高周波画像合成部３２０へと出力する。また、サブバンド分解部３０１は、第２回目のサブバンド分解のために、注目低周波画像１２−１を自己にフィードバック出力する。

更に、サブバンド分解部３０１は、第２，・・・，ｋｍａｘ回目のサブバンド分解のために、レベル１，・・・，ｋｍａｘ−１の注目低周波画像１２−１，・・・，１２−（ｋｍａｘ−１）をフィードバック入力する。ここで、ｋｍａｘは、２以上の任意の整数である。サブバンド分解部３０１は、注目低周波画像１２−１，・・・，１２−（ｋｍａｘ−１）の各々を２つのサブバンド成分に分解する。具体的には、サブバンド分解部３０１は、注目低周波画像１２−１，・・・，１２−（ｋｍａｘ−１）の各々をレベル２，・・・，ｋｍａｘの注目高周波画像１１−２，・・・，１１−ｋｍａｘ及び注目低周波画像１２−２，・・・，１２−ｋｍａｘに分解する。サブバンド分解部３０１は、注目高周波画像１１−２，・・・，１１−ｋｍａｘを重み係数算出部３１０及び高周波画像合成部３２０へと出力する。また、サブバンド分解部３０１は、第３，・・・，ｋｍａｘ回目のサブバンド分解のために、注目低周波画像１２−２，・・・，１２−（ｋｍａｘ−１）を自己にフィードバック出力する。サブバンド分解部３０１は、注目低周波画像１２−ｋｍａｘを加算部３３０へと出力する。

以降の説明において、レベルｋの注目高周波画像１１−ｋはＨＦ（０，ｋ）と表現され、注目高周波画像１１−ｋの座標（ｉ，ｊ）の画素値はＨＦ（０，ｋ，ｉ，ｊ）と表現されることもある。ここで、ｋは０以上ｋｍａｘ以下の値を取り得る変数である。また、レベルｋの注目低周波画像１２−ｋはＬＦ（０，ｋ）と表現され、レベルｋの注目低周波画像１２−ｋの座標（ｉ，ｊ）の画素値はＬＦ（０，ｋ，ｉ，ｊ）と表現されることもある。尚、注目フレーム１０は、レベル０の注目低周波画像１２−０とみなすことができる。即ち、注目フレーム１０はＬＦ（０，０）と表現され、注目フレーム１０の座標（ｉ，ｊ）の画素値はＬＦ（０，０，ｉ，ｊ）と表現される。

サブバンド分解部３０２は、参照フレーム２０を外部から入力する。サブバンド分解部３０２は、例えばウェーブレット変換を用いて参照フレーム２０を２つのサブバンド成分に分解する。具体的には、サブバンド分解部３０２は、参照フレーム２０をレベル１の参照高周波画像２１−１及びレベル１の参照低周波画像２２−１に分解する。尚、参照高周波画像２１−１は前述の参照高周波画像２１と同一または類似である。サブバンド分解部３０２は、参照高周波画像２１−１を重み係数算出部３１０及び高周波画像合成部３２０へと出力する。また、サブバンド分解部３０２は、第２回目のサブバンド分解のために、参照低周波画像２２−１を自己にフィードバック出力する。

更に、サブバンド分解部３０２は、第２，・・・，ｋｍａｘ−１回目のサブバンド分解のために、レベル１，・・・，ｋｍａｘ−２の参照低周波画像２２−１，・・・，２２−（ｋｍａｘ−２）をフィードバック入力する。サブバンド分解部３０２は、参照低周波画像２２−１，・・・，２２−（ｋｍａｘ−２）の各々を２つのサブバンド成分に分解する。具体的には、サブバンド分解部３０２は、参照低周波画像２２−１，・・・，２２−（ｋｍａｘ−２）の各々をレベル２，・・・，ｋｍａｘ−１の参照高周波画像２１−２，・・・，２１−（ｋｍａｘ−１）及び参照低周波画像２２−２，・・・，２２−（ｋｍａｘ−１）に分解する。サブバンド分解部３０２は、参照高周波画像２１−２，・・・，２１−（ｋｍａｘ−１）を重み係数算出部３１０及び高周波画像合成部３２０へと出力する。また、サブバンド分解部３０２は、第３，・・・，ｋｍａｘ回目のサブバンド分解のために、参照低周波画像２２−２，・・・，２２−（ｋｍａｘ−１）を自己にフィードバック出力する。

更に、サブバンド分解部３０２は、第ｋｍａｘ回目のサブバンド分解のために、レベルｋｍａｘ−１の参照低周波画像２２−（ｋｍａｘ−１）をフィードバック入力する。サブバンド分解部３０２は、参照低周波画像２２−（ｋｍａｘ−１）を分解し、レベルｋｍａｘの参照高周波画像２１−ｋｍａｘを得る。但し、レベルｋｍａｘの参照低周波画像は本実施形態において不要であるので、サブバンド分解部３０２は必ずしも参照低周波画像２２−（ｋｍａｘ−１）からレベルｋｍａｘの参照低周波画像を抽出しない。サブバンド分解部３０２は、参照高周波画像２１−ｋｍａｘを重み係数算出部３１０及び高周波画像合成部３２０へと出力する。

以降の説明において、レベルｋの参照高周波画像２１−ｋはＨＦ（ｍ，ｋ）と表現され、参照高周波画像２１−ｋの座標（ｉ，ｊ）の画素値はＨＦ（ｍ，ｋ，ｉ，ｊ）と表現されることもある。また、レベルｋの参照低周波画像２２−ｋはＬＦ（ｍ，ｋ）と表現され、レベルｋの参照低周波画像２２−ｋの座標（ｉ，ｊ）の画素値はＬＦ（ｍ，ｋ，ｉ，ｊ）と表現されることもある。尚、参照フレーム２０は、レベル０の参照低周波画像２２−０とみなすことができる。即ち、参照フレーム２０はＬＦ（ｍ，０）と表現され、参照フレーム２０の座標（ｉ，ｊ）の画素値はＬＦ（ｍ，ｉ，ｊ）＝ＬＦ（ｍ，０，ｉ，ｊ）と表現される。

重み係数算出部３１０は、注目高周波画像１１−１をサブバンド分解部３０１から入力し、参照高周波画像２１−１をサブバンド分解部３０２から入力する。更に、重み係数算出部３１０は、レベル２，・・・，ｋｍａｘの注目高周波画像１１−２，・・・，１１−ｋｍａｘをサブバンド分解部３０１から入力し、レベル２，・・・，ｋｍａｘの参照高周波画像２１−２，・・・，２１−ｋｍａｘをサブバンド分解部３０２から入力する。重み係数算出部３１０は、レベルｋ（ｋ＝１，・・・，ｋｍａｘ）の注目高周波画像１１−ｋ内の各画素に対して、当該画素を中心とする時空間ブロック内の自己相関関数を算出する。更に、重み係数算出部３１０は、自己相関関数の原点の値に対する原点の周囲における代表値の比の絶対値を算出することによって、レベルｋの重み係数３０−ｋを得る。重み係数算出部３１０は、レベルｋの重み係数３０−ｋを高周波画像合成部３２０へと出力する。

重み係数算出部３１０において使用される時空間ブロックは、レベルｋの注目高周波画像１１−ｋ内の注目画素を中心とする複数の画素の集合であり、注目高周波画像１１−ｋ及びレベルｋの参照高周波画像２１−ｋに亘って形成される。自己相関関数の原点の周囲における代表値は、例えば原点以外において最大の絶対値を持つ値である。以降の説明において、参照高周波画像２１−ｋ（ＨＦ（ｍ，ｋ））に基づくレベルｋの重み係数３０−ｋはＡＣＦｐｋｒ（ｍ，ｋ）と表現され、座標（ｉ，ｊ）の重み係数３０−ｋの値はＡＣＦｐｋｒ（ｍ，ｋ，ｉ，ｊ）と表現されることもある。具体的には、重み係数算出部３１０は、任意の注目画素を中心とする時空間ブロック内の自己相関関数を下記数式（７）に従って算出できる。

尚、自己相関関数は注目画素毎に算出されるので、以降の説明において、レベルｋの参照高周波画像２１−ｋ（ＨＦ（ｍ，ｋ））に基づく、座標（ｉ，ｊ）の注目画素に対応する自己相関関数をＲ_ｍｋｉｊ（ｓ，ｔ，ｕ）と表すものとする。自己相関関数の原点の値はＲ_ｍｋｉｊ（０，０，０）で表され、これはＲ_ｍｋｉｊ（ｓ，ｔ，ｕ）の最大値を示す。原点の周囲において最大の絶対値を持つ代表値は、Ｒ_ｍｋｉｊ（ｓ_ｒ，ｔ_ｒ，ｕ_ｒ）で表すことができる。即ち、重み係数算出部３１０は、レベルｋの参照高周波画像２１−ｋ（ＨＦ（ｍ，ｋ））に基づく、座標（ｉ，ｊ）の注目画素に対応する重み係数３０−ｋを下記数式（８）に従って算出できる。

注目画素の画素値におけるノイズ成分の寄与度が大きいほどレベルｋの重み係数３０−ｋは小さくなりやすい。他方、注目画素の画素値における信号成分（被写体の本来の信号成分）の寄与度が大きいほど重み係数３０−ｋは大きくなりやすい。従って、係る重み係数３０−ｋを用いて注目高周波画像１１−ｋ及び参照高周波画像２１−ｋを重み付き平均化することによって、信号成分を維持しつつノイズ成分を低減することが可能となる。

高周波画像合成部３２０は、サブバンド分解部３０１からレベル１，・・・，ｋｍａｘの注目高周波画像１１−１，・・・，１１−ｋｍａｘを入力し、サブバンド分解部１０２からレベル１，・・・，ｋｍａｘの参照高周波画像２１−１，・・・，２１−ｋｍａｘを入力し、重み係数算出部１１０からレベル１，・・・，ｋｍａｘの重み係数３０−１，・・・，３０−ｋｍａｘを入力する。高周波画像合成部３２０は、レベルｋの重み係数３０−ｋを用いて注目高周波画像１１−ｋ及び参照高周波画像２１−ｋを重み付き平均化することにより、合成高周波画像４０−ｋを得る。高周波画像合成部３２０は、レベル１，・・・，ｋｍａｘの合成高周波画像４０−１，・・・，４０−ｋｍａｘを加算部３３０へと出力する。

具体的には、高周波画像合成部３２０は、下記数式（９）に示される演算を行ってもよい。数式（９）の演算によれば、レベルｋの重み係数３０−ｋが小さいほど参照高周波画像２１−ｋには大きな重みが与えられ、注目高周波画像１１−ｋと平均化される。以降の説明において、レベルｋの合成高周波画像４０−ｋはＨＦＣ（ｋ）と表現され、合成高周波画像４０−ｋの座標（ｉ，ｊ）の画素値はＨＦＣ（ｋ，ｉ，ｊ）と表現されることもある。

加算部３３０は、レベルｋｍａｘの注目低周波画像１２−ｋｍａｘをサブバンド分解部３０１から入力し、レベル１，・・・，ｋｍａｘの合成高周波画像４０−１，・・・，４０−ｋｍａｘを高周波画像合成部３２０から入力する。加算部３３０は、注目低周波画像１２−ｋｍａｘと合成高周波画像４０−１，・・・，４０−ｋｍａｘとを加算することによって、出力画像５２を得る。加算部３３０は、出力画像５２を外部へと供給する。

図６には、図３の画像処理装置によって行われる画像処理の一例が描かれている。図６の例において、ｋｍａｘ＝２であり、ｍ＝−１である。
以下、図５を用いて図３の画像処理装置によって行われる画像処理が説明される。尚、図５に示される処理ステップの順序は一例であり、各処理ステップは依存関係がない限り任意の順序で実行されてよい。図５の画像処理はステップＳ５０１から開始する。ステップＳ５０１において、変数ｋに０が代入され、処理はステップＳ５０２へと進む。

ステップＳ５０２において、サブバンド分解部３０１及びサブバンド分解部３０２は、レベルｋの注目低周波画像１２−ｋ及びレベルｋの参照低周波画像２２−ｋをそれぞれ取り込む。サブバンド分解部３０１及びサブバンド分解部３０２は、ステップＳ５０２において得られた注目低周波画像１２−ｋ及び参照低周波画像２２−ｋをそれぞれサブバンド分解する（ステップＳ５０３）。

重み係数算出部３１０は、ステップＳ５０３において得られたレベルｋ＋１の注目高周波画像１１−（ｋ＋１）内の各画素に対して、当該画素を中心とする時空間ブロック内の自己相関関数を算出する（ステップＳ５０４）。尚、前述の通り、時空間ブロックは注目高周波画像１１−（ｋ＋１）及びステップＳ５０３において得られたレベルｋ＋１の参照高周波画像２１−（ｋ＋１）に亘って形成される。重み係数算出部３１０は、ステップＳ５０４において算出された自己相関関数の原点の値に対する周囲の代表値の比の絶対値を算出することによって、レベルｋ＋１の重み係数３０−（ｋ＋１）を得る（ステップＳ５０５）。尚、前述の通り、周囲の代表値とは、例えば、原点以外で最大の絶対値を持つ値である。

高周波画像合成部３２０は、ステップＳ５０５において得られたレベルｋ＋１の重み係数３０−（ｋ＋１）に基づいて（例えば、上記数式（９）に従って）、レベルｋ＋１の注目高周波画像１１−（ｋ＋１）及びレベルｋ＋１の参照高周波画像２１−（ｋ＋１）の各画素値を重み付き平均化することにより、レベルｋ＋１の合成高周波画像４０−（ｋ＋１）を得る（ステップＳ５０６）。ステップＳ５０６の終了時にｋ＋１がｋｍａｘ未満であれば処理はステップＳ５０８へと進み、そうでなければ処理はステップＳ５０９へと進む。ステップＳ５０８において、ｋは１だけインクリメントされ、処理はステップＳ５０２へと戻る。

ステップＳ５０９において、加算部３３０は、ステップＳ５０３において得られたレベルｋｍａｘの注目低周波画像１２−ｋｍａｘと、ステップＳ５０６において得られたレベル１，・・・，ｋｍａｘの合成高周波画像４０−１，・・・，４０−ｋｍａｘとを加算することによって、出力画像５２を得る。ステップＳ５０９の完了によって、図５の画像処理は終了する。

以上説明したように、第３の実施形態に係る画像処理装置は、注目フレーム及び参照フレームを３以上のサブバンド成分に分解することを許容し、レベルｋの注目高周波画像毎に時空間ブロック内の自己相関関数に基づいてレベルｋの重み係数を算出する。そして、この画像処理装置は、レベルｋの重み係数に基づいてレベルｋの注目高周波画像及びレベルｋの参照高周波画像を重み付き平均化する。従って、この画像処理装置によれば、ノイズ成分の周波数特性にマッチした画像処理を行うことができるので、ノイズ成分が更に低減する。

尚、本実施形態に対して、様々な変形例が想定できる。例えば、時空間ブロックを形成する前に動き補償が行われてもよい。即ち、レベルｋ（ｋ＝１，・・・，ｋｍａｘ）の注目高周波画像と動き補償されたレベルｋの参照高周波画像とに亘って時空間ブロックが形成されてよい。また、時空間ブロックのサイズ及び形状は任意である。例えば、注目画素毎に時空間ブロックのサイズまたは形状が変更されてもよいし、注目画素毎にサイズまたは形状が相異なる複数の時空間ブロックに基づいて重み係数が算出されてもよい。

（第４の実施形態）
第４の実施形態において、前述の第２の実施形態及び第３の実施形態が組み合わせられる。即ち、第４の実施形態に係る画像処理装置は、注目フレーム及び２枚以上の参照フレームを３以上のサブバンド成分に分解してノイズ低減処理を行う。

（第５の実施形態）
第５の実施形態に係る画像処理装置は、前述の第１、第２、第３または第４の実施形態に係る画像処理装置と同一または類似の画像処理を複数回に亘って繰り返し試行する。画像処理を複数回に亘って繰り返し試行することによって、注目フレーム１０のノイズ成分を段階的に低減することができる。具体的には、第２回目以降の画像処理は、前回の画像処理によって得られた出力画像５０（または５１，５２）が注目フレーム１０に置き換わって処理される。

画像処理の試行回数は予め決定されていてもよいし、ある基準に従って繰り返しに対する終了判定が行われてもよい。例えば、試行回数の上限が予め決定されている場合には、画像処理の試行回数が係る上限に達した場合に画像処理の繰り返しの終了が決定されてよい。或いは、重み係数３０（３０−ｋまたは３１）に基づいて、ノイズ成分が十分に低減されたかを評価し、この評価結果を基準に画像処理の繰り返しに対する終了判定を行うこともできる。例えば、フレーム内の重み係数３０（３０−ｋまたは３１）の代表値（例えば最大値、平均値、中央値、最頻値、最小値など）が閾値以上となった場合に画像処理の繰り返しが終了される。更に、画像処理を繰り返す場合に、種々のパラメータが更新されてもよい。具体的には、時空間ブロックの形状、サイズなどが更新可能である。

以上説明したように、第５の実施形態に係る画像処理装置は、第１、第２、第３または第４の実施形態と同一または類似の画像処理が複数回に亘って試行されることを許容する。従って、この画像処理装置によれば、第１回目の画像処理によってノイズ成分が十分に低減されなかったとしても、第２回目以降の画像処理によってノイズ成分を段階的に低減することができる。

（第６の実施形態）
第６の実施形態に係る外観検査システムは、図１３に示されるように、画像処理装置１００、画像検査装置７００、カメラ７１０及びステージ７２０を含む。
カメラ７１０は、例えばＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子を用いたデジタルカメラである。カメラ７１０は、後述するステージ７２０の上方から、ステージ７２０の上面を電子撮影する。カメラ７１０は、撮像素子によって得られた画素情報をマトリックス状（格子状）に配列して映像化した画像データを生成し、後段の画像処理装置１００に出力する。

ステージ７２０は、外観検査の対象となる被測定物ＯＪ（例えば、液晶パネル、集積回路などの電子部品）を載置するためのテーブル状の平面を有するステージである。被測定物ＯＪは、ステージ７２０においてカメラ７１０によって撮影される範囲に載置される。被測定物ＯＪがステージ７２０上で静止した状態で、カメラ７１０による撮影が行われる。

画像処理装置１００は、カメラ７１０によって得られた画像データに対して、第１、第２、第３、第４または第５の実施形態と同一または類似の画像処理を施す。例えば、画像処理装置１００は、図１、図２または図３の画像処理装置と同一または類似の構成を備える。即ち、画像処理装置１００は、カメラ７１０によって撮影された２枚分（或いは３枚以上）の画像データを注目フレーム１０、参照フレーム２０（または６０など）などとしてそれぞれ取り込み、画像処理を行って出力画像５０（または５１，５２）を得る。画像処理装置１００は、出力画像５０（または５１，５２）を画像検査装置７００に供給する。

画像検査装置７００は、画像処理装置１００によってノイズ低減された画像を検査画像として入力する。画像検査装置７００は、検査画像の画像解析を行う。画像検査装置７００は、係る画像解析の結果、被測定物ＯＪの異常（例えば、被測定物ＯＪの欠陥、被測定物ＯＪに付着した異物など）を検出する。

以上説明したように、第６の実施形態に係る外観検査システムは、第１、第２、第３、第４または第５の実施形態に係る画像処理装置と同一または類似の画像処理を行って検査画像を得る。従って、本実施形態に係る外観検査システムによれば、注目フレームの信号成分が維持され、かつ、ノイズ成分が低減された検査画像を利用できるので、高精度な検査が可能となる。

（第７の実施形態）
第７の実施形態に係るＸ線検査システムは、図１４に示されるように、画像処理装置１００、画像検査装置８００、Ｘ線源８１０、カーボンステージ８２０及びＸ線イメージセンサ８３０を含む。

カーボンステージ８２０は、Ｘ線検査の対象となる被測定物ＯＪを載置するためのテーブル状の平面を有するステージである。被測定物ＯＪは、カーボンステージ８２０においてＸ線源８１０によってＸ線が照射される範囲に載置される。被測定物ＯＪがカーボンステージ８２０上で静止した状態で、Ｘ線源８１０及びＸ線イメージセンサ８３０によるＸ線撮影が行われる。

Ｘ線源８１０は、カーボンステージ８２０に載置された被測定物ＯＪに対してＸ線を照射する。Ｘ線イメージセンサ８３０は、Ｘ線源８１０によって照射されて被測定物ＯＪを透過したＸ線を検出し、画像データを生成する。Ｘ線イメージセンサ８３０は、画像データを後段の画像処理装置１００に出力する。

画像処理装置１００は、Ｘ線イメージセンサ８３０によって得られた画像データに対して、第１、第２、第３、第４または第５の実施形態と同一または類似の画像処理を施す。例えば、画像処理装置１００は図１、図２または図３の画像処理装置と同一または類似の構成を備える。即ち、画像処理装置１００は、Ｘ線イメージセンサ８３０によって撮影された２枚（或いは、３枚以上）の画像データを注目フレーム１０、参照フレーム２０（または６０）としてそれぞれ取り込み、画像処理を行って出力画像５０（または５１，５２）を得る。画像処理装置１００は、出力画像５０（または５１，５２）を画像検査装置８００に供給する。

画像検査装置８００は、画像処理装置１００によってノイズ低減された画像を検査画像として入力する。画像検査装置８００は、検査画像の画像解析を行う。画像検査装置８００は、係る画像解析の結果、被測定物ＯＪの異常を検出する。

以上説明したように、第７の実施形態に係るＸ線検査システムは、第１、第２、第３、第４または第５の実施形態に係る画像処理装置と同一または類似の画像処理を行って検査画像を得る。従って、本実施形態に係るＸ線検査システムによれば、注目フレームの信号成分が維持され、かつ、ノイズ成分が低減された検査画像を利用できるので、高精度な検査が可能となる。

尚、本実施形態に係るＸ線検査システムを医療診断などのために適用し、人間（例えば医師）が検査画像の解析を行う場合も考えられる。係る場合には、画像検査装置８００は不要である。人間が検査画像の解析を行う場合にも、信号成分が維持され、かつ、ノイズ成分が低減された検査画像を利用できるので、高精度な検査が可能となることは明らかである。

（第８の実施形態）
前述の第１、第２、第３、第４または第５の実施形態に係る画像処理装置は、Ｘ線ＣＴシステム、監視カメラシステム、超音波検査システムなどの種々のシステムにおいて撮影画像に画像処理を施してもよい。尚、Ｘ線ＣＴシステムに各実施形態に係る画像処理装置を適用する場合には、例えば図１５に示されるように、撮影された複数の断面画像の各々をフレームとみなせばよい。また、フレームを識別するためのインデックスは、例えば各断面画像の撮影位置に基づいて定めればよい。

上記各実施形態の処理は、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。上記各実施形態の処理を実現するプログラムは、コンピュータで読み取り可能な記憶媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記憶媒体に記憶される。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記憶媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０・・・注目フレーム、１１・・・注目高周波画像、１２・・・注目低周波画像、２０，６０・・・参照フレーム、２１，６１・・・参照高周波画像、３０，３１・・・重み係数、４０，４１・・・合成高周波画像、５０，５１，５２・・・出力画像、１００・・・画像処理装置、１０１，１０２，２０３，３０１，３０２・・・サブバンド分解部、１１０，２１１，３１０・・・重み係数算出部、１２０，２２０，３２０・・・高周波画像合成部、１３０，２３０，３３０・・・加算部、７００，８００・・・画像検査装置、７１０・・・カメラ、７２０・・・ステージ、８１０・・・Ｘ線源、８２０・・・カーボンステージ、８３０・・・Ｘ線イメージセンサ

Claims (9)

1. 注目フレームをレベル１の第１の低周波画像及びレベル１の第１の高周波画像に分解する第１の分解部と、
   第１の参照フレームを分解し、レベル１の第２の高周波画像を得る第２の分解部と、
   前記レベル１の第１の高周波画像内の各画素に対して、当該画素を中心として前記レベル１の第１の高周波画像及び前記レベル１の第２の高周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、当該自己相関関数の原点の値に対する前記原点以外における最大の絶対値に基づく代表値の比の絶対値を算出することによって、レベル１の第１の重み係数を生成する第１の算出部と、
   前記レベル１の第１の高周波画像に対して少なくとも前記レベル１の第２の高周波画像を前記レベル１の第１の重み係数に基づいて合成することによって、レベル１の合成高周波画像を生成する合成部と、
   少なくとも前記レベル１の合成高周波画像を用いて出力画像を得る加算部と
   を具備し、
   前記第１の分解部は、前記レベル１の第１の低周波画像をレベル２の第１の低周波画像及びレベル２の第１の高周波画像に分解し、
   前記第２の分解部は、前記第１の参照フレームをレベル１の第２の低周波画像及び前記レベル１の第２の高周波画像に分解し、前記レベル１の第２の低周波画像を分解してレベル２の第２の高周波画像を得て、
   前記第１の算出部は、前記レベル２の第１の高周波画像内の各画素に対して、当該画素を中心として前記レベル２の第１の高周波画像及び前記レベル２の第２の高周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、当該自己相関関数の原点の値に対する前記原点以外における最大の絶対値に基づく代表値の比の絶対値を算出することによって、レベル２の第１の重み係数を生成し、
   前記合成部は、前記レベル２の第１の高周波画像に対して少なくとも前記レベル２の第２の高周波画像を前記レベル２の第１の重み係数に基づいて合成することによって、レベル２の合成高周波画像を生成し、
   前記加算部は、少なくとも前記レベル１の合成高周波画像及び前記レベル２の合成高周波画像を用いて前記出力画像を得る、
   画像処理装置。
2. 第２の参照フレームをレベル１の第３の低周波画像及びレベル１の第３の高周波画像に分解し、前記レベル１の第３の低周波画像を分解してレベル２の第３の高周波画像を得る第３の分解部と、
   前記レベル１の第１の高周波画像内の各画素に対して、当該画素を中心として前記レベル１の第１の高周波画像及び前記レベル１の第３の高周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、当該自己相関関数の原点の値に対する前記原点以外における最大の絶対値に基づく代表値の比の絶対値を算出することによって、レベル１の第２の重み係数を生成し、前記レベル２の第１の高周波画像内の各画素に対して、当該画素を中心として前記レベル２の第１の高周波画像及び前記レベル２の第３の高周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、当該自己相関関数の原点の値に対する前記原点以外における最大の絶対値に基づく代表値の比の絶対値を算出することによって、レベル２の第２の重み係数を生成する第２の算出部と
   を更に具備し、
   前記合成部は、前記レベル１の第１の高周波画像に対して前記レベル１の第３の高周波画像を前記レベル１の第２の重み係数に基づいて更に合成することによって、前記レベル１の合成高周波画像を生成し、前記レベル２の第１の高周波画像に対して前記レベル２の第３の高周波画像を前記レベル２の第２の重み係数に基づいて更に合成することによって、前記レベル２の合成高周波画像を生成する、
   請求項１の画像処理装置。
3. 注目フレームをレベル１の第１の低周波画像及びレベル１の第１の高周波画像に分解する第１の分解部と、
   第１の参照フレームを分解し、レベル１の第２の高周波画像を得る第２の分解部と、
   前記レベル１の第１の高周波画像内の各画素に対して、当該画素を中心として前記レベル１の第１の高周波画像及び前記レベル１の第２の高周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、当該自己相関関数の原点の値に対する前記原点以外における最大の絶対値に基づく代表値の比の絶対値を算出することによって、レベル１の第１の重み係数を生成する第１の算出部と、
   前記レベル１の第１の高周波画像に対して少なくとも前記レベル１の第２の高周波画像を前記レベル１の第１の重み係数に基づいて合成することによって、レベル１の合成高周波画像を生成する合成部と、
   少なくとも前記レベル１の合成高周波画像を用いて出力画像を得る加算部と
   を具備し、
   前記第１の分解部は、レベルｋ−１（ｋ＝２，・・・，ｋｍａｘ−１であり、ｋｍａｘは３以上の整数である）の第１の低周波画像をレベルｋの第１の低周波画像及びレベルｋの第１の高周波画像に分解し、レベルｋｍａｘ−１の第１の低周波画像をレベルｋｍａｘの第１の低周波画像及びレベルｋｍａｘの第１の高周波画像に分解し、
   前記第２の分解部は、前記第１の参照フレームをレベル１の第２の低周波画像及び前記レベル１の第２の高周波画像に分解し、レベルｋ−１の第２の低周波画像をレベルｋの第２の低周波画像及びレベルｋの第２の高周波画像に分解し、レベルｋｍａｘ−１の第２の低周波画像を分解してレベルｋｍａｘの第２の高周波画像を得て、
   前記第１の算出部は、前記レベルｋの第１の高周波画像内の各画素に対して、当該画素を中心として前記レベルｋの第１の高周波画像及び前記レベルｋの第２の高周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、当該自己相関関数の原点の値に対する前記原点以外における最大の絶対値に基づく代表値の比の絶対値を算出することによって、レベルｋの第１の重み係数を生成し、前記レベルｋｍａｘの第１の高周波画像内の各画素に対して、当該画素を中心として前記レベルｋｍａｘの第１の高周波画像及び前記レベルｋｍａｘの第２の高周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、当該自己相関関数の原点の値に対する前記原点以外における最大の絶対値に基づく代表値の比の絶対値を算出することによって、レベルｋｍａｘの第１の重み係数を生成し、
   前記合成部は、前記レベルｋの第１の高周波画像に対して少なくとも前記レベルｋの第２の高周波画像を前記レベルｋの第１の重み係数に基づいて合成することによって、レベルｋの合成高周波画像を生成し、前記レベルｋｍａｘの第１の高周波画像に対して少なくとも前記レベルｋｍａｘの第２の高周波画像を前記レベルｋｍａｘの第１の重み係数に基づいて合成することによって、レベルｋｍａｘの合成高周波画像を生成し、
   前記加算部は、前記レベル１の合成高周波画像、前記レベルｋの合成高周波画像、前記レベルｋｍａｘの合成高周波画像及び前記レベルｋｍａｘの第１の低周波画像を加算することによって、前記出力画像を得る、
   画像処理装置。
4. 第２の参照フレームをレベル１の第３の低周波画像及びレベル１の第３の高周波画像に分解し、レベルｋ−１の第３の低周波画像をレベルｋの第３の低周波画像及びレベルｋの第３の高周波画像に分解し、レベルｋｍａｘ−１の第３の低周波画像を分解してレベルｋｍａｘの第３の高周波画像を得る第３の分解部と、
   前記レベル１の第１の高周波画像内の各画素に対して、当該画素を中心として前記レベル１の第１の高周波画像及び前記レベル１の第３の高周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、当該自己相関関数の原点の値に対する前記原点以外における最大の絶対値に基づく代表値の比の絶対値を算出することによって、レベル１の第２の重み係数を生成し、前記レベルｋの第１の高周波画像内の各画素に対して、当該画素を中心として前記レベルｋの第１の高周波画像及び前記レベルｋの第３の高周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、当該自己相関関数の原点の値に対する前記原点以外における最大の絶対値に基づく代表値の比の絶対値を算出することによって、レベルｋの第２の重み係数を生成し、前記レベルｋｍａｘの第１の高周波画像内の各画素に対して、当該画素を中心として前記レベルｋｍａｘの第１の高周波画像及び前記レベルｋｍａｘの第３の高周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、当該自己相関関数の原点の値に対する前記原点以外における最大の絶対値に基づく代表値の比の絶対値を算出することによって、レベルｋｍａｘの第２の重み係数を生成する第２の算出部と
   更に具備し、
   前記合成部は、前記レベル１の第１の高周波画像に対して前記レベル１の第３の高周波画像を前記レベル１の第２の重み係数に基づいて更に合成することによって、前記レベル１の合成高周波画像を生成し、前記レベルｋの第１の高周波画像に対して前記レベルｋの第３の高周波画像を前記レベルｋの第２の重み係数に基づいて更に合成することによって、前記レベルｋの合成高周波画像を生成し、前記レベルｋｍａｘの第１の高周波画像に対して前記レベルｋｍａｘの第３の高周波画像を前記レベルｋｍａｘの第２の重み係数に基づいて更に合成することによって、前記レベルｋｍａｘの合成高周波画像を生成する、
   請求項３の画像処理装置。
5. 前記出力画像が前記注目フレームに置き換わって繰り返し入力される、請求項１または請求項３の画像処理装置。
6. 前記注目フレーム及び前記第１の参照フレームは、共通の被写体を撮影することによって生成される、請求項１または請求項３の画像処理装置。
7. 前記注目フレーム及び前記第１の参照フレームは、共通の被写体をＸ線撮影することによって生成される、請求項１または請求項３の画像処理装置。
8. 注目フレームをレベル１の第１の低周波画像及びレベル１の第１の高周波画像に分解することと、
   第１の参照フレームを分解し、レベル１の第２の高周波画像を得ることと、
   前記レベル１の第１の高周波画像内の各画素に対して、当該画素を中心として前記レベル１の第１の高周波画像及び前記レベル１の第２の高周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、当該自己相関関数の原点の値に対する前記原点以外における最大の絶対値に基づく代表値の比の絶対値を算出することによって、レベル１の第１の重み係数を生成することと、
   前記レベル１の第１の高周波画像に対して少なくとも前記レベル１の第２の高周波画像を前記レベル１の第１の重み係数に基づいて合成することによって、レベル１の合成高周波画像を生成することと、
   前記レベル１の第１の低周波画像をレベル２の第１の低周波画像及びレベル２の第１の高周波画像に分解することと、
   前記第１の参照フレームをレベル１の第２の低周波画像及び前記レベル１の第２の高周波画像に分解し、前記レベル１の第２の低周波画像を分解してレベル２の第２の高周波画像を得ることと、
   前記レベル２の第１の高周波画像内の各画素に対して、当該画素を中心として前記レベル２の第１の高周波画像及び前記レベル２の第２の高周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、当該自己相関関数の原点の値に対する前記原点以外における最大の絶対値に基づく代表値の比の絶対値を算出することによって、レベル２の第１の重み係数を生成することと、
   前記レベル２の第１の高周波画像に対して少なくとも前記レベル２の第２の高周波画像を前記レベル２の第１の重み係数に基づいて合成することによって、レベル２の合成高周波画像を生成することと、
   少なくとも前記レベル１の合成高周波画像及び前記レベル２の合成高周波画像を用いて出力画像を得ることと
   を具備する、画像処理方法。
9. 注目フレームをレベル１の第１の低周波画像及びレベル１の第１の高周波画像に分解することと、
   第１の参照フレームを分解し、レベル１の第２の高周波画像を得ることと、
   前記レベル１の第１の高周波画像内の各画素に対して、当該画素を中心として前記レベル１の第１の高周波画像及び前記レベル１の第２の高周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、当該自己相関関数の原点の値に対する前記原点以外における最大の絶対値に基づく代表値の比の絶対値を算出することによって、レベル１の第１の重み係数を生成することと、
   前記レベル１の第１の高周波画像に対して少なくとも前記レベル１の第２の高周波画像を前記レベル１の第１の重み係数に基づいて合成することによって、レベル１の合成高周波画像を生成することと、
   レベルｋ−１（ｋ＝２，・・・，ｋｍａｘ−１であり、ｋｍａｘは３以上の整数である）の第１の低周波画像をレベルｋの第１の低周波画像及びレベルｋの第１の高周波画像に分解し、レベルｋｍａｘ−１の第１の低周波画像をレベルｋｍａｘの第１の低周波画像及びレベルｋｍａｘの第１の高周波画像に分解することと、
   前記第１の参照フレームをレベル１の第２の低周波画像及び前記レベル１の第２の高周波画像に分解し、レベルｋ−１の第２の低周波画像をレベルｋの第２の低周波画像及びレベルｋの第２の高周波画像に分解し、レベルｋｍａｘ−１の第２の低周波画像を分解してレベルｋｍａｘの第２の高周波画像を得ることと、
   前記レベルｋの第１の高周波画像内の各画素に対して、当該画素を中心として前記レベルｋの第１の高周波画像及び前記レベルｋの第２の高周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、当該自己相関関数の原点の値に対する前記原点以外における最大の絶対値に基づく代表値の比の絶対値を算出することによって、レベルｋの第１の重み係数を生成し、前記レベルｋｍａｘの第１の高周波画像内の各画素に対して、当該画素を中心として前記レベルｋｍａｘの第１の高周波画像及び前記レベルｋｍａｘの第２の高周波画像に亘って形成される時空間ブロック内の自己相関関数を算出し、当該自己相関関数の原点の値に対する前記原点以外における最大の絶対値に基づく代表値の比の絶対値を算出することによって、レベルｋｍａｘの第１の重み係数を生成することと、
   前記レベルｋの第１の高周波画像に対して少なくとも前記レベルｋの第２の高周波画像を前記レベルｋの第１の重み係数に基づいて合成することによって、レベルｋの合成高周波画像を生成し、前記レベルｋｍａｘの第１の高周波画像に対して少なくとも前記レベルｋｍａｘの第２の高周波画像を前記レベルｋｍａｘの第１の重み係数に基づいて合成することによって、レベルｋｍａｘの合成高周波画像を生成することと、
   前記レベル１の合成高周波画像、前記レベルｋの合成高周波画像、前記レベルｋｍａｘの合成高周波画像及び前記レベルｋｍａｘの第１の低周波画像を加算することによって、出力画像を得ることと
   を具備する、画像処理方法。

Images