JP5132198B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に多重解像度解析処理を行う画像処理装置に用いて好適なものである。

Ｘ線透視画像は、被爆の観点から非常に弱い線量で撮影が行われるため、得られる撮影画像には量子ノイズが多く重畳している。このノイズを空間的な平滑化処理のみで取り除くことは困難なため、従来、画像中の各画素を時間方向に平滑化するリカーシブフィルタ処理（フレーム間ノイズ低減処理とも言う）を適用して、量子ノイズの多い画像に対しノイズの低減を図ってきた。リカーシブフィルタ処理は、複数枚の静止画に対しては非常に有効なノイズ低減手法であるが、動画像に対しては残像が発生し必ずしも有効な手法とは言えなかった。

そこで、残像感が少なく、ノイズ低減が十分に行われた鮮明な動画像を表示できるようにするデジタルＸ線装置が提案されている（特許文献１参照）。特許文献１には、分離回路部、フィルタ回路部、及び加算回路部とを具備することにより、残像感の少ないノイズ低減処理の実現を図ったデジタルＸ線装置が記載されている。特許文献１における分離回路部は、Ｘ線透視画像に対してフレーム毎に低周波成分の画像と高周波成分の画像とに分離し、フィルタ回路部は、高周波成分の画像にリカーシブフィルタ処理を施す。また、加算回路部は、分離された低周波成分の画像とフィルタ回路部を経た高周波成分の画像とを加算する。

また、アナログビデオテープレコーダの再生画像とリカーシブフィルタ画像の差分信号を生成した後、その差分信号からノイズ信号を抽出して再生動画像から減算することによりノイズを低減するノイズリデューサが提案されている（特許文献２参照）。ここでは、画像の動きを簡易な方法で検出し、静止画における場合と動画像における場合とでノイズ低減量を変化させることによって、残像感の少ないノイズ低減処理を行っている。

特開平１−２７３４８７号公報 特許第３１５８３７１号公報

以下、従来のリカーシブフィルタ処理に係る基本的な構成と動作を示し、本発明が解決しようとする課題を明確にする。
図１３は、リカーシブフィルタ処理を行うための従来のフレーム間ノイズ低減処理部の構成を示す図である。図１３に示すように、フレーム間ノイズ低減処理部は、フレームメモリ１３０１、減算器１３０２、１３０４、及び非線形処理部１３０３を有する。

フレームメモリ１３０１は、ノイズ低減処理結果を保持する。フレームメモリ１３０１に保持したノイズ低減処理結果を１フレーム遅延させて、入力フレーム画像のノイズ低減処理における基準画像とする。減算器１３０２は、入力される入力フレーム画像から、フレームメモリ１３０１より供給される基準画像を減算し、減算結果を非線形処理部１３０３に出力する。

非線形処理部１３０３は、減算器１３０２からの減算結果（差分信号）に非線形処理を施し、振幅の小さなノイズ信号を抽出する。減算器１３０４は、入力される入力フレーム画像から、非線形処理部１３０３で抽出されたノイズ信号を減算することにより入力フレーム画像のノイズ低減を行い、処理結果を出力するとともにフレームメモリ１３０１に格納する。

ここで、一般にフレーム間ノイズ低減処理においては、ノイズ低減量と動きのボケは相反する関係にある。フレーム間ノイズ低減処理においてノイズ低減量を増やすと動いている部分がボケやすくなり、動きのボケを小さくしようとすると、ノイズ低減量を減らす必要がある。

図１３に示したフレーム間ノイズ低減処理部では、ノイズ低減処理後の画像における動きによるボケを小さくするためにノイズ低減量を減らすと、ノイズがあまり低減されることなく、残留ノイズの多いフレーム画像が基準画像になる。そのため、次の入力フレーム画像のノイズ低減処理に悪影響を与えてしまう。

以下、残留ノイズによるノイズ低減処理への影響について説明する。
図１４に、基準画像にノイズがない場合のフレーム間ノイズ低減処理の結果を示し、図１５に、基準画像にノイズが残留した場合のフレーム間ノイズ低減処理の結果を示す。

図１４においては、基準画像にノイズがない場合を想定しているため、図１４（ａ）に示すように基準画像のレベルは変動せずに一定した状態にあると仮定する（なお、各画素のレベルはここでは無視する。）。ここに、図１４（ｂ）に示すノイズを含んだ入力画像が与えられると、図１４（ａ）に示した基準画像との画素毎の差が減算器１３０２において求められ、図１４（ｃ）に示す差分信号として得られる。

図１４（ｃ）に示した差分信号から、非線形処理部１３０３において振幅レベルが閾値（Ｔｈ）以下の小さな信号のみがノイズとして抽出され、図１４（ｄ）に示す信号が得られる。図１４（ｃ）において、振幅の小さな左側の信号１４０１は、すべて閾値（Ｔｈ）以下であるので全面的に抽出されるが、振幅の大きな右側の信号１４０２は閾値（Ｔｈ）より小さい区間と大きな区間があり、閾値（Ｔｈ）より小さな区間のみが抽出される。

このような抽出を行う非線形処理は、図１６に示す入出力特性を持つルックアップテーブル等によって容易に実現できる。図１６に示す入出力特性は、絶対値が閾値（Ｔｈ）以下の信号はそのまま通し、閾値（Ｔｈ）を越える信号をゼロに遮断するものである。この閾値は、ノイズの分布が十分多い範囲のみをカバーするように定められる。ここでは説明の便宜上、非線形処理の概略のみを示しているため、図１６に示す入出力特性は単純な形状をしている。しかし、この入出力特性のままでは閾値以上のノイズが固定化されて減衰しなくなるので、実際の入出力特性は、それを減衰させるように複雑な形状をしている。

図１４（ｂ）に示した入力画像から図１４（ｄ）に示した信号（ノイズ成分）を減算器１３０４において減算した結果が、図１４（ｅ）に示すノイズ低減結果として外部に出力される。また、上述したように、ノイズ低減結果はフレームメモリ１３０１に格納されて、次に入力されるフレーム画像のノイズ低減処理における基準画像となる。
図１４の例では、入力フレーム画像中の閾値（Ｔｈ）を超えるノイズは取り除けないが、閾値以下のノイズはきれいに除去できることを示している。

図１５は、基準画像にノイズが残留した場合を想定している。上述した説明から分かるように、ノイズは振幅が閾値（Ｔｈ）以上である場合に基準画像に残留するため、図１５に示す基準画像には、２つの大きなノイズ１５０１、１５０２が残留していると仮定した。それに対し、図１５（ｂ）に示す入力画像には、振幅の小さなノイズ１５０３が１つのみ、図５に示した基準画像における２つの大きなノイズの右側１５０２に対応した位置に存在するものとする。また、このノイズ１５０３は、非線形処理の結果がノイズ波形の左右で異なるケースを示すため、左右対称の波形ではなく、左半分の振幅を大きくしてある。

図１５（ｂ）に示した入力画像と図１５（ａ）に示した基準画像との画素毎の差が減算器１３０２において求められ、図１５（ｃ）に示す差分信号となる。なお、図１４に示した例とは異なり、図１５（ｃ）においては差分信号の極性がマイナスになっているが、基準画像や入力画像中のノイズの極性を反転すれば、差分信号の極性も反転するため、ここでは信号の極性にあまり意味はない。

図１５（ｃ）に示した差分信号から、非線形処理部１３０３において振幅レベルが閾値（Ｔｈ）以下の期間の信号のみがノイズとして抽出され、図１５（ｄ）に示す信号が得られる。図１５（ｂ）に示した入力画像から図１５（ｄ）に示した信号（ノイズ成分）を減算器１３０４において減算した結果が、図１５（ｅ）に示すノイズ低減結果として外部に出力される。また、ノイズ低減結果はフレームメモリ１３０１に格納されて、次に入力されるフレーム画像のノイズ低減処理における基準画像となる。

図１５に示したように基準画像にノイズが残留すると、入力画像にノイズがない部分にも、図１５（ｄ）に示したように非線形処理部１３０３の出力にノイズが抽出される。この抽出されたノイズを入力画像から減算することによって、図１５（ｅ）に示したようにノイズ低減処理した出力にも、抽出されたノイズが重畳してしまう。すなわち、レベルがある範囲の残留ノイズは、次のフレームでもまた残留ノイズになってしまう。
また、残留ノイズのある画素の入力ノイズは、該残留ノイズの影響を受けノイズ低減の効果がほとんど無いだけでなく、残留ノイズもさらに残りやすくなっている。

ここで、画像を複数の帯域に分解する多重解像度解析で生成した各画像にフレーム間ノイズ低減処理を適用した場合、周波数帯域に応じてノイズ低減量を調整することにより動きによるボケを軽減することができる。しかし、ノイズ低減量を増やすと動きのある領域がボケるといった問題は依然として残る。

したがって、動きによるボケを減らすためにはノイズ低減を弱くする必要があるが、ノイズ低減を弱くしたフレーム画像では残留ノイズが増える。そして、該フレーム画像が次のフレームのノイズ低減処理における基準画像になると、ノイズ残留画素ではノイズ低減が行われないばかりか、残留ノイズも残りやすくなる。
すなわち、従来において、動きによるボケや残像を減らすことを優先して出力画像のノイズ低減量を減らした場合には、動きによるボケが減るだけでなく、次のフレーム画像のノイズ低減効果が小さくなるという問題があった。

本発明は、このような事情に鑑みてなされたものであり、多重解像度解析で生成した画像にフレーム間ノイズ低減処理を適用する際に、動きによるボケや残像を抑制し、かつノイズ低減量を増大できるようにすることを目的とする。

本発明の画像処理装置は、動画像を構成する各フレーム画像を周波数帯域及び画像サイズの異なる複数の画像に分解し、分解した画像に係る係数データに処理を施した後、画像を再構成する多重解像度解析処理を行う画像処理装置であって、前記各フレーム画像を周波数帯域及び画像サイズの異なる複数の画像に分解する分解手段と、前記分解手段により分解した複数の画像の一部あるいは全部に対してフレーム間の相関を利用したノイズ低減処理を行うノイズ低減処理手段と、前記複数の画像に係る係数データを変更する係数変更手段と、前記ノイズ低減処理ないし変更した複数の画像に係る係数データに基づいて元のフレーム画像と同じサイズの画像を再構成する再構成手段とを備え、前記ノイズ低減処理手段は、ノイズ低減処理結果として出力する第１のデータを生成するための第１のノイズ低減手段と、フレーム遅延させる第２のデータを生成するための第２のノイズ低減手段とを有し、前記第２のノイズ低減手段は、次のフレームのノイズ低減処理の基準画像を生成するために、前記第１のノイズ低減手段と異なるノイズ低減処理を行った画像を生成することを特徴とする。
本発明の画像処理装置は、動画像を構成する各フレーム画像を周波数帯域の異なる複数の画像に分解する分解手段と、前記分解手段により分解した画像にフレーム間の相関を利用した第１のノイズ低減処理を施し、ノイズ低減処理結果として出力する第１のデータを生成する第１のノイズ低減手段と、前記分解手段により分解した画像にフレーム間の相関を利用した第２のノイズ低減処理を施し、次のフレームのノイズ低減処理に係る第２のデータを生成する第２のノイズ低減手段と、前記複数の画像に係る係数データを変更する係数変更手段と、前記第１のノイズ低減処理ないし変更した係数データに基づいて元のフレームに対応する画像を再構成する再構成手段とを備え、前記第２のノイズ低減手段は、次のフレームのノイズ低減処理の基準画像を生成するために、前記第１のノイズ低減処理と異なるノイズ低減処理を行った画像を生成することを特徴とする。
本発明の画像処理方法は、動画像を構成する各フレーム画像を周波数帯域の異なる複数の画像に分解する分解工程と、前記分解工程で分解した画像にフレーム間の相関を利用した第１のノイズ低減処理を施し、ノイズ低減処理結果として出力する第１のデータを生成する第１のノイズ低減工程と、前記分解工程で分解した画像にフレーム間の相関を利用した第２のノイズ低減処理を施し、次のフレームのノイズ低減処理に係る第２のデータを生成する第２のノイズ低減工程と、前記複数の画像に係る係数データを変更する係数変更工程と、前記第１のノイズ低減処理ないし変更した係数データに基づいて元のフレームに対応する画像を再構成する再構成工程とを有し、前記第２のノイズ低減工程では、次のフレームのノイズ低減処理の基準画像を生成するために、前記第１のノイズ低減処理と異なるノイズ低減処理を行った画像を生成することを特徴とする。
本発明のプログラムは、動画像を構成する各フレーム画像を周波数帯域の異なる複数の画像に分解する分解ステップと、前記分解ステップで分解した画像にフレーム間の相関を利用した第１のノイズ低減処理を施し、ノイズ低減処理結果として出力する第１のデータを生成する第１のノイズ低減ステップと、前記分解ステップで分解した画像にフレーム間の相関を利用した第２のノイズ低減処理を施し、次のフレームのノイズ低減処理に係る第２のデータを生成する第２のノイズ低減ステップと、前記複数の画像に係る係数データを変更する係数変更ステップと、前記第１のノイズ低減処理ないし変更した係数データに基づいて元のフレームに対応する画像を再構成する再構成ステップとをコンピュータに実行させ、前記第２のノイズ低減ステップでは、次のフレームのノイズ低減処理の基準画像を生成するために、前記第１のノイズ低減処理と異なるノイズ低減処理を行った画像を生成することを特徴とする。

本発明によれば、フレーム間ノイズ低減処理として、ノイズ低減処理結果として出力する第１のデータを生成するための第１のノイズ低減処理と、フレーム遅延させる第２のデータを生成するための第２のノイズ低減処理とを行う。これにより、第１のノイズ低減処理及び第２のノイズ低減処理のノイズ低減量を独立して制御することができ、出力画像におけるノイズ低減量を減らさずに、動きによるボケや残像を少なくしたフレーム間ノイズ低減処理を実現することができる。したがって、多重解像度解析で生成した画像にフレーム間ノイズ低減処理を適用する際に、動きによるボケや残像を抑制しながらも、ノイズ低減量を増大させることができ、良好な出力画像を得ることができる。

以下、本発明の実施形態を図面に基づいて説明する。
なお、以下に説明する本発明の実施形態に係る画像処理装置は、多重解像度解析機能及びフレーム間の相関を利用したノイズ低減機能を有する画像処理装置であって、動画像に対して多重解像度解析処理及びフレーム間ノイズ低減処理の両方の処理を施す。また、本実施形態に係る画像処理装置は、例えば極めて弱いＸ線量で撮影が行われるＸ線透視撮影装置に適用して好適なものである。以下では、処理対象の動画像として、Ｘ線透視撮影により得られる動画像（Ｘ線透視動画像）を例示して説明するが、本発明はこれに限定されるものではない。

まず、本実施形態に係る画像処理装置が有する多重解像度解析機能について説明する。多重解像度解析における画像のラプラシアン・ピラミッド分解及び再構成について、図１及び図２を参照して概要を説明する。

図１は、画像のラプラシアン・ピラミッド分解及び再構成を行う分解・再構成処理部１００の構成例を示す図である。分解・再構成処理部１００は、図１に示すように、画像入力部１０１、周波数分解部１０２、係数記憶部１０３、係数変更部１０４、画像再構成部１０５、画像表示部１０６、及び撮影条件入力部１０７を有する。

画像入力部１０１は、Ｘ線透視撮影により得られるＸ線透視動画像を構成する各フレームの画像を入力する。以下、処理対象のフレームを第ｔフレームとし、処理対象である第ｔフレームの１つ前のフレームを第（ｔ−１）フレームと呼ぶことにする。また、画像入力部１０１は、Ｘ線透視撮影に係る撮影条件や画像処理設定に基づく撮影条件信号を入力する。

撮影条件入力部１０７は、画像入力部１０１より第ｔフレーム画像（Ｘ線透視動画像）に係る撮影条件信号が入力される。

周波数分解部１０２は、画像入力部１０１より供給されるフレーム画像を周波数帯域及び画像サイズが互いに異なる複数の画像に分解する。具体的には、周波数分解部１０２は、画像入力部１０１から供給される第ｔフレーム画像に対する周波数分解を再帰的にＮ回実行し、（Ｎ＋１）個の帯域分解画像の係数群を生成する。

図２を参照して、周波数分解部１０２で行われる画像の分解処理について説明する。
図２に示すように、周波数分解部１０２による１回目の周波数分解では、元のフレーム画像Ｆ０が、元のフレーム画像Ｆ０と同じサイズの第１の高周波画像Ｈ１と、縦横が各々半分のサイズの第１の低周波画像Ｌ１（図示せず）とに分けられる。１回目の周波数分解で得られる第１の高周波画像Ｈ１と第１の低周波画像Ｌ１のデータは、周波数分解部１０２から係数データとして係数記憶部１０３へ送られ、係数記憶部１０３に一時的に保存される。

２回目の周波数分解では、第１の低周波画像Ｌ１を係数記憶部１０３から読み出す。読み出した第１の低周波画像Ｌ１に係る係数データは、第１の低周波画像Ｌ１と同じサイズの第２の高周波画像Ｈ２と、さらに縦横が各々半分のサイズに縮小された第２の低周波画像Ｌ２とに分けられる。この分解結果である第２の高周波画像Ｈ２と第２の低周波画像Ｌ２のデータも、周波数分解部１０２から係数データとして係数記憶部１０３へ送られ一時的に保存される。

係数記憶部１０３に保存された係数データは、画像を再構成する処理に用いられる。
以下に、係数記憶部１０３に保存された係数データに基づいた画像の再構成処理について説明する。

画像の再構成処理は、上述した周波数分解処理における高周波画像の生成と同じように行う。高周波画像を生成する際には２種類の画像の差分を求めるが、画像を再構成する際には２画像の加算を行う。

すなわち、１回目の再構成では、第２の低周波画像Ｌ２と第２の高周波画像Ｈ２を係数記憶部１０３から読み出し、読み出した係数データに基づいて画像再構成部１０５が第１の低周波画像Ｌ１を復元して係数記憶部１０３に保存する。続く、２回目の再構成では、保存した第１の低周波画像Ｌ１と第１の高周波画像Ｈ１を係数記憶部１０３から読み出し、読み出した係数データに基づいて画像再構成部１０５が元のフレーム画像Ｆ０を復元する。

実際の再構成処理においては、係数変更部１０４が、撮影条件入力部１０７から供給される情報（先鋭化・ノイズ低減などの画像処理設定や撮影条件等）に基づいて、画像再構成時に係数データを変更する。したがって、画像再構成部１０５により復元される画像は、画像サイズについては元のフレーム画像Ｆ０と同じであるが、元のフレーム画像Ｆ０とは若干異なる。再構成後の復元画像は、モニタ等の画像表示部１０６に出力される。

図３に、分解・最構成処理部１００の詳細な構成例を示す。
図３において、３１１は低域通過フィルタ、３１２は間引き部、３１３はアップサンプリング部、３１４は補間処理部、３１５は減算部である。なお、３２１〜３２５、３３１〜３３５、３４１〜３４５も、上述した各処理部３１１〜３１５と同様である。この処理部３１１〜３１５、３２１〜３２５、３３１〜３３５、３４１〜３４５により、図１に示した周波数分解部１０２及び係数記憶部１０３の機能が実現される。

３１６、３２６、３３６、３４６、３５０は、係数データに重み付けを行う係数変更部であり、図１に示した係数変更部１０４の機能を実現する。

３１７はアップサンプリング部、３１８は補間処理部、３１９は加算部である。なお、３２７〜３２９、３３７〜３３９、３４７〜３４９も、上述した各処理部３１７〜３１９と同様である。この処理部３１７〜３１９、３２７〜３２９、３３７〜３３９、３４７〜３４９により、図１に示した画像再構成部１０５及び係数記憶部１０３の機能が実現される。

分解処理すべき第ｔフレームの画像が端子３０１から入力されると、当該画像に対する１回目の周波数分解が５つの処理部３１１〜３１５によって行われる。具体的には、低域通過フィルタ３１１により入力画像の低域成分が抽出され、間引き部３１２により低域通過フィルタ３１１で抽出された入力画像の低域成分を基に縦横各々１／２に間引いた縮小画像が生成される。

間引き部３１２で生成されるこの縮小画像は第１の低周波画像Ｌ１であり、次段の処理部３２１〜３２５によってさらに分解される。また、縮小画像Ｌ１はアップサンプリング部３１３により元の画像サイズに戻され、補間処理部３１４により入力元画像の低域成分のみを有する画像に変換される。この低域成分のみを有する画像を減算部３１５により入力画像から減算することによって、第１の高周波画像Ｈ１が生成される。

第１の低周波画像Ｌ１は、処理部３２１〜３２５によってさらに周波数分解され、同様にして第２の高周波画像Ｈ２と第２の低周波画像Ｌ２が生成される。さらに、第２の低周波画像Ｌ２を再帰的に周波数分解し続けると、図３に示す構成では、第３の高周波画像Ｈ３、第４の高周波画像Ｈ４、第４の低周波画像Ｌ４に分解される。

分解結果として得られる４つの高周波画像Ｈ１，Ｈ２，Ｈ３，Ｈ４及び１つの低周波画像Ｌ４の各々に対して、先鋭化・ノイズ低減などの画像処理設定や撮影条件等に基づき、係数変更部３１６，３２６，３３６，３４６，３５０が係数データに重み付けを行う。そして、重み付けされた係数データを基に、処理部３１７〜３１９、３２７〜３２９、３３７〜３３９、３４７〜３４９によって、画像データが再構成されて実空間の画像が復元される。

ここで、係数データを一切変更せずかつ演算誤差が無いと仮定すれば、原理的には、入力画像と同じ画像を復元できる。これは、画像再構成を行う処理部が周波数分解を行う処理部の一部とほとんど同じ構成であるためである。違いは、周波数分解処理における減算部３１５、３２５、３３５、３４５が、再構成処理では加算部３１９、３２９、３３９、３４９になっている点である。入力画像と同じ画像を復元することができるのは、減算部で引いた画像データと全く同じ画像データを加算部で加えて元のデータに戻すためである。

入力画像の縦横各々１／１６の画像サイズである第４の低周波画像Ｌ４の係数データは係数変更部３５０にて重み付けされ、アップサンプリング部３４７により１／８の画像サイズに戻された後、補間処理部３４８により同じサイズの補間画像が生成される。補間処理部３４８で生成されるこの補間画像と、係数変更部３４６にて重み付けされた係数変更後の第４の高周波画像Ｈ４'とを加算部３４９により加算すると、１／８サイズの画像が復元される。

同様にして、アップサンプリング以降の処理を、処理部３３７〜３３９、３２７〜３２９、３１７〜３１９により再帰的に行うことで、１／４、１／２、等倍サイズの画像が順に復元される。加算部３１９から得られる等倍サイズ、すなわち、端子３０１から入力された入力画像と同じサイズの復元画像は、端子３０２を通して外部のモニタ等へ出力される。

上述した説明では、説明を簡略化するために処理に関する遅延時間は考慮していないが、遅延時間を考慮すべき処理が２つある。１つは補間処理であり、垂直方向の補間処理を行うには次のラインのデータが必要であり、その必要なデータを待つために補間処理の開始時間を遅らせる必要がある。これによって補間処理の結果を得る時間が遅延する。

もう１つは、分解・再構成の各部の処理をシーケンシャルに行うことによる遅延時間の発生である。分解・再構成の各部の処理は画像サイズに応じて処理すべきデータ量が大きく異なり、各部を並列に処理するとデータ量の少ない処理部は非常に効率が低下するため、シーケンシャルな処理が要求される。また、各分解レベルの画像を大容量の１つのメモリに格納する場合にも、シーケンシャルな処理の方が効率がよい。

以上のように、図１〜図３を参照して説明した画像の分解・再構成処理を実現するには、様々な箇所で遅延が生じ、処理タイミングを合わせるための遅延用メモリが必要となる。図３に示した構成に対して、再構成処理のために必要となる遅延メモリのみを示すと図４のような構成になる。なお、図４において、図３に示した構成要素と同一の機能を有する構成要素には同一の符号を付している。

図４に示す遅延メモリ４１１、４２１、４３１、４４１、４５１は、構成上は分散しているが、各々分解処理した高周波画像又は低周波画像を一時的に保存する必要があり、別々のメモリで構成すると、メモリの利用効率が低下してしまう。そのため、コスト上の観点から統一した１つのメモリで、これらの遅延メモリ４１１、４２１、４３１、４４１、４５１を実現することもある。遅延メモリ４１１、４２１、４３１、４４１、４５１以外の構成要素は図３と同じである。

なお、図１〜図４を参照して説明した画像の分解・再構成処理において、係数変更部１０４による係数データの重み付けで可能なノイズ低減処理は、先鋭なエッジが鈍りやすい空間的な平滑化であり、時間的な平滑化を行うことができない。時間方向に平滑化するノイズ低減処理としてフレーム間の相関を利用したフレーム間ノイズ低減処理がある。以下に説明する各実施形態に係る画像処理装置は、上述した多重解像度解析処理に加えフレーム間ノイズ低減処理を行うようにしたものである。

（第１の実施形態）
本発明の第１の実施形態について説明する。
図５は、第１の実施形態に係る画像処理装置の構成例を示す図である。この図５において、図３及び図４に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。

図５において、５１１、５２１、５３１は、周波数分解して得られた複数の高周波画像を時間方向に平滑化するフレーム間ノイズ低減処理部であり、フレーム間の相関を利用してノイズを低減する。なお、図５においては、遅延メモリの前段側に（直前に）フレーム間ノイズ低減処理部を設けた場合を一例として示しているが、遅延メモリの後段側に（直後に）フレーム間ノイズ低減処理部を設けるようにしても良い。

フレーム間ノイズ低減処理部５１１、５２１、５３１は、それぞれ対応する減算部３１５、３２５、３３５の出力が供給され、それに対してフレーム間ノイズ低減処理を施す。そして、フレーム間ノイズ低減処理部５１１、５２１、５３１は、それぞれ対応する遅延メモリ４１１、４２１、４３１にノイズ低減処理結果を出力する。なお、図５においては、フレーム間ノイズ低減処理部５１１、５２１、５３１のみを設けた構成を一例として示しているが、これに限定されるものではなく、周波数分解して得られた複数の画像の一部あるいは全部に対してフレーム間ノイズ低減処理を施す。

図５に示す第１の実施形態に係る画像処理装置での画像の分解処理及び再構成処理は、上述した分解・再構成処理と同様であるので説明を省略する。以下では、フレーム間ノイズ低減処理について説明する。

図６は、フレーム間ノイズ低減処理部５１１、５２１、５３１の構成例を示す図である。フレーム間ノイズ低減処理部は、フレームメモリ６０１、減算部６０２、６０５、６０６、及び非線形処理部６０３、６０４を有する。

フレームメモリ６０１、減算部６０２、６０５、及び非線形処理部６０３により本発明の第１のノイズ低減手段が構成され、ノイズ低減処理結果として出力する第１のデータを生成するためのノイズ低減処理が実現される。また、フレームメモリ６０１、減算部６０２、６０６、及び非線形処理部６０４により本発明の第２のノイズ低減手段が構成され、次フレームのノイズ低減処理のためにフレーム遅延させる第２のデータを生成するためのノイズ低減処理が実現される。

フレームメモリ（フレーム遅延部）６０１は、次のフレームのノイズ低減処理に係る第２のデータ（基準画像）を生成するためのノイズ低減処理により得られた画像データを格納する。フレームメモリ６０１は、格納した画像データを１フレーム遅延させて、次の入力フレーム画像のノイズ低減処理に係る基準画像として提供する。

第１の減算部６０２は、ノイズ低減処理の対象である入力フレーム画像から、フレームメモリ６０１より供給される基準画像を減算して、フレーム間の差分信号を生成する。第１の非線形処理部６０３は、第１の減算部６０２により生成された差分信号からノイズ信号（ノイズ成分）を抽出する。第２の減算部６０５は、ノイズ低減処理の対象である入力フレーム画像から、第１の非線形処理部６０３で抽出されたノイズ信号を減算してノイズ低減処理後の画像を生成する。

第２の非線形処理部６０４は、第１の減算部６０２により生成された差分信号からノイズ信号（ノイズ成分）を抽出する。第３の減算部６０６は、ノイズ低減処理の対象である入力フレーム画像から、第２の非線形処理部６０４で抽出されたノイズ信号を減算してノイズ低減処理後の画像を生成する。

本実施形態では、ノイズを抽出するための非線形処理部を２つ設けることによって、１フレーム後のノイズ低減処理に用いる基準画像と、現フレームのノイズ低減処理結果としての画像データを別々に生成する。各非線形処理部６０３、６０４は、各々の画像に適したノイズを抽出するための非線形処理を行う。すなわち、本実施形態では、２つの非線形処理部６０３、６０４においてノイズ抽出のための閾値、言い換えればノイズ低減量を独立して制御でき、残像感が少なく、かつノイズ低減効果の大きなフレーム間ノイズ低減処理を実現することができる。

具体的には、ノイズ低減処理結果として出力する画像を生成するための第１の非線形処理部６０３では、残像を少なくするために、抽出するノイズが少なくなるように第１の閾値（Ｔｈ１）を設定する。一方、１フレーム後に入力される画像のノイズ低減処理に用いる基準画像（フレーム遅延させる画像）を生成するための第２の非線形処理部６０４では、抽出するノイズの量が多くなるように第２の閾値（Ｔｈ２）を設定する。これにより、第２の非線形処理部６０４を用いたノイズ低減処理では、１フレーム後以降の残留ノイズを減らし、ノイズ低減量を大きくすることができる。

２つの閾値（Ｔｈ１，Ｔｈ２）と非線形処理の入出力特性の一例を図７に示す。図７から明らかなように、本実施形態では第１の非線形処理部６０３を用いたノイズ低減処理によるノイズ低減量は、第２の非線形処理部６０４を用いたノイズ低減処理によるノイズ低減量よりも少ない。なお、実際の入出力特性は、上述したようにもう少し複雑な形状をしているが、ルックアップテーブル等を用いることで容易に実現することができる。

従来の方法では、ノイズ低減処理結果として出力する画像を１フレーム遅延させて基準画像にすると、動きによるボケや残像の抑制効果及びノイズ低減効果をともに向上させることはできず、例えば残像が少なくなるがノイズ低減効果も小さくなってしまう。

それに対し、本実施形態によれば、ノイズ低減処理結果として出力する画像とは別に生成したノイズ低減量の大きな画像を１フレーム遅延させて基準画像にする。これにより、動きによるボケや残像が少なく、かつノイズ低減量を増大させたノイズ低減効果を維持した画像を得ることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第１の実施形態におけるフレーム間ノイズ低減処理部において、２つの非線形処理部の各々にルックアップテーブルを用いると、図１３に示した従来のフレーム間ノイズ低減処理に対し２倍のルックアップテーブルが必要になり、ハードウェアのコストが増大する。

以下に説明する第２の実施形態では、ハードウェアコストの増大を抑えられるよう、ルックアップテーブル容量の削減を図る。上述したように、図６に示した第１の非線形処理部６０３で抽出するノイズのレベルは、第２の非線形処理部６０４で抽出するノイズのレベルより小さい。言い換えれば、第１の非線形処理部６０３で抽出するノイズは、第２の非線形処理部６０４で抽出するノイズの一部になる。

したがって、第２の非線形処理部６０４の出力信号から、第１の実施形態における第１の非線形処理部６０３の出力とほぼ同じ信号を生成することが可能である。すなわち、第２の非線形処理部６０４の出力信号を入力とする第３の非線形処理部（ルックアップテーブル）により、第１の実施形態における第１の非線形処理部６０３の出力とほぼ同じ信号を生成することができる。

図８は、第２の実施形態に係る画像処理装置の構成例を示す図である。なお、第２の実施形態に係る画像処理装置は、フレーム間ノイズ低減処理部の内部構成が異なるだけで、その他の構成や動作は第１の実施形態に係る画像処理装置と同様であるので、フレーム間ノイズ低減処理部についてのみ説明する。この図８において、図６に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。

図８において、７０１は、第１の実施形態における第１の非線形処理部６０３の替わりに用いられる第３の非線形処理部である。第３の非線形処理部７０１は、第２の非線形処理部６０４の出力が供給され、非線形処理結果を第２の減算部６０５に出力する。このように、第２の実施形態では、第３の非線形処理部７０１に第２の非線形処理部６０４の出力信号が入力されるため、第３の非線形処理部７０１に対する入力の範囲が限られる。したがって、第３の非線形処理部７０１に係るルックアップテーブルのアドレス空間が大幅に小さくなり、テーブル容量を該アドレス空間と同様に小さくすることができる。例えば、第１の非線形処理部７０１と比較して、テーブル容量を１／１６又は１／８程度に削減することができる。

第２の実施形態によれば、第１の実施形態と同様に、動きによるボケや残像が少なく、かつノイズ低減量を増大させたノイズ低減効果を維持した画像を得ることができる。また、第１の実施形態と比較して、第２の実施形態では、非線形処理が２段になるために遅延量は増加してしまうが、２つ合わせたテーブル容量は１つ分のテーブル容量とそれほど差がなく、コストの増大を抑制することができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
第３の実施形態に係る画像処理装置は、フレーム間ノイズ低減処理部内の非線形処理部での非線形処理において、補間処理を用いることによりルックアップテーブルの容量増を抑え、１つ分のテーブル容量で２種類の非線形処理を実現するものである。なお、第３の実施形態に係る画像処理装置の全体構成及びフレーム間ノイズ低減処理部の構成は、第１の実施形態と同様であるので説明は省略する。

１つの非線形処理部での処理に着目すると、入力データのレンジに対しテーブル容量を半分とし、入力データを１つおきにルックアップテーブルで変換し、それらの間の入力データは補間処理によって計算することが可能である。例えば、入力データが偶数の場合にはルックアップテーブルを用いてデータ変換し、奇数の場合には補間処理によって変換データを計算する。入力レンジ全体で見ると非線形処理であっても、局所的には線形とみなせるため、そのような補間を用いた変換が適用可能である。
ルックアップテーブルによるデータ変換の際に、テーブル容量を削減するため補間処理を用いる技術は既に確立した技術で一般的に行われているため、細かい説明は省略する。

本実施形態では、２つの非線形処理部に入力するデータが共通であることに着目し、２つの非線形処理部の全体処理量（演算量）が一定になるようにする。すなわち、第１の非線形処理部と第２の非線形処理部を合わせたトータルの処理量が、所定の演算量になるようにする。

具体的には、２つの非線形処理のどちらか一方のみで補間処理を行うようにする。すなわち、２つの非線形処理部にて行う非線形処理での補間処理は排他的に実行される。これにより、２つの非線形処理で行われる補間処理を１つの補間処理部のみで実現して、回路規模の削減を図る。

本実施形態では、入力データが奇数の場合に第１の非線形処理部が非線形処理において補間処理を行うのであれば、入力データが偶数の場合には第２の非線形処理部が非線形処理において補間処理を行うようにする。それには、ルックアップテーブルに格納するデータもその補間処理方法に対応していなければならない。

補間処理を同時に行う一般の構成では、図９に示すように２つのテーブルの偶数（あるいは奇数）番目のデータを交互に並べてテーブルに格納するデータを構成し、入力データが奇数の場合に、それを挟む両側の偶数番目のデータから変換データを補間演算する。それに対して、本実施形態では、図１０に示すように第１の変換テーブルの偶数番目のデータと、第２の変換テーブルの奇数番目のデータを交互に寄せ集めて格納データを構成する。入力データが奇数の場合には、第１変換テーブルの偶数番目のデータで補間演算し、入力データが偶数の場合には、第２変換テーブルの奇数番目のデータで補間演算する。

以下に第３の実施形態における非線形処理の具体例を示す。
非線形処理部への入力データが２ｎ（偶数）の場合、ルックアップテーブルから（２ｎ−２）、（２ｎ−１）、２ｎ、（２ｎ＋１）の４つのアドレス（入力データ）に対応する変換データｓ（２ｎ−２）、ｔ（２ｎ−１）、ｓ（２ｎ）、ｔ（２ｎ＋１）を読み出す。ここで、系列ｓは第１の非線形変換用データ、系列ｔは第２の非線形変換用データである。なお、前記アドレスを生成する技術は公知であるので説明は省略する。

第１の非線形処理部は、処理結果として、ｓ（２ｎ）を出力する。一方、第２の非線形処理部は、系列ｔの２つのデータｔ（２ｎ−１）とｔ（２ｎ＋１）から補間データ｛ｔ（２ｎ−１）＋ｔ（２ｎ＋１）｝／２を計算し、計算して得られた補間データを処理結果として出力する。

非線形処理部への入力データが（２ｍ＋１）（奇数）の場合、ルックアップテーブルから２ｍ、（２ｍ＋１）、（２ｍ＋２）、（２ｍ＋３）の４つのアドレスに対応する変換データｓ（２ｍ）、ｔ（２ｍ＋１）、ｓ（２ｍ＋２）、ｔ（２ｍ＋３）を読み出す。

第２の非線形処理部は、処理結果として、ｔ（２ｍ＋１）を出力する。一方、第１の非線形処理部は、系列ｓの２つのデータｓ（２ｍ）とｓ（２ｍ＋２）から補間データ｛ｓ（２ｍ）＋ｓ（２ｍ＋２）｝／２を計算し、計算して得られた補間データを処理結果として出力する。

図１１は、上述した非線形処理を実現するための構成例を示す図である。
図１１において、１１０１は入力データに応じたアドレスを生成するアドレス生成部であり、１１０２は、第１の非線形変換用データ（系列ｓ）のルックアップテーブルであり、１１０３は、第２の非線形変換用データ（系列ｔ）のルックアップテーブルである。１１０５は、補間演算を行う補間処理部であり、１１０４、１１０６、１１０７は、入力データが奇数であるか偶数であるかに応じて制御されるスイッチである。

入力データが偶数である場合には、スイッチ１１０４は、ルックアップテーブル１１０３から読み出されるデータを補間処理部１１０５に供給するように制御される。また、スイッチ１１０６は、ルックアップテーブル１１０２から読み出されるデータを出力するように制御され、スイッチ１１０７は、補間処理部１１０５での演算結果を出力するように制御される。

一方、入力データが奇数である場合には、スイッチ１１０４は、ルックアップテーブル１１０２から読み出されるデータを補間処理部１１０５に供給するように制御される。また、スイッチ１１０６は、補間処理部１１０５での演算結果を出力するように制御され、スイッチ１１０７は、ルックアップテーブル１１０３から読み出されるデータを出力するように制御される。

第３の実施形態によれば、第１の実施形態と同様に、動きによるボケや残像が少なく、かつノイズ低減量を増大させたノイズ低減効果を維持した画像を得ることができる。また、非線形処理部で補間処理を用いたルックアップテーブルによるデータ変換を行う際、入力データの奇数／偶数に応じて補間処理を施すことにより、２つの非線形処理を１つの補間処理部のみで実現でき、回路規模を削減することができる。

図１２は、上述した第１〜第３の実施形態に係る画像処理装置のハードウェア構成例を示す図である。
画像処理装置８００は、図１２に示すように、ＣＰＵ８０１と、ＲＯＭ８０２と、ＲＡＭ８０３とを備える。また、操作・入力部（ＣＯＮＳ）８０９のコントローラ（ＣＯＮＳＣ）８０５と、ＣＲＴやＬＣＤ等の表示部としてのディスプレイ（ＤＩＳＰ）８１０のディスプレイコントローラ（ＤＩＳＰＣ）８０６とを備える。さらに、ハードディスク（ＨＤ）８１１、及びフレキシブルディスク等の記憶デバイス（ＳＴＤ）８１２のコントローラ（ＤＣＯＮＴ）８０７と、ネットワークインタフェースカード（ＮＩＣ）８０８とを備える。それら機能部８０１、８０２、８０３、８０５、８０６、８０７、８０８は、システムバス８０４を介して互いに通信可能に接続された構成としている。

ＣＰＵ８０１は、ＲＯＭ８０２又はＨＤ８１１に記憶されたソフトウェア、又はＳＴＤ８１２より供給されるソフトウェアを実行することで、システムバス８０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ８０１は、上述したような動作を行うための処理プログラムを、ＲＯＭ８０２、ＨＤ８１１、又はＳＴＤ８１２から読み出して実行することで、第１〜第３の実施形態での動作を実現するための制御を行う。ＲＡＭ８０３は、ＣＰＵ８０１の主メモリ又はワークエリア等として機能する。

ＣＯＮＳＣ８０５は、ＣＯＮＳ８０９からの指示入力や画像入力を制御する。ＤＩＳＰＣ８０６は、ＤＩＳＰ８１０の表示を制御する。ＤＣＯＮＴ８０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び処理プログラム等を記憶するＨＤ８１１及びＳＴＤ８１２とのアクセスを制御する。ＮＩＣ８０８はネットワーク８１３上の他の装置と双方向にデータをやりとりする。

例えば、供給される処理プログラムを実行するＣＰＵ８０１により、本発明の分解手段、ノイズ低減処理手段（第１及び第２のノイズ低減手段）、係数変更手段、再構成手段、の機能が実現される。また、ＲＡＭ８０３によりフレームメモリの機能が実現される。なお、処理対象の動画像は、ＣＯＮＳ８０９により画像処理装置８００に供給するようにしているが、ネットワーク８１３を介して画像処理装置８００に供給するようにしても良いし、ＨＤ８１１及びＳＴＤ８１２に格納し供給するようにしても良い。

（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置又はシステム内のコンピュータ（ＣＰＵ又はＭＰＵ）に対し、前記実施形態の機能を実現するためのソフトウェアのプログラムを供給する。そして、そのシステム又は装置のコンピュータに格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
また、この場合、前記ソフトウェアのプログラム自体が上述した実施形態の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムをコンピュータに供給するための手段、例えばかかるプログラムを格納した記録媒体は本発明を構成する。かかるプログラムを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、供給されたプログラムがコンピュータにて稼働しているオペレーティングシステム又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムがコンピュータに係る機能拡張ボードや機能拡張ユニットに備わるメモリに格納された後、そのプログラムの指示に基づいてその機能拡張ボード等に備わるＣＰＵ等が実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

画像のラプラシアン・ピラミッド分解及び再構成を行う分解・再構成処理部の構成例を示す図である。 ラプラシアン・ピラミッド分解処理について説明するための図である。 図１に示した分解・最構成処理部の詳細な構成例を示す図である。 再構成処理のための遅延を考慮した分解・再構成処理部の構成例を示す図である。 第１の実施形態に係る画像処理装置の構成例を示す図である。 第１の実施形態におけるフレーム間ノイズ低減処理部の構成例を示す図である。 ２つの非線形処理部の入出力特性の一例を示す図である。 第２の実施形態におけるフレーム間ノイズ低減処理部の構成例を示す図である。 従来方式のルックアップテーブルの格納データの生成方法を説明するための図である。 第３の実施形態におけるルックアップテーブルの格納データの生成方法を説明するための図である。 第３の実施形態における非線形処理を実現するための構成例を示す図である。 本実施形態に係る画像処理装置のハードウェア構成例を示す図である。 従来のフレーム間ノイズ低減処理部の構成を示す図である。 基準画像にノイズがない場合のフレーム間ノイズ低減処理結果を示す図である。 基準画像にノイズが残留した場合のフレーム間ノイズ低減処理結果を示す図である。 図１３に示した非線形処理部の入出力特性を示す図である。

符号の説明

１０２ 周波数分解部
１０３ 係数記憶部
１０４ 係数変更部
１０５ 画像再構成部
５１１、５２１、５３１ フレーム間ノイズ低減処理部
６０１ フレームメモリ
６０２、６０５、６０６ 減算部
６０３、６０４、７０１ 非線形処理部

Claims (8)

1. 動画像を構成する各フレーム画像を周波数帯域及び画像サイズの異なる複数の画像に分解し、分解した画像に係る係数データに処理を施した後、画像を再構成する多重解像度解析処理を行う画像処理装置であって、
   前記各フレーム画像を周波数帯域及び画像サイズの異なる複数の画像に分解する分解手段と、
   前記分解手段により分解した複数の画像の一部あるいは全部に対してフレーム間の相関を利用したノイズ低減処理を行うノイズ低減処理手段と、
   前記複数の画像に係る係数データを変更する係数変更手段と、
   前記ノイズ低減処理ないし変更した複数の画像に係る係数データに基づいて元のフレーム画像と同じサイズの画像を再構成する再構成手段とを備え、
   前記ノイズ低減処理手段は、ノイズ低減処理結果として出力する第１のデータを生成するための第１のノイズ低減手段と、フレーム遅延させる第２のデータを生成するための第２のノイズ低減手段とを有し、
   前記第２のノイズ低減手段は、次のフレームのノイズ低減処理の基準画像を生成するために、前記第１のノイズ低減手段と異なるノイズ低減処理を行った画像を生成することを特徴とする画像処理装置。
2. 動画像を構成する各フレーム画像を周波数帯域の異なる複数の画像に分解する分解手段と、
   前記分解手段により分解した画像にフレーム間の相関を利用した第１のノイズ低減処理を施し、ノイズ低減処理結果として出力する第１のデータを生成する第１のノイズ低減手段と、
   前記分解手段により分解した画像にフレーム間の相関を利用した第２のノイズ低減処理を施し、次のフレームのノイズ低減処理に係る第２のデータを生成する第２のノイズ低減手段と、
   前記複数の画像に係る係数データを変更する係数変更手段と、
   前記第１のノイズ低減処理ないし変更した係数データに基づいて元のフレームに対応する画像を再構成する再構成手段とを備え、
   前記第２のノイズ低減手段は、次のフレームのノイズ低減処理の基準画像を生成するために、前記第１のノイズ低減処理と異なるノイズ低減処理を行った画像を生成することを特徴とする画像処理装置。
3. 前記第１のノイズ低減手段は、第２のノイズ低減手段よりも、ノイズ低減処理におけるノイズ低減量が少ないことを特徴とする請求項１又は２記載の画像処理装置。
4. 前記第１のノイズ低減手段は、第１の非線形処理手段を有し、
   前記第２のノイズ低減手段は、第２の非線形処理手段を有し、
   前記第２の非線形処理手段の出力を、前記第１の非線形処理手段に供給することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記第１のノイズ低減手段は、第１の非線形処理手段を有し、
   前記第２のノイズ低減手段は、第２の非線形処理手段を有し、
   前記分解手段により分解した画像と前記第２のデータとの差分信号を、前記第１の非線形処理手段及び前記第２の非線形処理手段に供給することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
6. 前記第１のノイズ低減手段及び前記第２のノイズ低減手段は、補間処理を用いたルックアップテーブルによるデータ変換を行う非線形処理手段をそれぞれ有し、１つの共通の補間処理手段を設けて、２つの非線形処理手段にて行われる非線形処理での補間処理を前記補間処理手段で排他的に行うことを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
7. 動画像を構成する各フレーム画像を周波数帯域の異なる複数の画像に分解する分解工程と、
   前記分解工程で分解した画像にフレーム間の相関を利用した第１のノイズ低減処理を施し、ノイズ低減処理結果として出力する第１のデータを生成する第１のノイズ低減工程と、
   前記分解工程で分解した画像にフレーム間の相関を利用した第２のノイズ低減処理を施し、次のフレームのノイズ低減処理に係る第２のデータを生成する第２のノイズ低減工程と、
   前記複数の画像に係る係数データを変更する係数変更工程と、
   前記第１のノイズ低減処理ないし変更した係数データに基づいて元のフレームに対応する画像を再構成する再構成工程とを有し、
   前記第２のノイズ低減工程では、次のフレームのノイズ低減処理の基準画像を生成するために、前記第１のノイズ低減処理と異なるノイズ低減処理を行った画像を生成することを特徴とする画像処理方法。
8. 動画像を構成する各フレーム画像を周波数帯域の異なる複数の画像に分解する分解ステップと、
   前記分解ステップで分解した画像にフレーム間の相関を利用した第１のノイズ低減処理を施し、ノイズ低減処理結果として出力する第１のデータを生成する第１のノイズ低減ステップと、
   前記分解ステップで分解した画像にフレーム間の相関を利用した第２のノイズ低減処理を施し、次のフレームのノイズ低減処理に係る第２のデータを生成する第２のノイズ低減ステップと、
   前記複数の画像に係る係数データを変更する係数変更ステップと、
   前記第１のノイズ低減処理ないし変更した係数データに基づいて元のフレームに対応する画像を再構成する再構成ステップとをコンピュータに実行させ、
   前記第２のノイズ低減ステップでは、次のフレームのノイズ低減処理の基準画像を生成するために、前記第１のノイズ低減処理と異なるノイズ低減処理を行った画像を生成することを特徴とするプログラム。

Images