JP5121312B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関し、特に多重解像度解析処理を行う画像処理装置に用いて好適なものである。

Ｘ線透視画像は、被爆の観点から非常に弱い線量で撮影が行われるため、得られる撮影画像には量子ノイズが多く重畳している。従来、画像中の各画素を時間方向に平滑化するリカーシブフィルタ処理を撮影画像に施して、量子ノイズの多い画像に対しノイズの低減を図ってきた。リカーシブフィルタ処理（フレーム間ノイズ低減処理とも言う）は、複数枚の静止画に対しては非常に有効なノイズ低減手法であるが、動画像に対しては残像が発生し必ずしも有効な手法とは言えなかった。

そこで、動画像ないし連続画像に対してリカーシブフィルタ処理を施した場合でも、残像感が少なく、鮮明な画像を表示できるようにするデジタルＸ線装置が提案されている（特許文献１参照）。特許文献１には、分離回路部、フィルタ回路部、及び加算回路部とを具備することにより、残像感の少ないノイズ低減処理の実現を図ったデジタルＸ線装置が記載されている。特許文献１における分離回路部は、Ｘ線透視画像に対してフレーム毎に低周波成分の画像と高周波成分の画像とに分離し、フィルタ回路部は、高周波成分の画像にリカーシブフィルタ処理を施す。また、加算回路部は、分離された低周波成分の画像とフィルタ回路部を経た高周波成分の画像とを加算する。

また、アナログビデオテープレコーダの再生画像とリカーシブフィルタ画像の差分信号を生成した後、その差分信号からノイズ信号を抽出して再生動画像から減算することによりノイズを低減するノイズリデューサが提案されている（特許文献２参照）。ここでは、画像の動きを簡易な方法で検出し、静止画における場合と動画像における場合とでノイズ低減量を変化させることによって、残像感の少ないノイズ低減処理を行っている。

特開平１−２７３４８７号公報 特許第３１５８３７１号公報

上述したように、Ｘ線透視画像は、撮影を行う際の線量が極めて少ないため、量子ノイズに起因するノイズ信号が撮影画像に非常に多く重畳しており、リカーシブフィルタ処理を用いたノイズ低減処理が不可欠である。

多重解像度解析機能を有するＸ線透視撮影装置に従来手法を適用する場合、多重解像度解析処理にて得られる高周波画像毎にリカーシブフィルタ処理を適用することが可能である。しかし、リカーシブフィルタ処理を行うには、画像データを１フレーム遅延させるフレームメモリが必要である。また、多重解像度解析においては、画像データを複数の帯域の画像データに分解して所定の処理を施した後、分解されている画像データから元の画像を再構成するので、分解した画像データを遅延させるための遅延メモリが必要である。

すなわち、多重解像度解析機能を有するＸ線透視撮影装置に従来手法を適用する場合には、画像データを１フレーム遅延させるためのフレームメモリと分解した画像データを遅延させるための遅延メモリが必要となる。したがって、多重解像度解析機能を有するＸ線透視撮影装置に従来手法を適用すると、使用するメモリ容量と全体でのメモリアクセス量が大幅に増加する。

また、一つの統合した大容量メモリに多重解像度解析画像を保存するようにした場合、そのメモリへのアクセス量が非常に増大し、さらにそのメモリを利用してリカーシブフィルタ処理を行うとメモリアクセス量が大幅に増加してしまう。

本発明は、このような事情に鑑みてなされたものであり、動画像に対して多重解像度解析処理及びフレーム間ノイズ低減処理の両方の処理を行うのに必要なメモリ容量及びメモリアクセス量の増大を抑制できるようにすることを目的とする。

本発明の画像処理装置は、動画像を構成する各フレーム画像を周波数帯域及び画像サイズの異なる複数の画像信号に分解する分解手段を備え、分解した画像信号に係る係数データに処理を施した後、画像を再構成する多重解像度解析処理を行う画像処理装置であって、前記複数の画像信号のそれぞれに対して、フレームメモリと、第１差分信号を生成するために第１フレーム画像における前記画像信号から前記フレームメモリの内容を減算する第１減算手段と、第１雑音信号を生成するために前記第１差分信号に対して非線形処理を行う非線形処理手段と、第２差分信号を生成するために前記第１フレーム画像における前記画像信号から前記第１雑音信号を減算する第２減算手段と、前記第２差分信号を前記フレームメモリに保存する保存手段と、前記第１減算手段に前記第１フレーム画像に続く第２フレーム画像における前記画像信号から前記フレームメモリに保存されている前記第２差分信号を減算させるために、前記フレームメモリに前記第２差分信号が保存されてから１フレーム後に前記フレームメモリに保存された前記第２差分信号を読み出す一方、画像を再構成するために、前記第２差分信号が前記フレームメモリに保存されてから１フレーム経過前に前記フレームメモリに保存されている前記第２差分信号を読み出す読み出し手段と、前記第２差分信号が前記フレームメモリに保存されてから１フレーム経過前に前記読み出し手段によって読み出された前記第２差分信号に係る係数データを変更する係数変更手段とを備え、前記複数の画像信号における、前記係数変更手段によって変更された前記第２差分信号に係る係数データに基づいて元のフレーム画像と同じ画像サイズの画像を再構成する再構成手段とを備えることを特徴とする。

本発明によれば、動画像に対して多重解像度解析処理及びフレーム間ノイズ低減処理の両方の処理を行うようにしても、両方の処理の実行に要求されるメモリ容量及びメモリアクセス量の増大を抑制することができる。

以下、本発明の実施形態を図面に基づいて説明する。
なお、以下に説明する本発明の実施形態に係る画像処理装置は、多重解像度解析機能及びノイズ低減機能を有する画像処理装置であって、動画像に対して多重解像度解析処理及びノイズ低減処理の両方の処理を施す。また、本実施形態に係る画像処理装置は、例えば極めて弱いＸ線量で撮影が行われるＸ線透視撮影装置に適用して好適なものである。以下では、処理対象の動画像として、Ｘ線透視撮影により得られる動画像（Ｘ線透視動画像）を例示して説明するが、本発明はこれに限定されるものではない。

まず、本実施形態に係る画像処理装置が有する多重解像度解析機能について説明する。多重解像度解析における画像のラプラシアン・ピラミッド分解及び再構成について、図１及び図２を参照して概要を説明する。

図１は、画像のラプラシアン・ピラミッド分解及び再構成を行う分解・再構成処理部１００の構成例を示す図である。分解・再構成処理部１００は、図１に示すように、画像入力部１０１、周波数分解部１０２、係数記憶部１０３、係数変更部１０４、画像再構成部１０５、画像表示部１０６、及び撮影条件入力部１０７を有する。

画像入力部１０１は、Ｘ線透視撮影により得られるＸ線透視動画像を構成する各フレームの画像を入力する。以下、処理対象のフレームを第ｔフレームとし、処理対象である第ｔフレームの１つ前のフレームを第（ｔ−１）フレームと呼ぶことにする。また、画像入力部１０１は、Ｘ線透視撮影に係る撮影条件や画像処理設定に基づく撮影条件信号を入力する。

撮影条件入力部１０７は、画像入力部１０１より第ｔフレーム画像（Ｘ線透視動画像）に係る撮影条件信号が入力される。

周波数分解部１０２は、画像入力部１０１より供給されるフレーム画像を周波数帯域及び画像サイズが互いに異なる複数の画像に分解する。具体的には、周波数分解部１０２は、画像入力部１０１から供給される第ｔフレーム画像に対する周波数分解を再帰的にＮ回実行し、（Ｎ＋１）個の帯域分解画像の係数群を生成する。

図２を参照して、周波数分解部１０２で行われる画像の分解処理について説明する。
図２に示すように、周波数分解部１０２による１回目の周波数分解では、元のフレーム画像Ｆ０が、元のフレーム画像Ｆ０と同じサイズの第１の高周波画像Ｈ１と、縦横が各々半分のサイズの第１の低周波画像Ｌ１（図示せず）とに分けられる。１回目の周波数分解で得られる第１の高周波画像Ｈ１と第１の低周波画像Ｌ１のデータは、周波数分解部１０２から係数データとして係数記憶部１０３へ送られ、係数記憶部１０３に一時的に保存される。

２回目の周波数分解では、第１の低周波画像Ｌ１を係数記憶部１０３から読み出す。読み出した第１の低周波画像Ｌ１に係る係数データは、第１の低周波画像Ｌ１と同じサイズの第２の高周波画像Ｈ２と、さらに縦横が各々半分のサイズに縮小された第２の低周波画像Ｌ２とに分けられる。この分解結果である第２の高周波画像Ｈ２と第２の低周波画像Ｌ２のデータも、周波数分解部１０２から係数データとして係数記憶部１０３へ送られ一時的に保存される。

係数記憶部１０３に保存された係数データは、画像を再構成する処理に用いられる。
以下に、係数記憶部１０３に保存された係数データに基づいた画像の再構成処理について説明する。

画像の再構成処理は、上述した周波数分解処理における高周波画像の生成と同じように行う。高周波画像を生成する際には２種類の画像の差分を求めるが、画像を再構成する際には２画像の加算を行う。

すなわち、１回目の再構成では、第２の低周波画像Ｌ２と第２の高周波画像Ｈ２を係数記憶部１０３から読み出し、読み出した係数データに基づいて画像再構成部１０５が第１の低周波画像Ｌ１を復元して係数記憶部１０３に保存する。続く、２回目の再構成では、保存した第１の低周波画像Ｌ１と第１の高周波画像Ｈ１を係数記憶部１０３から読み出し、読み出した係数データに基づいて画像再構成部１０５が元のフレーム画像Ｆ０を復元する。

実際の再構成処理においては、係数変更部１０４が、撮影条件入力部１０７から供給される情報（先鋭化・ノイズ低減などの画像処理設定や撮影条件等）に基づいて、画像再構成時に係数データを変更する。したがって、画像再構成部１０５により復元される画像は、画像サイズについては元のフレーム画像Ｆ０と同じであるが、元のフレーム画像Ｆ０とは若干異なる。再構成後の復元画像は、モニタ等の画像表示部１０６に出力される。

図３に、分解・最構成処理部１００の詳細な構成例を示す。
図３において、３１１は低域通過フィルタ、３１２は間引き部、３１３はアップサンプリング部、３１４は補間処理部、３１５は減算部である。なお、３２１〜３２５、３３１〜３３５、３４１〜３４５も、上述した各処理部３１１〜３１５と同様である。この処理部３１１〜３１５、３２１〜３２５、３３１〜３３５、３４１〜３４５により、図１に示した周波数分解部１０２及び係数記憶部１０３の機能が実現される。

３１６、３２６、３３６、３４６、３５０は、係数データに重み付けを行う係数変更部であり、図１に示した係数変更部１０４の機能を実現する。

３１７はアップサンプリング部、３１８は補間処理部、３１９は加算部である。なお、３２７〜３２９、３３７〜３３９、３４７〜３４９も、上述した各処理部３１７〜３１９と同様である。この処理部３１７〜３１９、３２７〜３２９、３３７〜３３９、３４７〜３４９により、図１に示した画像再構成部１０５及び係数記憶部１０３の機能が実現される。

分解処理すべき第ｔフレームの画像が端子３０１から入力されると、当該画像に対する１回目の周波数分解が５つの処理部３１１〜３１５によって行われる。具体的には、低域通過フィルタ３１１により入力画像の低域成分が抽出され、間引き部３１２により低域通過フィルタ３１１で抽出された入力画像の低域成分を基に縦横各々１／２に間引いた縮小画像が生成される。

間引き部３１２で生成されるこの縮小画像は第１の低周波画像Ｌ１であり、次段の処理部３２１〜３２５によってさらに分解される。また、縮小画像Ｌ１はアップサンプリング部３１３により元の画像サイズに戻され、補間処理部３１４により入力元画像の低域成分のみを有する画像に変換される。この低域成分のみを有する画像を減算部３１５により入力画像から減算することによって、第１の高周波画像Ｈ１が生成される。

第１の低周波画像Ｌ１は、処理部３２１〜３２５によってさらに周波数分解され、同様にして第２の高周波画像Ｈ２と第２の低周波画像Ｌ２が生成される。さらに、第２の低周波画像Ｌ２を再帰的に周波数分解し続けると、図３に示す構成では、第３の高周波画像Ｈ３、第４の高周波画像Ｈ４、第４の低周波画像Ｌ４に分解される。

分解結果として得られる４つの高周波画像Ｈ１，Ｈ２，Ｈ３，Ｈ４及び１つの低周波画像Ｌ４の各々に対して、先鋭化・ノイズ低減などの画像処理設定や撮影条件等に基づき、係数変更部３１６，３２６，３３６，３４６，３５０が係数データに重み付けを行う。そして、重み付けされた係数データを基に、処理部３１７〜３１９、３２７〜３２９、３３７〜３３９、３４７〜３４９によって、画像データが再構成されて実空間の画像が復元される。

ここで、係数データを一切変更せずかつ演算誤差が無いと仮定すれば、原理的には、入力画像と同じ画像を復元できる。これは、画像再構成を行う処理部が周波数分解を行う処理部の一部とほとんど同じ構成であるためである。違いは、周波数分解処理における減算部３１５、３２５、３３５、３４５が、再構成処理では加算部３１９、３２９、３３９、３４９になっている点である。入力画像と同じ画像を復元することができるのは、減算部で引いた画像データと全く同じ画像データを加算部で加えて元のデータに戻すためである。

入力画像の縦横各々１／１６の画像サイズである第４の低周波画像Ｌ４の係数データは係数変更部３５０にて重み付けされ、アップサンプリング部３４７により１／８の画像サイズに戻された後、補間処理部３４８により同じサイズの補間画像が生成される。補間処理部３４８で生成されるこの補間画像と、係数変更部３４６にて重み付けされた係数変更後の第４の高周波画像Ｈ４'とを加算部３４９により加算すると、１／８サイズの画像が復元される。

同様にして、アップサンプリング以降の処理を、処理部３３７〜３３９、３２７〜３２９、３１７〜３１９により再帰的に行うことで、１／４、１／２、等倍サイズの画像が順に復元される。加算部３１９から得られる等倍サイズ、すなわち、端子３０１から入力された入力画像と同じサイズの復元画像は、端子３０２を通して外部のモニタ等へ出力される。

上述した説明では、説明を簡略化するために処理に関する遅延時間は考慮していないが、遅延時間を考慮すべき処理が２つある。１つは補間処理であり、垂直方向の補間処理を行うには次のラインのデータが必要であり、その必要なデータを待つために補間処理の開始時間を遅らせる必要がある。これによって補間処理の結果を得る時間が遅延する。

もう１つは、分解・再構成の各部の処理をシーケンシャルに行うことによる遅延時間の発生である。分解・再構成の各部の処理は画像サイズに応じて処理すべきデータ量が大きく異なり、各部を並列に処理するとデータ量の少ない処理部は非常に効率が低下するため、シーケンシャルな処理が要求される。また、各分解レベルの画像を大容量の１つのメモリに格納する場合にも、シーケンシャルな処理の方が効率がよい。

以上のように、図１〜図３を参照して説明した画像の分解・再構成処理を実現するには、様々な箇所で遅延が生じ、処理タイミングを合わせるための遅延用メモリが必要となる。図３に示した構成に対して、再構成処理のために必要となる遅延メモリのみを示すと図４のような構成になる。なお、図４において、図３に示した構成要素と同一の機能を有する構成要素には同一の符号を付している。

図４に示す遅延メモリ４１１、４２１、４３１、４４１、４５０は、構成上は分散しているが、各々分解処理した高周波画像又は低周波画像を一時的に保存する必要があり、別々のメモリで構成すると、メモリの利用効率が低下してしまう。そのため、コスト上の観点から統一した１つのメモリで、これらの遅延メモリ４１１、４２１、４３１、４４１、４５０を実現することもある。遅延メモリ４１１、４２１、４３１、４４１、４５０以外の構成要素は図３と同じである。

例えば、遅延メモリ４１１、４２１、４３１、４４１、４５０を統一した１つのメモリで実現すると、この統一したメモリに対して非常に多くのメモリアクセスが発生し、多重解像度解析機能に加えて各種機能を追加する毎に、メモリアクセス量がさらに増大する。このように機能追加によりメモリアクセス量が増えすぎると、全体での（トータルの）メモリアクセス量を所定量以内に抑えるために、処理する画像サイズを小さくする必要が生じる。

また、上述した画像の分解・再構成処理において、係数変更部１０４による係数データの重み付けで可能なノイズ低減処理は、先鋭なエッジが鈍りやすい空間的な平滑化であり、時間的な平滑化を行うことができない。時間方向に平滑化するノイズ低減処理としてフレーム間の相関を利用したフレーム間ノイズ低減処理がある。しかし、上述した構成において、統一した１つのメモリで遅延メモリを構成し、多重解像度解析機能に加え、単にフレーム間ノイズ低減処理機能を追加すると、上述したように全体でのメモリアクセス量が大幅に増大する。また、フレーム間ノイズ低減処理を実現するには、少なくとも１フレーム分遅延させた画像データが必要であるので、その画像データを保持するためのフレームメモリが必要となり、必要なメモリ容量も増大する。

（第１の実施形態）
本発明の第１の実施形態について説明する。
第１の実施形態に係る画像処理装置は、上述した多重解像度解析機能に加えフレーム間ノイズ低減機能を追加しても、画像サイズを小さくする必要がないよう全体でのメモリアクセス量の増加を抑制するようにするものである。

図４に示した分解・再構成処理部において、周波数分解した複数の高周波画像に対してフレーム間ノイズ低減処理を施す場合、遅延メモリの前段側で行う構成と、遅延メモリより後段側で行う構成との２つの構成が考えられる。遅延メモリの前段側で（直前で）フレーム間ノイズ低減処理を行うようにする場合には、図５に示すような構成となる。

図５は、図４に示した分解・再構成処理部に、フレーム間ノイズ低減処理機能を追加した分解・再構成処理部の構成例を示す図である。図５において、６１０、６２０、６３０は、周波数分解して得られた複数の高周波画像を時間方向に平滑化するフレーム間ノイズ低減部であり、フレーム間の相関を利用してノイズを低減する。ノイズ低減部６１０は、フレームメモリ６１１、減算部６１２、６１３、及び非線形処理部６１４を有する。なお、図５においては図示を省略しているが、ノイズ低減部６２０、６３０も、それぞれフレームメモリ、２つの減算部、及び非線形処理部を有し、ノイズ低減部６１０と同様に構成される。

図５に示す分解・再構成処理部における画像の分解処理及び再構成処理は、上述した分解・再構成処理部と同様であるので説明を省略し、ここではフレーム間ノイズ低減処理について説明する。

フレーム間ノイズ低減部６１０、６２０、６３０内のフレームメモリ６１１には、ノイズ低減処理された１フレームの画像が格納され、１フレーム後に読み出されノイズ低減処理における基準画像信号として減算部６１２に供給される。減算部６１２には、ノイズ低減処理の対象画像信号として、減算部３１５から出力された画像データが入力される。なお、このノイズ低減処理の対象画像は、減算部６１２以外に減算部６１３にも入力される。

減算部６１２は、減算部３１５より供給されるノイズ低減処理の対象画像信号から、フレームメモリ６１１より供給される基準画像信号を減算して、フレーム間差分信号を生成する。ノイズ低減処理の対象画像信号から基準画像信号（リカーシブフィルタ画像信号）を減算して生成されたフレーム間差分信号には、ランダムに発生するノイズ成分及び被写体の動きで生じるレベル変化による差分（これを動き成分と呼ぶ）が存在する。

非線形処理部６１４は、減算部６１２により生成されたフレーム間差分信号から動き成分を除きノイズ成分だけを抽出するためにリミッタ演算などの非線形処理を行う。リミッタ演算ではリミットレベルの調整しかできないが、非線形処理部としてルックアップテーブルを用いれば、細かな調整が可能な非線形処理を行うことが可能である。

減算部６１３は、減算部３１５より供給されるノイズ低減処理の対象画像信号から、非線形処理部６１４で抽出されたノイズ成分を減算し、ノイズ低減後の高周波画像を生成する。減算部６１３は、生成したノイズ低減後の高周波画像を、フレームメモリ６１１に書き戻すとともに、同じ画像データを遅延メモリ４０１に書き込む。

図５に示す構成では、フレーム間ノイズ低減部６１０、６２０、６３０は、ノイズ低減処理後の各解像度の高周波画像をフレームメモリに書き戻すとともに、同じ画像データを遅延メモリにも書き込む必要がある。すなわち、図５に示す構成では、フレームメモリ及び遅延メモリの２つに同じ画像データを書き込むこととなり、必要なメモリ容量が増加するとともに、メモリアクセス量も増大する。

そこで、第１の実施形態に係る画像処理装置は、多重解像度解析機能に加えフレーム間ノイズ低減処理機能の追加によるメモリアクセスの増加を抑えるため、図６に示すように構成する。具体的には、フレーム間ノイズ低減部５１０、５２０、５３０内のフレームメモリに書き込んだデータを１フレームの途中のタイミングで読み出すポートを設け、このポートから各遅延メモリの遅延時間と同じ遅延時間となるようにしてデータを読み出す。

図６は、第１の実施形態に係る画像処理装置の構成例を示す図である。第１の実施形態に係る画像処理装置は、多重解像度解析機能及びフレーム間ノイズ低減機能を有する。この図６において、図１〜図５に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。

図６において、５１０、５２０、５３０は、周波数分解して得られた複数の高周波画像を時間方向に平滑化するフレーム間ノイズ低減部であり、フレーム間の相関を利用してノイズを低減する。ノイズ低減部５１０は、フレーム遅延手段としてのフレームメモリ５１１、減算部５１２、５１３、及び非線形処理部５１４を有する。なお、図６においては図示を省略しているが、ノイズ低減部５２０、５３０も、ノイズ低減部５１０と同様に構成される。

図６に示す第１の実施形態に係る画像処理装置での画像の分解処理及び再構成処理は、上述した分解・再構成処理と同様であるので説明を省略する。

フレーム間ノイズ低減部５１０、５２０、５３０内のフレームメモリ５１１には、ノイズ低減処理された画像が格納される。フレーム間ノイズ低減部５１０、５２０、５３０内のフレームメモリ５１１に格納された画像（係数データ）は、１フレーム後に読み出されノイズ低減処理における基準画像信号として減算部５１２に供給される。減算部５１２には、ノイズ低減処理の対象画像信号として、減算部３１５から出力された画像データが入力される。なお、このノイズ低減処理の対象画像は、減算部５１２以外に減算部５１３にも入力される。

また、フレーム間ノイズ低減部５１０、５２０、５３０内のフレームメモリ５１１に格納された画像（係数データ）は、１フレームの途中のタイミングで読み出され係数変更部３１６、３２６、３３６に供給される。すなわち、フレームメモリに格納された画像（係数データ）は、１フレーム未満の遅延時間後に（１フレーム分未満の時間だけ遅延させた後に）読み出されて係数変更部３１６、３２６、３３６に供給される。詳細には、図４及び図５等に示したフレーム間ノイズ低減部５１０、５２０、５３０に対応する各遅延メモリの遅延時間と同じ遅延時間となるようにして、フレームメモリに格納された画像を読み出す。

減算部５１２は、減算部３１５より供給されるノイズ低減処理の対象画像信号から、フレームメモリ５１１より供給される基準画像信号を減算して、フレーム間差分信号を生成する。この生成されたフレーム間差分信号には、上述したようにランダムに発生するノイズ成分及び被写体の動きで生じるレベル変化による差分（動き成分）が存在する。

非線形処理部５１４は、減算部５１２により生成されたフレーム間差分信号から動き成分を除きノイズ成分だけを抽出する。減算部５１３は、減算部３１５より供給されるノイズ低減処理の対象画像信号から、非線形処理部５１４で抽出されたノイズ成分を減算してノイズ低減後の高周波画像を生成し、生成したノイズ低減後の高周波画像をフレームメモリ５１１に書き戻す。

このようにして、フレーム間ノイズ低減処理及び遅延メモリの両方を適用する分解レベル（周波数帯域）では、フレームメモリ内のデータをフレーム周期の途中のタイミングで読み出し、読み出したデータを遅延データとして用いる。これにより、図５に示した構成と比較すれば明らかなように、フレーム間ノイズ低減処理及び遅延メモリの両方を適用する分解レベルでは遅延メモリを設けることなく処理を行うことができる。すなわち、周波数分解部により分解した複数の画像の各々に対して、フレームメモリ又は遅延メモリの一方だけを設ければ良い。

ここで、あるフレームメモリに着目した場合、１フレーム周期でノイズ低減処理を行うために、フレームメモリに格納する画像データは１フレーム周期で更新される。その一方で、画像データは別の位相のフレーム周期（１フレーム分未満のタイミング）で再構成処理に用いられる。フレーム間ノイズ低減処理から再構成処理までの位相の差が遅延メモリの遅延量となる。

以上のように、本実施形態によれば、書き込まれたデータを１フレームの遅延時間後に出力するとともに、１フレーム未満の遅延時間後であっても出力可能なフレームメモリを設ける。そして、多重解像度解析にて分解した複数の画像の一部又は全部に対してフレーム間ノイズ低減処理を施す場合には、フレーム間ノイズ低減処理を施す分解レベルでは、フレームメモリのみを設けて格納されるデータをノイズ低減処理及び再構成処理で共用する。これにより、動画像を構成するフレーム画像に対して多重解像度解析処理に加えフレーム間ノイズ低減処理を追加して行うようにしても、処理の実行に必要なメモリ容量及びメモリアクセス量の増大を抑制することができる。

なお、分解回数４回における４つの高周波画像Ｈ１，Ｈ２，Ｈ３，Ｈ４に含まれる信号の周波数帯域は違っており、フレーム間差分信号に含まれるノイズ成分と動き成分の大きさや比率が異なる。また、ノイズ成分の大きさは画像の信号源（イメージセンサ）に大きく依存するため、各帯域のノイズ低減処理の強さは信号源に合わせて調整することが望ましい。例えば、非線形処理部における処理がリミッタ演算であれば、リミットレベルを各分解レベルのノイズ低減処理毎に設定すれば良い。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第２の実施形態に係る画像処理装置は、一連の処理部を共通の一組だけ用いて、複数回の分解、差分画像生成、ノイズ低減、及び再構成の各処理を逐次的に行うことで、第１の実施形態と同様の機能を実現しながらも構成の簡略化を図るものである。

図６に示した第１の実施形態に係る画像処理装置のように、必要な処理に対して各々専用の処理部を設ければ、高速に処理することができ全体の制御も単純である。しかし、画像を高周波画像と低周波画像とに１回分解する毎に、低周波側の画像サイズが縦横各々１／２となって画像データ量が１／４に減少するため、分解回数が多い低周波画像を扱う処理部ほど何ら処理を行っていない空き時間が増え無駄が生じる。

そこで、第２の実施形態に係る画像処理装置では、一連の処理部を共通に用い分解前の元の画像も分解後の各画像も全て一組の処理部で処理することにより、無駄を無くして各処理部を有効に利用できるようにする。図７は、第２の実施形態に係る画像処理装置の構成例を示す図である。

図７に示すように、第２の実施形態に係る画像処理装置は、上述した４つの処理を行う縮小画像生成処理部７０１、差分画像生成処理部７０３、ノイズ低減処理部７０５、再構成処理部７０７、及びメインメモリ７１０を有する。これまで説明した分解処理を、第２の実施形態においては縮小画像生成処理と差分画像生成処理とに分けて説明する。

縮小画像生成処理部７０１は、画像の低域成分を抽出する低域通過フィルタ７１１と、低域通過フィルタ７１１で抽出された画像の低域成分を基に縦横各々１／２に間引いた縮小画像を生成する間引き部７１２とを有する。差分画像生成処理部７０３は、画像サイズを復元するためのアップサンプリングを行うアップサンプリング部７３１と、画像の低域成分のみを有する画像に変換する補間処理部７３２と、減算部７３３とを有する。

ノイズ低減処理部７０５は、減算部７５１、７５２と、フレーム間差分信号から動き成分を除きノイズ成分だけを抽出する非線形処理部７５３とを有する。再構成処理部７０７は、画像処理設定や撮影条件等に基づいて係数データに重み付けを行う係数変更部７７１と、アップサンプリングを行うアップサンプリング部７７２と、低域成分のみを有する画像に変換する補間処理部７７３と、加算部７７４とを有する。

各処理部７０１、７０３、７０５、７０７での処理は、分解処理を縮小画像生成処理と差分画像生成処理とに分けている点が異なるだけで、上述した第１の実施形態と同様であるので説明は省略する。

以下では、図８に示すタイミングチャートを参照して、第２の実施形態に係る画像処理装置での処理順序について説明する。
図８は、第２の実施形態に係る画像処理装置での処理順序を模式的に示すタイミングチャートである。図８においては、４つの処理（四角の枠で囲んだ縮小画像生成、差分画像生成、ノイズ低減、再構成）及び２種類の遅延データ（ノイズ低減用フレーム遅延データ、再構成用遅延データ）のタイミングを図示している。また、多重解像度解析に係る分解回数が４回の場合を一例として示しているが、本発明はこれに限定されるものではない。

なお、図８においては、４つの処理の内、縮小画像生成、差分画像生成、及びノイズ低減の３つ処理については、フレーム間の処理関係を示すために２フレーム分の処理を図示している。また、図８においては、図示の便宜上、処理時間の比を適宜圧縮して表現している。例えば、１回目の縮小画像生成処理と２回目の縮小画像生成処理で処理するデータ量は４：１の開きがあるが、これとは異なる比で表現している。

まず、処理対象のフレーム画像は、メインメモリ７１０に既に格納されているものとする。
縮小画像生成部７０１は、処理対象のフレーム画像に関して４回の縮小処理を行うが、最初（１番目）の処理Ｂ１で１回目の縮小画像生成処理を行う。すなわち、縮小画像生成部７０１は、ｉ番目（ｉは添え字であり、ｉ＝１、２、３、４、以下同様）の処理Ｂｉでｉ回目の縮小処理を行う。各縮小処理の結果は、その都度メインメモリ７１０に一旦格納され、次の縮小処理やノイズ低減処理で用いる場合にメインメモリ７１０から読み出される。

ｉ番目の縮小処理Ｂｉ直後に、差分画像生成処理部７０３はｉ回目の縮小結果を用いて差分画像生成処理Ｓｉを行い、ノイズ低減処理部７０５は差分画像生成処理Ｓｉで生成される差分画像の画素データを用いて同時にフレーム間ノイズ低減処理Ｎｉを行う。このとき、ノイズ低減処理部７０５は、１フレーム前にノイズ低減処理した画像の対応画素データをメインメモリ７１０から読み出す。

フレーム間ノイズ低減処理Ｎｉにて、ノイズ低減処理部７０５は、差分画像生成処理Ｓｉで生成された差分画像の画素データとメインメモリ７１０から読み出した画素データ間の差分を計算する。続いて、ノイズ低減処理部７０５は、差分を計算して得られたフレーム間差分信号からノイズ成分を抽出し、抽出したノイズ成分を差分画像生成処理Ｓｉで生成された差分画像から減算して、フレーム間ノイズ低減処理後の画素データを得る。得られた画素データは、メインメモリ７１０に格納され、所定遅延後の再構成処理に用いられるとともに、１フレーム後のノイズ低減処理にも利用される。

図８に示した例では、４回の画像縮小処理が終わるまで、縮小処理と差分画像生成処理・ノイズ低減処理とを交互に繰り返す。図８に示すタイミングチャートから分かるように、縮小処理Ｂ１の後に（差分画像生成処理Ｓ１，ノイズ低減処理Ｎ１）が続き、その後に処理Ｂｉと（処理Ｓｉ，Ｎｉ）がｉ＝２，３，４の順で続く。

これらの処理が終わった段階で（（処理Ｓ４、Ｎ４）の完了後）、ノイズ低減処理済みの４つの高周波画像Ｈ１，Ｈ２，Ｈ３，Ｈ４と１つの低周波画像Ｌ４がメインメモリ７１０に格納されている。

次に、メインメモリ７１０に格納されたノイズ低減処理済みの４つの高周波画像Ｈ１，Ｈ２，Ｈ３，Ｈ４及び１つの低周波画像Ｌ４を用いて４回の分解に対応する再構成処理を行う。再構成処理部７０７は、画像サイズが一番小さい低周波画像Ｌ４をアップサンプル・補間処理した後、画像サイズが縦横各々２倍の高周波画像Ｈ４と加算して、低周波画像Ｌ３'を再構成する（再構成処理Ｒ４）。このとき、高周波画像Ｈ４の係数に対しては、画像処理設定や撮影条件等に基づく重みを掛けて係数を変更する。再構成された画像は一旦メインメモリ７１０に格納され、次の段階の再構成で用いられる。

以下同様にして、再構成処理部７０７は、高周波画像Ｈｊと低周波画像Ｌｊ（ｊは添え字であり、ｊ＝３，２，１）とから、低周波画像Ｌ（ｊ−１）'を再構成する（再構成処理Ｒｊ）。そして、再構成処理部７０７により低周波画像Ｌ０'（元のサイズのフレーム画像）の再構成処理が終わると、１フレームの分解・再構成処理が完了する。

以上、第２の実施形態によれば、第１の実施形態と同様に、動画像を構成するフレーム画像に対して多重解像度解析処理及びフレーム間ノイズ低減処理を行うようにしても、処理の実行に必要なメモリ容量及びメモリアクセス量の増大を抑制することができる。また、一連の処理部を一組だけ用いて、複数回の縮小画像生成、差分画像生成、ノイズ低減、及び再構成の各処理を逐次的に行うことで、画像処理装置の構成を簡略化し規模を縮小することができる。

なお、第２の実施形態に係る画像処理装置では、以上説明した４回分の縮小処理、差分画像生成処理、ノイズ低減処理と、それに対応する再構成処理とを、１フレーム時間内に行う必要がある。４回の処理と言っても、画像データ量は１回縮小する毎に１／４に減少するため、処理すべき全データ量は、元の画像サイズのデータ量の約４／３倍であり、その分だけ高速に処理できれば良い。

また、上述した第２の実施形態では、縮小画像生成、差分画像生成、ノイズ低減処理の各々の時間を分けて処理しているが、それらを並列に処理してもよい。さらに４回の縮小画像生成処理を先に行い、その後に差分画像生成処理・ノイズ低減処理を４回行うといった順序で処理することも可能である。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
図９は、第３の実施形態に係る画像処理装置の構成例を示す図である。第３の実施形態に係る画像処理装置は、第１の画像処理部９１０及び第２の画像処理部９２０を有する。

第１の画像処理部９１０は、上述したようにメモリアクセス量の増加を抑制して多重解像度解析処理及びフレーム間ノイズ低減処理を画像に施すようにした画像処理部であり、例えば図６に示したように構成される。また、第２の画像処理部９２０は、メモリアクセス量の削減を図ることなく、単に多重解像度解析処理及びフレーム間ノイズ低減処理を画像に施すようにした画像処理部であり、例えば図１０に示すように構成される。

第３の実施形態では、入力される動画像のフレームレートや処理対象領域の画像サイズ等に応じて、処理を行う画像処理部が選択的に切り換えられ、端子９０１より入力されたフレーム画像が画像処理部９１０、９２０で適宜処理され、端子９０２より出力される。

図１０は、第２の画像処理部９２０の構成例を示す図である。この図１０において、図１〜図４に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。

第２の画像処理部９２０は、上述したようにメモリアクセスの削減をしないで多重解像度解析処理に加えフレーム間ノイズ低減処理を追加したものである。このように構成することで、第１の実施形態に係る画像処理装置と比較すると、フレーム間ノイズ低減処理の追加に伴うメモリアクセス量が２倍に増加するが、フレーム間ノイズ低減処理を細かく制御することが可能になる。

図１０において、１０１０、１０２０、１０３０は、周波数分解して得られた複数の高周波画像を時間方向に平滑化するフレーム間ノイズ低減部であり、フレーム間の相関を利用してノイズを低減する。ノイズ低減部１０１０は、フレームメモリ１０１１、減算部１０１２、１０１３、及び非線形処理部１０１４を有する。なお、図１０においては図示を省略しているが、ノイズ低減部１０２０、１０３０も、ノイズ低減部１０１０と同様に構成される。

ノイズ低減部１０１０内のフレームメモリ１０１１、減算部１０１２、１０１３、及び非線形処理部１０１４は、図５に示したノイズ低減部６１０内のフレームメモリ６１１、減算部６１２、６１３、及び非線形処理部６１４にそれぞれ対応する。ノイズ低減部１０１０は、遅延メモリに対して後段側に設けられた点が異なるだけで、ノイズ低減部６１０と同様であるので、詳細な説明は省略する。

図１０に示す第２の画像処理部９２０は、画像再構成時にフレーム間ノイズ低減処理を行うことが可能（第１実施形態では周波数分割時に行う必要があった）である。したがって、第２の画像処理部９２０は、再構成に用いる２種類の画像の低周波画像に基づいて高周波画像のフレーム間ノイズ低減処理を制御することができる。

ここで、画像データに対するガンマ処理や撮像・表示デバイスに依存した非線形処理によって、視覚的にノイズが目立ちやすいレベルと目立ちにくいレベルとがある。画像のレベルは低周波画像のレベルに強く依存し、ノイズは高周波画像に多く存在する。そこで、この性質を利用し低周波画像のレベルに基づいて、フレーム間ノイズ低減処理の強弱を制御し、ノイズが目立ちやすいレベルではノイズ低減処理を強く、ノイズが目立ちにくいレベルではノイズ低減処理を弱くする。これにより、ノイズ低減処理の視覚上の効果を上げることができる。

また、Ｘ線透視撮影において、被験者の被爆量を減らす最も有効な方法はＸ線量を減らすことであり、Ｘ線撮影対象部位の動きの速さに応じて、撮影フレームレートを下げることにより単位時間当たりの被爆量を減らすということが行われている。撮影フレームレートが低いと、単位時間当たりの画像データ量が少なくなるので、メモリアクセス量も少なくなりメモリアクセスに余裕が生じる。

したがって、第３の実施形態に係る画像処理装置では、画像処理装置全体の動作の中で、メモリアクセスに余裕がある場合には、ノイズ低減処理の効果を上げるために第２の画像処理部９２０で処理を行う。一方、フレームレートが高く、画像処理装置のメモリアクセスに余裕がない状況では、メモリアクセス量を削減するために第１の画像処理部９１０で処理を行うといった制御が有効である。

具体的に、図１０に示した第２の画像処理部９２０では、生成した高周波差分画像データを遅延メモリに一旦格納し、再構成処理で必要となるタイミングで遅延メモリから画像データを読み出して、ノイズ低減処理を施した後に再構成処理に用いる。それとともに、ノイズ低減処理後の画像データを次のフレームのノイズ低減処理における基準画像データとして使うためにフレームメモリに格納する。

それに対し、図６に示したように、第１の画像処理部９１０では、高周波差分画像データを生成後、直ちにノイズ低減処理を施してフレームメモリに格納する。そして、再構成処理で必要となるタイミングになったら、フレームメモリから画像データを読み出して、そのまま再構成処理に用いる。

なお、フレームレートの調整以外にも処理対象となる画像領域（処理対象領域の画像サイズ）を被写体の動きや変化に応じて変えることがある。フレームレートが一定であれば、画像サイズが小さい場合には第２の画像処理部９２０で処理を行い、画像サイズが大きくなったら第１の画像処理部９１０で処理を行うといった切り換え制御も、本実施形態では有効である。

以上、第３の実施形態によれば、第１の画像処理部９１０で処理を行うか、第２の画像処理部９２０で処理を行うかを、フレームレート等に基づいて切り換えることができる。これにより、メモリアクセスが増えるがノイズ低減処理を細かく制御できる構成と、メモリアクセスが減るが細かな制御できない構成とを、入力される動画像に応じて適切に切り換えて処理を行うことができる。

図１１は、上述した第１〜第３の実施形態に係る画像処理装置のハードウェア構成例を示す図である。
画像処理装置８００は、図１１に示すように、ＣＰＵ８０１と、ＲＯＭ８０２と、ＲＡＭ８０３とを備える。また、操作・入力部（ＣＯＮＳ）８０９のコントローラ（ＣＯＮＳＣ）８０５と、ＣＲＴやＬＣＤ等の表示部としてのディスプレイ（ＤＩＳＰ）８１０のディスプレイコントローラ（ＤＩＳＰＣ）８０６とを備える。さらに、ハードディスク（ＨＤ）８１１、及びフレキシブルディスク等の記憶デバイス（ＳＴＤ）８１２のコントローラ（ＤＣＯＮＴ）８０７と、ネットワークインタフェースカード（ＮＩＣ）８０８とを備える。それら機能部８０１、８０２、８０３、８０５、８０６、８０７、８０８は、システムバス８０４を介して互いに通信可能に接続された構成としている。

ＣＰＵ８０１は、ＲＯＭ８０２又はＨＤ８１１に記憶されたソフトウェア、又はＳＴＤ８１２より供給されるソフトウェアを実行することで、システムバス８０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ８０１は、上述したような動作を行うための処理プログラムを、ＲＯＭ８０２、ＨＤ８１１、又はＳＴＤ８１２から読み出して実行することで、第１〜第３の実施形態での動作を実現するための制御を行う。ＲＡＭ８０３は、ＣＰＵ８０１の主メモリ又はワークエリア等として機能する。

ＣＯＮＳＣ８０５は、ＣＯＮＳ８０９からの指示入力や画像入力を制御する。ＤＩＳＰＣ８０６は、ＤＩＳＰ８１０の表示を制御する。ＤＣＯＮＴ８０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び処理プログラム等を記憶するＨＤ８１１及びＳＴＤ８１２とのアクセスを制御する。ＮＩＣ８０８はネットワーク８１３上の他の装置と双方向にデータをやりとりする。

例えば、供給される処理プログラムを実行するＣＰＵ８０１により、本発明の分解手段、ノイズ低減手段、係数変更手段、再構成手段、読み出し手段の機能が実現され、ＲＡＭ８０３によりフレーム遅延手段の機能が実現される。なお、処理対象の動画像は、ＣＯＮＳ８０９により画像処理装置８００に供給するようにしているが、ネットワーク８１３を介して画像処理装置８００に供給するようにしても良いし、ＨＤ８１１及びＳＴＤ８１２に格納し供給するようにしても良い。

（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置又はシステム内のコンピュータ（ＣＰＵ又はＭＰＵ）に対し、前記実施形態の機能を実現するためのソフトウェアのプログラムを供給する。そして、そのシステム又は装置のコンピュータに格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
また、この場合、前記ソフトウェアのプログラム自体が上述した実施形態の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムをコンピュータに供給するための手段、例えばかかるプログラムを格納した記録媒体は本発明を構成する。かかるプログラムを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、供給されたプログラムがコンピュータにて稼働しているオペレーティングシステム又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムがコンピュータに係る機能拡張ボードや機能拡張ユニットに備わるメモリに格納された後、そのプログラムの指示に基づいてその機能拡張ボード等に備わるＣＰＵ等が実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

画像のラプラシアン・ピラミッド分解及び再構成を行う分解・再構成処理部の構成例を示す図である。 ラプラシアン・ピラミッド分解処理について説明するための図である。 図１に示した分解・再構成処理部の詳細な構成例を示す図である。 再構成処理のための遅延を考慮した分解・再構成処理部の構成例を示す図である。 図４に示した分解・再構成処理部に、フレーム間ノイズ低減処理機能を追加した分解・再構成処理部の構成例を示す図である。 第１の実施形態に係る画像処理装置の構成例を示す図である。 第２の実施形態に係る画像処理装置の構成例を示す図である。 第２の実施形態に係る画像処理装置での処理順序を模式的に示すタイミングチャートである。 第３の実施形態に係る画像処理装置の構成例を示す図である。 図９に示した第２の画像処理部の構成例を示す図である。 本実施形態に係る画像処理装置のハードウェア構成例を示す図である。

符号の説明

１０２ 周波数分解部
１０３ 係数記憶部
１０４ 係数変更部
１０５ 画像再構成部
５１０、５２０、５３０ フレーム間ノイズ低減部
５１１ フレームメモリ
５１２、５１３ 減算部
５１４ 非線形処理部
７０１ 縮小画像生成部
７０３ 差分画像生成処理部
７０５ ノイズ低減処理部
７０７ 再構成処理部

Claims (1)

1. 動画像を構成する各フレーム画像を周波数帯域及び画像サイズの異なる複数の画像信号に分解する分解手段を備え、分解した画像信号に係る係数データに処理を施した後、画像を再構成する多重解像度解析処理を行う画像処理装置であって、
   前記複数の画像信号のそれぞれに対して、
   フレームメモリと、
   第１差分信号を生成するために第１フレーム画像における前記画像信号から前記フレームメモリの内容を減算する第１減算手段と、
   第１雑音信号を生成するために前記第１差分信号に対して非線形処理を行う非線形処理手段と、
   第２差分信号を生成するために前記第１フレーム画像における前記画像信号から前記第１雑音信号を減算する第２減算手段と、
   前記第２差分信号を前記フレームメモリに保存する保存手段と、
   前記第１減算手段に前記第１フレーム画像に続く第２フレーム画像における前記画像信号から前記フレームメモリに保存されている前記第２差分信号を減算させるために、前記フレームメモリに前記第２差分信号が保存されてから１フレーム後に前記フレームメモリに保存された前記第２差分信号を読み出す一方、画像を再構成するために、前記第２差分信号が前記フレームメモリに保存されてから１フレーム経過前に前記フレームメモリに保存されている前記第２差分信号を読み出す読み出し手段と、
   前記第２差分信号が前記フレームメモリに保存されてから１フレーム経過前に前記読み出し手段によって読み出された前記第２差分信号に係る係数データを変更する係数変更手段と、
   を備え、
   前記複数の画像信号における、前記係数変更手段によって変更された前記第２差分信号に係る係数データに基づいて元のフレーム画像と同じ画像サイズの画像を再構成する再構成手段とを備えることを特徴とする画像処理装置。

Images