JP6983801B2 - ２パス時間的ノイズ低減による画質の向上 - Google Patents

Description

本発明は、画像プロセッサ、画像処理方法、画像処理システム、コンピュータプログラム要素及びコンピュータ可読媒体に関する。

医用撮像において、例えば診断又は介入手順を保護するために、画質は重要である。画質の１つの重要な指標は、取得画像におけるノイズのレベルである。ノイズレベルを低減する１つのやり方は、再帰的ノイズ低減フィルタを使用することである。しかし、当該フィルタによって処理される画像のシーケンスにおける画像ノイズが、シーケンスにわたって不均一に分布することが報告されている。

したがって、画質を向上させる撮像処理方法及び関連のシステムが必要である。

本発明の課題は、独立請求項の主題によって解決され、更なる実施形態は、従属請求項に組み込まれる。なお、以下に説明される本発明の態様は、画像処理方法、画像処理システム、コンピュータプログラム要素及びコンピュータ可読媒体にも同等に適用される。

本発明の第１の態様によれば、画像プロセッサが提供される。当該画像プロセッサは、
撮像装置によって取得されるフレームの入力シーケンスを受信する入力インターフェースと、
入力シーケンスを、少なくとも２つのノイズ処理済みシーケンスに双方向処理する少なくとも１つの時間的ノイズフィルタと、
少なくとも２つのノイズ処理済みシーケンスを、出力シーケンスに統合するマージャとを含む。

一態様によれば、双方向時間的ノイズ処理は、再帰的である。

入力フレームは、入力シーケンスを１つの方向において（例えば入力シーケンスの最初のフレームから最後のフレームまで）進んで第１のノイズ処理済みシーケンスを得て、次に、ノイズ処理を、反対方向で入力シーケンス（又はその複製）にランさせて第２のノイズ処理済みシーケンスを得ることによって、双方向に又は「２パス」で処理される。双方向処理によって得られた２つのシーケンスを統合することによって、ノイズ処理されたシーケンスの一方に存在するノイズ情報を、他方の画像処理済みシーケンスにおけるノイズ情報の欠如を補うために相互に利用することができる。ノイズ情報の欠如は、ノイズフィルタの再帰的な性質に関連する。このようにすると、統合シーケンスにおいてノイズを全体的に低減することができる。より具体的には、また、一実施形態では、提案される画像プロセッサによって、出力シーケンスの少なくとも初期部分又は最終部分の全体にわたって実質的に一定であるノイズ（パワー）レベルを達成することができる。

一態様によれば、マージャは、少なくとも２つのノイズ処理済みシーケンスの一方の初期セクションからの少なくとも１つのフレームを、少なくとも２つのノイズ処理済みシーケンスの他方からの対応するフレームによって置換する。置換演算は、第１及び第２のノイズ処理済みシーケンスの一方の変更を含むだけでなく、２つのノイズ処理済みシーケンスの少なくとも他方から、第１及び第２のノイズ処理済みフレームの一方の変更がない第３のシーケンスへの複製も含むと広く解釈されるべきである。

一態様によれば、マージャは、２つのノイズ処理済みシーケンスからのフレームを平均化する。具体的には、加重平均化スキームが使用される。一実施形態では、平均化は、入力シーケンスの取得中の撮像物体の動きを考慮する。

別の態様によれば、画像処理方法が提供される。当該方法は、
撮像装置によって取得されるフレームの入力シーケンスを受信するステップと、
少なくとも２つのノイズ処理済みシーケンスを生成するように、入力シーケンスに双方向時間的ノイズ処理を適用するステップと、
少なくとも２つのノイズ処理済みシーケンスを、出力シーケンスに統合するステップとを含む。

一実施形態によれば、双方向時間的ノイズ処理は、再帰的である。

一実施形態によれば、統合するステップは、少なくとも２つのノイズ処理済みシーケンスの一方の初期セクションからの少なくとも１つのフレームを、少なくとも２つのノイズ処理済みシーケンスの他方からの対応するフレームによって置換するステップを含む。

一実施形態によれば、統合するステップは、少なくとも２つのノイズ処理済みシーケンスからのフレームを平均化するステップを含む。

一実施形態によれば、出力シーケンスの少なくとも初期セクション又は最終セクションの全体にわたって、ノイズパワーレベルが実質的に一定である。

入力フレームは、ｉ）Ｘ線フレーム、ｉｉ）超音波フレーム及びｉｉｉ）磁気共鳴フレームの何れか１つである。一実施形態では、入力シーケンスの取得されたフレームは、動く物体をコード化する。

別の態様によれば、画像処理システムが提供される。当該画像処理システムは、
上記実施形態の何れかによる画像プロセッサと、
フレームの入力シーケンスを供給する撮像装置とを含む。

別の態様によれば、処理ユニットによって実行されると、上記態様の何れか１つによる方法を行うコンピュータプログラム要素が提供される。

別の態様によれば、上記プログラム要素を記憶したコンピュータ可読媒体が提供される。

本発明の例示的な実施形態について、次の図面を参照して以下に説明する。

図１は、画像プロセッサを含む撮像アレンジメントの略ブロック図を示す。 図２は、図１における画像プロセッサのブロック図を示す。 図３は、画像シーケンスのノイズレベル分布を示す。 図４は、本明細書において得られる例示的な画像を示す。 図５は、画像処理方法のフローチャートを示す。 図６は、画像シーケンスを統合するための様々な実施形態を示す。

図１を参照するに、画像処理システムＩＰＳが示される。画像処理システムＩＰＳは、画像のストリーム（つまり、シーケンス）を供給する撮像モダリティ、即ち、撮像装置（本明細書では、「イメージャＩＡ」と呼ぶ）を含む。シーケンスにおける画像は、本明細書では、「フレーム」と呼ぶ。

画像シーケンスＦは、画像プロセッサＩＰによって処理され、入力シーケンスＦのフレームにおけるノイズが低減される。一実施形態では、イメージャＩＡは、介入に画像誘導支援を提供するために、蛍光透視撮像手順において使用されるＸ線イメージャである。このようなＸ線イメージャＩＡの例示的な応用は、カテーテルが患者の中に導入される心臓イメージングである。

例えば心臓といった撮像される物体又は関心領域は、イメージャＩＡによって画像シーケンスＦが取得される間に、動いているか又は変形している。したがって、画像シーケンスＦは、物体の動きをコード化する。

本明細書では、幾つかの様々なモダリティが想定される。例えばイメージャＩＡは、本明細書において好適な実施形態として検討される介入ＣアームＸ線イメージャではなく、ＣＴイメージャであってもよい。別の実施形態では、イメージャＩＡは、超音波又は磁気共鳴イメージャである。

使用される撮像モダリティに応じて、イメージャＩＡの検出器デバイスは、アナログ−デジタル回路によって、本明細書では画像値、ピクセル値又はボクセル値と呼ぶ数に変換される画像信号を検出する。取得した画像が２Ｄであるか３Ｄであるか（いずれも本明細書では検討される）に応じて、これらの画像値は２Ｄ又は３Ｄアレイに配置される。以下では、２Ｄ画像について主に参照するが、これは、３Ｄ画像も本明細書において明確に検討されるので、以下の説明を限定するものではない。また、ＣＴコンテキストに関する限り、以下に説明されるシステム及び方法は、投影領域又は撮像領域において適用可能である。

時間ｔにおいて取得された単一の画像は、Ｉ_ｔと呼び、Ｉ_ｔ（ｘ，ｙ）は、位置ｘ，ｙにおける当該フレーム内のピクセルを示す。画像座標ｘ、ｙは、２Ｄアレイにおける列及び行を示す。当業者であれば、これらの表記法及び用語は、３Ｄ撮像にも容易に拡大適用することができることは理解できよう。

入力シーケンスＦにおけるフレームＩ_ｔは、好適には、固定又は可変フレームレートｆｐｓでの撮像ランにおいて取得される。蛍光透視環境において、また、１秒当たり約５乃至１５（例えば７．５）フレームのフレームレートと仮定すると、入力シーケンスＦは、通常、数十又は数百ほどのフレームを含む。各フレームは、モニタＭＴといった表示デバイス上で、静止画像として見ることができるが、好適には、本明細書において検討されるのは、ビデオシーケンス又はシネシーケンスにおける視覚化である。これは、見る人に動画の印象を与えるように、一度に１つのフレームで十分に高速の連続でのフレームＩ_ｔの表示デバイスＭＴ上の表示をもたらすビデオコントローラ（図示せず）を使用することによって実現される。このようにすると、動く物体の動態を調べることができる。原則として、取得シーケンスは、モニタＭＴ上に「ライブ」で表示されることが可能である。つまり、表示は、画像フレームＩ_ｔが取得されている間に、リアルタイムでもたらされる。しかし、本明細書において主に想定されるのは、レビューモードにおける画像の表示である。このモードでは、フレームＩ_ｔは、取得中にすぐに表示されず（しかし、すぐに表示することも可能である）、好適には、図１のブロック図において、ＤＢと概略的に示される病院情報システム（ＨＩＳ）等のＲＩＳ又はＰＡＣＳ（画像保管）といったデータベースといったバッファ又は他のメモリにまず捕捉される。

具体的には、レビューモードでは、捕捉Ｉ_ｔは、Ｉ_ｔが取得されている間に、表示のためにレンダリングされず、フレームの１回の完全なランが取得された後に初めて表示される。つまり、完全な入力シーケンスがまず取得され、記憶され、以下により詳細に説明されるように、画像プロセッサＩＰによって処理される。上記した心臓応用といった介入中に、レビューモードは、通常、その場で、撮像ラン直後に呼び出される。したがって、この場合、捕捉画像は、好適にはクイックアクセス可能であるローカルメモリバッファに記憶され、イメージャＩＡにあるモニタＭＴ上でレビューモードのビデオシーケンスにレンダリングされる。ＰＡＣＳ又は他の中央サーバへの永久記憶は、行われるにしても、後で、例えば手順の終わりにおいて行われる。

画像プロセッサＩＰは、通例のコンポーネントとして、入力シーケンスＦのフレームが受信される入力ポートＩＮを含む。次に、ノイズ低減フィルタＮＰ（又は「ノイズフィルタ」、本明細書ではこれらは共に同義に使用される）が、入力シーケンスＦを処理し、中間結果として、入力フレームＦと同じ長さの２つの中間画像シーケンスＦＬ及びＦＲを生成する。２つの中間シーケンスの表記「Ｆ^ＬＲ」、「Ｆ^ＲＬ」（「Ｌ」は「左」を示し、「Ｒ」は右を示す）はすぐに明らかとなるであろう。次に、これらの２つの中間ノイズ処理済み画像シーケンスＦ^ＬＲ及びＦ^ＲＬは、マージャＳＵＭによって、出力ポートＯＵＴにおいて出力される出力シーケンス

に統合される。

このように処理された又はエンハンスされたノイズ低減出力シーケンス

は、入力シーケンスＦよりもノイズが少なく、及び／又は、関心物体の動きによって受ける画像アーチファクトが少ない。ノイズ低減された及び／又は動きアーチファクト低減された出力画像

は、同じ又は異なるメモリＤＢに記憶され、静止画像、若しくは、好適にはビデオシーケンスとして表示のためにレンダリングされるか、又は、更に画像処理されることが可能である。入力ポートＩＮにおいて受信された入力シーケンスＦは、必ずしも１つの塊で受信される必要はなく、画像プロセッサの入力ポートに、フレーム毎に供給されることも可能である。

画像プロセッサＩＰは、イメージャＩＡに関連付けられるワークステーション又は他の汎用コンピュータデバイスＰＵ上で全体的に動作することができる。これの代案として、分散型コンピュータアーキテクチャの実施態様も想定され、この場合、画像プロセッサＩＰは、複数のイメージャＩＡに対して機能を供する。更なる変形例として、画像プロセッサＩＰは、ラップトップ、タブレット（「スマート」）フォン等といったハンドヘルドデバイスによって若しくは当該デバイス上にダウンロード可能及び／又は実行可能であるモバイル画像レビューソフトウェアモジュール（「モバイルアプリ」）として実現されてもよい。ハンドヘルドデバイスは、画像記憶サーバＤＢに接続して、レビューされる画像シーケンスをダウンロードするように操作され、処理済み出力シーケンス

を、ハンドヘルドデバイスのネイティブスクリーン上で見ることが可能となる。プロセッサＩＰの幾つか又はすべてのコンポーネントは、適切にプログラミングされたＦＰＧＡ（フィールドプログラマブルゲートアレイ）又は配線ＩＣチップといったハードウェアで構成されてもよい。

次に、ノイズ低減プロセッサＮＰをより詳細に参照する。これは、具体的には、時間的ノイズ低減プロセッサとして想定される。「時間的」とは、本コンテキストでは、フレームにおけるピクセルが、フレームのシーケンスにわたって（時間において、従って「時間的」）処理され、必ずしも各フレーム内で空間的に処理されるわけではないことを意味する。しかし、時間的フィルタリングが、空間的フィルタリングと共に行われる実施形態も想定される。図２のブロック図に示されるように、また、本明細書において好適な実施形態において具体的に想定されるように、ノイズ低減プロセッサＮＰは、再帰的なタイプである。より具体的には、また、一実施形態によれば、ノイズプロセッサは、次式：

の通り、加重フレーム平均化に基づいている。

好適には、しかし、必ずしもそうではないが、重みは正規化される（Ｗ１＋Ｗ２＝１）。ノイズ処理された又は「高められたフレーム」は、符号

によって示され、未加工フレームはＩとして示される。本明細書において主に想定される「再帰フィルタリング」とは、指数ｔ＋ΔＴにおける次のエンハンスされたフレームを計算するために、時間ｔにおけるすでにエンハンスされたフレームが再利用される（即ち、メモリＦＭから取り出される）ことを意味する。

１つの具体的な実施形態において、次のノイズ低減アルゴリズム：

が使用される。

図２を引き続き参照するに、（１ａ）のとおりの時間的ノイズプロセッサは、本質的に再帰的であるだけでなく、重みＡＴＲによって実現される動き補償器コンポーネントを含むという点で「適応性」もある。重みＡＴＲ（Ｋ係数とも呼ぶ）は、画像ピクセル差で規定される関数であり、関数の正確な特質及びプロファイルは、応用毎に異なる。具体的には、関数は、取得中の物体の移動量に依存する。特に、（正規化された）重みＡＴＲは、

とＩ_ｔ＋Δｔとの間のピクセル座標（ｘ，ｙ）におけるピクセル値（例えば濃淡値又は色値）の差の関数である。この差が大きいほど、Δｔの間に生じたと考えられる動きの量は大きく、Ｋ係数は小さい（例えば０．１）。これは、動きを局所的に補償することを可能にする。つまり、新しいエンハンスされたフレーム

は、新しい入来フレームＩ_ｔ＋Δｔ（ｘ，ｙ）とほぼ同じであり、行われる平均化の量は、式（１ａ）の通りに低減される。反対に、ピクセル差が小さい（これは、動きが全くないか又は少量の動きしか生じていないことを示すと解される）ほど、Ｋ係数は大きく（例えば０．９）、前にエンハンスされたフレーム

は、最終結果

において、重く重み付けされる。この場合、かなりのノイズ低減が達成される。ピクセル差が小さいか又は大きいかを分類するために、画像内のノイズレベルが推定される。これは、統計的尺度を使用して行われる。例えば各ピクセルの周りの適切に小さい周辺区域において、点別の総計的分散若しくは標準偏差、又は、高次モーメントが計算され、実際の差が当該統計的尺度と比較される。実際のピクセル差は、１又は２倍の標準偏差と比較されて「小さい」又は「大きい」と分類される。分類は、好適には、（量子）ノイズと、画像内容変化による画像内の強度変化とを区別する。

式（１）及び（１ａ）を再び参照するに、当然ながら、動き補償に必ずしも関連しなくてよい他の加重平均化スキームが使用されてもよい。更に、重みは固定されていても、又は、ピクセル差以外に依存してもよい。

（１）、（１ａ）において、シーケンスにおける各フレームの指数を示すために、非負整数ｔ＝１、２、…、Ｔを使用したが、これは、概念上の簡潔さのためだけであり、技術的実装において、各フレームがイメージャによって取得された正確な時間を示すタイムスタンプといった他の適切な指数を使用してもよい。他の適切な指数付けには、シリアルナンバー等が含まれる。フレームとフレームが取得された時間的シーケンスとの時間的関係を明確に示す任意の他の指数付けスキームを使用してもよい。したがって、本明細書における表記法は、任意の上記のような適切な指数付けスキームを、「１」が最初のフレームの指数であり、Ｔが最後のフレームの指数であり、したがって、Ｔは撮像ランの全長（つまり、Ｔは、入力シーケンスＦにおけるフレーム数）である、非負整数１、…、Ｔのセクションにマッピングすることが可能であるため、一般性を失うことがない。

本明細書において想定されるように、時間的ノイズフィルタＮＰは、入力シーケンスＦを双方向で処理する。つまり、１つのステップにおいて、時間的ノイズフィルタＮＰは、最初のフレームから最後のフレームに向かって入力シーケンスを再帰的に進む。これは、左から右への中間シーケンスＦ^ＬＲを生成する。この処理ステップに加えて、ノイズ低減プロセッサＮＰは更に、反対方向で入力シーケンスを処理する。即ち、ノイズ低減プロセッサＮＰは、最後のフレームから最初のフレームに向かってシーケンスＦを進んで、右から左への中間シーケンスＦ^ＲＬを生成する。２つのフレームＦ^ＬＲ及びＦ^ＲＬが生成される順序は、重要ではない。各中間結果Ｆ^ＬＲ、Ｆ^ＲＬは、それ自身で、対応する１パスノイズフィルタリングを構成するが、一緒にされて、提案されるノイズプロセッサ又はフィルタＮＰの２パス出力を形成する。

（入力シーケンスが１回のパスで処理されて、反対方向において再度処理される）双方向処理又は２パス処理は、現行の１パスフィルタリングスキームに伴う再帰フィルタリングの問題に対処することができ、この点につき、以下により詳細に説明する。式（１）、（１ａ）（及び／又は図２）の通りの再帰ノイズプロセッサＮＰの機能アーキテクチャについて見てみると、入力シーケンスＦにおける位置ｔ＋ΔｔについてのノイズプロセッサＮＰの出力

は、ｉ）Ｆにおける現在のフレームＩ_ｔ＋Δｔ（ｘ，ｙ）と、ｉｉ）前の位置ｔについて既に処理されたフレーム

との関数であることが見て取れる。したがって、再帰ノイズプロセッサＮＰは、「長さ１」の再帰的「逆方向演算ウィンドウ」ｗ_ｂｗ（本明細書では、ｗ_ｂｗ＝１と示される）有すると言える。つまり、所与の位置ｔ＋Δにおける現在のフレームをフィルタリングするためには、フィルタＮＰは、シーケンスにおける前のフレームｔから計算された１つの前の処理済みのフレームを取り出す必要がある。言い換えると、長さ１の演算ウィンドウ（ｗ_ｂｗ＝１）を有する再帰処理は、入力シーケンスにおける所与の後のフレームを処理するためには、少なくとも１つの前に処理された画像を、入力として必要とする。これは、２、３等といったように１よりも大きい長さ（これらはすべて、本明細書において、代替実施形態において想定される）の逆方向演算ウィンドウを有する再帰フィルタリングに容易に一般化することができる。このように、フレームを処理する際に、シーケンスを遡る結果、最初のフレーム１、２、…、ｗ_ｂｗは、十分な情報がないため、即ち、十分な数の前のフレームがないため、処理できない。このような再帰フィルタによって処理可能である最も先前のフレームは、指数ｔ＝ｗ_ｂｗ＋１にある。

この再帰フィルタのこの逆方向遡及特徴の効果を説明するために、図３の通りのノイズパワーレベル曲線の概略図を参照する。（水平方向に示される）フレーム位置ｔに対する（垂直軸に沿って示される）ノイズレベルＮＬが、グラフで描かれる。ノイズレベルは、画像の背景部分又は実際の画像情報のない（例えば濃淡値又は色値のない）他の画像領域から取られた統計的分散又は標準偏差といった適切な量で測定される。

実線は、入力シーケンスＦを１つの方向において（左から右へ）再帰的に処理した場合のノイズレベルを示し、点線は、もう１つの方向、即ち、右から左へ再帰的に処理された場合のノイズレベルを示す。つまり、実線は、左から右への中間シーケンスＦ^ＬＲにわたるノイズレベル分布であり、したがって、点線は、右から左への中間シーケンスＦ^ＲＬにわたるノイズレベル分布である。それぞれの初期セクション（特に、入力フレームＦの最初のフレームを含む）は、上記されたように、順方向演算ウィンドウの非ゼロ長さによって、後続のフレームよりも高いノイズ含有量を有する。特に、最初のフレームは全くノイズ処理することができない。ここでは、ノイズ含有量は最大である。ノイズ含有量は、ノイズレベルが最終的に安定するまで（図３では約０．３において安定するまで。しかし、この値は数値例に過ぎない）、２つの方向におけるそれぞれの再帰が進むにつれて、次第に減少する。つまり、単一のパス処理において、処理済みシーケンスにわたるパワーレベル分布は不均一である。特に、処理方向において、処理済みシーケンスの初期セクションでは、ノイズレベルは単調に減少する。これは、どちらの処理方向、つまり、左から右への再帰と右から左への再帰についても当てはまる。ノイズレベルは、再帰方向に関連して、シーケンスの初期セクションにおいて高い。この初期セクションは、具体的には、指数ｔ＝１（最初のフレーム）から指数ｔ＝ｗ_ｂｗ（１＜ｔ＜ｗ_ｂｗ）までの位置、又は、（右から左へのシーケンスＦ^ＲＬについて）、位置Ｔ、…、Ｔ−ｗ_ｂｗを含む。つまり、「初期セクション」との概念は、再帰処理方向に対して理解される。したがって、初期セクションは、少なくとも順方向演算ウィンドウと同じ長さである。

初期セクションは更に、ｗ_ｂｗよりも大きい指数を有する最初の幾つかのフレームから形成される移行セクションを含む。ノイズレベルの傾斜は、ノイズレベルが安定するまで減少し、再帰の残りの部分の間ずっと実質的に一定のままとなる。安定に到達するまでに必要となるフレームの正確な数は、入力画像の詳細に依存するが、少なくとも蛍光透視ランについては、ノイズレベル安定は、約３〜１０個のフレーム後に達成可能である。しかし、ここでも、この数は、必ずしも限定ではなく、具体的には、ｋ係数関数に依存する。

処理済みシーケンスＦ^ＬＲ、Ｆ^ＲＬにわたるこの不均一なノイズレベル分布につながる初期セクションにおける情報の欠如は、一実施形態では、出力フレーム

におけるすべてのシーケンス位置にわたって実質的に均一な又は一定のノイズレベル分布を得るために、２つの中間シーケンスを統合することによって補償することができる。この一定ノイズプロファイルは、図３において、破線曲線として示される。右から左への再帰において得られる最後のフレームは、入力シーケンスの最初のフレームに相当するが、この最後のフレームは、もう１つの方向から処理されているので、今度は、右から左への２回目のパスの再帰を通じて学習されたノイズ低減情報をコード化する。そして、この追加情報を、最終出力シーケンスのために統合する際に使用することができる。同じことが、特に初期セクションにおけるすべてのフレームについて当てはまる。

図４Ａは、図４Ｂのシーケンスの１回のパスだけのノイズ処理と対比される提案される方法によって取得可能である例示的なＸ線画像を示す。使用される放射線量は、提案される画像プロセッサＮＰの好適な応用の１つである蛍光透視法における放射線量と同じである。

図４Ａにおける３つのフレームａ）、ｂ）及びｃ）は、フレーム間で実質的に一定であるノイズレベル分布を示す。これに対して、シーケンス４Ｂにおける最初のフレームａ）におけるノイズレベルは、後続のフレームｂ）、ｃ）よりも著しくノイズが多く、これは、シーケンス４Ｂの当該フレームａ）における画像テクスチャがより粗いことによって視覚的に明らかである。

特にフレームシーケンスの初期セクションにおけるより高い画像ノイズは、動き補償の実行を含む。図４Ｂにおけるシーケンスと比べて、図４Ａの双方向処理されたシーケンスにおけるよりも動きアーチファクトが少ない。例示的な画像において記録されている検査物体は、ディスクが回転する軸に沿った撮像方向において入力シーケンスＦが取得される間に、回転し続けた回転ディスクである。画像動きアーチファクトを誘発するために、ペーパークリップを回転ディスクに取り付けた。図４Ｂのシーケンスにおける白の矢印は、クリップの回転によって引き起こされる動きアーチファクトを示し、その一方で、これらの動きアーチファクトは、改良されたノイズ処理によって、図４Ａの出力シーケンスの対応するフレームではなくなっている。より具体的には、これは、初期セクションにおけるフレームでも達成可能であるノイズ低減によるものである。

なお、再帰ノイズ処理の問題に関連して上で説明したことはすべて、再帰ノイズ処理が順方向演算ウィンドウｗ_ｆｗにおいて行われた場合にも存在する。より具体的には、この場合、所与のフレームが、１つ、２つ又はそれ以上の後続のフレームからの情報に基づいてノイズ処理される。逆方向ウィンドウ演算と対を成すように、順方向ウィンドウをベースとした再帰では、情報がなくなるのは、シーケンスの終わりに向かってである。ここでも、順方向ウィンドウノイズ処理のこのコンテキストにおいて、２パスアプローチでの双方向処理と、それによって得られた２つの中間シーケンスの後続の統合とによって、同様に、出力シーケンス全体にわたるノイズレベルの全体的な低減が向上される。具体的には、最終セクションでも、ノイズレベルが実質的に一定である。更に、当然ながら、上記説明において、初期セクションの定義と対を成すように、再帰進行の終わりの方のフレームと、左から右への再帰方向又は右から左への再帰方向を所与として、最後のｗ_ｆｗフレーム内の指数を有するフレームについて、「最終セクション」について同様の定義がある。したがって、逆方向ウィンドウ演算に関連して上で説明されたことはすべて、順方向ウィンドウ演算ベースのノイズ再帰に準用される。

次に、画像処理方法が説明される図５を参照する。なお、方法ステップの以下の説明は、図１及び図２において示され、説明されたアーキテクチャに必ずしも関係しているとは限らない。

ステップＳ５１０において、撮像装置によって取得された入力シーケンスＦが、少なくとも分けられて受信される。画像シーケンスは、イメージャによって直接供給されても、レビューモードにおいて、データベース、バッファ等といったメモリから取り出されてもよい。入力シーケンスにおける個々のフレームは、一度に受信されても、１つずつ供給されてもよい。

ステップＳ５２０において、入力シーケンスＦに、双方向時間的ノイズ処理アルゴリズムが適用される。これは、２つのノイズ処理済みシーケンスＦ^ＬＲ及びＦ^ＲＬをもたらす。ノイズ処理は再帰的である。つまり、再帰処理が、第１のパスにおいて、入力シーケンスに、１つの端からもう１つの端まで、例えば左から右に適用され、次に、右から左に反対の方向に適用される。Ｆ^ＬＲ及びＦ^ＲＬへの処理の順序は重要ではない。好適には、双方向処理に適用されるのは、同じ時間的及び再帰的ノイズ処理アルゴリズムであるが、各方向において異なる再帰アルゴリズムが使用される実施形態も想定される。

ステップＳ５２０の双方向ノイズ処理は、多くのやり方で実現可能である。例えば入力シーケンスは、連続的に処理されてよい。つまり、第１のパスが、上記されたように処理され、第１のパスの終わりにおいて、反対の方向における第２のパスが処理される。しかし、２つのノイズプロセッサによる並列処理も想定され、この場合、再帰時間的ノイズ処理が、第１のパスにおいて、１つの方向において、入力シーケンスＦに適用され、同じ（又は異なる）ノイズ処理が、別のプロセッサによって、もう１つの方向において、入力シーケンスの複製に対して同時に適用される。双方向再帰ノイズ処理の他の実施変形例も想定される。例えば２つの方向におけるノイズ処理はインターレースされてもよい。適切な時間的双方向ノイズ処理スキームは、図２において説明した通りであるが、他の非平均ベースのフィルタも、それらが再帰的である限り想定される。

一実施形態では、第２のパスを行うために、入力シーケンスは、逆の順番で複製される（したがって、最後のフレームは、入力シーケンスの最初フレームに相当する）。この逆にされたシーケンスＦ^−１が、同じノイズフィルタリングパイプラインに供給され、本明細書において提案されるような双方向処理の簡単な実施態様が実現される。しかし、当然ながら、入力シーケンスＦ上で定義されるポインタ、リスト変数又は同様のデータ処理構造を使用して、２つの順序におけるフレームを、ステップＳ５２０の双方向ノイズフィルタリングアルゴリズムに供給することができるので、入力シーケンスの実際の反転は、必ずしも必要ではない。

ステップＳ５３０において、ステップＳ５２０における双方向処理によって生成された２つの中間シーケンスＦ^ＬＲ、Ｆ^ＲＬは、ノイズ処理された出力シーケンス

を形成するために、少なくとも部分的に統合される又は組み合わせられる。

ステップＳ５４０において、出力シーケンス

は、更に画像処理され、例えば静止画像として記憶、表示されるか、適切なビデオ処理コントローラによって、好適にはビデオ／シネシーケンスで表示デバイス上に表示されるか、又は、処理されるか、（カラー）フィルタリングされるか、圧縮される。

組み合わせ又は統合ステップＳ５３０について、幾つかの異なる実施形態が想定され、これらについて、図６を特に参照して説明する。

特に、図６のグラフにおいて、（入力シーケンスの長さ、したがって、２つの中間シーケンスの長さと同じであると予想される）出力シーケンスＦの指数ｔが、水平軸に沿って示される。垂直軸は、出力シーケンスの各フレームの統合／計算における２つの中間シーケンスＦ^ＬＲ、Ｆ^ＲＬからのフレームの相対的寄与を測定する。具体的には、図６において、点線は、統合演算における左から右へのシーケンスＦ^ＬＲからのフレームの重みを示し、破線は、右から左へのシーケンスＦ^ＲＬからの重み寄与を示す。

特に、図６Ａの実施形態では、中間シーケンスの一方（例えばＦ^ＬＲ、しかし、フレームの役割は逆にすることができるため、これは限定ではない）の初期セクションにおけるフレームは、他方の中間シーケンス、ここでは、Ｆ^ＲＬからの対応するフレームによって置換される。このアプローチは、逆方向演算ウィンドウを用いるノイズフィルタリングスキームが使用される場合に有利である。同様に、シーケンスの一方の最終セクションにおけるフレームは、他方のシーケンスからの対応するフレームによって置換することができる。この後者のアプローチは、再帰ノイズ処理に順方向ウィンドウが使用される場合に有用である。

上記されたように、初期（又は最終）セクションは、シーケンスＦ^ＬＲ、Ｆ^ＲＬにおける（したがって、出力シーケンス

における）最初の（又は最後の）Ｋ個のフレームを含む。例えば最終セクションは、位置ｔ＝１における一番最初のフレームだけによって形成されてよい。及び／又は、最終セクションは、時間ｔ＝Ｔにおける一番最後のフレームによって形成されてよい。したがって、最終及び／又は初期セクションは、それぞれ、単一のフレームを含む。具体的には、また、一実施形態では、最初又は最後のフレームだけが置換される。或いは、置換されるフレームの数Ｋは、１より大きくてもよい。更に具体的には、最初のＫ個のフレーム（又は、場合によっては、最後のＫ個のフレーム）が置換される。更により具体的には、左から右へのシーケンスＦ^ＬＲにおける最初のＫ個のフレームが、右から左へのシーケンスＦ^ＲＬの対応するフレームによって置換される。この実施形態は、ステップＳ３２０において使用される逆方向演算ウィンドウが１よりも大きい場合に特に有用である。この場合、好適には、置換されるフレームの数は、ウィンドウ長に対応する。しかし、より多くのフレーム（ｗ_ｂｗ＋ｇ（ｇ＞１）、ただし、ｇは、固定されていても、ユーザによって又はシステムパラメータとして調整されてもよい）を置換することも有利である。最終セクションにおけるフレームの置換は、ノイズ処理が順方向演算ウィンドウを使用する場合に特に有用であり、上記は本実施形態に準用される。

図６Ａによる統合実施形態は、疑似コードスニペット又はケースｗ_ｂｗ＝１としてより形式的に書き表すことができる：

式中、
ｎは、シーケンスにおける画像数であり、
ｋは、（１…ｎ）における指数であり、
ｐは、範囲２…ｎ−２における数である（例えば特殊なケースは、ｐ＝ｎ／２であり、この場合、ランは同じ長さの２つの部分に分割される）。

当然ながら、統合が（部分的な）置換によって達成される上記実施形態（及び以下の実施形態の幾つか）では、置換演算は、例えば各フレームを第３のフレームに複製することによって実現可能であることにより、一般的な意味で理解されるべきである。置換中に各シーケンスの変更をもたらすために、中間シーケンスのうちの１つにおいて置換するのとは異なり、フレームが第３のシーケンスに複製される場合は、このような変更は生じず、当該シーケンスは、次に、出力シーケンスを形成する。この後者のアプローチは、両方の中間フレームが保持され、処理中に見失われないという利点を有する。その一方で、メモリ制約に留意する必要がある場合（例えば方法が、ハンドヘルドデバイス上の「モバイルアプリ」として実現される場合）、中間シーケンスの１つ自体に実際の置換を行うことによって、よりメモリを気にしたアプローチを取ることができる。

置換による統合の代替案が、図６Ｂに示され、２つの中間シーケンスＦ^ＬＲ及びＦ^ＲＬからの累積平均化が使用される。具体的には、また、図６Ｂにおける実施形態によれば、最初の幾つかのフレーム（又は最初のフレームだけ）が、図６Ａにあるように、第２のシーケンスからの対応するフレームによって置換され、残りのフレームは、今度は、２つのシーケンスからの平均化（特に加重平均化）によって組み合わされ、重みは、指数位置ｔの関数として変化する。出力シーケンスのほぼ中心又は中間部分において、２つのシーケンスからのフレームは、それぞれ、ほぼ同じ重みを用いて平均化される。最終セクションの方のフレームを形成するために平均化する場合、他方のシーケンスからのフレームの重みが、次第により支配的となる。このようにすると、出力シーケンスの指数を進むにつれて、一方のシーケンスからのフレームが、重み付けが少ない他方のシーケンスからのフレームを犠牲にして、平均化において累進的により高い重み付けを受けるスライド式及び対向重み付け平均化スキームが実現される。図６Ｂの実施形態は、

として、疑似コードで、より形式的に書き表すことができる。

図６Ｃに、統合のための更に別の実施形態が示される。ここでは、シーケンスの一方におけるフレームは、図６Ａの実施形態において説明されたように、初期セクション及び／又は最終セクションにおける対応するフレームによって置換される。最終セクションと初期セクションとの間の中間セクションにおける指数について、フレームは、２つの中間シーケンスからの同じ重みを用いた平均化によって計算される。図６Ｃの実施形態は、

として、疑似コードで、より形式的に書き表すことができる。

上記の延長として、図６Ａ、図６Ｂ及び図６Ｃの上記実施形態のすべての任意のセクション毎の組み合わせも想定される。

図６Ａの通りの置換による統合について得られるノイズレベル曲線は、図３において前述した実線曲線に似ている。図６Ｂ及び図６Ｃにあるように、初期セクションと最終セクションとの間のフレームに平均化が使用される場合、（中心位置を中心にした）中間セクション内のフレームのノイズ情報抽出が最大であり、当該中心位置を中心にしたより低いレベルのノイズプラトーまでの僅かな減少が予想されるので、ノイズレベルはより一層低い。図３における実線曲線のように、実質的に一定のノイズ曲線プロファイルを全体として有するのではなく、ノイズレベルは、今度は、中心の左右の一定セクションが、より低いレベルのノイズプラトーまで下がる皿状のプロファイルを有する。このような皿状のプロファイル、即ち、中心付近の中間領域において最小値を有する非定数関数の定性的な例としての図３における一点鎖線の曲線の略図を参照されたい。具体的には、出力シーケンスの初期セクションと最終セクションとの間の中間セクションにおいてより低いノイズレベルがある。

図６における上記統合実施形態のいずれにおいても、それらが入力フレームＦの同じフレームについて計算されているならば、一方の中間シーケンスＦ^ＬＲ又はＦ^ＲＬからのフレームは、他方の中間シーケンスにおける別のフレームに対応すると言える。具体的には、対応は、２つの中間シーケンスＦ^ＬＲ及びＦ^ＲＬにおいて同じ指数を有するフレームによって示される。しかし、ステップＳ３２０において説明されたように、双方向画像処理中、フレームは第２のパスにおいて再配列又は再分類されるので、指数が同じであることは、不可欠なわけではない。双方向再帰処理に指数の再分類が伴う場合、この指数変化は、マッピング構造に記録され、当該構造は、後に、２つのシーケンスにわたるフレーム間の対応を追跡し、再確立することを可能にする。

提案される２パスノイズ低減スキームは、任意の画像、２Ｄ若しくは３Ｄ、又は、より高次元の画像に適用可能であり、ＣＴの投影又は画像領域に適用可能であり、超音波（ＵＳ）、磁気共鳴（ＭＲ）等といったＸ線以外の画像、更には光学画像にも使用することができる。

一実施形態では、２パス双方向スキームは、撮像物体の動きによって生じるアーチファクトを低減する動き補償コンポーネントを含む。これは、図２において説明されたように行われることが可能であり、ノイズ低減処理に使用される平均化の重みが、入力シーケンスのノイズ処理が進むにつれて、各画像で検出される動きの量に依存するようにされる。

本発明の別の例示的な実施形態では、上記実施形態のうちの１つによる方法のステップを適切なシステム上で実行するように適応されていることによって特徴付けられるコンピュータプログラム又はコンピュータプログラム要素が提供される。

したがって、コンピュータプログラム要素は、コンピュータユニットに記憶されていてもよい。当該コンピュータユニットも、本発明の一実施形態の一部であってよい。当該コンピュータユニットは、上記方法のステップを行うか又はステップの実行を誘導する。更に、コンピュータユニットは、上記装置のコンポーネントを動作させる。コンピュータユニットは、自動的に動作するか及び／又はユーザの命令を実行する。コンピュータプログラムが、データプロセッサの作業メモリにロードされてよい。したがって、データプロセッサは、本発明の方法を実行する能力を備えている。

本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、アップデートによって、既存のプログラムを、本発明を使用するプログラムに変えるコンピュータプログラムとの両方を対象とする。

更に、コンピュータプログラム要素は、上記方法の例示的な実施形態の手順を満たすすべての必要なステップを提供することができる。

本発明の更なる例示的な実施形態によれば、ＣＤ−ＲＯＭといったコンピュータ可読媒体が提示される。コンピュータ可読媒体に、コンピュータプログラム要素が記憶され、コンピュータプログラム要素は上記セクションに説明されている。

コンピュータプログラムは、他のハードウェアと共に又は他のハードウェアの一部として供給される光学記憶媒体又は固体媒体といった適切な媒体（具体的には、必ずしもそうである必要はないが、非一時的媒体）上に記憶される及び／又は分散配置されるが、インターネット又は他の有線若しくは無線通信システムを介した形態といった他の形態で分配されてもよい。

しかし、コンピュータプログラムは、ワールドワイドウェブといったネットワークを介して提示され、当該ネットワークからデータプロセッサの作業メモリにダウンロードされてもよい。本発明の更なる例示的な実施形態によれば、ダウンロード用にコンピュータプログラム要素を利用可能にする媒体が提供され、当該コンピュータプログラム要素は、本発明の上記実施形態のうちの１つによる方法を行うように構成される。

なお、本発明の実施形態は、様々な主題を参照して説明されている。具体的には、方法タイプのクレームを参照して説明される実施形態もあれば、デバイスタイプのクレームを参照して説明される実施形態もある。しかし、当業者であれば、上記及び下記の説明から、特に明記されない限り、１つのタイプの主題に属する特徴の任意の組み合わせに加えて、様々な主題に関連する特徴の任意の組み合わせも、本願によって開示されていると見なされると理解できるであろう。しかし、すべての特徴は、特徴の単なる足し合わせ以上の相乗効果を提供する限り、組み合わされることが可能である。

本発明は、図面及び上記説明において詳細に例示され、説明されたが、当該例示及び説明は、例示的に見なされるべきであり、限定的に見なされるべきではない。本発明は、開示される実施形態に限定されない。開示された実施形態の他の変形態様は、図面、開示内容及び従属請求項の検討から、請求項に係る発明を実施する当業者によって理解され、実施される。

請求項において、「含む」との用語は、他の要素又はステップを排除するものではなく、また、「ａ」又は「ａｎ」との不定冠詞も、複数形を排除するものではない。単一のプロセッサ又は他のユニットが、請求項に引用される幾つかのアイテムの機能を果たしてもよい。特定の手段が相互に異なる従属請求項に記載されることだけで、これらの手段の組み合わせを有利に使用することができないことを示すものではない。請求項における任意の参照符号は、範囲を限定するものと解釈されるべきではない。

Claims (15)

1. 撮像装置によって取得されるフレームの入力シーケンスを受信する入力インターフェースと、
   前記入力シーケンスを、少なくとも２つのノイズ処理済みシーケンスに双方向処理する少なくとも１つの再帰的時間的ノイズ低減フィルタと、
   前記少なくとも２つのノイズ処理済みシーケンスを、出力シーケンスに統合するマージャと、
   を含み、
   前記マージャは、前記少なくとも２つのノイズ処理済みシーケンスの一方の少なくとも一つのフレームを前記少なくとも２つのノイズ処理済みシーケンスの他方からの対応する少なくとも一つのフレームによって置換する、
   画像プロセッサ。
2. 前記マージャは、前記少なくとも２つのノイズ処理済みシーケンスの一方の初期セクションからの少なくとも１つのフレームを、前記少なくとも２つのノイズ処理済みシーケンスの他方からの対応するフレームによって置換する、請求項１に記載の画像プロセッサ。
3. 前記マージャは、前記少なくとも２つのノイズ処理済みシーケンスからのフレームを平均化する、請求項１又は２に記載の画像プロセッサ。
4. 前記出力シーケンスの少なくとも初期セクション又は最終セクションの全体にわたって、ノイズレベルが実質的に一定である、請求項１から３の何れか一項に記載の画像プロセッサ。
5. 前記フレームは、ｉ）Ｘ線フレーム、ｉｉ）超音波フレーム及びｉｉｉ）磁気共鳴フレームの何れか１つである、請求項１から４の何れか一項に記載の画像プロセッサ。
6. 前記入力シーケンスの取得された前記フレームは、動く物体をコード化する、請求項１から５の何れか一項に記載の画像プロセッサ。
7. 撮像装置によって取得されるフレームの入力シーケンスを受信するステップと、
   少なくとも２つのノイズ処理済みシーケンスを生成するように、前記入力シーケンスに再帰的双方向時間的ノイズ低減処理を適用するステップと、
   前記少なくとも２つのノイズ処理済みシーケンスを、出力シーケンスに統合するステップと、
   を含み、
   前記統合するステップは、前記少なくとも２つのノイズ処理済みシーケンスの一方の少なくとも一つのフレームを前記少なくとも２つのノイズ処理済みシーケンスの他方からの対応する少なくとも一つのフレームによって置換するステップを含む、
   画像処理方法。
8. 前記統合するステップは、前記少なくとも２つのノイズ処理済みシーケンスの一方の初期セクションからの少なくとも１つのフレームを、前記少なくとも２つのノイズ処理済みシーケンスの他方からの対応するフレームによって置換するステップを含む、請求項７に記載の画像処理方法。
9. 前記統合するステップは、前記少なくとも２つのノイズ処理済みシーケンスからのフレームを平均化するステップを含む、請求項７又は８に記載の画像処理方法。
10. 前記出力シーケンスの少なくとも初期セクション又は最終セクションの全体にわたって、ノイズパワーレベルが実質的に一定である、請求項７から９の何れか一項に記載の画像処理方法。
11. 前記フレームは、ｉ）Ｘ線フレーム、ｉｉ）超音波フレーム及びｉｉｉ）磁気共鳴フレームの何れか１つである、請求項７から１０の何れか一項に記載の画像処理方法。
12. 前記入力シーケンスの取得された前記フレームは、動く物体をコード化する、請求項７から１１の何れか一項に記載の画像処理方法。
13. 請求項１から６の何れか一項に記載の画像プロセッサと、
    前記フレームの前記入力シーケンスを供給する撮像装置と、
    を含む、画像処理システム。
14. 処理ユニットによって実行されると、請求項７から１２の何れか一項に記載の画像処理方法を行う、コンピュータプログラム。
15. 請求項１４に記載のコンピュータプログラムを記憶したコンピュータ可読媒体。

Images