JP7010983B2 - 低コヒーレンス干渉法のための画質改善方法及びシステム - Google Patents

Description

（関連出願の相互参照）
この出願は、２０１９年３月１日に出願された「ＩＭＡＧＥ ＱＵＡＬＩＴＹ ＩＭＰＲＯＶＥＭＥＮＴ ＭＥＴＨＯＤＳ ＦＯＲ ＯＰＴＩＣＡＬ ＣＯＨＥＲＥＮＣＥ ＴＯＭＯＧＲＡＰＨＹ」と題する米国仮特許出願第６２／８１２，７２８号に基づく優先権を主張するものであり、その全体を参照により本明細書に援用する。

コヒーレントイメージングモダリティ（例えば、光コヒーレンストモグラフィ（ＯＣＴ））は、最終的な画像の品質を低下させる可能性のあるノイズの影響を受けやすい。特に眼科イメージングでは、ノイズの存在によりイメージングの忠実度が大幅に低下し、網膜層のセグメンテーション中（例えば、Ｂスキャンやそれに類する画像のように深さ方向の次元を含む画像のセグメンテーション中）にエラーが発生する可能性がある。これらのセグメンテーションエラーは、更に、セグメンテーションに基づく画像解析におけるエラーを生じる可能性があり、ひいては最終的には撮像対象の診断及び治療におけるエラーにつながる可能性がある。

現在、元々のデータのセット又はそのデータから生成された画像に対して共通のフィルタを適用することによってノイズを扱っている。ただし、これらのフィルタは、全てのノイズを適切なレベルで除去することはできない。更に、ノイズ低減システム、並びに多数のサンプルデータ及び画像を用いてノイズを正規化する方法は、依然として、そのサンプルセットの全体にわたって持続するノイズ及びエラーの影響を受ける。したがって、画像の品質は依然として低下する可能性があり、セグメンテーション及び解析においてエラーが発生する可能性が依然として存在する。

第１の例によれば、画像処理方法は：入力画像に第１のフィルタを適用して第１のノイズ低減画像を生成し；前記入力画像に第２のフィルタを適用して第２のノイズ低減画像を生成し；前記第１のノイズ低減画像と前記第２のノイズ低減画像とを合成して最終ノイズ低減画像を生成する。前記第１のフィルタは、前記入力画像から第１の種類のノイズを抑制するように構成され、前記第２のフィルタは、前記入力画像から第２の種類のノイズを抑制するように構成され、前記第１の種類のノイズと前記第２の種類のノイズとは異なる。

前記第１の例の様々な実施形態において、前記第１のノイズ低減画像と前記第２のノイズ低減画像とは、加重平均によって合成され、前記第１のノイズ低減画像は、前記入力画像における前記第１の種類のノイズのレベルにしたがって重み付けられ、前記第２のノイズ低減画像は、前記入力画像における前記第２の種類のノイズのレベルにしたがって重み付けられる；機械学習システムによって、前記第１のノイズ低減画像と前記第２のノイズ低減画像とが合成され、又は、前記第１及び／又は第２のノイズ低減画像が生成される；前記第１のノイズ低減画像の少なくとも１つのピクセルの強度は、オブジェクトに対応する前記画像中の位置にあるピクセルの強度の確率分布の最大強度に一致するように、前記第１のフィルタにより設定される；前記確率分布は、機械学習システムによって求められる；前記第１の種類のノイズは、ランダムノイズ、又は、前記入力画像を取得した撮像システムにより生じたノイズである；前記第１のフィルタは、前記入力画像と同一又は実質的に同一の位置から得られた画像を用いて訓練された機械学習システムである；前記第１の種類のノイズは、スペックルノイズである；前記第１のフィルタは、前記入力画像の位置に隣接又は近接した位置から得られた画像を用いて訓練された機械学習システムである；前記入力画像は、光コヒーレンストモグラフィ（ＯＣＴ）Ｂスキャン画像、又は、ＯＣＴアンジオグラフィＢスキャン画像である；前記入力画像は、光コヒーレンストモグラフィ（ＯＣＴ）正面画像、又は、ＯＣＴアンジオグラフィ正面画像である；前記入力画像は、少なくとも４００ｋＨｚのＡラインレートで動作するように構成された光コヒーレンストモグラフィ撮像システムによって取得される；前記入力画像は、網膜の画像である；この方法は、更に、前記第１のフィルタ及び前記第２のフィルタを適用した結果として前記入力画像をセグメンテーションする；この方法は、更に、前記入力画像の取得とともにリアルタイムで前記最終ノイズ低減画像を表示する。

第２の例によれば、画像処理方法は：第１の入力画像をフィルタリングし；第２の入力画像をフィルタリングし；前記フィルタリングされた第１の入力画像と前記フィルタリングされた第２の入力画像とを合成して最終ノイズ低減ボリュームを生成する。前記第１の入力画像と前記第２の入力画像とは、３Ｄボリュームの異なる２Ｄ画像であり、前記第１の入力画像と前記第２の入力画像とは、異なる平面から得られ、及び／又は、前記３Ｄボリュームの異なる基準層の正面画像である。

前記第２の例の様々な実施形態において、前記第１の入力画像のフィルタリングは、前記第１の入力画像に第１のフィルタを適用して第１のノイズ低減画像を生成し、前記第１の入力画像に第２のフィルタを適用して第２のノイズ低減画像を生成し、前記第１のノイズ低減画像と前記第２のノイズ低減画像とを合成して最終ノイズ低減画像を生成する。前記第１のフィルタは、前記第１の入力画像から第１の種類のノイズを抑制するように構成され、前記第２のフィルタは、前記第１の入力画像から第２の種類のノイズを抑制するように構成され、前記第１の種類のノイズと前記第２の種類のノイズとは異なる。

被検眼の実質的に同一の位置に対する異なる時刻のスキャンから生成された２つのＢスキャン画像の各ピクセル間における絶対値差分の画像としてのノイズを示す。

本開示による例示的なノイズ低減方法を示す。 本開示による例示的なノイズ低減方法を示す。

任意のピクセルの強度の確率分布の例を示す。

Ｂスキャンの異なる領域についての異なる強度確率分布を示す。

合成ノイズ低減画像を生成するためのＢスキャン画像の並列的フィルタリングを示す。

本開示によるノイズ低減方法と平均化に基づくノイズ低減方法との比較を示す。

篩状板の元の正面画像及びノイズ低減正面画像（深さ１ピクセル）を示す。

炎症細胞を表す元のＢスキャン画像及びノイズ低減Ｂスキャン画像を示す。

ノイズ低減画像及びこの画像のセグメンテーションを含む、訓練された深層学習システムの出力を示す。

異なる平面を用いた本開示による３Ｄノイズ低減を示す。

本開示によるボリューメトリック（ｖｏｌｕｍｅｔｒｉｃ）ノイズ低減方法の例を示す。 本開示によるボリューメトリックノイズ低減方法の例を示す。 本開示によるボリューメトリックノイズ低減方法の例を示す。 本開示によるボリューメトリックノイズ低減方法の例を示す。

図１１Ａの方法によるノイズ低減の例を示す。

上記を考慮し、本開示は、コヒーレントイメージングモダリティのためのノイズ低減の改善に関する。現在、コヒーレントイメージングモダリティからの画像には複数種類のノイズが存在すること、並びに、ノイズの種類及びレベルは画像のピクセル間で異なることが認識されている。これらの種類のノイズには以下が含まれる：１）システムからのランダムノイズ；及び、２）コヒーレントイメージングモダリティ又は撮像される対象（例えば、被検眼又は他の生体組織）によって生じるスペックルの変動（ノイズ）。スペックルノイズは、例えば、撮像されている混濁物体（混濁したオブジェクト）の様々な点から散乱された光のように、ランダムな位相を持つ光波の干渉から発生する可能性がある。前述したように、既存のノイズ低減方法及びシステムが存在しているが、それらは、同じフィルタで異なる種類のノイズを処理することを目的としている。また、他の機械学習に基づく方法は、フィルタリング処理においてエラーを引き起こす可能性のある相当数の平均画像に不適切に依存している。

前述の２つの種類のノイズは、被検眼の実質的に同じ位置に対する異なる時刻のスキャンから生成された２つのＯＣＴ Ｂスキャン画像の各ピクセル間の絶対値の差を表す画像を示す図１を参照することで理解することができる。なお、ＯＣＴ画像への言及は単なる例示に過ぎず、本出願によって説明されるシステム及び方法は、任意のコヒーレントイメージング技術によって生成された画像に適用可能であることに留意されたい。撮像位置の一般的な構造は変化しないことから、２つの画像の間の相違はノイズを表し、各ピクセルの輝度はノイズのレベルに対応する。

図１では、ノイズの３つの領域が特定されている。第１の領域１００は、網膜よりも上の領域であり、イメージングシステムからのランダムノイズを含む。網膜組織の第２の領域１０２は、血流及びシステム内のランダムノイズによるスペックル変動を含む。網膜組織の第３の領域１０４は、同様に、生体組織（血流など）及びシステム内のランダムノイズに起因する他のスペックル変動を含む。

異なる種類のノイズは、発生源の違いにより異なる統計パターンにしたがうため、別々に処理されるべきである。このプロセスは、本開示による例示的なノイズ低減方法を示す図２Ａのフローチャートに示されている。そこに見られるように、ノイズのある入力画像（ノイズ入力画像）２００に対して複数のノイズ低減フィルタ２０２（１～Ｎ）が適用される。各ノイズ低減フィルタ２０２は、対応するノイズ低減画像２０４（１～Ｎ）を生成する。これらのフィルタ２０２は、各ノイズ低減画像２０４がそれに適用されたフィルタ２０２に対応するノイズのみが低減された状態となり、したがって、対応するフィルタ２０２により低減されない他の種類のノイズを依然として含み得るように、並列的に適用されてよい。もちろん、実際の処理においては、適用の並列性を保持しながら、時間的に順次行われる場合もあり得る。次に、複数のノイズ低減画像２０４を合成して（２０６）、最終ノイズ低減画像２０８を生成することができる。ノイズ低減画像の合成により、各種類のノイズが低減された最終ノイズ低減画像２０８が得られる。

一方、図２Ｂに対応するような他の実施形態では、第１の種類のノイズが第１のフィルタ２１２－１により除去されて第１のノイズ低減画像２１４－１を生成するように、フィルタ２１２－１～２１２－Ｎを順次に適用することができる。ここで、第１のノイズ低減画像２１４－１においては、第１の種類のノイズは除去されるが、他の種類のノイズは残っている。次に、第２の種類のノイズの除去を更に行うために、第２の種類のフィルタ２１２－２を第１のノイズ低減画像２１４－１に適用することができる。ここでも、他の種類のノイズは残っている。全ての所望のノイズが除去されて最終ノイズ低減画像２１６が生成されるまで、追加的なノイズ低減フィルタ２１２－Ｎを用いてこの処理を繰り返すことができる。

所与の種類のノイズを有しない画像のピクセルの相対強度の確率分布に基づいて各フィルタの設計及び適用を行うことができる。例えば、ランダムノイズの影響を受ける場合、画像の各ピクセルの強度を図３に示すようにモデル化することができる。（垂直な破線で示す）「真値」は、ノイズの無いピクセルの実際の強度に対応する。図３の確率分布の例では、「真値」は、確率が最大である強度として決定されてよい。各ピクセルは、固有の確率分布を有する。つまり、ノイズ（その種類及びレベル）は、画像全体において均一でない場合がある。例えば、図４に見られるように、Ｂスキャン画像４００における網膜よりも上のピクセル４０４（ランダムシステムノイズのみを有する）の強度確率分布４０８は、画像４００の網膜層のピクセル４０６（ランダムシステムノイズとスペックルノイズとを有する）の強度確率分布４１０に対してゼロの方向に偏っている。確率分布の最大値における「真値」の強度は、対応するノイズ低減Ｂスキャン画像４０２に示されており、網膜よりも上のピクセル４０４の強度は、網膜のピクセル４０６の強度よりもはるかに低い（暗い）。

これらの確率分布は、ノイズの種類ごとに異なっていてもよい。例えば、多種類のノイズを有しないピクセルの強度確率分布はガウス分布であってよい。ただし、他のノイズをいくらか除去すると、強度確率分布が異なる統計モデルにしたがうことがある。同じ種類の分布モデルをもたらすノイズについては、各々の種類のノイズを除去することで、異なる平均値、シグマ値、又は同様の統計的特性を有する確率分布が得られることがある。

したがって、画像の各ピクセルにおけるノイズの種類について強度確率分布が理解される場合、各ピクセルの無ノイズ値を再構築することができる。例えば、各フィルタの適用は、画像の各ピクセルをその真の強度値（例えば、最大確率に対応する強度）に設定することができる。

深層学習（及び他の機械学習）モデル／システムなどの人工知能システムを用いて、各ピクセル（例えば、網膜の各位置）についての強度確率分布を決定し、各ピクセルの最も高確率な強度値をより正確に推定することができる。各フィルタの深層学習システムは、各ピクセルの強度確率分布を推定するために特に設計及び訓練されている。深層学習システムの設計及び訓練は、ＯＣＴイメージング（又は、他のコヒーレントイメージング法）の基本的な物理的性質の理解に基づいているため、正しい強度確率分布を呈する画像を用いてシステムを訓練することが可能である。

例えば、深層学習システムは、２つ以上の画像を有するデータセットを用いて訓練することができる。各セットにおいて、異なる画像間で同じ対応位置のピクセル強度は、そのピクセルの強度確率分布を構築するために使用される。換言すると、十分に大きなセットには、所与のピクセル位置についてのあらゆる可能な強度を有する少なくとも１つの画像が含まれ、所与の強度を有するセット内の画像の相対数は、その強度の対応する確率を表す。したがって、各強度値についての画像の相対数は、強度確率分布を生成する。画像の数が少ない場合、各強度の画像の相対数を既知の種類の分布曲線に適合させることによって確率分布を生成するために、同一の処理を用いることができる。ただし、上記の説明では、ノイズ情報を保持するピクセル強度に基づいて確率分布モデルを導出しているため、このアプローチだけでは必ずしも異なる種類のノイズが個別に抑制されるとは限らない。

異なる種類のノイズを説明するために、確率分布を作成する前に、セット内の画像間の差分を比較し、この比較に基づいて当該差分を調整することができる。例えば、ランダムノイズの影響は、網膜を通る同じ断面位置にて取得されたＢスキャン画像のセットにおける画像間の差分を考慮することによって導出することができる。その理由は、同じ断面位置の基本的な構造は一般に変化しないため、セット中の画像間の差分が主にランダムノイズを表すことにある。これらの差分に基づく各画像の調整は、調整された画像からランダムノイズを除去する効果を有する。その結果、調整された画像に基づき導出された確率分布は、ランダムノイズは抑制されたが大部分のスペックルが残っている画像の確率分布となる。これらの実施形態において、差分は、単純な差分や、連続する各スキャン間の差分の平均などによる任意の統計的方法にしたがって決定されてよい。また、調整は、各画像から平均差を減算することなどによる任意の統計的方法で実行することが可能である。

同様に、スペックルノイズの影響は、撮像システムの横方向解像度の範囲内における隣接位置又は近接位置から取得されたＢスキャンの画像のセットから見つけることが可能である。このようなセットの画像間の差分は、主にスペックルノイズを表す。繰り返すが、最大確率でのピクセル強度がスペックルノイズの無い（例えば、スペックルノイズ及びランダムノイズの双方が抑制されている）最も高確率な強度を表す強度確率分布が結果として得られるように、差分の任意の統計的決定にしたがって画像を調整することができる。

図２Ａ及び図２Ｂの参照に戻ると、ランダムノイズを抑制するように訓練された深層学習システムはノイズ低減フィルタ１（鮮鋭化フィルタ：ｓｈａｒｐ ｆｉｌｔｅｒ）２０２－１、２１２－１に対応してよく、また、スペックルノイズを抑制するように訓練された深層学習システムはノイズ低減フィルタ２（平滑化フィルタ：ｓｍｏｏｔｈ ｆｉｌｔｅｒ）２０２－２、２１２－２に対応してよい。深層学習システムがこれらのフィルタである場合、元のノイズ画像（ノイズの多い画像：ｎｏｉｓｙ ｉｍａｇｅ）が学習済みシステム（フィルタ）に入力され、学習済みシステムの出力は、各ピクセルが最大確率に対応する強度に設定された画像である。言い換えれば、訓練された深層学習システムは、１つの種類のノイズを有しない各ピクセルの強度確率分布を求める（又は「真値」強度を求める）ように訓練されたものである。

それぞれ個別に訓練された複数の深層学習システムが元の入力Ｂスキャン画像をフィルタリングして合成ノイズ低減画像を生成するような構成が図５に示されている。より具体的には、元の入力画像（例えば、ＯＣＴ Ｂスキャン）５００が、鮮鋭化フィルタを提供する訓練済み機械学習システム５０２と、平滑化フィルタを提供する訓練済み機械学習システム５０４との双方に入力される。鮮鋭化フィルタ５０２は、ランダムノイズが低減された画像５０６を生成し、平滑化フィルタは、スペックルノイズが低減された画像５０８を生成する。次に、これらのノイズ低減画像５０６、５０８を合成して、ランダムノイズとスペックルノイズの双方が低減された最終ノイズ低減画像５１０を生成する。

更に他の実施形態では、所望の種類のノイズを低減することが可能な任意の種類のフィルタを使用することができる。このようなフィルタとしては、中央値フィルタ（メディアンフィルタ）、ガウシアンフィルタ、スペクトル領域フィルタなどがある。

各フィルタにより出力されるノイズ低減画像を、任意の統計的組み合わせ方法にしたがって合成することができる。例えば、対応するノイズ種類の相対的ノイズレベルに一致するように各画像の重みが調整される加重平均手法によって、各ノイズ低減画像を組み合わせることができる。換言すると、元の入力画像における対応ノイズの量に応じて各ノイズ低減画像を重み付けすることができる。図５の例を考慮すると、出力重みは、鮮鋭化フィルタ（ノイズの２０％がランダムであることを意味する）５０２では０．２であり、平滑化フィルタ（ノイズの８０％がスペックルノイズであることを意味する）５０８では０．８である。

比較として、各フィルタの出力を組み合わせると、同じ位置で取得された１２８個の画像を平均化する（ノイズを抑制する従来の手法）ことで生成される画像に匹敵する最終ノイズ低減画像を生成することができる。図６は、そのような比較を示すものであり、元の入力画像（ノイズ低減なし）６００、実質的に同じ位置からの１２８個の画像（元の入力画像を含む）の平均化によって生成された画像６０２、及び、ノイズ低減画像６０４が、上記した平滑化フィルタの出力と鮮鋭化フィルタの出力との組み合わせから得られる。Ｂスキャン全体及びその拡大部分から分かるように、異なる種類の複数のノイズ低減を個別に適用し、それらフィルタの出力を組み合わせることによって、平均化と同等以上の結果が得られ、双方ともに入力画像よりも明らかにノイズが少ない。ただし、ここで説明する方法では、１つのＢスキャン画像のみをフィルタリングする必要がある。これは、平均化によってノイズを削減する場合に多数の画像が必要とされることや、平均化によって訓練されたシステムに基づきノイズを削減する場合に永続的なエラーが導入されることとは異なっている。

他の実施形態では、追加的なフィルタを使用することや、それらのフィルタを個別に使用することができる。例えば、（スペックルノイズを除去する）平滑化フィルタ５０４のノイズ低減出力画像５０８は、鮮鋭化フィルタ５０２によって出力される画像５０６よりも滑らかな網膜境界を有する。したがって、（鮮鋭化フィルタからの出力や合成出力画像ではなく）平滑化画像５０８は、視覚化／表示や層セグメンテーションなどのタスクにおいて最適に使用できる。図７は、篩状板の１ピクセル深さの正面画像（１－ｐｉｘｅｌ ｄｅｐｔｈ ｅｎ－ｆａｃｅ ｉｍａｇｅｓ）に関するこの概念を示している。ここで、篩状板の１ピクセル深さの正面画像の主要なノイズ成分はスペックルノイズである。図７から分かるように、スペックルノイズを低減するために平滑化フィルタのみでフィルタリングされたノイズ低減画像７０２は、元の画像７０４よりも滑らかであり、より視覚的に訴えるものである。したがって、平滑化フィルタから出力されるスペックルノイズ低減画像７０４は、視覚化応用の改善に有用である。

同様に、鮮鋭化フィルタ５０２のノイズ低減出力画像５０６はスペックル情報を保存するため、異常検出（炎症細胞の特定）又はＯＣＴアンジオグラフィ（血管造影）（血流を表現するために共通位置での画像間の差分に依存する）などのタスクにおいて最適に使用され得る。例えば、図８は、元のＢスキャン画像８００と、ランダムノイズを除去するための鮮鋭化フィルタにより出力されたノイズ低減Ｂスキャン画像８００とを示している。画像８００、８０２の双方において、炎症細胞（円で囲まれた箇所）８０４が可視化されている。しかしながら、細胞８０４は、より鮮明な背景領域に対照的であるため、ランダムノイズ低減画像８０２においてより識別可能となっている。

ノイズ低減フィルタリングのための深層学習システムの訓練において、網膜層などの付加的な情報が暗黙的に学習される。これは、各網膜層のピクセルに関連付けられたノイズの統計的特性が異なることによる。深層学習システムは、様々な網膜層の様々なノイズ（種類及びレベル）を低減するように訓練されているため、各層に対してどのピクセルが関連付けられているかについても学習する。別の言い方をすれば、深層学習システムが各網膜層から適切なノイズ種類及びレベルを削除するには、各ピクセルがどの層に属しているかを知る必要がある。そのような情報があれば、関連するレイヤーが変化するピクセルを決定することにより、層境界を特定し、セグメンテーションを実現することができる。

したがって、いくつかの実施形態では、ノイズ低減フィルタ及びセグメンテーション検出器は、同じ深層学習システムの部分として同時に訓練することが可能である。このような出力が図９に示されており、訓練された深層学習システム９０２に元の画像９００が入力され、ノイズ低減画像９０４及び画像の網膜セグメンテーション９０６が出力される。セグメンテーション９０６は、（上から下に向かって順に）内境界膜（ＩＬＭ）の境界と、網膜色素上皮（ＲＰＥ）の境界と、ブルッフ膜層の境界とを含む。

Ｂスキャンなどの２Ｄ画像について広く説明してきたが、上記の方法及び対応するシステムを任意の種類の画像に適用することが可能である。例えば、入力は、単一の光コヒーレンストモグラフィ（ＯＣＴ）（若しくは、類似のコヒーレントイメージングモダリティ）Ｂスキャン、３Ｄボリューメトリックスキャン、正面画像若しくはＣスキャン、血管造影Ｂスキャン画像、血管造影正面画像若しくは血管造影Ｃスキャン、又は、他のイメージングモダリティからの類似の画像であってもよい。

本明細書に記載の方法を使用して３Ｄボリューメトリックデータ（例えば、３Ｄ ＯＣＴ構造データ、３Ｄ ＯＣＴ血管造影データ）のノイズを低減する場合、図１０に示されるように、３Ｄボリュームを集合的に形成する複数の２Ｄ画像の異なる面においてこのノイズ低減を実行することができる。これらの実施形態では、ノイズ（種類及びレベル）は、ボリューム内の位置に応じて（異なる深さ又は異なる位置のいずれかで）異なり得る。したがって、ボリュームの異なる部分に対して異なるノイズ低減フィルタを適用することができる。これらのフィルタは、訓練された機械学習システムである場合、ボリューム内の様々な位置で様々な種類のノイズ及び／又は様々なノイズの影響について訓練することができる。異なるフィルタ処理が施された複数の画像を合成するために使用される重み又は他の合成技術も可変であってよく、当該重み又は他の合成技術は、これらの画像がボリューム内のどこに位置するかに応じて変化してもよい。

いずれかのボリューメトリックデータは、上述した方法にしたがってノイズが低減され得る。例えば、上述のＸ－Ｚ平面１０００におけるＢスキャンの集合は、ボリューム全体のノイズを低減するために個別にノイズ低減され得る。他の実施形態では、Ｙ－Ｚ平面にてデータをサンプリング（又は再サンプリング）してよく、上述のノイズ低減をＹ－Ｚ Ｂスキャン１００２に適用してよい。同様に、Ｘ－Ｙ平面Ｃスキャンに対して、又は、任意の深さ／厚さにわたって及び／又は任意の基準層に関して平坦化された正面画像に対して、ノイズ低減処理を適用することができる。そのような基準層は、２つの網膜組織層（例えばＩＬＭ）の間を分離するものであってよい。

いくつかの実施形態では、３Ｄボリュームの複数の２Ｄ画像の異なる複数の平面に対して、又は、他の２Ｄ画像の集合（例えば、より大きな３Ｄボリュームの非隣接位置からのもの）に対して、フィルタリングを適用することができる。複数の２Ｄ画像に個別のフィルタを適用する場合と同様に、異なる複数の平面に対するフィルタの適用は並行的且つ組み合わせで行うことができ、又は、順次的に行うことができる。図１１Ａは、３Ｄボリューム（例えば、ＯＣＴ血管造影（ＯＣＴ－Ａ）ボリューム）の順次的なノイズ低減の第１の例を示している。図１１Ａの例によれば、３Ｄ ＯＣＴ－Ａボリューム１１００のノイズ低減の第１ステップは、ボリューム１１００のＸ－Ｚ平面におけるＯＣＴ血管造影画像のノイズ低減（１１０２）を含み、第２ステップは、ボリューム１１００の正面画像のノイズ低減（１１０４）を含み、最終ノイズ低減３Ｄボリューム１１０６を生成する。図１２は、元のＯＣＴ－Ａボリューム１１００から得られた深部網状層の正面画像１２００と、図１１Ａの方法でノイズが低減された深部網状層の正面画像１２０２との比較を示している。図１２から分かるように、ノイズ低減によって血管の接続性が大幅に向上する。

図１１Ｂ及び１１Ｃは、平面の他の組み合わせを用いた同様の順次的方法を示している。図１１Ｂの例では、元の３Ｄボリューム１１１０からのＸ－Ｚ平面画像がまずフィルタリングされ（１１１２）、次にＹ－Ｚ平面画像がフィルタリングされ（１１１４）、次いでＸ－Ｙ平面画像のフィルタリング（１１１６）が続き、最終ノイズ低減ボリューム１１１８が生成される。更に、図１１Ｃの例では、元の３Ｄボリューム１１２０からのＸ－Ｙ平面画像が最初にフィルタリングされ（１１２２）、次にＸ－Ｚ平面画像がフィルタリングされ（１１２４）、最終ノイズ低減ボリューム１１２６が生成される。上記のように、異なる複数のフィルタリングは、ノイズの種類及び/又はそれが適用される平面に指向されてよい。

各フィルタリングステップは、異なる種類のノイズを除去するように、及び／又は、それが適用される平面それぞれにおけるノイズを識別するように訓練又は設計されたフィルタによって実行され得る。各フィルタステップで異なる種類のノイズを削除することは、異なる平面で各種類のノイズがはっきり現れる場合に有用なことがあるが、複数のステップで同じ種類のノイズを削除することは、１つの種類のノイズが異なる複数の平面に異なる態様で現れる場合に有用なことがある。異なる複数の種類のノイズが除去される場合、後続のフィルタリングステップにおける平面の画像は、先行するノイズ低減ステップの後に元のボリュームから生成されてよい。したがって、その後に生成される画像は、前の種類のノイズが既に除去されている場合がある。複数のフィルタを順次的に適用することにより、最終的にフィルタリングされた画像から再構築されたボリュームが、ノイズが低減されたボリュームを表す。

図１１Ａ～図１１Ｃのそれぞれは、いくつかのノイズが既に低減された画像に後続のフィルタが適用される順次的フィルタ適用を表しているが、他の実施形態ではフィルタを並列に適用してもよい。異なる複数の平面の並列的なノイズ低減の例を図１１Ｄに示す。本例では、ノイズ低減は、元の３ＤボリュームのＸ－Ｚ平面の画像のノイズ低減（１１３２）とＹ－Ｚ平面の画像のノイズ低減（１１３６）とが並行して別々に実行される。上記のように、ノイズ低減を並行して実行することは、他方のノイズ低減適用の対象ではない３Ｄボリュームの画像に対してノイズ低減を実行することを意味する。したがって、ノイズ低減の実際の適用は、時間的に順次に実行される。結果として生じるノイズ低減ボリューム１１３４、１１３８は、最終ノイズ低減ボリューム１１４２を生成するために平均化されてよい（例えば、上述した加重平均又は他の合成技術による）。もちろん、異なる複数の平面及び合成は、他の実施形態において並行的に使用されてよい。

本開示は、従来のノイズ低減技術（例えば、単一の位置から取得された１２８個の画像の平均化など）と比較して様々な改善を提供する。例えば、１２８枚の画像（又は平均化される任意個数の画像）を取得するのに比較的長い時間がかかる可能性があり、それによって全撮像速度が制限され、様々に平均化された画像がモーションアーティファクトを受けやすくなる。更に、１つの位置にて非常に多くの画像を撮影することは実際には困難ある。したがって、平均の各画像には異なる情報が含まれる場合がある。別の言い方をすれば、その位置でのイメージングターゲット（撮像対象）が全ての画像に存在しない場合や、イメージングターゲットとして他の要素が混同される場合があり得る。更に、他の機械学習システムが教師あり訓練データ（ｓｕｐｅｒｖｉｓｏｒｙ ｔｒａｉｎｉｎｇ ｄａｔａ）として上記の平均画像を用いて訓練が行われる限りにおいて、平均化の固有の制限が訓練された機械学習システムに帰属する。

加えて、現在説明されているノイズ低減が元の画像にて利用可能な定量的情報を保持することが経験的に知られている。したがって、このノイズ低減技術により、以前は高速デバイスでしか達成できなかった応用（例えば、可変インタースキャン時間解析（ｖａｒｉａｂｌｅ ｉｎｔｅｒｓｃａｎ ｔｉｍｅ ａｎａｌｙｓｉｓ、ＶＩＳＴＡ）システム）が可能になる。ここで、高速を利用して複数の繰り返しスキャンを取得してノイズを抑制する。これは、繰り返しの少ない低速デバイス上で可能である。特に、そのような用途には、血管造影イメージング（例えば、ＯＣＴ－Ａ）及びその類似技術が含まれ、イメージングは、動的（非静的）な構造（例えば、赤血球などの細胞の動き）のイメージング、又はそれに基づくイメージングである。更に、この流れにおいて、本明細書で説明されるノイズ低減は、リアルタイム又はほぼリアルタイムのイメージング用途で使用されてもよい。いくつかの実施形態では、入力画像は、本開示によるフィルタリングがその高速であり忠実度も高い画像を提供するように、高速ＯＣＴイメージング（例えば、４００ｋＨｚのＡラインスキャンレート（Ａ－ｌｉｎｅ ｓｃａｎｎｉｎｇ ｒａｔｅ）で動作する）を用いて取得されてもよい。その結果、ノイズが低減された３Ｄボリューム、断面画像（Ｂスキャン画像又はＣスキャン画像）、又は正面画像を、イメージングと同時に（又はほぼ同時に）表示することができる。

上述の方法を実行するためのシステムも、本開示の範囲に含まれると考えられる。そのようなシステムは、この方法を実行するための１つ以上のプロセッサ（例えば、１つ以上の集積回路、ディスクリート電気回路構成などの形態）と、ストレージ（例えば、ハードディスク、メモリ、ＲＡＭなど）と、入出力インターフェイス（例えば、ディスプレイ、キーボード、マウスなど）とを有するコンピュータを含んでいてよい。上述のフィルタは、所望のフィルタリングに応じたハードウェア（例えば、電気回路構成、光学フィルタなど）又はプロセッサによって実行されるソフトウェアを介して実装されてもよい。ストレージは、コンピュータとともにローカルに配置されてもよいし、リモートで（例えば集中データベースに）配置されてもよい。また、ストレージは、方法及びフィルタリングを実行するためのソフトウェア命令、フィルタリングされた画像及び／若しくはボリューム、並びに／又は、結果として生じるノイズ低減画像及び／若しくはボリュームを格納してもよい。このシステムは、処理されるオブジェクトの画像を取得するために使用されるシステムと統合又は分離されていてもよい。例えば、コンピュータは、ＯＣＴシステムの制御に使用されるコンピュータと同一であってよい。

本明細書ではＯＣＴ眼科イメージングが例示的なモダリティ及びその用途として使用されているが、本開示は複数種類のノイズ（例えば、ランダムノイズ及びスペックルノイズ）を生成するあらゆる用途のあらゆる種類のコヒーレントイメージングモダリティに適用可能であることに再び留意されたい。加えて、本明細書では２つのフィルタについて説明されているが、追加的なフィルタが使用されてもよく、それらの任意の組み合わせが最終出力画像として使用されてもよい。更に、いくつかの実施形態では、２つ以上のフィルタを直列に適用することが望ましい場合があり、その直列フィルタは依然として他のフィルタへの並列フィルタリング経路である。いくつかの実施形態では、（平面の任意の組み合わせからの）複数の２Ｄ画像の任意の組み合わせ、３Ｄボリューム、及び／又は、３Ｄボリューム内の異なる複数の位置からの複数の２Ｄ画像の集合に対して、フィルタリングを適用してもよい。

Claims (2)

1. 入力画像に第１のフィルタを適用して第１のノイズ低減画像を生成し、
   前記入力画像に第２のフィルタを適用して第２のノイズ低減画像を生成し、
   前記第１のノイズ低減画像と前記第２のノイズ低減画像とを合成して最終ノイズ低減画像を生成し、
   前記第１のフィルタは、前記入力画像から第１の種類のノイズを抑制するように構成され、
   前記第２のフィルタは、前記入力画像から第２の種類のノイズを抑制するように構成され、
   前記第１の種類のノイズと前記第２の種類のノイズとは異なり、
   更に、
   第２の入力画像をフィルタリングし、
   前記フィルタリングされた第２の入力画像と前記最終ノイズ低減画像とを合成し、
   前記入力画像と前記第２の入力画像とは、３Ｄボリュームの異なる２Ｄ画像であり、
   前記入力画像と前記第２の入力画像とは、前記３Ｄボリュームの異なる平面から得られ、及び／又は、前記３Ｄボリュームの異なる基準層の正面画像である、
   画像処理方法。
2. コンピュータを含む画像処理システムであって、
   前記コンピュータは、
   入力画像に第１のフィルタを適用して第１のノイズ低減画像を生成する手段と、
   前記入力画像に第２のフィルタを適用して第２のノイズ低減画像を生成する手段と、
   前記第１のノイズ低減画像と前記第２のノイズ低減画像とを合成して最終ノイズ低減画像を生成する手段と、
   第２の入力画像をフィルタリングする手段と、
   前記フィルタリングされた第２の入力画像と前記最終ノイズ低減画像とを合成する手段と
   を含み、
   前記第１のフィルタは、前記入力画像から第１の種類のノイズを抑制するように構成され、
   前記第２のフィルタは、前記入力画像から第２の種類のノイズを抑制するように構成され、
   前記第１の種類のノイズと前記第２の種類のノイズとは異なり、
   前記入力画像と前記第２の入力画像とは、３Ｄボリュームの異なる２Ｄ画像であり、
   前記入力画像と前記第２の入力画像とは、前記３Ｄボリュームの異なる平面から得られ、及び／又は、前記３Ｄボリュームの異なる基準層の正面画像である、
   画像処理システム。

Images