JP7189940B2 - 画像中のノイズの低減 - Google Patents

Description

本発明は、画像中のノイズ、特にスペックルノイズを低減するための方法及び装置に関する。より詳細には、本発明は、ＯＣＴ画像中のスペックルノイズを低減することに関する。

撮像装置（イメージングデバイス）は、通常、１以上のセンサから受信した信号に基づいてデジタル画像を生成できる。生成された画像はノイズを含む。生成された画像中のノイズを低減するために多くの研究が過去に行われてきた。

光干渉断層撮影（ＯＣＴ）は、マイクロメートルの解像度、生体組織及び他のサンプルの多次元画像を提供する非侵襲性の撮像モダリティである。ＯＣＴ画像は、最も一般的な構成において、２つの広帯域レーザビームの干渉により形成される。これらのうちの一方は、静的ミラーからの反射（「参照ビーム」）(“reference beam”)であり、もう一方は、検査中のサンプルによる反射（「サンプルビーム」）(“sample beam”)である。ＯＣＴの用語において、「Ａスキャン」が、静的なサンプルビームにより取得された単一の列を意味する。「Ｂスキャン」が、サンプルに対する所定のラインに沿って移動しているサンプルビームにより取得された２次元断面画像を意味する。「Ｃスキャン」が、サンプルに対してアプリケーション固有のラスタパターンで移動しているサンプルビームにより取得された３次元体積画像を意味する。

技術は著しく進歩しているが、ＯＣＴ画像は、いまだにスペックルノイズを含んでいる。スペックルノイズは、熱、電気、多重散乱効果の複雑な組合せ、及び、デジタル処理アルゴリズムにより生じ得る。実際、多くのアプリケーションにおいて、再構成されたＯＣＴ信号のスペクトルエネルギーの７５％がノイズである。

従って、スペックルの低減又はノイズ除去技術が、重要な研究課題である。最も簡単な第１の方法は、同一サンプル位置から取得した複数のＢスキャンの平均化を含む。スペックルノイズはランダムプロセスの結果であり、従って無相関であるため、Ｂスキャンのｎ回の平均化により、信号対ノイズ比（ＳＮＲ）が√ｎ倍改善される。平均化は、通常、干渉信号においてではなく、最終的な再構成画像において実行される。

デジタルノイズ除去アルゴリズムは、取得した画像を、その画像に含まれる構造情報を損なわずにスペックルノイズ量を低減するように後処理することを意図している。このような方法の例には、中央値フィルタリングと、その他の等方性及び異方性平滑化技術が含まれる。

人工ニューラルネットワークアルゴリズムを用いたスペックルノイズ低減方法が、非特許文献１に開示されている。ＡＮＮをトレーニングするために、既知のシグマ値を有するノイジー（ノイズが多い）画像が必要である。既知のシグマ値を有するノイジー画像を生成するために、レイリーノイズジェネレーターが使用される。

Ｍ．Ｒ．Ｎ．アヴァナキ(Avanaki)らによる「人工ニューラルネットワークアルゴリズムを使用したスペックル低減」("Speckle reduction using an artificial neural network algorithm")（アプライド・オプティクス、２０１３年第２１号５２巻）

測定技術を用いて得られた画像のノイズを低減するための改善された方法を提供することが有利であろう。

この課題に対処するために、本発明の一態様は、画像中のノイズを低減するためのニューラルネットワークをトレーニングする方法を提供する。この方法は、
複数の入力画像を撮像装置から取得するステップと、
前記入力画像のサブセットを識別するステップと、を含み、入力画像のサブセットの各入力画像が、当該サブセットのその他の入力画像と同一の対象物を表す。前記方法は、さらに、
複数のターゲット画像を生成するステップを含み、１つのターゲット画像が、前記サブセットのうちの１つのサブセットの前記入力画像を、ノイズを低減するように組み合わせることにより生成される。前記方法は、さらに、
複数のトレーニングペアを生成するステップを含み、１つのトレーニングペアが、
前記ターゲット画像のうちの１つと、
トレーニング画像と、を含み、当該トレーニング画像は、前記ターゲット画像のうちの前記１つに対応する前記サブセットの前記入力画像の全てにではないが少なくとも１つに基づいている。前記方法は、さらに、
前記複数のトレーニングペアを用いてニューラルネットワークをトレーニングするステップを含む。

このようにしてトレーニングされた前記ニューラルネットワークは、ノイズが多い画像（ノイジー画像）を、対応する、ノイズが低減された画像（ノイズ低減画像）にマッピングできるため、ノイズを低減できる。前記ニューラルネットワークは、トレーニング画像（撮像装置により実際に作成された画像と、それらのノイズ低減バージョンであるターゲット画像と、に基づいている）を使用してトレーニングされるため、前記ニューラルネットワークは、撮像装置の特性と、撮像装置が発生するノイズを学習でき、それに応じて、検出されたノイズを除去できる。本明細書に開示する技術を使用する場合、発生するノイズの詳細（例えば、標準偏差など）を事前に確立しておく必要はない。なぜなら、トレーニング画像自体が、関連するノイズを表すからである。

前記トレーニング画像が１つ以上の入力画像に基づくのであれば、入力画像の前記サブセットの前記入力画像の全てではないが前記１つ以上を組み合わせることにより前記トレーニング画像のノイズを低減するように前記トレーニング画像は生成され得る。これは、前記ネットワークが、部分的に低減されたノイズを含むトレーニング画像を有するペアから学習することを可能にする。この方法により、ニューラルネットワークトレーニングの結果が著しく改善される。

前記複数のトレーニング画像を生成する前記ステップは、様々な番号の入力画像に基づいてトレーニング画像を生成するステップを含み得る。これは、様々な番号の入力画像を組み合わせて前記トレーニング画像を得ることにより行われる。

前記複数のトレーニングペアは、入力画像の第１の番号Ｋ_１に基づいた第１のトレーニング画像を含む第１のトレーニングペアと、入力画像の第２の番号Ｋ_２に基づいた第２のトレーニング画像を含む第２のトレーニングペアとを含み、前記第１の番号Ｋ_１は前記第２の番号Ｋ_２とは異なる。これらの異なる番号の画像を組み合わせることで、前記トレーニング画像のノイズが可変レベルになる。前記第１のトレーニング画像は、前記第２のトレーニング画像とは異なる平滑化レベルを有するであろう。これにより、ニューラルネットワークのトレーニング結果が改善される。

前記複数のトレーニングペアは、異なるトレーニング画像は異なる番号の入力画像に基づいているがターゲット画像は同一であるトレーニングペアを含み得る。こうして、異なるレベルのノイズをトレーニングするために、複数のトレーニングペアにおいて同一のターゲット画像が現れ得る。これにより、トレーニング結果が改善される。

Ｎ個の入力画像の各ターゲット画像、及び、当該ターゲット画像の対応するサブセットに対して、トレーニング画像が、Ｎ個の入力画像の前記サブセットのＫに基づいて生成される。Ｋは、Ｎよりも小さい全ての正の整数値である。本発明者は、これがニューラルネットワークのトレーニング結果を改善し得ることを確認した。

任意の値Ｋに対して、Ｎ個の入力画像の前記サブセットからのＫ個の入力画像の１つ以上の可能な選択が存在するならば、トレーニング画像が、Ｎ個の入力画像の前記サブセットからの前記Ｋ個の入力画像の１つ以上の選択のために生成され得る。本発明者は、これがニューラルネットワークのトレーニング結果を改善し得ることを確認した。

前記入力画像を組み合わせる前記ステップは、組み合わされた前記入力画像の対応する値を平均化するステップを含み得る。これは、前記ターゲット画像及び前記トレーニング画像中のノイズを低減するための有効な方法である。

前記方法は、さらに、サブセットの前記入力画像を、前記ターゲット画像及びトレーニング画像を生成する前に空間的に位置合わせするステップを含み得る。これが、前記画像を組み合わせた結果を改善し得る。

前記方法は、前記ニューラルネットワークをトレーニングする前に、ノイズを追加するか、又は、前記トレーニング画像の向きを変更することにより前記トレーニング画像を増強するステップを含み得る。これが、前記ネットワークトレーニングの結果を改善し得る。

前記入力画像は、光干渉断層撮影、ＯＣＴにより取得され得る。本開示にて説明するこの方法は、ＯＣＴ撮像におけるノイズ低減に特に適している。

例えば、入力画像の特定のサブセットの前記入力画像は、単一のＣスキャン画像から抽出された複数のＢスキャン画像である。これらのＣスキャンのＢスキャン画像は、スキャン同士間の時間を最小限にして画像を取得するという利点を有する。従って、動き歪みの発生がより少なくなり得、これが、ノイズを低減するように画像を組み合わせることを容易にする。さらに、Ｂスキャンの取得に加えて、又は、Ｂスキャンの代わりに、Ｍスキャンを取得することも可能である。本明細書において、ＭスキャンはＢスキャンと同一スポットで経時的に繰り返される。Ｍスキャンを組み合わせることにより、画像中のノイズを低減し得る。

例えば、前記入力画像は、網膜の少なくとも一部を表し得る。本開示に記載するこの方法は、網膜撮像、詳細にはＯＣＴ網膜撮像におけるノイズ低減に特に適している。

異なるサブセットの前記入力画像は、異なる被検体における同一タイプの組織又は同一タイプの器官の画像を含み得る。これが、ニューラルネットワークを特定の種類の組織又は器官の画像に特化することを可能にする。こうして、ノイズを対象物自体の実際の特徴と区別することが、より容易になる。同様に、異なるサブセットの前記入力画像が、同一タイプの異なる対象物の画像を含み得る。

前記複数の入力画像を取得するステップは、複数の異なる撮像装置から入力画像を取得するステップを含み得る。これらの画像を用いることで、様々な撮像装置からの画像によるトレーニングペアを作成可能である。こうして、前記ニューラルネットワークにより装置が汎用化され得る。複数の装置からの画像を用いたトレーニングペアでのトレーニングが、基盤である画像構造に追加の情報を見出すことを補助し得る。これは、前記様々な撮像装置が異なる性能を有する場合にも当てはまる。例えば、組織透過性がより優れた装置からのサンプルを追加することで、前記ニューラルネットワークが、組織透過性が劣る装置の深部組織特性を改善することを可能にする。

前記方法は、前記トレーニング後に、撮像装置から、前記ニューラルネットワークへの入力画像としての新しい画像を受信して供給し、前記ニューラルネットワークからの出力画像を得るステップを含み得る。これは、前記トレーニングされたニューラルネットワークが任意の画像中のノイズを低減するために適用され得るステップである。

本発明の別の態様によれば、撮像装置のノイズ低減装置が提供される。この装置は、
撮像装置から画像を受信するための入力ユニットと、
前記画像を、トレーニングされたニューラルネットワークに従って処理して出力画像を生成するための制御ユニットと、を備え、
前記ニューラルネットワークは、複数の入力画像を撮像装置から取得するステップと当該入力画像のサブセットを識別するステップとにより作成され、入力画像のサブセットの各入力画像が、当該サブセットのその他の入力画像と同一の対象物を表す。前記ニューラルネットワークは、さらに、複数のターゲット画像を生成するステップにより作成され、１つのターゲット画像が、前記サブセットのうちの１つのサブセットの前記入力画像を、ノイズを低減するように組み合わせることにより生成される。前記ニューラルネットワークは、さらに、複数のトレーニングペアを生成するステップにより作成され、１つのトレーニングペアが、前記ターゲット画像のうちの１つと、トレーニング画像と、を含み、当該トレーニング画像は、前記ターゲット画像のうちの前記１つに対応する前記サブセットの前記入力画像の全てにではないが少なくとも１つに基づいている。前記ニューラルネットワークは、さらに、前記複数のトレーニングペアを用いて前記ニューラルネットワークをトレーニングするステップにより作成される。

本発明の別の態様によれば、画像中のノイズを低減するためのニューラルネットワークをトレーニングするシステムが提供される。このシステムは、
複数の入力画像を撮像装置から取得するための入力ユニットと、
制御ユニットと、を備え、当該制御ユニットは、以下のように構成されている。すなわち、
前記入力画像のサブセットを識別する。入力画像のサブセットの各入力画像は、当該サブセットのその他の入力画像と同一の対象物を表している。
複数のターゲット画像を生成する。１つのターゲット画像が、前記サブセットのうちの１つのサブセットの前記入力画像を、ノイズを低減するように組み合わせることにより生成される。
複数のトレーニングペアを生成する。１つのトレーニングペアが、
前記ターゲット画像のうちの１つと、
トレーニング画像と、を含む。当該トレーニング画像は、前記ターゲット画像のうちの前記１つに対応する前記サブセットの前記入力画像の全てにではないが少なくとも１つに基づいている。前記制御ユニットは、さらに、
前記複数のトレーニングペアを用いてニューラルネットワークをトレーニングするように構成されている。

当業者は、上記の特徴を、有用であると考えられる任意の方法で組み合わせ得ることを理解するであろう。さらに、方法に関して記載した改変及び変更を、装置及び／又はコンピュータプログラム製品を実現するために適用することが可能であり、また、装置に関して記載した改変及び変更も同様に、方法及びコンピュータプログラム製品に適用可能である。

以下に、本発明の態様を、図面を参照しつつ、例を用いて説明する。図面は概略的であり、縮尺通りに描かれていない場合がある。図面全体を通じて、類似のアイテムは同一の参照番号で示され得る。

トレーニングデータセットを準備し、ニューラルネットワークをトレーニングしてニューラルネットワークを適用する方法のフローチャートである。 ニューラルネットワークをトレーニングする方法のフローチャートである。 幾つかのノイズ除去方法の比較を示している。 ノイズ低減装置のブロック図である。 様々なＯＣＴスキャン及びそのタイリングの例を示している。 Ｕ字型構造のネットワーク（Ｕネット）の図である。 図６Ａに示した入力ブロック、出力ブロック、ブロックＤ及びブロックｕの内容を示す図である。

添付図面を参照して、幾つかの例示的な実施形態を、より詳細に説明する。

詳細な構造及び要素などの説明において開示する事項は、例示的な実施形態の包括的な理解を補助するために提供される。従って、これらの具体的に定義された事項が存在せずとも例示的な実施形態を実行できることは明らかである。また、公知のオペレーション又は構造も、それらの不要な詳細により説明が曖昧になる場合があるため、詳細には説明しない。

本開示の一態様によれば、画質を、ＯＣＴスキャンで符号化された構造情報を損なわずにスペックルノイズを除去することにより向上させ得る。本開示によれば、ニューラルネットワークが、各タイプの組織に対応する特定のスペックルパターンをバックグラウンドノイズから区別するように「学習」(“learn”)し、組織に関する情報を維持したままノイズを除去できる。また、本明細書に開示する解決方法は、取得した画像のノイズを低減するためにほぼリアルタイムで実行されてもよく、臨床設定に関連付けられる。

本開示の一態様によれば、ノイズ低減の課題は、教師付き機械学習タスクとして扱われ、非線形変換関数ｆ（Ｉ_Ｎ）→Ｉを学習しようとするものである。この変換関数は、ノイジーな／破損した画像Ｉ_Ｎを、ノイズ除去された／クリーン画像Ｉにマッピングする。

本開示の一態様によれば、データセットが、教師付きトレーニングのための必要な情報を捕捉するために、例えばＯＣＴ画像に基づいて慎重に準備される。このデータセットは、特定のプロトコルを使用して取得されて特定の方法で後処理されるため、それぞれ、ノイジー画像とクリーン画像とのペア｛Ｉ_Ｎ，Ｉ｝を含む。

一般的に発生する画像変化に対する不変性を得るために、各｛Ｉ_Ｎ，Ｉ｝ペアを、幅広い数学的変換のセットを使用して増強することが可能である。

本開示の態様によれば、高次の非線形変換関数ｆが、畳み込みニューラルネットワークを｛Ｉ_Ｎ，Ｉ｝ペアで、収束するまでトレーニングすることにより決定される。

図１は、画像中のノイズを低減するためにニューラルネットワークをトレーニングする方法のフロー図を示す。トレーニングデータセットは、ニューラルネットワークのトレーニングを成功させるための重要な要素である。ステップ１０１～１０６は、トレーニングデータセットの準備に関するものであり、ステップ１０７は、準備されたトレーニングデータセットを使用したニューラルネットワークの実際のトレーニングに関する。

この方法は、ステップ１０１にて、複数の入力画像を取得することにより開始する。このステップは、センサを用いて画像データを測定するために画像検出デバイスを動作させることを含み得る。また、ステップ１０１は、画像再構成技術、例えば、コンピュータ断層撮影又は関連技術を実行して入力画像を取得することを含み得る。類似のタイプの対象物の様々な例の画像を取得し得る。例えば、異なる被検体の網膜が、類似のタイプの対象物と見なされ得る。同一の被写体の異なる網膜も、類似のタイプの対象物と見なされ得る。さらに、これらの異なる部分が類似の画像特性を有する場合、同一の対象物の異なる部分の画像が取得され得る。幾つかのアプリケーションにおいて、各対象物に対して同一の相対位置にある全ての画像を取得する必要がある。他のアプリケーションにおいては、対象物のどの部分を画像化するかは、それほど重要でない。これは、試行錯誤により判断され得る。

画像は、光干渉断層撮影（ＯＣＴ）画像であり得る。これらのＯＣＴ画像は、その空間領域における対象物を表すために再構築されている場合がある。対象物のタイプは、網膜、例えば、ヒトの網膜であり得る。複数の異なる被検体（例えば、人々）の網膜を撮像して、異なる被験者の画像を取得できる。

また、例えば疾患の進行を検出するために、測定同士の間をかなり遅らせて同一被検体を複数回撮像してもよい。このような場合、これらの取得画像は、異なる対象物の画像であると見なされ得る（取得の間に対象物が変化した可能性があるため）。

また、ステップ１０１ａにおいて、画像はサブセットにグループ化され得る。これは、上記で定義したような同一の対象物の画像が共に同一のサブセットにグループ化されるように行われる。これが、次の処理ステップの実行を容易にする。

その他の実施形態は、ＯＣＴ画像の代わりに、例えば超音波画像又はＣＴ画像を含み得る。

ステップ１０２において、同一の対象物に対応する画像のサブセットの画像を互いに位置合わせし得る。このステップは、動き補償ステップであり得る。同一の対象物の連続画像が、わずかに異なる位置から取得される場合があり、或いは、対象物が、連続画像の間に移動した場合もある。位置合わせステップは、このような動きのいずれをも補償するために画像を互いにマッチングさせる。このステップは任意選択的である。なぜなら、幾つかの実施形態においては動きの量を無視できるからである。ステップ１０２の出力は画像のセットであり、同一の対象物の異なる画像が、互いに対して動き補償される。すなわち、各サブセット内の画像は、そのサブセット内のその他の画像に対して動き補償される。

ステップ１０３において、外れ値を拒否するための任意選択的なステップが実行され得る。例えば、動き補償が失敗した場合、又は、動き補償後にサブセット内の画像が大きく異なり過ぎている場合、画像は破棄される。或いは、画像自体が異常特性を有する場合（暗すぎる、非現実的なスパイクなど）、そのような画像は破棄され得る。ステップ１０３の出力は、動き補償と、外れ値の破棄によるクリーニングとの両方が行われたデータセットである。ステップ１０１とステップ１０２との間に、代替的な又は追加の外れ値拒否ステップを実行してもよいことに留意されたい。

ステップ１０４において、画質が改善された画像が、既存の画像から生成される。例えば、同一の対象物を表す画像の各サブセットの画像を平均化するか、或いはそれ以外の方法で組み合わせることにより、画質が改善された画像を取得できる。各サブセットにおける画像が動き補償されているため、画像の平均化によりノイズを低減でき、尚且つ、実際の組織情報が向上する。これらの改善された画質の画像を、本文以下「ターゲット画像」(“target images”)と称する。

ステップ１０５において、ノイズのレベルが異なる様々な画像が生成される。これは、画像の各サブセットからの様々な個数の画像を平均化するか、或いはそれ以外の方法で組み合わせることにより実行される。すなわち、画像のサブセットがＮ個の画像を有する場合、Ｎ平均化画像（サブセット内の全ての画像の平均）がターゲット画像となる。しかし、トレーニング画像を構成するのは、Ｎ個未満の画像の平均画像である。任意の個数の画像Ｋを平均化でき、Ｋ＝１からＫ＝Ｎ－１である。また、Ｋの各値に対して、Ｎ個の画像のサブセットからの、Ｋ個の画像の複数の可能な選択がある。これら全ての選択により、異なるトレーニング画像が作成される。従って、これらの全ての選択を用いて、多くのトレーニング画像を生成できる。幾つかの実施形態において、Ｋの全ての値（１～Ｎ－１）が使用され、可能な限り多くのトレーニング画像を生成するために、Ｋ画像の全ての可能な選択が使用される。或いは、どの可能性が実際に使用されるべきかに関して、幾つかの選択が行われる。例えば、Ｋの任意の値に対する選択の個数が、ランダムな選択の所定の個数に限定されてよい。或いは、Ｋの全ての値を使用せずに、Ｋの特定の値のみを使用してもよい。例えば、奇数値Ｋ（Ｋ=１，３，５，…、Ｋ＜Ｎ）、又はＫの３番目ごとの値（Ｋ=１，４，７，…、Ｋ＜Ｎ）を使用してもよい。組み合わされる画像の選択に関する他の選択は、当業者には明らかであろう。本発明の例を、画像の平均化に関して詳述したが、その他の種類の組合せ（中央値など）も、ステップ１０４及びステップ１０５の両方で可能であることに留意されたい。

ステップ１０５の簡略版において、各トレーニング画像は、画像のサブセットの入力画像の全てにではなく、少なくとも１つに基づく。例えば、各ターゲット画像に対して作成され得るトレーニング画像は１つのみである。すなわち、単一の入力画像（Ｋ=１）のみをトレーニング画像として使用し得る。従って、Ｋの様々な値を省き得る。

ステップ１０６において、ノイジー画像とノイズ除去画像とのペアが生成される。各ペアは、トレーニング画像とターゲット画像とを含む。１つのペアのトレーニング画像とターゲット画像とは、対象物を表す画像の同一のサブセットに基づいている。ステップ１０５において、各サブセットに対して複数のターゲットオブジェクトが作成されたため、同一のターゲット画像が複数の異なるペアに含まれることになる。本文以下、これらのペアを「トレーニングペア」(“training pair”)と称する。

ステップ１０７において、ニューラルネットワークが、トレーニングペアを使用してトレーニングされる。このために、適切なニューラルネットワークトポロジ及びトレーニングプロセスが使用され得る。ニューラルネットワークへの入力はトレーニング画像であり、ターゲット出力は、トレーニング画像に対応するターゲット画像である。ステップ１０７の実行例が図２に示されている。

トレーニングプロセスが完了したならば、画像中のノイズを低減するためにニューラルネットワークを適用してもよい。このために、ステップ１０８に示されているように、新しい画像が取得されたときに画像をニューラルネットワークに入力できる。ニューラルネットワークの出力が、ノイズ低減画像として使用され得る。

図２は、本開示で説明したように準備されたトレーニングデータセットを使用してニューラルネットワークをトレーニングする方法を示している。この図が例示的な例として提供されているに過ぎないことを理解されたい。ニューラルネットワークをトレーニングするためのその他のスキームが当業者に公知であり、それらを用いることも可能である。

ステップ２０１において、ｎ個のトレーニングペアが、利用可能なトレーニングペアからランダムに選択される。各トレーニングペアは、ノイジー画像Ｓ_{ｎｏｉｓｙ}（トレーニング画像とも称する）と、ノイズ除去画像Ｓ_{ｄｅｎｏｉｓｅｄ}（ターゲット画像とも称する）とから構成される。適切な個数ｎ（ｎは、利用可能なトレーニングペアの個数よりも小さい）が試行錯誤により決定され得る。

ステップ２０２において、ランダムに選択されたトレーニングペアのトレーニング画像がニューラルネットワークに入力される。これは、
［式１］

で表されることができ、Ｆ_ＣＮＮはニューラルネットワークを示す。ニューラルネットワークＦ_ＣＮＮは、畳み込みニューラルネットワーク、又は、別のタイプの教師付き学習ニューラルネットワークであり得る。

ステップ２０３において、誤差関数が決定される。誤差を決定するために、ニューラルネットワークの各出力

が、対応するターゲット画像Ｓ_{ｄｅｎｏｉｓｅｄ}と比較される。誤差値は、例えば、二乗差の合計として決定され得る。例えば、画像の各ピクセル又はボクセル対して二乗差が決定され得る。これらの二乗差が加算され得る。このプロセスは、ランダムに選択されたｎ個の画像の全てに対して繰り返され得る。ｎ個の画像に対して補正をするためには、全ての二乗差の合計を計算してｎで割ればよい。これにより、以下の例示的な
［式２］

が得られ、式中、Ｅは、決定された誤差値である。

ステップ２０４において、ニューラルネットワークのパラメータは、誤差値Ｅが低減されるように適合され得る。このステップは、逆伝搬プロセスにより実行され得る。このプロセス自体は当技術分野で公知である。

ステップ２０５において、プロセスが収束したかどうかがテストされる。これは、誤差値Ｅを所定の閾値と比較することにより実行され得る。或いは、誤差値Ｅが減少する速度を追跡し、減少速度が遅くなっているならばプロセスが収束したと判断し得る。或いは、所定の繰り返し回数後にプロセスが収束したと判断され得る。プロセスが収束していない場合、プロセスはステップ２０１から繰り返される。プロセスが収束したならば、プロセスはステップ２０６で終了し、結果として得られるニューラルネットワークが、将来使用するために記憶され得る。

本明細書で開示する技術は、高レベルで、変換関数ｆの有効な表現を学習するためにＯＣＴ画像のまばら性（スパーシティ）（すなわち、特定のサンプルの生じ得るＯＣＴフットプリントの総数が、生じ得る画像の総数よりもはるかに少ないという事実）を利用することを可能にする。例えば、人間の網膜のＯＣＴスキャンは、非常に特異的な層状構造を、病理学的に高度な眼の場合（すなわち、硝子体液が網膜の上にあり、脈絡膜がその下にある）でも明確にする。十分な個数の代表的な網膜スキャンでＣＮＮをトレーニングすることにより、ノイジーＩ_Ｎスキャンから、スペックルノイズを有さない、又はスペックルノイズが低減された、下層構造の下層のクリーン画像Ｉへの変換関数を学習できる。生じ得る有効なＩ画像の個数は、生じ得るノイジーＩ_Ｎスキャンの個数よりも少ないため、この変換関数を、代替的に、圧縮係数をＣＮＮの構造及び重みにエンコードした圧縮ストラテジとみなし得る。

教師付き学習により、特定のサンプルのＯＣＴ構造に関する事前情報を抜き出してＣＮＮに与え得る。｛Ｉ_Ｎ，Ｉ｝トレーニングデータセットは、ＣＮＮがノイジーサンプルのみ又はクリーンサンプルのみであれば可能ではないであろう変換関数ｆ（Ｉ_Ｎ）→Ｉを発見することを可能にする。データセットの増強により、ＣＮＮは、｛Ｉ_Ｎ，Ｉ｝の個数又は必要な入力画像の個数を扱いやすいように保ったままで、変換関数に関する不変式を学習できる。最後に、ＣＮＮの使用により、（ａ）確率的勾配降下法を用いて、ｆの有効な高パラメータ近似値を見つけ、（ｂ）トレーニングデータセットを、様々な装置から取得した様々な被検体の類似画像に一般的に使用し、（ｃ）最新のＧＰＵアクセラレーションを使用して、ほぼリアルタイムのパフォーマンスを達成する。

本明細書に開示する技術は多くの利点を有する。以下の段落において、幾つかの特性及び考えられる利点について、より詳細に説明する。

取得時間。網膜ＯＣＴの場合、この技術は、２０回～５０回（サンプル及び撮像装置に依る）の平均化に相当するＳＮＲを達成する。これにより、本質的に、同一の画質に対して取得時間を２０倍～５０倍短縮でき、又は、同一の取得時間においては画質を向上させ得る。

サンプルの一般化。本発明者には、トレーニングデータ（特定のサンプル位置の２次元Ｂスキャンを含む）でのトレーニングが、類似のサンプルの完全な３次元Ｃスキャンのノイズ除去も可能にすることが分かった。例えば、網膜のＢスキャンでのトレーニングが、その他のいずれの網膜のＣスキャンのノイズ除去も可能にする。

装置の汎用化。本発明者らは、特定の装置のサンプルでのトレーニングにより、類似の特性（ボクセルのサイズや解像度など）を有するその他の装置により作成されたサンプルの画像のノイズ除去ができることを発見した。複数の装置の組み合わされたサンプルでのトレーニングが、基盤であるＯＣＴ構造に追加情報を見出すことを補助する（例えば、より良好な組織透過性を有する装置によるサンプルを追加すると、組織透過性がより低い装置の深部組織特性が向上し得る）。

パフォーマンス。従来の反復アプローチとは異なり、本明細書で開示するニューラルネットワークのアプローチは、ＣＮＮを通過する単一の「前方」(“forward”)パスを使用して画像をノイズ除去できる。広範なＧＰＵアクセラレーションと組み合わせることで、ほぼリアルタイムのパフォーマンスを現在のシステムにて達成できる。

融通性。この方法は、適切なデータセットがあれば、あらゆる種類の生物学的組織（例えば、網膜、角膜、皮膚、脳組織、歯、動脈／血管若しくは結腸）又は非生物学的サンプル（例えば、塗料、金属構造物、半導体）をノイズ除去するために使用され得る。実際、この技術は、ＯＣＴにだけでなく、スペックルノイズを被るあらゆる撮像モダリティ（例えば、Ｘ線、コンピュータ断層撮影（ＣＴ）、磁気共鳴画像（ＭＲＩ）、超音波、若しくは、蛍光／自家蛍光画像）に適用され得る。

コスト節減。本明細書で開示する技術は、高性能の医療機器を凌ぐ性能を発揮できるＯＣＴ装置の構築を、わずかな費用で可能にし得る。

データ圧縮。スペックルノイズを除去することにより、取得した１つのＢスキャンあたりの記憶容量の実質的な低減を、可逆圧縮を使用した場合でも達成できる。例えば、本発明者は、ロスレスＰＮＧ圧縮を使用した場合、３倍の圧縮率を達成できた。

以下に、トレーニングプロセスの例を詳細に開示する。しかし、本明細書で開示する詳細は、本発明の理解の補助のためものに過ぎない。これらの詳細は、本開示の範囲を限定することを意図されていない。また、以下に説明される技術は、ＯＣＴ撮像の特定のアプリケーションに関するものである。しかし、ＯＣＴに関して、この技術の代替として別の種類のイメージング技術を用いてもよい。ＯＣＴ用語において、「Ａスキャン」(“A-scan”)とは、レーザビームの直線に沿った特徴を表す１次元画像を意味する。「Ｂスキャン」(“B-scan”)とは、特定のパス（直線であり得る）に沿ってレーザビームをスキャンすることにより得られる平面又は表面の特徴を表す２次元画像を意味する。「Ｃスキャン」(“C-scan”)とは、レーザビームを２次元パターンで走査することにより得られる３次元画像を意味する。図５（ａ）はＢスキャンを示しており、Ｙ軸が、光ビームに沿った方向を示し、Ｘ方向が、走査面に沿った走査方向を示している。図５（ｂ）は、Ｙ方向にて取得された複数のタイルを構成して単一のＢスキャンを形成する方法を示している。図５（ｂ）に示されているように、タイリングは幾つかの異なる方法で実行され得る。例えば、図５（ｂ）の右側１’）に示されているように、タイルはＸ方向においては一部のみしかカバーできないが、Ｙ方向においては元の画像の全体をカバーできる。図５（ｂ）の左側に示されているように、例えばＹ方向に沿った４つのタイル１），２），３），４）を取得するために、タイリングをＸ方向及びＹ方向の両方に沿って実行してもよい。例えば、この方法で正方形のタイルを作成できる。図５（ｃ）はＣスキャンを示しており、検出器はＺ方向もスキャンする。本開示の全体を通じて、入力画像、トレーニング画像、及びターゲット画像に関して説明するが、これらの画像が、より大きい画像のタイルであってもよい。

ニューラルネットワークのトレーニングは、同一サンプル内のノイジー画像Ｉ_Ｎとクリーン画像Ｉとから成るペア｛Ｉ_Ｎ，Ｉ｝を含むデータセットの生成を含む。ＯＣＴの場合、これらの画像は、例えばＢスキャン画像であり得る。概念的クリーンＩＢスキャンが、同一サンプル位置のノイジーＩ_ＮＢスキャンのセットのほぼ平均であるとみなされる。

高品質の平均化されたＢスキャンを得るために平均化され得るノイジー画像の適切なセットを取得するために、幾つかの様々な技術を使用できる。標準的な市販のＯＣＴ装置では、Ｉ_Ｎ（平均化されていない単一のＢスキャン）又はＩ（装置に固有の独自のアルゴリズムを使用して後処理された単一のｎ平均化Ｂスキャン）のいずれか一方しか提供できず、同時に両方では提供できない。そのため、本発明では、｛Ｉ_Ｎ，Ｉ｝ペアを生成するために必要なデータを取得するための２つの代替的な方法を開示する。

第１の選択肢として、ｎ平均化ＩＢスキャン及び個々のＩ_ＮＢスキャンの両方を同時に提供できるカスタムＯＣＴ装置を使用することが可能である。例えば、同一サンプル位置の１０のＢスキャンを高速度の繰り返しで取得することにより１０個のＩ_ＮＢスキャンが得られ、これらを平均化することで、対応する高品質のＩＢスキャンが得られる。

或いは、平均化されていない高密度のＣスキャンを取得することも可能である。この場合、Ｃスキャンの個々のＢスキャンがノイジーＩ_Ｎ画像を形成し、Ｃスキャンのｎ平均化ＢスキャンのブロックがクリーンＩ画像を形成する。この場合、ｎは、異なるサンプル位置のＢスキャンの平均化による動きぼやけ（モーションブラー）を回避するために十分に低値であることが好ましい（例えばｎ＝３～５）。

さらには、高度に平均化されたＢスキャンをクリーンＩ画像として取得し、ノイジーＩ_Ｎ画像を、加法性又は乗法性ノイズを使用して合成することもできる。これは、基本的なスペックル除去を可能にするが、この方法では画質が低下する可能性もある。

ネットワークを、ノイズを低減させるようにトレーニングするために、以下のステップを実行できる。

１．Ｂスキャンを位置合わせする。Ｂスキャンを位置合わせする例示的な方法が、アポストロポロス(Apostolopoulos)らの特許出願に開示されている（すなわち、網膜の曲率及び全てのＢスキャンを、強度ベースのレジストレーション（位置合わせ）を使用して平坦化する）。
２．位置合わせ後、ｎ画像のセットを平均化して、クリーンＩサンプルを構成する。
ａ．有用な例として、１０回のＢスキャンが同一の場所を示すデータセットが利用可能な場合、ｎ=１０が適切である。
ｂ．ＢスキャンがＣスキャンから抽出される場合、有用な例として、ｎ=５が、平均画質と動きぼやけとの妥協点として良好である（個々のＢスキャンが、より大きいＣスキャンの異なる部分を表すため）。幾つかのアプリケーションにおいて、Ｃスキャンのデータセットの密度が非常に高いため、ｙ軸上でのｎ=５が０.０５８６μｍに等しくなり、これにより、動きぼやけ及びアーチファクトがかなり排除される。
３．ｎ平均化された各グラウンドトゥルースに対し、その完全な集合である、ｍ=１…ｎ平均化ノイジーＩ_Ｎサンプルを生成する。例えば、ｎ=３であるクリーンＩサンプルのために、ノイジーＩ_Ｎサンプルの完全な集合は以下を含む。すなわち、
ａ．ｍ=１のサンプルが３個
ｂ．ｍ=２のサンプルが３個
ｃ．ｍ=３のサンプル（「グラウンドトゥルース」画像）が１個
ｄ．｛Ｉ_Ｎ，Ｉ｝ペアは合計で６個。
４．データセットを増強する。以下の増強機能の各々は例であり、全ての実施例に必要なものではないことに留意されたい。また、以下に列挙するものに加えて、その他の増強を使用してもよい。
ａ．ランダムな水平反転（トレーニング画像及びターゲット画像の両方に適用される）。
ｂ．ランダムなガウスノイズ（トレーニング画像に適用され、ターゲット画像には適用されない）。
ｃ．ランダムなレイリーノイズ（トレーニング画像に適用され、ターゲット画像には適用されない）。
ｄ．ｘ軸及びｚ軸におけるランダムなガウスぼかし（トレーニング画像に適用され、ターゲット画像には適用されない）。
ｅ．ランダムなシフト及びせん断（トレーニング画像及びターゲット画像の両方に適用される）を、ロバスト性を向上させるために適用できる。
５．図５（ｂ）に示されているように、画像を、任意選択的にタイルに分割し得る。ｘ軸に沿ったタイリングにより、より良好なトレーニング結果が得られ、また、ｚ軸に沿ったタイリングよりも、アーチファクトがより少なくなる（なぜなら、ｚタイルは、アーチファクトを生じさせる純粋なノイズを含む場合があるからである）。幾つかの実施形態において、タイリングは、画像が正方形であるように、すなわち、タイルの各方向のピクセルの数が等しいか又はほぼ同一であるように行われる。

ニューラルネットワークとして、畳み込みニューラルネットワークを使用してもよい。例えば、Ｕ字状ネットワーク（「Ｕネット」）である。生物医学的画像のセグメンテーションのためのＵ字状のディープ畳み込みニューラルネットワークが、例えば、レンネバーガー・オー(Ronneberger, O)らによる「Ｕネット：生物医学的画像のセグメンテーションのための畳み込みネットワーク」（国際会議ＭＩＣＣＡＩ(Medical Image Computing and Computer Assisted Intervention)（２０１５年、Ｓｐｒｉｎｇｅｒ、ＬＮＣＳ、Ｖｏｌ.９３５１：２３４～２４１））から公知である。この種のネットワークを、ノイズ低減ニューラルネットワークを作成するために、本明細書に開示したデータセットを用いて適応及びトレーニングさせ得る。ネットワークアーキテクチャの好適な例の図が図６Ａに示されている。このアーキテクチャは、畳み込み、線形ユニット、プーリング層及びアップサンプリング層を含む。図６Ｂは、図６ａの図で使用されているブロックＤ、ブロックＵ、入力ブロック、及び出力ブロックの内容の例を示している。その他の実施形態において、これらの代わりに、その他のタイプ及びアーキテクチャのニューラルネットワークを使用してもよい。

例えば、画像がＮ×Ｍピクセルを有し、各ピクセルに１つの強度値が関連付けられている場合、ニューラルネットワークは、Ｎ×Ｍ入力ユニット及びＮ×Ｍ出力ユニットを有し得、１つの入力ユニットが（トレーニング画像の）各ピクセル値に対応し、１つの出力ユニットが（ターゲット画像の）各ピクセル値に対応している。より多数のピクセル値を各ピクセルが利用可能な場合（例えば、異なるカラーチャネル）、ニューラルネットワークに、より多数の入力ユニット及び出力ユニットを設けることができ、従って、ニューラルネットワークの画像の各ピクセル値に１つの入力ユニットを設け、出力画像の各ピクセルに１つの出力ユニットを設けることが可能になる。異なる解像度の画像をサポートするためには、ニューラルネットワークを適用する前又は後にリサンプリングステップを実行して、画像の望ましい解像度を、利用可能な入力／出力ユニットの数に適合させる。

本明細書に開示する技術により、ニューラルネットワークは、手元の対象物の種類、例えば異なる層の網膜の構造を学習し、ＯＣＴスペックルパターンから最も可能性の高い構造を推測することで欠落情報を再構築できる。その結果、画質が劇的に向上し、スペックルノイズがほぼ完全に除去される。その結果、実際、モーションアーチファクト及び動きぼやけが全く無くなるため、同等のＮ平均化スキャンよりも優れている場合がある。

単一のＢスキャン位置でのトレーニングは、病変部が含まれている場合でも、完全なＣスキャンをノイズ除去するのに十分な情報を提供すると思われる。しかし、トレーニングセットに、病変部に関するグラウンドトゥルースを追加すると、結果の質の向上が期待できる。

トレーニング画像をランダムな量のガウスノイズ及びレイリーノイズにより破損すると、トレーニングプロセス及び得られる質の大幅な向上を補助するように見える（すなわち、ノイズが少ない、より滑らかな外観になる）。

トレーニングサンプルをガウスブラーにより破損すると、より良好に画成された形状が得られるかも知れない。これにより、画像全体がわずかにぼやける場合もある。

多くの異なる値ｍ（ｍ<ｎ）に対してｍ平均化スキャンを使用すると、画質が大幅に向上し得る。

解像度又はヒストグラムに関する撮像特性が大きく異なる装置にニューラルネットワークを適応させるためには、再トレーニングが有用であろう。

ニューラルネットワークは、メモリ及び計算量の両方が多い。上記の構成を使用することで、トレーニングをミニバッチサイズ（例えば、４）で行うことができ、また、２～４Ｂスキャン／秒の推論速度を、Ｎｖｉｄｉａ ＧｅＦｏｒｃｅ（エヌビディア・ジーフォース）ＧＴＸ１０８０（アメリカ合衆国、カリフォルニア州、サンタクララのエヌビディア(Nvidia)社製）を用いて達成できる。

より少ないレベル又はより少ないパラメータのネットワーク構成は、ミニバッチ（例えば、８又は１０のＢスキャン）で一度にトレーニングされることができ、対応する推論比は、約８Ｂスキャン／秒～１６Ｂスキャン／秒である。

タイルベースの方法で達成される画質は、画像全体の処理により得られる質よりも低いようである。その理由は、より大きいコンテキストの欠如であろう。画像全体を使用する場合、画像中に見える構造は、ニューラルネットワークにより互いに関連付けられ得る。例えば、脈絡膜構造は常に網膜の下に現れる。タイルベースの適切な妥協案は、スキャンのｚ軸全体をカバーする薄い鉛直タイルを含むことであろう。これは特に、ＯＣＴ及び網膜撮像に当てはまるが、その他の幾つかのタイプの材料及び組織におけるその他のＯＣＴ結果にも当てはまる。

再構成の画質を向上させるために、３Ｄベースの方法を使用してもよい。これは、３Ｄ畳み込み又はマルチチャネル２Ｄ畳み込みを含み得、複数の隣接する入力Ｂスキャンを組み合わせて単一の出力にする。実際、複数のチャネルを使用すると、少ないメモリコストで画質が向上する。このアーキテクチャの例は、上述の例で示した構造物と類似のベースライン構造で構成されるが、隣接するＢスキャンを含む３次元への畳み込み（ｃｏｎｖ）を増大させる。

インビボ撮像の場合、単純な平均化を行うと、モーションアーチファクトにより画像がぼやける場合がある。より良好な結果を得るためには、最初にｎ個のＢスキャンの各々を、それら同士で（例えば、相互相関又はテンプレートマッチングを介して）、又は共通の参照画像にアライメント又は位置合わせする。共通の参照画像による位置合わせは、眼底をアイトラッカー（例えば走査型レーザー検眼鏡（ＳＬＯ）又は通常の赤外線カメラ）を使用して撮像し、検出された目の動きを用いて各Ｂスキャンの位置を修正することにより実現できる。

図３は、幾つかのノイズ除去方法の比較を示している。図３ａは、ノイズ除去が行われていない元の画像を示している。図３ｂは、ウェーブレットを使用したノイズ低減後の画像を示している。図３ｃは、ブロックマッチング及び３Ｄフィルタリング（ＢＭ３Ｄ）法を使用したノイズ低減後の画像を示している。図３ｄは、２０回の平均化によるノイズ低減後の画像を示している。図３ｅは、本開示による方法を使用したノイズ除去後の画像を示している。

図４は、ニューラルネットワークを使用してノイズを低減できる撮像装置のブロック図である。この装置はメモリ４００を備えている。メモリ４００は、揮発性若しくは不揮発性メモリ、又は異なるタイプのメモリの組合せを含む、あらゆる種類のメモリデバイス又は記憶媒体を備え得る。メモリ４００は、ネットワークの構造及びネットワークのパラメータを含む人工ニューラルネットワークの定義を含み得る。ニューラルネットワークのパラメータは、本開示のその他の場所でより詳細に説明したトレーニング手順により既に計算されている場合もある。トレーニング手順は、撮像装置から複数の入力画像を取得して入力画像のサブセットを識別するステップを含み得、入力画像のサブセットの各入力画像は、そのサブセットのその他の入力画像と同一の対象物を表す。前記トレーニング手順は、さらに、複数のターゲット画像を生成するステップを含み得、１つのターゲット画像が、前記サブセットうちの１つのサブセットの入力画像を、ノイズを低減するために組み合わせることにより生成される。前記トレーニング手順は、さらに、複数のトレーニングペアを生成するステップを含み得、１つのトレーニングペアが、前記ターゲット画像の１つと、トレーニング画像とを含む。このトレーニング画像は、前記ターゲット画像の前記１つに対応するサブセットの前記入力画像の全てにではないが少なくとも１つに基づいている。前記トレーニング手順は、さらに、ニューラルネットワークを、複数のトレーニングペアを使用してトレーニングするステップを含み得る。

メモリ４００は、さらに、画像データ４０２を記憶するために使用され得る。これらの画像データは入力ユニット４１１を介して受信され得、制御ユニット４１０の制御下でメモリ４００に記憶され得る。また、ニューラルネットワーク４０１の出力、例えば、ノイズ低減された画像データも、メモリ４００に記憶され得る。

メモリ４００は、さらに、プログラムコード４０３を記憶している。プログラムコード４０３は、制御ユニット４１０が幾つかのタスク（例えば、入力ユニット４１１を介して受信した入力画像の処理）を制御し、ニューラルネットワーク４０１に画像データを処理させ、ニューラルネットワークにより出力された画像を出力及び記憶するように構成されている。

前記撮像装置は、さらに、撮像装置４１３から画像データを、外部データ記憶システム４１４を介して受信するための入力ユニット４１１を備え得る。入力ユニット４１１は、例えば、有線通信用の通信ポート又は無線通信用のトランシーバを含み得る。

前記撮像装置は、さらに、画像を例えばディスプレイ４１５又は外部記憶システム４１４に出力する出力ユニット４１２を備え得る。入力ユニットと同様に、出力ユニットは、通信ポート及び／又は無線通信デバイスを備え得る。１つのハードウェアに入力ユニット及び出力ユニットの両方が実装され得る。

外部記憶システム４１４は、例えば患者ファイルに編成されたデータの記憶及び検索のために構成されたコンピュータサーバを含み得る。

ディスプレイ４１５は、任意のディスプレイ装置、例えばコンピュータモニタを含み得、或いは、コンピュータ及びモニタを含むワークステーションを備え得る。

撮像装置４１３は、特定の測定を実行するように構成されたセンサを含む。適切な撮像装置の例は、光干渉断層撮影（ＯＣＴ）スキャナ、コンピュータ断層撮影スキャナ、又は磁気共鳴撮像スキャナである。撮像装置４１３は、画像データを空間ドメイン又は時空間ドメインに再構成するための再構成ユニットを備え得る。撮像装置は、再構成された画像データを外部記憶システム４１４に出力するか、又は入力ユニット４１１に直接出力するように構成され得る。

制御ユニット４１０は、システムのコンポーネントを制御し、メモリ４００に記憶されているコンピュータコード４０３を実行して、本明細書で開示される機能を実施できる任意のプログラマブルプロセッサ又はコントローラであり得る。制御ユニット４１０は、ニューラルネットワーク４０１のトレーニングを行うように、又は、トレーニング後に、トレーニングされたニューラルネットワーク４０１を適用することにより新しい画像データを処理するように、プログラムコード４０３によりプログラムされ得る。

その他の実施形態、例えばクラウドベースの実装なども可能である。

本発明の幾つか又は全ての態様は、ソフトウェア、特にコンピュータプログラム製品の形態で実装されるのに適している。例えば、トレーニングデータセットを生成するために画像のサブセットを処理する手順に含まれるステップは、コンピュータプログラムで実装されるのに適している。また、ニューラルネットワークのトレーニングプロセスも、コンピュータプログラムで実行され得る。同様に、ニューラルネットワークの、新しい画像への適用も、コンピュータプログラムにより実行され得る。コンピュータプログラム製品は、非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラムを含み得る。また、コンピュータプログラムは、光ファイバケーブル又は空気などの伝送媒体により運ばれる光信号又は電磁信号などの信号により表現され得る。コンピュータプログラムは、コンピュータシステムにより実行されるのに適したソースコード、オブジェクトコード、又は擬似コードの形態を部分的に又は完全に有し得る。例えば、コードは、１以上のプロセッサ又はコントローラを備え得る制御ユニットにより実行可能であり得る。

本明細書に記載した例及び実施形態は、本発明を例示するのに役立つのであり、本発明を限定するものではない。当業者は、代替実施形態を、添付の特許請求の範囲及びそれらの均等物により定義されているような本開示の精神及び範囲から逸脱せずに設計できよう。特許請求の範囲において括弧内に記載された参照符号は、特許請求の範囲を限定するものと解釈されるべきでない。特許請求の範囲又は詳細な説明において別個の存在として記載した要素は、記載されている要素の特徴を組み合わせる単一のハードウェア又はソフトウェアの要素として実現され得る。

以下の節において実施例を開示する。
１． 画像中のノイズを低減するためのニューラルネットワークをトレーニングする方法であって、
複数の入力画像を撮像装置から取得するステップ（１０１）と、
前記入力画像のサブセットを識別するステップ（１０１ａ）と、を含み、入力画像のサブセットの各入力画像が、当該サブセットのその他の入力画像と同一の対象物を表し、前記方法が、さらに、
複数のターゲット画像を生成するステップ（１０４）を含み、１つのターゲット画像が、前記サブセットのうちの１つのサブセットの前記入力画像を、ノイズを低減するように組み合わせることにより生成され、前記方法が、さらに、
複数のトレーニングペアを生成するステップ（１０５）を含み、１つのトレーニングペアが、
前記ターゲット画像のうちの１つと、
トレーニング画像と、を含み、当該トレーニング画像が、前記ターゲット画像のうちの前記１つに対応する前記サブセットの前記入力画像の全てにではないが少なくとも１つに基づいており、前記方法が、さらに、
前記複数のトレーニングペアを用いてニューラルネットワークをトレーニングするステップ（１０７）を含む、前記方法。
２．前記トレーニング画像が１つ以上の入力画像に基づくのであれば、入力画像の前記サブセットの前記入力画像の全てではないが前記１つ以上を組み合わせることにより前記トレーニング画像のノイズを低減するように前記トレーニング画像を生成するステップをさらに含む、条項１に記載の方法。
３． 前記複数のトレーニングペアが、入力画像の第１の番号Ｋ_１に基づいた第１のトレーニング画像を含む第１のトレーニングペアと、入力画像の第２の番号Ｋ_２に基づいた第２のトレーニング画像を含む第２のトレーニングペアとを含み、前記第１の番号Ｋ_１が前記第２の番号Ｋ_２とは異なる、条項２に記載の方法。
４． 前記複数のトレーニングペアが、異なるトレーニング画像は異なる番号の入力画像に基づいているがターゲット画像は同一であるトレーニングペアを含む、条項３に記載の方法。
５． Ｎ個の入力画像の各ターゲット画像、及び、当該ターゲット画像の対応するサブセットに対して、トレーニング画像が、Ｎ個の入力画像の前記サブセットの、Ｎよりも小さい全ての正の整数値であるＫに基づいて生成される、条項１～４のいずれかに記載の方法。
６．任意の値Ｋに対して、Ｎ個の入力画像の前記サブセットからのＫ個の入力画像の１つ以上の可能な選択が存在するならば、トレーニング画像が、Ｎ個の入力画像の前記サブセットからの前記Ｋ個の入力画像の１つ以上の選択のために生成される、条項１～５のいずれかに記載の方法。
７．前記入力画像を組み合わせる前記ステップが、
組み合わせた前記入力画像の対応する値を平均化するステップを含み、或いは、
さらに、サブセットの前記入力画像を、前記ターゲット画像及びトレーニング画像を生成する前に空間的に位置合わせするステップ、或いは
さらに、前記ニューラルネットワークをトレーニングする前に、ノイズを追加するか、又は、前記トレーニング画像の向きを変更することにより前記トレーニング画像を増強するステップを含む、条項１～６のいずれかに記載の方法。
８．前記入力画像が、光コンピュータ断層撮影、ＯＣＴにより取得される、条項１～７のいずれかに記載の方法。
９．入力画像の特定のサブセットの前記入力画像が、単一のＣスキャン画像から抽出された複数のＢスキャン画像を含む、条項８に記載の方法。
１０．前記入力画像が網膜の少なくとも一部を示す、条項１～９のいずれかに記載の方法。
１１．異なるサブセットの前記入力画像が、異なる被検体における同一タイプの組織又は同一タイプの器官の画像を含み、或いは、異なるサブセットの前記入力画像が、同一タイプの異なる対象物の画像を含む、条項１～１０のいずれかに記載の方法。
１２．前記複数の入力画像を取得するステップが、複数の異なる撮像装置から入力画像を取得するステップを含む、条項１～１１のいずれかに記載の方法。
１３．さらに、トレーニング後に、撮像装置から、前記ニューラルネットワークへの入力画像としての新しい画像を受信して供給し（１０８）、前記ニューラルネットワークからの出力画像を得るステップを含む、条項１～１２のいずれかに記載の方法。
１４．撮像装置のノイズ低減装置であって、
撮像装置から画像を受信するための入力ユニット（４１１）と、
前記画像を、トレーニングされたニューラルネットワーク（４０１）に従って処理して出力画像を生成するための制御ユニット（４１０）と、を備え、
前記ニューラルネットワーク（４０１）が、複数の入力画像を撮像装置から取得するステップと当該入力画像のサブセットを識別するステップとにより作成され、入力画像のサブセットの各入力画像が、当該サブセットのその他の入力画像と同一の対象物を表し、前記ニューラルネットワーク（４０１）が、さらに、複数のターゲット画像を生成するステップにより作成され、１つのターゲット画像が、前記サブセットのうちの１つのサブセットの前記入力画像を、ノイズを低減するように組み合わせることにより生成され、前記ニューラルネットワーク（４０１）が、さらに、複数のトレーニングペアを生成するステップにより作成され、１つのトレーニングペアが、前記ターゲット画像のうちの１つと、トレーニング画像と、を含み、当該トレーニング画像が、前記ターゲット画像のうちの前記１つに対応する前記サブセットの前記入力画像の全てにではないが少なくとも１つに基づいており、前記ニューラルネットワーク（４０１）が、さらに、前記複数のトレーニングペアを用いて前記ニューラルネットワークをトレーニングするステップにより作成される、ノイズ低減装置。
１５．画像中のノイズを低減するためのニューラルネットワークをトレーニングするシステムであって、
複数の入力画像を撮像装置から取得するための入力ユニット（４１１）と、
制御ユニット（４１０）と、を備え、当該制御ユニット（４１０）が、
前記入力画像のサブセットを識別する（１０１ａ）ように構成されており、入力画像のサブセットの各入力画像が、当該サブセットのその他の入力画像と同一の対象物を表しており、前記制御ユニット（４１０）が、さらに、
複数のターゲット画像を生成する（１０４）ように構成されており、１つのターゲット画像が、前記サブセットのうちの１つのサブセットの前記入力画像を、ノイズを低減するように組み合わせることにより生成され、前記制御ユニット（４１０）が、さらに、
複数のトレーニングペアを生成する（１０５）ように構成されており、１つのトレーニングペアが、
前記ターゲット画像のうちの１つと、
トレーニング画像と、を含み、当該トレーニング画像が、前記ターゲット画像の前記１つに対応する前記サブセットの前記入力画像の全てにではないが少なくとも１つに基づいており、前記制御ユニット（４１０）が、さらに、
前記複数のトレーニングペアを用いてニューラルネットワーク（４０１）をトレーニングする（１０７）ように構成されている、システム。

Claims (12)

1. 画像中のノイズを低減するためのニューラルネットワークをトレーニングする方法であって、
   複数の入力画像を撮像装置から取得するステップ（１０１）と、
   前記入力画像のサブセットを識別するステップ（１０１ａ）と、を含み、入力画像のサブセットの各入力画像が、当該サブセットのその他の入力画像と同一の対象物を表し、前記方法が、さらに、
   複数のターゲット画像を生成するステップ（１０４）を含み、１つのターゲット画像が、前記サブセットのうちの１つのサブセットの前記入力画像を、ノイズを低減するように組み合わせることにより生成され、前記方法が、さらに、
   複数のトレーニングペアを生成するステップ（１０５）を含み、１つのトレーニングペアが、
   前記ターゲット画像のうちの１つと、
   トレーニング画像と、を含み、当該トレーニング画像が、前記ターゲット画像のうちの前記１つに対応する前記サブセットの前記入力画像の全てにではないが少なくとも１つに基づいており、前記トレーニング画像が１つ以上の入力画像に基づくとき、入力画像の前記サブセットの前記入力画像の全てではないが前記１つ以上を組み合わせることにより前記トレーニング画像のノイズを低減するように前記トレーニング画像を生成し、前記方法が、さらに、
   前記複数のトレーニングペアを用いてニューラルネットワークをトレーニングするステップ（１０７）を含み、前記ニューラルネットワークへの入力が、前記複数のトレーニングペアのうちの幾つかのトレーニングペアの前記トレーニング画像を含み、且つ、前記ニューラルネットワークのターゲット出力が、前記幾つかのトレーニングペアの前記ターゲット画像を含み、
   前記複数のトレーニングペアが、入力画像の、正の整数値である第１の番号Ｋ_１に基づいた第１のトレーニング画像を含む第１のトレーニングペアと、入力画像の、正の整数値である第２の番号Ｋ_２に基づいた第２のトレーニング画像を含む第２のトレーニングペアとを含み、正の整数値である前記第１の番号Ｋ_１が正の整数値である前記第２の番号Ｋ_２とは異なり、
   前記複数のトレーニングペアが、異なる番号の入力画像に基づく異なるトレーニング画像ではなく、同一のターゲット画像を有するトレーニングペアを含む、方法。
2. Ｎは正の整数値であって、Ｎ個の入力画像の各ターゲット画像、及び、当該ターゲット画像の対応するサブセットに対して、トレーニング画像が、Ｎ個の入力画像の前記サブセットの、Ｎよりも小さい全ての正の整数値であるＫ_３に基づいて生成される、請求項１に記載の方法。
3. Ｎは正の整数値であって、任意の値Ｋ_４に対して、Ｎ個の入力画像の前記サブセットからのＫ_４個の入力画像の１つ以上の可能な選択が存在するならば、トレーニング画像が、Ｎ個の入力画像の前記サブセットからの前記Ｋ_４個の入力画像の１つ以上の選択のために生成される、請求項１または２に記載の方法。
4. 前記入力画像を組み合わせる前記ステップが、
   組み合わせた前記入力画像の対応する値を平均化するステップを含み、或いは、
   さらに、サブセットの前記入力画像を、前記ターゲット画像及びトレーニング画像を生成する前に空間的に位置合わせするステップ、或いは
   さらに、前記ニューラルネットワークをトレーニングする前に、ノイズを追加するか、又は、前記トレーニング画像の向きを変更することにより前記トレーニング画像を増強するステップを含む、請求項１～３のいずれかに記載の方法。
5. 前記入力画像が、光干渉断層撮影、ＯＣＴにより取得される、請求項１～４のいずれかに記載の方法。
6. 入力画像の特定のサブセットの前記入力画像が、単一のＣスキャン画像から抽出された複数のＢスキャン画像を含む、請求項５に記載の方法。
7. 前記入力画像が網膜の少なくとも一部を示す、請求項１～６のいずれかに記載の方法。
8. 異なるサブセットの前記入力画像が、異なる被検体における同一タイプの組織又は同一タイプの器官の画像を含み、或いは、異なるサブセットの前記入力画像が、同一タイプの異なる対象物の画像を含む、請求項１～７のいずれかに記載の方法。
9. 前記複数の入力画像を取得するステップが、複数の異なる撮像装置から入力画像を取得するステップを含む、請求項１～８のいずれかに記載の方法。
10. さらに、トレーニング後に、撮像装置から、前記ニューラルネットワークへの入力画像としての新しい画像を受信して供給し（１０８）、前記ニューラルネットワークからの出力画像を得るステップを含む、請求項１～９のいずれかに記載の方法。
11. 撮像装置のノイズ低減装置であって、
    撮像装置から画像を受信するための入力ユニット（４１１）と、
    前記画像を、トレーニングされたニューラルネットワーク（４０１）に従って処理して出力画像を生成するための制御ユニット（４１０）と、を備え、
    前記ニューラルネットワーク（４０１）が、複数の入力画像を撮像装置から取得するステップと当該入力画像のサブセットを識別するステップとにより作成され、入力画像のサブセットの各入力画像が、当該サブセットのその他の入力画像と同一の対象物を表し、前記ニューラルネットワーク（４０１）が、さらに、複数のターゲット画像を生成するステップにより作成され、１つのターゲット画像が、前記サブセットのうちの１つのサブセットの前記入力画像を、ノイズを低減するように組み合わせることにより生成され、前記ニューラルネットワーク（４０１）が、さらに、複数のトレーニングペアを生成するステップにより作成され、１つのトレーニングペアが、前記ターゲット画像のうちの１つと、トレーニング画像と、を含み、当該トレーニング画像が、前記ターゲット画像のうちの前記１つに対応する前記サブセットの前記入力画像の全てにではないが少なくとも１つに基づいており、前記トレーニング画像が１つ以上の入力画像に基づくとき、入力画像の前記サブセットの前記入力画像の全てではないが前記１つ以上を組み合わせることにより、前記トレーニング画像のノイズを低減するように前記トレーニング画像を生成し、前記ニューラルネットワーク（４０１）が、さらに、前記複数のトレーニングペアを用いて前記ニューラルネットワークをトレーニングするステップにより作成され、前記ニューラルネットワークへの入力が、前記複数のトレーニングペアのうちの幾つかのトレーニングペアの前記トレーニング画像を含み、且つ、前記ニューラルネットワークのターゲット出力が、前記幾つかのトレーニングペアの前記ターゲット画像を含み、
    前記複数のトレーニングペアが、入力画像の、正の整数値である第１の番号Ｋ_１に基づいた第１のトレーニング画像を含む第１のトレーニングペアと、入力画像の、正の整数値である第２の番号Ｋ_２に基づいた第２のトレーニング画像を含む第２のトレーニングペアとを含み、正の整数値である前記第１の番号Ｋ_１が正の整数値である前記第２の番号Ｋ_２とは異なり、前記複数のトレーニングペアが、異なる番号の入力画像に基づく異なるトレーニング画像ではなく、同一のターゲット画像を有するトレーニングペアを含む、ノイズ低減装置。
12. 画像中のノイズを低減するためのニューラルネットワークをトレーニングするシステムであって、
    複数の入力画像を撮像装置から取得するための入力ユニット（４１１）と、
    制御ユニット（４１０）と、を備え、当該制御ユニット（４１０）が、
    前記入力画像のサブセットを識別する（１０１ａ）ように構成されており、入力画像のサブセットの各入力画像が、当該サブセットのその他の入力画像と同一の対象物を表しており、前記制御ユニット（４１０）が、さらに、
    複数のターゲット画像を生成する（１０４）ように構成されており、１つのターゲット画像が、前記サブセットのうちの１つのサブセットの前記入力画像を、ノイズを低減するように組み合わせることにより生成され、前記制御ユニット（４１０）が、さらに、
    複数のトレーニングペアを生成する（１０５）ように構成されており、１つのトレーニングペアが、
    前記ターゲット画像のうちの１つと、
    トレーニング画像と、を含み、当該トレーニング画像が、前記ターゲット画像のうちの前記１つに対応する前記サブセットの前記入力画像の全てにではないが少なくとも１つに基づいており、前記トレーニング画像が１つ以上の入力画像に基づくとき、入力画像の前記サブセットの前記入力画像の全てではないが前記１つ以上を組み合わせることにより前記トレーニング画像のノイズを低減するように前記トレーニング画像を生成し、前記制御ユニット（４１０）が、さらに、
    前記複数のトレーニングペアを用いてニューラルネットワーク（４０１）をトレーニングする（１０７）ように構成され、前記ニューラルネットワークへの入力が、前記複数のトレーニングペアのうちの幾つかのトレーニングペアの前記トレーニング画像を含み、且つ、前記ニューラルネットワークのターゲット出力が、前記幾つかのトレーニングペアの前記ターゲット画像を含み、
    前記複数のトレーニングペアが、入力画像の、正の整数値である第１の番号Ｋ_１に基づいた第１のトレーニング画像を含む第１のトレーニングペアと、入力画像の、正の整数値である第２の番号Ｋ_２に基づいた第２のトレーニング画像を含む第２のトレーニングペアとを含み、正の整数値である前記第１の番号Ｋ_１が正の整数値である前記第２の番号Ｋ_２とは異なり、前記複数のトレーニングペアが、異なる番号の入力画像に基づく異なるトレーニング画像ではなく、同一のターゲット画像を有するトレーニングペアを含む、システム。

Images