JP2023532755A

JP2023532755A - 画像を処理するためのコンピュータ実装方法、コンピュータプログラム製品、およびシステム

Info

Publication number: JP2023532755A
Application number: JP2023500310A
Authority: JP
Inventors: クリストファーエドルンド; リカルドシェーグレン; ティモシーデール; ジリアンラヴェル
Original assignee: ザルトリウスステディムデータアナリティクスアーベー
Priority date: 2020-07-08
Filing date: 2021-07-08
Publication date: 2023-07-31
Also published as: CN115867933A; WO2022008667A1; EP3937120B1; US20230260083A1; EP3937120A1

Abstract

画像を処理するためのコンピュータ実装方法を提供する。方法は、第２の解像度を有する複数の第２の画像を取得するために第１の解像度を有する複数の第１の画像をダウンサンプリングすることであって、第１の解像度が第２の解像度よりも高く、複数の第２の画像のそれぞれが複数の第１の画像のうちの１つのダウンサンプリングされたバージョンである、ダウンサンプリングすることと、入力画像を処理して入力画像よりも高解像度の出力画像を出力するように人工ニューラルネットワークＡＮＮモデル（４０）を訓練することであって、訓練のための訓練データが画像のペアを含み、各画像のペアが、ＡＮＮモデル（４０）への入力として複数の第２の画像のうちの１つ、および複数の第２の画像のうちの１つがＡＮＮモデル（４０）に入力された場合にＡＮＮモデル（４０）から所望の出力として、複数の第２の画像のうちの１つに対応する複数の第１の画像のうちの１つ、を含む、訓練することと、複数の第１の画像のうちの少なくとも１つを訓練されたＡＮＮモデル（４０）に入力することと、訓練されたＡＮＮモデル（４０）から、第１の解像度よりも高い第３の解像度を有する少なくとも１つの出力画像を取得することと、を含む。

Description

本出願は、画像を処理するためのコンピュータ実装方法、コンピュータプログラム製品、およびシステムに関する。

超解像（ＳＲ）の分野は、信号解像度をセンサ解像度よりも高くすることを目的としている。換言すれば、２Ｄ画像の場合は複数の画素、３Ｄの場合はボクセルなど、より多くのサンプリング点を使用して信号を近似することを目的とする。ＳＲの概念はまた、１Ｄもしくは２Ｄスペクトル、または空間解像度が定義されている任意のタイプのデータに適用されることができる。

より高い解像度の近似を達成するために、いくつかのヒューリスティック（heuristic）な方法が利用可能である。例えば、画像アップサンプリングに一般的に使用される方法は、ニアレストネイバー補間、バイリニア補間、バイキュービック補間などを含むことができる。そのような方法では、値の補間は、コンテキストに依存しないアップサンプリング動作を適用することによってオリジナルの画素値から導出されることができる。例えば、そのようなアルゴリズムの１つは、新たな画素を挿入し、新たな画素に、新たな画素の周りの以前に存在していた画素の平均値を割り当てることを含むことができる。これらのヒューリスティック方法は、画像の実際の高解像度（ＨＲ）バージョンがそれらの近似に似ていない可能性があるため、「画素化された」または「ぼやけた」と認識されることができる近似を生成することが多い。例えば、ラインエッジに沿った欠落画素は、ラインと周囲との間の補間である値を有さず、むしろラインまたは周囲のいずれかに属するため、鮮明なラインは、鮮明なままではない場合がある。

代替的な手法は、深層学習の分野によって提供されてもよく、深層人工ニューラルネットワーク（ＡＮＮ）モデルは、入力のＨＲバージョンを高い忠実度で近似するように訓練される（例えば、Ｗ．Ｙａｎｇ，Ｘ．Ｚｈａｎｇ，Ｙ．Ｔｉａｎ，Ｗ．Ｗａｎｇ，およびＪ．－Ｈ．Ｘｕｅ，「ＤｅｅｐＬｅａｒｎｉｎｇｆｏｒＳｉｎｇｌｅＩｍａｇｅＳｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ：ＡＢｒｉｅｆＲｅｖｉｅｗ」，ＩＥＥＥＴｒａｎｓ．Ｍｕｌｔｉｍｅｄ．，ｐｐ．１－１，２０１９を参照されたい）。最適化アルゴリズムを使用することによって、ＡＮＮは、目標ＨＲ画像の近似を改善するようにそのパラメータを更新することによって、このアップサンプリングを行うように訓練されることができる。訓練のために、訓練サンプルのデータセットが提供される必要があり得る。訓練は、教師ありまたは教師なしのいずれかとすることができる。教師あり訓練では、モデルは、モデルが訓練している入力画像のＨＲバージョンにアクセスして強化することができる（例えば、Ｃ．Ｄｏｎｇ，Ｃ．Ｃ．Ｌｏｙ，Ｋ．Ｈｅ，およびＸ．Ｔａｎｇ，「ＬｅａｒｎｉｎｇａＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋｆｏｒＩｍａｇｅＳｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ」，２０１４を参照されたい）。教師なし訓練の場合、モデルは、オリジナルの解像度（ＯＲ）画像（例えば、国際公開第２０１９／１０２４７６号パンフレットを参照されたい）のみ、またはほとんどの場合、オリジナルの解像度の入力画像の実際のＨＲバージョンではないＨＲ画像にアクセスすることができる（例えば、Ｙ．Ｙｕａｎ，Ｓ．Ｌｉｕ，Ｊ．Ｚｈａｎｇ，Ｙ．Ｚｈａｎｇ，Ｃ．Ｄｏｎｇ，およびＬ．Ｌｉｎ，「ＵｎｓｕｐｅｒｖｉｓｅｄＩｍａｇｅＳｕｐｅｒ－ＲｅｓｏｌｕｔｉｏｎｕｓｉｎｇＣｙｃｌｅ－ｉｎ－ＣｙｃｌｅＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋｓ」，ＡｒＸｉｖ１８０９００４３７Ｃｓ，Ｓｅｐ．２０１８を参照されたい）。

上述したようなヒューリスティックなアップサンプリング技術と比較して、ＡＮＮに基づくアップサンプリングは、ドメインおよびコンテキストの双方を認識することができる。例えば、ＡＮＮモデルは、滑らかなラインを有するクラウドおよび領域の画像とは異なる方法で、チェス盤および鋭いラインの領域などの複雑度の高い画像をアップサンプリングすることを学習することができる。しかしながら、ＡＮＮに基づく既知のアップサンプリング方法では、ＡＮＮモデルを訓練するためにＨＲ画像がしばしば必要とされ、これは常に容易に利用できるとは限らない。

一態様によれば、課題は、改善された品質で画像解像度の外挿を容易にすることに関する。この課題は、独立請求項によって開示された特徴によって解決される。さらなる例示的な実施形態は、従属請求項によって定義される。

一態様によれば、画像を処理するためのコンピュータ実装方法が提供される。本方法は、
第２の解像度を有する複数の第２の画像を取得するために第１の解像度を有する複数の第１の画像をダウンサンプリングすることであって、第１の解像度が第２の解像度よりも高く、複数の第２の画像のそれぞれが複数の第１の画像のうちの１つのダウンサンプリングされたバージョンである、ダウンサンプリングすることと、
入力画像を処理して入力画像よりも高解像度の出力画像を出力するように人工ニューラルネットワークであるＡＮＮモデルを訓練することであって、訓練のための訓練データが画像のペアを含み、各画像のペアが、
ＡＮＮモデルへの入力としての複数の第２の画像のうちの１つ、および
複数の第２の画像のうちの１つがＡＮＮモデルに入力された場合にＡＮＮモデルから所望の出力として、複数の第２の画像のうちの１つに対応する複数の第１の画像のうちの１つ、を含む、訓練することと、
複数の第１の画像のうちの少なくとも１つを訓練されたＡＮＮモデルに入力することと、
訓練されたＡＮＮモデルから少なくとも１つの出力画像を取得することであって、少なくとも１つの出力画像が第１の解像度よりも高い第３の解像度を有する、取得することと、を含む。

本開示において、「画像」という用語は、空間解像度が定義されるデータとして理解されることができる。例えば、「画像」は、画素を含む２Ｄデジタル画像またはボクセルを含む３Ｄデジタル画像とすることができる。そのような例では、画像内の画素またはボクセルのそれぞれは、強度または階調を示すことができる。他の例では、「画像」は、１Ｄまたは２Ｄスペクトルとすることができる。

本明細書に記載された様々な実施形態および実施例では、「ＡＮＮモデル」は、ＡＮＮを備えることができ、ここで、ＡＮＮの動作は、入力データおよび出力データの解像度に依存しない。換言すれば、ＡＮＮモデルは、異なる解像度を有する入力データを処理し、異なる解像度を有するデータを出力することが可能なＡＮＮを備えることができる。

上述した態様にかかる方法は、ＡＮＮモデルを訓練するための目標解像度を有する画像を使用せずに、ＡＮＮモデルに入力される画像よりも高い目標解像度（例えば、第３の解像度）を有する画像を生成することができる。さらに、ＡＮＮモデルの使用は、ニアレストネイバー補間またはバイキュービック補間などの既知のヒューリスティック方法を使用する場合と比較して、目標解像度を有する取得された画像の品質を改善することができる。

上述した態様にかかる方法では、ＡＮＮモデルは、畳み込みニューラルネットワークを含むことができる。

さらに、上述した態様にかかる方法では、ＡＮＮモデルは、
入力画像を処理して、入力画像よりも高解像度の出力画像を出力する第１のＡＮＮを備える生成器と、
第１のＡＮＮからの所望の出力と考えられる実画像から第１のＡＮＮによって生成された画像を識別するための第２のＡＮＮを備える識別器と、を備えることができ、
ＡＮＮモデルが、
訓練データを使用して、入力画像から、入力画像よりも高解像度の出力画像を生成するように生成器を訓練することと、
訓練された生成器から出力された画像と、複数の第１の画像のうちの少なくともいくつかとを使用して、第２のＡＮＮに入力された画像が、
訓練された生成器から出力される画像、または
複数の第１の画像のうちの１つ、であるかどうかを決定するように、識別器を訓練することと、
生成器および識別器をさらに訓練することであって、
訓練された識別器からの出力を使用して、第２のＡＮＮの誤り率を増加させるように第１のＡＮＮのパラメータ値を更新することと、
訓練された生成器からの出力を使用して、第２のＡＮＮの誤り率を低減させるように第２のＡＮＮのパラメータ値を更新することと、を反復することによって生成器および識別器をさらに訓練することと、によって訓練されることができる。

本開示では、ＡＮＮの「パラメータ値」という用語は、ＡＮＮにおいて実行される動作において使用されるパラメータの値として理解されることができる。例えば、「パラメータ値」は、ＡＮＮ内のノード間の接続の重みの値を含むことができる。

ＡＮＮモデルが生成器および識別器を備える例示的な実施形態では、第１のＡＮＮおよび／または第２のＡＮＮは、畳み込みニューラルネットワークとすることができる。

さらに、ＡＮＮモデルが生成器および識別器を備える例示的な実施形態では、本方法は、さらに、
生成器を訓練するステップによって取得された第１のＡＮＮのパラメータ値と、
生成器および識別器をさらに訓練するステップによって取得された第１のＡＮＮの更新されたパラメータ値と、の間の加重平均値を計算することを含むことができ、
加重平均値をパラメータ値として有する第１のＡＮＮは、少なくとも１つの出力画像を取得するための訓練されたＡＮＮモデルとして使用されることができる。

さらに、上述した態様およびその様々な実施形態による方法のいずれか１つは、さらに、
複数の第１の画像のダウンサンプリングの前に複数の第１の画像に画像増強前処理ステップを適用することを含むことができ、
画像増強前処理ステップは、
ぼかし、
画素ごとのノイズの付加、
非合焦歪みの適用、
動きぼけの適用、のうちの１つ以上を含むことができる。

画像増強前処理ステップを実行することは、画像解像度をロバストに高めるようにＡＮＮモデルの能力を高めることができる。

さらに、上述した態様およびその様々な実施形態のいずれか１つにかかる方法では、第１の解像度は、第２の解像度よりもスケーリングファクタ（Ｓ）だけ高くすることができ、第３の解像度は、第１の解像度よりもスケーリングファクタ（Ｓ）だけ高くすることができる。

本明細書に記載の様々な態様および実施形態では、スケーリングファクタ（Ｓ）は、１．０よりも大きい値を有する実数とすることができる。いくつかの例示的な実施形態では、スケーリングファクタ（Ｓ）は、２．０から４．０の間の値とすることができる。さらなる例示的な実施形態では、スケーリングファクタ（Ｓ）は、４．０よりも大きい値とすることができる。

本明細書に記載の様々な態様および実施形態では、複数の第１の画像は、細胞の顕微鏡画像を含むことができる。複数の第１の画像が細胞の顕微鏡画像を含む場合、スケーリングファクタ（Ｓ）を３．０よりも小さい値に設定することが好ましく、状況によっては２．０以下の値に設定することが好ましい場合がある。

別の態様によれば、コンピュータプログラム製品が提供される。コンピュータプログラム製品は、コンピュータにロードされて実行されると、コンピュータに、上述した態様およびその様々な実施形態のいずれか１つにかかる方法を実行させるコンピュータ可読命令を備える。

さらに別の態様によれば、画像を処理するためのシステムが提供される。システムは、
第１の解像度を有する複数の第１の画像と、入力画像を処理して入力画像よりも高解像度の出力画像を出力するための人工ニューラルネットワークであるＡＮＮモデルとを記憶する記憶媒体と、
プロセッサであって、
第２の解像度を有する複数の第２の画像を取得するために複数の第１の画像をダウンサンプリングすることであって、第１の解像度が第２の解像度よりも高く、複数の第２の画像のそれぞれが複数の第１の画像のうちの１つのダウンサンプリングされたバージョンである、ダウンサンプリングすることと、
画像のペアを含む訓練データを使用してＡＮＮモデルを訓練することであって、各画像のペアが、
ＡＮＮモデルへの入力としての複数の第２の画像のうちの１つ、および
複数の第２の画像のうちの１つがＡＮＮモデルに入力された場合にＡＮＮモデルから所望の出力として、複数の第２の画像のうちの１つに対応する複数の第１の画像のうちの１つ、を含む、訓練することと、
複数の第１の画像のうちの少なくとも１つを訓練されたＡＮＮモデルに入力することと、
訓練されたＡＮＮモデルから少なくとも１つの出力画像を取得することであって、少なくとも１つの出力画像が第１の解像度よりも高い第３の解像度を有する、取得することと、を行うように構成されたプロセッサと、を備える。

上述した態様にかかるシステムでは、ＡＮＮモデルは、畳み込みニューラルネットワークを含むことができる。

さらに、上述した態様にかかるシステムでは、ＡＮＮモデルは、
入力画像を処理して、入力画像よりも高解像度の出力画像を出力する第１のＡＮＮを備える生成器と、
第１のＡＮＮからの所望の出力と考えられる実画像から第１のＡＮＮによって生成された画像を識別するための第２のＡＮＮを備える識別器と、を備えることができ、
ＡＮＮモデルが、
訓練データを使用して、入力画像から、入力画像よりも高解像度の出力画像を生成するように生成器を訓練することと、
訓練された生成器から出力された画像と、複数の第１の画像のうちの少なくともいくつかとを使用して、第２のＡＮＮに入力された画像が、
訓練された生成器から出力される画像、または
複数の第１の画像のうちの１つ、であるかどうかを決定するように、識別器を訓練することと、
生成器および識別器をさらに訓練することであって、
訓練された識別器からの出力を使用して、第２のＡＮＮの誤り率を増加させるように第１のＡＮＮのパラメータ値を更新することと、
訓練された生成器からの出力を使用して、第２のＡＮＮの誤り率を低減させるように第２のＡＮＮのパラメータ値を更新することと、を反復することによって生成器および識別器をさらに訓練することと、によって訓練されることができる。

さらに、ＡＮＮモデルが生成器および識別器を備える場合、プロセッサは、
生成器を訓練するステップによって取得された第１のＡＮＮのパラメータ値と、
生成器および識別器をさらに訓練するステップによって取得された第１のＡＮＮの更新されたパラメータ値と、の間の加重平均値を計算することを含むことができ、
加重平均値をパラメータ値として有する第１のＡＮＮは、少なくとも１つの出力画像を取得するための訓練されたＡＮＮモデルとして使用されることができる。

上記の態様およびその様々な実施形態のいずれか１つにかかるシステムでは、プロセッサは、
複数の第１の画像のダウンサンプリングの前に複数の第１の画像に画像増強前処理ステップを適用するようにさらに構成されることができ、
画像増強前処理ステップは、
ぼかし、
画素ごとのノイズの付加、
非合焦歪みの適用、
動きぼけの適用、のうちの１つ以上を含むことができる。

さらに、上述した態様およびその様々な実施形態のいずれか１つにかかるシステムでは、第１の解像度は、第２の解像度よりもスケーリングファクタ（Ｓ）だけ高くすることができ、第３の解像度は、第１の解像度よりもスケーリングファクタ（Ｓ）だけ高くすることができる。

上述した態様およびその様々な実施形態のいずれか１つにかかるシステムでは、複数の第１の画像は、細胞の顕微鏡画像を含むことができる。

本出願に記載された主題は、場合によっては１つ以上のコンピュータプログラム製品の形態で、方法またはシステムとして実装されることができる。本出願に記載された主題は、データ信号または機械可読媒体に実装されることができ、媒体は、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ、またはハードディスクなどの１つ以上の情報キャリアに具現化される。そのようなコンピュータプログラム製品は、データ処理装置に、本出願に記載されている１つ以上の動作を実行させることができる。

さらに、本出願に記載された主題はまた、プロセッサと、プロセッサに結合されたメモリとを含むシステムとして実装されることもできる。メモリは、本出願に記載されている方法のうちの１つ以上をプロセッサに実行させるために、１つ以上のプログラムを符号化することができる。いくつかの例では、システムは、汎用コンピュータシステムであってもよい。他の例では、システムは、組み込みシステムを含む専用コンピュータシステムであってもよい。

状況によっては、上述した態様のいずれか１つ、ならびに本明細書に記載の様々な実施形態および実施例のいずれか１つは、以下の利点のうちの１つ以上を提供することができる：
－ニアレストネイバー補間またはバイキュービック補間などのヒューリスティック方法と比較して、画像解像度外挿の向上した品質を達成すること、
－既知の深層学習方法による場合のように、訓練プロセスにおいて目標解像度（例えば、高解像度）の画像を使用する必要性を排除すること、
－向上した画像品質を達成することによって、細胞セグメント化などの画像のさらなる処理の改善を促進および／または提供すること。

１つ以上の実装の詳細は、以下の例示的な図面および説明に記載されている。他の特徴は、説明、図面、および特許請求の範囲から明らかになるであろう。しかしながら、実施形態を別々に説明したとしても、異なる実施形態の単一の特徴がさらなる実施形態に組み合わせられることができることを理解されたい。

本開示にかかる方法を示す概略概念図を示している。画像を処理するための例示的なシステムの概略図を示している。図２に示すシステムによって実行される例示的なプロセスを示すフローチャートを示している。本開示におけるＡＮＮモデルを訓練するための例示的なプロセスを示すフローチャートを示している。敵対的生成ネットワーク（ＧＡＮ）方法論にかかる例示的なＡＮＮモデルを示す概略図を示している。図５に示す例示的なＡＮＮモデルを訓練するための例示的なプロセスを示すフローチャートを示している。自然画像を用いた訓練および評価ステップの例示的な視覚化を示している。本開示にかかる方法およびバイキュービック補間によって取得された画像の比較のための自然画像の例を示している。本開示にかかる方法およびバイキュービック補間によって取得された画像の比較のための細胞画像の例を示している。本開示にかかるＡＮＮモデルを訓練する際の細胞画像の例を示している。生細胞イメージングにおける倍率、視野内の細胞数および画像詳細の関係を示す概念図を示している。捕捉画像および本開示にかかる方法によって処理された画像を含む、ＮＥＴｏｓｉｓを受けている好中球様細胞の例示的な画像を示している。本開示にかかる方法、ニアレストネイバー補間、およびバイキュービック補間によって取得された画像の比較のための画像の例を示している。本開示にかかる方法、ニアレストネイバー補間、およびバイキュービック補間によって取得された画像の比較のための画像のさらなる例を示している。本開示にかかるシステムの少なくとも一部を実装するために使用されることができるコンピュータの例示的なハードウェア構成を示している。

以下では、図面を参照して実施例が詳細に説明される。実施例に様々な変更を加えることができることを理解されたい。特に、１つの実施例の１つ以上の要素が組み合わせられ、他の実施例において使用されて新たな実施例を形成することができる。

以下では、２Ｄ画像の処理に関して例示的な実施形態を説明するが、様々な態様および例示的な実施形態は、空間解像度が定義されることができる他のタイプのデータに適用可能であり得ることに留意されたい。他のタイプのデータの例は、３Ｄ画像、１Ｄおよび／または２Ｄスペクトルなどを含むことができるが、これらに限定されない。

信号品質は、全ての分析にとって重要であり得る。画像解析の文脈では、画像の品質および解像度は、知覚的およびアルゴリズム的の双方で、画像からどの情報を抽出するか、および／または情報を抽出するのがどの程度容易かを定義することができる。例えば、低解像度のぼやけた画像と比較して、高解像度の鮮明な画像の中に何があるかをより容易に見ることができる。したがって、所与の問題のダウンストリーム分析の品質を改善する最も簡単な方法は、分析に使用される信号の品質を向上させることとすることができる。本明細書に記載の様々な態様および例示的な実施形態は、定性的な方法で入力信号の拡張を提供することができる。

ＡＮＮは、一般に、画像の解像度を高めるために使用される（例えば、Ｗ．Ｙａｎｇ，Ｘ．Ｚｈａｎｇ，Ｙ．Ｔｉａｎ，Ｗ．Ｗａｎｇ，およびＪ．－Ｈ．Ｘｕｅ，「ＤｅｅｐＬｅａｒｎｉｎｇｆｏｒＳｉｎｇｌｅＩｍａｇｅＳｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ：ＡＢｒｉｅｆＲｅｖｉｅｗ」，ＩＥＥＥＴｒａｎｓ．Ｍｕｌｔｉｍｅｄ．，ｐｐ．１－１，２０１９；Ｃ．Ｄｏｎｇ，Ｃ．Ｃ．Ｌｏｙ，Ｋ．Ｈｅ，およびＸ．Ｔａｎｇ，「ＬｅａｒｎｉｎｇａＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋｆｏｒＩｍａｇｅＳｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ」，２０１４；Ｂ．Ｌｉｍ，Ｓ．Ｓｏｎ，Ｈ．Ｋｉｍ，Ｓ．Ｎａｈ，およびＫ．Ｍ．Ｌｅｅ，「ＥｎｈａｎｃｅｄＤｅｅｐＲｅｓｉｄｕａｌＮｅｔｗｏｒｋｓｆｏｒＳｉｎｇｌｅＩｍａｇｅＳｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ」，ＡｒＸｉｖ１７０７０２９２１Ｃｓ，Ｊｕｌ．２０１７を参照されたい）。しかしながら、今日使用されている方法は、低解像度（ＬＲ）－ＨＲ画像ペアを用いて、または敵対的生成ネットワーク（ＧＡＮ）（例えば、Ｙ．Ｙｕａｎ，Ｓ．Ｌｉｕ，Ｊ．Ｚｈａｎｇ，Ｙ．Ｚｈａｎｇ，Ｃ．Ｄｏｎｇ，およびＬ．Ｌｉｎ，「ＵｎｓｕｐｅｒｖｉｓｅｄＩｍａｇｅＳｕｐｅｒ－ＲｅｓｏｌｕｔｉｏｎｕｓｉｎｇＣｙｃｌｅ－ｉｎ－ＣｙｃｌｅＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋｓ」，ＡｒＸｉｖ１８０９００４３７Ｃｓ，Ｓｅｐ．２０１８を参照されたい）の場合と同じドメインのペア化されていないＬＲおよびＨＲ画像を提供することによって、ネットワークを訓練するために高解像度画像に依存することが多い。

本明細書に記載の様々な態様および例示的な実施形態は、訓練プロセスに関与するいかなるＨＲ画像も必要とせずに画像の解像度を高めることができる。

図１は、本開示にかかる方法を示す概略概念図を示している。図１に示すステップＡを参照すると、いくつかの例示的な実施形態では、オリジナルの解像度（例えば、第１の解像度）を有する画像は、低解像度（例えば、第２の解像度）を有する画像にダウンサンプリングされることができる。以下では、オリジナルの解像度を有する画像はまた、「ＯＲ画像」と称され、低解像度を有する画像はまた、「ＬＲ画像」と称されることがある。ダウンサンプリングは、例えば、バイキュービック補間によって行われてもよい。続いて、図１に示すステップＢを参照すると、ＡＮＮモデル４０は、ＬＲ画像からＯＲ画像を再生するように訓練されることができる。ＡＮＮモデル４０は、ＡＮＮ、例えば、画像処理のための畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャを備えることができる（例えば、Ａ．Ｋｒｉｚｈｅｖｓｋｙ，Ｉ．Ｓｕｔｓｋｅｖｅｒ，およびＧ．Ｈｉｎｔｏｎ，「ＩｍａｇｅＮｅｔＣｌａｓｓｉｆｉｃａｔｉｏｎｗｉｔｈＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ」，ＮｅｕｒａｌＩｎｆ．Ｐｒｏｃｅｓｓ．Ｓｙｓｔ．，ｖｏｌ．２５，Ｊａｎ．２０１２を参照されたい）。訓練が完了すると、図１のステップＣに示すように、ＬＲ画像からＯＲ画像へのアップサンプリングから学習された演算を有するＡＮＮモデル４０が使用されて、ＯＲ画像を高解像度（例えば、オリジナルの解像度よりも高い第３の解像度）の画像に拡張することができ、換言すれば、画像解像度をオリジナルの解像度から高解像度に高めることができる。以下、高解像度を有する画像はまた、「ＨＲ画像」と称されることがある。

システム構成
図２は、画像処理のための例示的なシステムの概略図を示している。図２に示す例示的なシステムは、イメージングシステム１０と、コンピューティングデバイス２０と、データ記憶デバイス３０とを備える。

イメージングシステム１０は、画像を捕捉（capture）し、捕捉された画像をコンピューティングシステム２０に提供するように構成されることができる。画像は、例えば、１つ以上のシーンの自然画像とすることができる。状況によっては、画像は、細胞の顕微鏡画像であってもよく、この場合、イメージングシステム１０は、光学顕微鏡、蛍光顕微鏡または電子顕微鏡などの顕微鏡撮像装置（図示せず）を備えてもよい。

コンピューティングデバイス２０は、（ａ）有線および／または無線通信ネットワークを介してイメージングシステム１０に接続されたコンピュータとすることができる。コンピューティングデバイス１０は、イメージングシステム１０によって捕捉された画像を受信することができる。コンピューティングデバイス２０は、本明細書に記載の様々な実施形態および実施例にかかる方法を実行するように構成されることができる。データ記憶デバイス３０は、コンピューティングデバイス２０によって使用される情報および／またはコンピューティングデバイス２０によって生成される情報を記憶することができる。例えば、記憶デバイス３０は、本明細書に記載された様々な実施形態および実施例にかかる方法において使用されるＡＮＮモデル４０（例えば、図１を参照されたい）を記憶することができる。

イメージングシステム１０、コンピューティングデバイス２０、およびデータ記憶デバイス３０は、単一の本体を有する単一のデバイスに組み込まれてもよく、または複数の別個のデバイスによって実装されてもよいことに留意されたい。さらに、コンピューティングデバイス２０は、有線および／または無線通信ネットワークを介して互いに接続された複数のコンピュータによって実装されてもよい。

いくつかの例示的な実施形態では、コンピューティングデバイス２０は、画像を捕捉したイメージングシステム１０から直接処理される画像を必ずしも受信しない。例えば、コンピューティングデバイス２０は、イメージングシステム１０によって捕捉された画像を記憶するデータベースシステム（図示せず）から捕捉された画像を受信することができる。

教師なし画像拡張
図３は、図２に示すシステムによって実行される例示的なプロセスを示すフローチャートを示している。例示的なプロセスは、図２に示すコンピューティングデバイス２０によって実行されることができる。例示的なプロセスは、例えば、コンピューティングデバイス２０が入力デバイス（図示せず）を介して、例示的なプロセスを開始するためのユーザからの命令を受信したときに開始することができる。

ステップＳ１０において、コンピューティングデバイス２０は、任意に、ＯＲ画像に対して画像増強（image enhancement）前処理を実行することができる。画像増強前処理は、例えば、ぼかし、画素ごとのノイズの付加、非合焦（out-of-focus）歪みの適用、動きぼけの適用などのうちの１つ以上を含むことができる。ＯＲ画像は、イメージングシステム１０から（直接的または間接的に）提供され、データ記憶デバイス３０に記憶されていてもよい。プロセスは、ステップＳ１０の後、ステップＳ２０に進むことができる。ステップＳ１０は、スキップされることができる任意のステップであることに留意されたい。ステップＳ１０がスキップされた場合、プロセスは、ステップＳ２０から開始してもよい。

ステップＳ２０において、コンピューティングデバイス２０は、ＬＲ画像を取得するために（例えば、上述したようにデータ記憶デバイス３０に記憶されている）ＯＲ画像をダウンサンプリングすることができる。ダウンサンプリングは、例えば、バイキュービック補間を用いて行うことができる。ステップＳ２０において取得されたＬＲ画像のそれぞれは、ＯＲ画像のうちの１つのダウンサンプリングされたバージョンとすることができる。プロセスは、ステップＳ２０の後、ステップＳ３０に進むことができる。

ステップＳ３０において、コンピューティングデバイス２０は、ＡＮＮモデル、例えば、ＬＲ画像およびＯＲ画像を使用、図１および図２に示されたＡＮＮモデル４０を訓練することができる。ステップＳ３０における訓練のための訓練データは、画像のペアを含むことができ、ここで、各画像のペアは、ＬＲ画像のうちの１つがＡＮＮモデル４０に入力される場合、ＡＮＮモデル４０への入力としてＬＲ画像のうちの前記１つ、およびＡＮＮモデル４０からの所望の出力としてＯＲ画像のうちの対応する１つを含むことができる。

図４は、図３のステップＳ３０における訓練のより詳細なプロセスの例を示すフローチャートを示している。コンピューティングデバイス２０が図３のステップＳ３０の実行を開始すると、図４の例示的なプロセスが開始されることができる。

図４を参照すると、ステップＳ３００において、オリジナルの解像度を有する出力画像を取得するために、訓練データからのＬＲ画像が、ＡＮＮモデル４０のＡＮＮに入力されることができる。ステップＳ３００の後、プロセスは、ステップＳ３０２に進むことができる。

ステップＳ３０２において、コンピューティングデバイス２０は、出力画像が対応するＯＲ画像からどれだけ離れているかを計算することができる。このメトリックは、例えば、画素ごとの平均絶対誤差（ＭＡＥ）または平均二乗誤差（ＭＳＥ）を用いて計算されることができる。このメトリックは、深層学習の分野では「損失」と呼ばれることがある。ステップＳ３０２の後、プロセスは、ステップＳ３０４に進むことができる。

ステップＳ３０４において、コンピューティングデバイス２０は、ＡＮＮ出力画像とオリジナルのＯＲ画像との間の差分を最小化するように、ＡＮＮの重みを更新することができる。換言すれば、ステップＳ３０２において計算された損失を最小化するように、ＡＮＮの重みが更新されることができる。より具体的には、例えば、重みの更新は、ＡＮＮ出力画像とオリジナルのＯＲ画像との間の差を最小化するために、現在のネットワーク重み、活性化、および計算された損失に関して勾配降下（例えば、確率的、バッチまたはミニバッチの勾配が適切）の変形および逆伝播アルゴリズムを使用して実行されることができる。

ステップＳ３０４の後、コンピューティングデバイス２０は、ステップＳ３０６において、訓練プロセスを終了するか否かを決定することができる。例えば、ステップＳ３０６の決定は、訓練ステップＳ３００、Ｓ３０２、およびＳ３０４の反復が指定された数に到達したか否かに基づくことができる。代替的または追加的に、ステップＳ３０６における決定は、ＡＮＮの損失が収束したか否かに基づくものであってもよい。指定された反復回数に到達し、および／またはＡＮＮの損失が収束した場合、コンピューティングデバイス２０は、訓練プロセスを終了することを決定することができる。そうでない場合、コンピューティングデバイス２０は、訓練プロセスの実行を継続することを決定することができる。

コンピューティングデバイス２０が訓練プロセスを継続すると決定した場合（ステップＳ３０６においていいえ）、プロセスは、ステップＳ３００に戻ることができる。コンピューティングデバイス２０は、訓練処理を終了すると決定した場合（ステップＳ３０６においてはい）、図４に示すプロセスは、終了することができる。

図４に示す訓練プロセスが終了した後、図３のステップＳ３０は終了することができ、コンピューティングデバイス２０は、図３のステップＳ４０の実行に進むことができる。

再び図３を参照すると、ステップＳ４０において、コンピューティングデバイス２０は、（例えば、データ記憶デバイス３０に記憶される）ＯＲ画像のうちの少なくとも１つを、訓練されたＡＮＮモデル４０に入力することができる。ＯＲ画像のうちの少なくとも１つは、ＡＮＮモデル４０によってオリジナルの解像度よりも高い目標解像度に拡張され、ＯＲ画像のうちの少なくとも１つに対応する少なくとも１つのＨＲ画像は、ＡＮＮモデル４０から出力されることができる。

ステップＳ５０において、コンピューティングデバイス２０は、訓練されたＡＮＮモデルから少なくとも１つのＨＲ画像を取得することができる。訓練されたＡＮＮモデルから出力されたＨＲ画像は、ＡＮＮモデルに入力されたＯＲ画像と比較して、高品質（例えば、解像度）を有することができる。

図３に示すプロセスは、ステップＳ５０の後に終了することができる。

図３に示す例示的なプロセスでは、ステップＳ１０およびＳ２０は、図１のステップＡに対応することができ、ステップＳ３０は、図１のステップＢに対応することができる。さらに、図３のステップＳ４０およびＳ５０は、図１のステップＣに対応することができる。

いくつかの例示的な実施形態では、ＡＮＮモデル４０は、敵対的生成ネットワーク（ＧＡＮ）方法論（例えば、ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１４０６．２６６１においてオンラインで入手可能な、Ｇｏｏｄｆｅｌｌｏｗ，Ｉａｎ；Ｐｏｕｇｅｔ－Ａｂａｄｉｅ，Ｊｅａｎ；Ｍｉｒｚａ，Ｍｅｈｄｉ；Ｘｕ，Ｂｉｎｇ；Ｗａｒｄｅ－Ｆａｒｌｅｙ，Ｄａｖｉｄ；Ｏｚａｉｒ，Ｓｈｅｒｊｉｌ；Ｃｏｕｒｖｉｌｌｅ，Ａａｒｏｎ；Ｂｅｎｇｉｏ，Ｙｏｓｈｕａ，「ＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋｓ」，ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ（ＮＩＰＳ２０１４）．ｐｐ．２６７２－２６８０．を参照されたい）にしたがって構成および訓練されることができる。そのような例示的な実施形態では、ＡＮＮモデル４０は、図５および図６を参照して以下に記載されるように構成および訓練されることができる。

図５は、ＧＡＮ方法論がＡＮＮモデル４０のために適用される、例示的な実施形態におけるＡＮＮモデル４０の例示的な構成を示している。

図５を参照すると、ＡＮＮモデル４０は、第１のＡＮＮ４２０を有する生成器４２と、第２のＡＮＮ４４０を有する識別器４４とを備えることができる。

生成器４２の第１のＡＮＮ４２０は、入力画像を処理し、入力画像よりも高解像度の出力画像を出力するためのものとすることができる。第１のＡＮＮ４２０は、ＣＮＮとすることができ、図４に示す例示的な訓練プロセスと同じ方法で訓練されることができる。

識別器４４の第２のＡＮＮ４４０は、第１のＡＮＮ４２０からの所望の出力と考えられる実画像から第１のＡＮＮ４２０によって生成された画像を識別するためのものとすることができる。換言すれば、第２のＡＮＮ４４０を有する識別器４４の目的は、識別器４４に供給される入力が現実であるか合成であるかを分類することとすることができる。第２のＡＮＮ４４０は、ＣＮＮとすることができる。

図５から分かるように、ＬＲ画像が、生成器４２に入力され、第１のＡＮＮ４２０によって処理され、次いでＯＲ画像が、生成器４２から出力されることができる。生成器４２から出力されたこれらのＯＲ画像およびオリジナルのＯＲ画像、換言すれば、ダウンサンプリングによってＬＲ画像が生成されたＯＲ画像は、識別器４４への入力が生成器４２からの出力であるかオリジナルのＯＲ画像であるかを決定するために識別器４４を訓練するために使用されることができる。

図６は、生成器４２および識別器４４を備えるＡＮＮモデル４０の例示的な訓練プロセスのフローチャートを示している。図６に示すプロセスは、例えば、図３に示す訓練ステップＳ３０の一部としてコンピューティングデバイス２０によって実行されることができる。さらに、状況によっては、生成器４２は、図６に示す例示的なプロセスを開始する前に、図４に示す例示的なプロセスによって訓練されてもよい。

図６を参照すると、ステップＳ３１０において、コンピューティングデバイスは、生成器４２からの出力とオリジナルのＯＲ画像とを識別するように識別器４４を事前訓練することができる。例えば、生成器４２から出力されたＯＲ画像と、ＯＲ画像を取得するために生成器４２に入力されたＬＲ画像に対応するオリジナルのＯＲ画像とが、ステップＳ３１０における事前訓練のための訓練データとして使用されることができる（図５も参照されたい）。ステップＳ３１０の後、プロセスは、ステップＳ３１２に進むことができる。

ステップＳ３１２において、コンピューティングデバイス２０は、訓練された識別器４４からの出力を使用して、生成器４２の第１のＡＮＮ４２０のパラメータ値を更新して、識別器４４の第２のＡＮＮ４４０の誤り率を増加させることができる。換言すれば、第１のＡＮＮ４２０のパラメータ値は、識別器４４をより正確でなくするように更新されることができる。ステップＳ３１２の後、プロセスは、ステップＳ３１４に進むことができる。

ステップＳ３１４において、コンピューティングデバイス２０は、（ステップＳ３１２における更新されたパラメータ値を用いて）訓練された生成器４２からの出力を使用して、第２のＡＮＮ４４０の誤り率を低減するために、識別器４４の第２のＡＮＮ４４０のパラメータ値を更新することができる。換言すれば、第２のＡＮＮ４４０のパラメータ値は、生成器４２が、識別器４４がオリジナルの画像から識別することができない出力を生成することをより困難にするように更新されることができる。ステップＳ３１４の後、プロセスは、ステップＳ３１６に進むことができる。

ステップＳ３１６において、コンピューティングデバイス２０は、訓練プロセスを終了するか否かを決定することができる。例えば、コンピューティングデバイス２０は、訓練プロセスを終了するための１つ以上の条件が満たされているか否かを決定することができる。１つ以上の条件は、例えば、更新ステップＳ３１２およびＳ３１４が指定された回数反復されたかどうか、更新ステップＳ３１２および／またはＳ３１４に使用されるメトリックが収束したかどうかなどを含むことができる。代替的または追加的に、状況によっては、１つ以上の条件は、更新ステップＳ３１２および／またはＳ３１４に使用されるメトリック以外の二次メトリック、例えばピーク信号対雑音比（ＰＳＮＲ）の収束を含んでもよい。訓練プロセスを終了するための１つ以上の条件が満たされた場合、コンピューティングデバイス２０は、訓練プロセスを終了することを決定することができる。そうでない場合、コンピューティングデバイス２０は、訓練プロセスを継続することを決定することができる。

コンピューティングデバイス２０が訓練プロセスを継続すると決定した場合（ステップＳ３１６においていいえ）、プロセスは、ステップＳ３１２に戻り、更新ステップＳ３１２およびＳ３１４が繰り返されることができる。コンピューティングデバイス２０が訓練プロセスを終了すると決定した場合（ステップＳ３１６においてはい）、プロセスは、ステップＳ３１８に進むことができる。

ステップＳ３１８において、コンピューティングデバイス２０は、任意に、コンピューティングデバイス２０がステップＳ３１６において訓練プロセスを終了すると決定した後に、Ｓ３１０において使用された訓練された生成器４２のパラメータ値と生成器４２の更新されたパラメータ値との間の加重平均値を計算することができる。算出された加重平均値を有する第１のＡＮＮ４２０は、ＯＲ画像からＨＲ画像を生成するためのＡＮＮモデル４０として使用されることができる。ステップＳ３１８は、スキップされることができる任意のステップであることに留意されたい。

ステップＳ３１６においてはいと決定された後、またはステップＳ３１８の後、図６に示すプロセスは、終了することができる。

ＡＮＮモデル４０が図６に示す例示的なプロセスにおいて訓練される例示的な実施形態では、図６の訓練プロセスを実行した結果としてのパラメータ値を有する生成器４２の第１のＡＮＮ４２０が、ＯＲ画像からＨＲ画像を生成するためのＡＮＮモデル４０のＡＮＮとして使用されることができる（例えば、図３のステップＳ５０も参照されたい）。

図５および図６を参照して上述したようなＧＡＮ方法論にかかる例示的な実施形態では、生成器４２０の第１のＡＮＮ４２０は、例えば図４に示すような訓練プロセスによって訓練された後、図６に示す訓練プロセスによってさらに微調整されることが理解されよう。

先に図１から図６を参照して説明したような画像拡張プロセスは、目標解像度を有するＨＲ画像がＡＮＮモデル４０を訓練するために必要とされないという意味で、教師なしおよび／または自己教師あり方法とみなすことができる。

実験
以下は、本開示にかかる方法のために本発明者らによって行われた実験の設定および結果を提供する。実験では、ＡＮＮモデルが異なる解像度スケール（２倍、３倍および４倍）で訓練され、異なるダウンサンプリング法が試験された。

ａ）データセット
２つの異なるデータセットを実験に使用した：
－ＤＩＶ２Ｋデータセットからの９００からなる自然画像データセット（例えば、Ｒ．Ｔｉｍｏｆｔｅ，Ｓ．Ｇｕ，Ｌ．ＶａｎＧｏｏｌ，Ｌ．Ｚｈａｎｇ，およびＭ．－Ｈ．Ｙａｎｇ，「ＮＴＩＲＥ２０１８ＣｈａｌｌｅｎｇｅｏｎＳｉｎｇｌｅＩｍａｇｅＳｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ：ＭｅｔｈｏｄｓａｎｄＲｅｓｕｌｔｓ」，ｉｎ２０１８ＩＥＥＥ／ＣＶＦＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎＷｏｒｋｓｈｏｐｓ（ＣＶＰＲＷ），Ｊｕｎ．２０１８，ｐｐ．９６５－９６５１１，ｄｏｉ：１０．１１０９／ＣＶＰＲＷ．２０１８．００１３０；Ｅ．ＡｇｕｓｔｓｓｏｎおよびＲ．Ｔｉｍｏｆｔｅ」，ＮＴＩＲＥ２０１７ＣｈａｌｌｅｎｇｅｏｎＳｉｎｇｌｅＩｍａｇｅＳｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ：ＤａｔａｓｅｔａｎｄＳｔｕｄｙ」，ｉｎ２０１７ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎＷｏｒｋｓｈｏｐｓ（ＣＶＰＲＷ），Ｈｏｎｏｌｕｌｕ，ＨＩ，ＵＳＡ，Ｊｕｌ．２０１７，ｐｐ．１１２２－１１３１，ｄｏｉ：１０．１１０９／ＣＶＰＲＷ．２０１７．１５０を参照されたい）、および
－ＩｎｃｕＣｙｔｅ（登録商標）Ｓ３によって１０倍の倍率で捕捉された３８１６枚の画像を有する細胞顕微鏡画像データセット。

ＤＩＶ２Ｋデータセットを７５０枚の訓練画像、５０枚の検証画像および１００枚の試験画像に分割した。細胞顕微鏡法画像データセットを２１２４枚の訓練画像、５３１枚の検証画像および１１６０枚の試験画像に分割した。

ｂ）実験設定
実験設定は、２つのデータセット、自然画像データセットおよび細胞顕微鏡画像データセットについて異なっていた。一般的なワークフローでは、実際のＨＲ画像にアクセスすることなくＯＲ画像を高解像度（ＨＲ）に改善する目的で、オリジナルの解像度（ＯＲ）の画像が利用可能であると仮定した。ＯＲからＨＲへの解像度向上の大きさがスケーリングファクタＳによって表される場合、Ｓのファクタによる同等のダウンスケーリング（換言すれば、ダウンサンプリング）がＯＲ画像に対して行われてＬＲ画像が取得された。ＡＮＮモデルは、ＬＲ画像からＯＲ画像を再作成するように訓練され、次いでＯＲ画像内のデータをＨＲに外挿するために使用された。

細胞顕微鏡法画像データセットについて、３つのＡＮＮモデルを訓練し、外挿ステップをバイキュービック補間（ＢＩ）アップスケーリングと比較した。ＡＮＮモデルは、ＬＲ生成のためのニアレストネイバー（ＮＮ）ダウンスケーリングを用いて、２倍、３倍、および４倍のスケーリングファクタによって訓練された。

自然画像（ＤＩＶ２Ｋ）については、僅かに異なる手法がとられた。オリジナルの画像をＯＲ解像度として使用する代わりに、ＤＩＶ２Ｋデータセットのオリジナルの画像をＢＩによってダウンスケールして、ダウンスケールＯＲデータセットを作成した。ダウンスケールされたＯＲ画像は、ＡＮＮモデルを訓練するためのＯＲ画像として使用された。ＡＮＮモデルが完全に訓練されると、ＡＮＮモデルを使用して、ダウンスケールされたＯＲ試験画像をＨＲ画像にアップスケールした。ＡＮＮモデルから出力された外挿されたＨＲ画像と、ＤＩＶ２Ｋデータセットのオリジナルの画像であるグラウンドトゥルースＨＲ画像との間で、ピーク信号対ノイズ比（ＰＳＮＲ）および平均絶対誤差（ＭＡＥ）を計算した。この評価方法は、同等のメトリックを得る可能性を生み出すことができる。しかしながら、ＬＲ画像のための情報損失は、スケーリングファクタＳが増加するにつれて大きくなることがあり、これは、ＡＮＮモデルを訓練することをより困難にすることがある。オリジナルの画像が目標解像度ＨＲを有する画像とみなされる場合、訓練入力画像の低解像度ＬＲは、ＬＲ＝ＨＲ／Ｓ^２とすることができる。したがって、解像度を４倍増加させるＡＮＮモデルのＬＲ画像を得るためには、オリジナルの画像を１６倍ダウンスケールしなければならなかった。

実験におけるＡＮＮモデルのアーキテクチャとして、拡張深層超解像ネットワーク（ＥＤＳＲ）と呼ばれるＲｅｓＮｅｔネットワークを採用した（例えば、ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１７０７．０２９２１においてオンラインで入手可能な、Ｂ．Ｌｉｍ，Ｓ．Ｓｏｎ，Ｈ．Ｋｉｍ，Ｓ．Ｎａｈ，およびＫ．Ｍ．Ｌｅｅ，「ＥｎｈａｎｃｅｄＤｅｅｐＲｅｓｉｄｕａｌＮｅｔｗｏｒｋｓｆｏｒＳｉｎｇｌｅＩｍａｇｅＳｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ」，Ｊｕｌｙ２０１７を参照されたい）。

図７は、スケーリングファクタＳ＝３を用いたＡＮＮモデルのための異なる解像度の例示的な視覚化を示している。より具体的には、図７は、画像解像度を３倍増加させるＡＮＮモデルを有する自然画像を用いた訓練および評価ステップの例示的な視覚化を示している。オリジナルのＨＲ画像は、シミュレートされたＯＲ画像にダウンスケールされ、訓練目的のためにＬＲ画像にさらにダウンスケールされた。

ＤＩＶ２Ｋ画像データセットについて、スケーリングファクタＳ＝２、３、および４のそれぞれについて、ＢＩダウンスケーリングを伴う１つのＡＮＮモデルおよびＮＮダウンスケーリングを伴う１つのＡＮＮモデルの６つの異なる実験を実行した。さらに、スケーリングファクタとダウンスケーリング方法との各組み合わせについて、５０エポック後にＡＮＮモデルの非収束バージョンが保存され、合計１２のＡＮＮモデルが得られた。

全ての実験において、ＡＮＮモデルは、Ａｄａｍオプティマイザ（例えば、Ｄ．Ｐ．ＫｉｎｇｍａおよびＪ．Ｂａ，「Ａｄａｍ：Ａｍｅｔｈｏｄｆｏｒｓｔｏｃｈａｓｔｉｃｏｐｔｉｍｉｚａｔｉｏｎ」，ＡｒＸｉｖＰｒｅｐｒ．ＡｒＸｉｖ１４１２６９８０，２０１４を参照のこと）を使用してＭＡＥ損失を最小限に抑えながら、２ｅ^－４の学習率で１０００エポックについて訓練された。細胞顕微鏡法データセットの場合、ＡＮＮモデルは、５のバッチサイズを使用し、ＤＩＶ２Ｋ画像データセットの場合、ＡＮＮモデルは、１２のバッチサイズを使用した。

ｃ）結果
表１は、本開示にかかるＡＮＮモデルのピーク信号対雑音比（ＰＳＮＲ）の結果、ならびに非収束モデルおよび既知のヒューリスティック方法、ＢＩおよびＮＮの比較例を示している。表１では、ＡＮＮモデルおよび非収束モデルに対するＢＩおよびＮＮの指示はダウンスケーリング方法を表し、ヒューリスティック方法におけるＢＩおよびＮＮの指示はアップスケーリング方法を表す。表１における「非収束モデル」という用語は、５０エポックについて訓練されたＡＮＮモデルの非収束バージョンとして理解されるべきである。ＰＳＮＲは、外挿された高解像度画像と対応するグラウンドトゥルース画像との間で計算された。

表１から分かるように、ＰＳＮＲ（高ければ高いほど良い）に関して、本開示にかかるＡＮＮモデルは、既知のヒューリスティック方法、ＢＩおよびＮＮ、ならびに非収束モデルよりも優れている。しかしながら、どのダウンスケーリング方法が使用されるかに起因して、完全に収束したモデル間に明確な違いはないように思われる。以下の表２に示す平均絶対誤差（ＭＡＥ）メトリックの結果も同じパターンに従う。

表２は、本開示にかかるＡＮＮモデルのＭＡＥ比較、ならびに非収束モデルおよび既知のヒューリスティック方法、ＢＩおよびＮＮの比較例を示している。誤差は、外挿された高解像度画像と対応するグラウンドトゥルース画像との間の平均絶対画素差として計算された。また、表２において、ＡＮＮモデルおよび非収束モデルに対するＢＩおよびＮＮの指示はダウンスケーリング方法を表し、ヒューリスティック方法におけるＢＩおよびＮＮの指示はアップスケーリング方法を表す。さらに、表２における「非収束モデル」という用語は、５０エポックについて訓練されたＡＮＮモデルの非収束バージョンとして理解されるべきである。

図８は、本開示にかかるＡＮＮモデルから取得された画像とバイキュービック補間（ＢＩ）によって取得された画像とを比較するための自然画像の例を示している。図８は、２倍、３倍および４倍の解像度向上（図８の画像行に対応する）で訓練されたＡＮＮモデルからの例示的な出力を示している。図８において、列（ａ）の画像は入力画像であり、列（ｂ）はＡＮＮモデルからの出力画像であり、列（ｃ）はグラウンドトゥルース画像であり、列（ｄ）はＢＩアップスケーリングを伴う結果画像である。ＡＮＮモデルは、図８の（ａ）列に示す入力画像をＯＲ入力画像とし、それぞれのスケーリングファクタによって解像度をＨＲまで上げた。ＢＩアップスケーリングと比較して、ＡＮＮモデルの出力画像はより鮮明に見え、したがってグラウンドトゥルース画像によりよく似ている。入力解像度が低下すると、グラウンドトゥルースＨＲ画像を再作成する能力も低下する。

図９は、本開示にかかるＡＮＮモデルから取得された画像とバイキュービック補間によって取得された画像とを比較するための細胞画像の例を示している。図９の画像行は、２倍、３倍、および４倍（換言すれば、スケーリングファクタ２、３、および４）の解像度の増加に対応する。図９において、（ａ）列の画像は入力画像を示し、（ｂ）列はＡＮＮモデルからの出力画像を示し、（ｃ）列は比較例としてＢＩアップスケーリングによってアップスケーリングされた画像を示している。

図９から分かるように、入力画像と比較して２倍の解像度向上およびＢＩによる解像度向上を使用した場合、ＡＮＮモデルでは細胞顕微鏡画像の品質が明らかに改善された。しかしながら、解像度が３倍および４倍に増加するにつれて、ＡＮＮモデル出力の品質は改善されず、むしろその逆であった。解像度が３倍および４倍増加したＡＮＮモデルは、依然として細胞境界を捕捉することができた。

図１０は、本開示にかかるＡＮＮモデルを訓練する際の細胞画像の例を示している。具体的には、図１０は、より低い解像度を有する画像からより高い目標解像度を有する画像を再作成するための異なるＡＮＮモデルの能力を示している。ＡＮＮモデルは、２倍、３倍および４倍の解像度増加（図１０の画像行に対応する）において訓練され、ＡＮＮモデルからの出力画像（図１０の（ｂ）列を参照されたい）は、目標画像（列（ｃ）、グラウンドトゥルースを参照されたい）および入力画像（図１０の（ａ）列を参照されたい）から導出されたバイキュービック補間アップスケーリング（図１０の（ｄ）列を参照されたい）によって取得された画像と比較して見ることができる。

図１０から、ＡＮＮモデル（ＬＲからＯＲ）の訓練により、ＬＲ画像は、３倍および４ｓの設定において鋭い情報損失を被るように見える。グラウンドトゥルース画像の詳細の多くは、そのＬＲ対応部分に欠けている。この設定では、再作成は、ＢＩよりもさらにはるかに良好であった。

生細胞イメージングへの応用
生細胞イメージングでは、正確な決定を行うために画像品質が重要であり得る。しかしながら、解像度を高めるためには、多くの場合、ズームインによって視野（ＦＯＶ）を縮小する必要がある。理想的には、機器は、広い視野で高解像度を捕捉する。しかしながら、機器のスループット、ハードウェアの制限、ハードドライブのストレージの制限などに及ぶ様々な制限のために、これは実現可能ではない場合がある。

したがって、より高い倍率での画像取得は、より鮮明でより詳細な画像をもたらすことができ、一方、より低い倍率は、ＦＯＶ内で多数の細胞を捕捉することを可能にすることができる。倍率が大きくなるにつれて、図１１に示すように、ＦＯＶ内の細胞数は減少する。

実効解像度を上げることにより、ＦＯＶ内の細胞数を犠牲にすることなく、より詳細な画像が取得されることができる。したがって、稀な細胞事象が捕捉される可能性がより高くなることができ、集団研究全体の統計的関連性が増大することができる。（例えば、より多くの高倍率画像を取得し、それらを組み合わせることによって）これを従来の方法で複製することは、時間がかかり、面倒な作業であり得て、光毒性（phototoxicity）の増加により細胞を損傷する可能性がある。

２０倍で取得された画像に本開示にかかる方法を適用することは、細胞レベルで画像を改善することができる。細胞エッジの解像度が高められることができ、これは、より正確な細胞分割を可能にすることができ、例えば、細胞内特徴は、生物学的構造を反映して質感および透明度を向上させることができる。２０倍画像における細胞内プロセスの正確な無標識定量化はまだ可能ではないが、画像品質を改善することによって、核などの細胞内オルガネラがより明確に視覚化されることができる。さらに、質感、周囲、立体性の特徴がより正確に定量化されることができる。これは、内容物を細胞質に放出する前に、核が拡大して形状を変化させるプロセスであるＮＥＴｏｓｉｓを受けている細胞の拡張された画像を示す図１２によって実証される。

図１２は、ＮＥＴｏｓｉｓを受けている好中球様細胞を示している。図１２の上の画像行は、０から９０分まで２０倍で取得された画像を示し（列（ａ）、（ｂ）、（ｃ）および（ｄ））、図１２の下の画像行は、本開示にしたがって訓練されたＡＮＮモデルを使用して処理された同じ画像を示している。図１２から分かるように、０分の処理画像は、このタイプの細胞と一致して、より目に見える輪郭を有し、細胞内容物は増加した質感を有する。換言すれば、細胞内の可視質感、外側の細胞境界および細胞形状は、０分の処理画像においてより明確である。３０分で、核は拡大しており、これもまた処理画像においてより顕著である。例えば、３０分の処理画像では、外側の細胞境界がより明確であり、ＤＮＡ脱凝縮の生物学的過程を反映して核がより顕著である。６０分および９０分で、処理された画像は、核がその内容物を細胞質およびはるかに明確な細胞境界に排出した領域においてより良好な質感を再び示す。例えば、６０分の処理画像では、細胞内の質感がより見えやすく、細胞輪郭がより明瞭である。さらに、９０分の処理画像では、外側の細胞境界がより明確であり、質感および細胞内容物が見え、細胞の形状がより明確である。

生細胞イメージングに関するさらなる実験
以下は、画像が標準的な品質で取得され、次いで本開示にかかるＡＮＮモデルを使用してインシリコで拡大される例示的なワークフローを提供する。

これらの実験では、細胞培養物の１０倍の倍率での位相差顕微鏡画像のデータセットが、ＥｓｓｅｎＩｎｓｔｒｕｍｅｎｔｓ／Ｉｎｃ．ｄｂａＥｓｓｅｎＢｉｏｓｃｉｅｎｃｅ，Ｉｎｃ．によって提供された。データセットは、ＩｎｃｕＣｙｔｅ（登録商標）Ｓ３から得られた画像からなり、以下の７つの異なる細胞型からなっていた：
・Ａ５４９
・ＨｅＬａ
・ＨＴ１０８０
・ＨＵＶＥＣ
・Ｊｕｒｋａｔ
・ＭＤＡＭＢ２３１
・ＰＣ３
・ＳＫＯＶ３

データセットは１７４６枚の画像からなり、訓練データセット、検証データセット、および試験データセットに分割された。訓練データは、全ての細胞タイプからの１０３７枚の画像からなり、検証データは２５９枚の画像を有した。試験データは、全ての細胞培養物からの４５０枚の画像からなり、いくつかの画像は同じウェルに由来するが、訓練および検証データセットにおいてウェルから分離された。

Ｂ．Ｌｉｍ，Ｓ．Ｓｏｎ，Ｈ．Ｋｉｍ，Ｓ．Ｎａｈ，およびＫ．Ｍ．Ｌｅｅ，「ＥｎｈａｎｃｅｄＤｅｅｐＲｅｓｉｄｕａｌＮｅｔｗｏｒｋｓｆｏｒＳｉｎｇｌｅＩｍａｇｅＳｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ」，ＡｒＸｉｖ１７０７．０２９２１Ｃｓ，Ｊｕｌ．２０１７（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１７０７．０２９２１においてオンラインで入手可能）において使用されるようなＲｅｓＮｅｔアーキテクチャを有するＣＮＮを、訓練画像のパッチを取得し、次いで、バイキュービック補間を用いて画像パッチを解像度の半分にダウンサンプリングし、次いで、オリジナルの画像パッチを再作成してネットワークにタスクを依頼することによって訓練した。これは、２０００エポック、バッチサイズ２０、学習率０．０００１のＡｄａｍオプティマイザによって行われた。画素平均絶対誤差（ＭＡＥ）を損失関数として使用し、ネットワークをＭＡＥ、ピーク信号対雑音比（ＰＳＮＲ）、および検証データ上の画像品質の目視検査の双方で評価した。

ネットワークが完全に訓練されると、最も高いＭＡＥおよびＰＳＮＲを有するモデルを選択し、一般化可能性を保証するために試験データに対してさらに検証した。この最後のステップでは、ダウンサンプリングされた訓練画像および検証画像の代わりにオリジナルの画像を入力として取り込むようにネットワークを修正した。したがって、試験画像の解像度を１０倍から２０倍に増加させ、次いで、これらのＨＲ画像をバイキュービック補間およびニアレストネイバー補間を使用して試験セットからアップサンプリングした画像と比較した。目視検査は、本発明者らのモデルによって生成された２０倍画像において、比較したものよりも高い忠実度を示した。

図１３および図１４は、オリジナルの画像（図１３の（ａ）および図１４の（ｄ）を参照されたい）、ニアレストネイバー補間（図１３および図１４の（ｃ）を参照されたい）、およびバイキュービック補間（図１３の（ｄ）および図１４の（ａ）を参照されたい）と比較した、本開示にかかるＡＮＮモデル（図１３および図１４の（ｂ）を参照されたい）にかかる画像拡張の画像比較を示している。

可能なさらなる実装
図を参照して上述した実験結果から分かるように、例えば、図９および図１０に示すように、ＬＲへの情報損失が大きすぎる場合、本開示にかかるＡＮＮモデルは、目標解像度（例えば、ＨＲ）によって画像のより細かい詳細を再構成する方法を学習することができない可能性がある。この問題は、モデルがマッピングを直接学習することができるＬＲ－ＨＲペアに実際にアクセスする場合に同じ方法で発生しない。

これに関して、より高い解像度の向上を達成するための本開示の１つの可能な実装は、実際のＨＲ画像上でモデルを後で微調整するための事前訓練手法として本開示にかかる方法を使用することとすることができる。可能な実装の利点は、必要とされるＨＲ画像の量が事前訓練なしよりも少なくなり得ることとすることができる。

状況によっては、ＬＲへの情報損失はまた、モデルが学習したい重要な特徴の情報が保持されるようにダウンスケールする代替方法によって幾分緩和されることができる。重要性は、必ずしも実際のＬＲ画像がどのように見えるかに対する正確な複製を有することではなく、むしろそのような重要な特徴の情報を保持することとすることができる。したがって、例えば、上述したようにＢＩまたはＮＮを用いてＯＲ画像をダウンスケールする代わりに、ＯＲ画像をＬＲ画像にダウンスケールするためにさらなるＡＮＮが使用および訓練され、次いで、ＬＲ画像からＯＲ画像を復元するために本開示にかかるＡＮＮモデルを訓練することができる。ＯＲ画像をダウンスケールするためのさらなるＡＮＮは、本開示にかかるＡＮＮモデルのアップスケーリングタスクにおいて使用される情報を保存するように訓練されることができる。

本開示にかかるＡＮＮモデルは、３倍および４倍の解像度増加を伴う細胞顕微鏡画像よりも自然画像においてかなり良好であると思われる。これは、モデルが細胞顕微鏡画像よりも自然画像で再構築するようにピックアップして学習することができる特徴が多いためである可能性がある。自然画像は、典型的には、大部分が大きい質感を有する比較的少数のオブジェクトを含むのに対して、細胞画像は、解像度が低下しすぎると大部分が消失する多数の小さいオブジェクトを含むことが多い。これは、ダウンサンプリングステップにおいて情報をそのままに保つことの重要性の考えをさらに支持することができる。

ハードウェア構成
図１５は、上述したシステムの少なくとも一部を実装するために使用されることができるコンピュータの例示的なハードウェア構成を示している。例えば、図１に示すコンピューティングデバイス２０は、図１５に示すコンピュータ７によって実現されることができる。図１５に示されるコンピュータ７は、中央処理装置（ＣＰＵ）７０と、システムメモリ７２と、ネットワークインターフェース７４と、ハードディスクドライブ（ＨＤＤ）インターフェース７６と、外部ディスクドライブインターフェース７８と、入出力（Ｉ／Ｏ）インターフェース８０とを備える。コンピュータのこれらの構成要素は、システムバス８２を介して互いに結合されている。ＣＰＵ７０は、システムメモリ７２にアクセスすることによって、算術演算、論理演算、および／または制御演算を実行することができる。システムメモリ７２は、ＣＰＵ７０と組み合わせて使用するための情報および／または命令を記憶することができる。システムメモリ７２は、ランダムアクセスメモリ（ＲＡＭ）７２０および読み出し専用メモリ（ＲＯＭ）７２２などの揮発性および不揮発性メモリを含むことができる。起動中などにコンピュータ７内の要素間で情報を転送するのに役立つ基本ルーチンを含む基本入出力システム（ＢＩＯＳ）がＲＯＭ７２２に記憶されることができる。システムバス８２は、メモリバスまたはメモリコントローラ、周辺バス、および様々なバスアーキテクチャのいずれかを使用するローカルバスを含むいくつかのタイプのバス構造のいずれかであってもよい。

コンピュータは、ネットワークを介して他のコンピュータおよび／またはデバイスと通信するためのネットワークインターフェース７４を含むことができる。

さらに、コンピュータは、ハードディスク（図示せず）から読み書きするためのハードディスクドライブ（ＨＤＤ）８４と、リムーバブルディスク（図示せず）から読み書きするための外部ディスクドライブ８６とを含むことができる。リムーバブルディスクは、磁気ディスクドライブ用の磁気ディスクであってもよく、または光ディスクドライブ用のＣＤ－ＲＯＭなどの光ディスクであってもよい。ＨＤＤ８４および外部ディスクドライブ８６は、それぞれＨＤＤインターフェース７６および外部ディスクドライブインターフェース７８によってシステムバス８２に接続される。ドライブおよびそれらの関連するコンピュータ可読媒体は、汎用コンピュータ用のコンピュータ可読命令、データ構造、プログラムモジュールおよび他のデータの不揮発性記憶装置を提供する。データ構造は、本明細書に記載の例示的な方法およびその変形の実装についての関連データを含むことができる。関連データは、データベース、例えばリレーショナルまたはオブジェクトデータベースに編成されてもよい。

本明細書に記載の例示的な環境は、ハードディスク（図示せず）および外部ディスク（図示せず）を使用するが、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、ランダムアクセスメモリ、読み出し専用メモリなど、コンピュータによってアクセス可能なデータを記憶することができる他のタイプのコンピュータ可読媒体も、例示的な動作環境において使用されることができることが当業者によって理解されるはずである。

ハードディスク、外部ディスク、ＲＯＭ７２２またはＲＡＭ７２０には、オペレーティングシステム（図示せず）、１つ以上のアプリケーションプログラム７２０２、他のプログラムモジュール（図示せず）、およびプログラムデータ７２０４を含む、いくつかのプログラムモジュールが記憶されることができる。アプリケーションプログラムは、上述した機能の少なくとも一部を含むことができる。

コンピュータ７は、対応するＩ／Ｏインターフェース８０ａおよび８０ｂならびにシステムバス８２を介して、マウスおよび／またはキーボードなどの入力デバイス９２ならびに液晶ディスプレイなどの表示デバイス９４に接続されることができる。コンピュータ７がタブレットコンピュータとして実装される場合、例えば、情報を表示し且つ入力を受け付けるタッチパネルが、対応するＩ／Ｏインターフェースおよびシステムバス８２を介してコンピュータ７に接続されてもよい。さらに、いくつかの例では、図１５には示されていないが、コンピュータ７は、対応するＩ／Ｏインターフェースおよびシステムバス８２を介して、プリンタおよび／またはカメラなどのイメージングデバイスにさらに接続されてもよい。

図１５に示すようなコンピュータ７を使用する実装に加えて、またはその代替として、本明細書に記載の例示的な実施形態の機能の一部または全ては、１つ以上のハードウェア回路として実装されてもよい。そのようなハードウェア回路の例は、大規模集積回路（ＬＳＩ）、縮小命令セット回路（ＲＩＳＣ）、特定用途向け集積回路（ＡＳＩＣ）、およびフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含むことができるが、これらに限定されない。

Claims

画像を処理するためのコンピュータ実装方法であって、
第２の解像度を有する複数の第２の画像を取得するために第１の解像度を有する複数の第１の画像をダウンサンプリングすることであって、前記第１の解像度が前記第２の解像度よりも高く、前記複数の第２の画像のそれぞれが前記複数の第１の画像のうちの１つのダウンサンプリングされたバージョンである、ダウンサンプリングすることと、
入力画像を処理して前記入力画像よりも高解像度の出力画像を出力するように人工ニューラルネットワークＡＮＮモデル（４０）を訓練することであって、前記訓練のための訓練データが画像のペアを含み、各画像のペアが、
前記ＡＮＮモデル（４０）への入力として前記複数の第２の画像のうちの１つ、および
前記複数の第２の画像のうちの前記１つが前記ＡＮＮモデル（４０）に入力された場合に前記ＡＮＮモデル（４０）から所望の出力として、前記複数の第２の画像のうちの前記１つに対応する前記複数の第１の画像のうちの１つ、を含む、訓練することと、
前記複数の第１の画像のうちの少なくとも１つを前記訓練されたＡＮＮモデル（４０）に入力することと、
前記訓練されたＡＮＮモデル（４０）から、前記第１の解像度よりも高い第３の解像度を有する少なくとも１つの出力画像を取得することと、を含む、方法。
前記ＡＮＮモデル（４０）が畳み込みニューラルネットワークを含む、請求項１に記載の方法。
前記ＡＮＮモデル（４０）が、
前記入力画像を処理して、前記入力画像よりも高解像度の前記出力画像を出力する第１のＡＮＮ（４２０）を備える生成器（４２０）と、
前記第１のＡＮＮ（４２０）からの所望の出力と考えられる実画像から前記第１のＡＮＮ（４２０）によって生成された画像を識別するための第２のＡＮＮ（４４０）を備える識別器（４４）と、を備え、
前記ＡＮＮモデル（４０）が、
前記訓練データを使用して、前記入力画像から、前記入力画像よりも高解像度の前記出力画像を生成するように前記生成器（４２）を訓練することと、
前記訓練された生成器から出力された画像と前記複数の第１の画像のうちの少なくともいくつかとを使用して、前記第２のＡＮＮ（４４０）への画像入力が、
前記訓練された生成器（４２）から出力される画像、または
複数の第１の画像のうちの１つ、であるかどうかを決定するように前記識別器（４４）を訓練することと、
前記生成器（４２）および前記識別器（４４）をさらに訓練することであって、
前記訓練された識別器（４４）からの出力を使用して、前記第２のＡＮＮ（４４０）の誤り率を増加させるように前記第１のＡＮＮ（４２０）のパラメータ値を更新するステップと、
前記訓練された生成器からの出力を使用して、前記第２のＡＮＮ（４４０）の前記誤り率を低減させるように前記第２のＡＮＮ（４４０）のパラメータ値を更新するステップと、を反復することによって前記生成器（４２）および前記識別器（４４）をさらに訓練することと、
によって訓練される、請求項１または２に記載の方法。
前記生成器（４２）を訓練する前記ステップによって取得された前記第１のＡＮＮの前記パラメータ値と、
前記生成器（４２）および前記識別器（４４）をさらに訓練する前記ステップによって取得された前記第１のＡＮＮ（４２０）の前記更新されたパラメータ値と、
の間の加重平均値を計算することをさらに含み、
前記加重平均値を前記パラメータ値として有する前記第１のＡＮＮ（４２０）が、前記少なくとも１つの出力画像を取得するために前記訓練されたＡＮＮモデル（４０）として使用される、請求項３に記載の方法。
前記複数の第１の画像のダウンサンプリングの前に前記複数の第１の画像に画像増強前処理ステップを適用することをさらに含み、
前記画像増強前処理ステップが、
ぼかし、
画素ごとのノイズの付加、
非合焦歪みの適用、
動きぼけの適用、のうちの１つ以上を含むことができる、
請求項１から４のいずれか一項に記載の方法。
前記第１の解像度が前記第２の解像度よりもスケーリングファクタ（Ｓ）だけ高く、前記第３の解像度が前記第１の解像度よりも前記スケーリングファクタ（Ｓ）だけ高い、請求項１から５のいずれか一項に記載の方法。
前記複数の第１の画像が、細胞の顕微鏡画像を含む、請求項１から６のいずれか一項に記載の方法。
コンピュータにロードされて実行されると、前記コンピュータに、請求項１から７のいずれか一項に記載の方法を実行させるコンピュータ可読命令を備えるコンピュータプログラム製品。
画像を処理するためのシステムであって、
第１の解像度を有する複数の第１の画像と、入力画像を処理して前記入力画像よりも高解像度を有する出力画像を出力する人工ニューラルネットワークＡＮＮモデル（４０）とを記憶する記憶媒体と、
プロセッサであって、
第２の解像度を有する複数の第２の画像を取得するために前記複数の第１の画像をダウンサンプリングすることであって、前記第１の解像度が前記第２の解像度よりも高く、前記複数の第２の画像のそれぞれが、前記複数の第１の画像のうちの１つのダウンサンプリングされたバージョンである、ダウンサンプリングすることと、
画像のペアを含む訓練データを使用して前記ＡＮＮモデル（４０）を訓練することであって、各画像のペアが、
前記ＡＮＮモデル（４０）への入力として前記複数の第２の画像のうちの１つ、および
前記複数の第２の画像のうちの前記１つが前記ＡＮＮモデル（４０）に入力された場合に前記ＡＮＮモデル（４０）から所望の出力として、前記複数の第２の画像のうちの前記１つに対応する前記複数の第１の画像のうちの１つ、
を含む、訓練することと、
前記複数の第１の画像のうちの少なくとも１つを前記訓練されたＡＮＮモデル（４０）に入力することと、
前記訓練されたＡＮＮモデル（４０）から、前記第１の解像度よりも高い第３の解像度を有する少なくとも１つの出力画像を取得することと、を行うように構成されたプロセッサと、を備える、システム。
前記ＡＮＮモデル（４０）が畳み込みニューラルネットワークを含む、請求項９に記載のシステム。
前記ＡＮＮモデル（４０）が、
前記入力画像を処理して、前記入力画像よりも高解像度の前記出力画像を出力する第１のＡＮＮ（４２０）を備える生成器（４２）と、
前記第１のＡＮＮ（４２０）からの所望の出力と考えられる実画像から前記第１のＡＮＮ（４２０）によって生成された画像を識別するための第２のＡＮＮ（４４０）を備える識別器（４４）と、を備え、
前記ＡＮＮモデルが、
前記訓練データを使用して、前記入力画像から、前記入力画像よりも高解像度の前記出力画像を生成するように前記生成器（４２）を訓練することと、
前記訓練された生成器（４２）から出力された画像と前記複数の第１の画像のうちの少なくともいくつかとを使用して、前記第２のＡＮＮ（４４０）への画像入力が、
前記訓練された生成器（４２）から出力される画像、または
複数の第１の画像のうちの１つ、であるかどうかを決定するように前記識別器（４４）を訓練することと、
前記生成器および前記識別器をさらに訓練することであって、
前記訓練された識別器からの出力を使用して、前記第２のＡＮＮ（４４０）の誤り率を増加させるように前記第１のＡＮＮ（４２０）のパラメータ値を更新するステップと、
前記訓練された生成器からの出力を使用して、前記第２のＡＮＮ（４４０）の前記誤り率を低減させるように前記第２のＡＮＮ（４４０）のパラメータ値を更新するステップと、を反復することによって前記生成器および前記識別器をさらに訓練することと、
によって訓練される、請求項９または１０に記載のシステム。
前記プロセッサが、さらに、
前記生成器（４２）を訓練する前記ステップによって取得された前記第１のＡＮＮ（４２０）の前記パラメータ値と、
前記生成器および前記識別器（４４）をさらに訓練する前記ステップによって取得された前記第１のＡＮＮ（４２０）の前記更新されたパラメータ値と、
の間の加重平均値を計算するように構成され、
前記加重平均値を前記パラメータ値として有する前記第１のＡＮＮ（４２０）が、前記少なくとも１つの出力画像を取得するために前記訓練されたＡＮＮモデル（４０）として使用される、請求項１１に記載のシステム。
前記プロセッサが、さらに、
前記複数の第１の画像のダウンサンプリングの前に前記複数の第１の画像に画像増強前処理ステップを適用するように構成され、
前記画像増強前処理ステップが、
ぼかし、
画素ごとのノイズの付加、
非合焦歪みの適用、
動きぼけの適用、のうちの１つ以上を含むことができる、請求項９から１２のいずれか一項に記載のシステム。
前記第１の解像度が前記第２の解像度よりもスケーリングファクタ（Ｓ）だけ高く、前記第３の解像度が前記第１の解像度よりも前記スケーリングファクタ（Ｓ）だけ高い、請求項９から１３のいずれか一項に記載のシステム。
前記複数の第１の画像が、細胞の顕微鏡画像を含む、請求項９から１４のいずれか一項に記載のシステム。