JP2023532755A - 画像を処理するためのコンピュータ実装方法、コンピュータプログラム製品、およびシステム - Google Patents
画像を処理するためのコンピュータ実装方法、コンピュータプログラム製品、およびシステム Download PDFInfo
- Publication number
- JP2023532755A JP2023532755A JP2023500310A JP2023500310A JP2023532755A JP 2023532755 A JP2023532755 A JP 2023532755A JP 2023500310 A JP2023500310 A JP 2023500310A JP 2023500310 A JP2023500310 A JP 2023500310A JP 2023532755 A JP2023532755 A JP 2023532755A
- Authority
- JP
- Japan
- Prior art keywords
- images
- ann
- image
- resolution
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 126
- 238000012545 processing Methods 0.000 title claims abstract description 20
- 238000004590 computer program Methods 0.000 title claims description 7
- 238000012549 training Methods 0.000 claims abstract description 90
- 238000013528 artificial neural network Methods 0.000 claims description 180
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 11
- WBXQXRXMGCOVHA-UHFFFAOYSA-N [methyl(nitroso)amino]methyl acetate Chemical compound O=NN(C)COC(C)=O WBXQXRXMGCOVHA-UHFFFAOYSA-N 0.000 claims 16
- 210000004027 cell Anatomy 0.000 description 33
- 238000003384 imaging method Methods 0.000 description 11
- 238000012360 testing method Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 7
- 238000010200 validation analysis Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 238000010859 live-cell imaging Methods 0.000 description 4
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000013213 extrapolation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004113 cell culture Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 210000000805 cytoplasm Anatomy 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000031018 biological processes and functions Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000000126 in silico method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 210000005061 intracellular organelle Anatomy 0.000 description 1
- 230000006525 intracellular process Effects 0.000 description 1
- 238000003368 label free method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002135 phase contrast microscopy Methods 0.000 description 1
- 208000007578 phototoxic dermatitis Diseases 0.000 description 1
- 231100000018 phototoxicity Toxicity 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
画像を処理するためのコンピュータ実装方法を提供する。方法は、第2の解像度を有する複数の第2の画像を取得するために第1の解像度を有する複数の第1の画像をダウンサンプリングすることであって、第1の解像度が第2の解像度よりも高く、複数の第2の画像のそれぞれが複数の第1の画像のうちの1つのダウンサンプリングされたバージョンである、ダウンサンプリングすることと、入力画像を処理して入力画像よりも高解像度の出力画像を出力するように人工ニューラルネットワークANNモデル(40)を訓練することであって、訓練のための訓練データが画像のペアを含み、各画像のペアが、ANNモデル(40)への入力として複数の第2の画像のうちの1つ、および複数の第2の画像のうちの1つがANNモデル(40)に入力された場合にANNモデル(40)から所望の出力として、複数の第2の画像のうちの1つに対応する複数の第1の画像のうちの1つ、を含む、訓練することと、複数の第1の画像のうちの少なくとも1つを訓練されたANNモデル(40)に入力することと、訓練されたANNモデル(40)から、第1の解像度よりも高い第3の解像度を有する少なくとも1つの出力画像を取得することと、を含む。
Description
本出願は、画像を処理するためのコンピュータ実装方法、コンピュータプログラム製品、およびシステムに関する。
超解像(SR)の分野は、信号解像度をセンサ解像度よりも高くすることを目的としている。換言すれば、2D画像の場合は複数の画素、3Dの場合はボクセルなど、より多くのサンプリング点を使用して信号を近似することを目的とする。SRの概念はまた、1Dもしくは2Dスペクトル、または空間解像度が定義されている任意のタイプのデータに適用されることができる。
より高い解像度の近似を達成するために、いくつかのヒューリスティック(heuristic)な方法が利用可能である。例えば、画像アップサンプリングに一般的に使用される方法は、ニアレストネイバー補間、バイリニア補間、バイキュービック補間などを含むことができる。そのような方法では、値の補間は、コンテキストに依存しないアップサンプリング動作を適用することによってオリジナルの画素値から導出されることができる。例えば、そのようなアルゴリズムの1つは、新たな画素を挿入し、新たな画素に、新たな画素の周りの以前に存在していた画素の平均値を割り当てることを含むことができる。これらのヒューリスティック方法は、画像の実際の高解像度(HR)バージョンがそれらの近似に似ていない可能性があるため、「画素化された」または「ぼやけた」と認識されることができる近似を生成することが多い。例えば、ラインエッジに沿った欠落画素は、ラインと周囲との間の補間である値を有さず、むしろラインまたは周囲のいずれかに属するため、鮮明なラインは、鮮明なままではない場合がある。
代替的な手法は、深層学習の分野によって提供されてもよく、深層人工ニューラルネットワーク(ANN)モデルは、入力のHRバージョンを高い忠実度で近似するように訓練される(例えば、W.Yang,X.Zhang,Y.Tian,W.Wang,およびJ.-H.Xue,「Deep Learning for Single Image Super-Resolution:A Brief Review」,IEEE Trans.Multimed.,pp.1-1,2019を参照されたい)。最適化アルゴリズムを使用することによって、ANNは、目標HR画像の近似を改善するようにそのパラメータを更新することによって、このアップサンプリングを行うように訓練されることができる。訓練のために、訓練サンプルのデータセットが提供される必要があり得る。訓練は、教師ありまたは教師なしのいずれかとすることができる。教師あり訓練では、モデルは、モデルが訓練している入力画像のHRバージョンにアクセスして強化することができる(例えば、C.Dong,C.C.Loy,K.He,およびX.Tang,「Learning a Deep Convolutional Network for Image Super-Resolution」,2014を参照されたい)。教師なし訓練の場合、モデルは、オリジナルの解像度(OR)画像(例えば、国際公開第2019/102476号パンフレットを参照されたい)のみ、またはほとんどの場合、オリジナルの解像度の入力画像の実際のHRバージョンではないHR画像にアクセスすることができる(例えば、Y.Yuan,S.Liu,J.Zhang,Y.Zhang,C.Dong,およびL.Lin,「Unsupervised Image Super-Resolution using Cycle-in-Cycle Generative Adversarial Networks」,ArXiv180900437 Cs,Sep.2018を参照されたい)。
上述したようなヒューリスティックなアップサンプリング技術と比較して、ANNに基づくアップサンプリングは、ドメインおよびコンテキストの双方を認識することができる。例えば、ANNモデルは、滑らかなラインを有するクラウドおよび領域の画像とは異なる方法で、チェス盤および鋭いラインの領域などの複雑度の高い画像をアップサンプリングすることを学習することができる。しかしながら、ANNに基づく既知のアップサンプリング方法では、ANNモデルを訓練するためにHR画像がしばしば必要とされ、これは常に容易に利用できるとは限らない。
一態様によれば、課題は、改善された品質で画像解像度の外挿を容易にすることに関する。この課題は、独立請求項によって開示された特徴によって解決される。さらなる例示的な実施形態は、従属請求項によって定義される。
一態様によれば、画像を処理するためのコンピュータ実装方法が提供される。本方法は、
第2の解像度を有する複数の第2の画像を取得するために第1の解像度を有する複数の第1の画像をダウンサンプリングすることであって、第1の解像度が第2の解像度よりも高く、複数の第2の画像のそれぞれが複数の第1の画像のうちの1つのダウンサンプリングされたバージョンである、ダウンサンプリングすることと、
入力画像を処理して入力画像よりも高解像度の出力画像を出力するように人工ニューラルネットワークであるANNモデルを訓練することであって、訓練のための訓練データが画像のペアを含み、各画像のペアが、
ANNモデルへの入力としての複数の第2の画像のうちの1つ、および
複数の第2の画像のうちの1つがANNモデルに入力された場合にANNモデルから所望の出力として、複数の第2の画像のうちの1つに対応する複数の第1の画像のうちの1つ、を含む、訓練することと、
複数の第1の画像のうちの少なくとも1つを訓練されたANNモデルに入力することと、
訓練されたANNモデルから少なくとも1つの出力画像を取得することであって、少なくとも1つの出力画像が第1の解像度よりも高い第3の解像度を有する、取得することと、を含む。
第2の解像度を有する複数の第2の画像を取得するために第1の解像度を有する複数の第1の画像をダウンサンプリングすることであって、第1の解像度が第2の解像度よりも高く、複数の第2の画像のそれぞれが複数の第1の画像のうちの1つのダウンサンプリングされたバージョンである、ダウンサンプリングすることと、
入力画像を処理して入力画像よりも高解像度の出力画像を出力するように人工ニューラルネットワークであるANNモデルを訓練することであって、訓練のための訓練データが画像のペアを含み、各画像のペアが、
ANNモデルへの入力としての複数の第2の画像のうちの1つ、および
複数の第2の画像のうちの1つがANNモデルに入力された場合にANNモデルから所望の出力として、複数の第2の画像のうちの1つに対応する複数の第1の画像のうちの1つ、を含む、訓練することと、
複数の第1の画像のうちの少なくとも1つを訓練されたANNモデルに入力することと、
訓練されたANNモデルから少なくとも1つの出力画像を取得することであって、少なくとも1つの出力画像が第1の解像度よりも高い第3の解像度を有する、取得することと、を含む。
本開示において、「画像」という用語は、空間解像度が定義されるデータとして理解されることができる。例えば、「画像」は、画素を含む2Dデジタル画像またはボクセルを含む3Dデジタル画像とすることができる。そのような例では、画像内の画素またはボクセルのそれぞれは、強度または階調を示すことができる。他の例では、「画像」は、1Dまたは2Dスペクトルとすることができる。
本明細書に記載された様々な実施形態および実施例では、「ANNモデル」は、ANNを備えることができ、ここで、ANNの動作は、入力データおよび出力データの解像度に依存しない。換言すれば、ANNモデルは、異なる解像度を有する入力データを処理し、異なる解像度を有するデータを出力することが可能なANNを備えることができる。
上述した態様にかかる方法は、ANNモデルを訓練するための目標解像度を有する画像を使用せずに、ANNモデルに入力される画像よりも高い目標解像度(例えば、第3の解像度)を有する画像を生成することができる。さらに、ANNモデルの使用は、ニアレストネイバー補間またはバイキュービック補間などの既知のヒューリスティック方法を使用する場合と比較して、目標解像度を有する取得された画像の品質を改善することができる。
上述した態様にかかる方法では、ANNモデルは、畳み込みニューラルネットワークを含むことができる。
さらに、上述した態様にかかる方法では、ANNモデルは、
入力画像を処理して、入力画像よりも高解像度の出力画像を出力する第1のANNを備える生成器と、
第1のANNからの所望の出力と考えられる実画像から第1のANNによって生成された画像を識別するための第2のANNを備える識別器と、を備えることができ、
ANNモデルが、
訓練データを使用して、入力画像から、入力画像よりも高解像度の出力画像を生成するように生成器を訓練することと、
訓練された生成器から出力された画像と、複数の第1の画像のうちの少なくともいくつかとを使用して、第2のANNに入力された画像が、
訓練された生成器から出力される画像、または
複数の第1の画像のうちの1つ、であるかどうかを決定するように、識別器を訓練することと、
生成器および識別器をさらに訓練することであって、
訓練された識別器からの出力を使用して、第2のANNの誤り率を増加させるように第1のANNのパラメータ値を更新することと、
訓練された生成器からの出力を使用して、第2のANNの誤り率を低減させるように第2のANNのパラメータ値を更新することと、を反復することによって生成器および識別器をさらに訓練することと、によって訓練されることができる。
入力画像を処理して、入力画像よりも高解像度の出力画像を出力する第1のANNを備える生成器と、
第1のANNからの所望の出力と考えられる実画像から第1のANNによって生成された画像を識別するための第2のANNを備える識別器と、を備えることができ、
ANNモデルが、
訓練データを使用して、入力画像から、入力画像よりも高解像度の出力画像を生成するように生成器を訓練することと、
訓練された生成器から出力された画像と、複数の第1の画像のうちの少なくともいくつかとを使用して、第2のANNに入力された画像が、
訓練された生成器から出力される画像、または
複数の第1の画像のうちの1つ、であるかどうかを決定するように、識別器を訓練することと、
生成器および識別器をさらに訓練することであって、
訓練された識別器からの出力を使用して、第2のANNの誤り率を増加させるように第1のANNのパラメータ値を更新することと、
訓練された生成器からの出力を使用して、第2のANNの誤り率を低減させるように第2のANNのパラメータ値を更新することと、を反復することによって生成器および識別器をさらに訓練することと、によって訓練されることができる。
本開示では、ANNの「パラメータ値」という用語は、ANNにおいて実行される動作において使用されるパラメータの値として理解されることができる。例えば、「パラメータ値」は、ANN内のノード間の接続の重みの値を含むことができる。
ANNモデルが生成器および識別器を備える例示的な実施形態では、第1のANNおよび/または第2のANNは、畳み込みニューラルネットワークとすることができる。
さらに、ANNモデルが生成器および識別器を備える例示的な実施形態では、本方法は、さらに、
生成器を訓練するステップによって取得された第1のANNのパラメータ値と、
生成器および識別器をさらに訓練するステップによって取得された第1のANNの更新されたパラメータ値と、の間の加重平均値を計算することを含むことができ、
加重平均値をパラメータ値として有する第1のANNは、少なくとも1つの出力画像を取得するための訓練されたANNモデルとして使用されることができる。
生成器を訓練するステップによって取得された第1のANNのパラメータ値と、
生成器および識別器をさらに訓練するステップによって取得された第1のANNの更新されたパラメータ値と、の間の加重平均値を計算することを含むことができ、
加重平均値をパラメータ値として有する第1のANNは、少なくとも1つの出力画像を取得するための訓練されたANNモデルとして使用されることができる。
さらに、上述した態様およびその様々な実施形態による方法のいずれか1つは、さらに、
複数の第1の画像のダウンサンプリングの前に複数の第1の画像に画像増強前処理ステップを適用することを含むことができ、
画像増強前処理ステップは、
ぼかし、
画素ごとのノイズの付加、
非合焦歪みの適用、
動きぼけの適用、のうちの1つ以上を含むことができる。
複数の第1の画像のダウンサンプリングの前に複数の第1の画像に画像増強前処理ステップを適用することを含むことができ、
画像増強前処理ステップは、
ぼかし、
画素ごとのノイズの付加、
非合焦歪みの適用、
動きぼけの適用、のうちの1つ以上を含むことができる。
画像増強前処理ステップを実行することは、画像解像度をロバストに高めるようにANNモデルの能力を高めることができる。
さらに、上述した態様およびその様々な実施形態のいずれか1つにかかる方法では、第1の解像度は、第2の解像度よりもスケーリングファクタ(S)だけ高くすることができ、第3の解像度は、第1の解像度よりもスケーリングファクタ(S)だけ高くすることができる。
本明細書に記載の様々な態様および実施形態では、スケーリングファクタ(S)は、1.0よりも大きい値を有する実数とすることができる。いくつかの例示的な実施形態では、スケーリングファクタ(S)は、2.0から4.0の間の値とすることができる。さらなる例示的な実施形態では、スケーリングファクタ(S)は、4.0よりも大きい値とすることができる。
本明細書に記載の様々な態様および実施形態では、複数の第1の画像は、細胞の顕微鏡画像を含むことができる。複数の第1の画像が細胞の顕微鏡画像を含む場合、スケーリングファクタ(S)を3.0よりも小さい値に設定することが好ましく、状況によっては2.0以下の値に設定することが好ましい場合がある。
別の態様によれば、コンピュータプログラム製品が提供される。コンピュータプログラム製品は、コンピュータにロードされて実行されると、コンピュータに、上述した態様およびその様々な実施形態のいずれか1つにかかる方法を実行させるコンピュータ可読命令を備える。
さらに別の態様によれば、画像を処理するためのシステムが提供される。システムは、
第1の解像度を有する複数の第1の画像と、入力画像を処理して入力画像よりも高解像度の出力画像を出力するための人工ニューラルネットワークであるANNモデルとを記憶する記憶媒体と、
プロセッサであって、
第2の解像度を有する複数の第2の画像を取得するために複数の第1の画像をダウンサンプリングすることであって、第1の解像度が第2の解像度よりも高く、複数の第2の画像のそれぞれが複数の第1の画像のうちの1つのダウンサンプリングされたバージョンである、ダウンサンプリングすることと、
画像のペアを含む訓練データを使用してANNモデルを訓練することであって、各画像のペアが、
ANNモデルへの入力としての複数の第2の画像のうちの1つ、および
複数の第2の画像のうちの1つがANNモデルに入力された場合にANNモデルから所望の出力として、複数の第2の画像のうちの1つに対応する複数の第1の画像のうちの1つ、を含む、訓練することと、
複数の第1の画像のうちの少なくとも1つを訓練されたANNモデルに入力することと、
訓練されたANNモデルから少なくとも1つの出力画像を取得することであって、少なくとも1つの出力画像が第1の解像度よりも高い第3の解像度を有する、取得することと、を行うように構成されたプロセッサと、を備える。
第1の解像度を有する複数の第1の画像と、入力画像を処理して入力画像よりも高解像度の出力画像を出力するための人工ニューラルネットワークであるANNモデルとを記憶する記憶媒体と、
プロセッサであって、
第2の解像度を有する複数の第2の画像を取得するために複数の第1の画像をダウンサンプリングすることであって、第1の解像度が第2の解像度よりも高く、複数の第2の画像のそれぞれが複数の第1の画像のうちの1つのダウンサンプリングされたバージョンである、ダウンサンプリングすることと、
画像のペアを含む訓練データを使用してANNモデルを訓練することであって、各画像のペアが、
ANNモデルへの入力としての複数の第2の画像のうちの1つ、および
複数の第2の画像のうちの1つがANNモデルに入力された場合にANNモデルから所望の出力として、複数の第2の画像のうちの1つに対応する複数の第1の画像のうちの1つ、を含む、訓練することと、
複数の第1の画像のうちの少なくとも1つを訓練されたANNモデルに入力することと、
訓練されたANNモデルから少なくとも1つの出力画像を取得することであって、少なくとも1つの出力画像が第1の解像度よりも高い第3の解像度を有する、取得することと、を行うように構成されたプロセッサと、を備える。
上述した態様にかかるシステムでは、ANNモデルは、畳み込みニューラルネットワークを含むことができる。
さらに、上述した態様にかかるシステムでは、ANNモデルは、
入力画像を処理して、入力画像よりも高解像度の出力画像を出力する第1のANNを備える生成器と、
第1のANNからの所望の出力と考えられる実画像から第1のANNによって生成された画像を識別するための第2のANNを備える識別器と、を備えることができ、
ANNモデルが、
訓練データを使用して、入力画像から、入力画像よりも高解像度の出力画像を生成するように生成器を訓練することと、
訓練された生成器から出力された画像と、複数の第1の画像のうちの少なくともいくつかとを使用して、第2のANNに入力された画像が、
訓練された生成器から出力される画像、または
複数の第1の画像のうちの1つ、であるかどうかを決定するように、識別器を訓練することと、
生成器および識別器をさらに訓練することであって、
訓練された識別器からの出力を使用して、第2のANNの誤り率を増加させるように第1のANNのパラメータ値を更新することと、
訓練された生成器からの出力を使用して、第2のANNの誤り率を低減させるように第2のANNのパラメータ値を更新することと、を反復することによって生成器および識別器をさらに訓練することと、によって訓練されることができる。
入力画像を処理して、入力画像よりも高解像度の出力画像を出力する第1のANNを備える生成器と、
第1のANNからの所望の出力と考えられる実画像から第1のANNによって生成された画像を識別するための第2のANNを備える識別器と、を備えることができ、
ANNモデルが、
訓練データを使用して、入力画像から、入力画像よりも高解像度の出力画像を生成するように生成器を訓練することと、
訓練された生成器から出力された画像と、複数の第1の画像のうちの少なくともいくつかとを使用して、第2のANNに入力された画像が、
訓練された生成器から出力される画像、または
複数の第1の画像のうちの1つ、であるかどうかを決定するように、識別器を訓練することと、
生成器および識別器をさらに訓練することであって、
訓練された識別器からの出力を使用して、第2のANNの誤り率を増加させるように第1のANNのパラメータ値を更新することと、
訓練された生成器からの出力を使用して、第2のANNの誤り率を低減させるように第2のANNのパラメータ値を更新することと、を反復することによって生成器および識別器をさらに訓練することと、によって訓練されることができる。
さらに、ANNモデルが生成器および識別器を備える場合、プロセッサは、
生成器を訓練するステップによって取得された第1のANNのパラメータ値と、
生成器および識別器をさらに訓練するステップによって取得された第1のANNの更新されたパラメータ値と、の間の加重平均値を計算することを含むことができ、
加重平均値をパラメータ値として有する第1のANNは、少なくとも1つの出力画像を取得するための訓練されたANNモデルとして使用されることができる。
生成器を訓練するステップによって取得された第1のANNのパラメータ値と、
生成器および識別器をさらに訓練するステップによって取得された第1のANNの更新されたパラメータ値と、の間の加重平均値を計算することを含むことができ、
加重平均値をパラメータ値として有する第1のANNは、少なくとも1つの出力画像を取得するための訓練されたANNモデルとして使用されることができる。
上記の態様およびその様々な実施形態のいずれか1つにかかるシステムでは、プロセッサは、
複数の第1の画像のダウンサンプリングの前に複数の第1の画像に画像増強前処理ステップを適用するようにさらに構成されることができ、
画像増強前処理ステップは、
ぼかし、
画素ごとのノイズの付加、
非合焦歪みの適用、
動きぼけの適用、のうちの1つ以上を含むことができる。
複数の第1の画像のダウンサンプリングの前に複数の第1の画像に画像増強前処理ステップを適用するようにさらに構成されることができ、
画像増強前処理ステップは、
ぼかし、
画素ごとのノイズの付加、
非合焦歪みの適用、
動きぼけの適用、のうちの1つ以上を含むことができる。
さらに、上述した態様およびその様々な実施形態のいずれか1つにかかるシステムでは、第1の解像度は、第2の解像度よりもスケーリングファクタ(S)だけ高くすることができ、第3の解像度は、第1の解像度よりもスケーリングファクタ(S)だけ高くすることができる。
上述した態様およびその様々な実施形態のいずれか1つにかかるシステムでは、複数の第1の画像は、細胞の顕微鏡画像を含むことができる。
本出願に記載された主題は、場合によっては1つ以上のコンピュータプログラム製品の形態で、方法またはシステムとして実装されることができる。本出願に記載された主題は、データ信号または機械可読媒体に実装されることができ、媒体は、CD-ROM、DVD-ROM、半導体メモリ、またはハードディスクなどの1つ以上の情報キャリアに具現化される。そのようなコンピュータプログラム製品は、データ処理装置に、本出願に記載されている1つ以上の動作を実行させることができる。
さらに、本出願に記載された主題はまた、プロセッサと、プロセッサに結合されたメモリとを含むシステムとして実装されることもできる。メモリは、本出願に記載されている方法のうちの1つ以上をプロセッサに実行させるために、1つ以上のプログラムを符号化することができる。いくつかの例では、システムは、汎用コンピュータシステムであってもよい。他の例では、システムは、組み込みシステムを含む専用コンピュータシステムであってもよい。
状況によっては、上述した態様のいずれか1つ、ならびに本明細書に記載の様々な実施形態および実施例のいずれか1つは、以下の利点のうちの1つ以上を提供することができる:
-ニアレストネイバー補間またはバイキュービック補間などのヒューリスティック方法と比較して、画像解像度外挿の向上した品質を達成すること、
-既知の深層学習方法による場合のように、訓練プロセスにおいて目標解像度(例えば、高解像度)の画像を使用する必要性を排除すること、
-向上した画像品質を達成することによって、細胞セグメント化などの画像のさらなる処理の改善を促進および/または提供すること。
-ニアレストネイバー補間またはバイキュービック補間などのヒューリスティック方法と比較して、画像解像度外挿の向上した品質を達成すること、
-既知の深層学習方法による場合のように、訓練プロセスにおいて目標解像度(例えば、高解像度)の画像を使用する必要性を排除すること、
-向上した画像品質を達成することによって、細胞セグメント化などの画像のさらなる処理の改善を促進および/または提供すること。
1つ以上の実装の詳細は、以下の例示的な図面および説明に記載されている。他の特徴は、説明、図面、および特許請求の範囲から明らかになるであろう。しかしながら、実施形態を別々に説明したとしても、異なる実施形態の単一の特徴がさらなる実施形態に組み合わせられることができることを理解されたい。
以下では、図面を参照して実施例が詳細に説明される。実施例に様々な変更を加えることができることを理解されたい。特に、1つの実施例の1つ以上の要素が組み合わせられ、他の実施例において使用されて新たな実施例を形成することができる。
以下では、2D画像の処理に関して例示的な実施形態を説明するが、様々な態様および例示的な実施形態は、空間解像度が定義されることができる他のタイプのデータに適用可能であり得ることに留意されたい。他のタイプのデータの例は、3D画像、1Dおよび/または2Dスペクトルなどを含むことができるが、これらに限定されない。
信号品質は、全ての分析にとって重要であり得る。画像解析の文脈では、画像の品質および解像度は、知覚的およびアルゴリズム的の双方で、画像からどの情報を抽出するか、および/または情報を抽出するのがどの程度容易かを定義することができる。例えば、低解像度のぼやけた画像と比較して、高解像度の鮮明な画像の中に何があるかをより容易に見ることができる。したがって、所与の問題のダウンストリーム分析の品質を改善する最も簡単な方法は、分析に使用される信号の品質を向上させることとすることができる。本明細書に記載の様々な態様および例示的な実施形態は、定性的な方法で入力信号の拡張を提供することができる。
ANNは、一般に、画像の解像度を高めるために使用される(例えば、W.Yang,X.Zhang,Y.Tian,W.Wang,およびJ.-H.Xue,「Deep Learning for Single Image Super-Resolution:A Brief Review」,IEEE Trans.Multimed.,pp.1-1,2019;C.Dong,C.C.Loy,K.He,およびX.Tang,「Learning a Deep Convolutional Network for Image Super-Resolution」,2014;B.Lim,S.Son,H.Kim,S.Nah,およびK.M.Lee,「Enhanced Deep Residual Networks for Single Image Super-Resolution」,ArXiv170702921 Cs,Jul.2017を参照されたい)。しかしながら、今日使用されている方法は、低解像度(LR)-HR画像ペアを用いて、または敵対的生成ネットワーク(GAN)(例えば、Y.Yuan,S.Liu,J.Zhang,Y.Zhang,C.Dong,およびL.Lin,「Unsupervised Image Super-Resolution using Cycle-in-Cycle Generative Adversarial Networks」,ArXiv180900437 Cs,Sep.2018を参照されたい)の場合と同じドメインのペア化されていないLRおよびHR画像を提供することによって、ネットワークを訓練するために高解像度画像に依存することが多い。
本明細書に記載の様々な態様および例示的な実施形態は、訓練プロセスに関与するいかなるHR画像も必要とせずに画像の解像度を高めることができる。
図1は、本開示にかかる方法を示す概略概念図を示している。図1に示すステップAを参照すると、いくつかの例示的な実施形態では、オリジナルの解像度(例えば、第1の解像度)を有する画像は、低解像度(例えば、第2の解像度)を有する画像にダウンサンプリングされることができる。以下では、オリジナルの解像度を有する画像はまた、「OR画像」と称され、低解像度を有する画像はまた、「LR画像」と称されることがある。ダウンサンプリングは、例えば、バイキュービック補間によって行われてもよい。続いて、図1に示すステップBを参照すると、ANNモデル40は、LR画像からOR画像を再生するように訓練されることができる。ANNモデル40は、ANN、例えば、画像処理のための畳み込みニューラルネットワーク(CNN)アーキテクチャを備えることができる(例えば、A.Krizhevsky,I.Sutskever,およびG.Hinton,「ImageNet Classification with Deep Convolutional Neural Networks」,Neural Inf.Process.Syst.,vol.25,Jan.2012を参照されたい)。訓練が完了すると、図1のステップCに示すように、LR画像からOR画像へのアップサンプリングから学習された演算を有するANNモデル40が使用されて、OR画像を高解像度(例えば、オリジナルの解像度よりも高い第3の解像度)の画像に拡張することができ、換言すれば、画像解像度をオリジナルの解像度から高解像度に高めることができる。以下、高解像度を有する画像はまた、「HR画像」と称されることがある。
システム構成
図2は、画像処理のための例示的なシステムの概略図を示している。図2に示す例示的なシステムは、イメージングシステム10と、コンピューティングデバイス20と、データ記憶デバイス30とを備える。
図2は、画像処理のための例示的なシステムの概略図を示している。図2に示す例示的なシステムは、イメージングシステム10と、コンピューティングデバイス20と、データ記憶デバイス30とを備える。
イメージングシステム10は、画像を捕捉(capture)し、捕捉された画像をコンピューティングシステム20に提供するように構成されることができる。画像は、例えば、1つ以上のシーンの自然画像とすることができる。状況によっては、画像は、細胞の顕微鏡画像であってもよく、この場合、イメージングシステム10は、光学顕微鏡、蛍光顕微鏡または電子顕微鏡などの顕微鏡撮像装置(図示せず)を備えてもよい。
コンピューティングデバイス20は、(a)有線および/または無線通信ネットワークを介してイメージングシステム10に接続されたコンピュータとすることができる。コンピューティングデバイス10は、イメージングシステム10によって捕捉された画像を受信することができる。コンピューティングデバイス20は、本明細書に記載の様々な実施形態および実施例にかかる方法を実行するように構成されることができる。データ記憶デバイス30は、コンピューティングデバイス20によって使用される情報および/またはコンピューティングデバイス20によって生成される情報を記憶することができる。例えば、記憶デバイス30は、本明細書に記載された様々な実施形態および実施例にかかる方法において使用されるANNモデル40(例えば、図1を参照されたい)を記憶することができる。
イメージングシステム10、コンピューティングデバイス20、およびデータ記憶デバイス30は、単一の本体を有する単一のデバイスに組み込まれてもよく、または複数の別個のデバイスによって実装されてもよいことに留意されたい。さらに、コンピューティングデバイス20は、有線および/または無線通信ネットワークを介して互いに接続された複数のコンピュータによって実装されてもよい。
いくつかの例示的な実施形態では、コンピューティングデバイス20は、画像を捕捉したイメージングシステム10から直接処理される画像を必ずしも受信しない。例えば、コンピューティングデバイス20は、イメージングシステム10によって捕捉された画像を記憶するデータベースシステム(図示せず)から捕捉された画像を受信することができる。
教師なし画像拡張
図3は、図2に示すシステムによって実行される例示的なプロセスを示すフローチャートを示している。例示的なプロセスは、図2に示すコンピューティングデバイス20によって実行されることができる。例示的なプロセスは、例えば、コンピューティングデバイス20が入力デバイス(図示せず)を介して、例示的なプロセスを開始するためのユーザからの命令を受信したときに開始することができる。
図3は、図2に示すシステムによって実行される例示的なプロセスを示すフローチャートを示している。例示的なプロセスは、図2に示すコンピューティングデバイス20によって実行されることができる。例示的なプロセスは、例えば、コンピューティングデバイス20が入力デバイス(図示せず)を介して、例示的なプロセスを開始するためのユーザからの命令を受信したときに開始することができる。
ステップS10において、コンピューティングデバイス20は、任意に、OR画像に対して画像増強(image enhancement)前処理を実行することができる。画像増強前処理は、例えば、ぼかし、画素ごとのノイズの付加、非合焦(out-of-focus)歪みの適用、動きぼけの適用などのうちの1つ以上を含むことができる。OR画像は、イメージングシステム10から(直接的または間接的に)提供され、データ記憶デバイス30に記憶されていてもよい。プロセスは、ステップS10の後、ステップS20に進むことができる。ステップS10は、スキップされることができる任意のステップであることに留意されたい。ステップS10がスキップされた場合、プロセスは、ステップS20から開始してもよい。
ステップS20において、コンピューティングデバイス20は、LR画像を取得するために(例えば、上述したようにデータ記憶デバイス30に記憶されている)OR画像をダウンサンプリングすることができる。ダウンサンプリングは、例えば、バイキュービック補間を用いて行うことができる。ステップS20において取得されたLR画像のそれぞれは、OR画像のうちの1つのダウンサンプリングされたバージョンとすることができる。プロセスは、ステップS20の後、ステップS30に進むことができる。
ステップS30において、コンピューティングデバイス20は、ANNモデル、例えば、LR画像およびOR画像を使用、図1および図2に示されたANNモデル40を訓練することができる。ステップS30における訓練のための訓練データは、画像のペアを含むことができ、ここで、各画像のペアは、LR画像のうちの1つがANNモデル40に入力される場合、ANNモデル40への入力としてLR画像のうちの前記1つ、およびANNモデル40からの所望の出力としてOR画像のうちの対応する1つを含むことができる。
図4は、図3のステップS30における訓練のより詳細なプロセスの例を示すフローチャートを示している。コンピューティングデバイス20が図3のステップS30の実行を開始すると、図4の例示的なプロセスが開始されることができる。
図4を参照すると、ステップS300において、オリジナルの解像度を有する出力画像を取得するために、訓練データからのLR画像が、ANNモデル40のANNに入力されることができる。ステップS300の後、プロセスは、ステップS302に進むことができる。
ステップS302において、コンピューティングデバイス20は、出力画像が対応するOR画像からどれだけ離れているかを計算することができる。このメトリックは、例えば、画素ごとの平均絶対誤差(MAE)または平均二乗誤差(MSE)を用いて計算されることができる。このメトリックは、深層学習の分野では「損失」と呼ばれることがある。ステップS302の後、プロセスは、ステップS304に進むことができる。
ステップS304において、コンピューティングデバイス20は、ANN出力画像とオリジナルのOR画像との間の差分を最小化するように、ANNの重みを更新することができる。換言すれば、ステップS302において計算された損失を最小化するように、ANNの重みが更新されることができる。より具体的には、例えば、重みの更新は、ANN出力画像とオリジナルのOR画像との間の差を最小化するために、現在のネットワーク重み、活性化、および計算された損失に関して勾配降下(例えば、確率的、バッチまたはミニバッチの勾配が適切)の変形および逆伝播アルゴリズムを使用して実行されることができる。
ステップS304の後、コンピューティングデバイス20は、ステップS306において、訓練プロセスを終了するか否かを決定することができる。例えば、ステップS306の決定は、訓練ステップS300、S302、およびS304の反復が指定された数に到達したか否かに基づくことができる。代替的または追加的に、ステップS306における決定は、ANNの損失が収束したか否かに基づくものであってもよい。指定された反復回数に到達し、および/またはANNの損失が収束した場合、コンピューティングデバイス20は、訓練プロセスを終了することを決定することができる。そうでない場合、コンピューティングデバイス20は、訓練プロセスの実行を継続することを決定することができる。
コンピューティングデバイス20が訓練プロセスを継続すると決定した場合(ステップS306においていいえ)、プロセスは、ステップS300に戻ることができる。コンピューティングデバイス20は、訓練処理を終了すると決定した場合(ステップS306においてはい)、図4に示すプロセスは、終了することができる。
図4に示す訓練プロセスが終了した後、図3のステップS30は終了することができ、コンピューティングデバイス20は、図3のステップS40の実行に進むことができる。
再び図3を参照すると、ステップS40において、コンピューティングデバイス20は、(例えば、データ記憶デバイス30に記憶される)OR画像のうちの少なくとも1つを、訓練されたANNモデル40に入力することができる。OR画像のうちの少なくとも1つは、ANNモデル40によってオリジナルの解像度よりも高い目標解像度に拡張され、OR画像のうちの少なくとも1つに対応する少なくとも1つのHR画像は、ANNモデル40から出力されることができる。
ステップS50において、コンピューティングデバイス20は、訓練されたANNモデルから少なくとも1つのHR画像を取得することができる。訓練されたANNモデルから出力されたHR画像は、ANNモデルに入力されたOR画像と比較して、高品質(例えば、解像度)を有することができる。
図3に示すプロセスは、ステップS50の後に終了することができる。
図3に示す例示的なプロセスでは、ステップS10およびS20は、図1のステップAに対応することができ、ステップS30は、図1のステップBに対応することができる。さらに、図3のステップS40およびS50は、図1のステップCに対応することができる。
いくつかの例示的な実施形態では、ANNモデル40は、敵対的生成ネットワーク(GAN)方法論(例えば、https://arxiv.org/abs/1406.2661においてオンラインで入手可能な、Goodfellow,Ian;Pouget-Abadie,Jean;Mirza,Mehdi;Xu,Bing;Warde-Farley,David;Ozair,Sherjil;Courville,Aaron;Bengio,Yoshua,「Generative Adversarial Networks」,Proceedings of the International Conference on Neural Information Processing Systems(NIPS 2014).pp.2672-2680.を参照されたい)にしたがって構成および訓練されることができる。そのような例示的な実施形態では、ANNモデル40は、図5および図6を参照して以下に記載されるように構成および訓練されることができる。
図5は、GAN方法論がANNモデル40のために適用される、例示的な実施形態におけるANNモデル40の例示的な構成を示している。
図5を参照すると、ANNモデル40は、第1のANN420を有する生成器42と、第2のANN440を有する識別器44とを備えることができる。
生成器42の第1のANN420は、入力画像を処理し、入力画像よりも高解像度の出力画像を出力するためのものとすることができる。第1のANN420は、CNNとすることができ、図4に示す例示的な訓練プロセスと同じ方法で訓練されることができる。
識別器44の第2のANN440は、第1のANN420からの所望の出力と考えられる実画像から第1のANN420によって生成された画像を識別するためのものとすることができる。換言すれば、第2のANN440を有する識別器44の目的は、識別器44に供給される入力が現実であるか合成であるかを分類することとすることができる。第2のANN440は、CNNとすることができる。
図5から分かるように、LR画像が、生成器42に入力され、第1のANN420によって処理され、次いでOR画像が、生成器42から出力されることができる。生成器42から出力されたこれらのOR画像およびオリジナルのOR画像、換言すれば、ダウンサンプリングによってLR画像が生成されたOR画像は、識別器44への入力が生成器42からの出力であるかオリジナルのOR画像であるかを決定するために識別器44を訓練するために使用されることができる。
図6は、生成器42および識別器44を備えるANNモデル40の例示的な訓練プロセスのフローチャートを示している。図6に示すプロセスは、例えば、図3に示す訓練ステップS30の一部としてコンピューティングデバイス20によって実行されることができる。さらに、状況によっては、生成器42は、図6に示す例示的なプロセスを開始する前に、図4に示す例示的なプロセスによって訓練されてもよい。
図6を参照すると、ステップS310において、コンピューティングデバイスは、生成器42からの出力とオリジナルのOR画像とを識別するように識別器44を事前訓練することができる。例えば、生成器42から出力されたOR画像と、OR画像を取得するために生成器42に入力されたLR画像に対応するオリジナルのOR画像とが、ステップS310における事前訓練のための訓練データとして使用されることができる(図5も参照されたい)。ステップS310の後、プロセスは、ステップS312に進むことができる。
ステップS312において、コンピューティングデバイス20は、訓練された識別器44からの出力を使用して、生成器42の第1のANN420のパラメータ値を更新して、識別器44の第2のANN440の誤り率を増加させることができる。換言すれば、第1のANN420のパラメータ値は、識別器44をより正確でなくするように更新されることができる。ステップS312の後、プロセスは、ステップS314に進むことができる。
ステップS314において、コンピューティングデバイス20は、(ステップS312における更新されたパラメータ値を用いて)訓練された生成器42からの出力を使用して、第2のANN440の誤り率を低減するために、識別器44の第2のANN440のパラメータ値を更新することができる。換言すれば、第2のANN440のパラメータ値は、生成器42が、識別器44がオリジナルの画像から識別することができない出力を生成することをより困難にするように更新されることができる。ステップS314の後、プロセスは、ステップS316に進むことができる。
ステップS316において、コンピューティングデバイス20は、訓練プロセスを終了するか否かを決定することができる。例えば、コンピューティングデバイス20は、訓練プロセスを終了するための1つ以上の条件が満たされているか否かを決定することができる。1つ以上の条件は、例えば、更新ステップS312およびS314が指定された回数反復されたかどうか、更新ステップS312および/またはS314に使用されるメトリックが収束したかどうかなどを含むことができる。代替的または追加的に、状況によっては、1つ以上の条件は、更新ステップS312および/またはS314に使用されるメトリック以外の二次メトリック、例えばピーク信号対雑音比(PSNR)の収束を含んでもよい。訓練プロセスを終了するための1つ以上の条件が満たされた場合、コンピューティングデバイス20は、訓練プロセスを終了することを決定することができる。そうでない場合、コンピューティングデバイス20は、訓練プロセスを継続することを決定することができる。
コンピューティングデバイス20が訓練プロセスを継続すると決定した場合(ステップS316においていいえ)、プロセスは、ステップS312に戻り、更新ステップS312およびS314が繰り返されることができる。コンピューティングデバイス20が訓練プロセスを終了すると決定した場合(ステップS316においてはい)、プロセスは、ステップS318に進むことができる。
ステップS318において、コンピューティングデバイス20は、任意に、コンピューティングデバイス20がステップS316において訓練プロセスを終了すると決定した後に、S310において使用された訓練された生成器42のパラメータ値と生成器42の更新されたパラメータ値との間の加重平均値を計算することができる。算出された加重平均値を有する第1のANN420は、OR画像からHR画像を生成するためのANNモデル40として使用されることができる。ステップS318は、スキップされることができる任意のステップであることに留意されたい。
ステップS316においてはいと決定された後、またはステップS318の後、図6に示すプロセスは、終了することができる。
ANNモデル40が図6に示す例示的なプロセスにおいて訓練される例示的な実施形態では、図6の訓練プロセスを実行した結果としてのパラメータ値を有する生成器42の第1のANN420が、OR画像からHR画像を生成するためのANNモデル40のANNとして使用されることができる(例えば、図3のステップS50も参照されたい)。
図5および図6を参照して上述したようなGAN方法論にかかる例示的な実施形態では、生成器420の第1のANN420は、例えば図4に示すような訓練プロセスによって訓練された後、図6に示す訓練プロセスによってさらに微調整されることが理解されよう。
先に図1から図6を参照して説明したような画像拡張プロセスは、目標解像度を有するHR画像がANNモデル40を訓練するために必要とされないという意味で、教師なしおよび/または自己教師あり方法とみなすことができる。
実験
以下は、本開示にかかる方法のために本発明者らによって行われた実験の設定および結果を提供する。実験では、ANNモデルが異なる解像度スケール(2倍、3倍および4倍)で訓練され、異なるダウンサンプリング法が試験された。
以下は、本開示にかかる方法のために本発明者らによって行われた実験の設定および結果を提供する。実験では、ANNモデルが異なる解像度スケール(2倍、3倍および4倍)で訓練され、異なるダウンサンプリング法が試験された。
a)データセット
2つの異なるデータセットを実験に使用した:
-DIV2Kデータセットからの900からなる自然画像データセット(例えば、R.Timofte,S.Gu,L.Van Gool,L.Zhang,およびM.-H.Yang,「NTIRE 2018 Challenge on Single Image Super-Resolution:Methods and Results」,in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops(CVPRW),Jun.2018,pp.965-96511,doi:10.1109/CVPRW.2018.00130;E.Agustsson およびR.Timofte」,NTIRE 2017 Challenge on Single Image Super-Resolution:Dataset and Study」,in 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops(CVPRW),Honolulu,HI,USA,Jul.2017,pp.1122-1131,doi:10.1109/CVPRW.2017.150を参照されたい)、および
-IncuCyte(登録商標)S3によって10倍の倍率で捕捉された3816枚の画像を有する細胞顕微鏡画像データセット。
2つの異なるデータセットを実験に使用した:
-DIV2Kデータセットからの900からなる自然画像データセット(例えば、R.Timofte,S.Gu,L.Van Gool,L.Zhang,およびM.-H.Yang,「NTIRE 2018 Challenge on Single Image Super-Resolution:Methods and Results」,in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops(CVPRW),Jun.2018,pp.965-96511,doi:10.1109/CVPRW.2018.00130;E.Agustsson およびR.Timofte」,NTIRE 2017 Challenge on Single Image Super-Resolution:Dataset and Study」,in 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops(CVPRW),Honolulu,HI,USA,Jul.2017,pp.1122-1131,doi:10.1109/CVPRW.2017.150を参照されたい)、および
-IncuCyte(登録商標)S3によって10倍の倍率で捕捉された3816枚の画像を有する細胞顕微鏡画像データセット。
DIV2Kデータセットを750枚の訓練画像、50枚の検証画像および100枚の試験画像に分割した。細胞顕微鏡法画像データセットを2124枚の訓練画像、531枚の検証画像および1160枚の試験画像に分割した。
b)実験設定
実験設定は、2つのデータセット、自然画像データセットおよび細胞顕微鏡画像データセットについて異なっていた。一般的なワークフローでは、実際のHR画像にアクセスすることなくOR画像を高解像度(HR)に改善する目的で、オリジナルの解像度(OR)の画像が利用可能であると仮定した。ORからHRへの解像度向上の大きさがスケーリングファクタSによって表される場合、Sのファクタによる同等のダウンスケーリング(換言すれば、ダウンサンプリング)がOR画像に対して行われてLR画像が取得された。ANNモデルは、LR画像からOR画像を再作成するように訓練され、次いでOR画像内のデータをHRに外挿するために使用された。
実験設定は、2つのデータセット、自然画像データセットおよび細胞顕微鏡画像データセットについて異なっていた。一般的なワークフローでは、実際のHR画像にアクセスすることなくOR画像を高解像度(HR)に改善する目的で、オリジナルの解像度(OR)の画像が利用可能であると仮定した。ORからHRへの解像度向上の大きさがスケーリングファクタSによって表される場合、Sのファクタによる同等のダウンスケーリング(換言すれば、ダウンサンプリング)がOR画像に対して行われてLR画像が取得された。ANNモデルは、LR画像からOR画像を再作成するように訓練され、次いでOR画像内のデータをHRに外挿するために使用された。
細胞顕微鏡法画像データセットについて、3つのANNモデルを訓練し、外挿ステップをバイキュービック補間(BI)アップスケーリングと比較した。ANNモデルは、LR生成のためのニアレストネイバー(NN)ダウンスケーリングを用いて、2倍、3倍、および4倍のスケーリングファクタによって訓練された。
自然画像(DIV2K)については、僅かに異なる手法がとられた。オリジナルの画像をOR解像度として使用する代わりに、DIV2Kデータセットのオリジナルの画像をBIによってダウンスケールして、ダウンスケールORデータセットを作成した。ダウンスケールされたOR画像は、ANNモデルを訓練するためのOR画像として使用された。ANNモデルが完全に訓練されると、ANNモデルを使用して、ダウンスケールされたOR試験画像をHR画像にアップスケールした。ANNモデルから出力された外挿されたHR画像と、DIV2Kデータセットのオリジナルの画像であるグラウンドトゥルースHR画像との間で、ピーク信号対ノイズ比(PSNR)および平均絶対誤差(MAE)を計算した。この評価方法は、同等のメトリックを得る可能性を生み出すことができる。しかしながら、LR画像のための情報損失は、スケーリングファクタSが増加するにつれて大きくなることがあり、これは、ANNモデルを訓練することをより困難にすることがある。オリジナルの画像が目標解像度HRを有する画像とみなされる場合、訓練入力画像の低解像度LRは、LR=HR/S2とすることができる。したがって、解像度を4倍増加させるANNモデルのLR画像を得るためには、オリジナルの画像を16倍ダウンスケールしなければならなかった。
実験におけるANNモデルのアーキテクチャとして、拡張深層超解像ネットワーク(EDSR)と呼ばれるResNetネットワークを採用した(例えば、https://arxiv.org/abs/1707.02921においてオンラインで入手可能な、B.Lim,S.Son,H.Kim,S.Nah,およびK.M.Lee,「Enhanced Deep Residual Networks for Single Image Super-Resolution」,July 2017を参照されたい)。
図7は、スケーリングファクタS=3を用いたANNモデルのための異なる解像度の例示的な視覚化を示している。より具体的には、図7は、画像解像度を3倍増加させるANNモデルを有する自然画像を用いた訓練および評価ステップの例示的な視覚化を示している。オリジナルのHR画像は、シミュレートされたOR画像にダウンスケールされ、訓練目的のためにLR画像にさらにダウンスケールされた。
DIV2K画像データセットについて、スケーリングファクタS=2、3、および4のそれぞれについて、BIダウンスケーリングを伴う1つのANNモデルおよびNNダウンスケーリングを伴う1つのANNモデルの6つの異なる実験を実行した。さらに、スケーリングファクタとダウンスケーリング方法との各組み合わせについて、50エポック後にANNモデルの非収束バージョンが保存され、合計12のANNモデルが得られた。
全ての実験において、ANNモデルは、Adamオプティマイザ(例えば、D.P.KingmaおよびJ.Ba,「Adam:A method for stochastic optimization」,ArXiv Prepr.ArXiv14126980,2014を参照のこと)を使用してMAE損失を最小限に抑えながら、2e-4の学習率で1000エポックについて訓練された。細胞顕微鏡法データセットの場合、ANNモデルは、5のバッチサイズを使用し、DIV2K画像データセットの場合、ANNモデルは、12のバッチサイズを使用した。
c)結果
表1は、本開示にかかるANNモデルのピーク信号対雑音比(PSNR)の結果、ならびに非収束モデルおよび既知のヒューリスティック方法、BIおよびNNの比較例を示している。表1では、ANNモデルおよび非収束モデルに対するBIおよびNNの指示はダウンスケーリング方法を表し、ヒューリスティック方法におけるBIおよびNNの指示はアップスケーリング方法を表す。表1における「非収束モデル」という用語は、50エポックについて訓練されたANNモデルの非収束バージョンとして理解されるべきである。PSNRは、外挿された高解像度画像と対応するグラウンドトゥルース画像との間で計算された。
表1は、本開示にかかるANNモデルのピーク信号対雑音比(PSNR)の結果、ならびに非収束モデルおよび既知のヒューリスティック方法、BIおよびNNの比較例を示している。表1では、ANNモデルおよび非収束モデルに対するBIおよびNNの指示はダウンスケーリング方法を表し、ヒューリスティック方法におけるBIおよびNNの指示はアップスケーリング方法を表す。表1における「非収束モデル」という用語は、50エポックについて訓練されたANNモデルの非収束バージョンとして理解されるべきである。PSNRは、外挿された高解像度画像と対応するグラウンドトゥルース画像との間で計算された。
表1から分かるように、PSNR(高ければ高いほど良い)に関して、本開示にかかるANNモデルは、既知のヒューリスティック方法、BIおよびNN、ならびに非収束モデルよりも優れている。しかしながら、どのダウンスケーリング方法が使用されるかに起因して、完全に収束したモデル間に明確な違いはないように思われる。以下の表2に示す平均絶対誤差(MAE)メトリックの結果も同じパターンに従う。
表2は、本開示にかかるANNモデルのMAE比較、ならびに非収束モデルおよび既知のヒューリスティック方法、BIおよびNNの比較例を示している。誤差は、外挿された高解像度画像と対応するグラウンドトゥルース画像との間の平均絶対画素差として計算された。また、表2において、ANNモデルおよび非収束モデルに対するBIおよびNNの指示はダウンスケーリング方法を表し、ヒューリスティック方法におけるBIおよびNNの指示はアップスケーリング方法を表す。さらに、表2における「非収束モデル」という用語は、50エポックについて訓練されたANNモデルの非収束バージョンとして理解されるべきである。
図8は、本開示にかかるANNモデルから取得された画像とバイキュービック補間(BI)によって取得された画像とを比較するための自然画像の例を示している。図8は、2倍、3倍および4倍の解像度向上(図8の画像行に対応する)で訓練されたANNモデルからの例示的な出力を示している。図8において、列(a)の画像は入力画像であり、列(b)はANNモデルからの出力画像であり、列(c)はグラウンドトゥルース画像であり、列(d)はBIアップスケーリングを伴う結果画像である。ANNモデルは、図8の(a)列に示す入力画像をOR入力画像とし、それぞれのスケーリングファクタによって解像度をHRまで上げた。BIアップスケーリングと比較して、ANNモデルの出力画像はより鮮明に見え、したがってグラウンドトゥルース画像によりよく似ている。入力解像度が低下すると、グラウンドトゥルースHR画像を再作成する能力も低下する。
図9は、本開示にかかるANNモデルから取得された画像とバイキュービック補間によって取得された画像とを比較するための細胞画像の例を示している。図9の画像行は、2倍、3倍、および4倍(換言すれば、スケーリングファクタ2、3、および4)の解像度の増加に対応する。図9において、(a)列の画像は入力画像を示し、(b)列はANNモデルからの出力画像を示し、(c)列は比較例としてBIアップスケーリングによってアップスケーリングされた画像を示している。
図9から分かるように、入力画像と比較して2倍の解像度向上およびBIによる解像度向上を使用した場合、ANNモデルでは細胞顕微鏡画像の品質が明らかに改善された。しかしながら、解像度が3倍および4倍に増加するにつれて、ANNモデル出力の品質は改善されず、むしろその逆であった。解像度が3倍および4倍増加したANNモデルは、依然として細胞境界を捕捉することができた。
図10は、本開示にかかるANNモデルを訓練する際の細胞画像の例を示している。具体的には、図10は、より低い解像度を有する画像からより高い目標解像度を有する画像を再作成するための異なるANNモデルの能力を示している。ANNモデルは、2倍、3倍および4倍の解像度増加(図10の画像行に対応する)において訓練され、ANNモデルからの出力画像(図10の(b)列を参照されたい)は、目標画像(列(c)、グラウンドトゥルースを参照されたい)および入力画像(図10の(a)列を参照されたい)から導出されたバイキュービック補間アップスケーリング(図10の(d)列を参照されたい)によって取得された画像と比較して見ることができる。
図10から、ANNモデル(LRからOR)の訓練により、LR画像は、3倍および4sの設定において鋭い情報損失を被るように見える。グラウンドトゥルース画像の詳細の多くは、そのLR対応部分に欠けている。この設定では、再作成は、BIよりもさらにはるかに良好であった。
生細胞イメージングへの応用
生細胞イメージングでは、正確な決定を行うために画像品質が重要であり得る。しかしながら、解像度を高めるためには、多くの場合、ズームインによって視野(FOV)を縮小する必要がある。理想的には、機器は、広い視野で高解像度を捕捉する。しかしながら、機器のスループット、ハードウェアの制限、ハードドライブのストレージの制限などに及ぶ様々な制限のために、これは実現可能ではない場合がある。
生細胞イメージングでは、正確な決定を行うために画像品質が重要であり得る。しかしながら、解像度を高めるためには、多くの場合、ズームインによって視野(FOV)を縮小する必要がある。理想的には、機器は、広い視野で高解像度を捕捉する。しかしながら、機器のスループット、ハードウェアの制限、ハードドライブのストレージの制限などに及ぶ様々な制限のために、これは実現可能ではない場合がある。
したがって、より高い倍率での画像取得は、より鮮明でより詳細な画像をもたらすことができ、一方、より低い倍率は、FOV内で多数の細胞を捕捉することを可能にすることができる。倍率が大きくなるにつれて、図11に示すように、FOV内の細胞数は減少する。
実効解像度を上げることにより、FOV内の細胞数を犠牲にすることなく、より詳細な画像が取得されることができる。したがって、稀な細胞事象が捕捉される可能性がより高くなることができ、集団研究全体の統計的関連性が増大することができる。(例えば、より多くの高倍率画像を取得し、それらを組み合わせることによって)これを従来の方法で複製することは、時間がかかり、面倒な作業であり得て、光毒性(phototoxicity)の増加により細胞を損傷する可能性がある。
20倍で取得された画像に本開示にかかる方法を適用することは、細胞レベルで画像を改善することができる。細胞エッジの解像度が高められることができ、これは、より正確な細胞分割を可能にすることができ、例えば、細胞内特徴は、生物学的構造を反映して質感および透明度を向上させることができる。20倍画像における細胞内プロセスの正確な無標識定量化はまだ可能ではないが、画像品質を改善することによって、核などの細胞内オルガネラがより明確に視覚化されることができる。さらに、質感、周囲、立体性の特徴がより正確に定量化されることができる。これは、内容物を細胞質に放出する前に、核が拡大して形状を変化させるプロセスであるNETosisを受けている細胞の拡張された画像を示す図12によって実証される。
図12は、NETosisを受けている好中球様細胞を示している。図12の上の画像行は、0から90分まで20倍で取得された画像を示し(列(a)、(b)、(c)および(d))、図12の下の画像行は、本開示にしたがって訓練されたANNモデルを使用して処理された同じ画像を示している。図12から分かるように、0分の処理画像は、このタイプの細胞と一致して、より目に見える輪郭を有し、細胞内容物は増加した質感を有する。換言すれば、細胞内の可視質感、外側の細胞境界および細胞形状は、0分の処理画像においてより明確である。30分で、核は拡大しており、これもまた処理画像においてより顕著である。例えば、30分の処理画像では、外側の細胞境界がより明確であり、DNA脱凝縮の生物学的過程を反映して核がより顕著である。60分および90分で、処理された画像は、核がその内容物を細胞質およびはるかに明確な細胞境界に排出した領域においてより良好な質感を再び示す。例えば、60分の処理画像では、細胞内の質感がより見えやすく、細胞輪郭がより明瞭である。さらに、90分の処理画像では、外側の細胞境界がより明確であり、質感および細胞内容物が見え、細胞の形状がより明確である。
生細胞イメージングに関するさらなる実験
以下は、画像が標準的な品質で取得され、次いで本開示にかかるANNモデルを使用してインシリコで拡大される例示的なワークフローを提供する。
以下は、画像が標準的な品質で取得され、次いで本開示にかかるANNモデルを使用してインシリコで拡大される例示的なワークフローを提供する。
これらの実験では、細胞培養物の10倍の倍率での位相差顕微鏡画像のデータセットが、Essen Instruments/Inc.dba Essen Bioscience,Inc.によって提供された。データセットは、IncuCyte(登録商標)S3から得られた画像からなり、以下の7つの異なる細胞型からなっていた:
・A549
・HeLa
・HT1080
・HUVEC
・Jurkat
・MDAMB231
・PC3
・SKOV3
・A549
・HeLa
・HT1080
・HUVEC
・Jurkat
・MDAMB231
・PC3
・SKOV3
データセットは1746枚の画像からなり、訓練データセット、検証データセット、および試験データセットに分割された。訓練データは、全ての細胞タイプからの1037枚の画像からなり、検証データは259枚の画像を有した。試験データは、全ての細胞培養物からの450枚の画像からなり、いくつかの画像は同じウェルに由来するが、訓練および検証データセットにおいてウェルから分離された。
B.Lim,S.Son,H.Kim,S.Nah,およびK.M.Lee,「Enhanced Deep Residual Networks for Single Image Super-Resolution」,ArXiv1707.02921 Cs,Jul.2017(https://arxiv.org/abs/1707.02921においてオンラインで入手可能)において使用されるようなResNetアーキテクチャを有するCNNを、訓練画像のパッチを取得し、次いで、バイキュービック補間を用いて画像パッチを解像度の半分にダウンサンプリングし、次いで、オリジナルの画像パッチを再作成してネットワークにタスクを依頼することによって訓練した。これは、2000エポック、バッチサイズ20、学習率0.0001のAdamオプティマイザによって行われた。画素平均絶対誤差(MAE)を損失関数として使用し、ネットワークをMAE、ピーク信号対雑音比(PSNR)、および検証データ上の画像品質の目視検査の双方で評価した。
ネットワークが完全に訓練されると、最も高いMAEおよびPSNRを有するモデルを選択し、一般化可能性を保証するために試験データに対してさらに検証した。この最後のステップでは、ダウンサンプリングされた訓練画像および検証画像の代わりにオリジナルの画像を入力として取り込むようにネットワークを修正した。したがって、試験画像の解像度を10倍から20倍に増加させ、次いで、これらのHR画像をバイキュービック補間およびニアレストネイバー補間を使用して試験セットからアップサンプリングした画像と比較した。目視検査は、本発明者らのモデルによって生成された20倍画像において、比較したものよりも高い忠実度を示した。
図13および図14は、オリジナルの画像(図13の(a)および図14の(d)を参照されたい)、ニアレストネイバー補間(図13および図14の(c)を参照されたい)、およびバイキュービック補間(図13の(d)および図14の(a)を参照されたい)と比較した、本開示にかかるANNモデル(図13および図14の(b)を参照されたい)にかかる画像拡張の画像比較を示している。
可能なさらなる実装
図を参照して上述した実験結果から分かるように、例えば、図9および図10に示すように、LRへの情報損失が大きすぎる場合、本開示にかかるANNモデルは、目標解像度(例えば、HR)によって画像のより細かい詳細を再構成する方法を学習することができない可能性がある。この問題は、モデルがマッピングを直接学習することができるLR-HRペアに実際にアクセスする場合に同じ方法で発生しない。
図を参照して上述した実験結果から分かるように、例えば、図9および図10に示すように、LRへの情報損失が大きすぎる場合、本開示にかかるANNモデルは、目標解像度(例えば、HR)によって画像のより細かい詳細を再構成する方法を学習することができない可能性がある。この問題は、モデルがマッピングを直接学習することができるLR-HRペアに実際にアクセスする場合に同じ方法で発生しない。
これに関して、より高い解像度の向上を達成するための本開示の1つの可能な実装は、実際のHR画像上でモデルを後で微調整するための事前訓練手法として本開示にかかる方法を使用することとすることができる。可能な実装の利点は、必要とされるHR画像の量が事前訓練なしよりも少なくなり得ることとすることができる。
状況によっては、LRへの情報損失はまた、モデルが学習したい重要な特徴の情報が保持されるようにダウンスケールする代替方法によって幾分緩和されることができる。重要性は、必ずしも実際のLR画像がどのように見えるかに対する正確な複製を有することではなく、むしろそのような重要な特徴の情報を保持することとすることができる。したがって、例えば、上述したようにBIまたはNNを用いてOR画像をダウンスケールする代わりに、OR画像をLR画像にダウンスケールするためにさらなるANNが使用および訓練され、次いで、LR画像からOR画像を復元するために本開示にかかるANNモデルを訓練することができる。OR画像をダウンスケールするためのさらなるANNは、本開示にかかるANNモデルのアップスケーリングタスクにおいて使用される情報を保存するように訓練されることができる。
本開示にかかるANNモデルは、3倍および4倍の解像度増加を伴う細胞顕微鏡画像よりも自然画像においてかなり良好であると思われる。これは、モデルが細胞顕微鏡画像よりも自然画像で再構築するようにピックアップして学習することができる特徴が多いためである可能性がある。自然画像は、典型的には、大部分が大きい質感を有する比較的少数のオブジェクトを含むのに対して、細胞画像は、解像度が低下しすぎると大部分が消失する多数の小さいオブジェクトを含むことが多い。これは、ダウンサンプリングステップにおいて情報をそのままに保つことの重要性の考えをさらに支持することができる。
ハードウェア構成
図15は、上述したシステムの少なくとも一部を実装するために使用されることができるコンピュータの例示的なハードウェア構成を示している。例えば、図1に示すコンピューティングデバイス20は、図15に示すコンピュータ7によって実現されることができる。図15に示されるコンピュータ7は、中央処理装置(CPU)70と、システムメモリ72と、ネットワークインターフェース74と、ハードディスクドライブ(HDD)インターフェース76と、外部ディスクドライブインターフェース78と、入出力(I/O)インターフェース80とを備える。コンピュータのこれらの構成要素は、システムバス82を介して互いに結合されている。CPU70は、システムメモリ72にアクセスすることによって、算術演算、論理演算、および/または制御演算を実行することができる。システムメモリ72は、CPU70と組み合わせて使用するための情報および/または命令を記憶することができる。システムメモリ72は、ランダムアクセスメモリ(RAM)720および読み出し専用メモリ(ROM)722などの揮発性および不揮発性メモリを含むことができる。起動中などにコンピュータ7内の要素間で情報を転送するのに役立つ基本ルーチンを含む基本入出力システム(BIOS)がROM722に記憶されることができる。システムバス82は、メモリバスまたはメモリコントローラ、周辺バス、および様々なバスアーキテクチャのいずれかを使用するローカルバスを含むいくつかのタイプのバス構造のいずれかであってもよい。
図15は、上述したシステムの少なくとも一部を実装するために使用されることができるコンピュータの例示的なハードウェア構成を示している。例えば、図1に示すコンピューティングデバイス20は、図15に示すコンピュータ7によって実現されることができる。図15に示されるコンピュータ7は、中央処理装置(CPU)70と、システムメモリ72と、ネットワークインターフェース74と、ハードディスクドライブ(HDD)インターフェース76と、外部ディスクドライブインターフェース78と、入出力(I/O)インターフェース80とを備える。コンピュータのこれらの構成要素は、システムバス82を介して互いに結合されている。CPU70は、システムメモリ72にアクセスすることによって、算術演算、論理演算、および/または制御演算を実行することができる。システムメモリ72は、CPU70と組み合わせて使用するための情報および/または命令を記憶することができる。システムメモリ72は、ランダムアクセスメモリ(RAM)720および読み出し専用メモリ(ROM)722などの揮発性および不揮発性メモリを含むことができる。起動中などにコンピュータ7内の要素間で情報を転送するのに役立つ基本ルーチンを含む基本入出力システム(BIOS)がROM722に記憶されることができる。システムバス82は、メモリバスまたはメモリコントローラ、周辺バス、および様々なバスアーキテクチャのいずれかを使用するローカルバスを含むいくつかのタイプのバス構造のいずれかであってもよい。
コンピュータは、ネットワークを介して他のコンピュータおよび/またはデバイスと通信するためのネットワークインターフェース74を含むことができる。
さらに、コンピュータは、ハードディスク(図示せず)から読み書きするためのハードディスクドライブ(HDD)84と、リムーバブルディスク(図示せず)から読み書きするための外部ディスクドライブ86とを含むことができる。リムーバブルディスクは、磁気ディスクドライブ用の磁気ディスクであってもよく、または光ディスクドライブ用のCD-ROMなどの光ディスクであってもよい。HDD84および外部ディスクドライブ86は、それぞれHDDインターフェース76および外部ディスクドライブインターフェース78によってシステムバス82に接続される。ドライブおよびそれらの関連するコンピュータ可読媒体は、汎用コンピュータ用のコンピュータ可読命令、データ構造、プログラムモジュールおよび他のデータの不揮発性記憶装置を提供する。データ構造は、本明細書に記載の例示的な方法およびその変形の実装についての関連データを含むことができる。関連データは、データベース、例えばリレーショナルまたはオブジェクトデータベースに編成されてもよい。
本明細書に記載の例示的な環境は、ハードディスク(図示せず)および外部ディスク(図示せず)を使用するが、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、ランダムアクセスメモリ、読み出し専用メモリなど、コンピュータによってアクセス可能なデータを記憶することができる他のタイプのコンピュータ可読媒体も、例示的な動作環境において使用されることができることが当業者によって理解されるはずである。
ハードディスク、外部ディスク、ROM722またはRAM720には、オペレーティングシステム(図示せず)、1つ以上のアプリケーションプログラム7202、他のプログラムモジュール(図示せず)、およびプログラムデータ7204を含む、いくつかのプログラムモジュールが記憶されることができる。アプリケーションプログラムは、上述した機能の少なくとも一部を含むことができる。
コンピュータ7は、対応するI/Oインターフェース80aおよび80bならびにシステムバス82を介して、マウスおよび/またはキーボードなどの入力デバイス92ならびに液晶ディスプレイなどの表示デバイス94に接続されることができる。コンピュータ7がタブレットコンピュータとして実装される場合、例えば、情報を表示し且つ入力を受け付けるタッチパネルが、対応するI/Oインターフェースおよびシステムバス82を介してコンピュータ7に接続されてもよい。さらに、いくつかの例では、図15には示されていないが、コンピュータ7は、対応するI/Oインターフェースおよびシステムバス82を介して、プリンタおよび/またはカメラなどのイメージングデバイスにさらに接続されてもよい。
図15に示すようなコンピュータ7を使用する実装に加えて、またはその代替として、本明細書に記載の例示的な実施形態の機能の一部または全ては、1つ以上のハードウェア回路として実装されてもよい。そのようなハードウェア回路の例は、大規模集積回路(LSI)、縮小命令セット回路(RISC)、特定用途向け集積回路(ASIC)、およびフィールドプログラマブルゲートアレイ(FPGA)を含むことができるが、これらに限定されない。
Claims (15)
- 画像を処理するためのコンピュータ実装方法であって、
第2の解像度を有する複数の第2の画像を取得するために第1の解像度を有する複数の第1の画像をダウンサンプリングすることであって、前記第1の解像度が前記第2の解像度よりも高く、前記複数の第2の画像のそれぞれが前記複数の第1の画像のうちの1つのダウンサンプリングされたバージョンである、ダウンサンプリングすることと、
入力画像を処理して前記入力画像よりも高解像度の出力画像を出力するように人工ニューラルネットワークANNモデル(40)を訓練することであって、前記訓練のための訓練データが画像のペアを含み、各画像のペアが、
前記ANNモデル(40)への入力として前記複数の第2の画像のうちの1つ、および
前記複数の第2の画像のうちの前記1つが前記ANNモデル(40)に入力された場合に前記ANNモデル(40)から所望の出力として、前記複数の第2の画像のうちの前記1つに対応する前記複数の第1の画像のうちの1つ、を含む、訓練することと、
前記複数の第1の画像のうちの少なくとも1つを前記訓練されたANNモデル(40)に入力することと、
前記訓練されたANNモデル(40)から、前記第1の解像度よりも高い第3の解像度を有する少なくとも1つの出力画像を取得することと、を含む、方法。 - 前記ANNモデル(40)が畳み込みニューラルネットワークを含む、請求項1に記載の方法。
- 前記ANNモデル(40)が、
前記入力画像を処理して、前記入力画像よりも高解像度の前記出力画像を出力する第1のANN(420)を備える生成器(420)と、
前記第1のANN(420)からの所望の出力と考えられる実画像から前記第1のANN(420)によって生成された画像を識別するための第2のANN(440)を備える識別器(44)と、を備え、
前記ANNモデル(40)が、
前記訓練データを使用して、前記入力画像から、前記入力画像よりも高解像度の前記出力画像を生成するように前記生成器(42)を訓練することと、
前記訓練された生成器から出力された画像と前記複数の第1の画像のうちの少なくともいくつかとを使用して、前記第2のANN(440)への画像入力が、
前記訓練された生成器(42)から出力される画像、または
複数の第1の画像のうちの1つ、であるかどうかを決定するように前記識別器(44)を訓練することと、
前記生成器(42)および前記識別器(44)をさらに訓練することであって、
前記訓練された識別器(44)からの出力を使用して、前記第2のANN(440)の誤り率を増加させるように前記第1のANN(420)のパラメータ値を更新するステップと、
前記訓練された生成器からの出力を使用して、前記第2のANN(440)の前記誤り率を低減させるように前記第2のANN(440)のパラメータ値を更新するステップと、を反復することによって前記生成器(42)および前記識別器(44)をさらに訓練することと、
によって訓練される、請求項1または2に記載の方法。 - 前記生成器(42)を訓練する前記ステップによって取得された前記第1のANNの前記パラメータ値と、
前記生成器(42)および前記識別器(44)をさらに訓練する前記ステップによって取得された前記第1のANN(420)の前記更新されたパラメータ値と、
の間の加重平均値を計算することをさらに含み、
前記加重平均値を前記パラメータ値として有する前記第1のANN(420)が、前記少なくとも1つの出力画像を取得するために前記訓練されたANNモデル(40)として使用される、請求項3に記載の方法。 - 前記複数の第1の画像のダウンサンプリングの前に前記複数の第1の画像に画像増強前処理ステップを適用することをさらに含み、
前記画像増強前処理ステップが、
ぼかし、
画素ごとのノイズの付加、
非合焦歪みの適用、
動きぼけの適用、のうちの1つ以上を含むことができる、
請求項1から4のいずれか一項に記載の方法。 - 前記第1の解像度が前記第2の解像度よりもスケーリングファクタ(S)だけ高く、前記第3の解像度が前記第1の解像度よりも前記スケーリングファクタ(S)だけ高い、請求項1から5のいずれか一項に記載の方法。
- 前記複数の第1の画像が、細胞の顕微鏡画像を含む、請求項1から6のいずれか一項に記載の方法。
- コンピュータにロードされて実行されると、前記コンピュータに、請求項1から7のいずれか一項に記載の方法を実行させるコンピュータ可読命令を備えるコンピュータプログラム製品。
- 画像を処理するためのシステムであって、
第1の解像度を有する複数の第1の画像と、入力画像を処理して前記入力画像よりも高解像度を有する出力画像を出力する人工ニューラルネットワークANNモデル(40)とを記憶する記憶媒体と、
プロセッサであって、
第2の解像度を有する複数の第2の画像を取得するために前記複数の第1の画像をダウンサンプリングすることであって、前記第1の解像度が前記第2の解像度よりも高く、前記複数の第2の画像のそれぞれが、前記複数の第1の画像のうちの1つのダウンサンプリングされたバージョンである、ダウンサンプリングすることと、
画像のペアを含む訓練データを使用して前記ANNモデル(40)を訓練することであって、各画像のペアが、
前記ANNモデル(40)への入力として前記複数の第2の画像のうちの1つ、および
前記複数の第2の画像のうちの前記1つが前記ANNモデル(40)に入力された場合に前記ANNモデル(40)から所望の出力として、前記複数の第2の画像のうちの前記1つに対応する前記複数の第1の画像のうちの1つ、
を含む、訓練することと、
前記複数の第1の画像のうちの少なくとも1つを前記訓練されたANNモデル(40)に入力することと、
前記訓練されたANNモデル(40)から、前記第1の解像度よりも高い第3の解像度を有する少なくとも1つの出力画像を取得することと、を行うように構成されたプロセッサと、を備える、システム。 - 前記ANNモデル(40)が畳み込みニューラルネットワークを含む、請求項9に記載のシステム。
- 前記ANNモデル(40)が、
前記入力画像を処理して、前記入力画像よりも高解像度の前記出力画像を出力する第1のANN(420)を備える生成器(42)と、
前記第1のANN(420)からの所望の出力と考えられる実画像から前記第1のANN(420)によって生成された画像を識別するための第2のANN(440)を備える識別器(44)と、を備え、
前記ANNモデルが、
前記訓練データを使用して、前記入力画像から、前記入力画像よりも高解像度の前記出力画像を生成するように前記生成器(42)を訓練することと、
前記訓練された生成器(42)から出力された画像と前記複数の第1の画像のうちの少なくともいくつかとを使用して、前記第2のANN(440)への画像入力が、
前記訓練された生成器(42)から出力される画像、または
複数の第1の画像のうちの1つ、であるかどうかを決定するように前記識別器(44)を訓練することと、
前記生成器および前記識別器をさらに訓練することであって、
前記訓練された識別器からの出力を使用して、前記第2のANN(440)の誤り率を増加させるように前記第1のANN(420)のパラメータ値を更新するステップと、
前記訓練された生成器からの出力を使用して、前記第2のANN(440)の前記誤り率を低減させるように前記第2のANN(440)のパラメータ値を更新するステップと、を反復することによって前記生成器および前記識別器をさらに訓練することと、
によって訓練される、請求項9または10に記載のシステム。 - 前記プロセッサが、さらに、
前記生成器(42)を訓練する前記ステップによって取得された前記第1のANN(420)の前記パラメータ値と、
前記生成器および前記識別器(44)をさらに訓練する前記ステップによって取得された前記第1のANN(420)の前記更新されたパラメータ値と、
の間の加重平均値を計算するように構成され、
前記加重平均値を前記パラメータ値として有する前記第1のANN(420)が、前記少なくとも1つの出力画像を取得するために前記訓練されたANNモデル(40)として使用される、請求項11に記載のシステム。 - 前記プロセッサが、さらに、
前記複数の第1の画像のダウンサンプリングの前に前記複数の第1の画像に画像増強前処理ステップを適用するように構成され、
前記画像増強前処理ステップが、
ぼかし、
画素ごとのノイズの付加、
非合焦歪みの適用、
動きぼけの適用、のうちの1つ以上を含むことができる、請求項9から12のいずれか一項に記載のシステム。 - 前記第1の解像度が前記第2の解像度よりもスケーリングファクタ(S)だけ高く、前記第3の解像度が前記第1の解像度よりも前記スケーリングファクタ(S)だけ高い、請求項9から13のいずれか一項に記載のシステム。
- 前記複数の第1の画像が、細胞の顕微鏡画像を含む、請求項9から14のいずれか一項に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20184636.7 | 2020-07-08 | ||
EP20184636.7A EP3937120B1 (en) | 2020-07-08 | 2020-07-08 | Computer-implemented method, computer program product and system for processing images |
PCT/EP2021/069019 WO2022008667A1 (en) | 2020-07-08 | 2021-07-08 | Computer-implemented method, computer program product and system for processing images |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023532755A true JP2023532755A (ja) | 2023-07-31 |
Family
ID=71527621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023500310A Pending JP2023532755A (ja) | 2020-07-08 | 2021-07-08 | 画像を処理するためのコンピュータ実装方法、コンピュータプログラム製品、およびシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230260083A1 (ja) |
EP (2) | EP4383184A3 (ja) |
JP (1) | JP2023532755A (ja) |
CN (1) | CN115867933A (ja) |
WO (1) | WO2022008667A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220075916A1 (en) * | 2020-09-07 | 2022-03-10 | Kla Corporation | System and method for accelerating physical simulation models during microelectronic device fabrication |
CN116912604B (zh) * | 2023-09-12 | 2024-01-16 | 浙江大华技术股份有限公司 | 模型训练方法、图像识别方法、装置以及计算机存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018053340A1 (en) * | 2016-09-15 | 2018-03-22 | Twitter, Inc. | Super resolution using a generative adversarial network |
US10438322B2 (en) * | 2017-05-26 | 2019-10-08 | Microsoft Technology Licensing, Llc | Image resolution enhancement |
EP3714404A4 (en) | 2017-11-26 | 2021-08-18 | Yeda Research and Development Co. Ltd | SIGNAL GAIN AND MANIPULATION USING A SIGNAL-SPECIFIC DEEP NETWORK |
US10803347B2 (en) * | 2017-12-01 | 2020-10-13 | The University Of Chicago | Image transformation with a hybrid autoencoder and generative adversarial network machine learning architecture |
CA3110199A1 (en) * | 2018-08-21 | 2020-02-27 | The Salk Institute For Biological Studies | Systems and methods for enhanced imaging and analysis |
MX2020013580A (es) * | 2018-09-30 | 2021-02-26 | Boe Technology Group Co Ltd | Aparato y metodo para procesamiento de imagenes y sistema para entrenamiento de red neuronal. |
CN109255755B (zh) * | 2018-10-24 | 2023-05-23 | 上海大学 | 基于多列卷积神经网络的图像超分辨率重建方法 |
-
2020
- 2020-07-08 EP EP23217520.8A patent/EP4383184A3/en active Pending
- 2020-07-08 EP EP20184636.7A patent/EP3937120B1/en active Active
-
2021
- 2021-07-08 US US18/014,998 patent/US20230260083A1/en active Pending
- 2021-07-08 CN CN202180049669.8A patent/CN115867933A/zh active Pending
- 2021-07-08 JP JP2023500310A patent/JP2023532755A/ja active Pending
- 2021-07-08 WO PCT/EP2021/069019 patent/WO2022008667A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP4383184A2 (en) | 2024-06-12 |
EP4383184A3 (en) | 2024-06-26 |
WO2022008667A1 (en) | 2022-01-13 |
US20230260083A1 (en) | 2023-08-17 |
CN115867933A (zh) | 2023-03-28 |
EP3937120A1 (en) | 2022-01-12 |
EP3937120B1 (en) | 2023-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Fang et al. | Soft-edge assisted network for single image super-resolution | |
CN108122197B (zh) | 一种基于深度学习的图像超分辨率重建方法 | |
Yuan et al. | Unsupervised image super-resolution using cycle-in-cycle generative adversarial networks | |
CN108550115B (zh) | 一种图像超分辨率重建方法 | |
CN109389552B (zh) | 一种基于上下文相关多任务深度学习的图像超分辨算法 | |
Hui et al. | Progressive perception-oriented network for single image super-resolution | |
WO2018053340A1 (en) | Super resolution using a generative adversarial network | |
CN106127689B (zh) | 图像视频超分辨率方法和装置 | |
Zhang et al. | Gated fusion network for degraded image super resolution | |
Ruan et al. | Aifnet: All-in-focus image restoration network using a light field-based dataset | |
EP3038049A1 (en) | Method for upscaling an image and apparatus for upscaling an image | |
CN112801904B (zh) | 一种基于卷积神经网络的混合退化图像增强方法 | |
JP2023532755A (ja) | 画像を処理するためのコンピュータ実装方法、コンピュータプログラム製品、およびシステム | |
Upadhyay et al. | A mixed-supervision multilevel gan framework for image quality enhancement | |
Gao et al. | Bayesian image super-resolution with deep modeling of image statistics | |
CN116563100A (zh) | 一种基于内核引导网络的盲超分辨率重建方法 | |
Geng et al. | Cervical cytopathology image refocusing via multi-scale attention features and domain normalization | |
Chen et al. | Dynamic degradation intensity estimation for adaptive blind super-resolution: A novel approach and benchmark dataset | |
CN106981046B (zh) | 基于多层梯度约束回归的单幅图像超分辨率重建方法 | |
Han et al. | MPDNet: An underwater image deblurring framework with stepwise feature refinement module | |
Albluwi et al. | Super-resolution on degraded low-resolution images using convolutional neural networks | |
GB2623387A (en) | Learnable image transformation training methods and systems in graphics rendering | |
Wieslander et al. | TEM image restoration from fast image streams | |
Long et al. | Face image deblurring with feature correction and fusion | |
Yue et al. | An external learning assisted self-examples learning for image super-resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240624 |