JP7346726B2 - 深層学習による位相画像の再構築 - Google Patents
深層学習による位相画像の再構築 Download PDFInfo
- Publication number
- JP7346726B2 JP7346726B2 JP2022519207A JP2022519207A JP7346726B2 JP 7346726 B2 JP7346726 B2 JP 7346726B2 JP 2022519207 A JP2022519207 A JP 2022519207A JP 2022519207 A JP2022519207 A JP 2022519207A JP 7346726 B2 JP7346726 B2 JP 7346726B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- bright field
- matched
- images
- phase
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title description 6
- 238000012549 training Methods 0.000 claims description 182
- 230000000007 visual effect Effects 0.000 claims description 128
- 238000010801 machine learning Methods 0.000 claims description 123
- 238000000034 method Methods 0.000 claims description 116
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 7
- 235000002566 Capsicum Nutrition 0.000 claims description 3
- 239000006002 Pepper Substances 0.000 claims description 3
- 235000016761 Piper aduncum Nutrition 0.000 claims description 3
- 235000017804 Piper guineense Nutrition 0.000 claims description 3
- 235000008184 Piper nigrum Nutrition 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 claims description 3
- 244000203593 Piper nigrum Species 0.000 claims 1
- 238000013459 approach Methods 0.000 description 37
- 239000000428 dust Substances 0.000 description 28
- 239000002245 particle Substances 0.000 description 18
- 230000004913 activation Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 15
- 238000010606 normalization Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 9
- 238000000386 microscopy Methods 0.000 description 5
- 238000000339 bright-field microscopy Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 241000722363 Piper Species 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000012620 biological material Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000000399 optical microscopy Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000002745 absorbent Effects 0.000 description 1
- 239000002250 absorbent Substances 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000254 damaging effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000005499 meniscus Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012776 robust process Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
- G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30072—Microarray; Biochip, DNA array; Well plate
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Chemical & Material Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Food Science & Technology (AREA)
- Immunology (AREA)
- Hematology (AREA)
- Optics & Photonics (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Urology & Nephrology (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
Description
本願は、2019年9月26日に出願された「Reconstructing Phase Images with Deep Learning」と題された米国仮特許出願第62/906,605号、及び2020年9月22日に出願された「Reconstructing Phase Images with Deep Learning」と題された米国非仮特許出願第17/028,448号の優先権を主張するものであり、それらの内容は、参照によりその全体が本明細書に明示的に組み込まれる。
式中、Iは空間座標x、y、zの関数としての光の強度、Φは空間座標の関数としての光波の位相、∇及び△は、xy平面の対応する勾配演算子、ならびにラプラス演算子、∂zIはz軸に沿った強度の導関数である。明視野位相画像化に関する追加の情報は、「Quantitative phase-amplitude microscopy I: optical microscopy」、E.D.Barone-Nugent et al.,Journal of Microscopy,Vol.206,Pt.3 June 2002,pp.193-203という論文において見出すことができる。
本明細書で説明する諸態様は、トレーニングデータセット及びシミュレートされた視覚的アーティファクトに基づいてトレーニングされた新規の機械学習モデルを使用して、これら及びその他の欠点に対処し得る。本明細書に記載された新規の技術を通して、改善された位相画像は、明視野画像のセットから生成され得る。これにより、科学者や研究者の能力が向上し、例えば、画像の鮮明度が向上し、背景のコンテンツと比較して細胞が分離されるため、細胞のサンプルの構造を視認できる。
本発明は、例えば、以下を提供する。
(項目1)
位相画像を生成するためのコンピュータ実装方法であって、
1つまたは複数の整合画像セットを含むトレーニングデータセットを受信することであって、各整合画像セットは、
標本の画像ビューに対応する複数の明視野画像であって、各々が異なる焦点面に対応する、前記複数の明視野画像と、
前記複数の明視野画像に基づいて生成されたグラウンドトゥルース位相画像とを含む、前記受信すること、
シミュレートする視覚的アーティファクトを少なくとも1つ選択すること、
前記受信したトレーニングデータセットの前記1つまたは複数の整合画像セットの少なくとも1つを修正して、前記標本の前記画像ビューで前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることにより、1つまたは複数の追加の整合画像セットを生成することであって、所与の整合画像セットを修正することは、前記少なくとも1つの選択された視覚的アーティファクトに基づいて、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含む、前記生成すること、
前記1つまたは複数の追加の整合画像セットを前記トレーニングデータセットに追加すること、
前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記機械学習モデルをトレーニングすることは、所与の整合画像セットの前記機械学習モデルの生成された出力を、前記対応するグラウンドトゥルース位相画像と比較することに基づく、前記トレーニングすること、
第1の入力される明視野画像及び第2の入力される明視野画像を受信すること、及び
前記トレーニングされた機械学習モデルを使用して、前記第1の入力される明視野画像及び前記第2の入力される明視野画像に対応する位相画像を生成することを含む、前記方法。
(項目2)
所与の整合画像セットを修正して、前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることは、
前記少なくとも1つの選択された視覚的アーティファクトに基づいて、前記所与の整合画像セットの第1の明視野画像を修正すること、及び
前記少なくとも1つの選択された視覚的アーティファクト、及び前記所与の整合画像セットの前記複数の明視野画像の焦点面間の差に基づいて、前記少なくとも1つの選択された視覚的アーティファクトに基づく前記所与の整合画像セット内の追加の明視野画像を修正することを含む、項目1に記載の方法。
(項目3)
前記明視野画像を修正することは、
ピクセルを水平方向にシフトすること、
ピクセルを垂直方向にシフトすること、
ピクセルを回転させること、
ランダムなバックグラウンドノイズを追加すること、
ピクセルをぼやけさせること、
前記明視野画像の指定された領域にブラックアウト領域を生成すること、
前記明視野画像にランダムなブラックアウト領域を生成すること、または
前記明視野画像の少なくとも1つの領域を暗くすることのうちの少なくとも1つを含む、項目2に記載の方法。
(項目4)
ランダムなバックグラウンドノイズを追加することは、ガウスノイズ、ソルトアンドペッパーノイズ、ポアソンノイズ、またはスペックルノイズのうちの少なくとも1つの形態でバックグラウンドノイズを追加することを含む、項目3に記載の方法。
(項目5)
前記標本の前記画像ビュー内のプレートの境界を回避するために、前記1つまたは複数の整合画像セットが選択される、項目1に記載の方法。
(項目6)
前記標本の前記画像化されたビューの中の画像化された視覚的アーティファクトを回避するために、前記1つまたは複数の整合画像セットが選択される、項目1に記載の方法。
(項目7)
各グラウンドトゥルース位相画像が、前記対応する複数の明視野画像に位相方程式を適用することによって生成される、項目1に記載の方法。
(項目8)
前記生成されたグラウンドトゥルース位相画像が、放物線スライディング補正を適用することによってさらに処理される、項目7に記載の方法。
(項目9)
前記整合させた画像のセットの少なくとも1つを修正して、前記標本の前記画像ビューにおける前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることは、
前記選択された少なくとも1つの視覚的アーティファクトに基づいて前記グラウンドトゥルース位相画像を修正することをさらに含む、項目1に記載の方法。
(項目10)
前記械学習モデルがニューラルネットワークを含む、項目1に記載の方法。
(項目11)
位相画像を生成するためのコンピュータ実装方法であって、
1つまたは複数の整合画像セットを含むトレーニングデータセットを受信することであって、各整合画像セットは、標本の画像ビューに対応する複数の明視野画像を含み、各明視野画像は、異なる焦点面で取得された、前記受信すること、
前記受信したトレーニングデータセットの前記1つまたは複数の追加の整合画像セットの少なくとも1つを修正して、少なくとも1つの視覚的アーティファクトをシミュレートすることにより、1つまたは複数の追加の整合画像セットを生成することであって、所与の整合画像セットを修正することは、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含む、前記生成すること、
前記1つまたは複数の追加の整合画像セットを前記トレーニングデータセットに追加すること、
前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記機械学習モデルをトレーニングすることは、対応する複数の明視野画像に位相方程式を適用することにより、所与の整合画像セットの前記機械学習モデルの生成された出力の精度を評価することに基づく、前記トレーニングすること、
少なくとも第1の入力される明視野画像及び第2の入力される明視野画像を含む入力データセットを受信すること、及び
前記トレーニングされた機械学習モデルを使用して、前記第1の入力される明視野画像及び前記第2の入力される明視野画像に基づく得られる位相画像を生成することを含む、前記方法。
(項目12)
所与の整合画像セットを修正して、少なくとも1つの視覚的アーティファクトをシミュレートすることは、
前記対応する複数の明視野画像内の第1の明視野画像に適用するためにシミュレートされた視覚的アーティファクトを選択すること、
前記第1の明視野画像に関連付けられた前記焦点面に基づいて前記少なくとも1つの選択された視覚的アーティファクトをシミュレートするために前記第1の明視野画像を視覚的に修正すること、
前記選択された少なくとも1つの視覚的アーティファクトを、前記第1の明視野画像に関連する前記焦点面と、前記対応する複数の明視野画像の前記少なくとも1つの他の明視野画像に関連する前記焦点面との間の差に基づいて、前記対応する複数の明視野画像の少なくとも1つの他の明視野画像に投影すること、及び
前記対応する複数の明視野画像の前記少なくとも1つの他の明視野画像を視覚的に修正して、前記投影に基づいて前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることを含む、項目11に記載の方法。
(項目13)
各整合画像セットが対応するトレーニング位相画像を含み、前記1つまたは複数の整合画像セットの少なくとも1つを修正して、前記標本の前記画像ビューの少なくとも1つの視覚的アーティファクトをシミュレートすることは、
前記少なくとも1つの視覚的アーティファクトに基づいて前記トレーニング位相画像を修正することをさらに含む、項目11に記載の方法。
(項目14)
前記標本の前記画像化されたビュー内で関連付けられたプレートの境界を回避するために、前記1つまたは複数の整合画像セットが選択される、項目11に記載の方法。
(項目15)
各整合画像セットが対応するトレーニング位相画像をさらに含み、所与の整合画像セットについて前記機械学習モデルの生成された出力の前記精度を評価することは、前記対応するトレーニング位相画像に放物線スライディング補正を適用することをさらに含む、項目11に記載の方法。
(項目16)
前記械学習モデルがニューラルネットワークを含む、項目11に記載の方法。
(項目17)
位相画像を生成するように構成された装置であって、
1つまたは複数の整合画像セットを含むトレーニングデータセットを格納するデータ記憶装置であって、各整合画像セットが、
各々が標本の画像化されたビューの異なる焦点面に対応する複数の明視野画像と、
前記複数の明視野画像に基づくグラウンドトゥルース位相画像とを含む、前記データ記憶装置、
1つまたは複数のプロセッサ、及び
メモリであって、前記1つまたは複数のプロセッサによって実行されると、前記装置に、
前記1つまたは複数の整合画像セットの1つまたは複数を修正して、前記画像ビューの少なくとも1つの視覚的アーティファクトをシミュレートすることであって、整合画像セットを修正することは、前記少なくとも1つの視覚的アーティファクト及び前記明視野画像に関連付けられた前記焦点面に基づいて、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含む、前記シミュレートすること、
前記修正された整合画像セットを前記トレーニングデータセットに追加すること、
前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記トレーニングすることは、所与の整合画像セットの前記機械学習モデルの生成された出力を、対応するグラウンドトゥルース位相画像と比較することに基づく、前記トレーニングすること、
第1の入力される明視野画像及び第2の入力される明視野画像を含む入力データセットを受信すること、及び
前記トレーニングされた機械学習モデルを使用して、前記第1の入力される明視野画像及び前記第2の入力される明視野画像に基づく得られる位相画像を生成することを生起させる命令を格納する前記メモリを含む、前記装置。
(項目18)
前記整合画像セットに関連付けられた前記グラウンドトゥルース位相画像が、前記対応する複数の明視野画像に位相方程式を適用することに基づいて生成される、項目17に記載の装置。
(項目19)
前記命令は、前記装置に、
少なくとも1つのシミュレートされる視覚的アーティファクトを選択すること、
前記第1の明視野画像に関連付けられた第1の焦点面にて、前記少なくとも1つの選択された視覚的アーティファクトをシミュレートするために前記対応する複数の明視野画像の第1の明視野画像を修正すること、
前記少なくとも1つの選択された視覚的アーティファクトを、前記第1の焦点面と、第2の明視野画像に関連する第2の焦点面との間の差に基づいて、前記対応する複数の明視野画像の内部の少なくとも前記第2の明視野画像に投影すること、及び
前記第2の明視野画像を修正して、前記投影に基づいて前記第2の焦点面で前記少なくとも1つの視覚的アーティファクトをシミュレートすることを生起させることによって、所与の整合画像セットの前記複数の明視野画像のうちの少なくとも1つを前記装置に修正させる、項目17に記載の装置。
(項目20)
前記標本の前記画像化されたビュー内の視覚的アーティファクトを回避するために、前記1つまたは複数の整合画像セットが選択される、項目17に記載の装置。
layer1 = tf.layers.conv2d(x,64,4,2,’same’,activation=tf.nn.leaky_relu)
layer2 = tf.layers.conv2d(layer1,128,4,2,’same’,activation=tf.nn.leaky_relu)
layer3 = tf.layers.batch_normalization(layer2)
layer4 = tf.layers.conv2d(layer3,256,4,2,’same’,activation=tf.nn.leaky_relu)
layer5 = tf.layers.batch_normalization(layer4)
layer6 = tf.layers.conv2d(layer5,512,4,2,’same’,activation=tf.nn.leaky_relu)
layer7 = tf.layers.batch_normalization(layer6)
layer8 = tf.layers.conv2d(layer7,512,4,2,’same’,activation=tf.nn.leaky_relu)
layer9 = tf.layers.batch_normalization(layer8)
layer10 = tf.layers.conv2d(layer9,512,4,2,’same’,activation=tf.nn.leaky_relu)
layer11 = tf.layers.batch_normalization(layer10)
layer12 = tf.layers.conv2d(layer11,512,4,2,’same’,activation=tf.nn.leaky_relu)
layer13 = tf.layers.batch_normalization(layer12)
layer14 = tf.layers.conv2d(layer13,512,4,2,’same’,activation=tf.nn.leaky_relu)
layer15 = tf.layers.batch_normalization(layer14)
layer16 = tf.layers.conv2d_transpose(layer15,512,4,2,’same’,activation=tf.nn.relu)
layer17 = tf.layers.batch_normalization(layer16)
layer18 = tf.layers.dropout(layer17,0.5,training=is_training)
layer19 = tf.concat((layer12,layer18),axis=3)
layer20 = tf.layers.conv2d_transpose(layer19,512,4,2,’same’,activation=tf.nn.relu)
layer21 = tf.layers.batch_normalization(layer20)
layer22 = tf.layers.dropout(layer21,0.5,training=is_training)
layer23 = tf.concat((layer10,layer22),axis=3)
layer24 = tf.layers.conv2d_transpose(layer23,512,4,2,’same’,activation=tf.nn.relu)
layer25 = tf.layers.batch_normalization(layer24)
layer26 = tf.layers.dropout(layer25,0.5,training=is_training)
layer27 = tf.concat((layer8,layer26),axis=3)
layer28 = tf.layers.conv2d_transpose(layer27,512,4,2,’same’,activation=tf.nn.relu)
layer29 = tf.layers.batch_normalization(layer28)
layer30 = tf.concat((layer6,layer29),axis=3)
layer31 = tf.layers.conv2d_transpose(layer30,256,4,2,’same’,activation=tf.nn.relu)
layer32 = tf.layers.batch_normalization(layer31)
layer33 = tf.concat((layer4,layer32),axis=3)
layer34 = tf.layers.conv2d_transpose(layer33,128,4,2,’same’,activation=tf.nn.relu)
layer35 = tf.layers.batch_normalization(layer34)
layer36 = tf.concat((layer2,layer35),axis=3)
layer37 = tf.layers.conv2d_transpose(layer36,64,4,2,’same’,activation=tf.nn.relu)
layer38 = tf.layers.batch_normalization(layer37)
layer39 = tf.concat((layer1,layer38),axis=3)
layer40 = tf.layers.conv2d_transpose(layer39,1,4,2,’same’)
Claims (19)
- 位相画像を生成するためのコンピュータに実装された方法であって、前記方法は、
1つ以上の整合画像セットを含むトレーニングデータセットを受信することであって、各整合画像セットは、
標本の画像ビューに対応する複数の明視野画像であって、前記複数の明視野画像のそれぞれは、異なる焦点面に対応する、複数の明視野画像と、
前記複数の明視野画像に基づいて生成されたグラウンドトゥルース位相画像であって、前記生成されたグラウンドトゥルース位相画像は、放物線スライディング補正を適用することによって処理される、グラウンドトゥルース位相画像と
を含む、ことと、
シミュレートするために少なくとも1つの視覚的アーティファクトを選択することと、
前記受信されたトレーニングデータセットの前記1つ以上の整合画像セットの少なくとも1つを修正することにより、前記標本の前記画像ビューで前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることによって、1つ以上の追加の整合画像セットを生成することであって、所与の整合画像セットを修正することは、前記少なくとも1つの選択された視覚的アーティファクトに基づいて、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含む、ことと、
前記1つ以上の追加の整合画像セットを前記トレーニングデータセットに追加することと、
前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記機械学習モデルをトレーニングすることは、所与の整合画像セットの前記機械学習モデルの生成された出力と前記対応するグラウンドトゥルース位相画像とを比較することに基づく、ことと、
第1の入力された明視野画像および第2の入力された明視野画像を受信することと、
前記トレーニングされた機械学習モデルを使用して、前記第1の入力された明視野画像および前記第2の入力された明視野画像に対応する位相画像を生成することと
を含む、方法。 - 所与の整合画像セットを修正することにより、前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることは、
前記少なくとも1つの選択された視覚的アーティファクトに基づいて、前記所与の整合画像セットの第1の明視野画像を修正することと、
前記少なくとも1つの選択された視覚的アーティファクトおよび前記所与の整合画像セットの前記複数の明視野画像の焦点面間の差に基づいて、前記少なくとも1つの選択された視覚的アーティファクトに基づく前記所与の整合画像セット内の追加の明視野画像を修正することと
を含む、請求項1に記載の方法。 - 前記明視野画像を修正することは、
ピクセルを水平方向にシフトすること、
ピクセルを垂直方向にシフトすること、
ピクセルを回転させること、
ランダムなバックグラウンドノイズを追加すること、
ピクセルをぼやけさせること、
前記明視野画像の指定された領域にブラックアウト領域を生成すること、
前記明視野画像にランダムなブラックアウト領域を生成すること、または、
前記明視野画像の少なくとも1つの領域を暗くすること
のうちの少なくとも1つを含む、請求項2に記載の方法。 - ランダムなバックグラウンドノイズを追加することは、ガウスノイズ、ソルトアンドペッパーノイズ、ポアソンノイズ、または、スペックルノイズのうちの少なくとも1つの形態でバックグラウンドノイズを追加することを含む、請求項3に記載の方法。
- 位相画像を生成するためのコンピュータに実装された方法であって、前記方法は、
1つ以上の整合画像セットを含むトレーニングデータセットを受信することであって、各整合画像セットは、
標本の画像ビューに対応する複数の明視野画像であって、前記複数の明視野画像のそれぞれは、異なる焦点面に対応する、複数の明視野画像と、
前記複数の明視野画像に基づいて生成されたグラウンドトゥルース位相画像であって、前記標本の前記画像ビュー内のプレートの境界を回避するために、前記1つ以上の整合画像セットが選択される、グラウンドトゥルース位相画像と
を含む、ことと、
シミュレートするために少なくとも1つの視覚的アーティファクトを選択することと、
前記受信されたトレーニングデータセットの前記1つ以上の整合画像セットの少なくとも1つを修正することにより、前記標本の前記画像ビューで前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることによって、1つ以上の追加の整合画像セットを生成することであって、所与の整合画像セットを修正することは、前記少なくとも1つの選択された視覚的アーティファクトに基づいて、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含む、ことと、
前記1つ以上の追加の整合画像セットを前記トレーニングデータセットに追加することと、
前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記機械学習モデルをトレーニングすることは、所与の整合画像セットの前記機械学習モデルの生成された出力と前記対応するグラウンドトゥルース位相画像とを比較することに基づく、ことと、
第1の入力された明視野画像および第2の入力された明視野画像を受信することと、
前記トレーニングされた機械学習モデルを使用して、前記第1の入力された明視野画像および前記第2の入力された明視野画像に対応する位相画像を生成することと
を含む、方法。 - 位相画像を生成するためのコンピュータに実装された方法であって、前記方法は、
1つ以上の整合画像セットを含むトレーニングデータセットを受信することであって、各整合画像セットは、
標本の画像ビューに対応する複数の明視野画像であって、前記複数の明視野画像のそれぞれは、異なる焦点面に対応する、複数の明視野画像と、
前記複数の明視野画像に基づいて生成されたグラウンドトゥルース位相画像であって、前記標本の前記画像化されたビューの中の画像化された視覚的アーティファクトを回避するために、前記1つ以上の整合画像セットが選択される、グラウンドトゥルース位相画像と
を含む、ことと、
シミュレートするために少なくとも1つの視覚的アーティファクトを選択することと、
前記受信されたトレーニングデータセットの前記1つ以上の整合画像セットの少なくとも1つを修正することにより、前記標本の前記画像ビューで前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることによって、1つ以上の追加の整合画像セットを生成することであって、所与の整合画像セットを修正することは、前記少なくとも1つの選択された視覚的アーティファクトに基づいて、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含む、ことと、
前記1つ以上の追加の整合画像セットを前記トレーニングデータセットに追加することと、
前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記機械学習モデルをトレーニングすることは、所与の整合画像セットの前記機械学習モデルの生成された出力と前記対応するグラウンドトゥルース位相画像とを比較することに基づく、ことと、
第1の入力された明視野画像および第2の入力された明視野画像を受信することと、
前記トレーニングされた機械学習モデルを使用して、前記第1の入力された明視野画像および前記第2の入力された明視野画像に対応する位相画像を生成することと
を含む、方法。 - 各グラウンドトゥルース位相画像は、前記対応する複数の明視野画像に位相方程式を適用することによって生成される、請求項1に記載の方法。
- 位相画像を生成するためのコンピュータに実装された方法であって、前記方法は、
1つ以上の整合画像セットを含むトレーニングデータセットを受信することであって、各整合画像セットは、
標本の画像ビューに対応する複数の明視野画像であって、前記複数の明視野画像のそれぞれは、異なる焦点面に対応する、複数の明視野画像と、
前記複数の明視野画像に基づいて生成されたグラウンドトゥルース位相画像と
を含む、ことと、
シミュレートするために少なくとも1つの視覚的アーティファクトを選択することと、
前記受信されたトレーニングデータセットの前記1つ以上の整合画像セットの少なくとも1つを修正することにより、前記標本の前記画像ビューで前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることによって、1つ以上の追加の整合画像セットを生成することであって、所与の整合画像セットを修正することは、前記少なくとも1つの選択された視覚的アーティファクトに基づいて、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含み、前記整合させた画像のセットの少なくとも1つを修正することにより、前記標本の前記画像ビューにおける前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることは、前記選択された少なくとも1つの視覚的アーティファクトに基づいて前記グラウンドトゥルース位相画像を修正することをさらに含む、ことと、
前記1つ以上の追加の整合画像セットを前記トレーニングデータセットに追加することと、
前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記機械学習モデルをトレーニングすることは、所与の整合画像セットの前記機械学習モデルの生成された出力と前記対応するグラウンドトゥルース位相画像とを比較することに基づく、ことと、
第1の入力された明視野画像および第2の入力された明視野画像を受信することと、
前記トレーニングされた機械学習モデルを使用して、前記第1の入力された明視野画像および前記第2の入力された明視野画像に対応する位相画像を生成することと
を含む、方法。 - 前記械学習モデルは、ニューラルネットワークを含む、請求項1に記載の方法。
- 位相画像を生成するためのコンピュータに実装された方法であって、
1つ以上の整合画像セットを含むトレーニングデータセットを受信することであって、各整合画像セットは、標本の画像ビューに対応する複数の明視野画像を含み、各明視野画像は、異なる焦点面で取得される、ことと、
前記受信されたトレーニングデータセットの前記1つ以上の追加の整合画像セットの少なくとも1つを修正することにより、少なくとも1つの視覚的アーティファクトをシミュレートすることによって、1つ以上の追加の整合画像セットを生成することであって、所与の整合画像セットを修正することは、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含む、ことと、
前記1つ以上の追加の整合画像セットを前記トレーニングデータセットに追加することと、
前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記機械学習モデルをトレーニングすることは、対応する複数の明視野画像に位相方程式を適用することにより、所与の整合画像セットの前記機械学習モデルの生成された出力の精度を評価することと、放物線スライディング補正を前記所与の整合画像セットに対応するトレーニング位相画像に適用することとに基づく、ことと、
少なくとも第1の入力された明視野画像および第2の入力された明視野画像を含む入力データセットを受信することと、
前記トレーニングされた機械学習モデルを使用して、前記第1の入力された明視野画像および前記第2の入力された明視野画像に基づく結果位相画像を生成することと
を含む、方法。 - 位相画像を生成するためのコンピュータに実装された方法であって、
1つ以上の整合画像セットを含むトレーニングデータセットを受信することであって、各整合画像セットは、標本の画像ビューに対応する複数の明視野画像を含み、各明視野画像は、異なる焦点面で取得される、ことと、
前記受信されたトレーニングデータセットの前記1つ以上の追加の整合画像セットの少なくとも1つを修正することにより、少なくとも1つの視覚的アーティファクトをシミュレートすることによって、1つ以上の追加の整合画像セットを生成することであって、所与の整合画像セットを修正することは、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含み、所与の整合画像セットを修正することにより、少なくとも1つの視覚的アーティファクトをシミュレートすることは、
前記対応する複数の明視野画像内の第1の明視野画像に適用するためにシミュレートされた視覚的アーティファクトを選択することと、
前記第1の明視野画像に関連付けられた前記焦点面に基づいて前記少なくとも1つの選択された視覚的アーティファクトをシミュレートするために前記第1の明視野画像を視覚的に修正することと、
前記第1の明視野画像に関連付けられた前記焦点面と、前記対応する複数の明視野画像の前記少なくとも1つの他の明視野画像に関連付けられた前記焦点面との間の差に基づいて、前記選択された少なくとも1つの視覚的アーティファクトを前記対応する複数の明視野画像の少なくとも1つの他の明視野画像に投影することと、
前記対応する複数の明視野画像の前記少なくとも1つの他の明視野画像を視覚的に修正することにより、前記投影に基づいて前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることと
を含む、ことと、
前記1つ以上の追加の整合画像セットを前記トレーニングデータセットに追加することと、
前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記機械学習モデルをトレーニングすることは、対応する複数の明視野画像に位相方程式を適用することにより、所与の整合画像セットの前記機械学習モデルの生成された出力の精度を評価することに基づく、ことと、
少なくとも第1の入力された明視野画像および第2の入力された明視野画像を含む入力データセットを受信することと、
前記トレーニングされた機械学習モデルを使用して、前記第1の入力された明視野画像および前記第2の入力された明視野画像に基づく結果位相画像を生成することと
を含む、方法。 - 各整合画像セットは、対応するトレーニング位相画像をさらに含み、前記1つ以上の整合画像セットの少なくとも1つを修正することにより、前記標本の前記画像ビューの少なくとも1つの視覚的アーティファクトをシミュレートすることは、
前記少なくとも1つの視覚的アーティファクトに基づいて前記トレーニング位相画像を修正することをさらに含む、請求項10に記載の方法。 - 位相画像を生成するためのコンピュータに実装された方法であって、
1つ以上の整合画像セットを含むトレーニングデータセットを受信することであって、各整合画像セットは、標本の画像ビューに対応する複数の明視野画像を含み、各明視野画像は、異なる焦点面で取得され、前記標本の前記画像化されたビュー内で関連付けられたプレートの境界を回避するために、前記1つ以上の整合画像セットが選択される、ことと、
前記受信されたトレーニングデータセットの前記1つ以上の追加の整合画像セットの少なくとも1つを修正することにより、少なくとも1つの視覚的アーティファクトをシミュレートすることによって、1つ以上の追加の整合画像セットを生成することであって、所与の整合画像セットを修正することは、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含む、ことと、
前記1つ以上の追加の整合画像セットを前記トレーニングデータセットに追加することと、
前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記機械学習モデルをトレーニングすることは、対応する複数の明視野画像に位相方程式を適用することにより、所与の整合画像セットの前記機械学習モデルの生成された出力の精度を評価することに基づく、ことと、
少なくとも第1の入力された明視野画像および第2の入力された明視野画像を含む入力データセットを受信することと、
前記トレーニングされた機械学習モデルを使用して、前記第1の入力された明視野画像および前記第2の入力された明視野画像に基づく結果位相画像を生成することと
を含む、方法。 - 各整合画像セットは、対応するトレーニング位相画像をさらに含む、請求項10に記載の方法。
- 前記械学習モデルは、ニューラルネットワークを含む、請求項10に記載の方法。
- 位相画像を生成するように構成されている装置であって、前記装置は、
1つ以上の整合画像セットを含むトレーニングデータセットを格納するデータ記憶装置であって、各整合画像セットは、
複数の明視野画像であって、前記複数の明視野画像のそれぞれは、標本の画像化されたビューの異なる焦点面に対応する、複数の明視野画像と、
前記複数の明視野画像に基づくグラウンドトゥルース位相画像と
を含む、データ記憶装置と、
1つ以上のプロセッサであって、前記グラウンドトゥルース位相画像は、放物線スライディング補正を適用することによって処理される、1つ以上のプロセッサと、
命令を記憶するメモリと
を備え、
前記命令は、前記1つ以上のプロセッサによって実行されると、
前記1つ以上の整合画像セットの1つ以上を修正することにより、前記画像ビューの少なくとも1つの視覚的アーティファクトをシミュレートすることであって、整合画像セットを修正することは、前記少なくとも1つの視覚的アーティファクトおよび前記明視野画像に関連付けられた前記焦点面に基づいて、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含む、ことと、
前記修正された整合画像セットを前記トレーニングデータセットに追加することと、
前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記トレーニングすることは、所与の整合画像セットの前記機械学習モデルの生成された出力と対応するグラウンドトゥルース位相画像とを比較することに基づく、ことと、
第1の入力された明視野画像および第2の入力された明視野画像を含む入力データセットを受信することと、
前記トレーニングされた機械学習モデルを使用して、前記第1の入力された明視野画像および前記第2の入力された明視野画像に基づく結果位相画像を生成することと
を前記装置に行わせる、装置。 - 前記整合画像セットに関連付けられた前記グラウンドトゥルース位相画像は、前記対応する複数の明視野画像に位相方程式を適用することに基づいて生成される、請求項16に記載の装置。
- 位相画像を生成するように構成されている装置であって、前記装置は、
1つ以上の整合画像セットを含むトレーニングデータセットを格納するデータ記憶装置であって、各整合画像セットは、
複数の明視野画像であって、前記複数の明視野画像のそれぞれは、標本の画像化されたビューの異なる焦点面に対応する、複数の明視野画像と、
前記複数の明視野画像に基づくグラウンドトゥルース位相画像と
を含む、データ記憶装置と、
1つ以上のプロセッサと、
命令を記憶するメモリと
を備え、
前記命令は、前記1つ以上のプロセッサによって実行されると、
前記1つ以上の整合画像セットの1つ以上を修正することにより、前記画像ビューの少なくとも1つの視覚的アーティファクトをシミュレートすることであって、整合画像セットを修正することは、前記少なくとも1つの視覚的アーティファクトおよび前記明視野画像に関連付けられた前記焦点面に基づいて、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含み、前記命令は、
少なくとも1つのシミュレートされる視覚的アーティファクトを選択することと、
前記対応する複数の明視野画像の第1の明視野画像を修正することにより、前記第1の明視野画像に関連付けられた第1の焦点面にて、前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることと、
前記第1の焦点面と第2の明視野画像に関連付けられた第2の焦点面との間の差に基づいて、前記少なくとも1つの選択された視覚的アーティファクトを前記対応する複数の明視野画像の内部の少なくとも前記第2の明視野画像に投影することと、
前記第2の明視野画像を修正することにより、前記投影に基づいて前記第2の焦点面で前記少なくとも1つの視覚的アーティファクトをシミュレートすることと
を前記装置に行わせることによって、所与の整合画像セットの前記複数の明視野画像のうちの少なくとも1つを修正することを前記装置に行わせる、ことと、
前記修正された整合画像セットを前記トレーニングデータセットに追加することと、
前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記トレーニングすることは、所与の整合画像セットの前記機械学習モデルの生成された出力と対応するグラウンドトゥルース位相画像とを比較することに基づく、ことと、
第1の入力された明視野画像および第2の入力された明視野画像を含む入力データセットを受信することと、
前記トレーニングされた機械学習モデルを使用して、前記第1の入力された明視野画像および前記第2の入力された明視野画像に基づく結果位相画像を生成することと
を前記装置に行わせる、装置。 - 位相画像を生成するように構成されている装置であって、前記装置は、
1つ以上の整合画像セットを含むトレーニングデータセットを格納するデータ記憶装置であって、各整合画像セットは、
複数の明視野画像であって、前記複数の明視野画像のそれぞれは、標本の画像化されたビューの異なる焦点面に対応する、複数の明視野画像と、
前記複数の明視野画像に基づくグラウンドトゥルース位相画像と
を含む、データ記憶装置と、
1つ以上のプロセッサであって、前記標本の前記画像化されたビュー内の視覚的アーティファクトを回避するために、前記1つ以上の整合画像セットが選択される、1つ以上のプロセッサと、
命令を記憶するメモリと
を備え、
前記命令は、前記1つ以上のプロセッサによって実行されると、
前記1つ以上の整合画像セットの1つ以上を修正することにより、前記画像ビューの少なくとも1つの視覚的アーティファクトをシミュレートすることであって、整合画像セットを修正することは、前記少なくとも1つの視覚的アーティファクトおよび前記明視野画像に関連付けられた前記焦点面に基づいて、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含む、ことと、
前記修正された整合画像セットを前記トレーニングデータセットに追加することと、
前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記トレーニングすることは、所与の整合画像セットの前記機械学習モデルの生成された出力と対応するグラウンドトゥルース位相画像とを比較することに基づく、ことと、
第1の入力された明視野画像および第2の入力された明視野画像を含む入力データセットを受信することと、
前記トレーニングされた機械学習モデルを使用して、前記第1の入力された明視野画像および前記第2の入力された明視野画像に基づく結果位相画像を生成することと
を前記装置に行わせる、装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962906605P | 2019-09-26 | 2019-09-26 | |
US62/906,605 | 2019-09-26 | ||
US17/028,448 US11501420B2 (en) | 2019-09-26 | 2020-09-22 | Reconstructing phase images with deep learning |
US17/028,448 | 2020-09-22 | ||
PCT/IB2020/058915 WO2021059173A1 (en) | 2019-09-26 | 2020-09-24 | Reconstructing phase images with deep learning |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022549684A JP2022549684A (ja) | 2022-11-28 |
JP7346726B2 true JP7346726B2 (ja) | 2023-09-19 |
Family
ID=75163595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022519207A Active JP7346726B2 (ja) | 2019-09-26 | 2020-09-24 | 深層学習による位相画像の再構築 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11501420B2 (ja) |
EP (1) | EP4035129B1 (ja) |
JP (1) | JP7346726B2 (ja) |
CN (1) | CN114730477A (ja) |
CA (1) | CA3156031A1 (ja) |
WO (1) | WO2021059173A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11380516B2 (en) | 2017-04-13 | 2022-07-05 | Fractilia, Llc | System and method for generating and analyzing roughness measurements and their use for process monitoring and control |
US10176966B1 (en) | 2017-04-13 | 2019-01-08 | Fractilia, Llc | Edge detection system |
US10522322B2 (en) | 2017-04-13 | 2019-12-31 | Fractilia, Llc | System and method for generating and analyzing roughness measurements |
US11501420B2 (en) * | 2019-09-26 | 2022-11-15 | Perkinelmer Cellular Technologies Germany Gmbh | Reconstructing phase images with deep learning |
US11393077B2 (en) * | 2020-05-13 | 2022-07-19 | Adobe Inc. | Correcting dust and scratch artifacts in digital images |
EP4105879A1 (en) * | 2021-06-17 | 2022-12-21 | Fujitsu Limited | An unsupervised learning method to detect transparent, or hard to see, anomalies in images |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016161417A (ja) | 2015-03-02 | 2016-09-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、イメージングシステム |
WO2019025298A1 (en) | 2017-07-31 | 2019-02-07 | Institut Pasteur | METHOD, DEVICE AND COMPUTER PROGRAM FOR IMPROVING THE RECONSTRUCTION OF VERY HIGH RESOLUTION DENSED IMAGES FROM LIMITED-LIFE DIFFRACTION IMAGES ACQUIRED BY MONOMOLECULAR LOCATION MICROSCOPY |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AUPP690098A0 (en) | 1998-11-02 | 1998-11-26 | University Of Melbourne, The | Phase determination of a radiation wave field |
US7557929B2 (en) * | 2001-12-18 | 2009-07-07 | Massachusetts Institute Of Technology | Systems and methods for phase measurements |
US7365858B2 (en) * | 2001-12-18 | 2008-04-29 | Massachusetts Institute Of Technology | Systems and methods for phase measurements |
US7549745B2 (en) | 2004-02-02 | 2009-06-23 | Iatia Imaging Pty Ltd | Apparatus and method for correcting for aberrations in a lens system |
CN100565141C (zh) | 2004-03-01 | 2009-12-02 | 亚蒂亚成像有限公司 | 产生含有深度信息的图像的方法和设备 |
US10833912B2 (en) * | 2012-12-05 | 2020-11-10 | Origin Wireless, Inc. | Methods, devices, servers, apparatus, and systems for wireless internet of things applications |
EP2999988A4 (en) * | 2013-05-23 | 2017-01-11 | S.D. Sight Diagnostics Ltd. | Method and system for imaging a cell sample |
US10162161B2 (en) * | 2014-05-13 | 2018-12-25 | California Institute Of Technology | Ptychography imaging systems and methods with convex relaxation |
US10496781B2 (en) * | 2016-12-19 | 2019-12-03 | Kla Tencor Corporation | Metrology recipe generation using predicted metrology images |
EP3811331B1 (en) * | 2018-06-29 | 2024-02-07 | Ramot at Tel-Aviv University Ltd. | Virtual staining systems and methods for observing one or more unstained cells |
US20210264214A1 (en) * | 2018-07-19 | 2021-08-26 | The Regents Of The University Of California | Method and system for digital staining of label-free phase images using deep learning |
US10960232B2 (en) * | 2018-07-28 | 2021-03-30 | Varian Medical Systems, Inc. | Single-pass imaging and radiation treatment delivery via an extended rotation gantry |
US10885631B2 (en) * | 2019-02-01 | 2021-01-05 | Essen Instruments, Inc. | Label-free cell segmentation using phase contrast and brightfield imaging |
US11803963B2 (en) * | 2019-02-01 | 2023-10-31 | Sartorius Bioanalytical Instruments, Inc. | Computational model for analyzing images of a biological specimen |
US20210073513A1 (en) * | 2019-02-01 | 2021-03-11 | Essen Instruments, Inc. D/B/A Essen Bioscience, Inc. | Method for Classifying Cells |
US11501420B2 (en) * | 2019-09-26 | 2022-11-15 | Perkinelmer Cellular Technologies Germany Gmbh | Reconstructing phase images with deep learning |
US11727586B2 (en) * | 2020-04-21 | 2023-08-15 | Sartorius Bioanalytical Instruments, Inc. | Image processing and segmentation of sets of Z-stacked images of three-dimensional biological samples |
US11209737B1 (en) * | 2020-06-30 | 2021-12-28 | Kla Corporation | Performance optimized scanning sequence for eBeam metrology and inspection |
US11783008B2 (en) * | 2020-11-06 | 2023-10-10 | Adobe Inc. | Machine-learning tool for generating segmentation and topic metadata for documents |
US20220203370A1 (en) * | 2020-12-30 | 2022-06-30 | The Trustees Of The University Of Pennsylvania | Photoactivated Selective Release (PHASR) of Droplets from Microwell Arrays |
-
2020
- 2020-09-22 US US17/028,448 patent/US11501420B2/en active Active
- 2020-09-24 EP EP20786599.9A patent/EP4035129B1/en active Active
- 2020-09-24 WO PCT/IB2020/058915 patent/WO2021059173A1/en unknown
- 2020-09-24 CA CA3156031A patent/CA3156031A1/en active Pending
- 2020-09-24 CN CN202080078559.XA patent/CN114730477A/zh active Pending
- 2020-09-24 JP JP2022519207A patent/JP7346726B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016161417A (ja) | 2015-03-02 | 2016-09-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、イメージングシステム |
WO2019025298A1 (en) | 2017-07-31 | 2019-02-07 | Institut Pasteur | METHOD, DEVICE AND COMPUTER PROGRAM FOR IMPROVING THE RECONSTRUCTION OF VERY HIGH RESOLUTION DENSED IMAGES FROM LIMITED-LIFE DIFFRACTION IMAGES ACQUIRED BY MONOMOLECULAR LOCATION MICROSCOPY |
Also Published As
Publication number | Publication date |
---|---|
EP4035129B1 (en) | 2024-05-01 |
CA3156031A1 (en) | 2021-04-01 |
US11501420B2 (en) | 2022-11-15 |
WO2021059173A1 (en) | 2021-04-01 |
US20210097661A1 (en) | 2021-04-01 |
EP4035129A1 (en) | 2022-08-03 |
JP2022549684A (ja) | 2022-11-28 |
CN114730477A (zh) | 2022-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7346726B2 (ja) | 深層学習による位相画像の再構築 | |
JP7022203B2 (ja) | 組織画像からのアーチファクト除去 | |
Ikoma et al. | A convex 3D deconvolution algorithm for low photon count fluorescence imaging | |
Bizhani et al. | Reconstructing high fidelity digital rock images using deep convolutional neural networks | |
Zhang et al. | DiLFM: an artifact-suppressed and noise-robust light-field microscopy through dictionary learning | |
Boland et al. | Improving axial resolution in Structured Illumination Microscopy using deep learning | |
Wu et al. | Restoration of defocused ferrograph images using a large kernel convolutional neural network | |
Ning et al. | Deep self-learning enables fast, high-fidelity isotropic resolution restoration for volumetric fluorescence microscopy | |
Lawrence et al. | Phase retrieval with holography and untrained priors: Tackling the challenges of low-photon nanoscale imaging | |
Prigent et al. | SPITFIR (e): a supermaneuverable algorithm for fast denoising and deconvolution of 3D fluorescence microscopy images and videos | |
Bruch et al. | Synthesis of large scale 3D microscopic images of 3D cell cultures for training and benchmarking | |
JP2023532755A (ja) | 画像を処理するためのコンピュータ実装方法、コンピュータプログラム製品、およびシステム | |
Höck et al. | N2v2-fixing noise2void checkerboard artifacts with modified sampling strategies and a tweaked network architecture | |
Yang et al. | Semi-and self-supervised multi-view fusion of 3d microscopy images using generative adversarial networks | |
Lee et al. | Optimizing image focus for 3D shape recovery through genetic algorithm | |
Barutcu et al. | Compressive ptychography using deep image and generative priors | |
JP2023547454A (ja) | 画像フレームシーケンスの信号対雑音比を改善するための方法および画像処理デバイス | |
Eldaly et al. | Deconvolution of irregularly subsampled images | |
Chobola et al. | Lucyd: A feature-driven richardson-lucy deconvolution network | |
Hadj et al. | Depth-variant image restoration in 3D fluorescence microscopy: Two approaches under gaussian and poissonian noise conditions | |
Raureanu | Transfer learning for cell image reconstruction | |
Shevkunov et al. | Deep convolutional neural network-based lensless quantitative phase retrieval | |
Wang et al. | Applying Space-Variant Point Spread Function to Three-Dimensional Reconstruction of Fluorescence Microscopic Images | |
CN116471494A (zh) | 一种用于压缩式感测和处理图像数据的方法 | |
Ikoma | Computational Fluorescence Microscopy for Three Dimensional Reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220516 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230622 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230824 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230906 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7346726 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |