JP7346726B2 - 深層学習による位相画像の再構築 - Google Patents

深層学習による位相画像の再構築 Download PDF

Info

Publication number
JP7346726B2
JP7346726B2 JP2022519207A JP2022519207A JP7346726B2 JP 7346726 B2 JP7346726 B2 JP 7346726B2 JP 2022519207 A JP2022519207 A JP 2022519207A JP 2022519207 A JP2022519207 A JP 2022519207A JP 7346726 B2 JP7346726 B2 JP 7346726B2
Authority
JP
Japan
Prior art keywords
image
bright field
matched
images
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022519207A
Other languages
English (en)
Other versions
JP2022549684A (ja
Inventor
カウポ パロ,
アブドゥルラフマン アルハイミ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PerkinElmer Health Sciences Canada Inc
Revvity Cellular Technologies GmbH
Original Assignee
PerkinElmer Health Sciences Canada Inc
PerkinElmer Cellular Technologies Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PerkinElmer Health Sciences Canada Inc, PerkinElmer Cellular Technologies Germany GmbH filed Critical PerkinElmer Health Sciences Canada Inc
Publication of JP2022549684A publication Critical patent/JP2022549684A/ja
Application granted granted Critical
Publication of JP7346726B2 publication Critical patent/JP7346726B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/4833Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30072Microarray; Biochip, DNA array; Well plate

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Food Science & Technology (AREA)
  • Immunology (AREA)
  • Hematology (AREA)
  • Optics & Photonics (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Urology & Nephrology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Description

本特許文書の開示の一部は、著作権の保護がなされる内容を含む。著作権の所有者は、特許商標庁の特許出願書及び記録に表現されているように、特許文書または特許開示に関する何人かによる完全な複写には異存がないが、それ以外、すべての著作権などを保有する。
関連出願の相互参照
本願は、2019年9月26日に出願された「Reconstructing Phase Images with Deep Learning」と題された米国仮特許出願第62/906,605号、及び2020年9月22日に出願された「Reconstructing Phase Images with Deep Learning」と題された米国非仮特許出願第17/028,448号の優先権を主張するものであり、それらの内容は、参照によりその全体が本明細書に明示的に組み込まれる。
本開示は、一般に、機械学習技術を使用して、明視野顕微鏡画像からのものを含む画像セットから位相画像を再構成するための装置、方法、及びシステムに関する。
顕微鏡検査により、人間の目には見えない詳細さのレベルで、世界の諸部分を見ることができるようになった。技術の進歩が進行して昔の「ガラスを見る」アプローチからはるかに遠ざかり、現代の技術は、顕微鏡の世界のいっそう鮮明な画像を提示することができる。画像化技術は、サンプルを観察するための高レベルのズーム分解能をもたらすことと、対象の主題の要素を分離することの両方を目的としている。これらの技術は、生体細胞の研究において特に関心がもたれている可能性がある。
定量的位相画像化はそのような手法の1つである。明視野画像化技術は、使用者が見るために、サンプルを照らし、サンプルを通過する光を収集することができる。サンプルに含まれる様々な要素を介した光の屈折の性質により、サンプルの様々な焦点面での一対の明視野画像を処理して組み合わせて、顕微鏡で使用するためのプレートにあるサンプルに含まれる細胞などの、サンプリングされた対象の鮮明な画像を再構成することができる。
位相画像化を使用することで、単純な明視野画像化を大幅に強化できる。例えば、標本のビュー(例えば、顕微鏡のビューまたは画像化される他の標本ビュー)は、2つ以上の異なる焦点面で画像化されて、2つ以上の明視野画像を提示し得、次いで、屈折率のコントラストを使用して、結合されて強化された位相画像を生成し得る。例えば、水中に細胞を含むサンプルを含む標本では、水の既知の屈折率(n=1.33)を使用して、細胞を分離及び識別し(例えば、n=1.35~1.38)、サンプルの細胞に焦点を合わせた位相画像を生成できる。明視野画像は、近軸照射の強度方程式の輸送の特殊な形式である基本的な位相方程式に基づいて処理及び結合することができる(M.R.Teague,“Deterministic phase retrieval: a Green’s function solution,” Journal of the Optical Society of America,vol.73,no.11,pp.1434-1441,1983)。
Figure 0007346726000001

式中、Iは空間座標x、y、zの関数としての光の強度、Φは空間座標の関数としての光波の位相、∇及び△は、xy平面の対応する勾配演算子、ならびにラプラス演算子、∂Iはz軸に沿った強度の導関数である。明視野位相画像化に関する追加の情報は、「Quantitative phase-amplitude microscopy I: optical microscopy」、E.D.Barone-Nugent et al.,Journal of Microscopy,Vol.206,Pt.3 June 2002,pp.193-203という論文において見出すことができる。
明視野位相画像化は強力なツールになり得る。これは一部のユースケースではうまく機能するが、このアプローチは、一般的なアーティファクト(例えば、ダストの粒子、水滴、ウェルの端/境界)に直面するとき、うまく機能しない場合があり、単相画像を生成するのにかなりの時間(つまり、3~5秒)かかる場合がある。光路の乱れ(例えば、視覚的アーティファクト、または単に「アーティファクト」)は、光を屈折させずに吸収するため、位相画像に特定の問題を呈する可能性がある。位相方程式は吸収効果を取り込まず、これらの効果の説明は不適切な問題であり、計算コストが高いため、これらの乱れまたはアーティファクトは、生成された位相画像に望ましくない結果をもたらす可能性がある。吸収を適切に考慮しないと、相の解はひどく非局所的に歪むことになる。
明視野位相画像化のもう1つの欠点は、画像の境界領域である。例えば、画像のエッジを越えると有用なデータがないため、計算された位相画像には、画像のエッジを表す境界領域でのぼかしが含まれる。別の例では、画像化された領域内で光の一部が完全に吸収されると、サンプルのウェルプレートのウェルの境界が、同様の問題を引き起こす可能性がある。その他の問題には、照射の不均一性と、重要なバックグラウンド成分を生成する不完全な近軸照射の組み合わせが含まれる。十分なバックグラウンド除去がまた、信号を劣化させる可能性がある。
本明細書で説明する諸態様は、トレーニングデータセット及びシミュレートされた視覚的アーティファクトに基づいてトレーニングされた新規の機械学習モデルを使用して、これら及びその他の欠点に対処し得る。本明細書に記載された新規の技術を通して、改善された位相画像は、明視野画像のセットから生成され得る。これにより、科学者や研究者の能力が向上し、例えば、画像の鮮明度が向上し、背景のコンテンツと比較して細胞が分離されるため、細胞のサンプルの構造を視認できる。
M.R.Teague,"Deterministic phase retrieval: a Green’s function solution," Journal of the Optical Society of America,vol.73,no.11,pp.1434-1441,1983 Quantitative phase-amplitude microscopy I: optical microscopy」、E.D.Barone-Nugent et al.,Journal of Microscopy,Vol.206,Pt.3 June 2002,pp.193-203
本明細書で説明するのは、人工知能と機械学習を組み込んで、深層学習アルゴリズムを活用して良質の位相画像を自動的に再構築する手法である。これにより、本明細書で特定されるアーティファクトと画像の質の問題の影響を軽減できる。これらの技術はまた、以前の技術よりも短い時間で位相画像を生成し得る(例えば、複数秒かかる以前の技術と比較して1秒未満)。
本明細書で説明する態様は、機械学習技術を使用して、複数の焦点面での明視野画像から位相画像を再構成することに関する。機械学習モデルは、明視野画像のセットに基づいて位相画像を生成するようにトレーニングすることができる。1つまたは複数のサンプル(マイクロ)ウェルをさらに含むサンプルウェルプレートのビューを含む標本を画像化する例では、トレーニングデータセットは、当該のサンプルウェルプレートのビュー、及び/またはサンプルウェルプレートの境界、(マイクロ)ウェルの境界、及び/またはほこりなどの他の視覚的アーティファクトなどの視覚的アーティファクトを回避する画像に基づいて選択され得る。機械学習モデルは、標本全体及び/またはそこに含まれるサンプル内のサブ領域を考慮することにより、結果として生じる位相画像への視覚的アーティファクトの影響を減らすようにトレーニングすることができる。トレーニングデータセットは、トレーニングデータセットに画像のコピーを作成し、シミュレートされた視覚的アーティファクトを追加して、シミュレートされたトレーニングデータセット画像を作成することによって、拡張することができる。教師ありトレーニングアプローチでは、機械学習モデルは、シミュレートされたトレーニングデータセットの画像を使用してトレーニングされ、機械学習モデルは、シミュレートされた視覚的アーティファクトに基づいて出力を適応させることを学習し得る。
データセット内の整合画像セットは、トレーニング中に機械学習モデルへの入力として使用でき、各整合画像セットは、それぞれ異なる焦点面にある標本のビューに対応する2つ以上の明視野画像と、対応する2つ以上の明視野画像に基づいて生成された標本のグラウンドトゥルース位相画像で構成され得る。整合画像セットに基づいて生成された機械学習モデルの出力を、対応するグラウンドトゥルース位相画像と比較して、モデルをトレーニングすることができる。さらに、及び/または代わりに、教師なしトレーニングアプローチは、対応するグラウンドトゥルース画像を必要としないトレーニングデータセットを使用して行うことができ、この場合、機械学習モデルの生成された出力は、位相方程式を使用して評価される。トレーニングされたモデルは、明視野画像ペアの入力データセットから位相画像を生成するために使用することができる。
対応する方法、装置、システム、及びコンピュータ可読媒体はまた、本開示の範囲内にある。
これらの機能は、他の多くの機能と共に、以下でより詳細に説明されている。
本発明は、例えば、以下を提供する。
(項目1)
位相画像を生成するためのコンピュータ実装方法であって、
1つまたは複数の整合画像セットを含むトレーニングデータセットを受信することであって、各整合画像セットは、
標本の画像ビューに対応する複数の明視野画像であって、各々が異なる焦点面に対応する、前記複数の明視野画像と、
前記複数の明視野画像に基づいて生成されたグラウンドトゥルース位相画像とを含む、前記受信すること、
シミュレートする視覚的アーティファクトを少なくとも1つ選択すること、
前記受信したトレーニングデータセットの前記1つまたは複数の整合画像セットの少なくとも1つを修正して、前記標本の前記画像ビューで前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることにより、1つまたは複数の追加の整合画像セットを生成することであって、所与の整合画像セットを修正することは、前記少なくとも1つの選択された視覚的アーティファクトに基づいて、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含む、前記生成すること、
前記1つまたは複数の追加の整合画像セットを前記トレーニングデータセットに追加すること、
前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記機械学習モデルをトレーニングすることは、所与の整合画像セットの前記機械学習モデルの生成された出力を、前記対応するグラウンドトゥルース位相画像と比較することに基づく、前記トレーニングすること、
第1の入力される明視野画像及び第2の入力される明視野画像を受信すること、及び
前記トレーニングされた機械学習モデルを使用して、前記第1の入力される明視野画像及び前記第2の入力される明視野画像に対応する位相画像を生成することを含む、前記方法。
(項目2)
所与の整合画像セットを修正して、前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることは、
前記少なくとも1つの選択された視覚的アーティファクトに基づいて、前記所与の整合画像セットの第1の明視野画像を修正すること、及び
前記少なくとも1つの選択された視覚的アーティファクト、及び前記所与の整合画像セットの前記複数の明視野画像の焦点面間の差に基づいて、前記少なくとも1つの選択された視覚的アーティファクトに基づく前記所与の整合画像セット内の追加の明視野画像を修正することを含む、項目1に記載の方法。
(項目3)
前記明視野画像を修正することは、
ピクセルを水平方向にシフトすること、
ピクセルを垂直方向にシフトすること、
ピクセルを回転させること、
ランダムなバックグラウンドノイズを追加すること、
ピクセルをぼやけさせること、
前記明視野画像の指定された領域にブラックアウト領域を生成すること、
前記明視野画像にランダムなブラックアウト領域を生成すること、または
前記明視野画像の少なくとも1つの領域を暗くすることのうちの少なくとも1つを含む、項目2に記載の方法。
(項目4)
ランダムなバックグラウンドノイズを追加することは、ガウスノイズ、ソルトアンドペッパーノイズ、ポアソンノイズ、またはスペックルノイズのうちの少なくとも1つの形態でバックグラウンドノイズを追加することを含む、項目3に記載の方法。
(項目5)
前記標本の前記画像ビュー内のプレートの境界を回避するために、前記1つまたは複数の整合画像セットが選択される、項目1に記載の方法。
(項目6)
前記標本の前記画像化されたビューの中の画像化された視覚的アーティファクトを回避するために、前記1つまたは複数の整合画像セットが選択される、項目1に記載の方法。
(項目7)
各グラウンドトゥルース位相画像が、前記対応する複数の明視野画像に位相方程式を適用することによって生成される、項目1に記載の方法。
(項目8)
前記生成されたグラウンドトゥルース位相画像が、放物線スライディング補正を適用することによってさらに処理される、項目7に記載の方法。
(項目9)
前記整合させた画像のセットの少なくとも1つを修正して、前記標本の前記画像ビューにおける前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることは、
前記選択された少なくとも1つの視覚的アーティファクトに基づいて前記グラウンドトゥルース位相画像を修正することをさらに含む、項目1に記載の方法。
(項目10)
前記械学習モデルがニューラルネットワークを含む、項目1に記載の方法。
(項目11)
位相画像を生成するためのコンピュータ実装方法であって、
1つまたは複数の整合画像セットを含むトレーニングデータセットを受信することであって、各整合画像セットは、標本の画像ビューに対応する複数の明視野画像を含み、各明視野画像は、異なる焦点面で取得された、前記受信すること、
前記受信したトレーニングデータセットの前記1つまたは複数の追加の整合画像セットの少なくとも1つを修正して、少なくとも1つの視覚的アーティファクトをシミュレートすることにより、1つまたは複数の追加の整合画像セットを生成することであって、所与の整合画像セットを修正することは、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含む、前記生成すること、
前記1つまたは複数の追加の整合画像セットを前記トレーニングデータセットに追加すること、
前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記機械学習モデルをトレーニングすることは、対応する複数の明視野画像に位相方程式を適用することにより、所与の整合画像セットの前記機械学習モデルの生成された出力の精度を評価することに基づく、前記トレーニングすること、
少なくとも第1の入力される明視野画像及び第2の入力される明視野画像を含む入力データセットを受信すること、及び
前記トレーニングされた機械学習モデルを使用して、前記第1の入力される明視野画像及び前記第2の入力される明視野画像に基づく得られる位相画像を生成することを含む、前記方法。
(項目12)
所与の整合画像セットを修正して、少なくとも1つの視覚的アーティファクトをシミュレートすることは、
前記対応する複数の明視野画像内の第1の明視野画像に適用するためにシミュレートされた視覚的アーティファクトを選択すること、
前記第1の明視野画像に関連付けられた前記焦点面に基づいて前記少なくとも1つの選択された視覚的アーティファクトをシミュレートするために前記第1の明視野画像を視覚的に修正すること、
前記選択された少なくとも1つの視覚的アーティファクトを、前記第1の明視野画像に関連する前記焦点面と、前記対応する複数の明視野画像の前記少なくとも1つの他の明視野画像に関連する前記焦点面との間の差に基づいて、前記対応する複数の明視野画像の少なくとも1つの他の明視野画像に投影すること、及び
前記対応する複数の明視野画像の前記少なくとも1つの他の明視野画像を視覚的に修正して、前記投影に基づいて前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることを含む、項目11に記載の方法。
(項目13)
各整合画像セットが対応するトレーニング位相画像を含み、前記1つまたは複数の整合画像セットの少なくとも1つを修正して、前記標本の前記画像ビューの少なくとも1つの視覚的アーティファクトをシミュレートすることは、
前記少なくとも1つの視覚的アーティファクトに基づいて前記トレーニング位相画像を修正することをさらに含む、項目11に記載の方法。
(項目14)
前記標本の前記画像化されたビュー内で関連付けられたプレートの境界を回避するために、前記1つまたは複数の整合画像セットが選択される、項目11に記載の方法。
(項目15)
各整合画像セットが対応するトレーニング位相画像をさらに含み、所与の整合画像セットについて前記機械学習モデルの生成された出力の前記精度を評価することは、前記対応するトレーニング位相画像に放物線スライディング補正を適用することをさらに含む、項目11に記載の方法。
(項目16)
前記械学習モデルがニューラルネットワークを含む、項目11に記載の方法。
(項目17)
位相画像を生成するように構成された装置であって、
1つまたは複数の整合画像セットを含むトレーニングデータセットを格納するデータ記憶装置であって、各整合画像セットが、
各々が標本の画像化されたビューの異なる焦点面に対応する複数の明視野画像と、
前記複数の明視野画像に基づくグラウンドトゥルース位相画像とを含む、前記データ記憶装置、
1つまたは複数のプロセッサ、及び
メモリであって、前記1つまたは複数のプロセッサによって実行されると、前記装置に、
前記1つまたは複数の整合画像セットの1つまたは複数を修正して、前記画像ビューの少なくとも1つの視覚的アーティファクトをシミュレートすることであって、整合画像セットを修正することは、前記少なくとも1つの視覚的アーティファクト及び前記明視野画像に関連付けられた前記焦点面に基づいて、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含む、前記シミュレートすること、
前記修正された整合画像セットを前記トレーニングデータセットに追加すること、
前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記トレーニングすることは、所与の整合画像セットの前記機械学習モデルの生成された出力を、対応するグラウンドトゥルース位相画像と比較することに基づく、前記トレーニングすること、
第1の入力される明視野画像及び第2の入力される明視野画像を含む入力データセットを受信すること、及び
前記トレーニングされた機械学習モデルを使用して、前記第1の入力される明視野画像及び前記第2の入力される明視野画像に基づく得られる位相画像を生成することを生起させる命令を格納する前記メモリを含む、前記装置。
(項目18)
前記整合画像セットに関連付けられた前記グラウンドトゥルース位相画像が、前記対応する複数の明視野画像に位相方程式を適用することに基づいて生成される、項目17に記載の装置。
(項目19)
前記命令は、前記装置に、
少なくとも1つのシミュレートされる視覚的アーティファクトを選択すること、
前記第1の明視野画像に関連付けられた第1の焦点面にて、前記少なくとも1つの選択された視覚的アーティファクトをシミュレートするために前記対応する複数の明視野画像の第1の明視野画像を修正すること、
前記少なくとも1つの選択された視覚的アーティファクトを、前記第1の焦点面と、第2の明視野画像に関連する第2の焦点面との間の差に基づいて、前記対応する複数の明視野画像の内部の少なくとも前記第2の明視野画像に投影すること、及び
前記第2の明視野画像を修正して、前記投影に基づいて前記第2の焦点面で前記少なくとも1つの視覚的アーティファクトをシミュレートすることを生起させることによって、所与の整合画像セットの前記複数の明視野画像のうちの少なくとも1つを前記装置に修正させる、項目17に記載の装置。
(項目20)
前記標本の前記画像化されたビュー内の視覚的アーティファクトを回避するために、前記1つまたは複数の整合画像セットが選択される、項目17に記載の装置。
本開示は、例を挙げながら添付の図面において説明されており、添付の図面に限定されない。図面では、同様の参照符号が同様の要素を示す。
本明細書で論じられる1つまたは複数の例示的な態様に従って、本開示の1つまたは複数の態様を実施する際に使用することができるコンピューティングデバイスの例を示す。 いくつかの態様による、明視野位相画像の例示的な生成を示す。 生成された明視野位相画像における複雑さを提示し得る視覚的アーティファクトの例を示している。 生成された明視野位相画像における複雑さを提示し得る視覚的アーティファクトの例を示している。 生成された明視野位相画像における複雑さを提示し得る視覚的アーティファクトの例を示している。 1つまたは複数の態様による、機械学習モデルをトレーニングして位相画像を生成するためのトレーニングデータセットを展開するための方法の説明的な例のブロック図である。 1つまたは複数の態様による、機械学習モデルをトレーニングして位相画像を生成するためのトレーニングデータセットを展開するための方法の説明的な例のブロック図である。 いくつかの態様による、機械学習モデルのトレーニングに使用するための例示的な整合画像セットを示す。 いくつかの態様による、機械学習モデルのトレーニングに使用するための例示的な修正された整合画像セットを示す。 いくつかの態様による、視覚的アーティファクトのシミュレーションに関連する光学原理を示す。 本明細書に記載の1つまたは複数の態様による、古典的な方法と新規の技術との間の比較結果を示す。 本明細書に記載の1つまたは複数の態様による、古典的な方法と新規の技術との間の比較結果を示す。
種々の実施形態の以下の説明では、本明細書の一部を構成する添付図面を参照する。図面では、本開示の態様が実施され得る種々の実施形態が例として示されている。他の実施形態を用いてもよく、本開示の範囲か逸脱することなく構造的及び機能的変更を行ってもよいことを理解すべきである。本開示の態様は、他の実施形態が可能であり、種々の異なる方法で実施または実行することができる。また、本明細書で使用されている表現及び用語は、説明を目的としており、限定的なものと見なすべきでないことも理解されたい。むしろ、本明細書で用いる語句及び用語には、その最も広い解釈及び意味を与えるべきである。「含む(including)」及び「含む(comprising)」ならびにその変形を用いた場合、後述で列記する物品及びその均等物、ならびにさらなる物品及びその均等物を包含することが意図されている。
導入として、本明細書で論じられる態様は、ダスト、水滴、ウェルの境界(マルチウォールプレートにおいてなど)、画像の境界線などの視覚的アーティファクトの影響を低減及び/または除去することができる位相画像を生成するために深層学習を採用する装置、システム、方法、及び技術に関連し得、それにより、このようなアーティファクトに関連する従来の方法の欠点に対処する。本開示の目的のために、「アーティファクトのない」画像は、開示されている装置、システム、方法及び技術の適用がない場合に、実質的な画像の歪みを生じる視覚的アーティファクト及び/または不連続性が、実質的にない画像であると理解されるべきである。また、本明細書で使用される場合、「標本」は、画像化されるビュー、または顕微鏡のビューなどの「画像ビュー」の内容を指し、そのような標本は、1つまたは複数の物体、構造、サンプルなどを含み得る。一実施形態では、少なくとも2つの異なる焦点面を使用する標本のアーティファクトのないビュー(例えば、顕微鏡のビュー)からのトレーニングセット画像を取得して、少なくとも第1及び第2の明視野画像を提示し、アーティファクトのない位相画像のビューをそれから取得できる。その後、少なくとも第1及び第2のアーティファクトのない明視野画像は、明視野の顕微鏡画像に存在することが知られている視覚的アーティファクトまたは他のタイプの難題が存在することをシミュレートすることによって修正することができる。修正された明視野画像は、アーティファクトのない位相画像(例えば、修正されていない明視野画像から導出されたもの)と共に、トレーニングセットとして機械学習モデルへの入力として提示される。機械学習モデルは、位相方程式と1つまたは複数のモデルパラメータに基づくトレーニングセットの整合させた画像に基づいて、出力される位相画像を生成できる。そのような実施形態では、機械学習モデルのパラメータは、(アーティファクトのない明視野画像に基づく)アーティファクトのない位相画像を考慮して、シミュレートされたアーティファクトによって誘発された明視野画像を補うように調整される。トレーニングに続いて、実際のアーティファクトを含むサンプル明視野画像が提示されると、開示された装置、方法、及びシステムは、トレーニングされた機械学習モデルを利用して、アーティファクトを補う対応するビューの位相画像を計算することができる。
いくつかの実施形態では、機械学習モデル(例えば、ニューラルネットワーク)は、異なる焦点面で取得された標本の一対の明視野画像から位相画像を生成するようにトレーニングされ得る。モデルは、古典的に生成された位相画像を部分的に使用できないようにする可能性がある一般的な問題を回避するようにトレーニングすることができる。トレーニングデータセットは、整合させた画像の比較的クリーンなセットを選択することによって構築できる。これは、視覚的なアーティファクト及びその他の問題を回避する標本またはその(サブ)領域の画像ビューの例を提示するために選択できる。例えば、モデルは、完全な明視野画像内のカットアウト領域のトレーニング画像(例えば、少なくとも2つの異なる焦点面から)を操作するようにトレーニングできる。これにより、モデルは、画像の境界線の影響を低減及び/または除去することを学習できるようになり得る。トレーニングデータセットは、整合させた画像セットを取得し、画像を修正して、明視野顕微鏡の実用性に伴う視覚的アーティファクトまたはその他の難題が存在することをシミュレートすることによって、拡張できる。視覚的なアーティファクトがシミュレートされるため、モデルの出力は、既知のグラウンドトゥルースの例に対して依然として評価できる。このプロセスにより、視覚的なアーティファクトを補正するためのトレーニングされるモデル学習が行われ、生成された位相画像への影響を軽減させ得る。トレーニングされると、モデルを使用して、視覚的アーティファクト及び/または不連続性を含み得る明視野画像/画像ビューから改善された位相画像を生成することができる。
モデルのトレーニングは、教師あり学習、教師なし学習、及び/またはハイブリッドの学習アプローチの場合がある。教師あり学習では、トレーニングデータセット内の各整合画像セットに、対応するグラウンドトゥルースの位相画像(例えば、修正されていない、アーティファクトのない明視野画像から導出された位相画像)が含まれ得る。トレーニング中の機械学習モデルの出力をグラウンドトゥルースの位相画像と比較し得、モデルのパラメータを適切に調整することができる。教師なし学習では、修正されていないアーティファクトのない明視野画像に位相方程式(及び/または追加の拡張)を適用することによって計算された、予想されるグラウンドトゥルース位相画像と、トレーニング中の機械学習モデルの出力を、比較できる。いくつかの実施形態では、改善されたモデルのトレーニングを得るために、教師あり学習と教師なし学習の両方の側面を使用するハイブリッドアプローチも使用することができる。
いくつかの態様によれば、教師あり学習システム及び/または方法は、画像の境界から離れて選択されて視覚的なアーティファクトからクリーンにした標本またはその部分のアーティファクトのない画像ビューから得る古典的に再構成された位相画像を、機械学習アルゴリズムをトレーニングするためのグラウンドトゥルースとして使用することができる。深層人工ニューラルネットワークモデルは、位相画像の再構成を再現するようにトレーニングすることができる。本明細書に記載の乱れ及びアーティファクトを説明するために、画像増強ツールを使用して、アーティファクトのないトレーニングデータセットの画像(及び/または対応するグラウンドトゥルースの位相画像)の当該のアーティファクトをシミュレートして、人工ニューラルネットワークがそれらの(シミュレートされた)アーティファクトを処理する種々の方法を学習できるようにすることができる。例えば、アーティファクトのないトレーニングデータ及び/またはグラウンドトゥルースの位相画像の暗い領域を作成して、ダスト粒子または液滴の効果をエミュレートすることができ、その場合、このようなアーティファクトの作成/シミュレーションは、対応する明視野画像の焦点面及び、ある場合にはシミュレートされているアーティファクトに与える効果を説明できる。ネットワークは、暗化することによる寄与を無視するようにトレーニングされ得る。さらに、及び/または代わりに、アーティファクトのないトレーニング画像の一部の領域を「ブラックアウト」して、画像の境界またはウェルの境界の効果をシミュレートすることができる。この場合、ネットワークは、これらの領域をブラックアウトされた領域として保持し、近くの画像領域の位相信号に影響を与えないようにトレーニングすることができる。これらの拡張ツール/手法は、教師あり手法の成功を大幅に改善する可能性がある。いくつかの実施形態では、開示される装置、方法、及びシステムは、第1の明視野画像に関連付けられた第1の焦点面と第2の焦点面に関連付けられた第2の焦点面との間の差に基づいて、シミュレートされた視覚的アーティファクトを異なる明視野画像に投影することを含み得る。
教師なし学習方法は、いくつかの態様によれば、古典的に再構成された位相画像に依存しない場合がある。代わりに、教師なしの方法は、人工ニューラルネットワークモデルをトレーニングするときに、損失関数として主に位相方程式に直接依存する場合がある。このアプローチでは、同じ方法で画像増強ツール/技術を使用する必要がない場合があり、以前に特定されたアーティファクトと画質の問題を説明することができる。ただし、教師なしアプローチは主に位相方程式(及び関連する拡張)に依存しているため、古典的な再構成で同様の問題に苛まれる可能性のある位相画像の追加の詳細を再構成する可能性がある。したがって、いくつかの教師なし実施形態では、明視野画像が機械学習モデルへの入力として提示され、ランダムな重みを使用して位相画像を計算することができる。位相方程式を使用して、損失を計算し、重みを調整できる。このプロセスは、所定のまたはそうでなければ所望の損失をもたらす位相画像が得られるまで繰り返すことができる。
ハイブリッド学習装置、システム、及び/または方法は、いくつかの態様によれば、教師あり方法と教師なし方法の両方を使用して、再構成を実行するようにモデルをトレーニングすることができる。これらの学習方法を機械学習モデルのトレーニングに適用すると、従来の調整に関連する手動のパラメータ調整を必要とせずに、視覚的なアーティファクトの影響を自動的に除去及び/または低減できるモデルが得られる場合がある。
異なる焦点面で測定された明視野顕微鏡画像のセットを使用して位相画像を生成するプロセスは、既知の方法である。このアプローチは、一部のユースケースではうまく機能するが、一般的なアーティファクト(例えば、ダストの粒子、ウェルの境界)に直面して、単相画像を生成するのに時間(すなわち、3~5秒)を要するとき、うまく機能しない。
しかし、これらの概念をより詳細に論じる前に、本開示の様々な態様を実施及び/またはさもなければ提供する際に使用できるコンピューティングデバイスを含むシステム及び/または方法のいくつかの例を、最初に図1に関して論じる。
図1は、本明細書で論じられる1つまたは複数の例示的な態様を実施するために使用され得るコンピューティングデバイス101の一例を示す。例えば、コンピューティングデバイス101は、いくつかの実施形態では、命令を読み取り及び/または実行し、命令に基づいて1つまたは複数のアクションを実行することによって、本開示の1つまたは複数の態様を実装することができる。いくつかの実施形態では、コンピューティングデバイス101は、デスクトップコンピュータ、コンピュータサーバ、モバイルデバイス(例えば、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、その他の任意のタイプのモバイルコンピューティングデバイスなど)、及び/または他のタイプのデータ処理デバイス)などの様々なデバイスを表し、組み込まれ、及び/または含むことができる。
コンピューティングデバイス101は、いくつかの実施形態では、スタンドアロン環境で動作することができる。他では、コンピューティングデバイス101は、ネットワーク化された環境で動作することができる。図1に示されているように、様々なネットワークノード101、105、107、及び109は、インターネットなどのネットワーク103を介して相互接続されてよい。同様にまたは代わりに、他のネットワークは、プライベートイントラネット、企業ネットワーク、LAN、無線ネットワーク、パーソナルネットワーク(PAN)などを含む他のネットワークが使用されてよい。ネットワーク103は、例示を目的としたものであり、より少ないまたは追加のコンピュータネットワークで置き換えられてもよい。ローカルエリアネットワーク(LAN)は、任意の既知のLANトポロジのうちの1つまたは複数を有してよく、イーサネット(登録商標)などの様々な異なるプロトコルのうちの1つまたは複数を使用してよい。デバイス101、105、107、及び109、ならびに他のデバイス(図示せず)は、ツイストペア線、同軸ケーブル、光ファイバ、電波、または他の通信媒体を介してネットワークのうちの1つまたは複数に接続されてよい。
図1にて見られるように、コンピューティングデバイス101は、プロセッサ111、RAM113、ROM115、ネットワークインターフェース117、入力/出力インターフェース119(例えば、キーボード、マウス、ディスプレイ、プリンタなど)、及びメモリ121を含み得る。プロセッサ111は、1つまたは複数のコンピュータ処理ユニット(CPU)、グラフィカル処理ユニット(GPU)、及び/または機械学習に関連する計算を実行するように適合されたプロセッサなどの他の処理ユニットを含み得る。入力/出力(I/O)119は、データまたはファイルの読み出し、書き込み、表示、及び/または印刷のための様々なインタフェースユニット及びドライブを含んでよい。I/O119は、ディスプレイ120などのディスプレイと結合することができる。メモリ121は、コンピューティングデバイス101を構成するためのソフトウェアを特別な目的のコンピューティングデバイスに格納して、本明細書で論じられる様々な機能のうちの1つまたは複数を実行することができる。メモリ121は、コンピューティングデバイス101の全体的な動作を制御するためのオペレーティングシステムソフトウェア123、コンピューティングデバイス101に本明細書で論じられる態様を実行するように指示するための制御論理125、機械学習ソフトウェア127、トレーニングセットデータ129、及び他のアプリケーション129を格納することができる。制御論理125は、機械学習ソフトウェア127に組み込まれ得る、及び/またはその一部であり得る。他の実施形態では、コンピューティングデバイス101は、これらの構成要素のいずれか及び/またはすべて(例えば、2つ以上のプロセッサ、2つ以上のメモリなど)及び/または他の構成要素及び/または本明細書に示されていないサブシステムの2つ以上を含み得る。
デバイス105、107、及び109は、コンピューティングデバイス101に関して説明されたのと同様または異なるアーキテクチャを有してよい。当業者は、本明細書で説明されるデータ処理デバイス101(または、デバイス105、107、もしくは109)の機能性が、例えば、複数のコンピュータにわたって処理負荷を分散し、地理的位置、ユーザーアクセスレベル、サービスの質(QoS)などに基づいてトランザクションを分けるよう、複数のデータ処理デバイスにわたって広げられてもよいことを理解されよう。例えば、デバイス101、105、107、109などは、制御論理125及び/またはソフトウェア127の動作を補助する並列コンピューティング機能を提供するために協働して動作することができる。
本明細書で論じられている1つまたは複数の態様は、本明細書に記載の1つまたは複数のコンピュータまたは他のデバイスによって実行される、1つまたは複数のプログラムモジュールなど、コンピュータで使用可能もしくは読み取り可能なデータ及び/またはコンピュータ実行可能命令で具体化されてよい。一般に、プログラムモジュールは、コンピュータまたは他のデバイスのプロセッサで実行されると、特定のタスクを実行する、または、特定の抽象的なデータタイプを実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。モジュールは、実行するために後でコンパイルされるソースコードプログラミング言語で記述される場合もあれば、PythonまたはRなどの(ただしこれらに限定されない)スクリプト言語で記述される場合もある。コンピュータ実行可能命令は、ハードディスク、光ディスク、取外し可能な記憶媒体、ソリッドステートメモリ、RAMなどのコンピュータ可読媒体に記憶することができる。当業者によって理解されるように、プログラムモジュールの機能性は、様々な実施形態において必要に応じて組み合わせるかまたは分散することができる。加えて、機能性は、ファームウェアまたは、集積回路、フィールドプログラマブルゲートアレイ(FPGA)などのハードウェア等価物において全体的または部分的に具体化され得る。特定のデータ構造を使用して、本明細書に記載する1つまたは複数の態様をより効果的に実施し得、そのようなデータ構造は、本明細書に記載するコンピュータ実行可能命令及びコンピュータ使用可能データの範囲内で企図される。本明細書にて論じられている様々な態様は、方法、コンピューティングデバイス、データ処理システム、またはコンピュータプログラム製品として具体化され得る。
以下でさらに説明するようないくつかの態様を実装するために使用できるコンピューティングデバイスのいくつかの例について説明したので、次に、明視野位相画像を生成するための機械学習モデルをトレーニングするプロセスの論述に移る。
図2は、2つの入力された明視野画像からの明視野位相画像の生成の例を示している。第1の画像210及び第2の画像220は、それぞれ第1及び第2の焦点面を使用して明視野顕微鏡からキャプチャされた画像であり得る。例えば、細胞及び水を含むサンプルを有する標本は、サンプルプレートのウェルに作成され、顕微鏡による画像化のために適切に配置され得る。第1の画像210は、第1の焦点面での標本の少なくとも一部のビューのキャプチャされた画像であり得、第2の画像220は、第2の焦点面でキャプチャされた標本の同じビューの対応する画像であり得る。明視野位相画像化の原理を適用して、第1の画像210及び第2の画像220を処理して、位相方程式235に基づいて位相画像230を生成することができる。このプロセスでは、既知のサンプル媒体(例えば、n=1.33の水)及びサンプル(例えば、n=1.35~1.38の細胞)の異なる屈折率を利用して、視覚的なコントラストによってサンプルを背景と分離している画像を生成できる。異なる焦点面の画像へ位相方程式を適用することは、細胞がレンズと同様に動作し、1つの層から次の層に移動するときに細胞を通過する光を凝縮することを認識することに基づいている。光の保存則は、光子を失うことなく、ある場所から別の場所に光がどのように移動するかを決定する。位相方程式を適用すると、第1及び第2の焦点面からの密度情報を変換して、位相画像(Φ)を生成できる。
本技術は、アーティファクトのこれらの例または他の例に限定されず、また 画像内の他の視覚的アーティファクト及び/または不連続性に拡張される場合があり、明視野画像を入力するための位相方程式の厳密な適用は、とりわけ、ダストまたはウェルの境界などの視覚的アーティファクトが存在するために使用できない部分を有する位相画像を生成し得る。古典的アプローチでは、位相方程式を使用して生成された位相画像に適用するための様々な調整拡張機能が開発されたが、多くの場合、手作業での調整及び適用が必要である。得られた位相画像に適用された補正は、位相方程式に違反するが、屈折率の点で外れ値である視覚的なアーティファクトの影響を減らすことができる。
図3A~3Cは、位相画像化の複雑さ、及び対応する適切な結果がいかに見えるかを示している。実際には、明視野画像化は、照射パターンの不完全性、光の損失、ノイズ/妨害、光路の乱れ、及びその他の視覚的アーティファクトの影響を受ける。
図3Aは、バックグラウンドノイズ及び画像の境界に関連する問題を示している。例示的な画像310及び320では、特定の標本の2つのビューを提示し、バックグラウンドノイズ及び画像の境界という形式での視覚的アーティファクト及び不連続性は、標本の画像ビューの境界近くの領域に望ましくないコントラストをぼかすまたは導入するのに機能する。このバックグラウンドの発光は、位相方程式を厳密に適用した結果である可能性がある。対応する処理された画像315及び325では、画像310及び320のコントラストの問題を調整した、より適切な視覚化が提示されている。これらの問題を補うための古典的なアプローチには、バックグラウンドカットオフ/スライディングカットオフアプローチが含まれる。前述のように、これらのアプローチは位相方程式に違反する可能性があり、実際にはエラー率が高くなる可能性があるが、観測にいっそう適した位相画像が生成される。補正は位相方程式から逸脱する可能性があるが、有用な信号と不要な信号の分離が改善される。別の拡張には、生成された位相画像へのハイパスフィルターの適用が含まれる場合がある。ただし、ハイパスフィルターは画像をアンダーシュートし得、特定の問題を十分に解決できない場合がある。より良いアプローチは、放物線のスライディングを一種の「かみそり」として利用し、位相画像の最小値の間を補間して、バックグラウンドの発光する細胞を剃ることができる。ただし、放物線スライディングアプローチでは、操作者による注意深い調整及び適用が必要になる場合がある。
同様に、図3Bは、ダストの粒子が画像ビューにある場合の画像ビューに関連する問題を示している。画像330は、ぼやけと高コントラストのハローに囲まれた、ダスト粒子に過度の重みを与える古典的なアプローチから得られた結果の位相画像の例を示している。標本画像ビューに含まれるダストの粒子(空気からのダストや白衣の繊維など)は、これらが光を吸収し、コントラスト位相画像の生成に使用される保存則の位相方程式に違反するため、著しく劣悪な結果をもたらす可能性がある。画像335は、ダスト粒子の影響が低減された画像330に対応する処理された画像を示している。画像340は、同様の視覚的アーティファクトを示しており、視覚経路の乱れにより、位相画像が画像の一部を黒く(白く)している。画像345は、乱れの効果を取り除いた、適切に調整された位相画像を示している。
図3Cは、マルチウェルプレートなどのウェルの境界が、生成された位相画像に及ぼす可能性のある影響を示している。標本内のサンプル(例えば、生物学的材料、非生物学的材料、及び/または調査中の他のタイプの材料)は、顕微鏡で観察されたマルチウェルプレートの小さなウェルの内部で測定することができるが、そのような例は説明のためにのみ提示されており、開示された方法及びシステムは、他のオブジェクト/標本の他のビューに適用することができる。プレートの境界線は、強力な吸収媒体として機能し、有用な信号を光学的に消失させる可能性がある。未処理の位相画像350は、ウェルの境界がウェルの境界を通過する光を吸収する可能性があることを示し、そのため生じた位相画像に、高コントラストで大部分が観測に不適切である領域として示している。古典的なアプローチは、画像のウェルの境界線に実質的に苦闘し、そのような処理アプローチは、生成された位相画像を介して長距離の損傷効果をもたらす可能性がある(例えば、大きな視覚領域に影響を与える)。処理された位相画像355は、いくつかの態様によれば、ウェルの境界の影響を除去する強化された画像を示し、素の未処理の位相画像では見ることができなかった標本細胞を明らかにする。本明細書でさらに説明するように、シミュレートされた視覚的アーティファクトを用いた機械学習アプローチを使用して位相画像を生成することの重要な利点は、標本画像のウェルの境界のトレーニングされたモデルのロバストな処理である可能性がある。
図4Aは、位相画像を生成するため機械学習モデルをトレーニングするための新規の方法4000の一実施形態を示す。方法4000は、1つまたは複数の初期の整合させた明視野画像のセットの取得を含む初期トレーニングデータセットに基づいて機械学習モデルをトレーニングすることができ、各明視野画像は、異なる焦点面で得られたセットの中にある。そのような初期データセット画像は、視覚的アーティファクト及び/または不連続性が実質的にないビューを含み得る。トレーニングデータセットは、初期整合画像トレーニングセット(明視野画像)の1つまたは複数を修正して、古典的アプローチでは位相画像を生成するときに分類に困難な場合のあった視覚的アーティファクト及び/または不連続性をシミュレートすることにより、追加の整合画像セットを生成することによって拡張できる。機械学習モデルは、シミュレートされた視覚的アーティファクト及び/または不連続性についてトレーニングされ、ダスト、水滴、境界、例えばウェルの境界、及びプレートの境界、及び明視野画像化で発生する可能性のある他の視覚的アーティファクト及び不連続性(例えば、図3A~3Cに関して説明したように)を含むがこれらに限定されないかような視覚的アーティファクトの存在下でも位相画像の生成を改善することができる。方法4000は、任意の適切なコンピューティングデバイス(図1のコンピューティングデバイス101など)によって実施され得、コンピュータ可読媒体に具体化され、及び/または適切に構成されたシステムに具体化され得る。機械学習モデルは、畳み込みニューラルネットワークなどの深層学習手法を採用した人工ニューラルネットワークの場合がある。ディープニューラルネットワークは、入力層と出力層を超えて1つまたは複数の隠れ層を含むニューラルネットワークである場合がある。多くのタイプの人工ニューラルネットワークは、入力される明視野画像に基づいて位相画像を生成するのに適しており、ここで説明する態様は、機械学習モデルで採用されている特定のニューラルネットワーク構造に関係なく等しく適用できる。当技術分野で理解されるように、機械学習モジュールによって生成された候補の位相画像は、教師あり学習、教師なし学習、及び/またはハイブリッド学習アプローチを使用して評価することができ、機械学習モデルのパラメータは、機械学習モデルの精度を向上させるべく評価に基づいて調整することができる。
4010で、方法4000を実施するコンピューティングシステムは、1つまたは複数の整合画像セットを含む初期トレーニングデータセットを選択することができる。初期トレーニングデータセット内の各整合画像セットは、異なる焦点面で見た標本の2つ以上の画像を含む場合がある。例えば、整合画像セットは、第1の焦点面でのビューに対応する標本の第1の明視野画像と、第2の焦点面でのビューに対応する同じ標本の第2の明視野画像とを含み得る。初期トレーニングデータセットは、一般に、重大な視覚的アーティファクト及び/または不連続性が実質的にない、整合させた画像のセットを含むように選択することができる。例えば、トレーニングデータセットは、マルチウェルプレートのダスト粒子またはウェルの境界を実質的に回避するように選択された例を含み得る。教師あり学習を適用する場合、トレーニングデータセットは、実質的にアーティファクトのない整合画像セットに基づいて生成された、対応する位相画像を含むことができる。対応する位相画像は、第1及び第2の明視野画像に対して位相方程式を適用するなど、古典的なアプローチを使用して生成することができる。位相画像は、バックグラウンドの発光/ノイズを低減するための放物線スライディング補正を適用することなどによる補正によって、さらに強化される場合がある。
4020で、コンピューティングシステムは、視覚的アーティファクトをシミュレートするための初期整合画像セットを修正することによって、追加の整合画像セットを生成することによって、トレーニングデータセットを強化することができる。
4030で、システムは、初期の「アーティファクトのない」画像と修正された画像を含む、強化されたトレーニングデータセットで、機械学習モデルをトレーニングできる。トレーニング中、4033で、機械学習モデルは、トレーニングデータセット内の整合された明視野画像セットから候補の位相画像を生成する場合がある。2つの明視野画像を有する例示的な実施形態では、第1の焦点面での第1の明視野画像及び整合画像セットの第2の焦点面での対応する第2の明視野画像を、機械学習モデルに入力することができる。3つ以上の焦点面が整合させた画像のセットでキャプチャされるいくつかの実装形態では、入力は、異なる焦点面での明視野画像のそれぞれを含み得る。本明細書で説明する例示的な実施形態では、機械学習モデルは、整合セットの第1及び第2の明視野画像に基づいて生成された候補の位相画像を出力することができる。4035で、生成された候補の位相画像は、以下に説明するように、教師あり学習、教師なし学習、及び/またはハイブリッド学習アプローチを使用して評価することができる。また、4037では、評価に基づいて機械学習モデルのパラメータを調整して、機械学習モデルの精度を向上させることができる。
教師あり学習アプローチでは、図5に示される整合画像セットを使用し得る前述の例によれば、第1及び第2の明視野画像に対応する、モデルによって生成されるトレーニングデータセットからの整合画像セットに対応する候補の位相画像は、トレーニングデータセットの対応するグラウンドトゥルース位相画像(例えば、実質的にアーティファクトのない明視野画像データセット(複数可)から得る古典的方法により生成された位相画像)と比較され得る。グラウンドトゥルース位相画像と機械学習モデルによって生成された候補の位相画像の違いを使用して、モデルをさらにトレーニングすることができる。すなわち、モデルのパラメータは、機械学習モデルの出力を調整及び/または改善するために、差異に基づいて調整され得る。
教師なし学習アプローチでは、機械学習モデルで生成された候補の位相画像を、必要に応じて補正と共に、位相方程式を使用して評価できる。すなわち、明視野画像セットまたは複数の明視野画像から生成された(モデルによって)候補の位相画像は、明視野画像の複数の焦点面で作用する光学法則に対するそのエラー率が評価され得る。例えば、機械学習モデルのトレーニングでは、位相方程式を損失関数として使用し、候補の位相画像と対応する明視野画像を入力として使用でき、モデルは、候補の位相画像を生成するときに損失関数を最小化するようにトレーニングできる。態様は、モデルがトレーニングサイクルを通過するたびにニューラルネットワークの重みに小さなランダムな変更を実行することにより、最小の損失を最適化でき、得られた損失は、各サイクルの終わりに向けて観察できる。得られた損失は、最良の保存モデルのパフォーマンスを評価するために、多くのサイクルにわたって観察され得る。
ハイブリッド学習アプローチでは、教師あり学習と教師なし学習の両方の態様を採用できる。例えば、整合画像セットの候補の位相画像を生成した機械学習モデルは、位相方程式に関連するエラー率も考慮しながら、対応するグラウンドトゥルース位相画像に対して評価できる。一部のモデルパラメータは、教師あり学習に基づいてより適切に調整される可能性があるが、他のモデルパラメータは、教師なし学習に基づいてより適切に通知される可能性がある。監視ありアプローチと監視なしアプローチでは、同じデータセットまたは異なるデータセットを使用できる。例えば、第1のトレーニングデータセットは、明視野画像及びグラウンドトゥルース位相画像のセットを介した監視された学習をサポートし得、一方、第2のトレーニングデータセットは、グラウンドトゥルース位相画像を省くことができる。
ステップ4040で、トレーニングされたモデルを使用して、実際のデータから位相画像を生成することができる。明視野画像のライブのセットなどの明視野画像のソースから受信したデータをモデルに送って、観察を補助するために研究者に提供できる位相画像を生成することができる。
図4Bは、本明細書に記載の装置、方法、及びシステムによって開示されるような、位相画像を生成するための機械学習モデルのトレーニングのためのトレーニングデータセットを生成するための1つの方法400を示す。図4Bの例では、ビューは顕微鏡のビューである。方法400は、方法4000(図4A)の態様を実施することができる。方法400は、顕微鏡のビューの少なくとも2つの明視野画像の整合セットを含むトレーニングデータセットに基づいて機械学習モデルをトレーニングすることができ、各明視野画像は、異なる焦点面を用いて得られる。図4Bに示されるように、初期トレーニングデータセットは、視覚的アーティファクトまたは不連続性が実質的に及び/または比較的ない、整合させた画像または画像ビューの例を選択することに基づいて構築され得る。初期トレーニングデータセットは、初期整合画像トレーニングセットからの追加の整合(修正された明視野)画像セットを生成することによって、また古典的アプローチでは分類または別の処理に困難な場合のあった視覚的アーティファクト及び/または不連続性をシミュレートすることにより、拡張できる。そのような明視野画像の修正は、異なる明視野画像に関連する異なる焦点面、及び異なる焦点面でのアーティファクト/不連続性の潜在的に異なる視覚効果に基づくことができる。特定の学習スキームの実施形態では、開示される方法及びシステムは、「グラウンドトゥルース」位相画像(実質的にアーティファクトのない明視野画像から生成される)を、明視野画像に対して行われるような対応する視覚的アーティファクト及び/または不連続性で修正することも含み得る。機械学習モデルは、シミュレートされた視覚的アーティファクトについてトレーニングされ、図示の実施形態において、ダスト、水滴、境界、ウェルの境界、及び明視野画像化で発生する可能性のある他の視覚的アーティファクト(例えば、図3A~3Cに関して説明したように)を含み得るがこれらに限定されないかような視覚的アーティファクトの存在下でも位相画像の生成を改善することができる。方法400は、任意の適切なコンピューティングデバイス(図1のコンピューティングデバイス101など)によって実施され得、コンピュータ可読媒体に具体化され、及び/または適切に構成されたシステムに具体化され得る。
401で、方法400を実施するコンピューティングシステムは、少なくとも2つの明視野画像の整合セットを選択することによって初期トレーニングデータセットを生成することができ、整合セットの各画像は、異なる焦点面での標本の画像ビューを含む。例えば、2つの明視野画像の場合、第1の明視野画像は、第1の焦点面での標本の特定の顕微鏡のビューで取得され、第2の明視野画像は、同じ標本の同じ顕微鏡のビューで取得されるが、第2の焦点面に対応する。401で選択された画像は、実質的に「アーティファクトがない」ものであり得、好ましくは、いずれかの顕著な及び/または望ましくない視覚的アーティファクト及び/または不連続性を実質的に含まない。教師あり学習の実装形態では、402で、401で取得された(アーティファクトのない初期トレーニングデータ)明視野画像の対応する整合セットに基づいて、位相方程式を適用することにより、トレーニング位相画像を生成できる。したがって、対応するトレーニング位相画像(「グラウンドトゥルース位相画像」)は、他の技術を使用することもできるが、古典的なアプローチを使用して生成することができる。対応するトレーニング位相画像は、バックグラウンドの発光/ノイズを低減するための放物線スライディング補正の適用などによる補正を用いて、さらに強化される場合がある。「アーティファクトのない」明視野画像とそれに対応する「アーティファクトのない」位相画像を保存することができる。教師なし学習の実装形態では、402を省略できる。
403で、1つまたは複数の視覚的アーティファクトを選択することができ、本明細書で前述したように、ビュー内の標本またはサンプルタイプの明視野画像に典型的な視覚的アーティファクトのいずれか1つまたは複数を含むことができる。以前に提示されたように、そのような視覚的アーティファクトは、ダスト、ウェルまたはプレートの境界、ブラックアウトされた領域などを含み得、本開示は、そのようなアーティファクト及び/または不連続性が、標本とその特性に基づいているときに、本明細書に記載されているようなシミュレーションのために選択され得る視覚的アーティファクトのタイプに限定されない。404で、そのような1つまたは複数の選択された視覚的アーティファクトは、例えば、ピクセルを水平及び垂直にシフトする、画像のピクセルを回転させる、ランダムなバックグラウンドノイズ(ガウスノイズ、ソルトアンドペッパーノイズ、ポアソンノイズ、スペックルノイズなど)を追加する、ピクセルをぼやけさせる、マイクロウェルまたはマイクロプレートの境界などをシミュレートする、及び/または(先のアーティファクトのない明視野)画像全体にわたるランダムなブラックアウト領域を生成することなどにより、既知の技術を使用して、「アーティファクトのない」明視野画像のそれぞれにシミュレートされた方法で、適用され得る。
405で、視覚的アーティファクトが、「アーティファクトのない」明視野画像から生成され、それに対応する「アーティファクトのない」位相画像にもシミュレートされた方法で適用されるべきかどうかが決定され得る。そのような決定は、選択されたアーティファクト(複数可)及びそのようなアーティファクトが学習プロセスに及ぼす可能性のある影響に基づく可能性がある。例えば、マイクロウェルプレートの境界線、ウェルの境界線、及びその他の完全に吸収する視覚的アーティファクトを選択して、(アーティファクトのない)位相画像に複製し、機械学習をより適切に導くことができる。他のアーティファクトは、位相画像でシミュレートされない場合がある。
「アーティファクトのない」位相画像を視覚的アーティファクトで修正することが決定された場合、406で、対応する修正された位相画像が生成され得る。修正された明視野画像及び修正された位相画像は、整合画像セットを含み、407でトレーニングデータセットの一部として保存される。別様に、視覚的アーティファクトが位相画像に適用されない場合、「アーティファクトのない」位相画像及び修正された明視野画像は、整合画像セットを含み、408でトレーニングデータセットの一部として保存される。修正された整合画像セットが保存された後、409で、これらの同じ初期画像を使用して、異なるアーティファクトを持つ別の整合画像セットを作成することが決定され得る。そのような場合、本明細書で説明するプロセスは、410で繰り返すことができ、同じ「アーティファクトのない」明視野画像及び対応する「アーティファクトのない」位相画像410に基づくが、様々なアーティファクトでトレーニングデータセットを増強するための新しい整合画像セットを生成する。追加的及び/または代替的に、ステップ411において、「アーティファクトのない」明視野画像の新しいセットは、図4に示されるように、ステップ401及び方法400に戻ることによって取得され得る。図4を繰り返すことにより、他の初期整合セットの明視野画像、及び/または以前に生成された他の整合セットのトレーニングデータに基づいて、修正された整合セットの画像を生成することができる。例えば、一部の実装では、410に示すように「リセット」するのではなく、システムは、すでに修正されている整合セットを選択し、別のアーティファクトでそれをさらに変更する場合がある。トレーニングデータセットに必要なすべての画像セットが含まれると、トレーニングデータセットを提示して、412で機械学習モデルをトレーニングし、研究者や他の使用者が使用する位相画像を生成できる。
図5は、得られた明視野画像(図4B、401を参照)の数が2である、例示的なトレーニングデータセットの例示的な整合画像セット500を示している。整合画像セット500は、第1の焦点面で取得される標本の第1の明視野画像510と、第2の焦点面で取得される標本の第2の明視野画像520とを含み得る。位相画像530は、放物線スライディング補正などの適切な補正と共に、画像510及び520に位相方程式を適用することによって生成することができる。
例示的な画像510、520、及び530は、望ましくないアーティファクトが実質的にない場合がある。例えば、画像の境界が除去され、その結果機械学習モデルが画像の境界の近くの異常な結果についてトレーニングされない。例えば、画像の境界の特定のピクセル範囲内の画像データは、トレーニングデータセット画像510、520、及び530から削除され得る。いくつかの実施形態では、機械学習モデルは、画像510及び520からのデータを考慮して、グラウンドトゥルースとして位相画像530に到達するようにトレーニングにさらに情報を与えることができる。モデルは、位相画像530の縮小領域を生成することを目的としているが、いくつかの実装形態では、縮小領域内のコンテンツをよりよく予測するために、画像510及び520内のその領域の外側からの追加データを考慮することができる。
図6は、2つの明視野画像を含む例示的なトレーニングデータセットの例示的な修正された整合画像セット600を示している。第1の焦点面610での第1の修正された明視野画像は、シミュレートされたウェルの境界611及びシミュレートされたダスト粒子613を含むように修正され得る。これらのシミュレートされたアーティファクトは、第2の焦点面に対応する、対応する第2の明視野画像、及び対応するグラウンドトゥルース位相画像に投影され得る。例えば、修正された第2の明視野画像620は、シミュレートされたウェルの境界621を含むように修正され、これは、標本の超越している焦点面としてのウェルの境界の性質に起因して、シミュレートされたウェルの境界611と実質的に同じであり得る。しかし、ダスト粒子613は、第1の明視野画像と第2の明視野画像との間の焦点面の違いに起因して、修正されたトレーニングデータセットの第2の明視野画像620に、より大きな影響を与えるよう投影され得る。例えば、ダストに関連する光学特性、及び第1の焦点面と第2の焦点面との間の距離を使用して、システムは、ダストがより鋭く(例えば、より深く、より暗い)見える第2の焦点面620と比較して、ダストが、第1の焦点面610においてより集中しておらず、より分散しているように見えるはずであると計算し得る。図7は、シミュレートされたアーティファクトをある平面から別の平面に投影することに関係する光学原理の図700を提示する。特に、ダスト粒子が実際に光とどのように相互作用するかにより、上側平面710は、下側平面720よりもぼやけている可能性がある。さらに、メニスカス効果により、第2の焦点レベルに投影されたときに、投影されたダスト粒子の位置がわずかに変化する可能性がある。したがって、開示される方法及びシステムは、選択されたアーティファクト/不連続性、及び対応する焦点面でのそのような選択されたアーティファクト/不連続性の関連する視覚的な効果に基づいて、アーティファクトのない(例えば、「初期」)トレーニングデータセット画像を修正することによりシミュレートすること、及びアーティファクト及び/または不連続性を含んでいる。
図4Bに提示されるように、405~408で、適切な場合、トレーニングデータセットに対応するグラウンドトゥルース位相画像は、シミュレートされた視覚的アーティファクトの所望の影響を投影するように修正され得る。例えば、システムは、修正されたトレーニングデータセット位相画像630を生成して、画像610及び620と実質的に同じ形式でシミュレートされたウェルの境界631を含むことができる。しかし、領域633に示すように、シミュレートされたダスト粒子613の視覚的なインパクトは大幅に減少し得る。したがって、シミュレートされた視覚的アーティファクトは、機械学習モデルを望ましい結果に導くように構成され、有用な信号を最大化し、無駄な信号を減らす方法で視覚的アーティファクトを適切に補償することができる。
図5に示されるもののように、(初期またはアーティファクトのない)トレーニングデータセットには、視覚的なアーティファクト及び他の複雑さを回避するために選択された例が含まれているため、機械学習モデルは、比較的クリーンな入力データにおいて位相画像を正確に生成するようトレーニングされ得る。しかし、本明細書に記載の態様によれば、図6に示されているものなどの、例示的な修正した整合画像セットは、標本のビューにおける視覚的アーティファクトを処理するために機械学習モデルをトレーニングするべく使用され得る。
開示された装置、システム、及び方法では、クリーンな(例えば、望ましくないアーティファクトからの実質的なアーティファクトのない)画像/トレーニングデータから開始することにより、システムが依然として整合セットに対応するグラウンドトゥルース位相画像を知りながらも、明視野画像の整合セットに修正を加えることが可能になる。したがって、シミュレートされた視覚的アーティファクトの修正された例に対する機械学習モデルのパフォーマンスは、機械学習モデルが、シミュレートされたグラウンドトゥルース位相画像または修正されていない元のグラウンドトゥルース位相画像にどれだけ正確に到達できるかに基づいて、評価し得る。
本明細書に提示されている場合、例えば、第1の焦点面での第1の明視野画像と、(同じ標本の)修正されるトレーニングデータのセットの第2の焦点面での対応する第2の明視野画像を、機械学習モデルに入力することができる。機械学習モデルは、修正されたトレーニングデータのセットの第1及び第2の明視野画像に基づいて生成された候補の位相画像を出力することができる。つまり、機械学習モデルによって生成された候補の位相画像は、シミュレートされたアーティファクトに基づき得る。生成された候補の位相画像は、上で説明したものと類似する、教師あり学習、教師なし学習、及び/またはハイブリッド学習のアプローチを使用して評価することができる。特に、生成された候補の位相画像は、教師あり学習アプローチで、修正されたトレーニングデータセット(シミュレートされた視覚的アーティファクトも含まれるか、変更されていないか)に対応するグラウンドトゥルース位相画像に対して評価できる。いくつかの実施形態では、生成された候補の位相画像は、モデルのトレーニングを導くための損失関数として、例の修正された明視野画像に適用される位相方程式を使用して、教師なしアプローチを使用して評価され得る。いくつかの実施形態では、上記のように、ハイブリッドアプローチを適用することができる。本明細書に記載のように、評価に基づいて機械学習モデルのパラメータを調整して、機械学習モデルの精度を向上させることができる。
一度トレーニングされると、機械学習モデルは、実際の明視野画像データから位相画像を生成するべく使用することができる。明視野画像のライブのセットなどの明視野画像のソースから受信したデータをモデルに送って、観察を補助するために研究者に提供できる位相画像を生成することができる。トレーニング段階でアーティファクトをシミュレートしたデータでトレーニングされたモデルは、実際のデータの視覚的なアーティファクトに対して堅牢である可能性がある。
図8A及び8Bは、古典的なアプローチの結果と比較して、本明細書で説明されるいくつかの態様に従ってトレーニングされた機械学習モデルから得た結果の例を示す。図8Aは、画像810にウェルの境界が提示された場合に、古典的なアプローチがいかに失敗するかを示している。本明細書に記載のいくつかの態様の実施態様に従って生成された画像820は、ウェルの境界の近くにある細胞を依然として示しながら、ウェルの境界の明確な視覚化を提示する。別の例として、図8Bは、本明細書に記載の態様の実施態様による明視野画像のダスト粒子の処理を、古典的なアプローチと比較している。第1の明視野画像831及び第2の明視野画像833は、標本の細胞及び水と比較して高度に光学的に吸収性であるダスト粒子を含む。古典的なアプローチでは、結果として得られる位相画像840は、ダスト粒子によって引き起こされる無用な信号のために実際には使用できない。対照的に、画像845(本明細書に記載のいくつかの態様の実施によって生成される)は、ダスト粒子によって導入される無用な信号を最小化し、ダスト粒子の周りの細胞の有用な信号を保持する。
上記のように、本明細書で説明される態様は、明視野画像から位相画像を生成するために機械学習モデルをするためのプロセスに関連する。本明細書で説明する態様は、機械学習モデルの構造に関係なく等しく適用され得る。例示的な実施態様は、機械学習モデルのために畳み込みディープニューラルネットワーク構造を使用することができる。特に、使用できる機械学習モデルの1つの例示的な実施態様を以下に詳しく説明する。この実施態様では、機械学習モデルは、Googleが提供するTensorFlowライブラリに基づいて実施できる。このモデルは「U」字型で、入力画像を段階的に縮小して関連する特徴を識別してから、結果の画像に拡大して戻す。U字型のアーキテクチャは、単一のピクセルレベルに到達するまで画像を徐々に縮小する一連の層を進み、その後、逆重畳を使用して、フルスケールの画像に戻る作動をすることができる。
U字型ネットワークは、各ステップの4倍など、画像の解像度を繰り返しダウンスケールする場合がある。各畳み込みで、1ピクセルは前のレベルからの4または16ピクセルに対応する場合がある。その結果、各進行層で、個々のピクセルにさらに多くの情報が含まれる。このことは、モデルの区分的トレーニングを容易にでき、ニューラルネットワークが様々な詳細レベルで検討する関連機能を特定できるようにし得る。一部の実施態様では、U字型ネットワークは32個のフィルターの3x3または4x4の畳み込みディープニューラルネットワーク層で構成される。2つの平面(例えば、上側平面と下側平面)で256x256ピクセルがあり得る入力画像が、徐々にフィルタリングされる。各層で、画像をさらにコンポーネント画像に分割できる。重複している画像の256のパッチは、ネットワークにフィードして、一緒に背後に並べて表示される前に個別に処理する場合がある。
TensorFlowライブラリを使用して畳み込みニューラルネットワークを構築するPythonコードの例を以下に再現する。これは、本明細書で説明するいくつかの態様を実装するために使用できる。
layer1 = tf.layers.conv2d(x,64,4,2,’same’,activation=tf.nn.leaky_relu)
layer2 = tf.layers.conv2d(layer1,128,4,2,’same’,activation=tf.nn.leaky_relu)
layer3 = tf.layers.batch_normalization(layer2)
layer4 = tf.layers.conv2d(layer3,256,4,2,’same’,activation=tf.nn.leaky_relu)
layer5 = tf.layers.batch_normalization(layer4)
layer6 = tf.layers.conv2d(layer5,512,4,2,’same’,activation=tf.nn.leaky_relu)
layer7 = tf.layers.batch_normalization(layer6)
layer8 = tf.layers.conv2d(layer7,512,4,2,’same’,activation=tf.nn.leaky_relu)
layer9 = tf.layers.batch_normalization(layer8)
layer10 = tf.layers.conv2d(layer9,512,4,2,’same’,activation=tf.nn.leaky_relu)
layer11 = tf.layers.batch_normalization(layer10)
layer12 = tf.layers.conv2d(layer11,512,4,2,’same’,activation=tf.nn.leaky_relu)
layer13 = tf.layers.batch_normalization(layer12)
layer14 = tf.layers.conv2d(layer13,512,4,2,’same’,activation=tf.nn.leaky_relu)
layer15 = tf.layers.batch_normalization(layer14)
layer16 = tf.layers.conv2d_transpose(layer15,512,4,2,’same’,activation=tf.nn.relu)
layer17 = tf.layers.batch_normalization(layer16)
layer18 = tf.layers.dropout(layer17,0.5,training=is_training)
layer19 = tf.concat((layer12,layer18),axis=3)
layer20 = tf.layers.conv2d_transpose(layer19,512,4,2,’same’,activation=tf.nn.relu)
layer21 = tf.layers.batch_normalization(layer20)
layer22 = tf.layers.dropout(layer21,0.5,training=is_training)
layer23 = tf.concat((layer10,layer22),axis=3)
layer24 = tf.layers.conv2d_transpose(layer23,512,4,2,’same’,activation=tf.nn.relu)
layer25 = tf.layers.batch_normalization(layer24)
layer26 = tf.layers.dropout(layer25,0.5,training=is_training)
layer27 = tf.concat((layer8,layer26),axis=3)
layer28 = tf.layers.conv2d_transpose(layer27,512,4,2,’same’,activation=tf.nn.relu)
layer29 = tf.layers.batch_normalization(layer28)
layer30 = tf.concat((layer6,layer29),axis=3)
layer31 = tf.layers.conv2d_transpose(layer30,256,4,2,’same’,activation=tf.nn.relu)
layer32 = tf.layers.batch_normalization(layer31)
layer33 = tf.concat((layer4,layer32),axis=3)
layer34 = tf.layers.conv2d_transpose(layer33,128,4,2,’same’,activation=tf.nn.relu)
layer35 = tf.layers.batch_normalization(layer34)
layer36 = tf.concat((layer2,layer35),axis=3)
layer37 = tf.layers.conv2d_transpose(layer36,64,4,2,’same’,activation=tf.nn.relu)
layer38 = tf.layers.batch_normalization(layer37)
layer39 = tf.concat((layer1,layer38),axis=3)
layer40 = tf.layers.conv2d_transpose(layer39,1,4,2,’same’)
本明細書で説明する態様は、ニューラルネットワークモデルのトレーニングプロセスに焦点を当てている。モデルは、シフトの補正及びバックグラウンドの発光の低減などの古典的な手法の側面を使用して、候補の位相画像に補正を適用するように構成することができる。モデルは、位相方程式を使用して質をテストするように(例えば、損失関数として)設計できる。ただし、補正は通常、位相方程式に違反するため、モデルを適切に構成して、一部の実施態様で補正を適用する前に、生成された位相画像の精度を評価できる。サンプルのニューラルネットワーク構造に関して上で説明したように、入力画像は、処理を容易にするために並べて表示され、次に、一緒に背後にステッチされて、最終的な位相画像に結合され得る。ニューラルネットワーク構造の態様は調整可能であってよい。例えば、メタパラメータ(及び/またはハイパーパラメータ)を調整して、機械学習モデルのパフォーマンスをさらに向上させることができる。特定の例として、各層で使用されるフィルターの数は、実施態様に応じて調整することができる。
結果として生じる位相画像をさらに改善するために、追加のニューラルネットワーク及び補正を使用することができる。例えば、一部の実施態様では、短い解像度スケールでより高いエラーが発生する可能性がある。高周波の問題は、生成された位相画像にノイズを引き起こす可能性がある。生成された位相画像のノイズを除去するために、追加のニューラルネットワークを使用することができる。同様に、ぼけ検出技術を使用して、生成された位相画像をさらに改善することができる。
主題が構造的特徴及び/または方法論的動作に固有の言語において説明されてきたが、添付の特許請求の範囲において定義される主題は、上記説明された特定の特徴または動作に必ずしも限定されないことが理解されよう。むしろ、上述の特定の特徴及び行為は、特許請求の範囲を実施する例示的形態として開示される。

Claims (19)

  1. 位相画像を生成するためのコンピュータ実装された方法であって、前記方法は、
    1つ以上の整合画像セットを含むトレーニングデータセットを受信することであって、各整合画像セットは
    標本の画像ビューに対応する複数の明視野画像であって、前記複数の明視野画像のそれぞれは、異なる焦点面に対応する複数の明視野画像と
    前記複数の明視野画像に基づいて生成されたグラウンドトゥルース位相画像であって、前記生成されたグラウンドトゥルース位相画像は、放物線スライディング補正を適用することによって処理される、グラウンドトゥルース位相画像と
    を含むことと、
    シミュレートするために少なくとも1つの視覚的アーティファクト選択することと、
    前記受信されたトレーニングデータセットの前記1つ以上の整合画像セットの少なくとも1つを修正することにより、前記標本の前記画像ビューで前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることによって、1つ以上の追加の整合画像セットを生成することであって、所与の整合画像セットを修正することは、前記少なくとも1つの選択された視覚的アーティファクトに基づいて、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含むことと、
    前記1つ以上の追加の整合画像セットを前記トレーニングデータセットに追加することと、
    前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記機械学習モデルをトレーニングすることは、所与の整合画像セットの前記機械学習モデルの生成された出力前記対応するグラウンドトゥルース位相画像と比較することに基づくことと、
    第1の入力され明視野画像および第2の入力され明視野画像を受信することと、
    前記トレーニングされた機械学習モデルを使用して、前記第1の入力され明視野画像および前記第2の入力され明視野画像に対応する位相画像を生成すること
    を含む、方法。
  2. 所与の整合画像セットを修正することにより、前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることは、
    前記少なくとも1つの選択された視覚的アーティファクトに基づいて、前記所与の整合画像セットの第1の明視野画像を修正することと、
    前記少なくとも1つの選択された視覚的アーティファクトおよび前記所与の整合画像セットの前記複数の明視野画像の焦点面間の差に基づいて、前記少なくとも1つの選択された視覚的アーティファクトに基づく前記所与の整合画像セット内の追加の明視野画像を修正すること
    を含む、請求項1に記載の方法。
  3. 前記明視野画像を修正することは、
    ピクセルを水平方向にシフトすること、
    ピクセルを垂直方向にシフトすること、
    ピクセルを回転させること、
    ランダムなバックグラウンドノイズを追加すること、
    ピクセルをぼやけさせること、
    前記明視野画像の指定された領域にブラックアウト領域を生成すること、
    前記明視野画像にランダムなブラックアウト領域を生成すること、または
    前記明視野画像の少なくとも1つの領域を暗くすること
    うちの少なくとも1つを含む、請求項2に記載の方法。
  4. ランダムなバックグラウンドノイズを追加することは、ガウスノイズ、ソルトアンドペッパーノイズ、ポアソンノイズ、またはスペックルノイズのうちの少なくとも1つの形態でバックグラウンドノイズを追加することを含む、請求項3に記載方法。
  5. 位相画像を生成するためのコンピュータに実装された方法であって、前記方法は、
    1つ以上の整合画像セットを含むトレーニングデータセットを受信することであって、各整合画像セットは、
    標本の画像ビューに対応する複数の明視野画像であって、前記複数の明視野画像のそれぞれは、異なる焦点面に対応する、複数の明視野画像と、
    前記複数の明視野画像に基づいて生成されたグラウンドトゥルース位相画像であって、前記標本の前記画像ビュー内のプレートの境界を回避するために、前記1つ以上の整合画像セットが選択される、グラウンドトゥルース位相画像と
    を含む、ことと、
    シミュレートするために少なくとも1つの視覚的アーティファクトを選択することと、
    前記受信されたトレーニングデータセットの前記1つ以上の整合画像セットの少なくとも1つを修正することにより、前記標本の前記画像ビューで前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることによって、1つ以上の追加の整合画像セットを生成することであって、所与の整合画像セットを修正することは、前記少なくとも1つの選択された視覚的アーティファクトに基づいて、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含む、ことと、
    前記1つ以上の追加の整合画像セットを前記トレーニングデータセットに追加することと、
    前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記機械学習モデルをトレーニングすることは、所与の整合画像セットの前記機械学習モデルの生成された出力と前記対応するグラウンドトゥルース位相画像とを比較することに基づく、ことと、
    第1の入力された明視野画像および第2の入力された明視野画像を受信することと、
    前記トレーニングされた機械学習モデルを使用して、前記第1の入力された明視野画像および前記第2の入力された明視野画像に対応する位相画像を生成することと
    を含む、方法。
  6. 位相画像を生成するためのコンピュータに実装された方法であって、前記方法は、
    1つ以上の整合画像セットを含むトレーニングデータセットを受信することであって、各整合画像セットは、
    標本の画像ビューに対応する複数の明視野画像であって、前記複数の明視野画像のそれぞれは、異なる焦点面に対応する、複数の明視野画像と、
    前記複数の明視野画像に基づいて生成されたグラウンドトゥルース位相画像であって、前記標本の前記画像化されたビューの中の画像化された視覚的アーティファクトを回避するために、前記1つ以上の整合画像セットが選択される、グラウンドトゥルース位相画像と
    を含む、ことと、
    シミュレートするために少なくとも1つの視覚的アーティファクトを選択することと、
    前記受信されたトレーニングデータセットの前記1つ以上の整合画像セットの少なくとも1つを修正することにより、前記標本の前記画像ビューで前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることによって、1つ以上の追加の整合画像セットを生成することであって、所与の整合画像セットを修正することは、前記少なくとも1つの選択された視覚的アーティファクトに基づいて、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含む、ことと、
    前記1つ以上の追加の整合画像セットを前記トレーニングデータセットに追加することと、
    前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記機械学習モデルをトレーニングすることは、所与の整合画像セットの前記機械学習モデルの生成された出力と前記対応するグラウンドトゥルース位相画像とを比較することに基づく、ことと、
    第1の入力された明視野画像および第2の入力された明視野画像を受信することと、
    前記トレーニングされた機械学習モデルを使用して、前記第1の入力された明視野画像および前記第2の入力された明視野画像に対応する位相画像を生成することと
    を含む、方法。
  7. 各グラウンドトゥルース位相画像は、前記対応する複数の明視野画像に位相方程式を適用することによって生成される、請求項1に記載の方法。
  8. 位相画像を生成するためのコンピュータに実装された方法であって、前記方法は、
    1つ以上の整合画像セットを含むトレーニングデータセットを受信することであって、各整合画像セットは、
    標本の画像ビューに対応する複数の明視野画像であって、前記複数の明視野画像のそれぞれは、異なる焦点面に対応する、複数の明視野画像と、
    前記複数の明視野画像に基づいて生成されたグラウンドトゥルース位相画像と
    を含む、ことと、
    シミュレートするために少なくとも1つの視覚的アーティファクトを選択することと、
    前記受信されたトレーニングデータセットの前記1つ以上の整合画像セットの少なくとも1つを修正することにより、前記標本の前記画像ビューで前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることによって、1つ以上の追加の整合画像セットを生成することであって、所与の整合画像セットを修正することは、前記少なくとも1つの選択された視覚的アーティファクトに基づいて、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含み、前記整合させた画像のセットの少なくとも1つを修正することにより、前記標本の前記画像ビューにおける前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることは前記選択された少なくとも1つの視覚的アーティファクトに基づいて前記グラウンドトゥルース位相画像を修正することをさらに含む、ことと、
    前記1つ以上の追加の整合画像セットを前記トレーニングデータセットに追加することと、
    前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記機械学習モデルをトレーニングすることは、所与の整合画像セットの前記機械学習モデルの生成された出力と前記対応するグラウンドトゥルース位相画像とを比較することに基づく、ことと、
    第1の入力された明視野画像および第2の入力された明視野画像を受信することと、
    前記トレーニングされた機械学習モデルを使用して、前記第1の入力された明視野画像および前記第2の入力された明視野画像に対応する位相画像を生成することと
    を含む、方法。
  9. 前記械学習モデルは、ニューラルネットワークを含む、請求項1に記載の方法。
  10. 位相画像を生成するためのコンピュータ実装された方法であって、
    1つ以上の整合画像セットを含むトレーニングデータセットを受信することであって、各整合画像セットは、標本の画像ビューに対応する複数の明視野画像を含み、各明視野画像は、異なる焦点面で取得される、ことと、
    前記受信されたトレーニングデータセットの前記1つ以上の追加の整合画像セットの少なくとも1つを修正することにより、少なくとも1つの視覚的アーティファクトをシミュレートすることによって、1つ以上の追加の整合画像セットを生成することであって、所与の整合画像セットを修正することは、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含むことと、
    前記1つ以上の追加の整合画像セットを前記トレーニングデータセットに追加することと、
    前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記機械学習モデルをトレーニングすることは、対応する複数の明視野画像に位相方程式を適用することにより、所与の整合画像セットの前記機械学習モデルの生成された出力の精度を評価することと、放物線スライディング補正を前記所与の整合画像セットに対応するトレーニング位相画像に適用することとに基づくことと、
    少なくとも第1の入力され明視野画像および第2の入力され明視野画像を含む入力データセットを受信することと、
    前記トレーニングされた機械学習モデルを使用して、前記第1の入力され明視野画像および前記第2の入力され明視野画像に基づく結果位相画像を生成すること
    を含む方法。
  11. 位相画像を生成するためのコンピュータに実装された方法であって、
    1つ以上の整合画像セットを含むトレーニングデータセットを受信することであって、各整合画像セットは、標本の画像ビューに対応する複数の明視野画像を含み、各明視野画像は、異なる焦点面で取得される、ことと、
    前記受信されたトレーニングデータセットの前記1つ以上の追加の整合画像セットの少なくとも1つを修正することにより、少なくとも1つの視覚的アーティファクトをシミュレートすることによって、1つ以上の追加の整合画像セットを生成することであって、所与の整合画像セットを修正することは、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含み、所与の整合画像セットを修正することにより、少なくとも1つの視覚的アーティファクトをシミュレートすることは、
    前記対応する複数の明視野画像内の第1の明視野画像に適用するためにシミュレートされた視覚的アーティファクトを選択することと、
    前記第1の明視野画像に関連付けられた前記焦点面に基づいて前記少なくとも1つの選択された視覚的アーティファクトをシミュレートするために前記第1の明視野画像を視覚的に修正することと、
    記第1の明視野画像に関連付けられた前記焦点面と、前記対応する複数の明視野画像の前記少なくとも1つの他の明視野画像に関連付けられた前記焦点面との間の差に基づいて前記選択された少なくとも1つの視覚的アーティファクト前記対応する複数の明視野画像の少なくとも1つの他の明視野画像に投影することと、
    前記対応する複数の明視野画像の前記少なくとも1つの他の明視野画像を視覚的に修正することにより、前記投影に基づいて前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすること
    を含む、ことと、
    前記1つ以上の追加の整合画像セットを前記トレーニングデータセットに追加することと、
    前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記機械学習モデルをトレーニングすることは、対応する複数の明視野画像に位相方程式を適用することにより、所与の整合画像セットの前記機械学習モデルの生成された出力の精度を評価することに基づく、ことと、
    少なくとも第1の入力された明視野画像および第2の入力された明視野画像を含む入力データセットを受信することと、
    前記トレーニングされた機械学習モデルを使用して、前記第1の入力された明視野画像および前記第2の入力された明視野画像に基づく結果位相画像を生成することと
    を含む、方法。
  12. 各整合画像セットは、対応するトレーニング位相画像をさらに含み、前記1つ以上の整合画像セットの少なくとも1つを修正することにより、前記標本の前記画像ビューの少なくとも1つの視覚的アーティファクトをシミュレートすることは、
    前記少なくとも1つの視覚的アーティファクトに基づいて前記トレーニング位相画像を修正することをさらに含む、請求項10に記載の方法。
  13. 位相画像を生成するためのコンピュータに実装された方法であって、
    1つ以上の整合画像セットを含むトレーニングデータセットを受信することであって、各整合画像セットは、標本の画像ビューに対応する複数の明視野画像を含み、各明視野画像は、異なる焦点面で取得され、前記標本の前記画像化されたビュー内で関連付けられたプレートの境界を回避するために、前記1つ以上の整合画像セットが選択される、ことと、
    前記受信されたトレーニングデータセットの前記1つ以上の追加の整合画像セットの少なくとも1つを修正することにより、少なくとも1つの視覚的アーティファクトをシミュレートすることによって、1つ以上の追加の整合画像セットを生成することであって、所与の整合画像セットを修正することは、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含む、ことと、
    前記1つ以上の追加の整合画像セットを前記トレーニングデータセットに追加することと、
    前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記機械学習モデルをトレーニングすることは、対応する複数の明視野画像に位相方程式を適用することにより、所与の整合画像セットの前記機械学習モデルの生成された出力の精度を評価することに基づく、ことと、
    少なくとも第1の入力された明視野画像および第2の入力された明視野画像を含む入力データセットを受信することと、
    前記トレーニングされた機械学習モデルを使用して、前記第1の入力された明視野画像および前記第2の入力された明視野画像に基づく結果位相画像を生成することと
    を含む、方法。
  14. 各整合画像セットは、対応するトレーニング位相画像をさらに含む、請求項10に記載の方法。
  15. 前記械学習モデルは、ニューラルネットワークを含む、請求項10に記載の方法。
  16. 位相画像を生成するように構成されている装置であって、前記装置は、
    1つ以上の整合画像セットを含むトレーニングデータセットを格納するデータ記憶装置であって、各整合画像セットは、
    数の明視野画像であって、前記複数の明視野画像のそれぞれは、標本の画像化されたビューの異なる焦点面に対応する、複数の明視野画像と、
    前記複数の明視野画像に基づくグラウンドトゥルース位相画像
    を含むデータ記憶装置と、
    1つ以上のプロセッサであって、前記グラウンドトゥルース位相画像は、放物線スライディング補正を適用することによって処理される、1つ以上のプロセッサと、
    命令を記憶するメモリ
    を備え、
    前記命令は、前記1つ以上のプロセッサによって実行されると
    前記1つ以上の整合画像セットの1つ以上を修正することにより、前記画像ビューの少なくとも1つの視覚的アーティファクトをシミュレートすることであって、整合画像セットを修正することは、前記少なくとも1つの視覚的アーティファクトおよび前記明視野画像に関連付けられた前記焦点面に基づいて、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含むことと、
    前記修正された整合画像セットを前記トレーニングデータセットに追加することと、
    前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記トレーニングすることは、所与の整合画像セットの前記機械学習モデルの生成された出力対応するグラウンドトゥルース位相画像と比較することに基づくことと、
    第1の入力され明視野画像および第2の入力され明視野画像を含む入力データセットを受信することと、
    前記トレーニングされた機械学習モデルを使用して、前記第1の入力され明視野画像および前記第2の入力され明視野画像に基づく結果位相画像を生成すること
    を前記装置に行わせる、装置。
  17. 前記整合画像セットに関連付けられた前記グラウンドトゥルース位相画像は、前記対応する複数の明視野画像に位相方程式を適用することに基づいて生成される、請求項16に記載の装置。
  18. 位相画像を生成するように構成されている装置であって、前記装置は、
    1つ以上の整合画像セットを含むトレーニングデータセットを格納するデータ記憶装置であって、各整合画像セットは、
    複数の明視野画像であって、前記複数の明視野画像のそれぞれは、標本の画像化されたビューの異なる焦点面に対応する、複数の明視野画像と、
    前記複数の明視野画像に基づくグラウンドトゥルース位相画像と
    を含む、データ記憶装置と、
    1つ以上のプロセッサと、
    命令を記憶するメモリと
    を備え、
    前記命令は、前記1つ以上のプロセッサによって実行されると、
    前記1つ以上の整合画像セットの1つ以上を修正することにより、前記画像ビューの少なくとも1つの視覚的アーティファクトをシミュレートすることであって、整合画像セットを修正することは、前記少なくとも1つの視覚的アーティファクトおよび前記明視野画像に関連付けられた前記焦点面に基づいて、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含み、前記命令は
    少なくとも1つのシミュレートされる視覚的アーティファクトを選択することと、
    前記対応する複数の明視野画像の第1の明視野画像を修正することにより、前記第1の明視野画像に関連付けられた第1の焦点面にて、前記少なくとも1つの選択された視覚的アーティファクトをシミュレートすることと、
    記第1の焦点面第2の明視野画像に関連付けられた第2の焦点面との間の差に基づいて前記少なくとも1つの選択された視覚的アーティファクト前記対応する複数の明視野画像の内部の少なくとも前記第2の明視野画像に投影することと、
    前記第2の明視野画像を修正することにより、前記投影に基づいて前記第2の焦点面で前記少なくとも1つの視覚的アーティファクトをシミュレートすること
    を前記装置に行わせることによって、所与の整合画像セットの前記複数の明視野画像のうちの少なくとも1つを修正することを前記装置に行わせる、ことと、
    前記修正された整合画像セットを前記トレーニングデータセットに追加することと、
    前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記トレーニングすることは、所与の整合画像セットの前記機械学習モデルの生成された出力と対応するグラウンドトゥルース位相画像とを比較することに基づく、ことと、
    第1の入力された明視野画像および第2の入力された明視野画像を含む入力データセットを受信することと、
    前記トレーニングされた機械学習モデルを使用して、前記第1の入力された明視野画像および前記第2の入力された明視野画像に基づく結果位相画像を生成することと
    を前記装置に行わせる、装置。
  19. 位相画像を生成するように構成されている装置であって、前記装置は、
    1つ以上の整合画像セットを含むトレーニングデータセットを格納するデータ記憶装置であって、各整合画像セットは、
    複数の明視野画像であって、前記複数の明視野画像のそれぞれは、標本の画像化されたビューの異なる焦点面に対応する、複数の明視野画像と、
    前記複数の明視野画像に基づくグラウンドトゥルース位相画像と
    を含む、データ記憶装置と、
    1つ以上のプロセッサであって、前記標本の前記画像化されたビュー内の視覚的アーティファクトを回避するために、前記1つ以上の整合画像セットが選択される、1つ以上のプロセッサと、
    命令を記憶するメモリと
    を備え、
    前記命令は、前記1つ以上のプロセッサによって実行されると、
    前記1つ以上の整合画像セットの1つ以上を修正することにより、前記画像ビューの少なくとも1つの視覚的アーティファクトをシミュレートすることであって、整合画像セットを修正することは、前記少なくとも1つの視覚的アーティファクトおよび前記明視野画像に関連付けられた前記焦点面に基づいて、前記対応する複数の明視野画像のうちの少なくとも1つを修正することを含む、ことと、
    前記修正された整合画像セットを前記トレーニングデータセットに追加することと、
    前記トレーニングデータセットに基づいて機械学習モデルをトレーニングすることであって、前記トレーニングすることは、所与の整合画像セットの前記機械学習モデルの生成された出力と対応するグラウンドトゥルース位相画像とを比較することに基づく、ことと、
    第1の入力された明視野画像および第2の入力された明視野画像を含む入力データセットを受信することと、
    前記トレーニングされた機械学習モデルを使用して、前記第1の入力された明視野画像および前記第2の入力された明視野画像に基づく結果位相画像を生成することと
    を前記装置に行わせる、装置。
JP2022519207A 2019-09-26 2020-09-24 深層学習による位相画像の再構築 Active JP7346726B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962906605P 2019-09-26 2019-09-26
US62/906,605 2019-09-26
US17/028,448 US11501420B2 (en) 2019-09-26 2020-09-22 Reconstructing phase images with deep learning
US17/028,448 2020-09-22
PCT/IB2020/058915 WO2021059173A1 (en) 2019-09-26 2020-09-24 Reconstructing phase images with deep learning

Publications (2)

Publication Number Publication Date
JP2022549684A JP2022549684A (ja) 2022-11-28
JP7346726B2 true JP7346726B2 (ja) 2023-09-19

Family

ID=75163595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022519207A Active JP7346726B2 (ja) 2019-09-26 2020-09-24 深層学習による位相画像の再構築

Country Status (6)

Country Link
US (1) US11501420B2 (ja)
EP (1) EP4035129B1 (ja)
JP (1) JP7346726B2 (ja)
CN (1) CN114730477A (ja)
CA (1) CA3156031A1 (ja)
WO (1) WO2021059173A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11380516B2 (en) 2017-04-13 2022-07-05 Fractilia, Llc System and method for generating and analyzing roughness measurements and their use for process monitoring and control
US10176966B1 (en) 2017-04-13 2019-01-08 Fractilia, Llc Edge detection system
US10522322B2 (en) 2017-04-13 2019-12-31 Fractilia, Llc System and method for generating and analyzing roughness measurements
US11501420B2 (en) * 2019-09-26 2022-11-15 Perkinelmer Cellular Technologies Germany Gmbh Reconstructing phase images with deep learning
US11393077B2 (en) * 2020-05-13 2022-07-19 Adobe Inc. Correcting dust and scratch artifacts in digital images
EP4105879A1 (en) * 2021-06-17 2022-12-21 Fujitsu Limited An unsupervised learning method to detect transparent, or hard to see, anomalies in images

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016161417A (ja) 2015-03-02 2016-09-05 キヤノン株式会社 画像処理装置、画像処理方法、イメージングシステム
WO2019025298A1 (en) 2017-07-31 2019-02-07 Institut Pasteur METHOD, DEVICE AND COMPUTER PROGRAM FOR IMPROVING THE RECONSTRUCTION OF VERY HIGH RESOLUTION DENSED IMAGES FROM LIMITED-LIFE DIFFRACTION IMAGES ACQUIRED BY MONOMOLECULAR LOCATION MICROSCOPY

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPP690098A0 (en) 1998-11-02 1998-11-26 University Of Melbourne, The Phase determination of a radiation wave field
US7557929B2 (en) * 2001-12-18 2009-07-07 Massachusetts Institute Of Technology Systems and methods for phase measurements
US7365858B2 (en) * 2001-12-18 2008-04-29 Massachusetts Institute Of Technology Systems and methods for phase measurements
US7549745B2 (en) 2004-02-02 2009-06-23 Iatia Imaging Pty Ltd Apparatus and method for correcting for aberrations in a lens system
CN100565141C (zh) 2004-03-01 2009-12-02 亚蒂亚成像有限公司 产生含有深度信息的图像的方法和设备
US10833912B2 (en) * 2012-12-05 2020-11-10 Origin Wireless, Inc. Methods, devices, servers, apparatus, and systems for wireless internet of things applications
EP2999988A4 (en) * 2013-05-23 2017-01-11 S.D. Sight Diagnostics Ltd. Method and system for imaging a cell sample
US10162161B2 (en) * 2014-05-13 2018-12-25 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation
US10496781B2 (en) * 2016-12-19 2019-12-03 Kla Tencor Corporation Metrology recipe generation using predicted metrology images
EP3811331B1 (en) * 2018-06-29 2024-02-07 Ramot at Tel-Aviv University Ltd. Virtual staining systems and methods for observing one or more unstained cells
US20210264214A1 (en) * 2018-07-19 2021-08-26 The Regents Of The University Of California Method and system for digital staining of label-free phase images using deep learning
US10960232B2 (en) * 2018-07-28 2021-03-30 Varian Medical Systems, Inc. Single-pass imaging and radiation treatment delivery via an extended rotation gantry
US10885631B2 (en) * 2019-02-01 2021-01-05 Essen Instruments, Inc. Label-free cell segmentation using phase contrast and brightfield imaging
US11803963B2 (en) * 2019-02-01 2023-10-31 Sartorius Bioanalytical Instruments, Inc. Computational model for analyzing images of a biological specimen
US20210073513A1 (en) * 2019-02-01 2021-03-11 Essen Instruments, Inc. D/B/A Essen Bioscience, Inc. Method for Classifying Cells
US11501420B2 (en) * 2019-09-26 2022-11-15 Perkinelmer Cellular Technologies Germany Gmbh Reconstructing phase images with deep learning
US11727586B2 (en) * 2020-04-21 2023-08-15 Sartorius Bioanalytical Instruments, Inc. Image processing and segmentation of sets of Z-stacked images of three-dimensional biological samples
US11209737B1 (en) * 2020-06-30 2021-12-28 Kla Corporation Performance optimized scanning sequence for eBeam metrology and inspection
US11783008B2 (en) * 2020-11-06 2023-10-10 Adobe Inc. Machine-learning tool for generating segmentation and topic metadata for documents
US20220203370A1 (en) * 2020-12-30 2022-06-30 The Trustees Of The University Of Pennsylvania Photoactivated Selective Release (PHASR) of Droplets from Microwell Arrays

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016161417A (ja) 2015-03-02 2016-09-05 キヤノン株式会社 画像処理装置、画像処理方法、イメージングシステム
WO2019025298A1 (en) 2017-07-31 2019-02-07 Institut Pasteur METHOD, DEVICE AND COMPUTER PROGRAM FOR IMPROVING THE RECONSTRUCTION OF VERY HIGH RESOLUTION DENSED IMAGES FROM LIMITED-LIFE DIFFRACTION IMAGES ACQUIRED BY MONOMOLECULAR LOCATION MICROSCOPY

Also Published As

Publication number Publication date
EP4035129B1 (en) 2024-05-01
CA3156031A1 (en) 2021-04-01
US11501420B2 (en) 2022-11-15
WO2021059173A1 (en) 2021-04-01
US20210097661A1 (en) 2021-04-01
EP4035129A1 (en) 2022-08-03
JP2022549684A (ja) 2022-11-28
CN114730477A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
JP7346726B2 (ja) 深層学習による位相画像の再構築
JP7022203B2 (ja) 組織画像からのアーチファクト除去
Ikoma et al. A convex 3D deconvolution algorithm for low photon count fluorescence imaging
Bizhani et al. Reconstructing high fidelity digital rock images using deep convolutional neural networks
Zhang et al. DiLFM: an artifact-suppressed and noise-robust light-field microscopy through dictionary learning
Boland et al. Improving axial resolution in Structured Illumination Microscopy using deep learning
Wu et al. Restoration of defocused ferrograph images using a large kernel convolutional neural network
Ning et al. Deep self-learning enables fast, high-fidelity isotropic resolution restoration for volumetric fluorescence microscopy
Lawrence et al. Phase retrieval with holography and untrained priors: Tackling the challenges of low-photon nanoscale imaging
Prigent et al. SPITFIR (e): a supermaneuverable algorithm for fast denoising and deconvolution of 3D fluorescence microscopy images and videos
Bruch et al. Synthesis of large scale 3D microscopic images of 3D cell cultures for training and benchmarking
JP2023532755A (ja) 画像を処理するためのコンピュータ実装方法、コンピュータプログラム製品、およびシステム
Höck et al. N2v2-fixing noise2void checkerboard artifacts with modified sampling strategies and a tweaked network architecture
Yang et al. Semi-and self-supervised multi-view fusion of 3d microscopy images using generative adversarial networks
Lee et al. Optimizing image focus for 3D shape recovery through genetic algorithm
Barutcu et al. Compressive ptychography using deep image and generative priors
JP2023547454A (ja) 画像フレームシーケンスの信号対雑音比を改善するための方法および画像処理デバイス
Eldaly et al. Deconvolution of irregularly subsampled images
Chobola et al. Lucyd: A feature-driven richardson-lucy deconvolution network
Hadj et al. Depth-variant image restoration in 3D fluorescence microscopy: Two approaches under gaussian and poissonian noise conditions
Raureanu Transfer learning for cell image reconstruction
Shevkunov et al. Deep convolutional neural network-based lensless quantitative phase retrieval
Wang et al. Applying Space-Variant Point Spread Function to Three-Dimensional Reconstruction of Fluorescence Microscopic Images
CN116471494A (zh) 一种用于压缩式感测和处理图像数据的方法
Ikoma Computational Fluorescence Microscopy for Three Dimensional Reconstruction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220516

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230906

R150 Certificate of patent or registration of utility model

Ref document number: 7346726

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150