JP2023544492A - 機械学習モデルを使用した生物学的画像転換 - Google Patents

機械学習モデルを使用した生物学的画像転換 Download PDF

Info

Publication number
JP2023544492A
JP2023544492A JP2023515589A JP2023515589A JP2023544492A JP 2023544492 A JP2023544492 A JP 2023544492A JP 2023515589 A JP2023515589 A JP 2023515589A JP 2023515589 A JP2023515589 A JP 2023515589A JP 2023544492 A JP2023544492 A JP 2023544492A
Authority
JP
Japan
Prior art keywords
images
image
type
training
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023515589A
Other languages
English (en)
Other versions
JPWO2022055903A5 (ja
Inventor
エルベ マリー－ネリー，
ジーヴァー ヴェラユタム，
Original Assignee
インシトロ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インシトロ インコーポレイテッド filed Critical インシトロ インコーポレイテッド
Priority claimed from PCT/US2021/049327 external-priority patent/WO2022055903A2/en
Publication of JP2023544492A publication Critical patent/JP2023544492A/ja
Publication of JPWO2022055903A5 publication Critical patent/JPWO2022055903A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

説明されるものは、機械学習モデルを訓練し、生物学的サンプルの画像を生成するためのシステムおよび方法と、生物学的サンプルの強調画像を生成するためのシステムおよび方法とである。機械学習モデルを訓練し、生物学的サンプルの画像を生成するための方法は、第１のタイプの訓練画像と、第２のタイプの訓練画像とを備える、複数の訓練画像を取得するステップを含んでもよい。本方法はまた、第１のタイプの訓練画像に基づいて、機械学習モデルを使用して、複数のウェーブレット係数を生成するステップと、複数のウェーブレット係数に基づいて、第２のタイプの合成画像を生成するステップと、第２のタイプの合成画像と第２のタイプの訓練画像を比較するステップと、比較に基づいて、機械学習モデルを更新するステップとを含んでもよい。

Description

（関連出願の相互参照）
本願は、その内容が、参照することによって組み込まれる、その全体として本明細書に組み込まれる、２０２０年９月８日に出願された、米国仮出願第第６３／０７５，７５１号、および２０２１年１月２９日に出願された、米国仮出願第第６３／１４３，７０７号の優先権を主張する。
本開示は、概して、機械学習技法に関し、より具体的には、大規模における画像データの低コスト機械学習ベースの生成に関する。生成画像データ（例えば、生物学的サンプルの画像データ）は、最適化された下流処理（例えば、表現型検査）のために十分な豊富度および深度を提供することができる。本システムのいくつかの実施形態は、機械的修正をシステムに伴わずに、下流処理（例えば、表現型検査）のために最適化されたデータを高速で生産する、プログラム可能空間光変調器（「ＳＬＭ」）を備える。本システムのいくつかの実施形態は、画像データを捕捉するための最適照明パターンを識別するための複数の照明設定（例えば、照明源の異なる照明エミッタ）に対応する、複数の加重を備える、アテンション層を伴う、機械学習モデルを備える。本システムのいくつかの実施形態は、着目疾患に対する候補治療を評価するための技法を備える。
生物学的サンプルの明視野画像は、安価な機器、臨床展開の容易性、ならびに捕捉された画像のための低処理および記憶リソース要件に起因して、大規模かつ低コストで取得されることができる。明視野画像を取得することは、概して、非侵襲性であって、低光毒性を伴う。しかしながら、低コントラスト画像は、豊富な視覚的詳細を欠いており、したがって、それらを多くの下流分析（例えば、顕微鏡サンプルの表現型探索）のために好適ではないものにする。比較として、他の画像モダリティ（例えば、蛍光画像）は、捕捉されたサンプルの豊富な視覚的情報を提供することができる。しかしながら、蛍光画像を取得することは、付加的機器および材料を要求し、時間がかかり、コンピューティングリソース集約的であり得る。したがって、蛍光画像は、大規模かつ低コスト様式において取得することが困難であり得る。
生物学的サンプルの明視野画像を強調された高品質画像に転換することは、いくつかの理由から、困難であり得る。第１に、明視野画像は、固有のクラス非平衡問題（すなわち、豊富な低周波信号であるが、より少ない高周波数信号）に悩まされる。さらに、明視野画像の全体的幾何学形状が、転換を通して抽出および維持される必要がある。さらに、その下で明視野画像が撮影される、照明パターン等の多くの要因が、転換の有効性に影響を及ぼし得る。さらになお、下流分析をサポートする際の転換のロバスト性が、定量化および検証される必要がある。
説明されるものは、機械学習モデルを訓練し、生物学的サンプルの画像を生成するためのシステムおよび方法である。また、説明されるものは、生物学的サンプルの強調画像を生成するためのシステムおよび方法である。本システムおよび方法は、例えば、第１のタイプの画像、例えば、明視野画像タイプを取得するために使用されることができる。第１の画像タイプの取得された画像は、次いで、本システムおよび方法によって、第２のタイプの合成画像、例えば、蛍光画像を生成するために使用されることができる。
いくつかの実施形態では、機械学習モデルを訓練し、生物学的サンプルの画像を生成するための方法は、複数の訓練画像を取得するステップを含む。複数の画像は、第１のタイプの訓練画像と、第２のタイプの訓練画像とを備える。本方法はまた、第１のタイプの訓練画像に基づいて、機械学習モデルを使用して、複数のウェーブレット係数を生成するステップと、複数のウェーブレット係数に基づいて、第２のタイプの合成画像を生成するステップと、第２のタイプの合成画像と第２のタイプの訓練画像を比較するステップと、比較に基づいて、機械学習モデルを更新するステップとを含む。
いくつかの実施形態では、生物学的サンプルの強調画像を生成するための方法は、顕微鏡を使用して、生物学的サンプルの画像を取得するステップと、画像に基づいて、機械学習モデルを使用して、生物学的サンプルの強調画像を生成するステップとを含む。機械学習モデルは、第１のタイプの訓練画像と、第２のタイプの訓練画像とを備える、複数の訓練画像を取得するステップと、第１のタイプの訓練画像に基づいて、機械学習モデルを使用して、複数のウェーブレット係数を生成するステップと、複数のウェーブレット係数に基づいて、第２のタイプの合成画像を生成するステップと、第２のタイプの合成画像と第２のタイプの訓練画像を比較するステップと、比較に基づいて、機械学習モデルを更新するステップとによって訓練されてもよい。
いくつかの実施形態では、機械学習モデルを訓練し、生物学的サンプルの画像を生成するためのシステムは、１つまたはそれを上回るプロセッサと、機械学習モデルを記憶する、１つまたはそれを上回るメモリとを備える、コンピューティングシステムであって、第１のタイプの複数の訓練画像および第２のタイプの１つの訓練画像を受信するように構成される、コンピューティングシステムとを備える。コンピューティングシステムは、第１のタイプの訓練画像に基づいて、機械学習モデルを使用して、複数のウェーブレット係数を生成し、複数のウェーブレット係数に基づいて、第２のタイプの合成画像を生成し、第２のタイプの合成画像と第２のタイプの訓練画像を比較し、比較に基づいて、機械学習モデルを更新するように構成されてもよい。
いくつかの実施形態では、生物学的サンプルの強調画像を生成するためのシステムは、１つまたはそれを上回るプロセッサと、機械学習モデルを記憶する、１つまたはそれを上回るメモリとを備える、コンピューティングシステムとを備える。コンピューティングシステムは、顕微鏡から取得される生物学的サンプルの画像を受信し、画像に基づいて、機械学習モデルを使用して、生物学的サンプルの強調画像を生成するように構成されてもよい。機械学習モデルは、第１のタイプの訓練画像と、第２のタイプの訓練画像とを備える、複数の訓練画像を取得するステップと、第１のタイプの訓練画像に基づいて、機械学習モデルを使用して、複数のウェーブレット係数を生成するステップと、複数のウェーブレット係数に基づいて、第２のタイプの合成画像を生成するステップと、第２のタイプの合成画像と第２のタイプの訓練画像を比較するステップと、比較に基づいて、機械学習モデルを更新するステップとによって訓練されていてもよい。
例示的機械学習モデルを訓練し、生物学的サンプルの画像を生成するための方法は、第１のタイプの訓練画像と、第２のタイプの訓練画像とを備える、複数の訓練画像を取得するステップと、第１のタイプの訓練画像に基づいて、機械学習モデルを使用して、複数のウェーブレット係数を生成するステップと、複数のウェーブレット係数に基づいて、第２のタイプの合成画像を生成するステップと、第２のタイプの合成画像と第２のタイプの訓練画像を比較するステップと、比較に基づいて、機械学習モデルを更新するステップとを含む。
いくつかの実施形態では、第１のタイプの訓練画像は、生物学的サンプルの明視野画像である。
いくつかの実施形態では、第２のタイプの訓練画像は、生物学的サンプルの蛍光画像である。
いくつかの実施形態では、機械学習モデルは、生成器と、弁別器とを備える。
いくつかの実施形態では、機械学習モデルは、条件付きＧＡＮモデルを備える。
いくつかの実施形態では、生成器は、複数の周波数群に対応する、複数のニューラルネットワークを備える。
いくつかの実施形態では、複数のニューラルネットワークの各ニューラルネットワークは、個別の周波数群のためのウェーブレット係数を生成するように構成される。
いくつかの実施形態では、複数のニューラルネットワークは、複数のＵ－Ｎｅｔニューラルネットワークを備える。
いくつかの実施形態では、弁別器は、ＰａｔｃｈＧＡＮニューラルネットワークである。
いくつかの実施形態では、本方法はさらに、第１のタイプの訓練画像に基づいて、第３のタイプの画像を生成するステップを含む。
いくつかの実施形態では、第３のタイプの画像は、位相偏移画像である。
いくつかの実施形態では、本方法はさらに、第１のタイプの訓練画像に基づいて、第４のタイプの画像を生成するステップを含む。
いくつかの実施形態では、第４のタイプの画像は、区画化データを備える。
いくつかの実施形態では、第１のタイプの訓練画像は、顕微鏡を使用して、第１の照明スキームに従って捕捉される。
いくつかの実施形態では、第１の照明スキームは、１つまたはそれを上回る照明パターンを備える。
いくつかの実施形態では、第１のタイプの訓練画像は、明視野画像アレイの一部である。
いくつかの実施形態では、複数の訓練画像は、第１の複数の訓練画像であって、本方法はさらに、比較に基づいて、第２の照明スキームを識別するステップと、第１のタイプの１つまたはそれを上回る画像を備える、第２の複数の訓練画像を取得するステップであって、第１のタイプの１つまたはそれを上回る画像は、第２の照明スキームに基づいて取得される、ステップと、第２の複数の訓練画像に基づいて、機械学習モデルを訓練するステップとを含む。
いくつかの実施形態では、本方法はさらに、顕微鏡を使用して、第１のタイプの複数の画像を取得するステップと、取得された複数の画像に基づいて、機械学習モデルを使用して、第２のタイプの複数の合成画像を生成するステップとを含む。
いくつかの実施形態では、本方法はさらに、第２のタイプの複数の合成画像に基づいて、分類子を訓練するステップを含む。
いくつかの実施形態では、顕微鏡は、第１の顕微鏡であって、分類子は、第１の分類子であって、第２の顕微鏡を使用して、第２のタイプの複数の画像を取得するステップと、第２のタイプの複数の画像に基づいて、第２の分類子を訓練するステップと、第１の分類子および第２の分類子の性能を比較するステップとをさらに含む。
いくつかの実施形態では、第２の顕微鏡は、蛍光顕微鏡である。
生物学的サンプルの強調画像を生成するための例示的方法は、顕微鏡を使用して、生物学的サンプルの画像を取得するステップと、画像に基づいて、機械学習モデルを使用して、生物学的サンプルの強調画像を生成するステップであって、機械学習モデルは、第１のタイプの訓練画像と、第２のタイプの訓練画像とを備える、複数の訓練画像を取得するステップと、第１のタイプの訓練画像に基づいて、機械学習モデルを使用して、複数のウェーブレット係数を生成するステップと、複数のウェーブレット係数に基づいて、第２のタイプの合成画像を生成するステップと、第２のタイプの合成画像と第２のタイプの訓練画像を比較するステップと、比較に基づいて、機械学習モデルを更新するステップとによって訓練されている、ステップとを含む。
いくつかの実施形態では、第１のタイプの訓練画像は、生物学的サンプルの明視野画像である。
いくつかの実施形態では、第２のタイプの訓練画像は、生物学的サンプルの蛍光画像である。
いくつかの実施形態では、機械学習モデルは、生成器と、弁別器とを備える。
いくつかの実施形態では、機械学習モデルは、条件付きＧＡＮモデルを備える。
いくつかの実施形態では、生成器は、複数の周波数群に対応する、複数のニューラルネットワークを備える。
いくつかの実施形態では、複数のニューラルネットワークの各ニューラルネットワークは、個別の周波数群のためのウェーブレット係数を生成するように構成される。
いくつかの実施形態では、複数のニューラルネットワークは、複数のＵ－Ｎｅｔニューラルネットワークを備える。
いくつかの実施形態では、弁別器は、ＰａｔｃｈＧＡＮニューラルネットワークである。
いくつかの実施形態では、本方法はさらに、第１のタイプの訓練画像に基づいて、第３のタイプの画像を生成するステップを含む。
いくつかの実施形態では、第３のタイプの画像は、位相偏移画像である。
いくつかの実施形態では、本方法はさらに、第１のタイプの訓練画像に基づいて、第４のタイプの画像を生成するステップを含む。
いくつかの実施形態では、第４のタイプの画像は、区画化データを備える。
いくつかの実施形態では、第１のタイプの訓練画像は、顕微鏡を使用して、第１の照明スキームに従って捕捉される。
いくつかの実施形態では、第１の照明スキームは、１つまたはそれを上回る照明パターンを備える。
いくつかの実施形態では、第１のタイプの訓練画像は、明視野画像アレイの一部である。
いくつかの実施形態では、複数の訓練画像は、第１の複数の訓練画像であって、本方法はさらに、比較に基づいて、第２の照明スキームを識別するステップと、第１のタイプの１つまたはそれを上回る画像を備える、第２の複数の訓練画像を取得するステップであって、第１のタイプの１つまたはそれを上回る画像は、第２の照明スキームに基づいて取得される、ステップと、第２の複数の訓練画像に基づいて、機械学習モデルを訓練するステップとを含む。
いくつかの実施形態では、本方法はさらに、顕微鏡を使用して、第１のタイプの複数の画像を取得するステップと、取得された複数の画像に基づいて、機械学習モデルを使用して、第２のタイプの複数の合成画像を生成するステップとを含む。
いくつかの実施形態では、本方法はさらに、第２のタイプの複数の合成画像に基づいて、分類子を訓練するステップを含む。
いくつかの実施形態では、顕微鏡は、第１の顕微鏡であって、分類子は、第１の分類子であって、第２の顕微鏡を使用して、第２のタイプの複数の画像を取得するステップと、第２のタイプの複数の画像に基づいて、第２の分類子を訓練するステップと、第１の分類子および第２の分類子の性能を比較するステップとをさらに含む。
いくつかの実施形態では、第２の顕微鏡は、蛍光顕微鏡である。
例示的機械学習モデルを訓練し、生物学的サンプルの画像を生成するためのシステムは、１つまたはそれを上回るプロセッサと、機械学習モデルを記憶する、１つまたはそれを上回るメモリとを備える、コンピューティングシステムであって、コンピューティングシステムは、第１のタイプの複数の訓練画像および第２のタイプの１つの訓練画像を受信するように構成され、第１のタイプの訓練画像に基づいて、機械学習モデルを使用して、複数のウェーブレット係数を生成し、複数のウェーブレット係数に基づいて、第２のタイプの合成画像を生成し、第２のタイプの合成画像と第２のタイプの訓練画像を比較し、比較に基づいて、機械学習モデルを更新するように構成される、コンピューティングシステムとを備える。
いくつかの実施形態では、第１のタイプの訓練画像は、生物学的サンプルの明視野画像である。
いくつかの実施形態では、第２のタイプの訓練画像は、生物学的サンプルの蛍光画像である。
いくつかの実施形態では、機械学習モデルは、生成器と、弁別器とを備える。
いくつかの実施形態では、機械学習モデルは、条件付きＧＡＮモデルを備える。
いくつかの実施形態では、生成器は、複数の周波数群に対応する、複数のニューラルネットワークを備える。
いくつかの実施形態では、複数のニューラルネットワークの各ニューラルネットワークは、個別の周波数群のためのウェーブレット係数を生成するように構成される。
いくつかの実施形態では、複数のニューラルネットワークは、複数のＵ－Ｎｅｔニューラルネットワークを備える。
いくつかの実施形態では、弁別器は、ＰａｔｃｈＧＡＮニューラルネットワークである。
いくつかの実施形態では、コンピューティングシステムはさらに、第１のタイプの訓練画像に基づいて、第３のタイプの画像を生成するように構成される。
いくつかの実施形態では、第３のタイプの画像は、位相偏移画像である。
いくつかの実施形態では、コンピューティングシステムはさらに、第１のタイプの訓練画像に基づいて、第４のタイプの画像を生成するように構成される。
いくつかの実施形態では、第４のタイプの画像は、区画化データを備える。
いくつかの実施形態では、第１のタイプの訓練画像は、顕微鏡を使用して、第１の照明スキームに従って捕捉される。
いくつかの実施形態では、第１の照明スキームは、１つまたはそれを上回る照明パターンを備える。
いくつかの実施形態では、第１のタイプの訓練画像は、明視野画像アレイの一部である。
いくつかの実施形態では、複数の訓練画像は、第１の複数の訓練画像であって、コンピューティングシステムはさらに、比較に基づいて、第２の照明スキームを識別し、第１のタイプの１つまたはそれを上回る画像を備える、第２の複数の訓練画像を取得し、第１のタイプの１つまたはそれを上回る画像は、第２の照明スキームに基づいて取得され、第２の複数の訓練画像に基づいて、機械学習モデルを訓練するように構成される。
いくつかの実施形態では、コンピューティングシステムはさらに、顕微鏡を使用して、第１のタイプの複数の画像を取得し、取得された複数の画像に基づいて、機械学習モデルを使用して、第２のタイプの複数の合成画像を生成するように構成される。
いくつかの実施形態では、コンピューティングシステムはさらに、第２のタイプの複数の合成画像に基づいて、分類子を訓練するように構成される。
いくつかの実施形態では、顕微鏡は、第１の顕微鏡であって、分類子は、第１の分類子であって、コンピューティングシステムはさらに、第２の顕微鏡を使用して、第２のタイプの複数の画像を取得し、第２のタイプの複数の画像に基づいて、第２の分類子を訓練し、第１の分類子および第２の分類子の性能を比較するように構成される。
いくつかの実施形態では、第２の顕微鏡は、蛍光顕微鏡である。
例示的生物学的サンプルの強調画像を生成するためのシステムは、１つまたはそれを上回るプロセッサと、機械学習モデルを記憶する、１つまたはそれを上回るメモリとを備える、コンピューティングシステムであって、顕微鏡から取得される生物学的サンプルの画像を受信し、画像に基づいて、機械学習モデルを使用して、生物学的サンプルの強調画像を生成するように構成される、コンピューティングシステムとを備え、機械学習モデルは、第１のタイプの訓練画像と、第２のタイプの訓練画像とを備える、複数の訓練画像を取得するステップと、第１のタイプの訓練画像に基づいて、機械学習モデルを使用して、複数のウェーブレット係数を生成するステップと、複数のウェーブレット係数に基づいて、第２のタイプの合成画像を生成するステップと、第２のタイプの合成画像と第２のタイプの訓練画像を比較するステップと、比較に基づいて、機械学習モデルを更新するステップとによって訓練されている。
いくつかの実施形態では、第１のタイプの訓練画像は、生物学的サンプルの明視野画像である。
いくつかの実施形態では、第２のタイプの訓練画像は、生物学的サンプルの蛍光画像である。
いくつかの実施形態では、機械学習モデルは、生成器と、弁別器とを備える。
いくつかの実施形態では、機械学習モデルは、条件付きＧＡＮモデルを備える。
いくつかの実施形態では、生成器は、複数の周波数群に対応する、複数のニューラルネットワークを備える。
いくつかの実施形態では、複数のニューラルネットワークの各ニューラルネットワークは、個別の周波数群のためのウェーブレット係数を生成するように構成される。
いくつかの実施形態では、複数のニューラルネットワークは、複数のＵ－Ｎｅｔニューラルネットワークを備える。
いくつかの実施形態では、弁別器は、ＰａｔｃｈＧＡＮニューラルネットワークである。
いくつかの実施形態では、機械学習モデルはさらに、第１のタイプの訓練画像に基づいて、第３のタイプの画像を生成するステップによって訓練される。
いくつかの実施形態では、第３のタイプの画像は、位相偏移画像である。
いくつかの実施形態では、機械学習モデルは、第１のタイプの訓練画像に基づいて、第４のタイプの画像を生成するステップによって訓練されている。
いくつかの実施形態では、第４のタイプの画像は、区画化データを備える。
いくつかの実施形態では、第１のタイプの訓練画像は、顕微鏡を使用して、第１の照明スキームに従って捕捉される。
いくつかの実施形態では、第１の照明スキームは、１つまたはそれを上回る照明パターンを備える。
いくつかの実施形態では、第１のタイプの訓練画像は、明視野画像アレイの一部である。
いくつかの実施形態では、複数の訓練画像は、第１の複数の訓練画像であって、機械学習モデルは、比較に基づいて、第２の照明スキームを識別するステップと、第１のタイプの１つまたはそれを上回る画像を備える、第２の複数の訓練画像を取得するステップであって、第１のタイプの１つまたはそれを上回る画像は、第２の照明スキームに基づいて取得される、ステップと、第２の複数の訓練画像に基づいて、機械学習モデルを訓練するステップとによって訓練されている。
いくつかの実施形態では、機械学習モデルは、顕微鏡を使用して、第１のタイプの複数の画像を取得するステップと、取得された複数の画像に基づいて、機械学習モデルを使用して、第２のタイプの複数の合成画像を生成するステップとによって訓練されている。
いくつかの実施形態では、機械学習モデルは、第２のタイプの複数の合成画像に基づいて、分類子を訓練するステップによって訓練されている。
いくつかの実施形態では、顕微鏡は、第１の顕微鏡であって、分類子は、第１の分類子であって、機械学習モデルは、第２の顕微鏡を使用して、第２のタイプの複数の画像を取得するステップと、第２のタイプの複数の画像に基づいて、第２の分類子を訓練するステップと、第１の分類子および第２の分類子の性能を比較するステップとによって訓練されている。
いくつかの実施形態では、第２の顕微鏡は、蛍光顕微鏡である。
例示的生物学的サンプルの画像を処理し、１つまたはそれを上回る出力画像を取得する方法は、光学システムのＳＬＭの複数の構成を使用して、生物学的サンプルの複数の画像を取得するステップであって、ＳＬＭは、生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ステップと、生物学的サンプルの複数の画像を訓練された機械学習モデルの中に入力し、１つまたはそれを上回る出力画像を取得するステップとを含む。
いくつかの実施形態では、ＳＬＭの複数の構成のうちの少なくとも１つの構成は、１つまたはそれを上回る光学収差を生成するためのものである。
いくつかの実施形態では、１つまたはそれを上回る光学収差を生成するステップは、球面収差、非点収差、外焦点、歪曲、傾斜、またはそれらの任意の組み合わせを含む。
いくつかの実施形態では、ＳＬＭの複数の構成のうちの少なくとも１つの構成は、１つまたはそれを上回る特徴を強調させるためのものである。
いくつかの実施形態では、１つまたはそれを上回る特徴は、細胞境界、アクチンフィラメント、核形状、細胞質区画化、またはそれらの任意の組み合わせを含む。
いくつかの実施形態では、ＳＬＭの複数の構成のうちの少なくとも１つの構成は、光学収差を低減させるためのものである。
いくつかの実施形態では、複数のＳＬＭ構成は、生物学的サンプルの画像を異なる深度において取得するためのものである。
いくつかの実施形態では、機械学習モデルは、第１のタイプの画像に基づいて、第２のタイプの画像を生成するように構成される。
いくつかの実施形態では、第１のタイプの画像は、明視野画像である。
いくつかの実施形態では、第２のタイプの画像は、蛍光画像である。
いくつかの実施形態では、第２のタイプの画像は、第１のタイプの画像の強調されたバージョンである。
いくつかの実施形態では、機械学習モデルは、ＧＡＮモデルまたは自己教師ありモデルである。
いくつかの実施形態では、複数の画像は、光学システムの光源の複数の構成を使用して取得される。
いくつかの実施形態では、光源は、光学システムのＬＥＤアレイである。
いくつかの実施形態では、複数のＳＬＭ構成のうちの少なくとも１つの構成は、機械学習モデルを訓練するステップと、訓練された機械学習モデルを評価するステップと、評価に基づいて、少なくとも１つの構成を識別するステップとによって取得される。
いくつかの実施形態では、訓練された機械学習モデルは、入力画像を受信し、入力画像の強調されたバージョンを出力するように構成される。
いくつかの実施形態では、入力画像の強調されたバージョンは、１つまたはそれを上回る強調された細胞表現型を備える。
例示的生物学的サンプルの画像を処理し、１つまたはそれを上回る出力画像を取得するための電子デバイスは、１つまたはそれを上回るプロセッサと、メモリと、１つまたはそれを上回るプログラムであって、１つまたはそれを上回るプログラムは、メモリ内に記憶され、１つまたはそれを上回るプロセッサによって実行されるように構成され、光学システムのＳＬＭの複数の構成を使用して、生物学的サンプルの複数の画像を取得するステップであって、ＳＬＭは、生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ステップと、生物学的サンプルの複数の画像を訓練された機械学習モデルの中に入力し、１つまたはそれを上回る出力画像を取得するステップとのための命令を含む、１つまたはそれを上回るプログラムとを備える。
例示的非一過性コンピュータ可読記憶媒体が、生物学的サンプルの画像を処理し、１つまたはそれを上回る出力画像を取得するための１つまたはそれを上回るプログラムを記憶し、１つまたはそれを上回るプログラムは、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、電子デバイスに、光学システムのＳＬＭの複数の構成を使用して、生物学的サンプルの複数の画像を取得させ、ＳＬＭは、生物学的サンプルと画像記録デバイスとの間の光学経路内に位置し、生物学的サンプルの複数の画像を訓練された機械学習モデルの中に入力し、１つまたはそれを上回る出力画像を取得させる、命令を備える。
生物学的サンプルの画像を分類する例示的方法は、光学システムのＳＬＭの複数の構成を使用して、生物学的サンプルの複数の画像を取得するステップであって、ＳＬＭは、生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ステップと、生物学的サンプルの複数の画像を訓練された機械学習モデルの中に入力し、１つまたはそれを上回る分類出力を取得するステップとを含む。
いくつかの実施形態では、ＳＬＭの複数の構成のうちの少なくとも１つの構成は、１つまたはそれを上回る光学収差を生成するためのものである。
いくつかの実施形態では、１つまたはそれを上回る光学収差を生成するステップは、球面収差、非点収差、外焦点、歪曲、傾斜、またはそれらの任意の組み合わせを含む。
いくつかの実施形態では、ＳＬＭの複数の構成のうちの少なくとも１つの構成は、１つまたはそれを上回る特徴を強調させるためのものである。
いくつかの実施形態では、１つまたはそれを上回る特徴は、細胞境界、アクチンフィラメント、核形状、細胞質区画化、またはそれらの任意の組み合わせを含む。
いくつかの実施形態では、ＳＬＭの複数の構成のうちの少なくとも１つの構成は、光学収差を低減させるためのものである。
いくつかの実施形態では、複数のＳＬＭ構成は、生物学的サンプルの画像を異なる深度において取得するためのものである。
いくつかの実施形態では、複数の画像は、光学システムの光源の複数の構成を使用して取得される。
いくつかの実施形態では、光源は、光学システムのＬＥＤアレイである。
いくつかの実施形態では、複数のＳＬＭ構成のうちの少なくとも１つの構成は、機械学習モデルを訓練するステップと、訓練された機械学習モデルを評価するステップと、評価に基づいて、少なくとも１つの構成を識別するステップとによって取得される。
いくつかの実施形態では、訓練された機械学習モデルは、入力画像を受信し、１つまたはそれを上回る事前に定義された物体を入力画像内で検出するように構成される。
いくつかの実施形態では、事前に定義された物体は、罹患組織を含む。
例示的生物学的サンプルの画像を分類するための電子デバイスは、１つまたはそれを上回るプロセッサと、メモリと、１つまたはそれを上回るプログラムであって、１つまたはそれを上回るプログラムは、メモリ内に記憶され、１つまたはそれを上回るプロセッサによって実行されるように構成され、光学システムのＳＬＭの複数の構成を使用して、生物学的サンプルの複数の画像を取得するステップであって、ＳＬＭは、生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ステップと、生物学的サンプルの複数の画像を訓練された機械学習モデルの中に入力し、１つまたはそれを上回る分類出力を取得するステップとのための命令を含む、１つまたはそれを上回るプログラムとを備える。
例示的非一過性コンピュータ可読記憶媒体が、生物学的サンプルの画像を分類するための１つまたはそれを上回るプログラムを記憶し、１つまたはそれを上回るプログラムは、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、電子デバイスに、光学システムのＳＬＭの複数の構成を使用して、生物学的サンプルの複数の画像を取得させ、ＳＬＭは、生物学的サンプルと画像記録デバイスとの間の光学経路内に位置し、生物学的サンプルの複数の画像を訓練された機械学習モデルの中に入力し、１つまたはそれを上回る分類出力を取得させる、命令を備える。
機械学習モデルを訓練するための例示的方法は、光学システムのＳＬＭの複数の構成を使用して、生物学的サンプルの複数の画像を取得するステップであって、ＳＬＭは、生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ステップと、複数の画像を使用して、機械学習モデルを訓練するステップとを含む。
いくつかの実施形態では、ＳＬＭの複数の構成のうちの少なくとも１つの構成は、１つまたはそれを上回る光学収差を生成するためのものである。
いくつかの実施形態では、１つまたはそれを上回る光学収差を生成するステップは、球面収差、非点収差、外焦点、歪曲、傾斜、またはそれらの任意の組み合わせを含む。
いくつかの実施形態では、ＳＬＭの複数の構成のうちの少なくとも１つの構成は、１つまたはそれを上回る特徴を強調させるためのものである。
いくつかの実施形態では、１つまたはそれを上回る特徴は、細胞境界、アクチンフィラメント、核形状、細胞質区画化、またはそれらの任意の組み合わせを含む。
いくつかの実施形態では、ＳＬＭの複数の構成のうちの少なくとも１つの構成は、光学収差を低減させるためのものである。
いくつかの実施形態では、ＳＬＭの複数の構成のうちの少なくとも１つの構成は、生物学的サンプルの画像を異なる深度において取得するためのものである。
いくつかの実施形態では、機械学習モデルは、第１のタイプの画像に基づいて、第２のタイプの画像を生成するように構成される。
いくつかの実施形態では、第１のタイプの画像は、明視野画像である。
いくつかの実施形態では、第２のタイプの画像は、蛍光画像である。
いくつかの実施形態では、機械学習モデルは、ＧＡＮモデルまたは自己教師ありモデルである。
いくつかの実施形態では、機械学習モデルは、分類モデルである。
いくつかの実施形態では、複数の画像は、光学システムの光源の複数の構成を使用して取得される。
いくつかの実施形態では、光源は、光学システムのＬＥＤアレイである。
いくつかの実施形態では、機械学習モデルを訓練するステップは、（ａ）第１の画像を使用して、機械学習モデルを訓練するステップであって、第１の画像は、光学システムのＳＬＭの第１の構成を使用して取得される、ステップと、（ｂ）訓練された機械学習モデルを評価するステップと、（ｃ）評価に基づいて、ＳＬＭの第２の構成を識別するステップと、（ｄ）第２の画像を使用して、機械学習モデルを訓練するステップであって、第２の画像は、光学システムのＳＬＭの第２の構成を使用して取得される、ステップとを含む。
いくつかの実施形態では、評価は、機械学習モデルの損失関数に基づく。
いくつかの実施形態では、本方法はさらに、閾値が満たされるまで、ステップ（ａ）－（ｄ）を繰り返すステップを含む。
いくつかの実施形態では、閾値は、訓練の収束を示す。
いくつかの実施形態では、訓練された機械学習モデルは、入力画像を受信し、入力画像の強調されたバージョンを出力するように構成される。
いくつかの実施形態では、入力画像の強調されたバージョンは、１つまたはそれを上回る強調された細胞表現型を備える。
いくつかの実施形態では、訓練された機械学習モデルは、入力画像を受信し、１つまたはそれを上回る事前に定義された物体を入力画像内で検出するように構成される。
いくつかの実施形態では、事前に定義された物体は、罹患組織を含む。
例示的機械学習モデルを訓練するための電子デバイスは、１つまたはそれを上回るプロセッサと、メモリと、１つまたはそれを上回るプログラムであって、１つまたはそれを上回るプログラムは、メモリ内に記憶され、１つまたはそれを上回るプロセッサによって実行されるように構成され、光学システムのＳＬＭの複数の構成を使用して、生物学的サンプルの複数の画像を取得するステップであって、ＳＬＭは、生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ステップと、複数の画像を使用して、機械学習モデルを訓練するステップとのための命令を含む、１つまたはそれを上回るプログラムとを備える。
例示的非一過性コンピュータ可読記憶媒体が、機械学習モデルを訓練するための１つまたはそれを上回るプログラムを記憶し、１つまたはそれを上回るプログラムは、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、電子デバイスに、光学システムのＳＬＭの複数の構成を使用して、生物学的サンプルの複数の画像を取得させ、ＳＬＭは、生物学的サンプルと画像記録デバイスとの間の光学経路内に位置し、複数の画像を使用して、機械学習モデルを訓練させる、命令を備える。
生物学的サンプルの強調画像を生成する例示的方法は、顕微鏡を使用して、照明源の照明パターンを使用して照明される、生物学的サンプルの画像を取得するステップであって、照明パターンは、入力画像を受信し、分類結果を出力するように構成される、分類モデルを訓練するステップと、訓練された分類モデルを使用して、複数の照明設定に対応する、複数の加重を有する、機械学習モデルを訓練するステップと、訓練された機械学習モデルの複数の加重に基づいて、照明パターンを識別するステップとによって決定される、ステップと、生物学的サンプルの取得された画像を訓練された機械学習モデルの中に入力することによって、生物学的サンプルの強調画像を生成するステップとを含む。
いくつかの実施形態では、取得された画像は、明視野画像である。
いくつかの実施形態では、強調画像は、蛍光画像、位相画像、またはそれらの組み合わせである。
いくつかの実施形態では、照明源は、照明エミッタのアレイを備える。
いくつかの実施形態では、照明源は、ＬＥＤアレイである。
いくつかの実施形態では、照明パターンは、各照明エミッタがオンまたはオフにされるかどうかと、各照明エミッタの強度とを示す。
いくつかの実施形態では、複数の照明設定の各照明設定は、照明源の個別の照明エミッタに対応し、各加重は、個別の照明エミッタの強度に対応する。
いくつかの実施形態では、分類モデルは、入力位相画像または入力蛍光画像を受信し、複数の事前に定義されたクラスのうちの１つのクラスを示す、分類結果を出力するように構成される。
いくつかの実施形態では、複数の事前に定義されたクラスは、健康クラスおよび罹患クラスを含む。
いくつかの実施形態では、機械学習モデルは、複数の加重を備える、アテンション層と、弁別器と、生成器とを備える、ＧＡＮモデルである。
いくつかの実施形態では、機械学習モデルは、条件付きＧＡＮモデルである。
いくつかの実施形態では、生成器は、複数の周波数群に対応する、複数のニューラルネットワークを備える。
いくつかの実施形態では、複数のニューラルネットワークの各ニューラルネットワークは、個別の周波数群のためのウェーブレット係数を生成するように構成される。
いくつかの実施形態では、複数のニューラルネットワークは、複数のＵ－Ｎｅｔニューラルネットワークを備える。
いくつかの実施形態では、弁別器は、ＰａｔｃｈＧＡＮニューラルネットワークである。
いくつかの実施形態では、訓練された分類モデルを使用して、機械学習モデルを訓練するステップは、複数の加重を複数の明視野訓練画像に適用するステップと、複数の加重された明視野訓練画像を集約された明視野画像の中に集約するステップと、集約された明視野訓練画像を機械学習モデルの中に入力し、強調された訓練画像および生成器損失を取得するステップと、強調された訓練画像を訓練された分類子の中に入力し、分類子損失を取得するステップと、分類子損失に基づいて、生成器損失を拡張させるステップと、拡張された生成器損失に基づいて、複数の加重を更新するステップとを含む。
いくつかの実施形態では、本方法はさらに、訓練された分類子を使用して、強調画像を分類するステップを含む。
いくつかの実施形態では、本方法はさらに、強調画像を表示するステップを含む。
例示的生物学的サンプルの強調画像を生成するためのシステムは、１つまたはそれを上回るプロセッサと、メモリと、１つまたはそれを上回るプログラムであって、１つまたはそれを上回るプログラムは、メモリ内に記憶され、１つまたはそれを上回るプロセッサによって実行されるように構成され、顕微鏡を使用して、照明源の照明パターンを使用して照明される、生物学的サンプルの画像を取得するステップであって、照明パターンは、入力画像を受信し、分類結果を出力するように構成される、分類モデルを訓練するステップと、訓練された分類モデルを使用して、複数の照明設定に対応する、複数の加重を有する、機械学習モデルを訓練するステップと、訓練された機械学習モデルの複数の加重に基づいて、照明パターンを識別するステップとによって決定される、ステップと、生物学的サンプルの取得された画像を訓練された機械学習モデルの中に入力することによって、生物学的サンプルの強調画像を生成するステップとのための命令を含む、１つまたはそれを上回るプログラムとを備える。
例示的非一過性コンピュータ可読記憶媒体が、生物学的サンプルの強調画像を生成するための１つまたはそれを上回るプログラムを記憶し、１つまたはそれを上回るプログラムは、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、電子デバイスに、顕微鏡を使用して、照明源の照明パターンを使用して照明される、生物学的サンプルの画像を取得させ、照明パターンは、入力画像を受信し、分類結果を出力するように構成される、分類モデルを訓練するステップと、訓練された分類モデルを使用して、複数の照明設定に対応する、複数の加重を有する、機械学習モデルを訓練するステップと、訓練された機械学習モデルの複数の加重に基づいて、照明パターンを識別するステップとによって決定され、生物学的サンプルの取得された画像を訓練された機械学習モデルの中に入力することによって、生物学的サンプルの強調画像を生成させる、命令を備える。
着目疾患に対する治療を評価する例示的方法は、着目疾患によって罹患されていない、第１の健康な生物学的サンプルのセットを描写する、第１の複数の画像を受信するステップと、着目疾患によって罹患されている、第２の未治療の生物学的サンプルのセットを描写する、第２の複数の画像を受信するステップと、着目疾患によって罹患され、治療によって治療されている、第３の治療された生物学的サンプルのセットを描写する、第３の複数の画像を受信するステップと、第１の複数の画像を訓練された機械学習モデルの中に入力し、第１の複数の強調画像を取得するステップと、第２の複数の画像を訓練された機械学習モデルの中に入力し、第２の複数の強調画像を取得するステップと、第３の複数の画像を訓練された機械学習モデルの中に入力し、第３の複数の強調画像を取得するステップと、第１の複数の強調画像、第２の複数の強調画像、および第３の複数の強調画像を比較し、治療を評価するステップとを含む。
いくつかの実施形態では、第１の複数の画像、第２の複数の画像、および第３の複数の画像は、明視野画像である。
いくつかの実施形態では、第１の複数の強調画像、第２の複数の強調画像、および第３の複数の強調画像は、蛍光画像である。
いくつかの実施形態では、第１の複数の強調画像、第２の複数の強調画像、および第３の複数の強調画像は、位相画像である。
いくつかの実施形態では、第１の複数の強調画像、第２の複数の強調画像、および第３の複数の強調画像を比較し、治療を評価するステップは、各画像内において、バイオマーカと関連付けられる信号を識別するステップを含む。
いくつかの実施形態では、第１の複数の強調画像、第２の複数の強調画像、および第３の複数の強調画像を比較し、治療を評価するステップはさらに、第１の複数の強調画像内のバイオマーカの信号に基づいて、第１の分布を決定するステップと、第２の複数の強調画像内のバイオマーカの信号に基づいて、第２の分布を決定するステップと、第３の複数の強調画像内のバイオマーカの信号に基づいて、第３の分布を決定するステップとを含む。
いくつかの実施形態では、第１の複数の強調画像、第２の複数の強調画像、および第３の複数の強調画像を比較し、治療を評価するステップはさらに、第１の分布、第２の分布、および第３の分布を比較し、治療を評価するステップを含む。
いくつかの実施形態では、第１の複数の強調画像、第２の複数の強調画像、および第３の複数の強調画像を比較し、治療を評価するステップは、画像毎に、着目疾患の状態を示す、スコアを決定するステップを含む。
いくつかの実施形態では、第１の複数の強調画像、第２の複数の強調画像、および第３の複数の強調画像を比較し、治療を評価するステップはさらに、第１の複数の強調画像のスコアに基づいて、第１の分布を決定するステップと、第２の複数の強調画像のスコアに基づいて、第２の分布を決定するステップと、第３の複数の強調画像のスコアに基づいて、第３の分布を決定するステップとを含む。
いくつかの実施形態では、第１の複数の強調画像、第２の複数の強調画像、および第３の複数の強調画像を比較し、治療を評価するステップはさらに、第１の分布、第２の分布、および第３の分布を比較し、治療を評価するステップを含む。
いくつかの実施形態では、治療は、第１の治療であって、本方法はさらに、着目疾患によって罹患され、第２の治療によって治療されている、第４の治療された生物学的サンプルのセットを描写する、第４の複数の画像を受信するステップと、第４の複数の画像を訓練された機械学習モデルの中に入力し、第４の複数の強調画像を取得するステップと、第１の複数の強調画像、第２の複数の強調画像、第３の複数の強調画像、および第４の複数の強調画像を比較し、第１の治療および第２の治療を比較するステップとを含む。
いくつかの実施形態では、本方法はさらに、比較に基づいて、第１の治療および第２の治療から治療を選択するステップを含む。
いくつかの実施形態では、本方法はさらに、選択された治療を投与するステップを含む。
いくつかの実施形態では、本方法はさらに、選択された治療に基づいて、医療推奨を提供するステップを含む。
いくつかの実施形態では、訓練された機械学習モデルは、弁別器と、生成器とを備える、ＧＡＮモデルである。
いくつかの実施形態では、機械学習モデルは、条件付きＧＡＮモデルである。
いくつかの実施形態では、生成器は、複数の周波数群に対応する、複数のニューラルネットワークを備える。
いくつかの実施形態では、複数のニューラルネットワークの各ニューラルネットワークは、個別の周波数群のためのウェーブレット係数を生成するように構成される。
いくつかの実施形態では、弁別器は、ＰａｔｃｈＧＡＮニューラルネットワークである。
例示的着目疾患に対する治療を評価するためのシステムは、１つまたはそれを上回るプロセッサと、メモリと、１つまたはそれを上回るプログラムであって、１つまたはそれを上回るプログラムは、メモリ内に記憶され、１つまたはそれを上回るプロセッサによって実行されるように構成され、着目疾患によって罹患されていない、第１の健康な生物学的サンプルのセットを描写する、第１の複数の画像を受信するステップと、着目疾患によって罹患されている、第２の未治療の生物学的サンプルのセットを描写する、第２の複数の画像を受信するステップと、着目疾患によって罹患され、治療によって治療されている、第３の治療された生物学的サンプルのセットを描写する、第３の複数の画像を受信するステップと、第１の複数の画像を訓練された機械学習モデルの中に入力し、第１の複数の強調画像を取得するステップと、第２の複数の画像を訓練された機械学習モデルの中に入力し、第２の複数の強調画像を取得するステップと、第３の複数の画像を訓練された機械学習モデルの中に入力し、第３の複数の強調画像を取得するステップと、第１の複数の強調画像、第２の複数の強調画像、および第３の複数の強調画像を比較し、治療を評価するステップとのための命令を含む、１つまたはそれを上回るプログラムとを備える。
例示的非一過性コンピュータ可読記憶媒体が、着目疾患に対する治療を評価するための１つまたはそれを上回るプログラムを記憶し、１つまたはそれを上回るプログラムは、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、電子デバイスに、着目疾患によって罹患されていない、第１の健康な生物学的サンプルのセットを描写する、第１の複数の画像を受信させ、着目疾患によって罹患されている、第２の未治療の生物学的サンプルのセットを描写する、第２の複数の画像を受信させ、着目疾患によって罹患され、治療によって治療されている、第３の治療された生物学的サンプルのセットを描写する、第３の複数の画像を受信させ、第１の複数の画像を訓練された機械学習モデルの中に入力し、第１の複数の強調画像を取得させ、第２の複数の画像を訓練された機械学習モデルの中に入力し、第２の複数の強調画像を取得させ、第３の複数の画像を訓練された機械学習モデルの中に入力し、第３の複数の強調画像を取得させ、第１の複数の強調画像、第２の複数の強調画像、および第３の複数の強調画像を比較し、治療を評価させる、命令を備える。
図１は、いくつかの実施形態による、大規模かつ低コスト様式において、合成データ（例えば、画像データ）を生成するように構成される、機械学習モデルを訓練するための例示的プロセスを図示する。
図２Ａは、いくつかの実施形態による、機械学習モデルを訓練および適用する、例示的プロセスを図示する。
図２Ｂは、いくつかの実施形態による、機械学習モデルを訓練および適用する、例示的プロセスを図示する。
図３Ａは、いくつかの実施形態による、機械学習モデルの訓練プロセスを図示する。
図３Ｂは、いくつかの実施形態による、例示的生成器の動作を図示する。
図３Ｃは、いくつかの実施形態による、機械学習モデルの訓練プロセスを図示する。
図３Ｄは、いくつかの実施形態による、機械学習モデルの訓練プロセスを図示する。
図４は、いくつかの実施形態による、例示的画像形成モデルを図示する。
図５は、いくつかの実施形態による、静的顕微鏡設定を使用する、例示的訓練された生成器の出力を図示する。
図６Ａは、いくつかの実施形態による、生成画像のロバスト性を決定するための例示的プロセスを図示する。
図６Ｂは、いくつかの実施形態による、２つの分類子間の例示的比較を図示する。
図７Ａは、機械学習モデルを訓練し、生物学的サンプルの画像を生成するための例示的方法を図示する。
図７Ｂは、生物学的サンプルの強調画像を生成するための例示的方法を図示する。
図８は、いくつかの実施形態による、例示的電子デバイスを図示する。
図９は、いくつかの実施形態による、例示的光学システムを図示する。
図１０は、いくつかの実施形態による、光学システムのプログラム可能ＳＬＭを使用して、生物学的サンプルの画像を分析するための例示的方法を図示する。
図１１は、いくつかの実施形態による、機械学習モデルを訓練するための例示的方法を図示する。
図１２Ａおよび１２Ｂは、いくつかの実施形態による、同一入力画像に基づく２つの分類モデルの分類結果の並置比較を図示する。図１２Ｃおよび１２Ｄは、それぞれ、いくつかの実施形態による、バッチ効果に対する２つのモデルの耐性を示すために、異なる配色を用いて、図９Ａおよび９Ｂにおける同一分類結果の並置比較を図示する。
図１２Ｅは、いくつかの実施形態による、実際の画像セット、生成画像セット、および真のバッチ不変画像セットに対応する、ユークリッド距離計測値を図示する。
図１３Ａは、いくつかの実施形態による、例示的生成画像を図示する。
図１３Ｂは、いくつかの実施形態による、例示的生成画像を図示する。
図１３Ｃは、いくつかの実施形態による、例示的生成画像を図示する。
図１４Ａおよび１４Ｂは、いくつかの実施形態による、合成データ（例えば、画像データ）を生成するように構成される、機械学習モデル（例えば、ＧＡＮモデル）を訓練し、機械学習モデルのための入力データを捕捉するための最適照明パターンを識別するための例示的プロセスを図示する。 図１４Ａおよび１４Ｂは、いくつかの実施形態による、合成データ（例えば、画像データ）を生成するように構成される、機械学習モデル（例えば、ＧＡＮモデル）を訓練し、機械学習モデルのための入力データを捕捉するための最適照明パターンを識別するための例示的プロセスを図示する。
図１５は、いくつかの実施形態による、機械学習モデルを訓練するための概略図を図示する。
図１６Ａは、いくつかの実施形態による、ＮＡＳＨ疾患を考察するために例示的ＧＡＮモデルによって生成された合成画像を図示する。図１６Ｂは、いくつかの実施形態による、生成画像の下流分析を図示する。
図１６Ｃは、いくつかの実施形態による、候補治療を評価するための例示的プロセスを図示する。
図１６Ｄは、いくつかの実施形態による、候補治療を評価するための例示的プロセスを図示する。
図１７Ａは、いくつかの実施形態による、結節性硬化症（「ＴＳＣ」）を考察するための例示的ＧＡＮモデルによって生成された合成画像を図示する。
図１７Ｂは、いくつかの実施形態による、候補治療を評価するための例示的プロセスを図示する。
本発明の詳細な説明
本開示は、大規模における画像データのＭＬベースの生成を実施するための方法、システム、電子デバイス、非一過性記憶媒体、および装置を含む。生成画像データ（例えば、生物学的サンプルの画像データ）は、下流処理（例えば、表現型検査）のための十分な豊富度および深度を提供することができる。さらに、本開示の実施形態は、古典的顕微鏡検査技法の現在の次元を拡張させる、コンピュータおよびハードウェア最適化方法のセットを備える。
本開示の実施形態は、生物学的サンプルの複数の明視野画像を処理し、生物学的サンプルの強調画像を生産することができる。強調画像は、限定ではないが、蛍光画像、位相偏移画像、意味論マップ、偏光マップ、屈折マップ（２Ｄおよび３Ｄ）、吸光度マップ、および他の画像モダリティを含む。生物学的サンプルの明視野画像は、（例えば、蛍光顕微鏡に対して）安価な機器、臨床展開の容易性、ならびに低処理および記憶リソース要件に起因して、大規模かつ低コストで取得されることができる。明視野画像を取得することは、概して、非侵襲性であって、低光毒性を伴う。したがって、明視野画像は、効率的かつ大規模において取得されることができる。強調画像は、下流処理（例えば、表現型探索）のために十分な豊富度および深度を提供する。
本開示の実施形態は、第１のタイプの画像を受信し、入力画像を他の撮像モダリティに変換するように訓練される、機械学習モデルを含む。例示的機械学習モデルは、第１のタイプの画像を受信し、入力画像を第２のタイプの画像（例えば、強調画像）に変換することができる。いくつかの実施形態では、異なる画像タイプは、異なる撮像モダリティを指す。いくつかの実施形態では、第１のタイプの画像は、明視野画像である。例えば、明視野画像は、安価なＬＥＤアレイを用いて、インビトロ（または生検）細胞サンプルを照明することから捕捉されることができる。第２のタイプの画像は、蛍光画像を含む。生成蛍光画像は、直接、明視野画像において可視ではなく、下流処理（例えば、表現型検査）のために使用され得る、高コントラスト特徴を呈する。
本開示の実施形態は、下流分析のために、生物学的サンプルの実際の蛍光画像（または他の特殊画像モダリティ）を捕捉する必要性を低減または排除し、明視野画像が種々の目的のために広く使用されることを可能にする。これは、特に、生細胞撮像にとって有益である。例えば、開示される方法は、細胞分化実験プロトコルの監視および最適化のために使用され得る。化学的または遺伝的摂動の状況では、細胞染色および固定と結び付けられる、時間がかかる活動回避され得る。いくつかの実施形態では、観察下の細胞を用いた薬物のインキュベーション時間である、投薬時間はまた、ソフトウェアによって最適化され得る。研究者は、ソフトウェアが研究者に最適化されたインキュベーション時間を通知することが可能であろうため、もはや最良インキュベーション時間を恣意的に決定する必要はないであろう。さらに、明視野画像を他のモダリティに変換するために使用される、機械学習技法は、より低い処理および記憶リソース利用を要求する。したがって、本開示の実施形態は、技術的改良を医療撮像の分野に提示する一方、コンピューティングシステムの動作性および機能性を強調させる。
本開示の実施形態はさらに、第１のタイプの画像を受信し、入力画像を第３のタイプの画像に変換するように訓練される、機械学習モデルを含む。いくつかの実施形態では、第３のタイプの画像は、捕捉された生物学的サンプルの種々の光学性質（例えば、位相偏移）を示す、画像データを含む。
本開示の実施形態はさらに、第１のタイプの画像を受信し、入力画像を第４のタイプの画像に変換するように訓練される、機械学習モデルを含む。いくつかの実施形態では、第４のタイプの画像は、区画化データ（例えば、細胞境界）を示す、画像データを含む。
当業者は、本開示の実施形態がさらに、入力画像を、等の意味論マップ、偏光マップ、屈折マップ（２Ｄまたは３Ｄ）、吸光度マップ等の種々の撮像特性を捕捉する、多数の他のタイプの画像に変換し得ることを理解するはずである。
いくつかの実施形態では、単一機械学習モデルは、複数の変換タスクを同時に実施するように訓練される。例えば、同一機械学習モデルは、第１のタイプの画像を受信し、複数のタイプの画像（例えば、第２のタイプ、第３のタイプ、第４のタイプの画像）を生成することができる。機械学習モデルは、敵対的生成ネットワーク（「ＧＡＮ」）モデルであることができる。例えば、ＧＡＮネットワークは、条件付きＧＡＮ（「ｃＧＡＮ」）モデルであることができる。
いくつかの実施形態では、機械学習モデルは、入力画像をその対応するウェーブレット係数に変換し、１つまたはそれを上回る出力画像をウェーブレット係数内に生成する。ニューラルネットワークの固有の非線形オプションと結合される、画像のコンパクトかつマルチスケール表現は、複数の目標を一度に達成する。第１に、ウェーブレットベースの表現は、生成モデルの大部分が直面する、固有のクラス非平衡問題を解決する。具体的には、大部分の入力画像データは、豊富な低周波信号を備えるが、より少ない高周波数信号を備える。第２に、ウェーブレットベースの表現は、入力画像データの全体的幾何学形状を抽出および維持する。モデルの弁別器は、実際のおよび生成画像（例えば、実際対生成蛍光画像）が区別不能であることを確実にする。生成蛍光画像または他の強調画像モダリティは、サンプルの仮想染色に対応する。明視野撮像モダリティの低光毒性ならびに臨床設定におけるその可用性のため、本開示の実施形態による仮想染色は、生細胞ならびに生検サンプル上で実施されることができる。
本開示の実施形態はさらに、ハードウェア最適化方法を含む。例えば、本開示の実施形態はさらに、顕微鏡（例えば、第１のタイプの画像を取得する、顕微鏡）の照明スキームを動的に最適化することができる。いくつかの実施形態では、第１のタイプの画像を捕捉するために使用される、顕微鏡は、訓練プロセスの間、異なる照明スキームを提供するように調整またはプログラムされることができる。機械学習モデルの訓練の間、第１のタイプの画像を捕捉するための最適照明スキームが、識別されることができる。最適照明スキームは、ウェーブレットベースの画像転換のための（例えば、下流表現型探索のための）生物学的サンプルの最良表現を抽出するように、第１のタイプの画像（例えば、明視野画像）を捕捉するために使用されることができる。
本開示の実施形態はさらに、機械学習モデルの生成画像のロバスト性を評価するステップを含む。いくつかの実施形態では、第１の下流分類子は、実際の画像（例えば、実際の蛍光画像）を使用して訓練され、第２の下流分類子は、生成画像（例えば、生成蛍光画像）を使用して訓練される。２つの分類子の性能が、下流タスクにおける訓練データとしての生成画像のロバスト性を評価するために比較されることができる。
したがって、本開示の実施形態は、多くの問題、すなわち、画像強調、位相回復、低光毒性、明視野画像の現実的仮想染色、および下流タスクにおけるロバスト性を同時に解決する、統合されたプラットフォームを備える。本開示の実施形態は、下流分類タスクを介して、生成画像のロバスト性を評価することができる。これらのタスクは、プラットフォームに統合され、非侵襲性明視野画像から蛍光性画像へのデータ生成のループを閉鎖する。例えば、本システムは、使用の間、明視野顕微鏡入手システムのパラメータを最適化し得る。ＬＥＤアレイの照明パターン、ならびに、例えば、顕微鏡対物レンズの集束位置および空間光変調器（ＳＬＭ）のアクティブ化タイミングを含む、明視野顕微鏡入手システムの他のパラメータが、下流分類タスクの間、逆伝搬によって最適化され得る。
さらになお、いくつかの実施形態では、プラットフォームは、一連の摂動を細胞に実施し、照明スキームを最適化し、表現型探索のための細胞の最良表現を抽出することを学習する。
本開示のいくつかの実施形態は、画像データを捕捉するための１つまたはそれを上回る最適照明パターンを識別することができる。いくつかの実施形態では、照明パターンは、照明源（例えば、ＬＥＤアレイ上の各ＬＥＤ）の各照明エミッタがオンまたはオフにされるべきかどうかと、各照明エミッタの強度とを示すことができる。本システムは、複数の照明エミッタの強度に対応する、複数の加重（例えば、ＬＥＤアレイ上の複数のＬＥＤの強度に対応する、複数の加重）を備える、アテンション層を有する、機械学習モデルを訓練することによって、最適照明パターンを決定することができる。機械学習モデルの訓練の間、複数の加重が、異なる照明エミッタによって照明された複数の訓練画像（例えば、明視野画像）に適用される。集約された画像が、機械学習モデルの中に入力され、損失を決定することができ、アテンション層内に加重を含む、モデルは、損失に基づいて、適宜、更新されることができる。訓練後、照明パターンは、各加重が対応する照明エミッタの所望の強度レベルに対応し得るため、訓練された機械学習モデルのアテンション層内の加重に基づいて決定されることができる。故に、プロセスは、限定された数の照明設定を使用して画像を捕捉する（例えば、単一照明エミッタを一度にオンにし、画像を捕捉する）ステップのみを伴い、最適照明パターンを識別するために、照明エミッタの強度を物理的に調節することを要求しない。
本開示のいくつかの実施形態は、機械学習モデルによって生成された合成画像データが、下流分析において、実際の画像と同一性能を提供し得るように、機械学習モデルを訓練することができる。いくつかの実施形態では、機械学習モデルを訓練するステップは、最初に、下流タスク（例えば、画像に基づいて、健康対罹患組織を分類する）に対応する、分類子を訓練し、次いで、分類子の出力を使用して、機械学習モデルの訓練を誘導するステップを含む。
本開示のいくつかの実施形態は、着目疾患に対する候補治療を評価することができる。いくつかの実施形態では、本システムは、着目疾患によって罹患されていない、第１の健康な生物学的サンプルのセットを描写する、第１の複数の画像を受信し、着目疾患によって罹患されている、第２の未治療の生物学的サンプルのセットを描写する、第２の複数の画像を受信し、着目疾患によって罹患され、候補治療によって治療されている、第３の治療された生物学的サンプルのセットを描写する、第３の複数の画像を受信する。画像は、機械学習モデルの中に入力され、強調画像を取得し、強調画像は、比較され、治療を評価する（例えば、画像の分布を分析することによって）。
以下の説明は、例示的方法、パラメータ、および同等物を記載する。しかしながら、そのような説明は、本開示の範囲の限定として意図されるものではなく、代わりに、例示的実施形態の説明として提供されることを認識されたい。
いくつかの実施形態では、例示的光学システムは、プログラム可能空間光変調器（「ＳＬＭ」）を備える。光学システムのＳＬＭは、訓練段階を介して（例えば、豊富な訓練データセットを提供することによって）、および／または推論段階を介して（例えば、種々の光学設定または最適設定下で入力データを提供することによって）、機械学習モデルの性能を改良することができる。ＳＬＭは、任意の機械的移動または機械的修正を光学システムに要求せずに、プログラムされる。
ＳＬＭは、付加的自由度およびコントラスト源を提供し、プログラム可能な方法において、顕微鏡を制御する。例えば、ＳＬＭは、重要表現型を強調させる、光学収差を生成するようにプログラムされることができる。別の実施例として、ＳＬＭは、異なる変調を提供し、したがって、深層サンプルの探索を高速で可能にする、種々の画像を生産するようにプログラムされることができる。ＳＬＭはまた、教師あり方式において、細胞表現型を推測し、代替画像モダリティを再構築するための最適撮像設定の識別を可能にする。多焦点入手が、任意の機械的移動を伴わずに、可能であって、したがって、下流タスクを加速および改良する。３次元位相断層撮影および再構成が、したがって、加速および改良される。
以下の説明は、用語「第１」、「第２」等を使用して、種々の要素を説明するが、これらの要素は、用語によって限定されるべきではない。これらの用語は、１つの要素を別の要素から区別するためにのみ使用される。例えば、第１のグラフィカル表現は、種々の説明される実施形態の範囲から逸脱することなく、第２のグラフィカル表現と称され得、同様に、第２のグラフィカル表現は、第１のグラフィカル表現と称され得る。第１のグラフィカル表現および第２のグラフィカル表現は両方とも、グラフィカル表現である、それらは、同一グラフィカル表現ではない。
本明細書の種々の説明される実施形態の説明において使用される専門用語は、特定の実施形態のみを説明する目的のためのものであって、限定することを意図するものではない。種々の説明される実施形態の説明および添付の請求項において使用されるように、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈によってそうでないことが明確に示されない限り、複数形形態も同様に含むように意図される。また、用語「および／または」は、本明細書に使用されるように、関連付けられる列挙されたアイテムのうちの１つまたはそれを上回るもののあらゆる可能性として考えられる組み合わせを指し、包含することを理解されたい。さらに、用語「ｉｎｃｌｕｄｅｓ（～を含む）」、「ｉｎｃｌｕｄｉｎｇ（～を含む）」、「ｃｏｍｐｒｉｓｅｓ（～を備える）」および／または「ｃｏｍｐｒｉｓｉｎｇ（～を備える）」は、本明細書において使用されるとき、述べられた特徴、整数、ステップ、動作、要素、および／または構成要素の存在を規定するが、１つまたはそれを上回る他の特徴、整数、ステップ、動作、要素、構成要素、および／またはその群の存在または追加を除外しないことを理解されたい。
用語「ｉｆ（～の場合）」は、随意に、文脈に応じて、「ｗｈｅｎ（～のとき）」または「ｕｐｏｎ（～に応じて）」もしくは「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（～を決定することに応答して）」または「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（～を検出することに応答して）」を意味するように解釈される。同様に、語句「ｉｆ ｉｔ ｉｓ ｄｅｔｅｒｍｉｎｅｄ（～であることが決定される場合）」または「ｉｆ ［ａ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］ ｉｓ ｄｅｔｅｃｔｅｄ（［述べられた条件または事象］が検出される場合）」は、随意に、文脈に応じて、「ｕｐｏｎ ｄｅｔｅｒｍｉｎｉｎｇ（～を決定することに応じて）」または「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（～を決定することに応答して）」もしくは「ｕｐｏｎ ｄｅｔｅｃｔｉｎｇ ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］（［述べられた条件または事象］を検出することに応じて）」または「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］（［述べられた条件または事象］を検出することに応答して）」を意味するように解釈される。
図１は、いくつかの実施形態による、生物学的サンプルの強調画像を生成するように構成される、機械学習モデルを訓練するための例示的プロセスを図示する。
図１を参照すると、訓練データ１２０は、第１のタイプの画像１２２と、第２のタイプの画像１２４とを備える。いくつかの実施形態では、画像は、生物学的サンプルの画像であって、生物学的サンプルは、染色、非染色、摂動、および／または非摂動生物学的サンプルの１つまたはそれを上回る集合を含むことができる。
いくつかの実施形態では、第１のタイプの画像データ１２２は、明視野画像のセットを備え、第２のタイプの画像データ１２４は、異なるモダリティにおける画像（例えば、蛍光画像）を備える。第１のタイプの画像１２２は、明視野顕微鏡を使用して取得されることができる一方、第２のタイプの画像１２４は、蛍光顕微鏡を使用して取得されることができる。
図１に示されるように、第１のタイプの画像１２２は、１つまたはそれを上回る照明パターン１１０に基づいて取得される。照明パターンは、それを用いて物体が照明される、設定を示す。いくつかの実施形態では、照明パターンは、物体と照明源との間の空間関係（例えば、距離、角度）を示す、１つまたはそれを上回るパラメータ、照明源の設定を示す、１つまたはそれを上回るパラメータ、またはそれらの組み合わせによって定義されることができる。例えば、照明パターンは、アクティブ化されるＬＥＤ光源のセット、具体的焦点外／偏光設定等を示すことができる。
いくつかの実施形態では、第１のタイプの画像を捕捉する、顕微鏡は、複数の照明パターンをサポートする、顕微鏡であることができる。例えば、顕微鏡は、プログラム可能照明源（例えば、ＬＥＤアレイ、レーザ）、適応光学系システム（ＳＬＭ、マイクロミラー）、またはそれらの組み合わせを提供することができる。照明パターンを更新する（例えば、照明源および／または光学系システムの瞳関数を制御する）ことによって、複数の照明パターンに対応する、生物学的サンプルの多くの表現が、入手されることができる。
いくつかの実施形態では、訓練データ１２０は、３次元画像データ（例えば、画像アレイ）として編成されることができる。例えば、訓練データ１２０は、寸法（Ｂ、Ｃ、Ｈ、Ｗ）であることができ、Ｂは、バッチサイズを示し、Ｃは、チャネルの数（すなわち、照明パターン）を示し、Ｈは、高さを示し、Ｗは、幅を示す。Ｃは、単一明視野画像のみが存在する場合、１に等しく、Ｃは、明視野画像のスタックが存在する場合、１より大きい。
いくつかの実施形態では、訓練データ１２０内の１つまたはそれを上回る画像は、それらが機械学習モデル１００を訓練するために使用される前に、正規化されることができる。例えば、蛍光画像は、照明または強度パラメータに基づいて、正規化されることができる。
図１を参照すると、訓練データ１２０は、機械学習モデル１００を訓練するために使用される。いくつかの実施形態では、モデル１００は、敵対的生成ネットワーク（「ＧＡＮ」）モデルである。例えば、ＧＡＮネットワークは、条件付きＧＡＮ（「ｃＧＡＮ」）モデルであることができる。下記に詳細に説明されるように、ＧＡＮネットワークは、生成器と、弁別器とを備える。生成器は、第１のタイプの画像（例えば、明視野画像）を受信し、入力画像を第２のタイプの画像（例えば、蛍光画像）に変換するように訓練される。訓練ステップは、第１のタイプの実際の画像１２２と第２のタイプの実際の画像１２４を比較し、第１のタイプの画像１２２が遂行するために模索するべきウェーブレットベースの転換のためのグランドトゥルースベースラインを決定するステップを含む。訓練の間、生成器出力（すなわち、生成蛍光画像）は、直接、弁別器入力に接続されることができる。弁別器は、第２のタイプの生成画像（例えば、生成蛍光画像）を第２のタイプの実際の画像（例えば、実際の蛍光画像）と区別するように訓練される。逆伝搬を通して、弁別器の出力は、生成器によって、生成器が、弁別器が実際の画像として分類するであろう、画像を生成するように学習するように、生成器の加重を更新するために使用されることができる。
いくつかの実施形態では、照明パラメータは、モデル１００の訓練の間、更新されることができる。したがって、モデル１００の訓練の間、照明スキームは、継続的に更新されることができ、訓練データは、下記に詳細に説明されるように、更新された照明スキームに従って取得され、モデル１００をさらに訓練することができる。
図２Ａおよび２Ｂは、いくつかの実施形態による、機械学習モデル（例えば、モデル１００）を訓練および適用するための例示的プロセス２００および２５０を図示する。図２Ａは、訓練データの入手の間、顕微鏡のパラメータが変更されることができないときの、プロセスを図示する。図２Ｂは、訓練データの入手の間、顕微鏡のパラメータが変更されることができ、したがって、最適照明パターンが、識別されることができるときの、プロセスを図示する。
プロセスはそれぞれ、少なくとも部分的に、１つまたはそれを上回る電子デバイスを使用して、実施されることができる。いくつかの実施形態では、図２Ａおよび２Ｂに描写される各プロセスステップのブロックは、複数の電子デバイス間に分割されることができる。各プロセスでは、いくつかのブロック、随意に、組み合わせられ、いくつかのブロックの順序は、随意に、変更され、いくつかのブロックは、随意に、省略される。いくつかの実施例では、付加的ステップが、プロセスと組み合わせて、実施されてもよい。故に、図示（および下記により詳細に説明）されるような動作は、本質的に、例示的であって、したがって、限定として見なされるべきではない。
図２Ａでは、顕微鏡のパラメータは、明視野画像の入手の間、変更されることができない。したがって、訓練データ（例えば、訓練データ１２０）内の明視野画像は全て、同一照明パターンに基づいて取得される。
ブロック２０４では、訓練データ（例えば、図１における訓練データ１２０）が、少なくとも部分的に、デフォルト照明パターンに従って、取得される。図１を参照して上記に説明されるように、訓練データは、明視野顕微鏡によってデフォルト照明パターンに従って取得される、第１のタイプの画像（例えば、明視野画像）と、蛍光顕微鏡によって取得される、第２のタイプの画像（例えば、蛍光画像）とを備える。
ブロック２０６では、機械学習モデル（例えば、図１におけるモデル１００）は、訓練データに基づいて訓練される。モデルは、ＧＡＮモデルであることができる。例えば、ＧＡＮネットワークは、条件付きＧＡＮ（「ｃＧＡＮ」）モデルであることができる。
図３Ａ、３Ｃ、および３Ｄは、いくつかの実施形態による、機械学習モデルの訓練プロセスを図示する。ＧＡＮモデルは、生成器３０２と、弁別器３０４とを備える。生成器３０２は、第１のタイプの画像３１０（例えば、明視野画像）を受信し、第２のタイプの画像３１２（例えば、蛍光画像）を生成するように訓練される。いくつかの実施形態では、第１のタイプの画像３１０は、上記に説明される、明視野画像アレイを備える。
訓練の間、生成器出力（すなわち、生成蛍光画像）は、直接、弁別器入力に接続されることができる。弁別器３０４は、第２のタイプの生成画像３１２（例えば、生成蛍光画像）を第２のタイプの実際の画像３１４（例えば、実際の蛍光画像）と区別するように訓練される。いくつかの実施形態では、第２のタイプの実際の画像３１４は、上記に説明される、蛍光画像アレイを備える。
逆伝搬を通して、弁別器の出力は、下記に詳細に説明されるように、生成器によって、生成器が、弁別器が実際の画像として分類するであろう、画像を生成するように学習するように、生成器の加重を更新するために使用されることができる。いくつかの実施形態では、生成器３０２および弁別器３０４は、ニューラルネットワークである。
図３Ｂは、いくつかの実施形態による、例示的生成器の動作を図示する。入力画像３５２は、明視野画像アレイからの単一画像または明視野画像アレイ全体であることができる。例えば、入力画像３５２は、寸法（Ｂ、Ｃ、Ｈ、Ｗ）であることができ、Ｂは、バッチサイズを示し、Ｃは、チャネルの数を示し、Ｈは、高さを示し、Ｗは、幅を示す。Ｃは、単一明視野画像のみが存在する場合、１に等しく、Ｃは、明視野画像のスタックが存在する場合、１より大きい。
図３Ｂを参照すると、生成器は、入力画像３５２をダウンサンプリングし、ダウンサンプリングされた入力画像３５４を取得するための、一連の畳み込み層を備える。いくつかの実施形態では、入力画像３５３は、その元々のサイズの半分までダウンサンプリングされることができる。例えば、入力が、空間サイズ内で２５６×２５６である場合、１２８×１２８まで低減されるであろう。
ダウンサンプリングされた画像３５４は、次いで、複数のニューラルネットワークに通過される。描写される実施例では、複数のニューラルネットワークは、４つのＵ－Ｎｅｔニューラルネットワークを備える。Ｕ－Ｎｅｔネットワークは、画像間変換のための畳み込みネットワークである。Ｕ－Ｎｅｔネットワークの設計および実装の詳細は、例えば、Ｒｏｎｎｅｂｅｒｇｅｒ ｅｔ ａｌ． 「Ｕ－Ｎｅｔ： Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ」（参照することによってその全体として本明細書に組み込まれる）に見出されることができる。
複数のニューラルネットワークは、ウェーブレットドメイン内の異なる周波数群に対応し得る。描写される実施例では、４つのＵ－Ｎｅｔネットワークは、それぞれ、低周波、高周波数（水平）、高周波数（垂直）、および高周波数（対角線）に関与する。信号処理では、低周波信号は、画像のサイズに対して非常に大きい特徴（例えば、細胞を撮像するとき、約細胞質または核のサイズ大きさを有する）に対応する。高周波数情報は、非常に微細な小画像特徴（例えば、約ミトコンドリア、微小管のサイズ大きさを有する）である。低周波信号は、ウェーブレット係数の第１の規模に対応する。高周波数は、より高い規模のウェーブレット係数でエンコーディングされる。いくつかの実施形態では、複数のニューラルネットワークは、独立して動作し、加重を共有しない。
示されるように、４つのＵ－Ｎｅｔ分岐のうちの３つは、高周波数ブロックに対応する。低周波情報は、回収することが比較的に容易である。したがって、より多くのコンピューティング電力を高周波数専用に有することは、画像内の微細な詳細の再構成を保証する。したがって、ウェーブレットドメイン内で動作する、損失関数は、信号の本編成（低周波情報の３倍の高周波数情報）から利益を享受する。
各ニューラルネットワークは、個別の周波数群のためのウェーブレット係数を出力（または予測）するように構成される。損失関数は、予測されるウェーブレット係数３５６および実際の蛍光画像の真のウェーブレット係数に適用される。損失関数は、図３Ｃおよび３Ｄを参照して下記にさらに説明される。
画像ドメイン内の生成蛍光画像３５８は、逆ウェーブレット変換を予測される係数３５６に適用することによって取得されることができる。
図３Ｃは、いくつかの実施形態による、弁別器３０４の逆伝搬プロセスを図示する。弁別器３０４は、所与の画像に基づいて、出力を提供するように訓練される、モデル（例えば、ニューラルネットワーク）である。弁別器３０４の訓練データは、第２のタイプの実際の画像３１４（例えば、実際の蛍光画像）と、生成器３０２によって生成される、第２のタイプの合成画像３１２（例えば、生成蛍光画像）とを備える。
いくつかの実施形態では、弁別器３０４は、ＰａｔｃｈＧＡＮネットワークである。ＰａｔｃｈＧＡＮネットワークの設計および実装の詳細は、例えば、Ｉｓｏｌａ ｅｔ ａｌ．「Ｉｍａｇｅ－ｔｏ－Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎ ｗｉｔｈ Ｃｏｎｄｉｔｉｏｎａｌ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ」（参照することによってその全体として組み込まれる）に見出されることができる。
弁別器３０４の訓練の間、弁別器損失３２２が、生成器の出力（すなわち、予測されるウェーブレット係数）に基づいて、計算されることができる。いくつかの実施形態では、弁別器損失関数は、Ｗａｓｓｅｒｓｔｅｉｎ弁別器損失であって、以下のように計算される。
式中、ｆ（ｘ）は、実際の蛍光画像のウェーブレット係数に基づく、弁別器の出力であって、ｗは、弁別器のモデル加重であって、ｍは、ミニバッチのサイズであって、ｆは、弁別器モデルであって、ｘは、実際の画像であって、ｚは、入力（明視野）であって、Ｇは、生成器モデルであって、ｆ（Ｇ（ｚ））は、合成蛍光画像に対応する、予測されるウェーブレット係数に基づく、弁別器の出力である。
弁別器３０４は、本関数を最大限にするように構成される。換言すると、実際の画像に基づく、その出力と、合成画像に基づく、その出力との間の差異を最大限にするように試みる。図３Ｃに描写されるように、弁別器は、弁別器ネットワークを通した弁別器損失３３２に基づいて、逆伝搬を通して、その加重を更新する。
図３Ｄは、いくつかの実施形態による、生成器３０２の逆伝搬プロセスを図示する。生成器３０２は、図３Ａおよび３Ｂを参照して説明されるように、第１のタイプの画像３１０を受信し、第２のタイプの画像３１２を生成するように構成される、ニューラルネットワークである。生成器によって予測されるウェーブレット係数が、弁別器３０４の中に入力される。弁別器の出力に応じて、生成器損失３２４が、計算されることができる。いくつかの実施形態では、生成器損失関数は、Ｗａｓｓｅｒｓｔｅｉｎ生成器損失であって、以下のように計算される。
式中、ｆ（ｘ）は、実際の蛍光画像のウェーブレット係数に基づく、弁別器の出力であって、ｍは、ミニバッチのサイズであって、ｆは、弁別器モデルであって、ｚは、入力（明視野）であって、Ｇは、生成器モデルであって、ｆ（Ｇ（ｚ））は、予測されるウェーブレット係数に基づく、弁別器の出力である。
ウェーブレットドメイン内で動作する、再構成損失は、必然的に、低および高周波数の寄与を平衡する性質を有する。図３Ｂに示されるように、ウェーブレット係数は、２つのカテゴリ、すなわち、低（１つのブロック）および高周波数（３つのブロック）に分裂されることができる。４つのＵＮｅｔ分岐のうちの３つは、高周波数ブロックに専用であることができる。低周波情報は、より容易に回収されることができる。したがって、より多くのコンピューティング電力を高周波数専用にすることは、画像内の微細な詳細の再構成に役立つ。ウェーブレットドメイン内で動作する、損失関数は、信号の本編成（低周波情報の３倍の高周波数情報）から利益を享受する。いくつかの実施形態では、ウェーブレット係数は、２つを上回るカテゴリ、例えば、３つのカテゴリ（高、中、低周波）、４つのカテゴリ、または４つを上回るカテゴリに分裂されることができる。
生成器３０２は、本関数を最大限にするように構成される。換言すると、その合成画像に基づく弁別器の出力を最大限にするように試みる。いくつかの実施形態では、生成器損失は、弁別器３０４および生成器３０２の両方を通して逆伝搬され、勾配を取得し、これは、ひいては、生成器加重を調節するために使用される。
いくつかの実施形態では、生成器３０２および弁別器３０４は、交互周期において訓練される。各周期では、弁別器は、１つまたはそれを上回る基準時点に関して訓練し、生成器は、１つまたはそれを上回る基準時点に関して訓練する。弁別器訓練の間、生成器は、一定のままであり得る。同様に、生成器訓練の間、弁別器は、一定のままであり得る。
いくつかの実施形態では、生成器は、入力画像を第３のタイプの画像（例えば、位相偏移画像）に変換することができる。例えば、生成蛍光画像に加え、生成器はまた、位相偏移画像を出力してもよく、その中で各ピクセルは、変換され得る、画像内の位相の局所値（例えば、－５～５位相情報）を示す。物理ベースの画像形成モデルが、実位相偏移画像（すなわち、グラウンドトゥルース位相偏移画像）を生成するために使用されることができる。画像形成モデルは、顕微鏡の絶対知識（例えば、光学システムの収差）ならびに捕捉されたサンプルの光学性質（例えば、屈折率、位相）を前提として、画像を生成する。サンプルの光学性質は、サンプル間で比較され得るため、下流タスクにおけるバッチ効果のリスクは、ほぼヌルである。物理ベースのモデルは、生成プロセスにおける確実な先験的知識の組み込みを可能にする。
図４を参照すると、訓練の間、照明源であるＳが、高忠実性を伴って、Ｘを読み出すために、最適化される。顕微鏡ＰＳＦ（または瞳関数）もまた、空間光変調器またはマイクロミラーのセットを用いて、最適化されることができる。加えて、Ｓの偏光もまた、より多くのコントラストを収集された画像内に注入するために、変調されることができる。
上記の式中、Ｓ（ｆ）は、部分的コヒーレント照明源（ＬＥＤアレイ）を指す。Ｘ（ｒ）は、サンプルの複素電子場を指す。Ｐ（ｒ）は、顕微鏡の点拡がり関数（ＰＳＦ）を指す。ＲＩ（ｒ）は、屈折率を指す。Ｉは、画像を指す。順モデルが、訓練ループの外側に適用され、グランドトゥルース位相を取得する。
いくつかの実施形態では、生成器は、入力画像を第４のタイプの画像に変換することができる。いくつかの実施形態では、第４のタイプの画像は、区画化データ（例えば、細胞境界）を示す、画像データを含む。いくつかの実施形態では、損失関数は、サポートされる画像モダリティに依存する。意味論区画化のために、Ｌ１ノルムが、画像内の離散標識を推測するために使用されることができる。別の画像モダリティのために、別の分岐が、生成器に追加され、新しいモダリティを出力することができる。
図２Ａに戻ると、ブロック２０８では、メタデータが、訓練された機械学習モデルと関連付けられることができる。メタデータは、デフォルト照明パターン（例えば、明視野顕微鏡のパラメータ）を含むことができる。
ブロック２１０では、第１のタイプの１つまたはそれを上回る画像（例えば、明視野画像）が、取得される。いくつかの実施形態では、画像は、（例えば、ブロック２０８におけるメタデータに示されるものと）同一照明パターンを使用して取得される。
ブロック２１２では、１つまたはそれを上回る画像が、訓練された機械学習モデルの生成器（例えば、生成器３０２）の中に入力される。生成器は、第１のタイプの画像を第２のタイプの画像（例えば、蛍光画像）に変換するように訓練されている。ブロック２１４では、第２のタイプの１つまたはそれを上回る画像が、取得される。下記に説明されるように、生成蛍光画像は、ひいては、他の機械学習モデルのための訓練データとして使用され、したがって、実際の蛍光画像を訓練データとして取得する必要性を排除することができる。
図２Ｂは、顕微鏡のパラメータが、訓練データの入手の間、変更されることができ、したがって、最適照明パターンが、識別されることができるときの、プロセスを図示する。例えば、顕微鏡のパラメータは、複数の照明パターンが顕微鏡によって提供され得るように、プログラム可能であることができる。
ブロック２５２では、照明パターンが、顕微鏡上にロードされる。ブロック２５４では、明視野訓練画像が、照明パターン（例えば、明視野画像）に従って捕捉され、蛍光訓練画像もまた、蛍光顕微鏡によって捕捉される。ブロック２５２および２５４は、矢印２５３によって示されるように、繰り返し実施されることができる。換言すると、照明パターンのシーケンスが、顕微鏡上にロードされることができる、照明パターンのシーケンスに対応する、訓練データが、取得されることができる。照明パターンのシーケンスは、本明細書では、照明スキームとも称される。
ブロック２５６では、機械学習モデルが、訓練データに基づいて訓練される。モデルは、図３Ａ－Ｄを参照して説明されるように動作する、ＧＡＮモデルであることができる。例えば、ＧＡＮネットワークは、条件付きＧＡＮ（「ｃＧＡＮ」）モデルであることができる。
訓練の間、モデルは、照明パターンを反復的に更新する。照明パターンは、損失（例えば、生成器損失）の勾配を顕微鏡のパラメータに逆伝搬することによって更新される。モデルの訓練手順は、全体的撮像時間を最小限にし、かつ変換または分類タスクと関連付けられる、損失関数を最小限にする。
訓練の間、本システムは、最小損失（例えば、生成器損失）につながる、照明パターンを決定する。いくつかの実施形態では、モデルは、第１の画像を変換するとき、第１の生成器損失を生産し、第２の画像を変換するとき、第２の生成器損失を生産する等となる。損失は、比較されることができ、最小損失が、識別されることができる。ブロック２６０では、最小損失を生産した照明パターンが、識別されることができ、新しい照明スキームが、適宜、識別されることができる。例えば、新しい照明スキームは、最良照明パターンおよび／または最良照明パターンに類似する１つまたはそれを上回る新しい照明パターンを含むことができる。新しい照明スキームはまた、最大損失をもたらしている、以前に含まれていた照明パターンを除外することができる。矢印２５８によって示されるように、識別された照明スキームは、顕微鏡にロードされ、付加的訓練データを取得することができる。本プロセスは、さらなる改良（例えば、生成器損失に関して）が観察されなくなるまで、繰り返されることができる。最適照明スキームは、ブロック２６１において、記憶されることができる。
ブロック２６２では、第１のタイプの１つまたはそれを上回る画像（例えば、明視野画像）が、取得される。いくつかの実施形態では、画像は、ブロック２６１において記憶される、最適照明スキームを使用して取得される。
ブロック２６４では、１つまたはそれを上回る画像が、訓練された機械学習モデルの生成器（例えば、生成器３０２）の中に入力される。生成器は、第１のタイプの画像を第２のタイプの画像（例えば、蛍光画像）に変換するように訓練されている。ブロック２６６では、第２のタイプの１つまたはそれを上回る画像が、取得される。下記に説明されるように、生成蛍光画像は、ひいては、他の機械学習モデルのための訓練データとして使用され、したがって、訓練データとして実際の蛍光画像を取得する必要性を排除することができる。
図５は、静的顕微鏡設定を使用する、例示的訓練された生成器の出力を図示する。訓練された生成器は、入力明視野画像を受信し、位相画像および蛍光画像５０４を生成する。比較のために、図５はまた、対応する実際の位相画像および蛍光画像５０６を示す。図５では、各入力画像は、４つの異なる照明の複合物である。いくつかの実施形態では、入力画像は、異なる照明パターンを表す、偽色画像である。
図６Ａは、いくつかの実施形態による、生成画像のロバスト性を決定するための例示的プロセスを図示する。２つの分類子６１２および６１４が、蛍光画像を受信し、出力（例えば、表現型分類結果）を提供するように訓練される。分類子６１４は、実際の蛍光画像６０４（例えば、実際の蛍光画像）に基づいて訓練される一方、分類子６１２は、生成蛍光画像６１０に基づいて訓練される。生成蛍光画像は、明視野画像５０６に基づいて、訓練された生成器６０８（例えば、生成器１０２、３０２）によって生成される。
いくつかの実施形態では、分類子６１２は、生成画像を使用して検証される一方、分類子６１４は、実際の画像を使用して検証される。
分類子６１２および６１４の性能は、生成画像のロバスト性を決定するために比較されることができる。図６Ｂは、２つのそのような分類子間の例示的比較を図示する。本特定の設定では、データセットは、１２名の健康なドナーおよび１２ＮＡＳＨドナーからの初代培養肝細胞の蛍光画像および３Ｄ明視野画像から作成される。ＧＡＮモデルは、蛍光画像を焦点外明視野画像のスタックから生成するように訓練される。
比較が、生成画像上で訓練され、実際の画像上で検証された、分類子が、実際の画像上で訓練され、生成画像上で検証されたときと等しく良好に性能を発揮するかどうかを決定するために行われる。図６Ｂに示されるように、分類正確度における低下は認められず、より重要なこととして、実際の画像の埋込空間の幾何学形状は、生成画像上で保存されている。
いくつかの実施形態は、逆伝搬モジュール６１６を含む。逆伝搬モジュール６１６は、例えば、強調されるべき明視野画像を入手するために使用される、画像入手パラメータを改良するために使用されることができる。例えば、Ｘｉは、明視野顕微鏡のＬＥＤ照明アレイに適用される、照明パターンのためのパラメータのセットを含むことができる。Ｘｉはまた、顕微鏡対物レンズの焦点位置に関連する、撮像パラメータ、および／または空間光変調器（ＳＬＭ）のアクティブ化パラメータを含むことができる。Ｘｉの全ての要素は、最適化手順の変数であり得る。したがって、６１６では、下流タスク［６１２］（例えば、分類、画像間変換、回帰）上で推定される損失関数の勾配は、パラメータＸｉを最適化するために逆伝搬されてもよい。Ｘｉの値に対する更新毎に、新しい画像のセットが、入手され、新しい画像のデータセットを生成してもよい。
いくつかの実施形態では、生成器６０８を訓練するために使用されるデータ、第１の分類子６１４または第２の分類子６１２を訓練するために使用されるデータ、および分類子の性能を評価するために使用されるデータは、重複画像を含むことができる。上記に説明されるプロセスのいずれかにおいて使用される画像は、捕捉された生物学的サンプル（例えば、細胞のタイプ、罹患または健康かどうか）および摂動に基づいて、注釈が付けられることができる。これらの注釈は、下流分類タスク（例えば、図６Ａにおける分類子６１２および６１４を訓練するための訓練データとして）および予測モデルの検証（例えば、訓練された分類子６１２および６１４の性能を評価するため）のために使用されることができる。
図７Ａは、一実施形態による、機械学習モデルを訓練し、生物学的サンプルの画像を生成するための方法７００の実施例を図示する。本方法は、７０２において、第１のタイプの訓練画像と、第２のタイプの訓練画像とを備える、複数の訓練画像を取得するステップを含む。本方法はさらに、７０４において、第１のタイプの訓練画像に基づいて、機械学習モデルを使用して、複数のウェーブレット係数を生成するステップと、７０６において、複数のウェーブレット係数に基づいて、第２のタイプの合成画像を生成するステップと、７０８において、第２のタイプの合成画像と第２のタイプの訓練画像を比較するステップと、７１０において、比較に基づいて、機械学習モデルを更新するステップとを含む。
図７Ｂは、一実施形態による、生物学的サンプルの強調画像を生成するための方法７５０の実施例を図示する。本方法は、７５２において、顕微鏡を使用して、生物学的サンプルの画像を取得するステップを含む。本方法はまた、７５４において、画像に基づいて、図７Ａの機械学習モデルを使用して、生物学的サンプルの強調画像を生成するステップを含む。
図８は、一実施形態による、コンピューティングデバイスの実施例を図示する。デバイス８００は、ネットワークに接続される、ホストコンピュータであることができる。デバイス８００は、クライアントコンピュータまたはサーバであることができる。図８に示されるように。デバイス８００は、任意の好適なタイプのマイクロプロセッサベースのデバイス、例えば、パーソナルコンピュータ、ワークステーション、サーバ、またはハンドヘルドコンピューティングデバイス（ポータブル電子デバイス）、例えば、電話またはタブレットであることができる。本デバイスは、例えば、プロセッサ８１０、入力デバイス８２０、出力デバイス８３０、記憶装置８４０、および通信デバイス８６０のうちの１つまたはそれを上回るものを含むことができる。入力デバイス８２０および出力デバイス８３０は、概して、上記に説明されるものに対応することができ、コンピュータと接続可能であるか、または統合されるかのいずれかであることができる。
入力デバイス８２０は、入力を提供する、任意の好適なデバイス、例えば、タッチスクリーン、キーボードまたはキーパッド、マウス、もしくは音声認識デバイスであることができる。出力デバイス８３０は、出力を提供する、任意の好適なデバイス、例えば、タッチスクリーン、触知デバイス、またはスピーカであることができる。
記憶装置８４０は、記憶装置を提供する、任意の好適なデバイス、例えば、ＲＡＭ、キャッシュ、ハードドライブ、またはリムーバブル記憶ディスクを含む、電気、磁気、または光学メモリであることができる。通信デバイス８６０は、ネットワークインターフェースチップまたはデバイス等のネットワークを経由して信号を伝送および受信することが可能である、任意の好適なデバイスを含むことができる。コンピュータの構成要素は、任意の好適な様式において、例えば、物理的バスを介して、または無線で、接続されることができる。
記憶装置８４０内に記憶され、プロセッサ８１０実行され得る、ソフトウェア８５０は、例えば、本開示の機能性を具現化する、プログラミングを含むことができる（例えば、上記に説明されるように、本デバイス内に具現化されるように）。
ソフトウェア８５０はまた、ソフトウェアと関連付けられる命令を命令実行システム、装置、またはデバイスからフェッチし、命令を実行し得る、上記に説明されるもの等の命令実行システム、装置、またはデバイスによる使用のための、またはそれと接続する、任意の非一過性コンピュータ可読記憶媒体内で記憶および／または搬送されることができる。本開示の文脈では、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによる使用のための、またはそれと接続する、プログラミングを含有または記憶し得る、任意の媒体、例えば、記憶装置８４０であることができる。
ソフトウェア８５０はまた、ソフトウェアと関連付けられる命令を命令実行システム、装置、またはデバイスからフェッチし、命令を実行し得る、上記に説明されるもの等の命令実行システム、装置、またはデバイスによる使用のための、またはそれと接続する、任意の搬送媒体内で伝搬されることができる。本開示の文脈では、搬送媒体は、命令実行システム、装置、またはデバイスによる使用のための、またはそれと接続する、プログラミングを通信、伝搬、または搬送し得る、任意の媒体であることができる。搬送可読媒体は、限定ではないが、電子、磁気、光学、電磁、または赤外線有線もしくは無線伝搬媒体を含むことができる。
デバイス８００は、ネットワークに接続されてもよく、これは、任意の好適なタイプの相互接続される通信システムであることができる。ネットワークは、任意の好適な通信プロトコルを実装することができ、任意の好適なセキュリティプロトコルによってセキュア化されることができる。ネットワークは、ネットワーク信号の伝送および受信を実装し得る、任意の好適な配列のネットワークリンク、例えば、無線ネットワーク接続、Ｔ１またはＴ３ライン、ケーブルネットワーク、ＤＳＬ、または電話回線を備えることができる。
デバイス８００は、ネットワーク上で動作するために好適な任意のオペレーティングシステムを実装することができる。ソフトウェア８５０は、任意の好適なプログラミング言語、例えば、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、またはＰｙｔｈｏｎで書き込まれることができる。種々の実施形態では、本開示の機能性を具現化する、アプリケーションソフトウェアは、クライアント／サーバ配列において、または、例えば、ウェブベースのアプリケーションまたはウェブサービスとして、ウェブブラウザを通して等、異なる構成で展開されることができる。
空間光変調器を使用した最適化
いくつかの実施形態では、例示的光学システムは、プログラム可能ＳＬＭを備える。例示的ＳＬＭは、ミクロンサイズの個々にアドレス指定可能なピクセルを伴う、高分解能液晶パネルを備え、これは、光学ビームの波面を成形するために使用され得る。パネル上のグレーレベル値は、位相偏移に変換される。ＳＬＭは、いくつかの実施形態では、コントラスト強調を生成するためのプログラム可能フーリエフィルタとして、または定量的位相顕微鏡検査のためのプログラム可能回折光学要素として、使用されることができる。
ＳＬＭは、本明細書に説明されるように、機械学習モデルの訓練段階の間および／または推論段階の間、種々の画像を生成し、機械学習モデルの性能を改良するようにプログラムされることができる。
訓練された機械学習モデルの推論段階の間、ＳＬＭは、訓練された機械学習モデルのための異なる入力画像を生成するようにプログラムされることができる。例えば、ＳＬＭは、訓練された画像転換モデルが入力画像の強調されたバージョンを取得するために、入力画像を生成するようにプログラムされることができる。強調画像は、ひいては、下流動作のために使用されることができる。別の実施例として、ＳＬＭは、訓練された分類モデルがより正確な分類結果を取得するために、入力画像を生成するようにプログラムされることができる。
さらに、ＳＬＭは、機械学習モデルの訓練段階の間、訓練データとして異なる画像を生成するようにプログラムされることができる。さらに、ＳＬＭは、訓練段階または推論段階のいずれかの間、所与の機械学習モデルの最良性能につながる、画像を捕捉するための最適設定を識別するように反復的にプログラムされることができる。
故に、光学システムのＳＬＭは、訓練段階を介して（例えば、豊富な訓練データセットを提供することによって）、および／または、推論段階を介して（例えば、種々の設定または最適設定下で入力データを提供することによって）、機械学習モデルの性能を改良することができる。ＳＬＭは、任意の機械的移動または修正を光学システム（例えば、顕微鏡）に要求せずに、プログラムされる。ＳＬＭは、顕微鏡を制御するための付加的自由度を提供する。多焦点入手は、任意の機械的移動を伴わずに可能であって、したがって、効率的様式において、下流タスクを加速および改良する。
図９は、いくつかの実施形態による、例示的光学システムを図示する。例示的光学システムは、光源９０２（例えば、ＬＥＤアレイ）と、対物レンズ９０４と、ＳＬＭ９０６と、カメラ９０８とを備える。光学システムは、反射モードを有する。反射モードでは、光源９０２は、照明を生物学的サンプル９１０に提供し、これは、反射された光を生成する。反射された光は、対物レンズ９０４を通して進行し、カメラ９０８によって捕捉される。
図９を参照すると、破線９１２は、中間像面を示す。示されるように、ＳＬＭは、生物学的サンプル９１０とカメラ９０８との間の撮像経路内に設置される。ＳＬＭは、空間的に変動する変調を反射された光上に課すように構成される。例えば、ＳＬＭは、反射された光がカメラ９０８上に集束される前に、代替フーリエ面を成形することを可能にする。
いくつかの実施形態では、光源９０２およびＳＬＭ９０６は両方とも、プログラム可能であって、したがって、光学システムの構成要素を機械的に移動させずに、光学システムを制御および最適化するための付加的自由度を可能にすることができる。
図９における光学システムの構成は、単に、例示的である。当業者は、光学システムの他の構成も、ＳＬＭを光学システムの撮像経路内に設置し、本明細書に説明される最適化技法を適用するために使用されることができることを理解するであろう。
図１０は、いくつかの実施形態による、システムのプログラム可能ＳＬＭを使用して、生物学的サンプルの画像を分析するための例示的方法光学を図示する。プロセス１０００は、例えば、ソフトウェアプラットフォームを実装する１つまたはそれを上回る電子デバイスを使用して、実施される。いくつかの実施例では、プロセス１０００は、クライアント－サーバシステムを使用して実施され、プロセス１０００のブロックは、任意の様式において、サーバと１つまたはそれを上回るクライアントデバイスとの間で分割される。他の実施例では、プロセス１０００は、１つまたはそれを上回るクライアントデバイスのみを使用して、実施される。プロセス１０００では、いくつかのブロックは、随意に、組み合わせられ、いくつかのブロックの順序は、随意に、変更され、いくつかのブロックは、随意に、省略される。いくつかの実施例では、付加的ステップが、プロセス１０００と組み合わせて実施されてもよい。故に、図示（および下記により詳細に説明）されるような動作は、本質的に、例示的であって、したがって、限定として見なされるべきではない。
ブロック１００２では、例示的システム（例えば、１つまたはそれを上回る電子デバイス）が、生物学的サンプル（例えば、図９におけるサンプル９１０）の複数の画像を取得する。複数の画像は、光学システムのＳＬＭ（例えば、図９におけるＳＬＭ９０６）の複数の構成を使用して生成される。ＳＬＭは、生物学的サンプルと画像記録デバイス（例えば、カメラ９０８）との間の光学経路内に位置する。
いくつかの実施形態では、ＳＬＭの少なくとも１つの構成は、１つまたはそれを上回る光学収差を結果として生じる画像内に生成するためのものである。光学収差は、球面収差、非点収差、外焦点、傾斜、またはそれらの任意の組み合わせを含むことができる。いくつかの実施形態では、より多くの情報が、光学収差を伴う、画像内で捕捉され、および／またはそこから導出されることができる。実施例として、非点収差は、１つの画像内で多焦点面情報の収集を可能にする。別の実施例として、外焦点は、本システムが、任意の機械的移動を伴わずに、サンプルを走査することを可能にする。光学収差を生成する例示的方法は、Ｌｕ ｅｔ ａｌ．による「Ｑｕａｎｔｉｔａｔｉｖｅ Ｐｈａｓｅ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｐｌｅｘ Ｆｉｅｌｄ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｂｙ Ｐｕｐｉｌ Ｍｏｄｕｌａｔｉｏｎ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｈａｓｅ Ｃｏｎｔｒａｓｔ」（その内容は、参照することによってその全体として本明細書に組み込まれる）に提供される。
いくつかの実施形態では、ＳＬＭの少なくとも１つの構成は、１つまたはそれを上回る特徴を強調させるためのものである。１つまたはそれを上回る特徴は、細胞境界、アクチンフィラメント、核形状、細胞質区画化、またはそれらの任意の組み合わせを備えることができる。いくつかの実施形態では、本システムは、顕微鏡の伝達関数内にエンコーディングされた具体的畳み込みカーネルを伴う、神経突起の強調を提供する。いくつかの実施形態では、本システムは、ある液相分離生物学的物体（タンパク質、ＲＮＡ、脂質）のための顕微鏡の応答関数の強調を提供する。本強調は、これらの物体の組成物を検出および特性評価する能力を提供するであろう。例えば、螺旋位相パターンをフーリエ面内の位相フィルタとして使用することは、ドーナッツ状点拡がり関数を生じさせる。拡張された振幅または位相物体を伴う、畳み込みは、画像内の強等方性縁の強調につながる。同種サンプル（その同種領域）では、破壊干渉が、（リングに沿った任意の角度に関する）ドーナッツを横断したπ位相偏移のために生じる。サンプル内の構造は、あまり不完全ではない消去、したがって、画像内の局所増光を生じさせ得る。その結果、光は、サンプル内の縁および境界の中に再分散される。特徴を強調させる例示的方法は、Ｆｕｒｈａｐｔｅｒ ｅｔ ａｌ．による「Ｓｐｉｒａｌ ｐｈａｓｅ ｃｏｎｔｒａｓｔ ｉｍａｇｉｎｇ ｉｎ ｍｉｃｒｏｓｃｏｐｙ」、Ｆｕｒｈａｐｔｅｒ ｅｔ ａｌ．による「Ｓｈａｄｏｗ ｅｆｆｅｃｔｓ ｉｎ ｓｐｉｒａｌ ｐｈａｓｅ ｃｏｎｔｒａｓｔ ｍｉｃｒｏｓｃｏｐｙ」、Ｂｅｒｎｅｔ ｅｔ ａｌ．による「Ｑｕａｎｔｉｔａｔｉｖｅ ｉｍａｇｉｎｇ ｏｆ ｃｏｍｐｌｅｘ ｓａｍｐｌｅｓ ｉｎ ｓｐｉｒａｌ ｐｈａｓｅ ｃｏｎｔｒａｓｔ ｍｉｃｒｏｓｃｏｐｙ」、Ｍａｕｒｅｒ ｅｔ ａｌ．による「Ｕｐｇｒａｄｉｎｇ ａ ｍｉｃｒｏｓｃｏｐｅ ｗｉｔｈ ａ ｓｐｉｒａｌ ｐｈａｓｅ ｐｌａｔｅ」（その内容は、参照することによって組み込まれる、その全体として本明細書に組み込まれる）に提供される。
いくつかの実施形態では、ＳＬＭの少なくとも１つの構成は、光学収差を低減させるためのものである。例えば、細胞の生細胞撮像および持続的監視のために、プレートまたはウェル内の残骸から生じるサンプルの変動性を低減させることが重要である。ＳＬＭは、これらの収差が補正されることを可能にすることができる。いくつかの実施形態では、ＳＬＭは、例えば、Ｇｅｒｃｈｂｅｒｇ－Ｓａｘｔｏｎアルゴリズムに基づいて、位相収差の反復補正のために使用されることができる。例えば、単一光渦の暗色中心が、残留位相収差のための臨界センサとして使用されることができる。特徴を強調させる例示的方法は、Ｊｅｓａｃｈｅｒ ｅｔ ａｌ．による「Ｗａｖｅｆｒｏｎｔ ｃｏｒｒｅｃｔｉｏｎ ｏｆ ｓｐａｔｉａｌ ｌｉｇｈｔ ｍｏｄｕｌａｔｏｒｓ ｕｓｉｎｇ ａｎ ｏｐｔｉｃａｌ ｖｏｒｔｅｘ ｉｍａｇｅ」およびＭａｕｒｅｒ ｅｔ ａｌ．による「Ｐｈａｓｅ ｃｏｎｔｒａｓｔ ｍｉｃｒｏｓｃｏｐｙ ｗｉｔｈ ｆｕｌｌ ｎｕｍｅｒｉｃａｌ ａｐｅｒｔｕｒｅ ｉｌｌｕｍｉｎａｔｉｏｎ」（その内容は、参照することによって組み込まれる、その全体として本明細書に組み込まれる）に提供される。
いくつかの実施形態では、複数のＳＬＭ構成は、生物学的サンプルの画像を異なる深度において取得するためのものである。例えば、ＳＬＭは、例えば、サンプルの異なる深度からの画像を組み合わせるための柔軟な画像多重化、または１つの記録される画像内の撮像パラメータの異なる設定を可能にする。画像多重化は、定量的位相顕微鏡検査を促進することができる。生細胞サンプルを撮像することは、細胞にかかる応力を最小限にするために、可能な限り高速である必要がある。サンプルの３Ｄ走査のための機械的移動は、法外である。本システムは、フーリエタイコグラフィが実施されることと、全体的ウェルの低分解能画像からの大３Ｄ体積の再構成とを可能にする。多重化の例示的方法は、Ｍａｕｒｅｒ ｅｔ ａｌ．による「Ｄｅｐｔｈ－ｏｆ－ｆｉｅｌｄ－ｍｕｌｔｉｐｌｅｘｉｎｇ ｉｎ ｍｉｃｒｏｓｃｏｐｙ」、ＭｃＩｎｔｙｒｅ ｅｔ ａｌ．による「Ｄｉｆｆｅｒｅｎｔｉａｌ ｉｎｔｅｒｆｅｒｅｎｃｅ ｃｏｎｔｒａｓｔ ｉｍａｇｉｎｇ ｕｓｉｎｇ ａ ｓｐａｔｉａｌ ｌｉｇｈｔ ｍｏｄｕｌａｔｏｒ」、およびＭｃＩｎｔｙｒｅ ｅｔ ａｌ．による「Ｑｕａｎｔｉｔａｔｉｖｅ ＳＬＭ－ｂａｓｅｄ ｄｉｆｆｅｒｅｎｔｉａｌ ｉｎｔｅｒｆｅｒｅｎｃｅ ｃｏｎｔｒａｓｔ Ｉｍａｇｉｎｇ」（その内容は、参照することによって組み込まれる、その全体として本明細書に組み込まれる）に提供される。
いくつかの実施形態では、本システムは、最適化されたフーリエタイコグラフィを通して、高分解能画像の再構成を可能にする。フーリエタイコグラフィは、異なる光学設定を使用して入手された全視野画像のセットからのより広い開口数の合成を含み、従来の顕微鏡と比較して、増加された分解能をもたらす、光学顕微鏡検査に基づく、コンピュータ撮像技法である。画像セット内の画像は、ＬＥＤおよび／またはＳＬＭの異なる構成を使用して入手されることができ、入手された画像セットは、次いで、反復位相回復アルゴリズムを使用して、回折限界分解能を伴う、最大十億ピクセル（ギガピクセル）を含有し、高空間帯域幅積をもたらし得る、最終高分解能画像の中に組み合わせられることができる。
光学システムの光源もまた、プログラムされることができる。いくつかの実施形態では、複数の画像が、ブロック１００２において、光学システムの光源（例えば、光源９０２）の複数の構成を使用して、取得される。光源をプログラムするための例示的方法は、例えば、図１および２Ｂを参照して本明細書に説明される。
図１０に戻ると、ブロック１００４では、本システムは、生物学的サンプルの複数の画像を訓練された機械学習モデルの中に入力し、１つまたはそれを上回る出力を取得する。
いくつかの実施形態では、訓練されたモデルは、第１のタイプの入力画像に基づいて、第２のタイプの出力画像（例えば、入力画像の強調されたバージョン）を生成するように構成される、画像転換モデルである。いくつかの実施形態では、入力画像の強調されたバージョンは、強調された細胞表現型を備える。いくつかの実施形態では、訓練されたモデルは、ＧＡＮモデルまたは自己教師ありモデルである。例えば、訓練されたモデルは、明視野画像を受信し、蛍光画像を生成するように構成される、モデル１００であることができる。
いくつかの実施形態では、訓練されたモデルは、分類出力を提供するように構成される、分類モデルである。例えば、モデルは、入力画像を受信し、罹患組織等、入力画像内の１つまたはそれを上回る事前に定義された物体を検出する。
図１１は、いくつかの実施形態による、機械学習モデルを訓練するための例示的方法を図示する。プロセス１１００は、例えば、ソフトウェアプラットフォームを実装する１つまたはそれを上回る電子デバイスを使用して、実施される。いくつかの実施例では、プロセス１１００は、クライアント－サーバシステムを使用して実施され、プロセス１１００のブロックは、任意の様式において、サーバと１つまたはそれを上回るクライアントデバイスとの間で分割される。他の実施例では、プロセス１１００は、１つまたはそれを上回るクライアントデバイスのみを使用して、実施される。プロセス１１００では、いくつかのブロックは、随意に、組み合わせられ、いくつかのブロックの順序は、随意に、変更され、いくつかのブロックは、随意に、省略される。いくつかの実施例では、付加的ステップが、プロセス１１００と組み合わせて実施されてもよい。故に、図示（および下記により詳細に説明）されるような動作は、本質的に、例示的であって、したがって、限定として見なされるべきではない。
ブロック１１０２では、例示的システム（例えば、１つまたはそれを上回る電子デバイス）が、生物学的サンプルの複数の画像を取得する。複数の画像は、光学システムのＳＬＭ（例えば、図９におけるＳＬＭ９０６）の複数の構成を使用して、生成される。ＳＬＭは、生物学的サンプルと画像記録デバイス（例えば、カメラ９０８）との間の光学経路内に位置する。
いくつかの実施形態では、ＳＬＭ構成は、望ましい効果を結果として生じる画像内に作成するように構成される。上記に議論されるように、ＳＬＭの複数の構成のうちのいくつかの構成は、１つまたはそれを上回る光学収差（例えば、球面収差、非点収差、外焦点、歪曲、傾斜、またはそれらの任意の組み合わせ）を生成するため、１つまたはそれを上回る特徴（例えば、細胞境界、アクチンフィラメント、核形状、細胞質区画化、またはそれらの任意の組み合わせ）を強調させるため、光学収差を低減させるため、生物学的サンプルの画像を異なる深度で取得するため等のものである。
ブロック１１０４では、本システムは、複数の画像を使用して、機械学習モデルを訓練する。いくつかの実施形態では、訓練されたモデルは、第１のタイプの入力画像に基づいて、第２のタイプの出力画像（例えば、入力画像の強調されたバージョン）を生成するように構成される、画像転換モデルである。いくつかの実施形態では、入力画像の強調されたバージョンは、強調された細胞表現型を備える。いくつかの実施形態では、訓練されたモデルは、ＧＡＮモデルまたは自己教師ありモデルである。例えば、訓練されたモデルは、明視野画像を受信し、蛍光画像を生成するように構成される、モデル１００であることができる。モデルを訓練する例示的方法は、図２Ａ－Ｂおよび３Ａ－３Ｄを参照して本明細書に説明される。
いくつかの実施形態では、訓練されたモデルは、分類出力を提供するように構成される、分類モデルである。例えば、モデルは、入力画像を受信し、罹患組織等、入力画像内の１つまたはそれを上回る事前に定義された物体を検出することができる。分類モデルの訓練は、複数の画像および関連付けられる標識を使用して、実施されることができる。
いくつかの実施形態では、ブロック１１０４では、ＳＬＭは、所与の機械学習モデルの改良された性能につながる、画像を捕捉するための最適ＳＬＭ構成を識別するように反復的にプログラムされることができる。具体的には、ブロック１１０６では、本システムは、第１の画像を使用して、機械学習モデルを訓練し、第１の画像は、光学システムのＳＬＭの第１の構成を使用して取得される。ブロック１１０８では、本システムは、訓練された機械学習モデルを評価する。ブロック１１１０では、本システム、評価に基づいて、ＳＬＭの第２の構成を識別する。ブロック１１１２では、本システム第２の画像を使用して、機械学習モデルを訓練し、第２の画像は、光学システムのＳＬＭの第２の構成を使用して取得される。
例えば、ブロック１１０６では、本システムは、第１のＳＬＭ構成のセットに対応する、画像を使用して、モデルを訓練する。各画像は、モデルの損失関数に基づいて、対応する損失をもたらす。ブロック１１０８では、本システムは、最小損失（例えば、生成器損失）をもたらす、第１のＳＬＭ構成のセットのうちのＳＬＭ構成を決定する。ブロック１１１０では、最小損失を生産した、ＳＬＭ構成が、識別されることができ、新しい第２のＳＬＭ構成のセットが、適宜、識別されることができる。例えば、新しいＳＬＭ構成のセットは、第１のセットからの最良ＳＬＭ構成（すなわち、最小損失を生産した構成）および／または最良ＳＬＭ構成に類似する１つまたはそれを上回る新しいＳＬＭ構成を含むことができる。新しいＳＬＭ構成のセットはまた、最大損失をもたらしているＳＬＭ構成を第１のセットから除外することができる。新しいＳＬＭ構成のセットは、光学システム上にロードされ、付加的訓練データを取得することができる。本ステップは、閾値が満たされる、例えば、さらなる改良（例えば、生成器損失に関して）が観察されなくなるときまで、繰り返されることができる。最適ＳＬＭ構成は、記憶され、入力画像を取得するために使用されることができる。
ステップ１１０６－１１１２は、訓練プロセスの一部として説明されるが、それらは、パイプラインの他の段階（例えば、推論段階）において、入力画像を生成するための最適ＳＬＭ構成を識別するために実施されることができる。いくつかの実施形態では、光源および光学システムのＳＬＭは、照明パターンおよび入力画像を生成するためのＳＬＭ構成の最良組み合わせを識別するように、ともに反復的にプログラムされることができる。
図９－１１は、光学システムのＳＬＭ構成要素を使用して、最適化技法を説明するが、ＳＬＭは、本発明の精神から逸脱することなく、マイクロミラー等、本システムの光学関数（例えば、瞳関数）を改変し得る、別のハードウェア構成要素と置換され得ることを理解されたい。
図１２Ａおよび１２Ｂは、いくつかの実施形態による、２つの分類モデルの分類結果の並置比較を図示する。図１２Ａにおける分類モデルは、顕微鏡によって捕捉された実際の画像（例えば、実際の蛍光画像）を使用して訓練される一方、図１２Ｂにおける分類モデルは、本明細書に説明される技法を使用して生成された合成画像（例えば、明視野画像から生成蛍光画像）を使用して訓練される。分類モデルは、入力画像に描写される組織が応答した化学化合物を決定する。具体的には、各モデルは、入力画像を受信し、１５０個の事前に定義された化学化合物のうちの１つを示す、分類結果を出力するように構成される。描写される実施例では、図１２Ａおよび１２Ｂはそれぞれ、均一多様体近似および射影（ＵＭＡＰ）を示し、その中で各入力画像は、ＵＭＡＰ内の点として表される。点の色は、分類モデルによって画像が分類される、化学化合物を表す。いくつかの実施形態では、図１２Ａにおけるモデルの中に入力される画像は、実際の画像である一方、図１２Ｂにおけるモデルの中に入力される画像は、生成画像である。
図１２Ｃおよび１２Ｄは、それぞれ、バッチ効果に対する２つのモデルの耐性を実証するために、異なる配色を用いて、図１２Ａおよび１２Ｂにおける同一分類結果の並置比較を図示する。バッチ効果は、データのサブセット（すなわち、バッチ）が、非関連器具関連要因に起因して、分布において有意に異なる、状況を指す。バッチ効果は、それらが、系統的誤差を導入し、下流統計的分析にスプリアス結果を生産し、および／または着目信号を不明瞭にさせ得るため、望ましくない。図１２Ｃおよび１２Ｄのそれぞれでは、入力画像は、異なるグレーレベルによって示されるように、（例えば、異なるプレートまたは実験からの）３つの異なるバッチに属する。示されるように、図１２Ｄは、３つのバッチに対応する、点間により大きい重複を示し、生成画像がバッチ効果に対してより耐性があることを示す。図１２Ｅは、実際の画像セット（例えば、図１２Ａおよび１２Ｃに示されるような入力画像）、生成画像セット（例えば、図１２Ｂおよび１２Ｄに示されるような入力画像）、および真のバッチ不変画像セットに対応する、ユークリッド距離計測値を図示する。画像セット毎のユークリッド距離計測値は、２つの別個のバッチ（例えば、図１２Ｃにおける実際の画像バッチ１および実際の画像バッチ３、図１２Ｄにおける生成画像バッチ１および生成画像バッチ３）からの画像埋込間のユークリッド距離を測定する。真のバッチ不変画像セットに関して、平均スコアは、０となるはずである（すなわち、バッチ効果なし）。示されるように、生成画像セットに関する平均スコアは、実際の画像に関する平均スコアより低く、したがって、優れたバッチ不変性を実証する。
図１３Ａおよび１３Ｂは、いくつかの実施形態による、例示的生成位相画像および例示的生成蛍光画像を図示する。図１３Ａは、本明細書に説明されるＧＡＮモデルによって、例えば、明視野画像から生成される、位相画像である。図１３Ｂは、ＧＡＮによって同一明視野画像から生成される、蛍光／ボディパイ画像である。ボディパイ画像は、仮想緑色色相を含み、バイオマーカの存在をハイライトする。図１３Ｃは、図１３Ａにおける位相画像上にオーバーレイされた図１３Ｂを示す。したがって、ＧＡＮモデルは、疾患モデル化のために使用されることができる。例えば、複数のサンプルが、対象から取得および撮像されることができる。結果として生じる一連の明視野画像は、ＧＡＮモデルによって分析され、合成位相および蛍光画像を生成し、疾患摂動を考察することができる。
図１４Ａ－Ｂは、いくつかの実施形態による、合成データ（例えば、画像データ）を生成し、機械学習モデルのための入力データを取得するための最適照明スキームを識別するように構成される、機械学習モデル（例えば、ＧＡＮモデル）を訓練するための例示的プロセスを図示する。プロセス１４００は、ソフトウェアプラットフォームを実装する１つまたはそれを上回る電子デバイスを使用して、実施される。いくつかの実施例では、プロセス１４００は、クライアント－サーバシステムを使用して実施され、プロセス１４００のブロックは、任意の様式において、サーバと１つまたはそれを上回るクライアントデバイスとの間で分割される。他の実施例では、プロセス１４００は、１つまたはそれを上回るクライアントデバイスのみを使用して、実施される。プロセス１４００では、いくつかのブロックは、随意に、組み合わせられ、いくつかのブロックの順序は、随意に、変更され、いくつかのブロックは、随意に、省略される。いくつかの実施例では、付加的ステップが、プロセス１４００と組み合わせて実施されてもよい。故に、図示（および下記により詳細に説明）されるような動作は、本質的に、例示的であって、したがって、限定として見なされるべきではない。
ブロック１４０２では、例示的システム（例えば、１つまたはそれを上回る電子デバイス）が、複数の訓練画像を受信する。複数の訓練画像は、生物学的サンプルの実際の画像であって、グランドトゥルースデータとも称される。複数の訓練画像は、ＧＡＮモデルが受信するように構成される、画像データのタイプと、ＧＡＮモデルが出力するように構成される、画像データのタイプとを備える。例えば、ＧＡＮモデルが、明視野画像を受信し、蛍光画像および位相画像を出力するように構成される場合、受信される複数の画像は、複数の明視野訓練画像１４０２ａ（すなわち、ＧＡＮ入力データタイプ）と、複数の蛍光訓練画像１４０２ｂ（すなわち、ＧＡＮ出力データタイプ）と、複数の位相訓練画像（すなわち、ＧＡＮ出力データタイプ）とを含むであろう。
複数の明視野訓練画像１４０２ａは、インビトロ（または生検）細胞サンプルを、異なる照明設定を使用して、安価なＬＥＤアレイで照明することによって捕捉されることができる。複数の蛍光訓練画像１４０２ｂは、色素が生物学的サンプルに適用された（例えば、バイオマーカの可視性を強調させるため）後、捕捉されることができる。位相訓練画像は、物理または光学系ベースのモデルを使用して、取得されることができる。プロセス１４００において使用される複数の訓練画像は、ＧＡＮが受信および出力するように構成される、画像データのタイプに応じて異なり得ることが、当業者によって理解されるであろう。いくつかの実施形態では、複数の訓練画像は、対合された画像データを備える。例えば、同一生物学的サンプルの明視野画像、蛍光画像、および位相画像が、それぞれ、セット１４０２ａ、１４０２ｂ、および１４０２ｃ内に含まれることができる。
いくつかの実施形態では、複数の訓練画像は、ＧＡＮモデルによって生成された合成画像（例えば、合成蛍光画像、合成位相画像）が、下流分析において、実際の画像（例えば、実際の蛍光画像、実際の位相画像）と同一性能を提供するであろうように、ＧＡＮモデルの訓練を可能にするように入手される。いくつかの実施形態では、下流分析は、Ｍ個のクラスのうちの１つのクラスに対応するように画像を分類する、分類タスクを含む。例えば、分類タスクは、複数の細胞状態クラス（例えば、健康状態、罹患状態）からの特定の細胞状態に対応するように画像を分類するステップを伴うことができる。別の実施例として、分類タスクは、複数の摂動クラスからの特定の摂動に対応するように画像を分類するステップを伴うことができる。ＧＡＮモデルを訓練し、実際の画像と同様に正確に分類され得る、合成画像を生成するために、訓練画像は、Ｍ個のクラス（または条件）に対応する、画像を含む。例えば、Ｍ個のクラスが、健康細胞状態クラスおよび罹患細胞状態クラスを含む場合、複数の明視野訓練画像１４０２ａは、健康細胞を描写する、明視野画像と、罹患細胞を描写する、明視野画像とを含むことができ、複数の蛍光訓練画像１４０２ｂは、健康細胞を描写する、蛍光画像と、罹患細胞を描写する、蛍光画像とを含むことができ、複数の位相訓練画像１４０２ｃは、健康細胞を描写する、位相画像と、罹患細胞を描写する、位相画像とを含むことができる。例えば、Ｍ個のクラスが、Ｍ個の摂動を含む場合、複数の明視野訓練画像１４０２ａは、Ｍ個の摂動を描写する、明視野画像等を含むことができる。各訓練画像は、対応する条件で標識されることができる。例えば、罹患細胞状態を描写する、位相画像は、罹患標識と関連付けられることができる。
例示的実装では、複数の訓練画像は、条件あたりＸ個の視野、すなわち、合計Ｍ×Ｘ個の視野を含む。具体的には、複数の明視野画像１４０２ａでは、各視野は、Ｎ個の照明設定を使用して捕捉される、Ｎ個の明視野画像を含み、したがって、合計Ｍ×Ｘ×Ｎ個の明視野画像をもたらす。複数の蛍光画像１４０２ｂでは、各視野は、１つの蛍光画像を含み、したがって、合計Ｍ×Ｘ個の蛍光画像をもたらす。複数の位相画像１４０２ｃでは、各視野は、１つの位相画像を含み、したがって、合計Ｍ×Ｘ個の位相画像をもたらす。いくつかの実施形態では、明視野画像は、拡大率＝ｍｉｎである一方、蛍光画像は、拡大率ｍｏｕｔ≧ｍｉｎであって、位相画像は、ｍｏｕｔ≧ｍｉｎである。
ブロック１４０４では、本システムは、入力画像を受信し、Ｍ個の条件のうちの１つを示す、分類結果を出力するように構成される、分類子を訓練する。例えば、Ｍ個の条件が、健康条件および罹患条件を含む場合、分類子は、入力画像を受信し、健康条件または罹患条件のいずれかを示す、分類結果を出力するように構成される。分類子は、訓練された後、ＧＡＮモデルの訓練の間、使用され、ＧＡＮモデルが、下記に説明されるように、実際の画像データと同一または類似レベルの正確度まで分類され得る、合成画像データを生成し得ることを確実にする。
いくつかの実施形態では、分類子は、ＧＡＮモデルが出力するように構成される、同一タイプの画像データを使用して訓練される。図１４Ａおよび１４Ｂに描写される実施例では、ＧＡＮモデルは、蛍光画像および位相画像を出力するように構成される。したがって、ブロック１４０４において訓練された分類子は、複数の蛍光訓練画像１４０２ｂおよび複数の位相訓練画像１４０２ｃを使用して訓練される。訓練の間、各蛍光画像または位相画像は、分類子の中に入力され、予測される分類結果（例えば、健康または罹患）を取得する。予測される分類結果は、次いで、訓練画像と関連付けられる、実際のクラスに対して比較され（例えば、訓練画像が、実際、健康細胞状態または罹患細胞状態を描写するかどうか）、比較に基づいて、分類子は、適宜、更新されることができる。分類子は、ロジスティック回帰モデル、単純ベイズモデル、決定木モデル、ランダムフォレストモデル、サポートベクトルマシンモデル等の任意の分類アルゴリズムを使用して、実装されることができる。
ブロック１４０６では、本システムは、訓練画像に基づいて、ＧＡＮモデルを訓練する。ブロック１４０６は、ステップ１４０８ａ－１４０８ｅを含むことができ、これは、訓練が完了する（例えば、収束に到達するとき）まで、繰り返されることができる。ステップ１４０８ａ－ｅは、いくつかの実施形態による、ステップを図示する、概略図である、図１５を参照して下記に説明される。
図１５に示されるように。ＧＡＮモデルは、加重のマトリクス、具体的には、加重ｗ１－ｗｎのＫ個のセットを備える、マルチヘッドアテンション層１５０２と、生成器１５０４と、弁別器１５０８と、ブロック１４０４から訓練された分類子１５０６とを含む。ＧＡＮモデルの訓練の間、分類子は、固定されたままである一方、生成器、弁別器、およびアテンション層は、下記に説明されるように、更新される。
ブロック１４０８ａでは、本システムは、ＧＡＮモデルのアテンション層内の加重のＫ個のセットのそれぞれを明視野訓練画像のセットに適用する。明視野訓練画像のセットは、複数の明視野画像１４０２ａから取得される。いくつかの実施形態では、明視野訓練画像のセットは、同一視野に対応し、同一生物学的サンプルを描写するが、異なる照明設定を使用して捕捉される。例えば、ＬＥＤアレイが、Ｎ個の照明エミッタ（例えば、ＬＥＤ）を備える場合、各照明エミッタは、１つずつオンにされることができ、各照明エミッタによって照明された生物学的サンプルの明視野画像が、捕捉され、したがって、Ｎ個の明視野訓練画像のセットをもたらすことができる。
図１５に描写される実施例では、本システムは、照明設定１－Ｎに対応する、Ｎ個の明視野訓練画像のセットを受信する。例えば、第１の明視野画像は、照明設定１（例えば、アレイ内の第１のＬＥＤのみが、オンにされる）を使用して照明されている、生物学的サンプルを描写し、第２の明視野画像は、照明設定２（例えば、アレイ内の第２のＬＥＤのみが、オンにされる）を使用して照明されている、生物学的サンプルを描写し、．．．Ｎ番目の明視野画像は、照明設定Ｎ（例えば、アレイ内のＮ番目のＬＥＤのみが、オンにされる）を使用して照明されている、生物学的サンプルを描写する。
アテンション層は、Ｋ個の加重のセットを生成し、各セットは、Ｎ個の加重を備える。加重ｗ１－ｗｎの各セットは、Ｎ個の画像に適用され、集約された画像を生成する。加重のセット毎に、アテンション層１５０２は、セット内の連続加重（例えば、正規化されたスカラー加重）を明視野訓練画像のセットのそれぞれに割り当てる。これらの加重は、対応する照明設定（例えば、対応するＬＥＤ）の強度値に対応する。示されるように、ｗ１は、第１の明視野画像に適用され（例えば、それを用いて乗算される）、ｗ２は、第２の明視野画像に適用され、ｗｎは、Ｎ番目の明視野画像に適用される。加重が適用された後、加重された画像は、集約（例えば、総和）され、１つの集約された明視野画像を取得することができる。Ｋ個の加重のセットが存在するため、Ｋ個の集約された画像１５１２が、生成されることができる。いくつかの実施形態では、アテンション層は、適合されたマルチヘッドアテンション層である。アテンション機構は、明視野画像のＫ個の線形組み合わせ（すなわち、集約された画像）の自然生成を可能にする。これらの集約された画像は、本明細書に説明されるように、ネットワークの残りにフィードされる。
ブロック１４０８ｂでは、本システムは、集約された明視野画像のそれぞれをＧＡＮモデルの中に入力する。図１５を参照すると、集約された明視野画像１５１２はそれぞれ、生成器１５０４の中に入力され、これは、合成蛍光画像１５１４ａおよび合成位相画像１５１４ｂを出力する。生成器は、図３Ａ－Ｄを参照して上記に説明される生成器と類似様式で実装されることができる。
訓練の間、生成器出力（すなわち、生成蛍光画像１５１４ａおよび生成位相画像１５１４ｂ）は、直接、弁別器入力に接続されることができる。弁別器１５０８は、生成画像および実際の画像を区別するように訓練される。訓練の間、生成画像は、上記に説明されるように、弁別器１５０８の中に入力され、弁別器損失および生成器損失を取得することができる。さらに、実際の画像もまた、弁別器１５０８の中に入力され、弁別器損失および生成器損失を生成することができる。実際の画像は、入力明視野画像と同一視野に対応する、（図１４Ａにおける複数の蛍光訓練画像１４０２ｂからの）実際の蛍光画像１５１６ａ、または入力明視野画像と同一視野に対応する、（図１４Ａにおける複数の位相訓練画像１４０２ｃからの）実際の位相画像１５１６ｂであることができる。
いくつかの実施形態では、弁別器損失関数は、Ｗａｓｓｅｒｓｔｅｉｎ弁別器損失であって、以下のように計算される。
式中、ｆ（ｘ）は、実蛍光または位相画像のウェーブレット係数に基づく、弁別器の出力であって、ｗは、弁別器のモデル加重であって、ｍは、ミニバッチのサイズであって、ｆは、弁別器モデルであって、ｘは、実際の画像であって、ｚは、入力（明視野画像１５１２）であって、Ｇは、生成器モデルであって、ｆ（Ｇ（ｚ））は、合成蛍光または位相画像に対応する予測されるウェーブレット係数に基づく、弁別器の出力である。
いくつかの実施形態では、生成器損失関数は、Ｗａｓｓｅｒｓｔｅｉｎ生成器損失であって、以下のように計算される。
式中、ｆ（ｘ）は、実蛍光または位相画像のウェーブレット係数に基づく、弁別器の出力であって、ｍは、ミニバッチのサイズであって、ｆは、弁別器モデルであって、ｚは、入力（明視野画像１５１２）であって、Ｇは、生成器モデルであって、ｆ（Ｇ（ｚ））は、予測されるウェーブレット係数に基づく、弁別器の出力である。
ブロック１４０８ｃでは、本システムは、各生成画像および生成画像に対応する実際の画像を訓練された分類子の中に入力し、分類子損失を取得する。例えば、生成蛍光画像１５１４ａは、分類子１５０６の中に入力され、第１の分類結果を取得し、実際の蛍光画像１５１６ａは、分類子１５０６の中に入力され、第２の分類結果を取得し、分類子損失は、第１の分類結果と第２の分類結果との間の差異に基づいて、計算されることができる。別の実施例として、生成位相画像１５１４ｂは、分類子１５０６の中に入力され、第３の分類結果を取得し、実際の位相画像１５１６ｂは、分類子１５０６の中に入力され、第４の分類結果を取得し、分類子損失は、第３の分類結果と第４の分類結果との間の差異に基づいて、計算されることができる。
ブロック１４０８ｄでは、本システムは、分類子損失に基づいて、生成器損失を拡張させる。例えば、生成器損失は、実際の画像からの分類スコアのＬ２ノルムを用いて拡張されることができる。いくつかの実施形態では、分類子が、利用可能ではない、または分類が、所望されない場合、分類子損失は、定数（例えば、０）によって置換される。
ブロック１４０８ｅでは、本システムは、拡張された生成器損失に基づいて、ＧＡＮモデルを更新する。逆伝搬は、上記に説明されるものと同一手順に従う。弁別器は、弁別器ネットワークを通した弁別器損失に基づいて、逆伝搬を通して、その加重を更新する。さらに、拡張された生成器損失は、逆伝搬され、アテンション層内の加重（例えば、それを用いて集約された画像が計算される、加重）および生成器を更新する。例えば、Ｋ番目の加重のセットに対応する集約された画像に基づいて計算される、生成された損失は、アテンション層内のＫ番目の加重のセットを更新するために使用されることができる。
ブロック１４１０では、本システムは、訓練されたＧＡＮモデルのアテンション層内の加重に基づいて、１つまたはそれを上回る最適照明パターンを取得する。上記に説明されるように、アテンション層内の加重（例えば、ｗ１－ｗｎ）は、対応する照明設定（例えば、対応するＬＥＤアレイ内のＬＥＤ）の強度値を示すことができる。上記に議論されるように、アテンション層は、Ｋ個の加重のセット（すなわち、Ｋ個の線形組み合わせ）を提供し、したがって、Ｋ個の照明パターンをもたらす、マルチヘッドアテンション層であることができる。
いくつかの実施形態では、ブロック１４０６前に、ＧＡＮモデルの生成器および弁別器は、明視野画像を使用して事前に訓練され、その中でＬＥＤアレイ内の全てのＬＥＤは、オンにされる。事前に訓練後、ブロック１４０６が、アテンション加重を更新するために実施される一方、生成器および弁別器は、固定されたままである。照明の最適組み合わせは、更新された加重に基づいて、取得されることができる。
図１６Ａは、いくつかの実施形態による、例示的ＧＡＮモデルによってＮＡＳＨ疾患を考察するために生成される、合成画像を図示する。描写される実施例では、ＮＡＳＨ遺伝子背景を伴う、Ｈｅｐｇ２細胞が、本明細書に説明される技法を使用して識別された最適照明パターンを使用して照明され、明視野画像が、捕捉される。明視野画像は、ＧＡＮモデルの中に入力され、これは、図１６Ａにおける生成位相画像および生成蛍光／ボディパイ画像を出力する。図１６Ａにおいて使用されるＧＡＮモデルは、図１４Ａ－Ｂおよび１５を参照して説明されるように、訓練された分類子を含むように構成されることができる。分類子は、２つの条件、すなわち、健康条件（例えば、摂動なし）および罹患条件（例えば、炎症反応混液＋脂肪酸）を有する。説明されるように、ＧＡＮモデルは、生成画像が実際の画像と同一または類似の正確度まで分類子によって分類され得るように、訓練されることができる。
ＧＡＮモデルによって生成された合成画像は、疾患モデルを作成するために使用されることができる。図１６Ｂは、いくつかの実施形態による、生成画像の下流分析を図示する。示されるように、生成画像は、核区画化および斑点検出を実施する（例えば、画像処理アルゴリズムを使用して）ために使用されることができる。したがって、生成画像は、ＮＡＳＨ疾患のための疾患モデルを作成し、ＮＡＳＨにおける化学摂動を考察するために使用されることができる。
ＧＡＮモデルによって生成された合成画像はまた、治療の有効性を評価するために使用されることができる。本システムは、３つの生成画像の群、すなわち、疾患を有していない、健康組織を描写する、第１の画像の群と、未治療罹患組織を描写する、第２の画像の群と、治療されている（例えば、特定の薬物を使用して）、罹患組織を描写する、第３の画像の群とを処理する。図１６Ｃに描写される実施例では、第１の画像の群（「未治療」として標識される）は、非アルコール性脂肪性肝炎（ＮＡＳＨ）疾患を有していない、健康組織の画像を備え、第２の画像の群（「ＮＡＳＨ ２Ｘ」として標識される）は、ＮＡＳＨ疾患を有する、未治療組織の画像を備え、第３の画像の群（「ＮＡＳＨ ２Ｘ＋ＡＣＣ阻害薬」として標識される）は、薬物（例えば、５０μＭ ＡＣＣ阻害薬またはフィルソコスタット）で治療されている、ＮＡＳＨを伴う組織の画像を備える。いくつかの実施形態では、３つの画像の群は、異なる時間において、同一対象の組織を捕捉する。いくつかの実施形態では、３つの画像の群は、異なる対象の組織を捕捉する。画像は、（例えば、明視野画像から）本明細書に説明される技法を使用して生成される、位相画像または蛍光画像であることができる。各位相または蛍光画像は、複数の明視野画像に基づいて生成され、したがって、位相偏移情報等のより豊富な情報を備えることができる。故に、生成位相または蛍光画像は、下記に説明されるように、下流分析において、より高い精度を可能にすることができる。
具体的には、薬物の有効性を評価するために、本システムは、画像の群毎に、分布を生成し、分布が疾患状態への薬物の効果を反映させるかどうかを決定する。図１６Ｃでは、３つの確率分布が、生成画像上で訓練された分類子を使用して生成される。Ｘ－軸は、入力画像（例えば、生成位相画像）を受信することに応じて分類子によって出力される、確率を示す。３つの分布によって示されるように、健康組織の生成画像（すなわち、分布１６２０）は、概して、罹患組織の生成画像（すなわち、分布１６２４）より低い、疾患を有する確率を有するとして分類される。さらに、治療された組織の生成画像（すなわち、分布１６２２）は、概して、罹患組織の生成画像より低い、疾患を有する確率を有するとして分類される。これらの分布の比較は、治療が、罹患組織に、健康状態により類似し、罹患状態にあまり類似しない、特徴を含ませているため、薬物が疾患状態を退行または低減させる際に効果的であることを示し得る。したがって、合成画像は、細胞内の脂質の分布の生物物理学的理解を可能にし、治療のための洞察を提供することができる。
いくつかの実施形態では、分布を使用するのではなく、本システムは、図１６Ｄに示されるように、埋込空間（例えば、ＵＭＡＰ）内の画像クラスタを識別することができる。ＵＭＡＰでは、各点は、画像（例えば、生成位相画像）の画像埋込を表す。示されるように、治療された組織の生成画像は、生成罹患画像のクラスタから離れ、生成健康画像のクラスタに向かって移動する、クラスタを形成し、これは、薬物が疾患状態を退行または低減させる際に効果的であることを示し得る。
図１６Ｃおよび１６Ｄにおける分析は、着目疾患に対する複数の薬物候補を評価するために適用されることができる。例えば、各薬物候補によって治療される組織は、例えば、顕微鏡によって撮像され、明視野画像を取得することができる。明視野画像は、本明細書に説明される技法を使用して、位相画像に転換されることができる。分布またはクラスタは、各治療の位相画像のために生成されることができる。故に、結果として生じるプロットは、疾患状態を表す、分布またはクラスタと、健康状態を表す、分布またはクラスタと、それぞれ、候補薬物を表す、複数の分布またはクラスタとを備えることができる。本システムは、次いで、健康状態に最も近い、分布またはクラスタを識別し、最も効果的候補薬物候補を識別することができる。
図１７Ａは、いくつかの実施形態による、例示的ＧＡＮモデルによって結節性硬化症（「ＴＳＣ」）を考察するために生成される、合成画像を図示する。描写される実施例では、ＮＧＮ２ニューロンは、本明細書に説明される技法を使用して識別された最適照明パターンを使用して照明され、明視野画像が、捕捉される。明視野画像は、ＧＡＮモデルの中に入力され、これは、図１７Ａにおける生成位相画像および生成蛍光／ボディパイ画像を出力する。図１７Ａにおいて使用されるＧＡＮモデルは、図１４Ａ－Ｂおよび１５を参照して説明されるように、訓練された分類子を含むように構成されることができる。分類子は、２つの条件、すなわち、健康条件（例えば、野生型）および罹患条件（例えば、ＴＳＣ ＫＯ）を有する。説明されるように、ＧＡＮモデルは、生成画像が実際の画像と同一または類似正確度まで分類子によって分類され得るように、訓練されることができる。
ＧＡＮモデルによって生成された合成画像はまた、治療の有効性を評価するために使用されることができる。本システムは、生成画像の３つの群、すなわち、疾患を有していない、健康組織を描写する、第１の画像の群と、未治療罹患組織を描写する、第２の画像の群と、治療されている（例えば、特定の薬物を使用して）、罹患組織を描写する、第３の画像の群とを処理する。図１７Ｂに描写される実施例では、第１の画像の群（「野生型」として標識される）は、ＴＳＣ疾患を有していない、健康組織の画像を備え、第２の画像の群（として標識される「ＴＳＣ」）は、ＴＳＣ疾患を有する、未治療組織の画像を備え、第３の画像の群（として標識される「ＴＳＣ＋ラパマイシン」）は、薬物で治療されている、ＴＳＣを伴う組織の画像を備える。いくつかの実施形態では、３つの画像の群は、異なる時間において、同一対象の組織を捕捉する。いくつかの実施形態では、３つの画像の群は、異なる対象の組織を捕捉する。画像は、（例えば、明視野画像から）本明細書に説明される技法を使用して生成される、位相画像である。
具体的には、薬物の有効性を評価するために、本システムは、画像の群毎に、分布を生成し、分布が疾患への薬物の効果を反映させるかどうかを決定する。図１７Ｂでは、３つのバイオマーカ分布が、生成される。これらの分布によって示されるように、薬物は、治療が、罹患組織に、健康状態により類似し、罹患状態にあまり類似しない、特徴を含ませているため、疾患状態を退行または低減させる際に効果的であると考えられる。図１７Ｂにおける分析は、上記に説明されるように、着目疾患に対する複数の薬物候補を評価するために適用されることができる。
例示的方法、非一過性コンピュータ可読記憶媒体、システム、および電子デバイスが、以下の項目に記載される。
１．
機械学習モデルを訓練し、生物学的サンプルの画像を生成するための方法であって、
複数の訓練画像を取得することであって、上記複数の訓練画像は、
第１のタイプの訓練画像と、
第２のタイプの訓練画像と
を備える、ことと、
上記第１のタイプの訓練画像に基づいて、上記機械学習モデルを使用して、複数のウェーブレット係数を生成することと、
上記複数のウェーブレット係数に基づいて、上記第２のタイプの合成画像を生成することと、
上記第２のタイプの合成画像と上記第２のタイプの訓練画像を比較することと、
上記比較に基づいて、上記機械学習モデルを更新することと
を含む、方法。
２．
上記第１のタイプの訓練画像は、生物学的サンプルの明視野画像である、項目１に記載の方法。
３．
上記第２のタイプの訓練画像は、上記生物学的サンプルの蛍光画像である、項目２に記載の方法。
４．
上記機械学習モデルは、生成器と、弁別器とを備える、項目１－３のいずれかに記載の方法。
５．
上記機械学習モデルは、条件付きＧＡＮモデルを備える、項目４に記載の方法。
６．
上記生成器は、複数の周波数群に対応する複数のニューラルネットワークを備える、項目４－５のいずれかに記載の方法。
７．
上記複数のニューラルネットワークの各ニューラルネットワークは、個別の周波数群のためのウェーブレット係数を生成するように構成される、項目６に記載の方法。
８．
上記複数のニューラルネットワークは、複数のＵ－Ｎｅｔニューラルネットワークを備える、項目６－７のいずれかに記載の方法。
９．
上記弁別器は、ＰａｔｃｈＧＡＮニューラルネットワークである、項目５－８のいずれかに記載の方法。
１０．
上記第１のタイプの訓練画像に基づいて、第３のタイプの画像を生成することをさらに含む、項目１－９のいずれかに記載の方法。
１１．
上記第３のタイプの画像は、位相偏移画像である、項目１０に記載の方法。
１２．
上記第１のタイプの訓練画像に基づいて、第４のタイプの画像を生成することをさらに含む、項目１－１１のいずれかに記載の方法。
１３．
上記第４のタイプの画像は、区画化データを備える、項目１２に記載の方法。
１４．
上記第１のタイプの訓練画像は、顕微鏡を使用して、第１の照明スキームに従って捕捉される、項目１－１３のいずれかに記載の方法。
１５．
上記第１の照明スキームは、１つまたはそれを上回る照明パターンを備える、項目１４に記載の方法。
１６．
上記第１のタイプの訓練画像は、明視野画像アレイの一部である、項目１４－１５のいずれかに記載の方法。
１７．
上記複数の訓練画像は、第１の複数の訓練画像であり、上記方法はさらに、
上記比較に基づいて、第２の照明スキームを識別することと、
上記第１のタイプの１つまたはそれを上回る画像を備える第２の複数の訓練画像を取得することであって、上記第１のタイプの１つまたはそれを上回る画像は、上記第２の照明スキームに基づいて取得される、ことと、
上記第２の複数の訓練画像に基づいて、上記機械学習モデルを訓練することと
を含む、項目１４－１６のいずれかに記載の方法。
１８．
顕微鏡を使用して、上記第１のタイプの複数の画像を取得することと、
上記取得された複数の画像に基づいて、上記機械学習モデルを使用して、上記第２のタイプの複数の合成画像を生成することと
をさらに含む、項目１－１６のいずれかに記載の方法。
１９．
上記第２のタイプの複数の合成画像に基づいて、分類子を訓練することをさらに含む、項目１８に記載の方法。
２０．
上記顕微鏡は、第１の顕微鏡であり、上記分類子は、第１の分類子であり、
第２の顕微鏡を使用して、上記第２のタイプの複数の画像を取得することと、
上記第２のタイプの複数の画像に基づいて、第２の分類子を訓練することと、
上記第１の分類子および上記第２の分類子の性能を比較することと
をさらに含む、項目１９に記載の方法。
２１．
上記第２の顕微鏡は、蛍光顕微鏡である、項目２０に記載の方法。
２２．
生物学的サンプルの強調画像を生成するための方法であって、
顕微鏡を使用して、生物学的サンプルの画像を取得することと、
上記画像に基づいて、機械学習モデルを使用して、上記生物学的サンプルの強調画像を生成することであって、上記機械学習モデルは、
複数の訓練画像を取得することであって、上記複数の訓練画像は、
第１のタイプの訓練画像と、
第２のタイプの訓練画像と
を備える、ことと、
上記第１のタイプの訓練画像に基づいて、上記機械学習モデルを使用して、複数のウェーブレット係数を生成することと、
上記複数のウェーブレット係数に基づいて、上記第２のタイプの合成画像を生成することと、
上記第２のタイプの合成画像と上記第２のタイプの訓練画像を比較することと、
上記比較に基づいて、上記機械学習モデルを更新することと
によって訓練されている、ことと
を含む、方法。
２３．
上記第１のタイプの訓練画像は、生物学的サンプルの明視野画像である、項目２２に記載の方法。
２４．
上記第２のタイプの訓練画像は、上記生物学的サンプルの蛍光画像である、項目２２に記載の方法。
２５．
上記機械学習モデルは、生成器と、弁別器とを備える、項目２２－２４のいずれかに記載の方法。
２６．
上記機械学習モデルは、条件付きＧＡＮモデルを備える、項目２５に記載の方法。
２７．
上記生成器は、複数の周波数群に対応する複数のニューラルネットワークを備える、項目２５－２６のいずれかに記載の方法。
２８．
上記複数のニューラルネットワークの各ニューラルネットワークは、個別の周波数群のためのウェーブレット係数を生成するように構成される、項目２７に記載の方法。
２９．
上記複数のニューラルネットワークは、複数のＵ－Ｎｅｔニューラルネットワークを備える、項目２７－２８のいずれかに記載の方法。
３０．
上記弁別器は、ＰａｔｃｈＧＡＮニューラルネットワークである、項目２６－２９のいずれかに記載の方法。
３１．
上記第１のタイプの訓練画像に基づいて、第３のタイプの画像を生成することをさらに含む、項目２３－３０のいずれかに記載の方法。
３２．
上記第３のタイプの画像は、位相偏移画像である、項目３１に記載の方法。
３３．
上記第１のタイプの訓練画像に基づいて、第４のタイプの画像を生成することをさらに含む、項目２３－３２のいずれかに記載の方法。
３４．
上記第４のタイプの画像は、区画化データを備える、項目３３に記載の方法。
３５．
上記第１のタイプの訓練画像は、顕微鏡を使用して、第１の照明スキームに従って捕捉される、項目２３－３４のいずれかに記載の方法。
３６．
上記第１の照明スキームは、１つまたはそれを上回る照明パターンを備える、項目３５に記載の方法。
３７．
上記第１のタイプの訓練画像は、明視野画像アレイの一部である、項目３５－３６のいずれかに記載の方法。
３８．
上記複数の訓練画像は、第１の複数の訓練画像であり、上記方法はさらに、
上記比較に基づいて、第２の照明スキームを識別することと、
上記第１のタイプの１つまたはそれを上回る画像を備える第２の複数の訓練画像を取得することであって、上記第１のタイプの１つまたはそれを上回る画像は、上記第２の照明スキームに基づいて取得される、ことと、
上記第２の複数の訓練画像に基づいて、上記機械学習モデルを訓練することと
を含む、項目３５－３７のいずれかに記載の方法。
３９．
顕微鏡を使用して、上記第１のタイプの複数の画像を取得することと、
上記取得された複数の画像に基づいて、上記機械学習モデルを使用して、上記第２のタイプの複数の合成画像を生成することと
をさらに含む、項目３５－３８のいずれかに記載の方法。
４０．
上記第２のタイプの複数の合成画像に基づいて、分類子を訓練することをさらに含む、項目３９に記載の方法。
４１．
上記顕微鏡は、第１の顕微鏡であり、上記分類子は、第１の分類子であり、
第２の顕微鏡を使用して、上記第２のタイプの複数の画像を取得することと、
上記第２のタイプの複数の画像に基づいて、第２の分類子を訓練することと、
上記第１の分類子および上記第２の分類子の性能を比較することと
をさらに含む、項目４０に記載の方法。
４２．
上記第２の顕微鏡は、蛍光顕微鏡である、項目４１に記載の方法。
４３．
機械学習モデルを訓練し、生物学的サンプルの画像を生成するためのシステムであって、
１つまたはそれを上回るプロセッサと、機械学習モデルを記憶する１つまたはそれを上回るメモリとを備えるコンピューティングシステムであって、上記コンピューティングシステムは、第１のタイプの複数の訓練画像および第２のタイプの１つの訓練画像を受信するように構成され、上記コンピューティングシステムは、
上記第１のタイプの訓練画像に基づいて、上記機械学習モデルを使用して、複数のウェーブレット係数を生成することと、
上記複数のウェーブレット係数に基づいて、上記第２のタイプの合成画像を生成することと、
上記第２のタイプの合成画像と上記第２のタイプの訓練画像を比較することと、
上記比較に基づいて、上記機械学習モデルを更新することと
を行うように構成される、コンピューティングシステム
を備える、システム。
４４．
上記第１のタイプの訓練画像は、生物学的サンプルの明視野画像である、項目４３に記載のシステム。
４５．
上記第２のタイプの訓練画像は、上記生物学的サンプルの蛍光画像である、項目４３－４４のいずれかに記載のシステム。
４６．
上記機械学習モデルは、生成器と、弁別器とを備える、項目４３－４５のいずれかに記載のシステム。
４７．
上記機械学習モデルは、条件付きＧＡＮモデルを備える、項目４６に記載のシステム。
４８．
上記生成器は、複数の周波数群に対応する複数のニューラルネットワークを備える、項目４６－４７のいずれかに記載のシステム。
４９．
上記複数のニューラルネットワークの各ニューラルネットワークは、個別の周波数群のためのウェーブレット係数を生成するように構成される、項目４８に記載のシステム。
５０．
上記複数のニューラルネットワークは、複数のＵ－Ｎｅｔニューラルネットワークを備える、項目４８－４９のいずれかに記載のシステム。
５１．
上記弁別器は、ＰａｔｃｈＧＡＮニューラルネットワークである、項目４６－５０のいずれかに記載のシステム。
５２．
上記コンピューティングシステムはさらに、上記第１のタイプの訓練画像に基づいて、第３のタイプの画像を生成するように構成される、項目４３－５１のいずれかに記載のシステム。
５３．
上記第３のタイプの画像は、位相偏移画像である、項目５２に記載のシステム。
５４．
上記コンピューティングシステムはさらに、上記第１のタイプの訓練画像に基づいて、第４のタイプの画像を生成するように構成される、項目４３－５３のいずれかに記載のシステム。
５５．
上記第４のタイプの画像は、区画化データを備える、項目５４に記載のシステム。
５６．
上記第１のタイプの訓練画像は、顕微鏡を使用して、第１の照明スキームに従って捕捉される、項目４３－５５のいずれかに記載のシステム。
５７．
上記第１の照明スキームは、１つまたはそれを上回る照明パターンを備える、項目５６に記載のシステム。
５８．
上記第１のタイプの訓練画像は、明視野画像アレイの一部である、項目５６－５７のいずれかに記載のシステム。
５９．
上記複数の訓練画像は、第１の複数の訓練画像であり、上記コンピューティングシステムはさらに、
上記比較に基づいて、第２の照明スキームを識別することと、
上記第１のタイプの１つまたはそれを上回る画像を備える第２の複数の訓練画像を取得することであって、上記第１のタイプの１つまたはそれを上回る画像は、上記第２の照明スキームに基づいて取得される、ことと、
上記第２の複数の訓練画像に基づいて、上記機械学習モデルを訓練することと
を行うように構成される、項目５６－５８のいずれかに記載のシステム。
６０．
上記コンピューティングシステムはさらに、
顕微鏡を使用して、上記第１のタイプの複数の画像を取得することと、
上記取得された複数の画像に基づいて、上記機械学習モデルを使用して、上記第２のタイプの複数の合成画像を生成することと
を行うように構成される、項目４３－５９のいずれかに記載のシステム。
６１．
上記コンピューティングシステムはさらに、上記第２のタイプの複数の合成画像に基づいて、分類子を訓練するように構成される、項目５９に記載のシステム。
６２．
上記顕微鏡は、第１の顕微鏡であり、上記分類子は、第１の分類子であり、上記コンピューティングシステムはさらに、
第２の顕微鏡を使用して、上記第２のタイプの複数の画像を取得することと、
上記第２のタイプの複数の画像に基づいて、第２の分類子を訓練することと、
上記第１の分類子および上記第２の分類子の性能を比較することと
を行うように構成される、項目６１に記載のシステム。
６３．
上記第２の顕微鏡は、蛍光顕微鏡である、項目６２に記載のシステム。
６４．
生物学的サンプルの強調画像を生成するためのシステムであって、
１つまたはそれを上回るプロセッサと、機械学習モデルを記憶する１つまたはそれを上回るメモリとを備えるコンピューティングシステムであって、上記コンピューティングシステムは、顕微鏡から取得される生物学的サンプルの画像を受信し、上記画像に基づいて、機械学習モデルを使用して、上記生物学的サンプルの強調画像を生成するように構成され、上記機械学習モデルは、
複数の訓練画像を取得することであって、上記複数の訓練画像は、
第１のタイプの訓練画像と、
第２のタイプの訓練画像と
を備える、ことと、
上記第１のタイプの訓練画像に基づいて、上記機械学習モデルを使用して、複数のウェーブレット係数を生成することと、
上記複数のウェーブレット係数に基づいて、上記第２のタイプの合成画像を生成することと、
上記第２のタイプの合成画像と上記第２のタイプの訓練画像を比較することと、
上記比較に基づいて、上記機械学習モデルを更新することと
によって訓練されている、コンピューティングシステム
を備える、システム。
６５．
上記第１のタイプの訓練画像は、生物学的サンプルの明視野画像である、項目６４に記載のシステム。
６６．
上記第２のタイプの訓練画像は、上記生物学的サンプルの蛍光画像である、項目６４に記載のシステム。
６７．
上記機械学習モデルは、生成器と、弁別器とを備える、項目６４－６６のいずれかに記載のシステム。
６８．
上記機械学習モデルは、条件付きＧＡＮモデルを備える、項目６７に記載のシステム。
６９．
上記生成器は、複数の周波数群に対応する複数のニューラルネットワークを備える、項目６７－６８のいずれかに記載のシステム。
７０．
上記複数のニューラルネットワークの各ニューラルネットワークは、個別の周波数群のためのウェーブレット係数を生成するように構成される、項目６９に記載のシステム。
７１．
上記複数のニューラルネットワークは、複数のＵ－Ｎｅｔニューラルネットワークを備える、項目６９－７０のいずれかに記載のシステム。
７２．
上記弁別器は、ＰａｔｃｈＧＡＮニューラルネットワークである、項目６７－７１のいずれかに記載のシステム。
７３．
上記機械学習モデルはさらに、上記第１のタイプの訓練画像に基づいて、第３のタイプの画像を生成することによって訓練される、項目６４－７２のいずれかに記載のシステム。
７４．
上記第３のタイプの画像は、位相偏移画像である、項目７３に記載のシステム。
７５．
上記機械学習モデルは、上記第１のタイプの訓練画像に基づいて、第４のタイプの画像を生成することによって訓練されている、項目６４－７４のいずれかに記載のシステム。
７６．
上記第４のタイプの画像は、区画化データを備える、項目７５に記載のシステム。
７７．
上記第１のタイプの訓練画像は、顕微鏡を使用して、第１の照明スキームに従って捕捉される、項目６４－７６のいずれかに記載のシステム。
７８．
上記第１の照明スキームは、１つまたはそれを上回る照明パターンを備える、項目７７に記載のシステム。
７９．
上記第１のタイプの訓練画像は、明視野画像アレイの一部である、項目７７－７８のいずれかに記載のシステム。
８０．
上記複数の訓練画像は、第１の複数の訓練画像であり、上記機械学習モデルは、
上記比較に基づいて、第２の照明スキームを識別することと、
上記第１のタイプの１つまたはそれを上回る画像を備える第２の複数の訓練画像を取得することであって、上記第１のタイプの１つまたはそれを上回る画像は、上記第２の照明スキームに基づいて取得される、ことと、
上記第２の複数の訓練画像に基づいて、上記機械学習モデルを訓練することと
によって訓練されている、項目７７－７９のいずれかに記載のシステム。
８１．
上記機械学習モデルは、
顕微鏡を使用して、上記第１のタイプの複数の画像を取得することと、
上記取得された複数の画像に基づいて、上記機械学習モデルを使用して、上記第２のタイプの複数の合成画像を生成することと
によって訓練されている、項目７７－８０のいずれかに記載のシステム。
８２．
上記機械学習モデルは、上記第２のタイプの複数の合成画像に基づいて、分類子を訓練することによって訓練されている、項目８１に記載のシステム。
８３．
上記顕微鏡は、第１の顕微鏡であり、上記分類子は、第１の分類子であり、上記機械学習モデルは、
第２の顕微鏡を使用して、上記第２のタイプの複数の画像を取得することと、
上記第２のタイプの複数の画像に基づいて、第２の分類子を訓練することと、
上記第１の分類子および上記第２の分類子の性能を比較することと
によって訓練されている、項目８２に記載のシステム。
８４．
上記第２の顕微鏡は、蛍光顕微鏡である、項目８３に記載のシステム。
８５．
生物学的サンプルの画像を処理し、１つまたはそれを上回る出力画像を取得する方法であって、
光学システムのＳＬＭの複数の構成を使用して、上記生物学的サンプルの複数の画像を取得することであって、上記ＳＬＭは、上記生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ことと、
上記生物学的サンプルの複数の画像を訓練された機械学習モデルの中に入力し、上記１つまたはそれを上回る出力画像を取得することと
を含む、方法。
８６．
上記ＳＬＭの複数の構成のうちの少なくとも１つの構成は、１つまたはそれを上回る光学収差を生成するためのものである、項目８５に記載の方法。
８７．
１つまたはそれを上回る光学収差を生成することは、球面収差、非点収差、外焦点、歪曲、傾斜、またはそれらの任意の組み合わせを含む、項目８６に記載の方法。
８８．
上記ＳＬＭの複数の構成のうちの少なくとも１つの構成は、１つまたはそれを上回る特徴を強調させるためのものである、項目８５－８６のいずれかに記載の方法。
８９．
上記１つまたはそれを上回る特徴は、細胞境界、アクチンフィラメント、核形状、細胞質区画化、またはそれらの任意の組み合わせを含む、項目８８に記載の方法。
９０．
上記ＳＬＭの複数の構成のうちの少なくとも１つの構成は、光学収差を低減させるためのものである、項目８５－８９のいずれかに記載の方法。
９１．
上記複数のＳＬＭ構成は、上記生物学的サンプルの画像を異なる深度において取得するためのものである、項目８５－９０のいずれかに記載の方法。
９２．
上記機械学習モデルは、第１のタイプの画像に基づいて、第２のタイプの画像を生成するように構成される、項目８５－９１のいずれかに記載の方法。
９３．
上記第１のタイプの画像は、明視野画像である、項目９２に記載の方法。
９４．
上記第２のタイプの画像は、蛍光画像である、項目９２に記載の方法。
９５．
上記第２のタイプの画像は、上記第１のタイプの画像の強調されたバージョンである、項目９２に記載の方法。
９６．
上記機械学習モデルは、ＧＡＮモデルまたは自己教師ありモデルである、項目９２－９５のいずれかに記載の方法。
９７．
上記複数の画像は、上記光学システムの光源の複数の構成を使用して取得される、項目８５－９６のいずれかに記載の方法。
９８．
上記光源は、上記光学システムのＬＥＤアレイである、項目９７に記載の方法。
９９．
上記複数のＳＬＭ構成のうちの少なくとも１つの構成は、
上記機械学習モデルを訓練することと、
上記訓練された機械学習モデルを評価することと、
上記評価に基づいて、上記少なくとも１つの構成を識別することと
によって取得される、項目８５－９８のいずれかに記載の方法。
１００．
上記訓練された機械学習モデルは、入力画像を受信し、上記入力画像の強調されたバージョンを出力するように構成される、項目８５－９９のいずれかに記載の方法。
１０１．
上記入力画像の強調されたバージョンは、１つまたはそれを上回る強調された細胞表現型を備える、項目１００に記載の方法。
１０２．
生物学的サンプルの画像を処理し、１つまたはそれを上回る出力画像を取得するための電子デバイスであって、
１つまたはそれを上回るプロセッサと、
メモリと、
１つまたはそれを上回るプログラムであって、上記１つまたはそれを上回るプログラムは、上記メモリ内に記憶され、上記１つまたはそれを上回るプロセッサによって実行されるように構成され、上記１つまたはそれを上回るプログラムは、
光学システムのＳＬＭの複数の構成を使用して、上記生物学的サンプルの複数の画像を取得することであって、上記ＳＬＭは、上記生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ことと、
上記生物学的サンプルの複数の画像を訓練された機械学習モデルの中に入力し、上記１つまたはそれを上回る出力画像を取得することと
を行うための命令を含む、１つまたはそれを上回るプログラムと
を備える、電子デバイス。
１０３．
生物学的サンプルの画像を処理し、１つまたはそれを上回る出力画像を取得するための１つまたはそれを上回るプログラムを記憶する非一過性コンピュータ可読記憶媒体であって、上記１つまたはそれを上回るプログラムは、命令を備え、上記命令は、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、上記電子デバイスに、
光学システムのＳＬＭの複数の構成を使用して、上記生物学的サンプルの複数の画像を取得することであって、上記ＳＬＭは、上記生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ことと、
上記生物学的サンプルの複数の画像を訓練された機械学習モデルの中に入力し、上記１つまたはそれを上回る出力画像を取得することと
を行わせる、非一過性コンピュータ可読記憶媒体。
１０４．
生物学的サンプルの画像を分類する方法であって、
光学システムのＳＬＭの複数の構成を使用して、上記生物学的サンプルの複数の画像を取得することであって、上記ＳＬＭは、上記生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ことと、
上記生物学的サンプルの複数の画像を訓練された機械学習モデルの中に入力し、１つまたはそれを上回る分類出力を取得することと
を含む、方法。
１０５．
上記ＳＬＭの複数の構成のうちの少なくとも１つの構成は、１つまたはそれを上回る光学収差を生成するためのものである、項目１０４に記載の方法。
１０６．
１つまたはそれを上回る光学収差を生成することは、球面収差、非点収差、外焦点、歪曲、傾斜、またはそれらの任意の組み合わせを含む、項目１０５に記載の方法。
１０７．
上記ＳＬＭの複数の構成のうちの少なくとも１つの構成は、１つまたはそれを上回る特徴を強調させるためのものである、項目１０４－１０６のいずれかに記載の方法。
１０８．
上記１つまたはそれを上回る特徴は、細胞境界、アクチンフィラメント、核形状、細胞質区画化、またはそれらの任意の組み合わせを含む、項目１０７に記載の方法。
１０９．
上記ＳＬＭの複数の構成のうちの少なくとも１つの構成は、光学収差を低減させるためのものである、項目１０４－１０８のいずれかに記載の方法。
１１０．
上記複数のＳＬＭ構成は、上記生物学的サンプルの画像を異なる深度において取得するためのものである、項目１０４－１０９のいずれかに記載の方法。
１１１．
上記複数の画像は、上記光学システムの光源の複数の構成を使用して取得される、項目１０４－１１０のいずれかに記載の方法。
１１２．
上記光源は、上記光学システムのＬＥＤアレイである、項目１１１に記載の方法。
１１３．
上記複数のＳＬＭ構成のうちの少なくとも１つの構成は、
上記機械学習モデルを訓練することと、
上記訓練された機械学習モデルを評価することと、
上記評価に基づいて、上記少なくとも１つの構成を識別することと
によって取得される、項目１０４－１１２のいずれかに記載の方法。
１１４．
上記訓練された機械学習モデルは、入力画像を受信し、１つまたはそれを上回る事前に定義された物体を上記入力画像内で検出するように構成される、項目１０４－１１３のいずれかに記載の方法。
１１５．
上記事前に定義された物体は、罹患組織を含む、項目１１４に記載の方法。
１１６．
生物学的サンプルの画像を分類するための電子デバイスであって、
１つまたはそれを上回るプロセッサと、
メモリと、
１つまたはそれを上回るプログラムであって、上記１つまたはそれを上回るプログラムは、上記メモリ内に記憶され、上記１つまたはそれを上回るプロセッサによって実行されるように構成され、上記１つまたはそれを上回るプログラムは、
光学システムのＳＬＭの複数の構成を使用して、上記生物学的サンプルの複数の画像を取得することであって、上記ＳＬＭは、上記生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ことと、
上記生物学的サンプルの複数の画像を訓練された機械学習モデルの中に入力し、１つまたはそれを上回る分類出力を取得することと
を行うための命令を含む、１つまたはそれを上回るプログラムと、
を備える、電子デバイス。
１１７．
生物学的サンプルの画像を分類するための１つまたはそれを上回るプログラムを記憶する非一過性コンピュータ可読記憶媒体であって、上記１つまたはそれを上回るプログラムは、命令を備え、上記命令は、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、上記電子デバイスに、
光学システムのＳＬＭの複数の構成を使用して、上記生物学的サンプルの複数の画像を取得することであって、上記ＳＬＭは、上記生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ことと、
上記生物学的サンプルの複数の画像を訓練された機械学習モデルの中に入力し、１つまたはそれを上回る分類出力を取得することと
を行わせる、非一過性コンピュータ可読記憶媒体。
１１８．
機械学習モデルを訓練するための方法であって、
光学システムのＳＬＭの複数の構成を使用して、生物学的サンプルの複数の画像を取得することであって、上記ＳＬＭは、上記生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ことと、
上記複数の画像を使用して、上記機械学習モデルを訓練することと
を含む、方法。
１１９．
上記ＳＬＭの複数の構成のうちの少なくとも１つの構成は、１つまたはそれを上回る光学収差を生成するためのものである、項目１１８に記載の方法。
１２０．
１つまたはそれを上回る光学収差を生成することは、球面収差、非点収差、外焦点、歪曲、傾斜、またはそれらの任意の組み合わせを含む、項目１１９に記載の方法。
１２１．
上記ＳＬＭの複数の構成のうちの少なくとも１つの構成は、１つまたはそれを上回る特徴を強調させるためのものである、項目１１８－１２０のいずれかに記載の方法。
１２２．
上記１つまたはそれを上回る特徴は、細胞境界、アクチンフィラメント、核形状、細胞質区画化、またはそれらの任意の組み合わせを含む、項目１２１に記載の方法。
１２３．
上記ＳＬＭの複数の構成のうちの少なくとも１つの構成は、光学収差を低減させるためのものである、項目１１８－１２２のいずれかに記載の方法。
１２４．
上記ＳＬＭの複数の構成のうちの少なくとも１つの構成は、上記生物学的サンプルの画像を異なる深度において取得するためのものである、項目１１８－１２３のいずれかに記載の方法。
１２５．
上記機械学習モデルは、第１のタイプの画像に基づいて、第２のタイプの画像を生成するように構成される、項目１１８－１２４のいずれかに記載の方法。
１２６．
上記第１のタイプの画像は、明視野画像である、項目１２５に記載の方法。
１２７．
上記第２のタイプの画像は、蛍光画像である、項目１２５に記載の方法。
１２８．
上記機械学習モデルは、ＧＡＮモデルまたは自己教師ありモデルである、項目１１８－１２７のいずれかに記載の方法。
１２９．
上記機械学習モデルは、分類モデルである、項目１１８－１２８のいずれかに記載の方法。
１３０．
上記複数の画像は、上記光学システムの光源の複数の構成を使用して取得される、項目１１８－１２９のいずれかに記載の方法。
１３１．
上記光源は、上記光学システムのＬＥＤアレイである、項目１３０に記載の方法。
１３２．
上記機械学習モデルを訓練することは、
（ａ）第１の画像を使用して、上記機械学習モデルを訓練することであって、上記第１の画像は、上記光学システムのＳＬＭの第１の構成を使用して取得される、ことと、
（ｂ）上記訓練された機械学習モデルを評価することと、
（ｃ）上記評価に基づいて、上記ＳＬＭの第２の構成を識別することと、
（ｄ）第２の画像を使用して、上記機械学習モデルを訓練することであって、上記第２の画像は、上記光学システムのＳＬＭの第２の構成を使用して取得されることと
を含む、項目１１８－１３１のいずれかに記載の方法。
１３３．
上記評価は、上記機械学習モデルの損失関数に基づく、項目１１２に記載の方法。
１３４．
閾値が満たされるまで、ステップ（ａ）－（ｄ）を繰り返すことをさらに含む、項目１１２－１１３のいずれかに記載の方法。
１３５．
上記閾値は、上記訓練の収束を示す、項目１１４に記載の方法。
１３６．
上記訓練された機械学習モデルは、入力画像を受信し、上記入力画像の強調されたバージョンを出力するように構成される、項目１１８－１３５のいずれかに記載の方法。
１３７．
上記入力画像の強調されたバージョンは、１つまたはそれを上回る強調された細胞表現型を備える、項目１３６に記載の方法。
１３８．
上記訓練された機械学習モデルは、入力画像を受信し、１つまたはそれを上回る事前に定義された物体を上記入力画像内で検出するように構成される、項目１１８－１３５のいずれかに記載の方法。
１３９．
上記事前に定義された物体は、罹患組織を含む、項目１３８に記載の方法。
１４０．
機械学習モデルを訓練するための電子デバイスであって、
１つまたはそれを上回るプロセッサと、
メモリと、
１つまたはそれを上回るプログラムであって、上記１つまたはそれを上回るプログラムは、上記メモリ内に記憶され、上記１つまたはそれを上回るプロセッサによって実行されるように構成され、上記１つまたはそれを上回るプログラムは、
光学システムのＳＬＭの複数の構成を使用して、生物学的サンプルの複数の画像を取得することであって、上記ＳＬＭは、上記生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ことと、
上記複数の画像を使用して、上記機械学習モデルを訓練することと
を行うための命令を含む、１つまたはそれを上回るプログラムと
を備える、電子デバイス。
１４１．
機械学習モデルを訓練するための１つまたはそれを上回るプログラムを記憶する非一過性コンピュータ可読記憶媒体であって、上記１つまたはそれを上回るプログラムは、命令を備え、上記命令は、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、上記電子デバイスに、
光学システムのＳＬＭの複数の構成を使用して、生物学的サンプルの複数の画像を取得することであって、上記ＳＬＭは、上記生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ことと、
上記複数の画像を使用して、上記機械学習モデルを訓練することと
を行わせる、非一過性コンピュータ可読記憶媒体。
１４２．
生物学的サンプルの強調画像を生成する方法であって、
顕微鏡を使用して、照明源の照明パターンを使用して照明される生物学的サンプルの画像を取得することであって、上記照明パターンは、
入力画像を受信し、分類結果を出力するように構成される分類モデルを訓練することと、
上記訓練された分類モデルを使用して、複数の照明設定に対応する複数の加重を有する機械学習モデルを訓練することと、
上記訓練された機械学習モデルの複数の加重に基づいて、上記照明パターンを識別することと
によって決定される、ことと、
上記生物学的サンプルの取得された画像を上記訓練された機械学習モデルの中に入力することによって、上記生物学的サンプルの強調画像を生成することと
を含む、方法。
１４３．
上記取得された画像は、明視野画像である、項目１４２に記載の方法。
１４４．
上記強調画像は、蛍光画像、位相画像、またはそれらの組み合わせである、項目１４２－１４３のいずれかに記載の方法。
１４５．
上記照明源は、照明エミッタのアレイを備える、項目１４２－１４４のいずれかに記載の方法。
１４６．
上記照明源は、ＬＥＤアレイである、項目１４５に記載の方法。
１４７．
上記照明パターンは、各照明エミッタがオンまたはオフにされるかどうかと、各照明エミッタの強度とを示す、項目１４２－１４６のいずれかに記載の方法。
１４８．
上記複数の照明設定の各照明設定は、上記照明源の個別の照明エミッタに対応し、各加重は、上記個別の照明エミッタの強度に対応する、項目１４５－１４７のいずれかに記載の方法。
１４９．
上記分類モデルは、入力位相画像または入力蛍光画像を受信し、複数の事前に定義されたクラスのうちの１つのクラスを示す分類結果を出力するように構成される、項目１４２－１４８のいずれかに記載の方法。
１５０．
上記複数の事前に定義されたクラスは、健康クラスおよび罹患クラスを含む、項目１４９に記載の方法。
１５１．
上記機械学習モデルは、上記複数の加重を備えるアテンション層と、弁別器と、生成器とを備えるＧＡＮモデルである、項目１５０に記載の方法。
１５２．
上記機械学習モデルは、条件付きＧＡＮモデルである、項目１５１に記載の方法。
１５３．
上記生成器は、複数の周波数群に対応する複数のニューラルネットワークを備える、項目１５１－１５２のいずれかに記載の方法。
１５４．
上記複数のニューラルネットワークの各ニューラルネットワークは、個別の周波数群のためのウェーブレット係数を生成するように構成される、項目１５３に記載の方法。
１５５．
上記複数のニューラルネットワークは、複数のＵ－Ｎｅｔニューラルネットワークを備える、項目１５３－１５４のいずれかに記載の方法。
１５６．
上記弁別器は、ＰａｔｃｈＧＡＮニューラルネットワークである、項目１５１－１５５のいずれかに記載の方法。
１５７．
上記訓練された分類モデルを使用して、上記機械学習モデルを訓練することは、
上記複数の加重を複数の明視野訓練画像に適用することと、
上記複数の加重された明視野訓練画像を集約された明視野画像の中に集約することと、
上記集約された明視野訓練画像を上記機械学習モデルの中に入力し、強調された訓練画像および生成器損失を取得することと、
上記強調された訓練画像を上記訓練された分類子の中に入力し、分類子損失を取得することと、
上記分類子損失に基づいて、上記生成器損失を拡張させることと、
上記拡張された生成器損失に基づいて、上記複数の加重を更新することと
を含む、項目１５１－１５６のいずれかに記載の方法。
１５８．
上記訓練された分類子を使用して、上記強調画像を分類することをさらに含む、項目１４２－１５７のいずれかに記載の方法。
１５９．
上記強調画像を表示することをさらに含む、項目１４２－１５８のいずれかに記載の方法。
１６０．
生物学的サンプルの強調画像を生成するためのシステムであって、
１つまたはそれを上回るプロセッサと、
メモリと、
１つまたはそれを上回るプログラムであって、上記１つまたはそれを上回るプログラムは、上記メモリ内に記憶され、上記１つまたはそれを上回るプロセッサによって実行されるように構成され、上記１つまたはそれを上回るプログラムは、
顕微鏡を使用して、照明源の照明パターンを使用して照明される生物学的サンプルの画像を取得することであって、上記照明パターンは、
入力画像を受信し、分類結果を出力するように構成される分類モデルを訓練することと、
上記訓練された分類モデルを使用して、複数の照明設定に対応する複数の加重を有する機械学習モデルを訓練することと、
上記訓練された機械学習モデルの複数の加重に基づいて、上記照明パターンを識別することと
によって決定される、ことと、
上記生物学的サンプルの取得された画像を上記訓練された機械学習モデルの中に入力することによって、上記生物学的サンプルの強調画像を生成することと
を行うための命令を含む、１つまたはそれを上回るプログラムと
を備える、システム。
１６１．
生物学的サンプルの強調画像を生成するための１つまたはそれを上回るプログラムを記憶する非一過性コンピュータ可読記憶媒体であって、上記１つまたはそれを上回るプログラムは、命令を備え、上記命令は、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、上記電子デバイスに、
顕微鏡を使用して、照明源の照明パターンを使用して照明される生物学的サンプルの画像を取得することであって、上記照明パターンは、
入力画像を受信し、分類結果を出力するように構成される分類モデルを訓練することと、
上記訓練された分類モデルを使用して、複数の照明設定に対応する複数の加重を有する機械学習モデルを訓練することと、
上記訓練された機械学習モデルの複数の加重に基づいて、上記照明パターンを識別することと
によって決定される、ことと、
上記生物学的サンプルの取得された画像を上記訓練された機械学習モデルの中に入力することによって、上記生物学的サンプルの強調画像を生成することと
を行わせる、非一過性コンピュータ可読記憶媒体。
１６２．
着目疾患に対する治療を評価する方法であって、
上記着目疾患によって罹患されていない第１の健康な生物学的サンプルのセットを描写する第１の複数の画像を受信することと、
上記着目疾患によって罹患されている第２の未治療の生物学的サンプルのセットを描写する第２の複数の画像を受信することと、
上記着目疾患によって罹患され、上記治療によって治療されている第３の治療された生物学的サンプルのセットを描写する第３の複数の画像を受信することと、
上記第１の複数の画像を訓練された機械学習モデルの中に入力し、第１の複数の強調画像を取得することと、
上記第２の複数の画像を上記訓練された機械学習モデルの中に入力し、第２の複数の強調画像を取得することと、
上記第３の複数の画像を上記訓練された機械学習モデルの中に入力し、第３の複数の強調画像を取得することと、
上記第１の複数の強調画像、上記第２の複数の強調画像、および上記第３の複数の強調画像を比較し、上記治療を評価することと
を含む、方法。
１６３．
上記第１の複数の画像、上記第２の複数の画像、および上記第３の複数の画像は、明視野画像である、項目１６２に記載の方法。
１６４．
上記第１の複数の強調画像、上記第２の複数の強調画像、および上記第３の複数の強調画像は、蛍光画像である、項目１６２－１６３のいずれかに記載の方法。
１６５．
上記第１の複数の強調画像、上記第２の複数の強調画像、および上記第３の複数の強調画像は、位相画像である、項目１６２－１６３のいずれかに記載の方法。
１６６．
上記第１の複数の強調画像、上記第２の複数の強調画像、および上記第３の複数の強調画像を比較し、上記治療を評価することは、各画像内において、バイオマーカと関連付けられる信号を識別することを含む、項目１６２－１６５のいずれかに記載の方法。
１６７．
上記第１の複数の強調画像、上記第２の複数の強調画像、および上記第３の複数の強調画像を比較し、上記治療を評価することはさらに、
上記第１の複数の強調画像内の上記バイオマーカの信号に基づいて、第１の分布を決定することと、
上記第２の複数の強調画像内の上記バイオマーカの信号に基づいて、第２の分布を決定することと、
上記第３の複数の強調画像内の上記バイオマーカの信号に基づいて、第３の分布を決定することと
を含む、項目１６６に記載の方法。
１６８．
上記第１の複数の強調画像、上記第２の複数の強調画像、および上記第３の複数の強調画像を比較し、上記治療を評価することはさらに、
上記第１の分布、上記第２の分布、および上記第３の分布を比較し、上記治療を評価することを含む、項目１６７に記載の方法。
１６９．
上記第１の複数の強調画像、上記第２の複数の強調画像、および上記第３の複数の強調画像を比較し、上記治療を評価することは、画像毎に、上記着目疾患の状態を示すスコアを決定することを含む、項目１６２－１６５のいずれかに記載の方法。
１７０．
上記第１の複数の強調画像、上記第２の複数の強調画像、および上記第３の複数の強調画像を比較し、上記治療を評価することはさらに、
上記第１の複数の強調画像のスコアに基づいて、第１の分布を決定することと、
上記第２の複数の強調画像のスコアに基づいて、第２の分布を決定することと、
上記第３の複数の強調画像のスコアに基づいて、第３の分布を決定することと
を含む、項目１６９に記載の方法。
１７１．
上記第１の複数の強調画像、上記第２の複数の強調画像、および上記第３の複数の強調画像を比較し、上記治療を評価することはさらに、
上記第１の分布、上記第２の分布、および上記第３の分布を比較し、上記治療を評価することを含む、項目１７０に記載の方法。
１７２．
上記治療は、第１の治療であり、上記方法はさらに、
上記着目疾患によって罹患され、第２の治療によって治療されている第４の治療された生物学的サンプルのセットを描写する第４の複数の画像を受信することと、
上記第４の複数の画像を上記訓練された機械学習モデルの中に入力し、第４の複数の強調画像を取得することと、
上記第１の複数の強調画像、上記第２の複数の強調画像、上記第３の複数の強調画像、および上記第４の複数の強調画像を比較し、上記第１の治療および上記第２の治療を比較することと
を含む、項目１６２－１７１のいずれかに記載の方法。
１７３．
上記比較に基づいて、上記第１の治療および上記第２の治療から治療を選択することをさらに含む、項目１７２に記載の方法。
１７４．
上記選択された治療を投与することをさらに含む、項目１７３に記載の方法。
１７５．
上記選択された治療に基づいて、医療推奨を提供することをさらに含む、項目１７３に記載の方法。
１７６．
上記訓練された機械学習モデルは、弁別器と、生成器とを備えるＧＡＮモデルである、項目１６２－１７５のいずれかに記載の方法。
１７７．
上記機械学習モデルは、条件付きＧＡＮモデルである、項目１７６に記載の方法。
１７８．
上記生成器は、複数の周波数群に対応する複数のニューラルネットワークを備える、項目１７６－１７７のいずれかに記載の方法。
１７９．
上記複数のニューラルネットワークの各ニューラルネットワークは、個別の周波数群のためのウェーブレット係数を生成するように構成される、項目１７８に記載の方法。
１８０．
上記弁別器は、ＰａｔｃｈＧＡＮニューラルネットワークである、項目１７６－１７９のいずれかに記載の方法。
１８１．
着目疾患に対する治療を評価するためのシステムであって、
１つまたはそれを上回るプロセッサと、
メモリと、
１つまたはそれを上回るプログラムであって、上記１つまたはそれを上回るプログラムは、上記メモリ内に記憶され、上記１つまたはそれを上回るプロセッサによって実行されるように構成され、上記１つまたはそれを上回るプログラムは、
上記着目疾患によって罹患されていない第１の健康な生物学的サンプルのセットを描写する第１の複数の画像を受信することと、
上記着目疾患によって罹患されている第２の未治療の生物学的サンプルのセットを描写する第２の複数の画像を受信することと、
上記着目疾患によって罹患され、上記治療によって治療されている第３の治療された生物学的サンプルのセットを描写する第３の複数の画像を受信することと、
上記第１の複数の画像を訓練された機械学習モデルの中に入力し、第１の複数の強調画像を取得することと、
上記第２の複数の画像を上記訓練された機械学習モデルの中に入力し、第２の複数の強調画像を取得することと、
上記第３の複数の画像を上記訓練された機械学習モデルの中に入力し、第３の複数の強調画像を取得することと、
上記第１の複数の強調画像、上記第２の複数の強調画像、および上記第３の複数の強調画像を比較し、上記治療を評価することと
を行うための命令を含む、１つまたはそれを上回るプログラムと
を備える、システム。
１８２．
着目疾患に対する治療を評価するための１つまたはそれを上回るプログラムを記憶する非一過性コンピュータ可読記憶媒体であって、上記１つまたはそれを上回るプログラムは、命令を備え、上記命令は、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、上記電子デバイスに、
上記着目疾患によって罹患されていない第１の健康な生物学的サンプルのセットを描写する第１の複数の画像を受信することと、
上記着目疾患によって罹患されている第２の未治療の生物学的サンプルのセットを描写する第２の複数の画像を受信することと、
上記着目疾患によって罹患され、上記治療によって治療されている第３の治療された生物学的サンプルのセットを描写する第３の複数の画像を受信することと、
上記第１の複数の画像を訓練された機械学習モデルの中に入力し、第１の複数の強調画像を取得することと、
上記第２の複数の画像を上記訓練された機械学習モデルの中に入力し、第２の複数の強調画像を取得することと、
上記第３の複数の画像を上記訓練された機械学習モデルの中に入力し、第３の複数の強調画像を取得することと、
上記第１の複数の強調画像、上記第２の複数の強調画像、および上記第３の複数の強調画像を比較し、上記治療を評価することと
を行わせる、非一過性コンピュータ可読記憶媒体。
本開示および実施例は、付随の図を完全に参照して説明されているが、種々の変更および修正が当業者に明白となるであろうことに留意されたい。そのような変更および修正は、請求項によって定義されるような本開示の範囲および実施例内に含まれるものとして理解されるべきである。
前述の説明は、解説の目的のために、具体的実施形態を参照して説明されている。しかしながら、上記の例証的議論は、包括的であること、または本発明を開示される精密な形態に限定することを意図するものではない。多くの修正および変形例が、上記の教示に照らして可能性として考えられる。実施形態は、本技法の原理およびその実践的用途を最良に解説するために選定およびに説明される。当業者は、それによって、検討される特定の使用に好適であるような種々の修正を伴って、本技法および種々の実施形態を最良に利用することを可能にされる。

Claims (182)

  1. 機械学習モデルを訓練し、生物学的サンプルの画像を生成するための方法であって、
    複数の訓練画像を取得することであって、前記複数の訓練画像は、
    第１のタイプの訓練画像と、
    第２のタイプの訓練画像と
    を備える、ことと、
    前記第１のタイプの訓練画像に基づいて、前記機械学習モデルを使用して、複数のウェーブレット係数を生成することと、
    前記複数のウェーブレット係数に基づいて、前記第２のタイプの合成画像を生成することと、
    前記第２のタイプの合成画像と前記第２のタイプの訓練画像を比較することと、
    前記比較に基づいて、前記機械学習モデルを更新することと
    を含む、方法。
  2. 前記第１のタイプの訓練画像は、生物学的サンプルの明視野画像である、請求項１に記載の方法。
  3. 前記第２のタイプの訓練画像は、前記生物学的サンプルの蛍光画像である、請求項２に記載の方法。
  4. 前記機械学習モデルは、生成器と、弁別器とを備える、請求項１－３のいずれかに記載の方法。
  5. 前記機械学習モデルは、条件付きＧＡＮモデルを備える、請求項４に記載の方法。
  6. 前記生成器は、複数の周波数群に対応する複数のニューラルネットワークを備える、請求項４－５のいずれかに記載の方法。
  7. 前記複数のニューラルネットワークの各ニューラルネットワークは、個別の周波数群のためのウェーブレット係数を生成するように構成される、請求項６に記載の方法。
  8. 前記複数のニューラルネットワークは、複数のＵ－Ｎｅｔニューラルネットワークを備える、請求項６－７のいずれかに記載の方法。
  9. 前記弁別器は、ＰａｔｃｈＧＡＮニューラルネットワークである、請求項５－８のいずれかに記載の方法。
  10. 前記第１のタイプの訓練画像に基づいて、第３のタイプの画像を生成することをさらに含む、請求項１－９のいずれかに記載の方法。
  11. 前記第３のタイプの画像は、位相偏移画像である、請求項１０に記載の方法。
  12. 前記第１のタイプの訓練画像に基づいて、第４のタイプの画像を生成することをさらに含む、請求項１－１１のいずれかに記載の方法。
  13. 前記第４のタイプの画像は、区画化データを備える、請求項１２に記載の方法。
  14. 前記第１のタイプの訓練画像は、顕微鏡を使用して、第１の照明スキームに従って捕捉される、請求項１－１３のいずれかに記載の方法。
  15. 前記第１の照明スキームは、１つまたはそれを上回る照明パターンを備える、請求項１４に記載の方法。
  16. 前記第１のタイプの訓練画像は、明視野画像アレイの一部である、請求項１４－１５のいずれかに記載の方法。
  17. 前記複数の訓練画像は、第１の複数の訓練画像であり、前記方法はさらに、
    前記比較に基づいて、第２の照明スキームを識別することと、
    前記第１のタイプの１つまたはそれを上回る画像を備える第２の複数の訓練画像を取得することであって、前記第１のタイプの１つまたはそれを上回る画像は、前記第２の照明スキームに基づいて取得される、ことと、
    前記第２の複数の訓練画像に基づいて、前記機械学習モデルを訓練することと
    を含む、請求項１４－１６のいずれかに記載の方法。
  18. 顕微鏡を使用して、前記第１のタイプの複数の画像を取得することと、
    前記取得された複数の画像に基づいて、前記機械学習モデルを使用して、前記第２のタイプの複数の合成画像を生成することと
    をさらに含む、請求項１－１６のいずれかに記載の方法。
  19. 前記第２のタイプの複数の合成画像に基づいて、分類子を訓練することをさらに含む、請求項１８に記載の方法。
  20. 前記顕微鏡は、第１の顕微鏡であり、前記分類子は、第１の分類子であり、
    第２の顕微鏡を使用して、前記第２のタイプの複数の画像を取得することと、
    前記第２のタイプの複数の画像に基づいて、第２の分類子を訓練することと、
    前記第１の分類子および前記第２の分類子の性能を比較することと
    をさらに含む、請求項１９に記載の方法。
  21. 前記第２の顕微鏡は、蛍光顕微鏡である、請求項２０に記載の方法。
  22. 生物学的サンプルの強調画像を生成するための方法であって、
    顕微鏡を使用して、生物学的サンプルの画像を取得することと、
    前記画像に基づいて、機械学習モデルを使用して、前記生物学的サンプルの強調画像を生成することであって、前記機械学習モデルは、
    複数の訓練画像を取得することであって、前記複数の訓練画像は、
    第１のタイプの訓練画像と、
    第２のタイプの訓練画像と
    を備える、ことと、
    前記第１のタイプの訓練画像に基づいて、前記機械学習モデルを使用して、複数のウェーブレット係数を生成することと、
    前記複数のウェーブレット係数に基づいて、前記第２のタイプの合成画像を生成することと、
    前記第２のタイプの合成画像と前記第２のタイプの訓練画像を比較することと、
    前記比較に基づいて、前記機械学習モデルを更新することと
    によって訓練されている、ことと
    を含む、方法。
  23. 前記第１のタイプの訓練画像は、生物学的サンプルの明視野画像である、請求項２２に記載の方法。
  24. 前記第２のタイプの訓練画像は、前記生物学的サンプルの蛍光画像である、請求項２２に記載の方法。
  25. 前記機械学習モデルは、生成器と、弁別器とを備える、請求項２２－２４のいずれかに記載の方法。
  26. 前記機械学習モデルは、条件付きＧＡＮモデルを備える、請求項２５に記載の方法。
  27. 前記生成器は、複数の周波数群に対応する複数のニューラルネットワークを備える、請求項２５－２６のいずれかに記載の方法。
  28. 前記複数のニューラルネットワークの各ニューラルネットワークは、個別の周波数群のためのウェーブレット係数を生成するように構成される、請求項２７に記載の方法。
  29. 前記複数のニューラルネットワークは、複数のＵ－Ｎｅｔニューラルネットワークを備える、請求項２７－２８のいずれかに記載の方法。
  30. 前記弁別器は、ＰａｔｃｈＧＡＮニューラルネットワークである、請求項２６－２９のいずれかに記載の方法。
  31. 前記第１のタイプの訓練画像に基づいて、第３のタイプの画像を生成することをさらに含む、請求項２３－３０のいずれかに記載の方法。
  32. 前記第３のタイプの画像は、位相偏移画像である、請求項３１に記載の方法。
  33. 前記第１のタイプの訓練画像に基づいて、第４のタイプの画像を生成することをさらに含む、請求項２３－３２のいずれかに記載の方法。
  34. 前記第４のタイプの画像は、区画化データを備える、請求項３３に記載の方法。
  35. 前記第１のタイプの訓練画像は、顕微鏡を使用して、第１の照明スキームに従って捕捉される、請求項２３－３４のいずれかに記載の方法。
  36. 前記第１の照明スキームは、１つまたはそれを上回る照明パターンを備える、請求項３５に記載の方法。
  37. 前記第１のタイプの訓練画像は、明視野画像アレイの一部である、請求項３５－３６のいずれかに記載の方法。
  38. 前記複数の訓練画像は、第１の複数の訓練画像であり、前記方法はさらに、
    前記比較に基づいて、第２の照明スキームを識別することと、
    前記第１のタイプの１つまたはそれを上回る画像を備える第２の複数の訓練画像を取得することであって、前記第１のタイプの１つまたはそれを上回る画像は、前記第２の照明スキームに基づいて取得される、ことと、
    前記第２の複数の訓練画像に基づいて、前記機械学習モデルを訓練することと
    を含む、請求項３５－３７のいずれかに記載の方法。
  39. 顕微鏡を使用して、前記第１のタイプの複数の画像を取得することと、
    前記取得された複数の画像に基づいて、前記機械学習モデルを使用して、前記第２のタイプの複数の合成画像を生成することと
    をさらに含む、請求項３５－３８のいずれかに記載の方法。
  40. 前記第２のタイプの複数の合成画像に基づいて、分類子を訓練することをさらに含む、請求項３９に記載の方法。
  41. 前記顕微鏡は、第１の顕微鏡であり、前記分類子は、第１の分類子であり、
    第２の顕微鏡を使用して、前記第２のタイプの複数の画像を取得することと、
    前記第２のタイプの複数の画像に基づいて、第２の分類子を訓練することと、
    前記第１の分類子および前記第２の分類子の性能を比較することと
    をさらに含む、請求項４０に記載の方法。
  42. 前記第２の顕微鏡は、蛍光顕微鏡である、請求項４１に記載の方法。
  43. 機械学習モデルを訓練し、生物学的サンプルの画像を生成するためのシステムであって、
    １つまたはそれを上回るプロセッサと、機械学習モデルを記憶する１つまたはそれを上回るメモリとを備えるコンピューティングシステムであって、前記コンピューティングシステムは、第１のタイプの複数の訓練画像および第２のタイプの１つの訓練画像を受信するように構成され、前記コンピューティングシステムは、
    前記第１のタイプの訓練画像に基づいて、前記機械学習モデルを使用して、複数のウェーブレット係数を生成することと、
    前記複数のウェーブレット係数に基づいて、前記第２のタイプの合成画像を生成することと、
    前記第２のタイプの合成画像と前記第２のタイプの訓練画像を比較することと、
    前記比較に基づいて、前記機械学習モデルを更新することと
    を行うように構成される、コンピューティングシステム
    を備える、システム。
  44. 前記第１のタイプの訓練画像は、生物学的サンプルの明視野画像である、請求項４３に記載のシステム。
  45. 前記第２のタイプの訓練画像は、前記生物学的サンプルの蛍光画像である、請求項４３－４４のいずれかに記載のシステム。
  46. 前記機械学習モデルは、生成器と、弁別器とを備える、請求項４３－４５のいずれかに記載のシステム。
  47. 前記機械学習モデルは、条件付きＧＡＮモデルを備える、請求項４６に記載のシステム。
  48. 前記生成器は、複数の周波数群に対応する複数のニューラルネットワークを備える、請求項４６－４７のいずれかに記載のシステム。
  49. 前記複数のニューラルネットワークの各ニューラルネットワークは、個別の周波数群のためのウェーブレット係数を生成するように構成される、請求項４８に記載のシステム。
  50. 前記複数のニューラルネットワークは、複数のＵ－Ｎｅｔニューラルネットワークを備える、請求項４８－４９のいずれかに記載のシステム。
  51. 前記弁別器は、ＰａｔｃｈＧＡＮニューラルネットワークである、請求項４６－５０のいずれかに記載のシステム。
  52. 前記コンピューティングシステムはさらに、前記第１のタイプの訓練画像に基づいて、第３のタイプの画像を生成するように構成される、請求項４３－５１のいずれかに記載のシステム。
  53. 前記第３のタイプの画像は、位相偏移画像である、請求項５２に記載のシステム。
  54. 前記コンピューティングシステムはさらに、前記第１のタイプの訓練画像に基づいて、第４のタイプの画像を生成するように構成される、請求項４３－５３のいずれかに記載のシステム。
  55. 前記第４のタイプの画像は、区画化データを備える、請求項５４に記載のシステム。
  56. 前記第１のタイプの訓練画像は、顕微鏡を使用して、第１の照明スキームに従って捕捉される、請求項４３－５５のいずれかに記載のシステム。
  57. 前記第１の照明スキームは、１つまたはそれを上回る照明パターンを備える、請求項５６に記載のシステム。
  58. 前記第１のタイプの訓練画像は、明視野画像アレイの一部である、請求項５６－５７のいずれかに記載のシステム。
  59. 前記複数の訓練画像は、第１の複数の訓練画像であり、前記コンピューティングシステムはさらに、
    前記比較に基づいて、第２の照明スキームを識別することと、
    前記第１のタイプの１つまたはそれを上回る画像を備える第２の複数の訓練画像を取得することであって、前記第１のタイプの１つまたはそれを上回る画像は、前記第２の照明スキームに基づいて取得される、ことと、
    前記第２の複数の訓練画像に基づいて、前記機械学習モデルを訓練することと
    を行うように構成される、請求項５６－５８のいずれかに記載のシステム。
  60. 前記コンピューティングシステムはさらに、
    顕微鏡を使用して、前記第１のタイプの複数の画像を取得することと、
    前記取得された複数の画像に基づいて、前記機械学習モデルを使用して、前記第２のタイプの複数の合成画像を生成することと
    を行うように構成される、請求項４３－５９のいずれかに記載のシステム。
  61. 前記コンピューティングシステムはさらに、前記第２のタイプの複数の合成画像に基づいて、分類子を訓練するように構成される、請求項５９に記載のシステム。
  62. 前記顕微鏡は、第１の顕微鏡であり、前記分類子は、第１の分類子であり、前記コンピューティングシステムはさらに、
    第２の顕微鏡を使用して、前記第２のタイプの複数の画像を取得することと、
    前記第２のタイプの複数の画像に基づいて、第２の分類子を訓練することと、
    前記第１の分類子および前記第２の分類子の性能を比較することと
    を行うように構成される、請求項６１に記載のシステム。
  63. 前記第２の顕微鏡は、蛍光顕微鏡である、請求項６２に記載のシステム。
  64. 生物学的サンプルの強調画像を生成するためのシステムであって、
    １つまたはそれを上回るプロセッサと、機械学習モデルを記憶する１つまたはそれを上回るメモリとを備えるコンピューティングシステムであって、前記コンピューティングシステムは、顕微鏡から取得される生物学的サンプルの画像を受信し、前記画像に基づいて、機械学習モデルを使用して、前記生物学的サンプルの強調画像を生成するように構成され、前記機械学習モデルは、
    複数の訓練画像を取得することであって、前記複数の訓練画像は、
    第１のタイプの訓練画像と、
    第２のタイプの訓練画像と
    を備える、ことと、
    前記第１のタイプの訓練画像に基づいて、前記機械学習モデルを使用して、複数のウェーブレット係数を生成することと、
    前記複数のウェーブレット係数に基づいて、前記第２のタイプの合成画像を生成することと、
    前記第２のタイプの合成画像と前記第２のタイプの訓練画像を比較することと、
    前記比較に基づいて、前記機械学習モデルを更新することと
    によって訓練されている、コンピューティングシステム
    を備える、システム。
  65. 前記第１のタイプの訓練画像は、生物学的サンプルの明視野画像である、請求項６４に記載のシステム。
  66. 前記第２のタイプの訓練画像は、前記生物学的サンプルの蛍光画像である、請求項６４に記載のシステム。
  67. 前記機械学習モデルは、生成器と、弁別器とを備える、請求項６４－６６のいずれかに記載のシステム。
  68. 前記機械学習モデルは、条件付きＧＡＮモデルを備える、請求項６７に記載のシステム。
  69. 前記生成器は、複数の周波数群に対応する複数のニューラルネットワークを備える、請求項６７－６８のいずれかに記載のシステム。
  70. 前記複数のニューラルネットワークの各ニューラルネットワークは、個別の周波数群のためのウェーブレット係数を生成するように構成される、請求項６９に記載のシステム。
  71. 前記複数のニューラルネットワークは、複数のＵ－Ｎｅｔニューラルネットワークを備える、請求項６９－７０のいずれかに記載のシステム。
  72. 前記弁別器は、ＰａｔｃｈＧＡＮニューラルネットワークである、請求項６７－７１のいずれかに記載のシステム。
  73. 前記機械学習モデルはさらに、前記第１のタイプの訓練画像に基づいて、第３のタイプの画像を生成することによって訓練される、請求項６４－７２のいずれかに記載のシステム。
  74. 前記第３のタイプの画像は、位相偏移画像である、請求項７３に記載のシステム。
  75. 前記機械学習モデルは、前記第１のタイプの訓練画像に基づいて、第４のタイプの画像を生成することによって訓練されている、請求項６４－７４のいずれかに記載のシステム。
  76. 前記第４のタイプの画像は、区画化データを備える、請求項７５に記載のシステム。
  77. 前記第１のタイプの訓練画像は、顕微鏡を使用して、第１の照明スキームに従って捕捉される、請求項６４－７６のいずれかに記載のシステム。
  78. 前記第１の照明スキームは、１つまたはそれを上回る照明パターンを備える、請求項７７に記載のシステム。
  79. 前記第１のタイプの訓練画像は、明視野画像アレイの一部である、請求項７７－７８のいずれかに記載のシステム。
  80. 前記複数の訓練画像は、第１の複数の訓練画像であり、前記機械学習モデルは、
    前記比較に基づいて、第２の照明スキームを識別することと、
    前記第１のタイプの１つまたはそれを上回る画像を備える第２の複数の訓練画像を取得することであって、前記第１のタイプの１つまたはそれを上回る画像は、前記第２の照明スキームに基づいて取得される、ことと、
    前記第２の複数の訓練画像に基づいて、前記機械学習モデルを訓練することと
    によって訓練されている、請求項７７－７９のいずれかに記載のシステム。
  81. 前記機械学習モデルは、
    顕微鏡を使用して、前記第１のタイプの複数の画像を取得することと、
    前記取得された複数の画像に基づいて、前記機械学習モデルを使用して、前記第２のタイプの複数の合成画像を生成することと
    によって訓練されている、請求項７７－８０のいずれかに記載のシステム。
  82. 前記機械学習モデルは、前記第２のタイプの複数の合成画像に基づいて、分類子を訓練することによって訓練されている、請求項８１に記載のシステム。
  83. 前記顕微鏡は、第１の顕微鏡であり、前記分類子は、第１の分類子であり、前記機械学習モデルは、
    第２の顕微鏡を使用して、前記第２のタイプの複数の画像を取得することと、
    前記第２のタイプの複数の画像に基づいて、第２の分類子を訓練することと、
    前記第１の分類子および前記第２の分類子の性能を比較することと
    によって訓練されている、請求項８２に記載のシステム。
  84. 前記第２の顕微鏡は、蛍光顕微鏡である、請求項８３に記載のシステム。
  85. 生物学的サンプルの画像を処理し、１つまたはそれを上回る出力画像を取得する方法であって、
    光学システムのＳＬＭの複数の構成を使用して、前記生物学的サンプルの複数の画像を取得することであって、前記ＳＬＭは、前記生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ことと、
    前記生物学的サンプルの複数の画像を訓練された機械学習モデルの中に入力し、前記１つまたはそれを上回る出力画像を取得することと
    を含む、方法。
  86. 前記ＳＬＭの複数の構成のうちの少なくとも１つの構成は、１つまたはそれを上回る光学収差を生成するためのものである、請求項８５に記載の方法。
  87. １つまたはそれを上回る光学収差を生成することは、球面収差、非点収差、外焦点、歪曲、傾斜、またはそれらの任意の組み合わせを含む、請求項８６に記載の方法。
  88. 前記ＳＬＭの複数の構成のうちの少なくとも１つの構成は、１つまたはそれを上回る特徴を強調させるためのものである、請求項８５－８６のいずれかに記載の方法。
  89. 前記１つまたはそれを上回る特徴は、細胞境界、アクチンフィラメント、核形状、細胞質区画化、またはそれらの任意の組み合わせを含む、請求項８８に記載の方法。
  90. 前記ＳＬＭの複数の構成のうちの少なくとも１つの構成は、光学収差を低減させるためのものである、請求項８５－８９のいずれかに記載の方法。
  91. 前記複数のＳＬＭ構成は、前記生物学的サンプルの画像を異なる深度において取得するためのものである、請求項８５－９０のいずれかに記載の方法。
  92. 前記機械学習モデルは、第１のタイプの画像に基づいて、第２のタイプの画像を生成するように構成される、請求項８５－９１のいずれかに記載の方法。
  93. 前記第１のタイプの画像は、明視野画像である、請求項９２に記載の方法。
  94. 前記第２のタイプの画像は、蛍光画像である、請求項９２に記載の方法。
  95. 前記第２のタイプの画像は、前記第１のタイプの画像の強調されたバージョンである、請求項９２に記載の方法。
  96. 前記機械学習モデルは、ＧＡＮモデルまたは自己教師ありモデルである、請求項９２－９５のいずれかに記載の方法。
  97. 前記複数の画像は、前記光学システムの光源の複数の構成を使用して取得される、請求項８５－９６のいずれかに記載の方法。
  98. 前記光源は、前記光学システムのＬＥＤアレイである、請求項９７に記載の方法。
  99. 前記複数のＳＬＭ構成のうちの少なくとも１つの構成は、
    前記機械学習モデルを訓練することと、
    前記訓練された機械学習モデルを評価することと、
    前記評価に基づいて、前記少なくとも１つの構成を識別することと
    によって取得される、請求項８５－９８のいずれかに記載の方法。
  100. 前記訓練された機械学習モデルは、入力画像を受信し、前記入力画像の強調されたバージョンを出力するように構成される、請求項８５－９９のいずれかに記載の方法。
  101. 前記入力画像の強調されたバージョンは、１つまたはそれを上回る強調された細胞表現型を備える、請求項１００に記載の方法。
  102. 生物学的サンプルの画像を処理し、１つまたはそれを上回る出力画像を取得するための電子デバイスであって、
    １つまたはそれを上回るプロセッサと、
    メモリと、
    １つまたはそれを上回るプログラムであって、前記１つまたはそれを上回るプログラムは、前記メモリ内に記憶され、前記１つまたはそれを上回るプロセッサによって実行されるように構成され、前記１つまたはそれを上回るプログラムは、
    光学システムのＳＬＭの複数の構成を使用して、前記生物学的サンプルの複数の画像を取得することであって、前記ＳＬＭは、前記生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ことと、
    前記生物学的サンプルの複数の画像を訓練された機械学習モデルの中に入力し、前記１つまたはそれを上回る出力画像を取得することと
    を行うための命令を含む、１つまたはそれを上回るプログラムと
    を備える、電子デバイス。
  103. 生物学的サンプルの画像を処理し、１つまたはそれを上回る出力画像を取得するための１つまたはそれを上回るプログラムを記憶する非一過性コンピュータ可読記憶媒体であって、前記１つまたはそれを上回るプログラムは、命令を備え、前記命令は、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、前記電子デバイスに、
    光学システムのＳＬＭの複数の構成を使用して、前記生物学的サンプルの複数の画像を取得することであって、前記ＳＬＭは、前記生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ことと、
    前記生物学的サンプルの複数の画像を訓練された機械学習モデルの中に入力し、前記１つまたはそれを上回る出力画像を取得することと
    を行わせる、非一過性コンピュータ可読記憶媒体。
  104. 生物学的サンプルの画像を分類する方法であって、
    光学システムのＳＬＭの複数の構成を使用して、前記生物学的サンプルの複数の画像を取得することであって、前記ＳＬＭは、前記生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ことと、
    前記生物学的サンプルの複数の画像を訓練された機械学習モデルの中に入力し、１つまたはそれを上回る分類出力を取得することと
    を含む、方法。
  105. 前記ＳＬＭの複数の構成のうちの少なくとも１つの構成は、１つまたはそれを上回る光学収差を生成するためのものである、請求項１０４に記載の方法。
  106. １つまたはそれを上回る光学収差を生成することは、球面収差、非点収差、外焦点、歪曲、傾斜、またはそれらの任意の組み合わせを含む、請求項１０５に記載の方法。
  107. 前記ＳＬＭの複数の構成のうちの少なくとも１つの構成は、１つまたはそれを上回る特徴を強調させるためのものである、請求項１０４－１０６のいずれかに記載の方法。
  108. 前記１つまたはそれを上回る特徴は、細胞境界、アクチンフィラメント、核形状、細胞質区画化、またはそれらの任意の組み合わせを含む、請求項１０７に記載の方法。
  109. 前記ＳＬＭの複数の構成のうちの少なくとも１つの構成は、光学収差を低減させるためのものである、請求項１０４－１０８のいずれかに記載の方法。
  110. 前記複数のＳＬＭ構成は、前記生物学的サンプルの画像を異なる深度において取得するためのものである、請求項１０４－１０９のいずれかに記載の方法。
  111. 前記複数の画像は、前記光学システムの光源の複数の構成を使用して取得される、請求項１０４－１１０のいずれかに記載の方法。
  112. 前記光源は、前記光学システムのＬＥＤアレイである、請求項１１１に記載の方法。
  113. 前記複数のＳＬＭ構成のうちの少なくとも１つの構成は、
    前記機械学習モデルを訓練することと、
    前記訓練された機械学習モデルを評価することと、
    前記評価に基づいて、前記少なくとも１つの構成を識別することと
    によって取得される、請求項１０４－１１２のいずれかに記載の方法。
  114. 前記訓練された機械学習モデルは、入力画像を受信し、１つまたはそれを上回る事前に定義された物体を前記入力画像内で検出するように構成される、請求項１０４－１１３のいずれかに記載の方法。
  115. 前記事前に定義された物体は、罹患組織を含む、請求項１１４に記載の方法。
  116. 生物学的サンプルの画像を分類するための電子デバイスであって、
    １つまたはそれを上回るプロセッサと、
    メモリと、
    １つまたはそれを上回るプログラムであって、前記１つまたはそれを上回るプログラムは、前記メモリ内に記憶され、前記１つまたはそれを上回るプロセッサによって実行されるように構成され、前記１つまたはそれを上回るプログラムは、
    光学システムのＳＬＭの複数の構成を使用して、前記生物学的サンプルの複数の画像を取得することであって、前記ＳＬＭは、前記生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ことと、
    前記生物学的サンプルの複数の画像を訓練された機械学習モデルの中に入力し、１つまたはそれを上回る分類出力を取得することと
    を行うための命令を含む、１つまたはそれを上回るプログラムと、
    を備える、電子デバイス。
  117. 生物学的サンプルの画像を分類するための１つまたはそれを上回るプログラムを記憶する非一過性コンピュータ可読記憶媒体であって、前記１つまたはそれを上回るプログラムは、命令を備え、前記命令は、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、前記電子デバイスに、
    光学システムのＳＬＭの複数の構成を使用して、前記生物学的サンプルの複数の画像を取得することであって、前記ＳＬＭは、前記生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ことと、
    前記生物学的サンプルの複数の画像を訓練された機械学習モデルの中に入力し、１つまたはそれを上回る分類出力を取得することと
    を行わせる、非一過性コンピュータ可読記憶媒体。
  118. 機械学習モデルを訓練するための方法であって、
    光学システムのＳＬＭの複数の構成を使用して、生物学的サンプルの複数の画像を取得することであって、前記ＳＬＭは、前記生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ことと、
    前記複数の画像を使用して、前記機械学習モデルを訓練することと
    を含む、方法。
  119. 前記ＳＬＭの複数の構成のうちの少なくとも１つの構成は、１つまたはそれを上回る光学収差を生成するためのものである、請求項１１８に記載の方法。
  120. １つまたはそれを上回る光学収差を生成することは、球面収差、非点収差、外焦点、歪曲、傾斜、またはそれらの任意の組み合わせを含む、請求項１１９に記載の方法。
  121. 前記ＳＬＭの複数の構成のうちの少なくとも１つの構成は、１つまたはそれを上回る特徴を強調させるためのものである、請求項１１８－１２０のいずれかに記載の方法。
  122. 前記１つまたはそれを上回る特徴は、細胞境界、アクチンフィラメント、核形状、細胞質区画化、またはそれらの任意の組み合わせを含む、請求項１２１に記載の方法。
  123. 前記ＳＬＭの複数の構成のうちの少なくとも１つの構成は、光学収差を低減させるためのものである、請求項１１８－１２２のいずれかに記載の方法。
  124. 前記ＳＬＭの複数の構成のうちの少なくとも１つの構成は、前記生物学的サンプルの画像を異なる深度において取得するためのものである、請求項１１８－１２３のいずれかに記載の方法。
  125. 前記機械学習モデルは、第１のタイプの画像に基づいて、第２のタイプの画像を生成するように構成される、請求項１１８－１２４のいずれかに記載の方法。
  126. 前記第１のタイプの画像は、明視野画像である、請求項１２５に記載の方法。
  127. 前記第２のタイプの画像は、蛍光画像である、請求項１２５に記載の方法。
  128. 前記機械学習モデルは、ＧＡＮモデルまたは自己教師ありモデルである、請求項１１８－１２７のいずれかに記載の方法。
  129. 前記機械学習モデルは、分類モデルである、請求項１１８－１２８のいずれかに記載の方法。
  130. 前記複数の画像は、前記光学システムの光源の複数の構成を使用して取得される、請求項１１８－１２９のいずれかに記載の方法。
  131. 前記光源は、前記光学システムのＬＥＤアレイである、請求項１３０に記載の方法。
  132. 前記機械学習モデルを訓練することは、
    （ａ）第１の画像を使用して、前記機械学習モデルを訓練することであって、前記第１の画像は、前記光学システムのＳＬＭの第１の構成を使用して取得される、ことと、
    （ｂ）前記訓練された機械学習モデルを評価することと、
    （ｃ）前記評価に基づいて、前記ＳＬＭの第２の構成を識別することと、
    （ｄ）第２の画像を使用して、前記機械学習モデルを訓練することであって、前記第２の画像は、前記光学システムのＳＬＭの第２の構成を使用して取得されることと
    を含む、請求項１１８－１３１のいずれかに記載の方法。
  133. 前記評価は、前記機械学習モデルの損失関数に基づく、請求項１１２に記載の方法。
  134. 閾値が満たされるまで、ステップ（ａ）－（ｄ）を繰り返すことをさらに含む、請求項１１２－１１３のいずれかに記載の方法。
  135. 前記閾値は、前記訓練の収束を示す、請求項１１４に記載の方法。
  136. 前記訓練された機械学習モデルは、入力画像を受信し、前記入力画像の強調されたバージョンを出力するように構成される、請求項１１８－１３５のいずれかに記載の方法。
  137. 前記入力画像の強調されたバージョンは、１つまたはそれを上回る強調された細胞表現型を備える、請求項１３６に記載の方法。
  138. 前記訓練された機械学習モデルは、入力画像を受信し、１つまたはそれを上回る事前に定義された物体を前記入力画像内で検出するように構成される、請求項１１８－１３５のいずれかに記載の方法。
  139. 前記事前に定義された物体は、罹患組織を含む、請求項１３８に記載の方法。
  140. 機械学習モデルを訓練するための電子デバイスであって、
    １つまたはそれを上回るプロセッサと、
    メモリと、
    １つまたはそれを上回るプログラムであって、前記１つまたはそれを上回るプログラムは、前記メモリ内に記憶され、前記１つまたはそれを上回るプロセッサによって実行されるように構成され、前記１つまたはそれを上回るプログラムは、
    光学システムのＳＬＭの複数の構成を使用して、生物学的サンプルの複数の画像を取得することであって、前記ＳＬＭは、前記生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ことと、
    前記複数の画像を使用して、前記機械学習モデルを訓練することと
    を行うための命令を含む、１つまたはそれを上回るプログラムと
    を備える、電子デバイス。
  141. 機械学習モデルを訓練するための１つまたはそれを上回るプログラムを記憶する非一過性コンピュータ可読記憶媒体であって、前記１つまたはそれを上回るプログラムは、命令を備え、前記命令は、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、前記電子デバイスに、
    光学システムのＳＬＭの複数の構成を使用して、生物学的サンプルの複数の画像を取得することであって、前記ＳＬＭは、前記生物学的サンプルと画像記録デバイスとの間の光学経路内に位置する、ことと、
    前記複数の画像を使用して、前記機械学習モデルを訓練することと
    を行わせる、非一過性コンピュータ可読記憶媒体。
  142. 生物学的サンプルの強調画像を生成する方法であって、
    顕微鏡を使用して、照明源の照明パターンを使用して照明される生物学的サンプルの画像を取得することであって、前記照明パターンは、
    入力画像を受信し、分類結果を出力するように構成される分類モデルを訓練することと、
    前記訓練された分類モデルを使用して、複数の照明設定に対応する複数の加重を有する機械学習モデルを訓練することと、
    前記訓練された機械学習モデルの複数の加重に基づいて、前記照明パターンを識別することと
    によって決定される、ことと、
    前記生物学的サンプルの取得された画像を前記訓練された機械学習モデルの中に入力することによって、前記生物学的サンプルの強調画像を生成することと
    を含む、方法。
  143. 前記取得された画像は、明視野画像である、請求項１４２に記載の方法。
  144. 前記強調画像は、蛍光画像、位相画像、またはそれらの組み合わせである、請求項１４２－１４３のいずれかに記載の方法。
  145. 前記照明源は、照明エミッタのアレイを備える、請求項１４２－１４４のいずれかに記載の方法。
  146. 前記照明源は、ＬＥＤアレイである、請求項１４５に記載の方法。
  147. 前記照明パターンは、各照明エミッタがオンまたはオフにされるかどうかと、各照明エミッタの強度とを示す、請求項１４２－１４６のいずれかに記載の方法。
  148. 前記複数の照明設定の各照明設定は、前記照明源の個別の照明エミッタに対応し、各加重は、前記個別の照明エミッタの強度に対応する、請求項１４５－１４７のいずれかに記載の方法。
  149. 前記分類モデルは、入力位相画像または入力蛍光画像を受信し、複数の事前に定義されたクラスのうちの１つのクラスを示す分類結果を出力するように構成される、請求項１４２－１４８のいずれかに記載の方法。
  150. 前記複数の事前に定義されたクラスは、健康クラスおよび罹患クラスを含む、請求項１４９に記載の方法。
  151. 前記機械学習モデルは、前記複数の加重を備えるアテンション層と、弁別器と、生成器とを備えるＧＡＮモデルである、請求項１５０に記載の方法。
  152. 前記機械学習モデルは、条件付きＧＡＮモデルである、請求項１５１に記載の方法。
  153. 前記生成器は、複数の周波数群に対応する複数のニューラルネットワークを備える、請求項１５１－１５２のいずれかに記載の方法。
  154. 前記複数のニューラルネットワークの各ニューラルネットワークは、個別の周波数群のためのウェーブレット係数を生成するように構成される、請求項１５３に記載の方法。
  155. 前記複数のニューラルネットワークは、複数のＵ－Ｎｅｔニューラルネットワークを備える、請求項１５３－１５４のいずれかに記載の方法。
  156. 前記弁別器は、ＰａｔｃｈＧＡＮニューラルネットワークである、請求項１５１－１５５のいずれかに記載の方法。
  157. 前記訓練された分類モデルを使用して、前記機械学習モデルを訓練することは、
    前記複数の加重を複数の明視野訓練画像に適用することと、
    前記複数の加重された明視野訓練画像を集約された明視野画像の中に集約することと、
    前記集約された明視野訓練画像を前記機械学習モデルの中に入力し、強調された訓練画像および生成器損失を取得することと、
    前記強調された訓練画像を前記訓練された分類子の中に入力し、分類子損失を取得することと、
    前記分類子損失に基づいて、前記生成器損失を拡張させることと、
    前記拡張された生成器損失に基づいて、前記複数の加重を更新することと
    を含む、請求項１５１－１５６のいずれかに記載の方法。
  158. 前記訓練された分類子を使用して、前記強調画像を分類することをさらに含む、請求項１４２－１５７のいずれかに記載の方法。
  159. 前記強調画像を表示することをさらに含む、請求項１４２－１５８のいずれかに記載の方法。
  160. 生物学的サンプルの強調画像を生成するためのシステムであって、
    １つまたはそれを上回るプロセッサと、
    メモリと、
    １つまたはそれを上回るプログラムであって、前記１つまたはそれを上回るプログラムは、前記メモリ内に記憶され、前記１つまたはそれを上回るプロセッサによって実行されるように構成され、前記１つまたはそれを上回るプログラムは、
    顕微鏡を使用して、照明源の照明パターンを使用して照明される生物学的サンプルの画像を取得することであって、前記照明パターンは、
    入力画像を受信し、分類結果を出力するように構成される分類モデルを訓練することと、
    前記訓練された分類モデルを使用して、複数の照明設定に対応する複数の加重を有する機械学習モデルを訓練することと、
    前記訓練された機械学習モデルの複数の加重に基づいて、前記照明パターンを識別することと
    によって決定される、ことと、
    前記生物学的サンプルの取得された画像を前記訓練された機械学習モデルの中に入力することによって、前記生物学的サンプルの強調画像を生成することと
    を行うための命令を含む、１つまたはそれを上回るプログラムと
    を備える、システム。
  161. 生物学的サンプルの強調画像を生成するための１つまたはそれを上回るプログラムを記憶する非一過性コンピュータ可読記憶媒体であって、前記１つまたはそれを上回るプログラムは、命令を備え、前記命令は、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、前記電子デバイスに、
    顕微鏡を使用して、照明源の照明パターンを使用して照明される生物学的サンプルの画像を取得することであって、前記照明パターンは、
    入力画像を受信し、分類結果を出力するように構成される分類モデルを訓練することと、
    前記訓練された分類モデルを使用して、複数の照明設定に対応する複数の加重を有する機械学習モデルを訓練することと、
    前記訓練された機械学習モデルの複数の加重に基づいて、前記照明パターンを識別することと
    によって決定される、ことと、
    前記生物学的サンプルの取得された画像を前記訓練された機械学習モデルの中に入力することによって、前記生物学的サンプルの強調画像を生成することと
    を行わせる、非一過性コンピュータ可読記憶媒体。
  162. 着目疾患に対する治療を評価する方法であって、
    前記着目疾患によって罹患されていない第１の健康な生物学的サンプルのセットを描写する第１の複数の画像を受信することと、
    前記着目疾患によって罹患されている第２の未治療の生物学的サンプルのセットを描写する第２の複数の画像を受信することと、
    前記着目疾患によって罹患され、前記治療によって治療されている第３の治療された生物学的サンプルのセットを描写する第３の複数の画像を受信することと、
    前記第１の複数の画像を訓練された機械学習モデルの中に入力し、第１の複数の強調画像を取得することと、
    前記第２の複数の画像を前記訓練された機械学習モデルの中に入力し、第２の複数の強調画像を取得することと、
    前記第３の複数の画像を前記訓練された機械学習モデルの中に入力し、第３の複数の強調画像を取得することと、
    前記第１の複数の強調画像、前記第２の複数の強調画像、および前記第３の複数の強調画像を比較し、前記治療を評価することと
    を含む、方法。
  163. 前記第１の複数の画像、前記第２の複数の画像、および前記第３の複数の画像は、明視野画像である、請求項１６２に記載の方法。
  164. 前記第１の複数の強調画像、前記第２の複数の強調画像、および前記第３の複数の強調画像は、蛍光画像である、請求項１６２－１６３のいずれかに記載の方法。
  165. 前記第１の複数の強調画像、前記第２の複数の強調画像、および前記第３の複数の強調画像は、位相画像である、請求項１６２－１６３のいずれかに記載の方法。
  166. 前記第１の複数の強調画像、前記第２の複数の強調画像、および前記第３の複数の強調画像を比較し、前記治療を評価することは、各画像内において、バイオマーカと関連付けられる信号を識別することを含む、請求項１６２－１６５のいずれかに記載の方法。
  167. 前記第１の複数の強調画像、前記第２の複数の強調画像、および前記第３の複数の強調画像を比較し、前記治療を評価することはさらに、
    前記第１の複数の強調画像内の前記バイオマーカの信号に基づいて、第１の分布を決定することと、
    前記第２の複数の強調画像内の前記バイオマーカの信号に基づいて、第２の分布を決定することと、
    前記第３の複数の強調画像内の前記バイオマーカの信号に基づいて、第３の分布を決定することと
    を含む、請求項１６６に記載の方法。
  168. 前記第１の複数の強調画像、前記第２の複数の強調画像、および前記第３の複数の強調画像を比較し、前記治療を評価することはさらに、
    前記第１の分布、前記第２の分布、および前記第３の分布を比較し、前記治療を評価することを含む、請求項１６７に記載の方法。
  169. 前記第１の複数の強調画像、前記第２の複数の強調画像、および前記第３の複数の強調画像を比較し、前記治療を評価することは、画像毎に、前記着目疾患の状態を示すスコアを決定することを含む、請求項１６２－１６５のいずれかに記載の方法。
  170. 前記第１の複数の強調画像、前記第２の複数の強調画像、および前記第３の複数の強調画像を比較し、前記治療を評価することはさらに、
    前記第１の複数の強調画像のスコアに基づいて、第１の分布を決定することと、
    前記第２の複数の強調画像のスコアに基づいて、第２の分布を決定することと、
    前記第３の複数の強調画像のスコアに基づいて、第３の分布を決定することと
    を含む、請求項１６９に記載の方法。
  171. 前記第１の複数の強調画像、前記第２の複数の強調画像、および前記第３の複数の強調画像を比較し、前記治療を評価することはさらに、
    前記第１の分布、前記第２の分布、および前記第３の分布を比較し、前記治療を評価することを含む、請求項１７０に記載の方法。
  172. 前記治療は、第１の治療であり、前記方法はさらに、
    前記着目疾患によって罹患され、第２の治療によって治療されている第４の治療された生物学的サンプルのセットを描写する第４の複数の画像を受信することと、
    前記第４の複数の画像を前記訓練された機械学習モデルの中に入力し、第４の複数の強調画像を取得することと、
    前記第１の複数の強調画像、前記第２の複数の強調画像、前記第３の複数の強調画像、および前記第４の複数の強調画像を比較し、前記第１の治療および前記第２の治療を比較することと
    を含む、請求項１６２－１７１のいずれかに記載の方法。
  173. 前記比較に基づいて、前記第１の治療および前記第２の治療から治療を選択することをさらに含む、請求項１７２に記載の方法。
  174. 前記選択された治療を投与することをさらに含む、請求項１７３に記載の方法。
  175. 前記選択された治療に基づいて、医療推奨を提供することをさらに含む、請求項１７３に記載の方法。
  176. 前記訓練された機械学習モデルは、弁別器と、生成器とを備えるＧＡＮモデルである、請求項１６２－１７５のいずれかに記載の方法。
  177. 前記機械学習モデルは、条件付きＧＡＮモデルである、請求項１７６に記載の方法。
  178. 前記生成器は、複数の周波数群に対応する複数のニューラルネットワークを備える、請求項１７６－１７７のいずれかに記載の方法。
  179. 前記複数のニューラルネットワークの各ニューラルネットワークは、個別の周波数群のためのウェーブレット係数を生成するように構成される、請求項１７８に記載の方法。
  180. 前記弁別器は、ＰａｔｃｈＧＡＮニューラルネットワークである、請求項１７６－１７９のいずれかに記載の方法。
  181. 着目疾患に対する治療を評価するためのシステムであって、
    １つまたはそれを上回るプロセッサと、
    メモリと、
    １つまたはそれを上回るプログラムであって、前記１つまたはそれを上回るプログラムは、前記メモリ内に記憶され、前記１つまたはそれを上回るプロセッサによって実行されるように構成され、前記１つまたはそれを上回るプログラムは、
    前記着目疾患によって罹患されていない第１の健康な生物学的サンプルのセットを描写する第１の複数の画像を受信することと、
    前記着目疾患によって罹患されている第２の未治療の生物学的サンプルのセットを描写する第２の複数の画像を受信することと、
    前記着目疾患によって罹患され、前記治療によって治療されている第３の治療された生物学的サンプルのセットを描写する第３の複数の画像を受信することと、
    前記第１の複数の画像を訓練された機械学習モデルの中に入力し、第１の複数の強調画像を取得することと、
    前記第２の複数の画像を前記訓練された機械学習モデルの中に入力し、第２の複数の強調画像を取得することと、
    前記第３の複数の画像を前記訓練された機械学習モデルの中に入力し、第３の複数の強調画像を取得することと、
    前記第１の複数の強調画像、前記第２の複数の強調画像、および前記第３の複数の強調画像を比較し、前記治療を評価することと
    を行うための命令を含む、１つまたはそれを上回るプログラムと
    を備える、システム。
  182. 着目疾患に対する治療を評価するための１つまたはそれを上回るプログラムを記憶する非一過性コンピュータ可読記憶媒体であって、前記１つまたはそれを上回るプログラムは、命令を備え、前記命令は、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、前記電子デバイスに、
    前記着目疾患によって罹患されていない第１の健康な生物学的サンプルのセットを描写する第１の複数の画像を受信することと、
    前記着目疾患によって罹患されている第２の未治療の生物学的サンプルのセットを描写する第２の複数の画像を受信することと、
    前記着目疾患によって罹患され、前記治療によって治療されている第３の治療された生物学的サンプルのセットを描写する第３の複数の画像を受信することと、
    前記第１の複数の画像を訓練された機械学習モデルの中に入力し、第１の複数の強調画像を取得することと、
    前記第２の複数の画像を前記訓練された機械学習モデルの中に入力し、第２の複数の強調画像を取得することと、
    前記第３の複数の画像を前記訓練された機械学習モデルの中に入力し、第３の複数の強調画像を取得することと、
    前記第１の複数の強調画像、前記第２の複数の強調画像、および前記第３の複数の強調画像を比較し、前記治療を評価することと
    を行わせる、非一過性コンピュータ可読記憶媒体。
JP2023515589A 2020-09-08 2021-09-07 機械学習モデルを使用した生物学的画像転換 Pending JP2023544492A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063075751P 2020-09-08 2020-09-08
US63/075,751 2020-09-08
US202163143707P 2021-01-29 2021-01-29
US63/143,707 2021-01-29
PCT/US2021/049327 WO2022055903A2 (en) 2020-09-08 2021-09-07 Biological image transformation using machine-learning models

Publications (2)

Publication Number Publication Date
JP2023544492A true JP2023544492A (ja) 2023-10-24
JPWO2022055903A5 JPWO2022055903A5 (ja) 2024-07-30

Family

ID=80470738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023515589A Pending JP2023544492A (ja) 2020-09-08 2021-09-07 機械学習モデルを使用した生物学的画像転換

Country Status (7)

Country Link
US (2) US11423256B2 (ja)
EP (1) EP4211657A2 (ja)
JP (1) JP2023544492A (ja)
KR (1) KR20230110248A (ja)
AU (1) AU2021339584A1 (ja)
CA (1) CA3194038A1 (ja)
IL (1) IL301182A (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020123668A1 (de) * 2020-09-10 2022-03-10 Carl Zeiss Microscopy Gmbh Verfahren zur Bildauswertung für die SIM-Mikroskopie und SIM-Mikroskopieverfahren
US20220351530A1 (en) * 2021-05-03 2022-11-03 B.G. Negev Technologies & Applications Ltd., At Ben-Gurion University System and method of screening biological or biomedical specimens
US11900534B2 (en) * 2021-07-30 2024-02-13 The Boeing Company Systems and methods for synthetic image generation
IL310877A (en) 2021-08-16 2024-04-01 Insitro Inc Discovery platform
WO2023092108A2 (en) 2021-11-19 2023-05-25 Insitro, Inc. Autonomous cell imaging and modeling system
CN114972951A (zh) * 2022-05-17 2022-08-30 中国南方电网有限责任公司超高压输电公司广州局 渔网检测模型的训练方法、装置、计算机设备和存储介质
WO2024167916A1 (en) * 2023-02-06 2024-08-15 University Of Florida Research Foundation, Incorporated Neural network system for production of synthetic near-infrared fluorescence cholangiography (nirfc) images
CN116777892B (zh) * 2023-07-03 2024-01-26 东莞市震坤行胶粘剂有限公司 基于视觉检测的点胶质量检测方法及其系统
CN116665210B (zh) * 2023-07-28 2023-10-17 珠海横琴圣澳云智科技有限公司 基于多通道信息融合的细胞分类方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007121454A1 (en) * 2006-04-18 2007-10-25 Ge Healthcare Bio-Sciences Corp. System for preparing an image for segmentation
JP6915349B2 (ja) * 2017-04-04 2021-08-04 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
KR102237288B1 (ko) 2018-02-07 2021-04-07 울산과학기술원 기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치
CN112106061A (zh) * 2018-03-30 2020-12-18 加利福尼亚大学董事会 使用深度学习对未标记荧光图像进行数字染色的方法和系统
US11238583B2 (en) * 2020-03-25 2022-02-01 City University Of Hong Kong System and method for generating a stained image
US11561178B2 (en) * 2020-04-20 2023-01-24 Tempus Labs, Inc. Artificial fluorescent image systems and methods

Also Published As

Publication number Publication date
CA3194038A1 (en) 2022-03-17
US11423256B2 (en) 2022-08-23
KR20230110248A (ko) 2023-07-21
AU2021339584A1 (en) 2023-05-18
US20220076067A1 (en) 2022-03-10
US20220358331A1 (en) 2022-11-10
EP4211657A2 (en) 2023-07-19
IL301182A (en) 2023-05-01

Similar Documents

Publication Publication Date Title
US11423256B2 (en) Biological image transformation using machine-learning models
Jo et al. Quantitative phase imaging and artificial intelligence: a review
CN111051955B (zh) 通过使用卷积神经网络来标识利用数字全息显微镜所获取的细胞图像的品质
Xiancheng et al. Retina blood vessel segmentation using a U-net based Convolutional neural network
Patravali et al. 2D-3D fully convolutional neural networks for cardiac MR segmentation
US11397312B2 (en) Structured illumination with optimized illumination geometry
WO2020081125A1 (en) Analyzing complex single molecule emission patterns with deep learning
Khaparde et al. An attention-based Swin U-Net-Based segmentation and hybrid deep learning based diabetic retinopathy classification framework using fundus images
Vijendran et al. Optimal segmentation and fusion of multi-modal brain images using clustering based deep learning algorithm
Ghosh et al. BBBC-U-Net: Optimizing U-Net for automated plant phenotyping using big bang big crunch global optimization algorithm
Mudduluru et al. Improving medical image segmentation and classification using a novel joint deep learning model
WO2022055903A2 (en) Biological image transformation using machine-learning models
CN117751392A (zh) 基于机器学习模型的生物图像变换
JPWO2022055903A5 (ja)
Bonato et al. ASTRA: a deep learning algorithm for fast semantic segmentation of large-scale astrocytic networks
Thomas et al. Diabetic retinopathy detection using ensembled transfer learning based thrice CNN with SVM classifier
Traub et al. Towards automatic embryo staging in 3D+ t microscopy images using convolutional neural networks and PointNets
Hatanaka et al. Automated blood vessel extraction based on high-order local autocorrelation features on retinal images
Choi et al. MitoVis: A Visually-guided Interactive Intelligent System for Neuronal Mitochondria Analysis
Kefalas Cancer cell metastasis classification using image processing and convolutional neural networks
Agrawal et al. Exploration of Deep Neural Networks and Effect of Optimizer for Pulmonary Disease Diagnosis
US20230301507A1 (en) Control system for an imaging system, imaging system and method for imaging
Tomar et al. Automatic diabetic retinopathy detection in fundus images using Multi-level fire hawk convolution neural network
Roberg Towards meta-learning based, domain specifc AutoML systems in the example domain of cellular image analyses
Yao et al. Deep Joint Denoising and Detection for Enhanced Intracellular Particle Analysis

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240722

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240722

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240722

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240830