JP7459336B2 - 予測タグ付けを有する画像を生成するための画像処理のためのシステム、デバイス、および方法 - Google Patents

予測タグ付けを有する画像を生成するための画像処理のためのシステム、デバイス、および方法 Download PDF

Info

Publication number
JP7459336B2
JP7459336B2 JP2023040217A JP2023040217A JP7459336B2 JP 7459336 B2 JP7459336 B2 JP 7459336B2 JP 2023040217 A JP2023040217 A JP 2023040217A JP 2023040217 A JP2023040217 A JP 2023040217A JP 7459336 B2 JP7459336 B2 JP 7459336B2
Authority
JP
Japan
Prior art keywords
image
images
microscopy
processor
fluorescence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023040217A
Other languages
English (en)
Other versions
JP2023093434A (ja
Inventor
ジョンソン，グレゴリー
オウンコモル，チェウィン
コールマン，フォーレスト
セシャメニ，シャーミシュティー
Original Assignee
アレン インスティテュート
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アレン インスティテュート filed Critical アレン インスティテュート
Publication of JP2023093434A publication Critical patent/JP2023093434A/ja
Application granted granted Critical
Publication of JP7459336B2 publication Critical patent/JP7459336B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0275—Measuring blood flow using tracers, e.g. dye dilution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1488—Methods for deciding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Dispersion Chemistry (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Hematology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Cardiology (AREA)

Description

連邦政府による資金提供を受けた研究開発の記載
本発明は、米国国立衛生研究所からの助成金、ＮＩＨ／ＮＩＮＤＳ（Ｒ０１ＮＳ０９２４７４）およびＮＩＨ／ＮＩＭＨ（Ｒ０１ＭＨ１０４２２７）によって支援された。したがって、連邦政府は本発明において一定の権利を有し得る。
関連出願の相互参照
本出願は、２０１７年８月９日に出願された米国仮出願第６２／５４３，３３３号、２０１７年９月１８日に出願された米国仮出願第６２／５６０，０４３号、２０１７年１０月５日に出願された米国仮出願第６２／５６８，７４９号、２０１８年３月２３日に出願された米国仮出願第６２／６４７，４５６号、および２０１８年４月３日に出願された米国仮出願第６２／６５１，７６５号の優先権を主張する。上記の出願の開示は、それらの全体が参照により本明細書に組み込まれる。
本明細書で説明される方法、システム、およびデバイスは、生体または非生体（たとえば、固定標本）細胞、細胞系、または組織中の細胞内対象物の位置特定のためのラベル、タグ、または染料に曝露されていない、それらの細胞内対象物の可視化に関する。また、ラベル付け、染色、またはタグ付けされた画像スタックを含むトレーニング・データ・セットを使用してラベルなし画像中の細胞内対象物のロケーションを予測するためのシステム、デバイス、および方法が提供される。本明細書で開示される態様は、画像化データのラベル付き３Ｄスタックまたは経時スタックを用いてトレーニングすることによって生成される統計モデルに基づいて、ラベリングなしの画像化データの３次元（３Ｄ）スタックまたは経時スタックにわたって細胞対象物の時空間ロケーションを予測するためにさらに有用であり得る。
蛍光顕微鏡検査は、画像化データ中の特定の対象物の識別のために有用である。たとえば、細胞、細胞系、または組織中の特定の分子または細胞構造を識別し位置特定するために蛍光画像化が使用されることが可能である。細胞構造は、亜細胞構造（たとえば、細胞膜、核、もしくは細胞小器官）、細胞、またはスーパー細胞構造を指し得る。これは、蛍光タンパク質または化学染料を含んでいる構造固有タグを使用して亜細胞構造をバインドし、蛍光顕微鏡検査を使用して画像化することによって行われる。しかしながら、生体組織の蛍光ラベリングを含む、蛍光顕微鏡検査のためのサンプル調製は、しばしば時間がかかる。さらに、蛍光ラベルは、たとえば、蛍光タグによる毒作用または干渉を有することによってなど、研究中の生体組織構造を混乱させる可能性がある。対照的に、化学染料は、特異性がしばしばなく、大いに毒性である可能性もある。加えて、蛍光体の存在は、（たとえば、サンプル励起のためにレーザー光が使用されるとき）蛍光画像化中に使用される入射光に対して生体組織をより影響されやすくさせ、蛍光体は、繰り返される励起によって「漂白」する傾向があり、したがって、画像データを収集するための露光、解像度、および画像化時間が限定される。対照的に、明視野画像は、注目する構造に関するかなりの情報を含んでいることがあり、獲得するのが著しくより簡単であり、サンプルのより少ない混乱を伴う。したがって、対象物識別を可能にする蛍光画像化の構造固有のプロパティを、明視野画像化のあまり侵襲的でない、使いやすさのプロパティと組み合わせることが望ましい。
本明細書で説明される方法、システム、およびデバイスは、高価な顕微鏡なしに、細胞内対象物（亜細胞対象物とも呼ばれる）の容易にアクセス可能で安価な可視化を提供する。その上、これらの方法、システム、およびデバイスは、薬物および毒性スクリーニングおよびテスト、細胞状態のアセスメント、細胞弁別、ならびに再生医療および調合薬選択および開発の分野における活動を大幅に促進する追加の利益を有する。
さらに、生体組織から収集された画像化データの３次元スタックは、異なる構造からの画像を、組織に関してより周到で完全な情報を提供する複合画像に統合する。加えて、３Ｄスタックを使用することにより、画像プロパティの連続性を考慮する必要があることによって、予測の精度を検証するための内部メトリックが提供されることも可能である。
Ｎａｖａｂ Ｎ．、Ｈｏｒｎｅｇｇｅｒ Ｊ．、Ｗｅｌｌｓ Ｗ．、Ｆｒａｎｇｉ Ａ．（編） Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ－Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ － ＭＩＣＣＡＩ ２０１５中の、Ｒｏｎｎｅｂｅｒｇｅｒ Ｏ．、Ｆｉｓｃｈｅｒ Ｐ．、Ｂｒｏｘ Ｔ．（２０１５）Ｕ－Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｃｏｌｌｍａｎらによる「Ｍａｐｐｉｎｇ Ｓｙｎａｐｓｅｓ ｂｙ Ｃｏｎｊｕｇａｔｅ Ｌｉｇｈｔ－Ｅｌｅｃｔｒｏｎ Ａｒｒａｙ Ｔｏｍｏｇｒａｐｈｙ」 Ｒｏｂｅｒｔｓ，Ｂ．らによる「Ｓｙｓｔｅｍａｔｉｃ ｇｅｎｅ ｔａｇｇｉｎｇ ｕｓｉｎｇ ｃｒｉｓｐｒ／ｃａｓ９ ｉｎ ｈｕｍａｎ ｓｔｅｍ ｃｅｌｌｓ ｔｏ ｉｌｌｕｍｉｎａｔｅ ｃｅｌｌ ｏｒｇａｎｉｚａｔｉｏｎ」 Ｃａｒｄｏｎａ，Ａ．らによる「Ｔｒａｋｅｍ２ ｓｏｆｔｗａｒｅ ｆｏｒ ｎｅｕｒａｌ ｃｉｒｃｕｉｔ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ」 Ｒｏｎｎｅｂｅｒｇｅｒ，Ｏ．、Ｆｉｓｃｈｅｒ，Ｐ．およびＢｒｏｘ，Ｔ．による「Ｕ－ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｂｉｏｍｅｄｉｃａｌ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ」 Ｃｉｃｅｋ，Ｏ．、Ａｂｄｕｌｋａｄｉｒ，Ａ．、Ｌｉｅｎｋａｍｐ，Ｓ．Ｓ．、Ｂｒｏｘ，Ｔ．およびＲｏｎｎｅｎｂｅｒｇｅｒ，Ｏ．による「３ｄ ｕ－ｎｅｔ：ｌｅａｒｎｉｎ ｄｅｎｓｅ ｖｏｌｕｍｅｔｒｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ ｆｒｏｍ ｓｐａｒｓｅ ａｎｎｏｔａｔｉｏｎ」 Ｋｉｎｇｍａ，Ｄ．Ｐ．らによる「Ａｄａｍ：Ａ Ｍｅｔｈｏｄ ｆｏｒ Ｓｔｏｃｈａｓｔｉｃ Ｏｐｔｉｍｉｚａｔｉｏｎ」 Ｆａｒｎｅｂａｃｋ，Ｇ．による「Ｔｗｏ－ｆｒａｍｅ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ｂａｓｅｄ ｏｎ ｐｏｌｙｎｏｍｉａｌ ｅｘｐａｎｓｉｏｎ」 「Ｏｐｅｎ ｓｏｕｒｃｅ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ｌｉｂｒａｒｙ」
方法、システム、またはデバイスは、３次元（３Ｄ）画像の複数のセットを受信するように構成された通信インターフェースを含む。３Ｄ画像の第１のセットは、細胞または分子構造の蛍光画像を含み、３Ｄ画像の第２のセットは、細胞構造（たとえば、亜細胞構造）の透過光（明視野、位相コントラスト、微分干渉などの）画像を含む。デバイスはまた、通信インターフェースに通信可能に結合され、３Ｄ画像のセットを記憶するように構成された、メモリを含む。メモリは、コンピュータ実行可能命令を記憶するようにさらに構成される。デバイスはまた、メモリに通信可能に結合され、３Ｄ画像の第１のセット中の細胞構造（たとえば、亜細胞構造）を３Ｄ画像の第２のセット中の細胞構造（たとえば、亜細胞構造）に関連付けるための統計モデルを生成するためのコンピュータ実行可能命令を実行するように構成された、プロセッサを含む。プロセッサは、３Ｄ画像の第３のセット中の細胞構造（たとえば、亜細胞構造）のロケーションを推定するために、統計モデルを３Ｄ画像の第３のセットに適用するようにさらに構成される。プロセッサは、３Ｄ画像の第４のセットを生成するようにさらに構成され、３Ｄ画像の第４のセットは、３Ｄ画像の第３のセット中の細胞構造（たとえば、亜細胞構造）の推定されるロケーションの指示を含む。本方法、システム、またはデバイスは、細胞内対象物の検出のためにラベル付け、染色、またはタグ付けされていない細胞中の細胞内対象物を可視化するために使用されることが可能である。
画像を取得し、画像分析を実施するためのシステムの例示的な例である。 画像分析のためのシステムの例示的な例である。 ラベルなし画像中の予測位置特定のプロセスの例示的な概略図である。 ニューラル・ネットワークを使用して予測３Ｄ蛍光画像を生成するための例示的な方法のフロー図である。 予測位置特定のための方法の例を示す。 アニメーションまたは他の時系列データを生成するために予測位置特定を使用するための方法の例を示す。 実施形態による、対象物位置特定のための予測統計モデルの生成の例示的なプロセスである。 実施形態による、対象物位置特定を予測するための統計モデルを最適化するのに有用である、修正されたＵ－ｎｅｔを用いた例示的な畳み込みニューラル・ネットワーク（ＣＮＮ）の図である。 実施形態による、透過光データの３次元マルチチャネル・スタックにわたって行われる、細胞構造の予測位置特定のための例示的なプロセスまたはシステムの図である。 実施形態による、２チャネル画像化データのいくつかの３Ｄスタックに画像分析を適用するための例示的なトレーニング手順の例示的な概観である。 実施形態による、複数のラベル付き画像化データ・セットにわたって本明細書で開示される画像分析態様を適用するための、提案される使用事例の例示的な例である。 実施形態による、予測される出力の検証の例示的な例である。 細胞構造の位置特定を予測するために使用される例示的なトレーニング・データ・セットである。 一実施形態を使用している、細胞構造の予測位置特定から生じる、予測される画像データの例示的なセットである。 実施形態による、ラベルなし画像と、真のラベル付き画像と、予測されるラベル画像とを示す画像データの例示的なセットである。 実施形態による、ラベルなし画像と、真のラベル付き画像と、予測されるラベル画像とを示す画像データの例示的なセットである。 光学顕微鏡検査画像の３Ｄレンダリングについての例示的な結果を示す。 実施形態による、サブサンプリングの使用によるラベル付きおよびラベルなし画像スタックの３次元ボリューム・ペアからの細胞構造の予測位置特定の例示的な実装形態を示す。 実施形態による、トレーニングおよび予測のために使用される３つのサブサンプリングされた領域をハイライトしている、サンプルの例示的なラベルなし部分（たとえば、領域）と、構造の対応する予測される位置特定とを示す。 予測されるラベリングのそばに各ラベルなし部分を並置している、図１１Ｂからの３つのハイライトされているサブサンプリングされた領域を示す。 実施形態による、ラベルなしサンプルの３つの例示的な部分と、真の（ターゲット）ラベリングをもつ対応する部分と、予測位置特定からの予測される（出力）ラベリングとを示す。 いくつかの実施形態による、様々な亜細胞構造の位置特定のトレーニングおよび予測中の定量化された損失関数のプロットを示す。 いくつかの実施形態による、様々な亜細胞構造の位置特定のトレーニングおよび予測中の定量化された損失関数のプロットを示す。 実施形態による、いくつかの亜細胞構造の予測位置特定と、予測される出力の合成表現との例示的な概略図の例である。 実施形態による、予測される出力の合成表現の例である。 本明細書で開示されるシステムの実施形態を使用して５つの異なる亜細胞構造の位置特定を予測するために使用されるサンプルの例示的なラベルなし部分と、マージされた複合画像中の結果の合成表現とを示す。 実施形態による、モデル予測を使用することによって画像位置決めを実施するための方法の例を示す。 実施形態による、モデル予測を使用することによって画像位置決めを実施するための方法の例を示す。 実施形態による、モデル予測を使用することによって画像位置決めを実施するための方法の例を示す。 実施形態による、モデル予測を使用することによって画像位置決めを実施するための方法の例を示す。 実施形態による、モデル予測を使用することによって画像位置決めを実施するための方法の例を示す。 実施形態による、モデル予測を使用することによって画像位置決めを実施するための方法の例を示す。 実施形態による、モデル予測を使用することによって画像位置決めを実施するための方法の例を示す。 実施形態による、モデル予測を使用することによって画像位置決めを実施するための方法の例を示す。 実施形態による、モデル予測を使用することによって画像位置決めを実施するための方法の例を示す。 実施形態による、モデル予測を使用することによって画像位置決めを実施するための方法の例を示す。 実施形態による、モデル予測を使用することによって画像位置決めを実施するための方法の例を示す。 実施形態による、画像化ツール・パイプラインの例を示す。 実施形態による、画像化ツール・パイプラインの例を示す。 実施形態による、画像化ツール・パイプラインの例を示す。 実施形態による、画像化ツール・パイプラインの例を示す。 実施形態による、画像化ツール・パイプラインの例を示す。 実施形態による、画像化モダリティにわたる自動位置決めの例を示す。 実施形態による、明視野予測される核チャネル・スタックからの核の例示的な３Ｄセグメント化を示す。 実施形態による、明視野予測される細胞膜チャネル画像スタックからの細胞の例示的な３Ｄセグメント化を示す。 予測される共焦点レーザー走査顕微鏡検査（ＣＬＳＭ）蛍光画像を生成するための例示的な方法のフロー図を示す。
本明細書で説明される実施形態の一態様は、注目する様々な構造または対象物の位置特定を予測するために、またはより詳細には、そのような構造に関連する染料または他のマーカーが現れるであろう顕微鏡検査画像中のロケーションを予測するために、そのような画像上で画像分析を実施するためのシステム、デバイス、および方法に関する。染料または他のマーカーの出現は画像中の注目する構造または他の対象物を視覚的にラベリングするために使用されるので、画像分析の結果は予測ラベリングと呼ばれることがある。ラベリングは、画像化されたサンプルに染料または他のマーカーが実際に印加されないという点で予測的であり得る。そうではなく、予測ラベリングは、サンプルが画像化される前にサンプルに染料または他のマーカーが印加された場合、画像が染料または他のマーカーによってどのようにラベリングされるであろうか（たとえば、染料がどこに現れるであろうか）を予測（たとえば、推定または近似）し得る。実施形態では、画像分析は、１つの画像化モダリティ（たとえば、透過光画像化）における画像データが、その画像が代わりに別の画像化モダリティ（たとえば、蛍光画像化）においてキャプチャされた場合、どのように現れるであろうかを予測し得る。前者の画像化モダリティ（たとえば、透過光画像化）は蛍光マーカーの使用を省略することがあり（蛍光および蛍光性という用語は本明細書では互換的に使用され得る）、蛍光マーカーは、画像化されたサンプル中の様々な構造をタグ付けするために使用されるであろうが、後者の画像化モダリティは、画像化されたサンプル中の様々な構造をタグ付けするために蛍光マーカーの使用を採用し得る。この箇所では、後者の画像化モダリティ（たとえば、蛍光画像化）は第１の画像化モダリティと呼ばれることがあり、前者画像化モダリティ（たとえば、透過光画像化）は第２の画像化モダリティと呼ばれることがあるが、他の箇所では、この名称は逆転されることがある。いくつかの場合には、第１の画像化モダリティは、組織サンプル中のいくつかの細胞または亜細胞構造など、画像化されているいくつかの構造を着色、タグ付け、またはさもなければラベリングするために染料または他のマーカーを使用し得る。いくつかの場合には、タグ付けは、注目する特定の構造に選択的に付着するかまたは関連付けられる染料または他のマーカーを使用し得る。マーカーからの着色は、注目する構造（たとえば、細胞核）と画像の残部との間のコントラストを提供することがあり、したがって、画像中の構造を視覚的にラベリングするために使用され得る。しかしながら、そのような第１の画像化モダリティ（たとえば、蛍光画像化）は、マーカーのコスト、組織サンプルにマーカーを印加することの複雑さ、および／または、染料（もしくは他のマーカー）が、画像化されている組織サンプル中の細胞もしくは他の構造に引き起こし得る損傷に関して、欠点を有することがある。一方、透過光画像化など、第２の画像化モダリティは、様々な亜細胞構造または他の特徴の間の視覚的コントラストがより少ない画像を発生することがあり、ユーザがそのような構造を見ることがより難しくなる。透過光画像化の例は、明視野画像化、暗視野画像化、および微分干渉コントラスト（ＤＩＣ）画像化を含む（これらは明視野顕微鏡検査、暗視野顕微鏡検査、およびＤＩＣ顕微鏡検査と呼ばれることもある）。しかしながら、第２の画像化モダリティは、あまり費用がかからず、より高速で、組織サンプルを混乱させないままにすることがある。したがって、本明細書における実施形態の一態様は、明視野画像化など、第２の画像化モダリティを使用して高速で安価な画像を取得することと、その画像が代わりに第１の画像化モダリティを使用して取得されたかのように、注目する構造を視覚的にラベリングするために、染料または他のマーカーが画像中のどこに現れるであろうかを予測することとに関係する。取得された予測ラベリングは、マーカーでサンプルを実際にタグ付けすることから取得されるであろうラベリングを厳密に近似するのに十分に正確であり得る。したがって、予測ラベリングは、第２の画像化モダリティの欠点のうちの１つ、すなわち、特徴の間の低いコントラストの欠点を実質的に除去しながら、それの低コストおよび画像化されたサンプルに対する最小の混乱を含む、第２の画像化モダリティの利益を提供し得る。
予測ラベリングは様々な適用例を有し得る。本明細書の実施形態のいくつかの態様では、予測ラベリングは、細胞膜、核、細胞小器官、および他の構造など、様々な亜細胞構造（細胞内構造とも呼ばれる）の高速で効率的な可視化を提供するために使用され得る。本明細書の実施形態のいくつかの態様では、予測ラベリングは、細胞セグメント化を支援するために、またはサイトメトリーを実施する他の態様を容易にするために使用され得る。本明細書の実施形態のいくつかの態様では、予測ラベリングは、薬または他の化学物質の動力学スクリーニングを評価するのを支援するために使用され得る。本明細書の実施形態のいくつかの態様では、予測ラベリングは、電子顕微鏡検査（ＥＭ）画像化モダリティと蛍光画像化モダリティとの間など、異なる画像化モダリティの間の自動画像位置決めをさらに容易にするために使用され得る。そのような画像位置決めは、共役アレイ・トモグラフィーを向上させるために使用され得るか、または他のコンテキストにおいて使用され得る。
実施形態では、予測ラベリングは、第１の画像化モダリティを使用してサンプルからキャプチャされた第１の画像を検査し、第２の画像化モダリティを使用してサンプルからキャプチャされた第２の画像を検査し、それらの間の関係を決定することによって行われ得る。この関係は、第１の画像化モダリティの画像を第２の画像化モダリティの画像と相関させるようにトレーニングされた統計モデルにおいて反映され得る。いくつかの実装形態では、統計モデルは畳み込みニューラル・ネットワーク（ＣＮＮ）であってよく、この関係を決定することは、第２の画像化モダリティを含む画像タイプ（たとえば、明視野画像）を第１の画像化モダリティを含む画像タイプ（たとえば、蛍光画像）にコンバートするためにＣＮＮをトレーニングすることを伴い得る。トレーニングされたモデルは、次いで、第２の画像化モダリティを使用して取得された新しい画像を、それらが代わりに第１の画像化モダリティを使用してキャプチャされた場合に新しい画像中の構造がどのように現れるであろうかを予測（たとえば、近似）する画像にコンバートするために使用されることが可能である。コンバートされた画像は、たとえば、それの周囲との高いコントラストを有する領域を表示することがあり、その領域は、注目する構造をタグ付けする蛍光マーカーを表す、または注目する構造をより直接的に表す。
実施形態では、予測ラベリングは３Ｄ画像に印加されてよく、これは、細胞レベルよりも小さい構造では特に有用であり得る。細胞膜、核、および細胞小器官など、そのような構造は、亜細胞構造または細胞内構造と呼ばれることがある。３Ｄ画像は、たとえば、２つの画像化モダリティ間のより正確な関係を反映するモデルをトレーニングするのにより好適であり、そのようなモデルを生じ得る。しかしながら、３Ｄ画像は２Ｄ画像に対してはるかにより多くのメモリスペースを消費し得るので、３Ｄ画像に予測ラベリングを印加することは特に困難であり得る。いくつかの事例では、デスクトップ、ラップトップ、またはグラフィックス処理ユニット（ＧＰＵ）クラスタなどの安価なコモディティ・コンピューティング・ハードウェアは、同時に３Ｄ画像のすべてを受け入れることができない、限られた量のメインメモリ（たとえば、ダイナミックＲＡＭ（ＤＲＡＭ））を有することがあり、したがって、３Ｄ画像を用いて統計モデルをトレーニングするそれの能力に制約され得る。したがって、本明細書における実施形態の一態様は、いくつかのコンピューティング・プラットフォームが予測ラベリングを実装する際に有し得る技術的限定を克服する技術的解決策を提供することに関係する。たとえば、技術的解決策は、３Ｄ画像をハード・ディスク・ドライブ（ＨＤＤ）などの２次メモリに記憶すること、および一度に３Ｄ画像の一部分のみをメインメモリにロードすることを伴い得る。技術的解決策は、いくつかのイタレーションにわたって統計モデルのトレーニングをさらに分割し得る。各イタレーション中に、コンピューティング・プラットフォームは、２次メモリから３Ｄ画像の新しい部分をメインメモリにロードし、３Ｄ画像の新しい部分を用いて統計モデルを更新し得る。いくつかの場合には、技術的解決策は、統計モデルをトレーニングするのに３Ｄ画像が使用される前にそれらの３Ｄ画像をダウンサンプリングすることを伴い得る。したがって、本明細書で説明される解決策は、３Ｄ画像の予測ラベリングを実装することに関与する特定のおよび有意な技術的課題を克服する。上記で説明された統計モデルは畳み込みニューラル・ネットワークであるが、決定論的または確率論的モデルを含む、他のタイプの統計モデルが使用されてよい。
本明細書で開示される態様は、（細胞内構造、分子、および異物、ならびにスーパー細胞構造、たとえば細胞のグループ、細胞のネットワーク、生体組織の領域を含むことができる）特定の細胞対象物を検出または可視化する利益を、たとえば、明視野画像化または他の透過光画像化の、容易で非侵襲的な性質と組み合わせる。本明細書で開示される態様は、（たとえば、３Ｄ画像の複数のセットのうちの３Ｄ画像の第１のセットとして）注目する１つまたは複数のラベル付き構造の蛍光画像を使用して統計モデルをトレーニングして、（たとえば、３Ｄ画像の第２のセットとして）構造ラベリングがない３次元顕微鏡検査画像中のそれらの構造のラベリングを予測することによって、細胞構造の予測位置特定を可視化するのに有用である。いくつかの場合には、トレーニングされたモデルは、たとえば、サンプルの明視野画像化を使用して取得された画像を、そのサンプルの蛍光画像を近似するかまたはさもなければ予測する画像にコンバートするために使用され得る。３Ｄ画像の第１のセットは、蛍光マーカーまたは他の化学的もしくは生物学的マーカーによってラベリングされ、したがって、ラベル付き３Ｄ画像と呼ばれることがある。３Ｄ画像の第２のセットは、どんな蛍光マーカーまたは他の化学的もしくは生物学的マーカーによってもラベリングされず、したがって、ラベルなし３Ｄ画像と呼ばれることがある。ラベルなし画像化モダリティは、明視野顕微鏡検査、暗視野顕微鏡検査、微分干渉コントラスト（ＤＩＣ）画像化など、透過光画像化を含むことがあり、Ｄｏｄｔ顕微鏡検査、電子顕微鏡検査、Ｘ線撮影、アレイ・トモグラフィーなどを含むこともある。したがって、本明細書で説明される方法、システム、およびデバイスは、生細胞または組織中の細胞内対象物の位置特定のためにラベル、タグ、または染料に曝露されていないそれらの細胞内対象物の可視化に関係し、薬物および毒性スクリーニングおよびテスト、細胞状態のアセスメント、細胞弁別およびセグメント化、画像位置決め、ならびに再生医療および調合薬選択／開発の分野における活動を促進する際に、高価な顕微鏡なしに、細胞内対象物の容易にアクセス可能で安価な可視化を提供する。
３次元画像モダリティ移転または予測位置特定のためのシステム、デバイスおよび／または方法として時々特徴づけられる、提示されるシステム、デバイス、および／または方法は、透過光画像と、染料および蛍光ラベル付きの核および他の細胞内対象物の位置特定との間の関係を定量化することによって特徴づけられることが可能である。本明細書で開示される態様は、３次元の明視野光画像から、細胞膜、原形質膜、核、ミトコンドリア、小胞体、液胞、ゴルジ体、リソソーム、核小体、ＤＮＡ材料など、様々な細胞内構造の時空間位置を正確に予測、推定、またはさもなければ識別するのにさらに有用である。実施形態では、本明細書のデバイス、方法、またはシステムは、生細胞画像化セッション中に細胞の構造を識別するために使用され、したがって、ユーザは、ラベルを追加することなしに注目する核および他の構造を可視化し定量化することが可能になり得る。蛍光画像化などの技法を用いて実施された場合、そのような生細胞画像化セッションは不可能であり得るか、または数分など、極めて限られた持続時間しか有し得ない。一方、本明細書のデバイス、方法、またはシステムによって使用される技法は、多くの時間または多くの日など、かなりより長い時間量にわたってライブ画像化セッションにおいて使用されることが可能な、たとえば、透過光顕微鏡検査などの他の画像化モダリティを使用して取得された画像から構造を識別することができる。したがって、本明細書のデバイス、方法、またはシステムは、ユーザが経時的に細胞中の移動または他の変化をより良く可視化することを可能にするように、延長された生細胞画像化セッションを容易にすることができる。
実施形態では、本明細書で開示されるシステム、デバイス、および方法は、３次元明視野顕微鏡検査画像または他の透過光画像から細胞または特定の亜細胞構造の位置特定を予測するための、深層学習（深層構造学習、階層学習、機械学習、およびアーキテクチャ）の使用を含む。深層学習は、注目する１つまたは複数の細胞または亜細胞構造もしくは分子の蛍光顕微鏡検査などのラベル付き画像化方法を通して収集されたデータを使用してトレーニングすることを伴うことができる。開示されるシステム、デバイス、および方法は、１つの画像化モダリティにおける、画像化データの３次元スタック中に含まれている情報（たとえば、対象物または構造固有のラベリング）を、別の画像化モダリティに移転するように働き、それにより、両方の画像化モダリティの有利なプロパティを使用することを可能にする。開示されるシステムおよび方法は、各画像化モダリティにおける画像スタックの間の関係を定量化することによって特徴づけられることが可能である。たとえば、亜細胞構造の予測位置特定の実装形態は、透過光画像から、ならびに緑色蛍光タンパク質（ＧＦＰ）でラベリングされた染料および核の位置特定から予測される特定の構造に関する画像情報を定量化することによって特徴づけられることが可能である。例示的な実験では、いくつかの実施形態において、本明細書で開示されるシステム、デバイスおよび方法は、明視野光画像を使用するトレーニング・データ・セットに基づいて統計モデルを生成するために使用された。これらのモデルは、明視野画像化を使用して取得された３Ｄ経時画像上でのパフォーマンスについてテストされ、明視野光画像から細胞内構造の時空間位置を正確に予測した。上記で論じられたように、いくつかの実施形態では、本明細書で開示されるシステム、デバイス、および方法は、科学者が蛍光ラベルなしに核および他の所望の構造を可視化し定量化することを可能にすることによってライブ細胞画像化セッションを延長するために有用であり得る。
図１Ａは、１つのタイプの画像の、別のタイプの画像からの自動予測を容易にするシステム１０を示す。後者のタイプの画像は、透過光画像化などの画像化モダリティを使用して獲得されたラベルなし画像を含み得るが、前者のタイプの画像は、画像中にコントラストまたは他の視覚的ラベリングを提供するために蛍光マーカーを使用する蛍光画像化などの画像化モダリティを使用して獲得されたラベル付き画像を含み得る。システム１０は、画像化器具１７１（たとえば、光学顕微鏡検査顕微鏡）、画像処理ユニット１７３、画像記憶ユニット１７５（たとえば、画像サーバ）、およびコンピューティング・デバイス１１０を含む。
実施形態では、画像化器具１７１（画像化器械とも呼ばれる）は、生物学的組織サンプルなど、サンプルの画像をキャプチャするように構成され得る。たとえば、画像化器具１７１は、サンプルにケーラー照明を印加し、照明から生じる画像をキャプチャするように構成された透過光顕微鏡であり得る。実施形態では、画像処理ユニット１７３は、何らかの必要な画像処理を実施し、画像記憶ユニット１７５の非一時的コンピュータ可読媒体（たとえば、メモリ１７５ａ）に画像を記憶するために、画像化器具１７１とともに動作し得る。実施形態では、画像記憶ユニット１７５は、直接インターフェース（たとえば、ＵＳＢ接続）、ローカル・エリア・ネットワーク（ＬＡＮ）を介して、インターネットを介して、または任意の他の様式でコンピューティング・デバイス１１０に画像を通信するために、Ｉ／Ｏユニットなどの通信インターフェース１７５ｂを含み得る。実施形態では、システム１０は、たとえば、サンプルの透過光画像をキャプチャするように構成された第１の画像化器具として画像化器具１７１を含んでよく、たとえば、サンプルの蛍光画像をキャプチャするように構成された第２の画像化器具をさらに含んでよい。
実施形態では、コンピューティング・デバイス１１０は、画像記憶ユニット１７５と通信するための通信インターフェース１４０を含み、プロセッサ１２０、非一時的コンピュータ可読媒体１６０（たとえば、メモリ）、コミュニケータ１８０、およびディスプレイ・デバイス１９０を含む。実施形態では、非一時的コンピュータ可読媒体１６０は、画像データなどのデータと、以下で説明される予測ラベリングを実施するためのコンピュータ・コードなどのコンピュータ実行可能命令の両方を記憶するように構成され得る。いくつかの場合には、非一時的コンピュータ可読媒体１６０は、アクセス・レイテンシの量が異なる複数のレベルのメモリを含み得る。たとえば、非一時的コンピュータ可読媒体は、アクセス・レイテンシの第１のレベルを有するメインメモリ１６１を含むことがあり、第１のレベルよりも高いアクセス・レイテンシの第２のレベルを有する２次メモリ１６２を含むことがある。一例では、メインメモリ１６１は、プロセッサ・キャッシュ、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、および／またはフラッシュ・メモリを備えるが、２次メモリ１６２は、ハード・ディスク・ドライブ（ＨＤＤ）を含む。
コンピューティング・デバイス１１０は、画像分析のためのシステム１００の一部であることが可能である。たとえば、図１Ｂは、いくつかの実施形態による、画像分析のためのシステム１００を示す。システム１００は、入力チャネル１０２、１０４．．．１０Ｎのセットを含む。入力チャネル１０２、１０４．．．１０Ｎの各々は、１つまたは複数の特定の画像化モダリティから細胞構造に関する画像化データを提供することができる。たとえば、各チャネル１０２、１０４．．．１０Ｎは、明視野画像化、暗視野画像化、蛍光画像化、Ｄｏｄｔコントラスト画像化、微分干渉コントラスト（ＤＩＣ）画像化などのような画像化モダリティを通してデータを獲得するイメージャからの入力ソースであることが可能である。いくつかの実施形態では、システム１００は、画像化モダリティのための器具を含むことができる。たとえば、システム１００は、顕微鏡、サンプルの励起のための１つまたは複数の光源（たとえば、紫外線ソース、共焦点レーザー）、放出された蛍光または透過光を収集し、収集された光を適切な波長においてフィルタ処理するための１つまたは複数の光学要素（たとえば、画像センサーおよび格子フィルタまたはダイクロイック・ミラー）、収集された光を変換し位置決めするための１つまたは複数の光検出器、変換された信号を取得し記憶するための１つまたは複数のデータ獲得および記憶デバイスなどを含むことができる、蛍光画像化のための器具を含むことができる。
いくつかの実施形態では、チャネル１０２、１０４．．．１０Ｎのうちの少なくとも１つは、１つまたは複数のタグでラベリングされた３次元画像化データの入力ソースであることも可能であり、各タグは、異なる識別可能な細胞構造に対応する。たとえば、緑色波長の近くの蛍光を放出する緑色蛍光ラベル（たとえば、最大で５３２ｎｍ辺りを放出する緑色蛍光タンパク質（ＧＦＰ））でラベリングされたいくつかの構造は、チャネル１０２を通して獲得されることが可能であるが、橙色光または赤色光に対応する波長の蛍光を放出する赤色蛍光タグ（たとえば、最大で約５８８ｎｍにおいて放出する赤色蛍光タンパク質）でラベリングされたいくつかの他の細胞構造は、チャネル１０４を介した画像化を通してキャプチャされることが可能である。既知のラベルまたはマーカーによってバインドされた細胞構造の識別は、細胞構造のロケーションの指示と呼ばれることも可能である。同様に、どんなチャネルＮ（１０Ｎ）も、特定の蛍光タグを使用して特定の構造をラベリングする画像化データのソースであることが可能である。システム１００は細胞構造を画像化するコンテキストにおいて説明されるが、システムは、亜細胞構造または他の対象物を画像化するために、たとえば、核小体のような細胞のサブ構造内で画像化するために使用されることも可能であることに留意されなくてはならない。システムは、スーパー細胞構造、たとえば細胞のグループ、細胞のネットワーク、細胞を含んでいる生体組織の領域などを画像化するために使用されることも可能である。
いくつかの実施形態では、システム１００は、任意選択で、１つの画像化モダリティから別の画像化モダリティに情報を移転することによる、３次元画像スタック中の細胞構造の予測位置特定のために有用な（画像化またはそれ以外からの）何らかのデータを含んでいる外部データベース１３０を含むこともできる。
システム１００は、コンピューティング・デバイス１１０の実施形態であり得る、コンピューティング・デバイス１１０Ａを含むことができる。コンピューティング・デバイス１１０Ａは、明視野顕微鏡検査または他の形態のラベルなし画像化を使用して取得された画像データなど、画像データ中の対象物の予測位置特定の実装を行うように構成され得る。コンピューティング・デバイス１１０Ａは、入出力ユニット（Ｉ／Ｏユニット）１４０Ａ、メモリ１６０Ａ、プロセッサ１２０、およびコミュニケータ１８０を含むことができる。Ｉ／Ｏユニット１４０Ａは通信インターフェース１４０の実施形態であり得るが、メモリ１６０Ａは非一時的コンピュータ可読媒体１６０の実施形態であり得る。Ｉ／Ｏユニット１４０は、コンピューティング・デバイス１１０Ａにおよびそれから情報を受信および送信するように構成され得る。たとえば、デバイス１１０Ａは、何らかの好適なワイヤードまたはワイヤレス接続を通して、Ｉ／Ｏユニット１４０Ａを介して、チャネル１０２、１０４、１０Ｎから、および外部データソース１３０から情報を受信することができる。Ｉ／Ｏユニット１４０Ａは、アナログおよび／またはデジタル化信号を受信することができる。Ｉ／Ｏユニット１４０Ａはまた、アナログ信号を獲得し、それらをデジタル化信号にコンバートするために１つまたは複数のデータ獲得ボードを装備されることが可能である。Ｉ／Ｏユニット１４０Ａはまた、何らかの好適な通信ワイヤードまたはワイヤレス・チャネルを通して、すでにデジタル化、前処理および／または処理されたデジタル・データを受信することができる。たとえば、ワイヤード・データ転送は、１つまたは複数の入力ポートに接続されたイーサネット、ＦｉｒｅＷｉｒｅ、またはＵＳＢ接続を通してＩ／Ｏユニット１４０Ａによって仲介されることが可能である。いくつかの場合には、デバイス１１０Ａは、画像データを生成する器具に対してローカルであることが可能である。いくつかの場合には、デバイス１１０Ａは、ネットワークを介して器具と通信するように構成されることが可能である。Ｉ／Ｏユニット１４０Ａはまた、Ｂｌｕｅｔｏｏｔｈ、またはＮＦＣチャネルを通してワイヤレスに情報を受信および送信するように構成されることが可能である。
上述のように、システム１００のデバイス１１０／１１０Ａはまた、１つのモダリティの画像データ中の対象物の予測位置特定を、別のモダリティの画像データからの情報に基づいて行うように構成されたプロセッサ１２０を含むことができる。いくつかの実施形態では、プロセッサ１２０は、１つまたは複数の中央処理ユニット（ＣＰＵ）および／またはグラフィック処理ユニット（ＧＰＵ）を含むマルチプロセッサ・セットアップを包含することができる。実施形態では、プロセッサ１２０は、フィールド・プログラマブル論理アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理アレイ（ＰＬＡ）、デジタル信号プロセッサ（ＤＳＰ）、またはそれらの任意の組合せなどの処理回路を含むことができる。プロセッサ１２０は、画像から細胞構造の予測位置特定を行うように構成されることが可能である。たとえば、プロセッサ１２０は、ラベル付き画像を分析するための画像セグメント化、３Ｄ画像スタックを扱うためのスタック・ハンドリング、トレーニング・データ・セットおよびテスト・データ・セットを選択し割り振り、統計モデルを生成し、反復パラメータ最適化を通して統計モデルをトレーニングするためのデータ・セグメント化などのプロセスを行うように構成されることが可能である。実施形態では、プロセッサは、入力画像から出力画像を生成するように構成されることが可能であり、入力画像は、明視野顕微鏡検査または別の画像化モダリティを介して取得された細胞のラベルなし画像であることが可能であり、出力画像は、細胞内の細胞構造およびサブ構造など、対象物の推定および／または予測される位置特定を示すことができる。プロセッサ１２０はまた、位置特定を予測することにおける統計モデルの精度を検証するために統計モデルをテストするように構成されることが可能である。実施形態では、プロセッサ１２０はまた、限定はされないが、元のまたは生成された画像スタックを可視化するための画像レンダリング、異なる統計的方法、機械学習方法、またはニューラル・ネットワーク・トポロジーに基づいていくつかのモデルの出力と損失関数とを比較することによる、予測および評価ツールの全体的な開発および検証などを含む、他の機能を実施するように構成されることが可能である。
システム１００のデバイス１１０Ａはまた、メモリ１６０Ａを含むことができる。メモリ１６０Ａは、ハード・ディスク・ドライブ（ＨＤＤ）、ソリッド・ステート・ドライブ（ＳＤＤ）、テープ・ドライブ、ＤＲＡＭ、任意の他の形態のメモリ、またはそれらの任意の組合せを含むことができる。いくつかの場合には、メモリ１６０Ａは、データベースであり得るかまたはそれを実装することができる。上述のように、メモリ１６０Ａは、非一時的コンピュータ可読媒体１６０の実施形態であることが可能であり、画像データからの構造の予測位置特定のプロセスを実行することと、その実行に関連する何らかの情報を記憶することとのための機能のセットを含む、本明細書で説明される方法を実施するためにプロセッサ１２０によって実行可能な１つまたは複数のコンピュータ実行可能命令を記憶し得る。実施形態では、メモリ１６０Ａは、予測位置特定を実施するために使用されるモデルの何らかの含まれている変換関数およびそれらのパラメータ、または任意の他のデータを含む、上記で論じられた獲得された３Ｄ画像データ、統計モデルなどのデータを記憶することができる。実施形態では、メモリ１６０Ａはまた、予測位置特定を実施するために構築された、トレーニングされた統計モデルの履歴、各トレーニングされた統計モデルを用いた予測の精度、ならびに予測される画像データを記憶することができる。さらに図１Ｂにおいて、コンピューティング・デバイス１１０Ａはコミュニケータ１８０をも含むことができ、コミュニケータ１８０は、別の通信インターフェースであってよく、デバイス１１０Ａと、データベースを含んでいる遠隔サーバなどの何らかの外部情報ソースとの間の通信を仲介するように構成され得る。コミュニケータ１８０、メモリ１６０Ａ、プロセッサ１２０およびＩ／Ｏユニット１４０Ａは、すべて相互接続され、互いに直接通信していることが可能である。通信インターフェース１８０は、直接的にあるいはＩ／Ｏユニット１４０Ａを通して外部ソース１３０とのデータ交換を扱うことができる。
図２Ａは、細胞構造のためのタグ、染料、および他のラベルのロケーションを予測するかまたはさもなければ識別することによってそれらの細胞構造の位置特定を可視化するための、より一般的にモデルと呼ばれることも可能である、統計モデルを生成し反復的にトレーニングするめのシステムの例を示す。図２Ａの例では、細胞構造は細胞内のＤＮＡ構造であり得る。より詳細には、図２Ａは、細胞内のＤＮＡ構造の予測位置特定のために統計モデルのパラメータを最適化するための、統計モデルをトレーニングする各イタレーションに関与するステップのうちのいくつかを示す。たとえば、上記で論じられたプロセッサ１２０は、１個の組織サンプルの透過光画像２５２を取り出すように構成されることが可能である。透過光画像２５２はラベルなし画像と見なされることが可能である。プロセッサ１２０は、組織サンプルのラベルなし画像２５２およびラベル付き画像２５４を使用して、ニューラル・ネットワーク２５８などの統計モデルを生成するように構成されることが可能である。組織サンプルは、着色されることが可能な生体または非生体物質（たとえば、固定組織、切除された組織、生検サンプルなど）を含むことができ、動物起源または植物起源であり得る。組織は、細胞系から導出されることが可能であり、および／またはネイティブに導出された細胞および組織を含むことが可能である。実施形態では、画像２５４および画像２５２は、組織の同じセクションのものである。画像２５４は、組織サンプルのその同じセクションの蛍光性画像（蛍光画像とも呼ばれる）であることが可能であり、ＤＮＡ構造は、例としてＤＮＡ材料にバインドする蛍光ヘキスト染料でラベリングされるが、他のラベル（たとえば染料、および／またはタグ）が使用され得る。実施形態では、画像２５２および画像２５４は、ニューラル・ネットワーク２５８をトレーニングするために使用される前に、互いに位置合わせ状態に置かれ得る。
ステップ２５１において、プロセッサ１２０は、ニューラル・ネットワーク２５８または他の統計モデルを生成し、トレーニングして、ラベルなし画像２５２とラベル付き画像２５４との間の関連付けを学習することができる。ステップ２５５において、プロセッサ１２０は、トレーニングされたニューラル・ネットワーク２５８を使用して、ラベルなし画像２５２上にこのトレーニングされた統計モデルを適用して、ステップ２５３において、生成された画像２５６によって示される予測されるラベリングを生成することができる。たとえば、予測されるラベリングは、生物学的サンプル（たとえば、組織サンプル）のラベルなし画像２５２のどの部分が、その画像２５２が同じサンプル上で代わりに蛍光画像化を実施することによって取得された場合、特定の染料色を有するであろうかを予測するかまたはさもなければ推定することができる。この予測は、ラベルなし画像から、生物学的サンプルの予測される（たとえば、近似的なまたは推定される）蛍光画像を生成するために使用されることが可能である。
本明細書で開示されるようにプロセッサによってトレーニング、最適化および／または実装される統計モデルの予測手法など、どんな予測手法でも検証されて予測のそれの精度が評価されることが可能である。さらに、統計モデルのパフォーマンスは、検証の結果からのフィードバックを用いて改善されることが可能である。実施形態では、プロセッサは、特に、３Ｄ画像の複数のセットのうちの３Ｄ画像の第１のセットからであり得る、実際の蛍光、タグ付け、または染色画像などのラベル付き画像を、３Ｄ画像の第３のセットと時々呼ばれる、ステップ２５３において生成された予測される蛍光画像２５６と比較することによって、検証を実施することができる。より詳細には、ステップ２５７においてプロセッサ１２０は、真のＤＮＡラベル付き画像２５４を、予測される蛍光ラベリングをもつ生成された画像２５６と比較することによって、ステップ２５５における予測の精度を評価し、ステップ２５３における予測される画像生成の精度を評価することができる。
図２Ｂは、予測蛍光ラベリングを生成するためにニューラル・ネットワークを使用するための方法２００を示すフロー図を提供する。実施形態では、方法２００は、非一時的コンピュータ可読媒体１６０に記憶された命令を実行するプロセッサ１２０など、非一時的コンピュータ可読媒体に記憶されたコンピュータ実行可能命令を実行するコンピューティング・デバイスのプロセッサによって実施され得る。以下で説明されるように、方法２００は、亜細胞構造の３次元（３Ｄ）画像に焦点を当て得る。亜細胞構造（細胞内構造とも呼ばれる）は、細胞膜、核、および細胞小器官（たとえば、ミトコンドリア、小胞体、液胞、ゴルジ体、またはリソソーム）など、細胞レベルよりも小さい細胞構成要素および他の構造を含み得る。いくつかの事例では、３Ｄ画像の使用は、それらが（２Ｄ画像に対して）追加の次元に沿って画像データを含んでいることがあり、したがって、以下で説明されるニューラル・ネットワークをトレーニングするためにより多くの画像データを提供し得るので、有利であり得る。しかしながら、３Ｄ画像の使用は、そのような３Ｄ画像の著しくより大きいメモリサイズに対処する追加の処理を伴うことがある。
実施形態では、本方法はステップ２０１を含み、プロセッサ１２０は、３次元（３Ｄ）顕微鏡検査画像の第１のセットと、３Ｄ顕微鏡検査画像の第２のセットとを受信する。実施形態では、３Ｄ顕微鏡検査画像の第１のセットと、３Ｄ顕微鏡検査画像の第２のセットとは、画像記憶デバイスからまたは直接的に顕微鏡の画像センサーから、Ｉ／Ｏユニット１４０などの通信インターフェースを介して受信される。
実施形態では、３Ｄ顕微鏡検査画像の第１のセットは、複数の組織サンプル中の複数の亜細胞構造の３Ｄ蛍光画像であることがあり、３Ｄ顕微鏡検査画像の第２のセットは、同じ複数の亜細胞構造の３Ｄ透過光画像であり、３Ｄ顕微鏡検査画像の第２のセット中に蛍光ラベリングは含まれない。複数の亜細胞構造は、複数の組織サンプルの間で分割されてよい。たとえば、複数の亜細胞構造の第１のサブセットは第１の組織サンプル中にあり得るが、複数の亜細胞構造の第２のサブセットは第２の組織サンプル中にあり得る。
実施形態では、３Ｄ顕微鏡検査画像の第１のセットは単一の蛍光チャネルを含むことがあり、各チャネルは、特定の蛍光マーカーまたはそれの放出スペクトルに対応し得る。たとえば、３Ｄ顕微鏡検査画像のそのようなセットは、緑色蛍光タンパク質（ＧＦＰ）のみからの、またはＧＦＰの放出スペクトルに対応する周波数フィルタ帯域のみからの色（または、より一般的には、コントラスト情報）を含むことがある。そのような３Ｄ顕微鏡検査画像は、したがって、ＧＦＰによってタグ付けされた特定の組織サンプル中の亜細胞構造のみを表示するかまたはさもなければ含み得る。実施形態では、３Ｄ顕微鏡検査画像の第１のセットは複数の蛍光チャネルを含んでよい。
実施形態では、３Ｄ顕微鏡検査画像の第２のセットは、たとえば、ケーラー照明を使用して透過光を用いてキャプチャされていることがある。実施形態では、３Ｄ顕微鏡検査画像の第２のセットの各々は、明視野画像、暗視野画像、または微分干渉コントラスト（ＤＩＣ）画像のうちの少なくとも１つである。実施形態では、方法３００が適用される亜細胞構造は、周囲とは異なる屈折率を示し得る、脂質エンベロープを有する構造（たとえば、ミトコンドリア）を含むことがある。上述のように、３Ｄ顕微鏡検査画像の第２のセットはどんな蛍光ラベリングも含まない。より詳細には、３Ｄ顕微鏡検査画像の第２のセットは、複数の組織サンプルに何らかの蛍光マーカーが印加される前にそれらの組織サンプルからキャプチャされていることがある。
ステップ２０３において、プロセッサ１２０は、何らかの亜細胞構造の３Ｄ透過光画像である第１のタイプの画像を、亜細胞構造の予測される３Ｄ蛍光画像である第２のタイプの画像にコンバートするように構成されたニューラル・ネットワーク（たとえば、ｕ－ｎｅｔアーキテクチャを有する畳み込みニューラル・ネットワーク）を生成し、第１のタイプの画像中に蛍光ラベリングは含まれない。プロセッサは、３Ｄ顕微鏡検査画像の第１のセットおよび３Ｄ顕微鏡検査画像の第２のセットに基づいてニューラル・ネットワークをトレーニングすることによってニューラル・ネットワークを生成し得る。実施形態では、トレーニングはチャネルごとに行われてよい。たとえば、３Ｄ顕微鏡検査画像の第１のセットは、特定の組織サンプルについての複数の蛍光画像を含むことがあり、複数の蛍光画像の各々は、異なるそれぞれの蛍光チャネルに対応し得る。この例では、３Ｄ顕微鏡検査画像の第２のセットは、特定の組織サンプルについての単一の明視野画像を含むことがある。ニューラル・ネットワークのトレーニングは、画像の複数のペアを作成することを伴うことがあり、各ペアは、明視野画像と、複数の蛍光画像のうちの１つとを含む。画像の各ペアは、その画像ペアに対応する蛍光チャネルのためにニューラル・ネットワークをトレーニングするために、ニューラル・ネットワークに供給され得る。そのようなニューラル・ネットワークがトレーニングされた後は、すべての蛍光チャネルについて、またはユーザによって選択されたいくつかの蛍光チャネルのみについて、明視野画像を予測蛍光画像にコンバートすることが可能であり得る。
ニューラル・ネットワークのトレーニングについて以下でより詳細に説明される。たとえば、トレーニングは、透過光画像をニューラル・ネットワークに供給することと、ニューラル・ネットワークを使用して出力を生成することと、出力を蛍光画像と比較することと、損失関数を使用して出力の精度を評価することとを伴い得る。トレーニングは、次いで、損失関数の値を低減するために、バックプロパゲーションを使用してニューラル・ネットワーク中の重みを調整し得る。実施形態では、ステップ２０３において使用されるトレーニング画像の総数（たとえば、３Ｄ顕微鏡検査画像の第１のセットの総数、または３Ｄ顕微鏡検査画像の第２のセットの総数）は、１から５４０の範囲内にあり得る。たとえば、いくつかの実装形態は、トレーニングを実施するために５００個未満の透過光画像および（蛍光チャネル当たり）５００個未満の蛍光画像に依拠し得る。実施形態では、同じ組織サンプルの蛍光画像および透過光画像は、ニューラル・ネットワークをトレーニングするためにそれらが使用される前に、位置合わせ状態にあり得る。実施形態では、複数の組織サンプルの各々は生細胞を含み得る。生細胞は動いていることがあるので、３Ｄ顕微鏡検査画像の各々をキャプチャするのに費やされる時間の量は、たとえば、２５ｍｓ（２５ｍｓ／チャネル）に限定されることがあり、したがって、透過光画像によってキャプチャされる亜細胞構造は、それらが蛍光画像によってもキャプチャされるとき、依然として実質的に同じロケーションにあるかまたは実質的に同じ形状である。
実施形態では、トレーニング画像は正規化されない。別の実施形態では、トレーニング画像は、３Ｄ顕微鏡検査画像の第１のセットのみに対して、３Ｄ顕微鏡検査画像の第２のセットのみに対して、または両方に対してｚスコアを使用して正規化される。実施形態では、トレーニングは、１から４の範囲内にある深度ハイパーパラメータ、および／または１６から４０の範囲内にあるチャネル膨張係数ハイパーパラメータを使用し得る。実施形態では、トレーニング画像はオーグメントされない。別の実施形態では、トレーニング画像は、ｙ次元に沿ってミラーリングされることによって、またはｚ軸に関して回転されることによってオーグメントされる。実施形態では、モデル・パラメータ・オプティマイザの学習率は、０．００００１から０．１の範囲内にある値を有し得る。
ステップ２０５において、プロセッサ１２０は、複数の組織サンプルから３Ｄ顕微鏡検査画像の第２のセットをキャプチャするために使用された画像獲得パラメータのパラメータ値を決定する。一例では、画像獲得パラメータは曝露時間パラメータである。一例では、画像獲得パラメータは、複数の組織サンプルの各々の厚さであり得る。
ステップ２０７において、プロセッサ１２０は、ニューラル・ネットワークが生成されトレーニングされた後に、追加の組織サンプル中の１つまたは複数の亜細胞構造の透過光画像である追加の３Ｄ顕微鏡検査画像を受信し、追加の３Ｄ顕微鏡検査画像中に蛍光ラベリングは含まれず（たとえば、追加の組織サンプルに蛍光マーカーは印加されなかった）、追加の３Ｄ顕微鏡検査画像は、３Ｄ顕微鏡検査画像の第２のセットをキャプチャするために使用されたパラメータ値を用いて追加の組織サンプルの１つまたは複数の亜細胞構造からキャプチャされる。いくつかの場合には、追加の３Ｄ顕微鏡検査画像は、追加の組織サンプル中の１つまたは複数の生細胞からキャプチャされていることがある。
ステップ２０９において、プロセッサ１２０は、ニューラル・ネットワークおよび追加の３Ｄ顕微鏡検査画像を用いて、追加の組織サンプルのための予測される蛍光ラベリングを含む予測される３Ｄ蛍光画像を生成する。予測される蛍光画像は、ニューラル・ネットワークがそれのためにトレーニングされたすべての蛍光チャネルを含むか、または蛍光チャネルのサブセットのみを含み得る。実施形態では、ステップ２０７および２０９は、組織サンプル中の１つまたは複数の亜細胞構造に対して、たとえば、数時間あるいは数日の時間スパンにわたって複数回実施されてよく、予測される蛍光画像の得られたセットは、１つまたは複数の亜細胞構造のアニメーションを生成するために使用されてよい。
いくつかの場合には、方法２００は、上記のステップのうちの１つまたは複数を省略してよい。たとえば、ステップ２０５はいくつかの事例では省略されてよく、ニューラル・ネットワークをトレーニングするために使用される透過光画像は、新しい透過光画像を後でキャプチャするために使用される画像獲得パラメータ値とは異なる画像獲得パラメータ値を用いてキャプチャされてよい。
上記で論じられたように、３Ｄ顕微鏡検査画像は、それらの大きいサイズのために、有意な技術的課題を提示することがある。多くの事例では、３Ｄ顕微鏡検査画像は有意なメモリスペースを占有し、コンピューティング・デバイスのメインメモリ（たとえば、１６１）の中に収まらないことがある。したがって、本明細書の実施形態の一態様は、そのような技術的課題を克服することに関係する。実施形態では、コンピューティング・デバイス（たとえば、１１０）の非一時的コンピュータ可読媒体（たとえば、１６０）は、第１のメモリ部分（たとえば、メインメモリ１６１）と、第２のメモリ部分（たとえば、２次メモリ）とを有することがあり、第１のメモリ部分は、アクセス・レイテンシの第１のレベルを有し、第２のメモリ部分は、第１のレベルよりも長いアクセス・レイテンシの第２のレベルを有する。この例では、第１のメモリ部分１６１の総記憶容量は、３Ｄ顕微鏡検査画像の第１のセットおよび３Ｄ顕微鏡検査画像の第２のセットの総メモリサイズよりも少ない。より特定の例では、第１のメモリ部分１６１中に割り振られるメモリスペースの量は、３Ｄ顕微鏡検査画像の総メモリスペースよりも少ない。
上記の実施形態では、プロセッサ１２０は、３Ｄ顕微鏡検査画像の第１のセットおよび３Ｄ顕微鏡検査画像の第２のセットを第２のメモリ部分に記憶し得る。プロセッサ１２０は、３Ｄ顕微鏡検査画像の第１のセットの異なるそれぞれの部分（異なるそれぞれのバッチまたはサブサンプリングされたチャンクとも呼ばれる）と、３Ｄ顕微鏡検査画像の第２のセットの異なるそれぞれの部分とを用いて、複数のイタレーションにわたってニューラル・ネットワークをトレーニングし得る。各イタレーション中に、プロセッサは、第２のメモリ部分から、３Ｄ顕微鏡検査画像の第１のセットのそれぞれの部分（それぞれのバッチまたはチャンクとも呼ばれる）のみおよび３Ｄ顕微鏡検査画像の第２のセットのそれぞれの部分のみを取り出し得る。プロセッサは、３Ｄ顕微鏡検査画像の第１のセットのそれぞれの部分および３Ｄ顕微鏡検査画像の第２のセットのそれぞれの部分を第１のメモリ部分に記憶し得る。プロセッサは、次いで、第１のメモリ部分に現在記憶されている３Ｄ顕微鏡検査画像の第１のセットのそれぞれの部分を用いて、および第１のメモリ部分に現在記憶されている３Ｄ顕微鏡検査画像の第２のセットのそれぞれの部分を用いてイタレーション中にニューラル・ネットワークをトレーニングし得る。したがって、この実施形態におけるプロセッサは、３Ｄ顕微鏡検査画像の画像データの異なるバッチ上でのトレーニングのために利用可能にするために、そのバッチを２次メモリ１６２からメインメモリ１６１にロードし得る。特定のバッチまたはチャンクについてトレーニング・イタレーションが完了した後に、プロセッサは、第１のメモリ部分中のそのバッチまたはチャンクを画像データの異なるバッチまたはチャンクで上書きし、そのバッチまたはチャンク上でトレーニングを実施し得る。したがって、トレーニングを実施するそのような様式は、トレーニング速度を加速し、トレーニングを実施するために必要とされるメインメモリの量を低減し得、それにより、トレーニングは、デスクトップ・コンピュータなどのコモディティ・ハードウェア上で実施されることが可能になり得る。
実施形態では、プロセッサはまた、ニューラル・ネットワークをトレーニングするために３Ｄ顕微鏡検査画像の第１のセットの各々および３Ｄ顕微鏡検査画像の第２のセットの各々が使用される前に、それらをダウンサンプリングすることによってメモリスペースを節約し得る。たとえば、３Ｄ顕微鏡検査画像は、ダウンサンプリングされた後に、それぞれの３Ｄ顕微鏡検査画像の次元のうちの少なくとも１つに沿ってピクセル当たり０．１０８μｍから０．２９μｍの範囲を表し得る。
図３Ａは、統計モデルをより一般的に使用する構造の予測位置特定を実装するための方法３００を示す。いくつかの実施形態では、方法３００は、図１Ｂに示されているシステム１００中のプロセッサ１２０によって実行されることが可能である。方法３００は、点線によって示される、統計モデルをトレーニングするためのステップ３０１～３０９のセットと、トレーニングされた統計モデルを実装するためのステップ３１１～３１９の後続のセットとを含む。実施形態では、トレーニングおよびテストは、データの所与のセット上で連続的に行われることが可能である。他の実施形態では、トレーニングは別途行われることが可能であり、トレーニングされた統計モデルは、トレーニング・データ・セットに匹敵するいくつかの新しいデータ・セット上に適用されることが可能である。
方法３００は、ステップ３０１において、プロセッサ１２０などのプロセッサが、研究されるべき例示的な生体組織から画像データを獲得することを含む。いくつかのシナリオでは、獲得される画像データは画像の３次元スタックであることが可能であり、スタックの各画像は３次元の組織の２Ｄスライスに対応し、画像は、十分に分解可能なスライスから獲得される。獲得されるデータは、画像の時間分解スタックであることも可能であり、スタックの各画像は、組織の同じ２次元スライスに対応するが、連続した時点にある。一例では、画像は、各ボクセルが０．２９μｍ×０．２９μｍ×０２９μｍキューブ（または任意の他のサイズ）に対応するように３次補間を介してリサイズされることがあり、画像のピクセル強度はｚスコアリングされることがある。
実施形態では、獲得されるデータは、マルチチャネル画像化データの３次元スタックであることが可能であり、データの各チャネルは、図１のシステム１００に示されているチャネル１ １０２およびチャネル２ １０４、チャネルＮ １０Ｎなどのようなチャネル・ソースに対応する。ステップ３０１において獲得されるマルチチャネル・データは、サンプル中の特定の既知の対象物または構造に関連付けられた既知のラベルをもつサンプルの画像など、ラベル付きデータを提供する少なくとも１つのチャネルを含むことができる。たとえば、ステップ３０１におけるデータ獲得は、位置特定されるべき特定の細胞構造にバインドされた蛍光ラベリングされたデータの少なくとも１つのチャネルを含むことができる。プロセッサは、ステップ３０１において、ラベリングがない少なくとも１つの画像化モダリティの３次元画像スタック・データなど、ラベルなしデータを取得することもできる。いくつかの場合には、ラベル付きデータおよびラベルなしデータは、組織サンプルまたは他のサンプルの同じぴったりの領域の画像であることが可能である。たとえば、ステップ３０１においてプロセッサによって獲得される３次元画像スタックは、透過光画像化、またはより詳細には、明視野画像化を通して取得されるデータのチャネルを含むことができる。一実施形態では、獲得される明視野画像化は、画像化されるサンプルの特定の構造の蛍光着色または他のラベリングを有しないことがあるが、別の実施形態では蛍光着色が存在し得る。実施形態では、ラベル付きデータは、重複するかまたは重複しない様式で、細胞の様々な異なる構造をハイライトするいくつかのラベル付きスタックを含むことができる、データの３次元スタックを含むことができる。例として、ラベル付きデータは、いくつかの蛍光ラベルを含むことができ、蛍光ラベルの各々は、放出スペクトルに基づいて蛍光ラベルの他のラベルとは実質的に別個であり、ラベルの各々は、同じ画像中の１つまたは複数の別個の細胞構造に関連付けられることが可能である。実施形態では、画像データのラベル付きチャネルおよびラベルなしチャネルは、画像スタックの各々中で識別されるべき対象物が、同じ位置において空間時間的に位置特定されるように、ほぼ同時の様式で獲得されることが可能である。
方法３００のステップ３０３において、プロセッサは、ニューラル・ネットワークなど、統計モデルをトレーニングするためのトレーニング・データ・セットを割り振ることができる。トレーニング・データは、ラベリングを用いておよび用いないでキャプチャされた細胞／組織の画像データを含むことができる。実施形態では、割り振られたトレーニング・データ・セットは、反復トレーニング手順を通して、所望のターゲット・ラベリングをキャプチャするように設計された統計モデルのパラメータのセットを最適化するために使用されることが可能である。ステップ３０１において獲得された残りのデータの一部または全部は、所望のラベリングを予測することにおけるトレーニングされたモデルのパフォーマンスを評価するために使用されるテスト・データ・セットとして使用されることが可能である。トレーニング・データ・セットｖｓテスト・データ・セットの割振りは、トレーニング・データ・セットとして、画像のランダムに選択された３次元スタック、または時間分解画像セットの割合を割り当てながら、残りのものをテスト・データ・セットとして保持することによるなど、任意の好適な様式で行われることが可能である。代替的に、割振りは、個々のスライスまたは２次元画像の割合を、それらが属するスタックにかかわらず、トレーニング・データ・セットとして割り当てながら、残りのものをテスト・データ・セットとして保持することを含むことができる。トレーニング・データ・セットおよびテスト・データ・セットの例示的な割振りは、図４Ａの生成モデルおよびテストのための例示的な手順の図に示されている。図４Ａに示されている例における割振りは、トレーニング・データ・セットとしてデータのより大きい部分を、およびテスト・データ・セットとしてより小さい部分を示しているが、他の実施形態では、画像データは、任意の他の様式でステップ３０５においてスプリットされることが可能である。たとえば、データは半分にスプリットされることが可能であり、データの均等な部分が、トレーニング・データ・セットおよびテスト・データ・セットの各々に割り当てられることが可能である。
実施形態では、プロセッサは、ステップ３０３において、獲得された画像データの一部分を選択し、その部分のみを使用して統計モデルのトレーニングを実施するように構成され得る。すなわち、いくつかの条件下では、画像スタック、または個々の画像さえ完全に使用されるためにはあまりに大きいとき、元の画像のランダムに選択されたサブセクションがトレーニング・データ・セットに割り当てられることが可能である。同様に、ランダムに選択されたサブセクションがテスト・データ・セットに割り当てられることが可能である。テスト・データ・セットは、ロバストな検証を可能にするためにトレーニング・データ・セットとは別個であることが可能であるが、輝度、コントラスト、倍率、照度などのような一般的な画像プロパティは、トレーニング・データ・セットから学習されたルールがテストおよびパフォーマンスについて適用され得るように、一定に保たれることが可能である。輝度、コントラスト、倍率、照度などのような一般的な画像プロパティは、Ｉ／Ｏユニット１４０によって各チャネルから画像データとともに獲得され、画像データとともにメモリ１６０に記憶されることが可能である。したがって、各トレーニングまたはテスト画像データ・セットは、その画像データ・セットを使用して研究のために統計モデルを生成するかまたは構造の予測位置特定を実施するときに考慮されるべきである関連する画像プロパティ・データ・セットを有することができる。トレーニングされると、統計モデルは、選択された画像ベースの特徴に基づいて構造を識別するために、トレーニング・データ・セットと同様の一般的な画像プロパティをもつ、ラベルなしの新しいデータ（３Ｄ画像の第３のセットとも時々呼ばれる）上に適用されることが可能である。別の仕方で言うと、新しいテスト・データ・セットの収集中の組織および画像化条件は、場合によっては（ラベリングがないことを除けば）トレーニング・データ・セットの収集と同等であり得る。
図３Ａに戻ると、データ割振りに続いて、ステップ３０５において、プロセッサは、反復トレーニング手順を使用して統計モデル（生成モデルとも呼ばれる）をトレーニングすることができる。トレーニングは、モデルに、トレーニング・データ・セットからのラベル付き画像とラベルなし画像とのペアとの間の関連付け、またはより一般的には関係を学習させる。たとえば、モデルは、画像のピクセルをそれらのピクセルの蛍光ラベルに関係付けることを試みる非線形関数を表すことがある。トレーニングはステップ３０５～３０９を含むことができ、統計モデルの１つまたは複数のパラメータが、損失関数を減少させるように調整される。方法３００において、ステップ３０５～３０９は、繰返しまたはステップ３１１によって示されるように繰り返され得る、１つのイタレーションを表す。より詳細には、ステップ３０５において、プロセッサは、トレーニング・データ・セットから（たとえば、画像スタックの形態の）ペアにされた画像のバッチを選択することができる。たとえば、いくつかのイタレーション中で、トレーニング・データ・セットのペアにされたラベルなし画像とラベル付き画像とのバッチが選択され、統計モデルに供給されることが可能である。例として、いくつかの実施形態では、トレーニング手順の各イタレーション中で、３２×６４×６４ピクセル（ＺＹＸ次元）画像スタックの２４個のボリューム・ペアまたは３０個のボリューム・ペアのバッチが、トレーニング・データからランダムにサンプリングされ、使用されることが可能である。
実施形態では、統計モデルは、ＣＮＮにおける重み値など、パラメータまたはパラメータ値のセットを含むことができる。実際、ＣＮＮは、ラベルなし画像とラベル付き画像との間の関係をモデル化するのに特に好適であり得る。プロセッサは、パラメータ値を調整することによって統計モデルをトレーニングすることができる。実施形態では、プロセッサは、最初のイタレーションの開始パラメータ値のセットを用いて、および統計モデルに供給されることが可能なトレーニング・データの選択されたバッチのラベルなし画像を用いて、統計モデルを生成することができる。このようにして、統計モデルのトレーニングは開始パラメータ値から始まることができ、このパラメータ値は、反復トレーニング手順の各連続的イタレーションにおいて漸進的に更新されることが可能である。実施形態では、統計モデルは、モデルのパラメータ値に基づいて、ラベルなし画像を、予測されるラベリングを有する画像に変換するように構成された変換関数のセットを含んでいることが可能である。変換関数は、各イタレーションの出力画像中に予測されるラベリングを生成するために使用されることが可能である。予測されるラベリングを示す（３Ｄ画像の第４のセットとも時々呼ばれる）画像の生成は、テスト・データ・セット中の細胞構造のロケーションの指示と呼ばれることも可能である。
ステップ３０５～３０９の各イタレーションにおいて、ラベルなし画像スタックから特定の構造の位置特定を予測することにおける統計モデルのパフォーマンスが評価されることが可能であり、統計モデルのパラメータまたはパラメータ値は、予測される位置特定（テスト・データ・セット中の細胞構造のロケーションの受信された指示とも時々呼ばれる）と、トレーニング・データ・セットの対応するラベル付き画像スタックからの真の位置特定（テスト・データ・セット中の細胞構造の推定されるロケーションとも時々呼ばれる）との間の差を相殺または低減するように、適切に調整されることが可能である。より詳細には、ステップ３０７において、プロセッサは、トレーニング・データ・セットの選択されたバッチの予測されるラベル付き画像を、トレーニング・データ・セットの選択されたバッチの真のラベル付き画像と比較し得る。たとえば、各イタレーションにおけるパフォーマンスの評価は、損失関数を用いた予測されるラベリングと真のラベリングとの間の差の定量化を通して行われることが可能である。例として、予測位置特定のいくつかの実施形態では、損失関数は、予測されるラベリング画像と真のラベリング画像とにわたって計算される平均２乗誤差の測度であり得る。
評価からの結果に基づいて、モデル・パラメータは、パラメータ最適化ステップにおいて、損失関数を最小化することが予想される方向に調整されることが可能である。たとえば、特定のイタレーションにおけるパフォーマンスの定量化に続いて、プロセッサは、ステップ３０９において、ステップ３０７において定量化された損失関数の結果に基づいて、予測されるラベル付き画像が真のラベル付き画像により近くなるように、統計的生成モデルの様々な重みまたは他のパラメータ値を調整することができる。言い換えれば、統計モデルのパラメータ値は、３０７において定量化された損失関数を最小化するように適切な度合いおよび方向で調整されることが可能である。
トレーニング・データ選択、ラベルの位置特定の予測およびパラメータ最適化のステップ３０５～３０９は、図３Ａに示されているプロセス３００中の繰返しステップ３１１によって示されるように、トレーニング・データ・セットの各別個のバッチについて行われることが可能である。
たとえば、トレーニング・データのバッチを入力することと、位置特定を予測することと、損失関数を評価することと、パラメータ最適化を通して、損失関数を最小化するように統計モデルのパラメータを調整することとのステップは、モデル・パラメータまたはモデル・パラメータ値がパフォーマンスの最適点に収束するまで、連続的イタレーションにおいて繰り返し行われることが可能である。パラメータ最適化は、任意の好適な方法を使用して、たとえば勾配降下法またはシミュレーテッド・アニーリングの方法などを使用して行われることが可能である。いくつかの実施形態では、勾配降下を通してパラメータ最適化を達成するためにＡｄａｍオプティマイザが使用されることが可能である。いくつかの実施形態では、パラメータ最適化のための特定の方法を使用して、学習率が設定されることが可能である。最適化方法の選定および学習率の設定は、各イタレーションにおいてパラメータが調整され得る度合いと、収束の度合いと、局所最小値によって影響を受けることなしに大域的最小点に収束するために必要とされるイタレーションの数とに影響を及ぼすことが可能である。いくつかの実施形態では、イタレーションの数は、反復トレーニング手順の終了時に達される収束の度合いにかかわらず設定されることが可能である。所望の収束点および／または所望のイタレーションの数は、所望のラベリング要件および所望の計算時間に基づいて設定されることが可能である。たとえば、いくつかの実装形態では、システムは、約５０，０００のトレーニング・イタレーションを用いてトレーニングされるが、より多いまたはより少ないトレーニング・イタレーションが使用されることが可能である。
図３Ａのステップ３０１～３０９および反復ループ３１１は、特定のラベリングを予測するために統計モデルをトレーニングするためのプロセスの実施形態を略述している。トレーニング・データ・セットの割振りのステップ、およびラベル付きトレーニング・データの特定のセット中でラベリングされた構造の特定のセットの位置特定を予測する好適な統計モデルにおいて収束するための反復トレーニング手順は、１つまたは複数の細胞または亜細胞またはスーパー細胞構造の別個のセットをラベリングする、ラベル付きトレーニング・データの各別個のセットについて行われることが可能である。
統計モデルは、任意の好適なコンピューティング言語を使用して任意の好適な計算環境において実装された、任意の好適な機械学習ツールを使用して生成され、トレーニングされるかまたはさもなければ最適化されることが可能である。たとえば、実装は、Ｐｙｔｈｏｎ（たとえば、ＰｙＴｏｒｃｈ）またはＭａｔｌａｂのような環境において行われ、Ｎｖｉｄｉａ（登録商標）Ｐａｓｃａｌ Ｔｉｔａｎ Ｘ上で走らされることが可能である。統計モデルは、たとえば、線形または非線形空間における距離測度を使用して構築されることが可能である。モデル生成は、教師ありおよび／または教師なし方法を含むこともできる。たとえば、教師なし手法は、クラスタリング法、独立成分分析、行列分解法などを含むことができる。別の例として、教師あり方法は、非線形統計的モデリングを通して特徴発生の報知的パターンを発見するように設計されたニューロンの隠れ計算層をもつまたはもたないニューラル・ネットワークを使用することを含むことができる。モデル生成および最適化を行うためのニューラル・ネットワークのいくつかの実装形態は、フォワードおよび／またはフィードバック情報を供給することができる計算ノードの１つまたは複数の隠れ層を使用することができる。システム１００の一実施形態では、デバイス１１０のプロセッサ１２０は、可変数の隠れ層、隠れ層ごとの可変数のコンピューティング・ユニット、可変数の入力層および出力層、異なる層の間の相互作用、層内部のおよび層を横断する全体的なネットワーク・アーキテクチャ中の再帰の度合い、各層を生成するために使用されるコンピューティング・ユニットのタイプ、各コンピューティング・ユニットの計算能力（たとえば、線形性または非線形性）、フィードバックのハンドリングなどを含む、様々なアーキテクチャの１つまたは複数のニューラル・ネットワークを含む統計モデルを生成し、トレーニングすることができる。
たとえば、システム１００および／またはプロセス３００のいくつかの実施形態は、統計モデルを生成し、トレーニング・データ・セットを使用して最適化するために、深層畳み込みニューラル・ネットワークを使用することができる。実施形態では、畳み込みニューラル・ネットワークは、画像のコンテキストをキャプチャするための収縮経路と、構造の位置特定を可能にするための対称的拡張経路とを含むことができる。たとえば、畳み込みニューラル・ネットワークは、修正された「ｕ－ｎｅｔ」アーキテクチャを有することができ、ｕ－ｎｅｔアーキテクチャは、Ｎａｖａｂ Ｎ．、Ｈｏｒｎｅｇｇｅｒ Ｊ．、Ｗｅｌｌｓ Ｗ．、Ｆｒａｎｇｉ Ａ．（編） Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ－Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ － ＭＩＣＣＡＩ ２０１５中の、Ｒｏｎｎｅｂｅｒｇｅｒ Ｏ．、Ｆｉｓｃｈｅｒ Ｐ．、Ｂｒｏｘ Ｔ．（２０１５）Ｕ－Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎに開示されているものと概して同様であり、これの開示全体は参照により本明細書に組み込まれる。
畳み込みＵ－ｎｅｔは、要件に基づいて、細胞もしくは亜細胞、またはスーパー細胞構造の予測位置特定により良く適合するように、任意の好適な様式で修正されることが可能である。予測位置特定を行うために本システムのいくつかの実施形態において使用される例示的な修正されたＵ－ｎｅｔニューラル・ネットワークは図４Ｂに示されている。対象物位置特定を実施するための多層ニューラル・ネットワークまたは畳み込みＵ－ｎｅｔの実装のために、デバイス１１０およびプロセッサ１２０は、高速画像データ処理および分析を容易にするために中央処理ユニット（ＣＰＵ）またはグラフィック処理ユニット（ＧＰＵ）を含むことができる。
実施形態では、畳み込みＵ－ｎｅｔは、トレーニングに使用するのに比較的少ないラベル付き画像（たとえば、５００個未満）がある状況では、他のタイプのニューラル・ネットワークよりも有利であり得る。Ｕ－ｎｅｔは、ラベルなし画像などの第１の画像をラベル付き画像などの第２の画像に変換する、線形フィルタおよび活性化関数を含む、関数または一連の関数として表されることが可能である。Ｕ－ｎｅｔは、畳み込みの３つのタイプのうちの１つを実施し、それに続いてバッチ正規化および修正線形ユニット（ＲｅＬＵ）演算を実施する層にフィルタを編成することができる。畳み込みの３つのタイプは、（層の入力と出力が同じ空間エリアになるような）ゼロパディングされた入力上に１つのピクセルのストライドをもつ３ピクセル畳み込み、（出力の空間エリアを１／２にするための）２つのピクセルのストライドをもつ２ピクセル畳み込み、または（出力の空間エリアを２倍にするための）２のストライドをもつ２ピクセル転置畳み込みを含む。いくつかの場合には、ネットワークの最後の層の上で正規化またはＲｅＬＵはない。
再び図３Ａを参照すると、最適化されたパラメータをもつ変換関数を含んでいる好適な統計モデル上に収束した後に、プロセッサは、ステップ３１３において、トレーニング・データ・セットを獲得するために使用されたのと同様の組織調製およびラベルなし画像化条件に従って獲得される新しいラベルなしデータを受信することができる。
方法３００のステップ３１５において、システムのプロセッサは、テスト・データ・セット（たとえば、３Ｄ画像の第３のセット）上に、最適化されたパラメータをもつトレーニングされた統計モデルを適用して、トレーニング・データ・セット（たとえば、３Ｄ画像の第４のセット）中でラベリングされた構造と同様のターゲット構造の特定のセットの予測されるラベリングをもつ画像を取得することができる。たとえば、特定の統計モデルが、ヘキスト・マーカーを使用するＤＮＡのためのラベリングを含んでいるトレーニング・データ・セットを用いてトレーニングされた場合、そのトレーニングされた統計モデルは、生物学的サンプル（たとえば、組織サンプル）のラベルなし画像を、その生物学的サンプルのヘキスト・マーカーを示す画像を近似するラベル付き画像に正確に変換するための、最適化されたパラメータをもつ変換関数を有することができる。トレーニングされた統計モデルの変換関数によって規定される画像変換を実施することによって、テスト・データ・セットのラベルなし画像を、トレーニングされた統計モデルに供給するプロセスは、トレーニングされた統計モデルをラベルなしテスト・データ・セットに適用することと見なされることも可能である。たとえば、トレーニングされた統計モデルがＵ－ｎｅｔを含んだ場合、プロセッサは、複数の層に分割されたフィルタおよび活性化関数を使用してラベルなしテスト・データ・セットを変換することができ、フィルタは、Ｕ－ｎｅｔのトレーニング中に最適化された重みを有する。
例として、トレーニングされた統計モデルは、ラベルなしテスト・データ・セット中のヘキスト・ラベリングの予測を通してＤＮＡの位置特定を予測するために適用されることが可能である。ラベルなしテスト・データ・セットは、生物学的サンプルの明視野画像からの画像データであることが可能である。細胞構造および他の対象物は、たとえば、ヘキスト・マーカーで染色された画像に対して、明視野画像から見るのがより困難であり得る。ステップ３１９において、プロセッサは、ユーザ可視化のためにラベルなしテスト・データ・セットとともに予測ラベリングをレンダリングすることができる。より詳細には、トレーニングされた統計モデルは、それが適用された場合、ヘキスト・マーカーが画像中のどこに現れるであろうかを予測することができる。予測は、ＤＮＡが画像中に位置特定されるかどうかの近似を提供し得る。いくつかの実施形態では、いくつかのラベリング・チャネルを用いてトレーニングされたいくつかの異なる統計モデルを使用していくつかの構造の位置特定を予測したとき、システムは、ステップ３１９において、いくつかの出力画像スタックを、マージされた複合画像スタックに組み合わせることもできる。加えて、ステップ３１９において、システムのプロセッサは、パフォーマンスを評価し、予測精度を定量化することもできる。
テスト・データの部分は、トレーニングされた統計モデルのパフォーマンスの評価のために使用されることが可能である。トレーニング手順中にサブサンプリングを使用した大きいサンプルの場合、テスト手順は、サブサンプリングを使用しても使用しなくてもよい。いくつかの実施形態では、統計モデルのパフォーマンスは、トレーニング中に使用された損失関数と同様の損失関数を使用して定量化されることが可能である。たとえば、トレーニングされたモデルのパフォーマンスのメトリックを提供するために、テスト・データ・セット中のラベル付き画像スタックとラベルなし画像スタックとの各ペアからの損失関数値の平均値が使用されることが可能である。いくつかの実施形態では、統計モデルのパフォーマンスは、以下で説明されるように、予測からの結果の行列表現を使用して定量化されるかまたはさもなければ表されることが可能である。
実施形態では、ステップ３１３～３１９は、トレーニング・ステップ３０１～３１１において使用された透過光画像のスライス間間隔と同じまたは実質的に同じであるスライス間間隔を用いて透過光画像を獲得することを伴うことができる。
実施形態では、プロセッサは、トレーニングされたモデルを使用して、明視野または他の透過光画像化技法を用いて時系列データを生成することができる。時系列データは、たとえば、ラベル付き細胞構造が時間とともにどのように変化するかを示すアニメーションとして出力されることが可能である。たとえば、アニメーションは、ヒト誘導多能性幹細胞（ｈｉＰＳｃ）の有糸分裂などの動的イベントを示し得る。明視野画像自体の中では、核エンベロープの破壊および再編成など、いくつかの構造または特徴は認識することが困難であり得る。しかしながら、アニメーションは、トレーニングされたモデルを使用して生成されたので、それは、核エンベロープなどの特定の構造をラベリングする色または他の形態のコントラストを含むことができる。したがって、この技法は、サンプルを混乱させることなしに行われ得るので、サンプル内の動的イベント、特に数分以上持続する長いイベントを可視化するのに適する。たとえば、明視野画像化は、細胞を混乱させることなしに少なくとも数時間の間、細胞上で実施されることが可能である。得られた明視野画像は、次いで、トレーニングされたモデルを使用して変換されて、その画像化時間スパン中の様々な細胞構造の予測されるラベリングを示すアニメーションまたは他の時系列データが生成され得る。たとえば、蛍光画像化において使用される化学物質は短い時間量の直後にサンプルを混乱させることがあるので、これは、蛍光画像化を使用して行われることが不可能である。たとえば、ｈｉＰＳｃ細胞中のＤＮＡおよび／または細胞膜をラベリングするために蛍光ラベルが使用されていた場合、蛍光画像化技法において使用される化学物質は、細胞構造がわずか数分後に異常な細胞形態を呈することを引き起こすであろう。
図３Ｂは、ラベルなし画像を使用してアニメーションなどの時系列データを生成するための方法３００Ａを示すブロック図を提供する。方法３００Ａはステップ３０１～３０９を含み、これらは図３Ａにあるものと同じである。方法３００Ａはステップ３２３をさらに含み、プロセッサ１２０などのプロセッサは、蛍光ラベリングまたは他のラベリングなしの一連の画像を獲得する。これらの一連の画像は、時間ウィンドウのそれぞれの時間インスタンスのシーケンスでサンプルをキャプチャすることができる。たとえば、６０分時間ウィンドウ中に、プロセッサ１２０は、サンプルの一連の１２０個の画像を獲得することができ、１つの画像が３０秒ごとにキャプチャされる。
ステップ３２５において、プロセッサは、一連の画像のすべてに１つまたは複数のトレーニングされた統計モデルを適用して、蛍光ラベリングまたは他のラベリングを有する一連の画像を生成することができる。たとえば、プロセッサは、ＣＮＮを適用して、一連の画像のうちの各画像を、蛍光画像を近似するラベル付き画像に変換することができる。プロセッサは、画像が獲得されるとすぐに画像に対して変換を実施することができるか、またはある遅延量の後に変換を実施することができる。
ステップ３２７において、プロセッサは、蛍光ラベリングを有する生成された一連の画像を使用して時間ウィンドウ中にサンプルのアニメーションをレンダリングすることができる。たとえば、サンプルが、６０分ウィンドウ中に有糸分裂を経験していた細胞である場合、アニメーションは、細胞中の様々な構造の近似されたラベリング（または、より一般的には、予測されるラベリング）を示し得る。したがって、アニメーションは、ラベル付き構造が６０分ウィンドウ中にどのように変化したかを認識することをより容易にすることができる。
図５は、細胞構造の予測される画像（予測画像とも呼ばれる）を生成するためのシステムの概観を示す。図に示されているように、図１Ｂのプロセッサ１２０など、プロセッサは、ラベルなし画像化モダリティ、たとえば、明視野、ＤＩＣ、位相コントラスト画像化などを使用するスライスの画像を含んでいる３次元画像スタック５５２の形態の入力画像スタックを受信し得る。図５の入力画像スタック５５２はキューブとして示され、３次元画像スタックを表す。例示的なテスト・データ・セットは、１５個程度の少数の画像からトレーニング・データ／画像のセット全体のように大きいものまで、任意の好適なサイズであることが可能である。所望のラベリングは複数のチャネルに分離されてよく、各チャネルは、異なる構造、材料、または構成要素に対応し得る。たとえば、ＤＮＡ材料、ＲＮＡ材料および細胞膜のための別個のラベリングが所望される場合、システム１００の実施形態は、ステップ５５５において予測位置特定を実装し、３つの異なる構造のためのラベリングを予測することができる。トレーニングされた統計モデルを適用することによってラベルなしテスト・データ・セット中の構造のラベリングを予測して、予測されるラベル付きデータ・セットを生成することは、３Ｄ画像の第４のセットを生成することと呼ばれることも可能であり、３Ｄ画像の第４のセットは、細胞構造の推定されるロケーションの指示を含む。ステップ５５５においてトレーニングされた統計モデルを適用することによる予測位置特定は、システム１００のデバイス１１０の一部であり得るＣＰＵ／ＧＰＵおよびプロセッサ１２０によって行われる画像変換関数ｆ１、ｆ２．．．ｆｍによって示される。各変換関数の結果は、図示のように３次元画像スタックに再アセンブルされることが可能な、別個のラベル付きデータ・セットである。画像スタック５５６は、１つまたは複数の構造の予測されるラベリングを含んでいる例示的な生成された画像スタックである。たとえば、画像スタック５５６は、生物学的サンプルの同じ部分のすべての画像である、第１の画像、第２の画像、および第３の画像を含み得る。第１の画像は、第１の画像中のＤＮＡラベリングを予測する予測データを含むかまたはその予測データが伴われ得る。第２の画像は、第２の画像中のＲＮＡラベリングを予測する予測データを含むかまたはその予測データが伴われ得る。第３の画像は、第３の画像中の細胞膜ラベリングを予測する予測データを含むかまたはその予測データが伴われ得る。
図６は、３次元スタックのいくつかのペアに対する画像分析のための例示的なトレーニング手順を示す。実施形態では、各ペアは、サンプルの領域をキャプチャする画像データの第１のチャネルを含み、同じ領域をキャプチャする画像データの第２のチャネルを含む。入力画像データは、図６ではキューブとして示されており、各キューブは、１つのチャネルの３次元画像スタックを表す。入力画像データは、ラベル付き画像化方法を通して獲得された画像スタックのセット６６４を含む。セット６６４は、３Ｄ画像の複数のセットのうちの３Ｄ画像の第１のセットを含み、６５４はそれらのうちの１つである。入力データはまた、透過光画像化６６２を通して獲得された、画像スタックのセット６６２、または３Ｄ画像の複数のセットのうちの３Ｄ画像の第２のセットを含み、６５２はそれらのうちの１つの画像スタックである。
実施形態では、画像スタックのセット６６４は、注目する特定の細胞構造をラベリングする第１のラベル（「ラベル１」）を含んでおり、画像スタックのセット６６２とペアにされる。図示のように、この入力画像データは、ステップ６６１において分離またはスプリットされ、いくつかの部分はトレーニング・データ・セットに割り当てられるが、他の部分はテスト・データ・セットに割り当てられる。この割当ては、個々のスタックのランダム化された選択のプロセスを通して行われることが可能である。
実施形態では、トレーニングを実施するために必要とされるコンピュータ・メモリの量を低減するためにサブサンプリングが実施されることが可能である。したがって、サブサンプリングは、たとえば、より高速な応答時間を提供し、より少ないメモリを使用することによって、そのような画像を分析するコンピュータのパフォーマンスを改善することができる。たとえば、前に説明されたように、いくつかの状況下では、単一のスタックからの画像データ全体があまりに大きくなり得るとき、トレーニング・データ・セット・スタックは、ステップ６５９において、ボクセルと呼ばれることもある、より小さい３次元サブスタックまたは「チャンク」にさらにサブサンプリングされることが可能である。トレーニング・データ・セットのラベル付き画像スタックの１つまたは複数のより小さいボクセルまたは３次元チャンクをサブサンプリングするプロセスは、３Ｄ画像の第１のセットから、第１（第２など）の領域を示すトレーニング画像の第１（第２など）のセットを抽出することと呼ばれることも可能である。同様に、トレーニング・データ・セットのラベルなし画像スタックの１つまたは複数のより小さいボクセルまたは３次元チャンクをサブサンプリングすることは、３Ｄ画像の第２のセットから、第１（第２など）の領域を示すトレーニング画像の第１（第２など）のセットを抽出することと呼ばれることも可能である。
これらのサブサンプリングされたチャンクは、次いで、トレーニング・データ・セットとして使用されることが可能である。チャンクをサブサンプリングするこのプロセスは、図６では、より小さいキューブ（チャンク）がトレーニング・データ・セット画像スタック内からランダムに選択されることによって示されている。サブサンプリングされたキューブまたはチャンクは、部分的に重複しているかまたは重複しないことが可能である。１つまたは複数の構造に関連付けられたラベルをもつ３Ｄトレーニング画像データのサブサンプリングされたチャンクは、３Ｄ画像の第１のセットからの、第１（第２など）の領域を示すトレーニング画像の第１（第２など）のセットと呼ばれることが可能である。同様に、ラベルなし３Ｄトレーニング画像データからサブサンプリングされたチャンクは、３Ｄ画像の第２のセットからの、第１（第２など）の領域を示すトレーニング画像の第１（第２など）のセットと呼ばれることが可能である。トレーニング手順は、完全な３次元スタック・データを用いてトレーニングするために採用されるトレーニング手順と同じかまたは同様であることが可能である。トレーニング・データ・セットは、次いで、ラベル付きデータ・チャンクＹｔｒａｉｎとそれぞれペアにされることが可能である、ラベルなしデータ・チャンクＸｔｒａｉｎのセットを含むことができる。トレーニングは、各Ｘｔｒａｉｎデータをそれの対応するラベル付きＹｔｒａｉｎデータに関連付ける最適な関係に到達することを伴う。図６に示されている例は、変換関数ｆ１によって表される統計モデルを取得する例示的なトレーニング手順６５５を示す。
同様に、ステップ６５７におけるパフォーマンスの検証または評価が、スタック全体を使用して行われるか、あるいはトレーニングおよび／またはテスト・データ・セットとともに採用されるサブサンプリングされたチャンクを使用することによって行われることが可能である。１つまたは複数の構造に関連付けられたラベルをもつ３Ｄテスト画像データのサブサンプリングされたチャンクは、３Ｄ画像の第１のセットからの、第１（第２など）の領域を示すテスト画像の第１（第２など）のセットと呼ばれることが可能である。同様に、ラベルなし３Ｄ画像データからサブサンプリングされたチャンクは、３Ｄ画像の第２のセットからの、第１（第２など）の領域を示すテスト画像の第１（第２など）のセットと呼ばれることが可能である。たとえば、図６のトレーニング手順６５５および変換関数ｆ１の形態で取得されたモデルは、生成された画像データｆ（Ｘｔｅｓｔ）６５６をＹｔｅｓｔデータ６５４と比較することによって、評価手順６５７において検証されることが可能である。
図７Ａは、３次元スタックのいくつかのセット（セット７６４Ａ、セット７６４Ｂ、セット７６４Ｃ）を含んでいるデータを使用して予測位置特定を実施するための例示的な方法を示し、各セットは、異なるラベリング（Ａ、Ｂ、およびＣ）をもつ画像スタックを含んでいる。各別様のラベル付きまたはラベルなしセットからの画像スタックは、トレーニング目的のために使用され得る透過光画像化を通して獲得される画像スタック（セット７６２Ａ、セット７６２Ｂ、セット７６２Ｃ）とペアにされることが可能である。加えて、トレーニング・データ・セットを用いて構築されたモデルに基づいて、所与のラベルなし透過光データ７５４からラベル付き画像を予測することによって、新しいラベルなしデータ（７５４）が再構成されることになる。トレーニングのための入力データは、ｍの異なるラベル（たとえば、ｍ＝Ａ、Ｂ、Ｃなど）とともに画像化された、ｎの領域（たとえば、ｎ＝１、２など）の３次元画像スタックを含んでいるキューブによって表される。各ラベル付き３Ｄ画像スタック（たとえば、７６４Ａ）は、その場合、３Ｄ画像の複数のセットのうちの３Ｄ画像の第１のセットの例であり得る。各ラベル付き画像スタックは、３Ｄ画像の複数のセットのうちの３Ｄ画像の第２のセットとも呼ばれる、対応するラベルなし透過光データ・スタック（たとえば、７６２Ａ）とペアにされることが可能である。ペアにされたデータは、本明細書で説明されるものと同様のトレーニング手順に供給されることが可能であり、ペアにされたラベル付きトレーニング・データ・セットおよびラベルなしトレーニング・データ・セット（ラベルなしデータ７６２とラベル付きデータ７６４とのＡ、ＢおよびＣのペア）の間の関係を最も良く推定するような統計モデルが構築されることが可能である。この例では、すべての入力データがトレーニング・データ・セットとして使用されることが可能であるか、またはサブセットが検証のためにテスト・データ・セットになるようにランダムに割り当てられることが可能であり、この検証は図７Ｂに示されている。図７Ｂの例では、異なるそれぞれのラベルのために複数のモデルがトレーニングされていることがある。各ラベル（たとえば、Ａによって示されるラベル１、Ｂによって示されるラベル２、．．ｍ）は、１つまたは複数の異なるサブ構造をターゲットにすることができ、したがって、たとえばトレーニング手順７５１Ａ、７５１Ｂ、および７５１Ｃは、ラベルごとに最も良く推定される変換関数に到達することができる（たとえば、ラベル１（Ａ）にはｆ１、ラベル２（Ｂ）にはｆ２．．．およびラベルｍ（Ｃ）にはｆｍ）。
３Ｄ画像の複数のセットのうちの３Ｄ画像の第３のセットとも呼ばれる、３次元透過光のみのデータ・セット７５４中のラベルを予測することによって構造の位置特定を予測するために、トレーニング手順７５１Ａ、７５１Ｂ、および７５１Ｃから得られた変換関数が、ステップ７５５Ａ、７５５Ｂ、および７５５Ｃにおいて、透過光データ７５４上に適用される。この適用は、各変換関数を介してラベルなし透過光データを連続的に受け渡し、次いで、得られた予測画像を合成（たとえば、オーバーレイ）することによって行われる。したがって、出力画像スタック７５６Ａ、７５６Ｂ、および７５６Ｃは、トレーニング・データ・セット中にあるラベルと同程度に多くの予測されるラベリングのチャネルをもつ３次元画像スタックであるか、またはトレーニング・データ・セットを使用して統計モデルを通して学習され得るのと同程度に多くの変換関数をもつ３次元画像スタックである。出力画像スタック７５６Ａ、７５６Ｂ、および７５６Ｃはそれぞれ、３Ｄ画像の第４のセットの例であり得る。
実施形態では、上記で論じられたステップは、いくつかの膜構造およびより大きい集合体（たとえば、核小体、小胞体、ミトコンドリア、ＤＮＡ）などの細胞構造を用いて実施されることが可能であるが、デスモソームおよびアクトミオシン束など、低コントラストの細胞構造を用いるのはより難しい。
図８は、図７Ａに示されている入力データ・セットと同様の例示的な入力データ・セットを示す。図８の例におけるトレーニング・データ・セットは３次元画像スタック（Ａ、ＢおよびＣ）のペアを含み、各ペアは、透過光画像化を通して取得される一方の画像スタック（たとえば、スタック８６２Ａ、８６２Ｂ、および８６２Ｃ）と、特定の蛍光タグをもつ、蛍光画像化を通して取得される他方の対応するラベル付き画像スタック（たとえば、８６４Ａ、８６４Ｂ、および８６４Ｃ）とからなる。たとえば、画像スタックの第１のペアは、透過光画像スタック８６２Ａと、フィブリラリンでラベリングされた蛍光画像スタック８６４Ａとを含んでいる。この例では、フィブリラリン、核小体マーカーは、細胞中の核小体構造の位置特定をハイライトする緑色蛍光タンパク質（ＧＦＰ）を使用してタグ付けされる。フィブリラリン・ラベリングをもつ画像スタック８６４Ａは、本明細書で開示される３Ｄ画像の第１のセットの例であり、透過光画像をもつ画像スタック８６２Ａは、３Ｄ画像の第２のセットの例であり得る。同様に、トレーニング・データ・セットの第２のペアおよび第３のペアは、透過光画像スタック、それぞれ８６２Ｂおよび８６２Ｃと、第２における、ラミンＢ１、核エンベロープ・マーカーでラベリングされた、蛍光画像スタック８６４Ｂ、および第３における、Ｔｏｍ２０、ミトコンドリア・マーカーでラベリングされた、蛍光画像スタック８６４Ｃとを含む。ペアにされたラベル付き画像スタックとラベルなし画像スタックとのこのデータ・セットは、透過光画像化を通して取得されるラベルなしデータ・セットを用いてテストされるとき、フィブリラリンを使用する核小体ラベリング、ラミンＢ１を使用する核エンベロープ・ラベリング、およびＴｏｍ２０を使用するミトコンドリア・ラベリングを予測するために、統計モデルを学習し生成するためにシステムによって使用されることが可能である。
図９は、各々の蛍光ラベリングの予測を介したいくつかの細胞構造の予測位置特定からの例示的な結果を示す。図９に示されている結果を取得するために、システムは、図８に示されているようなラベル付き３次元画像スタックとラベルなし３次元画像スタックとのペアを使用してトレーニングされた。特に、システムは、フィブリラリン（Ａ）蛍光マーカーを使用する核小体ラベリングと、ラミンＢ１（Ｂ）蛍光マーカーを使用する核エンベロープ・ラベリングと、Ｔｏｏｍ２０（Ｃ）蛍光マーカーを使用するミトコンドリア・ラベリングと、ヘキスト（Ｄ）蛍光マーカーを使用するＤＮＡラベリングとをもつ蛍光データを有したトレーニング・データ・セットを使用してトレーニングされた。トレーニングに続いて、システムは、トレーニングにおいて使用された４つのラベルの予測位置特定のための新しいラベルなしデータ・セットを用いてテストされた。図９は、ラベルなしテスト・データ・セットの例示的なスライスまたは他の部分９５４と、トレーニングにおいて使用された４つのマーカーのための予測される蛍光ラベリングの例示的なスライス（９５６Ａ、９５６Ｂ、９５６Ｃおよび９５６Ｄ）とを示す。いくつかの場合には、プロセッサは、ラベルなし画像９５４中の各ピクセルについてグレースケール強度を予測することによって画像９５６Ａを生成してよく、グレースケール強度は、核小体構造にバインドするフィブリラリン・マーカーの存在または量に関連付けられる。プロセッサは、ラミンＢ１、Ｔｏｍ２０、およびヘキストにそれぞれ関連する画像９５６Ｂ、９５６Ｃ、および９５６Ｄを生成するために同様のプロセスを採用し得る。
図１０Ａは、透過光画像化を使用して取得され、ＤＮＡラベリングの予測位置特定のためにテストされる、３つのテスト画像１０６２Ａ、１０６２Ｂ、および１０６２Ｃの例示的なセットを示す。真の蛍光ラベル付き画像１０６４Ａ、１０６４Ｂ、および１０６４Ｃは、ヘキスト染料によってバインドされたＤＮＡの位置特定を示す。ＤＮＡの予測されるラベリングは、システム１００の実施形態を使用して予測される画像１０５６Ａ、１０５６Ｂ、および１０５６Ｃ中に示されている。真のラベル付き画像と結果の予測されるラベリングとの間のこれらの高い相関は、３Ｄ－ＩＭＴシステムを使用する予測位置特定の高い精度を示す。図１１Ａは、大きい画像データ・セット中で予測位置特定を実施するためのシステム１００の実施形態の例示的な使用を示す。上記で説明されたように、トレーニングおよび／またはテスト画像データ・セットがそれらの全体として扱われるためにはあまりに大きいとき、トレーニングおよびテストは、データ・セットを重複しているか重複しないサブ画像スタックのチャンクにサブサンプリングすることによって実施されることが可能である。図１１Ｃに示されている例は、ラベルなしテスト・データ・セットの（図１１Ｂ中でハイライトされた）、３つのサブサンプリングされたチャンク１１６２Ａ、１１６２Ｖ、および１１６２Ｃと、対応する予測されるラベル付きデータの、対応するチャンク１１５６Ａ、１１５６Ｂ、および１１５６Ｃとを示す。図１０Ｂは、真の蛍光ラベル付き画像のおよび予測される蛍光画像の同様の比較を示す。より詳細には、この図は、３Ｄ光学顕微鏡検査のための追加のラベル付き構造モデルおよび予測を示す。モデルごとに、グランド・トゥルース（観測される）蛍光画像の単一のｚスライスは、入力として対応する３Ｄ透過光画像があるとすれば（後者は図示されず）、ラベル付き構造モデルによって予測される画像の横に示されている。すべてのモデルは、ＤＩＣ画像上でトレーニングされた最後の行に示されているモデルを除いて、入力として明視野画像を使用する。ｚスライスは、各モデルに関連付けられた注目する構造をハイライトするような管理された様式で選定された。画像スライス・ペアは、ブラック値およびホワイト値がそれぞれターゲット画像強度の０．１パーセンタイルおよび９９．９パーセンタイルに対応するように、同等にコントラスト伸張された。図示のすべての画像はモデル・トレーニング・データとは無関係である。スケール・バーは２０ミクロンである。
図１０Ｃは、光学顕微鏡検査を用いて取得された画像の３Ｄレンダリングについての予測結果を示す。この図は、３Ｄ時間経過透過光入力と複数の予測画像との間の関係を示す。最初に、３Ｄ透過光からの個々のｚ平面画像が連続して示される。次に、ＤＮＡ（青）、核小体（マゼンタ）、核膜（黄色）およびミトコンドリア（緑）の順序で色がオーバーレイされて個々の予測が示される。次に、すべてのチャネルの複合レンダリングが示され、続いて、すべての予測のボリューメトリック３Ｄレンダリングが一緒に示される。最終的に、図１７Ｅに示されている時系列からの個々の時点または時間インスタンスの同じボリューメトリック３Ｄレンダリングが示され、４回繰り返される。ボックス形の輪郭は、９７μｍ×６５μｍ×１９μｍを包含するこのボリュームの視野の範囲を示す。
図１２は、別個のラベリングを用いたいくつかの構造の予測位置特定からの例示的な結果を示す。ラベル付き画像１２６４Ａ、１２６４Ｂ、および１２６４Ｃは、それぞれ、（核小体構造をターゲットにする）フィブリラリン、Ｔｏｍ２０（ミトコンドリア構造）、および（核エンベロープをターゲットにする）ラミンでラベリングされた細胞のセットの例示的なターゲット部分である。ラベルなし画像１２６２Ａ、１２６２Ｂ、および１２６２Ｃは、透過光画像化を用いてキャプチャされる対応する入力部分であり、それらから、トレーニングされた統計モデルによって行われる予測を通して構造が位置特定される。画像１２５６Ａ、１２５６Ｂ、および１２５６Ｃは、ターゲット部分と比較すべき、予測されるラベリングをもつ対応する出力部分である。
図１３Ａは、βアクチン、デスモプラキン、ＤＮＡなどのような別個のラベルを用いたいくつかの亜細胞構造の予測位置特定における（たとえば、システム１００と同様の）例示的なシステムの実施形態のパフォーマンスを示す棒プロットである。図１３Ａの棒プロットは、テスト・データ・セット（棒の暗色部分）とトレーニング・データ・セット（棒の明色部分）とにスプリットされたデータ上で計算された損失関数の正規化された定量化を示す。図１３Ｂは、いくつかの例示的なモデルの定量化されたパフォーマンスをさらに示す。より詳細には、この図は、いくつかの構造についての予測される画像とターゲット画像（たとえば、ラベル付き画像）との間の相関係数を示す。いくつかの実施形態では、モデル・パフォーマンスは、ターゲット画像の信号対ノイズ比（ＳＮＲ）の推定値に基づく上限を有することがある。上述のように、いくつかの場合には、トレーニングされたモデルのパフォーマンスは、トレーニングされたモデルが、トレーニング画像を獲得するために使用されたのと同じパラメータまたは他の条件を用いて獲得された入力画像に適用される場合、改善されることがある。たとえば、トレーニングされたモデルは、それらが、トレーニング画像を獲得するために使用されたスライス間間隔に等しいかまたはそれよりも長いスライス間間隔で獲得された入力画像（たとえば、明視野画像）に適用される場合、改善されたパフォーマンスを有することがある。したがって、実施形態では、予測ラベリングのために、トレーニングされたモデルを使用する新しい画像は、トレーニング画像を獲得するために使用されたものと同じであるパラメータ値または他の条件を用いて獲得されることが可能である。
実施形態では、モデルおよびそれらの予測のパフォーマンスは、大域的な画像複雑性を考慮に入れてよい。より詳細には、いくつかの細胞内構造は他の細胞内構造よりも複雑であり、パフォーマンスの評価はそのようなばらつきを考慮に入れてよい。一例では、コルモゴロフ複雑性の近似が使用されてよい。より詳細には、コルモゴロフ複雑性は、空間アウェア・ロスレス圧縮があるとすれば、画像の最小ファイルサイズ（または、より一般的には、メモリサイズ）によって近似され得る。たとえば、この近似は、特定の構造の画像を要約することがどのくらい難しいかを表す、条件付きエントロピーなど、単一の数を生じることがある。一例では、この数は、第１の画像ファイルサイズ－第２の画像ファイルサイズとして計算されることが可能であり、第１の画像ファイルサイズは、細胞構造を有する（たとえば、核、細胞膜、および注目する細胞構造を有する）画像のファイルサイズであり、第２の画像ファイルサイズは、細胞構造を有しない（たとえば、核、細胞膜を有し、注目する細胞構造を有しない）画像のファイルサイズである。
図１４Ａは、システム１００の実施形態を使用して、細胞膜、核小体、およびＤＮＡなど、いくつかの構造（１、２、．．．ｎ）の位置特定を予測するための方式を示す。本方式は、いくつかの統計モデル（モデル１、モデル２、．．モデルｎ）をトレーニングすることができる。たとえば、本方式は、細胞膜のラベリング、核小体のラベリング、およびＤＮＡのラベリングにそれぞれ対応する少なくとも３つの統計モデルをトレーニングすることができる。プロセッサは、入力画像１４５４などのラベルなし３Ｄ画像を使用して、画像のどの部分が細胞膜としてラベリングされるか、画像のどの部分が核小体としてラベリングされるか、およびどの部分がＤＮＡとラベリングされるかを予測することなどによって、構造の位置特定を予測し得る。予測は、予測される出力１４５６Ａ、１４５６Ｂ、および１４５６Ｃ（それぞれ、出力１、出力２、．．．出力ｎ）の形態であり得る。１つまたは複数の構造をそれぞれラベリングする出力スタック１４５６Ａ、１４５６Ｂ、および１４５６Ｃは、合成された画像または画像スタック１４６６を通して可視化されることも可能である。合成された画像または画像スタック１９６６は、別個のスペクトル線でそれぞれラベリングされた出力１４５６Ａ、１４５６Ｂ、および１４５６Ｃをマージすることによって生成されることが可能である。たとえば、図１４Ａは、５つの異なるモデルが、単一のラベルなし明視野画像から、５つの異なるそれぞれの予測される画像を生成することができる状況を示している。５つの異なる予測される画像は、５つの異なる構造に対応することができ、５つの異なるチャネルと呼ばれることがある。図１４Ａは、５つの異なる画像を１つの画像にマージする、マージされた画像を示している。マージされた画像は、構造の５つすべてを示すことができる。いくつかの場合には、時系列のマージされた画像が、時系列のラベルなし明視野画像から生成され得る場合。図１４Ｂは、たとえば、５つの異なるモデルが明視野画像に適用されて、５つのそれぞれのラベル付き画像が生成されることが可能な実施形態を同様に示し、各ラベル付き画像は、異なるそれぞれの細胞構造のための予測ラベリングを含むことができる。図１４Ｂの実施形態では、５つの画像中の予測ラベリングは、５つの異なるそれぞれの色を有することができ、５つの画像は、５つの画像の各々からのラベル付き細胞構造を示す単一の画像にマージされることが可能である。実施形態では、モデルは、図３Ｂにおいて説明されたのと同様の様式で、時系列を生成するために使用されることも可能である。
図１５は、（明視野画像化を通して収集された）入力画像１５５４から、マーカーの予測されるラベリングを通して構造の位置特定をそれぞれ予測する、出力画像１５５６Ａ～１５５６Ｅの例示的なセットを示す。合成された画像１５６６は、出力画像１５５６Ａ～１５５６Ｅをマージすることから生成される。
実施形態では、本明細書で論じられる統計モデルのトレーニングは、画像位置決め、より詳細には、共役アレイ・トモグラフィーにおける画像位置決めを実施するために使用されることが可能である。（その内容全体が参照により組み込まれる）Ｃｏｌｌｍａｎらによる「Ｍａｐｐｉｎｇ Ｓｙｎａｐｓｅｓ ｂｙ Ｃｏｎｊｕｇａｔｅ Ｌｉｇｈｔ－Ｅｌｅｃｔｒｏｎ Ａｒｒａｙ Ｔｏｍｏｇｒａｐｈｙ」においてより詳細に論じられている共役アレイ・トモグラフィーは、電子顕微鏡写真（ＥＭ）画像化および免疫蛍光（ＩＦ）画像化（または、より一般的には、蛍光画像化）など、極薄脳スライス中のミエリン塩基性タンパク質（ＭＢＰ）に少なくとも２つの画像化モダリティを適用することを伴うことができる。したがって、スライスごとに少なくとも画像のペアが生成され得、ペアは、スライスのＥＭ画像と、そのスライスの蛍光画像とを含む。しかしながら、画像のこれらのペアは、スライス（または、より一般的には、サンプルの）の異なる部分をキャプチャすることができ、異なるスケールまたは配向さえ有し得る。たとえば、図１６Ａおよび図１６Ｂは、スライス１６０１の第１の部分１６０３をキャプチャするＥＭ画像１６０７と、スライス１６０１の第２の部分１６０５をキャプチャする蛍光画像１６０９とを示す。２つの画像１６０７および１６０９は、図１６Ａおよび図１６Ｂにおいて画像タイルと呼ばれることが可能であり、各タイルは固定数のピクセル（たとえば、５００ピクセル×５００ピクセル）を有することができる。これら２つの画像は、異なる部分をキャプチャし、異なるスケール（たとえば、それらが異なる解像度を有するような、異なるレベルの倍率）を有することができるので、したがって、それらは、どのようにしてそれらが同じ位置合わせ、配向、および／またはスケールを有することができるかを決定するために、互いに位置決めされる必要があり得る。画像位置決めは、図１６Ｃに示されているように、画像をオーバーレイすることを可能にすることができる。たとえば、図１６Ｃにおいて２つの画像１６０７および１６０９が互いに位置決めされると、位置決めは、画像１６０７の左上コーナー（たとえば、０の座標、画像１６０７の座標空間中の０）が、画像１６０９の座標空間中の座標（ｘ１、ｙ１）において開始する画像１６０９の部分に対応することを示すことができる。位置決めは、画像１６０７が、画像１６０９の１／１０もしくは何らかの他の断片にスケーリングされ、および／または画像１６０９に対して回転されるべきことをさらに示すことができる。
実施形態では、画像位置決めに関係する本技法は、電子顕微鏡が、大きい視野をキャプチャするために低レベルの倍率で第１のＥＭ画像を撮ることを可能にし得る。画像位置決めは、第１のＥＭ画像が蛍光画像と位置決めされることを可能にし得る。蛍光画像は、注目する領域を識別する有色領域（または他の高コントラスト領域）を含み得る。画像位置決めからの情報は、電子顕微鏡が、注目する領域を位置特定し、それに焦点を当て、より高いレベルの倍率で第２のＥＭ画像を撮って、注目する領域上でズームインすることを可能にし得る。いくつかの場合には、第１のＥＭ画像と蛍光画像との間の画像位置決めは、低レベルの倍率に関連する誤差レベルを有することがある。そのような場合、第２のＥＭ画像と蛍光画像との間で画像位置決めが再び実施され得る。第２のＥＭ画像はより高いレベルの倍率で生成されたので、第２のＥＭ画像と蛍光画像との間の画像位置決めは、より低いレベルの誤差を生じ、したがって、より正確な画像位置決め情報を発生し得る。
共役アレイ・トモグラフィーのための蛍光画像とのＥＭ画像の位置決めは、それらが異なるタイプの画像である（したがって、強度関係を有しない）ので、およびそれらが非常に異なるスケールを有することがあるので、特定の問題を提示する可能性がある。たとえば、ＥＭ画像のタイルは、脳スライスの２２５μｍ２の面積を表すことがあるが、蛍光画像のタイルは、より２桁大きい、４０，０００μｍ２の面積を表すことがある。さらに、データ・セットは、数千個のそのようなタイルを含むことがある。これらのプロパティは、概して、画像位置決めが自動化されることを妨げている。
したがって、本明細書の実施形態の一態様は、電子顕微鏡写真および免疫蛍光画像化など、２つの異なるそれぞれの画像化モダリティで生成された２つの画像の画像位置決めを自動化するための仕方を提供することに関係する。図１６Ｄは、画像位置決めを自動化するための方法の例示的なステップを示す。実施形態では、本方法はステップ１６１１を含み、プロセッサは、（たとえば、通信インターフェースを介して）画像の第１のペアを受信し、画像の第１のペアは、１つまたは複数の細胞構造の蛍光画像である第１の画像を含み、１つまたは複数の細胞構造の電子顕微鏡写真（ＥＭ）画像である第２の画像を含む。たとえば、図１６Ｅは、脳スライス中のＭＢＰをラベリングする蛍光画像である第１の画像と、脳スライスのＥＭ画像である第２の画像とを示す。第１の画像および第２の画像は、それらが互いに位置合わせされ、同じスケールを表すように、または、どのようにして第１の画像および第２の画像が互いに位置合わせされ得るかを示す、プロセッサによっても受信される関連付けられた位置決め情報を有するように、互いに位置決めされ得る。たとえば、位置決め情報は、図１６Ｅの蛍光画像がＥＭ画像の部分１６２１に対応することを示し得る。実施形態では、位置決め情報は変換行列を含んでよい。実施形態では、第１の画像および第２の画像は、ＴｒａｋＥＭ２を使用するなどして、手動でされていてよい。一例では、３ラウンドの着色および画像化を使用して、５０個の極薄スライスに蛍光画像化技法が適用されて、ピクセル当たり１００ｎｍにおいて１０チャネル免疫蛍光データが取得され得る。この例では、電界放出走査電子顕微鏡を用いて５つの小さい領域が画像化されて、ピクセル当たり３ｎｍにおける高解像度電子顕微鏡写真が取得されることが可能である。画像処理ステップは、免疫蛍光領域と、ＥＭ領域のうちの１つとをステッチして、２Ｄモンタージュを作成することができる。各ＥＭモンタージュは、ミエリン塩基性タンパク質チャネルの対応するモンタージュに手動で位置決めされることが可能である。各モンタージュ・ペアについて、中央領域（たとえば、２５４４ピクセル×２３５２ピクセル）がカットアウトされ、統計モデルをトレーニングするために使用されてよい。
ステップ１６１３において、プロセッサは、第１の画像中の１つまたは複数の細胞構造を第２の画像中の１つまたは複数の細胞構造に関連付けるための統計モデルを生成することができる。実施形態では、このステップは、ステップ３０１～３１１と同じかまたは同様であることが可能である。たとえば、ステップ１６１３は、ＥＭ画像の部分１６２１から蛍光ラベリングを予測することが可能になるように２Ｄ畳み込みＵ－ｎｅｔをトレーニングすることを伴うことができる。トレーニングは、たとえば、図１６Ｆの予測など、予測が図１６Ｅの蛍光画像に一致するまで、線形フィルタのカーネル行列を調整することを伴うことができる。
トレーニングされた統計モデルは、ＥＭ画像と蛍光画像との他のペアの間の画像位置決めを自動化するために使用されることが可能である。画像のそれらのペアは、トレーニングがその上で実施された同じ脳または他の組織についてであるか、または１つの組織の別の脳に関し得る。たとえば、ステップ１６１５において、プロセッサは、画像の第２のペアを受信してよく、画像の第２のペアは、蛍光画像である第３の画像、およびＥＭ画像である第４の画像を含み、第３の画像および第４の画像は、両方とも統計モデルをトレーニングするために使用される１つまたは複数の細胞構造についてであるか、あるいは別の１つまたは複数の細胞構造についてであり、第３の画像および第４の画像は互いに位置決めされない。たとえば、図１６Ｈの右側は、脳スライスの蛍光画像である第３の画像を示し、図１６Ｇは、脳スライスのＥＭ画像である第４の画像を示す。
ステップ１６１６において、プロセッサは、トレーニングされた統計モデルを第４の画像に適用して、第４の画像の推定される蛍光画像を生成する。たとえば、図１６Ｈの左側は、トレーニングされた統計モデルを図１６ＧのＥＭ画像に適用することによって生成された、推定される蛍光画像（または、より一般的には、予測される蛍光画像）を示す。実施形態では、このステップは、１５００×１５００画像を生成するためにいかなる変換もなしに、ＥＭ画像のタイルなどの第４の画像をピクセル当たり１０ｎｍにダウンサンプリングすることを伴うことができる。ダウンサンプリングされた画像は、次いでパディングされることが可能であり、このパディングされた画像に、トレーニングされたモデルが適用されて、予測画像が生成されることが可能である。
ステップ１６１７において、プロセッサは、推定される蛍光画像と第３の画像との間の位置決め情報を決定する。たとえば、プロセッサは、図１６Ｈの左側の画像と図１６Ｈの右側の画像との間の位置決め情報を決定して、それらがどのように互いに対応するかを決定することができる。この例では、位置決め情報は、図１６Ｈの左側の画像が図１６Ｈの右側の画像の部分１６３１に対応することを示すことができる。実施形態では、ステップ１６１７は、強度ベースのマッチング技法を使用することができる。たとえば、ステップ１６１７は、プロセッサが相互相関ベースのテンプレート・マッチングを使用して剛性変換推定を生成することを伴うことができる。プロセッサは、次いで、（予測される画像に剛性推定が適用された）変換された画像と、蛍光画像との間の残差オプティカル・フローを計算することができる。次いで、残差オプティカル・フローが使用されて、変換された画像と蛍光画像とを位置決めする相似変換行列に適合されることが可能である。第３の画像と第４の画像とを位置決めするために以下のステップ１６１９において同じ相似変換行列が使用されることが可能である。
ステップ１６１７における強度ベースのマッチング技法は自動化された様式で行われることが可能であるが、これは、ＥＭ画像および蛍光画像が２つの異なるタイプの画像であり、したがって、直接的な強度関係を有しないので、それらの画像に関与する一般的な状況のために使用されることが以前は不可能であった。しかしながら、本明細書で論じられる技法は、トレーニングされた統計モデルを使用することによって、そのような直接的な強度関係を取得して、ＥＭ画像を近似的な蛍光画像にコンバートすることができる。したがって、このコンバージョンは、それらの間の直接的強度関係が存在し得るような、両方とも蛍光画像である２つの画像を発生する。その結果、強度ベースのマッチングなどの自動化された技法が実施されて、蛍光画像が近似的蛍光画像と位置決めされることが可能である。この位置決めの結果は、ＥＭ画像を蛍光画像と位置決めするために使用されることも可能である。
たとえば、ステップ１６１９において、プロセッサは、位置決め情報に基づいて第３の画像および第４の画像を互いに位置決めする。このステップは図１６Ｉに示されており、プロセッサは、図１６ＧのＥＭ画像も蛍光画像の部分１６３１に対応すると決定することができる。実施形態では、ＥＭ画像は、次いで、蛍光画像の部分１６３１上にオーバーレイされるか、またはその逆にオーバーレイされることが可能である。
１つの実験では、上記のステップを使用する位置決めは、１．１６＋／－０．７９ピクセルの誤差で９０個の画像ペアのうち８６個を正常に位置決めすることが可能であった。したがって、この技法は、１つの画像化モダリティを用いて開発された画像処理パイプラインが、別の画像化モダリティで収集されたデータを処理するために活用されることを可能にする。たとえば、３Ｄ細胞セグメント化が、蛍光膜マーカーに基づいて開発され、次いで、予測に直接適用されることが可能である。
図１６Ｊおよび図１６Ｋは、上記で論じられた画像位置決めを編成する別の仕方を提示するフロー図を示す。より詳細には、フロー図は、プロセッサ１２０などのプロセッサによって実施され得る方法１６５０を示す。実施形態では、方法１６５０はステップ１６５２を含み、プロセッサは、通信インターフェースを介して、顕微鏡検査画像の第１のセットおよび顕微鏡検査画像の第２のセット（たとえば、３Ｄ画像の第１および第２のセット）を受信し、顕微鏡検査画像の第１のセットは、１つもしくは複数の亜細胞構造または１つもしくは複数の細胞をそれぞれ有する複数の組織サンプルの蛍光画像（たとえば、免疫蛍光画像）であり、顕微鏡検査画像の第２のセットは、複数の組織サンプルの１つもしくは複数の亜細胞構造または１つもしくは複数の細胞の電子顕微鏡写真（ＥＭ）画像であり、顕微鏡検査画像の第２のセット中に蛍光ラベリングは含まれない。
ステップ１６５３において、プロセッサは、顕微鏡検査画像の第１のセットの各々が顕微鏡検査画像の第２のセットのうちの１つと位置合わせされると決定し得る。ステップ１６５３において、顕微鏡検査画像の第１のセットおよび顕微鏡検査画像の第２のセットは、プロセッサがそれらを受信したときに位置合わせ状態になっていることがあるか、またはプロセッサは、顕微鏡検査画像のこれら２つのセットの間の画像位置決め情報を受信し、それらの間で画像位置決めを実施し得る。
ステップ１６５４において、プロセッサは、顕微鏡検査画像の第１のセットの各々が顕微鏡検査画像の第２のセットのうちの１つと位置合わせされると決定した後に、何らかの亜細胞構造または細胞のＥＭ画像である第１のタイプの画像を、亜細胞構造または細胞の予測される蛍光画像である第２のタイプの画像にコンバートするように構成されたニューラル・ネットワークを生成し、第１のタイプの画像中に蛍光ラベリングは含まれない。プロセッサは、３Ｄ顕微鏡検査画像の第１のセットおよび３Ｄ顕微鏡検査画像の第２のセットに基づいてニューラル・ネットワークをトレーニングすることによってニューラル・ネットワークを生成し得る。
ステップ１６５５において、プロセッサは、ニューラル・ネットワークが生成された後に、第３の顕微鏡検査画像および第４の顕微鏡検査画像を含む顕微鏡検査画像のペアを受信し、第３の顕微鏡検査画像は、追加の組織サンプルの１つもしくは複数の亜細胞構造または１つもしくは複数の細胞の蛍光画像であり、第４の顕微鏡検査画像は、追加の組織サンプルの１つもしくは複数の亜細胞構造または１つもしくは複数の細胞のＥＭ画像であり、第３の顕微鏡検査画像および第４の顕微鏡検査画像は互いに位置合わせされない。実施形態では、第３の顕微鏡検査画像の各ピクセルは、第３の顕微鏡検査画像の蛍光画像が第４の顕微鏡検査画像のＥＭ画像に対してより低いレベルの倍率にあるように、第４の顕微鏡検査画像の各ピクセルが表すよりも追加の組織サンプルの大きい領域を表す。たとえば、第３の顕微鏡検査画像の各ピクセルは、第４の顕微鏡検査画像の各ピクセルによって表される追加の組織サンプルの領域よりも少なくとも１００倍大きい追加の組織サンプルの領域を表す。
ステップ１６５７において、プロセッサは、ニューラル・ネットワークおよび第４の顕微鏡検査画像のＥＭ画像を用いて、追加の組織サンプルのための予測される蛍光ラベリングを含む予測される蛍光画像を生成する。
ステップ１６５８において、プロセッサは、予測される蛍光画像がどのように第３の顕微鏡検査画像の蛍光画像と位置合わせされることが可能であるかを示す位置決め情報を決定する。たとえば、位置決めは、予測される蛍光画像と第３の顕微鏡検査画像との間の強度マッチングを実施する強度ベースの位置決めプロセスを使用することによって決定され得る。
ステップ１６５９において、プロセッサは、決定された位置決め情報を使用して第３の顕微鏡検査画像および第４の顕微鏡検査画像の位置決めを実施する。たとえば、プロセッサは、位置決め情報に基づいて第４の顕微鏡検査画像に対して第３の顕微鏡検査画像のシフト、回転、またはスケーリングのうちの少なくとも１つを実施ことによって位置決めを実施し得る。
実施形態では、第３の顕微鏡検査画像のＥＭ画像は、追加の組織サンプルの第１の領域の第１のレベルの倍率で電子顕微鏡によってキャプチャされた。プロセッサは、第１の領域の部分である第２の領域の第５の顕微鏡検査画像を獲得するように電子顕微鏡を制御してよく、第１の領域内の第２の領域のロケーションは位置決め情報によって示され、第５の顕微鏡検査画像は、第１のレベルよりも高い第２のレベルの倍率にあるＥＭ画像である。
実施形態では、位置決め情報は、位置決め情報の第１のセットであり、第４の顕微鏡検査画像との第３の顕微鏡検査画像の位置決めを実施することは、第３の顕微鏡検査画像と第４の顕微鏡検査画像との間の位置合わせ誤差の第１の量を生じる。プロセッサは、さらに、ニューラル・ネットワークおよび第５の顕微鏡検査画像を用いて、追加の予測される蛍光画像を生成し得る。プロセッサは、さらに、追加の予測される蛍光画像がどのように第３の顕微鏡検査画像の蛍光画像と位置合わせされることが可能であるかを示す位置決め情報の第２のセットを決定し、位置決め情報の第２のセットを使用して第３の顕微鏡検査画像および第５の顕微鏡検査画像の位置決めを実施し得る。上述のように、第５の顕微鏡検査画像との第３の顕微鏡検査画像の位置決めを実施することは、第５の顕微鏡検査画像がより高いレベルの倍率（たとえば、第３の顕微鏡検査画像の倍率レベルの１０倍）にあるので、第３の顕微鏡検査画像と第５の顕微鏡検査画像との間で、位置合わせ誤差の第１の量に対して、より小さい量の位置合わせ誤差を生じ得る。
図１７Ａ～図１７Ｅは、予測ラベリングの別の例、より詳細にはラベルなしツール・パイプラインの例を提供する。図１７Ａでは、透過光画像の入力があるとすれば、モデルは、対応する蛍光グランド・トゥルース画像と予測される画像との間の平均２乗誤差（ＭＳＥ）を最小化することによってトレーニングされる。図１７Ｂには、３Ｄ入力透過光画像、グランド・トゥルース共焦点ＤＮＡ蛍光画像、およびツール予測の例が示されている。図１７Ｃは、２５、５０および７５パーセンタイルにわたってボックスとしてプロットされ、ヒゲはボックス範囲＋／－１．５×内部４分位範囲を示している、図示の亜細胞構造について３０個の３Ｄ画像上でトレーニングされたモデルからの、ターゲット画像と予測されるテスト画像との間の画像的相関係数（ｒ）の分布を示す。画像と、理論的なノイズなし画像（Ｃｍａｘ、黒線）との間の最大相関が示されている。図１７Ｄは、同じ入力に適用され、複数の画像化モードを予測するために合成される、様々なモデルを示す。図１７Ｅは、５分間隔で採られるサンプルのＤＮＡ（青）、小胞体（赤）、核エンベロープ（シアン）およびミトコンドリア（オレンジ）の予測される位置特定を示す。中央ｚスライスが示されている。有糸分裂イベントが、亜細胞構造の型通りの再編成とともに観測されることが可能である。明示的にラベリングされる場合を除いて、結果はトレーニング・データとは無関係である。
図１８Ａ～図１８Ｃは、画像化モダリティにわたる自動位置決めの別の例を示す。図１８Ａは、２Ｄモデルのためのトレーニング・データを発生するためにミエリン塩基性タンパク質免疫蛍光（ＭＢＦ ＩＦ）画像に手動で位置決めされた電子顕微鏡写真を示し、このトレーニング・データは、次いで、電子顕微鏡写真からＭＢＰ ＩＦを直接予測することができる。図１８Ｂは、トレーニングされたモデルが自動位置決めワークフローにおいて後で使用されたことを示す。モデル予測は、従来の自動コンピュータ・ビジョン技法を使用して計算されるＭＢＰ ＩＦ画像への相似変換を介して位置決めされた。図１８Ｃは、ＭＢＰ ＩＦデータのピクセルの単位で、９０個のテスト画像にわたって測定された、自動位置決めと手動位置決めとの間の平均距離のヒストグラムを示す。
実施形態では、統計モデルは、染料なし画像ベースのサイトメトリーを容易にするようにトレーニングされることが可能である。いくつかの画像ベースのサイトメトリー技法は、細胞構造の画像から細胞計数および細胞ソートが実施されることを可能にするために、蛍光染料を使用して、細胞膜または細胞核などの細胞構造をタグ付けすることによって細胞セグメント化を実施することができる。しかしながら、蛍光染料は、３Ｄ共焦点レーザー走査顕微鏡検査（ＣＬＳＭ）を使用する画像ベースのサイトメトリー・システムにおいてなど、細胞または細胞構造に対して光毒性をもたらすことがあり、ＣＬＳＭでは、蛍光染料の小分子が、ＣＬＳＭレーザーのパワーによって照明されたときに光毒性を示すことがある。この光毒性は、生細胞に損傷を与えることがあり、したがって、生細胞に対して画像ベースのサイトメトリーを使用して運動性時間経過アッセイを実施するための能力を特に限定し得る。死細胞は、アッセイにおいて評価される薬または他の化学物質がない場合でさえ、形態が変化し得るので、生細胞の使用はそのようなアッセイには特に有用であり得る。したがって、本明細書の実施形態の一態様は、蛍光染料を印加することなしにキャプチャされた画像から核コンパートメント、細胞膜もしくは細胞コンパートメント、または他の細胞構造を予測するための、Ｕ－ｎｅｔまたは他の深層ニューラル・ネットワークなどの統計モデルをトレーニングし、次いで、そのモデルを使用して、生細胞または死細胞の後続の画像からの細胞計数、セグメント化、またはカテゴリー分類（たとえば、ソート）を容易にすることに関係する。そのようなトレーニングされた統計モデルは、染料なしの運動性細胞アッセイを容易にすることができる。
実施形態では、統計モデルは、蛍光マーカー（または、より一般的には、蛍光染料）がその中で使用されなかった画像の第１のセットと、蛍光マーカーがその中で使用された画像の第２のセットとを使用してトレーニングされることが可能である。これら２つの画像は、細胞または細胞構造の同じセットをキャプチャすることができる。いくつかの場合には、画像の第１のセットは、共焦点レーザー走査顕微鏡検査（ＣＬＳＭ）を使用するが、蛍光染料を使用せずにキャプチャされた画像など、透過光画像（たとえば、明視野画像）またはサイトメーター画像であり得る。たとえば、ＣＬＳＭ画像は、ＧＥ ＩＮ Ｃｅｌｌ Ａｎａｌｙｚｅｒ（登録商標）を使用して生成されることが可能である。画像の第２のセットは、ＣＬＳＭまたは他のサイトメーター画像であってよく、蛍光染料を用いてキャプチャされてよい。統計モデルは、（たとえば、ＣｅｌｌＰｒｏｆｉｌｅｒパイプラインを使用して）入力として画像の第１のセットを用いて画像の第２のセットを予測するようにトレーニングされることが可能である。
実施形態では、トレーニングされたモデルは、生細胞または死細胞の３Ｄセグメント化を実施するために使用されることが可能である。たとえば、トレーニングされたモデルは、サンプルに蛍光染料が印加されなかった、生細胞の生検の画像に適用されることが可能である。トレーニングされたモデルは、生細胞のサンプルに蛍光マーカーが印加された場合における、そのサンプルのＣＬＳＭ画像などのサイトメーター画像を近似するかまたはさもなければ予測する画像を生成することができる。たとえば、図１９Ａは、蛍光染料が使用された場合、細胞核の蛍光ラベリングがどこに現れるであろうかを示す、予測されるＣＬＳＭ画像を示す。図１９Ａの予測される画像は、たとえば、明視野予測される核チャネル画像スタックからの、核の３Ｄセグメント化のために使用されることが可能である。各核は、（図１９Ａのすべての他の核に対して、あるいはすべてのすぐ近隣にある核に対して）異なる色でまたは異なるパターンでインデックス付けされてよく、予測されるＣＬＳＭ画像とオーバーレイされるかまたはさもなければ合成されてよい。別の例として、図１９Ｂは、蛍光染料が使用された場合、細胞膜の蛍光ラベリングがどこに現れるであろうかを予測する、予測されるＣＬＳＭ画像を示す。図１９Ｂの予測される画像は、細胞の３Ｄセグメント化のために使用され得る。各細胞は、異なる色またはパターンでインデックス付けされることが可能であり、予測されるＣＬＳＭ画像とオーバーレイされるかまたはさもなければ合成されることが可能である。
実施形態では、同じ統計モデルまたは別の統計モデルは、予測されるＣＬＳＭ画像または他のサイトメーター画像を、画像化された細胞もしくは細胞構造が罹患細胞であるかどうかの分類、または細胞の病気段階の分類にさらに関連付けるようにトレーニングされることが可能である。たとえば、この統計モデルは、癌性であることが知られていたか、または癌の特定の段階にあることが知られていた細胞からの画像を用いてトレーニングされ得る。したがって、このモデルは、有糸分裂の状態および構造的特性に基づいて、画像化された細胞が危険なまでに増殖的であると推定することによって癌の侵襲性を推定することなどによって、特定の細胞が癌性であるかどうかを決定する、たとえば、推定するかまたはさもなければ予測するために、あるいは細胞の病気段階を決定するために使用されることが可能である。
図２０は、サイトメトリーを容易にするために使用される統計モデルがニューラル・ネットワークであるフロー図を示す。より詳細には、フロー図は、プロセッサ１２０などのプロセッサによって実施され得る方法２０００のステップを含む。実施形態では、方法２０００はステップ２００２を含み、プロセッサは、通信インターフェースを介して、３次元（３Ｄ）顕微鏡検査画像の第１のセットおよび３Ｄ顕微鏡検査画像の第２のセットを受信し、３Ｄ顕微鏡検査画像の第１のセットは、複数の細胞をそれぞれ有する複数の組織サンプルの３Ｄ共焦点レーザー走査顕微鏡検査（ＣＬＳＭ）蛍光画像であり、３Ｄ顕微鏡検査画像の第２のセットは、同じ複数の組織サンプルの３Ｄ透過光画像であり、３Ｄ顕微鏡検査画像の第１のセット中の複数の細胞に蛍光ラベリングが印加され、３Ｄ顕微鏡検査画像の第２のセット中に蛍光ラベリングは含まれない。実施形態では、３Ｄ顕微鏡検査画像の第１のセットは複数の蛍光チャネルを含んでよく、蛍光チャネルの各々は、たとえば、２５ｍｓ以下の、限られた時間間隔中にキャプチャされていることがある。
ステップ２００４において、プロセッサは、細胞の３Ｄ透過光画像である第１のタイプの画像を、細胞の予測される３Ｄ ＣＬＳＭ蛍光画像である第２のタイプの画像にコンバートするように構成されたニューラル・ネットワークを生成し、第１のタイプの画像中に蛍光ラベリングは含まれず、命令は、プロセッサに、３Ｄ顕微鏡検査画像の第１のセットおよび３Ｄ顕微鏡検査画像の第２のセットに基づいてニューラル・ネットワークをトレーニングすることによってニューラル・ネットワークを生成させる。
ステップ２００６において、プロセッサは、ニューラル・ネットワークが生成されトレーニングされた後に、複数の細胞を有する追加の組織サンプルの透過光画像である追加の３Ｄ顕微鏡検査画像を受信し、追加の３Ｄ顕微鏡検査画像中に蛍光ラベリングは含まれない。
ステップ２００８において、プロセッサは、ニューラル・ネットワークおよび追加の３Ｄ顕微鏡検査画像を用いて、追加の組織サンプルのための複数の細胞の予測される蛍光ラベリングを含む予測される３Ｄ ＣＬＳＭ蛍光画像を生成する。実施形態では、プロセッサは、予測される３Ｄ ＣＬＳＭ蛍光画像、追加の組織サンプルの複数の細胞の細胞特性を使用してよく、細胞特性は、複数の細胞のうちの少なくとも１つの平均もしくは中央細胞サイズ、細胞カウント、細胞形態、複数の細胞のうちの少なくとも１つの細胞周期位相、または複数の細胞のうちの少なくとも１つの表面上のタンパク質バイオマーカーの存在もしくは不在のうちの少なくとも１つである。実施形態では、プロセッサは、予測される３Ｄ ＣＬＳＭ蛍光画像である第２のタイプの画像を、予測される蛍光３Ｄ ＣＬＳＭ画像が罹患細胞を含むかどうかの予測される分類にコンバートするように構成された別のニューラル・ネットワーク（第２のニューラル・ネットワーク）をトレーニングしてよく、命令は、プロセッサに、第１のニューラル・ネットワークによって生成された予測される３Ｄ ＣＬＳＭ蛍光画像を用いて、および複数の組織サンプル中のどの細胞が罹患細胞であるかの受信された指示を用いて第２のニューラル・ネットワークをトレーニングすることによって第２のニューラル・ネットワークを生成させる。プロセッサは、次いで、第２のニューラル・ネットワークを使用して、追加の組織サンプルが罹患細胞を含むかどうかの予測される分類を生成し得る。
上記で説明された技法は、このようにして、組織病理学およびサイトメトリーを容易にすることができる。より詳細には、組織病理学は、顕微鏡検査のための処理およびセクショニングの後に病理学者によって外科的サンプル／生検がそれによって検査される、従来の方法である。この手法のために必要な定着剤ステップは、正常細胞と罹患細胞との間の形態の重要な変化をマスクする可能性がある、時間（遅延）および潜在的定着アーティファクトの要素を導入する。細胞病理学は、細胞レベルで病気を診断するために遊離細胞または組織フラグメントのサンプルを分析するが、顕微鏡的に構造を可視化するために細胞の着色を伴うことがある。本明細書で論じられるデバイス、方法およびプロセスは、重要な細胞構造および細胞小器官が、染料または着色剤の必要なしに識別されることを可能にすることができ、適切にトレーニングされ実装されたとき、細胞を正常プールおよび罹患プールに迅速に分離するかまたはさもなければセグメント化することができる。罹患サンプルは、次いで、機械支援型診断を確認し、より予後的な値を提供するために、トレーニングされた病理学者によってより精密に検査されることが可能であり、ワークフローを高速化し、技術的にトレーニングされたサンプル調製の必要を低減することができる。癌の増殖的性質に関連する変性ＤＮＡ活動は、それを識別するようにモデルがトレーニングされ得る、核のクオリティーの物理的変化として顕現する。
本明細書で説明される方法、システムおよびデバイスは、画像ベースのサイトメーター（たとえば、「イン・プレート」サイトメーター）を利用して、細胞セグメント化および／または細胞ソートのために利用されることも可能である。ソートは、細胞サイズ、細胞カウント、細胞形態、時空間位置もしくは内部構造、細胞周期位相、またはバイオマーカー（たとえば、細胞表面タンパク質）の存在もしくは不在などの特性に基づくことが可能である。そのようなサイトメーターから取得された画像は、細胞セグメント化およびソートへの適用のために、本明細書で説明される様々な方法およびシステムをトレーニングするのに利用されることが可能である。そのような様式でモデル化されることが可能な細胞は、たとえば、細胞スフェロイド、オルガノイド、ヒト誘導多能性幹細胞（ｈｉＰＳＣ）、または患者由来組織サンプル（たとえば、患者由来異種移植モデル（ＰＤＸ）システム）を含む。
例示的なプロトコル
テスト／トレーニング・スプリット－（たとえば、本明細書で開示される統計モデルのいずれかの変形態と同様の）各統計モデルの生成のために、データは、開始画像化モダリティにおける３Ｄ画像と、ターゲット画像化モダリティにおける対応する３Ｄ画像との画像ペアのセットからなった。約１５個の画像ペアがトレーニング・セットに割り振られ、残りの画像ペアはテスト・セット中で使用された。トレーニング・セット画像は、モデルのパラメータを最適化するために使用されたが、テスト・セット画像は、トレーニングされたモデルのパフォーマンスを評価するために使用された。
反復トレーニング手順－モデルは、以下のシーケンスを使用して反復的にトレーニングされた。
１．トレーニング・セットからの開始モダリティ画像がモデルに入力された。
２．ターゲット・モダリティ画像から出力されたモデルの間の差が、損失関数を用いて定量化された。
３．損失関数を最小化するであろう方向にモデル・パラメータが調整される（パラメータ最適化）。
４．モデル収束まで繰り返す。
トレーニング方法－トレーニング画像（Ｘｔｒａｉｎ、Ｙｔｒａｉｎ）からランダムにサンプリングされた３２×６４×６４ピクセル（それぞれＺＹＸ次元）ボリューム・ペアを使用してモデルがトレーニングされた。トレーニング・イタレーションごとに、２４個のボリューム・ペアのバッチ、および採用される場合は損失関数としてピクセル平均２乗誤差。勾配降下を実施するために０．００１の学習率でＡｄａｍオプティマイザが採用された。各モデルは、５０，０００回のトレーニング・イタレーションを用いてトレーニングされ、これは完了するのに約１５時間を要した。
テスト－我々は、各トレーニングされたモデルのパフォーマンスをそれのテスト・セットに対して評価した。トレーニング・フェーズ中とは異なり、モデルは、一度に１つの画像ペアずつ、サブサンプリングなしで各テスト・セット画像ペア（Ｘｔｅｓｔ、Ｙｔｅｓｔ）を用いてテストされた。各画像ペアからの損失関数値の平均が、トレーニングされたモデルのパフォーマンスのためのメトリックを提供した。
トレーニングおよび検証のための画像化データを取得するための例示的な方法
実施形態では、モデルをトレーニングしテストするために使用される３Ｄ光学顕微鏡検査データは、ゲノム編集されたヒト誘導多能性幹細胞（ｈｉＰＳｃ）系のｚスタックを含み、それらの各々は、その内容全体が参照により本明細書に組み込まれる、Ｒｏｂｅｒｔｓ，Ｂ．らによる「Ｓｙｓｔｅｍａｔｉｃ ｇｅｎｅ ｔａｇｇｉｎｇ ｕｓｉｎｇ ｃｒｉｓｐｒ／ｃａｓ９ ｉｎ ｈｕｍａｎ ｓｔｅｍ ｃｅｌｌｓ ｔｏ ｉｌｌｕｍｉｎａｔｅ ｃｅｌｌ ｏｒｇａｎｉｚａｔｉｏｎ」において詳述されているように、特定の亜細胞構造を位置特定するｅＧＦＰで内因的にタグ付けされたタンパク質を表す。各画像では、以下で詳述されるように、透過光（明視野またはＤＩＣのいずれか）、染料ラベル付き細胞膜（ＣｅｌｌＭａｓｋ）、染料ラベル付きＤＮＡ（ヘキスト）、および画像化されている細胞系に関連する特定のＧＦＰタグ付き亜細胞構造という、４つのデータ・チャネルが獲得されていることがある。いくつかの例は、（丸括弧内の関連する亜細胞構造に位置特定される）以下のｅＧＦＰラベル付きタンパク質をもつ細胞系を使用し得る：α－チューブリン（微小管）、β－アクチン（アクチン・フィラメント）、デスモプラキン（デスモソーム）、ラミンＢ１（核エンベロープ）、フィブリラリン（核小体）、ミオシンＩＩＢ（アクトミオシン束）、Ｓｅｃ６１β（小胞体）、ＳＴＧＡＬ１（ゴルジ体）。一例では、ヘキストまたはＣｅｌｌＭａｓｋ染料が印加されず、すべてのレーザー・パワーが０に設定されるが、トレーニング・データの獲得のためと同じ画像化プロトコルを使用して、時系列データが獲得されることが可能である。画像は、各ボクセルが、たとえば、０：２９μｍ３に対応したように、３次補間を介してリサイズされることが可能である。
実施形態では、すべての入力画像およびターゲット画像のピクセル強度が、独立してｚスコアリングされることが可能である。これは、ペアにされた蛍光チャネルおよび対応する透過光チャネルを使用することができ、１４個の画像コレクションを生じる。各コレクションについて、３０個の画像ペアがトレーニング・セットに割り振られ、すべての残りの画像ペアはテスト・セットに割り振られることが可能である。
共役アレイ・トモグラフィーのための例示的な方法
共役アレイ・トモグラフィー・データのための例示的な一実装形態では、３ラウンドの着色および画像化を使用して広視野蛍光顕微鏡を用いて５０個の極薄スライスの画像が撮られて、ピクセル当たり１００ｎｍにおいて（ミエリン塩基性タンパク質ＭＢＰを含む）１０チャネル免疫蛍光（ＩＦ）データが取得される。この例では、次いで、電界放出走査電子顕微鏡を用いて５つの小さい領域が画像化されて、ピクセル当たり３ｎｍにおける高解像度電子顕微鏡写真が取得される。画像処理ステップは、ＩＦスライスと、ＥＭ領域のうちの１つとを独立してステッチして、各モダリティにおける２Ｄモンタージュを作成した。各ＥＭモンタージュは、次いで、その内容全体が参照により本明細書に組み込まれる、Ｃａｒｄｏｎａ，Ａ．らによる「Ｔｒａｋｅｍ２ ｓｏｆｔｗａｒｅ ｆｏｒ ｎｅｕｒａｌ ｃｉｒｃｕｉｔ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ」において説明されているように、対応するＭＢＰチャネル・モンタージュＴｒａｋＥＭ２に手動で位置決めされる。一例では、トレーニング・セットを作成するために、これらの位置決めされたＥＭモンタージュとＭＢＰモンタージュとの４０個のペアは、ピクセル当たり１０ｎｍにリサンプリングされる。各モンタージュ・ペアについて、２５４４ピクセル×２３５２ピクセルのサイズの中央領域がカットアウトされ、得られた最終トレーニング・セットのために使用された。画像のピクセル強度がｚスコアリングされた。
モデルをトレーニングするための例示的な方法
実施形態では、それらの内容全体が参照により本明細書に組み込まれる、Ｒｏｎｎｅｂｅｒｇｅｒ，Ｏ．、Ｆｉｓｃｈｅｒ，Ｐ．およびＢｒｏｘ，Ｔ．による「Ｕ－ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｂｉｏｍｅｄｉｃａｌ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ」において、ならびにＣｉｃｅｋ，Ｏ．、Ａｂｄｕｌｋａｄｉｒ，Ａ．、Ｌｉｅｎｋａｍｐ，Ｓ．Ｓ．、Ｂｒｏｘ，Ｔ．およびＲｏｎｎｅｎｂｅｒｇｅｒ，Ｏ．による「３ｄ ｕ－ｎｅｔ：ｌｅａｒｎｉｎ ｄｅｎｓｅ ｖｏｌｕｍｅｔｒｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ ｆｒｏｍ ｓｐａｒｓｅ ａｎｎｏｔａｔｉｏｎ」において説明されているように、様々なＵ－Ｎｅｔ／３Ｄ Ｕ－Ｎｅｔアーキテクチャに基づくＣＮＮが使用されることが可能である。
実施形態では、モデルは、３つの畳み込みタイプのうちの１つ、それに続いて、バッチ正規化およびＲｅＬＵ演算を実施する層を含む。畳み込みは、（層の入力と出力が同じ空間エリアになるような）ゼロパディングされた入力上に１ピクセルのストライドをもつ３ピクセル畳み込み、（出力の空間エリアを１／２にするための）２つのピクセルのストライドをもつ２ピクセル畳み込み、または（出力の空間エリアを２倍にするための）２のストライドをもつ２ピクセル転置畳み込みのいずれかである。実施形態では、ネットワークの最後の層の上でバッチ正規化またはＲｅＬＵ層はない。
実施形態では、２Ｄモデルおよび３Ｄモデルは、それぞれ、２Ｄ畳み込みまたは３Ｄ畳み込みを使用する。ＧＰＵ計算に関連するメモリ制約により、モデルは、すべてのトレーニング画像にわたってならびに画像内で空間的に一様にランダムにサブサンプリングされた、光学顕微鏡検査データ用の３Ｄパッチ（３２ピクセル×６４ピクセル×６４ピクセル、ｚ－ｙ－ｘ）の、または共役アレイ・トモグラフィー・データ用の２Ｄパッチ（２５６ピクセル×２５６ピクセル、ｙ－ｘ）上のいずれかのバッチ上でトレーニングされることが可能である。実施形態では、トレーニング手順は、出力画像とターゲット画像との間の平均２乗誤差を最小化するために確率的勾配降下（「バックプロパゲーション」）を介してモデル・パラメータを更新する、フォワードバックワード様式で行われることが可能である。実施形態では、上記で説明されたすべてのモデルは、Ａｄａｍオプティマイザを使用して、５０，０００回のミニバッチ・イタレーションのために０．００１の学習率を用いて、ならびに０．５および０．９９９のβを用いてトレーニングされる。Ａｄａｍｓオプティマイザについては、その内容全体が参照により本明細書に組み込まれる、Ｋｉｎｇｍａ，Ｄ．Ｐ．らによる「Ａｄａｍ：Ａ Ｍｅｔｈｏｄ ｆｏｒ Ｓｔｏｃｈａｓｔｉｃ Ｏｐｔｉｍｉｚａｔｉｏｎ」において説明されている。実施形態では、３Ｄモデルには２４のバッチ・サイズ、および２Ｄモデルには３２のバッチ・サイズが使用される。実施形態では、Ｐａｓｃａｌ Ｔｉｔａｎ Ｘ上で走ると、各モデルは、３Ｄモデルでは約１６時間で、および２Ｄモデルでは７時間でトレーニングを完了することができる。予測タスクでは、ＣＮＮアーキテクチャのマルチスケール態様に適応するために、任意の次元における入力画像のサイズが１６の倍数になるように、その入力画像上の最小限のクロッピングが行われてよい。予測は、３Ｄ画像には約１秒を、および２Ｄ画像には０．５秒を要し得る。実施形態では、ＰｙｔｈｏｎでＰｙＴｏｒｃｈパッケージを使用してモデル・トレーニング・パイプラインが実装されることが可能である。
３Ｄ光学顕微鏡検査モデル結果分析および検証のための例示的な方法
実施形態では、３Ｄ光学顕微鏡検査適用では、独立したテスト画像がトレーニングのために使用されず、モデル精度は、モデルの出力と、独立したグランド・トゥルース・テスト画像との間のピアソン相関係数によって定量化されることが可能である。各モデルでは、ＣｅｌｌＭａｓｋまたはヘキストのいずれかで着色されていないラベルなしｈＩＰＳ細胞について撮られたが、それの顕微鏡設定はラベル付き獲得中に使用されたものに同等であった画像スタックに基づいて、ノイズの対応する推定値が展開されることが可能である。各画像予測では、ラベルなし画像スタックの分散が、予測不可能なはずである、グランド・トゥルース画像Ｔｘ，ｙ，ｚ中の無相関ランダム変動Ｎｘ，ｙ，ｚの分散に対する下限であるという仮定に基づいて、モデル・パフォーマンスの理論的上限が計算され、したがって、Ｔｘ；ｙ；ｚ＝Ｎｘ；ｙ；ｚ＋Ｓｘ；ｙ；ｚであり、Ｓは、画像中の予測可能な信号である。いくつかの事例では、したがって、モデル・パフォーマンスの最も高い期待値はＳであり、ＴとＳとの間の相関は、Ｃｍａｘ＝（ＳＮＲ／（１＋ＳＮＲ））の平方根であり、ただし、ＳＮＲ＝＜Ｓ２＞／＜Ｎ２＞である。
画像化モダリティにわたる位置決め
実施形態では、画像位置決めは、「トレーニングおよび検証のための画像化データを取得するための例示的な方法」に関して上記で説明されたモンタージュ・ペア上でトレーニングされた上記で説明されたツールの２Ｄバージョンを採用する。テスト・セットのために、すべての５つの領域（合計１５００個の画像）からの（モンタージュなしの）個々のＥＭ画像の各々は、それがその中にある対応するＭＢＰ画像に直接位置決めするために入力として使用されることが可能である。これのために、各画像は、最初に、どんな変換もなしにピクセル当たり１０ｎｍにダウンサンプリングされて１５００ピクセル×１５００ピクセル画像が生成されることが可能である。これは、次いで、Ｒｏｎｎｅｂｅｒｇｅｒ，Ｏ．らによる「Ｕ－ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｂｉｏｍｅｄｉｃａｌ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ」におけるように１５０４ピクセル×１５０４ピクセルにリフレクション・パディングされ、トレーニングされたモデルを通して走らされ、次いで、元の入力サイズにクロップ・バックされて、ＭＢＰ予測画像が生成され得る。このＭＢＰ予測画像は、最初に、剛性変換推定のための相互相関ベースのテンプレート・マッチングを使用してＭＢＰ ＩＦ画像に粗く位置決めされることが可能である。次に、剛性推定によって変換された予測される画像とＭＢＰ ＩＦ画像との間の残差オプティカル・フローが計算されることが可能であり、これは、次いで、（ＯｐｅｎＣＶ １１を使用して実装される）これら２つの画像を位置決めする相似変換に適合するために使用されることが可能である。オプティカル・フローについては、その内容全体が参照により本明細書に組み込まれる、Ｆａｒｎｅｂａｃｋ，Ｇ．による「Ｔｗｏ－ｆｒａｍｅ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ｂａｓｅｄ ｏｎ ｐｏｌｙｎｏｍｉａｌ ｅｘｐａｎｓｉｏｎ」において説明されている。ＯｐｅｎＣＶについては、「Ｏｐｅｎ ｓｏｕｒｃｅ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ｌｉｂｒａｒｙ」において説明されている。一例では、より大きいセットから９０個の予測画像がランダムに選択され、予測される画像ピクセルの１％超は最大強度の５０％よりも大きくて、画像が位置決めを推進するのに十分なＭＢＰコンテンツを含んでいたことが保証された。グランド・トゥルース変換パラメータは、ＴｒａｋＥＭ２を使用してＭＢＰ ＩＦ画像への手動位置決め（ペア当たり３～４分）によってＥＭ画像のこのサブセット上で２人の独立したオーサーによって計算されることが可能である。（オーサー間の、およびアルゴリズム推定値とオーサーのうちの１人との間の）位置決めの差は、ターゲットＩＦ画像のピクセルにおいて測定された、画像上の変位の平均差によって計算されることが可能である。
様々な実施形態について上記で説明されたが、それらは、限定ではなく、例としてのみ提示されていることを理解されたい。上記で説明された方法が、ある順序で起こるいくつかのイベントを示す場合、いくつかのイベントの順序付けは修正されてよい。加えて、イベントのうちのいくつかのは、可能な場合は並列プロセスにおいて同時に実施されてよく、ならびに上記で説明されたように連続的に実施されてよい。
上記で説明された概略図および／または実施形態が、いくつかの配向または位置において配置されたいくつかの構成要素を示す場合、構成要素の配置は修正されてよい。実施形態について詳しく図示および説明されたが、形態および詳細における様々な変更が行われてよいことが理解されよう。本明細書で説明される装置および／または方法のいかなる部分も、相互排他的な組合せを除いて、任意の組合せで組み合わされてよい。本明細書で説明される実施形態は、説明される様々な実施形態の機能、構成要素、および／または統計モデルの様々な組合せおよび／または部分組合せを含むことができる。
様々な実施形態についての追加の議論
実施形態１は、３次元（３Ｄ）画像の複数のセットを受信するように構成された通信インターフェースを備える、デバイスであり、３Ｄ画像の複数のセットのうちの３Ｄ画像の第１のセットは、１つまたは複数の細胞構造の蛍光画像を含み、３Ｄ画像の複数のセットのうちの３Ｄ画像の第２のセットは、１つまたは複数の細胞構造の透過光画像を含む。本デバイスは、通信インターフェースに通信可能に結合され、３Ｄ画像の複数のセットを記憶するように構成された、メモリをさらに備え、メモリは、コンピュータ実行可能命令を記憶するようにさらに構成される。本デバイスは、メモリに通信可能に結合されたプロセッサをさらに備え、プロセッサは、３Ｄ画像の第１のセット中の１つまたは複数の細胞構造を３Ｄ画像の第２のセット中の１つまたは複数の細胞構造に関連付けるための統計モデルを生成することと、３Ｄ画像の複数のセットのうちの３Ｄ画像の第３のセットに統計モデルを適用して、３Ｄ画像の第３のセット中の１つまたは複数の細胞構造のロケーションを推定することと、３Ｄ画像の第４のセットを生成することであって、３Ｄ画像の第４のセットは、３Ｄ画像の第３のセット中の１つまたは複数の細胞構造の推定されるロケーションの指示を含む、生成することとを行うためのコンピュータ実行可能命令を実行するように構成される。
実施形態２は、実施形態１のデバイスであり、１つまたは複数の細胞構造は、細胞膜、原形質膜、核、ミトコンドリア、小胞体、液胞、ゴルジ体、およびリソソームからなるグループから選択される。
実施形態３は、実施形態１または２のデバイスであり、プロセッサは、３Ｄ画像の第１のセットおよび３Ｄ画像の第２のセットをトレーニング・データ・セットと見なし、トレーニング・データ・セットに基づいて統計モデルを生成することと、３Ｄ画像の第３のセットをテスト・データ・セットと見なし、テスト・データ・セットに統計モデルを適用することとを行うようにさらに構成される。
実施形態４は、実施形態１～３のいずれか１つのデバイスであり、統計モデルは畳み込みニューラル・ネットワークである。
実施形態５は、実施形態４のデバイスであり、畳み込みニューラル・ネットワークは、修正されたｕ－ｎｅｔアーキテクチャに基づく。
実施形態６は、実施形態１～５のいずれか１つのデバイスであり、通信インターフェースは、テスト・データ・セット中の１つまたは複数の細胞構造のロケーションの指示を受信するように構成され、プロセッサは、テスト・データ・セット中の１つまたは複数の細胞構造の推定されるロケーションに基づいて、およびテスト・データ・セット中の１つまたは複数の細胞構造のロケーションの受信された指示に基づいて統計モデルを修正するようにさらに構成される。
実施形態７は、実施形態１～６のいずれか１つのデバイスであり、透過光画像は、明視野画像、暗視野画像、および微分干渉コントラスト（ＤＩＣ）画像からなるグループから選択される。
実施形態８は、実施形態１におけるプロセッサによって実施されるステップを有する方法である。
実施形態９は、３次元（３Ｄ）画像の複数のセットを受信するように構成された通信インターフェースを備えるデバイスであり、３Ｄ画像の複数のセットのうちの３Ｄ画像の第１のセットは蛍光画像を含み、３Ｄ画像の複数のセットのうちの３Ｄ画像の第２のセットは透過光画像を含む。本デバイスは、通信インターフェースに通信可能に結合され、３Ｄ画像の複数のセットを記憶するように構成された、メモリをさらに含み、メモリは、コンピュータ実行可能命令を記憶するようにさらに構成される。本デバイスは、メモリに通信可能に結合されたプロセッサをさらに含み、プロセッサは、３Ｄ画像の第１のセットから第１の領域を示すトレーニング画像の第１のセットを抽出することと、３Ｄ画像の第２のセットから第１の領域を示すトレーニング画像の第２のセットを抽出することと、３Ｄ画像の第１のセットから第２の領域を示すテスト画像の第１のセットを抽出することと、３Ｄ画像の第２のセットから第２の領域を示すテスト画像の第２のセットを抽出することと、トレーニング画像の第１のセット中の１つまたは複数の細胞構造をトレーニング画像の第２のセット中の１つまたは複数の細胞構造に関連付けるための統計モデルを生成することと、テスト画像の第１のセットに統計モデルを適用して、テスト画像の第１のセット中の１つまたは複数の細胞構造のロケーションを推定することと、テスト画像の第１のセット中の１つまたは複数の細胞構造の推定されるロケーションを、テスト画像の第２のセット中の１つまたは複数の細胞構造のロケーションと比較することと、前記比較することに基づいて統計モデルを修正することとを行うためのコンピュータ実行可能命令を実行するように構成される。
実施形態１０は、実施形態９のプロセッサによって実施されるステップを有する方法を含む。
実施形態１１は、細胞中の透過光画像と、細胞中の染料および蛍光ラベル付き細胞内構造の位置特定との間の関係を定量化することと、細胞を蛍光的にラベリングすることなしに細胞中の細胞内画像を検出することとを備える、３次元透過光顕微鏡検査を使用して細胞中の細胞内構造を検出または可視化するための方法またはシステムである。
実施形態１２は、１つまたは複数の細胞中の透過光画像と、１つまたは複数の細胞中の染料および蛍光ラベル付き核の位置特定との間の関係を定量化することと、透過光顕微鏡検査を用いて細胞内画像を検出することとを備える、透過光顕微鏡検査から１つまたは複数の細胞中の細胞内構造の時空間位置を予測するための方法またはシステムである。
実施形態１３は、細胞の透過光顕微鏡検査画像を受け付けることと、それらの細胞から予想される蛍光顕微鏡検査画像を生成することと、ラベルおよび蛍光画像化なしの細胞内構造の可視化とを備える、細胞内構造の画像を生成するための方法またはシステムである。
実施形態１４は、実施形態１～１３のうちのいずれかの方法またはシステムによって作成される深層ニューラル・ネットワークまたは深層ネット・ツールである。
実施形態１５は、１つまたは複数の蛍光ラベル付き細胞または組織サンプルを生成することと、１つまたは複数の蛍光ラベル付き細胞または組織サンプルの画像を生成することと、１つまたは複数の蛍光ラベル付き細胞中の細胞内構造の位置特定を決定することと、１つまたは複数の細胞または組織サンプルの３次元３次元透過光画像を生成することと、深層ニューラル・ネットワーク、深層ネット・ツール、または機械学習を使用して、１つまたは複数の蛍光ラベル付き細胞中の染料および蛍光ラベル付き細胞内構造の位置特定と、１つまたは複数の細胞または組織サンプル中の細胞内構造の３次元透過光画像との間の関係を定量化することとを備える、３次元透過光顕微鏡検査からの細胞内構造の位置特定の自動予測のためのコンピュータ実装方法である。深層ニューラル・ネットワーク、深層ネット・ツール、または機械学習は、３次元透過光顕微鏡検査から１つまたは複数の細胞または組織サンプル中の細胞内構造の位置特定を予測する。
実施形態１６は、画像の第１のペアを受信するように構成された通信インターフェースを備えるデバイスであり、画像の第１のペアは、１つまたは複数の細胞構造の蛍光画像である第１の画像を含み、１つまたは複数の細胞構造の電子顕微鏡写真（ＥＭ）画像である第２の画像を含み、第１の画像および第２の画像は、それらが互いに位置合わせされ、同じスケールを表すように、または、どのようにして第１の画像および第２の画像が互いに位置合わせされ得るかを示す、通信インターフェースによっても受信される関連付けられた位置決め情報を有するように、互いに位置決めされる。本デバイスは、通信インターフェースに通信可能に結合され、第１の画像および第２の画像を記憶するように構成された、メモリをさらに含み、メモリは、コンピュータ実行可能命令を記憶するようにさらに構成される。本デバイスは、メモリに通信可能に結合されたプロセッサをさらに含み、プロセッサは、第１の画像中の１つまたは複数の細胞構造を第２の画像中の１つまたは複数の細胞構造に関連付けるための統計モデルを生成することと、画像の第２のペアを受信することであって、画像の第２のペアは、蛍光画像である第３の画像、および電子顕微鏡（ＥＭ）画像である第４の画像を含み、第３の画像および第４の画像は、両方とも１つまたは複数の細胞構造についてであるか、あるいは別の１つまたは複数の細胞構造についてであり、第３の画像および第４の画像は互いに位置決めされない、受信することと、第４の画像に統計モデルを適用して、第４の画像に基づいて推定される蛍光画像を生成することと、推定される蛍光画像と第３の画像との間の位置決め情報を決定し、位置決め情報に基づいて第３の画像および第４の画像を互いに位置決めすることとを行うためのコンピュータ実行可能命令を実行するように構成される。
実施形態１７は、細胞または細胞構造の第１のセットの第１の画像と、細胞または細胞構造の第１のセットの第２のサイトメーター画像とを受信するように構成された通信インターフェースを備えるデバイスであり、第１の画像は、透過光画像または第１のサイトメーター画像であり、蛍光染料が細胞または細胞構造の第１のセットに印加されることなくキャプチャされ、第２のサイトメーター画像は、蛍光染料が細胞または細胞構造の第１のセットに印加されてキャプチャされる。本デバイスは、通信インターフェースに通信可能に結合され、第１の画像および第２のサイトメーター画像を記憶するように構成された、メモリをさらに備え、メモリは、コンピュータ実行可能命令を記憶するようにさらに構成される。本デバイスは、メモリに通信可能に結合されたプロセッサをさらに備え、プロセッサは、第１の画像中の細胞構造を第２のサイトメーター画像中の細胞構造に関連付けるための統計モデルを生成することと、第３の画像を受信することであって、第３の画像は、細胞または細胞構造の第２のセットについてであり、蛍光染料が細胞または細胞構造の第２のセットに印加されることなしにキャプチャされる、受信することと、第３の画像に統計モデルを適用して第４の画像を生成することであって、第４の画像は、第３の画像中の１つまたは複数の細胞構造の推定されるロケーションの指示を含む、生成することとを行うためのコンピュータ実行可能命令を実行するように構成される。
実施形態１８は、顕微鏡検査画像を受信するように構成された通信インターフェースと、プロセッサと、非一時的コンピュータ可読媒体とを備える、コンピューティング・デバイスに関係する。非一時的コンピュータ可読媒体は、プロセッサに通信可能に結合され、プロセッサによって実行されたとき、プロセッサに、通信インターフェースを介して、３次元（３Ｄ）顕微鏡検査画像の第１のセットおよび３Ｄ顕微鏡検査画像の第２のセットを受信させるコンピュータ実行可能命令を記憶しており、３Ｄ顕微鏡検査画像の第１のセットは、複数の組織サンプル中の複数の亜細胞構造の３Ｄ蛍光画像であり、３Ｄ顕微鏡検査画像の第２のセットは、同じ複数の亜細胞構造の３Ｄ透過光画像であり、３Ｄ顕微鏡検査画像の第２のセット中に蛍光ラベリングは含まれない。命令は、さらにプロセッサに、何らかの亜細胞構造の３Ｄ透過光画像である第１のタイプの画像を、亜細胞構造の予測される３Ｄ蛍光画像である第２のタイプの画像にコンバートするように構成されたニューラル・ネットワークを生成させ、第１のタイプの画像中に蛍光ラベリングは含まれず、命令は、プロセッサに、３Ｄ顕微鏡検査画像の第１のセットおよび３Ｄ顕微鏡検査画像の第２のセットに基づいてニューラル・ネットワークをトレーニングすることによってニューラル・ネットワークを生成させる。命令は、さらにプロセッサに、複数の組織サンプルから３Ｄ顕微鏡検査画像の第２のセットをキャプチャするために使用された画像獲得パラメータのパラメータ値を決定させる。命令は、さらにプロセッサに、ニューラル・ネットワークが生成されトレーニングされた後に、追加の組織サンプル中の１つまたは複数の亜細胞構造の透過光画像である追加の３Ｄ顕微鏡検査画像を受信させ、追加の３Ｄ顕微鏡検査画像中に蛍光ラベリングは含まれず、追加の３Ｄ顕微鏡検査画像は、３Ｄ顕微鏡検査画像の第２のセットをキャプチャするために使用されたパラメータ値を用いて追加の組織サンプルの１つまたは複数の亜細胞構造からキャプチャされる。命令は、さらにプロセッサに、ニューラル・ネットワークおよび追加の３Ｄ顕微鏡検査画像を用いて、追加の組織サンプルのための予測される蛍光ラベリングを含む予測される３Ｄ蛍光画像を生成させる。
実施形態１９は、実施形態１８のコンピューティング・デバイスを含み、非一時的コンピュータ可読媒体は、アクセス・レイテンシの第１のレベルを有する第１のメモリ部分と、第１のレベルよりも長いアクセス・レイテンシの第２のレベルを有する第２のメモリ部分とを備え、第１のメモリ部分の総記憶容量は、３Ｄ顕微鏡検査画像の第１のセットおよび３Ｄ顕微鏡検査画像の第２のセットの総メモリサイズよりも少ない。命令は、プロセッサに、３Ｄ顕微鏡検査画像の第１のセットおよび３Ｄ顕微鏡検査画像の第２のセットを第２のメモリ部分に記憶させ、複数のイタレーションの各々中に、第２のメモリ部分から、３Ｄ顕微鏡検査画像の第１のセットのそれぞれの部分のみおよび３Ｄ顕微鏡検査画像の第２のセットのそれぞれの部分のみを取り出すことと、３Ｄ顕微鏡検査画像の第１のセットのそれぞれの部分および３Ｄ顕微鏡検査画像の第２のセットのそれぞれの部分を第１のメモリ部分に記憶することと、第１のメモリ部分に現在記憶されている３Ｄ顕微鏡検査画像の第１のセットのそれぞれの部分を用いて、および第１のメモリ部分に現在記憶されている３Ｄ顕微鏡検査画像の第２のセットのそれぞれの部分を用いてイタレーション中にニューラル・ネットワークをトレーニングすることとを実施することによって、３Ｄ顕微鏡検査画像の第１のセットの異なるそれぞれの部分と、３Ｄ顕微鏡検査画像の第２のセットの異なるそれぞれの部分とを用いて複数のイタレーションにわたってニューラル・ネットワークをトレーニングさせる。
実施形態２０は、実施形態１９のコンピューティング・デバイスを含み、非一時的コンピュータ可読媒体は、ランダム・アクセス・メモリ（ＲＡＭ）およびハード・ディスク・ドライブ（ＨＤＤ）を備え、第１のメモリ部分はＲＡＭの一部であり、第２のメモリ部分はＨＤＤの一部である。
実施形態２１は、実施形態１９または２０のコンピューティング・デバイスを含み、命令は、さらにプロセッサに、ニューラル・ネットワークをトレーニングする前に、３Ｄ顕微鏡検査画像の第１のセットの各々および３Ｄ顕微鏡検査画像の第２のセットの各々をダウンサンプリングさせる。
実施形態２２は、実施形態２１のコンピューティング・デバイスを含み、３Ｄ顕微鏡検査画像の第１のセットの各々および３Ｄ顕微鏡検査画像の第２のセットの各々は、ダウンサンプリングされた後に、それぞれの３Ｄ顕微鏡検査画像の次元のうちの少なくとも１つに沿ってピクセル当たり０．１０８μｍから０．２９μｍの範囲を表す解像度を有する。
実施形態２３は、実施形態１８～２２のうちのいずれか１つのコンピューティング・デバイスを含み、ニューラル・ネットワークが画像の５００個未満のペアを用いてトレーニングされるように、３Ｄ顕微鏡検査画像の第１のセット中の画像の総数は５００個の画像よりも少なく、３Ｄ顕微鏡検査画像の第２のセット中の画像の総数は５００個の画像よりも少ない。
実施形態２４は、実施形態１８～２３のうちのいずれか１つのコンピューティング・デバイスを含み、ニューラル・ネットワークはｕ－ｎｅｔアーキテクチャを有する。
実施形態２５は、実施形態１８～２４のうちのいずれか１つのコンピューティング・デバイスを含み、画像獲得パラメータは、複数の組織サンプル上で、および追加の組織サンプル上でケーラー照明を実施するために使用されるパラメータである。
実施形態２６は、実施形態１８～２５のうちのいずれか１つのコンピューティング・デバイスを含み、画像獲得パラメータは曝露時間パラメータである。
実施形態２７は、実施形態１８～２６のうちのいずれか１つのコンピューティング・デバイスを含み、画像獲得パラメータはスライス間間隔である。
実施形態２８は、実施形態１８～２７のうちのいずれか１つのコンピューティング・デバイスを含み、追加の３Ｄ顕微鏡検査画像は、異なる時点で追加の組織サンプルからキャプチャされた３Ｄ顕微鏡検査画像の第３のセットのうちの１つであり、３Ｄ顕微鏡検査画像の第３のセットの各々は、追加の組織サンプルの１つまたは複数の亜細胞構造の透過光画像である。この実施形態では、予測される３Ｄ蛍光画像は、３Ｄ顕微鏡検査画像の第３のセットに基づいてニューラル・ネットワークを用いて生成された予測される３Ｄ蛍光画像のセットのうちの１つであり、命令は、さらにプロセッサに、予測される３Ｄ蛍光画像のセットを使用して追加の組織サンプルの１つまたは複数の亜細胞構造のアニメーションを生成させる。
実施形態２９は、実施形態１８～２８のうちのいずれか１つのコンピューティング・デバイスを含み、３Ｄ顕微鏡検査画像の第２のセットおよび追加の３Ｄ顕微鏡検査画像はそれぞれ、明視野画像、暗視野画像、または微分干渉コントラスト（ＤＩＣ）画像である。
実施形態３０は、実施形態１８～２９のうちのいずれか１つのコンピューティング・デバイスを含み、３Ｄ顕微鏡検査画像の第１のセットおよび３Ｄ顕微鏡検査画像の第２のセットは、複数の組織サンプルのうちの少なくともいくつかの中の脂質エンベロープ構造をキャプチャする。
実施形態３１は、実施形態１８～２９のうちのいずれか１つのコンピューティング・デバイスを含み、複数の組織サンプルの各々の１つまたは複数の亜細胞構造は、細胞膜、原形質膜、核、ミトコンドリア、小胞体、液胞、ゴルジ体、またはリソソームのうちの少なくとも１つを含む。
実施形態３２は、実施形態１８～３１のうちのいずれか１つのコンピューティング・デバイスを含み、追加の組織サンプルの１つまたは複数の亜細胞構造は、追加の３Ｄ顕微鏡検査画像が生細胞の１つまたは複数の亜細胞構造からキャプチャされるように、生細胞の一部である。
実施形態３３は、実施形態１８～３２のうちのいずれか１つのコンピューティング・デバイスを含み、ニューラル・ネットワークをトレーニングするために３Ｄ顕微鏡検査画像の第１のセットおよび３Ｄ顕微鏡検査画像の第２のセットが使用される前に、３Ｄ顕微鏡検査画像の第１のセットの各々は、３Ｄ顕微鏡検査画像の第２のセットのうちの１つと位置合わせ状態にある。
実施形態３４は、実施形態１８～３３のうちのいずれか１つのコンピューティング・デバイスを含み、３Ｄ顕微鏡検査画像の第１のセットは、複数の組織サンプルの１つについての３Ｄ蛍光画像のサブセットを含み、３Ｄ蛍光画像のサブセットは、異なるそれぞれの放出フィルタ周波数帯域または異なるそれぞれの蛍光マーカーをそれぞれ有する、異なるそれぞれの蛍光チャネルに対応する。
実施形態３５は、顕微鏡検査画像を受信するように構成された通信インターフェースと、プロセッサと、非一時的コンピュータ可読媒体とを備える、コンピューティング・デバイスに関係する。非一時的コンピュータ可読媒体は、プロセッサに通信可能に結合され、プロセッサによって実行されたとき、プロセッサに、通信インターフェースを介して、３次元（３Ｄ）顕微鏡検査画像の第１のセットおよび３Ｄ顕微鏡検査画像の第２のセットを受信させるコンピュータ実行可能命令を記憶しており、３Ｄ顕微鏡検査画像の第１のセットは、複数の組織サンプル中の複数の亜細胞構造の３Ｄ蛍光画像であり、３Ｄ顕微鏡検査画像の第２のセットは、同じ複数の亜細胞構造の３Ｄ透過光画像であり、３Ｄ顕微鏡検査画像の第２のセット中に蛍光ラベリングは含まれない。命令は、さらにプロセッサに、何らかの亜細胞構造の３Ｄ透過光画像である第１のタイプの画像を、亜細胞構造の予測される３Ｄ蛍光画像である第２のタイプの画像にコンバートするように構成された統計モデルを生成させ、第１のタイプの画像中に蛍光ラベリングは含まれず、命令は、プロセッサに、３Ｄ顕微鏡検査画像の第１のセットおよび３Ｄ顕微鏡検査画像の第２のセットに基づいてニューラル・ネットワークをトレーニングすることによって統計モデルを生成させる。命令は、さらにプロセッサに、ニューラル・ネットワークが生成されトレーニングされた後に、追加の組織サンプル中の１つまたは複数の亜細胞構造の透過光画像である追加の３Ｄ顕微鏡検査画像を受信させ、追加の３Ｄ顕微鏡検査画像中に蛍光ラベリングは含まれず、追加の３Ｄ顕微鏡検査画像は、追加の組織サンプルの１つまたは複数の亜細胞構造からキャプチャされる。命令は、さらにプロセッサに、統計モデルおよび追加の３Ｄ顕微鏡検査画像を用いて、追加の組織サンプルのための予測される蛍光ラベリングを含む予測される３Ｄ蛍光画像を生成させる。
実施形態３６は、顕微鏡検査画像を受信するように構成された通信インターフェースと、プロセッサと、通信インターフェースおよびプロセッサに通信可能に結合された非一時的コンピュータ可読媒体とを備える、コンピューティング・デバイスに関係し、非一時的コンピュータ可読媒体は、プロセッサによって実行されたとき、プロセッサに、通信インターフェースを介して、顕微鏡検査画像の第１のセットおよび顕微鏡検査画像の第２のセットを受信させるコンピュータ実行可能命令を記憶し、顕微鏡検査画像の第１のセットは、１つもしくは複数の亜細胞構造または１つもしくは複数の細胞をそれぞれ有する複数の組織サンプルの蛍光画像であり、顕微鏡検査画像の第２のセットは、複数の組織サンプルの１つもしくは複数の亜細胞構造または１つもしくは複数の細胞の電子顕微鏡写真（ＥＭ）画像であり、顕微鏡検査画像の第２のセット中に蛍光ラベリングは含まれない。命令は、さらにプロセッサに、顕微鏡検査画像の第１のセットの各々が顕微鏡検査画像の第２のセットのうちの１つと位置合わせされると決定させる。命令は、さらにプロセッサに、顕微鏡検査画像の第１のセットの各々が顕微鏡検査画像の第２のセットのうちの１つと位置合わせされると決定した後に、何らかの亜細胞構造または細胞のＥＭ画像である第１のタイプの画像を、亜細胞構造または細胞の予測される蛍光画像である第２のタイプの画像にコンバートするように構成されたニューラル・ネットワーク（または、より一般的には、統計モデル）を生成させ、第１のタイプの画像中に蛍光ラベリングは含まれず、命令は、プロセッサに、３Ｄ顕微鏡検査画像の第１のセットおよび３Ｄ顕微鏡検査画像の第２のセットに基づいてニューラル・ネットワークをトレーニングすることによってニューラル・ネットワークを生成させる。命令は、さらにプロセッサに、ニューラル・ネットワークが生成された後に、第３の顕微鏡検査画像および第４の顕微鏡検査画像を含む顕微鏡検査画像のペアを受信させ、第３の顕微鏡検査画像は、追加の組織サンプルの１つもしくは複数の細胞構造または１つもしくは複数の細胞の蛍光画像であり、第４の顕微鏡検査画像は、追加の組織サンプルの１つもしくは複数の亜細胞構造または１つもしくは複数の細胞のＥＭ画像であり、第３の顕微鏡検査画像および第４の顕微鏡検査画像は互いに位置合わせされない。命令は、さらにプロセッサに、ニューラル・ネットワークおよび第４の顕微鏡検査画像のＥＭ画像を用いて、追加の組織サンプルのための予測される蛍光ラベリングを含む予測される蛍光画像を生成させる。命令は、さらにプロセッサに、予測される蛍光画像がどのように第３の顕微鏡検査画像の蛍光画像と位置合わせされることが可能であるかを示す位置決め情報を決定させ、決定された位置決め情報を使用して第３の顕微鏡検査画像および第４の顕微鏡検査画像の位置決めを実施させる。
実施形態３７は、実施形態３６のコンピューティング・デバイスを含み、命令は、プロセッサに、位置決め情報に基づいて第４の顕微鏡検査画像に対して第３の顕微鏡検査画像のシフト、回転、またはスケーリングのうちの少なくとも１つを実施することによって位置決めを実施させる。
実施形態３８は、実施形態３７のコンピューティング・デバイスを含み、命令は、プロセッサに、第３の顕微鏡検査画像が位置決め情報に基づいてシフト、回転、またはスケーリングされた後に、第３の顕微鏡検査画像を第４の顕微鏡検査画像上にオーバーレイさせる。
実施形態３９は、実施形態３６～３８のうちのいずれか１つのコンピューティング・デバイスを含み、命令は、プロセッサに、予測される蛍光画像と第３の顕微鏡検査画像との間の強度マッチングを実施する強度ベースの位置決めプロセスを使用することによって位置決め情報を決定させる。
実施形態４０は、実施形態３６～３９のうちのいずれか１つのコンピューティング・デバイスを含み、第３の顕微鏡検査画像および第４の顕微鏡検査画像の各々は複数のピクセルを含み、位置決めが実施される前に、第３の顕微鏡検査画像の各ピクセルは、第３の顕微鏡検査画像の蛍光画像が第４の顕微鏡検査画像のＥＭ画像に対してより低いレベルの倍率にあるように、第４の顕微鏡検査画像の各ピクセルが表すよりも追加の組織サンプルの大きい領域を表す。
実施形態４１は、実施形態４０のコンピューティング・デバイスを含み、位置決めが実施される前に、第３の顕微鏡検査画像の各ピクセルは、第４の顕微鏡検査画像の各ピクセルによって表される追加の組織サンプルの領域よりも少なくとも１００倍大きい追加の組織サンプルの領域を表す。
実施形態４２は、実施形態３６～４１のうちのいずれか１つのコンピューティング・デバイスを含み、決定された位置決め情報は、位置決め情報の第２のセットであり、命令は、顕微鏡検査画像の第１のセットのうちの各画像がどのように顕微鏡検査画像の第２のセットのうちの１つと位置合わせされることが可能であるかを示す位置決め情報の第１のセットを受信することと、位置決め情報の第１のセットに基づいて、顕微鏡検査画像の第２のセットとの顕微鏡検査画像の第１のセットの位置決めを実施することとをプロセッサにさらに行わせ、プロセッサは、顕微鏡検査画像の第１のセットのうちの各々が、顕微鏡検査画像の第２のセットのうちの１つと位置合わせされると決定し、位置決めを実施したことに応答して、ニューラル・ネットワークをトレーニングする。
実施形態４３は、実施形態３６～４１のうちのいずれか１つのコンピューティング・デバイスを含み、第３の顕微鏡検査画像のＥＭ画像は、追加の組織サンプルの第１の領域の第１のレベルの倍率で電子顕微鏡によってキャプチャされ、命令は、さらにプロセッサに、第１の領域の部分である第２の領域の第５の顕微鏡検査画像を獲得するように電子顕微鏡を制御させ、第１の領域内の第２の領域のロケーションは位置決め情報によって示され、第５の顕微鏡検査画像は、第１のレベルよりも高い第２のレベルの倍率にあるＥＭ画像である。
実施形態４４は、実施形態４３のコンピューティング・デバイスを含み、位置決め情報は、位置決め情報の第１のセットであり、第４の顕微鏡検査画像との第３の顕微鏡検査画像の位置決めを実施することは、第３の顕微鏡検査画像と第４の顕微鏡検査画像との間の位置合わせ誤差の第１の量を生じる。この実施形態では、命令は、ニューラル・ネットワークおよび第５の顕微鏡検査画像を用いて、追加の予測される蛍光画像を生成することと、追加の予測される蛍光画像がどのように第３の顕微鏡検査画像の蛍光画像と位置合わせされることが可能であるかを示す位置決め情報の第２のセットを決定することと、位置決め情報の第２のセットを使用して第３の顕微鏡検査画像および第５の顕微鏡検査画像の位置決めを実施することであって、第５の顕微鏡検査画像との第３の顕微鏡検査画像の位置決めを実施することは、第３の顕微鏡検査画像と第５の顕微鏡検査画像との間で、位置合わせ誤差の第１の量に対して、より小さい量の位置合わせ誤差を生じる、実施することとをプロセッサにさらに行わせる。
実施形態４５は、実施形態４３または４４のコンピューティング・デバイスを含み、第２のレベルの倍率は、第１のレベルの倍率の少なくとも１０倍である。
実施形態４６は、実施形態４３～４５のうちのいずれか１つのコンピューティング・デバイスを含み、顕微鏡検査画像のペアは、共役アレイ・トモグラフィー画像ペアである。
実施形態４７は、顕微鏡検査画像を受信するように構成された通信インターフェースと、プロセッサと、プロセッサに通信可能に結合された非一時的コンピュータ可読媒体とを備える、コンピューティング・デバイスに関係し、一時的コンピュータ可読媒体は、プロセッサによって実行されたとき、プロセッサに、通信インターフェースを介して、３次元（３Ｄ）顕微鏡検査画像の第１のセットおよび３Ｄ顕微鏡検査画像の第２のセットを受信させるコンピュータ実行可能命令を記憶し、３Ｄ顕微鏡検査画像の第１のセットは、複数の細胞をそれぞれ有する複数の組織サンプルの３Ｄ共焦点レーザー走査顕微鏡検査（ＣＬＳＭ）蛍光画像であり、３Ｄ顕微鏡検査画像の第２のセットは、同じ複数の組織サンプルの３Ｄ透過光画像であり、３Ｄ顕微鏡検査画像の第１のセット中の複数の細胞に蛍光ラベリングが印加され、３Ｄ顕微鏡検査画像の第２のセット中に蛍光ラベリングは含まれない。命令は、さらにプロセッサに、細胞の３Ｄ透過光画像である第１のタイプの画像を、細胞の予測される３Ｄ ＣＬＳＭ蛍光画像である第２のタイプの画像にコンバートするように構成されたニューラル・ネットワーク（または、より一般的には、統計モデル）を生成させ、第１のタイプの画像中に蛍光ラベリングは含まれず、命令は、プロセッサに、３Ｄ顕微鏡検査画像の第１のセットおよび３Ｄ顕微鏡検査画像の第２のセットに基づいてニューラル・ネットワークをトレーニングすることによってニューラル・ネットワークを生成させる。命令は、ニューラル・ネットワークが生成されトレーニングされた後に、複数の細胞を有する追加の組織サンプルの透過光画像である追加の３Ｄ顕微鏡検査画像を受信することであって、追加の３Ｄ顕微鏡検査画像中に蛍光ラベリングは含まれない、受信することと、ニューラル・ネットワークおよび追加の３Ｄ顕微鏡検査画像を用いて、追加の組織サンプルのための複数の細胞の予測される蛍光ラベリングを含む予測される３Ｄ ＣＬＳＭ蛍光画像を生成することとをプロセッサにさらに行わせる。
実施形態４８は、実施形態４７のコンピューティング・デバイスを含み、命令は、さらにプロセッサに、予測される３Ｄ ＣＬＳＭ蛍光画像を使用して、追加の組織サンプルの複数の細胞の細胞特性を決定させ、細胞特性は、複数の細胞のうちの少なくとも１つの平均もしくは中央細胞サイズ、細胞カウント、細胞形態、複数の細胞のうちの少なくとも１つの細胞周期位相、または複数の細胞のうちの少なくとも１つの表面上のタンパク質バイオマーカーの存在もしくは不在のうちの少なくとも１つである。
実施形態４９は、実施形態４７または４８のコンピューティング・デバイスを含み、ニューラル・ネットワークは第１のニューラル・ネットワークであり、命令は、複数の組織サンプル中のどの細胞が罹患細胞である分類を有するかの指示を受信することと、予測される３Ｄ ＣＬＳＭ蛍光画像である第２のタイプの画像を、予測される蛍光３Ｄ ＣＬＳＭ画像が罹患細胞を含むかどうかの予測される分類にコンバートするように構成された第２のニューラル・ネットワークを生成することであって、命令は、プロセッサに、第１のニューラル・ネットワークによって生成された予測される３Ｄ ＣＬＳＭ蛍光画像を用いて、および複数の組織サンプル中のどの細胞が罹患細胞であるかの受信された指示を用いて第２のニューラル・ネットワークをトレーニングすることによって第２のニューラル・ネットワークを生成させる、生成することとをプロセッサにさらに行わせる。命令は、さらにプロセッサに、第２のニューラル・ネットワークおよび追加の組織サンプルの予測される３Ｄ ＣＬＳＭ蛍光画像を用いて、追加の組織サンプルが罹患細胞を含むかどうかの予測される分類を生成させる。
実施形態５０は、実施形態４７～４９のうちのいずれか１つのコンピューティング・デバイスを含み、３Ｄ顕微鏡検査画像の第１のセットは、複数の組織サンプルの１つについての３Ｄ蛍光画像のサブセットを含み、３Ｄ蛍光画像のサブセットは、異なるそれぞれの放出フィルタ周波数帯域または異なるそれぞれの蛍光マーカーをそれぞれ有する、異なるそれぞれの蛍光チャネルに対応し、３Ｄ蛍光画像のサブセットは、蛍光チャネル当たり２５ｍｓ未満以内に複数の組織サンプルのうちの１つから獲得された。
実施形態５１は、実施形態４７～５０のうちのいずれか１つのコンピューティング・デバイスを含み、追加の組織サンプルの複数の細胞は、１つまたは複数の生きているヒト誘導多能性幹細胞（ｈｉＰＳＣ）を含む。
実施形態５２は、実施形態１８～５１のいずれかにおけるプロセッサによって実施されるステップを含む方法である。
実施形態５３は、プロセッサによって実施されたとき、実施形態１８～５１のいずれかにおけるステップをプロセッサに実施させる命令を有する非一時的コンピュータ可読媒体である。
上記で説明された概略図および／または実施形態が、いくつかの配向または位置において配置されたいくつかの構成要素を示す場合、構成要素の配置は修正されてよい。実施形態について詳しく図示および説明されたが、形態および詳細における様々な変更が行われてよいことが理解されよう。本明細書で説明される装置および／または方法のいかなる部分も、相互排他的な組合せを除いて、任意の組合せで組み合わされてよい。本明細書で説明される実施形態は、説明される様々な実施形態の機能、構成要素、および／または統計モデルの様々な組合せおよび／または部分組合せを含むことができる。

Claims (9)

  1. 顕微鏡検査画像を受信するように構成された通信インターフェースと、
    プロセッサと、
    前記通信インターフェースおよび前記プロセッサに通信可能に結合され、コンピュータ実行可能命令を記憶する非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令は、前記プロセッサによって実行されたとき、
    前記通信インターフェースを介して、顕微鏡検査画像の第１のセットおよび顕微鏡検査画像の第２のセットを受信することであって、顕微鏡検査画像の前記第１のセットは、１つもしくは複数の亜細胞構造または１つもしくは複数の細胞をそれぞれ有する複数の組織サンプルの蛍光画像であり、顕微鏡検査画像の前記第２のセットは、前記複数の組織サンプルの前記１つもしくは複数の亜細胞構造または１つもしくは複数の細胞の電子顕微鏡写真（ＥＭ）画像であり、顕微鏡検査画像の前記第２のセット中に蛍光ラベリングは含まれない、
    顕微鏡検査画像の前記第１のセットの各々が顕微鏡検査画像の前記第２のセットのうちの１つと位置合わせされると決定することと、
    顕微鏡検査画像の前記第１のセットの各々が顕微鏡検査画像の前記第２のセットのうちの１つと位置合わせされると決定した後に、何らかの亜細胞構造または細胞のＥＭ画像である第１のタイプの画像を、前記亜細胞構造または細胞の予測される蛍光画像である第２のタイプの画像にコンバートするように構成されたニューラル・ネットワークを生成することであって、前記第１のタイプの画像中に蛍光ラベリングは含まれず、前記命令は、前記プロセッサに、３Ｄ顕微鏡検査画像の前記第１のセットおよび３Ｄ顕微鏡検査画像の前記第２のセットに基づいて前記ニューラル・ネットワークをトレーニングすることによって前記ニューラル・ネットワークを生成させる、
    前記ニューラル・ネットワークが生成された後に、第３の顕微鏡検査画像および第４の顕微鏡検査画像を含む顕微鏡検査画像のペアを受信することであって、前記第３の顕微鏡検査画像は、追加の組織サンプルの１つもしくは複数の細胞構造または１つもしくは複数の細胞の蛍光画像であり、前記第４の顕微鏡検査画像は、前記追加の組織サンプルの前記１つもしくは複数の亜細胞構造または１つもしくは複数の細胞のＥＭ画像であり、前記第３の顕微鏡検査画像および前記第４の顕微鏡検査画像は互いに位置合わせされない、
    前記ニューラル・ネットワークおよび前記第４の顕微鏡検査画像の前記ＥＭ画像を用いて、前記追加の組織サンプルのための予測される蛍光ラベリングを含む予測される蛍光画像を生成することと、
    前記予測される蛍光画像がどのように前記第３の顕微鏡検査画像の前記蛍光画像と位置合わせされることが可能であるかを示す位置決め情報を決定することと、
    前記決定された位置決め情報を使用して前記第３の顕微鏡検査画像および前記第４の顕微鏡検査画像の位置決めを実施することと
    を前記プロセッサに行わせる、非一時的コンピュータ可読媒体と
    を備える、コンピューティング・デバイス。
  2. 前記命令は、前記プロセッサに、前記位置決め情報に基づいて前記第４の顕微鏡検査画像に対して前記第３の顕微鏡検査画像のシフト、回転、またはスケーリングのうちの少なくとも１つを実施することによって前記位置決めを実施させる、請求項１に記載のコンピューティング・デバイス。
  3. 前記命令は、前記プロセッサに、前記第３の顕微鏡検査画像が前記位置決め情報に基づいてシフト、回転、またはスケーリングされた後に、前記第３の顕微鏡検査画像を前記第４の顕微鏡検査画像上にオーバーレイさせる、請求項２に記載のコンピューティング・デバイス。
  4. 前記命令は、前記プロセッサに、前記予測される蛍光画像と前記第３の顕微鏡検査画像との間の強度マッチングを実施する強度ベースの位置決めプロセスを使用することによって前記位置決め情報を決定させる、請求項１に記載のコンピューティング・デバイス。
  5. 前記第３の顕微鏡検査画像および前記第４の顕微鏡検査画像の各々は複数のピクセルを含み、位置決めが実施される前に、前記第３の顕微鏡検査画像の各ピクセルは、前記第３の顕微鏡検査画像の前記蛍光画像が前記第４の顕微鏡検査画像の前記ＥＭ画像に対してより低いレベルの倍率にあるように、前記第４の顕微鏡検査画像の各ピクセルが表すよりも前記追加の組織サンプルの大きい領域を表す、請求項１に記載のコンピューティング・デバイス。
  6. 位置決めが実施される前に、前記第３の顕微鏡検査画像の各ピクセルは、前記第４の顕微鏡検査画像の各ピクセルによって表される前記追加の組織サンプルの領域よりも少なくとも１００倍大きい前記追加の組織サンプルの領域を表す、請求項５に記載のコンピューティング・デバイス。
  7. 第４の顕微鏡検査画像の前記ＥＭ画像は、前記追加の組織サンプルの第１の領域の第１のレベルの倍率で電子顕微鏡によってキャプチャされ、前記命令は、さらに前記プロセッサに、前記第１の領域の部分である第２の領域の第５の顕微鏡検査画像を獲得するように前記電子顕微鏡を制御させ、前記第１の領域内の前記第２の領域のロケーションは前記位置決め情報によって示され、前記第５の顕微鏡検査画像は、前記第１のレベルよりも高い第２のレベルの倍率にあるＥＭ画像である、請求項５に記載のコンピューティング・デバイス。
  8. 前記位置決め情報は、位置決め情報の第１のセットであり、前記第４の顕微鏡検査画像との前記第３の顕微鏡検査画像の位置決めを実施することは、前記第３の顕微鏡検査画像と前記第４の顕微鏡検査画像との間の位置合わせ誤差の第１の量を生じ、前記命令は、
    前記ニューラル・ネットワークおよび前記第５の顕微鏡検査画像を用いて、追加の予測される蛍光画像を生成することと、
    前記追加の予測される蛍光画像がどのように前記第３の顕微鏡検査画像の前記蛍光画像と位置合わせされることが可能であるかを示す位置決め情報の第２のセットを決定することと、
    位置決め情報の前記第２のセットを使用して前記第３の顕微鏡検査画像および前記第５の顕微鏡検査画像の位置決めを実施することであって、前記第５の顕微鏡検査画像との前記第３の顕微鏡検査画像の前記位置決めを実施することは、前記第３の顕微鏡検査画像と前記第５の顕微鏡検査画像との間で、位置合わせ誤差の前記第１の量に対して、より小さい量の位置合わせ誤差を生じる、
    を前記プロセッサにさらに行わせる、請求項７に記載のコンピューティング・デバイス。
  9. 前記第２のレベルの倍率は、前記第１のレベルの倍率の少なくとも１０倍である、請求項８に記載のコンピューティング・デバイス。
JP2023040217A 2017-08-09 2023-03-15 予測タグ付けを有する画像を生成するための画像処理のためのシステム、デバイス、および方法 Active JP7459336B2 (ja)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201762543333P 2017-08-09 2017-08-09
US62/543,333 2017-08-09
US201762560043P 2017-09-18 2017-09-18
US62/560,043 2017-09-18
US201762568749P 2017-10-05 2017-10-05
US62/568,749 2017-10-05
US201862647456P 2018-03-23 2018-03-23
US62/647,456 2018-03-23
US201862651765P 2018-04-03 2018-04-03
US62/651,765 2018-04-03
JP2020530428A JP2020530637A (ja) 2017-08-09 2018-08-08 予測タグ付けを有する画像を生成するための画像処理のためのシステム、デバイス、および方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020530428A Division JP2020530637A (ja) 2017-08-09 2018-08-08 予測タグ付けを有する画像を生成するための画像処理のためのシステム、デバイス、および方法

Publications (2)

Publication Number Publication Date
JP2023093434A JP2023093434A (ja) 2023-07-04
JP7459336B2 true JP7459336B2 (ja) 2024-04-01

Family

ID=65271519

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020530428A Pending JP2020530637A (ja) 2017-08-09 2018-08-08 予測タグ付けを有する画像を生成するための画像処理のためのシステム、デバイス、および方法
JP2023040217A Active JP7459336B2 (ja) 2017-08-09 2023-03-15 予測タグ付けを有する画像を生成するための画像処理のためのシステム、デバイス、および方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020530428A Pending JP2020530637A (ja) 2017-08-09 2018-08-08 予測タグ付けを有する画像を生成するための画像処理のためのシステム、デバイス、および方法

Country Status (6)

Country Link
US (3) US10935773B2 (ja)
EP (1) EP3664705A4 (ja)
JP (2) JP2020530637A (ja)
AU (1) AU2018313841B2 (ja)
CA (2) CA3071685C (ja)
WO (1) WO2019032723A1 (ja)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020206362A1 (en) * 2019-04-04 2020-10-08 Inscopix, Inc. Multi-modal microscopic imaging
US10650520B1 (en) 2017-06-06 2020-05-12 PathAI, Inc. Systems and methods for training a statistical model to predict tissue characteristics for a pathology image
US10935773B2 (en) * 2017-08-09 2021-03-02 Allen Institute Systems, devices, and methods for image processing to generate an image having predictive tagging
TWI631532B (zh) * 2017-08-16 2018-08-01 台達電子工業股份有限公司 檢測系統及其檢測方法
WO2019096952A1 (en) * 2017-11-15 2019-05-23 NEC Laboratories Europe GmbH A system and method for single image object density estimation
US10878529B2 (en) * 2017-12-22 2020-12-29 Canon Medical Systems Corporation Registration method and apparatus
JP7344568B2 (ja) 2018-03-30 2023-09-14 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア ディープラーニングを使用して無標識蛍光画像をデジタル染色する方法及びシステム
CN108596882B (zh) * 2018-04-10 2019-04-02 中山大学肿瘤防治中心 病理图片的识别方法及装置
JP2019195304A (ja) 2018-05-10 2019-11-14 学校法人順天堂 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法
US10928617B1 (en) * 2018-05-18 2021-02-23 GDH Enterprises, LLC Portable three-dimensional virtual imaging device
US11030758B2 (en) * 2018-05-18 2021-06-08 Strateos, Inc. Method and apparatus for registering images of histological sections
US11537822B2 (en) 2018-05-23 2022-12-27 Raytheon Bbn Technologies Corp. Machine learning for quantum material synthesis
JP6627069B2 (ja) * 2018-06-01 2020-01-08 株式会社フロンティアファーマ 画像処理方法、薬剤感受性試験方法および画像処理装置
WO2020018154A1 (en) * 2018-07-19 2020-01-23 The Regents Of The University Of California Method and system for digital staining of label-free phase images using deep learning
US11348227B2 (en) 2018-09-04 2022-05-31 The Trustees Of The University Of Pennsylvania Image registration using a fully convolutional network
US10929716B2 (en) * 2018-09-12 2021-02-23 Molecular Devices, Llc System and method for label-free identification and classification of biological samples
US10481379B1 (en) * 2018-10-19 2019-11-19 Nanotronics Imaging, Inc. Method and system for automatically mapping fluid objects on a substrate
KR20200052444A (ko) * 2018-10-30 2020-05-15 삼성전자주식회사 신경망을 이용하여 예측 결과를 출력하는 방법, 신경망을 생성하는 방법 및 그 장치들
US11803963B2 (en) * 2019-02-01 2023-10-31 Sartorius Bioanalytical Instruments, Inc. Computational model for analyzing images of a biological specimen
US20220180518A1 (en) * 2019-03-08 2022-06-09 University Of Southern California Improved histopathology classification through machine self-learning of "tissue fingerprints"
US20220156561A1 (en) * 2019-03-13 2022-05-19 Tomocube, Inc. Identifying microorganisms using three-dimensional quantitative phase imaging
JP7121191B2 (ja) * 2019-04-11 2022-08-17 富士フイルム株式会社 構造物分離装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
JP7482894B2 (ja) 2019-04-12 2024-05-14 インベニオ イメージング、インコーポレイテッド 組織における術中造影剤の検出のための撮像システム
US11763553B2 (en) * 2019-04-17 2023-09-19 The Regents Of The University Of California Artificial intelligence advance imaging—processing conditioned light photography and videography to reveal features detectable by other advanced imaging and functional testing technologies
JP7381003B2 (ja) * 2019-04-26 2023-11-15 学校法人順天堂 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム
KR20200129639A (ko) 2019-05-09 2020-11-18 삼성전자주식회사 모델 학습 방법 및 장치
CN110147852A (zh) * 2019-05-29 2019-08-20 北京达佳互联信息技术有限公司 图像识别的方法、装置、设备及存储介质
CN110263724A (zh) * 2019-06-21 2019-09-20 腾讯科技（深圳）有限公司 图片识别方法、识别模型训练方法、装置及存储介质
WO2021002650A1 (ko) * 2019-06-30 2021-01-07 주식회사 알틱스 딥러닝 기반의 교차 시험 영상 처리 방법 및 그 장치
DE102019121889B3 (de) * 2019-08-14 2020-11-19 Robominds GmbH Automatisierungssystem und Verfahren zur Handhabung von Produkten
US11854281B2 (en) 2019-08-16 2023-12-26 The Research Foundation For The State University Of New York System, method, and computer-accessible medium for processing brain images and extracting neuronal structures
WO2021070385A1 (ja) 2019-10-11 2021-04-15 アイポア株式会社 粒子の識別を行うためのセンサ、測定器、コンピュータ装置、およびシステム
KR102302333B1 (ko) * 2019-11-05 2021-09-16 주식회사 토모큐브 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치
EP3828617A1 (de) * 2019-11-26 2021-06-02 Siemens Healthcare Diagnostics Inc. Verfahren zur digitalen anfärbung von zellen
US11314628B2 (en) * 2019-12-02 2022-04-26 Bank Of America Corporation System for intelligent unit performance testing of computer applications
JP2023505265A (ja) * 2019-12-05 2023-02-08 テンパス・ラボズ・インコーポレイテッド ハイスループット薬物スクリーニングのためのシステムおよび方法
US11521063B1 (en) * 2019-12-17 2022-12-06 Bae Systems Information And Electronic Systems Integration Inc. System and method for terminal acquisition with a neural network
EP3839804A1 (en) * 2019-12-20 2021-06-23 KWS SAAT SE & Co. KGaA Method and system for automated plant image labeling
US11200676B2 (en) 2020-01-17 2021-12-14 Verily Life Sciences Llc Shift invariant loss for deep learning based image segmentation
WO2021178938A1 (en) * 2020-03-06 2021-09-10 Bostongene Corporation Determining tissue characteristics using multiplexed immunofluorescence imaging
CN111598896B (zh) * 2020-04-28 2023-12-05 腾讯科技（深圳）有限公司 图像检测方法、装置、设备及存储介质
CN111598029B (zh) * 2020-05-21 2021-11-30 深圳太力生物技术有限责任公司 目标细胞株的筛选方法、系统、服务器及存储介质
KR102367090B1 (ko) * 2020-07-07 2022-02-23 재단법인 대구경북첨단의료산업진흥재단 초해상도 합성곱 신경망 기반의 광음향 현미경 영상 수치 재초점 방법 및 장치
JP2023534722A (ja) * 2020-07-22 2023-08-10 ビーエーエスエフ プラント サイエンス カンパニー ゲーエムベーハー イベントベース撮像のための方法およびシステム
WO2022026532A1 (en) * 2020-07-30 2022-02-03 Allen Institute Systems, devices, and methods for compound screening using predictive tagging
US20230266221A1 (en) * 2020-08-12 2023-08-24 Allen Institute Systems, devices, and methods for quality control of cell production using predictive tagging
US20220051102A1 (en) * 2020-08-14 2022-02-17 Tencent America LLC Method and apparatus for multi-rate neural image compression with stackable nested model structures and micro-structured weight unification
CN112435281B (zh) * 2020-09-23 2022-06-24 山东师范大学 一种基于对抗学习的多光谱眼底图像分析方法及系统
US20220121878A1 (en) * 2020-10-16 2022-04-21 The Salk Institute For Biological Studies Systems, software and methods for generating training datasets for machine learning applications
AU2021413227A1 (en) * 2020-12-31 2023-07-13 Elephas Biosciences Corporation Ex vivo systems and methods for determining the effect of a drug or other agent on a tissue
EP4278296A1 (en) * 2021-01-12 2023-11-22 University of Washington Apparatuses, systems and methods for generating synethettc image sets
CN112749801A (zh) * 2021-01-22 2021-05-04 上海商汤智能科技有限公司 神经网络训练和图像处理方法及装置
CN113177574B (zh) * 2021-03-19 2022-08-16 华中科技大学 用于材料表征图像分析的视觉模型及其分析方法
US20220375604A1 (en) * 2021-04-18 2022-11-24 Mary Hitchcock Memorial Hospital, For Itself And On Behalf Of Dartmouth-Hitchcock Clinic System and method for automation of surgical pathology processes using artificial intelligence
DE102021204805A1 (de) * 2021-05-11 2022-11-17 Carl Zeiss Microscopy Gmbh Bewertungsverfahren für Simulationsmodelle in der Mikroskopie
CN113706450A (zh) * 2021-05-18 2021-11-26 腾讯科技（深圳）有限公司 图像配准方法、装置、设备及可读存储介质
DE102021114287A1 (de) * 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und Verfahren zum Erzeugen stilisierter Kontrastbilder
GB2607604A (en) * 2021-06-08 2022-12-14 Solentim Ltd Brightfield and fluorescence image comparison
CN113554039B (zh) * 2021-07-27 2022-02-22 广东工业大学 基于多注意力机制的动态图像的光流图生成方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092589A (ja) 2000-09-19 2002-03-29 Fuji Photo Film Co Ltd 画像の位置合わせ方法
WO2004042392A1 (ja) 2002-11-07 2004-05-21 Fujitsu Limited 画像解析支援方法、画像解析支援プログラムおよび画像解析支援装置
JP2005117640A (ja) 2003-09-16 2005-04-28 Sysmex Corp 標本画像の表示方法およびそれを用いた検索方法、サーベイランス方法、標本画像の表示システム、標本画像表示用プログラムおよびそのプログラムを記録した記録媒体
JP2010500571A (ja) 2006-08-07 2010-01-07 ゼネラル・エレクトリック・カンパニイ 組織マイクロアレイの多チャネル画像の共位置合わせシステム及び方法
US20140270457A1 (en) 2013-03-15 2014-09-18 The Board Of Trustees Of The University Of Illinois Stain-free histopathology by chemical imaging
JP2016028250A (ja) 2010-06-25 2016-02-25 シレカ セラノスティクス エルエルシーＣｉｒｅｃａ Ｔｈｅｒａｎｏｓｔｉｃｓ，Ｌｌｃ 生物学的試片をスペクトル画像により分析する方法
JP2016114447A (ja) 2014-12-15 2016-06-23 コニカミノルタ株式会社 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7272252B2 (en) * 2002-06-12 2007-09-18 Clarient, Inc. Automated system for combining bright field and fluorescent microscopy
WO2006125188A1 (en) * 2005-05-19 2006-11-23 The Brigham And Women's Hospital, Inc Methods and systems for the analysis of 3d microscopic neuron images
US7756309B2 (en) * 2005-07-27 2010-07-13 Bioimagene, Inc. Method and system for storing, indexing and searching medical images using anatomical structures of interest
US7817841B2 (en) 2005-11-12 2010-10-19 General Electric Company Time-lapse cell cycle analysis of unstained nuclei
US9008378B2 (en) 2006-12-20 2015-04-14 The Board Of Trustees Of The Leland Stanford Junior University Arrangement and imaging of biological samples
GB0700189D0 (en) * 2007-01-05 2007-02-14 Univ Leicester Fluorescence labelling
US9799098B2 (en) 2007-04-24 2017-10-24 Massachusetts Institute Of Technology Method and apparatus for image processing
US7772569B2 (en) * 2008-04-01 2010-08-10 The Jackson Laboratory 3D biplane microscopy
US8199999B2 (en) 2008-06-17 2012-06-12 Cambridge Research & Instrumentation, Inc. Image classifier training
US20100121172A1 (en) 2008-11-12 2010-05-13 Siemens Corporate Research, Inc. Microscopic and macroscopic data fusion for biomedical imaging
US8310531B2 (en) * 2009-08-03 2012-11-13 Genetix Corporation Methods and apparatuses for processing fluorescence images
US9002077B2 (en) 2009-08-10 2015-04-07 Cambridge Research & Instrumentation, Inc. Visualization of stained samples
US8705833B2 (en) 2011-04-25 2014-04-22 The General Hospital Corporation Computer-aided staining of multispectral images
US9104903B2 (en) 2012-03-16 2015-08-11 University Of Utah Research Foundation Microscopy visualization
EP2827772B1 (en) 2012-03-19 2023-10-04 Genetic Innovations Inc. Devices, systems, and methods for virtual staining
CN113705586A (zh) 2013-03-07 2021-11-26 飞利浦影像引导治疗公司 血管内图像中的多模态分割
JP6350527B2 (ja) * 2013-07-03 2018-07-04 コニカミノルタ株式会社 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法
WO2015017798A2 (en) * 2013-08-02 2015-02-05 CRIXlabs, Inc. Method and system for predicting spatial and temporal distributions of therapeutic substance carriers
US20150269314A1 (en) 2014-03-20 2015-09-24 Rudjer Boskovic Institute Method and apparatus for unsupervised segmentation of microscopic color image of unstained specimen and digital staining of segmented histological structures
US9625387B2 (en) 2014-09-16 2017-04-18 Lawrence Livermore National Security, Llc System and method for controlling depth of imaging in tissues using fluorescence microscopy under ultraviolet excitation following staining with fluorescing agents
WO2017087847A1 (en) * 2015-11-20 2017-05-26 Oregon Health & Science University Multiplex immunohistochemistry image cytometry
US9971966B2 (en) 2016-02-26 2018-05-15 Google Llc Processing cell images using neural networks
CN109843176A (zh) * 2016-07-29 2019-06-04 诺瓦达克技术有限公司 用于利用机器学习来表征受验者的组织的方法和系统
US10935773B2 (en) * 2017-08-09 2021-03-02 Allen Institute Systems, devices, and methods for image processing to generate an image having predictive tagging
US20200199555A1 (en) * 2018-12-05 2020-06-25 The Broad Institute, Inc. Cas proteins with reduced immunogenicity and methods of screening thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092589A (ja) 2000-09-19 2002-03-29 Fuji Photo Film Co Ltd 画像の位置合わせ方法
WO2004042392A1 (ja) 2002-11-07 2004-05-21 Fujitsu Limited 画像解析支援方法、画像解析支援プログラムおよび画像解析支援装置
JP2005117640A (ja) 2003-09-16 2005-04-28 Sysmex Corp 標本画像の表示方法およびそれを用いた検索方法、サーベイランス方法、標本画像の表示システム、標本画像表示用プログラムおよびそのプログラムを記録した記録媒体
JP2010500571A (ja) 2006-08-07 2010-01-07 ゼネラル・エレクトリック・カンパニイ 組織マイクロアレイの多チャネル画像の共位置合わせシステム及び方法
JP2016028250A (ja) 2010-06-25 2016-02-25 シレカ セラノスティクス エルエルシーＣｉｒｅｃａ Ｔｈｅｒａｎｏｓｔｉｃｓ，Ｌｌｃ 生物学的試片をスペクトル画像により分析する方法
US20140270457A1 (en) 2013-03-15 2014-09-18 The Board Of Trustees Of The University Of Illinois Stain-free histopathology by chemical imaging
JP2016114447A (ja) 2014-12-15 2016-06-23 コニカミノルタ株式会社 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Adnan Mujahid Khan et al.，"A Nonlinear Mapping Approach to Stain Normalization in Digital Histopathology Images Using Image-Specific Color Deconvolution"，IEEE Transactions on Biomedical Engineering，米国，IEEE，2014年01月28日，Vol.61, No.6，pp.1729-1738
片渕 小夜、吉村 元秀，"細胞領域特徴を元にしたＣＮＮによる角膜内皮細胞認識"，第２２回 画像センシングシンポジウム ＳＳＩＩ２０１６，日本，画像センシング技術研究会，2016年06月08日，pp.1-4
藤谷 真之、外４名，"病理画像の自動染色変換"，情報処理学会研究報告，日本，情報処理学会，2017年05月03日，Vol.2017-CVIM-207, No.29，pp.1-8

Also Published As

Publication number Publication date
WO2019032723A1 (en) 2019-02-14
EP3664705A1 (en) 2020-06-17
JP2023093434A (ja) 2023-07-04
US20210173188A1 (en) 2021-06-10
AU2018313841B2 (en) 2023-10-26
JP2020530637A (ja) 2020-10-22
US20230281825A1 (en) 2023-09-07
US20190384047A1 (en) 2019-12-19
US10935773B2 (en) 2021-03-02
CA3071685A1 (en) 2019-02-14
CA3071685C (en) 2023-11-21
US11614610B2 (en) 2023-03-28
CA3213179A1 (en) 2019-02-14
EP3664705A4 (en) 2021-09-29
AU2018313841A1 (en) 2020-02-06

Similar Documents

Publication Publication Date Title
JP7459336B2 (ja) 予測タグ付けを有する画像を生成するための画像処理のためのシステム、デバイス、および方法
JP7201681B2 (ja) 単一チャネル全細胞セグメンテーションのためのシステム及び方法
de Haan et al. Deep-learning-based image reconstruction and enhancement in optical microscopy
Stegmaier et al. Real-time three-dimensional cell segmentation in large-scale microscopy data of developing embryos
Sirinukunwattana et al. Gland segmentation in colon histology images: The glas challenge contest
EP2987142B1 (en) Systems and methods for multiplexed biomarker quantitation using single cell segmentation on sequentially stained tissue
Melanthota et al. Deep learning-based image processing in optical microscopy
US20220058839A1 (en) Translation of images of stained biological material
Li et al. Single image super-resolution for whole slide image using convolutional neural networks and self-supervised color normalization
Binder et al. Multi-organ gland segmentation using deep learning
Ushizima et al. Deep learning for Alzheimer's disease: Mapping large-scale histological tau protein for neuroimaging biomarker validation
WO2021198247A1 (en) Optimal co-design of hardware and software for virtual staining of unlabeled tissue
Kromp et al. Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation
Abraham et al. Applications of artificial intelligence for image enhancement in pathology
WO2021198252A1 (en) Virtual staining logic
WO2021198279A1 (en) Methods and devices for virtual scoring of tissue samples
Shuvo et al. Multi-focus image fusion for confocal microscopy using u-net regression map
WO2023107844A1 (en) Label-free virtual immunohistochemical staining of tissue using deep learning
US11948296B2 (en) Method and system for assessing fibrosis in a tissue sample
US11854281B2 (en) System, method, and computer-accessible medium for processing brain images and extracting neuronal structures
Maram et al. Brain tumour detection on brats 2020 using u-net
Ahmed et al. State of the art in information extraction and quantitative analysis for multimodality biomolecular imaging
Dai et al. Exceeding the limit for microscopic image translation with a deep learning-based unified framework
He Phase imaging with computational specificity for cell biology applications
NELSON Mathematical morphology for quantification in biological & medical image analysis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230410

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240319

R150 Certificate of patent or registration of utility model

Ref document number: 7459336

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150