JP7842701B2 - 生細胞生物学的試料の蛍光画像の取得のための方法およびシステム - Google Patents

生細胞生物学的試料の蛍光画像の取得のための方法およびシステム

Info

Publication number
JP7842701B2
JP7842701B2 JP2022569170A JP2022569170A JP7842701B2 JP 7842701 B2 JP7842701 B2 JP 7842701B2 JP 2022569170 A JP2022569170 A JP 2022569170A JP 2022569170 A JP2022569170 A JP 2022569170A JP 7842701 B2 JP7842701 B2 JP 7842701B2
Authority
JP
Japan
Prior art keywords
images
image
sample
training
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022569170A
Other languages
English (en)
Other versions
JP2023534366A (ja
Inventor
ティモシー・ジャクソン
リカード・シェーグレン
クリストファー・エドルンド
エドヴィン・フォルスグレン
Original Assignee
ザルトリウス バイオアナリティカル インストゥルメンツ， インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ザルトリウス バイオアナリティカル インストゥルメンツ， インコーポレイテッド filed Critical ザルトリウス バイオアナリティカル インストゥルメンツ， インコーポレイテッド
Publication of JP2023534366A publication Critical patent/JP2023534366A/ja
Application granted granted Critical
Publication of JP7842701B2 publication Critical patent/JP7842701B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12N—MICROORGANISMS OR ENZYMES; COMPOSITIONS THEREOF; PROPAGATING, PRESERVING, OR MAINTAINING MICROORGANISMS; MUTATION OR GENETIC ENGINEERING; CULTURE MEDIA
    • C12N5/00—Undifferentiated human, animal or plant cells, e.g. cell lines; Tissues; Cultivation or maintenance thereof; Culture media therefor
    • C12N5/06—Animal cells or tissues; Human cells or tissues
    • C12N5/0602—Vertebrate cells
    • C12N5/0693—Tumour cells; Cancer cells
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12N—MICROORGANISMS OR ENZYMES; COMPOSITIONS THEREOF; PROPAGATING, PRESERVING, OR MAINTAINING MICROORGANISMS; MUTATION OR GENETIC ENGINEERING; CULTURE MEDIA
    • C12N5/00—Undifferentiated human, animal or plant cells, e.g. cell lines; Tissues; Cultivation or maintenance thereof; Culture media therefor
    • C12N5/06—Animal cells or tissues; Human cells or tissues
    • C12N5/0697—Artificial constructs associating cells of different lineages, e.g. tissue equivalents
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/5005—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/34—Microscope slides, e.g. mounting specimens on microscope slides
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12N—MICROORGANISMS OR ENZYMES; COMPOSITIONS THEREOF; PROPAGATING, PRESERVING, OR MAINTAINING MICROORGANISMS; MUTATION OR GENETIC ENGINEERING; CULTURE MEDIA
    • C12N2503/00—Use of cells in diagnostics
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12N—MICROORGANISMS OR ENZYMES; COMPOSITIONS THEREOF; PROPAGATING, PRESERVING, OR MAINTAINING MICROORGANISMS; MUTATION OR GENETIC ENGINEERING; CULTURE MEDIA
    • C12N2513/00—3D culture
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30072—Microarray; Biochip, DNA array; Well plate

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Biotechnology (AREA)
  • Optics & Photonics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Genetics & Genomics (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Cell Biology (AREA)
  • Microbiology (AREA)
  • Hematology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Urology & Nephrology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Tropical Medicine & Parasitology (AREA)
  • Chemical Kinetics & Catalysis (AREA)

Description

関連出願の相互参照
本出願は、参照により本明細書に組み込まれている、2020年7月22日に出願された米国非仮特許出願第16/935,326号の優先権を主張する。
本開示は、たとえば、オルガノイドおよび腫瘍スフェロイドを含む3次元(3D)細胞培養といった、生細胞生物学的試料の蛍光画像を取得するための方法およびシステムの分野に関する。
生細胞試料の使用は、免疫腫瘍学、腫瘍学、代謝、神経科学、免疫学、伝染病、毒物学、幹細胞、心臓病学、および炎症を含む、広範囲な調査分野に及んでいる。これらの調査分野では、複雑な免疫-腫瘍細胞相互作用、シナプス活性、がん細胞中の代謝などの研究を含む、細胞の健康および増殖、細胞機能、細胞の移動および形態の研究が行われる。
蛍光顕微鏡検査は、生細胞試料を含む試料からの光電子放出スペクトルを観察する方法である。試料からの蛍光を観察するには、入射光源と帯域外除去パラメータを有する光学フィルタとを含む光学系が必要である。このセットアップによって、研究者が試料の蛍光品質の実時間分析を実施することが可能になる。(カメラまたは様々な設計の撮像装置による)撮像機能性を含む蛍光顕微鏡は、今日では現在の生細胞調査研究所の部分である。
蛍光顕微鏡検査では、試料が1つまたは複数の蛍光体で処理、染色、または化学的に調合されることが通例である。蛍光体は、特定の波長の光を吸収し、より長い波長の光を放出するタンパク質、小さい有機化合物、有機色素、または合成高分子であってよい微視的分子である。ある種の半導電性金属ナノ粒子は、蛍光体としても適格であり、それらの幾何学構成に関係する光を放出する。
生細胞生物学的試料は、1つまたは複数の時点で試料の成長、代謝、形態、または他の特性を評価するために、様々な方法で、典型的には10倍または20倍などといった何らかの倍率で、蛍光顕微鏡で微視的に撮像することができる。この微視的撮像は、蛍光撮像を含むことができ、ここでは、試料中の蛍光体が、蛍光体の励起波長で光によって励起されて、蛍光体の放出波長で蛍光的に光を放出させる。落射蛍光撮像では、励起光は、放出光を集めるために使用される同じ対物レンズを介して提供される。
生物学的調査の全体傾向は、それらの2次元(2D)の相対物(たとえば、所与の焦点面における単一の画像)とは反対に、3Dモデル(たとえば、腫瘍スフェロイド、オルガノイド、3D細胞培養)の研究の重要性に向けて傾いてきている。というのは、3Dモデルは、真の生体内システムに存在する生理学的状態をより良好に複製すると信じられるためである。
蛍光顕微鏡または共焦点顕微鏡を使用して試料の3D情報を得る標準的方法としては、段階的な「Zスタック」法が挙げられ、ここでは、試料の一連の画像が、3次元座標系における試料の特定の深さまたはZ座標で各々キャプチャされる。この方法論は、本開示の図2Cに示され、後でより詳細に記載される。結果として得られる一連の画像は、次いで、専用ソフトウェアを使用して操作して、画像を単一の2D画像へと投影または組み合わせることができる。このZ投影を行うための1つの方法は、その記載が参照によって本明細書に組み込まれ、本発明の譲受人に割り当てられ、2020年4月21日に出願された、Timothy Jacksonらの「Image Processing and Segmentation of Sets of Z-Stacked Images of Three-Dimensional Biological Samples」という題名の米国特許出願第16/854,710号に記載される。Zスタック画像を2D画像に投影するオープンソースの画像分析ソフトウェアパッケージの例は、Schneider, C. A.、Rasband, W. S.、およびEliceiri, K. W. (2012)の、NIH Image to ImageJ: 25 years of image analysis、Nature methods, 9(7), 671～675頁に記載されるImageJである。最大投影、平均投影、ソーベルフィルタベース投影、およびウェーブレットベース投影を含むいくつかのZ投影方式がある。
米国特許出願第16/854,710号 米国特許出願第16/854,756号
Schneider, C. A.、Rasband, W. S.、およびEliceiri, K. W. (2012)の、NIH Image to ImageJ: 25 years of image analysis、Nature methods, 9(7), 671～675頁 Advances in Neural Information Processing Systems 27、Z. Ghahramani、M. Welling、C. Cortes、N. D. Lawrence、およびK. Q. Weinberger編集、Curran Associates, Inc.、2014、2672～2680頁の、Goodfellowらの「Generative Adversarial Nets」 Ronnebergerら、「U-net: Convolutional networks for biomedical image segmentation」、Springerならびに、the international conference on medical image computing and computer-assisted intervention (MICCAI)が出版、234～241頁、arXiv:1505.04597 (2015)としても出版 Zhu、Jun-Yanら、「Unpaired image-to-image translation using cycle-consistent adversarial networks」、Proceedings of the IEEE international conference on computer vision (2017)、arXiv:1703.10593 (2017)としても出版 https://www.essenbioscience.com/en/applications/cell-health-viability/spheroids/ Philip Isolaらの「Image-to Image Translation with Conditional Adversarial Networks」、arXiv.1611.07004 [cv.cs] (2016)およびXudong Maoらの「Least Squares Generative Adversarial Networks」、arXiv.1611.04076 [cv.cs] (2016)
しかし、Zスタック法は、いくつかの固有の課題を有し、特に生細胞試料にとっての問題を有する場合がある。第1に、露光時間、開始Z位置、終了Z位置、Zステップ(画像キャプチャ位置間の増分ΔZ)などを含む異なる取得パラメータを微調整するための要件は、専門家レベルのユーザにだけ可能な、事前に試料の知識が必要なことである。第2に、そのような画像を取得する時間が大変に遅くなるので、スループットが制限され、試料が光源からの大量の蛍光光にさらされ、このことによって、試料が光退色または光毒症となる可能性があり、これは生細胞研究では非常に望ましくない。最後に、この場合に3D Zスタックを取得することは、データを可視化して分析するための高度なソフトウェアが必要である。
本文書は、上記の撮像の課題に対処するためディープラーニングを使用する、画像取得方式および画像処理手順を含む方法およびシステムを記載する。特に、本明細書に記載されるものは、ディープラーニングおよび畳み込みニューラルネットワークにおける最近の進歩を利用する、高いスループットで、3D生細胞生物学的試料の単一の合焦した2D投影を取得するための方法である。
知られているZスタック方式を使用する代わりに、1つまたは複数の長露光の「Zスイープ」画像が得られる。すなわち、単一または一連の連続する長露光の連続画像取得であって、ここでは、Z焦点面を試料を通して移動させる間、蛍光顕微鏡中のカメラが試料に露出され、それによって、試料からの蛍光強度がZ次元にわたって積分される。取得方法は、Zスタックよりはるかに速く、したがって、より高いスループットを可能にし、試料が多すぎる蛍光光にさらされる危険性を低減し、それによって、光毒症および光退色での問題が回避される。次いで、長露光画像(long-exposure image)は、3D試料の投影を表す高品質の合焦した2D投影画像をもたらすように訓練された、訓練済みニューラルネットワークの中に入力される。これらの高品質な2D投影画像では、蛍光物体数および他の蛍光強度計量値(たとえば、平均強度、テクスチャなど)などといった、標準的画像分析技法を使用した蛍光信号を記載する生物学的に関係する分析計量値を得ることができる。
1つの特定の態様では、3次元生細胞試料の蛍光画像の、合焦した2次元投影を生成するための方法が提供される。方法は、カメラの焦点面を試料を通してZ方向に動かすことにより、試料の1つまたは複数の長露光画像をカメラで取得するステップであって、それによってカメラが試料からの蛍光強度をZ次元にわたって積分する、ステップと、1つまたは複数の長露光画像を、複数の訓練画像で訓練されたニューラルネットワークモデルに供給するステップと、ニューラルネットワークモデルにより、合焦した2D投影画像を生成するステップとを含む。
いくつかの異なるタイプのニューラルネットワークモデルが可能である。1つの実施形態では、ニューラルネットワークモデルは、畳み込みニューラルネットワークであり、別の実施形態では、エンコーダ-デコーダベースの教師ありモデルである。エンコーダ-デコーダベースの教師ありモデルは、以下で説明されるような文献において記載される、Uネットの形を取ることができる。代わりに、ニューラルネットワークモデルは、敵対的生成ネットワーク(GAN)の場合などといった敵対的手法を使用して訓練される。Advances in Neural Information Processing Systems 27、Z. Ghahramani、M. Welling、C. Cortes、N. D. Lawrence、およびK. Q. Weinberger編集、Curran Associates, Inc.、2014、2672～2680頁の、Goodfellowらの「Generative Adversarial Nets」を参照されたい。この敵対的手法は、2つのニューラルネットワークが同時に訓練されることを意味し、生成器が高品質で合焦した投影画像を予測し、識別器が予測された合焦した投影画像と真のまたは実際に取得した画像との間で区別しようと試みる。この手法の利点は、敵対的訓練では、生成器が識別器をだますように試みることに起因して、通常の教師あり訓練と比較して、より現実的な出力をもたらすことができるという点である。条件付きGANは、生成器が1つまたは複数の長露光画像で条件付けられるが、別の可能性を有する例である。ニューラルネットワークモデルは、文献中でも記載されるGANまたはCycleGAN(サイクル一貫性損失を有するGAN)などといった、対にならないデータで訓練することを可能にする、サイクル一貫性損失方法で訓練することも可能である。対にならないデータとは、Zスイープ画像および合焦した投影画像が存在するが、必ずしもすべての対が1対1の画素整合性を有さないことを意味する。サイクル一貫性手法の利点は、Zスイープ画像と合焦した投影画像との間に完全な重ね合わせを必要としないことである。不完全な重ね合わせは、たとえば、カメラがZ軸に沿って動くときにX-Y面にわずかな動きがあるときに生じる場合がある。
1つまたは複数の長露光のZスイープ画像を生成するために、3つの異なる方法またはパラダイムが想定される。1つの構成では、単一の長露光のZスイープ画像が得られ、下で「パラダイム1」と呼ばれる。代わりに、一連の長露光の連続Zスイープ画像が得られ、これらが次いで加算されて、下で「パラダイム2」と呼ばれる。別の代替形態として、一連の長露光の連続Zスイープ画像が得られ、これらは加算されず、下で「パラダイム3」と呼ばれる。
別の態様では、生細胞試料の合焦した2D投影画像を生成するためにニューラルネットワークモデルを訓練する方法が開示される。方法は、複数の画像の形で訓練セットを得るステップを含む。そのような画像は、画像の対、または対にならない画像であってよい。実際には、特にニューラルネットワークモデルが教師あり訓練を使用する場合、対を有するのは有利である。しかし、たとえば、サイクル一貫性損失訓練または敵対的生成ネットワークで、対にならない画像を使用することが可能である。
訓練画像は、(1)カメラの焦点面を試料を通してZ方向に動かすことにより得られる生細胞試料の1つまたは複数の長露光のZスイープ画像であって、それによってカメラが試料からの蛍光強度をZ次元にわたって積分する、画像と、(2)関連する2次元Zスタック投影グラウンドトゥルース画像であって、グラウンドトゥルース画像が同じ生細胞試料のZスタック画像のセットから得られ、Zスタック画像のうちの画像の各々が試料の異なるZ焦点面位置において得られ、Zスタック画像がZ投影アルゴリズムを使用して組み合わされる、画像とを含むことができる。方法は、訓練セットからニューラルネットワークの訓練手順を行い、それによって、1つまたは複数の長露光のZスイープ画像の形での入力から生細胞試料の2D投影画像を最終的に生成するように訓練されるモデルを生成するステップをさらに含む。
上述したように、訓練セット中の長露光のZスイープ画像は、単一のZスイープ画像もしくは任意選択で加算される連続Zスイープ画像のセット、または3つの取得パラダイムのいずれかの何らかの組合せの形を取ることができる。
さらに別の態様では、生細胞試料を保持するように適合される、たとえばマイクロウェルプレートなどといった試料保持デバイスと一緒に使用するための、生細胞撮像システムが記載される。システムは、1つまたは複数の励起光源と、1つまたは複数の対物レンズと、試料保持デバイス内に保持される生細胞試料から蛍光画像を得るよう動作可能なカメラとを有する蛍光顕微鏡を含む。蛍光顕微鏡は、カメラが試料の1つまたは複数の長露光のZスイープ画像を取得するように、試料保持デバイスに対して蛍光顕微鏡をZ方向に動かすように構成されるモータシステムであって、1つまたは複数の長露光のZスイープ画像は、カメラの焦点面を試料を通してZ方向に動かすことにより得られる、モーシステムを含む。システムは、1つまたは複数の長露光のZスイープ画像から生細胞試料の蛍光画像の合焦した2次元投影を生成するように訓練されたニューラルネットワークモデルを含む処理ユニットをさらに含む。
さらに別の態様では、ニューラルネットワークを訓練するための訓練セットを生成するための方法が提供される。方法は、(a)カメラの焦点面を試料を通してZ方向に動かすことにより3次元試料の1つまたは複数の長露光の蛍光画像をカメラで取得するステップであって、それによってカメラが試料からの蛍光強度をZ次元にわたって積分する、ステップと、(b)カメラによって得られた試料の1つまたは複数の異なる画像から同じ試料のグラウンドトゥルース画像を生成するステップと、(c)多数の異なる試料について、ステップ(a)およびステップ(b)を繰り返すステップと、(d)ニューラルネットワークを訓練するための訓練セットとして、ステップ(a)、ステップ(b)、およびステップ(c)を実施することにより得られた画像を供給するステップとを含む。
本開示の方法は、いくつかの利点を有する。
(1)本方法によって、蛍光物体計数値または他の蛍光強度計量値などといった標準的画像分析技法を使用して、高品質の投影画像から生物学的に関係する分析計量値を得ることが可能になる。
(2)1つまたは複数の長露光画像は、Z次元にわたり積分された試料中の蛍光の真の表現であって、真の正確なデータの生成がもたらされる。
(3)本開示の方法は、従来の電動蛍光顕微鏡のハードウェアを何ら変えることなく実装することができる。
(4)本開示のワークフローは、伝統的な広視野蛍光顕微鏡に適合するように設計されるが、その撮像手段のスループットを同様に改善するため、回転板共焦点顕微鏡に同様に適用することができる。
(5)本方法は、単一で高品質の2D投影画像を出力として提供し、これによって3Dデータセットを取り扱うための複雑なソフトウェアおよび分析ツールをユーザが有する負担がなくなる。2D投影画像は、たとえば今日の市場における最新技術の蛍光顕微鏡プラットフォームに現在実装されるものなどといった、標準的2D画像可視化、分割、および分析パイプラインの中に入力することができる。
さらに別の態様では、カメラと、ニューラルネットワークモデルを実装する処理ユニットとを含む生細胞撮像システム用の非一時的命令を記憶するコンピュータ可読媒体が提供され、命令は、本システムに、本開示の方法、たとえば、試料の1つまたは複数の長露光のZスイープ画像をキャプチャするステップと、訓練済みニューラルネットワークモデルに画像を供給するステップと、訓練済みニューラルネットワークモデルにより2次元投影画像を生成するステップとの組合せを実施させる。
生細胞生物学的試料の3D蛍光画像の取得のための方法およびシステムの概略図である。 図1の電動蛍光顕微鏡に使用することができる、Zスイープ画像取得方法の図である。 連続Zスイープ画像取得方法の図である。 従来技術のZスタック画像取得方法の図である。 ニューラルネットワークモデルを訓練するための訓練データセットを生成するための方法の図である。図3は、訓練済みニューラルネットワークモデルを使用した推測のための新しい入力画像および高品質な2D投影画像の形での出力を取得する方法も図示する。 図3のニューラルネットワークモデルを訓練するためのモデル訓練手順のフローチャートである。 訓練済みニューラルネットワークモデルがリモートコンピュータ上に実装され、接続した蛍光顕微鏡からの蛍光画像を受け取るリモートワークステーションと通信するネットワークの実施形態の図である。 訓練済みニューラルネットワークモデルを使用した、図2Aまたは図2Bの長露光画像取得方法から導出される、高品質の合焦した2D投影画像の図である。 マイクロウェルプレートの試料ウェルの中に充填された生物学的試料のための生細胞撮像システムの図である。本システムは、本開示の特徴を使用して、マイクロウェルプレート中の試料の蛍光画像を取得するための蛍光光学モジュールを含む。 図7の生細胞撮像システム内に位置決めされる蛍光光学モジュールの概略図である。 本方法の有用性を呈示する、グラウンドトゥルース投影と比較した、入力画像およびモデル出力の3つの例のセットの図である。図9では、ニューラルネットワークモデルは、訓練済み条件付き敵対的生成ネットワーク(GAN)であって、入力画像は、図3の第2の画像取得パラダイムの下で生成された。 図9に示されるモデル出力(予測される投影)を生成するために使用される条件付きGANの高レベルアーキテクチャの図である。
ここで図1を参照すると、(背景技術中に記載されるような、生きている3次元細胞培養などの現在の調査で使用される生細胞試料のタイプのいずれかの形を取ることができる)生細胞生物学的試料が、たとえばマイクロウェルプレートまたはガラススライドといった、好適な保持構造12上または保持構造12中に配置される。14で示されるように1つまたは複数の蛍光試薬(蛍光体)を生細胞試料10に加えることができ、蛍光試薬のタイプまたは性質は、もちろん、試料10の詳細および行われる調査の性質に依存する。試料10および試薬を有する保持構造12は、次いで、カメラを有する電動蛍光顕微鏡16に供給され、これは、当技術分野で知られている、または本発明の譲受人を含む多くの製造業者から入手可能な撮像機能を有する、従来の蛍光顕微鏡のいずれかの形を取ることができる。
蛍光顕微鏡16は、図2Aまたは図2Bの方法にしたがって、1つまたは複数の長露光のZスイープ画像18(またはそのような画像のセット)を生成するために使用される。3D生細胞生物学的試料10のこの長露光のZスイープ画像は、図2A中の25および図6中の25で示されるように、顕微鏡中のカメラの焦点面を試料を通してZ方向に動かすことにより得られ、ここで、カメラは、試料からの蛍光強度をZ次元にわたって積分する。長露光のZスイープ画像は、図2Aおよび図6に示されるようなデータセット30をもたらす。このデータセット30は、次いで、訓練済みニューラルネットワークモデル22を実装するコンピュータまたはプロセッサへ入力として供給される(図1)。このモデルは、下に記載されるように、訓練画像の多数のセットで訓練され、図3および図6中で140で示される、高品質で合焦した2D投影画像を生成する。この2D投影画像140(図3、図6)は、3D蛍光情報を含む(というのは、画像取得は、Z次元にわたる蛍光強度の積分から得られたためである)が、2次元の合焦した画像140への投影という形である。結果として得られる合焦した2D投影画像140(図3、図6)は、次いで、蛍光物体計数値または他の蛍光強度計量値などといった標準的で知られている画像分析技法のいずれかで使用される。
図2Aでは、矢印25で示されるように、焦点面が試料を通してZ方向に動かされるとき、蛍光顕微鏡中のカメラを連続的に露出することによって、単一の長露光のZスイープ画像が取得され、2次元画像データセット30がもたらされる。これが、図3の「パラダイム1」である。その画像データセット30は、焦点が合っていないという問題に起因して、画像分析技法では有用性が限定されるものとなる。したがって、図3および図6に140で示されるように、訓練済みニューラルネットワークモデルは、焦点が合っていない画像をより有用な焦点が合っている投影画像に変換するため使用される。さらなる例が図9に示され、本文書で後に議論される。
代わりの長露光のZスイープ画像取得方法が図2Bに示される。この代替形態では、画像取得は、図2B中で1、2、3、および4と番号が付けられた一連の連続した長露光のZスイープ画像を取得するステップからなり、ここでは、焦点面がZ次元の増分を通して動く間に、顕微鏡中のカメラは、露出されてZ次元にわたって蛍光強度を積分し、図2B中で1、2、3、および4で示される一連の4つの対応する画像または画像データセットをキャプチャする。次いで、一連の画像または画像データセットが加算されて、単一の結果として得られる長露光のZスイープデータセットまたは画像30を生成する。これが、図3の「パラダイム2」である。この画像取得技法は、図2Aの方法と比較して、焦点が合っていない蛍光を取り除き、最終的に蛍光強度のより正確な測定値をもたらすことができる、画像の飽和を回避すること、および、加算する前に各より小さいスイープ(1、2、3、4)について従来型アルゴリズムまたはディープラーニングベースの2D蛍光デコンボリューションアルゴリズムの適用を可能にすることを含むある種の利点を有することができる。
図3の「パラダイム3」と示される、長露光のZスイープ画像を取得するための第3の実施形態として、図2Bの手順の変形形態も可能である。画像1～4は、図2Bにおいて上記で説明されたように取得されるが、加算演算は実施されない。4つの画像は、訓練済みニューラルネットワークに渡され、それらの全部から単一の対応する合焦した画像が予測される。この実施形態では、4つの画像が、この場合には4チャンネル画像に組み合わせることができる。上記でリスト化した利点は、この実施形態にも適用される。さらに、この実施形態は、ニューラルネットワークモデルにとって、このパラダイムで取得した画像から良好に合焦した投影画像を推測することがより簡単であるという利点も有することができる。
図2Cは、従来技術のZスタック画像取得方法を図示しており、ここでは、試料10の画像が、位置A、B、C、およびDなどといった異なる焦点面で取られ、このことによって、図に示される対応する画像データセットA、B、C、およびDがもたらされる。この手法では、カメラを露出する時間に、Z次元座標が固定される、または動かないことに留意されたい。
図3は、1つまたは複数の長露光のZスイープ画像30の形での入力から図6の2D投影画像140を生成するために使用される畳み込みニューラルネットワークモデルの訓練をより詳細に示す。
モデル入力用の訓練データセットは、同じ3D生細胞訓練試料のZスタック104(図2Cの手順)を生成することおよびZスイープ(100)(図2Aまたは図2Bのいずれかの手順、上記で議論した3つのパラダイムのいずれか)を生成することによって準備される。加えて、同じ訓練試料のグラウンドトゥルース画像108が、Zスタック104およびZ投影アルゴリズム106から得られる。こうして、前で言及したImageJアルゴリズムなどといったZ投影アルゴリズムの選択肢を使用して、モデル訓練のための「グラウンドトゥルース」として働くことになる高品質の2D投影108を生成するためにZスタック104が使用される。Zスイープ画像102、102A、または105が、関連するグラウンドトゥルース108と一緒にモデル訓練のための入力として使用される。これらのデータの対(実際には、数千のそのような対)を使用して、長露光のZスイープ画像(30、図6)から高品質の2D投影画像(140、図6)をどのようにして生成するかをネットワークが学習するのを可能にするために、110で示されるような畳み込みニューラルネットワーク(CNN)モデルを訓練する。訓練済みニューラルネットワークモデルは、図1および図3において、22で示される。上述したように、モデル訓練110への入力は、たとえば教師ありモデル訓練実習でまさに述べたように画像の対であってよいが、上記で説明したように、モデル入力は、2つの領域(グラウンドトゥルースZ投影画像およびZスイープ)からの単なる画像のセットを使用した、サイクル一貫性損失または敵対的生成ネットワークモデルの場合のように、対である必要はない。
ニューラルネットワークモデル22は、たとえば、エンコーダ-デコーダベースモデル、たとえばU-netといった、教師ありモデルであってよい。Ronnebergerら、「U-net: Convolutional networks for biomedical image segmentation」、Springerならびに、the international conference on medical image computing and computer-assisted intervention (MICCAI)が出版、234～241頁、arXiv:1505.04597 (2015)としても出版、を参照されたく、その内容は、参照によって本明細書に組み込まれている。この教師ありモデルは、対応する長露光のZスイープ画像から直接高品質な投影画像を予測するように訓練される。
ニューラルネットワークモデル22は、たとえばGANといった、敵対的手法で設計および訓練することもできる。Advances in Neural Information Processing Systems 27、Z. Ghahramani、M. Welling、C. Cortes、N. D. Lawrence、およびK. Q. Weinberger編集、Curran Associates, Inc.、2014年、2672～2680頁中の、Goodfellowらの「Generative Adversarial Nets」を参照されたい。ここでは、1つのネットワークの生成器が、別のネットワークの識別器に対して訓練される。識別器は、真の高品質な投影と生成器の出力との間で区別するような仕事を課され、生成器は、出力を真の投影(すなわち、グラウンドトゥルース)と区別できなくする仕事を課される。
別の代替モデルのアーキテクチャは、条件付きGANであり、図10と組み合わせてさらに詳細に記載される。
訓練済みニューラルネットワークモデル22は、たとえばCycleGANといった、サイクル一貫性損失方法を使用して訓練することもできる。対にならないZスイープ画像が高品質の投影へと変換され、再びZスイープ画像に戻されることを意味しており、ネットワークは、サイクルバック再構築誤差を最小化するように訓練される、Zhu、Jun-Yanら、「Unpaired image-to-image translation using cycle-consistent adversarial networks」、Proceedings of the IEEE international conference on computer vision (2017)、arXiv:1703.10593 (2017)としても出版を参照されたく、その内容は、参照によって本明細書に組み込まれている。サイクル一貫性を使用する利点は、そのような訓練が、Zスイープ画像と高品質の投影の間に完全な重ね合わせを必要としないことである。サイクル一貫性は、2つの領域(この場合におけるZスイープ画像およびZスタック投影画像)からの対にならないデータで訓練する可能性も開いている。
ニューラルネットワークモデルが訓練試料の集合体(たぶん数百または数千のそのような3D生細胞試料)で一度訓練されると、推測のときに、より遅いプロセスであって試料により損害を加える、図2CにしたがってZスタック画像を集める必要がもはやない。むしろ、図2Aまたは図2Bの技法を使用して、単に1つまたは複数の高スループットの長露光のZスイープ画像が集められ、これが次いで、訓練済みモデル22へと入力されて、高品質の2D投影画像140を生成する。120で示される一実施形態(「パラダイム1」)では、ほんの1回のZスイープが実施され、結果として得られる画像データセット132が訓練済みモデル22に入力される。図3において「パラダイム2」と示される別の実施形態では、一連の連続Zスイープが実施されて134で示され(図2Bの技法)、画像データセット132Aを生成するために加算される画像136を生成する。連続Zスイープ画像136は、取得速度を犠牲にすることのない、いくつかの利点を有しており、(1)画像の飽和を回避し、(2)加算する前に、各より小さいスイープについて、従来型アルゴリズムまたはディープラーニングベースの2D蛍光デコンボリューションアルゴリズムの適用を可能にして、これらによって、焦点が合っていない蛍光を取り除き、最終的に蛍光強度のより正確な測定値をもたらすことができる。結果として得られる画像136は、任意選択で、蛍光デコンボリューションを受け、次いで138で示されるような加算演算をし、結果として得られる画像データセット132Aは、次いで訓練済みモデル22に供給される。
図3における第3の代替形態、「パラダイム3」では、連続Zスイープ135のセットが実施され(図2Bの手順)、スイープの各々から得られる画像データセットのセット132Bが得られる。画像データセット132Bは、訓練済みモデル22に供給される。この代替形態では、画像データセットが、以前に述べたように、単一のマルチチャンネル入力画像に組み合わされる場合、相補的な特徴を実現することに起因して、ニューラルネットワーク出力を改善することができる。
モデル推測が入力画像を得るために使用されたパラダイムのタイプと一致するように、画像取得パラダイム1、2、または3にしたがって取得された入力画像で訓練されたモデルがモデル推測のために使用される。言い換えると、たとえば、推測のときに、入力画像がパラダイム2の下で取得される場合、推測は、やはりパラダイム2の下で取得された画像で訓練されたモデルによって実施される。
モデル推測の結果として、訓練済みモデル22が、モデル出力140、すなわち、単一で高品質の合焦した2次元投影画像を生成する。
モデル訓練は、図4でより詳細に記載される。モデル訓練プロセス200は、たとえば(図2Aまたは図2Bの画像取得技法のいずれかを使用して)生細胞3D訓練試料に長露光のZスイープを実施するステップ202と、図2Cの技法を使用して同じ訓練試料のZスタック画像を取得するステップ204と、ImageJなどのZスタック投影技法を使用して、ステップ206で取得したZスタックを2D画像へと投影する、ステップとを含む。このプロセスは、現在の生細胞調査における蛍光顕微鏡で使用される試料の予想されるタイプのすべてにわたって、208で示されるように、多数の異なる訓練試料、たとえば数千または数万の生細胞3D試料について、繰り返される。2つの領域(Zスイープ画像およびグラウンドトゥルース画像)からの、データの対または対にならないデータのいずれかである(ステップ202および206からの)多数の画像は、次いで訓練セット210として提供され、CycleGAN手順または敵対的生成ネットワーク手法にしたがって、教師あり学習モデル訓練実習または自己管理モデル訓練実習のいずれかで、212で示されるようにニューラルネットワークを訓練するために使用される。この実習の結果が、訓練済みニューラルネットワークモデル22である。
1つの可能な変形形態では、幹細胞用のもの、腫瘍学用のもの、脳細胞用のものなどといった、生細胞試料の各タイプ用のものであるこの一般的手法を使用して訓練されたいくつかの個別モデルがあってよい。各モデルは、図3および図4で記載された手順を使用して得られる数百または数千の(対のまたは対にならない)画像で訓練される。
図1および図5を参照すると、訓練済みニューラルネットワークモデル22をワークステーション24または蛍光顕微鏡/撮像装置16自体に関連する、もしくは蛍光顕微鏡/撮像装置16自体の部分であるプロセッサに実装できることが可能である。代わりに、訓練済みモデルは、図5中の300で示されるような、リモートサーバに実装することができる。この構成では、蛍光顕微鏡/撮像装置16は、サーバ300にコンピュータネットワーク26上の接続性でワークステーション24に接続される。ワークステーションは、長露光のZスイープ画像をサーバ300に送信する。次に、サーバ中の訓練済みニューラルネットワークモデルが、図3に示されるように推測を実施し、2D投影画像(140、図6)を生成し、この2D投影画像をネットワーク26を介してワークステーション24に戻して送信し、ワークステーション24で2D投影画像はユーザに表示される、または、ワークステーション24上で走る画像分析および評価ソフトウェアパイプラインへの入力として提供される。
蛍光顕微鏡システム
本開示の特徴の1つの可能な実装形態は、3次元生細胞調査用途において蛍光画像を取得するための蛍光顕微鏡を含む生細胞撮像システム400である。図7は、筐体410を有する生細胞撮像システム400を示しており、その全体は、使用の間、図示されない温度および湿度制御される培養器の内側に配置することができる。生細胞撮像システム400は、その各々が3D生細胞試料を受け入れる多数の試料保持ウェル404を含むマイクロウェルプレート12を受け入れるように設計される。システムは、蛍光試薬406のセットを含み、そのうちの1つまたは複数は、取得する生細胞試料からの蛍光測定を可能にするように、試料ウェル404の各々に加えられる。システムは、画像分析ソフトウェアを実装し、調査員が試料上で行われた生細胞実験の結果を見ること可能にするための表示の特徴を含む、関連するワークステーション24を含む。生細胞撮像システム400は、システムから滑り出て、マイクロウェルプレート12がトレイ408上に挿入されるのを可能にし、次いで、マイクロウェルプレート12が生細胞撮像システム筐体410の内部に配置されるように引っ込んで閉じるトレイ408を含む。マイクロウェルプレート12は、筐体内で静止したままである一方で、蛍光光学モジュール402(図8を参照)がプレート12に対して動き、実験の過程にわたって一連の蛍光画像を取得する。蛍光光学モジュール402は、図2Aおよび/または図2B中に示される長露光のZスイープ画像取得技法(以前に述べたようなパラダイム1、2、または3)を実装し、図3の推測部に示されるような訓練済みニューラルネットワークモデルに入力される画像データセットを生成する。
図8は、図7の蛍光光学モジュール402のより詳細な光学図である。図8に示される蛍光光学モジュール402についてのさらなる詳細は、本発明の譲受人に割り当てられ、その記載が参照によって本明細書に組み込まれ、2020年4月21日に出願された、Brad Neagleらの「Optical module with three or more color fluorescent light sources and methods for use thereof」という題名の米国特許出願第16/854,756号に見いだすことができる。
モジュール402は、それぞれ453～486nmおよび546～568nmなどといった異なる波長で光を放出するLED励起光源450Aおよび450Bを含む。光学モジュール402は、648～674nmなどといった第3の波長で光を放出する第3のLED励起光源(図示せず)または第4の異なる波長で光を放出する第4のLED励起光源でさえ構成することができる。LED450Aおよび450Bからの光は、それぞれ、試料中の蛍光体を励起するように設計される特定の波長で光を通過させる狭帯域通過フィルタ452Aおよび452Bを通過する。フィルタ452Aを通過する光がダイクロイック454Aに反射し、ダイクロイックミラー454Bに反射して、たとえば20倍の拡大レンズといった対物レンズ460に向けられる。LED450Bからの光は、フィルタ452Bも通過し、ダイクロイックミラー454Bも通過して、対物レンズ460に向けられる。レンズ460を通過する励起光は、次いで、サンプルプレート12の底部に入射し試料10の中へ通る。次に、試料中の蛍光体からの放出がレンズ460を通過し、ミラー454Bに反射して、ダイクロイック454Aを通過し、狭帯域放出フィルタ462を通過し(非蛍光光をフィルタ除去し)、デジタルカメラ464に入射する。デジタルカメラ464は、電荷結合デバイス(CCD)または現在知られており蛍光顕微鏡で使用される他のタイプのカメラの形を取ることができる。次いで、光源450Aまたは450BがON状態である間に、モータシステム418が動作して、Z次元に全光学モジュール402を動かし、それによって、長露光のZスイープ画像を取得する(図2Aまたは図2B)。通常は、一度に1つの光学チャンネルだけが活性化されること、たとえば、LED450Aがオンになって長露光のZスイープ画像がキャプチャされ、次いでLED450AがオフにされてLED450Bが活性化され、第2の長露光のZスイープ画像がキャプチャされることが理解される。
異なる倍率の第2の対物レンズを光路の中に配置して、異なる倍率で第2の長露光のZスイープ画像を得るように、対物レンズ460を垂直軸の周りに回転することができるタレットに取り付けることができることが理解される。さらに、蛍光光学モジュール402および対物レンズ460の光路がサンプルプレート12のウェル404の各々の直下に配置されて、まさに述べたような蛍光測定値がプレート12中の保持されるウェルの各々(したがって生細胞試料の各々)から得られるように、モータシステム418は、サンプルプレート12の下でX方向およびY方向に動くように構成することができる。
蛍光光学モジュール402用のモータシステム418の詳細は、多種多様であってよく、当業者には知られている。
試料ウェル中の試料の画像を取得するように協働するモータシステムおよびカメラを含む、生細胞撮像システムの動作は、従来型コンピュータまたは処理ユニットによるプログラム制御下にある。この処理ユニットは、図3の訓練済みニューラルネットワークモデルを実装することができる。この場合に、1つの可能な実施形態として、コンピュータは、パラダイム1、2、および/または3の画像取得、ならびに、図3および図4に関連して上記で説明したように以前に訓練されたニューラルネットワークモデルを含む、本開示の方法を実施する非一時的命令(コード)を記憶するメモリを含む。同様に、コンピュータまたは処理ユニットは、モデル訓練のために使用される訓練試料のセットからすべての訓練画像を生成するための命令を含むメモリを含み、モデルの訓練は、生細胞撮像システムのコンピュータ中またはモデルを実施してモデル訓練を行うリモート計算システム中で行うことができる。
適用例
本文書の方法は、オルガノイド、腫瘍スフェロイド、および細胞培養などといった生物学的試料中に見いだされる他の3次元構造の2次元投影画像を生成するのに有用である。以前に述べたように、生細胞試料の使用は、免疫腫瘍学、腫瘍学、代謝、神経科学、免疫学、伝染病、毒物学、幹細胞、心臓病学、および炎症を含む、広範囲な調査分野に広がっている。これらの調査分野では、複雑な免疫-腫瘍細胞相互作用、シナプス活性、がん細胞中の代謝を含む、細胞の健康および増殖、細胞機能、細胞の移動および形態の研究が行われる。本開示の方法は、これらの用途のすべてに関係する。
特に、本開示の方法は、上記の用途に関係する。というのは、本開示の方法は、試料の高スループットの蛍光画像キャプチャ、実験条件(たとえば、薬物治療)がどのようにオルガノイド、腫瘍スフェロイド、または他の3次元生物学的構造の健康に影響を及ぼすかを測定するため分割して分析することができる高品質蛍光2D投影画像を生成することを可能にするためである。オルガノイド(たとえば、膵臓細胞オルガノイド、肝臓細胞オルガノイド、腸細胞オルガノイド)および腫瘍スフェロイドは特に興味深い。というのは、それらの3次元構造は、培養される細胞の「自然な」3次元環境をより厳密に模倣するためである。したがって、オルガノイド、腫瘍スフェロイド、または他のそのような3次元多細胞構造の薬または他の印可された実験条件に対する反応は、人体または対象となる何らかの他の環境中の対応する試料に対する応答をより厳密に模倣する可能性がある。
本開示の方法は、訓練済み条件付き敵対的生成ネットワーク(GAN)モデルを使用して、3次元生細胞生物学的試料上で試験された。訓練済みモデルは、2次元の合焦した投影画像を生成し、その3つの例が図9に示される。画像は、図7および図8の器具を使用して、マイクロウェルプレートのウェル中に充填された試料から得られた。全蛍光撮像システムおよび試料は、生細胞培養評価について好適な温度および湿度条件の試料を培養する培養器中に位置決めされた。
特に、図9は、以前に記載され、本方法の有用性を呈示する、Zスタック投影アルゴリズムによって得られる、グラウンドトゥルース投影(904、910、916)と比較した、入力画像(901、906、912)およびモデル出力(902、908、914)の3つの例のセットである。図9では、入力画像(901、906、912)は、上記で詳細に記載された、図2Bおよび図3の第2の画像取得パラダイムの下で生成された。グラウンドトゥルース投影画像904、910、916は、図2Cの方法およびZスタック投影アルゴリズムを使用して得られた。
図9の画像に描かれる主題は、単一腫瘍スフェロイド評価の典型である、膠芽細胞腫スフェロイドの例である。この評価は、本開示の図7および図8に描かれる、譲受人のIncuCyte(登録商標)生細胞撮像システムで利用可能な評価のうちの1つである。この評価のさらなる詳細は、https://www.essenbioscience.com/en/applications/cell-health-viability/spheroids/で見いだされる。図9に示される画像の各々は、マイクロウェルプレートの全ウェルを表す。スフェロイドは半径が約400μmであり、ウェル毎にただ1つのスフェロイドが存在する。スフェロイドは、数千の細胞からなる3D構造である。蛍光ラベルがウェルに供給されて、細胞核をラベル付けした。そのために、モデル出力画像(902、908、914)中およびグラウンドトゥルース投影(904、910、916)中に見ることができる輝点のそれぞれ1つが単一の細胞である。
図9中のモデル出力画像(902、908、914)を生成した訓練済みモデルは、条件付き敵対的生成ネットワーク(GAN)であった。そのようなネットワークについての詳細な情報は、その両方の内容が参照により本明細書に組み込まれる、Philip Isolaらの「Image-to Image Translation with Conditional Adversarial Networks」、arXiv.1611.07004 [cv.cs] (2016)およびXudong Maoらの「Least Squares Generative Adversarial Networks」、arXiv.1611.04076 [cv.cs] (2016)に記載される。
使用された条件付きGANの高レベルアーキテクチャが、図10に示される。他のGANでのように、このモデルは、生成器1004および識別器1010を含む。生成器1004は、図3の3つのパラダイムのうちの1つにしたがって取得される画像のうちの1つを入力1002として受け取る。入力画像と生成器1004によって生成された予測される投影画像の連結である「偽」データセット1006が生成される。「真」データセット1008は、入力画像とグラウンドトゥルース投影画像の連結として生成される。これら2つのデータセット1006および1008は、次いで、損失を計算する識別器に供給される。各訓練を反復する際の、生成器および識別器の損失関数の更新によって、生成器1004は、「偽」画像(すなわち、予測される投影画像)を作成するのがうまくなり、識別器1010は、真(グラウンドトゥルース)画像対偽(予測される投影)画像を識別するのがうまくなる。モデル訓練後、このことによって、生成器1004が高品質の投影画像を作成することが可能になることになる。図10のアーキテクチャでは、生成器1004および識別器1010は、個々のニューラルネットワークであって、それらが基礎にするアーキテクチャで変わる場合がある。この例では、生成器1004はU-netであり(Ronnebergerら、「U-net: Convolutional networks for biomedical image segmentation」、Springerが出版、ならびに、the international conference on medical image computing and computer-assisted intervention (MICCAI)、234～241頁を参照されたい)、識別器1010は、上記で言及したIsolaらの論文のアーキテクチャを有するPatchGANである。これらのネットワークが科学の文献で詳細に記載されるため、簡略化および本開示の発明性のある詳細を混乱させないため、より詳細な議論は省略される。ResNet50は、識別器として使用できるネットワークの別の例である。GANについてのさらなる詳細な情報は、以前に述べたGoodfellowらの論文に記載される。
条件付きGANでは、生成器は、この場合には長露光の(Zスイープ)入力画像などといった何らかのデータで条件付けされる。1つまたは複数の長露光画像での生成器の条件付けが、訓練と推測の両方に適用される。訓練の最後には生成器だけが必要である。というのは、推測のときには投影画像を生成するのに生成器が利用されるためである。損失関数最小化および識別器-生成器の繰返しは、訓練フェーズにだけ関係する。
GANのモデル訓練は、以下のように記載される。上記で説明したように、GANは2つのモデル、すなわち、生成器(G)および識別器(D)を有する。G生成器はノイズから出力し、出力は、訓練データセットからの分布を模倣する。Dは、真のデータと生成したデータの間で区別するように試みる。本質的に、GはDをだますように試みる。各訓練を反復する際に、DとGの両方についての損失関数が更新される。モデル訓練は、GまたはDのいずれかを多かれ少なかれ頻繁に更新するように実施することができる。Gは、モデル訓練が進むと、訓練データセットから真のデータを模倣するデータを生成するのがうまくなり、モデル訓練後、Gは、入力画像に推測を行い、予測される投影を直接生成することができる。その3つの例が図9に示される。
図10のアーキテクチャおよびモデル訓練についての数個の他の備考は以下である。(1)ソフトラベル。真のラベルが1であることの代わりに、ラベルは、[0.9, 1]の間の値に設定することができる。(2)損失関数。バイナリクロスエントロピー損失は、GANの元の損失関数である。活性化関数なしの平均2乗誤差(MSE)損失を使用して、それをより安定にすることができる(それを、最小2乗(LS)GANにする)。(3)完全に接続された層がないこと。Resnetが識別器として使用される場合、最も完全に接続されない層を取り除き、代わりに平坦な層を入力する(すなわち、それを損失関数用のラベルのリストに送る)ことができる。(4)PatchGAN識別器。GANのこの実施形態では、各々が入力画像のあるパッチに対応した、出力層用に複数のニューロンで終わる完全畳み込み識別器を使用することができる。
結論
本開示の方法は、生きている3次元の細胞培養から3D蛍光情報を取得するための従来の方法に対する欠点の多くを克服する。3D試料のステップ状「Zスタック」蛍光撮像の従来型手法は、遅く、ユーザ入力を必要とし、最終的に試料を過剰な量の蛍光光にさらし、このことによって、試料の光毒症および光退色がもたらされ、その両方は非常に望ましくない。他の手法は専用ハードウェア(たとえば、回転ディスク)または高度な光学的セットアップ(たとえば、光シート顕微鏡)を必要とする。代わりのディープラーニング手法は、非常に短い露光時間または単一の焦点面から3Dデータを生成することを含む、データの完全性を損なうことが多くなる可能性がある方法を利用する。
反対に、本開示の方法は、専用ハードウェアを必要とせず、軸モータを有する、ほんの簡単な蛍光顕微鏡を必要とする。上記に記載した技法が容易に他の取得システムに適用できることに留意されたい。生細胞試料からの画像の取得が速く、従来型手法と比較したときに光毒症および光退色の危険が低減している。さらに、カメラから集められた生の画像は、Z次元にわたって積分した蛍光から導出されるので、真の3Dでの蛍光を表す。最終的に、単一で高品質の2D投影画像の出力によって、3Dデータセットを取り扱うための複雑なソフトウェアおよび分析ツールをユーザが有する負担をなくす。この高品質の2D投影(図3および図6の140、図9の902、908、914)は、標準的な2D画像可視化、分割、および分析パイプラインの中に入力することができる。
1 画像
2 画像
3 画像
4 画像
10 生細胞試料、3D生細胞生物学的試料
12 保持構造、マイクロウェルプレート、サンプルプレート
14 蛍光試薬(蛍光体)
16 電動蛍光顕微鏡、蛍光顕微鏡、撮像装置
18 Zスイープ画像
22 訓練済みニューラルネットワークモデル
24 ワークステーション
25 矢印
26 矢印、コンピュータネットワーク
30 データセット、2次元画像データセット、Zスイープ画像
100 Zスイープ
102 Zスイープ画像
102A Zスイープ画像
104 Zスタック
105 Zスイープ画像
106 Z投影アルゴリズム
108 グラウンドトゥルース画像、2D投影
110 畳込みニューラルネットワーク(CNN)モデル、モデル訓練
120 パラダイム1
132 画像データセット
132A 画像データセット
132B 画像データセット
134 連続Zスイープ
136 連続Zスイープ画像
138 加算演算
140 2D投影画像、モデル出力
200 モデル訓練プロセス
210 訓練セット
212 ニューラルネットワーク
300 リモートサーバ
400 生細胞撮像システム
402 蛍光光学モジュール
404 試料保持ウェル、試料ウェル
406 蛍光試薬
408 トレイ
410 筐体
418 モータシステム
450A LED、光源
450B LED、光源
452A 狭帯域通過フィルタ
452B 狭帯域通過フィルタ
454A ダイクロイック
454B ダイクロイックミラー
460 対物レンズ
462 狭帯域放出フィルタ
464 デジタルカメラ
901 入力画像
902 モデル出力画像
904 グラウンドトゥルース投影
906 入力画像
908 モデル出力画像
910 グラウンドトゥルース投影
912 入力画像
914 モデル出力画像
916 グラウンドトゥルース投影
1002 入力
1004 生成器
1006 「偽」データセット
1008 「真」データセット
1010 識別器

Claims (35)

  1. 3次元生細胞試料の蛍光画像の、合焦した2次元投影画像を生成するための方法であって、
    カメラの焦点面を前記試料を通してZ方向に動かすときに前記カメラを連続的に露出することにより、前記試料の長露光画像を前記カメラで取得するステップと、
    前記1つまたは複数の長露光画像を、複数の訓練画像で訓練されたニューラルネットワークモデルに供給するステップと、
    前記訓練済みニューラルネットワークモデルにより、前記合焦した2次元投影画像を生成するステップと
    を含み、
    前記複数の訓練画像が、
    前記カメラの焦点面を3次元生細胞訓練試料を通してZ方向に動かすときに前記カメラを連続的に露出することにより得られる長露光画像と、
    前記3次元生細胞訓練試料の関連するグラウンドトゥルース画像と
    を含む、
    方法。
  2. 前記ニューラルネットワークモデルが、畳み込みニューラルネットワーク(CNN)モデルを含む、請求項1に記載の方法。
  3. 前記CNNモデルが、エンコーダ-デコーダベースのモデルを含む、請求項2に記載の方法。
  4. 前記ニューラルネットワークモデルが、教師あり学習を使用して訓練される、請求項1に記載の方法。
  5. 前記ニューラルネットワークモデルが、敵対的生成ネットワーク(GAN)方法を使用して訓練される、請求項1に記載の方法。
  6. 前記GAN方法が、生成器と識別器とを有する条件付きGANを含む、請求項5に記載の方法。
  7. 前記条件付きGANの前記生成器が、前記1つまたは複数の長露光画像で条件付けられる、請求項6に記載の方法。
  8. 前記ニューラルネットワークモデルが、サイクル一貫性損失方法を使用して訓練される、請求項1に記載の方法。
  9. 前記サイクル一貫性損失方法が、CycleGANを含む、請求項8に記載の方法。
  10. 前記1つまたは複数の長露光画像が、連続した長露光画像のセットを含む、請求項1から9のいずれか一項に記載の方法。
  11. 前記連続した画像の各々の蛍光デコンボリューションを行うステップと、
    前記蛍光デコンボリューション後に前記連続した長露光画像を加算する加算演算ステップと
    をさらに含む、請求項10に記載の方法。
  12. 前記3次元生細胞試料が、マイクロウェルプレートのウェル内に含まれる、請求項1から11のいずれか一項に記載の方法。
  13. 前記3次元生細胞試料が、オルガノイド、腫瘍スフェロイド、または3D細胞培養を含む、請求項1から12のいずれか一項に記載の方法。
  14. 前記カメラが、生細胞撮像システムに組み込まれ、
    前記訓練済みニューラルネットワークモデルが、前記生細胞撮像システムから遠隔の計算プラットフォームであって、コンピュータネットワークを介して前記生細胞撮像システムと通信する計算プラットフォーム中に実装される、請求項1から12のいずれか一項に記載の方法。
  15. 3次元生細胞試料の蛍光画像の2次元投影画像を生成するためにニューラルネットワークを訓練するための方法であって、
    (a)複数の画像の形で訓練セットを得るステップであって、前記画像が、
    (1)カメラの焦点面を3次元生細胞訓練試料を通してZ方向に動かすときに前記カメラを連続的に露出することにより得られる、前記3次元生細胞試料の長露光画像、および
    (2)前記3次元生細胞訓練試料の異なるZ焦点面位置において得られる画像のセットから得られて、投影アルゴリズムを使用して2次元投影画像へと組み合わされるグラウンドトゥルース画像
    を含む、ステップと、
    (b)訓練済みニューラルネットワークを生成するために前記訓練セットを使用してモデル訓練手順を実行するステップと
    を含む、方法。
  16. 前記画像(1)および前記画像(2)が、複数の対になる画像を含む、請求項15に記載の方法。
  17. 前記画像(1)および前記画像(2)が、複数の対にならない画像を含み、
    前記モデル訓練手順が、サイクル一貫性損失または敵対的生成ネットワークモデル訓練手順を含む、請求項15に記載の方法。
  18. 前記サイクル一貫性損失モデル訓練手順が、CycleGANを含む、請求項17に記載の方法。
  19. 前記ニューラルネットワークが、畳み込みニューラルネットワーク(CNN)を含む、請求項15に記載の方法。
  20. 前記CNNが、エンコーダ-デコーダベースのニューラルネットワークを含む、請求項19に記載の方法。
  21. 前記ニューラルネットワークが、教師あり学習を使用して訓練される、請求項15、16、19、または20のいずれか一項に記載の方法。
  22. 前記訓練済みニューラルネットワークが、敵対的生成ネットワーク(GAN)を含む、請求項15に記載の方法。
  23. 前記GANが、生成器と識別器とを有する条件付きGANを含む、請求項22に記載の方法。
  24. 前記条件付きGANの前記生成器が、前記1つまたは複数の長露光画像で条件付けられる、請求項23に記載の方法。
  25. 3次元試料を保持するように適合される試料保持デバイスと一緒に使用して、前記試料の2次元投影画像を生成する生細胞撮像システムであって、
    1つまたは複数の励起光源と、1つまたは複数の対物レンズと、前記試料保持デバイス内に保持される前記3次元試料から1つまたは複数の蛍光画像を得るよう動作可能なカメラとを有する蛍光顕微鏡であって、
    前記カメラが前記試料の長露光画像を取得するように、前記試料保持デバイスに対して前記蛍光顕微鏡をZ方向に動かすように構成されるモータシステムであって、前記画像が、前記カメラの焦点面を前記試料を通して前記Z方向に動かすときに前記カメラを連続的に露出することにより得られる、モータシステムを含む、蛍光顕微鏡と、
    前記1つまたは複数の長露光画像から前記3次元試料の前記2次元投影画像を生成するための訓練済みニューラルネットワークモデルを含む処理ユニットと
    を備え、
    前記ニューラルネットワークモデルの訓練に用いられる複数の訓練画像が、
    前記カメラの焦点面を3次元訓練試料を通してZ方向に動かすときに前記カメラを連続的に露出することにより得られる、長露光画像と、
    前記3次元訓練試料の関連するグラウンドトゥルース画像と
    を含む、
    生細胞撮像システム。
  26. 前記ニューラルネットワークモデルが、請求項15から24のいずれか一項に記載の方法にしたがって訓練される、請求項25に記載のシステム。
  27. 前記1つまたは複数の長露光画像が、連続した画像のセットを含む、請求項25または26に記載のシステム。
  28. 試料保持装置が、複数のウェルを有するマイクロウェルプレートを備える、請求項25から27のいずれか一項に記載のシステム。
  29. 前記3次元試料が、オルガノイド、腫瘍スフェロイド、または3D細胞培養を含む、請求項25から28のいずれか一項に記載のシステム。
  30. 前記訓練済みニューラルネットワークモデルを実装し、コンピュータネットワークを介して前記生細胞撮像システムと通信する、リモートで設置された計算プラットフォームをさらに備える、請求項25から29のいずれか一項に記載のシステム。
  31. ニューラルネットワークを訓練するための訓練セットを生成するための方法であって、
    (a)カメラの焦点面を3次元訓練試料を通してZ方向に動かすときに前記カメラを連続的に露出することにより、前記3次元訓練試料の長露光の蛍光画像を前記カメラで取得するステップと、
    (b)前記カメラによって得られた前記3次元訓練試料の1つまたは複数の異なる画像から同じ3次元訓練試料のグラウンドトゥルース画像を生成するステップと、
    (c)複数の異なる3次元訓練試料について、ステップ(a)およびステップ(b)を繰り返すステップと、
    (d)ニューラルネットワークを訓練するための訓練セットとして、ステップ(a)、ステップ(b)、およびステップ(c)を実施することにより得られた前記画像を供給するステップと
    を含む、方法。
  32. 前記グラウンドトゥルース画像が、前記画像のセットを2次元投影画像へと投影することによって生成される、請求項31に記載の方法。
  33. 前記3次元訓練試料が、オルガノイド、腫瘍スフェロイド、または3D細胞培養を含む、請求項31または32に記載の方法。
  34. 異なるタイプの3次元訓練試料についてステップ(a)からステップ(d)を繰り返し、それによって、異なるタイプの訓練セットを生成するステップをさらに含む、請求項31から33のいずれか一項に記載の方法。
  35. カメラと、ニューラルネットワークモデルを実装する処理ユニットとを含む生細胞撮像システムのための非一時的命令を記憶したコンピュータ可読記録媒体であって、前記命令が、前記システムに、請求項1から12のいずれか一項に記載の方法を実施させる、コンピュータ可読記録媒体。
JP2022569170A 2020-07-22 2021-06-30 生細胞生物学的試料の蛍光画像の取得のための方法およびシステム Active JP7842701B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/935,326 US11422355B2 (en) 2020-07-22 2020-07-22 Method and system for acquisition of fluorescence images of live-cell biological samples
US16/935,326 2020-07-22
PCT/US2021/039808 WO2022020079A1 (en) 2020-07-22 2021-06-30 Method and system for acquisition of fluorescence images of live-cell biological samples

Publications (2)

Publication Number Publication Date
JP2023534366A JP2023534366A (ja) 2023-08-09
JP7842701B2 true JP7842701B2 (ja) 2026-04-08

Family

ID=77338757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022569170A Active JP7842701B2 (ja) 2020-07-22 2021-06-30 生細胞生物学的試料の蛍光画像の取得のための方法およびシステム

Country Status (6)

Country Link
US (1) US11422355B2 (ja)
EP (1) EP4185989A1 (ja)
JP (1) JP7842701B2 (ja)
KR (1) KR20230040306A (ja)
CN (1) CN115428037B (ja)
WO (1) WO2022020079A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019077610A1 (en) * 2017-10-19 2019-04-25 Scopio Labs Ltd. DEPTH DETECTION BASED ON DEPTH
US20210224947A1 (en) * 2020-01-17 2021-07-22 Insurance Services Office, Inc. Computer Vision Systems and Methods for Diverse Image-to-Image Translation Via Disentangled Representations
JP7662654B2 (ja) * 2020-09-28 2025-04-15 富士フイルム株式会社 学習装置、方法およびプログラム、画像生成装置、方法およびプログラム、学習済みモデル、仮想画像並びに記録媒体
US20240085304A1 (en) * 2021-01-15 2024-03-14 Essenlix Corporation Imaging Based Assay Accuracy Improvement Through Guided Training
DE102021114349A1 (de) * 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zur Aufnahme von Trainingsdaten
DE102021115587A1 (de) * 2021-06-16 2022-12-22 Carl Zeiss Meditec Ag Co-design von optischem filter und fluoreszenz-anwendungen mit künstlicher intelligenz
CN116664642B (zh) * 2023-05-30 2025-02-07 易普森生物科技(深圳)有限公司 基于相对非均匀高斯模糊的z-stack图像快速配准方法
JP2025024401A (ja) * 2023-08-07 2025-02-20 国立大学法人広島大学 画像解析装置、画像解析方法およびプログラム、ならびにライトフィールド量子計測システムおよびライトフィールド量子計測方法
US20250216378A1 (en) 2023-12-28 2025-07-03 Biobridge Global Methods for performing miniaturized dynamic assays using microfluidics and related systems
KR20250139968A (ko) * 2024-03-15 2025-09-24 서울대학교산학협력단 인공신경망 학습 기반의 오가노이드 제작 예측 및 판정 방법
CN118033885A (zh) * 2024-03-29 2024-05-14 杭州海康威视数字技术股份有限公司 一种显微镜系统及显微镜

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163155A (ja) 2008-01-10 2009-07-23 Olympus Corp 顕微鏡装置
JP2015115918A (ja) 2013-12-16 2015-06-22 新日鐵住金株式会社 撮像装置及び撮像方法
WO2017163427A1 (ja) 2016-03-25 2017-09-28 オリンパス株式会社 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
WO2019154987A1 (en) 2018-02-12 2019-08-15 F. Hoffmann-La Roche Ag Transformation of digital pathology images
WO2020072977A1 (en) 2018-10-04 2020-04-09 The Rockefeller University Systems and methods for identifying bioactive agents utilizing unbiased machine learning
WO2020139835A1 (en) 2018-12-26 2020-07-02 The Regents Of The University Of California Systems and methods for two-dimensional fluorescence wave propagation onto surfaces using deep learning

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102804751B (zh) 2011-01-31 2016-08-03 松下电器产业株式会社 图像恢复装置、摄像装置以及图像恢复方法
US8994809B2 (en) 2012-07-19 2015-03-31 Sony Corporation Method and apparatus for simulating depth of field (DOF) in microscopy
US20140293289A1 (en) * 2013-03-27 2014-10-02 Kabushiki Kaisha Topcon Method for Generating Two-Dimensional Images From Three-Dimensional Optical Coherence Tomography Interferogram Data
CN107209934B (zh) * 2014-12-03 2021-03-30 文塔纳医疗系统公司 用于定量分析异质生物标志物分布的方法、系统和装置
JP6682291B2 (ja) * 2016-02-12 2020-04-15 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JPWO2018008136A1 (ja) 2016-07-07 2019-04-18 オリンパス株式会社 画像処理装置および画像処理装置の作動方法
US11501429B2 (en) 2017-07-19 2022-11-15 Altius Institute For Biomedical Sciences Methods of analyzing microscopy images using machine learning
JP7015144B2 (ja) 2017-10-25 2022-02-02 オリンパス株式会社 画像処理装置および顕微鏡システム
US11222415B2 (en) 2018-04-26 2022-01-11 The Regents Of The University Of California Systems and methods for deep learning microscopy

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163155A (ja) 2008-01-10 2009-07-23 Olympus Corp 顕微鏡装置
JP2015115918A (ja) 2013-12-16 2015-06-22 新日鐵住金株式会社 撮像装置及び撮像方法
WO2017163427A1 (ja) 2016-03-25 2017-09-28 オリンパス株式会社 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
US20190025213A1 (en) 2016-03-25 2019-01-24 Olympus Corporation Microscopy system, microscopy method, and computer-readable storage medium
WO2019154987A1 (en) 2018-02-12 2019-08-15 F. Hoffmann-La Roche Ag Transformation of digital pathology images
WO2020072977A1 (en) 2018-10-04 2020-04-09 The Rockefeller University Systems and methods for identifying bioactive agents utilizing unbiased machine learning
WO2020139835A1 (en) 2018-12-26 2020-07-02 The Regents Of The University Of California Systems and methods for two-dimensional fluorescence wave propagation onto surfaces using deep learning

Also Published As

Publication number Publication date
US11422355B2 (en) 2022-08-23
CN115428037A (zh) 2022-12-02
EP4185989A1 (en) 2023-05-31
US20220026699A1 (en) 2022-01-27
KR20230040306A (ko) 2023-03-22
WO2022020079A1 (en) 2022-01-27
CN115428037B (zh) 2026-03-27
JP2023534366A (ja) 2023-08-09

Similar Documents

Publication Publication Date Title
JP7842701B2 (ja) 生細胞生物学的試料の蛍光画像の取得のための方法およびシステム
JP6625696B2 (ja) マルチビュー・ライトシート顕微鏡検査法
US10739266B2 (en) Multiview light-sheet microscopy
US7756305B2 (en) Fast 3D cytometry for information in tissue engineering
Tomer et al. Quantitative high-speed imaging of entire developing embryos with simultaneous multiview light-sheet microscopy
AU2014265382B2 (en) Microscopy of a tissue sample using structured illumination
US20090091566A1 (en) System and methods for thick specimen imaging using a microscope based tissue sectioning device
CN114965470A (zh) 一种基于非干涉合成孔径的光强传输衍射层析显微成像方法
US20100251438A1 (en) Microscopy control system and method
JP2017517761A (ja) 大きなインタクトな組織試料を撮像するための方法及び装置
CN106023291B (zh) 快速获取大样本三维结构信息和分子表型信息的成像装置和方法
CN115032780B (zh) 组织病理图片的快速处理系统及其工作方法
WO2022148772A1 (en) Fluorescence microscopy for a plurality of samples
CN113917678A (zh) 超快速大视场超分辨率荧光显微成像系统及成像方法
US20240102912A1 (en) Plaque counting assay method
US10429627B2 (en) Computational microscopy through a cannula
US12585170B2 (en) Method and apparatus for displaying cultured cells
Wei et al. 3D deep learning enables fast imaging of spines through scattering media by temporal focusing microscopy
CN118103865A (zh) 深度学习辅助的可技术转化的快速紫外激发切片式断层扫描
CN213022779U (zh) 一种细胞三维体视化装置
US20250285270A1 (en) Virtual staining based on multiple sets of imaging data having multiple phase contrasts
US11906433B2 (en) System and method for three-dimensional imaging of unstained samples using bright field microscopy
Liu Fourier Light-Field Microscopy: Design, Optimization, and Applications
Wang Key Components for Automated Laser Surgery on Neurites of Caenorhabditis elegans
Dai et al. Real-Time Ultra-Large-Scale Imaging with High-Resolution Microscopy

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20251003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20260120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20260225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260327

R150 Certificate of patent or registration of utility model

Ref document number: 7842701

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150