JP2023541993A - 顕微鏡検査システムの性能を最適化するための撮像構成を開発する方法およびシステム - Google Patents

顕微鏡検査システムの性能を最適化するための撮像構成を開発する方法およびシステム Download PDF

Info

Publication number
JP2023541993A
JP2023541993A JP2023517898A JP2023517898A JP2023541993A JP 2023541993 A JP2023541993 A JP 2023541993A JP 2023517898 A JP2023517898 A JP 2023517898A JP 2023517898 A JP2023517898 A JP 2023517898A JP 2023541993 A JP2023541993 A JP 2023541993A
Authority
JP
Japan
Prior art keywords
image
imaging
imaging configuration
configuration
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023517898A
Other languages
English (en)
Inventor
アブルム コーエン,
スティーブン ルーク,
ディフイ ホン,
ローレン スタウファー,
Original Assignee
モレキュラー デバイシーズ, エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by モレキュラー デバイシーズ, エルエルシー filed Critical モレキュラー デバイシーズ, エルエルシー
Publication of JP2023541993A publication Critical patent/JP2023541993A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

顕微鏡検査システムを動作させる方法およびシステムが、開示される。第1の撮像構成を使用して入手されたサンプルの第1の画像が、受信される。第2の画像が、第1の画像から開発され、第2の画像は、第2の撮像構成に関連付けられている。一続きの画像処理ステップが、第1の画像に適用され、第1の画像において表されている第1の物体の第1の分類を開発し、第2の画像に適用され、第2の画像において表されている第2の物体の第2の分類を開発する。第1の分類と第2の分類との間の差異を表す第2の撮像構成に関連付けられたスコアが、開発される。顕微鏡検査システムを動作させることの画像入手時間または構成要素要件は、第2の撮像構成を使用して動作させられるとき、第1の撮像構成を使用して動作させられるときより少ない。

Description

(関連出願の相互参照)
本願は、「Method and System of Developing an Imaging Configuration to Optimize Performance of a Microscopy System」と題され、2020年9月21日に出願された米国仮特許出願第63/081,019号(Cohen et al.)の利益を主張する。この出願の全内容は、参照することによって本明細書に組み込まれる。
(開示の分野)
本主題は、顕微鏡検査システムに関し、より具体的に、顕微鏡検査システムの動作を最適化するための撮像構成を開発する方法およびシステムに関する。
顕微鏡検査システム、例えば、ハイコンテント撮像システムが、生物学的サンプルの顕微鏡検査画像が入手され、分析される実験を行うために、使用され得る。そのような画像は、画像の中で表される着目物体(細胞、細胞小器官等)に関連付けられた画像のピクセルを識別すること、画像において表されているそのような着目物体の異なるタイプを分類または特性評価すること、着目物体またはその一部関するメトリックを取得すること等を行うために、画像分析システムを使用して処理され得る。各生物学的サンプルに関して、そのようなメトリックは、例えば、サンプル内の着目物体の数、生物学的サンプル内に表される着目物体の各タイプの数、着目物体のサイズ(面積、周長、体積)、着目物体のサイズの統計(平均、最頻値、中央値、標準偏差等)、着目物体の特性(例えば、物体が生きているか、死んでいるか、物体が特定のタンパク質等を含むかどうか等)等を含み得る。
実験を行うために、研究者は、試験的アッセイプロトコルを開発し得、試験的アッセイプロトコルは、生物学的サンプルの1つ以上の画像を入手するために、顕微鏡検査システムを動作させるための撮像パラメータ(例えば、対物レンズ、倍率、露出時間、焦点精度等)に関連付けられた値を規定する試験的撮像構成と、そのような画像を分析するための画像分析ステップとを備えている。撮像パラメータのそのような値は、倍率レベル(例えば、高倍率レベル)、入手するための生物学的サンプルの画像の数、生物学的サンプルの画像を入手するための焦点面(すなわち、異なるz-平面)の数、露出時間(例えば、顕微鏡検査システムの完全ダイナミックレンジを使用するための高露出時間)、共焦点撮像を使用すること、特殊光学系(例えば、水または油浸光学系)を使用すること等を規定し得る。さらに、生物学的サンプルの試験的集団がマイクロプレートのウェル内に配置される場合、撮像パラメータは、高分解能および/または異なる焦点位置において、各ウェルの異なる部分の1つ以上の画像を入手することを規定し得る。
研究者が試験的アッセイプロトコルを開発した後、試験的アッセイを使用して行われる実験の研究結果を確認するための生物学的サンプルの生産集団の生産画像を入手および分析するために適切な生産アッセイプロトコルが、開発される。当業者によって理解されるであろうように、生物学的サンプルの生産集団は、生物学的サンプルの試験的集団より著しく多いサンプルを備えている。ある場合、生物学的サンプルの試験的集団の高品質画像を入手するために使用される試験的撮像構成は、より大きい生産集団の画像を入手するために実践的ではないこともある。例えば、長露出時間、場所あたり複数の画像等を使用して、高分解能における生産集団の各生物学的サンプルの複数の画像を入手することは、過度の時間を要求し得る。さらに、より大きい集団の画像の入手は、複数の顕微鏡検査システムの間で分散され得、試験的撮像構成によって規定される共焦点撮像機、特殊光学系等の高価な高品質構成要素を全てのそのような顕微鏡検査システムに装備することは、実行可能ではないこともある。
一側面によると、顕微鏡検査システムを動作させる方法は、第1の撮像構成を使用して入手されたサンプルの第1の画像を受信するステップと、第1の画像から第2の画像を開発させるステップであって、第2の画像は、第2の撮像構成に関連付けられている、ステップとを含む。方法は、第1の画像に一続きの画像処理ステップを適用し、第1の画像において表されている第1の物体の第1の分類を開発するステップと、第2の画像に一続きの画像処理ステップを適用し、第2の画像において表されている第2の物体の第2の分類を開発するステップと、第1の分類と第2の分類との間の差異を表す第2の撮像構成に関連付けられたスコアを開発するステップとをさらに含む。画像入手時間または顕微鏡検査システムを動作させる構成要素要件は、第2の撮像構成を使用して動作させられるとき、第1の撮像構成を使用して動作させられるときより少ない。
別の側面によると、顕微鏡検査システムを動作させるためのシステムは、撮像構成オプティマイザと、低品質画像生成器と、画像分析器と、撮像構成スコアラとを含み、全ては、1つ以上のプロセッサ上で動作する。撮像構成オプティマイザは、第1の撮像構成を使用して入手されたサンプルの第1の画像を受信する。低品質画像生成器は、第1の画像から第2の画像を開発させ、第2の画像は、第2の撮像構成に関連付けられている。画像分析器は、第1の画像および第2の画像に一続きの画像処理ステップを適用し、第1の分類を開発し、第1の分類は、第1の画像において表されている第1の物体に関連付けられている。撮像構成スコアラは、第2の画像に一続きの画像処理ステップを適用し、第2の画像において表されている第2の物体に関連付けられた第2の分類を開発し、第1の分類と第2の分類との間の差異を表す第2の撮像構成に関連付けられたスコアを開発する。画像入手時間または顕微鏡検査システムを動作させる構成要素要件は、第2の撮像構成を使用して動作させられるとき、第1の撮像構成を使用して動作させられるときより少ない。
他の側面および利益は、同様の数字が明細書全体を通して同様の構造を指定する以下の詳細な説明および添付の図面を考慮して明白であろう。
図1は、顕微鏡検査システムの概略図である。
図2は、図1の顕微鏡検査システムを動作させるための撮像構成を開発するために使用され得る画像分析システムのブロック図である。
図3は、撮像構成を開発するために図2の画像分析システムによって行われるステップのフローチャートである。
図4は、図2の画像分析システムの撮像構成オプティマイザのブロック図である。
図5は、撮像構成を開発するために図4の撮像構成オプティマイザによって行われるステップのフローチャートである。
図6は、図2の撮像分析システムによって発生させられるグラフィカルユーザインターフェースである。
本明細書に開示される実施形態によると、画像分析システムが、試験的アッセイプロトコルの開発を促進する。試験的アッセイプロトコルは、試験的撮像構成と、一続きの画像分析ステップとを備え、一続きの画像分析ステップは、試験的撮像構成に従って動作させられる顕微鏡検査システムからの画像を分析するために使用される。
加えて、画像分析システムは、試験的撮像構成を使用して入手された生物学的サンプルの高品質画像を受信する。画像分析システムの撮像構成オプティマイザが、試験的撮像構成および高品質画像から、複数の追加の撮像構成(すなわち、候補生産撮像構成)を開発する。各候補生産撮像構成は、候補生産撮像構成を使用して顕微鏡検査システムを動作させることが、試験的撮像構成を使用して動作させられる場合より、画像を入手するための短い時間および少ない特殊機器のうちの一方または両方を要求するようなものである。加えて、各候補生産撮像構成に関して、撮像構成オプティマイザは、高品質画像から、低品質画像を開発し、低品質画像は、顕微鏡検査システムが候補生産撮像構成を使用して動作させられた場合に入手されるであろう画像をシミュレートする。さらに、各候補生産撮像構成は、スコアを開発するために撮像構成オプティマイザによって評価され、スコアは、物体または物体の特性が、試験的撮像構成を使用して入手されたものと比較して、候補生産撮像構成を使用して入手された画像においてどれほど良く識別され得るかを表す。特に、撮像構成オプティマイザは、候補生産撮像構成に関連付けられた低品質画像を分析し、低品質画像における物体の第1の特性を識別し、低品質画像において識別された物体の第1の特性を高品質画像において識別された物体の第2の特性と比較する。候補生産撮像構成に関連付けられたスコアは、第1の特性が第2の特性にどれ程緊密に合致するかを示す。
例えば、スコアは、候補生産撮像構成に関連付けられた低品質画像においても正しく識別された、高品質画像において識別された着目特徴のパーセントを示し得る。そのような着目特徴は、細胞を含み得、細胞は、特定の特性、細胞小器官、およびタンパク質等を有する。いくつかの実施形態において、スコアは、高品質画像において分類された細胞(例えば、生細胞対死細胞、処理が適用された細胞対対照細胞、第1のタイプの細胞対第2のタイプの細胞等)が、低品質画像においてどれ程正確に分類されたかを示し得る。いくつかの実施形態において、撮像構成オプティマイザは、候補生産撮像構成に関連付けられたスコアと、候補生産撮像構成を使用して節約された入手時間の推定値とを分析し、生産アッセイプロトコルを使用するための推奨される生産撮像構成を選択する。
候補生産撮像構成を開発するために、画像分析器は、高品質画像に一続きの画像分析ステップを適用し、高品質画像において表されている物体の分類を開発する。そのような分類は、物体の特定のタイプの識別(例えば、細胞、細胞小器官、タンパク質等)および/または、そのような物体の特性(例えば、サイズ、数量、タイプ、死滅率等)を含み得る。
その後、撮像構成オプティマイザは、各候補生産撮像構成に従って、高品質画像から、低品質画像を開発する。低品質画像は、顕微鏡検査システムが、そのような低品質画像に関連付けられた候補生産撮像構成を使用して構成された場合に入手されるであろう画像をシミュレートする。
撮像構成オプティマイザは、各低品質画像を自動的に分析し、そのような画像において表されている試験的生物学的サンプルに関連付けられた物体を識別し、分類する。各低品質画像に関して、低品質画像において識別された物体の分類は、物体が低品質画像において識別され、分類され得る精度を表すスコアを開発するために、高品質画像において識別された物体の分類と比較される。いくつかの実施形態において、撮像構成オプティマイザは、生産アッセイプロトコルにおいて使用するための生産撮像構成として、最良のスコアに関連付けられた候補生産撮像構成を選択する。他の実施形態において、撮像構成オプティマイザは、候補生産撮像構成のうちの1つ以上のリストと、各そのような候補生産撮像構成に関連付けられたスコアとを研究者に提示し、それに応答して、撮像構成オプティマイザは、提示された候補生産撮像構成のうちの生産アッセイプロトコルにおいて使用するための1つの選択を受信する。
図1を参照すると、当業者に明白となるであろうように、ハイコンテント顕微鏡検査システム等の顕微鏡検査システム100は、X-Yステージ102と、1つ以上の対物レンズ104と、1つ以上の照明源106と、画像捕捉デバイス110と、コントローラ112とを含み得る。顕微鏡検査システム100は、X-Yステージ102上に配置されたサンプルトレイまたはマイクロプレート116に照明源106からの光を方向づける1つ以上のミラー(図示せず)を含み得る。光は、次いで、そのようなマイクロプレート116を通して、対物レンズ104を通して、画像捕捉デバイス110に伝送される。いくつかの実施形態において、マイクロプレート116は、複数のウェル118を含み、顕微鏡検査システム100によって撮像されるべき生物学的サンプル(例えば、生物学的細胞)は、各そのようなウェル118内に配置され得る。
動作中、マイクロプレート116は、手動またはロボットのいずれで、X-Yステージ102上に設置され得る。加えて、コントローラ112は、特定の対物レンズ104、照明源106によって発生させられる照明等の組み合わせを使用するために、撮像構成(例えば、上で説明される試験的または生産撮像構成)に従って、顕微鏡検査システム100を構成し得る。例えば、コントローラ112は、位置決めデバイス(図示せず)を動作させ、選択された対物レンズ104をマイクロプレート116と画像捕捉デバイス110との間の光経路内に設置し得る。コントローラ112は、マイクロプレート116を光の特定の波長で照明するために、照明源106も方向づけ得る。ある場合、マイクロプレート116内のサンプルは、自然発生分子または処理に起因してサンプル内で生成されまたは存在する分子のいずれかの蛍光を発する分子を含み得る。照明デバイスによって発生させられる光の波長は、そのような蛍光分子に関連付けられた励起波長であり得、撮像捕捉デバイスは、そのような蛍光材料の放出スペクトルのみを捕捉するであろう。1つ以上の波長は、同じサンプルを連続して、または同時に照明し、画像を生成するために使用され得る。
加えて、いくつかの実施形態において、コントローラ112は、画像捕捉デバイス110がマイクロプレート116内に配置される生物学的サンプルの異なる焦点面の焦点が合っている画像を入手し得るように、焦点機構120を動作させ得る。
その後、コントローラ112は、ウェル118またはその一部が画像捕捉デバイス110の視野内にあるようにX-Yステージ102を動作させ、画像捕捉デバイス110を作動させ、ウェル118またはその一部の画像を入手し得る。コントローラ112は、着目されるマイクロプレート116のウェル118の全ての画像が捕捉されるまで、X-Yステージ102および画像捕捉デバイス110をこのように繰り返し動作させ得る。さらに、コントローラ112は、同じウェル118または同じウェルの同じ部分のいくつかの画像を捕捉し得、各そのような画像は、画像生物学的サンプルの異なる対物レンズ104、照明波長、および/または焦点位置を使用して捕捉される。
図1に図示される顕微鏡検査システムは、試験的生物学的サンプルまたは生産生物学的サンプルの高品質画像を捕捉するために使用され得る当業者に明白な例示的および他のタイプの撮像または顕微鏡検査システムである。
図1および2を参照すると、研究者が、顕微鏡検査システム100と通信する画像分析システム150を使用し、試験的アッセイプロトコルを開発し、顕微鏡検査システム100のトレイ上に配置された生物学的サンプルを分析し得る。上で述べられたように、試験的アッセイプロトコルは、生物学的サンプルの1つ以上の高品質画像を入手するための試験的撮像構成と、入手された画像を分析するように行われるための一続きの画像処理ステップとを備えている。
特に、画像分析システムは、ユーザコンピュータ154と通信するユーザインターフェース152を含む。当業者に明白であるように、ユーザインターフェース152は、グラフィカルユーザインターフェース(GUI)を表示するようにユーザコンピュータ154に命令し、研究者が画像分析システム150と相互作用することを可能にする。画像分析システム150は、顕微鏡検査システム100と通信する顕微鏡検査システムインターフェース156と、画像データ記憶158と、画像分析器160と、機械学習システム162と、訓練されていない状態から訓練された状態に機械学習システム162を構成するために使用され得る訓練パラメータの組を含む訓練パラメータデータ記憶164と、撮像構成オプティマイザ166とも含む。訓練された機械学習システム162がそのような機械学習システムを再初期化することによって訓練されていない状態に戻り得ることが、当業者に明白であろう。
図3は、試験的アッセイプロトコルおよび生産アッセイプロトコルを開発するために画像分析システム150によって行われるステップのフローチャート200を示す。図1-3を参照すると、ステップ202において、ユーザインターフェース152は、ユーザコンピュータ154から、試験的撮像構成の仕様と、顕微鏡検査システムにおいて配置される生物学的サンプルの1つ以上の高品質画像を捕捉するための指示とを受信する。いくつかの実施形態において、試験的撮像構成は、例えば、生物学的サンプル内の細胞のタイプ、生物学的サンプルの画像において分析されるべき物体または物体の特性、行なわれているアッセイの目的等に従って、複数の所定の撮像構成から選択され得る。
ステップ204において、ユーザインターフェース152は、顕微鏡検査システムインターフェース156に試験的撮像構成を提供し、顕微鏡検査システムインターフェース156は、次いで、顕微鏡検査システム100のコントローラ112(図1)に、試験的撮像構成に従って構成要素を構成するように指示する。その後、ステップ206において、顕微鏡検査システムインターフェース156は、試験的撮像構成に従って生物学的サンプルの1つ以上の高品質画像を入手し、顕微鏡検査システムインターフェース156に入手された高品質画像を伝送するようにコントローラ112に指示する。顕微鏡検査システムインターフェース156は、ステップ206において、画像データ記憶158内に入手された高品質画像を記憶することも行う。いくつかの実施形態において、ステップ208において、ユーザインターフェース152は、入手された高品質画像を表示するようにユーザコンピュータ154に命令する。
高品質画像が、捕捉された後、ステップ210において、ユーザインターフェース152は、ユーザコンピュータ154から一続きの画像処理ステップの仕様を受信する。
ステップ212において、画像分析器160は、ステップ210において受信された一続きを備えている画像処理ステップを行い、入手された高品質画像を分析し、その中に表される物体および/またはそのような物体の特性を識別する。「IMAGE PROCESSING SYSTEM PROVIDING SELECTIVE ARRANGEMENT AND CONFIGURATION FOR AN IMAGE ANALYSIS SEQUENCE」(Cohen et al.)と題された米国特許第8,577,079号および「SYSTEM AND METHOD FOR IMAGE ANALYSIS OF MULTI-DIMENSIONAL DATA」(Cohen et al.)と題された米国特許第10,706,259号は、そのような一続きの画像処理ステップを規定し、行い、画像を分析するためのシステムおよび方法を開示する。これらの特許の全内容は、参照することによって本明細書に組み込まれる。一続きの画像処理ステップは、高品質画像のうちの1つ以上に対して規定された画像処理ステップを行う画像分析器160に提供される。そのような画像処理ステップは、特定の照明源を使用して捕捉される画像の選択と、画像を閾値化することと、1つ以上のフィルタ(例えば、不鮮明マスクフィルタ、平滑化フィルタ、中央値フィルタ等)を適用することと、異なる撮像構成を用いて捕捉された1つ以上の画像、および/または、画像に撮像処理ステップを適用したことの結果であった1つ以上の画像をマスクすること、または組み合わせることとを含み得る。
いくつかの実施形態において、一続きの画像処理ステップは、機械学習システム162を使用し、高品質画像を分析する画像処理ステップを規定し得る。そのような実施形態において、訓練パラメータデータ記憶164は、生物学的サンプルの特定のタイプの画像における特定の物体の存在または物体の特性(すなわち、そのような物体の分類)を予測するように機械学習システム162を訓練するために開発された1つ以上の組の所定の訓練パラメータを有し得る。そのような訓練パラメータの組を開発する例は、「SYSTEM AND METHOD FOR LABEL-FREE IDENTIFICATION AND CLASSIFICATION OF BIOLOGICAL SAMPLES」(Cohen et al.)と題された米国特許出願第16/128,798号および「SYSTEM AND METHOD FOR AUTOMATICALLY ANALYZING PHENOTYPICAL RESPONSES OF CELLS」(Cohen et al.)と題された米国特許第10,706,261号において開示される。本願および本特許の全内容は、参照することによって本明細書に組み込まれる。
図1-3を再び参照すると、機械学習システム162の使用を規定する画像分析ステップを行うために、画像分析器160は、ステップ212において、規定された訓練パラメータに従って、訓練されていない機械学習システム162を構成し、訓練された機械学習システム162を開発し、入力として1つ以上の画像(すなわち、以前の画像処理ステップから生じた1つ以上の高品質画像および/または画像)のピクセルを用いて、訓練された機械学習システム162を動作させ、画像の対応するピクセルが特定の物体タイプまたは特定の特性を有する物体タイプ(すなわち、物体の分類に関連付けられたピクセル)に関連付けられている確率を予測する出力を生成する。訓練された機械学習162によって発生させられた出力は、次いで、試験的アッセイプロトコルの一部として規定された、別の画像分析ステップにおいて、入力として使用され得る。
試験的アッセイプロトコルを備えている一続きの画像処理ステップが訓練パラメータデータベース164において利用可能な訓練パラメータの対応する組で構成された機械学習システムを使用する複数の画像処理ステップを含み得ることが明白であろう。
ステップ214において、画像分析器160は、ステップ206において入手された高品質画像に一続きの画像処理ステップを適用することによって発生させられる出力を表示するようにユーザコンピュータ154に命令することをユーザインターフェース152に指示する。したがって、研究者は、高品質画像を捕捉し、規定された一続きの画像処理ステップを使用して高品質画像を分析するために試験的撮像構成を使用することの結果を評価し得る。
ステップ216において、ユーザインターフェース152は、研究者がユーザコンピュータ154を使用し、試験的撮像構成および/または一続きの画像処理ステップを調節したかどうか、例えば、生物学的サンプルの画像において表されている物体が有効に分類される(すなわち、そのような物体の識別または特性が決定される)ように改良したかどうかを決定する。該当する場合、画像分析システム150は、ステップ204に戻り、そうでなければ、画像分析システム150は、ステップ218に進む。研究者は、研究者によって予期されるように、試験的生物学的サンプルの画像を捕捉および分析する試験的撮像構成および一続きの画像処理ステップ(すなわち、試験的アッセイプロトコル)が開発されるまで、このようにステップ204-216を反復するように画像分析システム150に指示し得る。
試験的アッセイプロトコルが開発された後、研究者は、ユーザコンピュータ154を使用し、生産アッセイプロトコルを備えている生産撮像構成を開発するように画像分析システム150に指示する。
下でより詳細に説明されるように、それに応答して、ステップ218において、画像分析システム150の撮像構成オプティマイザ166は、試験的アッセイプロトコルを自動的に評価し、複数の候補生産撮像構成と各候補生産撮像構成に関するスコアを開発する。スコアは、一続きの画像処理ステップを使用して高品質画像において識別された、物体および/または物体の特性が、候補生産撮像構成を使用して捕捉される画像にそのような一続きを適用することによってどれ程良く識別され得るかを表す。その後、候補生産撮像構成のうちの1つ(例えば、最高スコアを有する候補生産撮像構成)は、推奨される生産撮像構成として、選択され得る。
ステップ218において開発される、複数の候補生産撮像構成の各々は、ステップ204-216を行うことによって開発される、試験的撮像構成と比較して、顕微鏡検査システム100を使用して、生物学的サンプルの画像を捕捉するための短い時間、および/または少ない特殊構成要素を要求する。
図4を参照すると、撮像構成オプティマイザ166は、推奨される生産撮像構成を発生させる、推奨生成器248と、複数の候補生産撮像構成を開発する候補構成生成器250と、低品質画像生成器252と、撮像構成スコアラ254とを含む。
図5は、推奨される生産撮像構成を開発するために撮像構成オプティマイザ166によって行われるステップのフローチャート300を示す。ステップ302において、推奨生成器248は、候補構成生成器250に、試験的撮像構成から複数の候補生産撮像構成を開発するように指示する。特に、候補構成生成器250は、長撮像時間(例えば、倍率、露出時間等)、特殊撮像機器(例えば、水浸または他の特定の光学系、特殊フィルタ、特定の照明源、精密焦点等)の使用、および/または特殊顕微鏡検査技法またはサンプル処理(例えば、共焦点顕微鏡検査、蛍光性撮像、サンプル標識化等)の使用に関連付けられた試験的撮像構成の撮像パラメータを識別することと、撮像パラメータの値が短い撮像時間を要求し、従来の撮像機器および顕微鏡検査技法を使用し、および/または特殊サンプル処理を要求しない、別の撮像パラメータ値で置き換えられる候補生産撮像構成を開発することとを行う。
例えば、試験的撮像構成が、40倍の倍率値を使用して規定される場合、候補構成生成器250は、20倍、10倍、および4倍の倍率値を規定する候補生産撮像構成を開発する。同様に、試験的撮像構成が、100ミリ秒の露出時間を使用することを規定する場合、候補構成生成器250は、80ミリ秒、50ミリ秒、20ミリ秒、および10ミリ秒の露出時間を規定する候補生産撮像構成を開発する。
撮像パラメータ置き換えの他の例は、例えば、より長いレーザ自動焦点時間および水要件を回避するための水浸対物レンズに代わるより高い励起電力および露出時間を伴う空気対物レンズの使用;蛍光性撮像に代わる透過光撮像の使用;および、高倍率を伴う共焦点撮像に代わる広域撮像、より低い倍率、より短い露出時間、追加の画像処理ステップの使用を含む。候補構成生成器250が試験的撮像構成における特定の撮像パラメータ組み合わせを他のパラメータ組み合わせと置き換え、候補生産撮像構成を開発するように構成され得ることが、当業者に明白であろう。
いくつかの実施形態において、試験的撮像構成の複数の撮像パラメータが、ある候補生産撮像構成を開発するために置き換えられ得る。例えば、候補構成生成器250は、試験的撮像構成において規定された高倍率および長露出時間をより低い倍率および短露出時間と置き換えることによって、試験構成から候補生産撮像構成を発生させ得る。当業者は、候補構成生成器250が、試験的撮像構成に規定される撮像パラメータの特定の組み合わせを置き換え、候補生産撮像構成を開発するように構成され得ることを理解するであろう。
いくつかの実施形態において、候補構成生成器250は、分析されている生物学的サンプルを備えている細胞のタイプまたは試験的アッセイプロトコルを使用して検出された物体のサイズに従って、置き換えるべき試験的撮像構成の撮像パラメータの値を選択し、候補生産撮像構成を開発し得る。例えば、そのような情報は、置き換えるために適切であり得る対物レンズを選択するために、使用され得る。同様に、識別された物体に関連付けられた高品質画像におけるピクセルの強度値が、露出時間を選択するために使用され得る。
さらに、候補構成生成器250は、他の撮像パラメータの値に及ぼされる試験的撮像構成の撮像パラメータの特定の値の置き換えの効果に関する情報で構成され得、候補生産撮像構成は、そのような情報に従って開発される。例えば、対物レンズを変更することは、露出時間、焦点、Zステップ(すなわち、焦点面インクリメント)要件、および入手モダリティに既知の効果を及し得る。
複数の候補生産撮像構成が開発された後、ステップ304において、候補構成生成器250は、候補生産撮像構成のうちの1つを選択し、ステップ306において、高品質画像から、ステップ304における候補生産撮像構成に関連付けられた低品質画像を開発するように、低品質画像生成器252に指示する。特に、低品質画像生成器252は、試験的画像構成の撮像パラメータのうちの1つ以上に行われる置き換えに関連付けられた画像処理ステップを行い、候補生産撮像構成を開発し、そのような候補生産撮像構成に関連付けられた低品質画像を発生させる。低品質画像は、顕微鏡検査システム100が、候補生産撮像構成を使用して動作させられる場合に生成されるであろう画像を予測する。
いくつかの実施形態において、ステップ306において低品質画像生成器252によって行われる画像処理ステップは、高分解能画像に1つ以上のフィルタを適用し、低品質画像を発生させるステップを含む。例えば、試験的撮像構成によって規定された第1の対物レンズと候補生産撮像構成によって規定された第2の対物レンズとの間の倍率変化に関連付けられた低品質画像が、第1および第2の対物レンズに関連付けられた倍率の比率に従って、高品質画像をスケーリングすることによって作成され得る。同様に、ガウスぼかしフィルタが、高品質画像を捕捉するために使用される開口数における変化を表し、候補生産撮像構成において規定される低品質画像を開発するために、高品質画像に適用され得る。複数の撮像パラメータが試験的撮像構成と候補生産撮像構成との間で変化させられる場合、これらの撮像パラメータ変化の各々に関連付けられた画像処理機能は、低品質画像を開発するために、順次、高品質画像に適用され得る。
他の実施形態において、機械学習訓練パラメータデータ記憶164は、候補生産撮像構成を開発するために、試験的撮像構成における特定の撮像パラメータの置き換えに関連付けられた訓練パラメータの組を含む。そのような場合、低品質画像生成器252は、そのような置き換えに関連付けられた訓練パラメータの組を選択し、訓練パラメータの選択された組を用いて、訓練されていない機械学習システム162を構成し、訓練された機械学習システム162を開発し、入力として高分解能画像を用いて、訓練された機械学習システム162を動作させる。それに応答して、訓練された機械学習システム162は、候補生産撮像構成に関連付けられた低品質画像を発生させる。例えば、データ記憶165は、高倍率水浸対物レンズをより低い倍率の空気対物レンズと置き換えること、蛍光顕微鏡検査を透過光学顕微鏡検査と置き換えること等によって捕捉される画像を表す低品質画像を高品質撮像から開発するために、機械学習システム162を訓練するための訓練パラメータの組を含み得る。
いくつかの実施形態において、低品質画像生成器252は、ステップ306においても、選択された候補生産撮像構成に関連付けられているような、画像データ記憶158内に低品質画像を記憶する。
低品質画像が、ステップ306において発生させられた(および記憶された)後、撮像構成スコアラ254は、低品質画像を分析し、低品質画像を発生させるために使用された、ステップ304において選択された候補生産撮像構成に関するスコアを開発する。特に、ステップ308において、撮像構成スコアラ254は、画像分析器160を使用し、低品質画像に試験的アッセイプロトコルによって規定された一続きの画像処理を適用し、低品質画像において表されている物体および/または物体の特性を識別する。
その後、ステップ310において、撮像構成スコアラ254は、低品質画像において識別された物体および/または物体の特性を高品質画像において識別されたそれらと比較し、スコアを開発する。いくつかの実施形態において、撮像構成スコアラ254は、試験的撮像構成に関連付けられた第1のZ-プライム統計値(Z-prime statistic)を計算する。当業者によって理解されるであろうように、Z-プライム統計値は、高品質画像が高品質画像の中に表される試験的集団の細胞における差異をどれ程良く予測するかを評価する。これらの差異は、例えば、処置が適用された試験的集団の細胞対処理されている細胞の対照群、試験的集団を備えている死細胞対生細胞の対照群等を含み得る。加えて、撮像構成スコアラ254は、ステップ310において、候補生産撮像構成に関連付けられた第2のZ-プライム統計値も計算し、それは、候補生産撮像構成に従って開発された低品質画像が試験的集団の細胞における差異をどれ程良く予測するかを示す。撮像構成スコアラ254は、第1および第2のZ-プライムスコアに従って、候補生産撮像構成に関連付けられたスコアを開発する。そのようなスコアは、2つのZ-プライムスコア間の差異、2つのZ-プライムスコアの比率等であり得る。
他の実施形態において、試験的アッセイプロトコルによって規定された一続きの画像処理ステップは、出力画像を発生させる。そのような実施形態において、当業者は、ステップ212(図3)において、画像分析器が、高品質画像に一続きの画像処理ステップを適用することによって、第1の出力画像を発生させることを理解するであろう。さらに、第2の出力画像が、ステップ308において、撮像構成スコアラ254が、低品質画像に一続きの画像処理ステップを適用するとき、発生させられる。そのような実施形態において、ステップ310において、撮像構成スコアラ252は、第1の出力画像のピクセルと第2の出力画像のピクセルとの間の誤差(例えば、平均平方誤差等)を計算し、スコアを開発する。
いくつかの実施形態において、撮像構成スコアラは、ステップ310において、高品質画像において識別された物体の第1のメトリック(例えば、面積、体積、周長、ピクセル強度等)と候補生産撮像構成に関連付けられた低品質画像において識別された対応する物体の第2のメトリックとを比較し、第1のメトリックと第2のメトリックとの間の誤差(例えば、平均平方誤差)に従って、候補生産撮像構成に関連付けられたスコアを開発する。
ある場合、ステップ212(図3)において、試験的アッセイプロトコルによって規定された一続きの画像処理ステップは、顕微鏡検査システム100内に配置されるマイクロプレート116(図1)のウェルの1つ以上の高品質画像に適用され、各ウェルについての情報(例えば、ウェル内に配置される生物学的サンプルが処理を受けているかどうか、各マイクロプレート内の生細胞対死細胞の比率、各ウェル内の特定のタンパク質の存在または不在等)を開発する。そのような場合、ステップ306において、マイクロプレート116のウェルの各高品質画像に対応する低品質画像が、発生させられる(図1)。ステップ308において、撮像構成スコアラ254は、そのような高品質画像に対応する低品質画像に一続きの画像処理ステップを適用する。その後、ステップ310において、撮像構成スコアラ254は、一続きの画像処理ステップを適用することの結果が、マイクロプレート116(図1)の各ウェル内に配置される生物学的サンプルについての情報を予測する精度を表すスコアを開発する。
ステップ311において、撮像構成スコアラ254は、候補生産撮像構成に従って生物学的サンプルの1つ以上の画像を開発するために要求されるであろう時間の推定値を開発する。時間の推定値は、生物学的サンプルが配置されるウェル118、ウェル118の一部、またはマイクロプレート116全体の1つ以上の画像の入手時間を反映し得る。時間の推定値が、生物学的サンプルの各場所における各焦点面における画像を入手する露出時間、場所の画像が入手されるべき焦点面の数、使用されている対物レンズに従って、各場所において各焦点面に焦点を合わせるために必要とされる時間の量、画像を入手するために使用される任意の特殊ハードウェアを作動させるための時間、対物レンズの視野内の場所に入れるようにマイクロプレート116を移動させる時間、撮像されるべき生物学的サンプルの場所の数等を含む候補生産撮像構成によって規定された撮像パラメータに従って計算され得ることが、当業者に明白であろう。推定される時間は、試験的撮像構成に従って高品質画像を入手するために要求される時間の量と比較され、推定される時間節約は、候補生産撮像構成に関して計算される。
ステップ312において、候補構成生成器250は、スコアがステップ302において開発される候補生産撮像構成の全てに対して発生させられているかどうかを決定する。該当する場合、候補構成生成器250は、ステップ314に進み、そうでなければ、候補構成生成器250は、ステップ304に進み、別の候補生産撮像構成を選択する。
ステップ313において、推奨生成器248は、候補構成生成器250によって開発される候補生産撮像構成に関連付けられたスコアと、推定される時間節約とを分析し、推奨される生産撮像構成として、最良のスコアおよび最大時間節約を有する候補生産撮像構成のうちの1つを選択する。ある場合、推奨生成器248は、推奨される生産撮像構成として、所定の量を超えるスコアを有するそれらの候補生産撮像構成から、最大時間節約を有する候補生産撮像構成を選択する。他の場合、推奨生成器248は、推奨される生産撮像構成として、候補生産撮像構成の全ての所定の部分から、最大時間節約を有する候補生産撮像構成を選択する。所定の部分は、最良のスコアを有する候補生産撮像構成の全てのうちの所定の数(例えば、3、5、10等)またはパーセント(5パーセント、10パーセント等)であり得る。推奨生成器248が最良のスコアを選択するために使用する基準は、候補生産撮像構成に関連付けられたスコアを開発するために使用されるメトリックに依存することが、当業者に明白であろう。例えば、最良のスコアは、最大値を有するスコアであり得る。代替として、最良のスコアは、最低値、最大絶対値、最低絶対値、所定の値に最も近い値(例えば、0または1)等を有するスコアであり得る。
ステップ314において、推奨生成器248は、候補生産撮像構成と、各候補生産撮像構成に関連付けられたスコアと、随意に、試験的撮像構成の代わりに候補生産撮像構成を使用して節約され得る時間の推定値とを表示するようにユーザコンピュータ154に命令することをユーザインターフェース152に指示する。いくつかの実施形態において、ユーザインターフェース152は、各候補生産撮像構成に関して、生産撮像構成に関連付けられた低品質画像、低品質画像において識別された物体、および/または低品質画像において識別された物体の分類をステップ314においても表示するようにユーザコンピュータ154にさらに命令し得る。
ステップ313においても、推奨生成器248は、推奨される生産撮像構成として、ステップ313において選択された候補生産撮像構成を識別するインジケータを表示するようにユーザコンピュータ154に命令することをユーザインターフェース152に指示する。
図6を参照すると、一実施形態において、ユーザインターフェース152は、推奨される生産撮像構成および他の候補生産撮像構成に関する情報が表示され得るGUI400を発生させるようにユーザコンピュータ154に、命令する。特に、高品質画像は、GUI400の領域402内で表示される。GUI400の領域404内での高品質画像上のオーバーレイは、試験的撮像構成に従って、高品質画像を捕捉するために要求される時間の量の推定値、すなわち、GUI400の領域406内の情報アイコンである。研究者(または他のオペレータ)が、領域406上をクリックする(またはマウスを置く)場合、ユーザインターフェース152は、試験的撮像構成によって規定された撮像パラメータを表示するようにユーザコンピュータ154に命令する。これらの撮像パラメータは、例えば、ポップアップウィンドウ(図示せず)内に、GUIの領域402の上を覆ってオーバーレイされて、またはGUI400の別の領域(図示せず)内に表示され得る。
加えて、1つ以上の低品質画像が、GUI400の領域408a-408f内に表示される。8つの低品質画像が、図6において高品質画像を包囲して示されるが、より多いまたはより少ない低品質画像が示され、高品質画像に対して異なる位置にあり得ることが当業者に明白であろう。
GUI400の領域408内に表示される各低品質画像に関して、ステップ311において計算される節約された時間の推定値(図3)が、GUI400の領域410内に表示され、情報アイコンが、GUI400の領域412内に表示される。情報アイコンの選択またはマウスを置くことは、領域408内に表示される低品質画像に関連付けられた候補生産撮像構成の撮像パラメータに関する情報を表示する。いくつかの実施形態において、低品質画像に関連付けられた候補生産撮像構成の撮像パラメータと試験的撮像構成との間の差異は、情報アイコンが選択さたとき、またはマウスを置かれたとき、表示される。
インジケータが、推奨生成器248が、推奨される生産撮像構成として、領域408f内に表示される低品質画像に関連付けられた候補生産撮像構成を選択したことを示すように、領域414内に表示される。
図1および3を再び参照すると、いくつかの実施形態において、ステップ316において、ユーザインターフェース152は、ユーザコンピュータ154から、例えば、研究者(または別のオペレータ)から、推奨される生産撮像構成を使用して生産アッセイプロトコルを開発するための指示、または生産アッセイプロトコルにおいて使用するための別の候補生産撮像構成の選択を受信する。それに応答して、撮像構成オプティマイザ166は、ステップ318において、試験撮像プロトコルから、選択された候補生産撮像構成と一続きの撮像ステップとを備えている生産アッセイプロトコルを開発する。そのような生産アッセイプロトコルは、次いで、画像分析システム150によって使用され、顕微鏡検査システム100内に配置される追加のマイクロプレート116を自動的に分析し得る。さらに、そのような生産アッセイプロトコルは、対応する顕微鏡検査システム100と通信する追加の画像分析システム150と共に使用され、そのような顕微鏡検査システム内に配置されるマイクロプレート116を自動的に分析し得る。
ある場合、図3に示されるステップ202-216を行うことによって開発される試験的アッセイプロトコルは、複数の対応する試験的撮像構成を使用して、生物学的サンプルの複数の高品質画像の入手を規定し得、一続きの画像処理ステップは、212において、複数の高品質画像を分析し得る。撮像構成オプティマイザ166が、複数の撮像構成のうちの各々に関して1つ以上の候補生産撮像構成を作成し、1つ以上の候補生産撮像構成に従って、1つ以上の低品質画像を開発し、各低品質画像を分析し、低品質画像に関連付けられた候補生産撮像構成に関するスコアを開発し得ることが、当業者に明白であろう。
当業者は、顕微鏡検査システム100が、画像分析システム150から遠隔であり得、顕微鏡検査システム100と顕微鏡検査システムインターフェース156との間の通信が、プライベートまたはパブリックネットワーク(例えば、インターネット、仮想プライベートネットワーク、ローカルエリアネットワーク、セルラーネットワーク等)を介して行われ得ることを理解するであろう。同様に、ユーザコンピュータ154も、画像分析システム150から遠隔であり得、ユーザコンピュータ154とユーザインターフェース152との間の通信は、プライベートまたはパブリックネットワークを介して行われ得る。さらに、撮像分析システム150の構成要素が、プライベートまたはパブリックネットワークを介して互いに通信する1つのコンピューティングデバイスまたは複数の分散型コンピューティングデバイス上で動作させられ得る。例えば、機械学習システム162は、クラウドサービスによって提供され、インターネットを介して画像分析器160によってアクセスされ得る。同様に、画像データ記憶158および/または訓練パラメータデータ記憶164は、クラウドベースの記憶サービスを使用して、実装され得る。
ハードウェアおよび/またはソフトウェアの任意の組み合わせが、本明細書に説明される画像分析システム150を実装するために使用され得ることが、当業者に明白であろう。図1-5に関して説明されるプロセス、サブプロセス、およびプロセスステップのうちの1つ以上は、1つ以上の電子またはデジタル制御式デバイス上でハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせによって行われ得ることを理解および認識されたい。ソフトウェアは、例えば、図1-5に図式的に描写される機能システム、コントローラ、デバイス、構成要素、モジュール、またはサブモジュールのうちの1つ以上等、好適な電子処理構成要素またはシステム内のソフトウェアメモリ(図示せず)内に常駐し得る。ソフトウェアメモリは、論理機能(すなわち、デジタル回路またはソースコード等のデジタル形態において、またはアナログ電気、音、またはビデオ信号等のアナログ源等のアナログ形態において実装され得る「論理」)を実装するための実行可能命令の順序付けられたリストを含み得る。命令は、例えば、1つ以上のマイクロプロセッサ、汎用プロセッサ、プロセッサの組み合わせ、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGAS)、または特定用途向け集積回路(ASIC)を含む、処理モジュールまたはコントローラ(例えば、図2のユーザインターフェース152、顕微鏡検査システムインターフェース156、画像分析器160、機械学習システム162、および撮像構成オプティマイザ166、図4の推奨生成器248、候補構成生成器250、低品質画像生成器252、および撮像構成スコアラ254)内で実行され得る。さらに、概略図は、機能のアーキテクチャまたは物理的レイアウトによって限定されない物理的(ハードウェアおよび/またはソフトウェア)実装を有する機能の論理分割を説明する。本願に説明される例示的システムは、種々の構成で実装され、単一ハードウェア/ソフトウェアユニット内において、または配列または分散される別個のハードウェア/ソフトウェアユニット内において、ハードウェア/ソフトウェア構成要素として動作し得る。
実行可能命令は、電子システムの処理モジュールによって実行されると、電子システムに、命令を実施するように指示するその中に記憶される命令を有するコンピュータプログラム製品として実装され得る。コンピュータプログラム製品は、電子コンピュータベースのシステム、プロセッサを含むシステム、または命令を命令実行システム、装置、またはデバイスから選択的にフェッチし、命令を実行し得る他のシステム等の命令実行システム、装置、またはデバイスによって、またはそれと関連して使用するための任意の非一過性コンピュータ読み取り可能な記憶媒体内に選択的に具現化され得る。本書の文脈では、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、またはデバイスによって、またはそれと関連して使用するためのプログラムを記憶し得る任意の非一過性手段である。非一過性コンピュータ読み取り可能な記憶媒体は、選択的に、例えば、電子、磁気、光学、電磁、赤外線、または半導体システム、装置、またはデバイスであり得る。非一過性コンピュータ読み取り可能な媒体のより具体的例の非包括的リストとして、1つ以上のワイヤ(電子)を有する電気接続、ポータブルコンピュータディスケット(磁気)、ランダムアクセス、すなわち、揮発性、メモリ(電子)、読取専用メモリ(電子)、例えば、フラッシュメモリ(電子)等の消去可能プログラマブル読取専用メモリ、例えば、CD-ROM、CD-R、CD-RW(光学)等のコンパクトディスクメモリ、およびデジタル多用途ディスクメモリ、すなわち、DVD(光学)が挙げられる。
本書で使用される信号またはデータの受信および伝送が、2つ以上のシステム、デバイス、構成要素、モジュール、またはサブモジュールがあるタイプの信号経路を介して進行する信号を介して互いに通信可能であることを意味することも理解されたい。信号は、情報、電力、またはエネルギーを第1のシステム、デバイス、構成要素、モジュール、またはサブモジュールから、第1および第2のシステム、デバイス、構成要素、モジュール、またはサブモジュール間の信号経路に沿って、第2のシステム、デバイス、構成要素、モジュール、またはサブモジュールに通信し得る通信、電力、データ、またはエネルギー信号であり得る。信号経路は、物理、電気、磁気、電磁、電気化学、光学、有線、または無線接続を含み得る。信号経路はまた、第1および第2のシステム、デバイス、構成要素、モジュール、またはサブモジュール間の追加のシステム、デバイス、構成要素、モジュール、またはサブモジュールを含み得る。
本明細書に引用される刊行物、特許出願、および特許を含む全ての参考文献は、各参考文献が、個々に、かつ具体的に、参照することによって組み込まれるように示され、全体として本明細書に記載される場合と同程度に、参照することによって本明細書に組み込まれる。
本発明を説明する文脈における(特に、以下の請求項の文脈における)、用語「a」、「an」、「the」、および類似指示対象の使用は、本明細書に別様に示されない限り、または文脈によって明示的に矛盾しない限り、単数形および複数形の両方を網羅すると解釈されたい。本明細書の値の範囲の列挙は、単に、本明細書に別様に示されない限り、範囲内にある各別個の値を個々に言及する簡潔な方法としての役割を果たすために意図され、各別個の値は、本明細書に個々に列挙された場合と同様に、本明細書に組み込まれる。本明細書に説明される全ての方法は、本明細書に別様に示されない限り、または別様に文脈によって明示的に矛盾しない限り、任意の好適な順序で行なわれることができる。本明細書に提供される、任意および全ての例または例示的用語(例えば、「such as(等)」)の使用は、単に、本開示をより明瞭にすることを意図し、別様に請求されない限り、本発明の範囲に限定を課すものではない。明細書中のいずれの用語も、本開示の実践に不可欠ないずれの未請求要素も示すものと解釈されるべきではない。
本開示に対する多数の修正は、前述の説明に照らして当業者に明白となるであろう。図示される実施形態は、例示にすぎず、本開示の範囲を限定するものと捉えられるべきではないことを理解されたい。

Claims (24)

  1. 顕微鏡検査システムを動作させる方法であって、前記方法は、
    第1の撮像構成を使用して入手されたサンプルの第1の画像を受信するステップと、
    前記第1の画像から第2の画像を開発するステップであって、前記第2の画像は、第2の撮像構成に関連付けられている、ステップと、
    前記第1の画像に一続きの画像処理ステップを適用し、前記第1の画像において表されている第1の物体の第1の分類を開発するステップと、
    前記第2の画像に前記一続きの画像処理ステップを適用し、前記第2の画像において表されている第2の物体の第2の分類を開発するステップと、
    前記第2の撮像構成に関連付けられたスコアを開発するステップと
    を含み、
    前記スコアは、前記第1の分類と前記第2の分類との間の差異を表し、
    画像入手時間または前記顕微鏡検査システムを動作させる構成要素要件は、前記第2の撮像構成を使用して動作させられるとき、前記第1の撮像構成を使用して動作させられるときより少ない、方法。
  2. 前記第1の物体の前記第1の分類は、前記第1の画像において表されている1つ以上の物体の識別に関連付けられており、前記1つ以上の物体の識別は、前記第1の画像において表されている前記1つ以上の物体に関連付けられた特定の特性またはメトリックを有する、請求項1に記載の方法。
  3. 前記スコアは、第1のスコアを備え、前記方法は、
    前記第1の画像から第3の画像を開発するステップであって、前記第3の画像は、第3の撮像構成に関連付けられている、ステップと、
    前記第3の画像に前記一続きの画像処理ステップを適用し、第3の分類を開発するステップと、
    前記第1の分類と前記第3の分類との間の差異を表す第2のスコアを開発するステップと、
    推奨される生産撮像構成を自動的に選択するステップと
    をさらに含み、
    前記推奨される生産撮像構成は、前記第1のスコアが前記第2のスコアより良好である場合、前記第2の撮像構成であり、前記推奨される生産撮像構成は、前記第2のスコアが前記第1のスコアより良好である場合、前記第3の撮像構成である、請求項1に記載の方法。
  4. 前記一続きの画像処理ステップのうちのある画像処理ステップに従って、訓練パラメータの組を選択するステップと、
    訓練されていない機械学習システムを前記訓練パラメータの選択された組で構成し、訓練された機械学習システムを開発するステップと、
    前記訓練された機械学習システムを動作させ、前記第1の分類を開発するステップと
    をさらに含む、請求項1に記載の方法。
  5. 前記第1の撮像構成から前記第2の撮像構成を開発するステップをさらに含む、請求項1に記載の方法。
  6. 前記第1の撮像構成は、撮像パラメータに関連付けられた第1の値を規定し、前記第2の撮像構成は、前記撮像パラメータに関連付けられた第2の値を規定し、前記第1の値と第2の値とは、異なる、請求項5に記載の方法。
  7. 前記第1の撮像構成と前記第2の撮像構成との間の前記差異に従って、訓練されていない機械学習システムの訓練パラメータを選択するステップと、
    前記選択された訓練パラメータを用いて前記訓練されていない機械学習システムを訓練し、訓練された機械学習システムを開発するステップと、
    入力として前記第1の画像を用いて前記訓練された機械学習システムを動作させ、前記第2の画像を発生させるステップと
    をさらに含む、請求項6に記載の方法。
  8. 前記第1の画像を受信するステップは、第1の顕微鏡検査システムを使用して前記第1の画像を入手するステップを含み、前記方法は、前記第2の撮像構成に従って第2の顕微鏡検査システムを使用して第3の画像を入手するさらなるステップを含む、請求項1に記載の方法。
  9. 前記第2の画像は、前記顕微鏡検査システムが前記第2の撮像構成を用いて動作させられた場合に入手されるであろう前記サンプルの画像をシミュレートする、請求項1に記載の方法。
  10. 前記第2の撮像構成は、複数の候補生産撮像構成のうちの1つであり、スコアが、前記複数の候補生産撮像構成の各々のために開発され、前記方法は、所定の量を超えるスコアを有するそれらの候補生産撮像構成から、推奨される生産撮像構成を選択するステップをさらに含む、請求項1に記載の方法。
  11. 前記第2の撮像構成は、複数の候補生産撮像構成のうちの1つであり、分類およびスコアが、前記複数の候補生産撮像構成の各々のために開発され、前記方法は、
    前記複数の候補生産撮像構成から、推奨される生産撮像構成を選択するステップと、
    前記複数の候補生産撮像構成の各候補生産撮像構成に関する情報と、前記推奨される生産撮像構成として選択された前記候補生産撮像構成を識別するインジケータとを表示するようにコンピュータに命令するステップと
    をさらに含み、
    各候補生産撮像構成に関して表示される前記情報は、前記候補生産撮像構成に関連付けられた前記スコア、時間節約の推定値、画像、および物体の分類のうちの1つ以上を含む、請求項1に記載の方法。
  12. 前記コンピュータから、前記撮像システムを構成すべき前記候補生産撮像構成のうちの1つの選択を受信するステップをさらに含む、請求項11に記載の方法。
  13. 顕微鏡検査システムを動作させるためのシステムであって、前記システムは、
    第1の撮像構成を使用して入手されたサンプルの第1の画像を受信する1つ以上のプロセッサ上で動作する撮像構成オプティマイザと、
    前記第1の画像から第2の画像を開発する前記1つ以上のプロセッサのうちの1つ上で動作する低品質画像生成器であって、前記第2の画像は、第2の撮像構成に関連付けられている、低品質画像生成器と、
    前記第1の画像および前記第2の画像に一続きの画像処理ステップを適用し、第1の分類を開発する前記1つ以上のプロセッサ上で動作する画像分析器であって、前記第1の分類は、前記第1の画像において表されている第1の物体に関連付けられている、画像分析器と、
    前記1つ以上のプロセッサ上で動作する撮像構成スコアラと
    を含み、
    前記撮像構成スコアラは、前記第2の画像に前記一続きの画像処理ステップを適用し、第2の物体において表されている前記第2の物体に関連付けられた第2の分類を開発することと、前記第2の撮像構成に関連付けられたスコアを開発することとを行い、前記スコアは、前記第1の分類と前記第2の分類との間の差異を表し、
    画像入手時間または前記顕微鏡検査システムを動作させる構成要素要件は、前記第2の撮像構成を使用して動作させられるとき、前記第1の撮像構成を使用して動作させられるときより少ない、システム。
  14. 前記第1の物体の前記第1の分類は、前記第1の画像において表されている前記1つ以上の物体の識別、1つ以上の物体の特性の識別、または前記第1の画像において表されている前記1つ以上の物体に関連付けられたメトリックに関連付けられている、請求項13に記載のシステム。
  15. 前記スコアは、第1のスコアを備え、前記低品質画像生成器は、前記第1の画像から第3の画像を開発し、前記第3の画像は、第3の撮像構成に関連付けられており、前記撮像構成スコアラは、前記第3の画像に前記一続きの画像処理ステップを適用し、第3の分類を開発し、前記第1の分類と前記第3の分類との間の差異を表す第2のスコアを開発し、前記システムは、推奨される生産撮像構成を自動的に選択する前記1つ以上のプロセッサ上で動作する推奨生成器をさらに含み、前記推奨される生産撮像構成は、前記第1のスコアが前記第2のスコアより良好である場合、前記第2の撮像構成であり、前記推奨される生産撮像構成は、前記第2のスコアが前記第1のスコアより良好である場合、前記第3の撮像構成である、請求項13に記載のシステム。
  16. 訓練されていない機械学習システムをさらに含み、前記画像分析器は、前記一続きの画像処理ステップのうちのあるステップに関連付けられた訓練パラメータを選択し、前記訓練パラメータを使用して、前記訓練されていない機械学習システムを構成し、訓練された機械学習システムを開発し、前記訓練された機械学習システムを動作させ、前記第1の分類を開発する、請求項13に記載のシステム。
  17. 前記第1の撮像構成に基づいて、前記第2の撮像構成を自動的に開発する前記1つ以上のプロセッサ上で動作する候補構成生成器をさらに含む、請求項13に記載のシステム。
  18. 前記第1の撮像構成は、撮像パラメータに関連付けられた第1の値を規定し、前記候補構成生成器によって開発される前記第2の撮像構成は、前記撮像パラメータに関連付けられた第2の値を自動的に規定し、前記第1の値と第2の値とは、異なる、請求項17に記載のシステム。
  19. 訓練されていない機械学習システムをさらに含み、前記低品質画像生成器は、前記第1の撮像構成と前記第2の撮像構成との間の差異に従って訓練パラメータの組を選択し、前記選択された訓練パラメータを用いて前記訓練されていない機械学習システムを訓練し、訓練された機械学習システムを開発し、入力として前記第1の画像を用いて前記訓練された機械学習システムを動作させ、前記第2の画像を発生させる、請求項18に記載のシステム。
  20. 前記顕微鏡検査システムは、第1の顕微鏡検査システムを備え、前記第1の顕微鏡検査システムは、前記第1の撮像構成に従って動作させられ、前記第1の画像を入手し、第2の顕微鏡検査システムが、前記第2の撮像構成に従って動作させられ、第3の画像を入手する、請求項13に記載のシステム。
  21. 前記第2の画像は、前記顕微鏡検査システムが前記第2の撮像構成を用いて動作させられた場合に入手されるであろう前記サンプルの画像をシミュレートする、請求項13に記載のシステム。
  22. 前記第2の撮像構成は、複数の候補生産撮像構成のうちの1つであり、前記システムは、候補構成生成器と、推奨生成器とをさらに含み、前記候補構成生成器は、前記複数の候補撮像構成を開発し、前記撮像構成スコアラは、前記候補生産撮像構成の各々のためのスコアを開発し、推奨生成器は、所定の量を超えるスコアを有するそれらの候補生産撮像構成から、推奨される生産撮像構成を選択する、請求項13に記載のシステム。
  23. 前記第2の撮像構成は、複数の候補生産撮像構成のうちの1つであり、分類およびスコアが、前記複数の候補生産撮像構成の各々に関して開発され、前記システムは、
    前記複数の候補生産撮像構成から、推奨される生産撮像構成を選択する推奨生成器と、
    前記複数の候補生産撮像構成の各候補生産撮像構成に関する情報と、前記推奨される生産撮像構成として選択された前記候補生産撮像構成を識別するインジケータとを表示するようにコンピュータに命令するユーザインターフェース生成器と
    をさらに含み、
    各候補生産撮像構成に関して表示される前記情報は、前記候補生産撮像構成に関連付けられた前記スコア、時間節約の推定値、画像、および物体の分類のうちの1つ以上を含む、請求項13に記載のシステム。
  24. 前記ユーザインターフェース生成器は、前記コンピュータから、前記撮像システムを構成すべき前記候補生産撮像構成のうちの1つの選択を受信する、請求項23に記載のシステム。
JP2023517898A 2020-09-21 2021-09-14 顕微鏡検査システムの性能を最適化するための撮像構成を開発する方法およびシステム Pending JP2023541993A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063081019P 2020-09-21 2020-09-21
US63/081,019 2020-09-21
PCT/US2021/050231 WO2022060712A1 (en) 2020-09-21 2021-09-14 Method and system of developing an imaging configuration to optimize performance of a microscopy system

Publications (1)

Publication Number Publication Date
JP2023541993A true JP2023541993A (ja) 2023-10-04

Family

ID=80777443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023517898A Pending JP2023541993A (ja) 2020-09-21 2021-09-14 顕微鏡検査システムの性能を最適化するための撮像構成を開発する方法およびシステム

Country Status (5)

Country Link
US (1) US20230345115A1 (ja)
EP (1) EP4214676A1 (ja)
JP (1) JP2023541993A (ja)
CN (1) CN116324879A (ja)
WO (1) WO2022060712A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105849274B (zh) * 2013-10-28 2020-01-21 分子装置有限公司 用于显微图像中的单独细胞的分类和识别的方法和系统
US10303979B2 (en) * 2016-11-16 2019-05-28 Phenomic Ai Inc. System and method for classifying and segmenting microscopy images with deep multiple instance learning
US10790114B2 (en) * 2017-06-29 2020-09-29 Kla-Tencor Corporation Scanning electron microscope objective lens calibration using X-Y voltages iteratively determined from images obtained using said voltages
US10670536B2 (en) * 2018-03-28 2020-06-02 Kla-Tencor Corp. Mode selection for inspection
US10169852B1 (en) * 2018-07-03 2019-01-01 Nanotronics Imaging, Inc. Systems, devices, and methods for providing feedback on and improving the accuracy of super-resolution imaging

Also Published As

Publication number Publication date
EP4214676A1 (en) 2023-07-26
CN116324879A (zh) 2023-06-23
WO2022060712A1 (en) 2022-03-24
US20230345115A1 (en) 2023-10-26

Similar Documents

Publication Publication Date Title
US10929716B2 (en) System and method for label-free identification and classification of biological samples
CN108475429B (zh) 三维显微镜图像的分割的系统和方法
US10706259B2 (en) System and method for image analysis of multi-dimensional data
JP7398432B2 (ja) 半導体検査における多モードの欠陥分類
WO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
EP1922695A1 (en) Method of, and apparatus and computer software for, performing image processing
US11645752B2 (en) Image analysis system and method of using the image analysis system
TWI699816B (zh) 自動化顯微鏡系統之控制方法、顯微鏡系統及電腦可讀取記錄媒體
JP2023537892A (ja) 自動焦点合わせ顕微鏡システムのための深層学習モデル
JP6509818B2 (ja) 顕微鏡システムにおいて平行撮像を用いて焦点の合った画像を生成するための装置および方法
JP2023541993A (ja) 顕微鏡検査システムの性能を最適化するための撮像構成を開発する方法およびシステム
US11669946B2 (en) High-content imaging system to generate enhanced images and method of operating the same
EP4325201A2 (en) Apparatuses, computer-implemented methods, and computer program products for improved generation of object identification data
EP3385882B1 (en) Automatically identifying regions of interest on images of biological cells
CN115713767A (zh) 基于监测显微镜测量的机器学习算法自动化训练
Connolly Analysis of microscopic images