JP7068307B2 - テンプレートベースの画像分析のためのシステムおよび方法 - Google Patents

テンプレートベースの画像分析のためのシステムおよび方法 Download PDF

Info

Publication number
JP7068307B2
JP7068307B2 JP2019531545A JP2019531545A JP7068307B2 JP 7068307 B2 JP7068307 B2 JP 7068307B2 JP 2019531545 A JP2019531545 A JP 2019531545A JP 2019531545 A JP2019531545 A JP 2019531545A JP 7068307 B2 JP7068307 B2 JP 7068307B2
Authority
JP
Japan
Prior art keywords
image
template
module
binary
hcis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019531545A
Other languages
English (en)
Other versions
JP2019526870A (ja
Inventor
ポーラ カレン ジェドライティス，
Original Assignee
モレキュラー デバイシーズ， エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by モレキュラー デバイシーズ， エルエルシー filed Critical モレキュラー デバイシーズ， エルエルシー
Publication of JP2019526870A publication Critical patent/JP2019526870A/ja
Application granted granted Critical
Publication of JP7068307B2 publication Critical patent/JP7068307B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/34—Microscope slides, e.g. mounting specimens on microscope slides
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/32—Fiducial marks and measuring scales within the optical system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01J—CHEMICAL OR PHYSICAL PROCESSES, e.g. CATALYSIS OR COLLOID CHEMISTRY; THEIR RELEVANT APPARATUS
    • B01J2219/00—Chemical, physical or physico-chemical processes in general; Their relevant apparatus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6419—Excitation at two or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/251—Colorimeters; Construction thereof
    • G01N21/253—Colorimeters; Construction thereof for batch operation, i.e. multisample apparatus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6452—Individual samples arranged in a regular 2D-array, e.g. multiwell plates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30072—Microarray; Biochip, DNA array; Well plate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

（関連出願）
本願は、米国仮出願第６２／３８１９７４号（２０１６年８月３１日出願）に対する優先権を主張し、上記出願の内容は、その全体が参照により本明細書に組み込まれる。
（開示の分野）
本主題は、ハイコンテント画像システムに関連し、より具体的には、テンプレートを使用し、そのようなシステムによって捕捉された画像を整列させるためのシステムおよび方法に関する。
ハイコンテント画像システム（ＨＣＩＳ）は、ＤＮＡ、タンパク質、細胞等の生体サンプルの顕微鏡画像を得るために使用され得る。複数のそのような生体サンプルが、スライド上に配置され得る。そのような生体サンプルは、スライド上に２次元のアレイパターンで配置され得、生態サンプルが堆積され得る隣り合う場所間の距離は、事前決定される。しかしながら、集合アレイの場所および回転は、スライド毎に変動し得る。
生体サンプルのアレイが配置されるスライドが、位置合わせマーカまたは基準マーカの役割を果たす印をその上に印刷することによって準備され得る。そして、生体サンプルのアレイはそのような印に対してスライド上に堆積される。各生体サンプルの位置は、そのような位置合わせまたは基準マーカに対して位置し得る。しかしながら、マーカが配置されるスライドの画像内の１つ以上の基準マーカを識別することは、困難であり得る。そのような困難は、例えば、基準マーカとスライド材料との間のコントラストの欠如、スライド上に基準マーカを配置した印刷プロセス中の欠陥、および／またはＨＣＩＳの視野と適合するために大きすぎる基準マーカとアレイとの間の距離等のために生じ得る。
画像を分析するためのテンプレートベースのシステムは、ハイコンテント画像システム（ＨＣＩＳ）と、ＨＣＩＳ内に装填されたスライドとを含む。スライドは、複数の基準マーカと、複数のサンプル場所とを含む。テンプレートベースのシステムは、その中に記憶された以前に取得された画像を有する取得画像データ記憶部と、画像取得モジュールと、特徴識別モジュールと、テンプレート生成モジュールと、テンプレート整列モジュールと、オフセット計算モジュールと、画像セグメント化モジュールとも含む。画像取得モジュールは、ハイコンテント画像システムからスライドの画像を取得し、特徴識別モジュールは、取得画像のバイナリ画像を開発し、バイナリ画像は、基準マーカに関連付けられたエリアを識別する。テンプレート生成モジュールは、以前に取得された画像に従ってテンプレートを生成し、テンプレート整列モジュールは、生成されたテンプレートをバイナリ画像に整列させ、オフセット計算モジュールは、テンプレートとバイナリ画像との間のオフセットを決定する。画像セグメント化モジュールは、計算されたオフセットに従って、サンプル場所に関連付けられた取得画像のピクセルの座標を決定する。
画像を分析するテンプレートベースの方法は、スライド上に基準マーカおよび複数のサンプルを配置することと、ハイコンテント画像システム（ＨＣＩＳ）内にスライドを装填することとを含む。複数のサンプルの各々の位置は、基準マーカの位置に従う。方法は、以前に取得された画像を取得画像データ記憶部に記憶することと、ＨＣＩＳ内に装填されたスライドの画像をＨＣＩＳを用いて取得することと、取得画像のバイナリ画像を開発することとも含む。バイナリ画像は、基準マーカに関連付けられたエリアを識別する。方法は、以前に取得された画像に従ってテンプレートを生成することと、テンプレートをバイナリ画像に整列させることと、テンプレートとバイナリ画像との間のオフセットを計算することとを行う追加のステップを含む。方法は、計算されたオフセットに従って、サンプル場所に関連付けられた取得画像のピクセルの座標を決定するさらなるステップを含む。
本明細書は、例えば、以下の項目も提供する。
（項目１）
テンプレートベースの画像分析システムであって、前記システムは、
ハイコンテント画像システム（ＨＣＩＳ）と、
前記ＨＣＩＳ内に装填されたスライドであって、前記スライドは、複数の基準マーカと、複数のサンプル場所とを含む、スライドと、
取得画像データ記憶部であって、前記取得画像データ記憶部は、その中に記憶された以前に取得された画像を有する、取得画像データ記憶部と、
前記ハイコンテント画像システムから前記スライドの画像を取得する画像取得モジュールと、
前記取得画像のバイナリ画像を開発する特徴識別モジュールであって、前記バイナリ画像は、基準マーカに関連付けられたエリアを識別する、特徴識別モジュールと、
前記以前に取得された画像に従ってテンプレートを生成するテンプレート生成モジュールと、
前記生成されたテンプレートを前記バイナリ画像と整列させるテンプレート整列モジュールと、
前記テンプレートと前記バイナリ画像との間のオフセットを決定するオフセット計算モジュールと、
計算されたオフセットに従って、前記サンプル場所に関連付けられた前記取得画像のピクセルの座標を決定する画像セグメント化モジュールと
を備えている、システム。
（項目２）
前記ＨＣＩＳは、位置付けデバイスを含み、前記画像取得モジュールは、前記ＨＣＩＳに前記座標に従って前記位置付けデバイスを位置付けるように指示し、前記ＨＣＩＳに前記座標に関連付けられた前記サンプル場所の画像を取得するように指示する、項目１に記載のシステム。
（項目３）
前記画像セグメント化モジュールは、座標に従って前記取得画像の部分画像を開発する、項目１に記載のシステム。
（項目４）
前記生成されたテンプレートは、バイナリ画像である、項目１に記載のシステム。
（項目５）
前記テンプレート生成モジュールは、前記テンプレートを生成するために前記取得画像も使用する、項目１に記載のシステム。
（項目６）
前記特徴識別モジュールは、前記以前に取得された画像の各々に関連付けられたバイナリ画像を開発する、項目１に記載のシステム。
（項目７）
前記特徴識別モジュールは、特徴に関連する接続されたピクセルの群を識別し、前記識別されたピクセルによって境を限られたピクセルの強度値を非背景強度値に設定する、項目６に記載のシステム。
（項目８）
前記テンプレート生成モジュールは、前記以前に取得された画像のバイナリ画像を位置合わせする、項目６に記載のシステム。
（項目９）
前記テンプレート生成モジュールは、前記テンプレートを生成するために、前記以前に取得された画像のバイナリ画像に共通の特徴を識別する、項目８に記載のシステム。
（項目１０）
画像を分析するテンプレートベースの方法であって、前記方法は、
スライド上に基準マーカおよび複数のサンプルを配置することであって、前記複数のサンプルの各々の位置は、前記基準マーカの位置に従う、ことと、
ハイコンテント画像システム（ＨＣＩＳ）内に前記スライドを装填することと、
以前に取得された画像を取得画像データ記憶部に記憶することと、
前記ＨＣＩＳ内に装填された前記スライドの画像を前記ＨＣＩＳを用いて取得することと、
前記取得画像のバイナリ画像を開発することであって、前記バイナリ画像は、基準マーカに関連付けられたエリアを識別する、ことと、
前記以前に取得された画像に従ってテンプレートを生成することと、
前記テンプレートを前記バイナリ画像と整列させることと、
前記テンプレートと前記バイナリ画像との間のオフセットを計算することと、
計算されたオフセットに従って、前記サンプル場所に関連付けられた前記取得画像のピクセルの座標を決定することと
を含む、方法。
（項目１１）
前記座標に従って前記ＨＣＩＳの位置付けデバイスを動作させることと、前記ＨＣＩＳに前記座標に関連付けられた前記サンプル場所の画像を取得するように指示することとをさらに含む、項目１０に記載の方法。
（項目１２）
座標に従って前記取得画像の部分画像を開発することをさらに含む、項目１０に記載の方法。
（項目１３）
前記生成されたテンプレートは、バイナリ画像である、項目１０に記載の方法。
（項目１４）
前記テンプレートを生成することは、前記取得画像を分析することを含む、項目１０に記載の方法。
（項目１５）
前記以前に取得された画像の各々に関連付けられたバイナリ画像を開発することをさらに含む、項目１０に記載の方法。
（項目１６）
前記バイナリ画像を開発することは、特徴に関連する接続されたピクセルの群を識別することと、前記識別されたピクセルによって境を限られたピクセルの強度値を非背景強度値に設定することとを含む、項目１５に記載の方法。
（項目１７）
前記テンプレートを生成することは、以前に取得された画像に関連付けられた前記バイナリ画像を位置合わせすることを含む、項目１５に記載の方法。
（項目１８）
前記テンプレートを生成することは、前記以前に取得された画像のバイナリ画像に共通の特徴を識別することを含む、項目１７に記載の方法。
他の側面および利点が、本明細書の全体を通して同様の番号が同様の構造を示す、以下の詳述される説明および添付図面の考慮の結果明白となるであろう。
図１は、本発明による、ハイコンテント画像システム（ＨＣＩＳ）のブロック図である。 図２は、図１のＨＣＩＳを使用して撮像され得るスライドの平面図である。 図３Ａ－３Ｃは、図１のＨＣＩＳを使用して開発されるスライドの画像を図示する。 図３Ａ－３Ｃは、図１のＨＣＩＳを使用して開発されるスライドの画像を図示する。 図３Ａ－３Ｃは、図１のＨＣＩＳを使用して開発されるスライドの画像を図示する。 図４は、図３Ａ－３Ｃの図から開発されるテンプレートを図示する。 図５は、図１のＨＣＩＳによって捕捉された画像を分析するために使用され得るテンプレートベースの分析システムのブロック図である。 図６は、画像を分析するための図５のテンプレートベースの分析システムによってなされる処理のフローチャートである。 図７は、テンプレートを開発するための図５のテンプレートベースの分析システムによってなされる処理のフローチャートである。
図１を参照すると、当業者に明白であろうように、ＨＣＩＳ １００は、Ｘ－Ｙステージ１０２と、１つ以上の対物レンズ１０４と、１つ以上の照明源１０６と、１つ以上のフィルタ１０８と、画像捕捉デバイス１１０と、コントローラ１１２とを含み得る。ＨＣＩＳ １００は、光を照明源１０６からＸ－Ｙステージ１０２上に配置され得るスライド１１６に、かつそのようなスライド１１６から画像捕捉デバイス１１０に向かわせる１つ以上の鏡１１４を含み得る。典型的には、スライド１１６は、均等に間隔を置かれた場所１１８を含み、ＨＣＩＳ １００によって撮像されるサンプル（例えば、生体組織）は、そのような場所１１８の各々に配置され得る。
図１は、スライド１１６から反射され画像捕捉デバイス１１０に到達する照明源１０６からの光を示すが、照明源１０６からの光がスライド１１６を通して伝送され、画像捕捉デバイス１１０に向かわせられるように、追加の鏡（図示せず）が使用され得ることが、明白であろう。さらに、いくつかの場合では、スライド１１６内のサンプルを撮像するために照明源１０６からの照明は、必要ではない場合があることが明白であろう（例えば、サンプルが光を放射する場合、またはサンプルが放射性成分を含む場合）。いくつかの実施形態では、照明源からの光は、スライド１１６内のサンプルを通して伝送され得、サンプルは伝送された光を屈折および／または吸収し、撮像される光を生成する。
動作中、スライド１１６は、手動またはロボットによってのいずれか一方でＸ－Ｙステージ１０２上に設置され得る。加えて、コントローラ１１２は、特定の対物レンズ１０４、照明源１０６によって生成される照明、および／または、フィルタ１０８の組み合わせを使用するようにＨＣＩＳ １００を構成し得る。例えば、コントローラ１１２は、選択された対物レンズ１０４、および随意に、スライド１１６と画像捕捉デバイス１１０との間の光経路内の選択されたフィルタ１０８を設置するために、位置付けデバイス１２０を動作させ得る。そのような位置付けデバイス１２０は、１つ以上のモータを含み得、モータは、対物レンズ１０２、選択されたフィルタ１０８、および／または画像捕捉デバイス１１０に結合され得る。さらに、コントローラ１１２は、特定の波長の光を用いてスライドを照明するように照明源１０６に指示し得る。スライド１１６内のサンプルは、蛍光を発する分子を含み得、それは、自然発生分子、または処理に起因してサンプル内に生成され、または存在する分子のいずれかである。サンプルを照明する波長は、そのような蛍光分子に関連付けられた励起波長であり得、撮像捕捉デバイスは、そのような蛍光材料の発光スペクトルのみを捕捉するであろう。１つ以上の波長が、連続的もしくは同時に使用され、同一のサンプルを照明し、画像を生成し得る。
図２を参照すると、スライド１１６は、サンプルが配置され得る均等に間隔を置かれた場所１１８を含む。場所１１８は、所定の数の水平および垂直場所１１８を有する２次元のアレイ１２０で配列され、隣り合う対の場所１１８間の距離は、実質的に同じである。スライド１１６は、基準マーカ１５２および１５４も含む。いくつかの基準マーカ１５２は、アレイ１２０の特定の場所１１８と一致するようにスライド上に配置される。
他の基準マーカ１５４が、アレイ１２０に関連付けられた特定の場所１６０から所定の水平距離１５６および垂直距離１５８においてアレイ１２０の境界の外側に設置される。図２では、水平および垂直距離１５６、１５８の各々は、基準マーカ１５４の中心から測定されるが、そのような距離１５６および１５８は、基準マーカ１５２の任意の他の部分から測定され得ることが明白であろう。さらに、特定の基準マーカ１５４に関連付けられた水平および垂直距離１５６、１５８は、異なる基準マーカに関連付けられた水平および垂直距離と同じである必要はない。例えば、基準マーカ１５４ａに関連付けられた水平距離１５６ａは、基準マーカ１５４ｂ、１５４ｃにそれぞれ関連付けられた水平距離１５６ｂ、１５６ｃの一方または両方と同じである必要はない。同様に、基準マーカ１５４ａに関連付けられた垂直距離１５８ａは、基準マーカ１５４ｂ、１５４ｃにそれぞれ関連付けられた垂直距離１５８ｂ、１５８ｃの一方または両方と同じである必要はない。
アレイ１５０は、スライド１１６に対して回転され得る。そのような場合では、水平および垂直距離１５４、１５６は、アレイ１５０の水平および垂直軸に対して測定される。
基準マーカ１５２、１５４は、円形であるように描写されるが、これらの基準マーカ１５２、１５４が任意の所定の形状を有し得ることは、明白であろう。さらに、スライド１１６上に配置される基準マーカ１５２、１５４の全てが、同じ形状および／またはサイズを有する必要はない。基準マーカ１５２および１５４は、その上に刻印されること、それに取り付けられること、それから隆起させられること、またはその中にエッチングされることによってスライド１１６上に配置され得る。さらに、スライド１１６上に配置される基準マーカ１５２および１５４の全ては、異なる技法を使用して配置され得る。例えば、いくつかの基準マーカ１５２および１５４は、印刷され得、他は、エッチングされ得る。
基準マーカ１５２および１５４のうちの１つのそのような画像内のピクセルの座標が決定されることが可能な場合、アレイ１５０に関連付けられた場所１６０のピクセルの座標がそこから計算され得ることは、明白であろう。追加の基準マーカ１５２および１５４のピクセル座標は、場所１６０のピクセル座標が計算される正確度を改良し得る。基準点１５２、１５４に関連付けられたピクセルの座標は、そのような基準マーカの中心に関連付けられたピクセルの座標、またはそのような基準の任意の他の所定の特徴の座標であり得る。
さらに、場所１６０に関連付けられたピクセルの座標が事前決定された後、場所１１８の全てに関連付けられたスライド１１６の画像内のピクセルの座標も、決定され得る。
図３Ａ－３Ｃは、３つの異なるスライドの画像２００ａ、２００ｂ、および２００ｃを描写し、各スライドは、図２に示されるスライド１１６と同様に互いに対して位置付けられるサンプル場所のアレイおよび基準マーカを含む。明白であろうように、画像２００ａ、２００ｂ、および２００ｃは、各スライドのサンプル場所のうちのいくつかの中にのみ堆積されている生体サンプルを示す。
画像２００ａは、この画像が作成されたスライドの基準マーカ１５２の全てを識別するピクセル２０２ａと、基準マーカ１５４ａ、１５４ｂ、１５４ｃをそれぞれ識別するピクセル２０４ａ、２０６ａ、２０８ａとを含む。同様に、画像２００ｂは、この画像が作成されたスライドの基準マーカ１５２を識別するピクセル２０２ｂと、基準マーカ１５４ａ、１５４ｂ、１５４ｃをそれぞれ識別するピクセル２０４ｂ、２０６ｂ、２０８ｂとを含む。しかしながら、画像２００ａは、この画像が作製されたスライドの基準マーカ１５２のうちの３つのみを識別するピクセル２０２ａと（アレイ１１８の右上における基準マーカ１５２を示すピクセルはない）、基準マーカ１５４ｂ、１５４ｃを識別するピクセル２０６ｃ、２０８ｃのみとを含む。
画像３Ａ－３Ｃの各々は、それぞれ、画像２００ａ、２００ｂ、２００ｃが作成されたスライド内の点１６０の場所に関連付けられたピクセル２１０ａ、２１０ｂ、２１０ｃを含む。ピクセル２１０ａ、２１０ｂ、２１０ｃは、それぞれ、画像２００ａ、２００ｂ、２００ｃの背景から区別不可能であり得る。しかしながら、ピクセル２１０ａ、２１０ｂ、２１０ｃの座標が決定されると、これらの画像に関連付けられたスライド内のサンプル場所１１８に関連付けられた画像２００ａ、２００ｂ、２００ｃ内のピクセルの座標も、それぞれ決定され得る。
図４を参照すると、ピクセル２１０ａ、２１０ｂ、２１０ｃの座標の正確な識別を促進するために、テンプレート画像２５０が、画像２００ａ、２００ｂ、２００ｃから作成される。テンプレート画像２５０は、テンプレート画像を生成するために使用される画像２００ａ、２００ｂ、および２００ｃの共通の特徴を示す。テンプレート画像２５０は、テンプレート画像２５０を作成するために使用された画像２００の全てに共通する特徴を含む。そのような共通の特徴は、画像２００を作成するために使用されるスライド１１６上の基準マーカ１５２に関連付けられた画像の部分を含み得るが、任意の他の画像要素も含み得る。そのような画像要素は、例えば、画像の全ての中に現れるスライド１１６の１つ以上の場所１１８内に堆積されるサンプルを含み得る。
画像２００ａ、２００ｂ、および２００ｃの全ての中に現れた基準マーカ１５２に関連付けられたテンプレート画像２５０のピクセル２５２は、所定の非背景強強度値である。加えて、基準マーカ１５４ｂおよび１５４ｃにそれぞれ関連付けられたピクセル２５４およびピクセル２５６も、これらの基準マーカが画像２００ａ、２００ｂ、および２００ｃの全ての中に現れたので、非背景強度値に設定される。それらの基準マーカ、例えば、画像２００ｃの全てにおいて示されたわけではない右上の基準マーカ１５２および基準マーカ１５４ａの場所に対応する座標におけるピクセルは、背景強度値に設定される。
テンプレート画像を作成するために、各画像２００ａ、２００ｂ、２００ｃ内の基準マーカが、画像セグメント化および画像特徴識別技法を使用して識別される。閾値が、各画像２００に適用され、基準マーカに対して予期されるものを下回る強度値を有する画像の任意のピクセルの強度値を背景強度値に設定する。いくつかの実施形態では、基準マーカに対して予期されるものを上回る強度値を有する画像の任意のピクセルの強度値は、背景強度値に設定される。その後、非背景強度値を有する画像２００の各隣接するピクセルの群が、分析される。そのような群を備えているピクセルの数、または群の寸法および／または形状が基準マーカに対して予期されるであろうものと異なる場合、群を備えているピクセルの強度値は、背景強度に設定される。そうでなければ、ピクセルの群の強度値は、非背景強度に設定される。結果は、各画像２００ａ、２００ｂ、および２００ｃに関連付けられたバイナリ画像であり、各そのようなバイナリ画像は、非背景強度値を有し、候補基準マーカに関連付けられたピクセルを含む。画像２００ａ、２００ｂ、および２００ｃから作成されるバイナリ画像内の候補基準マーカに関連付けられたピクセルが、テンプレート画像２５０を作成するバイナリ画像を横断して分析される。
いくつかの実施形態では、バイナリ画像内の画像特徴の実質的に連続した境界を識別するために、当業者に明白である縁検出技法が使用され得る。そのような連続した境界によって境を限られたピクセルは、非背景強度に設定され得、そのようなピクセルの形状および／または寸法が、そのようなピクセルが基準マーカに関連付けられているかどうかを決定するために、前に説明されるように分析され得る。
テンプレート画像２５２が、異なる画像２００から開発されるバイナリ画像から作成される。テンプレート画像２５２のピクセルの全ては、最初に背景強度値に設定される。その後、バイナリ画像は、互いに位置合わせされ、非背景強度値を有し、かつバイナリ画像の全てに存在し、かつ位置合わせの後に一致している各対応するピクセルの群が、識別される。そのような識別されたピクセルの群のピクセルに対応するテンプレート画像２５２内のピクセルの強度値は、非背景強度値に設定される。
そして、上で説明されるように開発されたテンプレート画像２５０は、追加のスライド１１６からＨＣＩＳ １００によって捕捉された画像２００内の位置合わせマーカと他の画像とを識別するためのものであり、追加のスライド１１６は、基準マーカ１５２のうちの１つ以上のものとサンプル場所１１８のアレイ１５０との間に同じ関係を有している。
特に、テンプレート画像２５０は、テンプレート画像の非背景ピクセル２５２、２５４、および２５６がバイナリ画像の対応する非背景ピクセルと一致するように、画像２００ａから作成されるバイナリ画像と整列させられる。そして、２つの画像が整列させられるためにテンプレート画像２５０が水平にシフトされなければならないピクセルの数（ｘｏｆｆｓｅｔ）とテンプレート画像２５０が垂直にシフトされなければならないピクセルの数（ｙｏｆｆｓｅｔ）とが、決定され得る。そのようなオフセット（ｘｏｆｆｓｅｔ，ｙｏｆｆｓｅｔ）は、ピクセル２５８（図４）の座標（ｘｔ，ｙｔ）に加算され、画像２００ａの左境界２１２ａおよび下境界２１４ａに対するピクセル２１０ａ（図３Ａ）の座標（ｘａ，ｙａ）を決定し得る。
図１、２、および３Ａを参照すると、上で記載されるように、アレイ１５０の位置と、それによって、サンプルが堆積され得る場所１１８の各々の位置とが、場所１６０から決定され得る。画像２００ａのピクセル２１０ａの座標が上述のように決定されると、場所１１８の各々に関連付けられた画像２００ａ内のピクセルの場所も、決定され得ることが明白であろう。各場所１１８に関連付けられた画像２００ａの部分画像が、分析され、そのような場所１１８内に堆積された生体サンプルの特徴を決定し得る。さらに、そのような部分画像は、視覚分析のためにユーザに表示されるか、またはさらなる分析のために他のシステム（図示せず）に伝送され得る。
いくつかの実施形態では、画像２００ａは、低解像度を使用して取得され得る。画像２００ａ内のピクセル２１０ａのオフセット（ｘｏｆｆｓｅｔ，ｙｏｆｆｓｅｔ）は、上で説明されたように計算され、コントローラ１１２に提供され得る。コントローラ１１２は、スライドが再撮像されるであろう標的のより高い解像度に従ってオフセットをスケーリングすることと、サンプル場所１１８のスライド上の位置を計算することと、スライドの各場所１１８をより高い解像度で走査するために計算された位置に従って位置付けデバイス１２０を動作させることとを行う。
図３Ａ－３Ｃおよび４を参照すると、ピクセル２１０ｂの座標（ｘｂ，ｙｂ）およびピクセル２１０ｃの座標（ｘｃ，ｙｃ）が、座標（ｘａ，ｙａ）を計算するために上で説明されるそれと同様の様式で計算され得る。
画像２００ａ、２００ｂ、および２００ｃのうちの１つ以上のものが、他に対して回転されるアレイ１１８の画像を含み得ることが明白であろう。これらの状況では、テンプレート画像２５０が画像２００ａ、２００ｂ、または２００ｃと位置合わせされるとき、位置オフセットに加え、回転の角度が、決定され得る。相互相関、周波数分析、種々の回転の角度の探索を含む当業者に明白である１つ以上の画像分析技法が、そのような回転の角度を決定するために使用され得る。
図５を参照すると、ＨＣＩＳからの画像を分析するためにテンプレートを使用するテンプレートベースの画像分析システム３００は、ＨＣＩＳ １００に結合された画像取得モジュール３０２を含む。画像取得モジュール３０２は、ＨＣＩＳ １００内に装填された複数のスライド１１６の画像を取得するためにＨＣＩＳ １００を使用し、そのような画像を取得画像データ記憶部３０４内に記憶する。複数のスライドのうちの各１つの各々は、その上に２次元のアレイパターンで分散されたサンプル場所１１８のアレイ１５０を有する。特徴識別モジュール３０６は、各取得画像を分析し、バイナリ画像を生成する。特徴識別モジュール３０６は、スライド１１６上の基準マーカに関連付けられていると予期されるバイナリ画像のピクセルの強度値を、上で説明されるように、非背景強度値に設定する。特徴識別モジュール３０６は、バイナリ画像を取得画像データ記憶部３０４内に記憶し、かつ、バイナリ画像をテンプレート生成モジュール３０８に提供する。
テンプレート生成モジュール３０８は、複数のスライドの画像から生成されるバイナリ画像を分析し、バイナリ画像の全てに共通する基準マーカに関連付けられたピクセルを識別する。テンプレート生成モジュール３０８は、その後、そのような共通の基準マーカに関連付けられたそれらのピクセルのみが非背景強度値を有するテンプレート画像を生成する。残りのピクセルは、背景強度値を有する。テンプレート生成モジュール３０８は、テンプレートをテンプレートデータ記憶部３１０内に記憶する。
テンプレート整列モジュール３１２は、画像データ記憶部３０４から分析されるべき画像を読み出し、画像データ記憶部３０４から生成されるバイナリ画像を読み出し、テンプレートデータ記憶部３１０から、分析されるべき画像に関連付けられたテンプレートを読み出す。そして、テンプレート整列モジュール３１４は、各画像内の基準マーカに関連付けられた対応するピクセルが重複するように、テンプレート画像のピクセルを読み出されたバイナリ画像と整列させる。オフセット計算モジュール３１６は、画像の境界に対して画像内に表されるアレイ１５０の水平および垂直のオフセットおよび回転を開発する。画像セグメント化モジュール３１８は、分析されるべき画像を部分画像にセグメント化するためにこれらのオフセットを使用し、各部分画像は、サンプルが堆積され得るスライド１１６上の場所１１８に関連付けられている。ユーザは、これらの部分画像を選択し、さらに分析するためにユーザコンピュータ３２０を動作させ得る。加えて、そのような部分画像は、分析のためにさらなるシステムに伝送され得る。いくつかの実施形態では、分析された画像、およびそのような部分画像に関するピクセル座標情報が、さらなるシステムに伝送され得、さらなるシステムは、そのようなピクセル座標情報を使用し、分析された画像から部分画像を抽出し得る。各部分画像のためのそのようなピクセル座標情報は、例えば、部分画像が位置する分析された画像の長方形領域の対向する角のピクセル座標を備え得る。
図６は、画像を分析するためにテンプレートベースの画像分析システムのある実施形態によってなされるステップのフローチャート４００を示す。図１、５、および６を参照すると、ステップ４０２において、画像取得モジュール３０２は、ＨＣＩＳ １００を使用してスライド１１６の画像を取得し、そのような画像を取得画像データ記憶部３０４内に記憶する。その後、ステップ４０４において、テンプレートベースの画像分析システム３００は、取得画像を分析するためのテンプレートがすでに存在するかどうかを決定する。例えば、テンプレートベースの画像分析システム３００は、ユーザコンピュータ３２０を介してユーザにクエリし、例えば、そのような記憶されたテンプレートのリストを提示し、ユーザにリストからテンプレートを選択するように依頼することによって、テンプレートデータ記憶部３１０内に記憶される以前に作成されたテンプレートを識別し得る。代替として、テンプレートベースの画像分析システム３００は、テンプレートがすでに作成されテンプレートデータ記憶部３１０内に記憶された走査されたスライドに関連付けられた識別子を選択または入力するようにユーザにクエリする。そして、テンプレートベースの画像分析システム３００は、そのような識別子に従ってテンプレートデータ記憶部３１０からテンプレートを識別し得る。ステップ４０４において、ユーザがテンプレートが存在しないことを示す場合、プロセスは、ステップ４０６に進行し、そうでなければ、プロセスは、ステップ４０８に進行する。
ステップ４０６において、テンプレートベースの画像分析システム３００は、ステップ４０２において取得された画像を分析するために使用され得るテンプレートを開発し、開発されたテンプレートをテンプレートデータ記憶部３１０内に記憶する。その後、プロセスは、ステップ４０８に進行する。
ステップ４０８において、テンプレートベースの画像分析システム３００は、テンプレートデータ記憶部３１０からテンプレートを読み出す。
ステップ４１０において、特徴識別モジュール３０６は、取得画像を分析し、基準マーカに関連付けられていることが予期される取得画像のピクセルを識別するバイナリ画像を開発する。特徴識別モジュール３０６は、そのようなバイナリ画像を取得画像データベース３０４内に記憶する。
ステップ４１２において、テンプレート生成モジュール３１４は、選択されたテンプレート内の基準マーカに関連付けられたピクセルを、特徴識別モジュール３０６によって作成されたバイナリ画像内の対応する基準マーカに関連付けられたピクセルと整列させる。
ステップ４１４において、オフセット計算モジュール３１６は、ステップ４１２においてテンプレートをバイナリ画像と整列させるために必要であったオフセットおよび回転を決定する。
ステップ４１６において、テンプレートベースの画像分析システム３００は、ユーザコンピュータ３２０を介して、スライド１１６のサンプル場所１１８が高解像度で再走査されるべきかどうかをユーザにクエリする。ユーザが再走査を要求する場合、ステップ４１８において、画像取得モジュール３０２は、計算されたオフセットを使用し、スライド１１６上のサンプル場所１１８に関連付けられた位置情報を決定し、ステップ４２０において、そのような位置情報に従って位置付けデバイス１２０を位置付け、カメラを動作させ、そのような場所１１８の各々に従ってスライド１１６の高解像度部分画像を取得するようにコントローラ１１２に指示する。さらに、ステップ４２０において、画像取得モジュール３０２は、これらの部分画像を画像取得画像データベース３０２内に記憶する。
ステップ４１６において、ユーザがスライド１１６は走査される必要がないことを示す場合、画像セグメント化モジュール３１８は、ステップ４２２において、計算されたオフセットを使用し、スライド１１６の各サンプル場所１１８に関連付けられたピクセルの取得画像内の座標を決定する。ステップ４２４において、テンプレートベースの画像分析システム３００は、さらなる分析のために、位置情報または走査された部分画像をユーザコンピュータまたは別のシステムに供給する。
図７は、テンプレートを作成するためにステップ４０６（図４）においてテンプレートベースの画像分析システム３００のある実施形態によってなされるステップのフローチャート４５０を示す。図５－７参照すると、ステップ４５２において、テンプレートベースの画像分析システム３００は、ユーザコンピュータ３２０を介して、取得画像データ記憶部３０４内のテンプレートを開発するために使用されるべき以前に取得された画像を識別するようにユーザに依頼する。ユーザは、利用可能な画像のリストから１つ以上の取得画像を選択するように依頼され得る。代替として、ユーザは、ステップ４０２において画像が取得されたスライド１１６に関連付けられた識別子を入力または選択し得、システム３００は、取得画像データ記憶部３０４からそのような識別子に関連付けられた全ての画像を選択する。
ステップ４５４において、特徴識別モジュール３０６は、各選択された画像に閾値を適用し、それに対応するバイナリ画像を生成する。ステップ４５６において、特徴識別モジュール３０６は、各バイナリ画像を分析し、基準マーカに対応するそのような画像内のピクセルを識別する。ステップ４５６において、さらに、特徴識別モジュールは、そのような識別されたピクセルを非背景強度値に設定し、他の全てのピクセルを背景強度値に設定する。
ステップ４５８において、テンプレート生成モジュール３０８は、上で説明されるようにバイナリ画像を全て位置合わせし、ステップ４６０において、バイナリ画像の全てに共通する特徴に関連付けられたピクセルを識別する。ステップ４６２において、テンプレート生成モジュールは、バイナリ画像の全てに共通する特徴に関連付けられたバイナリ画像のピクセルに対応するピクセルが非背景強度値に設定され、残りのピクセルが背景強度値に設定されるテンプレート画像を生成する。また、ステップ４６２において、テンプレート生成モジュール３０８は、テンプレート画像をテンプレートデータ記憶部３１０に記憶する。
ハードウェアおよび／またはソフトウェアの任意の組み合わせが、本明細書で説明されるテンプレートベースの画像分析システムに実装されるために使用され得ることが、当業者に明らかであろう。図１－７に関して説明されるプロセス、サブプロセス、およびプロセスステップのうちの１つ以上のものは、１つ以上の電子またはデジタル制御式デバイス上でハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせによって行われ得ることを理解および認識されたい。ソフトウェアは、例えば、図１－７に図式的に描写される機能システム、コントローラ、デバイス、構成要素、モジュール、またはサブモジュールのうちの１つ以上のもの等、好適な電子処理構成要素またはシステム内のソフトウェアメモリ（図示せず）内に常駐し得る。ソフトウェアメモリは、論理機能（すなわち、デジタル回路もしくはソースコード等のデジタル形態において、またはアナログ電気、音、もしくはビデオ信号等のアナログ源等のアナログ形態において実装され得る「論理」）を実装するための実行可能命令の順序付けられたリストを含み得る。命令は、例えば、１つ以上のマイクロプロセッサ、汎用プロセッサ、プロセッサの組み合わせ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡＳ）、または特定用途向け集積回路（ＡＳＩＣ）を含む処理モジュールまたはコントローラ（例えば、図５の画像取得モジュール３０２、特徴識別モジュール３０６、テンプレート生成モジュール３０８、テンプレート整列モジュール３１４、オフセット計算モジュール３１６、および画像セグメント化モジュール３１８）内で実行され得る。さらに、概略図は、機能のアーキテクチャまたは物理的レイアウトによって限定されない物理的（ハードウェアおよび／またはソフトウェア）実装を有する機能の論理分割を説明する。本願に説明される例示的システムは、種々の構成で実装され、単一ハードウェア／ソフトウェアユニット内において、または別個のハードウェア／ソフトウェアユニット内において、ハードウェア／ソフトウェア構成要素として動作し得る。
実行可能命令は、電子システムの処理モジュールによって実行されると、電子システムに、命令を実施するように指示するその中に記憶される命令を有するコンピュータプログラム製品として実装され得る。コンピュータプログラム製品は、電子コンピュータベースのシステム、プロセッサを含むシステム、または命令を命令実行システム、装置、もしくはデバイスから選択的にフェッチし、命令を実行し得る他のシステム等の命令実行システム、装置、もしくはデバイスによる、またはそれと関連しての使用のための任意の非一過性コンピュータ読み取り可能な記憶媒体内に選択的に具現化され得る。本書の文脈では、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、もしくはデバイスによって、またはそれと関連して使用するためのプログラムを記憶し得る任意の非一過性手段である。非一過性コンピュータ読み取り可能な記憶媒体は、選択的に、例えば、電子、磁気、光学、電磁、赤外線、または半導体システム、装置、もしくはデバイスであり得る。非一過性コンピュータ読み取り可能な媒体のより具体的例の非包括的リストは、１つ以上のワイヤ（電子）を有する電気接続、ポータブルコンピュータディスケット（磁気）、ランダムアクセス、すなわち、揮発性、メモリ（電子）、読み取り専用メモリ（電子）、例えば、フラッシュメモリ（電子）等の消去可能プログラマブル読み取り専用メモリ、例えば、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ（光学）等のコンパクトディスクメモリ、およびデジタル多用途ディスクメモリ、すなわち、ＤＶＤ（光学）を含む。
本書で使用される信号またはデータの受信および伝送が、２つ以上のシステム、デバイス、構成要素、モジュール、またはサブモジュールがあるタイプの信号経路を経由して進行する信号を介して、互いに通信可能であることを意味することも理解されたい。信号は、情報、電力、またはエネルギーを第１のシステム、デバイス、構成要素、モジュール、またはサブモジュールから、第１および第２のシステム、デバイス、構成要素、モジュール、またはサブモジュール間の信号経路に沿って、第２のシステム、デバイス、構成要素、モジュール、またはサブモジュールに通信し得る通信、電力、データ、またはエネルギー信号であり得る。信号経路は、物理、電気、磁気、電磁、電気化学、光学、有線、または無線接続を含み得る。信号経路は、第１および第２のシステム、デバイス、構成要素、モジュール、またはサブモジュール間の追加のシステム、デバイス、構成要素、モジュール、またはサブモジュールも含み得る。
（産業上の利用可能性）
本明細書に引用される刊行物、特許出願、および特許を含む、全ての参考文献は、各参考文献が、個々に、かつ具体的に、参照することによって組み込まれるように示され、全体として本明細書に記載される場合と同程度に、参照することによって本明細書に組み込まれる。
本発明を説明する文脈における（特に、以下の請求項の文脈における）、用語「ａ」、「ａｎ」、「ｔｈｅ」、および類似言及の使用は、本明細書に別様に示されない限り、または文脈によって明示的に矛盾しない限り、単数形および複数形の両方を対象とすることを解釈されたい。本明細書の値の範囲の詳述は、単に、本明細書に別様に示されない限り、範囲内にある各別個の値を個々に言及する簡潔な方法としての役割を果たすために意図され、各別個の値は、本明細書に個々に詳述された場合と同様に、本明細書に組み込まれる。本明細書に説明される全ての方法は、本明細書に別様に示されない限り、または別様に文脈によって明示的に矛盾しない限り、任意の好適な順序で行なわれることができる。本明細書に提供される、任意および全ての実施例または例示的用語（例えば、「ｓｕｃｈ ａｓ（等）」）の使用は、単に、本開示をより明瞭にすることを意図し、別様に請求されない限り、本発明の範囲に限定を課すものではない。明細書中のいずれの用語も、本開示の実践に不可欠ないずれの未請求要素も示すものと解釈されるべきではない。
本開示に対する多数の修正は、前述の説明に照らして当業者に明白となるであろう。図示される実施形態は、例示にすぎず、本開示の範囲を限定するものと捉えられるべきではないことを理解されたい。

Claims (18)

  1. テンプレートベースの画像分析システムであって、前記システムは、
    ハイコンテント画像システム（ＨＣＩＳ）から前記ＨＣＩＳ内に装填されたスライドの画像を受信する画像取得モジュールであって、前記受信された画像は、基準マーカに関連付けられたエリアと、サンプル場所に関連付けられたエリアとを含む、画像取得モジュールと、
    取得画像データ記憶部であって、前記取得画像データ記憶部は、以前に取得された画像を記憶しており、前記以前に取得された画像は、異なるスライドの画像であり、各スライドは、前記受信された画像内に表されているのと同様に互いに対して位置付けられる基準マーカおよびサンプル場所のアレイを含む、取得画像データ記憶部と、
    前記受信された画像のバイナリ画像を開発し、かつ、基準マーカに関連付けられていると予期される前記バイナリ画像のエリアを識別する特徴識別モジュールと、
    前記以前に取得された画像に従ってテンプレートを生成するテンプレート生成モジュールと、
    前記生成されたテンプレートを前記バイナリ画像と整列させるテンプレート整列モジュールと、
    前記テンプレートと前記バイナリ画像との間のオフセットを決定するオフセット計算モジュールと、
    計算されたオフセットに従って、前記サンプル場所に関連付けられた前記受信された画像のピクセルの座標を決定する画像セグメント化モジュールと
    を備えている、システム。
  2. 前記画像取得モジュールは、前記ＨＣＩＳに前記座標に従って位置付けデバイスを位置付けるように指示し、前記ＨＣＩＳに前記座標に関連付けられた前記サンプル場所の画像を取得するように指示する、請求項１に記載のシステム。
  3. 前記画像セグメント化モジュールは、前記座標に従って前記受信された画像の部分画像を開発する、請求項１に記載のシステム。
  4. 前記生成されたテンプレートは、バイナリ画像である、請求項１に記載のシステム。
  5. 前記テンプレート生成モジュールは、前記テンプレートを生成するために前記受信された画像も使用する、請求項１に記載のシステム。
  6. 前記特徴識別モジュールは、前記以前に取得された画像の各々に関連付けられたバイナリ画像を開発する、請求項１に記載のシステム。
  7. 前記特徴識別モジュールは、特徴に関連する接続されたピクセルの群を識別し、前記識別されたピクセルによって境を限られたピクセルの強度値を非背景強度値に設定する、請求項６に記載のシステム。
  8. 前記テンプレート生成モジュールは、前記以前に取得された画像のバイナリ画像を位置合わせする、請求項６に記載のシステム。
  9. 前記テンプレート生成モジュールは、前記テンプレートを生成するために、前記以前に取得された画像のバイナリ画像に共通の特徴を識別する、請求項８に記載のシステム。
  10. テンプレートベースの画像分析システムを使用して画像を分析するテンプレートベースの方法であって、前記テンプレートベースの画像分析システムは、ハイコンテント画像システム（ＨＣＩＳ）と、画像取得モジュールと、特徴識別モジュールと、テンプレート生成モジュールと、テンプレート整列モジュールと、オフセット計算モジュールとを備え、前記方法は、
    前記画像取得モジュールが、前記ＨＣＩＳから、前記ＨＣＩＳ内に装填されたスライドの画像を受信することであって、前記受信された画像は、基準マーカに関連付けられたエリアと、サンプル場所に関連付けられたエリアとを含む、ことと、
    前記画像取得モジュールが、以前に取得された画像を取得画像データ記憶部に記憶させることであって、前記以前に取得された画像は、異なるスライドの画像であり、各スライドは、前記受信された画像内に表されているのと同様に互いに対して位置付けられる基準マーカおよびサンプル場所のアレイを含む、ことと、
    前記特徴識別モジュールが、前記受信された画像のバイナリ画像を開発することであって、前記バイナリ画像は、基準マーカに関連付けられていると予期される前記バイナリ画像のエリアを識別する、ことと、
    前記テンプレート生成モジュールが、前記以前に取得された画像に従ってテンプレートを生成することと、
    前記テンプレート整列モジュールが、前記テンプレートを前記バイナリ画像と整列させることと、
    前記オフセット計算モジュールが、前記テンプレートと前記バイナリ画像との間のオフセットを計算することと、
    前記画像取得モジュールが、前記計算されたオフセットに従って、前記サンプル場所に関連付けられた前記受信された画像のピクセルの座標を決定することと
    を含む、方法。
  11. コントローラが、前記座標に従って前記ＨＣＩＳの位置付けデバイスを動作させることと、前記コントローラが、前記ＨＣＩＳに前記座標に関連付けられた前記サンプル場所の画像を取得するように指示することとをさらに含む、請求項１０に記載の方法。
  12. 前記テンプレートベースの画像分析システムは、画像セグメント化モジュールをさらに備え、前記方法は、前記画像セグメント化モジュールが、前記座標に従って前記受信された画像の部分画像を開発することをさらに含む、請求項１０に記載の方法。
  13. 前記生成されたテンプレートは、バイナリ画像である、請求項１０に記載の方法。
  14. 前記テンプレートを生成することは、前記テンプレート生成モジュールが、前記受信された画像を分析することを含む、請求項１０に記載の方法。
  15. 前記特徴識別モジュールが、前記以前に取得された画像の各々に関連付けられたバイナリ画像を開発することをさらに含む、請求項１０～１４のいずれか一項に記載の方法。
  16. 前記バイナリ画像を開発することは、前記特徴識別モジュールが、特徴に関連する接続されたピクセルの群を識別することと、前記特徴識別モジュールが、前記識別されたピクセルによって境を限られたピクセルの強度値を非背景強度値に設定することとを含む、請求項１５に記載の方法。
  17. 前記テンプレートを生成することは、前記テンプレート生成モジュールが、以前に取得された画像に関連付けられた前記バイナリ画像を位置合わせすることを含む、請求項１５に記載の方法。
  18. 前記テンプレートを生成することは、前記テンプレート生成モジュールが、前記以前に取得された画像のバイナリ画像に共通の特徴を識別することを含む、請求項１７に記載の方法。
JP2019531545A 2016-08-31 2017-08-24 テンプレートベースの画像分析のためのシステムおよび方法 Active JP7068307B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662381974P 2016-08-31 2016-08-31
US62/381,974 2016-08-31
PCT/US2017/048426 WO2018044683A1 (en) 2016-08-31 2017-08-24 System and method for template-based image analysis

Publications (2)

Publication Number Publication Date
JP2019526870A JP2019526870A (ja) 2019-09-19
JP7068307B2 true JP7068307B2 (ja) 2022-05-16

Family

ID=61301547

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019531545A Active JP7068307B2 (ja) 2016-08-31 2017-08-24 テンプレートベースの画像分析のためのシステムおよび方法

Country Status (5)

Country Link
US (2) US11409094B2 (ja)
EP (1) EP3507768B1 (ja)
JP (1) JP7068307B2 (ja)
CN (1) CN109643453B (ja)
WO (1) WO2018044683A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10929716B2 (en) * 2018-09-12 2021-02-23 Molecular Devices, Llc System and method for label-free identification and classification of biological samples
CN114667533A (zh) 2019-10-24 2022-06-24 分子装置有限公司 用于生成增强图像的高内涵成像系统及其操作方法
EP4103325A4 (en) * 2020-02-15 2024-03-06 Heska Corp SAMPLE CARTRIDGES
EP3905108A1 (en) * 2020-04-29 2021-11-03 Onfido Ltd Scalable, flexible and robust template-based data extraction pipeline
AU2021345283A1 (en) * 2020-09-18 2023-04-06 10X Genomics, Inc. Sample handling apparatus and image registration methods
CN112884797B (zh) * 2021-02-02 2023-12-08 武汉钢铁有限公司 一种图像的背景去除方法、装置及电子设备
WO2023244564A1 (en) * 2022-06-14 2023-12-21 Bruker Nano, Inc. Method of analyzing metrology data
WO2024000268A1 (zh) * 2022-06-29 2024-01-04 深圳华大生命科学研究院 一种图像处理方法、装置、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150278625A1 (en) 2012-12-14 2015-10-01 The J. David Gladstone Institutes Automated robotic microscopy systems

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002357791B9 (en) 2001-12-05 2008-09-25 The J. David Gladstone Institutes Robotic microscopy systems
US20040144760A1 (en) * 2002-05-17 2004-07-29 Cahill Steven P. Method and system for marking a workpiece such as a semiconductor wafer and laser marker for use therein
US20080144899A1 (en) * 2006-11-30 2008-06-19 Manoj Varma Process for extracting periodic features from images by template matching
WO2009126495A2 (en) * 2008-04-09 2009-10-15 Vidar Systems Corporation Method and system for processing microarray images
US8644581B2 (en) * 2008-11-04 2014-02-04 Beckman Coulter, Inc. Systems and methods for cellular analysis data pattern global positioning
US9523680B2 (en) * 2010-06-30 2016-12-20 Ambergen, Inc. Global Proteomic screening of random bead arrays using mass spectrometry imaging
CA2825040C (en) * 2011-01-18 2018-06-12 Constitution Medical, Inc. Microscope slide coordinate system registration
EP2796917A1 (en) 2013-04-26 2014-10-29 Baden-Württemberg Stiftung gGmbH A method for automated platform and/or reference object independent acquisition of positional information and localization of objects of interest in a microscope
US9390327B2 (en) * 2013-09-16 2016-07-12 Eyeverify, Llc Feature extraction and matching for biometric authentication
EP3143381B1 (en) * 2014-05-12 2021-02-24 Cellomics, Inc Automated imaging of chromophore labeled samples
WO2016107896A1 (en) * 2014-12-30 2016-07-07 Ventana Medical Systems, Inc. Systems and methods for co-expression analysis in immunoscore computation
US10606060B2 (en) * 2015-01-30 2020-03-31 Molecular Devices, Llc High content imaging system and a method of operating the high content imaging system
CN104820439B (zh) * 2015-04-16 2017-10-20 华南理工大学 一种视觉设备作为传感器的并联平台跟踪控制装置与方法
US10061972B2 (en) * 2015-05-28 2018-08-28 Tokitae Llc Image analysis systems and related methods
US10706261B2 (en) * 2015-08-12 2020-07-07 Molecular Devices, Llc System and method for automatically analyzing phenotypical responses of cells
WO2017153848A1 (en) * 2016-03-10 2017-09-14 Genomic Vision Method of curvilinear signal detection and analysis and associated platform

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150278625A1 (en) 2012-12-14 2015-10-01 The J. David Gladstone Institutes Automated robotic microscopy systems

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
井尻 善久，様々な現場のニーズに対応する画像処理装置，画像ラボ 第２５巻 第７号 Image Laboratory，日本，日本工業出版株式会社，2014年，第25巻，pp.40-46

Also Published As

Publication number Publication date
WO2018044683A1 (en) 2018-03-08
EP3507768A4 (en) 2020-02-26
EP3507768B1 (en) 2020-09-30
CN109643453B (zh) 2023-06-27
US11409094B2 (en) 2022-08-09
CN109643453A (zh) 2019-04-16
US20210278654A1 (en) 2021-09-09
JP2019526870A (ja) 2019-09-19
EP3507768A1 (en) 2019-07-10
US20220350130A1 (en) 2022-11-03
US11960073B2 (en) 2024-04-16

Similar Documents

Publication Publication Date Title
JP7068307B2 (ja) テンプレートベースの画像分析のためのシステムおよび方法
TWI685653B (zh) 用於修正成像樣品中的光學失真的方法、用於修正包含複數個光點之圖案化樣品的影像中之光學失真的方法以及非暫時性電腦可讀媒體
US8675992B2 (en) Digital microscope slide scanning system and methods
KR102523559B1 (ko) 디지털 스캐닝 장치
CN106662734B (zh) 确定物体在光学装置的光束路径中的位置
US20200371333A1 (en) Microscopy method, microscope and computer program with verification algorithm for image processing results
US9253449B2 (en) Mosaic picture generation
KR101513602B1 (ko) 바이오칩 스캐닝 방법
KR20140006891A (ko) 현미경 슬라이드 좌표 시스템 등록
CN108140104B (zh) 病理学明场像中的自动化染色查找
JP2011048013A (ja) 制御装置、およびその制御装置を用いた顕微鏡システム
JP2017538972A (ja) 顕微鏡システムにおいて並行撮像を用いることにより合焦画像を生成するための装置および方法
JP2023110088A (ja) 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
TW508709B (en) System and method for inspecting bumped wafers
US7991219B2 (en) Method and apparatus for detecting positions of electrode pads
US20190285401A1 (en) Determining the arrangement of a sample object by means of angle-selective illumination
US20110267448A1 (en) Microscopy
JP6842329B2 (ja) 画像処理方法および画像処理装置
JP5343762B2 (ja) 制御装置、およびその制御装置を用いた顕微鏡システム
US10852237B2 (en) Microarray, imaging system and method for microarray imaging
JP6739325B2 (ja) 外観画像の作成方法及びルックアップテーブル作成用冶具
KR102486540B1 (ko) 시약분석장치 및 그 시약분석장치의 제어방법
JP2006003276A (ja) ３次元形状計測システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220428

R150 Certificate of patent or registration of utility model

Ref document number: 7068307

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150