JP6970112B2 - 概観画像をセグメント化することにより分散オブジェクトを検査するための方法 - Google Patents
概観画像をセグメント化することにより分散オブジェクトを検査するための方法 Download PDFInfo
- Publication number
- JP6970112B2 JP6970112B2 JP2018548727A JP2018548727A JP6970112B2 JP 6970112 B2 JP6970112 B2 JP 6970112B2 JP 2018548727 A JP2018548727 A JP 2018548727A JP 2018548727 A JP2018548727 A JP 2018548727A JP 6970112 B2 JP6970112 B2 JP 6970112B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- cells
- binary
- overview image
- substrate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 54
- 210000004027 cell Anatomy 0.000 claims description 91
- 239000000758 substrate Substances 0.000 claims description 57
- 230000004044 response Effects 0.000 claims description 35
- 238000011156 evaluation Methods 0.000 claims description 20
- 230000000694 effects Effects 0.000 claims description 14
- 238000000491 multivariate analysis Methods 0.000 claims description 14
- 238000001237 Raman spectrum Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000001228 spectrum Methods 0.000 claims description 6
- 238000000513 principal component analysis Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012706 support-vector machine Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 210000003527 eukaryotic cell Anatomy 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 239000000126 substance Substances 0.000 description 15
- 238000012360 testing method Methods 0.000 description 15
- 239000000463 material Substances 0.000 description 13
- 238000007689 inspection Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 8
- 238000001069 Raman spectroscopy Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000012472 biological sample Substances 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000000144 pharmacologic effect Effects 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000031018 biological processes and functions Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 230000002900 effect on cell Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000005281 excited state Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010348 incorporation Methods 0.000 description 2
- 210000000265 leukocyte Anatomy 0.000 description 2
- 235000015097 nutrients Nutrition 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 231100000915 pathological change Toxicity 0.000 description 2
- 230000036285 pathological change Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 229910004261 CaF 2 Inorganic materials 0.000 description 1
- 241000668842 Lepidosaphes gloverii Species 0.000 description 1
- KDXKERNSBIXSRK-UHFFFAOYSA-N Lysine Natural products NCCCCC(N)C(O)=O KDXKERNSBIXSRK-UHFFFAOYSA-N 0.000 description 1
- 239000004472 Lysine Substances 0.000 description 1
- 230000001464 adherent effect Effects 0.000 description 1
- 239000002313 adhesive film Substances 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000006907 apoptotic process Effects 0.000 description 1
- 239000010425 asbestos Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004071 biological effect Effects 0.000 description 1
- 238000000339 bright-field microscopy Methods 0.000 description 1
- 238000004113 cell culture Methods 0.000 description 1
- 239000006143 cell culture medium Substances 0.000 description 1
- 230000022131 cell cycle Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000004700 cellular uptake Effects 0.000 description 1
- 230000002925 chemical effect Effects 0.000 description 1
- 238000010226 confocal imaging Methods 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000002548 cytokinetic effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 235000014113 dietary fatty acids Nutrition 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229930195729 fatty acid Natural products 0.000 description 1
- 239000000194 fatty acid Substances 0.000 description 1
- 150000004665 fatty acids Chemical class 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 102000039446 nucleic acids Human genes 0.000 description 1
- 108020004707 nucleic acids Proteins 0.000 description 1
- 150000007523 nucleic acids Chemical class 0.000 description 1
- 229920000729 poly(L-lysine) polymer Polymers 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006335 response to radiation Effects 0.000 description 1
- 229910052895 riebeckite Inorganic materials 0.000 description 1
- 238000004621 scanning probe microscopy Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 238000003045 statistical classification method Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
- G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Description
本発明は、領域に統計的に分散されるオブジェクトを検査するための方法に関するものである。
生体サンプルの検査において、個々の細胞の特性を研究することは本質的である。そのようなサンプルは、典型的に、基材上の細胞の統計的分布を含む。細胞を検査することができる前に、最初に、細胞を基材上に配置する必要がある。
これまで、細胞は視覚的に局所化されてきており、ラマン分光法などの単一の細胞の局所的な検査が手作業で始められてきた。これは非常に時間がかかり、少数の細胞のみが検査できるという事実を引き起こした。多くの細胞が検査されればされる程、結果のより良い統計的性質が得られることになる。
(R. Ali, M. Gooding, T. Szilgyi, B. Vojnovic, M. Christlieb, M. Brady,「明視野顕微鏡画像からの接着細胞の境界と核の自動セグメント化"Automatic segmentation of adherent biological cell boundaries and nuclei from brightfield microscopy images"」, Machine Vision and Applications 23 (4 ), 607-621, doi: 10.1007 / s00138-011-0337-9 (2011))、(F. Buggenthin, C. Marr, M. Schwarzfischer, P. S. Hoppe, O. Hilsenbeck, T. Schroeder, F. J. Theis,「ハイスループット顕微鏡からの明視野画像におけるロバストな高速の細胞撮像のための自動化方法"An automatic method for robust and fast cell imaging in bright field images from high-throughput microscopy"」, BMC Bioinformatics 14, 297-308 (2013)) 、及び、(C. Zhang, J. Yarkony, FA Hamprecht,「相関クラスタリングを用いる細胞の検出とセグメント化、医療画像計算とコンピューター支援の介入"Cell Detection and Segmentation Using Correlation Clustering, Medical Image Computing and Computer Assisted Intervention" - MICCAI 2014, Lecutre Notes in Computer Science 8673, 9-16 (2014) )から、基材上の細胞の局所化のための様々なアプローチが知られている。
本発明の目的は、前述のアプローチをさらに発展させるためであり、それにより、複数の分散されるオブジェクトの検査を向上することである。この目的は、独立請求項の発明による方法により、及び、従属請求項によるコンピュータプログラムプロダクトにより、達成される。さらなる有利な実施形態は、従属請求項から明らかであろう。
本発明の範囲内で、オブジェクトが分散される領域の概観画像を用いて、複数の分散オブジェクトを検査するための方法が開発されてきている。
領域は、例えば、その上にオブジェクトを当てられる基材の上に配置することができる。オブジェクトは、例えば、生体細胞、特に、真核細胞とすることができ、生体細胞は、例えば、溶液の中の、又は、溶媒の中の浮遊として、基材に当てられる。そのようにすることにおいて、細胞は、基材に付着することができ、すなわち、基材に結合することができ、又は、基材からの分離群のままでいることができ、分離群は、弱い物理的力によってのみ、基材の上に適所に保たれる。選択的に、細胞を基材に接着する方法は、また、基材にコーティングを施すことにより、調整することができる。例えば、ポリ-L-リシン又はポリ-D-リシンのコーティングは、細胞に基材を接着させないようにすることができ、及び／又は、細胞を基材に接着させないけれども、細胞に基材上の特定の位置にとどまらせることができる。
他方、オブジェクトは、必ずしも、生体的性質を有するわけではない。オブジェクトは、例えば、フィルタで収集したちり粒子、又は、例えば、接着フィルムとすることもできる。
概観画像は、有利なことに、オブジェクトが分散される全領域が、並行して、撮像され表示される、画像である。特に、概観画像は、領域の顕微鏡の明視野画像とすることができる。そのような画像は、直ちに使用でき、撮像は、オブジェクト自体、又は、領域内のその位置に影響しない。原則として、しかしながら、概観画像は、例えば、蛍光顕微鏡検査法又は走査プローブ顕微鏡検査法による任意の他の方法によっても得ることができる。動作パラメータは、次いで、オブジェクトが、本質的に変化しないままで、領域内のその位置が変化しないように、当然選択される。
特に、概観画像は、各ピクセルが正確に１つの強度値を割り当てられるグレースケール画像とすることができる。概観画像は、しかしながら、例えば、カラー画像ともすることができる。カラー画像は、多数のチャンネルの集合として理解することができ、各チャンネルにおいて、グレースケール画像に類似して、特有の性質がピクセルからピクセルへ変化する。例えば、カラー画像は、ＲＧＢカラー画像の赤、緑及び青、又は、ＣＭＹＫカラー画像のシアン、マゼンタ、イエロー及びブラック、などのベースカラーに各々が関連する複数の副画像のオーバレイとすることができる。ＨＳＶ色空間に３つの副画像があり、３つの副画像は、グレースケール画像に類似して、色相、彩度及び明度の３つの特性の空間分布を表す。さらなる検査のために、これらの副画像の内の単一の副画像は、又は、いくつか若しくは全ての副画像のグレースケール画像への計算は、各ケースにおいて、今や、用いることができる。一般性を失うことなく、以下、グレースケール画像であると仮定する。
オブジェクトは、任意の集中度の領域に分散することができる。意味をなす集中度は、特定のアプリケーションに依存する。生体細胞における可能な病理学的変化の検査において、例えば、細胞を個々に検査することは重要である。細胞の集中度は、領域の少なくとも細胞の大部分が、互いに、なお明確に区別できるほどに大きいだけである場合、意味をなす。他方、例えば、アスベストをサーチするために、チリ粒子を検査する場合、粒子の集合が生じる場合、重要性はより少ない。
特に、オブジェクトの分布は、統計的になり得る。しかしながら、分布は自己組織化することもでき、例えば、すなわち、前に基材の上に応じて組み立てられた基材の上の規定の位置に、例えば、全体的に又は部分的に、オブジェクトを配置することもできる。
本発明により、前記概観画像のピクセルの強度値を、該強度値が所定の閾値を超えない側にあるか、又は、所定の閾値を超える側にあるかどうか、に関して、分類することにより、前記概観画像を二値画像に最初に変換する。二値画像は、したがって、ピクセルが属する２つのクラス「超えない側」又は「超える側」のどちらかに依存して、２つの可能な各値０又は１を各ピクセルに割り当てる。例えば、一般性を制限することなく、「超えない側」は「閾値以下である」を意味することができ、値０を割り当てることができ、「超える側」は「閾値より大きい」を意味することができ、値１を割り当てることができる。
二値画像は、オブジェクトがどこにあるかについて、最初の手掛かりである。例えば、オブジェクトの輪郭、及び、したがって、例えば、関連する中心を決定するために、二値画像は十分ではない。したがって、２つのクラスのみへの離散化により、二値画像から直接とられる輪郭は、通常、ギャップを有する。これらのギャップは、「閉じる」と呼ばれる、形態的に閉じる数学的動作で閉じる。これにより、二値オブジェクトマスクを創生し、該二値オブジェクトマスクは、前記概観画像に描かれた前記領域のどの位置がオブジェクトに属するかを示し、前記領域のどの位置がどのオブジェクトにも属していないかを示すが、代わりに、空の基材の表面を割り当てることができる。
しかしながら、実際の概観画像は、通常、例えば、ノイズに基づくエラー又はアーチファクトがなくならない。そのようなエラー及びアーチファクトは、オブジェクトより小さい構造を創生する。形態的に閉じることをこれらの構造に適用する場合、それらは、求めるオブジェクトのサイズに匹敵するサイズに成長することができる。二値オブジェクトマスクのエラー及びアーチファクトは、もはや、実際のオブジェクトから区別することができない。
これを避けるために、本発明により、二値画像は、オブジェクトより小さい構造をクリーンアップし、それ故に、クリーンアップ画像となる。このクリーンアップ画像のみが、さらに処理されて二値オブジェクトマスクになる。したがって、二値画像の生成後に、これらのオブジェクトをエラー及びアーチファクトから区別するために、求めるオブジェクトは、少なくとも、どのサイズを有するかについての追加の情報を利用する。プロセスにおける現時点でのそのような追加の情報の考慮は、最も効果的であり、特に信頼できる区別を可能にする。結果として、得られた二値オブジェクトマスクは、概観画像においてマッピングされた領域のどの位置がオブジェクトに属するかの、特に信頼できるインジケーターである。
例えば、ラマンスペクトルをどの位置でとるかを決定するために、二値オブジェクトマスクを用いるときに、クリーニングは特に重要である。クリーンアップ前の擾乱及びアーチファクトの数は、通常、検査すべきオブジェクトの数より、多数である。これらの擾乱及びアーチファクトがオブジェクトとして誤って認識される場合、複数の関係のないラマンスペクトルが記録され得る。これは、不必要な時間がかかるだけでなく、スペクトルの統計的分析も複雑にし、この分析を不可能にさえする。
すでに二値オブジェクトマスクから、オブジェクトについての多くの情報を導くことができる。例えば、オブジェクトの正確なサイズ及び形状は、二値オブジェクトマスクから見ることができる。また、オブジェクトに属する位置（ピクセル）の割合から、領域内のオブジェクトの集中度は明らかになる。しかしながら、二値オブジェクトマスクは、さらなる検査が実施されるそれらの位置を決定するための、予備のプロダクトとしても、用いることができる。
所定の閾値を画定するために、発明者の実験において、３つの方法が、特に有益で信頼できることが見出された。全ての３つの方法は、概観画像のピクセルの強度値に対するヒストグラムの評価に基づく。これらの強度値は、例えば、８ビットの解像度で０から２５５の整数値、及び、１６ビットの解像度で０から６５５３５の整数値である、可能な特定の数値に、典型的に離散化される。
第１の方法により、前記閾値は、前記閾値より下の前記概観画像のピクセル（２０１ａ）の全ての強度値の第１の平均値m0と、前記閾値より上の前記概観画像のピクセルの全ての強度値の第２の平均値m1との間の中央にあるように、前記閾値を設定する。平均値m0及びm1は、次々に、閾値に依存するため、これは、閾値のための自己矛盾のない条件として、理解することができる。照明条件は、最終的に得られる二値オブジェクトマスクに対して、特に低いインパクトを有する点において、この方法概観画像としての顕微鏡の明視野画像のコンテキストにある。
例えば、閾値の全ての可能な離散値に対して、どのように良く自己矛盾のない条件を満たすかをテストすることにより、正しい閾値を決定することができる。その条件を最も良く満たす閾値を選択する。可能な強度値があるだけの数の閾値が可能であるため、これに必要な計算時間は、概観画像の強度値が、いかに細かく離散化されているかに依存する。強度値が、非常に細かく離散化されている場合、品質の評価基準として自己矛盾のない条件の達成を用いる最適化アルゴリズムは、全ての可能な値をテストするための代替としても用いることができる。
第２の方法により、前記強度値の数で重み付けられた、前記閾値より下の前記概観画像のピクセルの全ての強度値の第１の分散と、前記強度値の数で重み付けられた、前記閾値より上の前記概観画像のピクセルの全ての強度値の第２の分散との和を最小にするように、前記閾値を設定する。
が、ピクセルの強度値がクラス０又は１に属し、閾値ｓに依存する確率であり、
が、また、閾値ｓに依存し、これらのクラ内のピクセルの分散である場合、重み付きの和である
の式で与えられる。
どの強度値が閾値より上か、又は、下かは、各ケースにおいて、再び、閾値に依存するため、この重み付きの和を最小にすることでさえ、自己矛盾のない条件である。この条件において、実験的に決定される概観画像の典型的な形状により動機付けをされる、以下の仮定は、概観画像において、一方のオブジェクトと他方のオブジェクトのない領域との間で最大のコントラストを確立することであり、一方、各々が別個にとられる、測定されるオブジェクトだけでなく、オブジェクトのない領域も、比較的、均質であることに対しては測定される。したがって、クラス間の分散を最小にすることは、概観画像のピクセルにより表される、概観画像の位置が、有用に、「オブジェクト」と「オブジェクトなし」の２つのクラスに分割されることの、もっともらしいインジケーターである。
一方では、前記閾値より下の前記強度値と、他方では、前記閾値より上の前記強度値との間のクラス間の分散を最大にするという事実に対して、大津（Otsu）の研究により、この条件は等しい。クラス間の分散
の式で与えられる。ここで、第１の方法に類似して、m0(ｓ)及びm1(ｓ)は、再び、閾値ｓに依存するクラスの平均値である。クラス間の分散は、両方のクラス間の分散の和よりも少ない計算量で決定することができる。
第３の方法により、前記二値画像の少なくとも１つの統計学的モーメントが、前記概観画像の対応する統計学的モーメントに最大限に一致するように、前記閾値を設定する。例えば、この統計学的モーメントは平均又は分散とすることができる。第２の方法に類似して、この方法は、オブジェクトとオブジェクトのない領域との間で概観画像のコントラストは、本来、見えるべきであり、一方、オブジェクトのない領域だけでなく、オブジェクト自体も、それぞれ、相対的に均質であるべきである、という基本的仮定に基づく。最良の概観画像は、したがって、二値オブジェクトマスクとして直接、用いることができる、ほぼ二値画像であるべきである。実際の概観画像は、画像処理により、ぼやかされた（不鮮明にされた）この最良の二値概観画像であると考えられ、ぼやかしは、統計学的モーメントには影響がない。したがって、保存量として、統計学的モーメントを選択することにより、オブジェクトとオブジェクトのない領域との間の区別に対する情報内容は、変えられず、より明確にされるだけである。それ故に、第３の方法は、概観画像が低コントラストのみを有する場合、特に、有利である。
すべての３つの方法は組み合わせて用いることもでき、及び／又は、閾値用の決定値ｓは、二値画像に適用される１つの全体の値に、互いに対して、オフセットするために、用いることができる。
本発明の特に有利な実施形態において、背景の評価は、本質的にオブジェクトを除去する、強度をぼやかすことにより、前記概観画像から得られ、前記概観画像は、前記二値画像に変換する前に、前記背景の評価に対する差異により、置き換えられる。このように、最終的に得られた二値オブジェクトマスクへの一様でない照明の影響は、さらに抑制される。したがって、差異の画像が形成された後に、全てのさらなる動作は、次いで、もはや、元の概観画像からではなく、この差異の画像からのみ、進める。
代替的に、又は、組み合わせて、背景の評価は、オブジェクトのない第２の概観画像を記録することにより、得ることができる。前記背景の評価は、次いで、背景画像として利用できる。この背景画像の各ピクセルは、次いで、例えば、背景画像の最大強度に正規化することができる。前記概観画像は、次いで、正規化した背景の評価により、前記二値画像に変換する前に、点ごとに分割することができる。
代替的に、又は、組み合わせて、背景の評価は、オブジェクトのない第２の概観画像を記録することにより、得ることができる。前記背景の評価は、次いで、背景画像として利用できる。この背景画像の各ピクセルは、次いで、例えば、背景画像の最大強度に正規化することができる。前記概観画像は、次いで、正規化した背景の評価により、前記二値画像に変換する前に、点ごとに分割することができる。
本発明のさらに特に有利な実施形態において、前記二値オブジェクトマスクにおいて、隣接するオブジェクトの少なくとも１つの共通の境界は、第１のオブジェクトの第１の境界、及び、第２のオブジェクトの第２の境界に分割される。このように、たとえ、概観画像において画像化された領域のオブジェクトの集中度が非常に高いので、オブジェクトが塊になる場合でさえ、オブジェクトは、分離して認識し、調査することができる。このために、例えば、流域変換を用いることができ、流域変換は、二値オブジェクトマスクのピクセル値０及び１を高さの情報として解釈し、連続する「フラッディング」において、隣接するオブジェクト間の流域を詳しく述べる。
有利なことに、少なくとも１つのオブジェクトの中心点は、前記二値オブジェクトマスクから評価される。この点は、オブジェクトの多くの更なる検査のために、重要である。
本発明のさらに特に有利な実施形態において、前記二値オブジェクトマスクにより、オブジェクトが配置される領域の中の少なくとも１つの位置が、光ビームに照射され、照射に対する前記オブジェクトの応答が評価される。この場合、光ビームは、特に、レーザビームであってもよい。光ビームを用いての検査は、非侵襲性であり、用いる光ビームの回折限界に至るまで高空間解像度で実施することができる。必要であれば、回折限界は、近視野の光の使用により、避けることができる。
逆に、全体のオブジェクトが照明されるように、光ビームも広げることができる。ここで、オブジェクトの中心を光ビームの位置の中心として選択する場合は、特に、有利である。エッジ効果を防ぐために、光ビームの強度分布は、例えば、いくつかのモードを重ね合わせる（「モードスクランブリング」）ことにより、均質にすることができる。代替的に、又は、組み合わせて、オブジェクトを照明するビームプロファイルのその部分が、ほぼ、均質になるように、光ビームをさらに広げることができる。これは、次に、強度を犠牲にすることになる。
本発明のさらに特に有利な実施形態において、前記二値オブジェクトマスクにより、前記オブジェクトに対して前記光ビームでスキャンする。スキャニングは、レーザビームをオブジェクトに対して動かすことにより、オブジェクトをレーザビームに対して動かすことにより、又は、レーザビーム及びオブジェクトの両方を動かすことにより、実施することができる。
前記光ビームの空間強度分布を考慮して、スキャニングのタイミングプログラムは、全受光線量の空間分布が、前記オブジェクトに対して、均質化されるように、選択される。例えば、レーザビームは、第１近似において、ビームの断面を横切るガウス分布のビームプロファイルを有する。このビームがオブジェクトの中心にある場合、オブジェクトは、不均質な強度で照明される。オブジェクトが均質に構成されていないが、例えば、エッジにおいてより、中心において、異なる材料の組成を有する場合、オブジェクトにより受ける照明に対する応答において、この材料のコントラストは、不均質な照明の強度による、アーチファクトで重ね合わせられる。これは、核が細胞の残りの部分とは異なる材料から成るオブジェクトとしての、真核生体細胞において、特に、生じる。そのようなアーチファクトは、オブジェクトが受けた光線量を均質にするタイミングプログラムにより、有利に最小化される。
本発明の特に有利な実施形態において、前記オブジェクトの少なくとも１つのラマンスペクトルは、前記照射に対する前記応答から評価される。ラマン散乱において、光子は分子の上で非弾性的に散乱され、したがって、エネルギーは、光子と分子の励起状態との間で交換される。これらの励起状態は、各分子の特性であるため、ラマン散乱は、照明された領域の分子特有の「指紋」を提供する。ここで、がんにより引き起こされ得るものなどの、特に、生体サンプルの細胞において、病理学的変化を見せることができる。
ラマン分光法の二値オブジェクトマスクの抽出との組合せにより、生体サンプルの様々な細胞の上へのラマンスクリーニングを自動化することを可能にする。これまで、次の興味のある細胞において、次のラマンスペクトルが記録される前に、ラマンスペクトルが記録されなければならず、次いで、サンプルが励起レーザの焦点に対して手動で動かされねばならないことが、繰り返されるので、そのような検査は、わずかなサンプルの細胞にのみ、実施することができただけである。典型的に、そのような調査において、１００個の細胞より、はるかに少なく検査されていた。概観画像において見ることができる全ての細胞を連続して検査することを実施できるようにさせることにより、検査は、１００，０００以上の細胞を実施することができる。
検査の結果は、ひいては、統計的に、もっと良く弾力的であり、検査は、低減したスタッフの数のため、より安価である。いくつかの検査は、このように増大したスループットで、可能でさえある。例えば、細胞が、統計的方法を用いて、異なるクラスに分割される場合、多くの細胞を検査することができればできるほど、分類はもっと信頼できるようになる。特に、統計的分類方法の信頼性は、方法の訓練段階において、いかに多くの細胞が検査されたかに、大きく依存する。例えば、細胞のタイプ、又は、健康な細胞か、もしくは、腫瘍の細胞かどうかにより、細胞を分類することができる。例えば、白血細胞のヘモグラムも作ることができる。
例えば、１，０００個又は１０，０００個の細胞につき、１つの細胞でのみ生じる稀な変化を検出すべき場合、生体サンプルにおいて具体的な変化があるかどうかの信頼できる発表をするために、本発明により増大したスループットも必須である。
さらに、タンパク質の相対的含有量、核酸及び脂質、又は、細胞周期の現在の状態でさえ、などの他の情報を細胞から得ることができる。
同時に、１つの細胞から次の細胞への変化率は、人間の応答時間により制限されないため、迅速な臨床試験が可能である。本方法を実施するために配置される本発明による分析装置は、手作業による画像の検査又はパラメータの設定をせずに、完全に自動で作業し続けることができ、したがって、予備知識のないスタッフにより、臨床分野において、動作させることができる。細胞のみを適切なスライドの上に置かねばならず、スライドは装置へ運ばなければならない。
基材としてのスライド自体は、以前の検査から変更する必要はない。例えば、スライドはガラス、石英又はCaF2から作ることができる。
もちろん、一旦、二値オブジェクトマスクで同定された全てのオブジェクトが検査されたならば、プロセスは、新しい領域で、自動的に繰り返すことができる。例えば、概観画像用の空間対象領域のサイズに対応する、より大きい生体サンプルの上の領域を、連続して検査することができる。概観画像から、二値オブジェクトマスクは、上記の方法で、各ケースにおいて、得ることができ、この二値オブジェクトマスクで同定される全てのオブジェクト（細胞）は、励起レーザの焦点の中へ自動的に導くことができ、順次、検査することができる。
ラマンスペクトルを受けるために、代替的に、又は、組み合わせて、例えば、材料サンプルは、レーザビームにより、オブジェクトから蒸発することもでき、質量分光計へ送ることができる。このように、オブジェクトの材料は、要素に特定して分析することができる。さらに特に有利な本発明の実施形態において、基材の上の細胞は、影響にさらされ、光ビームに繰り返し照明される。各ケースにおいて、細胞の照明に対する応答が評価される。
例えば、化学物質の影響下の細胞の発達、分子振動モードへの影響を有する同位体又は他の物質の組み込み、しかし、電離放射線又は栄養物の低減、又は、基材の上にある様々な細胞のタイプ間の相互作用を調査することができる。しかしながら、例えば、成長及び増殖プロセスなどの自然な過程は、細胞の培養基、周囲温度又は高培養温度の影響下で調査することができる。さらに、培養ガスの組成により誘導される、細胞の変化を調査することができる。
基材の上に分散された細胞を自動方法で分析するために、本発明により供給された機能により、測定の不確かさを非常に低減するため、照射に対する応答からの細胞への影響の効果を、十分な統計的有意性を持って、決定することができる。従来の技術において、分散した細胞は、各測定に対して、手作業で配置しなければならず、次いで、局所の照射は各細胞に対して、手作業で動作させなければならなかった。他方、これは、非常にたくさんの人手を要し、したがって、検査の統計的基礎に含まれる細胞の数は、手始めから、制限されていた。今では、常に、統計的に有意な数の細胞を検査すること、例えば、白血細胞、又は、非常に多くの数の集団の他の細胞の中の少数の細胞の検査における、存在する細胞の集団の検出などの様々な検査が、初めて、可能になっている。さらに、上述のアプローチは、プロセスが非常に迅速に行われる細胞処理の迅速分析を可能にし、したがって、測定に対して、非常に短時間のウィンドウのみが使用できる。他方、手作業で実施する検査が繰り返しできることには制限がある。比較的ゆっくりとも進む多くの生体プロセスがあるので、異なる線量の影響にさらされた後に、基材の上で実施された２つの検査の間に、数時間又は数日があり得る。従来技術においては、手作業で実施された測定の実験の変動は、通常、細胞への影響による照射に対する応答の変化より大きい。シフト稼働で作業し、オペレータが個々の測定間で変わるとき、変動は、より大きくさえなる。他方、これまで、ユーザが、手作業で、そのような長期間にわたって多くの数の細胞を追跡し、そのような長期間にわたって同じ細胞を視察することは不可能であるため、数日又は数週間でさえ、などの非常に長時間スケールにわたって、何の実験も実施することができない。
今では、細胞を自動的に再配置し検査することができるので、例えば、常に同じ実験条件下で、所定の時間間隔で絶え間なく検査を繰り返すことができる。
本発明のさらに特に有利な実施形態において、同様に適用され、複数の基材の上の細胞は、光ビームに照射され、前記細胞の前記照射に対する応答は、基材間で結合される。ここで、例えば、新しい基材の取り付け後の、毎回、顕微鏡を少し異なってクリーンアップするため、テスト手続きを手作業で実施するとき、さらなる不確実さが加わる。
本発明のさらに特に有利な実施形態において、作用する影響の下で、及び／又は、１つの基材から別の基材へ、統計的に有意な方法で、細胞のどの特性が変化するかについて、多変数解析を用いて、応答の全体を評価する。特に、ハイパースペクトルの大きさをここで決定することができ、すなわち、細胞のどの特性が相関方法で変わるかを自動的に決定することができる。多変数解析を、特に先験的な前提なしで（「監視なしで」）、実施することができる。
多変数解析において、最終的に部分的結果を融合するために、部分的結果は、各基材の上で個々に、決して決定されない。むしろ、全ての基材の上の細胞から得られた全ての応答の１つの動作において、解析が実施される。解析の結果が希釈されないために、全ての解答が同じ実験条件下で得られたことが重要である。したがって、本発明により可能にした様々な細胞の検査の機械化は、まず、第一に、多変数解析を有意義にさせる。
そのような解析の結果は、例えば、細胞が、薬理的物質の継続作用下で、特定の測定可能な変化を受けたことであり得て、これらの変化は時間と共に線形に又は非線形に進むが、速ければ速いほど、薬理的物質の濃度は高くなる。逆に、次いで、例えば、そのような相関方法で変わる細胞の特徴は、アポトーシス又はネクローシスの開始のための早期のマーカーとして、認識することができる。しかしながら、異なる濃度にある物質を細胞に組み入れることを考慮し、これらの物質の力学的特性及び細胞動態についての結論を出すこともできる。これらは、同位体で標識された分子、又は、脂肪酸及びタンパク質などの他の生化学物質であり得る。変化は、細胞の取り込み速度についての結論に導くことができる。
有利なことに、主成分分析（ＰＣＡ）が多変数解析として選択される。ここで、例えば、切除モデルにおける照明に対する応答において得られたラマンスペクトルは、各々が異なる寄与（「ローディング」）に起因する、いくつかの部分スペクトルの重み付きの重ね合わせと見なすことができる。ＰＣＡは、最後に、元のデータを、その次元が線形に独立な主要コンポーネントへ低減される座標系に変換する。代替的に、又は、これと組み合わせて、純粋成分のスペクトルは、最小二乗適合を用いて、測定したスペクトルに適合することができる。
. 本発明のさらに特に有利な実施形態において、さらなる基材の上の細胞で受けた照射に対する応答を、前記基材に適用する少なくとも１つの特性の値に割り当てる、分類器を多変数解析から評価する。
例えば、細胞の除去後に患者がどれだけ長く生きたかの情報と共に、異なるがん患者からの細胞が付いた様々な基材を検査することにより、この生存時間は、病気の重症度の指標として見ることができる。多変数解析から、次いで、例えば、最初に、がんがあるか又はないかどうかの属性を、特定の確率で、さらなる基材上の細胞に割り当てる分類器を評価することができ、恐らく、例えば、１から５のスケールのクラスの重症度を割り当てる。しかしながら、血における細胞のタイプの比率の変化だけでなく、血の組成も、この方法で解析することができる。さらに、異なる薬理的物質の患者の細胞への影響を決定するために、例えば、患者のオーダーメード医療という意味の、正しい治療を決定するために、この方法を用いることができる。薬理的物質の細胞への影響の解析に関しては、それより上では、物質が細胞に有毒作用を有する濃度を決定することもできる。このように、物質の有効性のための閾値を特定することができる。しかしながら、アプローチ案は、また、外部から加えた物質、又は、行われる生体プロセスで生じる物質、の蓄積を解析することを、可能にする。方法案は、さらに、温度、細胞の培養基の組成等などの異なる影響因子下の細胞における物質の蓄積を検出することを可能にする。
前記分類器は、例えば、線形判別分析（ＬＤＡ）又はサポートベクターマシン（ＳＶＭ）により、評価することができる。多変数回帰研究も実施することができる。さらに、以前に明確に画定した１つ以上の物質の存在又は変更も、最小二乗適合を用いて、基材の上に決定することができる。
各ケースにおいて、有機的な方法で、結果を、細胞に作用された影響と相関することができる。
本発明はコンピュータ可読プログラムを有するコンピュータプログラムプロダクトにも関する。コンピュータ可読プログラムがコンピュータにより実施されるときに、前記コンピュータ及び前記コンピュータに接続された任意の測定装置に、本発明による方法を実施させる。以前は、測定ステーションの上で、概観画像が手作業で評価され、個々の細胞のラマンスペクトルの記録が、その後、手作業で動作させられていたが、本コンピュータプログラムプロダクトは、既存の測定ステーションを自動化するために、特に、用いることができる。それにより、この測定ステーションのスループットは、手作業の処理では幻影の、数桁に増大することができる。
本発明の主題を図面を参照して以下に説明するが、それにより、本発明の主題は限定されない。
図１は、本発明による方法の実施形態のシーケンスの概要を示す。複数の細胞が、オブジェクト１として、基材１０の上に付けられる。明確にするために、これらのオブジェクト１の図的記述は、また、以下に、同じ参照符号１により指定される。
方法は、オブジェクト１が分散される領域２の概観画像２００から始める。概観画像２００は、各々が強度値２０２を割り当てられるピクセル２０１に分割される。概観画像２００において、オブジェクト１は背景３の上に見える。この概観画像２００から、背景３の評価２０５が、ぼやかすことによる最初のステップ１０５において、最初に得られる。評価２０５は、オブジェクト１のない第２の概観画像２００ａから、代替的に、又は、組み合わせで、得ることができる。元の概観画像２００は、次のステップ１０６において、背景３の評価２０５と共に、減算により、又は、点ごとの分割により、オフセットされる。
オブジェクト１のコントラストが顕著に増大された結果から、次のステップ１１０において、二値画像２１０が得られる。この二値画像２１０において、強度の階調はもはやなく、２つの値０及び１のみである。この離散化により、最初に、オブジェクト１の表現のギャップ２１８が、二値画像２１０の中に現れるという結果を有する。さらに、オブジェクト１より小さい構造２１９も、画像記録のエラー又はアーチファクトから生成される。
さらなる処理において、構造２１９が、成長しないために、かつ、追加のオブジェクト１として誤って解釈されるように、共に成長しないために、二値画像２１０からは、次のステップ１２０において、構造２１９を削除する。クリーンアップ画像２２０が生成される。
このクリーンアップ画像２２０は、次のステップ１３０において、形態的には閉じる。その結果の二値オブジェクトマスク２３０において、オブジェクト１は、ベタ領域として見える。そのような表面が互いに隣接し合う場合、さらなるオプションのステップ１４０において、互いに分離することができる。さらなるオプションのステップ１５０において、オブジェクトの中心点も評価することができる。
図２は、例として、概観画像２００のピクセル２０１の強度値２０２のヒストグラムの評価を示す。強度値iを持つ概観画像２００のピクセル２０１の発生の頻度h(i)を、各可能な強度値iの上にプロットする。ピクセル２０１を「オブジェクト１に属する」と「オブジェクト１に属しない」との２つのクラスに分離する閾２０８の閾値ｓは、閾値ｓより下の強度値２０２ａの第１の平均値m0と、閾値ｓより上の強度値２０２ｂの第２の平均値m1との間の中央にある。両方の平均値m0及びm1は、次々に、閾２０８の閾値ｓに依存する。例えば、可能な強度値２０２の最小と最大との間の全ての可能な離散値をテストすることにより、及び／又は、品質の測定としての自己矛盾のない条件の達成を用いる最適化アルゴリズムを用いることにより、閾値ｓを、それ故に、自己矛盾なく決定する。
図３は、二値オブジェクトマスク２３０の２つの隣接するオブジェクト１ａ及び１ｂが互いに分離される、ステップ２４０を例示する。明確性の理由のために、図３のオブジェクト１ａ及び１ｂは、ベタ領域として描かれず、それらの輪郭のみが示される。さらに、オプションのステップ２５０において決定される中心点２５０ａ及び２５０ｂがプロットされる。
オブジェクト１ａ及び１ｂは、線１ｃに沿って、互いに隣接する。共通の境界１ｃは、第１のオブジェクト１ａの第１の境界１ｄ、及び、第１の境界１ｄに相隔たる第２のオブジェクト１ｂの第２の境界１ｅに分割される。このように適合させる二値オブジェクトマスク２３０において、オブジェクト１ａ及び１ｂの輪郭は、もはや接触せず、少なくとも１ピクセルのギャップがある。二値オブジェクトマスク２３０のさらなる使用において、２つのオブジェクト１ａ及び１ｂは、したがって、分離オブジェクト１１として、正しく認識される。
図４は、オブジェクト１が分散される領域２における二値オブジェクトマスク２３０を介して配置されたオブジェクト１の更なる検査を示す。第１のステップ１６０において、オブジェクト１はレーザビーム４に照射される。対物レンズ４１から現れるレーザビーム４が、前に同定したオブジェクト１にぶつかるように、オブジェクト１がその上に分散された基材１０が、結び付いた位置決めテーブル１６０ａと共に、Ｘ−Ｙ位置制御により動かされることにおける、図４に示す例示的実施形態において、それが実現される。
そのように実施することにおいて、対物レンズ４１又は基材１０が動かされるかどうかについては、多くのアプリケーションに対して、違いは生じない。オブジェクト１にラマン散乱を検査すべき場合、しかしながら、そうでなければ、色収差（「空間応答」）が測定結果を偽り得るため、レーザビーム４は、光軸上でできるだけ正確に、対物レンズから現れるべきである。その結果、レーザビーム４を、対物レンズ４１の光軸に対して、正確にクリーンアップに保ち、代わりに基材１０を動かすことは、有利である。原則として、レーザ及び対物レンズ４１を、共に、ユニットとして、動かすことも可能であり、したがって、レーザビーム４は、対物レンズ４１の光軸から離れない。しかしながら、特に、より高出力のレーザは、基材１０よりも、大幅により強く、もっと多量のため、これは、もっと複雑である。
この場合はラマン散乱光である、オブジェクト１の応答５は、第２のステップ１７０において、評価される。結果は、オブジェクト１の分子特有のラマンスペクトル６である。波数ｋについての強度Ｉがプロットされる。
オプションとして、ステップ１８０により、影響２０をオブジェクト１に与えることができる。例えば、オブジェクト１が細胞の場合、細胞は、例えば、物質、温度、照射又は栄養素の欠乏にさらされ得る。例えば、比較的にゆっくりと作用する影響２０は、作用し続けることができ、その間に、基材１０上のオブジェクト１は、ステップ１６０及び１７０により、繰り返し、検査することができる。より速く作用する影響２０の作用は、例えば、ステップ１６０及び１７０による検査と交互に行うことができる。
図５は、レーザビーム４の強度分布４ａに基づくタイミングプログラムによる、レーザビーム４のスキャニング１６５を例示する。本例示のオブジェクト１は、基材１０上の細長く広がった構造である。図４に類似して、基材１０が位置決めテーブル１６５ａの上で動かされることで、スキャニング１６５は、再び、行われる。対物レンズ４１から現れるレーザビーム４は、第１近似でガウス分布のビームプロファイル４ａを有する。対物レンズ４１、及び、したがって、レーザビーム４も、一か所にとどまる場合、全体のオブジェクト１は、照射されないことになる。たとえ、焦点が、オブジェクト１を完全に捕えるのに十分に広いとしても、オブジェクト１の個々の領域は、非常に異なって照射されるであろう。材料と共に、オブジェクト１内のコントラストは、オブジェクト１の検査において、アーチファクトを引き起こし得る。スキャニング１６５は、ビームプロファイル４ａの効果を補償し、したがって、アーチファクトを避ける。
原則として、レーザビーム４のビームプロファイル４ａは、レーザビーム４を広げることにより、及び／又は、いくつかのモードを重ね合わせる（「モードスクランブリング」）ことにより、また、均質にすることができる。ガウス分布の使用により、しかしながら、共焦点画像化技術を使って作業すること、及び、特に、オブジェクト１の深さプロファイルも創生すること、が可能になるという、優位性が提供される。
図６は、複数の基材１０〜１２で得られる情報の組合わせを図式的に示す。図６ａは、それぞれ、オブジェクト１の異なる分布を含む３つの基材１０、１１及び１２を示し、オブジェクト１は、例えば、異なる血液のサンプルから取られ、又は、異なる物質にさらされている。
図６ｂにより、第１の基材１０上のオブジェクト１は、ステップ１６０の後に、最初に、光４で照射され、ステップ１７０の後に、照射１６０に対する応答５が評価される。ステップ１９０において、全てのオブジェクト１から得られる応答５は、融合される。
図６ｃにより、第２の基材１１上のオブジェクト１は、類似の方法で今や検査され、得られた応答５は、ステップ１９０において、前に得られた応答５に結合され、図６ｂに比較して、図６ｃにおいて、応答５の増大したレベルにより示される。
図６ｄにより、第３の基材１２上のオブジェクト１は、今やまた検査され、得られた応答５は、ステップ１９０において、これまでに得られた応答５の全てに結合される。図６ｃに比較して、図６ｄは、再度、応答５の増大したレベルでこれを例示する。
図７は、全ての３つの基材１０〜１２の上のオブジェクト１からステップ１９０の繰り返しの実施により収集された応答５のさらなる評価を図式的に示す。
ステップ１９２において、応答５は、多変数解析により評価される。この解析の結果は、その内、２つの特性が例として図７にスケッチされている、多くの特性は、基材１０〜１２の上で作用する影響２０に相関し、さもなければ、基材１０〜１２の内の１つに、それぞれ検査されるオブジェクト１の結び付きに相関することである。
ステップ１９２で得られた多変数解析を、ステップ１９４により、さらに評価することにより、分類器３０が得られる。分類器３０を利用して、さらなる基材１３上のオブジェクト１を分析することができる。図６ｂから６ｄに類似して得られた照射１６０に対するこれらのオブジェクト１の応答５は、基材１３上のオブジェクト１の特性２１の値がｘに等しいという、図７に示す例の分類器３０からの提示を与える。同様に、例えば、基材１３上のオブジェクト１は、基材１０上のオブジェクト１に最も類似しているが、基材１１上のオブジェクト１に最も類似していないという、提示を与えることができる。
１、１ａ、１ｂ オブジェクト
１ｃ 隣接するオブジェクト１ａ、１ｂ間の境界
１ｄ オブジェクト１ａの新しい境界
１ｅ オブジェクト１ｂの新しい境界
２ オブジェクト１が分散される領域
３ 背景
４ 光ビーム
４ａ 光ビーム４の強度分布
５ 光ビームに対するオブジェクト１の応答
６ ラマンスペクトル
１０〜１３ 基材
２０ 影響
３０ 分類器
４１ 対物レンズ
１０５ 背景３の評価２０５を得る
１０６ 評価２０５の計算及び
１０８ 閾値２０８の定義
１１０ 二値画像２１０の生成
１２０ 二値画像２１０のクリーニング
１３０ 形態上の閉鎖
１４０ 共通の境界１ｃを、境界１ｄ、１ｅに分割する
１５０ 中心点２５０ａ、２５０ｂを評価する
１６０ 光ビーム４でのオブジェクト１の照射
１６０ａ 照射１６０のための位置決めテーブル
１６５ 光ビーム４でスキャンする
１７０ 光ビーム４に対するオブジェクト１の応答５の評価
１８０ 影響２０のオブジェクト１への作用
１９０ 応答５の基材間融合
１９２ 多変数解析
１９５ 分類器３０による特性の割り当て
２００ 領域２の概観画像
２００ａ オブジェクト１のない領域２の第２の概観画像
２０１ ピクセル２００の概観画像
２０２ ピクセル２０１の強度値
２０２ａ 閾２０８の側の強度値２０２
２０２ｂ 閾２０８を超える強度値２０２
２０５ 背景３の評価
２０８ 閾
２１０ 二値画像
２１８ 二値画像２１０の中のオブジェクト１の輪郭のギャップ
２１９ 二値画像２１０のオブジェクト１より小さい構造
２２０ クリーンアップ画像
２３０ 二値オブジェクトマスク
２５０ａ、２５０ｂ オブジェクト１ａ、１ｂの中心点
h(i) ピクセル２０１の中の強度値iの頻度
i 強度値
Ｉ 強度
ｋ 波数
m0 強度値２０２ａの第１の平均値
m1 強度値２０２ｂの第２の平均値
ｓ 閾２０８の閾値
１ｃ 隣接するオブジェクト１ａ、１ｂ間の境界
１ｄ オブジェクト１ａの新しい境界
１ｅ オブジェクト１ｂの新しい境界
２ オブジェクト１が分散される領域
３ 背景
４ 光ビーム
４ａ 光ビーム４の強度分布
５ 光ビームに対するオブジェクト１の応答
６ ラマンスペクトル
１０〜１３ 基材
２０ 影響
３０ 分類器
４１ 対物レンズ
１０５ 背景３の評価２０５を得る
１０６ 評価２０５の計算及び
１０８ 閾値２０８の定義
１１０ 二値画像２１０の生成
１２０ 二値画像２１０のクリーニング
１３０ 形態上の閉鎖
１４０ 共通の境界１ｃを、境界１ｄ、１ｅに分割する
１５０ 中心点２５０ａ、２５０ｂを評価する
１６０ 光ビーム４でのオブジェクト１の照射
１６０ａ 照射１６０のための位置決めテーブル
１６５ 光ビーム４でスキャンする
１７０ 光ビーム４に対するオブジェクト１の応答５の評価
１８０ 影響２０のオブジェクト１への作用
１９０ 応答５の基材間融合
１９２ 多変数解析
１９５ 分類器３０による特性の割り当て
２００ 領域２の概観画像
２００ａ オブジェクト１のない領域２の第２の概観画像
２０１ ピクセル２００の概観画像
２０２ ピクセル２０１の強度値
２０２ａ 閾２０８の側の強度値２０２
２０２ｂ 閾２０８を超える強度値２０２
２０５ 背景３の評価
２０８ 閾
２１０ 二値画像
２１８ 二値画像２１０の中のオブジェクト１の輪郭のギャップ
２１９ 二値画像２１０のオブジェクト１より小さい構造
２２０ クリーンアップ画像
２３０ 二値オブジェクトマスク
２５０ａ、２５０ｂ オブジェクト１ａ、１ｂの中心点
h(i) ピクセル２０１の中の強度値iの頻度
i 強度値
Ｉ 強度
ｋ 波数
m0 強度値２０２ａの第１の平均値
m1 強度値２０２ｂの第２の平均値
ｓ 閾２０８の閾値
Claims (16)
- オブジェクト（１）が分散される領域（２）の概観画像（２００）を用いて、複数の分散オブジェクト（１）を検査するための方法であって、該方法は、
前記概観画像（２００）のピクセル（２０１）の強度値（２０２）を、該強度値（２０２）が所定の閾値（２０８）以下であるか、又は、所定の閾値（２０８）より大きいかどうか、に関して、分類された強度値（２０２ａ、２０２ｂ）とすることにより、前記概観画像（２００）を二値画像（２１０）に変換するステップ（１１０）と、
前記オブジェクト（１）より小さい構造（２１９）を二値画像（２１０）からクリーンアップするステップ（１２０）であって、そのため、クリーンアップ画像（２２０）を生じる、ステップと、
前記クリーンアップ画像（２２０）を形態的に閉じ、二値オブジェクトマスク（２３０）を形成するステップ（１３０）であって、該二値オブジェクトマスク（２３０）は、前記領域（２）のどの位置が前記オブジェクト（１）に属するか、前記領域（２）のどの位置が前記オブジェクト（１）に属していないかを示す、ステップと、を有し、
前記二値オブジェクトマスク（２３０）により、前記オブジェクト（１）が配置される領域（２）の中の少なくとも１つの位置が、望ましくはレーザビームである光ビーム（４）に照射され（１６０）、照射（１６０）に対する前記オブジェクト（１）の応答（５）が評価され（１７０）、
基材（１０）の上に分散される生体細胞、望ましくは、真核細胞、は、前記オブジェクト（１）として選択され、
数個の基材（１０〜１２）の上の細胞（１）は、前記光ビーム（４）に照射され（１６０）、各ケースにおいて、前記細胞（１）の前記照射（１６０）に対する前記応答（５）は、前記数個の基材（１０〜１２）間で融合される（１９０）ことを特徴とする、方法。 - 前記閾値（２０８）は、前記閾値（２０８）より下の前記概観画像（２００）のピクセル（２０１ａ）の全ての強度値（２０２ａ）の第１の平均値m0と、前記閾値（２０８）より上の前記概観画像（２００）のピクセル（２０１ｂ）の全ての強度値（２０２ｂ）の第２の平均値m1との間の中央にあるように、前記閾値（２０８）を設定する（１０８）ことを特徴とする、請求項１に記載の方法。
- 前記二値画像（２１０）の少なくとも１つの統計学的モーメントが、前記概観画像（２００）の対応する統計学的モーメントに最大限に一致するように、前記閾値（２０８）を設定する（１０８）ことを特徴とする、請求項１又は請求項２に記載の方法。
- 焦点がぼけた、前記領域（２）の顕微鏡の明視野画像を概観画像（２００）として選択することを特徴とする、請求項１から請求項３のいずれか１項に記載の方法。
- 前記概観画像（２００）から、実質的にオブジェクト（１）を除去し、強度をぼやかすことにより、背景の評価（２０５）を得る、ステップ（１０５）と、
前記概観画像（２００）を前記二値画像（２１０）に変換するステップ（１１０）の前に、前記概観画像（２００）は、前記背景の評価（２０５）の減算により、置き換えられる、ステップ（１０６）と、を有することを特徴とする、請求項１から請求項４のいずれか１項に記載の方法。 - 背景の評価（２０５）は、オブジェクト（１）のない第２の概観画像（２００ａ）を記録することにより、得られ（１０５）、前記概観画像（２００）は、前記変換するステップ（１１０）の前に、前記背景の評価（２０５）により、点ごとに、前記二値画像（２１０）に分割される（１０６）ことを特徴とする、請求項１から請求項５のいずれか１項に記載の方法。
- 前記二値オブジェクトマスク（２３０）において、隣接するオブジェクト（１ａ、１ｂ）の少なくとも１つの共通の境界（１ｃ）は、第１のオブジェクト（１ａ）の第１の境界（１ｄ）、及び、該第１の境界（１ｄ）から相隔たる第２のオブジェクト（１ｂ）の第２の境界（１ｅ）に、特に、流域変換により、分割される（１４０）ことを特徴とする、請求項１から請求項６のいずれか１項に記載の方法。
- 少なくとも１つのオブジェクト（１）の中心点（２５０ａ、２５０ｂ）は、前記二値オブジェクトマスク（２３０）から評価される（１５０）ことを特徴とする、請求項１から請求項７のいずれか１項に記載の方法。
- 前記二値オブジェクトマスク（２３０）に基づいて、前記オブジェクト（１）に対して前記光ビーム（４）でスキャンし（１６５）、前記光ビーム（４）の空間強度分布（４ａ）を考慮するスキャニングのタイミングプログラムは、全受光線量の空間分布が、前記オブジェクト（１）に対して、均質化されるように、選択されることを特徴とする、請求項１に記載の方法。
- 前記オブジェクト（１）の少なくとも１つのラマンスペクトル（６）は、前記照射（１６０）に対する前記応答（５）から評価される（１７０）ことを特徴とする、請求項１又は請求項９に記載の方法。
- 基材（１０）の上の細胞（１）は、影響（２０）にさらされ（１８０）、前記細胞（１）は、光ビーム（４）に繰り返し照射され（１６０）、各ケースにおいて、前記細胞（１）の前記照射（１６０）に対する応答（５）は、評価される（１７０）ことを特徴とする、請求項９又は請求項１０に記載の方法。
- 応答（５）の全体から、影響（２０）の下で、及び／又は、１つの基材（１０〜１２）から別の基材（１０〜１２）へ、統計的に有意な方法で、細胞（１）のどの特性（２１〜２２）が変化するかを評価する（１９２）ために、多変数解析が用いられることを特徴とする、請求項１又は請求項１１に記載の方法。
- 主成分分析（ＰＣＡ）が多変数解析として選択され、及び／又は、純粋成分のスペクトルは、最小二乗適合により、測定したスペクトルに適合することを特徴とする、請求項１２に記載の方法。
- 多変数解析（１９２）から、さらなる基材（１３）の上の細胞（１）で得られた照射（１６０）に対する応答（５）を、前記基材（１３）に適用できる少なくとも１つの特性（２１〜２２）の値に割り当てる（１９５）、分類器（３０）を評価する（１９４）ことを特徴とする、請求項１２又は請求項１３に記載の方法。
- 前記分類器（３０）は、線形判別分析（ＬＤＡ）又はサポートベクターマシン（ＳＶＭ）により、評価される（１９４）ことを特徴とする、請求項１４に記載の方法。
- コンピュータ可読プログラムがコンピュータにより実施されるときに、前記コンピュータ及び前記コンピュータに接続された任意の測定装置に、請求項１から請求項１５のいずれか１項に記載の方法を実施させる命令を有する、コンピュータ可読プログラムを備える、コンピュータプログラムプロダクト。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102016105102.0 | 2016-03-18 | ||
| DE102016105102.0A DE102016105102A1 (de) | 2016-03-18 | 2016-03-18 | Verfahren zur Untersuchung verteilter Objekte |
| PCT/IB2017/051554 WO2017158560A1 (de) | 2016-03-18 | 2017-03-17 | Verfahren zur untersuchung verteilter objekte unter segmentierung eines übersichtbildes |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019510223A JP2019510223A (ja) | 2019-04-11 |
| JP6970112B2 true JP6970112B2 (ja) | 2021-11-24 |
Family
ID=58455371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018548727A Active JP6970112B2 (ja) | 2016-03-18 | 2017-03-17 | 概観画像をセグメント化することにより分散オブジェクトを検査するための方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11599738B2 (ja) |
| EP (1) | EP3430565B1 (ja) |
| JP (1) | JP6970112B2 (ja) |
| CN (1) | CN109478230A (ja) |
| DE (1) | DE102016105102A1 (ja) |
| WO (1) | WO2017158560A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3095541B1 (fr) * | 2019-04-24 | 2021-09-24 | Safran Electronics & Defense | Procede de detection de cibles |
| EP3987481A1 (en) * | 2019-06-18 | 2022-04-27 | SurgVision GmbH | Luminescence imaging with refining loop based on combination of partial illuminations |
| US20220028068A1 (en) * | 2020-07-23 | 2022-01-27 | Nec Laboratories America, Inc. | Multi-scale tumor cell detection and classification |
| CN116416249B (zh) * | 2023-06-08 | 2023-09-05 | 张家港市民华塑胶有限公司 | 一种人造运动草丝的质量检测评估方法及系统 |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0664038B1 (en) * | 1992-02-18 | 2000-10-11 | Neopath, Inc. | Method for identifying objects using data processing techniques |
| US5436979A (en) * | 1992-08-21 | 1995-07-25 | Eastman Kodak Company | Process for detecting and mapping dirt on the surface of a photographic element |
| DE19717814B4 (de) * | 1997-04-26 | 2008-06-05 | Klaus Prof. Dr. Wevelsiep | Verfahren zur Segmentierung von Schriftzeichen und Symbolen auf Kfz-Kennzeichenschildern und formatierten Datenträgern sowie zur Segmentierung von Mustern in komplexen Szenen |
| WO2000004497A1 (en) * | 1998-07-14 | 2000-01-27 | The Perkin-Elmer Corporation Pe Biosystems Division | Automatic masking of objects in images |
| US6233364B1 (en) * | 1998-09-18 | 2001-05-15 | Dainippon Screen Engineering Of America Incorporated | Method and system for detecting and tagging dust and scratches in a digital image |
| GB2377333A (en) * | 2001-07-07 | 2003-01-08 | Sharp Kk | Segmenting a pixellated image into foreground and background regions |
| GB0226787D0 (en) * | 2002-11-18 | 2002-12-24 | Qinetiq Ltd | Measurement of mitotic activity |
| US7689038B2 (en) * | 2005-01-10 | 2010-03-30 | Cytyc Corporation | Method for improved image segmentation |
| GB0503087D0 (en) * | 2005-02-15 | 2005-03-23 | Medical Solutions Plc | Apparatus and method for processing of specimen images for use in computer analysis thereof |
| US20080292194A1 (en) * | 2005-04-27 | 2008-11-27 | Mark Schmidt | Method and System for Automatic Detection and Segmentation of Tumors and Associated Edema (Swelling) in Magnetic Resonance (Mri) Images |
| US7796815B2 (en) * | 2005-06-10 | 2010-09-14 | The Cleveland Clinic Foundation | Image analysis of biological objects |
| ATE477558T1 (de) * | 2006-11-16 | 2010-08-15 | Visiopharm As | Auf merkmalen basierende registrierung von schnittbildern |
| AU2008251350A1 (en) * | 2007-05-11 | 2008-11-20 | Translational Genomics Research Institute | Method for determining the effects of external stimuli on biological pathways in living cells |
| JP2008304298A (ja) * | 2007-06-07 | 2008-12-18 | Panasonic Corp | 細菌判別装置および細菌判別方法 |
| DE102008059788B4 (de) * | 2008-12-01 | 2018-03-08 | Olympus Soft Imaging Solutions Gmbh | Analyse und Klassifizierung insbesondere biologischer oder biochemischer Objekte auf Basis von Zeitreihen-Bildern, anwendbar bei der zytometrischen Time-Lapse-Zellanalyse in der bildbasierten Zytometrie |
| GB2466818B (en) * | 2009-01-09 | 2014-08-13 | Inst Cancer Genetics And Informatics | Optimizing the initialization and convergence of active contours for segmentation of cell nuclei in histological sections |
| DE102010063965A1 (de) * | 2010-12-22 | 2012-06-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zur Bestimmung von Objekten einer Farbaufnahme |
| CN102073852B (zh) * | 2011-01-14 | 2013-01-09 | 华南理工大学 | 基于最优阈值和随机标号法的多车辆分割方法 |
| US9390342B2 (en) * | 2011-10-17 | 2016-07-12 | Sharp Laboratories Of America, Inc. | Methods, systems and apparatus for correcting perspective distortion in a document image |
| US8705834B2 (en) * | 2011-11-08 | 2014-04-22 | Perkinelmer Cellular Technologies Germany Gmbh | Methods and apparatus for image analysis using threshold compactness features |
| WO2013155358A1 (en) * | 2012-04-11 | 2013-10-17 | The Trustees Of Columbia University In The City Of New York | Techniques for segmentation of lymph nodes, lung lesions and other solid or part-solid objects |
| GB201217633D0 (en) * | 2012-10-02 | 2012-11-14 | Dublin Inst Of Technology | Targetin cell nuclei for the automation of raman spectroscopy in cytology |
| CA2890437C (en) * | 2012-11-06 | 2021-02-02 | Chemimage Corporation | System and method for serum based cancer detection |
| CN103093240A (zh) * | 2013-01-18 | 2013-05-08 | 浙江大学 | 书法字识别方法 |
| ES2671799T3 (es) * | 2013-05-24 | 2018-06-08 | The Regents Of The University Of California | Identificación de linfocitos T deseables por cambio en respuestas de masa |
| WO2015015941A1 (en) * | 2013-08-02 | 2015-02-05 | Osaka University | An apparatus for tracking in spectroscopy through fast imaging modality |
| US20150071541A1 (en) * | 2013-08-14 | 2015-03-12 | Rice University | Automated method for measuring, classifying, and matching the dynamics and information passing of single objects within one or more images |
| US10004403B2 (en) * | 2014-08-28 | 2018-06-26 | Mela Sciences, Inc. | Three dimensional tissue imaging system and method |
| US10812815B2 (en) * | 2014-08-29 | 2020-10-20 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for compressing video images |
-
2016
- 2016-03-18 DE DE102016105102.0A patent/DE102016105102A1/de active Pending
-
2017
- 2017-03-17 US US16/086,270 patent/US11599738B2/en active Active
- 2017-03-17 JP JP2018548727A patent/JP6970112B2/ja active Active
- 2017-03-17 WO PCT/IB2017/051554 patent/WO2017158560A1/de active Application Filing
- 2017-03-17 EP EP17714563.8A patent/EP3430565B1/de active Active
- 2017-03-17 CN CN201780030610.8A patent/CN109478230A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017158560A1 (de) | 2017-09-21 |
| US20210081633A1 (en) | 2021-03-18 |
| JP2019510223A (ja) | 2019-04-11 |
| US11599738B2 (en) | 2023-03-07 |
| EP3430565B1 (de) | 2023-10-25 |
| DE102016105102A1 (de) | 2017-09-21 |
| EP3430565A1 (de) | 2019-01-23 |
| CN109478230A (zh) | 2019-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7342086B2 (ja) | 細胞分泌プロファイルの分析およびスクリーニング | |
| JP6970112B2 (ja) | 概観画像をセグメント化することにより分散オブジェクトを検査するための方法 | |
| US12094105B2 (en) | System and method for automatic labeling of pathology images | |
| US8160348B2 (en) | Methods and system for validating sample images for quantitative immunoassays | |
| EP2976747B1 (en) | Image quality assessment of microscopy images | |
| JP5717647B2 (ja) | 多核細胞分類および微小核点数化 | |
| JP6235886B2 (ja) | 生体組織画像の再構成方法及び装置並びに該生体組織画像を用いた画像表示装置 | |
| JP6144916B2 (ja) | 生体組織画像のノイズ低減処理方法及び装置 | |
| Iwabuchi et al. | Evaluation of the effectiveness of Gaussian filtering in distinguishing punctate synaptic signals from background noise during image analysis | |
| JP4029983B2 (ja) | 微生物の検査装置および検査方法 | |
| CN103620392B (zh) | 具有光学不均匀性的测定的评估方法及装置 | |
| Bower et al. | A quantitative framework for the analysis of multimodal optical microscopy images | |
| DK201570249A1 (en) | Method and system for detection of fluid inclusion | |
| US20230058796A1 (en) | Fluorescence image analysis method, fluorescence image analyzer, fluorescence image analysis program | |
| WO2024209965A1 (ja) | 陽性判定方法、画像解析システムおよび情報処理装置 | |
| EP3576096A1 (en) | Sensitivity analysis for digital pathology | |
| CN114463745A (zh) | 目标蛋白快速识别及定量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200302 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210824 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210907 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211005 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211028 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6970112 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |