JP7130109B2 - 検査装置および検査方法 - Google Patents
検査装置および検査方法 Download PDFInfo
- Publication number
- JP7130109B2 JP7130109B2 JP2021503280A JP2021503280A JP7130109B2 JP 7130109 B2 JP7130109 B2 JP 7130109B2 JP 2021503280 A JP2021503280 A JP 2021503280A JP 2021503280 A JP2021503280 A JP 2021503280A JP 7130109 B2 JP7130109 B2 JP 7130109B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- fine particles
- particle image
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 85
- 238000007689 inspection Methods 0.000 title claims description 52
- 239000010419 fine particle Substances 0.000 claims description 190
- 238000012545 processing Methods 0.000 claims description 127
- 239000002245 particle Substances 0.000 claims description 99
- 241000894006 Bacteria Species 0.000 claims description 54
- 230000008569 process Effects 0.000 claims description 52
- 239000011859 microparticle Substances 0.000 claims description 42
- 238000003384 imaging method Methods 0.000 claims description 26
- 230000012010 growth Effects 0.000 claims description 16
- 230000035755 proliferation Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 10
- 230000001629 suppression Effects 0.000 claims description 10
- 239000007788 liquid Substances 0.000 claims description 9
- 230000007423 decrease Effects 0.000 claims description 6
- 230000005764 inhibitory process Effects 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 25
- 238000000605 extraction Methods 0.000 description 20
- 230000001580 bacterial effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000003860 storage Methods 0.000 description 10
- 210000004027 cell Anatomy 0.000 description 8
- 230000004899 motility Effects 0.000 description 8
- 239000012488 sample solution Substances 0.000 description 8
- 239000011324 bead Substances 0.000 description 7
- CEAZRRDELHUEMR-URQXQFDESA-N Gentamicin Chemical compound O1[C@H](C(C)NC)CC[C@@H](N)[C@H]1O[C@H]1[C@H](O)[C@@H](O[C@@H]2[C@@H]([C@@H](NC)[C@@](C)(O)CO2)O)[C@H](N)C[C@@H]1N CEAZRRDELHUEMR-URQXQFDESA-N 0.000 description 6
- 229930182566 Gentamicin Natural products 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 229960002518 gentamicin Drugs 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 229940043312 ampicillin / sulbactam Drugs 0.000 description 5
- 239000003242 anti bacterial agent Substances 0.000 description 5
- 239000000427 antigen Substances 0.000 description 5
- 102000036639 antigens Human genes 0.000 description 5
- 108091007433 antigens Proteins 0.000 description 5
- 239000000306 component Substances 0.000 description 5
- NWOYIVRVSJDTLK-YSDBFZIDSA-L disodium;(2s,5r,6r)-6-[[(2r)-2-amino-2-phenylacetyl]amino]-3,3-dimethyl-7-oxo-4-thia-1-azabicyclo[3.2.0]heptane-2-carboxylate;(1r,4s)-3,3-dimethyl-2,2,6-trioxo-2$l^{6}-thiabicyclo[3.2.0]heptane-4-carboxylate Chemical compound [Na+].[Na+].O=S1(=O)C(C)(C)[C@H](C([O-])=O)C2C(=O)C[C@H]21.C1([C@@H](N)C(=O)N[C@H]2[C@H]3SC([C@@H](N3C2=O)C([O-])=O)(C)C)=CC=CC=C1 NWOYIVRVSJDTLK-YSDBFZIDSA-L 0.000 description 5
- 239000006185 dispersion Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 239000012472 biological sample Substances 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 239000008280 blood Substances 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 229940079593 drug Drugs 0.000 description 4
- 238000002955 isolation Methods 0.000 description 4
- 208000005443 Circulating Neoplastic Cells Diseases 0.000 description 3
- 210000000601 blood cell Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 229940088710 antibiotic agent Drugs 0.000 description 2
- 230000010261 cell growth Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 238000000684 flow cytometry Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000001000 micrograph Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 241000589517 Pseudomonas aeruginosa Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004520 agglutination Effects 0.000 description 1
- 230000000844 anti-bacterial effect Effects 0.000 description 1
- 230000000845 anti-microbial effect Effects 0.000 description 1
- 239000004599 antimicrobial Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012258 culturing Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000003495 flagella Anatomy 0.000 description 1
- 125000000524 functional group Chemical group 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- QWXYZCJEXYQNEI-OSZHWHEXSA-N intermediate I Chemical compound COC(=O)[C@@]1(C=O)[C@H]2CC=[N+](C\C2=C\C)CCc2c1[nH]c1ccccc21 QWXYZCJEXYQNEI-OSZHWHEXSA-N 0.000 description 1
- 239000004816 latex Substances 0.000 description 1
- 229920000126 latex Polymers 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000012533 medium component Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000002062 proliferating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009870 specific binding Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
- C12M41/46—Means for regulation, monitoring, measurement or control, e.g. flow regulation of cellular or enzymatic activity or functionality, e.g. cell viability
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
- C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
- C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
- C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
- C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
- C12Q1/04—Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
- C12Q1/06—Quantitative determination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
- G06T5/75—Unsharp masking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
- C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
- C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30072—Microarray; Biochip, DNA array; Well plate
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Organic Chemistry (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Wood Science & Technology (AREA)
- Zoology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Proteomics, Peptides & Aminoacids (AREA)
- Biotechnology (AREA)
- Microbiology (AREA)
- Biochemistry (AREA)
- General Engineering & Computer Science (AREA)
- Genetics & Genomics (AREA)
- Analytical Chemistry (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Sustainable Development (AREA)
- Immunology (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Signal Processing (AREA)
- Cell Biology (AREA)
- Geometry (AREA)
- Toxicology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
Description
図1は、判別分析を利用した二値化により、微粒子の領域を誤認識した画像と増加曲線の例を示す図である。当該図1を参照して、顕微鏡画像中の微粒子が存在する領域の誤認識が生じる原因について説明する。
(1)第1の実施形態
第1の実施形態は、検査プレートの各ウェルの第1の微粒子の画像を取得し、第1の微粒子の画像から輪郭抽出によって第2の微粒子の画像を算出し、第1および第2の画像の論理演算を行い、微粒子が存在する領域を二値化により決定することにより、微粒子の増加の度合いを判定する形態について開示する。
図3は、本開示の実施形態の微粒子検査装置の概略構成例を示す図である。微粒子検査装置100は、照明部101と、検査プレート102と、ステージ103と、対物レンズ104と、撮像部105と、画像処理部106と、制御部107とを備えている。
図5は、第1の実施形態における、画像処理部106における画像処理の詳細を説明するためのフローチャートである。ここで、以降の説明において、画像は8bitのグレースケール画像とし、画素値0が黒、255が白とする。8bit以外のグレースケール画像や、白黒反転した画像でも本実施形態の処理は有効である。また、カラー画像に関してもグレースケール画像へ変換することで同様の処理が可能である。
(i)ステップ200
画像処理部106は、撮像部105によって取得された画像を受信し、以下のステップの処理を実行する。ここで、好ましい条件において撮像された画像では、微粒子の内部は白く、また輪郭は黒く映る場合が多い。
(ii)ステップ201
画像処理部106は、ステップ200で取得した画像を複製し、画像処理部106の内部メモリ(図示せず)あるいは制御部107のメモリ(図示せず)に格納する。この複製画像は、後の処理で使用するために、画像処理は実施されず、第1の微粒子の画像として当該メモリに保持される。
(iii)ステップ202
画像処理部106は、画像処理部106の内部メモリ(図示せず)あるいは制御部107のメモリ(図示せず)から第1の微粒子画像を取得し、これに対して輪郭抽出処理を行う。微粒子の輪郭を抽出するための処理として、例えば、分散フィルタが挙げられる。分散フィルタでは、注目する画素の値を、その画素の周囲の画素の分散値に置き換える処理を実行する。微粒子が存在する画素では、微粒子が存在しない周囲の画素との変化が大きくなるため、微粒子の輪郭を抽出することができる。
(iv)ステップ203
画像処理部106は、第1の微粒子の画像と第2の微粒子の画像とを画像処理部106の内部メモリ(図示せず)あるいは制御部107のメモリ(図示せず)から読み出し、それらの論理演算を行う。論理演算では、2つの画像の同じ位置における画素の値同士が演算される(例えば、論理積の演算が行われる)。2つの画像の論理積演算を行った場合、ステップ202で微粒子の輪郭が抽出できた領域(第2の微粒子画像)、およびステップ200の元画像(第1の微粒子画像)中で画素値が低く暗い領域の両者を黒く認識することができる。つまり、輪郭抽出された領域かつ暗い領域が抽出されることになる。
(v)ステップ204
画像処理部106は、ステップ203で得られた画像を二値化する。論理積演算によって得られた画像の画素値は、例えば8bitの場合、0~255の幅を持っている。このため、微粒子の領域を認識する際に支障をきたすが、白黒の二値化により黒くなった領域が微粒子の領域であるとすると、微粒子の領域の識別は容易となる。本実施形態においては論理積演算を用いるため、二値化前の画像には元画像(第1の微粒子画像)の背景に相当する明暗情報が含まれており、一定閾値での二値化でよいが、画像毎に判別して決めてもよい。例えば、画像内の微粒子の明るさやコントラストは照明部101の光量や検査プレート102の材質によって異なり、また画像中の微粒子の濃度によっても変化する。従って、例えば、最適な二値化の閾値は同一ウェルであっても経時的に変化し、画像ごとに自動で判定するようにしてもよい。
(vi)ステップ205
画像処理部106は、ステップ204で得られた二値化画像から、微粒子として黒色で認識された領域について特徴量を抽出する。特徴量として、微粒子の面積、周長、真円度、短軸・長軸の長さおよびそれらの比、などが挙げられる。例えば、各微粒子の特徴量を演算するのではなく、各画像における微粒子の特徴量の平均値を演算するようにしてもよい。
(vii)ステップ206
画像処理部106は、ステップ205により算出された特徴量を用いて、微粒子の増加の度合いを判定する。例えば、事前に画像解析以外の手法を用いて測定された結果を教師データとして学習し、微粒子の増加を判定する判別式を作成して判別を行うようにしてもよい。例えば、n個のデータから得られた特徴量と、別の方法で得られた、細胞が増殖しているかして否かという情報とを結び付け、それを教師データとする。そして、n+1個目のデータ(画像)が入力されたら、ステップ205までの処理はこれまで同様に行って、増加判定の処理は、教師データを用いて、推測して判定するようにしてもよい。この場合、データ量がある程度蓄積されることが条件となる。
図6は、微粒子検査装置100によって得られた画像に対して、図5のステップ200~204の処理を実行したときの結果を例示する図である。図6Aは、測定開始後2時間経過時の画像処理結果を示し、図6Bは、測定開始後8時間経過時の画像処理結果を示している。
第1の実施形態では、顕微鏡光学系によって撮像された第1の微粒子の画像と、第1の微粒子の画像から輪郭抽出によって第2の微粒子の画像を算出し、第1および第2の画像の論理演算を行う。このようにすることにより、微粒子が孤立して存在する場合だけでなく、微粒子の増加が進み画像全体が微粒子で埋めつくされた場合にも、正しく微粒子を認識することが可能である。
(2)第2の実施形態
第2の実施形態は、顕微鏡の焦点方向に広がった分布をもって微粒子が存在する場合など、図2に示したような顕微鏡撮像において微粒子の輪郭を明瞭に捉えにくい場合に効果的な画像処理について提案する。なお、第2の実施形態による微粒子検査装置は、第1の実施形態による微粒子検査装置100と同様の構成を備えているので、その説明は省略する。
図7は、微粒子検査装置100で実行される、第2の実施形態による画像処理の詳細を説明するためのフローチャートである。図7において、図5と同じ符号で示された処理については、第1の実施形態で説明した通りであるため、主に異なる点について説明することとする。第1の実施形態との差異は、画像複製後に2種類の画像の輝度値調整が追加されている点である。ここで、画像の輝度値調整には、画像の明暗の差であるコントラストを変更させるコントラスト調整(輝度値調整1)と、画像の輝度値を全体的に一定値上下させる明暗調整(輝度値調整2)が含まれる。
(i)ステップ301
画像処理部106は、画像処理部106の内部メモリ(図示せず)あるいは制御部107のメモリ(図示せず)から第1の微粒子画像を取得し、これに対して輝度値調整処理(輝度値調整1:コントラスト調整)を実行する。輪郭抽出の前段階において、ステップ301の輝度値調整1が実施される。
(ii)ステップ202
画像処理部106は、コントラスト調整された微粒子画像の輪郭を抽出する。抽出された輪郭の画像は、第2の微粒子画像として、例えば、画像処理部106の内部メモリ(図示せず)あるいは制御部107のメモリ(図示せず)に保持される。
(ii)ステップ302
画像処理部106は、画像処理部106の内部メモリ(図示せず)あるいは制御部107のメモリ(図示せず)から第1の微粒子画像を取得し、これに対して輝度値調整処理(輝度値調整2:明暗処理)を実行する。明暗処理は、ステップ203の2画像の論理積演算の直前に実施される。明暗処理された画像は、第3の微粒子画像として、例えば、画像処理部106の内部メモリ(図示せず)あるいは制御部107のメモリ(図示せず)に保持される。
(iii)ステップ203
画像処理部106は、例えば、画像処理部106の内部メモリ(図示せず)あるいは制御部107のメモリ(図示せず)から第2の微粒子画像と第3の微粒子画像を読み出し、これらの画像の論理積を演算する。論理積演算の詳細は、第1の実施形態で説明した通りである。
図8は、微粒子検査装置100において、第2の実施形態による画像処理(図7)を実行した場合の結果例を示す図である。図8Aからは、各微粒子は孤立して存在する様子が確認できる。図6Aの別の微粒子の画像と比較すると、全ての微粒子の輪郭は明瞭ではなく、輪郭が明瞭な微粒子もいれば輪郭がやや不明瞭でやや大きく映る微粒子が存在する様子が観察される。第2の実施形態に開示の技術を用いれば、このような画像に対しても微粒子の領域の誤検知を防ぐことが可能である。具体的に、ステップ301の輝度値調整およびステップ202の輪郭抽出により、輪郭が不明瞭な微粒子も黒い領域として抽出できる。そして、ステップ203の論理積演算後には、輪郭抽出によって微粒子と認識されなかった領域は灰色の背景として認識される。ステップ204の二値化によって、微粒子が存在する領域のみを正しく認識することができる。
第2の実施形態によれば、顕微鏡光学系によって撮像された第1の微粒子の画像に画像の明暗の差を強調するコントラスト調整をした後、輪郭抽出によって第2の微粒子の画像を算出する。また、第1の微粒子の画像にコントラスト調整を行い画像の明暗の差を強調して第3の画像を算出する。そして、第2および第3の画像の論理演算を行うことで、微粒子が顕微鏡の焦点方向に広がった分布をもって存在することで明瞭な微粒子の画像が得られない場合や、微粒子の増加が進み画像全体が微粒子で埋めつくされた場合にも、正しく微粒子を認識することが可能となる。
(3)第3の実施形態
細菌の薬剤感受性検査では、細菌の性状や細菌の増減を計測することが重要であり、第3の実施形態では、例えば、薬剤感受性検査に応用する一例について説明する。第3の実施形態においても、第1の実施形態で説明した微粒子検査装置100を用いることができる。ただし、試料溶液108の中には、細菌、細菌が増殖するために必要な培地成分、および検査対象の抗菌薬が含まれる。また、微粒子検査装置100は、細菌が増殖するのに適した温度、例えば37℃に温度調整されている。さらに、検査プレート102として、96穴や384穴のプレートを用いることができる。
図9は、微粒子検査装置100の撮像部105によって得られた複数の時系列画像に対して、ステップ200~204の処理(第1の実施形態の画像処理)を実行し、得られた微粒子の面積値の総和に相当する細菌領域の面積の関係を示す図である。当該測定結果では、アンピシリン/スルバクタムの濃度0.5/0.25μg/mLおよび32/16μg/mLを含む培養液中で8時間培養した細菌を撮像した結果である。
(i)ステップ401
画像処理部106は、粒子種類、例えば細菌種類の判定を行う。例えば、運動性が低い細菌と運動性が高い細菌では判定方法を変えることが望ましく、菌種の差異により運動性を判定することができる。一例として、制御部107によってユーザから事前に入力された菌種情報を基に、ステップ401の処理(粒子種類判定)を行ってもよい。
(ii)ステップ402
画像処理部106は、第1の実施形態で示された画像処理1(ステップ200からステップ205)を実行することにより特徴量を抽出する。
(iii)ステップ403
画像処理部106は、第2の実施形態で示された画像処理2(ステップ200からステップ205、ステップ301、およびステップ302)により特徴量を抽出する。
(iv)ステップ404
画像処理部106は、判別式により増殖/抑制の判別を行う。
(4)まとめ
(i)第1の実施形態によれば、撮像部が、微粒子を含む液体を保持するウェルの第1の微粒子画像を撮像し、画像処理部が当該第1の微粒子画像に対して所望の画像処理を実行する。例えば、画像処理部は、第1の微粒子画像の輪郭を抽出することにより第2の微粒子画像を生成する処理と、第1の微粒子画像と第2の微粒子画像との論理演算を行う処理と、論理演算の結果に基づいて微粒子の特徴量を算出する処理と、当該算出した特徴量に基づいて、ウェルにおける微粒子の増殖を判定する処理と、を実行する。そして、表示部(出力部)が、増殖判定の結果を表示(出力)する。
(ii)第2の実施形態によれば、撮像部が、微粒子を含む液体を保持するウェルの第1の微粒子画像を撮像し、画像処理部が当該第1の微粒子画像に対して所望の画像処理を実行する。例えば、画像処理部は、第1の微粒子画像に対して画像の明暗差を強調してコントラスト調整をする第1の輝度値調整処理を行った後に輪郭を抽出することにより第2の微粒子画像を生成する処理と、第1の微粒子画像と第2の微粒子画像との論理演算を行う処理と、論理演算の結果に基づいて微粒子の特徴量を算出する処理と、当該算出した特徴量に基づいて、ウェルにおける前記微粒子の増殖を判定する処理と、を実行する。そして、表示部(出力部)が、増殖判定の結果を表示(出力)する。ここで、画像処理部は、第1の微粒子画像に対して第1の輝度値調整処理とは異なる第2の輝度値調整処理を行うことにより第3の微粒子画像を生成し、第1の微粒子画像の代わりに第3の微粒子画像と第2の微粒子画像との論理演算を行う処理を実行するようにしてもよい。
(iii)第3の実施形態によれば、撮像部が、微粒子を含む液体を保持するウェルの第1の微粒子画像を撮像し、画像処理部が、微粒子の種類に応じて、第1の実施形態で提案の画像処理(第1の画像処理)と、第2の実施形態で提案の画像処理(第2の画像処理)とを切り替えて、第1の微粒子画像に対して画像処理を行い、微粒子の特徴量を算出し、当該特徴量に基づいて微粒子の増殖および抑制について判定する。ここで、微粒子の種類の情報は、例えば、オペレータ(ユーザ)によって入力されるようにしてもよいし、第1の微粒子画像から微粒子の移動量を算出することにより微粒子の種類を推定してそれを微粒子の種類の情報としてもよい。
(iv)第1から第3の実施形態によれば、細菌が孤立して存在する場合だけでなく、細菌の増加が進み画像全体が細菌で埋めつくされた場合や細菌が顕微鏡の焦点方向に広がった分布をもって存在することで明瞭な細菌の画像が得られない場合に、細菌領域の誤認識を防ぎ、正しく細菌の特徴量を抽出することができる。
(v)各実施形態の機能は、ソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本開示を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD-ROM、DVD-ROM、ハードディスク、光ディスク、光磁気ディスク、CD-R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
(vi)本開示は、上述した実施の形態および実施例に限定されるものではなく、様々な変形例を包含する。上述の実施形態は、本開示の技術をわかりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、またある実施形態の構成に他の実施形態の構成を加えることも可能である。また各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
101 照明部
102 検査プレート
103 ステージ
104 対物レンズ
105 撮像部
106 画像処理部
107 制御部
108 試料溶液
Claims (15)
- 微粒子を含む液体を保持するウェルの第1の微粒子画像を撮像する撮像部と、
前記第1の微粒子画像の輪郭を抽出することにより第2の微粒子画像を生成する処理と、前記第1の微粒子画像と前記第2の微粒子画像との論理積演算を行う処理と、前記論理積演算の結果に基づいて前記微粒子の特徴量を算出する処理と、当該算出した特徴量に基づいて、前記ウェルにおける前記微粒子の増殖を判定する処理と、を実行する画像処理部と、
前記判定の結果を出力する出力部と、
を備える検査装置。 - 請求項1において、
前記画像処理部は、前記微粒子の特徴量として、前記第1の微粒子画像における前記微粒子が存在する領域の面積を算出する、検査装置。 - 請求項2において、
前記画像処理部は、前記第1の微粒子画像において、輝度値が局所的に変化する領域、および前記輝度値が所定値よりも下回る領域を算出し、前記微粒子が存在する領域の面積を算出する、検査装置。 - 請求項1において、
前記撮像部は、時系列で、少なくとも、第1の時点での前記第1の微粒子画像と、第1の時点よりも時間的に後の第2の時点での前記第1の微粒子画像を撮像し、
前記画像処理部は、
時系列で、少なくとも、前記第1の時点での前記第2の微粒子画像と、前記第2の時点での前記第2の微粒子画像を生成する処理と、
時系列で、少なくとも、前記第1の時点での前記論理積演算と、前記第2の時点での前記論理積演算を行う処理と、
時系列で、少なくとも、前記第1の時点での前記特徴量と、前記第2の時点での前記特徴量を算出する処理と、
前記第1の時点での前記特徴量と、前記第2の時点での前記特徴量とを比較することにより、前記微粒子の増殖を判定する処理と、
を実行する、検査装置。 - 請求項2において、
前記画像処理部は、前記微粒子の特徴量として、さらに、前記微粒子の真円度、周長、短軸または長軸の長さおよびそれらの比のうち少なくとも1つを含む形状特徴量を演算し、前記面積と前記形状特徴量とを複数組み合わせて、前記微粒子の増加を判別する、検査装置。 - 微粒子を含む液体を保持するウェルの第1の微粒子画像を撮像する撮像部と、
前記第1の微粒子画像に対して画像の明暗差を強調してコントラスト調整をする第1の輝度値調整処理を行った後に輪郭を抽出することにより第2の微粒子画像を生成する処理と、前記第1の微粒子画像と前記第2の微粒子画像との論理積演算を行う処理と、前記論理積演算の結果に基づいて前記微粒子の特徴量を算出する処理と、当該算出した特徴量に基づいて、前記ウェルにおける前記微粒子の増殖を判定する処理と、を実行する画像処理部と、
前記判定の結果を出力する出力部と、
を備える検査装置。 - 請求項6において、
前記画像処理部は、前記第1の微粒子画像に対して前記第1の輝度値調整処理とは異なる第2の輝度値調整処理を行うことにより第3の微粒子画像を生成する処理と、前記第1の微粒子画像の代わりに前記第3の微粒子画像と前記第2の微粒子画像との論理積演算を行う処理を実行する、検査装置。 - 請求項7において、
前記第2の輝度値調整処理は、前記第1の微粒子画像の輝度値を全体的に所定値分上下させる明暗調整処理である、検査装置。 - 請求項6において、
前記微粒子は細菌であり、
前記画像処理部は、前記ウェルにおける前記細菌の増殖および抑制について判定する処理を実行する、検査装置。 - 請求項9において、
前記画像処理部は、前記細菌の特徴量として、前記第1の微粒子画像における前記細菌が存在する領域の面積と、前記細菌の真円度、周長、短軸または長軸の長さおよびそれらの比のうち少なくとも1つを含む形状特徴量を演算し、前記面積と前記形状特徴量とを複数組み合わせて、前記細菌の増殖および抑制について判別する、検査装置。 - 請求項9において、
前記画像処理部は、前記細菌の特徴量として、前記第1の微粒子画像における前記細菌が存在する領域の面積を算出し、当該細菌の面積の時間的変化に基づく増殖曲線を生成し、
前記出力部は、前記増殖曲線を出力する、検査装置。 - 微粒子を含む液体を保持するウェルの第1の微粒子画像を撮像する撮像部と、
前記微粒子の種類に応じて、第1の画像処理と、第2の画像処理とを切り替えて、前記第1の微粒子画像に対して画像処理を行い、前記微粒子の特徴量を算出し、当該特徴量に基づいて前記微粒子の増殖および抑制について判定する画像処理部と、
前記判定の結果を出力する出力部と、を備え、
前記第1の画像処理は、前記第1の微粒子画像の輪郭を抽出することにより第2の微粒子画像を生成する処理と、前記第1の微粒子画像と前記第2の微粒子画像との論理積演算を行う処理と、前記論理積演算の結果に基づいて前記微粒子の特徴量を算出する処理と、を含み、
前記第2の画像処理は、前記第1の微粒子画像に対して画像の明暗差を強調してコントラスト調整をする第1の輝度値調整処理を行った後に輪郭を抽出することにより第3の微粒子画像を生成する処理と、前記第1の微粒子画像と前記第3の微粒子画像との論理積演算を行う処理と、前記論理積演算の結果に基づいて前記微粒子の特徴量を算出する処理と、を含む、検査装置。 - 請求項12において、
前記画像処理部は、入力された前記微粒子の種類の情報に基づいて、前記第1の画像処理と前記第2の画像処理とを切り替える、検査装置。 - 請求項12において、
前記画像処理部は、前記撮像部によって撮像された前記第1の微粒子画像から前記微粒子の移動量を算出することにより前記微粒子の種類を推定し、当該微粒子の種類の情報に基づいて、前記第1の画像処理と前記第2の画像処理とを切り替える、検査装置。 - 撮像部が、微粒子を含む液体を保持するウェルの、第1の時点での第1の微粒子画像を撮像することと、
画像処理部が、前記第1の時点での第1の微粒子画像の輪郭を抽出することにより、前記第1の時点での第2の微粒子画像を生成することと、
前記画像処理部が、前記第1の時点での第1の微粒子画像と前記第1の時点での第2の微粒子画像との論理積演算を行い、第1の論理積演算結果を生成することと、
前記画像処理部が、前記第1の論理積演算結果に基づいて、前記第1の時点での前記微粒子の特徴量を算出することと、
前記撮像部が、前記第1の時点から所定時間経過後の第2の時点での前記第1の微粒子画像を撮像することと、
前記画像処理部が、前記第2の時点での第1の微粒子画像の輪郭を抽出することにより、前記第2の時点での第2の微粒子画像を生成することと、
前記画像処理部が、前記第2の時点での第1の微粒子画像と前記第2の時点での第2の微粒子画像との論理積演算を行い、第2の論理積演算結果を生成することと、
前記画像処理部が、前記第2の論理積演算結果に基づいて、前記第2の時点での前記微粒子の特徴量を算出することと、
前記第1の時点での前記微粒子の特徴量と前記第2の時点での前記微粒子の特徴量とに基づいて、前記ウェルにおける前記微粒子の増殖判定をすることと、
出力部が、前記増殖判定の結果を出力することと、
を含む、検査方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/008294 WO2020178931A1 (ja) | 2019-03-04 | 2019-03-04 | 検査装置および検査方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020178931A1 JPWO2020178931A1 (ja) | 2021-10-21 |
JP7130109B2 true JP7130109B2 (ja) | 2022-09-02 |
Family
ID=72337712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021503280A Active JP7130109B2 (ja) | 2019-03-04 | 2019-03-04 | 検査装置および検査方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220145233A1 (ja) |
EP (1) | EP3936602A4 (ja) |
JP (1) | JP7130109B2 (ja) |
KR (1) | KR102535084B1 (ja) |
WO (1) | WO2020178931A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010216920A (ja) | 2009-03-16 | 2010-09-30 | Olympus Corp | 細胞画像解析装置 |
JP2014082957A (ja) | 2012-10-19 | 2014-05-12 | Olympus Corp | 細胞計数装置及び細胞計数プログラム |
JP2015177768A (ja) | 2014-03-19 | 2015-10-08 | 株式会社日立ハイテクノロジーズ | 検査装置 |
JP2016136876A (ja) | 2015-01-27 | 2016-08-04 | 株式会社日立ハイテクノロジーズ | 検査装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150108963A (ko) * | 2014-03-18 | 2015-10-01 | 삼성전기주식회사 | 세포 분석 장치 및 세포 분석 방법 |
JP6318755B2 (ja) | 2014-03-24 | 2018-05-09 | 東レ株式会社 | 糸状性細菌検出装置および糸状性細菌の検出方法 |
GB201610425D0 (en) * | 2016-06-15 | 2016-07-27 | Q-Linea Ab | Analysis of images of biological material |
-
2019
- 2019-03-04 US US17/436,396 patent/US20220145233A1/en active Pending
- 2019-03-04 EP EP19917894.8A patent/EP3936602A4/en active Pending
- 2019-03-04 KR KR1020217019602A patent/KR102535084B1/ko active IP Right Grant
- 2019-03-04 WO PCT/JP2019/008294 patent/WO2020178931A1/ja unknown
- 2019-03-04 JP JP2021503280A patent/JP7130109B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010216920A (ja) | 2009-03-16 | 2010-09-30 | Olympus Corp | 細胞画像解析装置 |
JP2014082957A (ja) | 2012-10-19 | 2014-05-12 | Olympus Corp | 細胞計数装置及び細胞計数プログラム |
JP2015177768A (ja) | 2014-03-19 | 2015-10-08 | 株式会社日立ハイテクノロジーズ | 検査装置 |
JP2016136876A (ja) | 2015-01-27 | 2016-08-04 | 株式会社日立ハイテクノロジーズ | 検査装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3936602A1 (en) | 2022-01-12 |
KR20210095910A (ko) | 2021-08-03 |
WO2020178931A1 (ja) | 2020-09-10 |
KR102535084B1 (ko) | 2023-05-26 |
US20220145233A1 (en) | 2022-05-12 |
JPWO2020178931A1 (ja) | 2021-10-21 |
EP3936602A4 (en) | 2022-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11796788B2 (en) | Detecting a defect within a bodily sample | |
Pires et al. | Retinal image quality analysis for automatic diabetic retinopathy detection | |
CN108027364B (zh) | 用于确定细胞学分析系统中的细胞充分性的系统及方法 | |
Korzyńska et al. | Multistage morphological segmentation of bright-field and fluorescent microscopy images | |
Goceri et al. | Quantitative validation of anti‐PTBP1 antibody for diagnostic neuropathology use: Image analysis approach | |
Iwabuchi et al. | Evaluation of the effectiveness of Gaussian filtering in distinguishing punctate synaptic signals from background noise during image analysis | |
JP7209287B2 (ja) | ナノ粒子の判別方法 | |
US20240177302A1 (en) | Cellular diagnostic and analysis methods | |
Nellros et al. | Automated image analysis of iron-ore pellet structure using optical microscopy | |
JP7130109B2 (ja) | 検査装置および検査方法 | |
Kotyk et al. | Detection of dead stained microscopic cells based on color intensity and contrast | |
Abirami et al. | A New Benchmarking for Diabetic Retinopathy Using Machine Learning, Deep Learning and Image Processing Techniques | |
Belini et al. | Morphometric quantification of a pseudohyphae forming Saccharomyces cerevisiae strain using in situ microscopy and image analysis | |
Devaraj | Detection of red lesion in diabetic retinopathy using adaptive thresholding method | |
Liu et al. | Automatic detection of circulating tumor cells based on microscopic images | |
Shankar et al. | Glaucoma Detection with Fully Convolutional Neural Network using Optic Disc and Segmentation Methods | |
Chowdhury et al. | Detection of cotton wool spots from retinal images using fuzzy C means | |
Halder et al. | Blood vessel extraction from retinal images using modified Gaussian filter and bottom-hat transformation | |
Zhou et al. | Particulate Mapping Centerline Extraction (PMCE), a Novel Centerline Extraction Algorithm Based on Patterns in the Spatial Distribution of Aggregates | |
Korzynska | Automatic counting of neural stem cells growing in cultures | |
Abd Azmi et al. | Microaneurysms (MAs) Detection using Mathematical Morphology | |
Errabih et al. | Diagnostic System and Classification of Diabetic Retinopathy Using Convolutional Neural Network | |
On | Computational Video Bioinformatics for Understanding the Dynamics of Living Cells | |
TarasKotyk et al. | Detection of Dead stained microscopic cells based on Color Intensity and Contrast | |
Kitani et al. | Extraction of fibers and nuclei of hepatic histopathologic specimen stained with silver and HE |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7130109 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |