JP7130109B2 - 検査装置および検査方法 - Google Patents

検査装置および検査方法 Download PDF

Info

Publication number
JP7130109B2
JP7130109B2 JP2021503280A JP2021503280A JP7130109B2 JP 7130109 B2 JP7130109 B2 JP 7130109B2 JP 2021503280 A JP2021503280 A JP 2021503280A JP 2021503280 A JP2021503280 A JP 2021503280A JP 7130109 B2 JP7130109 B2 JP 7130109B2
Authority
JP
Japan
Prior art keywords
image
image processing
fine particles
particle image
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021503280A
Other languages
English (en)
Other versions
JPWO2020178931A1 (ja
Inventor
清隆 杉山
哲士 小出
千宗 植松
浩子 藤田
豪 桝屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Tech Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Tech Corp filed Critical Hitachi High Tech Corp
Publication of JPWO2020178931A1 publication Critical patent/JPWO2020178931A1/ja
Application granted granted Critical
Publication of JP7130109B2 publication Critical patent/JP7130109B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/46Means for regulation, monitoring, measurement or control, e.g. flow regulation of cellular or enzymatic activity or functionality, e.g. cell viability
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12QMEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12QMEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • C12Q1/04Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
    • C12Q1/06Quantitative determination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • G06T5/75Unsharp masking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30072Microarray; Biochip, DNA array; Well plate

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Organic Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Biotechnology (AREA)
  • Microbiology (AREA)
  • Biochemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Analytical Chemistry (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Sustainable Development (AREA)
  • Immunology (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Cell Biology (AREA)
  • Geometry (AREA)
  • Toxicology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Description

本開示は、検査装置および検査方法に関する。
生体試料の分析用途において、試料中に含まれる微粒子を精度よく分析することは重要である。代表的な生体試料である血液中に存在する微粒子の例として、赤血球や白血球などの血液細胞や腫瘍組織から血中へ遊離するために血液中を循環する血中循環腫瘍細胞が挙げられる。前者の血液細胞を計数する検査は健康診断などにおいて一般的な項目である。血液細胞を計数する検査に用いられる技術として、例えば、フローセル中の微粒子による電気抵抗の変化を利用した電気抵抗法や、微粒子に起因する散乱光や蛍光を光学的に計測するフローサイトメトリーなどの装置が挙げられる。また、後者の血中循環腫瘍細胞の検出は、腫瘍の早期診断の観点から重要であり、研究が活発に進んでいる。血中循環腫瘍細胞の検出技術として、例えば、微小な流路中でターゲットの腫瘍細胞とその他の細胞を分離し、フローサイトメトリーで検出する方法などがある。
また、他の微粒子の例として、人工的に合成されたビーズが挙げられる。ビーズはその表面上に特定の官能基を修飾させることが容易で、対象となる生体試料分子を特異的に結合させることなどによく用いられる。例えば、ラテックス凝集法では、抗体が修飾されたビーズを用いることで計測対象である抗原の定量を行う。抗原が存在する試料中ではビーズ表面に修飾させた抗体同士が抗原を介して結合しビーズが凝集する。このため、ビーズの凝集を検出することで抗原量を計測することが可能である。このような方法では、ビーズの凝集を光学的な手法、例えば散乱光による計測手法を用いることにより、抗原量の計測が可能となる。
上述した計測手法では、計測中に粒子の形状や数が大きくは変化しないような微粒子を計測対象としている。一方、生体試料中に存在する微粒子の中には、分析の最中に粒子の形状が変化する場合や、粒子が顕著に増加もしくは減少する場合が存在する。その一例として細菌が挙げられる。一般に、細菌は大きさ数μmの球形や円筒形の微粒子であるが、栄養が豊富であれば増殖し、また周囲の環境によっては形状が細長く変化したり消滅したりすることもある。このような場合には、電気抵抗法や散乱光、蛍光計測などの手法により微粒子の形状変化と増加の両者を正確に検知することは難しく、顕微鏡の画像解析を用いた方法が提案されている。
顕微鏡の画像解析を用いる方法として、例えば、顕微鏡観察によって得られる画像中の微粒子を認識する方法がある。特許文献1は、位相差顕微鏡により得られた画像を二値化し、糸状性の微粒子を判別する手法が開示する。また、特許文献2は、微粒子の増加を検知するため、顕微鏡画像の二値化により得られた特徴量を、結果が既知のデータベースと比較する手法を開示する。
特表2015-181374号公報 特開2015-177768号公報
特許文献1に開示された顕微鏡画像における微粒子の判別手法では、二値化により糸状性微粒子とそれ以外のゴミ等の微粒子との判別を行う。また、特許文献2に開示された顕微鏡画像による微粒子の増加判定においては、二値化により微粒子の特徴量を抽出し、判定を行う。このような場合、微粒子の増加度合いに応じて二値化の閾値は異なることがあるため、二値化の閾値は画像毎に判別分析等を用いて自動で決定する。
しかしながら、微粒子の増加が進み画像全体が微粒子で埋めつくされた場合や、微粒子が顕微鏡の焦点方向(奥行方向)に広がった分布をもって存在することで明瞭な微粒子の画像が得られない場合には、二値化の閾値が適切に設定されなくなる可能性がある。
従って、特許文献1や特許文献2の技術を用いたとしても、微粒子の性状が計測毎に異なる場合や増加度合いが変化して微粒子同士が重なって存在するような様々な場合には、微粒子が存在するにも関わらず正しく検出できないなど、微粒子領域を誤認識してしまう恐れがある。
本開示はこのような状況を鑑みてなされたものであり、微粒子領域の誤認識を防ぐ技術を提供するものである。
上記課題を解決するために、本開示は、微粒子を含む液体を保持するウェルの第1の微粒子画像を撮像する撮像部と、第1の微粒子画像の輪郭を抽出することにより第2の微粒子画像を生成する処理と、第1の微粒子画像と第2の微粒子画像との論理演算を行う処理と、論理演算の結果に基づいて微粒子の特徴量を算出する処理と、当該算出した特徴量に基づいて、ウェルにおける微粒子の増殖を判定する処理と、を実行する画像処理部と、判定の結果を出力する出力部と、を備える検査装置を提案する。
本開示に関連するさらなる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成および効果は、以下の実施の形態の説明により明らかにされる。本開示の記述は典型的な例示に過ぎず、請求の範囲または適用例をいかなる意味においても限定するものではない。
本開示によれば、微粒子領域の誤認識を防ぐことができ、よって微粒子の増加の程度を正確に判定することができるようになる。
判別分析を利用した二値化により、微粒子の領域を誤認識した画像と増加曲線の例を示す図である。 図1とは別の微粒子の領域を誤認識した画像と増加曲線の例を示す図である。 本開示の実施形態(全実施形態で共通)の微粒子検査装置の概略構成例を示す図である。 第1の実施形態における、表示部1071に表示されるGUI(Graphical Use Interface)の構成例を示す図である。 第1の実施形態における、画像処理部106における画像処理の詳細を説明するためのフローチャートである。 微粒子検査装置100によって得られた画像に対して、図5のステップ200~204の処理を実行したときの結果を例示する図である。 微粒子検査装置100で実行される、第2の実施形態による画像処理の詳細を説明するためのフローチャートである。 微粒子検査装置100において、第2の実施形態による画像処理(図7)を実行した場合の結果例(アンピシリン/スルバクタムの濃度0.5/0.25μg/mLもしくは濃度32/16μg/mLを含む培地に細菌を培養し、特徴量の例として、画像内の細菌面積をプロットした結果)を示す図である。 微粒子検査装置100の撮像部105によって得られた複数の時系列画像に対して、ステップ200~204の処理(第1の実施形態の画像処理)を実行し、得られた微粒子の面積値の総和に相当する細菌領域の面積の関係(ゲンタマイシンの濃度0.12μg/mLもしくは濃度8μg/mLを含む培地に運動性の高い細菌を培養し、特徴量の例として、画像内の細菌面積をプロットした結果)を示す図である。 微粒子検査装置100によって得られた複数の時系列画像に対して、ステップ200~204およびステップ301、302の処理(第2の実施形態の画像処理)を実行し、得られた細菌領域の面積値の総和を示した一例を示す図である。 第3の実施形態による細胞の増殖/抑制判定処理を説明するためのフローチャートである。 第3の実施形態における、表示部1071に表示されるGUI(Graphical User Interface)の構成例を示す図である。
本実施形態は、例えば、微粒子を含む液体を保持するウェルにおいて顕微鏡撮像された微粒子の画像から、微粒子が存在する領域の誤認識を防いで正しく微粒子の特徴量を抽出し、微粒子の増加度合いを判定する技術について開示する。以下、図面を参照して本開示の実施形態について説明する。なお、添付図面は、本技術の原理に基づいて具体的な実施の形態を示しているが、これらは本技術の理解を容易にするためのものであり、本開示を限定的に解釈するために用いられるものではない。なお、実施の形態および実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略することがある。
<微粒子領域の誤認識が生じる原因>
図1は、判別分析を利用した二値化により、微粒子の領域を誤認識した画像と増加曲線の例を示す図である。当該図1を参照して、顕微鏡画像中の微粒子が存在する領域の誤認識が生じる原因について説明する。
顕微鏡画像を用いて微粒子を認識して増加度合いを判定する方法では、微粒子の増加度合いやウェル中の微粒子の分布に応じて適切な二値化の閾値は異なることがある。微粒子の増加が進み画像全体が微粒子で埋めつくされた場合や、微粒子が顕微鏡の焦点方向に広がった分布をもって存在することで明瞭な微粒子の画像が得られない場合では、二値化の閾値が適切に設定されなくなる可能性がある。そのため、画像処理により微粒子と認識される領域は画像内に存在する微粒子よりも少なくなる場合がある。
図1の画像からは、微粒子が時間とともに増加し、4時間でほぼ画像一面を埋め尽くす様子がわかる。また、8時間ではさらに増加が進み、微粒子は画像一面に重なり合って存在する(微粒子が増加し画像が暗くなっている)。一方、認識後(画像処理による認識)の微粒子の面積は約4時間後まで増加した後、減少に転じており、微粒子の領域を誤認識している。つまり、実際には微粒子は減少せず、非常に多く存在するにもかかわらず、画像処理により微粒子と認識される領域が画像内に存在する微粒子よりも少なくなったと判断されてしまう。
図2は、別の微粒子の領域を誤認識した画像と増加曲線の例を示す図である。図1に示した結果の場合ではウェルのある高さに微粒子が密に存在するが、当該別の微粒子は顕微鏡の焦点方向に広がった分布をもって存在する。従って、顕微鏡画像中には焦点が合って映る微粒子と、やや焦点のぼやけて映る微粒子の両者が混在する。図2における4時間後の画像をみると、焦点が合っていない微粒子は他の微粒子と比較してやや大きく写り、輪郭が明瞭でないことがわかる。一方、焦点が合っている微粒子はコントラストがしっかりと付くため明瞭である。また、8時間後の画像からは、ほぼ一面に微粒子が存在しているにも拘らず、図1と同様に部分的にしか微粒子領域が認識されていない。
本実施形態は、このような微粒子の増加度合いを正確に判定する上で、微粒子の領域の誤認識を防ぐ技術を提案する。具体的には、明視野顕微鏡光学系によって撮像された第1の微粒子の画像と、第1の微粒子の画像から輪郭抽出によって第2の微粒子の画像を算出し、第1および第2の画像の論理演算を行い、微粒子が存在する領域を二値化により決定することにより、微粒子の増加度合いを判定する手法が提供される。
(1)第1の実施形態
第1の実施形態は、検査プレートの各ウェルの第1の微粒子の画像を取得し、第1の微粒子の画像から輪郭抽出によって第2の微粒子の画像を算出し、第1および第2の画像の論理演算を行い、微粒子が存在する領域を二値化により決定することにより、微粒子の増加の度合いを判定する形態について開示する。
<微粒子検査装置の構成例>
図3は、本開示の実施形態の微粒子検査装置の概略構成例を示す図である。微粒子検査装置100は、照明部101と、検査プレート102と、ステージ103と、対物レンズ104と、撮像部105と、画像処理部106と、制御部107とを備えている。
検査プレート102は複数のウェルを有し、各ウェルには試料溶液108が保持されている。試料溶液108には微粒子が含まれており、検査プレート102は微粒子検査装置100に導入される。
照明部101は、検査プレート102の方向に光を照射する。照明部101は、ランプなどの白色光や、特定の波長領域の光を含むLED等の光源を利用してもよい。検査プレート102内の各ウェルおよび試料溶液108を通過した光は、対物レンズ104により集光され、撮像部105で結像、撮像される。そして、例えば、制御部107による制御によってステージ103を移動させ、検査プレートのウェルと撮像部の相対位置を変化させることで、異なるウェルを撮像することが可能となる。撮像動作も制御部107によって制御され、あらかじめ設定された時間間隔、例えば30分ごとに実行される。得られた画像は画像処理部106で処理され、制御部107に送られる。ここで、対物レンズ104の焦点は検査プレート102のウェル底面に合わせることが好ましいが、底面から離れた試料溶液108の内部に合わせてもよい。また、ウェル内の複数地点を撮像してもよいし、検査プレート102のウェル底面から離れた試料溶液108の内部を複数枚撮像してもよい。
制御部107は例えば一般的なコンピュータおよび表示部1071などで構成される。図4は、表示部1071に表示されるGUI(Graphical Use Interface)の構成例を示す図である。当該GUIは、例えば、測定条件入力・表示領域501と、測定制御状態表示領域502と、増加曲線表示領域503と、を含む構成にすることができる。オペレータ(ユーザ)の指示によって、測定条件の設定、測定の開始および中止、増加曲線の表示や粒子が増加したかどうかの結果表示が行われる。測定条件としては、例えば、粒子の種類や画像の測定時間間隔や判別時間などが挙げられる。
<画像処理の詳細>
図5は、第1の実施形態における、画像処理部106における画像処理の詳細を説明するためのフローチャートである。ここで、以降の説明において、画像は8bitのグレースケール画像とし、画素値0が黒、255が白とする。8bit以外のグレースケール画像や、白黒反転した画像でも本実施形態の処理は有効である。また、カラー画像に関してもグレースケール画像へ変換することで同様の処理が可能である。
(i)ステップ200
画像処理部106は、撮像部105によって取得された画像を受信し、以下のステップの処理を実行する。ここで、好ましい条件において撮像された画像では、微粒子の内部は白く、また輪郭は黒く映る場合が多い。
(ii)ステップ201
画像処理部106は、ステップ200で取得した画像を複製し、画像処理部106の内部メモリ(図示せず)あるいは制御部107のメモリ(図示せず)に格納する。この複製画像は、後の処理で使用するために、画像処理は実施されず、第1の微粒子の画像として当該メモリに保持される。
(iii)ステップ202
画像処理部106は、画像処理部106の内部メモリ(図示せず)あるいは制御部107のメモリ(図示せず)から第1の微粒子画像を取得し、これに対して輪郭抽出処理を行う。微粒子の輪郭を抽出するための処理として、例えば、分散フィルタが挙げられる。分散フィルタでは、注目する画素の値を、その画素の周囲の画素の分散値に置き換える処理を実行する。微粒子が存在する画素では、微粒子が存在しない周囲の画素との変化が大きくなるため、微粒子の輪郭を抽出することができる。
なお、分散フィルタ以外にも、例えばソーベルフィルタなどのエッジ抽出技術を用いてもよい。そして、処理後の画像を見やすくするために、白黒反転処理を行うようにしてもよい。この白黒反転により、検知された微粒子が黒色、背景が白色になると解釈できる。
ステップ202で処理された画像は、例えば、第2の微粒子画像として、画像処理部106の内部メモリ(図示せず)あるいは制御部107のメモリ(図示せず)に保持される。
(iv)ステップ203
画像処理部106は、第1の微粒子の画像と第2の微粒子の画像とを画像処理部106の内部メモリ(図示せず)あるいは制御部107のメモリ(図示せず)から読み出し、それらの論理演算を行う。論理演算では、2つの画像の同じ位置における画素の値同士が演算される(例えば、論理積の演算が行われる)。2つの画像の論理積演算を行った場合、ステップ202で微粒子の輪郭が抽出できた領域(第2の微粒子画像)、およびステップ200の元画像(第1の微粒子画像)中で画素値が低く暗い領域の両者を黒く認識することができる。つまり、輪郭抽出された領域かつ暗い領域が抽出されることになる。
従って、ステップ203終了後の画像では、輪郭が明瞭な微粒子と、輪郭が不明瞭だが微粒子同士が重なることで入射光が吸収・散乱して黒く写った微粒子の両者の画素値が低くなる(コントラストが付きにくくなる)。
なお、ステップ202やステップ203の後に、例えばガウシアンフィルタ処理により画像中のノイズを除去してもよい。ガウシアンフィルタ処理により、画像中のエッジの平滑化が可能であり、対象とする微粒子の大きさよりも小さいゴミ等が存在する場合や、画像のノイズ成分を除去するために、ステップ203の処理は有効である。
(v)ステップ204
画像処理部106は、ステップ203で得られた画像を二値化する。論理積演算によって得られた画像の画素値は、例えば8bitの場合、0~255の幅を持っている。このため、微粒子の領域を認識する際に支障をきたすが、白黒の二値化により黒くなった領域が微粒子の領域であるとすると、微粒子の領域の識別は容易となる。本実施形態においては論理積演算を用いるため、二値化前の画像には元画像(第1の微粒子画像)の背景に相当する明暗情報が含まれており、一定閾値での二値化でよいが、画像毎に判別して決めてもよい。例えば、画像内の微粒子の明るさやコントラストは照明部101の光量や検査プレート102の材質によって異なり、また画像中の微粒子の濃度によっても変化する。従って、例えば、最適な二値化の閾値は同一ウェルであっても経時的に変化し、画像ごとに自動で判定するようにしてもよい。
(vi)ステップ205
画像処理部106は、ステップ204で得られた二値化画像から、微粒子として黒色で認識された領域について特徴量を抽出する。特徴量として、微粒子の面積、周長、真円度、短軸・長軸の長さおよびそれらの比、などが挙げられる。例えば、各微粒子の特徴量を演算するのではなく、各画像における微粒子の特徴量の平均値を演算するようにしてもよい。
ここで、経時的に得られた画像からそれぞれ特徴量を抽出し、得られた各特徴量の経時変化や最大値、最小値などを新たな特徴量として用いてもよい。例えば、同一ウェルにおける2つの時刻間の特徴量の差分値や、ある時刻間における最大値、最小値、この最大値および最小値の差分値を特徴量として用いることができる。つまり、後段のステップにおいて、各特徴量の経時変化や最大値や最小値に基づいて、微粒子の増加判定をすることができる。増加判定では、微粒子(細胞)が生きていてかつ増えているか、を検出する必要がある。微粒子が増えていても、形が伸びてしまっていたりすると、画像として面積は増えているが、増殖はしていないことになる。そこで、時間経過において、例えば、微粒子の真円度の最大値・最小値が変化ないということになれば、細菌は増えているように見えるが、実は死滅した細菌である可能性が高くなる。
(vii)ステップ206
画像処理部106は、ステップ205により算出された特徴量を用いて、微粒子の増加の度合いを判定する。例えば、事前に画像解析以外の手法を用いて測定された結果を教師データとして学習し、微粒子の増加を判定する判別式を作成して判別を行うようにしてもよい。例えば、n個のデータから得られた特徴量と、別の方法で得られた、細胞が増殖しているかして否かという情報とを結び付け、それを教師データとする。そして、n+1個目のデータ(画像)が入力されたら、ステップ205までの処理はこれまで同様に行って、増加判定の処理は、教師データを用いて、推測して判定するようにしてもよい。この場合、データ量がある程度蓄積されることが条件となる。
また、画像処理部106において演算された一連の結果は、制御部107の表示装置に表示されるようにしてもよい。これにより、オペレータは微粒子の増加の有無を正確に認識することが可能となる。さらに、例えば、ステップ207において得られた微粒子の特徴量(例えば、面積など)の経時変化の結果などを表示させるようにしてもよい。
<測定結果の例>
図6は、微粒子検査装置100によって得られた画像に対して、図5のステップ200~204の処理を実行したときの結果を例示する図である。図6Aは、測定開始後2時間経過時の画像処理結果を示し、図6Bは、測定開始後8時間経過時の画像処理結果を示している。
図6Aは、微粒子の増加は進んでいない場合(測定開始後2時間経過時)の画像処理結果であり、各微粒子は画像中に孤立して存在する。また、画像中の微粒子の形状は一様ではなく、真円や楕円のものから細長い長方形の形状を示す粒子が混在する。このような場合にはステップ202の輪郭抽出処理によって、微粒子を黒い領域として抽出できる。ステップ203の論理積演算後には、輪郭抽出によって微粒子と認識されなかった領域は灰色の背景として認識される。従って、微粒子が存在する領域と背景の領域の輝度値が明確に区別されているため、ステップ206の二値化によって、微粒子が存在する領域のみを正しく認識することができる。
一方、図6Bは、微粒子が増加し、画像一面が微粒子に覆われた場合(測定開始後8時間経過時)の画像処理結果である。この場合、図6Aで見られた輪郭は明瞭には確認できない。微粒子が増加したことによって微粒子同士は重なり合い、その重なり合った微粒子によって照明部からの光が吸収・散乱されるため画像の大部分は暗く映るが、重なりの程度によっては局所的に明るい部分も存在する。ステップ202の輪郭抽出処理が実行されると、この局所的に輝度値が変化する領域のみが認識され黒く抽出される。ステップ203の論理演算処理では、元画像中の輝度値が暗い領域もしくは輪郭抽出後の黒い領域のどちらか一方を満たす領域が黒く抽出される。そのため、元画像中で重なり合って存在する微粒子の領域も正しく認識することが可能である。
つまり、図6Bに示されるように、時間が経過すると微粒子が重なってくるので、コントラストが付いているように見えたとしても、実際は多くの微粒子が存在するので、輪郭抽出した結果は正しくない場合がある。このような状況であっても論理積演算を行うと、輪郭抽出で得られた黒い部分と、元の画像で黒くなって暗い所が微粒子であると認識されるようになる。つまり、全面的に微粒子が増加していることが認識される。
<第1の実施形態の効果>
第1の実施形態では、顕微鏡光学系によって撮像された第1の微粒子の画像と、第1の微粒子の画像から輪郭抽出によって第2の微粒子の画像を算出し、第1および第2の画像の論理演算を行う。このようにすることにより、微粒子が孤立して存在する場合だけでなく、微粒子の増加が進み画像全体が微粒子で埋めつくされた場合にも、正しく微粒子を認識することが可能である。
(2)第2の実施形態
第2の実施形態は、顕微鏡の焦点方向に広がった分布をもって微粒子が存在する場合など、図2に示したような顕微鏡撮像において微粒子の輪郭を明瞭に捉えにくい場合に効果的な画像処理について提案する。なお、第2の実施形態による微粒子検査装置は、第1の実施形態による微粒子検査装置100と同様の構成を備えているので、その説明は省略する。
<画像処理の詳細>
図7は、微粒子検査装置100で実行される、第2の実施形態による画像処理の詳細を説明するためのフローチャートである。図7において、図5と同じ符号で示された処理については、第1の実施形態で説明した通りであるため、主に異なる点について説明することとする。第1の実施形態との差異は、画像複製後に2種類の画像の輝度値調整が追加されている点である。ここで、画像の輝度値調整には、画像の明暗の差であるコントラストを変更させるコントラスト調整(輝度値調整1)と、画像の輝度値を全体的に一定値上下させる明暗調整(輝度値調整2)が含まれる。
(i)ステップ301
画像処理部106は、画像処理部106の内部メモリ(図示せず)あるいは制御部107のメモリ(図示せず)から第1の微粒子画像を取得し、これに対して輝度値調整処理(輝度値調整1:コントラスト調整)を実行する。輪郭抽出の前段階において、ステップ301の輝度値調整1が実施される。
第1の実施形態で説明したように、輪郭抽出では、例えば、注目する画素の値をその画素の周囲の画素の分散値に置き換える分散フィルタが用いられる。微粒子の輪郭が明瞭に写っていない場合には、微粒子の輪郭が明瞭な場合と比較して、この分散値が小さくなる傾向にあり、正しく輪郭を抽出できない場合がある。そのため、画像の明暗の差であるコントラストを増加させる調整(周囲との画素値の差異に基づいて、対象画素を強調する処理:例えば、白く映る箇所はより白く、黒く映る箇所はより黒くなるように処理する)を行うことが効果的である。当該コントラスト調整(コントラスト増加)により、輪郭のぼやけた微粒子でも白か黒かは区別が付くので、ステップ202の輪郭抽出によって検出することができる。ここで、コントラスト調整処理は、画像全体に均一に実行してもよいし、画像の一部分のみに実行してもよいし、画像を小さなブロックに分割して各ブロックで異なる程度のコントラスト調整を局所的に実行してもよい。
また、例えば、細胞の種類によってコントラストを付けるようにするにしてもよい。鞭毛が付いている細菌は試料溶液内を動き回るので、焦点方向(奥行き方向)にぼけやすい。そのため、コントラスト処理を行うとよい。一方、動き回らない細胞(運動性が低い、あるいは運動性がない細胞)の場合にはそのようなボケを気にする必要はないので、第1の実施形態の方法を用いることができる。焦点方向に変動がある(動くことによって画像がぼける)ときに第2の実施形態に開示の技術は特に効果がある。
(ii)ステップ202
画像処理部106は、コントラスト調整された微粒子画像の輪郭を抽出する。抽出された輪郭の画像は、第2の微粒子画像として、例えば、画像処理部106の内部メモリ(図示せず)あるいは制御部107のメモリ(図示せず)に保持される。
(ii)ステップ302
画像処理部106は、画像処理部106の内部メモリ(図示せず)あるいは制御部107のメモリ(図示せず)から第1の微粒子画像を取得し、これに対して輝度値調整処理(輝度値調整2:明暗処理)を実行する。明暗処理は、ステップ203の2画像の論理積演算の直前に実施される。明暗処理された画像は、第3の微粒子画像として、例えば、画像処理部106の内部メモリ(図示せず)あるいは制御部107のメモリ(図示せず)に保持される。
輝度値調整(明暗処理)された画像は、ステップ203の2画像(第2および第3の微粒子画像)の論理積演算において、微粒子同士が重なり合って存在する領域を認識する際に重要である。焦点方向に広がった分布をもって微粒子が存在する場合には、微粒子同士が重なって存在する場合でも、輝度値の低下量は少なく、第1の実施形態のような論理積演算を施しただけでは正しく認識できない場合がある。そこで、コントラスト調整により暗い領域の輝度値をさらに低下させる処理(輝度値調整1:ステップ301)や画像の輝度値を全体的に低下させて暗くする処理(輝度値調整2:ステップ302)を行うようにしている。
(iii)ステップ203
画像処理部106は、例えば、画像処理部106の内部メモリ(図示せず)あるいは制御部107のメモリ(図示せず)から第2の微粒子画像と第3の微粒子画像を読み出し、これらの画像の論理積を演算する。論理積演算の詳細は、第1の実施形態で説明した通りである。
<測定結果の例>
図8は、微粒子検査装置100において、第2の実施形態による画像処理(図7)を実行した場合の結果例を示す図である。図8Aからは、各微粒子は孤立して存在する様子が確認できる。図6Aの別の微粒子の画像と比較すると、全ての微粒子の輪郭は明瞭ではなく、輪郭が明瞭な微粒子もいれば輪郭がやや不明瞭でやや大きく映る微粒子が存在する様子が観察される。第2の実施形態に開示の技術を用いれば、このような画像に対しても微粒子の領域の誤検知を防ぐことが可能である。具体的に、ステップ301の輝度値調整およびステップ202の輪郭抽出により、輪郭が不明瞭な微粒子も黒い領域として抽出できる。そして、ステップ203の論理積演算後には、輪郭抽出によって微粒子と認識されなかった領域は灰色の背景として認識される。ステップ204の二値化によって、微粒子が存在する領域のみを正しく認識することができる。
図8Bは、微粒子が増加した場合の画像を示しており、微粒子同士が重なり合って映る様子が確認できる。ここで、図6Bの別の微粒子の画像と比較すると、輪郭は明瞭には確認できない点は同じであるが、画像の輝度値はやや明るくなっている。ステップ202の輪郭抽出処理が実行されると、微粒子の重なり度合いが局所的に小さく画素値が明るくなる領域のみの輪郭が認識され、一部分のみが微粒子として抽出される。この結果は、コントラストを調整しただけでは、輪郭抽出によって微粒子の領域を正しく認識することが不可能であることを意味する。ステップ203の論理演算処理では、元画像中の画素値が低く暗い領域もしくは輪郭抽出後の画素値の低く暗い領域のどちらか一方を満たす領域が黒く抽出される。そのため、元画像中で重なり合って存在する微粒子の領域を正しく認識することが可能である。
<第2の実施形態の効果>
第2の実施形態によれば、顕微鏡光学系によって撮像された第1の微粒子の画像に画像の明暗の差を強調するコントラスト調整をした後、輪郭抽出によって第2の微粒子の画像を算出する。また、第1の微粒子の画像にコントラスト調整を行い画像の明暗の差を強調して第3の画像を算出する。そして、第2および第3の画像の論理演算を行うことで、微粒子が顕微鏡の焦点方向に広がった分布をもって存在することで明瞭な微粒子の画像が得られない場合や、微粒子の増加が進み画像全体が微粒子で埋めつくされた場合にも、正しく微粒子を認識することが可能となる。
なお、輝度値調整2は必須ではない。つまり、この場合には、輝度値調整1後に輪郭抽出して得られた第2の微粒子画像と第1の微粒子画像との論理演算(論理積演算)を行うことになる。しかし、上述のように、輝度値調整1の他に輝度値調整2を実行することにより、輝度値調整1(コントラスト調整)の処理を簡潔にすることができ、簡単な処理によって、運動性が高い細胞(細菌)の存在を確実に認識することが可能となる。
(3)第3の実施形態
細菌の薬剤感受性検査では、細菌の性状や細菌の増減を計測することが重要であり、第3の実施形態では、例えば、薬剤感受性検査に応用する一例について説明する。第3の実施形態においても、第1の実施形態で説明した微粒子検査装置100を用いることができる。ただし、試料溶液108の中には、細菌、細菌が増殖するために必要な培地成分、および検査対象の抗菌薬が含まれる。また、微粒子検査装置100は、細菌が増殖するのに適した温度、例えば37℃に温度調整されている。さらに、検査プレート102として、96穴や384穴のプレートを用いることができる。
検査対象が細菌であり、薬剤感受性を検査する場合には、抗菌薬が無効で細菌が増殖している“増殖”であるか、抗菌薬が有効で細菌の増殖が抑制されている“抑制”であるかどうかを検査プレート102のウェルごとにある時間において判別する。
<画像処理による認識結果>
図9は、微粒子検査装置100の撮像部105によって得られた複数の時系列画像に対して、ステップ200~204の処理(第1の実施形態の画像処理)を実行し、得られた微粒子の面積値の総和に相当する細菌領域の面積の関係を示す図である。当該測定結果では、アンピシリン/スルバクタムの濃度0.5/0.25μg/mLおよび32/16μg/mLを含む培養液中で8時間培養した細菌を撮像した結果である。
アンピシリン/スルバクタムの濃度0.5/0.25μg/mLの場合には、細菌面積値は培養開始から2時間以降で指数的に増加し始め、4時間から8時間後までは顕微鏡の撮像範囲一面を細菌が埋め尽くしている。このため、細菌面積値は一定値に飽和し、良好な細菌の増殖曲線が得られる。また、アンピシリン/スルバクタムの濃度32/16μg/mLの場合には、培養開始から8時間までで細菌面積値はほぼ初期値から変化せず一定値となる。
ここで、この細菌に対するアンピシリン/スルバクタムの感受性は、培養開始後18時間後のウェルの濁度計測により、濃度0.5/0.25μg/mLでは“増殖”、濃度32/16μg/mLでは“抑制”であることが分かっている。図9からは、例えば4時間経過時において、両者の濃度における細菌面積値の差は十分大きく、“増殖”と“抑制”を短時間で判別することが可能である。この例では、抗菌薬の2つの濃度における増殖/抑制の判定例を示したが、実際は薬剤の濃度をより細かく変化させて増殖/抑制の判定を行う。抑制となる最小の抗菌薬濃度はMIC(Minimum Inhibitory Concentration)と呼び、増殖/抑制の結果を基にMICの算出が行われるのが好ましい。さらに、いわゆるブレイクポイント表と比較して、対象の細菌が抗菌薬に対して感受性S(Susceptibility)か耐性R(Resistance)か、両者の中間I(Intermediate)か、を判定する。
微粒子検査装置100では、撮像毎にレンズ104の焦点を検査プレート102のウェル底面付近に合わせて画像を取得するが、微粒子が細菌、中でも運動性の高い細菌の場合に、毎回1つずつのウェルに対して焦点を合わせるような撮像毎の調整を行っても、輪郭が明瞭な画像を取得できない場合があり、図8に示すような画像となる。このような場合の一例として、図9の結果とは異なる細菌として運動性の高いと考えられる緑膿菌を用いた計測例について説明する(図10参照)。図10は、微粒子検査装置100によって得られた複数の時系列画像に対して、ステップ200~204およびステップ301、302の処理(第2の実施形態の画像処理)を実行し、得られた細菌領域の面積値の総和を示した一例を示す図である。本測定結果は、ゲンタマイシンの濃度0.12μg/mLおよび8μg/mLを含む培養液中で12時間培養した細菌を撮像した結果に相当する。
図10を参照すると、ゲンタマイシンの濃度0.12μg/mLの場合には、細菌面積値は培養開始から4時間以降で指数的に増加し始め、8時間以降は顕微鏡の撮像範囲一面を細菌が埋め尽くすため、細菌面積値は一定値に飽和する。ゲンタマイシンの濃度8μg/mLの場合には、培養開始後5時間以降で細菌面積値がやや増加する様子が見られるが、0.12μg/mLの場合と比較すると細菌面積値の差は十分大きい。
ここで、この細菌に対するゲンタマイシンの感受性は、培養開始後18時間後の濁度計測により、濃度0.12μg/mLでは“増殖”、濃度8μg/mLでは“抑制”であることが分かっており、両者の濃度における細菌面積値の差は十分大きいため、“増殖”と“抑制”を短時間で判別することが可能である(面積増加の傾きを増加判定の一指標にすることができる)。
薬剤感受性検査に用いられる菌種は計測毎に異なる可能性があるため、第3の実施形態では、第1の実施形態処理および第2の実施形態の処理を、例えば計測対象の菌種によって変更するようにしている。これにより正確な判定が可能である。
図11は、第3の実施形態による細胞の増殖/抑制判定処理を説明するためのフローチャートである。
(i)ステップ401
画像処理部106は、粒子種類、例えば細菌種類の判定を行う。例えば、運動性が低い細菌と運動性が高い細菌では判定方法を変えることが望ましく、菌種の差異により運動性を判定することができる。一例として、制御部107によってユーザから事前に入力された菌種情報を基に、ステップ401の処理(粒子種類判定)を行ってもよい。
また、画像処理を実施する前に得られた細菌画像中の細菌の形状や、例えば数秒の短い時間フレーム間隔における画像間の細菌移動量などを基に細菌の運動性や菌種の判定を実施しても良い。
運動性が低い菌種であると判定された場合(ステップ401でNOの場合)、処理はステップ402に移行する。運動性が高い菌種であると判定された場合(ステップ401でYESの場合)、処理はステップ403に移行する。
(ii)ステップ402
画像処理部106は、第1の実施形態で示された画像処理1(ステップ200からステップ205)を実行することにより特徴量を抽出する。
(iii)ステップ403
画像処理部106は、第2の実施形態で示された画像処理2(ステップ200からステップ205、ステップ301、およびステップ302)により特徴量を抽出する。
(iv)ステップ404
画像処理部106は、判別式により増殖/抑制の判別を行う。
なお、画像処理部106において算出された一連の結果は、制御部107の表示装置に表示され、オペレータに伝えられる。図12は、表示部1071に表示されるGUI(Graphical User Interface)の構成例を示す図である。表示部1071に表示されるGUIは、例えば、測定条件入力・表示領域501と、測定制御状態表示領域502と、増加曲線表示領域503と、MIC判定表示領域601と、抗菌薬に対する感受性結果表示領域602と、を含む構成にすることができる。具体的には、測定条件として細菌の種類や抗菌薬の情報、ステップ205において得られた微粒子の面積の経時変化や各ウェルの増殖および抑制の判定結果、各抗菌薬のMICや感受性(S、I、R)の結果を表示させることができる。
以上より、微粒子が細菌である場合には菌種や環境によって形状が異なるほか、増殖によって微粒子の増加が進むことで、画像中に存在する微粒子は様々な形体をとる。
(4)まとめ
(i)第1の実施形態によれば、撮像部が、微粒子を含む液体を保持するウェルの第1の微粒子画像を撮像し、画像処理部が当該第1の微粒子画像に対して所望の画像処理を実行する。例えば、画像処理部は、第1の微粒子画像の輪郭を抽出することにより第2の微粒子画像を生成する処理と、第1の微粒子画像と第2の微粒子画像との論理演算を行う処理と、論理演算の結果に基づいて微粒子の特徴量を算出する処理と、当該算出した特徴量に基づいて、ウェルにおける微粒子の増殖を判定する処理と、を実行する。そして、表示部(出力部)が、増殖判定の結果を表示(出力)する。
(ii)第2の実施形態によれば、撮像部が、微粒子を含む液体を保持するウェルの第1の微粒子画像を撮像し、画像処理部が当該第1の微粒子画像に対して所望の画像処理を実行する。例えば、画像処理部は、第1の微粒子画像に対して画像の明暗差を強調してコントラスト調整をする第1の輝度値調整処理を行った後に輪郭を抽出することにより第2の微粒子画像を生成する処理と、第1の微粒子画像と第2の微粒子画像との論理演算を行う処理と、論理演算の結果に基づいて微粒子の特徴量を算出する処理と、当該算出した特徴量に基づいて、ウェルにおける前記微粒子の増殖を判定する処理と、を実行する。そして、表示部(出力部)が、増殖判定の結果を表示(出力)する。ここで、画像処理部は、第1の微粒子画像に対して第1の輝度値調整処理とは異なる第2の輝度値調整処理を行うことにより第3の微粒子画像を生成し、第1の微粒子画像の代わりに第3の微粒子画像と第2の微粒子画像との論理演算を行う処理を実行するようにしてもよい。
(iii)第3の実施形態によれば、撮像部が、微粒子を含む液体を保持するウェルの第1の微粒子画像を撮像し、画像処理部が、微粒子の種類に応じて、第1の実施形態で提案の画像処理(第1の画像処理)と、第2の実施形態で提案の画像処理(第2の画像処理)とを切り替えて、第1の微粒子画像に対して画像処理を行い、微粒子の特徴量を算出し、当該特徴量に基づいて微粒子の増殖および抑制について判定する。ここで、微粒子の種類の情報は、例えば、オペレータ(ユーザ)によって入力されるようにしてもよいし、第1の微粒子画像から微粒子の移動量を算出することにより微粒子の種類を推定してそれを微粒子の種類の情報としてもよい。
(iv)第1から第3の実施形態によれば、細菌が孤立して存在する場合だけでなく、細菌の増加が進み画像全体が細菌で埋めつくされた場合や細菌が顕微鏡の焦点方向に広がった分布をもって存在することで明瞭な細菌の画像が得られない場合に、細菌領域の誤認識を防ぎ、正しく細菌の特徴量を抽出することができる。
(v)各実施形態の機能は、ソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本開示を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD-ROM、DVD-ROM、ハードディスク、光ディスク、光磁気ディスク、CD-R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
また、プログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はCD-RW、CD-R等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ(又はCPUやMPU)が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できることを理解する必要がある。更に、汎用目的の多様なタイプのデバイスがここで記述した教授に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益であることが判るかもしれない。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本開示は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本分野にスキルのある者には、本開示を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、C/C++、perl、Shell、PHP、Java(登録商標)等の広範囲のプログラム又はスクリプト言語で実装できる。
さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。
(vi)本開示は、上述した実施の形態および実施例に限定されるものではなく、様々な変形例を包含する。上述の実施形態は、本開示の技術をわかりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、またある実施形態の構成に他の実施形態の構成を加えることも可能である。また各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
100 微粒子検査装置
101 照明部
102 検査プレート
103 ステージ
104 対物レンズ
105 撮像部
106 画像処理部
107 制御部
108 試料溶液

Claims (15)

  1. 微粒子を含む液体を保持するウェルの第1の微粒子画像を撮像する撮像部と、
    前記第1の微粒子画像の輪郭を抽出することにより第2の微粒子画像を生成する処理と、前記第1の微粒子画像と前記第2の微粒子画像との論理演算を行う処理と、前記論理演算の結果に基づいて前記微粒子の特徴量を算出する処理と、当該算出した特徴量に基づいて、前記ウェルにおける前記微粒子の増殖を判定する処理と、を実行する画像処理部と、
    前記判定の結果を出力する出力部と、
    を備える検査装置。
  2. 請求項1において、
    前記画像処理部は、前記微粒子の特徴量として、前記第1の微粒子画像における前記微粒子が存在する領域の面積を算出する、検査装置。
  3. 請求項2において、
    前記画像処理部は、前記第1の微粒子画像において、輝度値が局所的に変化する領域、および前記輝度値が所定値よりも下回る領域を算出し、前記微粒子が存在する領域の面積を算出する、検査装置。
  4. 請求項1において、
    前記撮像部は、時系列で、少なくとも、第1の時点での前記第1の微粒子画像と、第1の時点よりも時間的に後の第2の時点での前記第1の微粒子画像を撮像し、
    前記画像処理部は、
    時系列で、少なくとも、前記第1の時点での前記第2の微粒子画像と、前記第2の時点での前記第2の微粒子画像を生成する処理と、
    時系列で、少なくとも、前記第1の時点での前記論理演算と、前記第2の時点での前記論理演算を行う処理と、
    時系列で、少なくとも、前記第1の時点での前記特徴量と、前記第2の時点での前記特徴量を算出する処理と、
    前記第1の時点での前記特徴量と、前記第2の時点での前記特徴量とを比較することにより、前記微粒子の増殖を判定する処理と、
    を実行する、検査装置。
  5. 請求項2において、
    前記画像処理部は、前記微粒子の特徴量として、さらに、前記微粒子の真円度、周長、短軸または長軸の長さおよびそれらの比のうち少なくとも1つを含む形状特徴量を演算し、前記面積と前記形状特徴量とを複数組み合わせて、前記微粒子の増加を判別する、検査装置。
  6. 微粒子を含む液体を保持するウェルの第1の微粒子画像を撮像する撮像部と、
    前記第1の微粒子画像に対して画像の明暗差を強調してコントラスト調整をする第1の輝度値調整処理を行った後に輪郭を抽出することにより第2の微粒子画像を生成する処理と、前記第1の微粒子画像と前記第2の微粒子画像との論理演算を行う処理と、前記論理演算の結果に基づいて前記微粒子の特徴量を算出する処理と、当該算出した特徴量に基づいて、前記ウェルにおける前記微粒子の増殖を判定する処理と、を実行する画像処理部と、
    前記判定の結果を出力する出力部と、
    を備える検査装置。
  7. 請求項において、
    前記画像処理部は、前記第1の微粒子画像に対して前記第1の輝度値調整処理とは異なる第2の輝度値調整処理を行うことにより第3の微粒子画像を生成する処理と、前記第1の微粒子画像の代わりに前記第3の微粒子画像と前記第2の微粒子画像との論理演算を行う処理を実行する、検査装置。
  8. 請求項において、
    前記第2の輝度値調整処理は、前記第1の微粒子画像の輝度値を全体的に所定値分上下させる明暗調整処理である、検査装置。
  9. 請求項において、
    前記微粒子は細菌であり、
    前記画像処理部は、前記ウェルにおける前記細菌の増殖および抑制について判定する処理を実行する、検査装置。
  10. 請求項において、
    前記画像処理部は、前記細菌の特徴量として、前記第1の微粒子画像における前記細菌が存在する領域の面積と、前記細菌の真円度、周長、短軸または長軸の長さおよびそれらの比のうち少なくとも1つを含む形状特徴量を演算し、前記面積と前記形状特徴量とを複数組み合わせて、前記細菌の増殖および抑制について判別する、検査装置。
  11. 請求項において、
    前記画像処理部は、前記細菌の特徴量として、前記第1の微粒子画像における前記細菌が存在する領域の面積を算出し、当該細菌の面積の時間的変化に基づく増殖曲線を生成し、
    前記出力部は、前記増殖曲線を出力する、検査装置。
  12. 微粒子を含む液体を保持するウェルの第1の微粒子画像を撮像する撮像部と、
    前記微粒子の種類に応じて、第1の画像処理と、第2の画像処理とを切り替えて、前記第1の微粒子画像に対して画像処理を行い、前記微粒子の特徴量を算出し、当該特徴量に基づいて前記微粒子の増殖および抑制について判定する画像処理部と、
    前記判定の結果を出力する出力部と、を備え、
    前記第1の画像処理は、前記第1の微粒子画像の輪郭を抽出することにより第2の微粒子画像を生成する処理と、前記第1の微粒子画像と前記第2の微粒子画像との論理演算を行う処理と、前記論理演算の結果に基づいて前記微粒子の特徴量を算出する処理と、を含み、
    前記第2の画像処理は、前記第1の微粒子画像に対して画像の明暗差を強調してコントラスト調整をする第1の輝度値調整処理を行った後に輪郭を抽出することにより第3の微粒子画像を生成する処理と、前記第1の微粒子画像と前記第3の微粒子画像との論理演算を行う処理と、前記論理演算の結果に基づいて前記微粒子の特徴量を算出する処理と、を含む、検査装置。
  13. 請求項1において、
    前記画像処理部は、入力された前記微粒子の種類の情報に基づいて、前記第1の画像処理と前記第2の画像処理とを切り替える、検査装置。
  14. 請求項1において、
    前記画像処理部は、前記撮像部によって撮像された前記第1の微粒子画像から前記微粒子の移動量を算出することにより前記微粒子の種類を推定し、当該微粒子の種類の情報に基づいて、前記第1の画像処理と前記第2の画像処理とを切り替える、検査装置。
  15. 撮像部が、微粒子を含む液体を保持するウェルの、第1の時点での第1の微粒子画像を撮像することと、
    画像処理部が、前記第1の時点での第1の微粒子画像の輪郭を抽出することにより、前記第1の時点での第2の微粒子画像を生成することと、
    前記画像処理部が、前記第1の時点での第1の微粒子画像と前記第1の時点での第2の微粒子画像との論理演算を行い、第1の論理演算結果を生成することと、
    前記画像処理部が、前記第1の論理演算結果に基づいて、前記第1の時点での前記微粒子の特徴量を算出することと、
    前記撮像部が、前記第1の時点から所定時間経過後の第2の時点での前記第1の微粒子画像を撮像することと、
    前記画像処理部が、前記第2の時点での第1の微粒子画像の輪郭を抽出することにより、前記第2の時点での第2の微粒子画像を生成することと、
    前記画像処理部が、前記第2の時点での第1の微粒子画像と前記第2の時点での第2の微粒子画像との論理演算を行い、第2の論理演算結果を生成することと、
    前記画像処理部が、前記第2の論理演算結果に基づいて、前記第2の時点での前記微粒子の特徴量を算出することと、
    前記第1の時点での前記微粒子の特徴量と前記第2の時点での前記微粒子の特徴量とに基づいて、前記ウェルにおける前記微粒子の増殖判定をすることと、
    出力部が、前記増殖判定の結果を出力することと、
    を含む、検査方法。
JP2021503280A 2019-03-04 2019-03-04 検査装置および検査方法 Active JP7130109B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/008294 WO2020178931A1 (ja) 2019-03-04 2019-03-04 検査装置および検査方法

Publications (2)

Publication Number Publication Date
JPWO2020178931A1 JPWO2020178931A1 (ja) 2021-10-21
JP7130109B2 true JP7130109B2 (ja) 2022-09-02

Family

ID=72337712

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021503280A Active JP7130109B2 (ja) 2019-03-04 2019-03-04 検査装置および検査方法

Country Status (5)

Country Link
US (1) US20220145233A1 (ja)
EP (1) EP3936602A4 (ja)
JP (1) JP7130109B2 (ja)
KR (1) KR102535084B1 (ja)
WO (1) WO2020178931A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010216920A (ja) 2009-03-16 2010-09-30 Olympus Corp 細胞画像解析装置
JP2014082957A (ja) 2012-10-19 2014-05-12 Olympus Corp 細胞計数装置及び細胞計数プログラム
JP2015177768A (ja) 2014-03-19 2015-10-08 株式会社日立ハイテクノロジーズ 検査装置
JP2016136876A (ja) 2015-01-27 2016-08-04 株式会社日立ハイテクノロジーズ 検査装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150108963A (ko) * 2014-03-18 2015-10-01 삼성전기주식회사 세포 분석 장치 및 세포 분석 방법
JP6318755B2 (ja) 2014-03-24 2018-05-09 東レ株式会社 糸状性細菌検出装置および糸状性細菌の検出方法
GB201610425D0 (en) * 2016-06-15 2016-07-27 Q-Linea Ab Analysis of images of biological material

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010216920A (ja) 2009-03-16 2010-09-30 Olympus Corp 細胞画像解析装置
JP2014082957A (ja) 2012-10-19 2014-05-12 Olympus Corp 細胞計数装置及び細胞計数プログラム
JP2015177768A (ja) 2014-03-19 2015-10-08 株式会社日立ハイテクノロジーズ 検査装置
JP2016136876A (ja) 2015-01-27 2016-08-04 株式会社日立ハイテクノロジーズ 検査装置

Also Published As

Publication number Publication date
EP3936602A1 (en) 2022-01-12
KR20210095910A (ko) 2021-08-03
WO2020178931A1 (ja) 2020-09-10
KR102535084B1 (ko) 2023-05-26
US20220145233A1 (en) 2022-05-12
JPWO2020178931A1 (ja) 2021-10-21
EP3936602A4 (en) 2022-11-09

Similar Documents

Publication Publication Date Title
US11796788B2 (en) Detecting a defect within a bodily sample
Pires et al. Retinal image quality analysis for automatic diabetic retinopathy detection
CN108027364B (zh) 用于确定细胞学分析系统中的细胞充分性的系统及方法
Korzyńska et al. Multistage morphological segmentation of bright-field and fluorescent microscopy images
Goceri et al. Quantitative validation of anti‐PTBP1 antibody for diagnostic neuropathology use: Image analysis approach
Iwabuchi et al. Evaluation of the effectiveness of Gaussian filtering in distinguishing punctate synaptic signals from background noise during image analysis
JP7209287B2 (ja) ナノ粒子の判別方法
US20240177302A1 (en) Cellular diagnostic and analysis methods
Nellros et al. Automated image analysis of iron-ore pellet structure using optical microscopy
JP7130109B2 (ja) 検査装置および検査方法
Kotyk et al. Detection of dead stained microscopic cells based on color intensity and contrast
Abirami et al. A New Benchmarking for Diabetic Retinopathy Using Machine Learning, Deep Learning and Image Processing Techniques
Belini et al. Morphometric quantification of a pseudohyphae forming Saccharomyces cerevisiae strain using in situ microscopy and image analysis
Devaraj Detection of red lesion in diabetic retinopathy using adaptive thresholding method
Liu et al. Automatic detection of circulating tumor cells based on microscopic images
Shankar et al. Glaucoma Detection with Fully Convolutional Neural Network using Optic Disc and Segmentation Methods
Chowdhury et al. Detection of cotton wool spots from retinal images using fuzzy C means
Halder et al. Blood vessel extraction from retinal images using modified Gaussian filter and bottom-hat transformation
Zhou et al. Particulate Mapping Centerline Extraction (PMCE), a Novel Centerline Extraction Algorithm Based on Patterns in the Spatial Distribution of Aggregates
Korzynska Automatic counting of neural stem cells growing in cultures
Abd Azmi et al. Microaneurysms (MAs) Detection using Mathematical Morphology
Errabih et al. Diagnostic System and Classification of Diabetic Retinopathy Using Convolutional Neural Network
On Computational Video Bioinformatics for Understanding the Dynamics of Living Cells
TarasKotyk et al. Detection of Dead stained microscopic cells based on Color Intensity and Contrast
Kitani et al. Extraction of fibers and nuclei of hepatic histopathologic specimen stained with silver and HE

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220823

R150 Certificate of patent or registration of utility model

Ref document number: 7130109

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150