JP7046797B2 - 微生物コロニーの早期検出および識別方法、該方法を実施するための装置およびコンピュータプログラム - Google Patents

微生物コロニーの早期検出および識別方法、該方法を実施するための装置およびコンピュータプログラム Download PDF

Info

Publication number
JP7046797B2
JP7046797B2 JP2018515112A JP2018515112A JP7046797B2 JP 7046797 B2 JP7046797 B2 JP 7046797B2 JP 2018515112 A JP2018515112 A JP 2018515112A JP 2018515112 A JP2018515112 A JP 2018515112A JP 7046797 B2 JP7046797 B2 JP 7046797B2
Authority
JP
Japan
Prior art keywords
digital images
digital
image
images
digital image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018515112A
Other languages
English (en)
Other versions
JP2018533917A (ja
Inventor
ブチロン,マリン
フェルデン,リュク
アフマド,オラ
コレ,クリストフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Merck Patent GmbH
Centre National de la Recherche Scientifique CNRS
Universite de Strasbourg
Original Assignee
Merck Patent GmbH
Centre National de la Recherche Scientifique CNRS
Universite de Strasbourg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Merck Patent GmbH, Centre National de la Recherche Scientifique CNRS, Universite de Strasbourg filed Critical Merck Patent GmbH
Publication of JP2018533917A publication Critical patent/JP2018533917A/ja
Application granted granted Critical
Publication of JP7046797B2 publication Critical patent/JP7046797B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12QMEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • C12Q1/04Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
    • C12Q1/06Quantitative determination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Organic Chemistry (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Zoology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Wood Science & Technology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Genetics & Genomics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biotechnology (AREA)
  • Immunology (AREA)
  • Microbiology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Toxicology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Description

本発明は、表面上の微生物の増殖をテストし、それぞれ検出する方法およびデバイスに関する。特に、本発明は、微生物の増殖を示すように構成された、表面の画像データの統計的処理の改善に関する。
汚染された食品や水、品質の悪い医薬品およびほかの要素などを通じ、多くの病気が人の体内に運ばれて広がる。このため、工業製品の品質は、特に医薬品および食品加工産業にとって重要な問題の1つになる。今日、汚染のテストには21日までの数日間かかりるが、これは高価で時間がかかる。汚染微生物を高精度で早期に検出することができる自動技術、およびエラー率(誤検出率)が非常に小さいことは、比較的数日以内で堅調な最適化された制御を達成するための大きな助けとなる。
例えば、製薬業界では、多くのプロセスがクリーンルーム環境で行われる。これらのプロセスの例には、注射器などの充填が含まれる。最終製品の汚染を確実に避けるためには、クリーンルームの状態を厳密に監視することが不可欠である。したがって、微生物の増殖に特に適した表面を有する担体、小さな皿をクリーンルームに導入するのが通常である。
表面上の微生物の増殖を検出するための既知の方法の多くは、表面の光学検査、および微生物コロニーの閾値レベルまたは形状評価に基づく微生物コロニーの識別に基づく。
しかし、現在、表面上の微生物の増殖を確実に識別するのに比較的長い時間がかかり、すなわち、信頼できる結果を得るのに数日かかる可能性がある。過去にこのプロセスを加速しようとすると、多数の誤検出結果が生じ、生産プロセス全体の歩留まりに悪影響を及ぼした。これは、部分的には、表面を撮像することによって得られるデータに含まれるノイズに起因する。閾値レベルが高すぎると、増殖中の微生物が閾値レベルに達するまでに時間がかかる。一方、閾値レベルが低すぎると、多くのノイズ人工物が多数の誤検出結果を招く可能性がある。
過去数十年間に、光学システムとコンピュータビジョン技術とを組み合わせて、迅速かつ自動化された検出、ならびに微生物コロニーおよび細菌体の計数および分類を行ういくつかの技術が開発されてきた。蛍光撮像技術は、微生物コロニーを検出および列挙するためのものの1つである。この技術は、微生物の最適な増殖条件において、効率性および良好な回収率(> 90%)を示すが、より迅速な汚染試験には不都合である。
代替案として、画像ベースの手法が、レーザ散乱計技術を用いた微生物コロニーの検出および区別の両方に使用されている。レーザー光が寒天プレートを照らし、微生物コロニーをインキュベートした後、散乱パターンが捕捉され、CCDカメラを用いて記録され、例えば256階調の2D画像が実行される。この技術は、ゼルニケやチェビシェフのモーメントやHaralickディクリプタのような多数の特徴の組み合わせを用いて、微生物コロニーのプロトタイプを識別するために、大量のサンプルセットに適用された教師付きのトレーニングプロセスを用いる。この技術は非常に時間がかかり、その時点での検出および分類手順のために提供され得るテクスチャ的特徴または事前情報が存在しないため、微生物コロニーの最初の生育中および低濃度または弱濃度の検出および識別にはあまり適していない。
微生物コロニーの検出および識別のための多くの画像処理に基づく手法が確立されているが、それらは依然として伝統的であり、今日使用されている最も一般的で革新的な光学技術(画像はノイズが多く、早期検出のフレームワークではSNR(信号対ノイズ比)が低い)、および短期間のインキュベーション期間を必要とする厳しい産業条件、および存在するかもしれない低濃度の微生物(まれな事象)にフィットしない。
さらに、これらの方法の信頼性および効率性は、制限と考えることができる条件:コロニー形態依存性(例えば、円形形状、タンパク質の内部分布、分子構造)、コロニー分布依存性(例えば、分離された微生物コロニー)、サンプルサイズ、計算の複雑さ、手動テスト/処理を意味する必要な事前情報にしばしば依存する。
一方、信頼性の高い結果で早期の検出を行うことができ、任意の撮像システムによって形成されたノイズに対して非常に堅調で、微生物コロニーの形態とは独立した方法を設計する必要性が非常に大きい。分類と計数は十分に確立されている。
従って、本発明の目的は、表面上の微生物の増殖を確実かつ迅速に識別するためのデバイスおよび方法を提供することにある。
上記の目的は、請求項1の方法、請求項10の装置および請求項16のコンピュータプログラムによって達成される。従属請求項は、本発明の異なる有利な態様に向けられている。
本発明の基本的な概念は、表面から得られた画像データに対して統計的評価を行い、ノイズ分布のモデルおよびパラメータを決定することである。期待されるノイズ分布にフィッテイングしない画像部分/画素の値は、可能な微生物として識別される。
検出の信頼性を高めるために、後の時点で得られた同じ表面の画像データに対して処理を繰り返すことができる。これは、データの時間分析に依存する第1の手法であり、評価されたデータに基づいて誤検出と実際の事象とを区別することを可能にする。
別の方法として、画像表面の同じデータが、例えば平滑化フィルタなどの異なるフィルタを用いて処理される。。データを平滑化することにより、検出のための異なるスケールを考慮することができ、したがって画像の領域に比べて広い領域を有するコロニー、画像の広い領域をカバーするマルチコロニー、またはかびのような特定の特徴を有するコロニーの検出が容易になる。
最後に、第3の代替案では、上記手法の両方を組み合わせることができ、微生物コロニーの時間および空間的特性を考慮に入れることができる。
特に、本発明は、表面上の微生物コロニーの検出方法であって、表面の1つまたは複数のデジタル画像を得るステップであって、前記デジタル画像は、少なくとも2次元の画素値マトリックスによって表される、前記ステップと、少なくとも1つのデジタル画像に基づいて、統計的ノイズ分布を計算するステップと、計算するステップで計算された統計的ノイズ分布を1つまたは複数のデジタル画像に適用するステップと、および、ノイズ分布からの画素値の偏差に基づいて、微生物コロニーの候補として関心対象を検出するステップとを含む、前記方法を提供する。
この方法は、異なる時間に同じ表面を撮像することによって、複数のデジタル画像を得るステップをさらに含むことが好ましい。
さらに好ましくは、本方法は、関心対象を検出するステップに、2以上のデジタル画像に基づいて時間依存性増殖を示す、これらの関心対象を微生物コロニーとして識別することを含む。
さらなる実施形態によれば、方法は、表面を撮像することによって第1のデジタル画像を得るステップと、第1のデジタル画像にそれぞれの平滑化フィルタを適用することによって、複数のデジタル画像の任意のさらなるデジタル画像を得るステップを含む
さらに、この方法は、それぞれの平滑化フィルタを第1デジタル画像に適用することによって、複数のデジタル画像の任意のさらなるデジタル画像を得るステップをさらに含むことが好ましい。
本発明はさらに、異なる時間で同じ表面を撮像して得られた各画像が、a)異なる時間で同じ表面を撮像して得られた画像の1つを第1のデジタル画像として決定するステップ;b)第1のデジタル画像にそれぞれの平滑化フィルタを適用することによって、複数のデジタル画像の任意のさらなるデジタル画像を得るステップ;およびc)異なる時間で同じ表面を撮像することによって得られた各画像に対してステップa)およびb)を繰り返すステップを適用することによって、複数の画像を得るために使用されることを提案する。
本発明の方法において、画素値は、表面の点または領域の相対的な高さを表す値である。
さらに、統計的ノイズ分布を計算する前に、表面の任意の曲率を補償するための画素値に数学的補正関数を適用することも考えられる。
特に、統計ノイズ分布は、ガウスランダムフィールドとしてモデル化することができる。
本発明を方法の特徴によって説明したが、本発明はこの方法に限定されない。本発明は、上記の方法のいずれかを実行するように特に構成されたデバイスも含む。
最後に、本発明は、コンピュータプログラムコードを含むコンピュータプログラムの形態で実現することができ、コンピュータプログラムコードは、コンピュータの内部メモリにロードされると、コンピュータに上記の本発明の方法を実行させる。
以下、図面を参照して本発明の好ましい実施形態を説明する。
図1は、第1実施形態のフロー図である。 図2は、第2実施形態のフロー図である。 図3は、第3実施形態のフロー図である。 図4は、第4実施形態のフロー図である。 図5は、本発明を実施するための装置を示す。
本方法は、微生物コロニーに基づく従来技術の他の方法とは対照的な背景に基づいている。それらは主に円形の輪郭を認識して、その形に依存している。検出の問題を解決し、従来技術に見られるような微生物コロニーを識別するためのいくつかの解決策がある。それにもかかわらず、これらの解決策は、本発明者らのケースでは、ノイズの多いデータに対して完全な分析および堅調な検出結果を提供しない。すなわち、少数の誤検出で微生物コロニーを検出して識別するためには、多くの前処理および/または後処理および/または脱ノイズ工程が必要である。
この第1実施形態は、図1に示され、上記のように、微生物コロニーが背景画像中のまれな信号であるという仮定を用いて、背景画像をモデル化し、背景画像中の微生物コロニーを探索することに基づく。加工された表面をモデリングする際に最も一般的に使用される確率モデルは、ガウスプロセスとスキューガウスプロセスである。ベータ、対数正規、ガンマまたはレイリー分布のような他のモデルも存在するが、それらはあまり魅力的ではない。ガウスプロセスは、一次モーメントと二次モーメントによって完全に一意的に決定される単純モデルであり、計算速度が速いため、最も魅力的なモデルである。しかし、‘ガウス化’(ガウスモデルに対応するようにデータを変更するという事実)が実現可能であり、しばしば非ガウスまたは未知モデルのデータにフィッテイングさせるための良い解決策を提供する。未知のPDF(確率密度関数)の中で最も潜在的に「ガウス化可能な」成分を与える、PCAやICAのようなある種の正規直交変換を使うことができる。
汚染された微生物コロニーが初期成長中に検出された場合、事前情報は入手できない。これは教師なしの方法の実施につながる。微生物コロニーは、地形的な表面粗さとは区別されなければならない。粗いトポグラフィは、静止したガウスランダムフィールドによってモデル化された実際の2D画像によって表すことができる。
以下の議論では、ガウスランダムフィールドの定義は、2次元画像の場合に限定され、空間はサンプリングされた格子上で画素の集合によって表される。
画素x∈S、ここでS∈R(本発明者らのケースでは、N=2)が、画像のサポート空間であるとし、Z(x)を画素xにおける相対的な高さの値とすると、{Z(x):x∈S}は、ガウスランダムフィールド(GRF)を定義し、あらゆる選択肢x、x、...、x、および任意の任意のnに対して、ピーク値Z(x),Z(x),...,Z(x)は、以下の形式の確率で多変量ガウス分布関数に従う。
Figure 0007046797000001
平均ベクトルμ=E|z|、要素Cij=E[{Z{x)-μ)(Z(x)-μj)]のnxn非負(または半正)確定共分散行列C、および行列式|C|=det(C)。
ガウスランダムフィールドは、その平均E|z|が一定(画像内の位置に関係なく)で、任意の整数(i、j)に対するその共分散関数Cij=C(x-x)が、差x-xのみに依存する場合、広い意味と厳密な意味の両方で静止している。共分散関数が、Cij=C(|x-x|)のような任意の2つの位置の差のユークリッド長||にのみ依存する場合、GRFは等方性または均質であると言われる。一般に、平均は、ゼロ平均GRFで動作するように、ガウスランダムフィールドから減算することができる。この場合、均質ゼロ平均GRFによってモデル化することができる画像は、平行移動および回転の下で不変の共分散関数を有することになる。
このモデルの妥当性は、微生物コロニーが存在しない場合の粗いトポグラフィーの画像上でテストされている。
モデルの検証(ガウス性のテスト)は、表面観測の粗さパラメータを推定することで、および、ヒストグラムデータ分析から、表面の幾何学関数(例えば、ミンコフスキ関数およびオイラー特性関数)をガウスにフィッテイングさせることから実行できる。
次いで、このモデルに基づく統計的分析を適用して、粗いトポグラフィー上の異なるタイプの微生物コロニーの存在を可能な限り早期に検出する。この解析では、エクスカーションセット(excursion set)の概念を使用して、検出閾値の推定に役立つ。かかる閾値より高い値を有するクラスタを形成する全ての画素は、関心対象として考えられる。
検出閾値は、推定され、微生物コロニーに対応する可能性のある全ての候補クラスターを取るために使用される。1つの閾値によって与えられるすべてのクラスタは、エクスカーションセットに属する。
エクスカーションセットの概念は、測定可能なサブセットで定義された、任意の測定可能な実数値関数について定義されている。ガウスランダムフィールドから得られるエクスカーションセットは、ガウスエクスカーションセットと呼ばれる。
エクスカーションセットの重要性は、これらのセットを介して実行される幾何学的手法を採用する必要性、より具体的には、これらのセットがランダムフィールドから計算される場合に生じる。そして、その幾何学的特徴についての期待を導くことができる。このような幾何学的手法は、検出閾値の推定を助ける。
ランダムフィールドのエクスカーションセットの幾何学は、積分幾何学と微分トポロジーフレームワークの両方を使用して開発され、エクスカーションセット内の点とそのトポロジー的特徴との間の隣接関係、すなわち接続された構成要素を描画するために、オイラー特性(EC)(χ(Az(Z、S)で示される)の概念の定義を可能にする。
たとえば、エクスカーションセットはバイナリコンポーネントで構成され、その中には「ホール」と呼ばれる背景の閉じた領域が含まれる場合がある。この場合、ECは接続されたコンポーネントの数からホールの数を引いた数を数える。
高レベルのエクスカーションセット、および適切な規則的なランダムフィールドの場合、ECは接続されたコンポーネントまたはクラスタの数を計数する。
このエクスカーションセットおよびガウスランダムフィールドのこの概念は、統計的データ処理の当業者には周知であり、ここではこれ以上詳述しない。
次いで、ガウスランダムフィールドに基づく統計分析が、検出されたクラスタの重要性をテストし、誤検出を検出する確率を制御するために実行される。
それは、検出された領域が、高い存在可能性、関心のある微生物コロニー、またそれらがノイズ(誤警報)に属する場合に一致するかどうかを推定するためにピーク高さおよび空間的広がりテストを適用することからなる。
第1の閾値は、局所極大値の平均数に近似するオイラー特性関数から得られる。このテストは、鋭いピーク強度値の全ての潜在的なコロニーを検出することを可能にする。
第2のテストは、上記で得られた値よりも低い閾値を設定することによって検出された対象の平均サイズに適用される。
このテストを背景画像に適用することは、微生物コロニーを含む背景画像の場合とは異なり、偶然に比較的大きなサイズの対象が得られる可能性があることを意味するだけである。このテストでは、低いピーク値と大きなサイズの対象を検出することができる。
この理論に基づいて、本発明は、微生物コロニーを示すクラスターを結果として得るために、時間tにおける表面粗さプロファイルの画像から得られたデータを使用するための以下の方法を提案する。
誤り率εを0.01に固定する。
有意性の5%テストのためのガウスランダムフィールド手法および対応するエクスカーションセットを使用してzを推定する。
zおよびz-0.7のすべての候補クラスタを検出する。
すべての候補クラスターに対して
P(h>h0)を計算する。
P(sz>s0)を計算する。
P(h>ho)<ε、または
P(sz>s0)<εを満たすクラスタを受け入れる。
ここで、z:閾値レベル。
ho:zより上の最大の高さ。
h:zより上で検出された1つのクラスタの高さ。
so:サイズの閾値。
sz:zより上で検出された1つのクラスタのサイズ。
ε:エラーレート。
Figure 0007046797000002
Figure 0007046797000003
ここで、Φは正規累積分布関数である。項λ(S)Φ(-z)は、zより上のガウスランダムフィールドのエクスカーションセットλz(Z、S)の平均面積である。次に、閾値zより上のサイズsz≧s0の1つのクラスタの空間的範囲の限界確率は、
Figure 0007046797000004
として表現される。
以下では、本発明を例示するいくつかの例について説明する。
異なる標準寒天プレート(R2A、TSA(トリプティックソイ寒天)、SDA(サブローデキストロース寒天))を用いて2つの異なる種類の微多孔膜フィルターを使用した。 膜の1つは、混合したセルロースエステル、親水性47mmおよび0.45/μmの細孔サイズ、白色格子状(HAWG04700[15])で、第2のものはDurapore膜、PVDF、親水性、47mmおよび0.45μmの孔径、白色格子状で構成される。これらの膜は、それぞれHAおよびHVとして参照される。
汚染テストに使用される細菌培養株は以下である:Pseudomonas aeruginosa ATCC 9027, Methylobacterium mesophilicum ATCC 29983, Dekkera anomala CBS 77およびAspergillus brasiliensis ATCC 16404.これらのサンプルを膜HAおよびHVを通して濾過し、膜を寒天プレート上に置き、微生物コロニーの増殖のために推奨される環境条件下でインキュベートした。いくつかのインキュベーション期間を考慮して、試験と検証の両方について十分なサンプルを評価した。
使用されるサンプルの総数は、4種の細菌株を含む両方の膜から得られた40個である。
インキュベーション前および各インキュベーション期間後の膜を測定デバイスの光軸に沿って配置した。
光学測定システムは、波長405nmのレーザダイオード光と、レーザラインに対して傾斜したデジタルカメラとからなる。レーザビームは、光軸(X軸)に対して垂直に配置された1つの膜のラインプロファイル(X軸を通る800ポイント)を照射するように放射される。Y軸を使用した変位が可能なスキャン15768プロファイル、およびプロファイルの各点からの反射光は、膜の粗いトポグラフィーの2D画像(800×15768画素)を形成するカメラによって記録される。すべての光学部品は、ブレッドボードに取り付けられているため、安定した位置決めと振動効果が得られる。
カメラの傾きのために、膜の形状に応じて膜から測定されたプロファイルが直線的に傾いているか、または直線的に傾いていない場合、曲面および補正すべき望ましくない全体形状が生成される。膜サンプルは名目上平坦であるが、実際にはサンプルの長さに渡っていくらかの傾きがあり、取得から曲面生成が生じる。したがって、二次多項式フィッティングを使用して、最小自乗アルゴリズムを使用してこのような誤差を除去し、次にフィッテイングした曲面をプロファイルデータから減算する。3×3メジアンフィルタを適用して、外れ値を除去し、高周波数に位置する所望の情報を失うことなく信号対ノイズ比を増加させる。次に、平均を減算し、各画素を標準偏差で除算してゼロ平均および単位分散の値を得ることによって画像を正規化する。
以下において、各画像は、粗いトポグラフィー(ノイズ)と微生物コロニーの2つのクラスのデータを含む。この方法は、インキュベーション期間t0、t1、t2、t3およびt4で、汚染された膜から取得された画像に適用され、ここでt0は、インキュベーション前の最初の日(この時点で微生物細胞が分解能のままである)であり、t1は細菌増殖の最初の日であり、t4はインキュベーション期間の最後の日を表す。微生物コロニーは、時間t2で増殖を開始し、それらのいくつかは、時間t4またはそれ以前の測定システムによって明らかに認識されるようになる。この方法は、微生物コロニーがほとんど認識されない場合に、非常に早期の検出を達成する能力を証明するためにインキュベーション期間を通して適用される。微生物コロニーを含まない画像の場合、プロファイルの実験的な全体的最大値は4.59で取得されたが、一方で、p-値<0.05の場合のオイラー特性を用いて解析的に得られた近似最大値は、z=5.07であり、p値<0.01についてはz=5.4であった。
画像が微生物コロニーを含む場合、微生物コロニーのピーク値は、5%および1%有意性の両方についてzよりも相対的に高く、zより上の誤検出の数をごくわずかしか検出しないようにする。
微生物コロニーは、有意性の0.05テストで計算された閾値については精度100%、期間t0およびt4の間では有意性の0.01テストで95%以上で堅調に検出された。検出エラーによる誤検出の数は1%未満である。
要約すると、本発明の主な目的は、トポグラフィー撮像デバイスによって測定された生物学的表面(膜)からの微生物汚染の早期検出を可能にする堅調で自動化された方法を導入することである。測定は、粗さトポグラフィ(ノイズ)と微生物コロニーの両方を含む2D画像によって表される。微生物コロニーをノイズから分離する検出閾値を推定するために、ガウスランダムフィールドの理論的フレームワークから統計分析を導き出した。
この方法は、非常に良好な結果を示し、すべてのインキュベーション期間にわたって誤検出に対する感受性が低い。
本発明の実施形態に関して上述したように、微生物コロニーを検出する方法は、背景画像のモデルの使用に基づいている。このモデルは、検出を可能にする(データに基づいた)パラメータの計算を可能にする。これらのパラメータは、何が検出されたかを特徴付けるためにも使用できる。
本実施形態は、「対象」、すなわち可能性のある微生物コロニー形態を得て、対象を位置特定し、それらを計数することを可能にする。
膜に非生物病原菌を添加する場合、別のタイプの誤検出を除去すべきであり、さもなければ、この方法は、微生物コロニーが存在しない場合でも微生物コロニーの存在を示すであろう。
インキュベーション期間の前後で検出されたクラスター間で一致する手順を示唆することは、微生物汚染に属さない対象を除去するのに役立つことが示され得る。
画像の対象の位置特定および計数のステップの後、図1に示すように、異なる時間に得られた画像のデータ間の「対象一致」ステップを実施することができる。このようにして、可能性のある微生物コロニーの検証は、示された後処理によって達成される。
一致する対象に変化があった場合、それぞれの対象は「成長対象」としてマークされる。それ以外の場合は、無関係としてマークされる。
すなわち、参照画像が有意でない粒子/対象を含む場合、参照取得を他のものと比較することによって、これらの粒子から微生物コロニーを識別するために、上記の後処理が行われる。
一般に、この方法は堅調で良好な結果を示した。それにもかかわらず、一致基準は経験的であり、それは画像解像度に依存し、参照画像と現在の画像との間の可能性のある位置ずれに敏感であるため、検出閾値が対象全体を得ることに至らなかった場合、または位置ずれが複数の画素オーダーである場合には、誤った微生物コロニーが検出されるであろう。
結果として、本発明は、後処理段階を使用せずに第1実施形態を変更する図2に示す第2実施形態を提案した。
この第2実施形態は、モデルにおける時間(時空間分析)を含む。
後処理段階を使用せずに微生物コロニーと他の同様の対象とを区別するために、検出プロセスに時間が追加される。最初はt0、その他は成長中に、少なくとも2回の取得が行われる。
微生物コロニーは表面培地上で単離されず;重要ではない表面上に存在し得るいくつかの粒子が存在する。したがって、取得された各画像に閾値を適用することを避け、各閾値からの検出結果を処理するために、本発明の第2の実施形態の考え方は、異なるインキュベーション時間を通して得られた時系列画像を扱う1つのモデル(すなわち、1つの検出閾値)を構築することである。
第1の画像は背景画像であり、以下の(n-1)個の画像は時間の経過中に微生物コロニーを含む画像である。
この実施形態は、微生物コロニー識別の意味において最初のものより良好な結果を示した。
それにもかかわらず、このモデルは、検出の堅調性に無視できない影響を与える可能性がある、取得した解像度に関する画像に適用される(推定閾値)。
さらに、検出された微生物コロニーの特徴、例えばそれらのサイズおよび幾何学的特徴を推定するように特徴付ける必要があるかもしれない。
一般に、任意の光学デバイスによって観察される微生物コロニーは、観察のスケールに応じて異なる挙動を示し、マルチレベルのノイズ観察につながる。これらの問題に対処するために、本発明は、図3に示すように、第3実施形態を提案する。
第3実施形態は、任意のサイズの対象を検出し、それらの真のサイズを推定することの両方のためのスケール空間分析を含む。バックグラウンドやアクイジションシステムなどから発生するノイズは常に存在する。信号対ノイズ比(SNR)で定量化され、SNRが低い場合(対象物はノイズに似ている)、検出するのは困難である。その場合、改善は、いくつかのスケーリングの下で信号を考慮することになる。これは、画像の平滑化が、いくつかの程度においてなされることを意味する。このスムージングにより、SNRが向上し、対象信号の一致が改善される。この実施形態は、より良い検出およびパラメータ計算または特性の両方のために、適切なモデルによるスケール空間戦略を検出プロセスに統合することを提案する。
スケール空間モデリングに基づく解決法を使用して、画像を複数のスケールに分解することで、それぞれが特定のスケールに対応するマルチの画像を得る。
最良の検出結果のために、平滑化フィルタは、微生物コロニーの一般的な形状にフィットするように選択される。第2および第3実施形態は、相補的な解決策であり、本発明の適用において必要とされる。
第2実施形態は、対象の識別および区別の問題に対処し、第3実施形態は、より良い検出および対象の特徴付けのためにSNRを改善するように指定される。それにもかかわらず、各ソリューションを個別に適用することは、アプリケーションのニーズに依存する。本発明の適用のために、1つの実施形態を使用することは、計算的に網羅的ではなく、複数の連続する実施形態を適用することにより、1つの解決策から別の解決策への望ましくない結果を変えることができる(2つ目の解決策の誤差により影響を受ける1つの解決策の結果の偏り)。したがって、第2および第3実施形態の両方をマージする融合手順は、完全で堅調な解決策として提案される。
図4に示すこの第4実施形態の考え方は、第2および第3実施形態によって与えられるスケール基準と時間基準の両方をマージする完全で統合されたモデルを構築することである。微生物コロニーが存在しない場合の(n)時系列画像をモデル化するために時空間スケール空間モデルが構築される(帰無仮説の場合)。したがって、モデルが帰無仮説に適用されるとき、各検出は誤検出とみなされ、したがって、誤検出の数は限定され得る。さもなければ、モデルが微生物コロニーを含むデータに適用される場合、各検出は、最良の最小限の誤検出数およびより偏った結果を取ることに関係する1つの差異を伴い、前の実施形態のすべての場合と同様に、真と見なされる。ここで、モデルはスケール空間と空間時間の両方の実施形態を統合する。
異なるインキュベーション時間で少なくとも2つの画像が取得され、それぞれがスケール空間フィルタによって平滑化される。
本発明によれば、実施形態1~4のいずれかに記載の方法で一度検出されると、微生物コロニーを計数することができる。かかる解決策は、堅調な計数とともに、バイオ負担研究のためのアプリケーションに統合することができる。
実際、このシステムは、微生物コロニーではない対象を考慮せず、輪郭および形状の境界画定が改善されたことにより、微生物コロニーのクラスターを区別してカウントすることができる。さらに、時空および/またはスケール空間を使用するとき、微生物コロニーの特徴を得ることができ、これは、例えば増殖速度、サイズ、幾何学的特徴(等高線、伸長、直径、...)、スケール、スケール間隔での微生物コロニーの生存期間などの識別に使用することができる。
スケール空間を含む実施形態3は、微生物コロニーの非常に堅調な位置特定および区切りを可能にするため、微生物コロニーの幾何学的特徴の研究によく適合している。領域、輪郭などをより正確に推定できる。抽出された特徴は、従来の機械学習方法で分析されるべき事前情報と考えることができる。
本方法は、増殖の初期段階で微生物コロニーを堅調に検出することができる。
本発明は、高速かつ計算上効率的な方法を提供する。これは、誤検出の数を制限し最小化することを目的としているので、従来技術の他の方法より堅調であり、誤検出の低さを提供する。
第3または第4実施形態の平滑化フィルタは、様々な特性のフィルタバンクを使用して、任意の形状の微生物コロニーにフィットするように適合させることができる。
本発明は、後処理を行わずに一度に同時に検出と区別の両方を達成することができる。
第1および第3実施形態で定義された本発明は、時間増殖基準を使用せずに、単離された微生物コロニーを含む1つの画像に適用することができる。
本方法は、分類目的のために微生物コロニーを特徴づけるために使用することができる、スケール、サイズおよび他の幾何学的特徴の時間成長間隔およびスケール間隔にわたる微生物コロニー寿命を提供する。
時間およびマルチスケール分析を統合する第4実施形態の使用の場合、本発明は、時空間(spatio-temporal)スケール空間(scale-space)ガウスランダムフィールドの使用を提案する。微生物コロニーはしばしば単離されず、不十分な粒子が微生物コロニーと共に膜表面上に存在し得る。この操作モードでは、微生物コロニーの増殖基準が使用され、時間間隔は(tn-1 ― t0>0)を満たす。
本発明は方法に基づいて説明されているが、言うまでもなく、本発明は、表面の1つまたは複数のデジタル画像を得るための手段1であって、前記デジタル画像は、少なくとも2次元の画素値マトリックスによって表される、前記手段と、少なくとも1つのデジタル画像に基づいて、統計的ノイズ分布を計算するための手段3と、計算するステップで計算された統計的ノイズ分布を1つまたは複数のデジタル画像に適用するための手段5と、ノイズ分布からの画素値の偏差に基づいて、微生物コロニーの候補として関心対象を検出するための手段7とを含む、装置として実現することもできる。
表面の1つまたは複数のデジタル画像を得るための手段1は、256諧調の2D画像を実行するCCDカメラであってもよく、上述したようにレーザダイオードLDを含むことができる。それらはさらに、カメラおよびレーザダイオードに対して試料を保持するステージ9またはデスクを含むことができる。
統計的ノイズ分布を計算する手段、統計的ノイズ分布を適用する手段、関心対象を検出する手段は、コンピュータとして実施することができる。
本発明を実施形態1~4に関して説明したが、本発明はこれらの実施形態に限定されない。上述したように、ガウスランダムフィールド以外の異なる手法を使用することができる。

Claims (17)

  1. 表面上の微生物コロニーの検出方法であって、
    表面の1つまたは複数のデジタル画像を得るステップであって、前記表面の1つまたは複数のデジタル画像は、少なくとも2次元の画素値マトリックスによって表される、前記ステップ、
    前記表面の1つまたは複数のデジタル画像の少なくとも1つに基づいて、統計的ノイズ分布を計算するステップ、
    前記統計的ノイズ分布を計算するステップで計算された統計的ノイズ分布を、前記表面の1つまたは複数のデジタル画像に適用するステップ、および、
    前記統計的ノイズ分布からの画素値の偏差に基づいて、微生物コロニーの候補として関心対象を検出するステップであって、微生物コロニーに対応する可能性のある全ての候補を得るために検出閾値が使用される、前記ステップを含む、前記方法。
  2. 異なる時間(T0、T1、T2、T3、T4)で同じ表面を撮像することによって、前記表面の複数のデジタル画像を得るステップを含む、請求項1に記載の方法。
  3. 関心対象を検出するステップが、2以上のデジタル画像に基づいて時間依存性増殖を示す関心対象を微生物コロニーとして識別するステップを含む、請求項1または2に記載の方法。
  4. 前記表面を撮像することによって、前記表面の1つまたは複数のデジタル画像の1つのデジタル画像を得るステップ、および、
    該ステップで得た1つのデジタル画像に平滑化フィルタを適用することによって、前記表面の1つまたは複数のデジタル画像の任意の他のデジタル画像を得るステップをさらに含む、請求項1に記載の方法。
  5. 平滑化フィルタを前記表面の複数のデジタル画像に適用することによって、前記表面の複数のデジタル画像の任意のさらなるデジタル画像を得るステップをさらに含む、請求項1に記載の方法。
  6. 異なる時間(T0、T1、T2、T3、T4)で同じ表面を撮像して得られた各画像が、以下のステップ:
    a)異なる時間(T0、T1、T2、T3、T4)で同じ表面を撮像して得られた画像の1つを第1のデジタル画像として決定するステップ;
    b)第1のデジタル画像に平滑化フィルタを適用することによって、複数のデジタル画像の任意のさらなるデジタル画像を得るステップ;および
    )a)およびb)を繰り返すステップを適用することによって、
    複数の画像を得るために使用される、請求項2に記載の方法。
  7. 画素値が、表面の点または領域の相対的な高さを表す値である、請求項1~6のいずれか一項に記載の方法。
  8. 統計的ノイズ分布を計算する前に、表面のいかなる曲率も補償するために画素値に数学的補正関数を適用するステップをさらに含む、請求項7に記載の方法。
  9. 統計的ノイズ分布が、ガウスランダムフィールドとしてモデル化される、請求項1~8のいずれか一項に記載の方法。
  10. 表面上の微生物コロニーを検出方法するための装置であって、
    表面の1つまたは複数のデジタル画像を得るための手段(1)であって、前記デジタル画像は、少なくとも2次元の画素値マトリックスによって表される、前記手段(1)、
    前記表面の1つまたは複数のデジタル画像の少なくとも1つに基づいて、統計的ノイズ分布を計算するための手段(3)、
    前記統計的ノイズ分布を計算するための手段(3)で計算された統計的ノイズ分布を前記表面の1つまたは複数のデジタル画像に適用するための手段(5)、および、
    ノイズ分布からの画素値の偏差に基づいて、微生物コロニーの候補として関心対象を検出するための手段(7)であって、微生物コロニーに対応する可能性のある全ての候補を得るために検出閾値が使用される、前記手段(7)を含む、前記装置。
  11. 前記表面の複数のデジタル画像を得るための手段(1)が、異なる時間(T0、T1、T2、T3、T4)で同じ表面を撮像するように構成されている、請求項10に記載の装置。
  12. 前記表面の複数のデジタル画像を得るための手段(1)が、表面を撮像することによって1つのデジタル画像を得て、該1つのデジタル画像にそれぞれの平滑化フィルタを適用することによって、複数のデジタル画像の任意のさらなるデジタル画像を得るように構成されている、請求項11に記載の装置。
  13. 前記表面の複数のデジタル画像を得るための手段(1)が、表面の点または領域の相対的な高さを表す値として画素値を得るように構成されている、請求項11または12に記載の装置。
  14. 前記表面の複数のデジタル画像に平滑化フィルタを適用することによって、前記表面の複数のデジタル画像の任意のさらなるデジタル画像を得る手段をさらに含む、請求項11に記載の装置。
  15. a)異なる時間(T0、T1、T2、T3、T4)で同じ表面を撮像して得られた画像の1つを第1のデジタル画像として決定し;
    b)第1のデジタル画像にそれぞれの平滑化フィルタを適用することによって、複数のデジタル画像の任意のさらなるデジタル画像を得て;および
    )ステップa)およびb)を繰り返すように構成されている、請求項11に記載の装置。
  16. 統計的ノイズ分布を計算するための手段(3)が、表面の任意の曲率を補償するために画素値に数学的補正関数を適用するように構成されている、請求項13に記載の装置。
  17. コンピュータプログラムコードを含むコンピュータプログラムであって、コンピュータの内部メモリにロードされると、コンピュータに請求項1の方法を実行させることを引き起こす、前記コンピュータプログラム。
JP2018515112A 2015-09-16 2016-08-17 微生物コロニーの早期検出および識別方法、該方法を実施するための装置およびコンピュータプログラム Active JP7046797B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15290231 2015-09-16
EP15290231.8 2015-09-16
PCT/EP2016/001402 WO2017045741A1 (en) 2015-09-16 2016-08-17 A method for early detection and identification of microbial-colonies, apparatus for performing the method and computer program

Publications (2)

Publication Number Publication Date
JP2018533917A JP2018533917A (ja) 2018-11-22
JP7046797B2 true JP7046797B2 (ja) 2022-04-04

Family

ID=54360355

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018515112A Active JP7046797B2 (ja) 2015-09-16 2016-08-17 微生物コロニーの早期検出および識別方法、該方法を実施するための装置およびコンピュータプログラム

Country Status (6)

Country Link
US (1) US10643058B2 (ja)
EP (1) EP3350339A1 (ja)
JP (1) JP7046797B2 (ja)
CN (1) CN108368532B (ja)
MX (1) MX2018003323A (ja)
WO (1) WO2017045741A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015089659A1 (en) * 2013-12-16 2015-06-25 Inbubbles Inc. Space time region based communications
CN112001884A (zh) * 2020-07-14 2020-11-27 浙江大华技术股份有限公司 数量统计模型的训练方法、计数方法、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001100470A (ja) 1999-09-13 2001-04-13 Agfa Corp 画像パラメータ検出
JP2005509983A (ja) 2001-11-19 2005-04-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 確率的フレームワークを用いるブロブベースの分析のためのコンピュータビジョン方法およびシステム
US20060280352A1 (en) 2005-06-10 2006-12-14 The Cleveland Clinic Foundation Image analysis of biological objects
JP2012150802A (ja) 2011-01-14 2012-08-09 Zakrytoe Akcionernoe Obshchestvo (Impul's) デジタルx線フィルムのノイズアセスメント方法
WO2014030674A1 (ja) 2012-08-23 2014-02-27 大日本印刷株式会社 培地情報登録システム、コロニー検出装置、プログラム及び衛生管理システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5694478A (en) * 1994-12-15 1997-12-02 Minnesota Mining And Manufacturing Company Method and apparatus for detecting and identifying microbial colonies
US6418238B1 (en) * 1997-09-22 2002-07-09 Olympus Optical Co., Ltd. Image detection apparatus and image detection method capable of detecting roundish shape
US6716588B2 (en) 1999-12-09 2004-04-06 Cellomics, Inc. System for cell-based screening
DE60135830D1 (de) 2000-02-08 2008-10-30 Millipore Corp Verfahren zum zählen und zur identifizierung von mikroorganismen
US6718068B1 (en) * 2000-03-10 2004-04-06 Eastman Kodak Company Noise reduction method utilizing statistical weighting, apparatus, and program for digital image processing
JP4287287B2 (ja) * 2002-02-13 2009-07-01 レイファイ コーポレイション 空間時間信号の取得、圧縮、及び特徴づけのための方法及び装置
GB2478329B (en) * 2010-03-03 2015-03-04 Samsung Electronics Co Ltd Medical image processing
JP5707399B2 (ja) * 2010-06-23 2015-04-30 株式会社エヌテック 微生物検出方法、微生物検出装置及びプログラム
EP2520923A1 (en) * 2011-05-06 2012-11-07 bioMérieux Bio-imaging method and system
GB2494202A (en) * 2011-09-05 2013-03-06 Bactroscan Ltd Microorganism imaging and incubating apparatus able to maintain a temperature gradient
FR2986237A1 (fr) * 2012-01-27 2013-08-02 Advencis Dispositif de detection rapide de micro-organismes
CN102676633A (zh) * 2012-03-08 2012-09-19 天津大学 一种菌落自动计数方法
JP2014018184A (ja) * 2012-07-23 2014-02-03 Tokyo Electron Ltd 画像解析による多能性幹細胞の評価方法
ES2757958T3 (es) * 2014-04-22 2020-04-30 Merck Patent Gmbh Método para detectar microcolonias que crecen sobre una membrana o un medio de agarosa de una muestra y aparato de ensayo de esterilidad
EP3286729A1 (en) * 2015-04-21 2018-02-28 Purdue Research Foundation Culture imaging system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001100470A (ja) 1999-09-13 2001-04-13 Agfa Corp 画像パラメータ検出
JP2005509983A (ja) 2001-11-19 2005-04-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 確率的フレームワークを用いるブロブベースの分析のためのコンピュータビジョン方法およびシステム
US20060280352A1 (en) 2005-06-10 2006-12-14 The Cleveland Clinic Foundation Image analysis of biological objects
JP2012150802A (ja) 2011-01-14 2012-08-09 Zakrytoe Akcionernoe Obshchestvo (Impul's) デジタルx線フィルムのノイズアセスメント方法
WO2014030674A1 (ja) 2012-08-23 2014-02-27 大日本印刷株式会社 培地情報登録システム、コロニー検出装置、プログラム及び衛生管理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
映像情報メディア学会誌 (2014) Vol.68, No.12, pp892-896

Also Published As

Publication number Publication date
US10643058B2 (en) 2020-05-05
JP2018533917A (ja) 2018-11-22
US20180349671A1 (en) 2018-12-06
CN108368532B (zh) 2022-04-26
EP3350339A1 (en) 2018-07-25
WO2017045741A1 (en) 2017-03-23
MX2018003323A (es) 2018-08-16
CN108368532A (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
Timm et al. Non-parametric texture defect detection using Weibull features
JP6420529B2 (ja) パッチ・ツー・パッチ比較を含む欠陥検出のための装置及び方法
CN107481284A (zh) 目标物跟踪轨迹精度测量的方法、装置、终端及系统
CN109632808A (zh) 棱边缺陷检测方法、装置、电子设备及存储介质
US11887303B2 (en) Image processing model generation method, image processing method and device, and electronic device
Ates et al. An image-processing based automated bacteria colony counter
CN117333489B (zh) 一种薄膜破损检测装置及检测系统
JP7046797B2 (ja) 微生物コロニーの早期検出および識別方法、該方法を実施するための装置およびコンピュータプログラム
Koniar et al. Machine vision application in animal trajectory tracking
CN105913425A (zh) 一种基于自适应椭圆分块和小波变换的多猪轮廓提取方法
US11436506B2 (en) Method and devices for determining metrology sites
Zeng et al. Detecting and measuring fine roots in minirhizotron images using matched filtering and local entropy thresholding
Jalilian et al. Deep learning based automated Vickers hardness measurement
CN116524269A (zh) 一种视觉识别检测系统
Othman et al. A statistical approach of multiple resolution levels for canny edge detection
Ferro et al. Multinuclear cell analysis using laplacian of gaussian and delaunay graphs
Pan et al. Gaussian mixture models for spots in microscopy using a new split/merge EM algorithm
Schwarzbauer et al. Automated quality inspection of microfluidic chips using morphologic techniques
Xie et al. An adaptive defect detection technology for car-bodies surfaces
Alkazzaz et al. Precise pupil boundary detection using angular integral projection and active contour model
Naeem et al. A framework to select edge detection method using multi-criteria decision making
Greß et al. Scale-adaptive Wavelet-based Particle Detection in Microscopy Images.
Yogeswaran 3D Surface Analysis for the Automated Detection of Deformations on Automotive Panels
Xue et al. Complete approach to automatic identification and subpixel center location for ellipse feature
Demitri et al. Detection of faulty glucose measurements using texture analysis

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180806

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190816

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200625

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210421

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210721

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220323

R150 Certificate of patent or registration of utility model

Ref document number: 7046797

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150