JP6091489B2 - バイオ画像化方法 - Google Patents

バイオ画像化方法 Download PDF

Info

Publication number
JP6091489B2
JP6091489B2 JP2014508847A JP2014508847A JP6091489B2 JP 6091489 B2 JP6091489 B2 JP 6091489B2 JP 2014508847 A JP2014508847 A JP 2014508847A JP 2014508847 A JP2014508847 A JP 2014508847A JP 6091489 B2 JP6091489 B2 JP 6091489B2
Authority
JP
Japan
Prior art keywords
image
sample
illumination
container
medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014508847A
Other languages
English (en)
Other versions
JP2014514580A (ja
Inventor
アラーノ ロレーヌ
アラーノ ロレーヌ
ジャクリーン レオンティン
ジャクリーン レオンティン
デコー ドミニク
デコー ドミニク
ピストン フレデリック
ピストン フレデリック
デズリー デニス
デズリー デニス
ボワシエ ギョーム
ボワシエ ギョーム
タチエール クリストファー
タチエール クリストファー
フルキロン コリーン
フルキロン コリーン
ラピエール ロレット
ラピエール ロレット
スートラ ギヨーム
スートラ ギヨーム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biomerieux SA
Original Assignee
Biomerieux SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biomerieux SA filed Critical Biomerieux SA
Publication of JP2014514580A publication Critical patent/JP2014514580A/ja
Application granted granted Critical
Publication of JP6091489B2 publication Critical patent/JP6091489B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255Details, e.g. use of specially adapted sources, lighting or optical systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/062LED's
    • G01N2201/0626Use of several LED's for spatial resolution

Description

本発明は、試験管内サンプルを分析する方法及びシステムに関する。
試験管内分析は多くの環境で実施され、生物学的なサンプル、例えば、微生物、細胞及び組織の培養、細胞又は細胞内の抽出物、並びに精製した分子を識別できるようにする。種々の試料サンプルを、通常の生物学的状況から隔離し、成長できる環境を与える。この環境は、サンプルが成長できるようにする培養器内に配置するペトリ皿(シャーレ)の形式で与えられることがよくある。ペトリ皿には、通常、サンプルの成長を促す微生物学的培地を設ける。理想的には、適切な培地での培養は、サンプルにおける多数のコロニーを成長させる。その後のコロニー分析は、一般的に微生物を識別し、また微生物の抗菌剤に対する感受性又は抵抗性を評価するために実施される。
サンプル分析の重要な部分は、例えば、コロニーから特別な微生物又は細菌を識別する能力である。さらに、適切な薬物による細菌処理は、サンプル内の微生物の成長及びサンプルに投与する任意の薬物との相互作用に基づいて分析することもできる。
予備的分析の多くは、資格のある科学者によるペトリ皿の目視分析によって行われる。予備的な目視分析はうまく機能するが、解明するのが困難な異なった微生物の形状、色、サイズ、及び形態に関する膨大な多様性に起因する、人的なエラー及び一貫性欠如を受け易い。しかし、目視手法は、現在のところ依然として、微生物を迅速に識別する最良方法の1つである。さらに、成長の多くが「ランダム」であるため、微生物の成長をモデル化し、また上述の多様性の識別に役立つようにする自動化システムを見出すのは容易ではない。
既知の培養装置は、サンプルを見ることができる窓を有するが、ペトリ皿は目視分析するために培養装置から取り出すのが一般的である。予備的目視分析には、光源前方にペトリ皿を保持してコロニーを識別する。さらに詳細な化学的及び顕微鏡分析方法を、必要に応じて特別に識別したコロニーに対して行うことができる。
生物学スキャナ、すなわち、細菌コロニーのスキャン又はカウントに使用する装置は、従来既知である。例えば、特許文献1(米国特許出願公開第2004/0101951号)及び特許文献2(米国特許出願公開第2010/0232660号)の双方は、生物学的な成長プレートをスキャンする生物学的スキャナについて記載しており、成長プレートはそれぞれ異なる構造を有しているが、双方ともプレートの画像を生成し、また生物学的成長を検出するようこれら画像の分析を行う能力を共通して持っている。しかし、双方ともフロント又はバックからの照射を行う単独光源を使用する。実際、特許文献1及び特許文献2においては、「生物学的成長プレートは、フロント又はバックからの照明のみ必要とし、両方は不要である。」と、記載されている。このような照明は基本であり、効率的に予備的分析を行うのに十分な品質の画像はを得ることができない。
或る従来技術のシステムにおいては、ペトリ皿内のサンプルを異なった色又は波長の光によって照射して、サンプルの画像を形成するようにしている。この画像を適切に指向させたカメラによって取得する。
特許文献3(仏国特許第2926820号)は、生物学的サンプル内の少なくとも1つの特別な微生物を検出する方法であり、とくに、それぞれが特別な波長を示す少なくとも2つの放射を培地に加えるステップを有する。好適には、2つの照明システムを使用し、各照明システムは固有波長の放射を発生する。より具体的には、特許文献3の図1は、可視光トップライト照明及び紫外線バックライト照明との組合せを示す。2つの異なった照明からの複合画像を使用して、特別な微生物の存在を検出する。
同様に、特許文献4(特開第2010−104301号)は、とくに、微生物が成長する培地の画像を得る画像化ステップと、及びコロニー検出ステップとを有する微生物検出方法を記載しており、この方法は、トップライト照明及びバックライト照明の組合せを使用する。
米国特許出願公開第2004/0101951号明細書 米国特許出願公開第2010/0232660号明細書 仏国特許第2926820号明細書 特開第2010−104301号公報
生物学的サンプルの画像を取得した後には、画像を増強し、画像処理するプロセスを加える。しかし、生物学的サンプルの画像を増強することに関連しては多くの問題がある。これら問題には、以下のようなものがある。すなわち、
・見ているコロニーのサイズ、
・1つのコロニーの他のコロニーに対する近接度
・コロニーの色ミックス
・ペトリ皿の性質
・培地の性質
・等
これら問題の多くは、本発明によってのみ解決することができる。
本発明の目的は、従来技術に関連する問題の少なくとも若干を解決するにある。
さらに、本発明の他の目的は、生物学的なサンプルを分析する自動化システム及び方法を得るにある。
本発明は、特許請求の範囲に記載の方法及びシステムを提供する。
本発明の一態様によれば、表面を有する生物学的なサンプルの画像を生成する画像化システムを提供し、この画像化システムは、・使用中に生物学的なサンプルを支持するサンプル支持体と、前記サンプル支持体の周囲に配列した複数個の照明源であって、各照明源が使用中の前記生物学的なサンプルを互いに異なった方向から照射する、該複数個の照明源と、前記生物学的なサンプルに入射した照射を捕捉して前記サンプルの画像を形成する撮像装置と、を備え、少なくとも1個の照明源の方向は、前記サンプルの表面に直交しない方向とする。
随意的に、照明源のうち少なくとも2つの方向はほぼ同一平面にない配列とする。一実施形態において、少なくとも2つの照明源の方向がなす最大角度は、170゜未満、随意的に160゜未満、150゜未満とする。ほぼ同一平面にない少なくとも2つの照明源を使用することによって、対象、マーク及び対象の特徴の識別及び検出を改善することができる。
随意的に、複数個の照明源は、バックライト照明源、近水平照明源、前記表面に指向する環状照明源、前記表面から逆向きに指向する環状照明源、及び垂直照明源のうち、2つ以上の照明源とし、各照明ははっきりと区別できるタイプの照明源をなすものとする。
随意的に、複数個の照明源のうち少なくとも2つは、互いに異なったタイプの照明源とする。
随意的に、複数個の照明源は、バックライト照明源、近水平照明源、前記表面に指向する環状照明源、前記表面から逆向きに指向する環状照明源、及び垂直照明源のうち、3つ以上の照明源とし、各照明ははっきりと区別できるタイプの照明源をなすものとする。
随意的に、複数個の照明源のうち少なくとも3つは、互いに異なったタイプの照明源とする。
互いに異なったタイプの少なくとも2つ又は3つの照明源(例えば、バックライト照明源、近水平照明源等)を使用することによって、対象、マーク及び対象の特徴の識別及び検出を改善することができる。
随意的に、複数個の照明源を使用して、複合した合成画像を形成するよう組合せることができる複数の画像を生成する。
随意的に、複数個の照明源の互いに異なった組合せを使用して、互いに異なった生物学的分析のための互いに異なった画像を生成する。
随意的に、各照明源は、それぞれユニットとして設け、各ユニットを順次上方に重ね合わせることができる構成とする。
随意的に、ユニットは他のユニットに対して相対移動可能にする。
随意的に、サンプルを前記複数個の照明源に対して相対移動可能にする。
随意的に、照明源は、赤、緑、青色の照明源、白色光照明源、又はUV照明源により構成する。
随意的に、サンプルは、近水平照明源によって照射できるものとする。
随意的に、本発明システムは、さらに、前記サンプルの生物学的分析を行うよう画像を増強又は処理する処理システムを備える。
随意的に、本発明システムは、サンプルを画像化する前に、前記サンプルを培養する培養システムに組合せる。
本発明は、さらに、生物学的なサンプルを培養する培養装置であって、特許請求の範囲に定義した画像化システムを有する培養装置に関する。
本発明の他の態様によれば、表面を有する生物学的なサンプルの画像を生成する方法を提供し、この方法は、以下のステップ、すなわち、
・複数個の照明源によりサンプルを照射する照射ステップであって、前記複数個の照明源は、サンプル支持体の周囲に配列し、また使用中の前記生物学的なサンプルを互いに異なった方向から照射するよう構成した、該照射ステップと、
・前記生物学的なサンプルに入射した照射を捕捉して前記サンプルの画像を形成する撮像ステップと
を有し、前記照射ステップは、前記サンプルの表面に直交しない方向に指向する少なくとも1個の照明源で前記サンプルを照射するステップを有する。
本発明の他の態様によれば、容器内の培地で成長する生物学的サンプルの画像を増強するシステム及び方法を提供し、画像はサンプル及び培地を含む容器に近水平照明ビームを照射することによって形成しておいたものであり、この方法は、互いに異なった色の複数個の照明源を個別に容器及び培地に照射することにより容器及び培地の画像を検査画像として取得する照射ステップと、各色に関する容器及び培地の吸収を測定するステップと、容器及び培地に関する各色の吸収モデルを形成するステップと、容器、培地及び生物学的サンプルに互いに異なった色の複数個の照明源を個別に容器及び培地に当てることにより容器、培地及び生物学的サンプルの画像を取得及び処理するステップと、容器、培地及び生物学的サンプルの各色での元画像を生成するステップと、容器及び培地の各色での吸収モデルを各元画像に適用して容器及び培地の吸収効果を除去するステップと、各色の元画像を組合せて生物学的サンプルをハイライト化する複合画像を形成するステップとを有する。
随意的に、照射ステップは、赤、緑、青色の照明源、及び/又はUV照明源で照射するステップを有する。
本発明の他の態様によれば、生物学的画像化システムにおける生物学的なサンプルの画像の理想的露光時間を決定するシステム及び方法を提供し、この方法は、画像化すべきサンプルの1つ又はそれ以上の特徴を識別するステップと、1つ又はそれ以上の特徴に基づいてデフォルト(既定)の露光時間を決定するステップと、デフォルト露光時間で画像を撮るステップと、画像を分析して、例えば、画像における関心のあるフィールドに関連するゾーン及び関心のあるフィールドに関連しないゾーンのような、複数のゾーンを決定するステップと、前記画像の期待する輝度を見積もるよう、複数のゾーン相互間の相対輝度を決定するステップと、サンプルに関連するゾーンのような1つのゾーンに分類アルゴリズムを適用して、生物学的サンプルに関連する画像部分の集合及び生物学的サンプルに関連しない画像部分の集合をとるステップと、各部分の輝度を決定し、画像の実際の輝度に関する値を得るステップと、実際輝度及び期待輝度との比較をとり、実際輝度と期待輝度との差の差分係数を決定するステップと、係数が所定レベル以上である場合、デフォルト露光時間が不適正であることを確定するステップと、及び係数に基づく新しい露光時間で画像を再び撮るステップとを有する。
本発明の他の態様によれば、生物学的サンプルの画像から、生物学的サンプルの表面における輪郭及び凹凸情報を決定するシステム及び方法を提供し、この方法は、サンプル上方から少なくとも1個の垂直照明源によりサンプルを照射し、またサンプルの単色画像を得るステップと、任意な方向からの第2照明源によりサンプルを照射してサンプルの第2画像を生成するステップと、単色画像に変換を加えて変換単色画像を形成するステップと、変換単色画像における低周波数輝度値を抑制するステップと、変換単色画像における各ピクセルの輝度値を決定するステップと、輝度値を第2画像に対してピクセル毎に結合して輪郭を強調し、また凹凸情報を与える最終画像を形成するステップとを有する。
随意的に、サンプル上方から少なくとも1個の垂直照明源によりサンプルを照射し、またサンプルの単色画像を得るステップは、互いに異なった少なくとも2つの位置で少なくとも2つの垂直照明源によりサンプルを照射するステップを有する。
随意的に、第2照明源によりサンプルを照射するステップは、複数のカラーチャネルを有する照明源を使用するステップと、第2画像をカラー画像として形成するステップとを有する。
随意的に、第2照明源によりサンプルを照射するステップは、赤色、緑色及び青色の各照明源で個別に照射するステップと、合成した赤色、緑色及び青色の画像それぞれに輝度値を結合して、各色に対して輪郭を強調し、また凹凸情報を与える画像を形成するステップと、及び3つの色を結合して最終画像を得るステップとを有する。随意的に、サンプルは、微生物コロニーが存在する培地を含むペトリ皿とする。
本発明の他の態様によれば、容器に関連する特徴を検出するシステム及び方法を提供し、この方法は、1つ又はそれ以上の複数個の照明源であり、各照明源が互いに異なった方向から容器を照射することができる照明源を使用して、容器の1つ又はそれ以上の画像を取得するステップと、対象検出変換法を適用して容器の端縁を識別するステップと、容器内部の画像を決定するステップとを有する。
随意的に、容器内部の画像を決定するステップは、画像から容器の端縁をマスク掛けして、容器内部を示す合成画像を生成するステップを有する。
随意的に、この方法は、容器内における任意の微生物の不在を識別するステップを有する。
本発明の他の態様によれば、容器における非生物学的特徴を有する所定フォーマットの対象を検出するシステム及び方法を提供し、この方法は、1つ又はそれ以上の複数個の照明源であり、各照明源が互いに異なった方向から容器を照射することができる照明源をを使用して容器の1つ又はそれ以上の画像を取得するステップと、前記画像のデジタル画像を形成するステップと、非生物学的特徴を有する所定フォーマットの対象を識別するステップとを有する。
画像のデジタル画像を形成するステップは、容器の1つ又はそれ以上の画像における、点形状及び暗色を有する対象を検索するステップを有する。
この方法は、さらに、識別した対象をマスク掛けし、対象が見えない合成画像を生成するステップを有する。
本発明の他の態様によれば、培地を含む容器における微生物コロニーを区分けするシステム及び方法を提供するものであり、この方法は、1個又はそれ以上の複数個の照明源であり、各照明源が互いに異なった方向から容器を照射することができる照明源を使用して容器の1つ又はそれ以上の画像を取得するステップと、更なる処理のために画像又は画像の組合せを選択するステップと、円形対象が容器内で離隔したコロニーを表すものとして、円形対象検出変換法を適用して容器内の1つ又はそれ以上のほぼ円形の対象を識別するステップと、識別したほぼ円形の各対象に対して、その対象の離隔面積を決定するステップとを有する。
随意的に、対象の離隔面積を決定するステップは、識別したほぼ円形の対象の中心を決定するステップと、2値化ステップを適用することにより、識別したほぼ円形の対象のデジタル画像を形成して2値化画像を得るステップであって、2値化画像の中心が識別したほぼ円形の対象の中心に相当するものとした、ステップと、2値化画像の対象の円形度を検証するステップと、対象の離隔面積を識別する検査を行って、コロニーのサイズ、及びそのコロニーにおける他のコロニーからの離隔面積を決定するステップとを有する。
本発明の他の態様によれば、培地を有する容器内のコロニー及び/又は非円形コロニーの団塊を検出するシステム及び方法を提供し、この方法は、1個又はそれ以上の複数個の照明源であり、各照明源が互いに異なった方向から容器を照射することができる照明源を使用して容器の1つ又はそれ以上の画像を取得するステップと、画像のデジタル画像を形成するステップと、コロニー及び非円形コロニーの高密集度を識別することによって成長を検出するステップとを有する。
随意的に、コロニー及び非円形コロニーの高密集度を識別するステップは、所定値以上のコントラストを有する面積を決定するステップを有する。随意的に、画像のデジタル画像を形成するステップは、領域ベースのセグメント化技術で画像をセグメント化するステップを有する。
本発明の他の態様によれば、培地を含む容器内における集団移動する微生物を検出するシステム及び方法を提供し、この方法は、1個又はそれ以上の複数個の照明源であり、各照明源が互いに異なった方向から容器を照射することができる照明源を使用して容器の1つ又はそれ以上の画像を取得するステップと、輪郭又は凹凸情報を有する画像を選択するステップと、所定フィルタを選択した画像に適用してフィルタ処理画像を形成するステップと、選択した画像をフィルタ処理画像から差し引いてテクスチャを示す画像を生成するステップとを有する。
随意的に、フィルタを適用するステップは、メジアン7×7フィルタをデジタル画像の各点に適用するステップを有する。
本発明の他の態様によれば、培地を含む容器内における少なくとも1つの微生物により生じたα及び/又はβの溶血を検出するシステム及び方法を提供し、この方法は、
・1個又はそれ以上の複数個の照明源であり、各照明源が互いに異なった方向から容器を照射することができる照明源を使用して容器の第1画像及び第2画像を取得するステップと、
・異なった画像特徴に異なった重み付けをする融合アルゴリズムに基づいて第1画像及び第2画像を結合し、輪郭情報を有するカラー画像を生成してα及び/又はβの溶血を検出できるようにするステップと
を有する。
以下に、例示としての添付図面について言及する。
本発明の一実施形態による生物学的分析システムを示すブロック図である。 本発明の一実施形態による図1の分析システムにおける結像系の線図的説明図である。 本発明の一実施形態による図1の分析システムにおける結像系の線図的説明図である。 本発明の一実施形態による図1の分析システムにおける画像化システムの線図的説明図である。 本発明の一実施形態による図2の画像化システムにおける、サンプルに当たる異なる照射タイプを示す線図的説明図である。 本発明の一実施形態によるバックライト照明源の線図的説明図である。 バックライト照明に関連する拡散器(デフューザ)の正面から見た斜視図及び背面から見た斜視図である。 環状照明に関連する拡散器(デフューザ)の正面から見た斜視図及び背面から見た斜視図である。 本発明の一実施形態によるサンプルドロワ(引出し)及び関連する近水平照明源の線図的説明図である。 本発明の一実施形態による環状照明源の線図的説明図である。 本発明の一実施形態による、異なる用途向けの異なる照射タイプを示す表である。 本発明の一実施形態による、異なった画像処理技術に関連する異なった培地用の異なった照射タイプを示す表である。 本発明の一実施形態による、第1画像増強技術のための元画像を示す。 本発明の一実施形態による、第1画像増強技術を行った後の合成画像を示す。 本発明の一実施形態による、第1画像増強技術のステップを示すフローチャートである。 本発明の一実施形態による、赤色に対する吸収測定及びモデルを示すグラフである。 本発明の一実施形態による、緑色に対する吸収測定及びモデルを示すグラフである。 本発明の一実施形態による、青色に対する吸収測定及びモデルを示すグラフである。 本発明の一実施形態による、他の画像増強技術におけるフローチャートである。 本発明の一実施形態による、図12に示すフローチャートにおける1つの要素のフローチャートである。 本発明の一実施形態による、他の画像増強技術を行った後の2つの合成画像である。 本発明の一実施形態による、さらに他の画像増強技術に関する、可能な変換関数を示すグラフである。 本発明の一実施形態による、さらに他の画像増強技術に関する、可能な変換関数を示すグラフである。 本発明の一実施形態による、さらに他の画像増強技術を行った後の2つの合成画像である。 本発明の一実施形態による画像処理技術例を示すブロック図である。 本発明の一実施形態によるマーク検出のプロセスを示すブロック図である。 本発明の一実施形態による画像処理技術のプロセスにおけるステップを示すブロック図である。 本発明の一実施形態による画像処理技術のプロセスにおけるステップを示すブロック図である。 本発明の一実施形態による画像処理技術のプロセスにおけるステップを示すブロック図である。 本発明の一実施形態による画像処理技術のプロセスにおけるステップを示すブロック図である。 本発明の一実施形態による画像処理技術に使用するマトリクスを示す説明図である。 本発明の一実施形態による画像処理技術のプロセスにおけるステップを示すブロック図である。 本発明の一実施形態による画像化システムのロボットアームを示す線図的斜視図である。 本発明の一実施形態による画像化システムのロボットアームを示す線図的斜視図である。 本発明の一実施形態によるペトリ皿(シャーレ)用のマスクを示す線図的説明図である。 本発明の一実施形態による環状照明中にマスクを設けるペトリ皿の断面図である。
本発明は、完全自動化又は半自動化した様式の生物学的試料を分析するシステムに関する。本明細書において、用語「対象(オブジェクト)」とは、泡又はコロニーのような実体に関連し、また用語「マーク」とは、人為物(アーチファクト)又はセリグラフィ(シルクスクリーン印刷)のような容器における特性に関連し、また用語「特徴」とは、対象の特性に関する。更に、用語「ペトリプレート」とは、ペトリ皿(シャーレ)とこのペトリ皿をカバーする蓋とのアセンブリとして定義する。
図1は、本発明によるシステム100の例を示す。システム100は、サンプル容器バンク102、自動塗抹(ストリーキング)装置104、スマート培養システム106、処理ユニット108及び識別システム110を有する。
サンプル容器バンク102は、内部で生物学的サンプルを成長させ、また分析することができるサンプル容器を手作業で又は自動的に作成準備する。サンプル容器は一般的にはペトリ皿であるが、他の容器も使用できる。したがって、本明細書におけるペトリ皿への言及は、限定することを意図するものではない。
サンプル容器バンクは、適切な培地をペトリ皿に添加し、生物学的サンプルを成長させることができるようにする。ペトリ皿は、サンプル容器バンクから後続のプロセス段階にコンベアベルト又は他の自動化システムによって送る。代案として、サンプルは、オペレータによって移送することもできる。
自動塗抹装置104は、生物学的サンプルをペトリ皿に供給し、つぎに既知のようにこのサンプルを分布させる。例えば、ペトリ皿の半径にほぼ等しい長さの櫛を使用して、皿内にサンプルを塗布する。この櫛を皿の表面に当て、つぎに皿の表面全体にわたり生物学的サンプルを回し広げる。適当な自動塗抹装置の例としては、PREVI(登録商標)Isolaの商標名で本願人により市販されているものがある。
生物学的サンプルを皿内の培地全体にわたり分布させた後、皿を次の処理段階にオペレータが手作業で、又はコンベアベルト若しくは自動化システムによって移送することができる。
スマート培養システム106は、培養器112及び画像化システム114を有する。ペトリ皿を培養器内に導入し、所定時間にわたり所定温度で培養する。このことにより、生物学的サンプルを成長させ、皿の表面全体にわたり多数の微生物コロニーを増殖させる。皿が所望の培養状態になった後、皿を画像化システム114に移送する。画像化システムは、システム内で発生したコロニー及び培養物の画像を生成する独特で新規なシステムである。画像化システムの詳細を以下にさらに説明する。
画像はサンプルの分析における第1段階に使用する。この段階は、生物学的サンプルのコロニー及び他の様相を識別し、全体システムにおける他の行為及び機能を支援及び容易化することができる。
皿の画像を生成した後、皿を次の処理段階に移送する。この移送は、コンベアベルト若しくは自動化システムに自動的に又はオペレータによって行うことができる。
処理ユニット108は、必要とされるサンプル分析に応じて、種々の異なった形式をとることができる。例えば、特別なコロニーを、他の分析又は処理のために画像に基づいて抽出することができる。多くの他の処理を皿に対して加えることができる。必要であれば、皿を更なる成長のために培養器に戻す、及び/又は画像化システムに戻すことができる。
すべての必要な処理及び撮像が完了した後、皿を識別システム110に手動又は自動プロセスによって移送することができる。識別システム110は皿上のコロニー形態内存在する微生物を多くの異なる手法で識別するのに使用する。識別は、微生物の代謝分析によって、自動的又は手動で行うことができる。自動分析は、例えば、本願人によって市販されているVITEK(登録商標)システムによって行うことができる。さらに、識別は、分光分析技術を使用して行うことができる。他の分析は、抗菌抵抗メカニズムを検出するステップも有することができる。全体システムにおける種々の構成要素を変更して異なった機能を実施することができると理解されたい。さらに、或るステップは、異なる順番で行うことができる。
上述したように、スマート培養システムは、本発明の重要な態様であり、独特な画像化システムを含む。画像化システムは、以下に図2a、2b及び2cにつきより詳細に説明する。画像化システム114は、底部ユニット202を有する。この底部ユニットは、赤、緑及び青のバックライト照明を発生するための光学系及び制御回路を含む。底部ユニットは、図2bに示す3つの位置をとるホイール形式のコントローラを有する。これら位置は、異なった照明、すなわち、「無背景」、「白背景」及び「黒背景」の照明に対応する。「無背景」位置は、ホイールにおける円形孔150に関連し、「白背景」位置はホイールにおける白背景円170に関連する。「黒背景」位置はホイールにおける黒背景円160に関連する。無背景はバックライトに使用し、一方白背景及び黒背景はサンプルの性質の応じてあらゆる他のタイプの照明に使用する。
底部ユニットの上方にサンプル保持ユニット204を設ける。サンプル保持ユニットは、スライドして出し入れできる引出しと、及びペトリ皿を支持するよう構成した窪み206とを設けることができる。さらに、図2cに示すように、サンプル保持ユニットは、4個の赤、緑、青色用水平照明源208,210,212及び214を設ける。4個の照明源は、サンプル窪みの周りに矩形状に配置し、それぞれ独立して制御することができる。使用にあたり、ペトリ皿の頂面がほぼ4個の水平照明源の頂部に整列するようにする。水平照明源は、ペトリ皿を水平又はほぼ水平なビームで照射できる。
窪み底部は透光性にし、バックライト照明が使用するサンプルを照射できるようにする。サンプル保持ユニットには、さらに、4個の水平照明源を動作させるのに必要な光学系及び制御器を設ける。
サンプル保持ユニットは、他の向き(図示せず)にし、サンプルをコンベアベルトで撮像のための位置に移送するようにする。引出しは、サンプル保持ゾーンを有するコンベアベルトシステムにより交換できるようにし、各サンプル保持ゾーンはバックライトを使用できるよう透明にする。コンベアベルトシステムはサンプルを適切な位置に移動し、つぎに必要な画像を撮ることができるようにする。この後、コンベアベルトは次のサンプルを撮像位置に移動し、また第1サンプルは次の処理段階に移動する。このことにより、異なった位置でまたサンプルが移動しているとき、画像を撮ることができる。
他の代案として、システムには、ペトリ皿をサンプルホルダ内に又はコンベアベルト上に装荷できるロボットアームを設けることができる。さらに、ロボットアームは、撮像する前にペトリ皿の蓋を取外し、撮像後に蓋を再配置することができる。このことは、ペトリ皿を反転させ、蓋を落下させることによって行うことができる。蓋を外すことにより、サンプルを所定照明源によって照射するとき蓋による反射が生じないのを確実にする。
ロボットアームの可能性がある実施形態を、以下に説明する図24及び25に示す。
さらに、撮像ゾーンに対する出し入れするため、サンプル保持ユニットには、通常位置に対するサンプル位置を変化させる機構を設けることもできる。例えば、サンプルホルダは、サンプルを特定ビームに対して特定角度をなす向きに向き決めすることができる。他の移動、例えば、サンプルの回転を適当な機構によって行うこともできる。この結果、サンプル及び照明源の任意の相対移動は、サンプル保持ユニットにおけるサンプル又は照明源のいずれかを移動することによって実現することができる。変更は無限にある。
サンプル保持ユニットが通常位置、例えば、画像化システムにおけるホイール上に水平位置にある状況では、マスクを付加してペトリ皿内部の撮った画像画質を改善することができる。マスクを設けるペトリ皿に関連する実施形態を図26につき以下に説明する。
画像化システム114には、さらに、サンプル保持ユニット上方に位置する第1中間ユニット216を設ける。この第1中間ユニット216は、矩形に配置した4個の赤、緑、青色用照明源218,220,222及び224を有する。照明源は、使用にあたり、サンプル保持ユニット内のサンプル窪みに対して環状照射を生じ、またそれぞれ独立して制御可能にする。環状照射は、側方、非側方、又はあらゆる適切な向きを含む、適切な任意の方向からサンプルに入射するよう調整することができる。
画像化システムには、さらに、第2中間ユニット226を設ける。第2中間ユニットは、矩形に配置した4個の赤、緑、青色用照明源228,230,232及び234を有する。照明源は上向きにし、ユニットの上方から反射し、逆向き環状照射を生じ、これがサンプル窪み内のサンプルを照射し、また独立的に制御可能にすることができる。
画像化システムのヘッドユニット236は第2中間ユニットの上方に配置する。ヘッドユニットは、図面で4個に符号を付して示す白色光照明源238,240,242,244,246,248,250及び252を有し、これらは独立的に制御可能にする。8個の照明源を配列し、使用にあたり、サンプル窪みに対して垂直照射する。
ヘッドユニットは、さらに、サンプル窪みに向かって指向するカメラのような撮像装置254を有する。照明源の任意な組合せによる照射をサンプル窪みに指向させることができる。撮像装置は、照射されているサンプル窪み内の任意のサンプルから画像を取得することができる。画像の使用及び他の処理を以下により詳細に説明する。
ヘッドユニットには、さらに、制御パッド256を設け、この制御パッドを使用して種々の光源を操作する。それぞれの機能を制御する各ユニットにおける制御回路及び光学系の他に、全体制御システム(図示せず)を設ける。制御システムは、コンピュータ、ディスプレイユニット、処理モジュール及び画像増強アルゴリズム、画像処理手段、及び任意な他のプロセス又は技術を有することができる。
制御システムを使用して、どの照明源を特定用途に使用するかを制御することができる。さらに、制御システムは、異なった画像増強技術及び画像処理手段を異なった用途に適用することができる。画像増強技術は、画像の画質を向上する、又は関連情報を専門家が見るための可視化を行う方法及び技術である。以下により詳細に説明する例としては、血球破壊(溶血)反応を見るための垂直融合又は融合のような異なった画像の融合、エッジ照明補正、露光時間補正等がある。画像処理手段は、画像から情報抽出を行い、決定支援又は自動決定ができるようにすることである。このことは、必ずしも画像の修正を含むものではなく、より高レベルの情報/解釈を自動決定することである。以下に詳細に説明する例としては、皿リングの決定、マーク決定、成長(団塊化、離隔コロニー化、集団移動)の検出、成長/非成長に関する全体的な決定等がある。
集団移動は、固相又は半固相の表面にわたるバクテリア固体群の急激な(2〜10μm/s)また協調した転移である集団運動性を示すことを意図する。このタイプの運動性は、主に、セラチア属、サルモネラ属、アエロモナス属、バチルス属、エルシニア属、シュードモナス属、プロテウス属、ビブリオ属、エシェリキア属に関して研究されてきた。
制御システムを使用して、画像化システムにおける任意な他の記載の及び/又は制御操作を実施することができる。例えば、限定はしないが、以下のものがある。すなわち、
・サンプルのサンプル窪み内への装填及び取出し、
・サンプル窪み内へのサンプル位置決めのチェック及び調整、
・輝度レベルの制御、
・赤、緑、青成分バランスの制御、
・露光時間制御、
・照明組合せの制御、
・システムの検査、
・システムの較正、及び
・分析の使用及び目的に基づく任意な他の適切な制御
がある。
画像化システムを形成する各ユニットは、他のユニットに対して相対移動することができる。この相対移動を生ずるとき、サンプルをすべての照明源によって照射するのを確実にするよう幾分の光学的調整を必要とする場合がある。
画像化システムの操作を以下に図3につきより詳細に説明する。
図3は、種々の照明源、及びこれら照明源が画像化システムに配置したサンプル300をどのように照射するかを示す、画像化システム114の線図的説明図である。サンプル300は、近水平ビーム302,304によって照射することができる。近水平ビームは、実際、参照符号302及び304で示したものの他に、図の紙面に対して出入りする成分を含む。近水平ビームは、図2のサンプル保持ユニット204における水平照明源によって生ずる。サンプルは、図2の底部ユニット202によって発生するバックライトビーム306により照射することができる。
環状ビーム308もサンプル300を照射し、この環状ビーム308は第1中間ユニット216によって生ずる。第2中間ユニット226により生ずる逆向き環状ビーム310もサンプルを照射することができる。
垂直ビーム312もサンプルを照射することができ、これはヘッドユニット236における照明源によって発生する。
垂直ビーム及びバックライト照明は、ペトリ皿内のサンプルに対してほぼ垂直方向に照射する。これら照明源それぞれの光軸は、したがって、サンプルに対して直交する。近水平照明源、環状照明源及び逆向き環状照明源は、ペトリ皿に非直交状態にする。非直交照明源によれば、直交照明源によって得られる画像に対して多様な又は代替的な画像を生ずる。これら非直交照明源は、非直交照明源で得られるあらゆる画像に対して、付加的な、また異なった光学的特徴を付与する。このことにより、コロニーの孤立及び検出を確実に改善する。
図3に示し、図2の適切なユニットにより生ずる照明源は、任意の好適なタイプ、例えば、赤、緑及び青(RGB)周波数で動作する発光ダイオード(LED)、単純な白色光源、紫外線(UV)源、又は任意な他の適切な放射源とすることができる。照明源は、64個の白色LED、86個の赤色LED、86個の緑色LED、86個の青色LEDを含む322個のLEDを有することができる。任意の位置における光源の個数は、図示のまた本明細書に記載したのと変化させることができる。RGB照明は、各位置において3色LEDのトリオにして設け、それぞれ対応の周波数で動作させる。異なった照明源に関しては、RGBLEDの異なる組合せにすることができる。例えば、バックライト照明に関しては、LEDは、図4aに示すように、指向させることができる。各タイプの照明は、LEDの特定配列を有する特定カードによって設ける。底部ユニット202は、2個のカード400及び402によってバックライトビーム306を発生し、各カードはそれぞれ3個組の複数個のダイオードを有する。各LEDトリオ404は、赤、緑及び青色のLEDを含む。サンプルの位置を参照符号406で示す。全体で45個のLEDトリオを各カードに配置し、またバックライトビーム306を発生するのに使用する。各トリオのうち、赤、緑及び青色のLEDを一度に1つを点灯し、1つの色の点灯は他の色の後に行うようにすることができる。
ダイオードの任意の適切な向き及び個数を図示の実施例とは異なるものにすることができることを理解されたい。さらに、RGBの異なる組合せを選択して使用することができる。
さらに、UV源に関して、UV照明は、同時に点灯する2個のカードによって設けることができる。各カードは、例えば、強度500mAのUVLEDを有する。
カードには、LEDの温度及びあり得る収差を決定するセンサを設けることができ、これにより、問題が予見され得る場合に、LEDを数秒間切り替えて連続動作できるようにする。図4bに示すような拡散器(デフューザ)を、カード400,402と窪み内のサンプルとの間に設けることができる。拡散器は、LEDが合成映像で見えるのを防止し、また背景光を均等にする補助を行う。さらに、拡散器は、強力なLEDからの照射の若干を吸収する。直接照明を使用したとき、極めて短い露光時間を使用して、カメラにより生ずるいわゆるスミアに関連するあらゆる作用を減少できる。
図5は、近水平ビーム302,304を発生するようサンプル保持ユニット204に配置した照明源を示す。8枚のカードを設け、各カードは、それぞれ側面500,502,504及び506の長さの1/2をカバーする。各カードは8個のRGBLEDトリオのアレイを担持する。照明源は、ともに独立的に又は任意の所定シーケンスで制御することができる。8個のカードは、サンプル窪みを設けたサンプル引出し機構の一部をなす。異なるサイズの開孔510を有する透光性介在部材508を使用して、異なるサイズのサンプル又はペトリ皿を収容できるようにする。
図6につき説明すると、第1中間ユニット216及び第2中間ユニット226における4個の照明源それぞれには、4個のカード600,602,604及び606を設け、各カードはそれぞれ、図示のように指向した10個のRGBLED608のアレイを有する。これらアレイにより、第1中間ユニット216の場合には環状ビーム308、第2中間ユニット226の場合には逆向き環状ビーム310を生ずる。各カードは独立的に制御し、各カードは一緒に又は個別に制御することができる。サンプル及び培地からの望ましくない反射を防止するため、各カードには図4cに示すような拡散器を設ける。各カードは、軸線(1つを参照符号610として示す)周りに回転し、環状ビームを最適なサンプル照射が得られるよう位置決めすることができる。この調整は、サンプルに対する中間ユニットの垂直方向位置に無関係に均一照射を確保するのに必要である。図6は、第1中間ユニット216のカード位置を示す。第2中間ユニットに関しては、カードは上向きに指向させ、これに応じた回転を調整するようにする。
ヘッドユニット236における垂直照明源238,240,242,244,246,248,250及び252は、それぞれ白色光源とし、それぞれ独立的に制御し、垂直ビーム312を発生できるようにする。
撮像装置254は、上方からサンプルの画像を取得するよう構成する。90mm直径のペトリ皿に対しては、100mmの画像を生ずる。このことは、一般的に標準撮像装置における2050pixelsに等しいが、他のピクセルサイズでは、2448×2050ピクセルを使用することもできる。さらに、皿は一般的に13mmのオーダーの高さであるため、撮像装置の被写界深度は、ペトリ皿内の培地層の高さに応じて±6mmの範囲内とする。
上述したすべての照明で、サンプル画像を撮像装置254によって上方から取得する。カメラは、所定時間の期間にわたり、一連の画像シーケンスのセットを撮り込み、コロニーの成長及び他の時間に関連する効果を測定することに留意されたい。さらに、カメラは、コロニーの成長過程等を測定する若干の用途ではビデオカメラとすることができる。皿の移動は、適当なコンベアベルト又はロボットアームによって画像化システムに皿を出し入れすることによって行うことができる。
カメラは、異なった照明源から異なったタイプの画像を撮るよう構成する。一般的には、特別な用途に関しては、一連の画像シーケンスを撮るようにする。このシーケンスは、特別な照明又は照明の組合せでサンプルを照射するステップと、これに続く、特定タイプの画像、例えば、関連照明による単色(モノクローム)、白黒、RGBの画像を撮るステップとを有する。この後、次の画像を、異なったタイプの照明又は照明組合せで撮り、すべての必要な画像を撮るまてこのシーケンスを継続する。カメラは、適切タイプの画像を撮るシーケンス内で制御する。
カメラは、例えば、単色センサを有し、また17画像/秒の最高速度で順次走査CCD技術を使用することができる。カメラは、12〜24ボルトDCの電力消費量とすることができる。生成した画像及び画像増強プロセスのより詳細を以下に説明する。
上述したように、画像化システム114におけるサンプルを複数の異なった光源から照射することができ、異なった方向からサンプルに入射する。サンプルを照射した後、サンプルの画像を上方から撮る。各照射は、サンプルの異なった態様を強調する。
バックライト照明は、ペトリ皿の底面におけるあらゆるマーキング、端縁形状、ペトリ皿の蓋、サンプルにおけるコロニーのレイアウト及び密度の詳細ビューを含む、ペトリ皿の詳細を示す。この照明は、コロニーを区分けし、類似のコロニー間(例えば、α及びβの溶血性種)の相違を決定する情報を提供し、また一般的にサンプル内容物のビューを与える。
近水平照明は、サンプル及びサンプル内容物によって屈折及び反射し、人為物を区分けし、また排除するのに使用できる画像を形成する。さらに、この画像を使用して、以下により詳細に説明する培地による照明の吸収に基づいた補正を行うことができる。さらに、この画像を後で使用し、コロニーによる皿掩蔽率を決定し、コロニー密度を見積り、また不透明でない培地上での成長又は不成長を決定することができる。
環状照明は、サンプルに指向させ、培地及び形成されたあらゆるコロニーによって撮像装置に反射又は屈折される。照明によって生ずる画像の目的は、培地及びコロニーの色を区別する能力にある。色識別能力は、若干の微生物が極めて独特な色彩をしているため、特定微生物を識別する重要なツールとなることがよくある。全体結果は、生物学者が微生物の特定タイプ、例えば、色、コロニー態様等を見ようと期待するものに最も近似するビューである。このことは、とくに、培地及びコロニー周辺の色彩のかすかな変化を識別するのに重要である。さらに、環状照明により生ずる画像は、発色媒体におけるバクテリアコロニーの下側及びその周辺のかすかな色変化を検出することができる。
側方環状照明は、照明源218,220,222及び224のうち1個のみによる照明である。これにより、輪郭及び凹凸を識別するのに使用できる陰付き画像を生ずる。各照明源は、照射方向の結果として異なった陰影効果を生ずる。
逆向き環状照明は、ヘッドユニットからサンプルへの反射を生ずる。この後、サンプルが照射を撮像装置に反射又は屈折する。このようにして取得された画像は、サンプルにおける異なったコロニーのコントラスト細部を与える。この画像は色情報に寄与する。さらに、この画像は、テクスチャ(質感)情報、コロニーの態様及び色、集団移動限界の情報、コロニーの凹凸に関する所定情報、例えば、形態及び形状に関する情報を与えることができる。
逆向き環状照明は疑似垂直照射を発生し、階調変化を可視化できる。これはテクスチャび粒度情報を与え、また大きな隆起はないが、不規則表面を有するコロニーを検出するのに有用である。一実施形態において、逆向き環状照明を使用して多数の異なった画像を撮り、その後に組合わせ、画像の可能性がある色彩度に対処できるようにする。
垂直照明源は、サンプルを上方から照射する。この照射はサンプル及びコロニーによって反射し、詳細な凹凸輪郭情報を与える画像を生ずる。この画像を使用して、サンプルの凹凸及びコロニーの高さを識別することができる。つぎに、この情報を使用して微生物の特定タイプを識別することができ、なぜならコロニーの凹凸は極めて特別であることが多いからである。例えば、或るコロニーはドーム形状をしている、他のものはコブが多い、また他のものは平坦である、等。
上述したように、各照明源及び方向を使用して、異なった画像特性を強調付け及び改善することができる。上述の例は、異なる照明源及び方向からの照射を使用することにより、本発明の範囲から逸脱することなく、変更又は適用することができる。
さらに、照明の異なった波長を、異なった用途に使用でき、例えば、赤外線波長及び紫外線波長を使用できる。
本発明の他の重要な用途は、照明源の組合せから複数の画像を生じて、サンプル画像における1つより多くの特徴を強調及び改善する複合画像を生成することである。例えば、バックライト画像と環状画像との組合せは、類似のコロニー、例えば、α溶血又はβ溶血の所定の特徴又は特性を認識するのに有用となり得る。
生成する画像に対する効果をもたらす他の要因は、サンプルを成長させるよう使用する培地のタイプである。多くの異なった培地が存在し、例えば、とくに大腸菌感染(E-coli)プロテウス属を識別し得る培地であるCPS、尿サンプルを使用するKESC、及び溶血能力を識別するのに有用な血液を含む培地であるCOSがある。
異なった培地、例えば、CPS及びCOSは、性質及び色が全く異なる。この結果、これら培地に加える照明は異なるタイプの画像を生ずることができる。したがって、異なった照明源及び照明源の組合せを異なる培地に使用することができる。
図7は、上述した種々のタイプの照明、これら照明の所定用途向けあり得る使用のセットを示す表である。上述したように、多くの異なるタイプの培地がある。これら培地は、不透明培地又は透明/半透明培地として広く分類されている。表は、異なったタイプの照明を異なったタイプの培地に使用する可能性を示す。表自体は例示的なものであり、所定用途及び分析を実施するのに最適な照明条件の幾つかを示す。バックライトは、不透明血液培養における溶血を示し、また透明又は半透明培養における皿底部の情報に対するよりよいビューを与えるのに使用する。
近水平照明は、不透明培養には不適切であるが、透明及び半透明培養には、皿における人為物を除去し、またほこり及びセリグラフィ(シルクスクリーン印刷)の影響を減少する上で有用である。
環状照明は、生物学者が見るのに使用するものに最も近似する画像を生ずる色レンダリング用の最良のビューを与える。側方環状照明は、良好な色レンダリングを与え、また照明が片側から来るとき、陰影ができることにより、若干の凹凸(レリーフ)印象及びテクスチャ情報を与えることができるが、このことは色情報を不均一にする。
逆向き環状照明は、さらに色レンダリングを生じ、また色情報を伴うテクスチャ及び凹凸印象も生ずる。このことは、集団移動の正確なビューを与えるのにとくに有用である。
垂直照明は、表面情報を決定するのに有用であり、また集団移動、泡、ほこり等の検出に関する良好なビューを与える。コロニー表面及び態様の単色情報を容易に生ずる。
本発明により得られる種々の照明方向は、多くの異なったタイプの照明を使用してサンプル内で成長するコロニーの画像を得ることができるので、利点がある。異なった画像を使用して、異なった特徴を識別することができ、この結果、これら特徴を識別する改善した方法をもたらすことができる。
さらに、画像処理を画像に使用して改善した画像を生ずることができ、このことは、サンプルのコロニー及び他の態様を分析するようになるとき、依然としてより有用である。例えば、ペトリ皿底部における書込みを、適切なアルゴリズムによって認識し、また自動的に除去する。このことは皿における書込みがない画像を生ずる。
他のアルゴリズムを使用して、異なった画像増強技術を容易にすることができる。以下の説明で、画像化システムにより生成した画像を改良する画像増強アルゴリズムの数例を確認する。
本発明に使用する1つのタイプの照明は、生物学的画像形成分野において独特なものである。これは近水平ビームである。ペトリ皿に近水平ビームを使用することは、ビームがペトリ皿及び蓋の端縁を通過し、また培地を通過することを意味する。このことは光に吸収を生じ、またコロニー及びその特徴を識別する点で、他の方向からのビームよりも有用性が劣ることが予想される。しかし、このことは、事実には当たらない。
近水平ビームを使用することは、多くの有益情報を付加する。これは、ビームがペトリ皿及び培地を通過するときに大きな照明吸収を生じても言えることである。近水平ビームがコロニーに入射するとき、ビームは撮像装置に向かって反射及び/又は屈折する。この結果、コロニーの位置をはっきりと示す画像をもたらす結果となる。この結果は、図9aに示すようなものとなり得る。この画像は有用ではあるが、コロニー識別を最適なものにはしない多数の光学的効果を有する。例えば、培地は一様ではない表面であり、サンプル全体にわたり色及びコントラストに変化がある。さらに、端縁には、照明が通過するペトリ皿における幾つかの層に基づく大きな干渉を含む。このことは、サンプル端縁におけるコロニーを識別するのを困難にする。
したがって、この画像の画質を改良してコロニーの識別をよりし易くする必要がある。本発明は、この画像の品質及び有用性を改善するエッジ照明補正プロセスを提案する。
エッジ照明補正プロセスを、以下に図10につき説明する。ステップ1000で、空サンプルをサンプル窪みに配置する。この空サンプルは、培地を有するが、コロニー又は他の生物学的成長がないペトリ皿である。
ステップ1002で、近水平赤色照明を空サンプルに当て、ステップ1004で赤色吸収を測定する。測定した赤色吸収の例を図11aに示す。つぎに、ステップ1006で赤色吸収をモデル化して赤色吸収モデルを生成する。この赤色吸収モデルも図11aに示す。
ステップ1008で近水平緑色照明を空サンプルに当て、ステップ1010で緑色吸収を測定する。測定した緑色吸収の例を図11bに示す。この後ステップ1012で緑色吸収をモデル化して緑色吸収モデルを生成する。この緑色吸収モデルも図11bに示す。
ステップ1014で近水平青色照明を空サンプルに当て、ステップ1016で青色吸収を測定する。測定した青色吸収の例を図11cに示す。この後ステップ1018で青色吸収をモデル化して青色吸収モデルを生成する。この青色吸収モデルも図11cに示す。
赤、緑及び青色の吸収モデルをシステム内に記憶し、また特定空サンプルタイプとして参照される。多くの異なるタイプの空サンプル用の多くのモデルがあり得る。この場合、赤、緑及び青色のモデルとして記憶するが、RGBモデル又は白色吸収モデルとして組合わせて記憶することもできる。モデルは、上述の測定に基づく経験的モデルとすることができる。同様に、他のタイプのモデル、例えば、数学的モデル又はコンピュータ生成モデルを使用することができる。このようなモデルは、培地を構成する複合物の固有吸収特性の組合せに基づく。さらに、異なるモデルを異なるタイプの照明から導くことができる。例えば、UV照明のモデルはRGB照明のモデルとは異なる。
図10に戻って説明すると、エッジ照明補正を加える検査サンプル分析を以下に説明する。ステップ1020で検査サンプルをサンプル窪み内に装填する。関連の空サンプルを識別し、関連付けしたモデルをシステム内にロードする。
ステップ1022で近水平赤色ビームをサンプルに当てる。ステップ1024で元画像(赤)を撮像装置によって生成する。ステップ1026で赤色吸収モデルを使用して元画像(赤)を補正する。この補正は、一般的に差分プロセス又はアルゴリズムによって行う。これにより、ステップ1028で目標画像(赤)を生ずる。
ステップ1030で近水平緑色ビームをサンプルに当てる。ステップ1032で元画像(緑)を撮像装置によって生成する。ステップ1034で緑色吸収モデルを使用して元画像(緑)を補正する。この補正は、一般的に差分プロセス又はアルゴリズムによって行う。これにより、ステップ1036で目標画像(緑)を生ずる。
ステップ1038で近水平青色ビームをサンプルに当てる。ステップ1040で元画像(青)を撮像装置によって生成する。ステップ1042で青色吸収モデルを使用して元画像(青)を補正する。この補正は、一般的に差分プロセス又はアルゴリズムによって行う。これにより、ステップ1044で目標画像(青)を生ずる。
つぎに、ステップ1046で3つの目標画像を複合目標画像に複合する。複合目標画像の例を図9bに示す。エッジ照明補正プロセスは、コロニーをよりよく可視化し、よりよく明確化する。この画像によれば、特定コロニーを区分けし、このコロニーに対する更なる分析を行うのが極めて容易になる。
近水平ビームを本発明のエッジ照明補正技術に使用することは、コロニーの識別及び区分けにとって大きな利点をもたらす。元画像と目標画像との間における大きな差異は極めて明白である。ユーザーは、本発明によるエッジ照明補正を使用する場合、コロニーを識別する上での一層大きなチャンスが得られることになる。
他の画像増強技術においては、画像の露光時間を考慮し、露光時間を最適にするよう調整する。内部で成長する微生物及びコロニーを識別する分析の下にあるペトリ皿に対する必要な露光時間を決定しうるのは複雑な問題である。この問題は、このタイプの分析における多数の特別な属性がある結果として生ずる。先ず、ペトリ皿は、透明性、不透明性、暗さ、明るさ等に関する異なった属性を有することができる培地を含む。他の問題は、ペトリ皿自体が表面反射及び端縁反射を生ずる実在物になっている点である。露光条件が最適でない場合、コロニーと培地との区別をし、ペトリ皿におけるコロニーの位置を正確に決定するのを一層困難にすることがある。
図12は、本発明による、最適な露光時間で画像を取得するプロセスのフローチャートを示す。第1の例として、ステップ1200で取得シーケンス及び培地タイプを識別する。取得シーケンスは、照明、背景光条件(例えば、「背景光なし」、「白背景」、「黒背景」)、撮像パラメータ、及び半自動分析用の反復される回数のオーダーのセットである。さらに、他の情報又は特徴も考慮する。これには、画像を生成するのに使用する照明源に関連する特徴、種のタイプ、種の密度等がある。ステップ1202において、デフォルト(既定値)露光時間を各画像に対して決定する。デフォルト露光時間は予め設定した時間、又は露光時間データベース1204からの履歴データに基づくものとすることができる。露光時間データベースには、所定培地、所定サンプル及び/又は培地とサンプルとの所定の組合せに関して最適な露光時間を投入することができる。データベースは、画像における任意な1つの特徴又は既知の特徴の任意な組合せに関連するデフォルト時間を有することができる。この情報は、プロセス自体からのフィードバックによって予めロード又は生成することができる。この結果、ステップ1200で特徴を識別した後、対応するデフォルト露光時間をデータベース1204から検索ことができる。データベースは、各特別な照明源に対する最大及び最小の露光時間を示すテーブルを有する。このテーブルを使用して、予めデフォルト露光が決定されていない場合に、デフォルト露光時間を決定することができる。デフォルト露光時間を確立したとき、ステップ1206で画像を取得する。デフォルト露光時間をT0に選択する。RGB初期画像は、カメラが必要とする場合、色相飽和値(HSV:hue saturation values)に基づいて取得及び変換することができる。このことは本発明において生ずるが、常に必要ではない。
つぎに、ステップ1208以降で、取得した画像を分析し、また最適な理論露光時間の計算を行う。この分析及び計算は処理アルゴリズムにつき詳細に説明する。ステップ1210でデフォルト露光時間及び最適理論露光時間が等しいか否かに関して決定を行う。実質的に類似していない場合、プロセスをステップ1206に戻し、以下に説明するようにして決定される新たな露光時間T1を有する新しい画像を取得する。ステップ1210でフォルト露光時間及び最適理論露光時間がほぼ類似している場合、ステップ1216で画像を最終処理(ファイナライズ)する。
ステップ1208で図13につき以下に説明する計算を行う。取得画像をステップ1300における処理に送る。皿の凹凸輪郭をステップ1302で検出する。このことにより、画像は2つの部分に分割することができる。これら部分は、皿内部分(すなわち、関心フィールド)と皿外部分(すなわち、無関心フィールド)である。これにより、ペトリ皿の壁に対応するリングを区分けし、この後無視できるようになる。
ステップ1304で皿外部分(Iout)及び皿内部分(Iin)との間のコントラストを決定する。
このコントラストを、皿内外の明度、すなわち、Lin及びLoutに基づいて測定する。コントラストは、さらに、培地の性質、及び照明が反射するか透過するかに関して依存性を有することがある。COSは暗い培地であり、反射及び透過の下に異なった反応を示す。コントラスト(cp)は、I1in及びI1outの明度(すなわち、Lin及びLout)から次式のように計算される。すなわち、
ここで決定された値を使用して、以下に説明するステップ1310で他の測定値に関連して最終画像における期待される明度Ltを決定する。
一方、皿内領域をステップ1306でさらに処理し、関心フィールド内の2つの領域を決定できるようにする。これら2つの領域は、実質的には、培地のみが存在する皿内領域、及びコロニーが成長した皿内領域に関連する。このことは、K平均クラスタ化アルゴリズムを使用して得ることができ、このアルゴリズムは、そのクラスタ(集団)の中心平均の周りにおけるクラスタを形成しようと試みるものである。クラスタ化アルゴリズムの代わりに、他のタイプの分類アルゴリズムを使用することもできる。本発明において、画像を色相飽和値(HSV)に変換しておき、画像の「飽和」成分及び画像の「値」成分に対して、それぞれ個別にアルゴリズムを適用して、色相を初期的に無視する。各アルゴリズムの適用(一方は飽和成分、他方は値成分)に対して、2つのピクセルクラスをK平均アルゴリズムによって決定し、各クラスのピクセル個数は、[Ns1,Ns2]及び[Nv1,Nv2]と名前付けする。その後のステップを実施する。
アルゴリズムを収束させるため、以下のステップを実施する。
[min(Ns1,Ns2) > min(Nv1,Nv2)かつmin(Ns1,Ns2) > 0]ならば、クラスを飽和画像に維持する。
[min(Ns1,Ns2) ≦ min(Nv1,Nv2)かつmin(Nv1,Nv2) > 0]ならば、クラスを値画像に維持する。
[min(Ns1,Ns2) = min(Nv1,Nv2) = 0]ならば、アルゴリズムは収束しなかったとして、K平均アルゴリズムをこのレイヤで考えられる色相レイヤ及びピクセルクラスに再適用する。最終的に、クラスタ化アルゴリズムにより決定されたピクセルクラスに従って、2つの相補的な画像Iin1及びIin2を、図14に示すような元HSV画像(飽和1400、値1402)から取得する。
図13に戻って説明すると、2つの相補的画像を処理してコロニーの領域における輝度Lの観測したレベルを決定する。このことは、Iin1及びIin2の「値」成分(それぞれL及びLと称する)の平均値を計算することによって得る。つぎに、最高であると観測された輝度値を次式、すなわち、
L=max(L,L
によって決定する。
ステップ1310で、観測された及び期待された輝度L及びLt の値をそれぞれ使用し、最適露光時間を計算する。この計算は、デフォルト露光時間に適用する補正係数(cc:coefficient of correction)を生ずる。この係数は次式によって与えられる。
絶対値|cc-1|<0.05である場合、デフォルト露光時間は容認できると見なされる。さもないと、新たな露光時間Tを次式、すなわち、
=Txcc.
つぎに、この露光時間を使用して画像を再び撮る。この新たな露光時間を露光時間データベースに記憶する。このプロセスを使用して、特別な画像の露光時間を自動的に最適化し、またサンプル分析により容易に使用できる画像を得る。
本発明の他の態様は、ヘッドユニットにおける垂直照明を使用して垂直融合画像を形成することに関する。生成される垂直画像は単色画像であり、コロニーにおける表面トポグラフィの細部を含む。多数の垂直ビームで撮った画像は、培地及びコロニーの吸収特性、並びにその凹凸、テクスチャに応じてピクセルの輝度を少なく又は多くする表面における光の反射、及び表面の向きを浮き彫りにする。2つ以上の単色画像を撮る。実際、垂直照明は光の真下で若干白色(飽和)領域を生ずるため、種々の照明位置からの画像でサンプルのすべての領域における細部を見るのに有益である。
代替的実施形態において、単色照明はコリメートすることができる。さらに、カラー画像を、サンプルを上方から照射する状態で撮り、この場合、画像化システム内での内部反射によって上方から、又は下方から撮る。照明源は画像化システムで見られる任意の光源とすることができる。カラー画像は、一度にすべての色チャネル(RGB)を適用することにより、又は各チャネルからの画像を順次に取得し、つぎに適切な時間において組合せることによって生成することができる。
つぎに、単色画像及びカラー画像を組合せて、色及び凹凸情報を与える。画像は以下のようにして組合せる。2つ(又はそれ以上)の垂直画像をシステム内に読み込む。組合せは、2つの組合せるべき画像における対応ピクセル間の最小明度を決定することにより行う。このことを次式、すなわち、
Iout=min(I1,I2)
表現する。
合成垂直画像(複合画像)をカラー画像に組合せることを以下に詳細に説明する。異なった照明源を使用するので、画像の明度を照明源の明度にリンクする。したがって、複合画像のコントラストを調整する必要があり得る。このことは複合画像に変換機能を適用することによって行う。変換は、図15aに示すタイプのリニア変換又は図15bに示すベジエ変換とすることができる。複合画像は良好であるが、他の処理によりさらに改善することができる。このことは、その周波数領域のフィルタを組合せ前に単色画像に適用することによって得ることができる。
目標は、色を大きく変更することなく画像の輝度の若干を除去し、輪郭(contour)情報が最も認知可能な最終画像の特徴となるのを確実にすることである。このことを行うためには、離散型二次元フーリエ変換を単色画像に適用する。この適用により、変換の複雑な係数を含む元画像と同一サイズのマトリクスを生ずる。元画像は、異なる周波数における周期関数の重み付き合計であり、この重みは変換の係数である。マトリクスの中心ポイントは、低周波数関数の係数に対応し、その外側のポイントは高周波数関数の係数に対応する。使用する関数は、次式である。すなわち、
周波数領域のガウシアンフィルタを構築し、また値が次式によって与えられる単色画像にサイズが等しい第2マトリクスにガウシアンフィルタを適用する。
ここで、rは或るポイントとマトリクス中心との間におけるピクセルのユークリッド距離であり、D0はフィルタ処理された光線半径であり、0〜30ピクセルの範囲内の値である。ピクセル範囲は、処理している画像のサイズに依存し、また異なった画像に対しては異なる。
2つのマトリクスは要素相互の積をとり、フィルタ処理した単色画像を生ずる。フィルタ(第1マトリクス)は中心においてはゼロに近似する値を有するため、単色画像における低周波数関数の係数は劇的に減少する。
離散型逆フーリエ変換を適用して画像を空間ゾーンに復元させる。この結果は、画像の低周波数がほとんど消滅する。このことは、輪郭を強調し、また画像における若干の輝点を除去する。
つぎに、カラー画像を処理した単色画像に組合せる。このことは、単色画像における対応ピクセルの輝度の歩合分しか持たないカラー画像の各ピクセルに輝度レベルを付加することによって行う。この歩合は10%〜100%の範囲内のいずれかである。この結果得られる合成画像を図16に示す。好適な実施形態において、カラー輝度及び単色輝度の組合せが以下のようにして得る。単色画像の輝度を、ピクセル毎に個別に赤、緑及び青チャネルのそれぞれに組合せる。このことにより、それぞれ赤、緑又は青色の増強画像を生ずる。赤、緑及び青色の増強画像を、つぎにフルカラー増強画像に組合せることができる。
赤、緑及び青色の増強画像それぞれの重みは、任意の様式でバランスをとる、又はバイアスをかけることができる。このことにより、異なった色バランスを生じ、これは異なったタイプのコロニーを決定するのに有用である。例えば、特別な色のコロニーは、他の色以外の色照明で照射するとき一層視認可能になり得る。
本発明のこの態様によって生じた垂直融合画像は、培地上で成長したコロニーの輪郭及びテクスチャ(質感)を容易に見ることができるメカニズムを提供する。コロニーの高さ及び垂直方向の形状はコロニーを識別するのに寄与する。さらに、輪郭の詳細に含まれる色情報は、識別プロセスに役立つ。
他の画像増強技術において、α溶血とβ溶血との間の相違を分析する。種々の細菌(バクテリア)種を識別するには、このような細菌がα溶血性であるか又はβ溶血性であるかを決定するために、血液培地上の検査細菌を収穫するのは有用である。α溶血が存在するとき、コロニーの下側の培地は色が暗緑色である。このことは、培地の色変化に起因して、ときに「緑色溶血」と称されることがある。例えば、連鎖球菌肺炎及び口腔連鎖球菌のグループはα溶血の症状を示す。β溶血は、ときに「完全溶血」と称されることがあり、培地におけるコロニーの周囲及び下側で培地に赤血球が完全に溶解する。この領域は明るく(黄色)また透明の様相をなす。連鎖球菌化膿又はグループAのβ溶血性連鎖球菌はβ溶血を示す。
したがって、生物学者がペトリ皿をスクリーン上で見るため場合、写実的な色情報でα溶血及びβ溶血を識別できるようになることが必要である。第1画像は、図23に示すステップ2300で環状ビームのような照明源で撮る。第2画像は、ステップ2302でバックライトのような照明源で撮る。ステップ2304で融合アルゴリズムに基づいて合成画像として組合せる。使用する融合アルゴリズムの例としては、メルテンス氏らによって提案された「露光融合」アルゴリズム(パシフィック・グラフィック2007年-http://research.edm.uhasselt.be/~tmertens/参照)がある。本発明において、このアルゴリズムは異なった露光時間の画像に適用するだけでなく、異なった方向から照射した画像にも適用する。「露光融合」アルゴリズムの特別な場合、このアルゴリズムは、必要とされる複合画像に応じて適用すべき3つの重要なパラメータを必要とする。パラメータの例としては、コントラスト、]飽和及び露光度がある。α及びβ溶血の画像に対しては、上述の各パラメータの値は1に設定する。合成画像2306はフルカラー画像であり、α溶血及びβ溶血を区別するのに使用できる詳細な輪郭情報を有する。
他の実施形態として、多数の付加的画像処理技術を以下に説明する。図17は、包括的な画像処理技術の簡素化した説明図を示す。第1ステップ1700で複数の画像を1つの照明源又は照明源の組合せにより撮る。皿検出技術のステップ1702を実施して、皿の輪郭及び端縁のような第1タイプの皿特徴を検出する。つぎにステップ1704でマーク検出技術を実施して、皿におけるマーク又はセリグラフィのような第2タイプの皿特徴を検出する。ステップ1706でさらに他の検出技術を実施する。生物学的対象又はコロニーの検出に関連する以下により詳細に説明する多くの異なった他の検出技術がある。同一サンプルに対して実施する一連の異なった画像処理技術があり、この場合、プロセスはステップ1708で後続の画像処理技術にフィードバックする。他の検出技術の若干においては、皿検出及び/又はマーク検出は、更なる検出技術を実施する際に役立たないため不要である場合があり得る。このように、他の検出技術の少なくとも若干はスタンドアロン型技術とし得る。
皿検出技術1702は、壁及び蓋によって形成されるペトリ皿のリングを認識する技術である。この技術は、円形ハフ変換(Duda, R.O. And P.E.Hart, “Use of the Hough Transformation to Detect Lines and Curves in Picture”, Comm. ACM, Vol.15,pp.11-15参照)のような対象検出技術であり、所定サイズの円形対象を検出する。バックライト画像を使用し、サンプルの壁コントラスト画像を得る。さらに、ペトリ皿のサイズを導入し、探している円形対象又は対象の性質に関する変換を行う。探しているリングの個数を導入し、皿及び蓋の種々のリングを適切に探し出すことができる。ハフ変換の適用により、ペトリ皿の1つ以上のリング(蓋及び本体)に関する位置特定ができる。後続のステップにおいて、この情報により、ペトリ皿リング又はリングのマスキング、又は皿の外部を合成画像から除去することができる。このことは、他の検出方法をペトリ皿の内部に傾注できる。ハフ変換は円形容器に適用することに留意されたい。しかし、異なった形状の容器に対しては他の対象検出アルゴリズムを使用できる。
代案として、他の対象検出技術を適用し、円形ハフ変換を使用することなく、ペトリ皿の輪郭を検出することができる。代替的な対象検出技術によれば、画像における閉じた輪郭を検索し、ペトリ皿の境界を識別することができる。この代替的技術は、キャニーエッジ検出方法(J.Canny による文献“A Computational Approach to Edge Detection”参照)、又は形態的勾配エッジ検出のような周知の技術に基づいて、画像の潜在的な輪郭を検出する第1ステップを有する。したがって、第1ステップはグレースケール画像を生ずる。
この代替的技術は、例えば、「infill with holes option」のような「Matlab(登録商標)」関数を使用して、検索した輪郭を埋める第1ステップを有する。このことは、埋合せステップは、輪郭が皿周りの閉じた輪郭である状況で皿内部を埋めるだけであることを意味する。この代替的技術は、さらに、閉じた輪郭内で最も大きい刻印円を検索するステップを有する。他のステップにおいて、プレート半径及び皿の中心位置を、対応する半径及び刻印円の中心位置に基づいて決定する。この代替的技術の利点は、この対象検出技術を実施するに先立って輪郭の所定サイズを知る必要がない点である。
つぎに、図18につきマーク検出技術を説明する。第1ステップ1800において、ペトリ皿の複数の画像をシステムにロードする。セグメント化プロセスをステップ1802で行い、画像を2値化プロセスでセグメント化し、デジタル画像を形成する。このセグメント化プロセスは複数クラスへのピクセル分離を行う。2値化プロセスはピクセルの2組のピクセルクラス、黒又は白のクラスを生ずる特別なセグメント化プロセスである。2値化プロセスは暗色インクの点で形成されるセリグラフィの元の構造に基づく。したがって、2値化プロセスは,点形状及び暗色を有する対象を検索するステップを有する。この結果、2値化プロセスはセリグラフィを他の対象、例えばコロニー、泡又は既定物(デフォルト)から区別する改善した方法を提供する。ステップ1802の2値化プロセスはペトリ皿におけるセリグラフィを識別する幾つかのステップを有する。2値化プロセスは既知のK平均クラスタ化方法とは異なる。K平均クラスタ化方法は、類似した色及び近接しているピクセルを収集する。ステップ1804で、例えば、ほぼ矩形形状の対象を識別するためのサーチを行うことができる。より一般的には、サーチは非生物学的特徴を示す特徴物又は対象に対して行う。これら特徴物としては、特別な形状、セリグラフィ、バーコード、チケット、ラベル等がある。識別した対象にはマークを付け、ペトリ皿におけるマークと見なす。ステップ1806で合成画像を使用して、元画像とは無関係に皿上のマーク位置を見つけ出し、必要であれば除去又はマスク掛けする。このマーク位置は、どのような照明であれ、第1事例におけるマーク検出に使用された画像又は画像セットに無関係に、同一の皿における他のすべての画像にも使用することができる。特別な実施形態において、このアルゴリズムは、皿内にコロニーがないときにマークを認識するのに使用することができる。
他の若干の画像処理技術を以下に説明する。図19及び19aは、離隔したコロニーを検出するプロセスを示す。第1ステップ1900で、複数の画像を、異なった照明源を使用して撮る。1つの画像又は画像の組合せを、後続のプロセスのために選択する。つぎに、選択した画像を、ステップ1902で円形ハフ変換を適用して処理する。このことにより、円形対象、例えば、細菌のコロニーを識別する。典型的なコロニーサイズを導入してハフ変換が、特定サイズの円形要素をサーチするのに限定できるようにする。円形対象(コロニー)を識別した後、ステップ1904で離隔検査(isolation test)を各円形対象に適用する。離隔検査を図19aにつき説明する。この離隔検査は、識別した円形対象(図示せず)の中心を決定するステップを有する。2値化ステップ1908を行って、2値化した画像を取得し、この2値化画像の中心は識別した円形対象の中心に対応する。この後、円形度検査をステップ1910で2値化画像に実施し、2値化対象が円形であるか否かを検証する。サイズ及び離隔度を決定する他のステップ1912を行ってコロニーのサイズ並びにコロニー直径及びそのコロニー周辺の離隔面積を決定する。代表的な出力を1906として示す。
他の画像処理技術において、コロニーの大きな団塊の検出を行う。このことを図20につき説明する。第1ステップ2000で、1つ以上の異なった照明ビームを使用して多数の画像を取得する。所定画像又は画像の組合せをステップ2002で2値化し、デジタル画像を形成する。デジタル画像を分析し、デジタル画像における対象の輪郭が元画像における高コントラストゾーンに対応するか否かを決定する。この分析は、デジタル画像における輪郭ゾーンと、元画像における高コントラストゾーン、例えば、10より多い勾配を有する領域とを比較する(ステップ2004)ことによって行う。相互間対応が十分である場合、デジタル化した対象はコロニーの団塊に対応し、出力2006を生成する。この出力を使用して、コロニーの高密集領域又は事実上円形でないコロニーを有する領域を識別する。代案として、コロニーの大きな団塊を検出する他の技術を実施することもできる。この代替的技術は、色ベースのセグメント化の代わりに、領域ベースのセグメント化に関する。領域ベースのセグメント化は、対象を識別する複数のピクセルクラスを生ずる。ピクセルは色、コントラストのような所定判断基準に基づいて収集する。領域ベースのセグメント化はインタラクティブな方法であり、所定判断基準に基づいて空間的に近接しまた均質であるピクセルをまとめる。この結果、クラスの数に関する限定はない。
図21は、集団移動を識別するプロセスを示す。集団移動は、培地にわたる細菌個体群の急速なまた協調した移動である。集団移動は、コロニー成長が存在することの他の現れであるが、可視化しにくいものである。第1ステップ2100において、輪郭又は凹凸情報を含む画像を取得する。代表的画像は、垂直照明画像又は側方環状照明画像又は任意の他の画像又は画像の組合せとすることができる。ステップ2102の処理を画像に加え、画像における高周波数テクスチャゾーンのみ保持する。高周波数は、テクスチャがリッチなゾーンで存在し、また集団移動は凹凸をハイライトで示す画像で見える皿表面における「波」によって特徴付けられる。単に高周波数ゾーン及び質感を維持するためには、2つのステップを必要とする。第1ステップにおいて、ローパスフィルタを元画像に適用する。このようなフィルタの例としては、図22に示すようなメジアンフィルタ7×7があり、このフィルタを画像における各ポイントに適用する。第2ステップで、元画像をローパスフィルタ処理画像から差し引いて、高周波数(テクスチャ)のハイライトゾーンにし、鋭利な輪郭を持たないものにする。得られた画像はテクスチャ画像と称することができる。集団移動の存在を特徴付けるため、また集団移動を可視化するか否かを決定するため、テクスチャゾーンの「定量化」に基づく判断基準を使用する。ステップ2104で元画像の高明度領域を維持し、元画像における(凹凸)情報ゾーンのみ維持する。テクスチャ(質感)量に関連する係数は、元画像における高明度ゾーンのテクスチャ画像の値の平均によって決定する。ステップ2106で、係数が所定閾値に等しいかそれ以上である場合、集団移動があると識別し、係数が閾値よりも低い場合、集団移動はないものとする。合成画像を2108として示し、集団移動領域を識別できる。
図8は、異なった培地における特別な特徴を検出するのに最適照明源の特別な例を示す表である。この表は、異なった培地、例えば、COS(不透明培地)及びCPS(透明/半透明培地)に対して、異なった照明源がより適切であることを示す。表は、画像を生成した後に実行する多数の検出プロセス例をも示す。各例に対して照明源又は照明ビームの組合せを示す。
隔絶したコロニーを検出するためには、バックライト、環状、及び逆向き環状照明の組合せが、CPS培養に対して最良結果をもたらす。COS培地に対しては、バックライト及び環状照明のみがより良好な結果をもたらす。表は、多数の他の例をも示す。
図24及び図25につき説明すると、上述したように、ロボットアームの例を示す。図24及び25に示すように、このロボットアームは、ほぼ垂直な第1ガイド2401、及びほぼ水平の第2ガイド2402を有する。第1ガイド2401はカートリッジ2410を垂直方向に案内するよう構成する。第1ガイド2401は、ペトリプレート及びペトリ皿の蓋よりなる組立体を逆さま状態で収容及び保持し得る支持体2410を有する。図24において、カートリッジ2410は、ペトリ皿の蓋2430を逆さまにしてフィンガ2412と可動グリッパ2413との間に保持した状態を示す。グリッパ2413はアーチ状にし、ペトリ皿の蓋2430をフィンガ2412に押付け、カートリッジ2410の変位中にフィンガ2412とグリッパ2413との間に保持するよう構成する。グリッパ2413は、グリッパ2413を図24に示す保持位置と、ペトリ皿の蓋2430を釈放する釈放位置との間で移動するためのアーム2414の端部に取付ける。第2ガイド2402はカートリッジ2420を水平方向にガイドするよう構成する。このカートリッジ2420は、ガイド2402に沿って摺動する第1部分2421と、第1部分2421に対して少なくとも180゜回転できる第2部分2422とを有する。カートリッジ2420の第2部分2422には、アーチ状のグリッパ2423を設ける。
グリッパ2423は、ペトリプレート2431をフィンガ2424に押付けて、ペトリプレート2431をフィンガ2424とグリッパ2423との間に保持できるようにする。グリッパ2423は、図24に示す保持位置とペトリプレート2431を釈放する釈放位置との間でグリッパ2423を移動させるアーム2425の端部に取付ける。
図24及び25によるロボットアームの機能は以下の通りである。カートリッジ2410は、ペトリプレート2431及び蓋2430よりなる組立体が逆さま状態となる第1位置に組立体を収容するよう構成する。この第1位置からカートリッジ2410はペトリプレート2431及び蓋2430よりなる組立体を垂直方向上方に移動することができる。カートリッジ2410は、グリッパ2423がペトリプレート2431をフィンガ2424に押付けることができる上方に組立体を移動する。ペトリプレート2431がグリッパ2423とフィンガ2424との間に保持された後、カートリッジ2410は下方に移動し、ペトリプレート2431を蓋2430から分離する。ペトリプレート2431は、この後、カートリッジ2420の第2部分2422を第1部分2421に対して回転することによって回転する。
図25には、ペトリプレート2431の中間位置を示し、この中間位置では、カートリッジ2420の第2部分2422が第1部分2421に対して90゜回転した状態を示す。
図25に示す位置から回転運動を継続し、最終的にペトリプレート2431は上方が開放した水平位置に達する。ペトリプレート2431の回転運動後、又はこの回転運動中、カートリッジ2420の第1部分はガイド2402に沿って、ペトリプレート2431の内容物の画像を撮る位置に向かって移動する。この撮影位置を図24に参照符号2450で示す。ペトリプレート2431の画像又は一連の画像を撮った後、カートリッジ2410,2420の移動を逆にし、ペトリプレート2431及び蓋2430の組立体を取り出す釈放位置に復帰させることができる。
図26及び27につき、上述したように、以下にどのようにしてマスクを操作するかを説明する。図26に示すように、ペトリプレート2600がホイール上に配置されるとき、ロボットアームのグリッパ2604がペトリプレート2600の輪郭を部分的に包囲する。この結果、グリッパ2604によってカバーされないプレートの輪郭部分のライン2602が現れる。ペトリプレート内部の画像を撮るため環状照明をペトリプレートに当てるとき、図27に示すように、光ビーム2710がペトリプレートの下方に配置した表面2711で反射することができる。つぎに、光ビームは干渉光としてペトリプレート2600に戻るよう反射することができる。この結果、画像を撮るとき、干渉光は、ペトリプレート内部の撮影画像内に対応する干渉を生じ得る。図26に示すようにマスク2608をペトリプレート輪郭の周りに設けることができる。マスク2608をペトリプレート2600の輪郭全体にわたって包囲する。マスクの幅はグリッパ2604の幅より大きいものとする。図7は、破線で分離したペトリプレートの2つの形態を示す。ペトリプレートの破線に関して左側にはマスク2608を設けない形態を示す。破線に関して右側にはマスク2608を設け、マスク2608がグリッパ2704をカバーする形態を示す。この第1形態において、環状照明中、ビーム2710がペトリプレート2600の近傍ゾーンを照射するとき、ビーム2710は表面2711によって反射し、ペトリプレートの底面部分に達する干渉ビームを生ずる。第2形態において、環状照明中、ビーム2712がペトリプレート2600の近傍ゾーン、例えばマスク表面を照射するとき、マスク2608はいかなる干渉光もペトリプレート2600内部を照射するのを阻止し、又は撮影している画像に干渉するのを阻止する。
検出プロセス及び最適照明源の他の組合せを使用することもできると理解されたい。照明源の位置は必要に応じて変化し、本明細書に記載した入射位置又は方向に限定するものではない。
種々の画像増強及び処理技術を組合せて所定サンプルを分析できることが予想される。この分析には、これら技術の若干又はすべてを使用することも含まれる。これら技術を任意の順序で適用することができ、また順序はサンプル毎に変化し得る。選択した技術をサンプルに適用し、コロニーが識別されなかった場合、サンプルには成長したコロニーがないと決定することができる。
いかなる画像増強技術又は画像処理技術においても、システムには、プロセス開始時に付加的情報を提供することができる。この付加的情報には、ペトリ皿又は他のサンプル容器に関する詳細、例えば、サイズ、形状、材料等がある。付加的情報としては、さらに、培地、及び培地で成長し得ると予想されるタイプの試料に関する詳細がある。さらに、情報としては、撮像詳細、例えば、露光時間、照明源、ペトリ皿の向き、任意な他の光学的パラメータ又は制御パラメータ等がある。情報は、用途、例えば、産業上、医療用等の目的を示すことができる。任意な他の関連情報も含めることができる。
サンプルを分析し、また人為物を検出するこの自動化プロセスは、多くの利点がある。検出し、又は必要に応じて人為物、例えば、書込み及びマークを除去する能力は、コロニーの区分けをより容易にする。同一技術を使用して他のアーチファクトを検出し、また付加的なステップで画像からそれらを排除することができる。例えば、皿のバッチに所定サイズ及び色の栄養素に泡が過剰に存在する場合、上述のプロセスによってこれらアーチファクトを検出し、また必要に応じて除去することができる。同様に、他の光学的アーチファクトも処理することができる。
上述した本発明の若干は、少なくとも若干程度をコンピュータ上で実施することができる。したがって、処理及びステップに対する言及は、ソフトウェア又はハードウェア又はその組合せによって、実施できる。本発明の態様をハードウェアにつき説明したが、適切なソフトウェアモジュールによって代替することができると理解されたい。同様に、ソフトウェアモジュール又はプロセスは適切なハードウェアによって代替できる。
本発明の特許請求の範囲から逸脱することなく、本発明の可能な変更例も多くあり得ることを理解されたい。

Claims (2)

  1. 容器内の培地で成長した生物学的なサンプルの画像であり、サンプル及び培地を含む容器に近水平照明ビームを照射することによって形成された、該画像を増強する方法において、
    ・前記容器及び前記培地の画像を検査画像として取得する検査画像取得ステップであって、この検査画像取得は、
    ・互いに異なった複数個の色付き照明源を個別に前記容器及び前記培地に照射する照射ステップ、
    ・各色に関して前記容器及び前記培地の吸収を測定するステップ、
    ・各色に関する前記容器及び前記培地の吸収モデルを形成するステップ
    によって行う、該検査画像取得ステップと、
    ・容器、培地及び生物学的なサンプルの画像を取得及び処理するサンプル画像取得及び処理ステップであって、このサンプル画像取得及び処理は、
    ・複数個の色付き照明源を個別に前記容器、前記培地及び前記生物学的なサンプルに照射するステップ、
    ・各色に関して前記容器、前記培地及び前記生物学的なサンプルの元画像を生成するステップ、
    ・各色に関する前記容器及び前記培地の前記吸収モデルを、各色に対応する前記元画像に適用して、前記容器及び前記培地の吸収効果を除去するステップ、
    ・各色の前記元画像を結合して、前記生物学的なサンプルをハイライト化する複合画像を形成するステップ
    によって行う、該サンプル画像取得及び処理ステップと
    を有する、方法。
  2. 請求項1記載の方法において、前記照射ステップは、赤、緑、青色の照明源及び/又はUV照明源で照射するステップを有する、方法。
JP2014508847A 2011-05-06 2012-05-07 バイオ画像化方法 Active JP6091489B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP11305542A EP2520923A1 (en) 2011-05-06 2011-05-06 Bio-imaging method and system
EP11305542.0 2011-05-06
PCT/EP2012/058399 WO2012152769A1 (en) 2011-05-06 2012-05-07 Bio-imaging method and system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016167698A Division JP2017018126A (ja) 2011-05-06 2016-08-30 バイオ画像化方法

Publications (2)

Publication Number Publication Date
JP2014514580A JP2014514580A (ja) 2014-06-19
JP6091489B2 true JP6091489B2 (ja) 2017-03-08

Family

ID=44487099

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2014508846A Pending JP2014513960A (ja) 2011-05-06 2012-05-07 バイオ画像化方法及びシステム
JP2014508847A Active JP6091489B2 (ja) 2011-05-06 2012-05-07 バイオ画像化方法
JP2016167698A Pending JP2017018126A (ja) 2011-05-06 2016-08-30 バイオ画像化方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014508846A Pending JP2014513960A (ja) 2011-05-06 2012-05-07 バイオ画像化方法及びシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016167698A Pending JP2017018126A (ja) 2011-05-06 2016-08-30 バイオ画像化方法

Country Status (6)

Country Link
US (2) US9606046B2 (ja)
EP (3) EP2520923A1 (ja)
JP (3) JP2014513960A (ja)
CN (2) CN103649720B (ja)
AU (2) AU2012252474A1 (ja)
WO (2) WO2012152768A1 (ja)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013201925A (ja) * 2012-03-27 2013-10-07 Mitsui Eng & Shipbuild Co Ltd 水検査方法及び水検査システム
US20140267713A1 (en) * 2013-03-15 2014-09-18 Cryoxtract Instruments, Llc Machine Vision System for Frozen Aliquotter for Biological Samples
KR20140019950A (ko) * 2012-08-07 2014-02-18 성균관대학교산학협력단 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
WO2014093838A2 (en) * 2012-12-14 2014-06-19 The J. David Gladstone Institutes Automated robotic microscopy systems
CN104870650B (zh) 2012-12-20 2018-09-11 3M创新有限公司 区别图像中的微生物菌落的方法
WO2014099644A1 (en) * 2012-12-20 2014-06-26 3M Innovative Properties Company Method of detecting gas-producing microbial colonies
EP2943932B1 (en) 2013-01-10 2019-09-11 Akoya Biosciences, Inc. Whole slide multispectral imaging systems and methods
EP2943761B1 (en) * 2013-01-10 2023-11-29 Akoya Biosciences, Inc. Multispectral imaging system and methods
ITMI20130692A1 (it) 2013-04-26 2014-10-27 Copan Italia Spa Dispositivo e procedimento per il processamento automatico di piastre di coltura per campioni microbiologici
EP2806394A1 (en) 2013-05-23 2014-11-26 bioMérieux Method, system and computer program product for improving the quality of an image
EP2806399A1 (en) 2013-05-23 2014-11-26 bioMérieux Method, system and computer program product for producing a raised relief map from images of an object
US10007995B2 (en) 2013-05-23 2018-06-26 Biomerieux Method, system and computer program product for producing a raised relief map from images of an object
AU2015212758B2 (en) * 2014-01-30 2019-11-21 Bd Kiestra B.V. A system and method for image acquisition using supervised high quality imaging
US10253292B2 (en) 2014-02-04 2019-04-09 Molecular Devices, Llc System for identifying and picking spectrally distinct colonies
FR3020485A1 (fr) 2014-04-25 2015-10-30 Biomerieux Sa Procede, systeme et produit-programme d'ordinateur pour afficher une image d'un objet
JP6394960B2 (ja) * 2014-04-25 2018-09-26 パナソニックIpマネジメント株式会社 画像形成装置および画像形成方法
JP6691040B2 (ja) * 2014-05-14 2020-04-28 オリンパス株式会社 培養観察装置
FR3022916B1 (fr) 2014-06-30 2018-04-06 Biomerieux Procede de detection d'une presence ou d'une absence de particules biologiques.
JP6365830B2 (ja) * 2014-07-17 2018-08-01 国立大学法人 新潟大学 抗菌効果判定システム、抗菌効果判定方法及び抗菌効果判定プログラム
JP2016052116A (ja) * 2014-08-28 2016-04-11 パナソニックIpマネジメント株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
DE102014113258A1 (de) * 2014-09-15 2016-03-17 Carl Zeiss Ag Verfahren zum Erzeugen eines Ergebnisbilds und optische Vorrichtung
FR3028866B1 (fr) 2014-11-26 2018-03-09 bioMérieux Procede, systeme et produit-programme d'ordinateur pour determiner la croissance de micro-organismes
WO2016094459A2 (en) * 2014-12-09 2016-06-16 Berkeley Lights, Inc. Automated detection and repositioning of micro-objects in microfluidic devices
JP6535494B2 (ja) * 2015-03-31 2019-06-26 株式会社Screenホールディングス 撮像装置、撮像方法および培養容器
AU2016250791B2 (en) * 2015-04-23 2021-10-21 Bd Kiestra B.V. Colony contrast gathering
CN107580715B (zh) 2015-04-23 2022-05-31 Bd科斯特公司 用于自动计数微生物菌落的方法和系统
CN105062878A (zh) * 2015-08-26 2015-11-18 上海理工大学 应用于菌落自动挑选仪的混合照明系统
JP6625375B2 (ja) * 2015-08-28 2019-12-25 株式会社エヌテック 微生物検査装置及び微生物検査方法
MX2018003323A (es) * 2015-09-16 2018-08-16 Merck Patent Gmbh Metodo para la deteccion e identificacion temprana de colonias microbianas, aparato para llevar a cabo el metodo y programa de computadora.
EP3408648A4 (en) 2016-01-28 2019-03-06 Siemens Healthcare Diagnostics Inc. METHODS AND APPARATUS FOR IMAGING A SAMPLE AND / OR SAMPLE CONTAINER USING MULTIPLE EXHIBITIONS
WO2017132171A1 (en) 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus for characterizing a specimen container and specimen
JP6293186B2 (ja) * 2016-03-10 2018-03-14 株式会社Screenホールディングス 撮像装置における撮像配置決定方法および撮像装置
JP2017225354A (ja) * 2016-06-20 2017-12-28 東洋製罐グループホールディングス株式会社 培養細胞の撮像方法及び装置
EP3290524A1 (en) * 2016-09-02 2018-03-07 Biomérieux Method, system and computer program product for determining the presence of microorganisms and identifying said microorganisms
JP7007367B2 (ja) * 2016-09-02 2022-01-24 ビオメリュー 微生物の存在を判定し、前記微生物を同定するための方法、システム、及びコンピュータプログラム製品
KR101853658B1 (ko) * 2016-09-29 2018-05-03 주식회사 싸이토젠 세포 이미지 스티칭 중 고해상도 구현방법
WO2018089935A1 (en) 2016-11-14 2018-05-17 Siemens Healthcare Diagnostics Inc. Methods and apparatus for characterizing a specimen using pattern illumination
CN106600608A (zh) * 2016-11-28 2017-04-26 四川木牛流马智能科技有限公司 一种人机互动的环境微生物显微图像分割方法
CN110869740A (zh) 2017-07-19 2020-03-06 美国西门子医学诊断股份有限公司 使用高光谱成像的样本表征的方法和设备
EP3655758B1 (en) 2017-07-19 2024-05-15 Siemens Healthcare Diagnostics, Inc. Stray light compensating methods and apparatus for characterizing a specimen
US10928621B2 (en) * 2017-10-31 2021-02-23 Samantree Medical Sa Sample dishes for use in microscopy and methods of their use
US10539776B2 (en) 2017-10-31 2020-01-21 Samantree Medical Sa Imaging systems with micro optical element arrays and methods of specimen imaging
CN109781676A (zh) * 2017-11-10 2019-05-21 陕西秦云农产品检验检测有限公司 一种黄曲霉毒素生物降解测试工具以及利用其的饲养方法
CN108398103B (zh) * 2018-04-28 2023-11-10 北京大学 一种高速高通量生物样本形态检测系统
JP7148776B2 (ja) * 2018-08-02 2022-10-06 国立大学法人山梨大学 コロニー識別システム、コロニー識別方法およびコロニー識別プログラム
EP3620984B1 (en) 2018-09-06 2024-04-10 Accenture Global Solutions Limited Digital quality control using computer visioning with deep learning
JP7018006B2 (ja) * 2018-09-27 2022-02-09 富士フイルム株式会社 試料撮影装置
CN109777718A (zh) * 2019-02-01 2019-05-21 北京陆桥技术股份有限公司 菌落图像采集系统
JP6855526B2 (ja) * 2019-02-28 2021-04-07 キヤノン株式会社 制御方法、制御システム、プログラム、記憶媒体
WO2021234513A1 (en) * 2020-05-18 2021-11-25 3M Innovative Properties Company Microorganic detection system using a deep learning model
CN111982931B (zh) * 2020-08-27 2022-11-18 高视科技(苏州)有限公司 一种高精度晶圆表面缺陷检测装置及其检测方法
BE1029446B1 (nl) 2021-06-01 2023-01-09 Microtechnix Bvba Inrichting en werkwijze voor telling en identificatie van bacteriekolonies met behulp van hyperspectrale beeldvorming
WO2023169675A1 (en) * 2022-03-09 2023-09-14 Ash Technologies Ltd. A method and apparatus for illuminating colony-forming units
WO2024034207A1 (ja) * 2022-08-09 2024-02-15 株式会社キーエンス コロニー計数装置、制御方法およびプログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3551019A (en) * 1967-11-21 1970-12-29 Zeiss Stiftung Universal microscope
US5936731A (en) * 1991-02-22 1999-08-10 Applied Spectral Imaging Ltd. Method for simultaneous detection of multiple fluorophores for in situ hybridization and chromosome painting
JPH058458U (ja) * 1991-07-12 1993-02-05 旭光学工業株式会社 欠陥検査用の照明装置
IL101522A (en) * 1992-04-08 1997-09-30 Combact Imaging Systems Ltd Detection of microorganisms in a sample and determination of the sensitivity of microorganisms to antibiotics
EP0625569B1 (en) * 1992-08-27 1998-02-11 Iul, S.A. Contrast chamber for spotlighting bacterial colonies with respect to the culture medium thereof
EP0767361B1 (en) * 1993-07-22 2000-02-23 Applied Spectral Imaging Ltd. Method and apparatus for spectral imaging
US5580163A (en) * 1994-07-20 1996-12-03 August Technology Corporation Focusing light source with flexible mount for multiple light-emitting elements
JP3110707B2 (ja) * 1997-08-25 2000-11-20 株式会社日本マクシス 水晶基板用載置台及び水晶基板の傷検査装置
FR2786498B1 (fr) 1998-11-27 2002-02-08 Intelligence Artificielle Appl Appareil de lecture automatique d'un antibiogramme
JP2000171360A (ja) * 1998-12-09 2000-06-23 Jt Science:Kk コロニ―採取方法および装置
JP2003135095A (ja) * 2001-08-23 2003-05-13 Morinaga Milk Ind Co Ltd 微生物検査方法及び微生物検査装置
US7186990B2 (en) 2002-01-22 2007-03-06 Microbiosystems, Limited Partnership Method and apparatus for detecting and imaging the presence of biological materials
BR0316471A (pt) * 2002-11-27 2005-10-11 3M Innovative Properies Compan Dispositivo e método para esquadrinhar placas de cultivo biológico
US20040101954A1 (en) 2002-11-27 2004-05-27 Graessle Josef A. Back side plate illumination for biological growth plate scanner
US7319031B2 (en) 2002-11-27 2008-01-15 3M Innovative Properties Company Mounting platform for biological growth plate scanner
US7496225B2 (en) 2003-09-04 2009-02-24 3M Innovative Properties Company Biological growth plate scanner with automated intake
JP4652694B2 (ja) * 2004-01-08 2011-03-16 オリンパス株式会社 画像処理方法
US7060955B1 (en) 2005-01-31 2006-06-13 Chemimage Corporation Apparatus and method for defining illumination parameters of a sample
JP2008030619A (ja) * 2006-07-28 2008-02-14 Toyota Motor Corp 道路区画線種別判定装置、及び、道路区画線認識装置
JP4848520B2 (ja) * 2007-03-19 2011-12-28 国立大学法人山口大学 植物培養細胞塊の状態を判別する方法、そのための装置および植物培養細胞塊の状態を判別するためのプログラム
JP5177138B2 (ja) * 2007-05-24 2013-04-03 株式会社ニコン 観察装置
FR2926820B1 (fr) 2008-01-30 2014-10-17 Alain Rambach Procede de selection de microorganismes dans un echantillon biologique
JP4953092B2 (ja) * 2008-03-04 2012-06-13 株式会社ニコン 細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置
JP4998618B2 (ja) * 2008-05-15 2012-08-15 株式会社島津製作所 生体画像撮影装置
US9134521B2 (en) * 2008-07-30 2015-09-15 The Regents Of The University Of California Multidirectional selective plane illumination microscopy
JP5430122B2 (ja) 2008-10-30 2014-02-26 栄研化学株式会社 微生物の検出方法、装置およびプログラム
JP2010264777A (ja) * 2009-05-12 2010-11-25 Ricoh Co Ltd 色弱者向け駐車支援装置、色弱者向け駐車支援方法、及びプログラム
CN101650299B (zh) 2009-09-19 2011-06-29 福建师范大学 高对比度、高分辨率非线性光谱成像探测装置
JP2011075318A (ja) * 2009-09-29 2011-04-14 Renesas Electronics Corp レンズずれ測定装置、レンズずれ測定方法及び光モジュールの製造方法
US9109194B2 (en) * 2009-11-05 2015-08-18 Hitachi High-Technologies Corporation Device for harvesting bacterial colony and method therefor
JP5443950B2 (ja) * 2009-11-13 2014-03-19 株式会社日立ハイテクノロジーズ 細菌コロニー釣菌装置及びその方法

Also Published As

Publication number Publication date
CN103748452A (zh) 2014-04-23
US9606046B2 (en) 2017-03-28
CN103649720B (zh) 2017-04-05
AU2012252473A1 (en) 2013-11-21
AU2012252474A1 (en) 2013-11-21
US20140293036A1 (en) 2014-10-02
AU2012252473B2 (en) 2015-09-17
EP2705351B1 (en) 2020-11-11
EP2705351A1 (en) 2014-03-12
CN103649720A (zh) 2014-03-19
JP2014513960A (ja) 2014-06-19
WO2012152769A1 (en) 2012-11-15
EP2520923A1 (en) 2012-11-07
WO2012152768A1 (en) 2012-11-15
JP2014514580A (ja) 2014-06-19
JP2017018126A (ja) 2017-01-26
CN103748452B (zh) 2018-08-10
US9400242B2 (en) 2016-07-26
US20140161330A1 (en) 2014-06-12
EP2705352A1 (en) 2014-03-12

Similar Documents

Publication Publication Date Title
JP6091489B2 (ja) バイオ画像化方法
AU2013343537B2 (en) Bio-imaging method
JP6366604B2 (ja) ガス産生微生物のコロニーの検出方法
EP3507378B1 (en) Method, system and computer program product for determining the presence of microorganisms and identifying said microorganisms
CN111263817A (zh) 用于自动化评估抗生素敏感性的方法和系统
AU2015255243B2 (en) Bio-Imaging Method And System
EP3290524A1 (en) Method, system and computer program product for determining the presence of microorganisms and identifying said microorganisms
US20230351602A1 (en) Cell segmentation image processing methods
KR20240062635A (ko) 표현형 분석를 위한 광스캐너 및 이를 이용한 표현형 분석 방법
KR102664258B1 (ko) 콜로니 콘트라스트 수집

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160301

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170207

R150 Certificate of patent or registration of utility model

Ref document number: 6091489

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250