以下、微生物の検出装置に係る一実施形態を、図面を参照して説明する。
図1に示すように、微生物検査システム(以下、単に「検査システム11」と称す)は、微生物が培養された培地12を収容する検査対象物の一例であるシャーレ13を吸着部14で吸着保持し、その吸着保持したシャーレ13内の培地12の少なくとも一部を含む検査対象領域をカメラ15で撮像する検査装置16と、検査装置16に接続されたパーソナルコンピュータ17とを備える。パーソナルコンピュータ17は、カメラ15で撮像した培地12の少なくとも一部を含む検査対象領域の画像データに基づいて検査処理を行う。シャーレ13は皿18と蓋19とからなり、本例では、蓋19が下でかつ皿18が上となる天地逆向きに配置された皿18の底面を吸着部14で吸着保持して持ち上げることで、蓋19から分離し、持ち上げた皿18内の培地12を下方からカメラ15で撮像する。
本実施形態では、パーソナルコンピュータ17がプログラムPR(図2参照)を実行して行う検査処理に特徴があり、色を特定できない有色の混入物が培地12に含まれていても、混入物と微生物の一例であるコロニーとを区別して比較的高い検出精度でコロニーを検出できる。
混入物には、有彩色の混入物(例えば赤、橙、黄、青、緑等)と、無彩色の混入物(例えば黒、白及び灰色)がある。また、混入物には、培地12が固化する前の培地溶液に対して不溶性のものと可溶性のものとがある。例えば不溶性の混入物であれば、培地12内に有彩色又は無彩色の粒子として存在し、可溶性の混入物であれば、微生物の一例としてのコロニーCL及び培地12が、その溶解した混入物の色で有彩色又は無彩色に染色される。
図1に示すように、検査装置16は、シャーレ13の搬送を行う搬送装置21と、シャーレ13の皿を保持して昇降させる昇降式の吸着部14を複数の位置に周回により移送させるロータリ式の移送装置22とを備える。さらに検査装置16は、複数の位置のうちの一つである検査位置CPで皿18内の培地12を含む検査対象領域を撮像するカメラ15を有する撮像ユニット23と、検査装置16の制御を司るコントローラ30とを備える。
図1に示すように、本例の搬送装置21は、例えば電動モータ21Mの動力で回転駆動される搬送ベルト21Bによってシャーレ13を搬送方向に沿って搬送するベルト搬送方式を採用する。シャーレ13は、例えば搬送ベルト21B上に蓋19を下側で皿18を上側とする天地逆向きに配置され、搬送ベルト21B上の分離位置SPで昇降式の吸着部14下降してシャーレ13の皿18の底面を吸着して持ち上げて、皿18と蓋19とを分離する。皿18を吸着した吸着部14は、ロータリ式の移送装置22によって所定回転角(例えば1/3回転)だけ周回し、検査位置CPに移送される。なお、搬送装置21はベルト搬送方式以外の他の搬送方式でもよい。
撮像ユニット23は、検査位置CPに配置された吸着部14よりも所定距離だけ下方の位置に配置されたリング状の光源24と、吸着部14よりも下方の位置に配置されて培地12を含む皿18の全体を撮像可能な前述のカメラ15と、カメラ15をその光軸回りに軸回転させるアクチュエータ25とを備える。光源24は、吸着部14に吸着された皿18に対してカメラ15と同じ側からその皿18内の培地12に光を照射する。
カメラ15は、カラー撮像が可能なカラーカメラである。本例では、カメラ15によって、培地12をカラーで撮像する。カメラ15は検査位置CPに配置された皿18よりも所定距離だけ下方に離れた位置に配置され、検査対象の皿18(培地12)に対して光源24と同じ側に位置している。カメラ15の撮像方式は、光源24から照射された光が培地12で反射した反射光の像を撮像する光反射型である。例えば光透過型であると、培地12中の混入物及びコロニー等の光透過性の低いものは、光源からの光の影となって黒色又は濃灰色で写るため、混入物とコロニーとの識別が難しい。これに対して光反射型では、光透過性の低いコロニーや混入物はそのものがもつ色で写るので、予めコロニーや混入物の色が分かっていればコロニーと混入物とを識別できる。しかし、コロニーの色や混入物の色は、予め特定できない場合が多い。このような場合、コロニーや混入物そのものがもつ色で撮像されても、コロニーと混入物とを区別してコロニーを検出することが困難な場合があるが、本実施形態では、後述する方法によりコロニーの検出精度を高めている。
また、本例の撮像ユニット23は、カメラ15を軸回転させることで軸回転角の異なるカメラ姿勢で複数枚の写真を撮像する。例えば2つのコロニーがそのときのカメラの軸回転角では重なって1つに写っていても、同じカメラ15で他の軸回転角から撮像した場合に、その重なっていたコロニーが分離された状態で撮像される場合がある。このため、本例では、培地12を同じカメラ15で異なる軸回転角で複数回撮像することで、軸回転角の異なる複数の画像に基づいて最大の計数値となるようにコロニーを計数するようにしている。また、検査装置16内には、カメラ15、光源24及びモータ31,21M等に電力を供給する電源装置26が配置されている。なお、光反射型であれば、検査位置CPの皿18に対して、カメラ15及び光源24が上側に配置されていてもよい。例えばシャーレ13の皿18を上向きの状態で搬送する搬送方式を採用し、検査位置CPに搬送された検査対象の皿18をその上方に設置されたカメラ15及び光源24により撮像する方法でもよい。
検査用の撮像を終えた皿18は、ロータリ式の移送装置22が駆動されて、さらに1/3回転だけ周回方向へ移送されて戻し位置BPに移送される。その間、皿18と対の蓋19は搬送ベルト21Bによって間欠的に搬送されて戻し位置BPに配置される。そして、吸着部14を下降させて皿18を蓋19に戻し、検査終了後のシャーレ13は搬送ベルト21Bによって検査装置16の外側へ排出される。
次にロータリ式の移送装置22の詳細について図1を参照して説明する。
ロータリ式の移送装置22は、検査装置16の検査作業空間の一部を区画する天板16aの上に配置された動力源となる電動モータ31(例えばサーボモータ)を備える。電動モータ31の動力は、例えばベルト式の動力伝達機構32を介して天板16aの中央部に吊下状態に支持された回転軸33に伝達され、この回転軸33が回転することでその下部に水平姿勢で支持された支持板34の外周寄りかつ周方向に等角度間隔となる位置に配設された複数の昇降ユニット35が周回する。このとき、移送装置22の回転軸33を1/3回転ずつ間欠的に回転させることで、複数の昇降ユニット35の下端部に設けられた吸着部14を、分離位置SP、検査位置CP及び戻し位置BPの3位置に順番に配置することが可能となっている。本例の吸着部14は、導入された負圧によってその下面(吸着面)に皿18の底面を吸着することで皿18を保持する。なお、回転軸33は、天板16aから同軸で吊下された支持筒36に一部が挿通された状態で複数の軸受(図示せず)を介して回転可能に支持されている。
図1に示すように、昇降ユニット35は、支持板34から下方へ延出する筒部37と、筒部37に対して軸方向に相対移動可能に挿通された昇降軸38と、昇降軸38の上端部と支持板34との間に介装された圧縮ばね39とを備える。円盤状の吸着部14は、昇降軸38において筒部37から下方へ突出する管状のロッドの下端部に水平な姿勢で固定されている。
コントローラ30は、分離位置SPと戻し位置BPと対応する天板16a上の位置にそれぞれ配設された2つのエアシリンダ41を伸縮駆動させることで、吸着部14の昇降を制御する。詳しくは、コントローラ30は、エアシリンダ41を伸張駆動させて昇降ユニット35の昇降軸38を圧縮ばね39の付勢力に抗して押し込むことで吸着部14を下降させ、エアシリンダ41を収縮駆動させて昇降軸38が圧縮ばね39の付勢力により上動することで吸着部14を上昇させる。
図1に示すように、負圧供給源PSからの負圧は、回転軸33の軸線上を通る流路33a及びホース42を通じて支持板34上の3つの弁機構43にそれぞれ供給される。弁機構43はホース44を通じて吸着部14の管状のロッドと接続されている。吸着部14は、弁機構43の回動可能なレバー45が、天板16aの下面に固定されたレール46の下面に当たって押し下げられることで吸引状態が解除され、レール46がなくなってレバー45が自身の付勢力で起き上がることで吸引状態となる。レール46は、昇降ユニット35が戻し位置BPと分離位置SPとの間を移動する区間でその昇降ユニット35と対応する弁機構43のレバー45に当接可能に延びており、レール46の長手方向両端に隣接する位置にはエアシリンダ47の駆動によってレバー45の回動操作が可能な可動体48が設けられている。吸着部14は、分離位置SPと戻し位置BPにおける可動体48によるレバー45の操作によって、吸引状態と吸引解除とが可能となっている。なお、吸着部14の吸着面(下面)は、黒色の光拡散板となっている。
パーソナルコンピュータ17は、本体51と、マウス52m及びキーボード52kよりなる入力装置52と、表示部53(モニタ)とを備えている。本体51には、通信ケーブル54を通じてカメラ15が接続されており、カメラ15が撮像した培地12の画像信号(画像データ)は本体51に入力される。本体51に内蔵された検出処理装置55は、カメラ15から入力した画像データに基づいて培地12中の微生物の一例として菌のコロニーを検出する検出処理と検出したコロニーの数を計数する計数処理とを行う。なお、本実施形態の検出処理装置55は、微生物の検出装置の一例に相当する。
光源24から出射された光は皿18内の培地12で反射し、その反射光の像をカメラ15が撮像する。吸着部14の吸着面は黒色の拡散板となっている。このため、撮像された画像において、光透過性の高い培地12は黒又は濃灰色となり、光源24からの光を反射するコロニーCLは、特に混入物によって染色されていなければ、白又は薄灰色になる。また、培地12内の不溶性(例えば非水溶性)の混入物は、有彩色であれば有彩色の粒子として写り、無彩色であれば無彩色の粒子として写る。一方、可溶性(例えば水溶性)の混入物である場合は、混入物が有彩色であれば培地溶液に溶解した混入物によって培地12及びコロニーCLが有彩色に染色され、混入物が無彩色であれば培地溶液に溶解した混入物によって培地12及びコロニーCLが無彩色に染色される。
次に、図2を参照して検査システム11の電気的構成及び機能的構成を説明する。
検査装置16のカメラ15とパーソナルコンピュータ17とは電気的に接続されている。検査装置では、コントローラ30が電動モータ21Mを制御することでシャーレ13及び皿18と分離中の蓋19を搬送ベルト21Bによって搬送する。
また、コントローラ30は、各種のエアシンダを伸縮駆動させる際のエア圧の給排を切り換える不図示の電磁弁を制御することで、エアシリンダの伸縮駆動による吸着部14の昇降、分離位置SP及び戻し位置BPでのエアシリンダの伸縮駆動に基づく弁機構43の切り換えによって吸着部14の吸着と吸着解放とを切り換える。また、コントローラ30は、電動モータ31を制御することで移送装置22を駆動させて複数の昇降ユニット35を1/3回転ずつ周回させる。昇降ユニット35の1/3回転ずつの周回によって、例えば皿18を吸着して保持する吸着部14を、分離位置SPから次の検査位置CPへ移送したり、撮像を終えた皿18を保持する吸着部14を、検査位置CPから次の戻し位置BPへ移送したり、皿18を蓋19に戻した後の吸着部14を戻し位置BPから分離位置SPへ移送したりする。
さらにコントローラ30は、光源24のストロボ発光及びカメラ15の撮像を制御し、検査位置CPに配置された皿18内の培地12をカメラ15に撮像させる。なお、コントローラ30は、電源装置26からの電力を電動モータ21M,31、光源24及びカメラ15等に供給してこれらを駆動させる。検査位置CP(撮像位置)に皿18が移送されてくる度に、コントローラ30がカメラ15を制御して、皿18内の培地12を含む検査対象領域を撮像した際の画像データは、カメラ15からパーソナルコンピュータ17の本体51に通信ケーブル54を通じて送信される。
パーソナルコンピュータ17を構成する本体51は、CPU61(中央処理装置)及びメモリ62を有するコンピュータ本体部(以下、「コンピュータ63」という。)を内蔵する。コンピュータ63には、入力装置52と、表示駆動回路64を介して表示部53とが接続されている。メモリ62には、カメラ15が撮影した画像データに基づいてコロニーの検出及び計数を含むコロニー検出処理をコンピュータ63に実行させるためのプログラムPRが記憶されている。コンピュータ63は、プログラムPRを実行することにより、微生物の検出装置の一例としての検出処理装置55として機能する。なお、メモリ62は、ハードディスクやRAMの一部の記憶領域により構成される。
図2において、CPU61内に模式的に示された各機能部は、プログラムPRを実行するCPU61により実現される。すなわち、検出処理装置55は、ソフトウェアよりなる機能構成部分として、制御部71、画像取得部の一例としての画像生成部72、検出処理部73、選択部74及び検出部75を備える。検出処理装置55は、コロニーの検出及び計数のための処理として、カメラ15によって撮像された画像の入力、画像生成処理、検出処理、コロニー検出、計数処理、結果出力などを行う。
制御部71は、コロニーの検出処理及び計数処理の全体の制御を司り、各部72〜75に所定の処理を指示する。さらに制御部71は、カメラ15からの培地12の画像データの取得、コロニー検出結果及び計数結果などを表示部53に表示する表示制御などを行う。
画像生成部72は、カメラ15から入力した画像データに基づいて、画素の彩度が所定階調の濃淡値で示された彩度画像SIと、画素の色相が所定階調の濃淡値で示された色相画像HIと、カラー画像を構成する色チャンネルごとの色が所定階調の濃淡値で示された色チャンネル画像とを生成する。なお、本実施形態では、色チャンネル画像(チャンネル画像)には、赤チャンネル画像(以下「R画像」ともいう。)、緑チャンネル画像(以下「G画像」ともいう。)、青チャンネル画像(以下「B画像」ともいう。)に加え、グレースケール画像(以下「グレー画像」ともいう)(例えば明度画像)も含まれる。
ここで、図3〜図5を参照して、画像生成部72による元画像CIの生成処理、検査システム11が検査の対象とする元画像CIの種類について説明する。
画像生成部72は、メモリ62に格納された画像データから検査対象領域KA(図3〜図5参照)の画像を切り取る画像処理を行う。画像生成部72は、検査対象領域KAとして、図3〜図5に示すシャーレ13の皿18の外周輪郭線で切り取った皿18の外周側壁部18aを含む画像を取得する。すなわち、画像生成部72は、カラー画像から、例えばエッジ検出で取得した皿18の外周輪郭線よりも内側の検査対象領域KAを切り取ることで、図3〜図5に示す元画像CIを取得する。元画像CIは、培地12及び外周側壁部18aを含む検査対象領域KAのカラー画像である。外周側壁部18aに接するコロニーCLや外周側壁部18aの近傍に発生したコロニーCLを見逃さず検出可能である。なお、本実施形態の検査対象領域KAは、シャーレ13の皿18内の培地12の表面(培地面)の全てを含む領域としているが、検査目的や検査効率等の検査上の種々の理由によって、培地12の少なくとも一部を含む適宜な領域に設定することができる。
また、画像生成部72は、元画像CIを基に、元画像CIの彩度を濃淡で表わす彩度画像SI、元画像CIの色相を濃淡で表わす色相画像HI、元画像CIの明度を濃淡で表わす明度画像、元画像CIの色チャンネル(RGB各チャンネル)ごとに色成分の明度を濃淡で表わすR画像RI、G画像GI、B画像BIを生成する。なお、画像生成部72が生成する各種の画像CI,HI,RI,GI,BI等の生成処理の詳細については後述する。
図3〜図5に示すように、例えば所定の培養期間を終えた培地12を撮影した画像では、培地12には複数のコロニーCLが例えば点在するように発生している。また、培地12には、コロニーCLの誤検出の原因となりうる混入物Nがノイズとして存在する場合がある。
図3〜図5に示すように、本実施形態で検査対象とする画像は、混入物Nの有無、混入物Nの色、混入物による染色の有無に応じて、3つの類型に分けられる。すなわち、図3に示すように不溶性(例えば非水溶性)の有彩色の混入物CN(以下、「有彩色混入物CN」ともいう。)を培地12に含む第1類型、図4に示すように不溶性の無彩色の混入物AN(以下、「無彩色混入物AN」ともいう。)を培地12に含む第2類型、図5に示すように可溶性(例えば水溶性)の混入物によって培地12及びコロニーCLが染色された第3類型に分けられる。そして、本実施形態では、まず画像データに基づいて検査対象が3つの類型のうちどの類型に属するかを判定し、類型に応じて選択したコロニー検出処理を行う。
図3に示す第1類型では、有彩色混入物CNとコロニーCLとが培地12に含まれる。培地12に対して光源24と同じ側からカメラ15で撮影する光反射型のカラー撮影方式なので、光透過性の高い培地12は吸着部14が透過して黒っぽく(黒又は濃灰色)写り、コロニーCLは光源24の光を反射して白っぽく(白又は薄灰色)写る。そして、混入物CNはそのものがもつ有彩色に写る。例えば混入物CNが黄色であれば、画像データにおいて混入物CNは黄色を呈する。本実施形態では、混入物Nの有無及びその色は事前に特定できないことを前提にしている。そして、有彩色混入物CNが検出された場合は、第1類型に対応するコロニー検出処理を行い、有彩色混入物CNと区別してコロニーCLを検出する。
図4に示す第2類型では、無彩色混入物ANとコロニーCLとが培地12に含まれる。カラーの元画像CIでは、光透過性の高い培地12は吸着部14が透過して黒っぽく写り、コロニーCLは光源24の光を反射して白っぽく写る。そして、無彩色混入物ANはそのものがもつ無彩色(例えば黒)に写る。本実施形態では、混入物Nが有彩色でなければ、第2類型に応じたコロニー検出処理を行い、無彩色混入物ANと区別してコロニーCLを検出する。
図5に示す第3類型に属するカラーの元画像CIでは、培地12の固化前の溶液に溶解した混入物によって、培地12とコロニーCLとが染色されている。カラー画像なので、光透過性の高い培地12は吸着部14が透過した濃灰色と染色された色との合成色を呈し、コロニーCLは染色された色を呈する。本実施形態では、有彩色混入物CNも無彩色混入物ANも含まないと判定された場合、第3類型に応じたコロニー検出処理を行い、染色された培地12と区別して染色されたコロニーCLを検出する。
ここで、シャーレ13には、例えば飲料水や食物等の検体液が所定量混入されてゲル状に凝固し菌を含む培地12、又は検体として例えばインクやトナー等の工業生産品の物質を混入物Nとして含むゲル状に凝固し菌を含む培地12が収容されている。なお、前者の場合、混入物Nとして、果皮、さのう、種子、果肉繊維等が挙げられる。培地を作る際、例えば45〜50℃に保温された培地溶液を、シャーレ13の皿部に流し込むが、このとき、混入物が不溶性のインクやトナーである場合、培地の固化後も粒子として残るが、混入物が培地溶液に対して可溶性のインク(例えば染料インク)等である場合、培地溶液に溶解したインクによって培地12とコロニーCLとが染色される。このように培地12内に混入物が存在すると、コロニーの誤検出及び誤計数の原因になる。
図2に示す画像生成部72は、色相(Hue)、彩度(Saturation)、明度(Value)の三つの成分からなる色空間を示すHSV色空間を使用する。例えば赤、青、黄、緑等の色の種類を示す色相は、色相環の値を示す0〜360度、もしくはこの角度表現を正規化した0〜100%で示される。また、例えば色の鮮やかさを示す彩度は、0〜100%で示される。赤、青、黄、緑等の彩度の高い有彩色ほど数値は高く、色がくすんで彩度が低下するにつれて数値が低下し、白、黒、灰色等の無彩色になると、数値は「0(零)」になる。また、色の明るさを示す明度は、0〜100%で示され、暗いほど数値が低く明るいほど数値が高くなる。コンピュータ63は、色相の0〜360度(又は0〜100%)、彩度の0〜100%、明度の0〜100%を、例えば256階調でそれぞれ示す。
画像生成部72は、RGBカラー画像よりなる元画像CIから、その色相を所定階調の濃淡値で表わした色相画像HI、元画像CIの彩度を所定階調の濃淡値で表わした彩度画像SI及び元画像CIの明度を所定階調の濃淡値で表わした明度画像VI(グレースケール画像GrI)を生成する。グレースケール画像GrIは、元画像CIをモノクロにしたときの1チャンネルの画像に相当する。なお、以下の説明において、グレースケール画像GrIを、グレーの色チャンネル画像として扱うことから「グレー画像GrI」ともいう。また、混入物Nのうち、不溶性の有彩色混入物を符号「CN」、不溶性の無彩色混入物を符号「AN」、可溶性の混入物を符号「SN」で示す。
図3〜図5に示すように、本実施形態では、不溶性の有彩色混入物CN、不溶性の無彩色混入物AN、可溶性の混入物SNを、それぞれ含む主に3種類の培地12に類型される。これら3種類の類型のうち培地12がどの類型に属するかを判定し、培地12の属する類型に応じたコロニー検出処理を行う。
図6〜図8は、有彩色混入物CNを含む培地を撮像したカラー画像に基づいて画像生成部72が生成する元画像CI、彩度画像SI及び色相画像HIを示す。但し、図6ではカラーの元画像CIをグレースケールで示している。また、図10(a)〜(c)は、元画像CI、彩度画像SI及び色相画像HIについて、図6における四角枠で囲った領域の拡大図を示している。図10(a)は元画像CIの拡大図、図10(b)は彩度画像SIの拡大図、図10(c)は色相画像HIの拡大図を示す。
図6は、有彩色の混入物を含む培地12のカラー画像よりなる元画像CIを示す。図6及び図10(a)に示すように、元画像CIでは、光透過性の高い培地12は、吸着部14の吸着面の黒色が透過して写るため、黒っぽく(黒又は濃灰色)写る。また、コロニーCLは、光源24からの光を反射して白っぽく(白又は薄灰色)写る。また、培地12内の有彩色混入物CNは、黄色の例ではそのものがもつ黄色(但し図6では薄灰色)に写る。また、混入物が溶解した場合、培地12とコロニーは、溶解した混入物によって染色されている。
図7は、画像生成部72が元画像CIから生成した彩度画像SIを示す。図7に示す彩度画像SIは、画素の彩度を階調値(濃淡値)で表わした濃淡画像(グレースケール画像)である。各画素は彩度の階調値が0(零)のときに黒色、彩度の階調値が最大値(例えば255)のときに白色になる。例えば黄色、橙色、赤色、緑色、青色、紫色等の有彩色は、彩度の値が高く、彩度画像SIでは白色を呈する。一方、白色、黒色、灰色等の無彩色は、彩度の値が低く、彩度画像SIでは黒色を呈する。例えば培地12は、吸着部14の吸着面の黒色が透過して黒っぽく写るので、彩度画像SIでは、黒色又は濃灰色を呈する。また、コロニーCLは、光を反射して白っぽく写るので、彩度画像SIでは、濃灰色を呈する。さらに有彩色混入物CNは、彩度画像SIでは白色を呈し、黒や白等の無彩色の混入物は、黒色を呈する。
図8は、画像生成部72が元画像CIから生成した色相画像HIを示す。図8に示すように、色相画像HIでは、画素の色相が、色相環の始点(0度)が「黒」で、終点(360度)が「白」となる濃淡値で示され、赤、黄、緑、水色、青、紫、赤の順で、画素の濃淡が、黒から灰色を経て白へと徐々に変化する。例えば混入物CNが黄色である図8の例では、色相画像HIにおいて黄色の混入物CNは濃灰色を呈する。
コンピュータ63の検出処理部73は、有彩色の混入物を検出する混入物検出処理を行う。詳しくは、検出処理部73は、彩度画像SIと色相画像HIとを用いて所定の数値条件を満たすと、彩度画像SIを用いて、彩度が一定値(例えば階調値100)以上かつ面積が下限閾値と上限閾値との間にあるものを有彩色混入物CNであると判定する。そして、有彩色混入物CNの位置及び領域を特定する座標を取得する。こうして検出処理部73は、元画像CIから取得した彩度画像SIに基づいて、有彩色混入物CNを検出する混入物検出処理を行う。
次に、図9(a)〜(d)及び図11(a)〜(d)を参照して、有彩色の混入物が検出された第1類型の場合に、コロニーの検出に用いる色チャンネル画像を選択する色チャンネル選択処理について説明する。なお、本例では、色チャンネルの画像は、濃淡を反転させる処理を施している。このため、図9及び図11に示す色チャンネル画像では、培地12は白っぽくなり、コロニーは濃灰色となっている。
図2に示す画像生成部72は、元画像CIを色反転させた反転元画像(図示省略)をRGBチャンネル別に分解し、図9(a)に示すR画像RI、図9(b)に示すG画像GI、図9(c)に示すB画像BIを取得する。混入物Nが黄色を呈する本例では、黄色が赤色と緑色の成分を有することから、図9(a)に示すR画像RIと、図9(b)に示すG画像GIとにおいて、混入物Nの位置及び領域が、培地の濃灰色に対して白又は薄灰色となっている。ここで、元画像において培地の濃灰色に対してコロニーは薄灰色であるため、薄灰色のコロニーはRGB成分の全てを有している。このため、図9(a)〜(c)及び図11(a)〜(c)に示すR画像RI、G画像GI及びB画像BIにおいて、コロニーCLは薄灰色で現れる。よって、有彩色(例えば黄色)の混入物NとコロニーCLとは、混入物Nの色(例えば黄色)の色成分を有するR画像RIとG画像GIにおいては、混入物NとコロニーCLとの濃淡差(色成分の値の差)が小さい。このため、R画像RI又はG画像GIを用いてコロニー検出処理を行っても、混入物NをコロニーCLと誤検出する可能性が高くなる。従って、混入物Nが黄色の場合、R画像RIとG画像GIはどちらも、コロニー検出処理に用いることは適切ではない。
一方、図9(c)及び図11(c)に示すB画像BIでは、黄色の混入物Nの位置及び領域が培地12と同じ灰色か培地12より少し暗い濃灰色となっており、混入物Nと培地12との濃淡差が小さい。つまり、B画像BIの濃淡画像においては混入物Nが培地12に埋もれ、培地12及び混入物NとコロニーCLとを区別できる。このため、混入物NをコロニーCLと誤検出する可能性が低下するため、B画像BIは、コロニー検出処理に用いるのに適している。
図2に示す選択部74は、複数種の色チャンネル画像のうち、コロニー検出処理に用いる1種の色チャンネル画像を選択する機能を有する。選択部74は、第1〜第3類型に応じた色チャンネル画像選択処理をそれぞれ行う、第1選択部81、第2選択部82及び第3選択部83を備える。第1選択部81は、有彩色混入物CNを含む第1類型の場合に、上述のように有彩色混入物CNと微生物との濃淡差を基に、コロニー検出処理に用いる色チャンネル画像を選択する第1選択処理を行う。第2選択部82は、無彩色混入物ANを含む第2類型の場合に、コロニー検出処理に用いる色チャンネル画像を選択する第2選択処理を行う。さらに第3選択部83は、混入物Nを含まない場合、または、混入物が溶解して培地12やコロニーCLを染色している第3類型の場合に、コロニー検出処理に用いる色チャンネル画像を選択する第3選択処理を行う。なお、第2、3類型の色チャンネル選択処理については後述する。
また、図2に示す検出部75は、選択部74により選択された色チャンネル画像を用いて、コロニーを検出する機能を有し、コロニー検出部85及び計数部86を備える。コロニー検出部85は、複数種の色チャンネル画像のうち選択部74により選択された1種の色チャンネル画像を用いて、コロニーを検出するコロニー検出処理を行う。コロニー検出部85は、例えば特開2006−345750号公報に記載の方法等を用いて微生物を検出することができる。また、計数部86は、コロニー検出部85が検出したコロニーの数を計数する計数処理を行う。
図12〜図14及び図16(a)〜(c)は、無彩色混入物ANを含む培地を撮像したカラー画像に基づく元画像CI、彩度画像SI及び色相画像HIを示す。また、図15(a)〜(d)及び図17(a)〜(d)は、無彩色混入物ANを培地12に含む元画像CIを色反転させた反転元画像(図示省略)から生成されたR画像RI、G画像GI、B画像BI及びグレー画像GrIを示す。検出処理部73が、彩度画像SI及び色相画像HIを用いて、有彩色混入物CNを検出できなかった場合、無彩色混入物ANの検出を行う。図12の例では、無彩色混入物ANは黒色であり、図13に示す彩度画像SIでは、無彩色(例えば黒)の混入物ANは、灰色の培地12の中にほぼ消失している。また、図14に示す色相画像HIでは、培地12、コロニーCL及び無彩色混入物ANの全体が白っぽくなっている。
このように彩度画像SIと色相画像HIで有彩色混入物CNを検出できなかった場合、第2選択部82は、コロニー検出処理に用いる色チャンネル画像を選択する第2選択処理を行う。第2選択部82は、例えば複数種の色チャンネル画像を用いて、色チャンネル画像ごとに、無彩色混入物ANを検出する混入物検出処理と、その検出された無彩色混入物ANを計数する計数処理とを行い、無彩色混入物ANが一番多く検出された色チャンネル画像を選択する。この第2類型の色チャンネル画像選択処理は、例えば次のように行われる。第2選択部82は、例えばグレー画像GrIを用いて、濃淡値からコロニーCLを検出し、検出したコロニーCLが存在する領域又はこの領域よりも所定のマージン分だけひと回り大きな領域をコロニー対象領域CA(図22参照)とし、コロニー対象領域CAとそれ以外の培地領域MA(図22参照)とに分離する。次に各色チャンネル画像を用いて、培地領域MA内で濃淡値に基づき無彩色混入物ANを検出する。この場合、培地12の濃淡値が灰色の値なので、灰色以外の例えば黒色又は白色の濃淡値をもつ無彩色混入物が検出対象とされる。そして、第2選択部82は、検出された無彩色混入物ANを色チャンネル画像ごとに計数し、無彩色混入物ANが一番多く検出された色チャンネル画像を、コロニー検出処理に用いる1種の色チャンネル画像として選択する。図15(a)〜(d)の例では、無彩色混入物ANが一番多く検出される赤画像RIが選択される。
さらに図18〜図20は、可溶性の混入物SNが培地12に溶解して培地12及びコロニーCLが染色されているカラー画像に基づく元画像CI、彩度画像SI及び色相画像HIを示す。図18に示す元画像CIでは、培地12とコロニーCLが、一例として黄緑色に染色されている。詳しくは、培地12が少し灰色を帯びた黄緑で、コロニーCLが比較的鮮やかな黄緑を呈している。そのため、彩度画像SIでは、培地12が濃灰色、コロニーCLが薄灰色を呈している。また、色相画像HIでは、培地12及びコロニーCLが共に黄緑色を呈しているので、全体が灰色になっている。
また、図21(a)〜(d)は、同じく培地12及びコロニーCLが染色されている元画像CIを色反転させた反転元画像(図示省略)を基に色チャンネルごとに生成したR画像RI、G画像GI、B画像BI及びグレー画像GrIを示す。検出処理部73が、彩度画像SI及び色相画像HIを用いて、混入物CN,ANを検出できなかった場合、第3類型に対応する色チャンネル選択処理を行う。
次に図22を参照して、第3類型に対応する色チャンネル選択処理について説明する。図22に示すように、まず図22(a)に示すグレー画像GrIを用いて、濃淡値からコロニーCLを検出し、検出したコロニーCLが存在する領域又はこの領域よりも所定のマージン分だけひと回り大きな領域をコロニー対象領域CAとして設定する。図22の例では、コロニー対象領域CAは、検出されたコロニーCLの領域よりも所定のマージン分だけ外側へ少し広い領域として設定している。但し、検出したコロニーCLの領域と同一の領域をコロニー対象領域CAとして設定してもよい。こうしてコロニーCLが確実に存在している領域を含むコロニー対象領域CAが設定される。
次に図22(b)〜(d)に示すように、R画像RI、G画像GI、B画像BIについて、コロニー対象領域CA内でコロニーCLを検出する。コロニーが検出されれば、コロニーCLの平均濃淡値と培地12の平均濃淡値との差(濃淡差)を求める。そして、濃淡差の一番大きな1種の色チャンネル画像を、コロニー検出処理に用いる色チャンネル画像として選択する。図22の例では、図22(d)に示すB画像BIが選択される。例えば図22(c)に示すG画像GIでは、コロニー対象領域CA内にコロニーCLを検出できないが、図22(d)に示すB画像BIでは、コロニー対象領域CA以外の位置でもコロニーCLが検出され、しかも図22(a)に示すグレー画像GrIで検出できたコロニー数よりも、より多くのコロニーCLを検出することができる。
次に、検査システム11の作用を説明する。コンピュータ63が実行する微生物検出処理について、図23〜図26に示すフローチャートを参照して説明する。微生物検出処理は、ソフトウェアにより、図2に示す検出処理装置55によって行われる。
検査員は、検査開始前に入力装置52を操作して、検査対象とする微生物種などを含む検査対象情報を含む設定情報を、パーソナルコンピュータ17に入力する。入力された各種の設定情報は、メモリ62に記憶される。そして、検査員が入力装置52を用いて検査開始操作を行うと、コンピュータ63(検出処理装置55)により微生物検出処理が開始される。
本実施形態の検査装置16は、コンピュータ63からの検査開始信号を受信したコントローラ30によって駆動制御される。搬送装置21の駆動によって搬送ベルト21B上に天地逆向きに載置されたシャーレ13は、検査装置16内に1つずつ順次搬入される。シャーレ13が分離位置に到達すると、吸着部14が下降して皿18の底面を吸着した後、所定高さまで持ち上げ、その後、ロータリ式の移送装置22が駆動されて回転軸33が所定角度(例えば60〜120度の範囲内の所定値)回転することで、吸着部14が検査位置に配置される。そして、検査位置の吸着部14の下方に配置されたカメラ15により、検査位置に保持された皿18内の培地12を含む検査対象領域KAが撮像される。撮像時には、光源24が発光し、カメラ15は光源24からの光が培地12で反射した反射光の像を撮像する。例えば皿に対してカメラと反対側に光源を配置し、培地を透過した透過光の像を撮像する光透過式の撮像方式の場合、コロニー及び混入物が影となって黒く写るため、コロニーと混入物との識別が難しい。これに対して、本実施形態の光反射式の撮像方式の場合、培地12は吸着部14の黒色が透過した濃灰色、コロニーは光源24の光が反射して白色又は薄灰色、混入物Nはそのものがもつ色(例えば黄色又は黒色)で写る。なお、本実施形態では、カメラ15を軸回転させて同じシャーレ13を少なくとも2回撮像し、1つのシャーレ13に対して光軸回りに異なる角度で撮像された少なくとも2枚のカラー画像を取得する。カメラ15によって撮像されたカラー画像データは、通信ケーブル54を通じてパーソナルコンピュータ17の本体51に送信され、メモリ62に一時格納される。そして、本体51内のコンピュータ63は、プログラムPRを実行することで検査処理を実行する。
ステップS11では、カラー画像データを取得する。コンピュータ63は、カメラ15が培地12を含む検査対象領域を撮像したカラー画像データを逐次受信してメモリ62に格納しており、メモリ62から検査対象の培地12に対応するカラー画像データを読み出して取得する。このとき、カラー画像データから検査対象領域KAを切り取る。例えば有彩色混入物CNを培地12に含む元画像CI(図3、図6)、無彩色混入物ANを培地12に含む元画像CI(図4、図12)、溶解した混入物によって培地12及びコロニーCLが染色された元画像CI(図5、図18)のうちいずれか1つが得られる。
ステップS12では、カラー画像データを基に彩度画像及び色相画像を取得する。画像生成部72は、元画像CIから、画素の彩度を濃淡で表わした彩度画像SIと、画素の色相を濃淡で表わした色相画像HIとを生成する。なお、彩度画像SIと色相画像HIは、反転元画像から取得することもできる。
ステップS13では、カラー画像データから赤・緑・青・グレーの色チャンネルの画像を取得する。つまり、画像生成部72は、カラーの元画像CIを色反転させた反転元画像から赤・緑・青の各色チャンネルに応じた色チャンネル画像、つまりR画像RI、G画像GI、B画像BIを取得すると共に、反転元画像から各画素のRGB値を明度の画素値に変換する演算処理を全画素について行うことで、グレー画像GrIを取得する。本実施形態では、ステップS13において複数種の色チャンネル画像を取得する処理が、色チャンネル画像取得ステップの一例に相当する。なお、色チャンネル画像は、反転元画像に替えて、元画像CIから取得することもできる。つまり、選択対象とされる色チャンネル画像を取得する際の元の画像が色チャンネル間で同じであれば、その元の画像は、元画像CIでも反転元画像でもよい。
ステップS14では、有彩色混入物検出処理を行う。検出処理部73は、彩度画像SI及び色相画像HIを用いて、有彩色の混入物を検出する。詳しくは、検出処理部73は、図24に示す有彩色混入物検出処理ルーチンを実行し、彩度画像SIにおいて階調値が設定値以上になる画素からなる1つ以上の画素領域でかつ画素領域の総面積が下限閾値以上であるという面積条件を満たすものを、有彩色混入物CNとして検出する。設定値は、例えば最大階調値の2/3〜4/5倍の範囲内の所定値で、255階調の例では、170〜200の範囲内の値(一例として「190」)が設定される。また、面積条件における下限閾値は、例えば50〜300の範囲内の所定の画素数(一例として「100」)に設定される。本実施形態では、ステップS14の処理が、混入物検出ステップの一例に相当する。なお、有彩色混入物検出処理ルーチンの詳細は、後述する。
ステップS15では、有彩色混入物があるか否かを判断する。有彩色混入物があればステップS16に進み、有彩色混入物がなければステップS18に進む。
ステップS16では、有彩色混入物があるときの第1の色チャンネル選択処理を行う。詳しくは、コンピュータ63の第1選択部81は、図25に示す第1の色選択処理ルーチンを実行し、4種の色チャンネルのうちから1つの色チャンネルを選択する。この第1の色チャンネル選択処理ルーチンの詳細は、後述する。なお、本実施形態では、ステップS16の処理が、選択ステップの一例に相当する。
ステップS17では、色チャンネルを選択できたか否かを判断する。色チャンネルを選択できた場合はステップS20に進み、色チャンネルを選択できなかった場合はステップS18に進む。
ステップS18では、無彩色の混入物又は可溶性の混入物であるときの第2の色チャンネル選択処理を行う。詳しくは、コンピュータ63が、図26に示す第2の色チャンネル選択処理ルーチンを実行する。第2選択部82は、無彩色混入物ANを培地12に含む場合における検査に適した色チャンネル画像を選択する。また、第3選択部83は、可溶性の混入物によって培地12及びコロニーCLが染色されている場合における検査に適した色チャンネル画像を選択する。この第2の色チャンネル選択処理ルーチンの詳細は、後述する。なお、本実施形態では、ステップS18の処理が、選択ステップの一例に相当する。
ステップS19では、色チャンネルを選択できたか否かを判断する。色チャンネルを選択できた場合はステップS20に進み、色チャンネルを選択できなかった場合はステップS22に進む。
ステップS20では、選択した色チャンネルの画像に基づくコロニー検出処理を行う。コロニー検出部85は、選択された色チャンネルに対応する色チャンネル画像を用いて、この色チャンネル画像の中からコロニーCLを検出する。例えば不溶性の混入物を含む培地12では、選択された色チャンネル画像において、コロニーCLと混入物CNとの濃淡差が大きいので、コロニーCLを比較的高い精度で検出できる。また、例えば可溶性の混入物SNを含む培地12では、溶解した混入物SNによって培地12及びコロニーCLが染色されていても、選択された色チャンネル画像において、コロニーCLと培地12との濃淡差が大きいので、コロニーCLを比較的高い精度で検出できる。なお、本実施形態では、ステップS20の処理が、検出ステップの一例に相当する。
ステップS21では、コロニー計数処理を行う。計数部86は、検出されたコロニーCLの数を計数する。この結果、コロニーの数を比較的正確に計数できる。
ステップS22では、エラー処理を行う。制御部71は、表示駆動回路64を介して表示部53にエラーメッセージを表示させる。例えばコロニーCLと同系色の混入物Nが存在し、コロニーCLと混入物Nとの区別が困難な場合は、検出エラーの旨のエラーメッセージを表示する。
次に図24を参照して、有彩色混入物検出処理(S14)の詳細を説明する。
ステップS31では、平均彩度Save<Soかつ平均色相値Have<Hoの条件を満たすか否かを判断する。ここで、彩度閾値Soは、最大彩度Smaxの1/5〜1/3の範囲内の所定値(例えばSmax/4)に設定されている。また、色相閾値Hoは、最大色相値Hmaxの1/3〜2/3の範囲内の所定値(例えばHmax/2)に設定されている。検出処理部73は、まず彩度画像SIを基に検査対象領域KAの平均彩度Saveを計算し、また色相画像HIを基に検査対象領域KAの平均色相値Haveを計算する。平均彩度Save<Soかつ平均色相値Have<Hoの条件を満たせばステップS32に進み、同条件を満たさなければステップS35に進む。
例えば有彩色混入物CNを含有する培地12を含む検査対象領域を撮像して得た図6に示す元画像CIから生成した図7及び図10(b)に示す彩度画像SIと、図8及び図10(c)に示す色相画像HIである場合、ステップS31の条件を満たし、ステップS32に進む。
また、例えば無彩色混入物ANを含有する培地12を含む検査対象領域を撮像して得た図12に示す元画像CIから生成した図13及び図16(b)に示す彩度画像SIと、図14及び図16(c)に示す色相画像HIである場合、ステップS31の条件を満たし、ステップS32に進む。
さらに例えば可溶性の混入物SNの溶解によって培地12及びコロニーCLが染色されている図18に示す元画像CIから生成した図19に示す彩度画像SIと、図20に示す色相画像HIである場合、ステップS31の条件を満たさず、ステップS35に進む。
ここで、ステップS31の判定は、有彩色混入物CNを正確に検出できないか、仮に検出できても、その後の処理でコロニーを正確に検出できない虞があり、そのような虞を事前に排除するために行う。例えば培地12やコロニーCLが染色されている場合は、ステップS31の条件が成立しない場合がある。図5に示す第3類型の例では、培地とコロニーCLが染色されているため、培地とコロニーCLとを区別する他の処理が必要なため、ステップS31が不成立となる。また、混入物とコロニーとが同じ色(有彩色)で一定以上の個数及び面積を有する場合もステップS31の条件が成立しない場合がある。例えば培地12が無彩色(黒色又は濃灰色)で混入物Nが有彩色である場合、平均彩度Save<Soが成立するが、例えば培地12が鮮やかな有彩色に染色されていると、平均彩度Save<Soが成立しない。また、培地12が赤紫色、紫色・青色等の色相値が相対的に高い色を呈する場合は、有彩色混入物とコロニーとを正確に識別できない虞があるので、Have<Hoの条件が成立しない。
なお、元画像CIを色反転させた反転元画像から彩度画像SIと色相画像HIとを取得してもよく、この場合は、ステップS31における条件の閾値を変更し、平均彩度Save<Soかつ平均色相値Have>Hmax−Hoとすればよい。また、平均彩度Saveと閾値との大小関係で示される条件と、平均色相値Haveと閾値との大小関係で示される条件とのうち一方の条件のみを採用し、その採用した条件を満たせばステップS32に進む構成とすることもできる。また、平均明度Vave(平均輝度値)と明度閾値Voとの大小関係で示される条件、色相の偏差とその閾値との大小関係で示される条件、及び彩度の偏差と閾値との大小関係で示される条件のうち1つ又は複数を採用したり、上記の条件に追加したりしてもよい。例えば色相の偏差が閾値未満である条件と、彩度の偏差が閾値未満である条件とのうち、一方又は両方が成立する場合にステップS32に進む構成とすることもできる。
ステップS32では、彩度画像において有彩色混入物を検出する。図7に示すように、彩度画像SIでは、彩度の値が大きい有彩色混入物CNは、白色又は薄灰色になり、培地12は灰色、コロニーCLは濃灰色になる。彩度画像SIにおいて画素の濃淡値が所定の閾値S1(例えば「190」)を超える白色又は薄灰色の画素が1個以上集まった領域を有彩色混入物CNの候補として検出する。本例では、更に、検出した有彩色混入物CNの候補の総数Ntと総面積Atとを計算する。
さらに、有彩色混入物CNの候補の総数Ntが個数閾値Noを超え、かつ総面積Atが面積閾値Aoを超えていると、有彩色混入物CNの候補を有彩色混入物CNとして確定する。そして、検出処理部73は、有彩色混入物CNの領域を特定する位置座標データをメモリ62の所定記憶領域に書き込む。一方、総数Ntと総面積Atとのうち一方でもそれぞれの閾値No,Aoを超えていないと、有彩色混入物CNは非検出とされる。ここで、例えばカメラの撮像素子にドット抜けがあると、そのドット抜けをコロニーと誤検出する虞があるので、個数閾値Noを例えば1〜5個の範囲内の値にしている。なお、有彩色混入物CNの候補の1個ずつの画素領域の面積が下限閾値〜上限閾値の範囲内にあるという条件を満たしたことをもって、有彩色混入物CNとして検出してもよい。
ステップS33では、有彩色混入物があるか否かを判断する。有彩色混入物CNが検出された場合はステップS34に進み、有彩色混入物CNが検出されなかった場合はステップS35に進む。
例えば図7、図10(b)に示す彩度画像SIの例では、彩度条件Save<Soかつ色相条件Have<Ho(S31)を満たし、かつ総数条件Nt>Noかつ総面積条件At>Ao(S33)を満たすので、有彩色混入物CNが検出され、ステップS34に進む。また、図13、図16(b)に示す彩度画像SIの例では、Save<SoかつHave<Ho(S31)を満たすが、総数Ntが「0」かつ総面積Atが「0」で、Nt>NoかつAt>Ao(S33)を満たさないので、有彩色混入物CNは検出されず、ステップS35に進むことになる。さらに図19に示す彩度画像SIの例では、Save<SoかつHave<Ho(S31)を満たさないので、有彩色混入物CNは検出されず、ステップS35に進むことになる。
ステップS34では、制御部71は、有彩色混入物ありの旨のパラメータをメモリ62に記憶することにより設定する。
ステップS35では、制御部71は、有彩色混入物なしの旨のパラメータをメモリ62に記憶することにより設定する。
次に図25を参照して、第1の色チャンネル選択処理(S16)の詳細を説明する。第1選択部81は、反転元画像から取得した複数種の色チャンネル画像であるR画像RI、G画像GI、B画像BI及びグレー画像GrIに対して第1の色チャンネル選択処理を行うことにより、複数種の色チャンネルR,G,B,Grのうちから、コロニー検出処理に用いる画像の色チャンネルを選択する。
まずステップS41では、反転元画像から取得した複数種の色チャンネル画像を用いて、有彩色混入物の平均濃淡値FVaveが一番大きく、かつその平均濃淡値FVaveが「培地の平均濃淡値MVave+α」の値よりも大きいという第1条件を満たす色チャンネルがあるか否かを判断する。第1選択部81は、R画像RI、G画像GI、B画像BI及びグレー画像GrIについて、メモリ62から読み出した位置座標データから有彩色混入物CNの領域を特定し、その特定した領域の平均濃淡値FVaveを計算することにより、有彩色混入物CNの平均濃淡値FVaveを取得する。さらに第1選択部81は、各R,G,B,グレー画像RI,GI,BI,GrIについて、培地12が占める領域である培地領域MAの平均濃淡値MVaveを計算する。ここで、培地領域MAは、例えばグレー画像GrIを用いて培地12とコロニーCLとの各領域を濃淡差で分け、グレー画像GrIの全体(検査対象領域KA)からコロニーCLと有彩色混入物CNとの両領域を差し引くことで取得される。
ここで、第1条件は、有彩色混入物CNの平均濃淡値FVaveが、培地12に対する濃淡がコロニーCLと反対側でかつ培地12の平均濃淡値と一番大きな濃淡差をもち、かつその一番大きな濃淡差が所定値α以上であることを条件とする。例えば図9(a)〜(d)に示す色チャンネル画像RI,GI,BI,GrIの例では、元画像CIを色反転させた反転元画像から生成されているため、コロニーCLが培地12よりも濃く(暗く)なっている。そのため、培地12よりも濃いコロニーCLと培地12に対する濃淡が反対側、つまり培地12よりも薄い(明るい)側で一番薄い(明るい)有彩色混入物CNを含む色チャンネル画像であって、かつその一番明るい有彩色混入物CNの培地12に対する濃淡差が所定値α以上ある色チャンネル画像が、第1条件を満たす。ここで所定値αは、混入物CNが培地12に対してコロニーCLと反対側の濃淡であることを保証するための値であって、例えば階調値(例えば256)の1/25〜1/5程度(例えば10〜50)の範囲内の値に設定されている。なお、色反転なしの元画像CIから生成された色チャンネル画像を用いる場合、第1条件は、有彩色混入物CNの平均濃淡値FVaveが培地12の平均濃淡値MVaveよりも小さい側(濃い側)で一番小さく、かつその平均濃淡値FVaveが「培地の平均濃淡値MVave−α」の値よりも小さいという条件となる。
例えば図11(a)〜(d)に示す色チャンネル画像の例では、R画像RI、G画像GI及びグレー画像GrIにおいて、有彩色混入物CNが、コロニーCLと同様に培地12よりも濃く(暗く)、培地12に対する濃淡がコロニーCLと同じ側なので、第1条件を満たさない。これに対して、B画像BIは、有彩色混入物CNが、培地12よりも濃い(暗い)コロニーCLと培地12に対する濃淡が反対側、つまり薄い(明るい)側で一番薄くなっており、かつその一番薄い(明るい)有彩色混入物CNの平均濃淡値FVaveが培地12の平均濃淡値MVaveに対して所定値α以上の濃淡差を有するので、第1条件を満たす。この場合、ステップS44に進んで、その第1条件を満たす青チャンネル(つまりB画像BI)が選択される。一方、第1条件を満たす色チャンネルがない場合は、ステップS42に進む。
また、有彩色混入物CNと培地12との平均濃淡値の差が大きい場合を例に説明する。例えば、黒色培地とピンク色の混入物との組合せとする。RGB各チャンネルの平均濃淡値FVaveについて、黒色培地が、(R,G,B)=(0,0,0)、ピンク色の混入物が、(R,G,B)=(255,190,200)であるとすると、両者の差は(ΔR,ΔG,ΔB)=(255,190,200)となる。混入物の各チャンネルの濃淡値が一番大きいもので、培地との濃淡差が一定のα以上あるチャンネルを選択する。この場合、Rチャネルを選択する。
ステップS42では、有彩色混入物CNの平均濃淡値FVaveが一番大きく、かつその平均濃淡値FVaveが他の色チャンネルにおける「有彩色混入物CNの平均濃淡値FVave+β」の値よりも大きいという第2条件を満たす色チャンネルがあるか否かを判断する。つまり、有彩色混入物CNの平均濃淡値FVaveが、培地12に対する濃淡がコロニーCLと反対側(本例ではMVaveよりも値の大きい側)で一番大きく、かつ他の色チャンネルの混入物CNの平均濃淡値FVaveのどれよりも所定値β以上の濃淡差があるという第2条件を満たす色チャンネルの有無を判断する。但し、有彩色混入物CNの培地12に対する濃淡がコロニーCLと反対側という条件は、ステップS42に加えなくてもよい。
例えば図9(a)〜(d)に示す例では、有彩色混入物CNの平均濃淡値FVaveが一番大きく(一番明るく)、かつ他の色チャンネル画像における有彩色混入物CNの平均濃淡値FVaveのどれよりも所定値β以上の濃淡差を有する色チャンネルがあれば、その色チャンネルが第2条件を満たす。第2条件を満たす色チャンネルがあれば(S42で肯定判定)、ステップS44に進んで、その色チャンネルを選択する。一方、第2条件を満たす色チャンネルがなければ(S42で否定判定)、ステップS43に進む。なお、元画像CIから色チャンネル画像を生成する場合、第2条件は、有彩色混入物CNの平均濃淡値FVaveが一番小さく(一番濃く)、かつその平均濃淡値FVaveが他の色チャンネル画像における有彩色混入物CNの平均濃淡値FVaveのどれよりも所定値β以上の濃淡差があることが条件となる。
また、有彩色混入物CNと培地12との平均濃淡値の差が大きくない場合(S41で否定判定)を例に説明する。例えば、白色培地とピンク色の混入物との組合せとする。RGB各チャンネルの平均濃淡値FVaveについて、白色培地が、(R,G,B)=(255,255,255)、ピンク色の混入物が、(R,G,B)=(255,190,200)であるとすると、両者の差は(ΔR,ΔG,ΔB)=(0,65,55)となる。Rは、混入物の各チャンネルの濃淡値が一番大きいが、培地との濃淡差がない。しかし、他のチャンネルとの差が一定のβ以上あるチャンネルを選択する。この場合、Rチャネルを選択する。なお、他のチャンネルとの差が一定のβ以上という条件に替え、他の2つのチャンネルの平均との差が一定のβ以上という条件としてもよい。
ステップS43では、有彩色混入物の濃淡値の最大と最小の差が一定以上という第3条件を満たす色チャンネルがあるか否かを判断する。つまり、この処理は、検出した有彩色混入物CNの中の一部に有彩色のコロニーCLが含まれている場合を考慮したものである。有彩色混入物CNの色とコロニーCLの色とは通常異なるので、有彩色混入物CNの中に異なる色の有彩色のコロニーCLが含まれていると、有彩色混入物CNの濃淡値の最大と最小の差が大きくなる。そこで、その差が一定以上であれば、有彩色混入物CNの中にコロニーCLが含まれていると判断する。そして、濃淡値の最大と最小の差が一定以上あれば、濃淡値の違いによりコロニーと有彩色混入物とを区別することができる。例えば有彩色混入物CNとコロニーCLとが重なっている場合、有彩色混入物CNの各チャンネルでの各画像の濃淡値から最大値と最小値を求め、その差が一定以上あるチャンネルを選択する。この第3条件が成立した場合は、ステップS44に進んで、その色チャンネルを選択した後、当該サブルーチンを終了する。一方、第3条件を満たさなければ(S43で否定判定)、当該サブルーチンを終了する。なお、当該サブルーチンを終了した後は、メインルーチン(図23)のステップS17に進む。そして、ステップS17で色チャンネルを選択できたと判断した場合はステップS20に進むが、色チャンネルを選択できなかったと判断した場合はステップS18に進むことになる。
次に図22及び図26を参照して、第2の色チャンネル選択処理(S18)について詳細に説明する。第2の色チャンネル選択処理(S18)は、コンピュータ63が図26に示す第2の色チャンネル選択処理ルーチンを実行することで行われる。
まず図26におけるステップS51では、グレー画像においてコロニー対象領域と培地領域とを分離する。つまり、グレー画像GrIにおいて濃淡値の違いによってコロニーCLが存在する領域であるコロニー対象領域CAと、培地領域MAとを分離する。図22(a)に示すように、元画像CIを色反転させた反転元画像のグレー画像GrIでは、コロニーCLが濃灰色で、培地領域MAが灰色になっている。このようにコロニーCLと培地領域MAとは濃淡値が違うため、グレー画像GrIにおける各画素の濃淡値によって濃灰色のコロニー対象領域CAと灰色の培地領域MAとを分離する。そして、分離したコロニー対象領域CAの位置座標データをメモリ62に記憶する。なお、図22(a)は、各画素の濃淡値の違いから培地12と分離したコロニーCLの領域よりも外側へ所定距離(マージン距離)だけひと回り大きな領域をコロニー対象領域CAとして設定した例を示している。これは、グレー画像GrIにおいてコロニーCLの周縁部がその内側部分に比べ濃淡値が高く(薄く)、培地12に近い薄さになって周縁部が消えてしまっている場合があるため、消えた周縁部もなるべくコロニー対象領域CAに入れるためである。なお、ステップS51の処理が、領域分けステップの一例に相当する。
ステップS52では、各色チャンネルにおいて無彩色混入物を検出する。詳しくは、各色チャンネル画像において培地領域MA中の無彩色混入物ANを切り出し、その切出領域の面積が面積条件(下限閾値〜上限閾値の範囲内)を満たすものを無彩色混入物ANとして検出する。例えば元画像CIを色反転させた反転元画像では、灰白色のコロニーCLは灰黒色に映り、黒色の無彩色混入物ANは白色に映る。このため、反転元画像から生成された色チャンネル画像において階調値が所定値(例えば200)以上となる灰白色領域を切り出し、その切出領域の面積が面積条件を満たせば、その領域を黒色の無彩色混入物ANとして検出する。なお、元画像CIから色チャンネル画像を生成した場合、各色チャンネル画像において、コロニーは灰白色、培地12は灰色、黒色の無彩色混入物ANは黒色に映るので、階調値が所定値(例えば50)以下の灰黒色の領域を黒色の無彩色混入物ANとして切り出し、面積条件を満たす切出領域を黒色の無彩色混入物ANとして検出する。
ステップS53では、無彩色混入物があるか否かを判断する。すなわち、ステップS52の処理で無彩色混入物ANを検出できた場合はステップS54に進み、無彩色混入物ANを検出できなかった場合はステップS55に進む。
ステップS54では、無彩色混入物の数が一番多い色チャンネルを選択する。各色チャンネル画像で検出された無彩色混入物ANの数(検出数)を計数し、無彩色混入物ANの検出数が一番多い色チャンネルを選択する。なお、無彩色混入物ANの一番多い色チャンネルが複数存在する場合は、予め決めた優先順位の高いものを選択したり、コロニー対象領域CAと培地領域MAとの濃淡差が一番大きい色チャンネルを選択したりすればよい。
ステップS55では、コロニーの平均濃淡値CVaveが最小(最も濃く)かつコロニーと培地の濃淡差ΔVcmが最大の色チャンネルを選択する。一方、元画像CIを色反転させた反転元画像から生成した色チャンネル画像の場合、培地12よりも薄い灰白色のコロニーCLの平均濃淡値CVaveが最大(最も薄く)で、かつコロニーCLと培地12の濃淡差ΔVcmが最大の色チャンネルを選択する。なお、コロニーCLと培地12の濃淡差ΔVcmが最大であることのみを条件として色チャンネルを選択してもよい。
図22(b)〜(d)に示すように、R画像RI、G画像GI、B画像BIについて、コロニー対象領域CAでコロニーCLが検出されれば、コロニーCLの平均濃淡値CVaveと培地12の平均濃淡値MVaveとの差(濃淡差)を求める。そして、濃淡差の一番大きな1つの色チャンネル画像を選択する。図22の例では、濃淡差の一番大きなB画像BI(図22(d))が選択される。例えば図22(c)に示すG画像GIでは、コロニー対象領域CA内にコロニーCLを検出できない。一方、図22(d)に示すB画像BIでは、コロニー対象領域CAでコロニーCLを検出できるだけでなく、コロニー対象領域CA以外の位置でもコロニーCLが検出される。よって、図22(d)に示すB画像BIでは、図22(a)に示すグレー画像GrIで検出できるコロニー数よりも、より多くのコロニーCLを検出することができる。
例えば図15及び図17に示す黒色の無彩色混入物ANを含む培地12の例では、図17(a)〜(d)から分かるように、同図(a)のR画像RIでは黒色の無彩色混入物ANが灰白色に映り、赤・緑・グレーの他の色チャンネル画像では薄灰色に映る。また、R画像RIでは灰白色の無彩色混入物ANの平均濃淡値が一番高く、かつ無彩色混入物ANと培地12との濃淡差が比較的大きいので、無彩色混入物ANが一番多く検出される。そのため、ステップS54で、無彩色混入物の数が一番多い色チャンネル画像として、図17(a)に示すR画像RIが選択される。
コロニー検出処理では、選択した色チャンネル画像(図22の例ではB画像BI)において濃淡値の違いからコロニー候補の領域を分離し、分離したコロニー候補領域のうち面積が面積条件を満たすものをコロニーCLとして検出する。そして、コロニーCLが検出された場合、その検出されたコロニーCLの数を計数部86が計数する。制御部71は、コロニー個数を表示部53に表示すると共に、表示部53に表示された培地12の画像中に、検出されたコロニーCLを囲むように不図示のマークを重畳表示させる。このようなマークの表示によって、検査員は、検査中の培地12におけるコロニーの発生状況を容易に把握することができる。
以上詳述したように、この実施形態によれば、以下の効果が得られる。
(1)培地12を含む検査対象領域KAのカラー画像を基に複数種の色チャンネル画像のうち培地領域MA(第1領域の一例)とコロニー対象領域CA(第2領域の一例)との濃淡差が規定値以上である1種の色チャンネル画像を選択し、その選択した色チャンネル画像に基づいてコロニーCLを検出する。よって、培地12中の混入物Nの色が不明でも、混入物Nの色がコロニーCLの色と異なれば、混入物Nと区別してコロニーCLを比較的高い精度で検出できる。例えば溶解した混入物Nによって培地12及びコロニーCLが染色されていても、コロニーCLを比較的高い精度で検出することができる。例えば混入物の色情報を検査員が検出処理装置に入力し、その色情報を利用して検査処理を行えば、混入物とコロニーとの区別、及び染色された培地とコロニーとの区別がし易くなる場合もあるが、検査対象のシャーレごとに混入物の色を管理したり色情報を入力したりする作業が面倒である。しかし、検出処理装置55によれば、この種の面倒な作業も不要である。
(2)カラー画像で有彩色混入物CNを検出した場合、複数種の色チャンネル画像ごとに取得した培地領域MAと有彩色混入物CNの領域との濃淡差に基づいて色チャンネル画像を選択し、選択した色チャンネル画像に基づいてコロニーCLを検出する。よって、培地12中の混入物Nの色が不明でも、コロニーCLを比較的高い精度で検出することができる。
(3)有彩色混入物CNが検出されなかった場合、グレー画像GrIにおける濃淡値から無彩色混入物ANを検出する処理を行う。無彩色混入物ANを検出した場合、複数種の色チャンネル画像のうち、培地領域MAと無彩色混入物ANの領域(第3領域の一例)との濃淡差に基づいて1つの色チャンネル画像を選択し、その選択した色チャンネル画像に基づいてコロニーCLを検出する。よって、混入物Nが有彩色混入物CNではなく無彩色混入物ANであっても、混入物Nと区別してコロニーCLを比較的高い検出精度で検出することができる。
(4)検出処理部73は、カラー画像から取得した彩度画像SIに基づき有彩色混入物CNを検出する。このように彩度画像SIを用いるため、有彩色混入物CNを、例えば無彩色混入物ANと区別して検出することができる。
(5)R画像RI、G画像GI、B画像BI及びグレー画像GrIの4種類の色チャンネル画像のうちからコロニーCLの検出処理に用いる1つの色チャンネル画像を選択する。よって、適切な色チャンネル画像を選択し易くなる。
(6)光反射方式で撮像したカラー画像なので、コロニーCLは薄灰色(無彩色)で、かつ有彩色混入物CNは有彩色を呈し、培地12に対してコロニーCLと反対側の明度をもつ色チャンネル画像を選択する。よって、有彩色混入物Nと間違えずにコロニーCLを比較的高い検出精度で検出することができる。
(7)検査システム11は、シャーレ13内の培地12をカラーで撮像するカメラ15と、カメラ15が撮像した培地12を含むカラー画像を基に色チャンネルの異なる複数種の色チャンネル画像を取得する画像生成部72とを備える。さらに検査システム11は、複数種の色チャンネル画像ごとに培地領域MA(第1領域の一例)と培地以外の領域の一例であるコロニー対象領域CA(第2領域の一例)との濃淡差を取得し、複数種の色チャンネル画像のうち濃淡差に基づいて1種の色チャンネル画像を選択する選択部74と、選択した色チャンネル画像に基づいてコロニーCLを検出する検出部75とを備える。よって、検査システム11によれば、培地12中の混入物Nの色が不明でも、培地12中のコロニーCLを比較的高い精度で検出できる。例えば溶解した混入物Nによって培地12及びコロニーCLが染色されていても、培地12中のコロニーCLを比較的高い精度で検出できる。
(8)シャーレ13内の培地12をカラーで撮像するカメラ15と、カメラ15が撮像した培地12を含むカラー画像を基に培地12中の有彩色混入物CNを検出する検出処理部73(混入物検出部の一例)と、カラー画像に基づく複数種の色チャンネル画像を取得する画像生成部72(画像取得部の一例)とを備える。さらに検査システム11は、複数種の色チャンネル画像における有彩色混入物CNの濃淡値に基づいて1種の色チャンネル画像を選択する選択部74と、選択した色チャンネル画像に基づいてコロニーCLを検出する検出部75とを備える。よって、検査システム11によれば、培地12に不明な色の混入物Nが含まれていても、コロニーCLを比較的高い精度で検出することができる。
(9)プログラムPRを実行するコンピュータ63によって、領域分けステップ(S51)と、選択ステップ(S54,S55)と、検出ステップ(S20)とを実行させる。よって、培地12中の混入物Nの色が不明でも、培地12中のコロニーCLを比較的高い精度で検出できる。例えば溶解した混入物Nによって培地12及びコロニーCLが染色されていても、培地12中のコロニーCLを比較的高い精度で検出できる。
(10)コンピュータにプログラムPRを実行させて、混入物検出ステップと、色チャンネル画像取得ステップと、選択ステップと、検出ステップとを実行させる。培地中の混入物の色が不明でも、コロニーCLを比較的高い精度で検出できる。
前記実施形態は、上記に限定されず、以下のように変更してもよい。
・培地12が混入物Nを含んでいない検査対象であってもよい。この場合、混入物検出部の一例としての検出処理部73及び混入物検出ステップ(S14)を無くしてもよい。この構成によっても、複数の色チャンネル画像ごとに取得した培地領域MA(第1領域の一例)と培地12以外の領域であるコロニー対象領域CA(第2領域の一例)との濃淡差に基づいて、複数の色チャンネルのうちコロニーCLの検出に用いる色チャンネルを選択できる。よって、選択した色チャンネル画像を用いることで、コロニーCLの検出精度を高めることができる。
・有彩色混入物CNありの場合、コロニーCLの検出処理に用いる色チャンネル画像は、培地領域MAとコロニー対象領域CAとの濃淡差が最も大きい色チャンネルに限定されない。例えば濃淡差の条件と他の条件との組合せ条件を最も満たす色チャンネル画像を選択する構成とした場合、その選択された色チャンネルは2番目に濃淡差が大きいものであってもよい。
・無彩色混入物ANありの場合、コロニーCLの検出処理に用いる色チャンネル画像は、培地領域MA(第1領域の一例)と無彩色混入物ANの領域(第3領域の一例)との濃淡差が最も小さい色チャンネルに限定されない。例えば濃淡差の条件と他の条件との組合せ条件を最も満たす色チャンネル画像を選択する構成とした場合、その選択された色チャンネルは2番目に濃淡差が小さいものであってもよい。
・前記実施形態では、選択部74及び選択ステップは、培地と有彩色混入物との濃淡差が規定以上であるか否かを判断することにより、有彩色混入物とコロニー(微生物の一例)との濃淡差が、コロニーを有彩色混入物と区別して検出可能であるか否かを間接的に判断した。このような構成限定されず、選択部及び選択ステップは、複数種の色チャンネル画像のうち色チャンネル画像ごとの有彩色混入物とコロニーとの濃淡差がコロニーを有彩色の混入物と区別して検出可能な値をとる1種の色チャンネル画像を選択するものであればよい。この場合、有彩色混入物の濃淡値が培地に対する濃淡がコロニーと反対側であることに限定されない。例えば培地に対する濃淡がコロニーと同じ側であっても、色チャンネル画像ごとの有彩色混入物とコロニーとの濃淡差がコロニーを有彩色混入物と区別して検出可能な値をとるものであれば、その色チャンネル画像を選択することができる。
・可溶性の混入物の溶解によって培地及びコロニーが染色されているシャーレを主な検査対象とする微生物の検査方法及び微生物の検出装置であってもよい。この構成によれば、培地12に不溶性の混入物を含んでいると、コロニーと混入物との識別能力が低ければ、コロニーの検出精度が低下するものの、溶解した混入物によって培地及びコロニーが染色されているシャーレを検査対象とする場合は、比較的高い検出精度を得ることができる。この場合、微生物の検出方法は、例えば図23のステップS11,S13,S18の一部(S51,S55)、S20を備えただけでもよい。この場合、例えば図22(a)〜(d)に示す処理を行うことが好ましい。
・カラーの色チャンネル画像であるR画像RI、G画像GI及びB画像BIと、モノクロの色チャンネル画像であるグレースケール画像GrI(グレー画像GrI)との合計4種の色チャンネル画像の中から1種の色チャンネル画像を選択したが、色チャンネル画像は、3種又は2種でもよい。例えばR画像RI、G画像GI及びB画像BIの3種、又はカラーの色チャンネル画像の1種とグレースケール画像との2種、あるいは、カラーの色チャンネル画像の中から選択した2種でもよい。要するに色の異なる複数種の色チャンネル画像であればよい。
・彩度画像SIと色相画像HIを取得する色空間は、HSV色空間に替え、HLS色空間でもよい。
・混入物の色情報又は染色された培地の色情報を検査員が入力し、その入力した色情報を利用して検出精度を高める検査モードを検出処理装置55に追加してもよい。
・シャーレ13又は皿18を黒色のテーブルの上に置いて上方からカメラでカラー撮像して、培地12を含む検査対象領域KAのカラー画像を取得してもよい。また、吸着部14の吸着面やテーブルの載置面は黒色に限らず、培地に対してコロニーと濃淡が反対側となる無彩色であればよい。例えば灰黒色でもよい。また、コロニーが灰黒色である場合は、吸着部14の吸着面やテーブルの載置面は白色でもよい。
・不溶性の混入物を培地が含む場合、コロニーは無彩色に限らず、混入物と異なる色であれば有彩色でもよい。
・混入物はどんな物でもよく、不溶性又は可溶性の混入物、故意に入れられた混入物、意図せず混入した混入物でもよい。また、検体液に元々混入されている混入物、検査のために検体液に混入させた混入物でもよい。また、混入物は、粒状、紛状、繊維状、液状、ゲル状など、どんな形態でもよい。例えば各種の粉末(顔料、染料、穀物粉、樹脂粉、金属粉、セラミック粉等)、種子、果皮、食物繊維などでもよい。また、固形物に限らず、培地が固化する前の培地溶液に溶解する水溶性粉末でもよい。
・微生物は、真正細菌、古細菌のみならず、真核生物(藻類、原生生物、菌類、粘菌)なども含み、コロニーのサイズが肉眼で観察できるものや顕微鏡による観察が必要になる程度のサイズのものも含む。