JP6344098B2 - コロニー検出システム、コロニー検出方法、及び、プログラム - Google Patents

コロニー検出システム、コロニー検出方法、及び、プログラム Download PDF

Info

Publication number
JP6344098B2
JP6344098B2 JP2014142418A JP2014142418A JP6344098B2 JP 6344098 B2 JP6344098 B2 JP 6344098B2 JP 2014142418 A JP2014142418 A JP 2014142418A JP 2014142418 A JP2014142418 A JP 2014142418A JP 6344098 B2 JP6344098 B2 JP 6344098B2
Authority
JP
Japan
Prior art keywords
colony
pixel
medium
image
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014142418A
Other languages
English (en)
Other versions
JP2016015945A (ja
Inventor
勇司 都築
勇司 都築
竜馬 備瀬
竜馬 備瀬
将慶 籠田
将慶 籠田
累 齋藤
累 齋藤
京谷 均
京谷  均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2014142418A priority Critical patent/JP6344098B2/ja
Publication of JP2016015945A publication Critical patent/JP2016015945A/ja
Application granted granted Critical
Publication of JP6344098B2 publication Critical patent/JP6344098B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Description

本発明は、培地に培養されたコロニーを検出するコロニー検出システム等に関する。
近年、ファーストフードその他の外食産業の成長や手軽な加工食品の増加により、他人が調理した食品を食する機会が著しく増加している。その一方で、加工食材や加工食品等の食品に毒物又は微生物等の危険なものが混入すると、人体に直接影響を与えるため、加工食品を取り扱う場合には、原材料の安全性だけでなく、製造工程の衛生面を厳しく管理し、食品の生産加工の全般に渡る食品の安全性が求められている。
特に、各地で発生して問題となっている食中毒事件を発端に、食品の一層の安全性を図ることが命題となっており、食品衛生法を遵守するだけでなく、「HACCP(Hazard Analysis Critical Control Point) System」や「FSSC(Food Safety System Certification)22000」を導入する企業も増加している。
このような食品に混入する微生物を検出するシステムとしては、食品から採取した微生物をシャーレやフィルム上で培養し、コロニーをカウントする検出システムが知られており、これにより安全性を確認するようになっている。この種の検出システムでは、検査の効率化のため、画像処理によるコロニーカウントの方法が提案されており(例えば、特許文献1)、検査結果のグレースケール画像を閾値で2値化してコロニー領域を切り出し、カウントを行うようになっている。
特開2006−345750号公報
しかしながら、検査によっては培地にコロニーが高密度に形成され、複数のコロニーが近接している場合がある。この場合、上述のような特許文献1の検出システムにあっては、コロニーの周囲で同系色に薄く発色している領域(以下、「にじみ領域」ともいう。)が接触して、近接する複数のコロニーがにじみ領域で繋がり、1つのコロニーとして検出されてしまう場合があり、コロニーを正確に検出できないことがある。
本発明は、上述の課題を解決するためになされたものであって、その目的は、近接する複数のコロニーをにじみ領域により1つのコロニーとして誤検出してしまうことを防止することにより、コロニーを正確に検出することが可能なコロニー検出システム等を提供することにある。
上述した課題を解決するため、本発明に係るコロニー検出システム等は、検体を載置してコロニーを培養する培地が撮像されることによって画像化された培地画像のデータを培地画像データとして取得する取得手段と、前記取得された培地画像データの培地画像を構成するピクセルの色に関する色特徴量を抽出する抽出手段と、前記抽出された各ピクセルの色特徴量に基づいて、分割処理を行う領域を構成する分割処理候補ピクセルを特定して検出する分割処理候補検出手段と、検出された前記分割処理候補ピクセルの中から、各ピクセルの前記色特徴量に基づいて、コロニーの中心画素となるコロニー中心候補画素を特定して検出するコロニー中心候補画素検出手段と、検出された前記コロニー中心候補画素を含む所定の領域をコロニーとして特定するコロニー領域特定手段と、特定された前記コロニーを含め、前記培地に培養されたコロニーを検出し、かつ、当該検出したコロニーを計数する検出手段と、を備える構成を有している。
本発明に係るコロニー検出システム等は、分割処理候補ピクセル(にじみ領域)の中からコロニー中心候補画素を検出してコロニーを検出することにより、近接する複数のコロニーがにじみ領域で繋がっていても、にじみ領域を分割することで近接したコロニーを正確に検出することができる。
本発明に係る衛生管理システムの一実施形態の構成を示す構成図である。 一実施形態の衛生管理システムに用いるフィルム型培地の一例である。 一実施形態の衛生管理システムに用いる画像読み取り装置の構成を示すブロック図である。 一実施形態の衛生管理システムに用いるサーバ装置の構成を示すブロック図である。 一実施形態のサーバ装置において実行される分割処理候補検出処理を説明するための図(その1)である。 一実施形態のサーバ装置において実行される分割処理候補検出処理を説明するための図(その2)である。 一実施形態のサーバ装置において実行されるコロニー中心候補画素検出処理及びコロニー領域特定処理を説明するための図である。 一実施形態のサーバ装置において実行されるコロニー領域特定処理を説明するための図(その1)である。 一実施形態のサーバ装置において実行されるコロニー領域特定処理を説明するための図(その2)である。 一実施形態の画像読み取り装置における培地情報登録処理の動作を示すフローチャートである。 一実施形態のサーバ装置における培地情報登録処理の動作を示すフローチャートである。 一実施形態のサーバ装置において実行されるコロニーの検出及びその係数の動作を示すフローチャートである。
以下、本発明に係る実施形態について、図面を参照しながら説明する。なお、以下の実施形態は、食品の製造ライン又は検査ライン(以下、「作業ライン」という。)におけるフィルム型培地を用いた衛生管理システムに対して、本発明に係るコロニー検出システム、そのプログラム、及び、コロニー検出方法を適用した場合の実施形態である。ただし、本発明は、その技術的思想を含む範囲内で以下の実施形態に限定されない。
[1]衛生管理システム
まず、図1を用いて本実施形態の衛生管理システムSについて説明する。なお、図1は、本実施形態の衛生管理システムSの構成を示す構成図である。
本実施形態の衛生管理システムSは、フィルム型の培地(すなわち、フィルム型培地)60を用いるとともに、当該フィルム型培地60に関する情報(以下、「培地情報」という。)をデータ管理することによって、食品の製造上又は検査上の衛生状態を検査するためのシステムである。
特に、本実施形態の衛生管理システムSは、加工中又は加工後の食品を製造する製造工程又は当該食品を検査する検査工程を有する作業ライン80において、加工中又は加工後の食品を検体として抽出し、フィルム型培地60で検体に含まれる一般生菌又は大腸菌等の予め特定した細菌を培養させた際の培養状況をデータ管理するシステムである。
本実施形態の衛生管理システムSは、食品の衛生状態をデータ上で管理及び判定するために、食品の製造又は検査における作業に関する情報(以下、「作業情報」という。)と、当該抽出した検体に含まれる細菌を培養する(コロニーが形成される)前後において画像読み取り装置10によって取得されるフィルム型培地60の培地情報と、を対応付けてサーバ装置40(具体的には、データベース400)に登録することが可能な構成を有している。
具体的には、本実施形態の衛生管理システムSは、
(1)コロニーが形成されたフィルム型培地60を画像化した当該画像(以下、「培地画像」という。)のデータ(以下、「培地画像データ」という。)の培地画像を構成する各ピクセルの色の特徴量(以下、「色特徴量」という。)を抽出し、
(2)抽出された各ピクセルの色特徴量に基づいて、分割処理を行う領域(以下、「にじみ領域」という。)を構成する分割処理候補ピクセルを特定して検出し、
(3)にじみ領域の中から、コロニーの中心画素となるコロニー中心候補画素と、該コロニー中心候補画素を含むコロニーとを特定し、
(4)特定されたコロニーを含め、培地に培養されたコロニーの検出及びその計数を実行する、
構成を有している。
このような構成を実現するために、本実施形態の衛生管理システムSは、図1に示すように、各フィルム型培地60に関する培地情報を登録する際に用いる画像読み取り装置10と、当該衛生管理システムSを管理する管理者端末装置20と、ネットワーク30と、データベース400を有し、かつ、画像読み取り装置10又は管理者端末装置20と連動し、培地情報の登録管理を含む各種の処理を実行するサーバ装置40と、を有している。
画像読み取り装置10は、フィルム型培地60を取り込むためのADF(オートドキュメントフィーダ)機能を有し、所定の処理を組み合わせたアプリケーションに従って、フィルム型培地60をスキャニングして画像化し、画像データを生成するイメージスキャナなどの静止画像化装置である。
具体的には、画像読み取り装置10は、ADFによってフィルム型培地60を取り込む際に、又は、当該フィルム型培地60を取り込んで載置台に載置した際に、フィルム型培地60の全体を画像化して撮像画像データを生成し、生成した撮像画像データをサーバ装置40に提供する構成を有している。
また、画像読み取り装置10は、培地情報をサーバ装置40に送信する際には、ネットワーク30を介してサーバ装置40に送信する構成を有している。ただし、画像読み取り装置10は、BLUETOOTH(登録商標)、ワイヤレスLAN(WLAN:Wireless Local Area Network)又はワイヤレスPAN(WPAN:Wireless Personal Area Network)等の近距離無線用の通信規格を用いて直接若しくはアクセスポイントを介してサーバ装置40に送信し、又は、図示しない移動基地局を介して公衆電話回線網を用いてサーバ装置40に送信してもよい。
そして、画像読み取り装置10は、フィルム型培地60の読み取り操作の他に、作業者の入力操作に基づいて、生成した画像データに所定の情報を追記することもできるようになっている。
管理者端末装置20は、例えば、タブレット型情報端末装置、スマートフォン、パーソナルコンピュータ又はワークステーション等の情報通信端末装置である。そして、管理者端末装置20は、管理者の識別情報(以下、「管理者ID」という。)と管理者のパスワード及び作業者の識別情報(すなわち、「作業者ID」)を管理し、サーバ装置40へのアクセス権限の管理、画像読み取り装置10の端末IDの管理、及び、登録された培地情報の修正その他の管理を行うことができる制御装置として機能する。
また、管理者端末装置20は、XML(eXtensible Markup Language)等のマークアップ言語によって構築されたブラウザ機能を有し、当該ブラウザ機能を用いて作業者の操作入力指示及び操作確認を実行するとともに、当該ブラウザ機能を用いてサーバ装置40とのデータの授受、報告書の閲覧等を実行することができる構成を有している。
さらに、管理者端末装置20は、画像読み取り装置10の遠隔操作を行うことができるリモート機能を有している。
なお、管理者端末装置20は、同一ロット内において、工程を実行する機械の故障その他によって各作業が中断した場合に、又は、作業者における培地情報の登録ミス等が発生した場合に、培地情報その他の情報を修正することができる構成を有している。
ネットワーク30は、例えば、携帯電話網を含む公衆電話回線網(以下、「長距離通信ネットワーク」という。)、近距離無線ネットワーク等のIP(Internet Protocol)ネットワーク、又は、その双方が相互接続されて構成されている。ただし、当該ネットワーク30の構成は、これに限られない。
サーバ装置40は、画像読み取り装置10又は管理者端末装置20と連動し、ロット及び作業ライン80の衛生管理を行うための各データ処理を実行するために用いられるサーバ装置である。
そして、サーバ装置40は、画像読み取り装置10と連動し、画像読み取り装置10から送信された撮像画像データその他のデータを取得し、当該取得したデータからフィルム型培地60におけるコロニーを検出するとともに、当該コロニー関する情報を培地情報として登録する構成を有している。
具体的には、サーバ装置40は、
(1)撮像画像データから検体を載置してコロニーを培養する培地が撮像されることによって画像化された培地画像データを取得し、
(2)培地画像データの培地画像を構成するピクセルの色に関する色特徴量を抽出し、
(3)各ピクセルの色特徴量に基づいて、にじみ領域73を構成する分割処理候補ピクセルを特定して検出し、
(4)分割処理候補ピクセルの中から、各ピクセルの色特徴量に基づいて、コロニーの中心画素となるコロニー中心候補画素74を特定して検出し、
(5)コロニー中心候補画素74を含む所定の領域をコロニーとして特定し、
(6)特定されたコロニーを含め、培地に培養されたコロニーを検出し、かつ、当該検出したコロニーを計数し、
(7)検出したコロニーに関する情報及び計数したコロニー数を培地情報としてデータベース400に登録する、
構成を有している。
具体的には、本実施形態のサーバ装置40は、コロニー中心候補画素74に隣接する画素から順次隣接する画素を判定対象画素とし、判定対象画素が所定の条件を満たす場合は当該画素をコロニー中心候補画素74を含むコロニーに含めてコロニーの領域を拡大し、所定の条件を満たさない場合は当該画素をコロニーに含めずにコロニーの領域の拡大を停止する構成を有している。
そして、本実施形態のサーバ装置40は、上記所定の条件は、コロニー中心候補画素74の色特徴量以下の色特徴量であり、かつ、コロニーの領域78内にある隣接する元の画素との色特徴量の差が所定の閾値以下であるようにしている。
このような構成により、本実施形態の衛生管理システムSにおいては、にじみ領域73の中からコロニー中心候補画素74を検出してコロニーを検出することにより、近接する複数のコロニーがにじみ領域73で繋がっていても、にじみ領域73を分割することで近接したコロニーを正確に検出し計数することができるようになっている。
また、本実施形態の衛生管理システムSにおいては、紙媒体などの物理的な資源を利用して種々のデータ解析及びその提供を行う場合に比べて省資源化をも図ることができるとともに、培地に関する培地情報をデータベース400に登録させることによって登録ミスが著しく減少し、難しい培地の管理を容易にすることができるので、無駄に培地を消費すること無く省資源化を図ることができるようになっている。
[2]フィルム型培地
次に、図2を用いて本実施形態のフィルム型培地60について説明する。なお、図2は、本実施形態に用いるフィルム型培地60の一例である。
本実施形態に用いるフィルム型培地60は、フィルム又はシ−ト状の乾燥培地によって作業ライン80の各工程から検出した検体としての食品に含まれる細菌を培養するための培地である。フィルム型培地60は、例えば、一般生菌、大腸菌群及び黄色ブドウ球菌等を培養する培地などであり、その他、カビや酵母、リステリア菌、水中細菌、乳酸菌等の各種の微生物を培養する培地であってもよい。
また、フィルム型培地60は、例えば、図2に示すように、フィルムによって形成される基材シート61と、基材シート61の中心を基準に当該基材シート61上に形成される円形の枠(以下、「円形枠」という。)62と、該枠内に設けられる細菌を培養する培養層63と、当該培養層63を含む基材シート上を被覆するように形成されたカバーシート64と、基材シート61の右側に形成され、培地の種別を示す種別ID66と、を有している。
例えば、種別ID66は、2次元バーコード等のバーコード又は英数字で形成されており、フィルム型培地60の読み取り時に一緒に画像化され、バーコード認識機能又はOCR(Optical Character Recognition)機能などの画像解析機能を用いて、管理者端末装置20又はサーバ装置40において取得される。
基材シート61は、フィルム状又はシート状の基材であれば特に限定されず、例えば、プラスチックフィルムや紙等を用いることができる。プラスチックフィルムの例としては、ポリエチレン、ポリプロピレン、ポリエチレンテレフタレート、ポリエチレンナフタレート、ポリメタクリレート、ポリメチルメタクリレート、ポリメチルアクリレート、ポリエステル、ポリカーボネート等の樹脂フィルムを好ましく挙げることができる。ポリエチレンテレフタレート、ポリプロピレン系の合成紙等が好ましく挙げることができる。なお、ポリプロピレン系合成紙は、ポリプロピレンを主原料とするフィルム合成紙である。
なお、本実施形態の種別ID66においては、フィルム型培地60の培地種別を管理する情報の他に、個々に培地を識別する培地IDが含まれていてもよい。この場合には、培地IDは、培地種別IDとともに、画像解析機能を用いて、管理者端末装置20又はサーバ装置40において取得される。
[3]画像読み取り装置
次に、図3を用いて本実施形態の画像読み取り装置10の構成について説明する。なお、図3は、本実施形態の画像読み取り装置10の構成を示すブロック図である。
本実施形態の画像読み取り装置10は、各種のプログラムが実行される際に用いられるメモリ機能を有するデータ記憶部100と、スキャニング機能(画像化機能)を有し、フィルム型培地60の画像データその他の画像データを生成する画像データ生成部110と、サーバ装置40と連動して培地情報をサーバ装置40に初期登録及び培養直後を含む培養後登録する処理(以下、「培地情報登録処理」という。)その他の処理を実行するアプリケーション制御部120と、を備えている。
また、画像読み取り装置10は、サーバ装置40及び他の通信装置と通信を行うネットワーク通信部130と、ADFユニット140と、表示部160と、表示部160を制御する表示制御部161と、ユーザの操作を入力するための操作部170と、タイマー180と、装置全体を制御する端末管理制御部190と、を有している。
データ記憶部100は、各種のアプリケーションプログラムが記憶されるアプリケーション記憶部101と、画像データ生成部110によって読み取られて生成された画像データが記憶される画像データ記憶部102と、画像読み取り装置10の管理及び制御に関するプログラム、並びに、各プログラムの実行中にワークエリアとして用いられるとともに、画像読み取り装置10で実行される各処理において用いられるデータが記憶されるROM/RAM103と、を有している。
特に、アプリケーション記憶部101には、画像データ生成部110、操作部170、表示制御部161及び画像データ記憶部102と連動しつつ、アプリケーション制御部120によって実行されるアプリケーションプログラム(以下、「アプリ」という。)が記録されている。
画像データ記憶部102には、画像化した撮像画像データと、各画像データを管理するための画像IDと、読み取り時刻等の各画像データに対応する各種のメタデータと、が対応付けられて記憶される。なお、画像IDとは、画像読み取り装置10において適宜付与される任意の識別情報である。
画像データ生成部110は、光学システムと、当該光学システムから入力された光学画像を電気信号に変換するCCDIセンサ(Charge Coupled Device Image Sensor)と、CCDIセンサにおいて生成された電気信号に基づいて画像データを生成する生成部と、を有する。
特に、画像データ生成部110は、検体に発生した菌が培養される、又は、培養されたフィルム型培地60を画像化する場合には、イメージスキャニングされたフィルム型培地60全体を画像化し、当該フィルム型培地60全体の画像データを撮像画像データとして生成する。
アプリケーション制御部120は、所定のアプリによって培地情報登録処理を実現する。特に、アプリケーション制御部120は、アプリケーション記憶部101に記憶された培地登録アプリによって画像読み取り装置10の各部を制御するための各種制御プログラムを実行しつつ、ネットワーク通信部130、表示制御部161及び操作部170と連動して、又は、制御して各種の処理を実行する。
特に、アプリケーション制御部120は、アプリケーション記憶部101に記録された培地登録アプリを実行し、画像データ生成部110を制御して読み取ったフィルム型培地60の撮像画像データを取得し、これらのデータに画像IDを付与しつつ各データのメタデータとともに培地情報として画像データ記憶部102に記憶する。
また、アプリケーション制御部120は、フィルム型培地60を画像化する際に、タイマー180から現在時刻を取得し、当該現在時刻を読み取り時刻として所定の画像IDとともに撮像画像データのメタデータとして画像データ記憶部102に記憶する。
他方、アプリケーション制御部120は、撮像画像データの取得後に、又は、所定のタイミングによって、画像データ記憶部102に記憶された培地情報をサーバ装置40に登録する培地情報登録処理を実行する。
なお、アプリケーション制御部120は、実装上、端末管理制御部190を構成するCPU(中央処理装置)が、アプリを実行した際の機能として実現されるものであってもよい。
ネットワーク通信部130は、アプリケーション制御部120及び端末管理制御部190の制御の下、ネットワーク30に接続されるサーバ装置40との通信回線を構築し、撮像画像データ等の種々のデータの授受を行う。
ADFユニット140は、機械構造及び制御回路などのADF機能を実現するための構成を有している。特に、ADFユニット140は、同一の場所に重ねて載置された複数のフィルム型培地60を一枚ずつ、スキャニングを実行するエリア(図示しない)に取り込むための機構であり、アプリケーション制御部120の制御の下に、駆動する。
表示部160は、所定のサイズ(例えば、5インチ、W480×H960ピクセル)の画像表示領域を有し、液晶素子又はEL(Electro Luminescence)素子のパネルによって構成され、表示制御部161において生成された表示データに基づいて所定の画像を表示するようになっている。特に、本実施形態では、表示部160は、培地登録アプリが実行されている際に、操作部170と連動しつつ、各種の表示及び画像化されたフィルム型培地60との画像を表示する。
表示制御部161は、アプリケーション制御部120又は端末管理制御部190の制御の下、表示部160に所定の画像を描画させるために必要な描画データを生成し、生成した描画データを当該表示部160に出力するようになっている。
操作部170は、各種の確認ボタン、各操作指令を入力する操作ボタン、テンキー等の多数のキー及び表示部160上に設けられたタッチセンサにより構成され、各操作を行う際に用いられるようになっている。具体的には、操作部170は、培地登録アプリの起動時に上述の各種の処理を実行するための操作を行う際に用いられるようになっている。
タイマー180は、画像データ生成部110がフィルム型培地を読み取りするときの日付及び時刻をアプリケーション制御部120に提供する。
端末管理制御部190は、主に中央演算処理装置(CPU)によって構成されるとともに、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、画像読み取り装置10の全般的な機能及び情報提供プログラムを実行するための全般的な機能を総括的に制御するようになっている。
[4]サーバ装置
[4.1]構成
次に、図4を用いて本実施形態のサーバ装置40の構成について説明する。なお、図4は、本実施形態のサーバ装置40の構成を示す構成図である。
本実施形態のサーバ装置40は、図4に示すように、作業情報及び培地情報等の各種の情報が記憶されるデータベース400と、画像読み取り装置10及び管理者端末装置20と通信を行う通信制御部410と、培地情報登録処理等の各種の処理を実行するデータ処理部420と、サーバ装置40の各部を制御するサーバ管理制御部430と、各部の制御に用いるROM/RAM440と、時刻管理を行うために用いるタイマー450と、を有する。なお、上述の各部は、バス41によって相互に接続され、各構成要素間におけるデータの転送が実行される。
通信制御部410は、所定のネットワークインターフェースであり、画像読み取り装置10又は管理者端末装置20と通信回線を構築し、画像読み取り装置10又は管理者端末装置20と種々のデータの授受を行う。
データベース400は、HDDにより構成され、培地情報データベース(以下、「培地情報DB」と略す。)401、作業管理データベース(以下、「作業管理DB」と略す。)404及びプロファイル情報データベース(以下、「プロファイル情報DB」という。)405を有する。
培地情報DB401は、各作業ライン80の工程毎に抽出され、かつ、画像読み取り装置10によってスキャニングされて取得した検体のフィルム型培地60に関する培地情報が種別ID66毎に、かつ、培地ID毎に培地情報が格納されるデータベースである。例えば、培地情報DB401には、
(1)種別ID66
(2)培地ID
(3)撮像画像データ
(4)培地画像データ
(5)スキャニングした時刻
(6)コロニー数
(7)培地判定結果
(8)サイズ(ピクセル数)、重心位置、各ピクセルの特徴量など検出された各コロニーに関する情報(以下、「コロニー情報」という。)
(9)コロニー検出時に用いたプロファイル情報の種別(プロファイルID)
の9つデータが対応付けて記録される。
なお、各培地情報における、コロニー情報、コロニー数及び培地判定結果としては、データ処理部420によって判定された結果が記憶される。また、各培地情報におけるコロニー情報、コロニー数及び培地判定は、培地情報が登録される際に登録されてもよいし、当該培地情報の登録タイミングと異なる所定のタイミングで登録されてもよい。
作業管理DB404は、培地種別毎の作業内容に関する各種の情報が格納されるデータベースであり、培地情報DB401と対応付けることによって培地種別毎の検査内容を作業者その他に提供するためのデータベースである。例えば、作業管理DB404には、各培地IDに対応付けて
(1)培地ID
(2)検査種別(一般生菌又は大腸菌など検出する菌種)及びフィルム型培地60上に発生する際の色(発色)情報(RGB階調値又はその範囲)
(3)培養開始時刻
(4)培養開始から所定の時間経過後までの培養時間
(5)培養場所(例えば、インキュベータ番号及びインキュベータ内の段数等の位置)
(6)作業日時(作業開始時刻及び終了時刻)
(7)作業者ID(及び/又は作業者名)
の7つデータが対応付けて記録される。
なお、これらの情報は、作業者等によって登録される。また、培養検査時刻には、単一の時刻(すなわち、検体における菌の培養を終了させる終了時刻)だけが設定されてもよいし、培養開始時刻から法定された又は所定の時間経過後、例えば、培養開始時刻から24時間経過後、48時間経過後又は72時間経過後等の複数の時刻が設定されてもよい。
プロファイル情報DB405は、複数のプロファイル情報が格納されるデータベースである。例えば、プロファイル情報DB405には、各種別IDに対応付けて
(1)種別ID
(2)プロファイル情報
(3)テンプレート画像のデータ(以下、「テンプレート画像データ」という。)
の3つデータが対応付けて記録される。
具体的には、プロファイル情報には、
(2A)培地画像からにじみ領域73やコロニーピクセルを検出する際の色に関する特徴量(色特徴量)の種別、
(2B)培地の種別及び検体の種別に基づく、にじみ領域73やコロニーを検出するための検出手法及び当該検出を実行するためのパラメータ、
(2C)にじみ領域73からコロニー中心候補画素74を特定する際の色特徴量の閾値、
(2D)コロニー中心候補画素74からコロニーを拡大する際の判定に用いる色特徴量の閾値、及び、
(2E)培地判定を行う際の合否における閾値
が含まれる。
データ処理部420は、ROM/RAM440に記録されているアプリケーションに応じて各種のデータ処理を実行する。特に、データ処理部420は、所定のプログラムを実行することによって、
(1)通信制御部410の動作管理と、
(2)撮像画像から検体を載置してコロニーを培養する培地が撮像されることによって画像化された培地画像データを取得する取得処理と、
(3)培地画像データの培地画像を構成するピクセルの色に関する色特徴量を抽出する抽出処理と、
(4)各ピクセルの色特徴量に基づいて、にじみ領域73を構成する分割処理候補ピクセルを特定して検出する分割処理候補検出処理と、
(5)分割処理候補ピクセルの中から、各ピクセルの色特徴量に基づいて、コロニーの中心画素となるコロニー中心候補画素74を特定して検出するコロニー中心候補画素検出処理と、
(6)コロニー中心候補画素74を含む所定の領域をコロニーとして特定するコロニー領域特定処理と、
(7)特定されたコロニーを含め、培地に培養されたコロニーを検出し、かつ、当該検出したコロニーを計数する検出処理と、
(8)検出したコロニーに関する情報及び計数したコロニー数を培地情報としてデータベース400に登録する培地情報登録処理と、
(9)データベース400の管理及び制御と、
を行う。
具体的には、データ処理部420は、培地情報登録処理を実行する登録処理部421、抽出処理を実行する画像抽出処理部422と、及び、分割処理候補検出処理、コロニー中心候補画素検出処理、コロニー領域特定処理、検出処理を実行するコロニー検出判定部423を含む。
なお、例えば、本実施形態の登録処理部421は、本発明に係る取得手段を構成し、コロニー検出判定部423は、本発明に係る抽出手段、分割処理候補検出手段、コロニー中心候補画素検出手段、コロニー領域特定手段、検出手段を構成する。また、本実施形態の登録処理部421、画像抽出処理部422及びコロニー検出判定部423の詳細については後述する。
サーバ管理制御部430は、主に中央演算処理装置(CPU)によって構成され、プログラムを実行することによって、サーバ装置40の各部を統合制御する。具体的には、サーバ管理制御部430は、画像読み取り装置10とのデータの授受に関する各種の制御を行う。
ROM/RAM440には、サーバ装置40の駆動に必要な各種のプログラムが記録されている。また、ROM/RAM440は、各プログラムの実行中にワークエリアとして用いられる。
タイマー450は、培地情報の登録処理を実行する際に必要な時刻を管理するために用いられる。
[4.2]登録処理部
次に、本実施形態のサーバ装置40における登録処理部421の詳細について説明する。
本実施形態の登録処理部421は、画像読み取り装置10と連動し、作業者の指示に基づいて、各フィルム型培地60における培地情報について培地情報登録処理を実行する。
特に、登録処理部421は、画像読み取り装置10から送信された各培地情報に含まれる各撮像画像データに対して画像解析を実行して種別ID66を取得し、取得した種別ID66を画像抽出処理部422及びコロニー検出判定部423に提供する。
特に、登録処理部421は、培地情報を取得すると、培地情報に含まれる撮像画像データの撮像画像内を探索し、当該撮像画像内に画像化されている2次元バーコードから構成される種別ID66を取得する。そして、登録処理部421は、自動的に若しくは作業者の指示の下、培地を識別するための培地IDを付与し、又は、種別ID66に含まれている場合には、種別ID66とともに培地IDを取得する。
また、登録処理部421は、コロニー検出判定部423のコロニー検出判定処理によって得られたコロニー情報、コロニー数及び判定結果を、それぞれ、培地情報として該当する種別ID66及び培地IDを対応付けて検査時刻とともに培地情報DB401に登録する。
[4.3]画像抽出処理部
次に、本実施形態のサーバ装置40における画像抽出処理部422について説明する。
通常、培地画像について画像解析を行う場合には、培地画像を構成するピクセルの輝度やRGBなどの色特徴量に基づいて実行される。しかしながら、培地画像に、培地以外の培地が形成される台紙(基材)部分の画像のみならず、当該台紙に文字やマークが存在する部分の画像が含まれる場合には、文字やマークの色が影響を与え、的確に画像解析を実行することができない場合もある。
そこで、本実施形態においては、テンプレート画像を用いて撮像画像の中からコロニー検出に用いる画像部分(すなわち、培地画像)を的確に抽出し、抽出した画像に基づいてコロニーの検出等を行うようになっている。
具体的には、画像抽出処理部422は、登録処理部421において取得された種別ID66に基づいて、プロファイル情報DB405を検索して該当するテンプレート画像データを取得することによって、複数のテンプレート画像の中から一のテンプレート画像を選択するとともに、当該選択したテンプレート画像を用いて取得した培地画像から培地の形状(具体的には培養層63の形状)を特定する。そして、画像抽出処理部422は、当該特定した形状の画像を、コロニーを検出するための画像として用いるために、コロニー検出判定部423に提供する。
特に、画像抽出処理部422は、選択したテンプレート画像に基づいて、培地画像上を走査し、予め定められた条件を有する領域を、培地画像の画像部分として特定することによって、培地画像の中からコロニー検出に用いる画像部分を抽出する。
[4.4]コロニー検出判定部
次に、図5〜図9を用いて本実施形態のサーバ装置40におけるコロニー検出判定部423の詳細について説明する。
なお、図5及び図6は、本実施形態の分割処理候補検出処理を説明するための図であり、図7は、本実施形態のコロニー中心候補画素検出処理及びコロニー領域特定処理を説明するための図である。また、図8及び図9は、本実施形態のコロニー領域特定処理を説明するための図である。
コロニー検出判定部423は、画像抽出処理部422から提供された培地画像の各ピクセルの色特徴量を抽出する抽出処理を実行しつつ、
(A)当該抽出した各ピクセルの色特徴量に基づいて、にじみ領域73を構成する分割処理候補ピクセルを特定して検出し、
(B)にじみ領域73からコロニーの中心画素となるコロニー中心候補画素74を特定して検出し、
(C)コロニー中心候補画素74を含む所定の領域をコロニーとして特定し、
(D)培地に培養されたコロニーを検出し、かつ、当該検出したコロニーを計数し、その結果をそれぞれ登録処理部421に提供する。
特に、コロニー検出判定部423は、
(1)にじみ領域73を構成する分割処理候補ピクセルを特定して検出する分割処理候補検出処理と、
(2)分割処理候補ピクセルの中から、各ピクセルの色特徴量に基づいて、コロニーの中心画素となるコロニー中心候補画素74を特定して検出するコロニー中心候補画素検出処理と、
(3)コロニー中心候補画素74を含む所定の領域をコロニーとして特定するコロニー領域特定処理と、
(4)特定されたコロニーを含め、培地に培養されたコロニーを検出し、かつ、当該検出したコロニーを計数する検出処理と、
を実行し、計数したコロニー数に基づいて培地判定を実行する。
(分割処理候補検出処理)
コロニー検出判定部423は、画像抽出処理部422において抽出された培地画像データに対して画像解析を実行して、培地画像を構成するピクセルの色に関する色特徴量を抽出し、その色特徴量に基づいて、にじみ領域73を構成する分割処理候補ピクセルを特定して検出する。
なお、本実施形態において、にじみ領域73とは、コロニーの成長過程にある領域であって検出すべきコロニーの色とは同一系統の色成分を有し、当該検出すべきコロニーとは発色強度が異なる(低い)領域であり、また、複数のコロニーが近接しているために、背景色から色特徴量で抽出した際に1つの大きなコロニーとして抽出されるべき領域である。
具体的には、コロニー検出判定部423は、色特徴量の種別が輝度又は彩度の場合であって、各ピクセルのRGBの個々のチャンネルの階調値が所定閾値より大きい場合には、そのピクセルをにじみ領域73の候補ピクセルとして検出する。例えば、コロニー検出判定部423は、図5(A)に示すように、元画像70の中から、にじみ領域73の候補ピクセルの領域71を検出する。
通常、このような候補ピクセルの領域71に対し、図5(B)に示すように、実際にコロニーとして検出すべき部分72が複数含まれる領域71も存在する場合があり、このような領域71をにじみ領域73として検出し分割する必要がある。
そこで、本実施形態においては、図6(A)に示すように、コロニー検出判定部423は、候補ピクセルの領域71の全てを一旦コロニー画素として検出し(図中白抜き部分)、図6(B)に示すように、候補ピクセルが所定ピクセル数より多く隣接している場合に、それをにじみ領域73として検出するようになっている。
なお、本実施形態において、所定ピクセル数は、例えば、ユーザが目視で処理した場合に複数のコロニーに分割できる程度の大きさであるようにすることが好ましい。例えば、図5及び図6に示すように、培地が直径5cmの円形で、それを1280×1280ピクセルで読み込んだ場合で、300ピクセルとすることができる。
(コロニー中心候補画素検出処理)
コロニー検出判定部423は、例えば、図7(A)に示すように、にじみ領域73内の各ピクセルの色特徴量で、周囲の色特徴量との比較で極値となるピクセルを検出し、そのピクセルをコロニー中心候補画素74(図中、点状に示す)に設定する。
なお、図7(A)では、にじみ領域73内で3箇所のみをコロニー中心候補画素として明示しているが、それ以外にも点状の部分は全て検出されたコロニー中心候補画素74である。また、このコロニー中心候補画素74は、1ピクセル単独の場合や、隣接する複数のピクセルを含む場合がある。
(コロニー領域特定処理)
コロニー検出判定部423は、例えば、図8及び図9に示すように、コロニー中心候補画素74から新たなコロニーの領域78を拡大できるまで拡大するコロニー領域特定処理を実行する。
なお、図8及び図9において、○印の付された画素は新たなコロニーの領域78に含まれると認定された画素、×印の付された画素は新たなコロニーの領域78に含まれないと認定された画素、△印の付された画素は判定対象画素を示す。また、図8及び図9中、太破線で示す領域が、新たなコロニーの領域78である。
まず、コロニー領域特定処理としては、コロニー検出判定部423は、例えば、図8(A)に示すように、コロニー中心候補画素74に隣接する各画素75a〜75dの1つずつを判定対象画素に設定する。なお、この時点では、新たなコロニーの領域78はコロニー中心候補画素74のみとなる。
そして、コロニー検出判定部423は、判定対象画素である各画素75a〜75dの1つずつに対して、コロニー中心候補画素74の色特徴量以下の色特徴量であり、かつ、コロニーの領域78内にある隣接する元の画素(ここではコロニー中心候補画素74)との色特徴量の差が所定の閾値以下であるか否かを判定する。
次に、コロニー検出判定部423は、例えば、画素75a,75b,75dについては上記条件を満たすと判定した場合は、図8(B)に示すように、当該画素75a,75b,75dはコロニー中心候補画素74とともに新たなコロニーを構成するものとして、コロニー中心候補画素74と結合して、新たなコロニーの領域78に含まれるものと認定する。また、コロニー検出判定部423が、例えば、画素75cについては上記条件を満たさないと判定した場合は、当該画素75cは異なるコロニーに含まれる画素であるとして、コロニー中心候補画素74とは結合しないものと認定する。
このとき、コロニー検出判定部423は、新たなコロニーの領域78に含まれる画素であって、まだ隣接する画素に対して当該コロニーの領域78に含まれるか否かの判断をしていないものについて、判断を実行する。例えば、図8(C)に示すように、コロニー検出判定部423は、まだ隣接する画素に対して当該コロニーの領域78に含まれるか否かの判断をしていない画素75aに隣接する各画素76a〜76cの1つずつを判定対象画素に設定する。
そして、コロニー検出判定部423は、判定対象画素である各画素76a〜76cの1つずつに対して、コロニー中心候補画素74の色特徴量以下の色特徴量であり、かつ、コロニーの領域78内にある隣接する元の画素(ここでは画素75a)との色特徴量の差が所定の閾値以下であるか否かを判定する。
また、コロニー検出判定部423が、例えば、画素76a〜76cについて上記条件を満たすと判定した場合は、図9(A)に示すように、当該画素76a〜76cはコロニー中心候補画素74とともに新たなコロニーを構成するものとして、画素75aと結合して、新たなコロニーの領域78に含まれるものと認定する。
次に、コロニー検出判定部423は、新たなコロニーの領域78に含まれる画素であって、まだ隣接する画素に対して当該コロニーの領域78に含まれるか否かの判断をしていないものについて、判断を実行する。例えば、図9(B)に示すように、コロニー検出判定部423は、まだ隣接する画素に対して当該コロニーの領域78に含まれるか否かの判断をしていない画素75bに隣接する各画素77a,77bの1つずつを判定対象画素とする。
なお、画素75bには画素76bも隣接するが、画素76bは既にコロニーの領域78に含まれるか否かの判断をしているので、判定対象画素には含めないようにする。
そして、コロニー検出判定部423は、判定対象画素である各画素77a,77bの1つずつに対して、コロニー中心候補画素74の色特徴量以下の色特徴量であり、かつ、コロニーの領域78内にある隣接する元の画素(ここでは画素75b)との色特徴量の差が所定の閾値以下であるか否かを判定する。
また、コロニー検出判定部423が、例えば、画素77aについては上記条件を満たすと判定した場合は、図9(C)に示すように、当該画素77aはコロニー中心候補画素74とともに新たなコロニーを構成するものとして、画素75bと結合して、新たなコロニーの領域78に含まれるものと認定する。そして、コロニー検出判定部423が、例えば、画素77bについては上記条件を満たさないと判定した場合は、当該画素77bは異なるコロニーに含まれる画素であるとして、コロニー中心候補画素74とは結合しないものと認定する。
次に、コロニー検出判定部423は、新たなコロニーの領域78に含まれる画素であって、まだ隣接する画素に対して当該コロニーの領域78に含まれるか否かの判断をしていないものについて、判断を実行する。なお、画素75cは当該コロニーの領域78に含まれていないので、コロニー検出判定部423は、画素75cに隣接する画素について判断は行わず、画素75dに隣接する未判断の各画素を判定対象画素と設定する。
このように、コロニー検出判定部423は、上記の判定及び処理を進めることにより、図7(B)に示すように、コロニー中心候補画素74を中心とする各コロニーの領域78を徐々に拡大し、当該拡大により、隣り合う他のコロニーと連結する場合には、1のコロニー領域として設定する。
なお、図7(B)では、にじみ領域73内で3箇所のみをコロニーの領域78と明示しているが、それ以外にもコロニー中心候補画素74を中心に拡大した部分は全て拡大中のコロニーの領域78である。
また、コロニー検出判定部423は、コロニーの領域78に隣接する画素について当該コロニーの領域78に含まれるか否かの判定を行い、全ての画素がコロニー中心候補画素74とは結合しないものと判断した場合に、当該コロニーの領域78を確定する。そして、図7(C)に示すように、コロニー検出判定部423は、全てのコロニーについて各コロニーの領域78が確定したと判断した場合は、コロニー領域特定処理を終了し、最終的な分割後の新たなコロニーの領域78と設定する。
(検出処理)
コロニー検出判定部423は、最終的な分割後のコロニーの領域78を特定した後、再度、培地画像の全体からコロニーを検出する。特徴量の種別が輝度又は彩度の場合には、各ピクセルのRGBにおける個々のチャンネルの階調値に基づいて、コロニーピクセルを検出し、検出したコロニーピクセルに基づいてコロニー候補を特定しつつ、当該特定したコロニー候補の中からコロニーを検出してその数を計数する。
また、コロニー検出判定部423は、画像フィルタノイズを低減させるための膨張処理及び縮小処理を含む画像フィルタ処理を実行しつつ、隣接するコロニーピクセルを連結してラベリングを実行してIDを付与する際の連結方法とプロファイル情報に基づくパラメータに基づいて、コロニー候補を検出する。
すなわち、コロニー検出判定部423は、コロニーピクセルの連結に関しては、プロファイルによって特定された各コロニーピクセルの色に関する特徴量と同一と判定されるべき範囲に基づいて、隣接するコロニーピクセルについて同一のコロニー候補であると判定したものを連結する。
さらに、コロニー検出判定部423は、隣接するコロニーピクセルを連結してコロニーピクセル群を形成させ、コロニーピクセル群毎の色特性又は培地画像上の重心位置を用いて同一のコロニーピクセルを構成するピクセル群同士を連結させる。
そして、コロニー検出判定部423は、検出した各コロニー候補について、特定されたプロファイル情報に規定される特徴量によって、当該プロファイル情報によって定まる色特性、真円度、形状及びサイズなどの特徴量を設定しつつ、当該設定した特徴量に基づいて、コロニーらしさを示す尤度を算出する。
最後に、コロニー検出判定部423は、プロファイル情報に基づいて、算出した尤度が閾値以上など所定の条件を有するコロニー候補をコロニーとして特定し、その数をコロニー数として計数する。
なお、コロニー検出判定部423は、検出したコロニーピクセル(例えば培地画像上の位置及び自ピクセルが属するコロニー候補のID)、検出したコロニー候補(例えばコロニーピクセルの培地画像上の配置位置、色特性又は重心位置などの所定の情報)、特定したコロニー(例えばコロニーピクセルの培地画像上の配置位置、色特性又は重心位置などの所定の情報)、計数したコロニー数を培地情報として登録処理部421を介して培地情報DB401に記憶する。
また、膨張処理とは、画像フィルタ処理の一つであって、各コロニーピクセルに隣接して他のコロニーピクセルが存在する場合に、コロニーピクセルに隣接する全てのピクセルをコロニーピクセルに置き換える処理である。
さらに、収縮処理とは、コロニーピクセルに隣接して非検出したピクセル(以下、「非コロニーピクセル」という。)が存在する場合に当該コロニーピクセルに隣接するピクセルを全て非コロニーピクセルに置き換える処理である。
一方、本実施形態のコロニー検出判定部423は、コロニー検出処理によって計数されたコロニー数に基づいて、培地判定を実行する。特に、コロニー検出判定部423は、培地判定処理としては、コロニー検出処理において取得したプロファイル情報に基づいて、予め設定された閾値と検出したコロニー数を比較しつつ、当該検出したコロニー数が閾値以上の場合には、異常と判定し、また、当該閾値より小さい場合には、正常であると判定し、各フィルム型培地60の検体が異常であるか正常であるかの培地判定(すなわち、検体の合否判定)を実行する。
[5]衛生管理システムの動作処理
[5.1]培地情報登録処理(画像読み取り装置)
次に、図10を用いて本実施形態の画像読み取り装置10におけるフィルム型培地60の培地情報登録処理の動作について説明する。なお、図10は、本実施形態の画像読み取り装置10における培地情報の登録処理動作を示すフローチャートである。
本動作においては、プロファイル情報DB405には、種別IDに基づいて複数のプロファイル情報、テンプレート画像データ及び配置構造情報が予め記憶されているものとする。
また、本動作においては、登録すべき複数のフィルム型培地60は、例えば、ADFユニット140の所定の場所に既に載置されているものとし、各フィルム型培地60におけるコロニー数の検出は、培地情報のデータベース400への登録時に実行されるものとする。
なお、本動作においては、画像読み取り装置10においては撮像画像を読み取りするためのRGBの階調値又は輝度値に対するキャリブレーションが実行されているものとする。
まず、画像読み取り装置10において、アプリケーション制御部120は、操作部170を介して培地登録アプリの起動指示を検出すると(ステップS101)、アプリケーション記憶部101から培地登録アプリを読み出して起動する(ステップS102)。このとき、アプリケーション制御部120は、表示制御部161と連動して表示部160に登録すべき複数のフィルム型培地60がADFユニット140に既に載置されているかを確認するための表示を実行するとともに、端末管理制御部190の制御下、ワークメモリの初期化その他の必要な処理を実行する。
次いで、アプリケーション制御部120は、各フィルム型培地60の読み取り開始を促す画面(以下、「読み取り開始確認画面」ともいう。)を表示部160に表示させるとともに、操作部170と連動し、画像データ生成部110による読み取りを待機する(ステップS106)。
次いで、アプリケーション制御部120は、画像データ生成部110、表示制御部161と連動しつつ、操作部170によるフィルム型培地60の読み取り開始を検出すると(ステップS107)、ADFユニット140を制御して当該ADFユニット140にセットされた複数のフィルム型培地60を順次スキャニング領域に移動させるとともに、画像データ生成部110は、複数のフィルム型培地60をスキャニングして画像化し、生成した各撮像画像データを画像データ記憶部102に所定の画像IDを付与しつつ記憶する(ステップS108)。
なお、アプリケーション制御部120は、複数のフィルム型培地60がADFユニット140に載置されている場合には、各フィルム型培地60を連続的に画像化し、それぞれを画像データ記憶部102に所定の画像IDを付与しつつ記憶する。
次いで、アプリケーション制御部120は、タイマー180より、現在時刻を各フィルム型培地60における撮像画像データの読み取り時刻として取得し、当該各撮像画像データに対応付けてメタデータとして画像データ記憶部102に記憶する(ステップS109)。
次いで、アプリケーション制御部120は、作業者の指示に基づいて、各撮像画像データとそのメタデータを一の培地情報として、ネットワーク通信部130を介してサーバ装置40に送信し(ステップS118)、画像読み取り装置10の培地情報登録処理を終了する。
なお、このとき、ネットワーク通信部130は、培地情報を送信する際に、端末IDや入力されたID及びパスワードに基づいてサーバ装置40へのアクセスをするためのログインを実行し、ログイン完了後にサーバ装置40との通信回線を確立し、培地情報を送信する。
[5.2]培地情報登録処理(サーバ装置)
次に、図11を用いて本実施形態のサーバ装置40におけるフィルム型培地60の培地情報登録処理の動作について説明する。なお、図11は、本実施形態のサーバ装置40における培地情報の登録処理動作を示すフローチャートである。
本動作は、画像読み取り装置10によって実行された培地情報登録処理と連動して実行される処理であり、サーバ装置40は、画像読み取り装置10から送信された各フィルム型培地60の個々の撮像画像データ毎に該当する情報を培地情報として培地情報DB401に登録するための処理である。
まず、サーバ装置40においては、通信制御部410が画像読み取り装置10から送信された一の撮像画像データを有する一の培地情報を受信すると(ステップS300)、登録処理部421は、撮像画像データによって構成される撮像画像について画像解析を実行し、種別ID66を特定し、画像抽出処理部422及びコロニー検出判定部423に提供する(ステップS301)。
次いで、登録処理部421は、当該種別ID66の画像解析、若しくは、作業者の指示に基づいて、培地IDを取得し、又は、自動的に培地IDを付与する(ステップS302)。
次いで、登録処理部421は、培地情報に含まれる読み取り時刻に基づいて撮像画像データにおける培地情報を登録する際の培養検査時刻を特定する(ステップS305)。なお、このとき、登録処理部421は、画像読み取り装置10と連動して各撮像画像データにおける培地情報を登録する培養検査時刻を指定させて登録してもよいし、受信した培地情報に含まれる読み取り時刻を当該培養検査時刻としてそのまま登録してもよい。
次いで、画像抽出処理部422は、登録処理部421によって特定された種別ID66に基づいて、プロファイル情報DB405を検索し、テンプレート画像データ及び配置構造情報を取得するとともに(ステップS306)、提供されたテンプレート画像及び配置構造情報に基づいて、撮像画像から培地画像を抽出する培地画像抽出処理を実行し、当該抽出した培地画像をコロニー検出判定部423に提供する(ステップS307)。
ここでの培地画像抽出処理の手順の一例を以下に示す。まず、画像抽出処理部422は、テンプレート画像データ及び配置構造情報を取得し、配置構造情報に基づいて、培地画像が形成されていると想定される探索領域を決定する探索領域決定処理を実行する。
そして、画像抽出処理部422は、取得したテンプレート画像に基づいて、決定した探索領域の右上から順に合成画像を生成するための走査を開始する。また、画像抽出処理部422は、該当する探索領域の部分にテンプレート画像を重畳し、当該合成画像を生成し、当該合成画像における色特徴量を算出する。
また、画像抽出処理部422は、テンプレート画像に基づく探索領域の走査が終了したか否かを判定する。ここで、画像抽出処理部422は、テンプレート画像に基づく探索領域の走査が終了していないと判定した場合には、上述した探索領域の部分にテンプレート画像を重畳する処理に戻り、当該終了していると判定した場合には、次の処理に移行する。
さらに、画像抽出処理部422は、全ての合成画像における色特徴量について予め定められた条件を有する合成画像を決定するとともに、当該決定した合成画像が形成されている領域を培地画像の部分であると特定し、培地画像抽出処理を終了させる。
次いで、培地画像抽出処理の終了後、コロニー検出判定部423は、登録処理部421によって特定された種別ID66に基づいて、プロファイル情報DB405を検索し、該当するプロファイル情報を取得し(ステップS308)、取得したプロファイル情報及び画像抽出処理部422において抽出された培地画像に基づいて、当該培地画像の各ピクセルの色特徴量(輝度値)を抽出する(ステップS310)。
次いで、コロニー検出判定部423は、提供されたプロファイル情報に基づいて、培地画像内のコロニーピクセルを特定するとともに、コロニーの検出及びその計数を実行するコロニー検出処理を実行する(ステップS321)。なお、ステップS321のコロニー検出処理の詳細については後述する。
次いで、コロニー検出判定部423は、提供されたプロファイル情報に基づいて、培地判定(合否判定)を実行する(ステップS322)。なお、コロニー検出判定部423は、ステップS321及びステップS322の処理においては、画像読み取り装置10と連動し、検出したコロニー数及び合否判定の結果を当該画像読み取り装置10の表示部160に表示させ、ユーザに閲覧及び確認させるようにしてもよい。
また、コロニー検出判定部423は、ステップS322の処理の培地判定においては、所定の条件を具備する場合には、合格(正常)と判定し、所定の条件を不具備な場合には、不合格(異常)と判定する。
次いで、登録処理部421は、撮像画像データ、培地画像データ、種別ID66、培地ID、判定された合否、検出されたコロニー数及び培地情報に含まれる読み取り時刻を培養開始時刻とした培養開始時刻情報を培地情報DB401に登録し(ステップS323)、本動作を終了する。
なお、登録処理部421は、ライン情報及び登録すべき情報を画像読み取り装置10の表示部160に表示させ、当該画像読み取り装置10を介して入力されたユーザ指示に基づいて、培地情報等の登録をするようにしてもよい。
また、上述の動作は、画像読み取り装置10によって培地情報を取得した際に実行しているが、画像読み取り装置10によって取得した培地情報が培地情報DB401に記録され、その後に実行されてもよい。
[5.3]コロニーの検出及びその係数(サーバ装置)
次に、図12を用いて本実施形態のサーバ装置40において実行されるコロニーの検出及びその係数の動作について説明する。なお、図12は、本実施形態のサーバ装置40において実行されるコロニーの検出及びその係数の動作を示すフローチャートである。また、本動作は、サーバ装置40においてステップS321の処理において実行される処理である。
まず、コロニー検出判定部423は、培地画像の各ピクセルの色特徴量(輝度値)を取得すると(ステップS310)、にじみ領域73を構成する分割処理候補ピクセルを特定して検出する分割処理候補検出処理を実行する(ステップS501)。
次いで、コロニー検出判定部423は、検出した分割処理候補ピクセルの中から、各ピクセルの色特徴量に基づいて、コロニーの中心画素となるコロニー中心候補画素74を特定して検出するコロニー中心候補画素検出処理を実行する(ステップS502)。
次いで、コロニー検出判定部423は、各コロニー中心候補画素74に対して、コロニー中心候補画素74を含む所定の領域78をコロニーとして特定するコロニー領域特定処理を実行する(ステップS503)。
次いで、コロニー検出判定部423は、特定されたコロニーを含め、培地に培養されたコロニーを検出し、かつ、当該検出したコロニーを計数する検出処理を実行し(ステップS504)、本動作を終了させる。
以上、本実施形態の衛生管理システムSにおいては、培地画像を正確に抽出することができるので、的確にコロニーの検出及びその計数を実行することができるとともに、的確に検出されたコロニー及びその数に関する情報を含む培地情報をデータベースに登録することができる。
[6]変形例
[6.1]変形例1
本実施形態において、イメージスキャナ等の画像読み取り装置10単体を用いて培地情報の登録処理を実行している点に代えて、デジタルカメラ、スマートフォン又は携帯用電話機などの撮像機能付き携帯用通信端末装置を用いて、各培地を撮像し、撮像画像データを生成するようにしてもよい。
[6.2]変形例2
本実施形態において、イメージスキャナ等の画像読み取り装置10単体を用いて培地情報の登録処理を実行している点に代えて、ラップトップ型又はデスクトップ型のパーソナルコンピュータ及びイメージスキャナの画像読み取り装置、又は、パーソナルコンピュータ及びタブレット型情報端末装置、デジタルカメラ若しくはスマートフォン等の画像入力装置と、によって当該培地情報の登録処理を実現してもよい。
この場合には、パーソナルコンピュータと画像入力装置とを所定の通信規格によって接続し、パーソナルコンピュータと画像入力装置とを一体的に用いて当該培地情報の登録処理を実現してもよいし、メモリカードその他の物理的なメモリに画像入力装置によって先に取得した撮像画像データを記憶させ、当該記憶させた各画像データをパーソナルコンピュータによって取り込みつつ、当該培地情報の登録処理を実現してもよい。
また、この場合には、サーバ装置40の機能をパーソナルコンピュータに持たせて上記の各種の処理を実行してもよい。
[6.3]変形例3
本実施形態においては、画像読み取り装置10、管理者端末装置20、サーバ装置40が同一敷地内で設置又は使用されてもよいし、それぞれが国外などの遠隔地に設置され、又は、遠隔地にて使用されて上述の各処理が実行されてもよい。
また、サーバ装置40は、ネットワークを介して接続されるデータベースを用いて培地情報その他の情報の読み出し及び記録を行ってもよいし、一又は複数の装置によって形成されていてもよい。
[6.4]変形例4
本実施形態のコロニー検出判定部423は、プロファイル情報に基づいて、コロニーピクセルを特定するための色特徴量、検査手法とそのパラメータ及び閾値などを決定しているが、最初のコロニー検出判定処理において、コロニーが検出されなかったなどの所定の条件の下に、さらにコロニーピクセルやコロニーそのものを検出するための感度を高めて再度コロニー検出を実行する再検出処理を追加するようにしてもよい。
例えば、大腸菌や大腸菌群などの1つのコロニーでも検出された場合に培地判定の合否判定が不合格となる特定の細菌の場合に、プロファイル情報に当該再検出処理の実行が規定されていてもよい。
なお、プロファイル情報には、再検出処理に限定されず、特定の細菌の場合であって培地判定が不合格になるなどの所定の条件の下に、管理者にその旨を告知するための告知処理などの各種の処理の実行が規定されていてもよい。
[6.5]変形例5
本実施形態においては、フィルム型培地60を用いて当該フィルム型培地60に培養された検体における培地情報の登録を実行しているが、寒天培地を用いて当該寒天培地に培養された菌及びその検体における培地情報の登録を実行してもよい。
この場合には、画像読み取り装置10に代えて、デジタルカメラ、スマートフォン又は携帯用電話機などの撮像機能付き携帯用通信端末装置を用いて、各寒天培地を撮像し、撮像画像データを生成する。
S … 衛生管理システム
10 … 画像読み取り装置
20 … 管理者端末装置
30 … ネットワーク
40 … サーバ装置
60 … フィルム型培地
73 … にじみ領域(分割処理を行う領域)
74 … コロニー中心候補画素
75、76、77 … 判定対象画素
78 … コロニーの領域
80 … 作業ライン
100 … データ記憶部
101 … アプリケーション記憶部
102 … 画像データ記憶部
110 … 画像データ生成部
120 … アプリケーション制御部
130 … ネットワーク通信部
140 … ADFユニット
160 … 表示部
170 … 操作部
180 … タイマー
190 … 端末管理制御部
400 … データベース
401 … 培地情報DB
404 … 作業管理DB
405 … プロファイル情報DB
410 … 通信制御部
420 … データ処理部
421 … 登録処理部
422 … 画像抽出処理部
423 … コロニー検出判定部
430 … サーバ管理制御部

Claims (6)

  1. 検体を載置してコロニーを培養する培地が撮像されることによって画像化された培地画像のデータを培地画像データとして取得する取得手段と、
    前記取得された培地画像データの培地画像を構成するピクセルの色に関する色特徴量を抽出する抽出手段と、
    前記抽出された各ピクセルの色特徴量に基づいて、分割処理を行う領域を構成する分割処理候補ピクセルを特定して検出する分割処理候補検出手段と、
    検出された前記分割処理候補ピクセルの中から、各ピクセルの前記色特徴量に基づいて、コロニーの中心画素となるコロニー中心候補画素を特定して検出するコロニー中心候補画素検出手段と、
    検出された前記コロニー中心候補画素を含む所定の領域をコロニーとして特定するコロニー領域特定手段と、
    特定された前記コロニーを含め、前記培地に培養されたコロニーを検出する検出手段と、
    を備えることを特徴とするコロニー検出システム。
  2. 請求項1に記載のコロニー検出システムにおいて、
    前記コロニー領域特定手段は、前記コロニー中心候補画素に隣接する画素から順次隣接する画素を判定対象画素とし、前記判定対象画素が所定の条件を満たす場合は当該画素を前記コロニー中心候補画素を含むコロニーに含めて前記コロニーの領域を拡大し、前記所定の条件を満たさない場合は当該画素を前記コロニーに含めずに前記コロニーの領域の拡大を停止する、コロニー検出システム。
  3. 請求項2に記載のコロニー検出システムにおいて、
    前記所定の条件は、前記コロニー中心候補画素の前記色特徴量以下の色特徴量であり、かつ、前記コロニーの領域内にある隣接する元の画素との前記色特徴量の差が所定の閾値以下である、コロニー検出システム。
  4. 請求項1〜3のいずれか1項に記載のコロニー検出システムにおいて、
    前記検出されたコロニーに関する情報を培地情報としてデータベースに登録する登録手段を更に備える、コロニー検出システム。
  5. コンピュータを、
    検体を載置してコロニーを培養する培地が撮像されることによって画像化された培地画像のデータを培地画像データとして取得する取得手段、
    前記取得された培地画像データの培地画像を構成するピクセルの色に関する色特徴量を抽出する抽出手段、
    前記抽出された各ピクセルの色特徴量に基づいて、分割処理を行う領域を構成する分割処理候補ピクセルを特定して検出する分割処理候補検出手段、
    検出された前記分割処理候補ピクセルの中から、各ピクセルの前記色特徴量に基づいて、コロニーの中心画素となるコロニー中心候補画素を特定して検出するコロニー中心候補画素検出手段、
    検出された前記コロニー中心候補画素を含む所定の領域をコロニーとして特定するコロニー領域特定手段、及び
    特定された前記コロニーを含め、前記培地に培養されたコロニーを検出する検出手段、
    として機能することを特徴とするプログラム。
  6. 検体を載置してコロニーを培養する培地が撮像されることによって画像化された培地画像のデータを培地画像データとして取得する取得工程と、
    前記取得された培地画像データの培地画像を構成するピクセルの色に関する色特徴量を抽出する抽出工程と、
    前記抽出された各ピクセルの色特徴量に基づいて、分割処理を行う領域を構成する分割処理候補ピクセルを特定して検出する分割処理候補検出工程と、
    検出された前記分割処理候補ピクセルの中から、各ピクセルの前記色特徴量に基づいて、コロニーの中心画素となるコロニー中心候補画素を特定して検出するコロニー中心候補画素検出工程と、
    検出された前記コロニー中心候補画素を含む所定の領域をコロニーとして特定するコロニー領域特定工程と、
    特定された前記コロニーを含め、前記培地に培養されたコロニーを検出する検出工程と、
    を含むことを特徴とするコロニー検出方法。
JP2014142418A 2014-07-10 2014-07-10 コロニー検出システム、コロニー検出方法、及び、プログラム Active JP6344098B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014142418A JP6344098B2 (ja) 2014-07-10 2014-07-10 コロニー検出システム、コロニー検出方法、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014142418A JP6344098B2 (ja) 2014-07-10 2014-07-10 コロニー検出システム、コロニー検出方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2016015945A JP2016015945A (ja) 2016-02-01
JP6344098B2 true JP6344098B2 (ja) 2018-06-20

Family

ID=55231716

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014142418A Active JP6344098B2 (ja) 2014-07-10 2014-07-10 コロニー検出システム、コロニー検出方法、及び、プログラム

Country Status (1)

Country Link
JP (1) JP6344098B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114548431B (zh) * 2022-01-13 2024-08-09 江苏绿奥环保科技有限公司 一种基于大数据的城市环境卫生监管系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0698084B1 (en) * 1993-05-14 1998-06-24 Minnesota Mining And Manufacturing Company Method for rapid quantification of microorganism growth
US5694478A (en) * 1994-12-15 1997-12-02 Minnesota Mining And Manufacturing Company Method and apparatus for detecting and identifying microbial colonies
JP2791303B2 (ja) * 1995-11-18 1998-08-27 株式会社電脳技研 1つの連結領域が示すコロニーの個数を識別する識別方法及びこれを用いたコロニー計数装置
JP5998744B2 (ja) * 2012-08-23 2016-09-28 大日本印刷株式会社 コロニー検出装置、培地情報登録システム、衛生管理システム、及びプログラム

Also Published As

Publication number Publication date
JP2016015945A (ja) 2016-02-01

Similar Documents

Publication Publication Date Title
JP5998744B2 (ja) コロニー検出装置、培地情報登録システム、衛生管理システム、及びプログラム
JP5522333B1 (ja) 培地情報登録システム、コロニー検出装置、プログラム及び衛生管理システム
JP5971391B2 (ja) 衛生管理システム、プログラム及びフィルム型培地
JP5904295B2 (ja) コロニー検出システム、コロニー検出方法、及び、プログラム
JP5910417B2 (ja) 培地情報登録システム、コロニー検出装置、プログラム及び衛生管理システム
JP6728592B2 (ja) コロニー検出システム、コロニー検出方法、及び、プログラム
JP6500358B2 (ja) コロニー検出システム、コロニー検出方法、及び、プログラム
JP5943314B2 (ja) 画像解析システム、培地情報登録システム、プログラム及び衛生管理システム
JP6344098B2 (ja) コロニー検出システム、コロニー検出方法、及び、プログラム
JP2014140335A (ja) 培地画像解析装置、培地情報登録システム、プログラム及び衛生管理システム
JP6115036B2 (ja) 培地ラベル発行制御システム、培地情報登録システム、衛生管理システム、プログラム、培地ラベル及びフィルム型培地
JP5994463B2 (ja) 培地ラベル発行制御システム、培地情報登録システム、衛生管理システム、プログラム、培地ラベル及びフィルム型培地
JP5962330B2 (ja) コロニー検出装置、培地情報登録システム、衛生管理システム、及びプログラム
WO2014171381A1 (ja) コロニー検出装置、培地情報登録システム、プログラム及び衛生管理システム
JP2015008692A (ja) 情報提供システム、衛生管理システム、及び、プログラム
JP6337885B2 (ja) コロニー検出装置、培地情報登録システム、プログラム及び衛生管理システム
JP6135268B2 (ja) コロニー検出装置、培地情報登録システム、プログラム及び衛生管理システム
JP6036201B2 (ja) 培地情報登録システム、コロニー検出装置、プログラム及び衛生管理システム
WO2014030673A1 (ja) 培地情報登録システム、衛生管理システム、及び、プログラム
JP6287000B2 (ja) 培地情報登録システム、コロニー検出装置、衛生管理システム、及び、プログラム
JP5605529B1 (ja) 培地検査装置、培地情報登録システム、衛生管理システム、及びプログラム
JP2016039781A (ja) コロニー検出システム、コロニー検出方法、及び、プログラム
JP6291717B2 (ja) コロニー検出装置、培地情報登録システム、プログラム及び衛生管理システム
JP2015139417A (ja) 培地情報登録システム、コロニー検出装置、衛生管理システム、及び、プログラム
JP2015065869A (ja) 培地情報登録システム、コロニー検出装置、衛生管理システム、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180507

R150 Certificate of patent or registration of utility model

Ref document number: 6344098

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150