JP7192364B2 - コロニー検出装置、コンピュータプログラム及びコロニー検出方法 - Google Patents

Description

本発明は、コロニー検出装置、コンピュータプログラム及びコロニー検出方法に関する。

近年、ファーストフードその他の外食産業の成長や手軽な加工食品の増加に伴い、他人が調理した食品を食する機会が著しく増加している。その一方で、加工食品等の食品に毒物または有害な微生物等の危険なものが混入すると、人体に直接影響を与える。そのため、加工食品を取り扱う場合には、原材料の安全性だけでなく、製造工程の衛生面を厳しく管理し、食品の生産加工の全般に亘る食品の安全性が求められている。

特許文献１には、食品から採取した微生物をシャーレやフィルム上で培養し、コロニーを計数するコロニー検出システムが開示されている。

特開２０１６－１５９４４号公報

しかし、食品に含まれる微生物には、例えば、一般生菌、大腸菌、大腸菌群、黄色ブドウ球菌等の様々な細菌が存在し、また、検体の種別や希釈液の種別又は希釈率、培養条件などの様々な条件に応じてコロニーを検出するための検出ロジックの選定や検出処理パラメータの特定などの煩雑な作業が必要となる。特に、検出処理パラメータの特定は、コロニーの検出精度を高めるための重要な作業である。

本発明は、斯かる事情に鑑みてなされたものであり、コロニーの検出精度を向上することができるコロニー検出装置、コンピュータプログラム及びコロニー検出方法を提供することを目的とする。

本発明の実施の形態に係るコロニー検出装置は、微生物が培養された培地の培地画像データを取得する培地画像取得部と、前記培地画像取得部で取得した培地画像データを、培地画像及び培地種別を含む学習データを用いて生成された識別器に入力し、前記識別器が識別する培地種別に基づいてコロニーを検出するための検出器を特定する特定部と、前記特定部で特定した検出器を用いて前記培地画像取得部で取得した培地画像データに基づくコロニーを検出する検出部とを備える。

本発明の実施の形態に係るコロニー検出装置は、微生物が培養された培地の培地画像データを取得する培地画像取得部と、前記培地画像取得部で取得した培地画像データを、培地画像、コロニーを検出するための検出器の検出器データ及び検出処理パラメータデータを含む学習データを用いて生成された識別器に入力し、前記識別器が特定する検出器情報及び検出処理パラメータ情報に基づいて生成される検出器を用いて前記培地画像取得部で取得した培地画像データに基づくコロニーを検出する検出部とを備える。

本発明の実施の形態に係るコンピュータプログラムは、コンピュータに、微生物が培養された培地の培地画像データを取得する処理と、取得した培地画像データを、培地画像データ及び培地種別を含む学習データを用いて生成された学習モデルに入力し、前記学習モデルが識別する培地種別に基づいてコロニーを検出するための検出アルゴリズムを特定する処理と、特定した検出アルゴリズムを用いて取得した培地画像データに基づくコロニーを検出する処理とを実行させる。

本発明の実施の形態に係るコロニー検出方法は、微生物が培養された培地の培地画像データを取得し、取得された培地画像データを、培地画像データ及び培地種別を含む学習データを用いて生成された識別器に入力し、前記識別器が識別する培地種別に基づいてコロニーを検出するための検出器を特定し、特定された検出器を用いて取得した培地画像データに基づくコロニーを検出する。

本発明の実施の形態に係る識別器生成方法は、微生物が培養された培地の培地画像データを取得し、前記培地画像データの培地種別を取得し、取得された培地画像データ及び培地種別を含む学習データを用いて識別器を生成する。

本発明の実施の形態に係る識別器は、微生物が培養された培地の培地画像データ及び前記培地画像データの培地種別を含む学習データを用いて生成されている。

本発明によれば、コロニーの検出精度を向上することができる。

本実施の形態のコロニー検出装置の構成の一例を示すブロック図である。 フィルム型培地の一例を示す模式図である。 学習モデルの構成の一例を示す模式図である。 畳み込み層で行う処理を示す模式図である。 プーリング層で行う処理を示す模式図である。 学習処理部による学習モデルの学習方法の第１例を示す模式図である。 処理部によるコロニー検出方法の第１例を示す模式図である。 コロニー検出結果の一例を示す模式図である。 学習処理部による学習モデルの学習方法の第２例を示す模式図である。 処理部によるコロニー検出方法の第２例を示す模式図である。 処理部によるコロニー検出方法の第３例を示す模式図である。 学習用サーバによる学習モデルの学習方法の一例を示す模式図である。 学習処理部による学習モデルの学習処理手順の一例を示すフローチャートである。 コロニー検出装置によるコロニー検出処理手順の一例を示すフローチャートである。

以下、本発明の実施の形態を図面に基づいて説明する。図１は本実施の形態のコロニー検出装置５０の構成の一例を示すブロック図である。コロニー検出装置５０には、インターネットなどのネットワーク１を介して１又は複数（図１の例では、１台）の光学式読取装置としてのスキャナ１０が接続されている。スキャナ１０は、企業又は会社などの衛生管理システム１００から後述のフィルム型培地を読み取り、読み取って得られた培地画像データをコロニー検出装置５０に送信することができる。

衛生管理システム１００は、例えば、加工中又は加工後の食品を製造する製造工程又は食品を検査する検査工程において、加工中又は加工後の食品を検体として抽出し、後述のフィルム型培地に試料液（検体）を滴下し、適切な滅菌希釈液を添加し、試料液を希釈し所要の培養条件で培養する。培養後のフィルム型培地は、前述のように、スキャナ１０で読み取ることができる。

図２はフィルム型培地２０の一例を示す模式図である。フィルム型培地２０は、フィルムによって形成された基材シート２１、基材シート２１の中央部に形成された円形の枠２２、枠２２内に設けられる細菌を培養する培養層２３、培養層２３を含む基材シート２１を被覆するカバーシート２４などを備える。なお、図２は、培養後のフィルム型培地を示し、コロニーを目視することができる。コロニーは、目に見えないほど小さな菌を培養し、目に見えるまで菌を増やしたときの菌の集まりをいう。コロニーを計数して菌数としている。

なお、図示していないが、フィルム型培地２０の培養層２３を除く余白に付帯情報を記載することができる。付帯情報には、例えば、検体の種別や希釈液の種別又は希釈率、培養条件などを含めることができる。付帯情報は、印刷された文字又は記号でもよく、手書きされた文字等であってもよい。付帯情報は、スキャナ１０で読み取ることができる。

また、フィルム型培地２０の培養層２３を除く余白に培地種別情報を記載することができる。培地種別情報は、例えば、培地の種類（培地種別）を含み、印刷された文字又は記号でもよく、手書きされた文字等であってもよい。培地種別情報は、スキャナ１０で読み取ることができる。

図１に示すように、コロニー検出装置５０は、装置全体を制御する制御部５１、通信部５２、記憶部５３、調整部５４、判定部５５、出力処理部５６及び処理部６０を備える。処理部６０は、識別器としての学習モデル６１、学習処理部６２及び検出部６３を備える。検出部６３は、検出器としての検出ロジック部６３１及び検出処理パラメータ部６３２を備える。なお、学習モデル６１が学習済みである場合、学習処理部６２は具備しなくてもよく、必須の構成ではない。

制御部５１は、ＣＰＵ、ＲＯＭ及びＲＡＭなどで構成することができる。

通信部５２は、ネットワーク１を介して、スキャナ１０との間で通信を行う機能を有し、スキャナ１０で読み取った情報を受信（取得）することができる。

より具体的には、通信部５２は、培地画像取得部としての機能を有し、微生物（細菌）が培養された培地の培地画像データをスキャナ１０から取得することができる。

通信部５２は、付帯情報取得部としての機能を有し、取得した培地画像データに関連する付帯情報をスキャナ１０から取得することができる。また、通信部５２は、種別情報取得部としての機能を有し、取得した培地画像データの培地種別情報をスキャナ１０から取得することができる。

処理部６０は、例えば、ＣＰＵ（例えば、複数のプロセッサコアを実装したマルチ・プロセッサなど）、ＧＰＵ（Graphics Processing Units）、ＤＳＰ（Digital Signal Processors）、ＦＰＧＡ（Field-Programmable Gate Arrays）などのハードウェアを組み合わせることによって構成することができる。また、量子プロセッサを組み合わせることもできる。

学習モデル６１は、識別器としての機能を有し、多層のニューラルネットワーク（深層学習）を用いることができ、例えば、畳み込みニューラルネットワーク（Convolutional Neural Network）を用いることができるが、他の機械学習を用いてもよい。

図３は学習モデル６１の構成の一例を示す模式図である。図３に示す学習モデル６１は、畳み込みニューラルネットワークであり、入力層６１１、畳み込み層６１２、プーリング層６１３、畳み込み層６１４、プーリング層６１５、全結合層６１６、及び出力層６１７が、この順に接続されている。なお、畳み込み層、プーリング層及び全結合層の数は便宜上のものであり、図３に示す数に限定されない。また、便宜上、活性化関数の層は省略している。入力層６１１には、培地画像データが入力される。学習モデル６１は、１枚のフィルム型培地２０をスキャナ１０で読み取って得られた培地画像データ毎に、識別結果（後述の培地種別、検出処理パラメータなど）を出力することができる。

図４は畳み込み層で行う処理を示す模式図である。畳み込み層の入出力データは、特徴マップとも称され、畳み込み層の入力データを入力特徴マップ、畳み込み層の出力データを出力特徴マップともいう。初段の畳み込み層の入力特徴マップは、入力されたフレーム単位の画像である。畳み込み層で行う処理（「畳み込み演算」ともいう）は、畳み込みフィルタ（「フィルタ」ともいう）によるフィルタ演算である。

図４に示すように、便宜上、入力特徴マップを、８×８ピクセルとする。また、フィルタの大きさを３×３ピクセルとする。畳み込み演算では、入力特徴マップに対して、フィルタのウィンドウを一定の間隔でスライドさせながら、フィルタの要素と入力特徴マップの対応する要素を乗算し、その和を求め、求めた和を出力特徴マップの対応するピクセルに格納する。図４の例では、入力特徴マップのフィルタＦ１に対応する領域Ｓの演算結果が出力特徴マップのピクセルＳ１に格納される。また、入力特徴マップのフィルタＦ２に対応する領域Ｓの演算結果が出力特徴マップのピクセルＳ２に格納される。同様に、入力特徴マップのフィルタＦ３に対応する領域Ｓの演算結果が出力特徴マップのピクセルＳ３に格納される。フィルタを１ピクセルずつ移動させて同様の演算を行うことにより、出力特徴マップは、６×６ピクセルの大きさとなる。ここで、３つのフィルタＦ１、Ｆ２、Ｆ３を用いることにより、３つの出力特徴マップが得られる。

学習モデル６１の学習では、フィルタに関するパラメータとして、例えば、フィルタの要素の値、フィルタの数（図４の例では、３）、フィルタの大きさ（図４の例では、３×３）、フィルタの移動幅（「スライド」ともいう、図４の例では、１ピクセル）、入力特徴マップの周囲（端の領域）を０で埋めるパディングなどを最適化する。畳み込み層により、画像の空間的な特徴を抽出することができる。

図５はプーリング層で行う処理を示す模式図である。プーリング層は、畳み込み層から出力された二次元特徴マップの大きさを縮小する処理を行う。具体的には、画像の局所領域を一つの要素に集約する処理を行う。例えば、図５に示すように、６×６ピクセルの特徴マップ（出力特徴マップ）において、２×２の局所領域（ウィンドウＷ）を、各要素のうちの最大値である「４」に集約している。なお、ウィンドウＷのスライドは、ウィンドウＷの大きさに等しく、図５の例では、２ピクセルずつスライドするので、６×６ピクセルの特徴マップは、３×３ピクセルに縮小される。プーリング層により、画像内で、例えば、特徴部分が多少変形又は変位していても、その変形又は変位による差異を吸収して特徴部分を抽出することができる。

学習処理部６２は、学習データを用いて学習モデル６１を学習・更新（生成）する。学習処理部６２の詳細は後述する。

検出部６３は、培地の種類に応じて、検出ロジック部６３１内の複数の検出ロジック（検出アルゴリズム、検出器ともいう）の中から特定された最適な検出ロジックを用いるとともに、検出処理パラメータ部６３２内の検出処理パラメータの中から特定された最適な検出処理パラメータを用いて、培地画像データに対する画像処理を行って、コロニーを検出する。コロニーの検出は、例えば、コロニーの位置情報（画像上のＸ座標及びＹ座標）、コロニー検出の信頼度などを含む。信頼度は、検出精度を意味し、例えば、コロニーを検出するための色特徴量と色特徴量の閾値との差又は比が大きいほど信頼度が高いとすることができる。

検出処理パラメータには、例えば、培地画像からコロニーを検出する際の色に関する特徴量（色特徴量）、色特徴量の閾値、培地判定を行う際の合否における閾値、マスク半径、検出ロジック用の各種パラメータなどを含む。

次に、学習モデル６１の生成（学習）方法について説明する。

図６は学習処理部６２による学習モデル６１の学習方法の第１例を示す模式図である。図６に示すように、学習処理部６２は、学習データとして、学習用入力データ及び学習用出力データを学習モデル６１に与える。学習用入力データには、培地画像データが含まれる。学習用出力データには、培地の種類（培地種別）、検出部６３が用いる検出処理パラメータの他に、検出部６３が培地画像データに基づいて出力するコロニーの位置情報、コロニー検出の信頼度などを含めることができる。なお、コロニーの位置情報は必須ではない。

学習処理部６２は、培地画像データ及び培地の種類を含む学習データを用いて学習モデル６１を学習・更新（生成）することができる。培地の種類は、例えば、一般生菌数測定用の培地（ＡＣとも称する）、大腸菌群数測定用の培地（ＣＣとも称する）、大腸菌・大腸菌群数測定用の培地（ＥＣとも称する）、黄色ブドウ球菌数測定用の培地（ＳＡとも称する）などを含む。これにより、学習モデル６１は、培地画像データに基づいて、培地の種別を識別（出力）することができる。

また、学習処理部６２は、培地画像データ、コロニーを検出するための検出処理パラメータ及びコロニーの検出結果情報を含む学習データを用いて学習モデル６１を学習・更新（生成）することができる。検出結果情報には、コロニーの位置情報、コロニー検出の信頼度（例えば、コロニーの検出結果がどの程度正しいかの確率）を含めることができる。例えば、学習モデル６１に学習データとして培地画像データを与え、検出処理パラメータを更新する都度、更新した検出処理パラメータ及び更新の結果得られるコロニーの検出結果情報を学習データとして学習モデル６１に与えて、学習モデル６１を学習させることができる。これにより、学習モデル６１は、コロニー検出の信頼度を所定の閾値以上にするために必要な検出処理パラメータを識別（出力）することができる。

次に、コロニーの検出方法について説明する。

図７は処理部６０によるコロニー検出方法の第１例を示す模式図である。学習モデル６１は、培地画像データ及び培地の種類を含む学習データを用いて学習されているので、例えば、培地の種類が未知の培地画像データを学習モデル６１に入力すると、学習モデル６１は、入力された培地画像データに基づいて培地の種類を識別することができる。学習モデル６１が出力（識別）する培地の種類は、例えば、前述のＡＣ、ＣＣ、ＥＣ、ＳＡ毎に、その確率を出力することができる。最も大きい確率の培地の種類を識別結果とすることができる。

検出部６３は、特定部としての機能を有し、学習モデル６１が識別した培地の種別に基づいて、検出ロジック部６３１が有する検出ロジックＡ、Ｂ、Ｃ、Ｄの中から識別した培地の種別に最適な検出ロジックを特定することができる。例えば、培地の種別がＡＣ、ＣＣ、ＥＣ、ＳＡに応じて、検出ロジックＡ、Ｂ、Ｃ、Ｄを特定することができる。これにより、培地の種類に応じて、最適な検出ロジックを特定することができる。なお、図７では、検出ロジックＡ～Ｄを図示しているが、検出ロジックの数は４つに限定されるものでない。なお、学習モデル６１が出力する、ＡＣ、ＣＣ、ＥＣ、ＳＡ毎の確率の大小に応じて、検出ロジックＡ、Ｂ、Ｃ、Ｄの少なくとも２つの一部を組み合わせた検出ロジックを特定してもよい。

検出部６３は、特定した検出ロジックを用いて、培地画像データに対して画像処理を行って、コロニーを検出することができる。

上述の構成により、培地画像データを処理部６０（学習モデル６１）に入力するだけで、培地の種類が識別され、識別された培地の種類に最適な検出ロジックが特定されてコロニーを検出することができるので、検出ロジックの選定などの煩雑な作業が不要になるとともに、コロニーの検出精度を向上させることができる。

また、学習モデル６１は、コロニーを検出するための検出処理パラメータ及びコロニーの検出結果情報を含む学習データを用いて学習されているので、例えば、培地画像データを学習モデル６１に入力すると、学習モデル６１は、培地画像データに対して画像処理を行う検出ロジックに最適な検出処理パラメータ（検出処理パラメータ情報）を特定することができる。

検出部６３は、特定した検出ロジック及び検出ロジックに最適な検出処理パラメータを用いて、培地画像データに対して画像処理を行って、コロニーを検出することができる。

上述の構成により、培地画像データを処理部６０（学習モデル６１）に入力するだけで、検出ロジックに対して最適な検出処理パラメータが特定されてコロニーを検出することができるので、検出処理パラメータの特定などの煩雑な作業な作業が不要になるとともに、コロニーの検出精度を向上させることができる。

出力処理部５６は、学習モデル６１が識別した培地の種類（培地種別）、検出部６３が出力したコロニーの位置情報、コロニー検出の信頼度などに基づいてコロニー検出結果を出力する。

図８はコロニー検出結果の一例を示す模式図である。図８に示すように、培養層の中で、符号Ｍ１で示す矩形状のマークは、１個と計数されたコロニーを示す。コロニーが多色の場合は、色別にコロニーの数を計数することができる。符号Ｍ２で示すマークは、複数のコロニーが繋がっている状態を示す。図８の例では、コロニー数は４個である。符号Ｍ３で示すマークは、コロニーの境界線を示す。コロニーと培地の境目に境界線を表示している。これにより、コロニーの境目を明確に判断することができる。符号Ｍ４で示すマークは、コロニーと誤認する可能性がある着色へのマーカ表示、あるいは誤検知が発生しやすい検体への注意喚起表示である。これにより、コロニーの誤認をしないように注意喚起をすることができる。

調整部５４は、通信部５２で取得した付帯情報に基づいて学習モデル６１が特定する検出処理パラメータを調整することができる。取得した培地画像データは、検体の種別や希釈液の種別又は希釈率、培養条件などに基づいて培養された結果によって得られる画像データであるので、培地画像データには、検体の種別や希釈液の種別又は希釈率、培養条件などの条件も暗示的に含まれていると考えることができる。従って、学習モデル６１が培地画像データを学習データとして学習する場合、学習データの中には検体の種別や希釈液の種別又は希釈率、培養条件などの条件も暗示的に含まれていると考えられる。

しかし、学習モデル６１が特定する検出処理パラメータを付帯情報に基づいて調整することにより、さらに最適な検出処理パラメータを得ることができ、コロニーの検出精度をさらに向上させることができる。

出力処理部５６は、出力部としての機能を有し、学習モデル６１が識別する培地の種類の信頼度が所定の閾値以下である場合、所定の通知を出力する。信頼度は、学習モデル６１の識別結果がどの程度確かであるかを示す指標であり、閾値は、例えば、９８％、９５％など適宜の値を設定できる。所定の通知は、例えば、学習モデル６１が識別する培地の種類が正しくないこと、あるいはコロニーの検出が不可であることを通知するものを含む。これにより、仮にコロニーの検出が不可である場合には、その旨が通知されるので、誤ったコロニー検出がされることを防止できる。

検出部６３は、設定部としての機能を有し、出力処理部５６が所定の通知を出力した場合、コロニーを検出するための所要の検出ロジックを設定することができる。例えば、培地の種類が識別することができず、検出ロジックを特定することができない場合でも、所要の検出ロジックを設定できるようにしたので、コロニーの検出を行うことができる。

判定部５５は、取得した培地画像データに基づいて検出部６３がコロニーを検出することができない場合、通信部５２で取得した培地種別情報（培地の種類）に基づいて、培地画像データの培地の種類を判定することができる。学習モデル６１が培地の種類を識別することができない場合でも、培地種別情報に基づいて培地の種類を判定できるので、学習モデル６１の学習労力を低減することができる。

制御部５１は、学習モデル６１に入力された培地画像データ及び学習モデル６１が識別した培地の種類を学習データとして記憶部５３に収集することができる。学習処理部６２は、収集した学習データを用いて学習モデル６１を更新することができる。収集する学習データには、学習モデル６１による識別が間違ったときのデータを含めることができる。これにより、学習モデル６１を再学習させることができ、学習モデル６１の識別能力を高めることができる。

図９は学習処理部６２による学習モデル６１の学習方法の第２例を示す模式図である。図６に例示した第１例との相違点は、検出ロジックを学習用データとして加えている点である。具体的には、複数の検出ロジックそれぞれを特定するための検出ロジック情報（検出器情報）、及び種々の検出処理パラメータそれぞれを特定するための検出処理パラメータ情報を学習データとして用いることができる。なお、図９の例では、培地種別を学習用データとして用いる構成を示すが、学習用データに培地種別を含めなくてもよい。

学習モデル６１は、培地画像、コロニーを検出するための検出器の検出ロジック情報及び検出処理パラメータ情報を含む学習データを用いて生成されている。これにより、培地画像データを学習モデル６１に入力すると、学習モデル６１は、入力された培地画像データに基づいて、検出ロジック情報及び検出処理パラメータ情報を特定することができる。

図１０は処理部６０によるコロニー検出方法の第２例を示す模式図である。前述の図９に示したように、学習モデル６１は、培地画像、コロニーを検出するための検出器の検出ロジック情報及び検出処理パラメータ情報を含む学習データを用いて生成されているので、検出ロジック情報及び検出処理パラメータ情報を特定することができる。例えば、検出ロジックを検出ロジックＡ、Ｂ、Ｃ、Ｄとすると、検出ロジック情報は、検出ロジックＡ、Ｂ、Ｃ、Ｄそれぞれの最適度（例えば、検出ロジックを採用するのにどの程度適しているかを示す評価指標）を数値又は割合などで示すことができる。また、検出処理パラメータ情報は、例えば、種々の検出処理パラメータそれぞれを用いる場合の最適度を数値又は割合などで示すことができる。

検出部６３は、学習モデル６１が特定した検出ロジック情報を用いて、検出ロジックＡ、Ｂ、Ｃ、Ｄを組み合わせて、新しい検出ロジック６３３を生成することができる。これにより、培地種別を特定する必要がなく、検出ロジックと検出処理パラメータを纏めて特定することができるので、将来の新規な種別に対しても柔軟に対応してコロニーを検出することが可能となる。

図１１は処理部６０によるコロニー検出方法の第３例を示す模式図である。例えば、過去に検査したことがない検体などの未知の検体が培養された培地の培地画像データが学習モデル６１に入力された場合、学習モデル６１が識別した培地種別と当該培地種別に対して最適な検出ロジックを用いても、検出部６３でコロニーを検出できない場合が想定される。図１１の例では、学習モデル６１が、検出部６３に対して、例えば、最適な検出処理パラメータ情報を提供できない様子を符号Ｘで模式的に示している。

このような場合、検出ロジック選択部６３４は、培地種別及び培地画像データに関連する付帯情報に基づいて、新たな検出ロジックを選択（生成）することができる。これにより、未知の検体を検査する場合でも、検出ロジックが自動的に調整されるのでコロニーを検出することが可能となる。

図１２は学習用サーバ２００による学習モデルの学習方法の一例を示す模式図である。学習用サーバ２００は、図１に例示したコロニー検出装置５０と同様の構成を備える。学習用サーバ２００は、Ｈ社の衛生管理システム１００ｈから学習用情報を取得し、Ｊ社の衛生管理システム１００ｊから学習用情報を取得し、Ｋ社の衛生管理システム１００ｋから学習用情報を取得する。なお、図１２の例では、３社の衛生管理システムを図示しているが、学習用情報の取得元は３社に限定されない。

培地情報ＤＢ２１０には、検出ロジック及び検出パラメータなどの情報が記録されている。また、培地情報ＤＢ２１０には、取得した学習用情報（培地画像データなど）を記録することができる。

学習用サーバ２００は、Ｈ社の衛生管理システム１００ｈから取得した学習用情報を用いて学習モデルを学習・更新（生成）して、学習・更新した学習モデルをＨ社用学習モデルとしてＨ社用のコロニー検出装置５０ｈに導入することができる。同様に、学習用サーバ２００は、Ｊ社の衛生管理システム１００ｊから取得した学習用情報を用いて学習モデルを学習・更新（生成）して、学習・更新した学習モデルをＪ社用学習モデルとしてＪ社用のコロニー検出装置５０ｊに導入することができる。また、学習用サーバ２００は、Ｋ社の衛生管理システム１００ｋから取得した学習用情報を用いて学習モデルを学習・更新（生成）して、学習・更新した学習モデルをＫ社用学習モデルとしてＫ社用のコロニー検出装置５０ｋに導入することができる。

上述のように、取得した培地画像データを取得元毎に分類する。取得元は、例えば、企業又は会社などとすることができる。会社が異なれば、取り扱う検体や培養条件などが異なる。分類した取得元毎の培地画像データを含む学習データを用いて学習モデルを取得元毎に生成する。これにより、企業又は会社毎に最適化された学習モデルを生成することができ、学習モデルに識別能力を高めることができる。

図１３は学習処理部６２による学習モデル６１の学習処理手順の一例を示すフローチャートである。以下では、処理の主体を便宜上、学習処理部６２として説明する。学習処理部６２は、培地画像データを取得し（Ｓ１１）、培地の種類（培地種別）を取得する（Ｓ１２）。学習処理部６２は、コロニーの位置情報及びコロニー検出の信頼度を検出部６３から取得し（Ｓ１３）、検出部６３が使用する検出処理パラメータを取得する（Ｓ１４）。

学習処理部６２は、取得した培地画像データ、培地の種類、検出処理パラメータ、コロニーの位置情報及びコロニー検出の信頼度に基づく教師データを生成し（Ｓ１５）、学習モデル６１の学習及び更新を行う（Ｓ１６）。

学習処理部６２は、検出処理パラメータを更新するか否かを判定し（Ｓ１７）、更新する場合（Ｓ１７でＹＥＳ）、検出処理パラメータを更新し（Ｓ１８）、ステップＳ１３以降の処理を続ける。これにより、検出処理パラメータを少しずつ変更して、学習モデル６１を学習させることができる。

検出処理パラメータを更新しない場合（Ｓ１７でＮＯ）、学習処理部６２は、学習用の他の培地画像データの有無を判定し（Ｓ１９）、他の培地画像データがある場合（Ｓ１９でＹＥＳ）、ステップＳ１１以降の処理を続ける。他の培地画像データがない場合（Ｓ１９でＮＯ）、学習処理部６２は、処理を終了する。

図１４はコロニー検出装置５０によるコロニー検出処理手順の一例を示すフローチャートである。以下では、処理の主体を便宜上、制御部５１として説明する。制御部５１は、培地画像データを取得し（Ｓ３１）、培地の種類（培地種別）を判定する（Ｓ３２）。制御部５１は、検出処理パラメータを特定し（Ｓ３３）、検出ロジックを特定する（Ｓ３４）。なお、検出処理パラメータは、学習モデル６１が特定したものであり、検出ロジックは、学習モデル６１が識別した培地の種類に応じて特定することができる。

制御部５１は、特定した検出ロジック及び検出処理パラメータを用いて、取得した培地画像データに対して画像処理を行ってコロニーを検出する（Ｓ３５）。コロニーの検出は、例えば、コロニーの位置情報の検出、コロニー検出の信頼度を求めることを含む。

制御部５１は、コロニー検出の信頼度が所定の閾値以下であるか否かを判定し（Ｓ３６）、信頼度が所定の閾値以下でない場合（Ｓ３６でＮＯ）、コロニー検出結果情報（例えば、図８に示すような情報を含む）を生成して出力し（Ｓ３７）、処理を終了する。信頼度が所定の閾値以下である場合（Ｓ３６でＹＥＳ）、制御部５１は、コロニー検出不可の通知を出力し（Ｓ３８）、処理を終了する。

なお、ステップＳ３８でコロニー検出不可の通知を出力した場合、制御部５１（検出部６３）が、コロニーを検出するための所要の検出ロジックを設定してもよい。これにより、コロニーの検出を行うことができる

本実施の形態の制御部５１及び処理部６０は、ＣＰＵ（プロセッサ）、ＧＰＵ、ＲＡＭ（メモリ）などを備えた汎用コンピュータを用いて実現することもできる。すなわち、図１３及び図１４に示すような、各処理の手順を定めたコンピュータプログラムをコンピュータに備えられたＲＡＭ（メモリ）にロードし、コンピュータプログラムをＣＰＵ（プロセッサ）で実行することにより、コンピュータ上で制御部５１、処理部６０を実現することができる。コンピュータプログラムは記録媒体に記録され流通されてもよい。学習用サーバ２００で学習させた学習モデル６１及びそれに基づくコンピュータプログラムを、ネットワーク１を介して、コロニー検出装置５０に配信してインストールしてもよい。

上述の実施の形態では、フィルム型培地２０をスキャナで読み取ることによって培地画像データを取得する構成であったが、これに限定されるものではなく、例えば、シャーレなどで培養された微生物をカメラなどで撮像することにより、培地画像データを取得してもよい。

上述の実施の形態において、コロニーが無かった場合には、例えば、以下のような処理を行うことができる。第１の処理としては、培地種別が付帯情報に含まれていない場合、例えば、ＡＣが０、ＥＣが０の如く手入力することができる。第２の処理としては、コロニーが有った場合のみ培地種別を記録し、例えば、ＳＡが１００個、それ以外は０のように記録することができる。

本実施のコロニー検出装置は、微生物が培養された培地の培地画像データを取得する培地画像取得部と、前記培地画像取得部で取得した培地画像データを、培地画像及び培地種別を含む学習データを用いて生成された識別器に入力し、前記識別器が識別する培地種別に基づいてコロニーを検出するための検出器を特定する特定部と、前記特定部で特定した検出器を用いて前記培地画像取得部で取得した培地画像データに基づくコロニーを検出する検出部とを備える。

本実施のコンピュータプログラムは、コンピュータに、微生物が培養された培地の培地画像データを取得する処理と、取得した培地画像データを、培地画像データ及び培地種別を含む学習データを用いて生成された学習モデルに入力し、前記学習モデルが識別する培地種別に基づいてコロニーを検出するための検出アルゴリズムを特定する処理と、特定した検出アルゴリズムを用いて取得した培地画像データに基づくコロニーを検出する処理とを実行させる。

本実施のコロニー検出方法は、微生物が培養された培地の培地画像データを取得し、取得された培地画像データを、培地画像データ及び培地種別を含む学習データを用いて生成された識別器に入力し、前記識別器が識別する培地種別に基づいてコロニーを検出するための検出器を特定し、特定された検出器を用いて取得した培地画像データに基づくコロニーを検出する。

本実施の識別器生成方法は、微生物が培養された培地の培地画像データを取得し、前記培地画像データの培地種別を取得し、取得された培地画像データ及び培地種別を含む学習データを用いて識別器を生成する。

本実施の識別器は、微生物が培養された培地の培地画像データ及び前記培地画像データの培地種別を含む学習データを用いて生成されている。

培地画像取得部は、微生物が培養された培地の培地画像データを取得する。具体的には、例えば、フィルム型培地の試料（検体）に適切な滅菌希釈液を添加し、試料液を希釈し所要の培養条件で培養したフィルム型培地を光学式読取装置（例えば、スキャナなど）で読み取って得られた培地画像データを取得することができる。

識別器は、培地画像データ及び培地種別を含む学習データを用いて生成されている。識別器は、多層のニューラルネットワーク（深層学習）を用いることができ、例えば、畳み込みニューラルネットワーク（Convolutional Neural Network）を用いることができるが、他の機械学習を用いてもよい。培地種別は、培地の種類を示し、例えば、一般生菌数測定用の培地（ＡＣとも称する）、大腸菌群数測定用の培地（ＣＣとも称する）、大腸菌・大腸菌群数測定用の培地（ＥＣとも称する）、黄色ブドウ球菌数測定用の培地（ＳＡとも称する）などを含む。

識別器は、培地画像データ及び培地種別を含む学習データを用いて生成（学習）されているので、例えば、培地種別が未知の培地画像データを識別器に入力すると、識別器は、入力された培地画像データに基づいて培地種別を識別することができる。

特定部は、培地画像取得部で取得した培地画像データを識別器に入力し、識別器が識別する培地種別に基づいてコロニーを検出するための検出器を特定する。検出器は、検出ロジック又は検出アルゴリズムである。これにより、培地の種類（培地種別）に応じて、最適な検出器を特定することができる。

検出部は、特定部で特定した検出器を用いて培地画像取得部で取得した培地画像データに基づいてコロニーを検出する。コロニーは、目に見えないほど小さな菌を培養し、目に見えるまで菌を増やしたときの菌の集まりをいう。コロニーを計数して菌数としている。

上述の構成により、培地画像データを識別器に入力するだけで、培地種別が識別され、識別された培地種別に最適な検出器が特定されてコロニーを検出することができるので、検出ロジックの選定などの煩雑な作業が不要になるとともに、コロニーの検出精度を向上させることができる。

本実施のコロニー検出装置において、前記検出部は、前記培地画像取得部で取得した培地画像データを、さらにコロニーを検出するための検出処理パラメータ及びコロニーの検出結果情報を含む学習データを用いて生成された前記識別器に入力し、前記識別器が識別する検出処理パラメータ及び前記検出器に基づいてコロニーを検出する。

本実施の識別器生成方法は、取得された培地画像データに対応するコロニーの検出結果情報を取得し、コロニーを検出するための検出処理パラメータであって、前記検出結果情報に対応する検出処理パラメータを取得し、取得された検出結果情報及び検出処理パラメータを含む学習データを用いて前記識別器を生成する。

識別器は、コロニーを検出するための検出処理パラメータ及びコロニーの検出結果情報を含む学習データを用いて生成（学習）されている。検出結果情報には、コロニーの位置情報、コロニー検出の信頼度（例えば、コロニーの検出結果がどの程度正しいかの確率）を含めることができる。例えば、識別器に学習データとして培地画像データを与え、検出処理パラメータを更新する都度、更新した検出処理パラメータ及び更新の結果得られるコロニーの検出結果情報を学習データとして識別器に与えて、識別器を学習させることができる。これにより、識別器は、コロニー検出の信頼度を所定の閾値以上にするために必要な検出処理パラメータを識別することができる。

検出部は、培地画像取得部で取得した培地画像データを識別器に入力し、識別器が識別する検出処理パラメータ及び検出器に基づいてコロニーを検出する。

上述の構成により、培地画像データを識別器に入力するだけで、検出器に対して最適な検出処理パラメータが識別されてコロニーを検出することができるので、検出処理パラメータの特定などの煩雑な作業な作業が不要になるとともに、コロニーの検出精度を向上させることができる。

本実施のコロニー検出装置は、前記培地画像取得部で取得した培地画像データに関連する付帯情報を取得する付帯情報取得部と、前記識別器が特定する検出処理パラメータを前記付帯情報取得部で取得した付帯情報に基づいて調整する調整部とを備える。

付帯情報取得部は、取得した培地画像データに関連する付帯情報を取得する。例えば、フィルム型培地の培養層を除く余白に文字又は記号などを記載できる領域を設けておき、当該領域に付帯情報を記載しておくことにより、フィルム型培地を光学式読取装置で読み取ることにより、付帯情報を取得することができる。付帯情報には、例えば、検体の種別や希釈液の種別又は希釈率、培養条件などを含めることができる。

調整部は、識別器が特定する検出処理パラメータを付帯情報取得部で取得した付帯情報に基づいて調整する。培地画像取得部で取得する培地画像データは、検体の種別や希釈液の種別又は希釈率、培養条件などに基づいて培養された結果によって得られる画像データであるので、培地画像データには、検体の種別や希釈液の種別又は希釈率、培養条件などの条件も暗示的に含まれていると考えることができる。従って、識別器が培地画像データを学習データとして学習する場合、学習データの中には検体の種別や希釈液の種別又は希釈率、培養条件などの条件も暗示的に含まれていると考えられる。

しかし、識別器が特定する検出処理パラメータを付帯情報に基づいて調整することにより、さらに最適な検出処理パラメータを得ることができ、コロニーの検出精度をさらに向上させることができる。

本実施のコロニー検出装置は、前記識別器が識別する培地種別の信頼度が所定の閾値以下である場合、所定の通知を出力する出力部を備える。

出力部は、識別器が識別する培地種別の信頼度が所定の閾値以下である場合、所定の通知を出力する。信頼度は、識別器の識別結果がどの程度確かであるかを示す指標であり、閾値は、例えば、９８％、９５％など適宜の値を設定できる。所定の通知は、例えば、識別器が識別する培地種別が正しくないこと、あるいはコロニーの検出が不可であることを通知するものを含む。これにより、仮にコロニーの検出が不可である場合には、その旨が通知されるので、誤ったコロニー検出がされることを防止できる。

本実施のコロニー検出装置は、前記出力部が前記通知を出力した場合、コロニーを検出するための所要の検出器を設定する設定部を備える。

設定部は、出力部が通知を出力した場合、コロニーを検出するための所要の検出器を設定する。例えば、培地種別が識別することができず、検出器を特定することができない場合でも、所要の検出器を設定できるようにしたので、コロニーの検出を行うことができる。

本実施のコロニー検出装置は、前記培地画像取得部で取得した培地画像データの培地種別情報を取得する種別情報取得部と、前記培地画像取得部で取得した培地画像データに基づくコロニーが検出されない場合、前記種別情報取得部で取得した培地種別情報に基づいて、前記培地画像データの培地種別を判定する判定部とを備える。

種別情報取得部は、培地画像取得部で取得した培地画像データの培地種別情報を取得する。例えば、フィルム型培地の培養層を除く余白に培地種別情報を記載しておくことができる。培地種別情報は、培地種別を含み、例えば、文字又は記号などで記載することができる。

判定部は、培地画像取得部で取得した培地画像データに基づくコロニーが検出されない場合、種別情報取得部で取得した培地種別情報に基づいて、培地画像データの培地種別を判定する。識別器が培地種別を識別することができない場合でも、培地種別情報に基づいて培地の種類を判定できるので、識別器の学習労力を低減することができる。

本実施のコロニー検出装置は、前記検出部でコロニーを検出できない場合、前記識別器が識別する培地種別及び前記培地画像取得部で取得した培地画像データに関連する付帯情報に基づいて、コロニーを検出するための検出器を生成する生成部を備え、前記生成部で生成した検出器を用いて前記培地画像取得部で取得した培地画像データに基づくコロニーを検出する。

例えば、過去に検査したことがない検体などの未知の検体が培養された培地の培地画像データが識別器に入力された場合、識別器が識別した培地種別と当該培地種別に対して最適な検出器を用いても、検出部でコロニーを検出できない場合が想定される。そこで、検出部でコロニーを検出できない場合には、培地種別及び培地画像データに関連する付帯情報に基づいて、新たな検出器を生成することにより、未知の検体を検査する場合でも、検出器が自動的に調整されるのでコロニーを検出することが可能となる。

本実施のコロニー検出装置は、微生物が培養された培地の培地画像データを取得する培地画像取得部と、前記培地画像取得部で取得した培地画像データを、培地画像、コロニーを検出するための検出器の検出器データ及び検出処理パラメータデータを含む学習データを用いて生成された識別器に入力し、前記識別器が特定する検出器情報及び検出処理パラメータ情報に基づいて生成される検出器を用いて前記培地画像取得部で取得した培地画像データに基づくコロニーを検出する検出部とを備える。

培地画像取得部は、微生物が培養された培地の培地画像データを取得する。具体的には、例えば、フィルム型培地の試料（検体）に適切な滅菌希釈液を添加し、試料液を希釈し所要の培養条件で培養したフィルム型培地を光学式読取装置（例えば、スキャナなど）で読み取って得られた培地画像データを取得することができる。

識別器は、培地画像、コロニーを検出するための検出器の検出器情報及び検出処理パラメータ情報を含む学習データを用いて生成されている。これにより、培地画像データを識別器に入力すると、識別器は、入力された培地画像データに基づいて、検出器情報及び検出処理パラメータ情報を特定することができる。

検出部は、識別器が特定した検出器情報及び検出処理パラメータ情報を用いて培地画像取得部で取得した培地画像データに基づいてコロニーを検出することができる。これにより、培地種別を特定する必要がなく、検出器と検出処理パラメータを纏めて特定することができるので、将来の新規な種別に対しても柔軟に対応してコロニーを検出することが可能となる。

本実施のコロニー検出方法は、フィルム状の基材シート上に形成された培養層で微生物が培養された培地を光学読取装置で読み取り、前記光学読取装置で読み取って得られた培地画像データを取得する。

培地画像データは、フィルム状の基材シート上に形成された培養層で微生物が培養された培地を光学読取装置で読み取ることによって取得できる。

本実施の識別器生成方法は、前記識別器に入力された培地画像データ及び前記識別器が識別した培地種別を学習データとして収集し、収集した学習データを用いて前記識別器を更新する。

識別器に入力された培地画像データ及び識別器が識別した培地種別を学習データとして収集し、収集した学習データを用いて識別器を更新する。収集する学習データには、識別器による識別が間違ったときのデータを含めることができる。これにより、識別器を再学習させることができ、識別器の識別能力を高めることができる。

本実施の識別器生成方法は、取得した培地画像データを取得元毎に分類し、分類した取得元毎の培地画像データを含む学習データを用いて前記識別器を取得元毎に生成する。

取得した培地画像データを取得元毎に分類する。取得元は、例えば、企業又は会社などとすることができる。会社が異なれば、取り扱う検体や培養条件などが異なる。分類した取得元毎の培地画像データを含む学習データを用いて識別器を取得元毎に生成する。これにより、企業又は会社毎に最適化された識別器を生成することができ、識別器に識別能力を高めることができる。

２０ フィルム型培地
２１ 基材シート
２２ 枠
２３ 培養層
２４ カバーシート
５０ コロニー検出装置
５１ 制御部
５２ 通信部
５３ 記憶部
５４ 調整部
５５ 判定部
５６ 出力処理部
６０ 処理部
６１ 学習モデル
６２ 学習処理部
６３ 検出部
６３１ 検出ロジック部
６３２ 検出処理パラメータ部

Claims (10)

1. 微生物が培養された培地の培地画像データを取得する培地画像取得部と、
   培地画像データ及び培地種別を含む学習データを用いて生成され、培地画像データを入力した場合に培地種別を出力する識別器に、前記培地画像取得部で取得した培地画像データを入力し、前記識別器が出力する培地種別に基づいてコロニーを検出するための検出器を特定する特定部と、
   前記特定部で特定した検出器を用いて前記培地画像取得部で取得した培地画像データに基づくコロニーを検出する検出部と
   を備えるコロニー検出装置。
2. 前記検出部は、
   前記培地画像取得部で取得した培地画像データを、さらにコロニーを検出するための検出処理パラメータ及びコロニーの検出結果情報を含む学習データを用いて生成された前記識別器に入力し、前記識別器が識別する検出処理パラメータ及び前記検出器に基づいてコロニーを検出する請求項1に記載のコロニー検出装置。
3. 前記培地画像取得部で取得した培地画像データに関連する付帯情報を取得する付帯情報取得部と、
   前記識別器が特定する検出処理パラメータを前記付帯情報取得部で取得した付帯情報に基づいて調整する調整部と
   を備える請求項２に記載のコロニー検出装置。
4. 前記識別器が識別する培地種別の信頼度が所定の閾値以下である場合、所定の通知を出力する出力部を備える請求項１から請求項３のいずれか一項に記載のコロニー検出装置。
5. 前記検出部は、複数の検出ロジックを有する検出器を備え、
   前記検出部は、前記出力部が前記通知を出力した場合、前記複数の検出ロジックの中から、コロニーを検出するための所要の検出ロジックを設定する請求項４に記載のコロニー検出装置。
6. 前記培地画像取得部で取得した培地画像データの培地種別情報を取得する種別情報取得部と、
   前記培地画像取得部で取得した培地画像データに基づくコロニーが検出されない場合、前記種別情報取得部で取得した培地種別情報に基づいて、前記培地画像データの培地種別を判定する判定部と
   を備える請求項１から請求項４のいずれか一項に記載のコロニー検出装置。
7. 前記検出部は、コロニーを検出できない場合、前記識別器が識別する培地種別及び前記培地画像取得部で取得した培地画像データに関連する付帯情報並びに前記識別器が出力する、検出ロジックそれぞれの最適度を含む検出ロジック情報に基づいて、前記複数の検出ロジックの全部又は一部を組み合わせて、コロニーを検出するための検出ロジックを生成し、
   生成した検出ロジックを用いて前記培地画像取得部で取得した培地画像データに基づくコロニーを検出する請求項５に記載のコロニー検出装置。
8. コンピュータに、
   微生物が培養された培地の培地画像データを取得する処理と、
   培地画像データ及び培地種別を含む学習データを用いて生成され、培地画像データを入力した場合に培地種別を出力する学習モデルに、取得した培地画像データを入力し、前記学習モデルが出力する培地種別に基づいてコロニーを検出するための検出アルゴリズムを特定する処理と、
   特定した検出アルゴリズムを用いて取得した培地画像データに基づくコロニーを検出する処理と
   を実行させるコンピュータプログラム。
9. 微生物が培養された培地の培地画像データを取得し、
   培地画像データ及び培地種別を含む学習データを用いて生成され、培地画像データを入力した場合に培地種別を出力する識別器に、取得した培地画像データを入力し、前記識別器が出力する培地種別に基づいてコロニーを検出するための検出器を特定し、
   特定された検出器を用いて取得した培地画像データに基づくコロニーを検出するコロニー検出方法。
10. フィルム状の基材シート上に形成された培養層で微生物が培養された培地を光学読取装置で読み取り、
    前記光学読取装置で読み取って得られた培地画像データを取得する請求項９に記載のコロニー検出方法。

Images