JP7206533B2 - 検査システム及び検査方法 - Google Patents

検査システム及び検査方法 Download PDF

Info

Publication number
JP7206533B2
JP7206533B2 JP2022040545A JP2022040545A JP7206533B2 JP 7206533 B2 JP7206533 B2 JP 7206533B2 JP 2022040545 A JP2022040545 A JP 2022040545A JP 2022040545 A JP2022040545 A JP 2022040545A JP 7206533 B2 JP7206533 B2 JP 7206533B2
Authority
JP
Japan
Prior art keywords
image data
microorganisms
trained model
microorganism
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022040545A
Other languages
English (en)
Other versions
JP2022146910A (ja
Inventor
蕉吾 川合
奈緒美 吉村
葵 後藤
わかな 高野
竜一郎 大音
祥太郎 前田
美伶 金武
敬 並川
志保 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daikin Industries Ltd
Original Assignee
Daikin Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daikin Industries Ltd filed Critical Daikin Industries Ltd
Publication of JP2022146910A publication Critical patent/JP2022146910A/ja
Priority to JP2022211149A priority Critical patent/JP2023061925A/ja
Application granted granted Critical
Publication of JP7206533B2 publication Critical patent/JP7206533B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12QMEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • C12Q1/04Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00Sampling; Preparing specimens for investigation
    • G01N1/28Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/38Diluting, dispersing or mixing samples
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06Investigating concentration of particle suspensions
    • G01N15/0606Investigating concentration of particle suspensions by collecting particles on a support
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06Investigating concentration of particle suspensions
    • G01N15/075Investigating concentration of particle suspensions by optical means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1486Counting the particles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Dispersion Chemistry (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Microbiology (AREA)
  • Genetics & Genomics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biotechnology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Toxicology (AREA)
  • Signal Processing (AREA)
  • Sustainable Development (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Description

本開示は、検査システム及び検査方法に関する。
従来より、空調機内のほこり等に含まれる環境微生物(例えば、カビ)の有無、種類を検査し、検査結果を提供するサービスが行われている。かかるサービスを行うことにより、サービス提供者は、検査結果に応じた最適な空気環境を実現するための提案(例えば、空調機の洗浄やフィルタ交換等)を行うことができる。
特開2007-195454号公報 特表2020-529869号公報 国際公開第2019/074926号
しかしながら、環境微生物の有無、種類を検査するのに、これまでは、採取した試料(環境微生物が含まれるほこり等)を培地により培養する培養法が用いられ、検査結果の提供に時間を要していた。
本開示は、環境微生物の検査に要する時間を短縮する検査システム及び検査方法を提供する。
本開示の第1の態様は、
室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
室内環境もしくは機器から採取された試料を直接撮影する撮像部と、
前記撮像部により撮影された画像データ内の微生物またはカビを検査し検査結果を出力する出力部とを有する。
本開示の第1の態様によれば、環境微生物の検査に要する時間を短縮する検査システムを提供することができる。
また、本開示の第2の態様は、
室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影する撮像部と、
前記撮像部により撮影された画像データ内の微生物またはカビを検査し検査結果を出力する出力部とを有する。
本開示の第2の態様によれば、環境微生物の検査に要する時間を短縮する検査システムを提供することができる。
また、本開示の第3の態様は、第1または第2の態様に記載の検査システムであって、
前記撮像部が撮影する撮像対象は、室内環境もしくは機器から採取された溶液であり、前記撮像部は、前記撮像対象を、可視光下または紫外光下でレンズを介して撮影する。
また、本開示の第4の態様は、第3の態様に記載の検査システムであって、
前記溶液は、室内環境もしくは機器から採取された試料を溶液化することで得られる。
また、本開示の第5の態様は、第3の態様に記載の検査システムであって、
採取先は、空調機、空気清浄機、加湿器、換気設備、送風機、室内環境の表面のいずれかである。
また、本開示の第6の態様は、第3の態様に記載の検査システムであって、
前記画像データ内の各領域の属性を判定する第1の学習済みモデルを有する。
また、本開示の第7の態様は、第6の態様に記載の検査システムであって、
前記第1の学習済みモデルにより、微生物またはカビを含むと判定された領域について、微生物またはカビの種類を判定する第2の学習済みモデルを有する。
また、本開示の第8の態様は、第1乃至第7のいずれかの態様に記載の検査システムであって、
前記出力部は、前記撮像部により撮影された画像データ内の微生物またはカビの数を種類ごとに集計して出力する。
また、本開示の第9の態様は、
室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
室内環境もしくは機器から採取された試料を直接撮影する撮像部と、
前記撮像部により撮影された画像データ内の微生物またはカビを検査し検査結果を出力する出力部と、を有し、
前記出力部は、微生物またはカビの種類、微生物またはカビの数または比率、前記撮像部により撮影された画像データを検査結果として表示するとともに、前記室内環境もしくは機器を示す情報、前記微生物またはカビの説明、汚染度のレベル、他の検査結果との比較結果、のいずれか1つを表示する。
また、本開示の第10の態様は、
室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影する撮像部と、
前記撮像部により撮影された画像データ内の微生物またはカビを検査し検査結果を出力する出力部と、有し、
前記出力部は、微生物またはカビの種類、微生物またはカビの数または比率、前記撮像部により撮影された画像データを検査結果として表示するとともに、前記室内環境もしくは機器を示す情報、前記微生物またはカビの説明、汚染度のレベル、他の検査結果との比較結果、のいずれか1つを表示する。
また、本開示の第11の態様は、第3乃至7のいずれかの態様に記載の検査システムであって、
前記撮像対象は、採取された試料を分散させて溶液化することで得られる。
また、本開示の第12の態様は、第11の態様に記載の検査システムであって、
前記撮像対象は、空調機から採取された試料を分散させて溶液化することで得られる。
また、本開示の第13の態様は、第11または12の態様に記載の検査システムであって、
前記撮像対象は、界面活性剤を溶かした生理食塩水に、採取された試料を分散させて溶液化することで得られる。
また、本開示の第14の態様は、第11乃至13のいずれかの態様に記載の検査システムであって、
前記撮像対象には、界面活性剤を溶かした生理食塩水に、採取された試料を分散させて溶液化することで得られる第1の溶液と、該第1の溶液を、更に、界面活性剤を溶かした生理食塩水を用いて希釈した第2の溶液とが含まれる。
また、本開示の第15の態様は、第7の態様に記載の検査システムであって、
前記第1の学習済みモデルにより属性が判定された各領域は、32×32画素以上である。
また、本開示の第16の態様は、第7の態様に記載の検査システムであって、
前記第1の学習済みモデルは、同一種類の微生物またはカビが含まれる画像データと、該画像データ内の微生物またはカビを含むと判定された各領域の位置が複数の座標により特定された位置情報とが対応付けられた学習用データを用いて学習処理が行われることで生成される。
また、本開示の第17の態様は、第7の態様に記載の検査システムであって、
前記第2の学習済みモデルは、前記微生物またはカビの種類を判定した場合に、判定した種類ごとに前記微生物またはカビを計数する。
また、本開示の第18の態様は、第1乃至17のいずれかの態様に記載の検査システムであって、
前記検査システムは、携帯端末であり、
前記撮像部は、前記携帯端末に内蔵されている。
また、本開示の第19の態様は、第7の態様に記載の検査システムであって、
前記検査システムは、前記撮像対象を載置する携帯可能な撮影台と、該撮影台と接続される携帯端末とを有し、
前記撮影台は、前記撮像部を有し、
前記携帯端末は、前記第1の学習済みモデルと前記第2の学習済みモデルと前記出力部とを有する。
また、本開示の第20の態様は、第7、15または16のいずれかの態様に記載の検査システムであって、
前記第1の学習済みモデルは、学習済みのYOLOである。
また、本開示の第21の態様は、第7または17の態様に記載の検査システムであって、
前記第2の学習済みモデルは、同一種類の微生物またはカビが含まれる画像データの微生物またはカビを含むと判定された各領域の部分画像データと、該微生物またはカビの種類とが対応付けられた学習用データを用いて学習処理が行われることで生成される。
また、本開示の第22の態様は、第7、17または21のいずれかの態様に記載の検査システムであって、
前記第2の学習済みモデルは、学習済みのDMLである。
また、本開示の第23の態様は、
室内環境もしくは機器に発生する微生物またはカビを検査する検査システムの検査方法であって、
室内環境もしくは機器から採取された試料を直接撮影する工程と、
撮影された画像データ内の微生物またはカビを検査し検査結果を出力する工程とを有する。
また、本開示の第24の態様は、
室内環境もしくは機器に発生する微生物またはカビを検査する検査システムの検査方法であって、
室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影する工程と、
撮影された画像データ内の微生物またはカビを検査し検査結果を出力する工程とを有する。
学習フェーズにおける検査サービス提供システムの適用例を示す第1の図である。 検査フェーズにおける検査サービス提供システムの適用例を示す第1の図である。 携帯端末及び画像処理装置のハードウェア構成の一例を示す図である。 画像処理装置の学習用データ生成処理に関する機能の機能構成の一例を示す図である。 画像処理装置の学習処理に関する機能の機能構成の一例を示す図である。 携帯端末の検査処理に関する機能の機能構成の一例を示す図である。 携帯端末による検査結果の提供例を示す図である。 学習処理の流れを示すフローチャートである。 検査処理の流れを示すフローチャートである。 学習フェーズにおける検査サービス提供システムの適用例を示す第2の図である。 検査フェーズにおける検査サービス提供システムの適用例を示す第2の図である。 検査結果を含むレポートの一例を示す図である。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
[第1の実施形態]
<学習フェーズにおける検査サービス提供システム>
はじめに、第1の実施形態に係る検査システムを含む検査サービス提供システムのうち、学習フェーズにおける検査サービス提供システムの適用例について説明する。図1は、学習フェーズにおける検査サービス提供システムの適用例を示す第1の図である。図1に示すように、学習フェーズにおいて検査サービス提供システム100は、携帯端末120(第1の実施形態に係る検査システムの一例)と、撮影台130と、画像処理装置140とを有する。
学習フェーズにおいて、携帯端末120を用いて撮影される撮像対象は、以下の手順により取得され、可視光下(例えば、蛍光下)または紫外光下で直接撮影される。
(1)実験者が実験用の空調機(室内機)150から試料(ほこり160)を採取する(なお、空調機(室内機)150の内部から採取しても、空調機(室内機)150の外表面から採取してもよい)。
(2)界面活性剤を溶かした生理食塩水の溶液170に、採取した試料を分散させて溶液化する。なお、ここでいう「試料を分散させて溶液化する」ことには、「分散させて溶液化した試料を乾燥させる」ことが含まれていてもよい。
(3)溶液化した試料を、溶液170から採取し(例えば、10μl)、スライドガラスに滴下することで、プレパラートを生成する。このとき、同一種類の環境微生物のみが含まれるように試料181_1~181_6を採取し、種類ごとに、異なるスライドガラスに滴下することで、プレパラート180_1~180_6を生成する。なお、図1の例は、空調機(室内機)150から採取した試料(ほこり160)に、6種類の環境微生物が含まれていた場合を示している。
(4)生成したプレパラート180_1~180_6を、撮像対象として、順次、撮影台130に載置し、携帯端末120を用いて可視光下(例えば、蛍光下)または紫外光下で撮影する。
つまり、学習フェーズにおいて「直接撮影する」とは、試料の採取(1)から撮影(4)までの手順において、「環境微生物の培養」が含まれないこと(試料が採取された状態から、環境微生物を増やすことなく撮影が行われること)を指す。また、「撮影」とは、環境微生物個体(カビの場合にあっては、カビ個体、具体的には、胞子及び菌糸の単位1つ分。細菌の場合にあっては、細菌個体1つ分)の外観(色と形)の情報を取得することを指す。
撮影台130は携帯可能に構成されており、図1に示すように、レンズ131、載置部132、レンズ支持部133を有する。
レンズ131は、撮像対象(図1の例では、プレパラート180_1)を所定の倍率に拡大する。
載置部132は、撮像対象(図1の例では、プレパラート180_1)が載置される部材である。
レンズ支持部133は、載置部132に載置された撮像対象から所定の距離だけ離れた位置にてレンズ131を支持する部材であって、上面に携帯端末120が載置される部材である。なお、レンズ支持部133には、載置部132に載置された撮像対象とレンズ131との間の距離を可変とするための昇降機構を備えられていてもよい。
携帯端末120は、撮像装置121(撮像部の一例)を内蔵し、レンズ131の位置と、撮像装置121の位置とが一致するようにレンズ支持部133に載置されることで、撮像対象(図1の例では、プレパラート180_1)を可視光下で撮影する。
また、学習フェーズにおいて、携帯端末120は、撮影した画像データ122_1を、画像処理装置140に送信する。
画像処理装置140は、携帯端末120より送信された画像データ122_1に基づいて、学習用データを生成する。また、画像処理装置140は、生成した学習用データを用いて、学習モデルについて学習処理を行い、学習済みモデルを生成する。学習フェーズにおいて生成された学習済みモデルは、検査フェーズにおいて、携帯端末120にインストールされる。
<検査フェーズにおける検査サービス提供システム>
次に、第1の実施形態に係る検査システムを含む検査サービス提供システムのうち、検査フェーズにおける検査サービス提供システムの適用例について説明する。図2は、検査フェーズにおける検査サービス提供システムの適用例を示す第1の図である。図2に示すように、検査フェーズにおいて検査サービス提供システム100は、携帯端末120(第1の実施形態に係る検査システムの一例)と、撮影台130とを有する。
検査フェーズにおいて、携帯端末120を用いて撮影される撮像対象は、以下の手順により取得され、可視光下(例えば、蛍光下)または紫外光下で直接撮影される。
(1)サービス提供者が検査結果の提供先となるユーザの空調機(室内機)210から試料(ほこり220)を採取する(なお、空調機(室内機)210の内部から採取しても、空調機(室内機)210の外表面から採取してもよい)。
(2)界面活性剤を溶かした生理食塩水の溶液230に、採取した試料を分散させて溶液化する。なお、ここでいう「試料を分散させて溶液化する」ことには、「分散させて溶液化した試料を乾燥させる」ことが含まれていてもよい。
(3)溶液化した試料241を、溶液230から採取し(例えば、10μl)、スライドガラスに滴下することで、プレパラート240を生成する。
(4)生成したプレパラート240を、撮像対象として、撮影台130に載置し、携帯端末120を用いて可視光下(例えば、蛍光下)または紫外光下で撮影する。
つまり、検査フェーズにおいて「直接撮影する」とは、試料の採取(1)から撮影(4)までの手順において、「環境微生物の培養」が含まれないこと(試料が採取された状態から、環境微生物を増やすことなく撮影が行われること)を指す。また、「撮影」とは、環境微生物個体(カビの場合にあっては、カビ個体、具体的には、胞子及び菌糸の単位1つ分。細菌の場合にあっては、細菌個体1つ分)の外観(色と形)の情報を取得することを指す。
図2に示すように、撮影台130は、レンズ131、載置部132、レンズ支持部133を有する。なお、検査フェーズにおいて用いる撮影台130は、学習フェーズにおいて用いる撮影台130(図1)と同様であるため、ここでは、各部の詳細な説明は省略する。
携帯端末120は、撮像装置121を内蔵し、レンズ131の位置と、撮像装置121の位置とが一致するようにレンズ支持部133に載置されることで、撮像対象(図2の例では、プレパラート240)を可視光下(例えば、蛍光下)または紫外光下で撮影する。
また、検査フェーズにおいて、携帯端末120には、学習済みモデルがインストールされており、撮影した画像データ250を、当該学習済みモデルを用いて処理することで、検査結果260を提供する。
このように、学習済みモデルを用いて環境微生物の有無、種類等を検査する構成とすることで、検査サービス提供システム100によれば、以下のような効果を享受することができる。
・カビ(菌界に属し、特に酵母や子嚢菌にあたるもの)等のように、種類によらず形状が似ている環境微生物であっても、撮影した画像データ内の環境微生物を精度よく同定することができる。
・培養法を用いる必要がないため、検査結果の提供に要する時間を短縮することが可能となり、例えば、サービス提供者が検査結果の提供先となるユーザを訪問した際、当該ユーザの空調機から試料を採取し、その場で、検査結果を提供することが可能となる。この結果、検査結果に応じた最適な空気環境を実現するための提案(空調機の洗浄やフィルタ交換等)を、直ちに行うことができる。
・培養法を用いる必要がないため、検査結果の提供に要するコストを削減することが可能となる(専門の業者に依頼する必要がなくなる)。
・培養法を用いる必要がないため、死んだ環境微生物(つまり、生菌だけでなく死菌)についても同定することが可能となる(生きた環境微生物を採取する必要がなくなる)。
<携帯端末及び画像処理装置のハードウェア構成>
次に、携帯端末120及び画像処理装置140のハードウェア構成について説明する。図3は、携帯端末及び画像処理装置のハードウェア構成の一例を示す図である。
(1)携帯端末のハードウェア構成
図3(a)は、携帯端末120のハードウェア構成の一例である。図3(a)に示すように、携帯端末120は、プロセッサ301、メモリ302、補助記憶装置303、表示装置304、操作装置305、通信装置306、撮像装置121を有する。なお、携帯端末120の各ハードウェアは、バス307を介して相互に接続されている。
プロセッサ301は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等の各種演算デバイスを有する。プロセッサ301は、各種プログラム(例えば、検査フェーズにあっては検査プログラム等)をメモリ302上に読み出して実行する。
メモリ302は、ROM(Read Only Memory)、RAM(Random Access Memory)等の主記憶デバイスを有する。プロセッサ301とメモリ302とは、いわゆるコンピュータを形成し、プロセッサ301が、メモリ302上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
補助記憶装置303は、各種プログラムや、各種プログラムがプロセッサ301によって実行される際に用いられる各種データを格納する。
表示装置304は、撮影された画像データ122_1、250や検査結果260等を表示する表示デバイスである。操作装置305は、携帯端末120に対する各種指示を入力する際に用いる入力デバイスである。
通信装置306は、例えば、画像処理装置140と通信するための通信デバイスである。撮像装置121は、撮像対象であるプレパラート180_1~180_6、240を撮影する。
なお、補助記憶装置303にインストールされる各種プログラムは、例えば、通信装置306を介してネットワークからダウンロードされることで、インストールされるものとする。
(2)画像処理装置のハードウェア構成
図3(b)は、画像処理装置140のハードウェア構成の一例である。なお、画像処理装置140のハードウェア構成は、携帯端末120のハードウェア構成と概ね同じであるため、ここでは、携帯端末120との相違点を中心に説明する。
プロセッサ321は、例えば、学習プログラム等をメモリ322上に読み出して実行する。補助記憶装置323は、例えば、学習用データ格納部(後述)を実現する。
ドライブ装置327は記録媒体329をセットするためのデバイスである。ここでいう記録媒体329には、CD-ROM、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体329には、ROM、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、補助記憶装置323にインストールされる各種プログラムは、例えば、配布された記録媒体329がドライブ装置327にセットされ、該記録媒体329に記録された各種プログラムがドライブ装置327により読み出されることでインストールされる。あるいは、補助記憶装置323にインストールされる各種プログラムは、通信装置326を介してネットワークからダウンロードされることで、インストールされてもよい。
<画像処理装置の機能構成>
次に、画像処理装置140の機能構成について説明する。上述したように、画像処理装置140には、学習プログラムがインストールされており、当該プログラムが実行されることで画像処理装置140は、
・学習用データを生成する学習用データ生成処理に関する機能、
・学習用データを用いて、学習モデルに対して学習処理を行う学習処理に関する機能、
等を実現する。そこで、以下では、画像処理装置140が実現するこれらの機能について、分けて説明する。
(1)学習用データ生成処理に関する機能
はじめに、学習用データ生成処理に関する機能について説明する。図4は、画像処理装置の学習用データ生成処理に関する機能の機能構成の一例を示す図である。図4に示すように、画像処理装置140は、学習用データ生成処理に関する機能として、画像データ取得部410、正解ラベル取得部420、学習用データ生成部430を有する。
画像データ取得部410は、学習フェーズにおいて携帯端末120により可視光下(例えば、蛍光下)または紫外光下で撮影された画像データ122_1~122_6を取得する。なお、画像データ122_1~122_6は、それぞれ、プレパラート180_1~180_6を可視光下(例えば、蛍光下)または紫外光下で撮影した画像データである。
正解ラベル取得部420は、実験者450により入力された正解ラベルを取得する。実験者450は、プレパラート180_1~180_6それぞれの試料181_1~181_6に含まれる環境微生物の種類を、正解データとして画像処理装置140に入力し、正解ラベル取得部420は、これを取得する。
なお、本実施形態において、実験者450は、試料181_1に含まれる環境微生物の種類として、"カビA"を入力し、試料181_2に含まれる環境微生物の種類として、"カビB"を入力するものとする。また、実験者450は、試料181_3に含まれる環境微生物の種類として、"カビC"を、試料181_4に含まれる環境微生物の種類として、"カビD"をそれぞれ入力するものとする。更に、実験者450は、試料181_5に含まれる環境微生物の種類として、"カビE"を、試料181_6に含まれる環境微生物の種類として、"カビF"をそれぞれ入力するものとする。
学習用データ生成部430は、画像データ取得部410により取得された画像データ122_1~122_6と、正解ラベル取得部420により取得された、対応する環境微生物の種類("カビA"~"カビF")とを対応付けて学習用データを生成する。また、学習用データ生成部430は、生成した学習用データを、学習用データ格納部440に格納する。
図4において、学習用データ441~446は、学習用データ生成部430により生成され、学習用データ格納部440に格納された学習用データを示している。図4に示すように、学習用データ441~446は、情報の項目として、"画像データ"、"画像領域"、"部分画像"、"正解ラベル"を有する。
このうち、"画像データ"には、画像データ取得部410により取得された画像データのファイル名が格納される。図4の例において、「画像データ1」~「画像データ6」は、それぞれ、画像データ122_1~122_6のファイル名である。
"画像領域"には、画像データ内において環境微生物を1つ含むと判定された各領域の位置情報(複数の(x座標、y座標)、例えば、領域の対角2頂点の(x座標、y座標))が格納される。図4の場合、例えば、"領域1-1"(=座標(x11a,y11a)、(x11b,y11b))が格納される。
"部分画像"には、"画像領域"により特定される、画像データ内において環境微生物を1つ含むと判定された各領域の画像データ(部分画像データ)のファイル名が格納される。なお、1つの環境微生物を含むとは、例えば、環境微生物がカビの場合にあっては、胞子の単位を1つ含むことを指す。
"正解ラベル"には、"画像領域"により特定される各領域の環境微生物の種類が格納される。図4の例の場合、学習用データ441の"正解ラベル"から学習用データ446の"正解ラベル"には、それぞれ、"カビA"~"カビF"が格納される。
(2)学習処理に関する機能
次に、学習処理に関する機能について説明する。図5は、画像処理装置の学習処理に関する機能の機能構成の一例を示す図である。図5に示すように、画像処理装置140は、学習処理に関する機能として、第1学習部510、第2学習部520を有する。
第1学習部510は、画像データ内において環境微生物を含む領域を判定する処理を学習する。具体的には、第1学習部510は、YOLO511と比較/変更部512とを有する。
YOLO511は、学習用データにおいて、"画像データ"により特定されるファイル名の画像データを入力として、画像データ内の各領域の位置情報及び各領域の属性情報(環境微生物か否か等)を判定する学習モデルである。
比較/変更部512は、YOLO511により判定された各領域の位置情報及び各領域の属性情報と、学習用データの"画像領域"により特定される環境微生物を含むと判定された各領域の位置情報とを比較し、誤差を算出する。また、比較/変更部512は、算出した誤差を逆伝播し、YOLO511のモデルパラメータを更新する。
例えば、学習用データ441の場合、比較/変更部512は、
・ファイル名=「画像データ1」の画像データ122_1をYOLO511に入力することで、YOLO511より出力される各領域の位置情報及び各領域の属性情報と、
・画像領域="領域1-1"、"領域1-2"、"領域1-3"、・・・により特定される環境微生物を含むと判定された各領域の位置情報と、
を比較し、誤差を算出する。
第2学習部520は、画像データ内において環境微生物を含むと判定された各領域の画像データ(部分画像データ)から環境微生物の種類を判定する処理を学習する。具体的には、第2学習部520は、DML(Deep Metric learning)521と比較/変更部522とを有する。
DML521は、学習用データにおいて、"部分画像"により特定される部分画像データを入力として、環境微生物の種類(本実施形態では、6種類)を出力(6種類の分類確率を出力)する学習モデルである。
比較/変更部522は、DML521により判定された環境微生物の種類と、学習用データの"正解ラベル"により特定される環境微生物の種類(の分類確率(例えば、1.0))とを比較し、誤差を算出する。また、比較/変更部522は、算出した誤差を逆伝播し、DML521のモデルパラメータを更新する。
例えば、学習用データ441の場合、比較/変更部522は、
・ファイル名=「画像1-1」の部分画像データを、DML521に入力することで、DML521より判定される環境微生物の種類と、
・正解ラベル="カビA"と、
を比較し、誤差を算出する。
<携帯端末の機能構成>
次に、携帯端末120の機能構成について説明する。上述したように、携帯端末120には、検査プログラムがインストールされており、当該プログラムが実行されることで携帯端末120は、検査処理に関する機能が実現される。そこで、以下では、携帯端末120が実現する検査処理に関する機能について説明する。
図6は、携帯端末の検査処理に関する機能の機能構成の一例を示す図である。図6に示すように、携帯端末120は、検査処理に関する機能として、画像データ取得部610、第1推論部620、部分画像抽出部630、第2推論部640、出力部650を有する。なお、第1推論部620、部分画像抽出部630、第2推論部640は、画像データ内の環境微生物を同定する同定部として機能する。
画像データ取得部610は、検査フェーズにおいて可視光下(例えば、蛍光下)または紫外光下で撮影された画像データ660を取得する。なお、画像データ660は、プレパラート240を可視光下(例えば、蛍光下)または紫外光下で撮影した画像データである。
第1推論部620は、学習フェーズにおいて、第1学習部510がYOLO511に対して学習処理を行うことで生成した学習済みのYOLO621(第1の学習済みモデルの一例)を有する。第1推論部620は、学習済みのYOLO621に画像データ660を入力することで、学習済みのYOLO621を実行させる。これにより、学習済みのYOLO621は、画像データ660内の各領域の位置情報及び各領域の属性情報(環境微生物を含むか否か等)を判定する。
図6の例は、画像データ660において、
・領域1の位置情報として座標(x1a,y1a)、(x1b,y1b)を判定し、当該領域が環境微生物を含む領域であると判定し、
・領域2の位置情報として座標(x2a,y2a)、(x2b,y2b)を判定し、当該領域が環境微生物を含む領域であると判定し、
・領域3の位置情報として座標(x3a,y3a)、(x3b,y3b)を判定し、当該領域が環境微生物を含む領域であると判定し、
・領域4の位置情報として座標(x4a,y4a)、(x4b,y4b)を判定し、当該領域が環境微生物を含む領域であると判定し、
・領域5の位置情報として座標(x5a,y5a)、(x5b,y5b)を判定し、当該領域が環境微生物を含む領域であると判定し、
・領域1~領域5以外の領域が、環境微生物を含まない領域であると判定、
した様子を示している。
なお、第1推論部620は、学習済みのYOLO621により判定された、画像データ660内の各領域の位置情報及び各領域の属性情報を、部分画像抽出部630及び出力部650に通知する。
部分画像抽出部630は、第1推論部620より通知された、画像データ660内の各領域の位置情報及び各領域の属性情報に基づいて、画像データ660内の環境微生物を含む各領域の画像データ(部分画像データ)を抽出する。図6の例は、部分画像抽出部630が、領域1~領域5の部分画像データ631~635を抽出した様子を示している。
なお、部分画像抽出部630は、抽出した部分画像データ631~635を、第2推論部640に通知する。
第2推論部640は、学習フェーズにおいて、第2学習部520がDML521に対して学習処理を行うことで生成した学習済みのDML641(第2の学習済みのモデル)を有する。第2推論部640は、学習済みのDML641に部分画像データ631~635を入力することで、学習済みのDML641を実行させる。これにより、学習済みのDML641は、部分画像データ631~635それぞれに含まれる環境微生物の種類を判定する。
図6の例は、部分画像データ631を入力することで、学習済みのDML641が"カビC"と判定し、部分画像データ632を入力することで、学習済みのDML641が"カビA"と判定した様子を示している。また、図6の例は、部分画像データ633を入力することで、学習済みのDML641が"カビA"と判定し、部分画像データ634を入力することで、学習済みのDML641が"カビB"と判定した様子を示している。更に、図6の例は、部分画像データ635を入力することで、学習済みのDML641が"カビC"と判定した様子を示している。
なお、第2推論部640は、学習済みのDML641により判定された、環境微生物の種類を、出力部650に通知する。
出力部650は、第1推論部620より通知された、画像データ660内の各領域の位置情報及び各領域の属性情報と、第2推論部640より通知された、環境微生物の種類とに基づいて可視化処理を行うことで、検査結果を生成し、表示装置304に表示する。
なお、出力部650が生成する検査結果には、例えば、
・画像データ660内において環境微生物を含むと判定された各領域が、環境微生物の種類に応じた色により配色された画像データ、
・画像データ660内の環境微生物の各種類の個数(または割合)を集計した集計データ、
等が含まれる。
このように、検査フェーズにおける「検査」には、少なくとも、環境微生物の種類と数とを定量化することが含まれる。
<検査結果の提供例>
次に、携帯端末120による検査結果の提供例について説明する。図7は、携帯端末による検査結果の提供例を示す図である。
このうち、図7(a)は、画像データ660内において環境微生物を含むと判定された各領域が、環境微生物の種類に応じた色により配色された画像データ710の一例である。図7(a)の例は、"カビC"が青色で配色され、"カビA"が赤色で配色され、"カビC"が黄色で配色された様子を示している(図7(a)では、便宜上、ハッチングの種類の違いにより表現している)。
また、図7(b)は、画像データ660内の環境微生物の各種類の個数を集計した集計データ720の一例である。図7(b)に示すように、集計データ720は、情報の項目として、"カビ種類"、"個数"を含む。このうち、"カビ種類"には、6種類のカビの名称及びカビ以外の名称("その他")が格納され、"個数"には、対応する種類のカビの個数またはその他の個数が格納される。
<学習処理の流れ>
次に、検査サービス提供システム100による、学習処理の流れについて説明する。図8は、学習処理の流れを示すフローチャートである。
ステップS801において、実験者450は、実験用の空調機(室内機)150からほこり160を採取する。
ステップS802において、実験者450は、採取した試料を分散させて溶液化する。
ステップS803において、実験者450は、環境微生物の種類ごとに溶液を分類する。
ステップS804において、実験者450は、分類した各溶液から、試料を採取し、スライドガラスに滴下することで、プレパラート180_1~180_6を生成する。更に、実験者450は、生成したプレパラート180_1~180_6(撮像対象)を、携帯端末120を用いて可視光下(例えば、蛍光下)または紫外光下で撮影する。
ステップS805において、画像処理装置140は、撮影された画像データに基づいて、環境微生物の種類ごとに、学習用データ441~446を生成する。
ステップS806において、画像処理装置140は、生成した学習用データ441~446を用いて、YOLOに対して学習処理を行い、画像データ内の各領域の位置情報及び属性情報を学習する。
ステップS807において、画像処理装置140は、生成した学習用データ441~446を用いて、DMLに対して学習処理を行い、画像データ内の各領域の部分画像データについて、環境微生物の種類を学習する。
<検査処理の流れ>
次に、検査サービス提供システム100による、検査処理の流れについて説明する。図9は、検査処理の流れを示すフローチャートである。
ステップS901において、サービス提供者は、検査結果の提供先となるユーザの空調機(室内機)210からほこり220を採取する。
ステップS902において、サービス提供者は、採取した試料を分散させて溶液化する。
ステップS903において、サービス提供者は、溶液から試料を採取し、スライドガラスに滴下することで、プレパラート240を生成する。また、サービス提供者は、生成したプレパラート240(撮像対象)を、携帯端末120を用いて可視光下または紫外光下で撮影する。
ステップS904において、携帯端末120は、撮影した画像データ内の各領域の位置情報及び属性情報を判定するとともに、環境微生物を含むと判定された各領域の部分画像データを抽出する。
ステップS905において、携帯端末120は、抽出した部分画像データそれぞれの環境微生物の種類を判定する。
ステップS906において、携帯端末120は、画像データ内の各領域の位置情報及び属性情報と、環境微生物の種類情報とに基づいて可視化処理を行い、検査結果をユーザに提供する。
<まとめ>
以上の説明から明らかなように、第1の実施形態に係る検査システムの一例である携帯端末120は、
・採取されたほこりを溶液化し、溶液をスライドガラスに滴下することで生成したプレパラートを撮像対象として、可視光下または紫外光下でレンズを介して撮影する。つまり、ほこりを直接撮影する、あるいは、環境微生物個体の外観を撮影する。
・撮影された画像データ内の環境微生物を、画像データ内の各領域の属性を判定する学習済みのYOLOと、環境微生物を含むと判定された領域について環境微生物の種類を判定する学習済みのDMLとを用いて同定する。
・同定した画像データ内の環境微生物について可視化処理を行い、検査結果を提供する。
このように、学習済みのモデルを用いて画像データ内の環境微生物を同定する構成とすることで、検査システムの一例である携帯端末によれば、形状が似ている環境微生物であっても、撮影した画像データ内の環境微生物を精度よく同定することができる。
これにより、培養法を用いる必要がなくなり、検査結果の提供に要する時間を短縮することができる。この結果、例えば、サービス提供者が検査結果の提供先となるユーザを訪問した際、当該ユーザの空調機から試料を採取し、その場で、検査結果を提供することが可能となる。
つまり、第1の実施形態によれば、環境微生物の検査に要する時間を短縮する検査システム及び検査方法を提供することができる。
[第2の実施形態]
上記第1の実施形態は、携帯端末120が、撮像装置121と、同定部(第2推論部640等)と、出力部650とを有する検査システムとして機能する場合について説明した。しかしながら、携帯端末120の一部の機能については、撮影台に配し、撮影台と携帯端末120とで検査システムが形成されるように構成してもよい。
図10は、学習フェーズにおける検査サービス提供システムの適用例を示す第2の図である。図1との相違点は、第2の実施形態の場合、学習フェーズにおける検査サービス提供システム100は、検査システム1010と、画像処理装置140とを有し、検査システム1010は、撮影台1020と、携帯端末120とを含む点である。また、図1との相違点は、第2の実施形態の場合、撮影台1020は、撮像装置1021を有し、携帯端末120と接続される点である。
同様に、図11は、検査フェーズにおける検査サービス提供システムの適用例を示す第2の図である。図2との相違点は、第2の実施形態の場合、検査フェーズにおける検査サービス提供システム100は、検査システム1010を有し、検査システム1010は、撮影台1020と、携帯端末120とを含む点である。また、図2との相違点は、第2の実施形態の場合、撮影台1020は、撮像装置1021を有し、携帯端末120と接続される点である。
このように、撮像装置1021を撮影台1020に配し、携帯端末120を、同定部及び出力部として機能させた場合であっても、上記第1の実施形態と同様の効果が得られる。
なお、本実施形態では、撮像装置1021を撮影台1020に配する構成としたが、携帯端末120において実現される他の機能を、撮影台1020に配するように構成してもよい。つまり、撮影台1020と携帯端末120とを含む検査システム1010において、撮影台1020と携帯端末120との間の機能分担の組み合わせは、任意である。
[第3の実施形態]
上記第1及び第2の実施形態では、検査結果の提供例として、少なくとも、環境微生物の種類及び数と画像データとを出力するものとして説明したが、検査結果の提供方法はこれに限定されず、例えば、レポートとして、ユーザが理解しやすい形にまとめてもよい。
図12は、検査結果を含むレポートの一例を示す図である。図12に示すように、レポート1200には、情報の項目として、
・"ユーザ情報"(符号1210)、
・"採取位置を示す写真"(符号1220)、
・"レベル"(符号1230)、
・"検査結果"(符号1240)、
・"カビの説明"(符号1250)、
等が含まれる。
このうち、"ユーザ情報"には、試料を採取した状況として、採取した日、採取した場所の名称等が記載される。また、"採取位置を示す写真"には、試料を採取した環境を示す情報として、採取位置を示す写真等が挿入される。また、"レベル"には、検査結果に基づいて算出した汚染度のレベルが記載される。また、"検査結果"には、撮影された画像データ、検出されたカビの種類及び数(または比率)を示したグラフ等が挿入される。更に、"カビの説明"には、各種類のカビ(図12の例では、カビA~カビF)についての詳細な説明が記載される。
なお、図12のレポート1200には記載されていないが、レポート1200には、更に、過去の検査結果との比較結果が含まれていてもよい。ここでいう過去の検査結果には、同じ場所の過去の検査結果と、異なる採取場所の過去の検査結果のいずれかまたは両方が含まれる。
[第4の実施形態]
上記第1の実施形態では、環境微生物を含むと判定された各領域の画像データ(部分画像データ)のサイズについて特に言及しなかったが、各領域の画像データのサイズは、例えば、32×32画素以上、あるいは、50×50画素以上であるとする。
また、上記第1の実施形態では、空調機(室内機)からほこりを採取するケースについて説明したが、ほこりを採取する採取先は、空調機(室内機)に限定されず、他の機器であってもよい。なお、他の機器には、例えば、空気清浄機、加湿器、換気設備、送風機等が含まれる。また、ほこりを採取する採取先は、機器に限定されず、室内環境であれば、例えば、機器以外の物体(壁、机、室内設備等)の表面であってもよい。つまり、上記第1及び第2の実施形態に係る検査システムは、室内環境もしくは機器に発生する微生物またはカビを検査する検査システムである。
また、上記第1の実施形態では、ほこりを採取して溶液化することで撮像対象を取得するケースについて説明したが、撮像対象の取得方法はこれに限定されない。例えば、汚れを採取して溶液化することで撮像対象を取得してもよい。あるいは、溶液をそのまま取得することで、撮像対象を取得してもよい。つまり、撮像対象は、室内環境または機器から採取することで得られる溶液であればよい。
また、上記第1の実施形態では、学習用データ441~446を用いて学習処理を行うものとして説明したが、学習処理に用いる学習用データは、学習用データ441~446に限定されない。追加の学習用データを生成し、再学習処理を行うことで、環境微生物を同定する精度を更に向上させてもよい。
また、上記第1の実施形態では、環境微生物の種類が6種類であるとして説明したが、環境微生物の種類は、6種類に限定されない。画像データを追加し、7種類以上の環境微生物に対応する学習用データを生成してもよい。なお、上記第1の実施形態では、環境微生物の種類の数に基づいて、6種類の学習用データを生成した。しかしながら、環境微生物の種類の判定に際しては、DMLを用いているため、6種類以外の環境微生物が含まれていた場合でも、当該6種類以外の環境微生物について精度よく分類することができる。あるいは、環境微生物以外の物質が含まれていた場合であっても、当該物質について精度よく分類することができる。つまり、DMLの場合、未学習の物質が含まれていた場合であっても精度よく分類することができる。
また、上記第1の実施形態では、環境微生物の一例として、カビを挙げたが、環境微生物は、カビに限定されない。例えば、細菌等の微生物であってもよい。なお、ここでいう細菌には、例えば、レジオネラ属菌、バチルス、ミクロコッカス球菌等が含まれる。
また、上記第1の実施形態では、採取した試料を溶液化する際、界面活性剤を溶かした生理食塩水を用いるものとして説明した。しかしながら、採取した試料を溶液化する際に用いる溶液は、これに限定されず、更に、界面活性剤を溶かした生理食塩水で希釈した溶液を用いてもよい。つまり、採取した試料を溶液化する際に用いる溶液には、
・界面活性剤を溶かした生理食塩水に、採取された試料を分散させて溶液化することで得られる第1の溶液と、
・第1の溶液を、更に界面活性剤を溶かした生理食塩水で希釈した第2の溶液と、
が含まれる。
なお、界面活性剤を溶かした生理食塩水で希釈するのは、希釈することによって、検出精度を向上させることができるからである。なお、このときの希釈倍率は、例えば、1~1000倍程度、望ましくは、5~20倍程度である。
また、上記第1の実施形態では、出力部650が画像データ660内の環境微生物の各種類の個数(または割合)を集計するものとして説明した。しかしながら、環境微生物の各種類の個数は、例えば、学習済みのDMLが計数してもよい。
以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。
100 :検査サービス提供システム
120 :携帯端末
121 :撮像装置
130 :撮影台
132 :載置部
133 :レンズ支持部
140 :画像処理装置
150 :空調機(室内機)
160 :ほこり
180_1~180_6 :プレパラート
210 :空調機(室内機)
220 :ほこり
240 :プレパラート
410 :画像データ取得部
420 :正解ラベル取得部
430 :学習用データ生成部
441~446 :学習用データ
510 :第1学習部
520 :第2学習部
610 :画像データ取得部
620 :第1推論部
630 :部分画像抽出部
640 :第2推論部
650 :出力部
730 :集計データ
1010 :検査システム
1020 :撮影台
1021 :撮像装置
1200 :レポート

Claims (19)

  1. 室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
    室内環境もしくは機器から採取された試料を溶液化することで得られる撮像対象であって、前記試料に含まれる微生物またはカビを培養することなく得られる撮像対象を撮影する撮像部と、
    室内環境もしくは機器から採取された試料を溶液化することで得られる撮像対象であって、前記試料に含まれる微生物またはカビを培養することなく得られる撮像対象を撮影した画像データと、前記画像データ内において微生物またはカビを1つ含むと判定された領域の位置を示す位置情報及び判定された結果を示す属性情報とが対応付けられた第1の学習データを用いて学習された第1の学習済みモデルと、
    前記第1の学習済みモデルにより、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データと、前記部分画像データに含まれる微生物またはカビの種類とが対応付けられた第2の学習データを用いて学習された第2の学習済みモデルと、
    前記撮像部により撮影された画像データが、前記第1の学習済みモデルを用いて処理され、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データが、前記第2の学習済みモデルを用いて処理されることで得られた、前記画像データ内の微生物またはカビについての検査結果を出力する出力部と
    を有する検査システム。
  2. 室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
    室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影する撮像部と、
    室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影した画像データと、前記画像データ内において微生物またはカビを1つ含むと判定された領域の位置を示す位置情報及び判定された結果を示す属性情報とが対応付けられた第1の学習データを用いて学習された第1の学習済みモデルと、
    前記第1の学習済みモデルにより、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データと、前記部分画像データに含まれる微生物またはカビの種類とが対応付けられた第2の学習データを用いて学習された第2の学習済みモデルと、
    前記撮像部により撮影された画像データが、前記第1の学習済みモデルを用いて処理され、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データが、前記第2の学習済みモデルを用いて処理されることで得られた、前記画像データ内の微生物またはカビについての検査結果を出力する出力部と
    を有する検査システム。
  3. 前記撮像部は可視光下または紫外光下でレンズを介して撮影する、請求項1または2に記載の検査システム。
  4. 採取先は、空調機、空気清浄機、加湿器、換気設備、送風機、室内環境の表面のいずれかである、請求項3に記載の検査システム。
  5. 前記出力部は、前記撮像部により撮影された画像データ内の微生物またはカビの数を種類ごとに集計して出力する、請求項1乃至のいずれか1項に記載の検査システム。
  6. 室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
    室内環境もしくは機器から採取された試料を溶液化することで得られる撮像対象であって、前記試料に含まれる微生物またはカビを培養することなく得られる撮像対象を撮影する撮像部と、
    室内環境もしくは機器から採取された試料を溶液化することで得られる撮像対象であって、前記試料に含まれる微生物またはカビを培養することなく得られる撮像対象を撮影した画像データと、前記画像データ内において微生物またはカビを1つ含むと判定された領域の位置を示す位置情報及び判定された結果を示す属性情報とが対応付けられた第1の学習データを用いて学習された第1の学習済みモデルと、
    前記第1の学習済みモデルにより、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データと、前記部分画像データに含まれる微生物またはカビの種類とが対応付けられた第2の学習データを用いて学習された第2の学習済みモデルと、
    前記撮像部により撮影された画像データが、前記第1の学習済みモデルを用いて処理され、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データが、前記第2の学習済みモデルを用いて処理されることで得られた、前記画像データ内の微生物またはカビについての検査結果を出力する出力部と、を有し、
    前記出力部は、微生物またはカビの種類、微生物またはカビの数または比率、前記撮像部により撮影された画像データを検査結果として表示するとともに、前記室内環境もしくは機器を示す情報、前記微生物またはカビの説明、汚染度のレベル、他の検査結果との比較結果、のいずれか1つを表示する、検査システム。
  7. 室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
    室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影する撮像部と、
    室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影した画像データと、前記画像データ内において微生物またはカビを1つ含むと判定された領域の位置を示す位置情報及び判定された結果を示す属性情報とが対応付けられた第1の学習データを用いて学習された第1の学習済みモデルと、
    前記第1の学習済みモデルにより、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データと、前記部分画像データに含まれる微生物またはカビの種類とが対応付けられた第2の学習データを用いて学習された第2の学習済みモデルと、
    前記撮像部により撮影された画像データが、前記第1の学習済みモデルを用いて処理され、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データが、前記第2の学習済みモデルを用いて処理されることで得られた、前記画像データ内の微生物またはカビについての検査結果出力する出力部と、有し、
    前記出力部は、微生物またはカビの種類、微生物またはカビの数または比率、前記撮像部により撮影された画像データを検査結果として表示するとともに、前記室内環境もしくは機器を示す情報、前記微生物またはカビの説明、汚染度のレベル、他の検査結果との比較結果、のいずれか1つを表示する、検査システム。
  8. 前記撮像対象は、採取された試料を分散させて溶液化することで得られる、請求項に記載の検査システム。
  9. 前記撮像対象は、空調機から採取された試料を分散させて溶液化することで得られる、請求項に記載の検査システム。
  10. 前記撮像対象は、界面活性剤を溶かした生理食塩水に、採取された試料を分散させて溶液化することで得られる、請求項またはに記載の検査システム。
  11. 前記撮像対象には、界面活性剤を溶かした生理食塩水に、採取された試料を分散させて溶液化することで得られる第1の溶液と、該第1の溶液を、更に、界面活性剤を溶かした生理食塩水を用いて希釈した第2の溶液とが含まれる、請求項乃至1のいずれか1項に記載の検査システム。
  12. 前記第1の学習済みモデルにより微生物またはカビを1つ含むと判定された各領域は、32×32画素以上である、請求項1または2に記載の検査システム。
  13. 前記第2の学習済みモデルは、前記微生物またはカビの種類を判定した場合に、判定した種類ごとに前記微生物またはカビを計数する、請求項1または2に記載の検査システム。
  14. 前記検査システムは、携帯端末であり、
    前記撮像部は、前記携帯端末に内蔵されている、請求項1乃至1のいずれか1項に記載の検査システム。
  15. 前記検査システムは、前記撮像対象を載置する携帯可能な撮影台と、該撮影台と接続される携帯端末とを有し、
    前記撮影台は、前記撮像部を有し、
    前記携帯端末は、前記第1の学習済みモデルと前記第2の学習済みモデルと前記出力部とを有する、請求項に記載の検査システム。
  16. 前記第1の学習済みモデルは、学習済みのYOLOである、請求項またはに記載の検査システム。
  17. 前記第2の学習済みモデルは、学習済みのDMLである、請求項またはに記載の検査システム。
  18. 室内環境もしくは機器に発生する微生物またはカビを検査する検査システムの検査方法であって、
    室内環境もしくは機器から採取された試料を溶液化することで得られる撮像対象であって、前記試料に含まれる微生物またはカビを培養することなく得られる撮像対象を撮影する工程と、
    撮影された画像データが、第1の学習済みモデルを用いて処理され、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データが、第2の学習済みモデルを用いて処理されることで得られた、前記画像データ内の微生物またはカビについての検査結果を出力する工程とを有し、
    前記第1の学習済みモデルは、
    室内環境もしくは機器から採取された試料を溶液化することで得られる撮像対象であって、前記試料に含まれる微生物またはカビを培養することなく得られる撮像対象を撮影した画像データと、前記画像データ内において微生物またはカビを1つ含むと判定された領域の位置を示す位置情報及び判定された結果を示す属性情報とが対応付けられた第1の学習データを用いて学習され、
    前記第2の学習済みモデルは、
    前記第1の学習済みモデルにより、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データと、前記部分画像データに含まれる微生物またはカビの種類とが対応付けられた第2の学習データを用いて学習される、
    検査方法。
  19. 室内環境もしくは機器に発生する微生物またはカビを検査する検査システムの検査方法であって、
    室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影する工程と、
    撮影された画像データが、第1の学習済みモデルを用いて処理され、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データが、第2の学習済みモデルを用いて処理されることで得られた、前記画像データ内の微生物またはカビについての検査結果を出力する工程とを有し、
    前記第1の学習済みモデルは、
    室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影した画像データと、前記画像データ内において微生物またはカビを1つ含むと判定された領域の位置を示す位置情報及び判定された結果を示す属性情報とが対応付けられた第1の学習データを用いて学習され、
    前記第2の学習済みモデルは、
    前記第1の学習済みモデルにより、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データと、前記部分画像データに含まれる微生物またはカビの種類とが対応付けられた第2の学習データを用いて学習される、
    検査方法。
JP2022040545A 2021-03-22 2022-03-15 検査システム及び検査方法 Active JP7206533B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022211149A JP2023061925A (ja) 2021-03-22 2022-12-28 検査システム及び検査方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021047960 2021-03-22
JP2021047960 2021-03-22
JP2021161942 2021-09-30
JP2021161942 2021-09-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022211149A Division JP2023061925A (ja) 2021-03-22 2022-12-28 検査システム及び検査方法

Publications (2)

Publication Number Publication Date
JP2022146910A JP2022146910A (ja) 2022-10-05
JP7206533B2 true JP7206533B2 (ja) 2023-01-18

Family

ID=83397241

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2022040545A Active JP7206533B2 (ja) 2021-03-22 2022-03-15 検査システム及び検査方法
JP2022041461A Active JP7206534B2 (ja) 2021-03-22 2022-03-16 検査システム及び検査方法
JP2022211148A Pending JP2023058482A (ja) 2021-03-22 2022-12-28 検査システム及び検査方法
JP2022211149A Pending JP2023061925A (ja) 2021-03-22 2022-12-28 検査システム及び検査方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2022041461A Active JP7206534B2 (ja) 2021-03-22 2022-03-16 検査システム及び検査方法
JP2022211148A Pending JP2023058482A (ja) 2021-03-22 2022-12-28 検査システム及び検査方法
JP2022211149A Pending JP2023061925A (ja) 2021-03-22 2022-12-28 検査システム及び検査方法

Country Status (5)

Country Link
US (1) US20240169749A1 (ja)
EP (1) EP4317404A1 (ja)
JP (4) JP7206533B2 (ja)
AU (1) AU2022244737A1 (ja)
WO (2) WO2022202694A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240055503A (ko) * 2022-10-20 2024-04-29 씨제이제일제당 (주) 인공지능 기반의 배양액 오염 탐지 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000258416A (ja) 1999-03-11 2000-09-22 Matsushita Electric Ind Co Ltd アレルゲン測定用被検液の調製方法及びその装置
JP2014183761A (ja) 2013-03-22 2014-10-02 Azbil Corp 微生物検出装置の評価キット、微生物検出装置の評価キットの製造方法、及び微生物検出装置の評価方法
WO2019204854A1 (en) 2018-04-24 2019-10-31 First Frontier Pty Ltd System and method for performing automated analysis of air samples
US20200158603A1 (en) 2018-11-16 2020-05-21 Particle Measuring Systems, Inc. Particle Sampling Systems and Methods for Robotic Controlled Manufacturing Barrier Systems
US10769501B1 (en) 2017-02-15 2020-09-08 Google Llc Analysis of perturbed subjects using semantic embeddings

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007195454A (ja) 2006-01-26 2007-08-09 Kao Corp カビの形態観察方法
CA3076847A1 (en) 2017-10-09 2019-04-18 Pathspot Technologies Inc. Systems and methods for detection of contaminants on surfaces
JP2021047960A (ja) 2019-09-19 2021-03-25 キオクシア株式会社 半導体記憶装置
JP7364523B2 (ja) 2020-03-31 2023-10-18 株式会社豊田自動織機 スクロール型圧縮機

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000258416A (ja) 1999-03-11 2000-09-22 Matsushita Electric Ind Co Ltd アレルゲン測定用被検液の調製方法及びその装置
JP2014183761A (ja) 2013-03-22 2014-10-02 Azbil Corp 微生物検出装置の評価キット、微生物検出装置の評価キットの製造方法、及び微生物検出装置の評価方法
US10769501B1 (en) 2017-02-15 2020-09-08 Google Llc Analysis of perturbed subjects using semantic embeddings
WO2019204854A1 (en) 2018-04-24 2019-10-31 First Frontier Pty Ltd System and method for performing automated analysis of air samples
US20200158603A1 (en) 2018-11-16 2020-05-21 Particle Measuring Systems, Inc. Particle Sampling Systems and Methods for Robotic Controlled Manufacturing Barrier Systems

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CAO, N. et al.,Dataset: Pollen Video Library for Benchmarking Detection, Classification, Tracking and Novelty Detection Tasks,DATA '20: Proceedings of the Third Workshop on Data: Acquisition To Analysis,2020年11月16日,pp. 23-25,doi:10.1145/3419016.3431487
KHAN, A. A. H. and KARUPPAYIL, S. M.,Fungal pollution of indoor environments and its management,Saudi Journal of Biological Sciences,2012年06月15日,Vol. 19,pp. 405-426,doi:10.1016/j.sjbs.2012.06.002
KING, M.D. et al.,Assays and enumeration of bioaerosols-traditional approaches to modern practices,Aerosol Science and Technology,2020年02月24日,Vol. 54,pp. 611-633,doi:10.1080/02786826.2020.1723789
牧 輝弥、ほか,バイオエアロゾルの蛍光顕微鏡観察,エアロゾル研究,2013年10月01日,Vol. 28, No. 3,pp. 201-207,doi:10.11203/jar.28.201

Also Published As

Publication number Publication date
US20240169749A1 (en) 2024-05-23
JP7206534B2 (ja) 2023-01-18
AU2022244737A1 (en) 2023-10-05
JP2023061925A (ja) 2023-05-02
JP2022146913A (ja) 2022-10-05
WO2022202693A1 (ja) 2022-09-29
EP4317404A1 (en) 2024-02-07
JP2022146910A (ja) 2022-10-05
WO2022202694A1 (ja) 2022-09-29
JP2023058482A (ja) 2023-04-25

Similar Documents

Publication Publication Date Title
DK2973397T3 (en) Tissue-object-based machine learning system for automated assessment of digital whole-slide glass
US11226280B2 (en) Automated slide assessments and tracking in digital microscopy
CN107580715A (zh) 用于自动计数微生物菌落的方法和系统
JP2018180635A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Chieco et al. Image cytometry: protocols for 2D and 3D quantification in microscopic images
CN103140757A (zh) 信息处理设备、信息处理系统、信息处理方法、程序和记录介质
JP7206533B2 (ja) 検査システム及び検査方法
CN107209111A (zh) 自动化整体载片分析的质量控制
CN110320158A (zh) 移动化学分析
WO2014192184A1 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP2013077127A (ja) 画像分類装置および画像分類方法
CN110796661A (zh) 基于卷积神经网络的真菌显微图像分割检测方法及系统
Cannet et al. Wing interferential patterns (WIPs) and machine learning, a step toward automatized tsetse (Glossina spp.) identification
JP2023061925A5 (ja) 検査システム、検査方法及び検査プログラム
JP4897488B2 (ja) 分散プロット分布を用いてスライドを分類するシステム
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
CN116981933A (zh) 检查系统及检查方法
WO2022019110A1 (ja) プログラム、情報処理装置、情報処理方法及びモデル生成方法
KR102330216B1 (ko) Ai학습 분석을 이용한 골연령 및 건강상태 판독방법
Powless et al. Evaluation of acridine orange staining for a semi-automated urinalysis microscopic examination at the point-of-care
US20230175935A1 (en) Test Slides and Methods of Production in Stain Assessment
CN117496274B (zh) 一种基于液滴图像的分类计数方法、系统和存储介质
WO2023195405A1 (ja) 細胞検出装置、細胞診断支援装置、細胞検出方法、及び細胞検出プログラム
Ramakrishna et al. Smart Phone based Microscopic Image Acquisition and Quantifying System for Detecting Dengue
Doornewaard et al. Reproducibility in double scanning of cervical smears with the PAPNET system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221212

R151 Written notification of patent or utility model registration

Ref document number: 7206533

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151