JP7206533B2 - 検査システム及び検査方法 - Google Patents

検査システム及び検査方法 Download PDF

Info

Publication number
JP7206533B2
JP7206533B2 JP2022040545A JP2022040545A JP7206533B2 JP 7206533 B2 JP7206533 B2 JP 7206533B2 JP 2022040545 A JP2022040545 A JP 2022040545A JP 2022040545 A JP2022040545 A JP 2022040545A JP 7206533 B2 JP7206533 B2 JP 7206533B2
Authority
JP
Japan
Prior art keywords
image data
microorganisms
trained model
microorganism
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022040545A
Other languages
English (en)
Other versions
JP2022146910A (ja
Inventor
蕉吾 川合
奈緒美 吉村
葵 後藤
わかな 高野
竜一郎 大音
祥太郎 前田
美伶 金武
敬 並川
志保 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daikin Industries Ltd
Original Assignee
Daikin Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daikin Industries Ltd filed Critical Daikin Industries Ltd
Publication of JP2022146910A publication Critical patent/JP2022146910A/ja
Priority to JP2022211149A priority Critical patent/JP2023061925A/ja
Application granted granted Critical
Publication of JP7206533B2 publication Critical patent/JP7206533B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • C12Q1/04—Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/38—Diluting, dispersing or mixing samples
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06—Investigating concentration of particle suspensions
    • G01N15/0606—Investigating concentration of particle suspensions by collecting particles on a support
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06—Investigating concentration of particle suspensions
    • G01N15/075—Investigating concentration of particle suspensions by optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1486—Counting the particles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Dispersion Chemistry (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Microbiology (AREA)
  • Genetics & Genomics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biotechnology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Toxicology (AREA)
  • Signal Processing (AREA)
  • Sustainable Development (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Description

本開示は、検査システム及び検査方法に関する。
従来より、空調機内のほこり等に含まれる環境微生物（例えば、カビ）の有無、種類を検査し、検査結果を提供するサービスが行われている。かかるサービスを行うことにより、サービス提供者は、検査結果に応じた最適な空気環境を実現するための提案（例えば、空調機の洗浄やフィルタ交換等）を行うことができる。
特開２００７－１９５４５４号公報 特表２０２０－５２９８６９号公報 国際公開第２０１９／０７４９２６号
しかしながら、環境微生物の有無、種類を検査するのに、これまでは、採取した試料（環境微生物が含まれるほこり等）を培地により培養する培養法が用いられ、検査結果の提供に時間を要していた。
本開示は、環境微生物の検査に要する時間を短縮する検査システム及び検査方法を提供する。
本開示の第１の態様は、
室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
室内環境もしくは機器から採取された試料を直接撮影する撮像部と、
前記撮像部により撮影された画像データ内の微生物またはカビを検査し検査結果を出力する出力部とを有する。
本開示の第１の態様によれば、環境微生物の検査に要する時間を短縮する検査システムを提供することができる。
また、本開示の第２の態様は、
室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影する撮像部と、
前記撮像部により撮影された画像データ内の微生物またはカビを検査し検査結果を出力する出力部とを有する。
本開示の第２の態様によれば、環境微生物の検査に要する時間を短縮する検査システムを提供することができる。
また、本開示の第３の態様は、第１または第２の態様に記載の検査システムであって、
前記撮像部が撮影する撮像対象は、室内環境もしくは機器から採取された溶液であり、前記撮像部は、前記撮像対象を、可視光下または紫外光下でレンズを介して撮影する。
また、本開示の第４の態様は、第３の態様に記載の検査システムであって、
前記溶液は、室内環境もしくは機器から採取された試料を溶液化することで得られる。
また、本開示の第５の態様は、第３の態様に記載の検査システムであって、
採取先は、空調機、空気清浄機、加湿器、換気設備、送風機、室内環境の表面のいずれかである。
また、本開示の第６の態様は、第３の態様に記載の検査システムであって、
前記画像データ内の各領域の属性を判定する第１の学習済みモデルを有する。
また、本開示の第７の態様は、第６の態様に記載の検査システムであって、
前記第１の学習済みモデルにより、微生物またはカビを含むと判定された領域について、微生物またはカビの種類を判定する第２の学習済みモデルを有する。
また、本開示の第８の態様は、第１乃至第７のいずれかの態様に記載の検査システムであって、
前記出力部は、前記撮像部により撮影された画像データ内の微生物またはカビの数を種類ごとに集計して出力する。
また、本開示の第９の態様は、
室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
室内環境もしくは機器から採取された試料を直接撮影する撮像部と、
前記撮像部により撮影された画像データ内の微生物またはカビを検査し検査結果を出力する出力部と、を有し、
前記出力部は、微生物またはカビの種類、微生物またはカビの数または比率、前記撮像部により撮影された画像データを検査結果として表示するとともに、前記室内環境もしくは機器を示す情報、前記微生物またはカビの説明、汚染度のレベル、他の検査結果との比較結果、のいずれか１つを表示する。
また、本開示の第１０の態様は、
室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影する撮像部と、
前記撮像部により撮影された画像データ内の微生物またはカビを検査し検査結果を出力する出力部と、有し、
前記出力部は、微生物またはカビの種類、微生物またはカビの数または比率、前記撮像部により撮影された画像データを検査結果として表示するとともに、前記室内環境もしくは機器を示す情報、前記微生物またはカビの説明、汚染度のレベル、他の検査結果との比較結果、のいずれか１つを表示する。
また、本開示の第１１の態様は、第３乃至７のいずれかの態様に記載の検査システムであって、
前記撮像対象は、採取された試料を分散させて溶液化することで得られる。
また、本開示の第１２の態様は、第１１の態様に記載の検査システムであって、
前記撮像対象は、空調機から採取された試料を分散させて溶液化することで得られる。
また、本開示の第１３の態様は、第１１または１２の態様に記載の検査システムであって、
前記撮像対象は、界面活性剤を溶かした生理食塩水に、採取された試料を分散させて溶液化することで得られる。
また、本開示の第１４の態様は、第１１乃至１３のいずれかの態様に記載の検査システムであって、
前記撮像対象には、界面活性剤を溶かした生理食塩水に、採取された試料を分散させて溶液化することで得られる第１の溶液と、該第１の溶液を、更に、界面活性剤を溶かした生理食塩水を用いて希釈した第２の溶液とが含まれる。
また、本開示の第１５の態様は、第７の態様に記載の検査システムであって、
前記第１の学習済みモデルにより属性が判定された各領域は、３２×３２画素以上である。
また、本開示の第１６の態様は、第７の態様に記載の検査システムであって、
前記第１の学習済みモデルは、同一種類の微生物またはカビが含まれる画像データと、該画像データ内の微生物またはカビを含むと判定された各領域の位置が複数の座標により特定された位置情報とが対応付けられた学習用データを用いて学習処理が行われることで生成される。
また、本開示の第１７の態様は、第７の態様に記載の検査システムであって、
前記第２の学習済みモデルは、前記微生物またはカビの種類を判定した場合に、判定した種類ごとに前記微生物またはカビを計数する。
また、本開示の第１８の態様は、第１乃至１７のいずれかの態様に記載の検査システムであって、
前記検査システムは、携帯端末であり、
前記撮像部は、前記携帯端末に内蔵されている。
また、本開示の第１９の態様は、第７の態様に記載の検査システムであって、
前記検査システムは、前記撮像対象を載置する携帯可能な撮影台と、該撮影台と接続される携帯端末とを有し、
前記撮影台は、前記撮像部を有し、
前記携帯端末は、前記第１の学習済みモデルと前記第２の学習済みモデルと前記出力部とを有する。
また、本開示の第２０の態様は、第７、１５または１６のいずれかの態様に記載の検査システムであって、
前記第１の学習済みモデルは、学習済みのＹＯＬＯである。
また、本開示の第２１の態様は、第７または１７の態様に記載の検査システムであって、
前記第２の学習済みモデルは、同一種類の微生物またはカビが含まれる画像データの微生物またはカビを含むと判定された各領域の部分画像データと、該微生物またはカビの種類とが対応付けられた学習用データを用いて学習処理が行われることで生成される。
また、本開示の第２２の態様は、第７、１７または２１のいずれかの態様に記載の検査システムであって、
前記第２の学習済みモデルは、学習済みのＤＭＬである。
また、本開示の第２３の態様は、
室内環境もしくは機器に発生する微生物またはカビを検査する検査システムの検査方法であって、
室内環境もしくは機器から採取された試料を直接撮影する工程と、
撮影された画像データ内の微生物またはカビを検査し検査結果を出力する工程とを有する。
また、本開示の第２４の態様は、
室内環境もしくは機器に発生する微生物またはカビを検査する検査システムの検査方法であって、
室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影する工程と、
撮影された画像データ内の微生物またはカビを検査し検査結果を出力する工程とを有する。
学習フェーズにおける検査サービス提供システムの適用例を示す第１の図である。 検査フェーズにおける検査サービス提供システムの適用例を示す第１の図である。 携帯端末及び画像処理装置のハードウェア構成の一例を示す図である。 画像処理装置の学習用データ生成処理に関する機能の機能構成の一例を示す図である。 画像処理装置の学習処理に関する機能の機能構成の一例を示す図である。 携帯端末の検査処理に関する機能の機能構成の一例を示す図である。 携帯端末による検査結果の提供例を示す図である。 学習処理の流れを示すフローチャートである。 検査処理の流れを示すフローチャートである。 学習フェーズにおける検査サービス提供システムの適用例を示す第２の図である。 検査フェーズにおける検査サービス提供システムの適用例を示す第２の図である。 検査結果を含むレポートの一例を示す図である。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
［第１の実施形態］
＜学習フェーズにおける検査サービス提供システム＞
はじめに、第１の実施形態に係る検査システムを含む検査サービス提供システムのうち、学習フェーズにおける検査サービス提供システムの適用例について説明する。図１は、学習フェーズにおける検査サービス提供システムの適用例を示す第１の図である。図１に示すように、学習フェーズにおいて検査サービス提供システム１００は、携帯端末１２０（第１の実施形態に係る検査システムの一例）と、撮影台１３０と、画像処理装置１４０とを有する。
学習フェーズにおいて、携帯端末１２０を用いて撮影される撮像対象は、以下の手順により取得され、可視光下（例えば、蛍光下）または紫外光下で直接撮影される。
（１）実験者が実験用の空調機（室内機）１５０から試料（ほこり１６０）を採取する（なお、空調機（室内機）１５０の内部から採取しても、空調機（室内機）１５０の外表面から採取してもよい）。
（２）界面活性剤を溶かした生理食塩水の溶液１７０に、採取した試料を分散させて溶液化する。なお、ここでいう「試料を分散させて溶液化する」ことには、「分散させて溶液化した試料を乾燥させる」ことが含まれていてもよい。
（３）溶液化した試料を、溶液１７０から採取し（例えば、１０μｌ）、スライドガラスに滴下することで、プレパラートを生成する。このとき、同一種類の環境微生物のみが含まれるように試料１８１＿１～１８１＿６を採取し、種類ごとに、異なるスライドガラスに滴下することで、プレパラート１８０＿１～１８０＿６を生成する。なお、図１の例は、空調機（室内機）１５０から採取した試料（ほこり１６０）に、６種類の環境微生物が含まれていた場合を示している。
（４）生成したプレパラート１８０＿１～１８０＿６を、撮像対象として、順次、撮影台１３０に載置し、携帯端末１２０を用いて可視光下（例えば、蛍光下）または紫外光下で撮影する。
つまり、学習フェーズにおいて「直接撮影する」とは、試料の採取（１）から撮影（４）までの手順において、「環境微生物の培養」が含まれないこと（試料が採取された状態から、環境微生物を増やすことなく撮影が行われること）を指す。また、「撮影」とは、環境微生物個体（カビの場合にあっては、カビ個体、具体的には、胞子及び菌糸の単位１つ分。細菌の場合にあっては、細菌個体１つ分）の外観（色と形）の情報を取得することを指す。
撮影台１３０は携帯可能に構成されており、図１に示すように、レンズ１３１、載置部１３２、レンズ支持部１３３を有する。
レンズ１３１は、撮像対象（図１の例では、プレパラート１８０＿１）を所定の倍率に拡大する。
載置部１３２は、撮像対象（図１の例では、プレパラート１８０＿１）が載置される部材である。
レンズ支持部１３３は、載置部１３２に載置された撮像対象から所定の距離だけ離れた位置にてレンズ１３１を支持する部材であって、上面に携帯端末１２０が載置される部材である。なお、レンズ支持部１３３には、載置部１３２に載置された撮像対象とレンズ１３１との間の距離を可変とするための昇降機構を備えられていてもよい。
携帯端末１２０は、撮像装置１２１（撮像部の一例）を内蔵し、レンズ１３１の位置と、撮像装置１２１の位置とが一致するようにレンズ支持部１３３に載置されることで、撮像対象（図１の例では、プレパラート１８０＿１）を可視光下で撮影する。
また、学習フェーズにおいて、携帯端末１２０は、撮影した画像データ１２２＿１を、画像処理装置１４０に送信する。
画像処理装置１４０は、携帯端末１２０より送信された画像データ１２２＿１に基づいて、学習用データを生成する。また、画像処理装置１４０は、生成した学習用データを用いて、学習モデルについて学習処理を行い、学習済みモデルを生成する。学習フェーズにおいて生成された学習済みモデルは、検査フェーズにおいて、携帯端末１２０にインストールされる。
＜検査フェーズにおける検査サービス提供システム＞
次に、第１の実施形態に係る検査システムを含む検査サービス提供システムのうち、検査フェーズにおける検査サービス提供システムの適用例について説明する。図２は、検査フェーズにおける検査サービス提供システムの適用例を示す第１の図である。図２に示すように、検査フェーズにおいて検査サービス提供システム１００は、携帯端末１２０（第１の実施形態に係る検査システムの一例）と、撮影台１３０とを有する。
検査フェーズにおいて、携帯端末１２０を用いて撮影される撮像対象は、以下の手順により取得され、可視光下（例えば、蛍光下）または紫外光下で直接撮影される。
（１）サービス提供者が検査結果の提供先となるユーザの空調機（室内機）２１０から試料（ほこり２２０）を採取する（なお、空調機（室内機）２１０の内部から採取しても、空調機（室内機）２１０の外表面から採取してもよい）。
（２）界面活性剤を溶かした生理食塩水の溶液２３０に、採取した試料を分散させて溶液化する。なお、ここでいう「試料を分散させて溶液化する」ことには、「分散させて溶液化した試料を乾燥させる」ことが含まれていてもよい。
（３）溶液化した試料２４１を、溶液２３０から採取し（例えば、１０μｌ）、スライドガラスに滴下することで、プレパラート２４０を生成する。
（４）生成したプレパラート２４０を、撮像対象として、撮影台１３０に載置し、携帯端末１２０を用いて可視光下（例えば、蛍光下）または紫外光下で撮影する。
つまり、検査フェーズにおいて「直接撮影する」とは、試料の採取（１）から撮影（４）までの手順において、「環境微生物の培養」が含まれないこと（試料が採取された状態から、環境微生物を増やすことなく撮影が行われること）を指す。また、「撮影」とは、環境微生物個体（カビの場合にあっては、カビ個体、具体的には、胞子及び菌糸の単位１つ分。細菌の場合にあっては、細菌個体１つ分）の外観（色と形）の情報を取得することを指す。
図２に示すように、撮影台１３０は、レンズ１３１、載置部１３２、レンズ支持部１３３を有する。なお、検査フェーズにおいて用いる撮影台１３０は、学習フェーズにおいて用いる撮影台１３０（図１）と同様であるため、ここでは、各部の詳細な説明は省略する。
携帯端末１２０は、撮像装置１２１を内蔵し、レンズ１３１の位置と、撮像装置１２１の位置とが一致するようにレンズ支持部１３３に載置されることで、撮像対象（図２の例では、プレパラート２４０）を可視光下（例えば、蛍光下）または紫外光下で撮影する。
また、検査フェーズにおいて、携帯端末１２０には、学習済みモデルがインストールされており、撮影した画像データ２５０を、当該学習済みモデルを用いて処理することで、検査結果２６０を提供する。
このように、学習済みモデルを用いて環境微生物の有無、種類等を検査する構成とすることで、検査サービス提供システム１００によれば、以下のような効果を享受することができる。
・カビ（菌界に属し、特に酵母や子嚢菌にあたるもの）等のように、種類によらず形状が似ている環境微生物であっても、撮影した画像データ内の環境微生物を精度よく同定することができる。
・培養法を用いる必要がないため、検査結果の提供に要する時間を短縮することが可能となり、例えば、サービス提供者が検査結果の提供先となるユーザを訪問した際、当該ユーザの空調機から試料を採取し、その場で、検査結果を提供することが可能となる。この結果、検査結果に応じた最適な空気環境を実現するための提案（空調機の洗浄やフィルタ交換等）を、直ちに行うことができる。
・培養法を用いる必要がないため、検査結果の提供に要するコストを削減することが可能となる（専門の業者に依頼する必要がなくなる）。
・培養法を用いる必要がないため、死んだ環境微生物（つまり、生菌だけでなく死菌）についても同定することが可能となる（生きた環境微生物を採取する必要がなくなる）。
＜携帯端末及び画像処理装置のハードウェア構成＞
次に、携帯端末１２０及び画像処理装置１４０のハードウェア構成について説明する。図３は、携帯端末及び画像処理装置のハードウェア構成の一例を示す図である。
（１）携帯端末のハードウェア構成
図３（ａ）は、携帯端末１２０のハードウェア構成の一例である。図３（ａ）に示すように、携帯端末１２０は、プロセッサ３０１、メモリ３０２、補助記憶装置３０３、表示装置３０４、操作装置３０５、通信装置３０６、撮像装置１２１を有する。なお、携帯端末１２０の各ハードウェアは、バス３０７を介して相互に接続されている。
プロセッサ３０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ３０１は、各種プログラム（例えば、検査フェーズにあっては検査プログラム等）をメモリ３０２上に読み出して実行する。
メモリ３０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ３０１とメモリ３０２とは、いわゆるコンピュータを形成し、プロセッサ３０１が、メモリ３０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
補助記憶装置３０３は、各種プログラムや、各種プログラムがプロセッサ３０１によって実行される際に用いられる各種データを格納する。
表示装置３０４は、撮影された画像データ１２２＿１、２５０や検査結果２６０等を表示する表示デバイスである。操作装置３０５は、携帯端末１２０に対する各種指示を入力する際に用いる入力デバイスである。
通信装置３０６は、例えば、画像処理装置１４０と通信するための通信デバイスである。撮像装置１２１は、撮像対象であるプレパラート１８０＿１～１８０＿６、２４０を撮影する。
なお、補助記憶装置３０３にインストールされる各種プログラムは、例えば、通信装置３０６を介してネットワークからダウンロードされることで、インストールされるものとする。
（２）画像処理装置のハードウェア構成
図３（ｂ）は、画像処理装置１４０のハードウェア構成の一例である。なお、画像処理装置１４０のハードウェア構成は、携帯端末１２０のハードウェア構成と概ね同じであるため、ここでは、携帯端末１２０との相違点を中心に説明する。
プロセッサ３２１は、例えば、学習プログラム等をメモリ３２２上に読み出して実行する。補助記憶装置３２３は、例えば、学習用データ格納部（後述）を実現する。
ドライブ装置３２７は記録媒体３２９をセットするためのデバイスである。ここでいう記録媒体３２９には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体３２９には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、補助記憶装置３２３にインストールされる各種プログラムは、例えば、配布された記録媒体３２９がドライブ装置３２７にセットされ、該記録媒体３２９に記録された各種プログラムがドライブ装置３２７により読み出されることでインストールされる。あるいは、補助記憶装置３２３にインストールされる各種プログラムは、通信装置３２６を介してネットワークからダウンロードされることで、インストールされてもよい。
＜画像処理装置の機能構成＞
次に、画像処理装置１４０の機能構成について説明する。上述したように、画像処理装置１４０には、学習プログラムがインストールされており、当該プログラムが実行されることで画像処理装置１４０は、
・学習用データを生成する学習用データ生成処理に関する機能、
・学習用データを用いて、学習モデルに対して学習処理を行う学習処理に関する機能、
等を実現する。そこで、以下では、画像処理装置１４０が実現するこれらの機能について、分けて説明する。
（１）学習用データ生成処理に関する機能
はじめに、学習用データ生成処理に関する機能について説明する。図４は、画像処理装置の学習用データ生成処理に関する機能の機能構成の一例を示す図である。図４に示すように、画像処理装置１４０は、学習用データ生成処理に関する機能として、画像データ取得部４１０、正解ラベル取得部４２０、学習用データ生成部４３０を有する。
画像データ取得部４１０は、学習フェーズにおいて携帯端末１２０により可視光下（例えば、蛍光下）または紫外光下で撮影された画像データ１２２＿１～１２２＿６を取得する。なお、画像データ１２２＿１～１２２＿６は、それぞれ、プレパラート１８０＿１～１８０＿６を可視光下（例えば、蛍光下）または紫外光下で撮影した画像データである。
正解ラベル取得部４２０は、実験者４５０により入力された正解ラベルを取得する。実験者４５０は、プレパラート１８０＿１～１８０＿６それぞれの試料１８１＿１～１８１＿６に含まれる環境微生物の種類を、正解データとして画像処理装置１４０に入力し、正解ラベル取得部４２０は、これを取得する。
なお、本実施形態において、実験者４５０は、試料１８１＿１に含まれる環境微生物の種類として、"カビＡ"を入力し、試料１８１＿２に含まれる環境微生物の種類として、"カビＢ"を入力するものとする。また、実験者４５０は、試料１８１＿３に含まれる環境微生物の種類として、"カビＣ"を、試料１８１＿４に含まれる環境微生物の種類として、"カビＤ"をそれぞれ入力するものとする。更に、実験者４５０は、試料１８１＿５に含まれる環境微生物の種類として、"カビＥ"を、試料１８１＿６に含まれる環境微生物の種類として、"カビＦ"をそれぞれ入力するものとする。
学習用データ生成部４３０は、画像データ取得部４１０により取得された画像データ１２２＿１～１２２＿６と、正解ラベル取得部４２０により取得された、対応する環境微生物の種類（"カビＡ"～"カビＦ"）とを対応付けて学習用データを生成する。また、学習用データ生成部４３０は、生成した学習用データを、学習用データ格納部４４０に格納する。
図４において、学習用データ４４１～４４６は、学習用データ生成部４３０により生成され、学習用データ格納部４４０に格納された学習用データを示している。図４に示すように、学習用データ４４１～４４６は、情報の項目として、"画像データ"、"画像領域"、"部分画像"、"正解ラベル"を有する。
このうち、"画像データ"には、画像データ取得部４１０により取得された画像データのファイル名が格納される。図４の例において、「画像データ１」～「画像データ６」は、それぞれ、画像データ１２２＿１～１２２＿６のファイル名である。
"画像領域"には、画像データ内において環境微生物を１つ含むと判定された各領域の位置情報（複数の（ｘ座標、ｙ座標）、例えば、領域の対角２頂点の（ｘ座標、ｙ座標））が格納される。図４の場合、例えば、"領域１－１"（＝座標（ｘ１１ａ，ｙ１１ａ）、（ｘ１１ｂ，ｙ１１ｂ））が格納される。
"部分画像"には、"画像領域"により特定される、画像データ内において環境微生物を１つ含むと判定された各領域の画像データ（部分画像データ）のファイル名が格納される。なお、１つの環境微生物を含むとは、例えば、環境微生物がカビの場合にあっては、胞子の単位を１つ含むことを指す。
"正解ラベル"には、"画像領域"により特定される各領域の環境微生物の種類が格納される。図４の例の場合、学習用データ４４１の"正解ラベル"から学習用データ４４６の"正解ラベル"には、それぞれ、"カビＡ"～"カビＦ"が格納される。
（２）学習処理に関する機能
次に、学習処理に関する機能について説明する。図５は、画像処理装置の学習処理に関する機能の機能構成の一例を示す図である。図５に示すように、画像処理装置１４０は、学習処理に関する機能として、第１学習部５１０、第２学習部５２０を有する。
第１学習部５１０は、画像データ内において環境微生物を含む領域を判定する処理を学習する。具体的には、第１学習部５１０は、ＹＯＬＯ５１１と比較／変更部５１２とを有する。
ＹＯＬＯ５１１は、学習用データにおいて、"画像データ"により特定されるファイル名の画像データを入力として、画像データ内の各領域の位置情報及び各領域の属性情報（環境微生物か否か等）を判定する学習モデルである。
比較／変更部５１２は、ＹＯＬＯ５１１により判定された各領域の位置情報及び各領域の属性情報と、学習用データの"画像領域"により特定される環境微生物を含むと判定された各領域の位置情報とを比較し、誤差を算出する。また、比較／変更部５１２は、算出した誤差を逆伝播し、ＹＯＬＯ５１１のモデルパラメータを更新する。
例えば、学習用データ４４１の場合、比較／変更部５１２は、
・ファイル名＝「画像データ１」の画像データ１２２＿１をＹＯＬＯ５１１に入力することで、ＹＯＬＯ５１１より出力される各領域の位置情報及び各領域の属性情報と、
・画像領域＝"領域１－１"、"領域１－２"、"領域１－３"、・・・により特定される環境微生物を含むと判定された各領域の位置情報と、
を比較し、誤差を算出する。
第２学習部５２０は、画像データ内において環境微生物を含むと判定された各領域の画像データ（部分画像データ）から環境微生物の種類を判定する処理を学習する。具体的には、第２学習部５２０は、ＤＭＬ（Deep Metric learning）５２１と比較／変更部５２２とを有する。
ＤＭＬ５２１は、学習用データにおいて、"部分画像"により特定される部分画像データを入力として、環境微生物の種類（本実施形態では、６種類）を出力（６種類の分類確率を出力）する学習モデルである。
比較／変更部５２２は、ＤＭＬ５２１により判定された環境微生物の種類と、学習用データの"正解ラベル"により特定される環境微生物の種類（の分類確率（例えば、１．０））とを比較し、誤差を算出する。また、比較／変更部５２２は、算出した誤差を逆伝播し、ＤＭＬ５２１のモデルパラメータを更新する。
例えば、学習用データ４４１の場合、比較／変更部５２２は、
・ファイル名＝「画像１－１」の部分画像データを、ＤＭＬ５２１に入力することで、ＤＭＬ５２１より判定される環境微生物の種類と、
・正解ラベル＝"カビＡ"と、
を比較し、誤差を算出する。
＜携帯端末の機能構成＞
次に、携帯端末１２０の機能構成について説明する。上述したように、携帯端末１２０には、検査プログラムがインストールされており、当該プログラムが実行されることで携帯端末１２０は、検査処理に関する機能が実現される。そこで、以下では、携帯端末１２０が実現する検査処理に関する機能について説明する。
図６は、携帯端末の検査処理に関する機能の機能構成の一例を示す図である。図６に示すように、携帯端末１２０は、検査処理に関する機能として、画像データ取得部６１０、第１推論部６２０、部分画像抽出部６３０、第２推論部６４０、出力部６５０を有する。なお、第１推論部６２０、部分画像抽出部６３０、第２推論部６４０は、画像データ内の環境微生物を同定する同定部として機能する。
画像データ取得部６１０は、検査フェーズにおいて可視光下（例えば、蛍光下）または紫外光下で撮影された画像データ６６０を取得する。なお、画像データ６６０は、プレパラート２４０を可視光下（例えば、蛍光下）または紫外光下で撮影した画像データである。
第１推論部６２０は、学習フェーズにおいて、第１学習部５１０がＹＯＬＯ５１１に対して学習処理を行うことで生成した学習済みのＹＯＬＯ６２１（第１の学習済みモデルの一例）を有する。第１推論部６２０は、学習済みのＹＯＬＯ６２１に画像データ６６０を入力することで、学習済みのＹＯＬＯ６２１を実行させる。これにより、学習済みのＹＯＬＯ６２１は、画像データ６６０内の各領域の位置情報及び各領域の属性情報（環境微生物を含むか否か等）を判定する。
図６の例は、画像データ６６０において、
・領域１の位置情報として座標（ｘ１ａ，ｙ１ａ）、（ｘ１ｂ，ｙ１ｂ）を判定し、当該領域が環境微生物を含む領域であると判定し、
・領域２の位置情報として座標（ｘ２ａ，ｙ２ａ）、（ｘ２ｂ，ｙ２ｂ）を判定し、当該領域が環境微生物を含む領域であると判定し、
・領域３の位置情報として座標（ｘ３ａ，ｙ３ａ）、（ｘ３ｂ，ｙ３ｂ）を判定し、当該領域が環境微生物を含む領域であると判定し、
・領域４の位置情報として座標（ｘ４ａ，ｙ４ａ）、（ｘ４ｂ，ｙ４ｂ）を判定し、当該領域が環境微生物を含む領域であると判定し、
・領域５の位置情報として座標（ｘ５ａ，ｙ５ａ）、（ｘ５ｂ，ｙ５ｂ）を判定し、当該領域が環境微生物を含む領域であると判定し、
・領域１～領域５以外の領域が、環境微生物を含まない領域であると判定、
した様子を示している。
なお、第１推論部６２０は、学習済みのＹＯＬＯ６２１により判定された、画像データ６６０内の各領域の位置情報及び各領域の属性情報を、部分画像抽出部６３０及び出力部６５０に通知する。
部分画像抽出部６３０は、第１推論部６２０より通知された、画像データ６６０内の各領域の位置情報及び各領域の属性情報に基づいて、画像データ６６０内の環境微生物を含む各領域の画像データ（部分画像データ）を抽出する。図６の例は、部分画像抽出部６３０が、領域１～領域５の部分画像データ６３１～６３５を抽出した様子を示している。
なお、部分画像抽出部６３０は、抽出した部分画像データ６３１～６３５を、第２推論部６４０に通知する。
第２推論部６４０は、学習フェーズにおいて、第２学習部５２０がＤＭＬ５２１に対して学習処理を行うことで生成した学習済みのＤＭＬ６４１（第２の学習済みのモデル）を有する。第２推論部６４０は、学習済みのＤＭＬ６４１に部分画像データ６３１～６３５を入力することで、学習済みのＤＭＬ６４１を実行させる。これにより、学習済みのＤＭＬ６４１は、部分画像データ６３１～６３５それぞれに含まれる環境微生物の種類を判定する。
図６の例は、部分画像データ６３１を入力することで、学習済みのＤＭＬ６４１が"カビＣ"と判定し、部分画像データ６３２を入力することで、学習済みのＤＭＬ６４１が"カビＡ"と判定した様子を示している。また、図６の例は、部分画像データ６３３を入力することで、学習済みのＤＭＬ６４１が"カビＡ"と判定し、部分画像データ６３４を入力することで、学習済みのＤＭＬ６４１が"カビＢ"と判定した様子を示している。更に、図６の例は、部分画像データ６３５を入力することで、学習済みのＤＭＬ６４１が"カビＣ"と判定した様子を示している。
なお、第２推論部６４０は、学習済みのＤＭＬ６４１により判定された、環境微生物の種類を、出力部６５０に通知する。
出力部６５０は、第１推論部６２０より通知された、画像データ６６０内の各領域の位置情報及び各領域の属性情報と、第２推論部６４０より通知された、環境微生物の種類とに基づいて可視化処理を行うことで、検査結果を生成し、表示装置３０４に表示する。
なお、出力部６５０が生成する検査結果には、例えば、
・画像データ６６０内において環境微生物を含むと判定された各領域が、環境微生物の種類に応じた色により配色された画像データ、
・画像データ６６０内の環境微生物の各種類の個数（または割合）を集計した集計データ、
等が含まれる。
このように、検査フェーズにおける「検査」には、少なくとも、環境微生物の種類と数とを定量化することが含まれる。
＜検査結果の提供例＞
次に、携帯端末１２０による検査結果の提供例について説明する。図７は、携帯端末による検査結果の提供例を示す図である。
このうち、図７（ａ）は、画像データ６６０内において環境微生物を含むと判定された各領域が、環境微生物の種類に応じた色により配色された画像データ７１０の一例である。図７（ａ）の例は、"カビＣ"が青色で配色され、"カビＡ"が赤色で配色され、"カビＣ"が黄色で配色された様子を示している（図７（ａ）では、便宜上、ハッチングの種類の違いにより表現している）。
また、図７（ｂ）は、画像データ６６０内の環境微生物の各種類の個数を集計した集計データ７２０の一例である。図７（ｂ）に示すように、集計データ７２０は、情報の項目として、"カビ種類"、"個数"を含む。このうち、"カビ種類"には、６種類のカビの名称及びカビ以外の名称（"その他"）が格納され、"個数"には、対応する種類のカビの個数またはその他の個数が格納される。
＜学習処理の流れ＞
次に、検査サービス提供システム１００による、学習処理の流れについて説明する。図８は、学習処理の流れを示すフローチャートである。
ステップＳ８０１において、実験者４５０は、実験用の空調機（室内機）１５０からほこり１６０を採取する。
ステップＳ８０２において、実験者４５０は、採取した試料を分散させて溶液化する。
ステップＳ８０３において、実験者４５０は、環境微生物の種類ごとに溶液を分類する。
ステップＳ８０４において、実験者４５０は、分類した各溶液から、試料を採取し、スライドガラスに滴下することで、プレパラート１８０＿１～１８０＿６を生成する。更に、実験者４５０は、生成したプレパラート１８０＿１～１８０＿６（撮像対象）を、携帯端末１２０を用いて可視光下（例えば、蛍光下）または紫外光下で撮影する。
ステップＳ８０５において、画像処理装置１４０は、撮影された画像データに基づいて、環境微生物の種類ごとに、学習用データ４４１～４４６を生成する。
ステップＳ８０６において、画像処理装置１４０は、生成した学習用データ４４１～４４６を用いて、ＹＯＬＯに対して学習処理を行い、画像データ内の各領域の位置情報及び属性情報を学習する。
ステップＳ８０７において、画像処理装置１４０は、生成した学習用データ４４１～４４６を用いて、ＤＭＬに対して学習処理を行い、画像データ内の各領域の部分画像データについて、環境微生物の種類を学習する。
＜検査処理の流れ＞
次に、検査サービス提供システム１００による、検査処理の流れについて説明する。図９は、検査処理の流れを示すフローチャートである。
ステップＳ９０１において、サービス提供者は、検査結果の提供先となるユーザの空調機（室内機）２１０からほこり２２０を採取する。
ステップＳ９０２において、サービス提供者は、採取した試料を分散させて溶液化する。
ステップＳ９０３において、サービス提供者は、溶液から試料を採取し、スライドガラスに滴下することで、プレパラート２４０を生成する。また、サービス提供者は、生成したプレパラート２４０（撮像対象）を、携帯端末１２０を用いて可視光下または紫外光下で撮影する。
ステップＳ９０４において、携帯端末１２０は、撮影した画像データ内の各領域の位置情報及び属性情報を判定するとともに、環境微生物を含むと判定された各領域の部分画像データを抽出する。
ステップＳ９０５において、携帯端末１２０は、抽出した部分画像データそれぞれの環境微生物の種類を判定する。
ステップＳ９０６において、携帯端末１２０は、画像データ内の各領域の位置情報及び属性情報と、環境微生物の種類情報とに基づいて可視化処理を行い、検査結果をユーザに提供する。
＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る検査システムの一例である携帯端末１２０は、
・採取されたほこりを溶液化し、溶液をスライドガラスに滴下することで生成したプレパラートを撮像対象として、可視光下または紫外光下でレンズを介して撮影する。つまり、ほこりを直接撮影する、あるいは、環境微生物個体の外観を撮影する。
・撮影された画像データ内の環境微生物を、画像データ内の各領域の属性を判定する学習済みのＹＯＬＯと、環境微生物を含むと判定された領域について環境微生物の種類を判定する学習済みのＤＭＬとを用いて同定する。
・同定した画像データ内の環境微生物について可視化処理を行い、検査結果を提供する。
このように、学習済みのモデルを用いて画像データ内の環境微生物を同定する構成とすることで、検査システムの一例である携帯端末によれば、形状が似ている環境微生物であっても、撮影した画像データ内の環境微生物を精度よく同定することができる。
これにより、培養法を用いる必要がなくなり、検査結果の提供に要する時間を短縮することができる。この結果、例えば、サービス提供者が検査結果の提供先となるユーザを訪問した際、当該ユーザの空調機から試料を採取し、その場で、検査結果を提供することが可能となる。
つまり、第１の実施形態によれば、環境微生物の検査に要する時間を短縮する検査システム及び検査方法を提供することができる。
［第２の実施形態］
上記第１の実施形態は、携帯端末１２０が、撮像装置１２１と、同定部（第２推論部６４０等）と、出力部６５０とを有する検査システムとして機能する場合について説明した。しかしながら、携帯端末１２０の一部の機能については、撮影台に配し、撮影台と携帯端末１２０とで検査システムが形成されるように構成してもよい。
図１０は、学習フェーズにおける検査サービス提供システムの適用例を示す第２の図である。図１との相違点は、第２の実施形態の場合、学習フェーズにおける検査サービス提供システム１００は、検査システム１０１０と、画像処理装置１４０とを有し、検査システム１０１０は、撮影台１０２０と、携帯端末１２０とを含む点である。また、図１との相違点は、第２の実施形態の場合、撮影台１０２０は、撮像装置１０２１を有し、携帯端末１２０と接続される点である。
同様に、図１１は、検査フェーズにおける検査サービス提供システムの適用例を示す第２の図である。図２との相違点は、第２の実施形態の場合、検査フェーズにおける検査サービス提供システム１００は、検査システム１０１０を有し、検査システム１０１０は、撮影台１０２０と、携帯端末１２０とを含む点である。また、図２との相違点は、第２の実施形態の場合、撮影台１０２０は、撮像装置１０２１を有し、携帯端末１２０と接続される点である。
このように、撮像装置１０２１を撮影台１０２０に配し、携帯端末１２０を、同定部及び出力部として機能させた場合であっても、上記第１の実施形態と同様の効果が得られる。
なお、本実施形態では、撮像装置１０２１を撮影台１０２０に配する構成としたが、携帯端末１２０において実現される他の機能を、撮影台１０２０に配するように構成してもよい。つまり、撮影台１０２０と携帯端末１２０とを含む検査システム１０１０において、撮影台１０２０と携帯端末１２０との間の機能分担の組み合わせは、任意である。
［第３の実施形態］
上記第１及び第２の実施形態では、検査結果の提供例として、少なくとも、環境微生物の種類及び数と画像データとを出力するものとして説明したが、検査結果の提供方法はこれに限定されず、例えば、レポートとして、ユーザが理解しやすい形にまとめてもよい。
図１２は、検査結果を含むレポートの一例を示す図である。図１２に示すように、レポート１２００には、情報の項目として、
・"ユーザ情報"（符号１２１０）、
・"採取位置を示す写真"（符号１２２０）、
・"レベル"（符号１２３０）、
・"検査結果"（符号１２４０）、
・"カビの説明"（符号１２５０）、
等が含まれる。
このうち、"ユーザ情報"には、試料を採取した状況として、採取した日、採取した場所の名称等が記載される。また、"採取位置を示す写真"には、試料を採取した環境を示す情報として、採取位置を示す写真等が挿入される。また、"レベル"には、検査結果に基づいて算出した汚染度のレベルが記載される。また、"検査結果"には、撮影された画像データ、検出されたカビの種類及び数（または比率）を示したグラフ等が挿入される。更に、"カビの説明"には、各種類のカビ（図１２の例では、カビＡ～カビＦ）についての詳細な説明が記載される。
なお、図１２のレポート１２００には記載されていないが、レポート１２００には、更に、過去の検査結果との比較結果が含まれていてもよい。ここでいう過去の検査結果には、同じ場所の過去の検査結果と、異なる採取場所の過去の検査結果のいずれかまたは両方が含まれる。
［第４の実施形態］
上記第１の実施形態では、環境微生物を含むと判定された各領域の画像データ（部分画像データ）のサイズについて特に言及しなかったが、各領域の画像データのサイズは、例えば、３２×３２画素以上、あるいは、５０×５０画素以上であるとする。
また、上記第１の実施形態では、空調機（室内機）からほこりを採取するケースについて説明したが、ほこりを採取する採取先は、空調機（室内機）に限定されず、他の機器であってもよい。なお、他の機器には、例えば、空気清浄機、加湿器、換気設備、送風機等が含まれる。また、ほこりを採取する採取先は、機器に限定されず、室内環境であれば、例えば、機器以外の物体（壁、机、室内設備等）の表面であってもよい。つまり、上記第１及び第２の実施形態に係る検査システムは、室内環境もしくは機器に発生する微生物またはカビを検査する検査システムである。
また、上記第１の実施形態では、ほこりを採取して溶液化することで撮像対象を取得するケースについて説明したが、撮像対象の取得方法はこれに限定されない。例えば、汚れを採取して溶液化することで撮像対象を取得してもよい。あるいは、溶液をそのまま取得することで、撮像対象を取得してもよい。つまり、撮像対象は、室内環境または機器から採取することで得られる溶液であればよい。
また、上記第１の実施形態では、学習用データ４４１～４４６を用いて学習処理を行うものとして説明したが、学習処理に用いる学習用データは、学習用データ４４１～４４６に限定されない。追加の学習用データを生成し、再学習処理を行うことで、環境微生物を同定する精度を更に向上させてもよい。
また、上記第１の実施形態では、環境微生物の種類が６種類であるとして説明したが、環境微生物の種類は、６種類に限定されない。画像データを追加し、７種類以上の環境微生物に対応する学習用データを生成してもよい。なお、上記第１の実施形態では、環境微生物の種類の数に基づいて、６種類の学習用データを生成した。しかしながら、環境微生物の種類の判定に際しては、ＤＭＬを用いているため、６種類以外の環境微生物が含まれていた場合でも、当該６種類以外の環境微生物について精度よく分類することができる。あるいは、環境微生物以外の物質が含まれていた場合であっても、当該物質について精度よく分類することができる。つまり、ＤＭＬの場合、未学習の物質が含まれていた場合であっても精度よく分類することができる。
また、上記第１の実施形態では、環境微生物の一例として、カビを挙げたが、環境微生物は、カビに限定されない。例えば、細菌等の微生物であってもよい。なお、ここでいう細菌には、例えば、レジオネラ属菌、バチルス、ミクロコッカス球菌等が含まれる。
また、上記第１の実施形態では、採取した試料を溶液化する際、界面活性剤を溶かした生理食塩水を用いるものとして説明した。しかしながら、採取した試料を溶液化する際に用いる溶液は、これに限定されず、更に、界面活性剤を溶かした生理食塩水で希釈した溶液を用いてもよい。つまり、採取した試料を溶液化する際に用いる溶液には、
・界面活性剤を溶かした生理食塩水に、採取された試料を分散させて溶液化することで得られる第１の溶液と、
・第１の溶液を、更に界面活性剤を溶かした生理食塩水で希釈した第２の溶液と、
が含まれる。
なお、界面活性剤を溶かした生理食塩水で希釈するのは、希釈することによって、検出精度を向上させることができるからである。なお、このときの希釈倍率は、例えば、１～１０００倍程度、望ましくは、５～２０倍程度である。
また、上記第１の実施形態では、出力部６５０が画像データ６６０内の環境微生物の各種類の個数（または割合）を集計するものとして説明した。しかしながら、環境微生物の各種類の個数は、例えば、学習済みのＤＭＬが計数してもよい。
以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。
１００ ：検査サービス提供システム
１２０ ：携帯端末
１２１ ：撮像装置
１３０ ：撮影台
１３２ ：載置部
１３３ ：レンズ支持部
１４０ ：画像処理装置
１５０ ：空調機（室内機）
１６０ ：ほこり
１８０＿１～１８０＿６ ：プレパラート
２１０ ：空調機（室内機）
２２０ ：ほこり
２４０ ：プレパラート
４１０ ：画像データ取得部
４２０ ：正解ラベル取得部
４３０ ：学習用データ生成部
４４１～４４６ ：学習用データ
５１０ ：第１学習部
５２０ ：第２学習部
６１０ ：画像データ取得部
６２０ ：第１推論部
６３０ ：部分画像抽出部
６４０ ：第２推論部
６５０ ：出力部
７３０ ：集計データ
１０１０ ：検査システム
１０２０ ：撮影台
１０２１ ：撮像装置
１２００ ：レポート

Claims (19)

  1. 室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
    室内環境もしくは機器から採取された試料を溶液化することで得られる撮像対象であって、前記試料に含まれる微生物またはカビを培養することなく得られる撮像対象を撮影する撮像部と、
    室内環境もしくは機器から採取された試料を溶液化することで得られる撮像対象であって、前記試料に含まれる微生物またはカビを培養することなく得られる撮像対象を撮影した画像データと、前記画像データ内において微生物またはカビを１つ含むと判定された領域の位置を示す位置情報及び判定された結果を示す属性情報とが対応付けられた第１の学習データを用いて学習された第１の学習済みモデルと、
    前記第１の学習済みモデルにより、微生物またはカビを１つ含むと判定された領域の画像データである部分画像データと、前記部分画像データに含まれる微生物またはカビの種類とが対応付けられた第２の学習データを用いて学習された第２の学習済みモデルと、
    前記撮像部により撮影された画像データが、前記第１の学習済みモデルを用いて処理され、微生物またはカビを１つ含むと判定された領域の画像データである部分画像データが、前記第２の学習済みモデルを用いて処理されることで得られた、前記画像データ内の微生物またはカビについての検査結果を出力する出力部と
    を有する検査システム。
  2. 室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
    室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影する撮像部と、
    室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影した画像データと、前記画像データ内において微生物またはカビを１つ含むと判定された領域の位置を示す位置情報及び判定された結果を示す属性情報とが対応付けられた第１の学習データを用いて学習された第１の学習済みモデルと、
    前記第１の学習済みモデルにより、微生物またはカビを１つ含むと判定された領域の画像データである部分画像データと、前記部分画像データに含まれる微生物またはカビの種類とが対応付けられた第２の学習データを用いて学習された第２の学習済みモデルと、
    前記撮像部により撮影された画像データが、前記第１の学習済みモデルを用いて処理され、微生物またはカビを１つ含むと判定された領域の画像データである部分画像データが、前記第２の学習済みモデルを用いて処理されることで得られた、前記画像データ内の微生物またはカビについての検査結果を出力する出力部と
    を有する検査システム。
  3. 前記撮像部は、可視光下または紫外光下でレンズを介して撮影する、請求項１または２に記載の検査システム。
  4. 採取先は、空調機、空気清浄機、加湿器、換気設備、送風機、室内環境の表面のいずれかである、請求項３に記載の検査システム。
  5. 前記出力部は、前記撮像部により撮影された画像データ内の微生物またはカビの数を種類ごとに集計して出力する、請求項１乃至４のいずれか１項に記載の検査システム。
  6. 室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
    室内環境もしくは機器から採取された試料を溶液化することで得られる撮像対象であって、前記試料に含まれる微生物またはカビを培養することなく得られる撮像対象を撮影する撮像部と、
    室内環境もしくは機器から採取された試料を溶液化することで得られる撮像対象であって、前記試料に含まれる微生物またはカビを培養することなく得られる撮像対象を撮影した画像データと、前記画像データ内において微生物またはカビを１つ含むと判定された領域の位置を示す位置情報及び判定された結果を示す属性情報とが対応付けられた第１の学習データを用いて学習された第１の学習済みモデルと、
    前記第１の学習済みモデルにより、微生物またはカビを１つ含むと判定された領域の画像データである部分画像データと、前記部分画像データに含まれる微生物またはカビの種類とが対応付けられた第２の学習データを用いて学習された第２の学習済みモデルと、
    前記撮像部により撮影された画像データが、前記第１の学習済みモデルを用いて処理され、微生物またはカビを１つ含むと判定された領域の画像データである部分画像データが、前記第２の学習済みモデルを用いて処理されることで得られた、前記画像データ内の微生物またはカビについての検査結果を出力する出力部と、を有し、
    前記出力部は、微生物またはカビの種類、微生物またはカビの数または比率、前記撮像部により撮影された画像データを検査結果として表示するとともに、前記室内環境もしくは機器を示す情報、前記微生物またはカビの説明、汚染度のレベル、他の検査結果との比較結果、のいずれか１つを表示する、検査システム。
  7. 室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
    室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影する撮像部と、
    室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影した画像データと、前記画像データ内において微生物またはカビを１つ含むと判定された領域の位置を示す位置情報及び判定された結果を示す属性情報とが対応付けられた第１の学習データを用いて学習された第１の学習済みモデルと、
    前記第１の学習済みモデルにより、微生物またはカビを１つ含むと判定された領域の画像データである部分画像データと、前記部分画像データに含まれる微生物またはカビの種類とが対応付けられた第２の学習データを用いて学習された第２の学習済みモデルと、
    前記撮像部により撮影された画像データが、前記第１の学習済みモデルを用いて処理され、微生物またはカビを１つ含むと判定された領域の画像データである部分画像データが、前記第２の学習済みモデルを用いて処理されることで得られた、前記画像データ内の微生物またはカビについての検査結果を出力する出力部と、有し、
    前記出力部は、微生物またはカビの種類、微生物またはカビの数または比率、前記撮像部により撮影された画像データを検査結果として表示するとともに、前記室内環境もしくは機器を示す情報、前記微生物またはカビの説明、汚染度のレベル、他の検査結果との比較結果、のいずれか１つを表示する、検査システム。
  8. 前記撮像対象は、採取された試料を分散させて溶液化することで得られる、請求項１に記載の検査システム。
  9. 前記撮像対象は、空調機から採取された試料を分散させて溶液化することで得られる、請求項８に記載の検査システム。
  10. 前記撮像対象は、界面活性剤を溶かした生理食塩水に、採取された試料を分散させて溶液化することで得られる、請求項８または９に記載の検査システム。
  11. 前記撮像対象には、界面活性剤を溶かした生理食塩水に、採取された試料を分散させて溶液化することで得られる第１の溶液と、該第１の溶液を、更に、界面活性剤を溶かした生理食塩水を用いて希釈した第２の溶液とが含まれる、請求項８乃至１０のいずれか１項に記載の検査システム。
  12. 前記第１の学習済みモデルにより微生物またはカビを１つ含むと判定された各領域は、３２×３２画素以上である、請求項１または２に記載の検査システム。
  13. 前記第２の学習済みモデルは、前記微生物またはカビの種類を判定した場合に、判定した種類ごとに前記微生物またはカビを計数する、請求項１または２に記載の検査システム。
  14. 前記検査システムは、携帯端末であり、
    前記撮像部は、前記携帯端末に内蔵されている、請求項１乃至１３のいずれか１項に記載の検査システム。
  15. 前記検査システムは、前記撮像対象を載置する携帯可能な撮影台と、該撮影台と接続される携帯端末とを有し、
    前記撮影台は、前記撮像部を有し、
    前記携帯端末は、前記第１の学習済みモデルと前記第２の学習済みモデルと前記出力部とを有する、請求項１に記載の検査システム。
  16. 前記第１の学習済みモデルは、学習済みのＹＯＬＯである、請求項１または２に記載の検査システム。
  17. 前記第２の学習済みモデルは、学習済みのＤＭＬである、請求項１または２に記載の検査システム。
  18. 室内環境もしくは機器に発生する微生物またはカビを検査する検査システムの検査方法であって、
    室内環境もしくは機器から採取された試料を溶液化することで得られる撮像対象であって、前記試料に含まれる微生物またはカビを培養することなく得られる撮像対象を撮影する工程と、
    撮影された画像データが、第１の学習済みモデルを用いて処理され、微生物またはカビを１つ含むと判定された領域の画像データである部分画像データが、第２の学習済みモデルを用いて処理されることで得られた、前記画像データ内の微生物またはカビについての検査結果を出力する工程と、を有し、
    前記第１の学習済みモデルは、
    室内環境もしくは機器から採取された試料を溶液化することで得られる撮像対象であって、前記試料に含まれる微生物またはカビを培養することなく得られる撮像対象を撮影した画像データと、前記画像データ内において微生物またはカビを１つ含むと判定された領域の位置を示す位置情報及び判定された結果を示す属性情報とが対応付けられた第１の学習データを用いて学習され、
    前記第２の学習済みモデルは、
    前記第１の学習済みモデルにより、微生物またはカビを１つ含むと判定された領域の画像データである部分画像データと、前記部分画像データに含まれる微生物またはカビの種類とが対応付けられた第２の学習データを用いて学習される、
    検査方法。
  19. 室内環境もしくは機器に発生する微生物またはカビを検査する検査システムの検査方法であって、
    室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影する工程と、
    撮影された画像データが、第１の学習済みモデルを用いて処理され、微生物またはカビを１つ含むと判定された領域の画像データである部分画像データが、第２の学習済みモデルを用いて処理されることで得られた、前記画像データ内の微生物またはカビについての検査結果を出力する工程と、を有し、
    前記第１の学習済みモデルは、
    室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影した画像データと、前記画像データ内において微生物またはカビを１つ含むと判定された領域の位置を示す位置情報及び判定された結果を示す属性情報とが対応付けられた第１の学習データを用いて学習され、
    前記第２の学習済みモデルは、
    前記第１の学習済みモデルにより、微生物またはカビを１つ含むと判定された領域の画像データである部分画像データと、前記部分画像データに含まれる微生物またはカビの種類とが対応付けられた第２の学習データを用いて学習される、
    検査方法。
JP2022040545A 2021-03-22 2022-03-15 検査システム及び検査方法 Active JP7206533B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022211149A JP2023061925A (ja) 2021-03-22 2022-12-28 検査システム及び検査方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021047960 2021-03-22
JP2021047960 2021-03-22
JP2021161942 2021-09-30
JP2021161942 2021-09-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022211149A Division JP2023061925A (ja) 2021-03-22 2022-12-28 検査システム及び検査方法

Publications (2)

Publication Number Publication Date
JP2022146910A JP2022146910A (ja) 2022-10-05
JP7206533B2 true JP7206533B2 (ja) 2023-01-18

Family

ID=83397241

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2022040545A Active JP7206533B2 (ja) 2021-03-22 2022-03-15 検査システム及び検査方法
JP2022041461A Active JP7206534B2 (ja) 2021-03-22 2022-03-16 検査システム及び検査方法
JP2022211148A Pending JP2023058482A (ja) 2021-03-22 2022-12-28 検査システム及び検査方法
JP2022211149A Pending JP2023061925A (ja) 2021-03-22 2022-12-28 検査システム及び検査方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2022041461A Active JP7206534B2 (ja) 2021-03-22 2022-03-16 検査システム及び検査方法
JP2022211148A Pending JP2023058482A (ja) 2021-03-22 2022-12-28 検査システム及び検査方法
JP2022211149A Pending JP2023061925A (ja) 2021-03-22 2022-12-28 検査システム及び検査方法

Country Status (5)

Country Link
US (1) US20240169749A1 (ja)
EP (1) EP4317404A1 (ja)
JP (4) JP7206533B2 (ja)
AU (1) AU2022244737A1 (ja)
WO (2) WO2022202694A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240055503A (ko) * 2022-10-20 2024-04-29 씨제이제일제당 (주) 인공지능 기반의 배양액 오염 탐지 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000258416A (ja) 1999-03-11 2000-09-22 Matsushita Electric Ind Co Ltd アレルゲン測定用被検液の調製方法及びその装置
JP2014183761A (ja) 2013-03-22 2014-10-02 Azbil Corp 微生物検出装置の評価キット、微生物検出装置の評価キットの製造方法、及び微生物検出装置の評価方法
WO2019204854A1 (en) 2018-04-24 2019-10-31 First Frontier Pty Ltd System and method for performing automated analysis of air samples
US20200158603A1 (en) 2018-11-16 2020-05-21 Particle Measuring Systems, Inc. Particle Sampling Systems and Methods for Robotic Controlled Manufacturing Barrier Systems
US10769501B1 (en) 2017-02-15 2020-09-08 Google Llc Analysis of perturbed subjects using semantic embeddings

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007195454A (ja) 2006-01-26 2007-08-09 Kao Corp カビの形態観察方法
CA3076847A1 (en) 2017-10-09 2019-04-18 Pathspot Technologies Inc. Systems and methods for detection of contaminants on surfaces
JP2021047960A (ja) 2019-09-19 2021-03-25 キオクシア株式会社 半導体記憶装置
JP7364523B2 (ja) 2020-03-31 2023-10-18 株式会社豊田自動織機 スクロール型圧縮機

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000258416A (ja) 1999-03-11 2000-09-22 Matsushita Electric Ind Co Ltd アレルゲン測定用被検液の調製方法及びその装置
JP2014183761A (ja) 2013-03-22 2014-10-02 Azbil Corp 微生物検出装置の評価キット、微生物検出装置の評価キットの製造方法、及び微生物検出装置の評価方法
US10769501B1 (en) 2017-02-15 2020-09-08 Google Llc Analysis of perturbed subjects using semantic embeddings
WO2019204854A1 (en) 2018-04-24 2019-10-31 First Frontier Pty Ltd System and method for performing automated analysis of air samples
US20200158603A1 (en) 2018-11-16 2020-05-21 Particle Measuring Systems, Inc. Particle Sampling Systems and Methods for Robotic Controlled Manufacturing Barrier Systems

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CAO, N. et al.，Dataset: Pollen Video Library for Benchmarking Detection, Classification, Tracking and Novelty Detection Tasks，DATA '20: Proceedings of the Third Workshop on Data: Acquisition To Analysis，2020年11月16日，pp. 23-25，doi:10.1145/3419016.3431487
KHAN, A. A. H. and KARUPPAYIL, S. M.，Fungal pollution of indoor environments and its management，Saudi Journal of Biological Sciences，2012年06月15日，Vol. 19，pp. 405-426，doi:10.1016/j.sjbs.2012.06.002
KING, M.D. et al.，Assays and enumeration of bioaerosols-traditional approaches to modern practices，Aerosol Science and Technology，2020年02月24日，Vol. 54，pp. 611-633，doi:10.1080/02786826.2020.1723789
牧 輝弥、ほか，バイオエアロゾルの蛍光顕微鏡観察，エアロゾル研究，2013年10月01日，Vol. 28, No. 3，pp. 201-207，doi:10.11203/jar.28.201

Also Published As

Publication number Publication date
US20240169749A1 (en) 2024-05-23
JP7206534B2 (ja) 2023-01-18
AU2022244737A1 (en) 2023-10-05
JP2023061925A (ja) 2023-05-02
JP2022146913A (ja) 2022-10-05
WO2022202693A1 (ja) 2022-09-29
EP4317404A1 (en) 2024-02-07
JP2022146910A (ja) 2022-10-05
WO2022202694A1 (ja) 2022-09-29
JP2023058482A (ja) 2023-04-25

Similar Documents

Publication Publication Date Title
DK2973397T3 (en) Tissue-object-based machine learning system for automated assessment of digital whole-slide glass
US11226280B2 (en) Automated slide assessments and tracking in digital microscopy
CN107580715A (zh) 用于自动计数微生物菌落的方法和系统
JP2018180635A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Chieco et al. Image cytometry: protocols for 2D and 3D quantification in microscopic images
CN103140757A (zh) 信息处理设备、信息处理系统、信息处理方法、程序和记录介质
JP7206533B2 (ja) 検査システム及び検査方法
CN107209111A (zh) 自动化整体载片分析的质量控制
CN110320158A (zh) 移动化学分析
WO2014192184A1 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP2013077127A (ja) 画像分類装置および画像分類方法
CN110796661A (zh) 基于卷积神经网络的真菌显微图像分割检测方法及系统
Cannet et al. Wing interferential patterns (WIPs) and machine learning, a step toward automatized tsetse (Glossina spp.) identification
JP2023061925A5 (ja) 検査システム、検査方法及び検査プログラム
JP4897488B2 (ja) 分散プロット分布を用いてスライドを分類するシステム
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
CN116981933A (zh) 检查系统及检查方法
WO2022019110A1 (ja) プログラム、情報処理装置、情報処理方法及びモデル生成方法
KR102330216B1 (ko) Ai학습 분석을 이용한 골연령 및 건강상태 판독방법
Powless et al. Evaluation of acridine orange staining for a semi-automated urinalysis microscopic examination at the point-of-care
US20230175935A1 (en) Test Slides and Methods of Production in Stain Assessment
CN117496274B (zh) 一种基于液滴图像的分类计数方法、系统和存储介质
WO2023195405A1 (ja) 細胞検出装置、細胞診断支援装置、細胞検出方法、及び細胞検出プログラム
Ramakrishna et al. Smart Phone based Microscopic Image Acquisition and Quantifying System for Detecting Dengue
Doornewaard et al. Reproducibility in double scanning of cervical smears with the PAPNET system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221212

R151 Written notification of patent or utility model registration

Ref document number: 7206533

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151