JP7206533B2 - 検査システム及び検査方法 - Google Patents
検査システム及び検査方法 Download PDFInfo
- Publication number
- JP7206533B2 JP7206533B2 JP2022040545A JP2022040545A JP7206533B2 JP 7206533 B2 JP7206533 B2 JP 7206533B2 JP 2022040545 A JP2022040545 A JP 2022040545A JP 2022040545 A JP2022040545 A JP 2022040545A JP 7206533 B2 JP7206533 B2 JP 7206533B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- microorganisms
- trained model
- microorganism
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 156
- 238000000034 method Methods 0.000 title claims description 25
- 244000005700 microbiome Species 0.000 claims description 179
- 238000003384 imaging method Methods 0.000 claims description 90
- 241000233866 Fungi Species 0.000 claims description 79
- 238000012545 processing Methods 0.000 claims description 69
- 239000000243 solution Substances 0.000 claims description 44
- 239000002504 physiological saline solution Substances 0.000 claims description 12
- 239000004094 surface-active agent Substances 0.000 claims description 10
- 238000012258 culturing Methods 0.000 claims description 8
- 238000011109 contamination Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000009423 ventilation Methods 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 description 87
- 230000006870 function Effects 0.000 description 24
- 238000012360 testing method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 18
- 239000000428 dust Substances 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 241000894006 Bacteria Species 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 238000002360 preparation method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000012136 culture method Methods 0.000 description 5
- 239000002609 medium Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000001580 bacterial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000010790 dilution Methods 0.000 description 2
- 239000012895 dilution Substances 0.000 description 2
- 238000001035 drying Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000235349 Ascomycota Species 0.000 description 1
- 241000193830 Bacillus <bacterium> Species 0.000 description 1
- 241000589248 Legionella Species 0.000 description 1
- 208000007764 Legionnaires' Disease Diseases 0.000 description 1
- 241000192041 Micrococcus Species 0.000 description 1
- 240000004808 Saccharomyces cerevisiae Species 0.000 description 1
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007865 diluting Methods 0.000 description 1
- 230000003028 elevating effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000001963 growth medium Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003381 solubilizing effect Effects 0.000 description 1
Images
Classifications
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
- C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
- C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
- C12Q1/04—Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
- C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
- C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/38—Diluting, dispersing or mixing samples
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/06—Investigating concentration of particle suspensions
- G01N15/0606—Investigating concentration of particle suspensions by collecting particles on a support
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/06—Investigating concentration of particle suspensions
- G01N15/075—Investigating concentration of particle suspensions by optical means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1468—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N2015/1486—Counting the particles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Organic Chemistry (AREA)
- Wood Science & Technology (AREA)
- Zoology (AREA)
- Dispersion Chemistry (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Microbiology (AREA)
- Genetics & Genomics (AREA)
- General Engineering & Computer Science (AREA)
- Biotechnology (AREA)
- Proteomics, Peptides & Aminoacids (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Toxicology (AREA)
- Signal Processing (AREA)
- Sustainable Development (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
Description
室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
室内環境もしくは機器から採取された試料を直接撮影する撮像部と、
前記撮像部により撮影された画像データ内の微生物またはカビを検査し検査結果を出力する出力部とを有する。
室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影する撮像部と、
前記撮像部により撮影された画像データ内の微生物またはカビを検査し検査結果を出力する出力部とを有する。
前記撮像部が撮影する撮像対象は、室内環境もしくは機器から採取された溶液であり、前記撮像部は、前記撮像対象を、可視光下または紫外光下でレンズを介して撮影する。
前記溶液は、室内環境もしくは機器から採取された試料を溶液化することで得られる。
採取先は、空調機、空気清浄機、加湿器、換気設備、送風機、室内環境の表面のいずれかである。
前記画像データ内の各領域の属性を判定する第1の学習済みモデルを有する。
前記第1の学習済みモデルにより、微生物またはカビを含むと判定された領域について、微生物またはカビの種類を判定する第2の学習済みモデルを有する。
前記出力部は、前記撮像部により撮影された画像データ内の微生物またはカビの数を種類ごとに集計して出力する。
室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
室内環境もしくは機器から採取された試料を直接撮影する撮像部と、
前記撮像部により撮影された画像データ内の微生物またはカビを検査し検査結果を出力する出力部と、を有し、
前記出力部は、微生物またはカビの種類、微生物またはカビの数または比率、前記撮像部により撮影された画像データを検査結果として表示するとともに、前記室内環境もしくは機器を示す情報、前記微生物またはカビの説明、汚染度のレベル、他の検査結果との比較結果、のいずれか1つを表示する。
室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影する撮像部と、
前記撮像部により撮影された画像データ内の微生物またはカビを検査し検査結果を出力する出力部と、有し、
前記出力部は、微生物またはカビの種類、微生物またはカビの数または比率、前記撮像部により撮影された画像データを検査結果として表示するとともに、前記室内環境もしくは機器を示す情報、前記微生物またはカビの説明、汚染度のレベル、他の検査結果との比較結果、のいずれか1つを表示する。
前記撮像対象は、採取された試料を分散させて溶液化することで得られる。
前記撮像対象は、空調機から採取された試料を分散させて溶液化することで得られる。
前記撮像対象は、界面活性剤を溶かした生理食塩水に、採取された試料を分散させて溶液化することで得られる。
前記撮像対象には、界面活性剤を溶かした生理食塩水に、採取された試料を分散させて溶液化することで得られる第1の溶液と、該第1の溶液を、更に、界面活性剤を溶かした生理食塩水を用いて希釈した第2の溶液とが含まれる。
前記第1の学習済みモデルにより属性が判定された各領域は、32×32画素以上である。
前記第1の学習済みモデルは、同一種類の微生物またはカビが含まれる画像データと、該画像データ内の微生物またはカビを含むと判定された各領域の位置が複数の座標により特定された位置情報とが対応付けられた学習用データを用いて学習処理が行われることで生成される。
前記第2の学習済みモデルは、前記微生物またはカビの種類を判定した場合に、判定した種類ごとに前記微生物またはカビを計数する。
前記検査システムは、携帯端末であり、
前記撮像部は、前記携帯端末に内蔵されている。
前記検査システムは、前記撮像対象を載置する携帯可能な撮影台と、該撮影台と接続される携帯端末とを有し、
前記撮影台は、前記撮像部を有し、
前記携帯端末は、前記第1の学習済みモデルと前記第2の学習済みモデルと前記出力部とを有する。
前記第1の学習済みモデルは、学習済みのYOLOである。
前記第2の学習済みモデルは、同一種類の微生物またはカビが含まれる画像データの微生物またはカビを含むと判定された各領域の部分画像データと、該微生物またはカビの種類とが対応付けられた学習用データを用いて学習処理が行われることで生成される。
前記第2の学習済みモデルは、学習済みのDMLである。
室内環境もしくは機器に発生する微生物またはカビを検査する検査システムの検査方法であって、
室内環境もしくは機器から採取された試料を直接撮影する工程と、
撮影された画像データ内の微生物またはカビを検査し検査結果を出力する工程とを有する。
室内環境もしくは機器に発生する微生物またはカビを検査する検査システムの検査方法であって、
室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影する工程と、
撮影された画像データ内の微生物またはカビを検査し検査結果を出力する工程とを有する。
<学習フェーズにおける検査サービス提供システム>
はじめに、第1の実施形態に係る検査システムを含む検査サービス提供システムのうち、学習フェーズにおける検査サービス提供システムの適用例について説明する。図1は、学習フェーズにおける検査サービス提供システムの適用例を示す第1の図である。図1に示すように、学習フェーズにおいて検査サービス提供システム100は、携帯端末120(第1の実施形態に係る検査システムの一例)と、撮影台130と、画像処理装置140とを有する。
(1)実験者が実験用の空調機(室内機)150から試料(ほこり160)を採取する(なお、空調機(室内機)150の内部から採取しても、空調機(室内機)150の外表面から採取してもよい)。
(2)界面活性剤を溶かした生理食塩水の溶液170に、採取した試料を分散させて溶液化する。なお、ここでいう「試料を分散させて溶液化する」ことには、「分散させて溶液化した試料を乾燥させる」ことが含まれていてもよい。
(3)溶液化した試料を、溶液170から採取し(例えば、10μl)、スライドガラスに滴下することで、プレパラートを生成する。このとき、同一種類の環境微生物のみが含まれるように試料181_1~181_6を採取し、種類ごとに、異なるスライドガラスに滴下することで、プレパラート180_1~180_6を生成する。なお、図1の例は、空調機(室内機)150から採取した試料(ほこり160)に、6種類の環境微生物が含まれていた場合を示している。
(4)生成したプレパラート180_1~180_6を、撮像対象として、順次、撮影台130に載置し、携帯端末120を用いて可視光下(例えば、蛍光下)または紫外光下で撮影する。
次に、第1の実施形態に係る検査システムを含む検査サービス提供システムのうち、検査フェーズにおける検査サービス提供システムの適用例について説明する。図2は、検査フェーズにおける検査サービス提供システムの適用例を示す第1の図である。図2に示すように、検査フェーズにおいて検査サービス提供システム100は、携帯端末120(第1の実施形態に係る検査システムの一例)と、撮影台130とを有する。
(1)サービス提供者が検査結果の提供先となるユーザの空調機(室内機)210から試料(ほこり220)を採取する(なお、空調機(室内機)210の内部から採取しても、空調機(室内機)210の外表面から採取してもよい)。
(2)界面活性剤を溶かした生理食塩水の溶液230に、採取した試料を分散させて溶液化する。なお、ここでいう「試料を分散させて溶液化する」ことには、「分散させて溶液化した試料を乾燥させる」ことが含まれていてもよい。
(3)溶液化した試料241を、溶液230から採取し(例えば、10μl)、スライドガラスに滴下することで、プレパラート240を生成する。
(4)生成したプレパラート240を、撮像対象として、撮影台130に載置し、携帯端末120を用いて可視光下(例えば、蛍光下)または紫外光下で撮影する。
・カビ(菌界に属し、特に酵母や子嚢菌にあたるもの)等のように、種類によらず形状が似ている環境微生物であっても、撮影した画像データ内の環境微生物を精度よく同定することができる。
・培養法を用いる必要がないため、検査結果の提供に要する時間を短縮することが可能となり、例えば、サービス提供者が検査結果の提供先となるユーザを訪問した際、当該ユーザの空調機から試料を採取し、その場で、検査結果を提供することが可能となる。この結果、検査結果に応じた最適な空気環境を実現するための提案(空調機の洗浄やフィルタ交換等)を、直ちに行うことができる。
・培養法を用いる必要がないため、検査結果の提供に要するコストを削減することが可能となる(専門の業者に依頼する必要がなくなる)。
・培養法を用いる必要がないため、死んだ環境微生物(つまり、生菌だけでなく死菌)についても同定することが可能となる(生きた環境微生物を採取する必要がなくなる)。
次に、携帯端末120及び画像処理装置140のハードウェア構成について説明する。図3は、携帯端末及び画像処理装置のハードウェア構成の一例を示す図である。
図3(a)は、携帯端末120のハードウェア構成の一例である。図3(a)に示すように、携帯端末120は、プロセッサ301、メモリ302、補助記憶装置303、表示装置304、操作装置305、通信装置306、撮像装置121を有する。なお、携帯端末120の各ハードウェアは、バス307を介して相互に接続されている。
図3(b)は、画像処理装置140のハードウェア構成の一例である。なお、画像処理装置140のハードウェア構成は、携帯端末120のハードウェア構成と概ね同じであるため、ここでは、携帯端末120との相違点を中心に説明する。
次に、画像処理装置140の機能構成について説明する。上述したように、画像処理装置140には、学習プログラムがインストールされており、当該プログラムが実行されることで画像処理装置140は、
・学習用データを生成する学習用データ生成処理に関する機能、
・学習用データを用いて、学習モデルに対して学習処理を行う学習処理に関する機能、
等を実現する。そこで、以下では、画像処理装置140が実現するこれらの機能について、分けて説明する。
はじめに、学習用データ生成処理に関する機能について説明する。図4は、画像処理装置の学習用データ生成処理に関する機能の機能構成の一例を示す図である。図4に示すように、画像処理装置140は、学習用データ生成処理に関する機能として、画像データ取得部410、正解ラベル取得部420、学習用データ生成部430を有する。
次に、学習処理に関する機能について説明する。図5は、画像処理装置の学習処理に関する機能の機能構成の一例を示す図である。図5に示すように、画像処理装置140は、学習処理に関する機能として、第1学習部510、第2学習部520を有する。
・ファイル名=「画像データ1」の画像データ122_1をYOLO511に入力することで、YOLO511より出力される各領域の位置情報及び各領域の属性情報と、
・画像領域="領域1-1"、"領域1-2"、"領域1-3"、・・・により特定される環境微生物を含むと判定された各領域の位置情報と、
を比較し、誤差を算出する。
・ファイル名=「画像1-1」の部分画像データを、DML521に入力することで、DML521より判定される環境微生物の種類と、
・正解ラベル="カビA"と、
を比較し、誤差を算出する。
次に、携帯端末120の機能構成について説明する。上述したように、携帯端末120には、検査プログラムがインストールされており、当該プログラムが実行されることで携帯端末120は、検査処理に関する機能が実現される。そこで、以下では、携帯端末120が実現する検査処理に関する機能について説明する。
・領域1の位置情報として座標(x1a,y1a)、(x1b,y1b)を判定し、当該領域が環境微生物を含む領域であると判定し、
・領域2の位置情報として座標(x2a,y2a)、(x2b,y2b)を判定し、当該領域が環境微生物を含む領域であると判定し、
・領域3の位置情報として座標(x3a,y3a)、(x3b,y3b)を判定し、当該領域が環境微生物を含む領域であると判定し、
・領域4の位置情報として座標(x4a,y4a)、(x4b,y4b)を判定し、当該領域が環境微生物を含む領域であると判定し、
・領域5の位置情報として座標(x5a,y5a)、(x5b,y5b)を判定し、当該領域が環境微生物を含む領域であると判定し、
・領域1~領域5以外の領域が、環境微生物を含まない領域であると判定、
した様子を示している。
・画像データ660内において環境微生物を含むと判定された各領域が、環境微生物の種類に応じた色により配色された画像データ、
・画像データ660内の環境微生物の各種類の個数(または割合)を集計した集計データ、
等が含まれる。
次に、携帯端末120による検査結果の提供例について説明する。図7は、携帯端末による検査結果の提供例を示す図である。
次に、検査サービス提供システム100による、学習処理の流れについて説明する。図8は、学習処理の流れを示すフローチャートである。
次に、検査サービス提供システム100による、検査処理の流れについて説明する。図9は、検査処理の流れを示すフローチャートである。
以上の説明から明らかなように、第1の実施形態に係る検査システムの一例である携帯端末120は、
・採取されたほこりを溶液化し、溶液をスライドガラスに滴下することで生成したプレパラートを撮像対象として、可視光下または紫外光下でレンズを介して撮影する。つまり、ほこりを直接撮影する、あるいは、環境微生物個体の外観を撮影する。
・撮影された画像データ内の環境微生物を、画像データ内の各領域の属性を判定する学習済みのYOLOと、環境微生物を含むと判定された領域について環境微生物の種類を判定する学習済みのDMLとを用いて同定する。
・同定した画像データ内の環境微生物について可視化処理を行い、検査結果を提供する。
上記第1の実施形態は、携帯端末120が、撮像装置121と、同定部(第2推論部640等)と、出力部650とを有する検査システムとして機能する場合について説明した。しかしながら、携帯端末120の一部の機能については、撮影台に配し、撮影台と携帯端末120とで検査システムが形成されるように構成してもよい。
上記第1及び第2の実施形態では、検査結果の提供例として、少なくとも、環境微生物の種類及び数と画像データとを出力するものとして説明したが、検査結果の提供方法はこれに限定されず、例えば、レポートとして、ユーザが理解しやすい形にまとめてもよい。
・"ユーザ情報"(符号1210)、
・"採取位置を示す写真"(符号1220)、
・"レベル"(符号1230)、
・"検査結果"(符号1240)、
・"カビの説明"(符号1250)、
等が含まれる。
上記第1の実施形態では、環境微生物を含むと判定された各領域の画像データ(部分画像データ)のサイズについて特に言及しなかったが、各領域の画像データのサイズは、例えば、32×32画素以上、あるいは、50×50画素以上であるとする。
・界面活性剤を溶かした生理食塩水に、採取された試料を分散させて溶液化することで得られる第1の溶液と、
・第1の溶液を、更に界面活性剤を溶かした生理食塩水で希釈した第2の溶液と、
が含まれる。
120 :携帯端末
121 :撮像装置
130 :撮影台
132 :載置部
133 :レンズ支持部
140 :画像処理装置
150 :空調機(室内機)
160 :ほこり
180_1~180_6 :プレパラート
210 :空調機(室内機)
220 :ほこり
240 :プレパラート
410 :画像データ取得部
420 :正解ラベル取得部
430 :学習用データ生成部
441~446 :学習用データ
510 :第1学習部
520 :第2学習部
610 :画像データ取得部
620 :第1推論部
630 :部分画像抽出部
640 :第2推論部
650 :出力部
730 :集計データ
1010 :検査システム
1020 :撮影台
1021 :撮像装置
1200 :レポート
Claims (19)
- 室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
室内環境もしくは機器から採取された試料を溶液化することで得られる撮像対象であって、前記試料に含まれる微生物またはカビを培養することなく得られる撮像対象を撮影する撮像部と、
室内環境もしくは機器から採取された試料を溶液化することで得られる撮像対象であって、前記試料に含まれる微生物またはカビを培養することなく得られる撮像対象を撮影した画像データと、前記画像データ内において微生物またはカビを1つ含むと判定された領域の位置を示す位置情報及び判定された結果を示す属性情報とが対応付けられた第1の学習データを用いて学習された第1の学習済みモデルと、
前記第1の学習済みモデルにより、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データと、前記部分画像データに含まれる微生物またはカビの種類とが対応付けられた第2の学習データを用いて学習された第2の学習済みモデルと、
前記撮像部により撮影された画像データが、前記第1の学習済みモデルを用いて処理され、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データが、前記第2の学習済みモデルを用いて処理されることで得られた、前記画像データ内の微生物またはカビについての検査結果を出力する出力部と
を有する検査システム。 - 室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影する撮像部と、
室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影した画像データと、前記画像データ内において微生物またはカビを1つ含むと判定された領域の位置を示す位置情報及び判定された結果を示す属性情報とが対応付けられた第1の学習データを用いて学習された第1の学習済みモデルと、
前記第1の学習済みモデルにより、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データと、前記部分画像データに含まれる微生物またはカビの種類とが対応付けられた第2の学習データを用いて学習された第2の学習済みモデルと、
前記撮像部により撮影された画像データが、前記第1の学習済みモデルを用いて処理され、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データが、前記第2の学習済みモデルを用いて処理されることで得られた、前記画像データ内の微生物またはカビについての検査結果を出力する出力部と
を有する検査システム。 - 前記撮像部は、可視光下または紫外光下でレンズを介して撮影する、請求項1または2に記載の検査システム。
- 採取先は、空調機、空気清浄機、加湿器、換気設備、送風機、室内環境の表面のいずれかである、請求項3に記載の検査システム。
- 前記出力部は、前記撮像部により撮影された画像データ内の微生物またはカビの数を種類ごとに集計して出力する、請求項1乃至4のいずれか1項に記載の検査システム。
- 室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
室内環境もしくは機器から採取された試料を溶液化することで得られる撮像対象であって、前記試料に含まれる微生物またはカビを培養することなく得られる撮像対象を撮影する撮像部と、
室内環境もしくは機器から採取された試料を溶液化することで得られる撮像対象であって、前記試料に含まれる微生物またはカビを培養することなく得られる撮像対象を撮影した画像データと、前記画像データ内において微生物またはカビを1つ含むと判定された領域の位置を示す位置情報及び判定された結果を示す属性情報とが対応付けられた第1の学習データを用いて学習された第1の学習済みモデルと、
前記第1の学習済みモデルにより、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データと、前記部分画像データに含まれる微生物またはカビの種類とが対応付けられた第2の学習データを用いて学習された第2の学習済みモデルと、
前記撮像部により撮影された画像データが、前記第1の学習済みモデルを用いて処理され、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データが、前記第2の学習済みモデルを用いて処理されることで得られた、前記画像データ内の微生物またはカビについての検査結果を出力する出力部と、を有し、
前記出力部は、微生物またはカビの種類、微生物またはカビの数または比率、前記撮像部により撮影された画像データを検査結果として表示するとともに、前記室内環境もしくは機器を示す情報、前記微生物またはカビの説明、汚染度のレベル、他の検査結果との比較結果、のいずれか1つを表示する、検査システム。 - 室内環境もしくは機器に発生する微生物またはカビを検査する検査システムであって、
室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影する撮像部と、
室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影した画像データと、前記画像データ内において微生物またはカビを1つ含むと判定された領域の位置を示す位置情報及び判定された結果を示す属性情報とが対応付けられた第1の学習データを用いて学習された第1の学習済みモデルと、
前記第1の学習済みモデルにより、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データと、前記部分画像データに含まれる微生物またはカビの種類とが対応付けられた第2の学習データを用いて学習された第2の学習済みモデルと、
前記撮像部により撮影された画像データが、前記第1の学習済みモデルを用いて処理され、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データが、前記第2の学習済みモデルを用いて処理されることで得られた、前記画像データ内の微生物またはカビについての検査結果を出力する出力部と、有し、
前記出力部は、微生物またはカビの種類、微生物またはカビの数または比率、前記撮像部により撮影された画像データを検査結果として表示するとともに、前記室内環境もしくは機器を示す情報、前記微生物またはカビの説明、汚染度のレベル、他の検査結果との比較結果、のいずれか1つを表示する、検査システム。 - 前記撮像対象は、採取された試料を分散させて溶液化することで得られる、請求項1に記載の検査システム。
- 前記撮像対象は、空調機から採取された試料を分散させて溶液化することで得られる、請求項8に記載の検査システム。
- 前記撮像対象は、界面活性剤を溶かした生理食塩水に、採取された試料を分散させて溶液化することで得られる、請求項8または9に記載の検査システム。
- 前記撮像対象には、界面活性剤を溶かした生理食塩水に、採取された試料を分散させて溶液化することで得られる第1の溶液と、該第1の溶液を、更に、界面活性剤を溶かした生理食塩水を用いて希釈した第2の溶液とが含まれる、請求項8乃至10のいずれか1項に記載の検査システム。
- 前記第1の学習済みモデルにより微生物またはカビを1つ含むと判定された各領域は、32×32画素以上である、請求項1または2に記載の検査システム。
- 前記第2の学習済みモデルは、前記微生物またはカビの種類を判定した場合に、判定した種類ごとに前記微生物またはカビを計数する、請求項1または2に記載の検査システム。
- 前記検査システムは、携帯端末であり、
前記撮像部は、前記携帯端末に内蔵されている、請求項1乃至13のいずれか1項に記載の検査システム。 - 前記検査システムは、前記撮像対象を載置する携帯可能な撮影台と、該撮影台と接続される携帯端末とを有し、
前記撮影台は、前記撮像部を有し、
前記携帯端末は、前記第1の学習済みモデルと前記第2の学習済みモデルと前記出力部とを有する、請求項1に記載の検査システム。 - 前記第1の学習済みモデルは、学習済みのYOLOである、請求項1または2に記載の検査システム。
- 前記第2の学習済みモデルは、学習済みのDMLである、請求項1または2に記載の検査システム。
- 室内環境もしくは機器に発生する微生物またはカビを検査する検査システムの検査方法であって、
室内環境もしくは機器から採取された試料を溶液化することで得られる撮像対象であって、前記試料に含まれる微生物またはカビを培養することなく得られる撮像対象を撮影する工程と、
撮影された画像データが、第1の学習済みモデルを用いて処理され、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データが、第2の学習済みモデルを用いて処理されることで得られた、前記画像データ内の微生物またはカビについての検査結果を出力する工程と、を有し、
前記第1の学習済みモデルは、
室内環境もしくは機器から採取された試料を溶液化することで得られる撮像対象であって、前記試料に含まれる微生物またはカビを培養することなく得られる撮像対象を撮影した画像データと、前記画像データ内において微生物またはカビを1つ含むと判定された領域の位置を示す位置情報及び判定された結果を示す属性情報とが対応付けられた第1の学習データを用いて学習され、
前記第2の学習済みモデルは、
前記第1の学習済みモデルにより、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データと、前記部分画像データに含まれる微生物またはカビの種類とが対応付けられた第2の学習データを用いて学習される、
検査方法。 - 室内環境もしくは機器に発生する微生物またはカビを検査する検査システムの検査方法であって、
室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影する工程と、
撮影された画像データが、第1の学習済みモデルを用いて処理され、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データが、第2の学習済みモデルを用いて処理されることで得られた、前記画像データ内の微生物またはカビについての検査結果を出力する工程と、を有し、
前記第1の学習済みモデルは、
室内環境もしくは機器から採取された微生物またはカビ個体の外観を撮影した画像データと、前記画像データ内において微生物またはカビを1つ含むと判定された領域の位置を示す位置情報及び判定された結果を示す属性情報とが対応付けられた第1の学習データを用いて学習され、
前記第2の学習済みモデルは、
前記第1の学習済みモデルにより、微生物またはカビを1つ含むと判定された領域の画像データである部分画像データと、前記部分画像データに含まれる微生物またはカビの種類とが対応付けられた第2の学習データを用いて学習される、
検査方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022211149A JP2023061925A (ja) | 2021-03-22 | 2022-12-28 | 検査システム及び検査方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021047960 | 2021-03-22 | ||
JP2021047960 | 2021-03-22 | ||
JP2021161942 | 2021-09-30 | ||
JP2021161942 | 2021-09-30 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022211149A Division JP2023061925A (ja) | 2021-03-22 | 2022-12-28 | 検査システム及び検査方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022146910A JP2022146910A (ja) | 2022-10-05 |
JP7206533B2 true JP7206533B2 (ja) | 2023-01-18 |
Family
ID=83397241
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022040545A Active JP7206533B2 (ja) | 2021-03-22 | 2022-03-15 | 検査システム及び検査方法 |
JP2022041461A Active JP7206534B2 (ja) | 2021-03-22 | 2022-03-16 | 検査システム及び検査方法 |
JP2022211148A Pending JP2023058482A (ja) | 2021-03-22 | 2022-12-28 | 検査システム及び検査方法 |
JP2022211149A Pending JP2023061925A (ja) | 2021-03-22 | 2022-12-28 | 検査システム及び検査方法 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022041461A Active JP7206534B2 (ja) | 2021-03-22 | 2022-03-16 | 検査システム及び検査方法 |
JP2022211148A Pending JP2023058482A (ja) | 2021-03-22 | 2022-12-28 | 検査システム及び検査方法 |
JP2022211149A Pending JP2023061925A (ja) | 2021-03-22 | 2022-12-28 | 検査システム及び検査方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240169749A1 (ja) |
EP (1) | EP4317404A1 (ja) |
JP (4) | JP7206533B2 (ja) |
AU (1) | AU2022244737A1 (ja) |
WO (2) | WO2022202694A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240055503A (ko) * | 2022-10-20 | 2024-04-29 | 씨제이제일제당 (주) | 인공지능 기반의 배양액 오염 탐지 방법 및 장치 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000258416A (ja) | 1999-03-11 | 2000-09-22 | Matsushita Electric Ind Co Ltd | アレルゲン測定用被検液の調製方法及びその装置 |
JP2014183761A (ja) | 2013-03-22 | 2014-10-02 | Azbil Corp | 微生物検出装置の評価キット、微生物検出装置の評価キットの製造方法、及び微生物検出装置の評価方法 |
WO2019204854A1 (en) | 2018-04-24 | 2019-10-31 | First Frontier Pty Ltd | System and method for performing automated analysis of air samples |
US20200158603A1 (en) | 2018-11-16 | 2020-05-21 | Particle Measuring Systems, Inc. | Particle Sampling Systems and Methods for Robotic Controlled Manufacturing Barrier Systems |
US10769501B1 (en) | 2017-02-15 | 2020-09-08 | Google Llc | Analysis of perturbed subjects using semantic embeddings |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007195454A (ja) | 2006-01-26 | 2007-08-09 | Kao Corp | カビの形態観察方法 |
CA3076847A1 (en) | 2017-10-09 | 2019-04-18 | Pathspot Technologies Inc. | Systems and methods for detection of contaminants on surfaces |
JP2021047960A (ja) | 2019-09-19 | 2021-03-25 | キオクシア株式会社 | 半導体記憶装置 |
JP7364523B2 (ja) | 2020-03-31 | 2023-10-18 | 株式会社豊田自動織機 | スクロール型圧縮機 |
-
2022
- 2022-03-15 JP JP2022040545A patent/JP7206533B2/ja active Active
- 2022-03-16 JP JP2022041461A patent/JP7206534B2/ja active Active
- 2022-03-18 AU AU2022244737A patent/AU2022244737A1/en active Pending
- 2022-03-18 WO PCT/JP2022/012761 patent/WO2022202694A1/ja active Application Filing
- 2022-03-18 EP EP22775481.9A patent/EP4317404A1/en active Pending
- 2022-03-18 WO PCT/JP2022/012758 patent/WO2022202693A1/ja unknown
- 2022-03-18 US US18/549,657 patent/US20240169749A1/en active Pending
- 2022-12-28 JP JP2022211148A patent/JP2023058482A/ja active Pending
- 2022-12-28 JP JP2022211149A patent/JP2023061925A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000258416A (ja) | 1999-03-11 | 2000-09-22 | Matsushita Electric Ind Co Ltd | アレルゲン測定用被検液の調製方法及びその装置 |
JP2014183761A (ja) | 2013-03-22 | 2014-10-02 | Azbil Corp | 微生物検出装置の評価キット、微生物検出装置の評価キットの製造方法、及び微生物検出装置の評価方法 |
US10769501B1 (en) | 2017-02-15 | 2020-09-08 | Google Llc | Analysis of perturbed subjects using semantic embeddings |
WO2019204854A1 (en) | 2018-04-24 | 2019-10-31 | First Frontier Pty Ltd | System and method for performing automated analysis of air samples |
US20200158603A1 (en) | 2018-11-16 | 2020-05-21 | Particle Measuring Systems, Inc. | Particle Sampling Systems and Methods for Robotic Controlled Manufacturing Barrier Systems |
Non-Patent Citations (4)
Title |
---|
CAO, N. et al.,Dataset: Pollen Video Library for Benchmarking Detection, Classification, Tracking and Novelty Detection Tasks,DATA '20: Proceedings of the Third Workshop on Data: Acquisition To Analysis,2020年11月16日,pp. 23-25,doi:10.1145/3419016.3431487 |
KHAN, A. A. H. and KARUPPAYIL, S. M.,Fungal pollution of indoor environments and its management,Saudi Journal of Biological Sciences,2012年06月15日,Vol. 19,pp. 405-426,doi:10.1016/j.sjbs.2012.06.002 |
KING, M.D. et al.,Assays and enumeration of bioaerosols-traditional approaches to modern practices,Aerosol Science and Technology,2020年02月24日,Vol. 54,pp. 611-633,doi:10.1080/02786826.2020.1723789 |
牧 輝弥、ほか,バイオエアロゾルの蛍光顕微鏡観察,エアロゾル研究,2013年10月01日,Vol. 28, No. 3,pp. 201-207,doi:10.11203/jar.28.201 |
Also Published As
Publication number | Publication date |
---|---|
US20240169749A1 (en) | 2024-05-23 |
JP7206534B2 (ja) | 2023-01-18 |
AU2022244737A1 (en) | 2023-10-05 |
JP2023061925A (ja) | 2023-05-02 |
JP2022146913A (ja) | 2022-10-05 |
WO2022202693A1 (ja) | 2022-09-29 |
EP4317404A1 (en) | 2024-02-07 |
JP2022146910A (ja) | 2022-10-05 |
WO2022202694A1 (ja) | 2022-09-29 |
JP2023058482A (ja) | 2023-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DK2973397T3 (en) | Tissue-object-based machine learning system for automated assessment of digital whole-slide glass | |
US11226280B2 (en) | Automated slide assessments and tracking in digital microscopy | |
CN107580715A (zh) | 用于自动计数微生物菌落的方法和系统 | |
JP2018180635A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
Chieco et al. | Image cytometry: protocols for 2D and 3D quantification in microscopic images | |
CN103140757A (zh) | 信息处理设备、信息处理系统、信息处理方法、程序和记录介质 | |
JP7206533B2 (ja) | 検査システム及び検査方法 | |
CN107209111A (zh) | 自动化整体载片分析的质量控制 | |
CN110320158A (zh) | 移动化学分析 | |
WO2014192184A1 (ja) | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 | |
JP2013077127A (ja) | 画像分類装置および画像分類方法 | |
CN110796661A (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
Cannet et al. | Wing interferential patterns (WIPs) and machine learning, a step toward automatized tsetse (Glossina spp.) identification | |
JP2023061925A5 (ja) | 検査システム、検査方法及び検査プログラム | |
JP4897488B2 (ja) | 分散プロット分布を用いてスライドを分類するシステム | |
US20200074628A1 (en) | Image processing apparatus, imaging system, image processing method and computer readable recoding medium | |
CN116981933A (zh) | 检查系统及检查方法 | |
WO2022019110A1 (ja) | プログラム、情報処理装置、情報処理方法及びモデル生成方法 | |
KR102330216B1 (ko) | Ai학습 분석을 이용한 골연령 및 건강상태 판독방법 | |
Powless et al. | Evaluation of acridine orange staining for a semi-automated urinalysis microscopic examination at the point-of-care | |
US20230175935A1 (en) | Test Slides and Methods of Production in Stain Assessment | |
CN117496274B (zh) | 一种基于液滴图像的分类计数方法、系统和存储介质 | |
WO2023195405A1 (ja) | 細胞検出装置、細胞診断支援装置、細胞検出方法、及び細胞検出プログラム | |
Ramakrishna et al. | Smart Phone based Microscopic Image Acquisition and Quantifying System for Detecting Dengue | |
Doornewaard et al. | Reproducibility in double scanning of cervical smears with the PAPNET system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221212 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7206533 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |