JP7132553B2 - 分類装置、分類方法およびプログラム - Google Patents

分類装置、分類方法およびプログラム Download PDF

Info

Publication number
JP7132553B2
JP7132553B2 JP2020540055A JP2020540055A JP7132553B2 JP 7132553 B2 JP7132553 B2 JP 7132553B2 JP 2020540055 A JP2020540055 A JP 2020540055A JP 2020540055 A JP2020540055 A JP 2020540055A JP 7132553 B2 JP7132553 B2 JP 7132553B2
Authority
JP
Japan
Prior art keywords
classification
objects
class
classified
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020540055A
Other languages
English (en)
Other versions
JPWO2020044665A1 (ja
Inventor
直樹 鍬守
陽介 平
拓也 板木
利典 前林
哲 竹島
健二 戸谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
NEC Corp
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, National Institute of Advanced Industrial Science and Technology AIST filed Critical NEC Corp
Publication of JPWO2020044665A1 publication Critical patent/JPWO2020044665A1/ja
Application granted granted Critical
Publication of JP7132553B2 publication Critical patent/JP7132553B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Dispersion Chemistry (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

特許法第３０条第２項適用 平成３０年５月１１日、″ｈｔｔｐｓ：／／ｃｏｎｆｉｔ．ａｔｌａｓ．ｊｐ／ｇｕｉｄｅ／ｅｖｅｎｔ－ｉｍｇ／ｊｐｇｕ２０１８／ＭＩＳ１０－１０／ｐｕｂｌｉｃ／ｐｄｆ？ｔｙｐｅ＝ｉｎ＆ｌａｎｇ＝ｊａ″、および、″ｈｔｔｐｓ：／／ｃｏｎｆｉｔ．ａｔｌａｓ．ｊｐ／ｇｕｉｄｅ／ｅｖｅｎｔ－ｉｍｇ／ｊｐｇｕ２０１８／ＭＩＳ１０－１０／ｐｕｂｌｉｃ／ｐｄｆ？ｔｙｐｅ＝ｉｎ＆ｌａｎｇ＝ｅｎ″ 平成３０年５月２３日、日本地球惑星科学連合２０１８年大会（ＪｐＧＵ２０１８） 平成３０年６月２２日、日本古生物学会２０１８年年会講演予稿集、日本古生物学会 平成３０年６月２２日、″ｈｔｔｐ：／／ｗｗｗ．ｐａｌａｅｏ－ｓｏｃ－ｊａｐａｎ．ｊｐ／ｅｖｅｎｔｓ／ＰＳＪ２０１８０６＿ＴｏｈｏｋｕＡｂｓｔｒａｃｔ．ｐｄｆ″ 平成３０年６月２３日、日本古生物学会２０１８年年会
本発明は、分類装置、分類方法およびプログラムに関する。
微細粒子の分類に関連して、特許文献１には、液体中の微細粒子を選んで取得するスクリーニング装置が記載されている。このスクリーニング装置は、試液中の細胞など液体中の微細粒子が発する蛍光を計測し、蛍光の輝度が所定の閾値を超えるなど回収条件を満たした微細粒子を目的検体として特定する。そして、このスクリーニング装置は、吸引・吐出キャピラリを用いて目的検体を取得する。
再公表ＷＯ２０１５／１３３３３７号公報
微細粒子を分類する方法として、微細粒子が発する蛍光の輝度を用いて微細粒子を分類する方法以外に、微細粒子の形状に基づいて微細粒子を分類する方法が考えられる。例えば、人（分類作業者）が顕微鏡で微細粒子を見て形状を把握し、微細粒子を分類することが考えられる。しかしながら、この方法を用いる場合、分類対象の微細粒子の数が増加すると、分類に要する時間が増加し、分類作業者の負担が大きくなってしまう。
本発明の目的の一例は、上述の課題を解決することのできる分類装置、分類方法およびプログラムを提供することである。
本発明の第１の態様によれば、分類装置は、トレイに設けられた複数の穴に１つずつ配置された粒子状の複数の分類対象物を撮影して、前記複数の分類対象物を含む画像を得る撮像部と、得られた前記画像を切り出すことにより、前記複数の分類対象物毎の画像を得る取得部と、得られた前記複数の分類対象物毎の画像を機械学習結果を用いて分類し、その分類結果に基づいて前記複数の分類対象物を並び替える並び替え部であって、前記複数の分類対象物のうちの一つの分類対象物が分類されるクラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計から減算した差の２乗が、その分類対象物の前記クラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計に第１の重み係数を乗算した値から減算した差の２乗と、その分類対象物の前記クラス毎の確度のうち２番目に大きい確度を、全てのクラスについての確度の合計に第２の重み係数を乗算した値から減算した差の２乗との合計よりも小さい場合のみ、その分類対象物を前記確度が最大のクラスに分類する並び替え部と、を備える。
本発明の第２の態様によれば、分類装置は、トレイに設けられた複数の穴に１つずつ配置された粒子状の複数の分類対象物を撮影して、前記複数の分類対象物を含む画像を取得する撮像部と、得られた前記画像を切り出すことにより、前記複数の分類対象物毎の画像を得る取得部と、得られた前記複数の分類対象物毎の画像を機械学習結果を用いて分類する分類部であって、前記複数の分類対象物のうちの一つの分類対象物について、その分類対象物が分類されるクラス毎の確度のうち、最大の確度を、全てのクラスについての確度の合計から減算した差の２乗が、その分類対象物の前記クラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計に第１の重み係数を乗算した値から減算した差の２乗と、その分類対象物の前記クラス毎の確度のうち２番目に大きい確度を、全てのクラスについての確度の合計に第２の重み係数を乗算した値から減算した差の２乗との合計よりも小さい場合のみ、その分類対象物を前記確度が最大のクラスに分類する分類部と、を備える。
本発明の第３の態様によれば、分類方法は、トレイに設けられた複数の穴に１つずつ配置された粒子状の複数の分類対象物を撮影して、前記複数の分類対象物を含む画像を得ることと、得られた前記画像を切り出すことにより、前記複数の分類対象物毎の画像を得ることと、得られた前記複数の分類対象物毎の画像を、機械学習結果を用いて分類する際に、前記複数の分類対象物のうちの一つの分類対象物が分類されるクラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計から減算した差の２乗が、その分類対象物の前記クラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計に第１の重み係数を乗算した値から減算した差の２乗と、その分類対象物の前記クラス毎の確度のうち２番目に大きい確度を、全てのクラスについての確度の合計に第２の重み係数を乗算した値から減算した差の２乗との合計よりも小さい場合のみ、その分類対象物を前記確度が最大のクラスに分類することと、分類結果に基づいて前記複数の分類対象物を並び替えることと、を含む。
本発明の第４の態様によれば、分類方法は、トレイに設けられた複数の穴に１つずつ配置された粒子状の複数の分類対象物を撮影して、前記複数の分類対象物を含む画像を得ることと、得られた前記画像を切り出すことにより、前記複数の分類対象物毎の画像を得ることと、得られた前記複数の分類対象物毎の画像を、機械学習結果を用いて分類する際に、前記複数の分類対象物のうちの一つの分類対象物が分類されるクラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計から減算した差の２乗が、その分類対象物の前記クラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計に第１の重み係数を乗算した値から減算した差の２乗と、その分類対象物の前記クラス毎の確度のうち２番目に大きい確度を、全てのクラスについての確度の合計に第２の重み係数を乗算した値から減算した差の２乗との合計よりも小さい場合のみ、その分類対象物を前記確度が最大のクラスに分類することと、を含む。
本発明の第５の態様によれば、プログラムは、コンピュータに、トレイに設けられた複数の穴に１つずつ配置された粒子状の複数の分類対象物を撮影して、前記複数の分類対象物を含む画像を得ることと、得られた前記画像を切り出すことにより、前記複数の分類対象物毎の画像を得ることと、得られた前記複数の分類対象物毎の画像を、機械学習結果を用いて分類する際に、前記複数の分類対象物のうちの一つの分類対象物が分類されるクラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計から減算した差の２乗が、その分類対象物の前記クラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計に第１の重み係数を乗算した値から減算した差の２乗と、その分類対象物の前記クラス毎の確度のうち２番目に大きい確度を、全てのクラスについての確度の合計に第２の重み係数を乗算した値から減算した差の２乗との合計よりも小さい場合のみ、その分類対象物を前記確度が最大のクラスに分類することと、分類結果に基づいて前記複数の分類対象物を並び替えることと、を実行させるためのプログラムである。
本発明の第６の態様によれば、プログラムは、コンピュータに、トレイに設けられた複数の穴に１つずつ配置された粒子状の複数の分類対象物を撮影して、前記複数の分類対象物を含む画像を得ることと、得られた前記画像を切り出すことにより、前記複数の分類対象物毎の画像を得ることと、得られた前記複数の分類対象物毎の画像を、機械学習結果を用いて分類する際に、前記複数の分類対象物のうちの一つの分類対象物が分類されるクラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計から減算した差の２乗が、その分類対象物の前記クラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計に第１の重み係数を乗算した値から減算した差の２乗と、その分類対象物の前記クラス毎の確度のうち２番目に大きい確度を、全てのクラスについての確度の合計に第２の重み係数を乗算した値から減算した差の２乗との合計よりも小さい場合のみ、その分類対象物を前記確度が最大のクラスに分類することと、を実行させるためのプログラムである。
この発明によれば、微細粒子を分類するときの人の負担が比較的小さくて済む。
実施形態に係る分類装置の構成例を示す概略ブロック図である。 実施形態に係る撮像・配置装置の構成の例を示す概略構成図である。 実施形態に係る撮像・配置装置の外形例の概略を示す図である。 実施形態に係るトレイの形状の例を示す図である。 実施形態に係る処理装置の機能構成の例を示す概略ブロック図である。 実施形態における、式（１）の基準に基づく分類の例を示す図である。 実施形態における、式（４）の基準に基づく分類の例を示す図である。 実施形態における、式（６）の基準に基づく分類の例を示す図である。 実施形態に係る分類部が、式（７）および（８）を用いて算出する組成比率（組成割合）の例を示す図である。 実施形態における、式（１０）に基づく分類の例を示す図である。 実施形態に係る分類装置の処理手順の例を示すフローチャートである。 実施形態に係る分類装置による微化石の並び替えの例を示す図である。 実施形態に係る分類装置が学習用データを生成する処理手順の例を示すフローチャートである。 実施形態に係る分類装置が微化石の並び替えを行う処理手順の例を示すフローチャートである。 実施形態に係る実施形態に係る分類装置の構成の例を示す図である。 実施形態に係る実施形態に係る分類装置の構成のもう１つの例を示す図である。
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、実施形態に係る分類装置の構成例を示す概略ブロック図である。図１に示すように、分類装置１は、撮像・配置装置（撮像及び配置装置）１００と、処理装置２００とを備える。
分類装置１は、粒子状の分類対象物を分類する。分類装置１による分類対象となる粒子状の物を微細粒子とも称する。
以下では、分類装置１が微化石を微化石の種類別に分類する場合を例に説明する。ここでいう微化石は、微細粒子状の化石である。ここでいう微化石の種類は、微化石になった生物の種類である。微化石の種類は、クラス分け（分類）におけるクラスの例に該当する。
但し、分類装置１による分類対象の微細粒子は、特定の種類のものに限定されない。分類装置１による分類対象の微細粒子の大きさは、砂粒の大きさ（６２．５マイクロメートル（μｍ）以上２ミリメートル（ｍｍ）以下）であってもよいが、これに限定されない。分類装置１が微細粒子を分類するクラスも、特定のものに限定されない。
撮像・配置装置１００は、微化石を分類するための画像を撮像する。また、撮像・配置装置１００は、微化石の分類結果に基づいて、微化石の並び替えを行う。
処理装置２００は、撮像・配置装置１００を制御して微化石の画像を撮像させ、得られた画像を用いて微化石を分類する。また、処理装置２００は、撮像・配置装置１００を制御して、微化石を分類に従って並び替えさせる。処理装置２００は、例えばパソコン（Personal Computer；ＰＣ）またはワークステーション（Workstation）等のコンピュータを用いて構成される。
図２は、撮像・配置装置１００の構成の例を示す概略構成図である。図２に示す構成で、可動部１１２は、支柱１１１に支持されて、上下方向に移動可能に設けられている。また、可動部１１２に撮像部１４０と吸引ロボット１５０とが設置されている。撮像部１４０は、顕微鏡１４１と撮像装置１４２とを備える。吸引ロボット１５０は、ノズル１５１を備える。ノズル１５１は、チューブ１６０を介して圧縮機１７０に接続されている。
撮像部１４０および吸引ロボット１５０の下方には載置台１２０が設置されている。載置台１２０は、載置台１２０自らの上面に電動ステージ１２１を備えている。電動ステージ１２１にトレイ１３０が載置される。
図３は、撮像・配置装置１００の外形例を示す図である。図３には、図２を参照して説明した撮像・配置装置１００の各部のうち、支柱１１１と、可動部１１２と、載置台１２０と、電動ステージ１２１と、トレイ１３０と、撮像部１４０の顕微鏡１４１および撮像装置１４２と、ノズル１５１を備える吸引ロボット１５０と、チューブ１６０とが示されている。
図２および図３に示す構成の撮像・配置装置１００で、トレイ１３０が微化石を収容し、撮像部１４０が、トレイ１３０上の微化石を撮像する。吸引ロボット１５０は、トレイ１３０上の微化石を一時的に吸引し、微化石をトレイ１３０上で移動させる。
電動ステージ１２１は、自らが水平方向に二次元的に（前後および左右に）移動することで、トレイ１３０を水平方向に二次元的に移動させる。また、可動部１１２は、自らが上下に移動することで、撮像部１４０および吸引ロボット１５０を上下に移動させる。これにより、トレイ１３０と撮像部１４０および吸引ロボット１５０との相対位置を三次元的に（前後、左右および上下の何れにも）変化させることができる。
撮像部１４０では、撮像装置１４２が顕微鏡１４１を通してトレイ１３０を撮像する。これにより、撮像装置１４２は、トレイ１３０上の微化石の拡大画像（顕微鏡画像）を撮像する。
吸引ロボット１５０では、ノズル１５１の先端の口径が、微化石の大きさ（直径）よりも小さくなっている。ノズル１５１の先端が移動対象の微化石の近くに位置する状態で、圧縮機１７０がチューブ１６０を介してノズル１５１の先端から空気を吸引することで、ノズル１５１が移動対象の微化石を吸引する。ノズル１５１の先端の口径が微化石の大きさよりも小さいことで、微化石はノズル１５１内には吸い込まれず、ノズル１５１の先端に一時的に吸着される。
撮像部１４０がトレイ１３０上の微化石を撮像する場合、可動部１１２の上下によって撮像部１４０とトレイ１３０との距離を調整する。電動ステージ１２１が水平方向に二次元的に移動しながら撮像部１４０が撮像を繰り返すことで、撮像部１４０は、トレイ１３０の上面全体を撮像する。これにより、撮像部１４０は、トレイ１３０上の全ての微化石を撮像する。
吸引ロボット１５０が微化石を移動させる場合、電動ステージ１２１がトレイ１３０を水平方向に移動させて、移動対象の微化石をノズル１５１の先端付近に位置させる。この状態で、上記のように圧縮機１７０が空気を吸引することで、ノズル１５１が移動対象の微化石をノズル１５１自らの先端に吸着させる。吸引ロボット１５０が、ノズル１５１の先端を持ち上げ、電動ステージ１２１がトレイ１３０を水平方向に移動させて、トレイ１３０上での微化石の移動先の位置をノズル１５１の先端付近に持ってくる。吸引ロボット１５０がノズル１５１の先端を下げ、圧縮機１７０が空気の吸入を中止することで、ノズル１５１の吸引力がなくなり、微化石は、トレイ１３０上での移動先の位置に落下する。
電動ステージ１２１、トレイ１３０、吸引ロボット１５０、チューブ１６０および圧縮機１７０の組み合わせは並び替え部の例に該当し、微化石の分類結果に基づいて微化石の並び替えを行う。
微化石が静電気によってノズル１５１の先端に付着すると、圧縮機１７０が空気の吸入を中止しても微化石がノズル１５１の先端に付着したままになってしまうことが考えられる。これを防止するために、トレイ１３０の上面に比較的粘着力の弱い粘着シートを設置し、微化石を粘着シートに付着させるようにしてもよい。あるいは、ノズル１５１の先端付近でイオンのミストを発生させて静電気の蓄積を防止するなど、ノズル１５１の先端に微化石が静電気によって付着することを防止するようにしてもよい。
図４は、トレイ１３０の形状の例を示す図である。図４の例で、トレイ１３０の上面には、１つの微化石が入る大きさの穴（窪み）が水平方向の縦横に並んで設けられている。穴の大きさ（特に、直径）が微化石の大きさよりもやや大きくなっており、１つの穴に１つの微化石が収容される。これにより、撮像部１４０は、微化石が互いに重なっていない状態で微化石を撮像することができる。具体的には、撮像部１４０は、トレイ１３０に設けられた複数の穴に１つずつ配置された微化石を含む画像を撮像する。また、吸引ロボット１５０は、移動対象の微化石を、より確実にノズル１５１の先端に吸着させることができる。
図５は、処理装置２００の機能構成の例を示す概略ブロック図である。図５に示す構成で、処理装置２００は、表示部２１０と、操作入力部２２０と、記憶部２８０と、制御部２９０とを備える。制御部２９０は、分類対象物画像取得部（取得部）２９１と、機械学習部２９２と、分類部２９３と、指示部２９４とを備える。
表示部２１０は、例えば液晶パネルまたはＬＥＤ（Light Emitting Diode、発光ダイオード）パネル等の表示画面を備え、各種画像を表示する。
操作入力部２２０は、例えばキーボードおよびマウス等の入力デバイスを備え、ユーザ操作を受け付ける。
記憶部２８０は、各種データを記憶する。記憶部２８０は、処理装置２００が備える記憶でデバイスを用いて構成される。
制御部２９０は、処理装置２００の各部を制御して、各種処理を実行する。制御部２９０は、処理装置２００が備えるＣＰＵ（Central processing unit；中央処理装置）が、記憶部２８０からプログラムを読み出して実行することで構成される。
分類対象物画像取得部２９１は、各微化石の画像を取得する。具体的には、分類対象物画像取得部２９１は、撮像部１４０が撮像した微化石を含む画像から各微化石の画像を切り出す。
機械学習部２９２は、分類対象物画像取得部２９１が切り出した各微化石の画像のうち幾つかの画像を用いて、微化石の画像の分類を機械学習する。
具体的には、機械学習部２９２は、分類対象物画像取得部２９１が切り出した各微化石の画像のうちの幾つかを選択する。そして、選択した画像を表示部２１０に表示させ、操作入力部２２０が受け付けるユーザ操作に基づいて、画像毎（微化石毎）に分類先のクラスを特定する。このクラスは、微化石の画像の分類の正解に該当する。
微化石の画像とその画像の分類先とが組み合わされた学習用データを用いて、微化石の画像の分類を機械学習する。機械学習部２９２は、機械学習の結果として、微化石の画像の入力を受けて、分類先のクラス毎に、その画像がそのクラスに分類される確度（確からしさ）を出力するモデルを取得する。
機械学習部２９２が行う機械学習の方式は、特定の方式に限定されない。例えば、機械学習部２９２が、ディープラーニングなどのニューラルネットワークによる機械学習を行うようにしてもよい。あるいは、機械学習部２９２が、ベイズ線形回帰による機械学習を行うようにしてもよい。
分類部２９３は、分類対象物画像取得部２９１が切り出した各微化石の画像を、機械学習結果を用いて分類する。具体的には、分類部２９３は、分類対象物画像取得部２９１が切り出した各微化石の画像をモデルに入力して、分類先のクラス毎に、その画像がそのクラスに分類される確度を算出する。
あるいは、学習用データに用いられた画像については既に分類先のクラスが確定しているので、分類部２９３が、分類対象物画像取得部２９１が切り出した各微化石の画像のうち、学習用データに用いられた画像以外の画像を、機械学習結果を用いて分類するようにしてもよい。
指示部２９４は、撮像・配置装置１００の各部を制御する。
具体的には、指示部２９４は、電動ステージ１２１および可動部１１２を制御してトレイ１３０と撮像部１４０との相対的な位置合わせを行い、撮像部１４０に撮像を行わせる。指示部２９４は、電動ステージ１２１を制御してトレイ１３０を水平方向に移動させ、撮像部１４０に撮像を行わせることを繰り返すことで、撮像部１４０にトレイ１３０の上面全体を撮像させる。
また、指示部２９４は、電動ステージ１２１を制御してトレイ１３０を水平方向に移動させて、移動対象の微化石をノズル１５１の先端付近に位置させる。そして、指示部２９４は、圧縮機１７０および吸引ロボット１５０を制御して、上記のように移動対象の微化石をノズル１５１の先端に吸着させて持ち上げさせる。指示部２９４は、電動ステージ１２１を制御してトレイ１３０を水平方向に移動させて、トレイ１３０上での微化石の移動先の位置をノズル１５１の先端付近に持ってくる。指示部２９４は、圧縮機１７０および吸引ロボット１５０を制御して、上記のように微化石を、トレイ１３０上での移動先の位置に落下させる。
処理装置２００が、１つのコンピュータを用いて構成されていてもよい。あるいは、機械学習部２９２および分類部２９３と指示部２９４とが別々のコンピュータを用いて構成されるなど、処理装置２００が複数のコンピュータを用いて構成されていてもよい。
分類部２９３が、さらに、微化石の分類先のクラスを特定するようにしてもよい。
例えば、１つの微化石（分類対象になっている微化石）について、式（１）を満たす微化石の種類が１つのみ存在する（ｎｕｍ（Ｖｒｓ）＝１）場合、分類部２９３が、その微化石を、その微化石の種類に分類するようにしてもよい。
Figure 0007132553000001
“ｒ”は、微化石を特定する識別番号を示す。“ｓ”は、微化石の種類を特定する識別番号を示す。“Ｖｒｓ”は、“ｒ”によって識別される微化石（分類対象になっている微化石）が、“ｓ”によって特定される微化石の種類に分類される確度を示す。“Ｖｒｓ”は、学習結果のモデルの出力として得られる。
“Ｃ”は正の定数の係数である。“Ｃ”を許容係数と称する。
“σｒ”は、式（２）のように示される。
Figure 0007132553000002
“ｎ”（ｎはｎ≧１の整数）は、微化石の種類の個数を示す。すなわち、“ｎ”は、微化石の分類先のクラスの数を示す。
“μｒ”は、“ｒ”によって識別される微化石が各クラスに分類される確度の平均を示し、式（３）のように示される。
Figure 0007132553000003
図６は、式（１）の基準に基づく分類の例を示す図である。図６では、粒子ａ、ｂ、ｃ、ｄの４つの試料それぞれについて、微化石Ａ、Ｂ、Ｃ、Ｄの各々への分類の確度Ｖｒｓと、確度の平均に標準偏差（ＳＤ）を加えた値とが示されている。粒子ａ、ｂ、ｃ、ｄは、それぞれ微化石の例に該当する、微化石Ａ、Ｂ、Ｃ、Ｄは、それぞれ微化石の種類の例に該当する。
図６の例で、粒子ａについて式（１）を満たす確度Ｖｒｓは、微化石Ｃへの分類の確度の０．８０のみである。そこで、分類部２９３は、粒子ａを微化石Ｃに分類する。
粒子ｂの場合、微化石Ａへの分類の確度Ｖｒｓは０．９８、微化石Ｄへの分類の確度Ｖｒｓは０．８０であり、何れも式（１）を満たす。この場合、式（１）を満たす確度Ｖｒｓが複数あるので、分類部２９３は、粒子ｂを何れの微化石の種類へも分類しない。
粒子ｃについて式（１）を満たす確度Ｖｒｓは、微化石Ｃへの分類の確度の０．６０のみである。そこで、分類部２９３は、粒子ｃを微化石Ｃに分類する。
粒子ｄの場合、微化石Ｂへの分類の確度Ｖｒｓは０．９８、微化石Ｃへの分類の確度Ｖｒｓは０．９０であり、何れも式（１）を満たす。この場合、式（１）を満たす確度Ｖｒｓが複数あるので、分類部２９３は、粒子ｄを何れの微化石の種類へも分類しない。
上記の例の場合、粒子ｂ、ｄを特定の微化石の種類に分類できなかったことを示す未分類というクラスに分類してもよい。
このように、分類部２９３は、式（１）を用いて微化石を分類することで、特定の微化石の種類への分類の確度が他の微化石の種類への分類の確度よりも特に大きい場合のみ、微化石を特定の微化石の種類に分類する。この点で、分類部２９３が、特定の微化石の種類への分類の信頼性が他の微化石の種類への分類の信頼性よりも特に大きい場合のみ、微化石を特定の微化石の種類に分類するようにすることができる。
上述した式（１）は、分類部２９３が、分類対象の分類対象物があるクラスに分類される確度が、他のクラスに分類される確度よりも所定の条件以上に高い場合のみ、その分類対象物を何れかのクラスに分類するための、所定の条件の例に該当する。また、上述した式（１）は、分類部２９３が、分類対象の分類対象物があるクラスに分類される確度が、他のクラスに分類される確度よりも所定の条件以上に高い場合のみ、その分類対象物をそのあるクラスに分類するための、所定の条件の例に該当する。
あるいは、分類部２９３が、式（４）が成立する場合に、微化石を確度Ｖｒｓが最大の微化石の種類に分類し、式（４）が成立しない場合は、微化石を特定の微化石の種類に分類しないようにしてもよい。
Figure 0007132553000004
“Ｃｉ”（ｉは、ｉ≧１の整数）は、各順位の重みを示す正の定数である。従って、“Ｃ１”は、第１位の重みを示す。“Ｃ２”は、第２位の重みを示す。例えば、“Ｃ１”、“Ｃ２”共に値を２に設定する。
“ｍａｘｓ－１Ｖｒｓ”は、微化石の種類毎の確度Ｖｒｓのうち、２番目に大きい確度を示す。
微化石の種類毎の確度Ｖｒｓのうち最大のものの値は、式（５）の右辺のように示される。
Figure 0007132553000005
確度Ｖｒを、“ｒ”によって識別される微化石（分類対象になっている微化石）の分類の確度と称する。
図７は、式（４）の基準に基づく分類の例を示す図である。図７では、粒子ａ、ｂ、ｃ、ｄの４つの試料それぞれについて、微化石Ａ、Ｂ、Ｃ、Ｄの各々への分類の確度Ｖｒｓと、式（４）の左辺、右辺それぞれの値とが示されている。粒子ａ、ｂ、ｃ、ｄは、それぞれ微化石の例に該当する、微化石Ａ、Ｂ、Ｃ、Ｄは、それぞれ微化石の種類の例に該当する。
図７の例で、粒子ａおよびｃについては、何れも式（４）が成立している。粒子ａの場合、分類部２９３は、確度Ｖｒｓが最大値０．８０をとる微化石Ｃに分類する。粒子ｃの場合、分類部２９３は、確度Ｖｒｓが最大値０．６０をとる微化石Ｃに分類する。
一方、粒子ｂおよびｄについては、何れも式（４）が成立していない。そこで、分類部２９３は、粒子ｂ、ｄについては、特定の微化石の種類への分類を行わない。この場合、粒子ｂ、ｄを特定の微化石の種類に分類できなかったことを示す未分類というクラスに分類してもよい。
このように、分類部２９３は、式（４）を用いて微化石を分類することで、特定の微化石の種類への分類の確度が他の微化石の種類への分類の確度よりも特に大きい場合のみ、微化石を特定の微化石の種類に分類する。この点で、分類部２９３が、特定の微化石の種類への分類の信頼性が他の微化石の種類への分類の信頼性よりも特に大きい場合のみ、微化石を特定の微化石の種類に分類するようにすることができる。
上述した式（４）は、分類部２９３が、分類対象の分類対象物があるクラスに分類される確度が、他のクラスに分類される確度よりも所定の条件以上に高い場合のみ、その分類対象物を何れかのクラスに分類するための、所定の条件の例に該当する。
あるいは、分類部２９３が、式（６）が成立する場合に、微化石を確度Ｖｒｓが最大の微化石の種類に分類し、式（６）が成立しない場合は、微化石を特定の微化石の種類に分類しないようにしてもよい。
Figure 0007132553000006
式（６）では、“Ｃ”は、確度の許容の閾値を示す正の定数である。例えば、定数Ｃを０．６に設定する。
図８は、式（６）の基準に基づく分類の例を示す図である。図８では、粒子ａ、ｂ、ｃ、ｄの４つの試料それぞれについて、微化石Ａ、Ｂ、Ｃ、Ｄの各々への分類の確度Ｖｒｓと、正規化後の確度とが示されている。粒子ａ、ｂ、ｃ、ｄは、それぞれ微化石の例に該当する、微化石Ａ、Ｂ、Ｃ、Ｄは、それぞれ微化石の種類の例に該当する。
ここでの正規化は、確度の合計が１になるように、確度Ｖｒｓを確度の合計で除算することである。正規化後の確度は、式（６）の右辺のように、“Ｖｒｓ／（ΣｓＶｒｓ）”と表される。
図８の例では、定数Ｃの値は０．６に設定されている。粒子ａについて、微化石Ｃの正規化後の確度の値０．７３は、０．６よりも大きくなっている。そこで、分類部２９３は、粒子ａを微化石Ｃに分類する。
また、粒子ｃについて、微化石Ｃの正規化後の確度の値０．６７は、０．６よりも大きくなっている。そこで、分類部２９３は、粒子ｃを微化石Ｃに分類する。
一方、粒子ｂおよびｄについては、いずれも、正規化後の確度が定数Ｃ以下になっている。このため、粒子ｂ、ｄについては、分類部２９３は、特定の微化石の種類への分類を行わない。この場合、粒子ｂ、ｄを特定の微化石の種類に分類できなかったことを示す未分類というクラスに分類してもよい。
このように、分類部２９３は、式（６）を用いて微化石を分類することで、特定の微化石の種類への分類の確度が他の微化石の種類への分類の確度よりも特に大きい場合のみ、微化石を特定の微化石の種類に分類する。この点で、分類部２９３が、特定の微化石の種類への分類の信頼性が他の微化石の種類への分類の信頼性よりも特に大きい場合のみ、微化石を特定の微化石の種類に分類するようにすることができる。
上述した式（６）は、分類部２９３が、分類対象の分類対象物があるクラスに分類される確度が、他のクラスに分類される確度よりも所定の条件以上に高い場合のみ、その分類対象物を何れかのクラスに分類するための、所定の条件の例に該当する。
あるいは、分類部２９３が、試料全体の組成比率を算出するようにしてもよい。ここでいう組成比率は、試料に含まれる微化石が各クラスに分類される、クラス毎の比率である。
例えば、分類部２９３は、まず、式（７）に基づいてＶｓを算出する。
Figure 0007132553000007
“Ｖｓ”は、”ｓ”によって特定されるクラスにおける、各微化石がそのクラスに分類される確度を正規化した値の合計を示す。分類部２９３は、このＶｓを式（８）のように正規化して組成比率を算出する。
Figure 0007132553000008
“Ｖ’ｓ”は、“ｓ”によって特定されるクラスの組成比率を示す。
分類部２９３が、式（７）での加算の前にフィルタを入れて、値の小さい確度を組成比率に組み込まないようにするか、あるいは、値の小さい確度の影響を小さくしてもよい。
例えば、分類部２９３が、“Ｖｒｓ”に代えて式（９）の“Ｖｒｓｎ”を用いるようにしてもよい。
Figure 0007132553000009
式（９）のように“Ｖｒｓ”を２乗することで、確度が低いものの影響が小さくなる。
図９は、分類部２９３が、式（７）および（８）を用いて算出する組成比率の例を示す図である。図９では、粒子ａ、ｂ、ｃ、ｄの４つの試料それぞれについて、微化石Ａ、Ｂ、Ｃ、Ｄの各々への分類の確度Ｖｒｓが示されている。粒子ａ、ｂ、ｃ、ｄは、それぞれ微化石の例に該当する、微化石Ａ、Ｂ、Ｃ、Ｄは、それぞれ微化石の種類の例に該当する。
図９に示す確度Ｖｒｓは、図８の例の場合と同じである。従って、正規化後の確度は、図８に示される正規化後の確度のようになる。
図９の例で、分類部２９３は、式（７）に基づいて微化石の種類毎に正規化後の確度を合計し確度Ｖｓを算出する。分類部２９３は、微化石Ａの確度Ｖｓを０．６２、微化石Ｂの確度Ｖｓを０．７７、微化石Ｃの確度Ｖｓを２．００、微化石Ｄの確度Ｖｓを０．６３と算出する。分類部２９３は、これらの値を正規化して、図９に示されるように、微化石Ａの組成比率Ｖ’ｓを０．１５、微化石Ｂの組成比率Ｖ’ｓを０．１９、微化石Ｃの組成比率Ｖ’ｓを０．５０、微化石Ｄの組成比率Ｖ’ｓを０．１６と算出する。
あるいは、分類部２９３が、全ての微化石を何れかの微化石の種類に分類するようにしてもよい。例えば、分類部２９３は、上述した式（５）に基づいて、微化石の種類毎の確度Ｖｒｓのうち最大の確度Ｖｒを求める。そして、分類部２９３は、式（１０）が成立する場合に、微化石を確度Ｖｒｓが最大の微化石の種類に分類し、式（１０）が成立しない場合は、微化石を特定の微化石の種類に分類しない。
Figure 0007132553000010
式（１０）における“Ｃ”は、確度Ｖｒの閾値として用いられる正の定数である。式（１０）における“Ｃ”を、確度許容定数と称する。
図１０は、式（１０）に基づく分類の例を示す図である。図１０では、粒子ａ、ｂ、ｃ、ｄの４つの試料それぞれについて、微化石Ａ、Ｂ、Ｃ、Ｄの各々への分類の確度Ｖｒｓが示されている。粒子ａ、ｂ、ｃ、ｄは、それぞれ微化石の例に該当する、微化石Ａ、Ｂ、Ｃ、Ｄは、それぞれ微化石の種類の例に該当する。
確度許容定数Ｃの値が０．９５に設定されている場合、式（１０）を満たすのは、粒子ｂが微化石Ａに分類される確度の０．９８と、粒子ｄが微化石Ｂに分類される確度の０．９８との２つである。この場合、分類部２９３は、粒子ｂを微化石Ａに分類し、粒子ｄを微化石Ｂに分類する。
一方、確度許容定数Ｃの値が０に設定されている場合、分類部２９３は、全ての微化石を確度Ｖｒｓが最大の微化石の種類に分類する。図１０の例では、分類部２９３は、粒子ａを微化石Ｃに分類し、粒子ｂを微化石Ａに分類し、粒子ｃを微化石Ｃに分類し、粒子ｄを微化石Ｂに分類する。
このように、分類部２９３が式（１０）に基づいて分類を行う場合、確度許容定数Ｃの値を調整することで、微化石が微化石の種類に分類される程度を調整できる。特に、確度許容定数Ｃの値を０にすることで、分類部２９３が、全ての微化石を確度Ｖｒｓが最大の微化石の種類に分類するようにすることができる。
次に、図１１～１３を参照して、分類装置１の動作について説明する。
図１１は、分類装置１の処理手順の例を示すフローチャートである。分類装置１は、トレイ１３０に微化石が用意された状態で、処理開始を指示するユーザ操作を受けると、図１１の処理を開始する。
図１１の処理で、撮像装置１４２は、処理装置２００の制御に従って、微化石を含む画像を撮像する（ステップＳ１１１）。分類対象物画像取得部２９１は、撮像装置１４２が撮像した画像から、各微化石の画像を切り出す（ステップＳ１１２）。
そして、機械学習部２９２は、得られた画像のうち一部の画像を用いて学習用データを生成する（ステップＳ１１３）。
機械学習部２９２は、得られた学習用データを用いて機械学習を行う（ステップＳ１１４）。
分類部２９３は、ステップＳ１１１で得られた各微化石の画像を機械学習の結果に基づいて分類する（ステップＳ１１５）。
分類装置１は、トレイ１３０内の微化石を分類結果に基づいて並び替える（ステップＳ１１６）。
図１２は、分類装置１による微化石の並び替えの例を示す図である。図２の例では、分類装置１は、微化石を微化石の種類毎に図１２の横方向に整列させている。このように、分類装置１が微化石の並び替えを行うことで、ユーザが、微化石を微化石の種類毎に取り出し易くなる。未分類のクラスの微化石は、種類毎に微化石が並べられている列とは別の列に並べてもよい。
ステップＳ１１６の後、分類装置１は、図１１の処理を終了する。
図１３は、分類装置１が学習用データを生成する処理手順の例を示すフローチャートである。分類装置１は、図１１のステップＳ１１３で、図１３の処理を行う。
図１３の処理で、機械学習部２９２は、図１１のステップＳ１１１で得られた各試料の画像のうちいずれか１つを、処理対象の画像として選択する（ステップＳ２１１）。機械学習部２９２が処理対象の画像を選択する方法は、特定の方法に限定されない。例えば、機械学習部２９２が、トレイ１３０での試料の配列に従って、１つずつ順番に試料の画像を選択するようにしてもよい。あるいは、表示部２１０が各試料の画像を表示して操作入力部２２０が画像を選択するユーザ操作を受け付け、機械学習部２９２が、ユーザ操作に従って画像を選択するようにしてもよい。
次に、機械学習部２９２は、選択した画像の粒子境界を検出する（ステップＳ２１２）。すなわち、機械学習部２９２は、選択した画像における試料の輪郭を検出する。
次に、機械学習部２９２は、処理対象の画像の分類結果を示す分類結果情報を取得する（ステップＳ２１３）。例えば、表示部２１０が処理対象の画像を表示し、操作入力部２２０が、ユーザによる分類結果の入力を受け付けるようにしてもよい。そして、機械学習部２９２が、ユーザによる分類結果の情報を取得するようにしてもよい。
そして、機械学習部２９２は、処理対象の画像と、その画像の分類結果情報とを組み合わせた学習用データを生成する（ステップＳ２１４）。
そして、機械学習部２９２は、学習用データの個数が予定された個数に到達したか否かを判定する（ステップＳ２１５）。
学習用データの個数が予定された個数に到達していないと機械学習部２９２が判定した場合（ステップＳ２１５：ＮＯ）、処理がステップＳ２１１へ戻る。
一方、学習用データの個数が予定された個数に到達したと機械学習部２９２が判定した場合（ステップＳ２１５：ＹＥＳ）、分類装置１は、図１３の処理を終了する。
図１４は、分類装置１が微化石の並び替えを行う処理手順の例を示すフローチャートである。分類装置１は、図１１のステップＳ１１６で、図１４の処理を行う。
図１４の処理で、指示部２９４は、微化石の分類結果に基づいて並び替え対象の微化石を選択し、並び替え先の位置を決定する（ステップＳ３１１）。
次に、電動ステージ１２１が指示部２９４の制御に従って、並び替え対象の微化石がノズル１５１の先端付近に来る位置までトレイ１３０を水平に移動させる（ステップＳ３１２）。
そして、吸引ロボット１５０が並び替え対象の微化石をノズル１５１の先端に保持する（ステップＳ３１３）。具体的には、圧縮機１７０が指示部２９４の制御に従って空気を吸引することで、並び替え対象の微化石をノズル１５１の先端に吸着させる。そして、吸引ロボット１５０は、ノズル１５１の先端を持ち上げる。
電動ステージ１２１は、指示部２９４の制御に従って、トレイ１３０上の並び替え先の位置がノズル１５１の先端付近に来るようにトレイ１３０を水平に移動させる（ステップＳ３１４）。
そして、吸引ロボット１５０は、指示部２９４の制御に従って、並び替え対象の微化石を、並び替え先の位置に配置する（ステップＳ３１５）。具体的には、上記のように吸引ロボット１５０がノズル１５１の先端を下げ、圧縮機１７０が空気の吸引を中止することで、並び替え対象の微化石を並び替え先の位置に落とす。
指示部２９４は、並び替えの対象となっている全ての微化石を並び替えたか否かを判定する（ステップＳ３１６）。
まだ、並び替えていない微化石があると指示部２９４が判定した場合（ステップＳ３１６：ＮＯ）、処理がステップＳ３１１へ遷移する。
一方、全ての並び替えの対象となっている全ての微化石を並び替えたと指示部２９４が判定した場合（ステップＳ３１６：ＹＥＳ）、分類装置１は、図１４の処理を終了する。
以上のように、撮像部１４０は、トレイに設けられた複数の穴に１つずつ配置された粒子状の分類対象物を含む画像を撮像する。分類対象物画像取得部２９１は、分類対象物を含む画像から各分類対象物の画像を切り出す。電動ステージ１２１、トレイ１３０、吸引ロボット１５０、チューブ１６０および圧縮機１７０の組み合わせは、得られた分類対象物の画像を、機械学習結果を用いて分類した分類結果に基づいて分類対象物の並び替えを行う。
このように、分類装置１では、機械学習結果を用いて分類対象物の画像を分類して並び替えることで、分類および並び替えを自動的に行うことができる。分類装置１によれば、この点で、微細粒子を分類するときの人の負担が比較的小さくて済む。
また、撮像部１４０は、トレイに設けられた複数の穴に１つずつ配置された粒子状の分類対象物を含む画像を撮像する。分類対象物画像取得部２９１は、分類対象物を含む画像から各分類対象物の画像を切り出す。分類部２９３は、得られた分類対象物の画像を、機械学習結果を用いて分類する。
このように、分類装置１では、機械学習結果を用いて分類対象物の画像を分類することで、分類を自動的に行うことができる。分類装置１によれば、この点で、微細粒子を分類するときの人の負担が比較的小さくて済む。
また、分類部２９３は、機械学習結果を用いて、分類対象物の分類先のクラス毎に、その分類対象物がそのクラスに分類される確度を算出する。
分類装置１によれば、ユーザは、確度を称することで分類対象物があるクラスに分類される確からしさを把握できる。
また、分類部２９３は、分類対象の分類対象物があるクラスに分類される確度が、他のクラスに分類される確度よりも所定の条件以上に高い場合のみ、その分類対象物を何れかのクラスに分類する。
分類対象の分類対象物があるクラスに分類される確度が、他のクラスに分類される確度よりも所定の条件以上に高い場合、分類対象物がそのクラスに分類される蓋然性が高いと考えられる。分類装置１によればこの点で、分類対象物の分類を高精度に行うことができる。
また、分類部２９３は、分類対象物がクラスに分類される確度に基づいて、複数の分類対象物全体におけるクラス毎の組成比率を算出する。
分類装置１によれば、ユーザは、分類対象物全体における組成比率を知ることができる。
また、電動ステージ１２１、トレイ１３０、吸引ロボット１５０、チューブ１６０および圧縮機１７０の組み合わせは、分類対象物の分類結果に基づいて分類対象物の並び替えを行う。
これにより、ユーザが、分類対象物をクラス毎に取り出し易くなる。
次に、図１５および１６を参照して、本発明の実施形態の構成例について説明する。
図１５は、実施形態に係る分類装置の構成の例を示す図である。図１５に示す構成で、分類装置３１０は、撮像部３１１と、分類対象物画像取得部３１２と並び替え部３１３と、を備える。
かかる構成にて、撮像部３１１は、トレイに設けられた複数の穴に１つずつ配置された粒子状の分類対象物を含む画像を撮像する。分類対象物画像取得部３１２は、分類対象物を含む画像から各分類対象物の画像を切り出す。並び替え部３１３は、得られた分類対象物の画像を、機械学習結果を用いて分類した分類結果に基づいて分類対象物の並び替えを行う。
このように、分類装置３１０では、機械学習結果を用いて分類対象物の画像を分類して並び替えることで、分類および並び替えを自動的に行うことができる。分類装置３１０によれば、この点で、微細粒子を分類するときの人の負担が比較的小さくて済む。
図１６は、実施形態に係る分類装置の構成のもう１つの例を示す図である。図１６に示す構成で、分類装置３２０は、撮像部３２１と、分類対象物画像取得部３２２と分類部３２３と、を備える。
かかる構成にて、撮像部３２１は、トレイに設けられた複数の穴に１つずつ配置された粒子状の分類対象物を含む画像を撮像する。分類対象物画像取得部３２２は、分類対象物を含む画像から各分類対象物の画像を切り出す。分類部３２３は、得られた分類対象物の画像を、機械学習結果を用いて分類する。
このように、分類装置３２０では、機械学習結果を用いて分類対象物の画像を分類することで、分類を自動的に行うことができる。分類装置３２０によれば、この点で、微細粒子を分類するときの人の負担が比較的小さくて済む。
上記のように、処理装置２００は、コンピュータを用いて構成される。処理装置２００が行う処理の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
この出願は、２０１８年８月３１日に出願された日本国特願２０１８－１６３９８１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、画像処理装置、画像処理方法および記録媒体に適用してもよい。
１、３１０、３２０ 分類装置
１００ 撮像・配置装置
１１１ 支柱
１１２ 可動部
１２０ 載置台
１２１ 電動ステージ
１３０ トレイ
１４０、３１１、３２１ 撮像部
１４１ 顕微鏡
１４２ 撮像装置
１５０ 吸引ロボット
１５１ ノズル
１６０ チューブ
１７０ 圧縮機
２００ 処理装置
２１０ 表示部
２２０ 操作入力部
２８０ 記憶部
２９０ 制御部
２９１、３１２、３２２ 分類対象物画像取得部
２９２ 機械学習部
２９３、３２３ 分類部
２９４ 指示部
３１３ 並び替え部

Claims (8)

  1. トレイに設けられた複数の穴に１つずつ配置された粒子状の複数の分類対象物を撮影して、前記複数の分類対象物を含む画像を得る撮像部と、
    得られた前記画像を切り出すことにより、前記複数の分類対象物毎の画像を得る取得部と、
    得られた前記複数の分類対象物毎の画像を機械学習結果を用いて分類し、その分類結果に基づいて前記複数の分類対象物を並び替える並び替え部であって、前記複数の分類対象物のうちの一つの分類対象物が分類されるクラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計から減算した差の２乗が、その分類対象物の前記クラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計に第１の重み係数を乗算した値から減算した差の２乗と、その分類対象物の前記クラス毎の確度のうち２番目に大きい確度を、全てのクラスについての確度の合計に第２の重み係数を乗算した値から減算した差の２乗との合計よりも小さい場合のみ、その分類対象物を前記確度が最大のクラスに分類する並び替え部と、
    を備える分類装置。
  2. トレイに設けられた複数の穴に１つずつ配置された粒子状の複数の分類対象物を撮影して、前記複数の分類対象物を含む画像を取得する撮像部と、
    得られた前記画像を切り出すことにより、前記複数の分類対象物毎の画像を得る取得部と、
    得られた前記複数の分類対象物毎の画像を機械学習結果を用いて分類する分類部であって、前記複数の分類対象物のうちの一つの分類対象物について、その分類対象物が分類されるクラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計から減算した差の２乗が、その分類対象物の前記クラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計に第１の重み係数を乗算した値から減算した差の２乗と、その分類対象物の前記クラス毎の確度のうち２番目に大きい確度を、全てのクラスについての確度の合計に第２の重み係数を乗算した値から減算した差の２乗との合計よりも小さい場合のみ、その分類対象物を前記確度が最大のクラスに分類する分類部と、
    を備える分類装置。
  3. 前記分類部は、前記機械学習結果を用いて、それぞれ別の分類に対応する複数のクラス毎に、かつ、前記複数の分類対象物毎に、その分類対象物がそのクラスに分類される確度を算出する、
    請求項２に記載の分類装置。
  4. 前記分類部は、前記複数のクラス毎および前記複数の分類対象物毎の前記確度に基づいて、前記複数のクラス毎に、前記複数の分類対象物全体の組成比率を算出する、
    請求項３に記載の分類装置。
  5. トレイに設けられた複数の穴に１つずつ配置された粒子状の複数の分類対象物を撮影して、前記複数の分類対象物を含む画像を得ることと、
    得られた前記画像を切り出すことにより、前記複数の分類対象物毎の画像を得ることと、
    得られた前記複数の分類対象物毎の画像を、機械学習結果を用いて分類する際に、前記複数の分類対象物のうちの一つの分類対象物が分類されるクラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計から減算した差の２乗が、その分類対象物の前記クラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計に第１の重み係数を乗算した値から減算した差の２乗と、その分類対象物の前記クラス毎の確度のうち２番目に大きい確度を、全てのクラスについての確度の合計に第２の重み係数を乗算した値から減算した差の２乗との合計よりも小さい場合のみ、その分類対象物を前記確度が最大のクラスに分類することと、
    分類結果に基づいて前記複数の分類対象物を並び替えることと、
    を含む分類方法。
  6. トレイに設けられた複数の穴に１つずつ配置された粒子状の複数の分類対象物を撮影して、前記複数の分類対象物を含む画像を得ることと、
    得られた前記画像を切り出すことにより、前記複数の分類対象物毎の画像を得ることと、
    得られた前記複数の分類対象物毎の画像を、機械学習結果を用いて分類する際に、前記複数の分類対象物のうちの一つの分類対象物が分類されるクラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計から減算した差の２乗が、その分類対象物の前記クラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計に第１の重み係数を乗算した値から減算した差の２乗と、その分類対象物の前記クラス毎の確度のうち２番目に大きい確度を、全てのクラスについての確度の合計に第２の重み係数を乗算した値から減算した差の２乗との合計よりも小さい場合のみ、その分類対象物を前記確度が最大のクラスに分類することと、
    を含む分類方法。
  7. コンピュータに、
    トレイに設けられた複数の穴に１つずつ配置された粒子状の複数の分類対象物を撮影して、前記複数の分類対象物を含む画像を得ることと、
    得られた前記画像を切り出すことにより、前記複数の分類対象物毎の画像を得ることと、
    得られた前記複数の分類対象物毎の画像を、機械学習結果を用いて分類する際に、前記複数の分類対象物のうちの一つの分類対象物が分類されるクラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計から減算した差の２乗が、その分類対象物の前記クラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計に第１の重み係数を乗算した値から減算した差の２乗と、その分類対象物の前記クラス毎の確度のうち２番目に大きい確度を、全てのクラスについての確度の合計に第２の重み係数を乗算した値から減算した差の２乗との合計よりも小さい場合のみ、その分類対象物を前記確度が最大のクラスに分類することと、
    分類結果に基づいて前記複数の分類対象物を並び替えることと、
    を実行させるためのプログラム。
  8. コンピュータに、
    トレイに設けられた複数の穴に１つずつ配置された粒子状の複数の分類対象物を撮影して、前記複数の分類対象物を含む画像を得ることと、
    得られた前記画像を切り出すことにより、前記複数の分類対象物毎の画像を得ることと、
    得られた前記複数の分類対象物毎の画像を、機械学習結果を用いて分類する際に、前記複数の分類対象物のうちの一つの分類対象物が分類されるクラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計から減算した差の２乗が、その分類対象物の前記クラス毎の確度のうち最大の確度を、全てのクラスについての確度の合計に第１の重み係数を乗算した値から減算した差の２乗と、その分類対象物の前記クラス毎の確度のうち２番目に大きい確度を、全てのクラスについての確度の合計に第２の重み係数を乗算した値から減算した差の２乗との合計よりも小さい場合のみ、その分類対象物を前記確度が最大のクラスに分類することと、
    を実行させるためのプログラム。
JP2020540055A 2018-08-31 2019-05-10 分類装置、分類方法およびプログラム Active JP7132553B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018163981 2018-08-31
JP2018163981 2018-08-31
PCT/JP2019/018730 WO2020044665A1 (ja) 2018-08-31 2019-05-10 分類装置、分類方法および記録媒体

Publications (2)

Publication Number Publication Date
JPWO2020044665A1 JPWO2020044665A1 (ja) 2021-08-10
JP7132553B2 true JP7132553B2 (ja) 2022-09-07

Family

ID=69644139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020540055A Active JP7132553B2 (ja) 2018-08-31 2019-05-10 分類装置、分類方法およびプログラム

Country Status (3)

Country Link
US (1) US11983612B2 (ja)
JP (1) JP7132553B2 (ja)
WO (1) WO2020044665A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117765528B (zh) * 2023-12-04 2024-07-26 北京霍里思特科技有限公司 一种用于对目标物进行分类的方法、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050082207A1 (en) 2003-09-23 2005-04-21 Deppermann Kevin L. High throughput automated seed analysis system
JP2007048172A (ja) 2005-08-12 2007-02-22 Fuji Xerox Co Ltd 情報分類装置
WO2007091450A1 (ja) 2006-02-10 2007-08-16 Kochi University Of Technology 粒子状物質の角度変調波による誘電泳動を利用した特性分析装置並びに方法
JP2009210465A (ja) 2008-03-05 2009-09-17 Yamaguchi Univ がん細胞を分類する方法、がん細胞を分類するための装置及びがん細胞を分類するためのプログラム
JP2010210318A (ja) 2009-03-09 2010-09-24 Jfe Steel Corp 粉塵の測定装置および発生源の推定方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3150755B2 (ja) * 1992-04-30 2001-03-26 川崎製鉄株式会社 粉塵の分析方法
JP2001266142A (ja) * 2000-01-13 2001-09-28 Nikon Corp データ分類方法及びデータ分類装置、信号処理方法及び信号処理装置、位置検出方法及び位置検出装置、画像処理方法及び画像処理装置、露光方法及び露光装置、並びにデバイス製造方法
JP2005115569A (ja) 2003-10-06 2005-04-28 Matsushita Electric Works Ltd 信号識別装置および信号識別方法
JP2006072659A (ja) 2004-09-01 2006-03-16 Matsushita Electric Works Ltd 信号識別方法および信号識別装置
US9274607B2 (en) * 2013-03-15 2016-03-01 Bruno Delean Authenticating a user using hand gesture
US9652695B2 (en) * 2013-12-20 2017-05-16 Google Inc. Label consistency for image analysis
CN110243752B (zh) 2014-03-07 2022-12-02 古河电气工业株式会社 筛选装置和筛选方法
US11140115B1 (en) * 2014-12-09 2021-10-05 Google Llc Systems and methods of applying semantic features for machine learning of message categories
WO2017100660A1 (en) * 2015-12-09 2017-06-15 Indevr, Inc. Automated agglutination analyzer with contour comparison
US20180011071A1 (en) * 2016-07-06 2018-01-11 University Of Central Florida Research Foundation, Inc. Method for determining the likelihood ratio for membership in two classes based on targeted components in a substance
US20220300364A1 (en) * 2021-03-17 2022-09-22 Capital One Services, Llc Methods and systems for real-time resolution of errors that are detected by multivariate machine learning models between users using univariate responses

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050082207A1 (en) 2003-09-23 2005-04-21 Deppermann Kevin L. High throughput automated seed analysis system
JP2007048172A (ja) 2005-08-12 2007-02-22 Fuji Xerox Co Ltd 情報分類装置
WO2007091450A1 (ja) 2006-02-10 2007-08-16 Kochi University Of Technology 粒子状物質の角度変調波による誘電泳動を利用した特性分析装置並びに方法
JP2009210465A (ja) 2008-03-05 2009-09-17 Yamaguchi Univ がん細胞を分類する方法、がん細胞を分類するための装置及びがん細胞を分類するためのプログラム
JP2010210318A (ja) 2009-03-09 2010-09-24 Jfe Steel Corp 粉塵の測定装置および発生源の推定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
星野辰彦，自動年代決定AIシステム開発を目指した画像認識・機械学習による微化石分類，日本地球惑星科学連合大会予稿集(Web)，Vol.2017，日本，2017年，Page.ROMBUNNO.MIS22-06
板木拓也，人工知能による放散虫の自動分類と今後の展望，日本古生物学会例会講演予稿集，Vol.167th，2018年02月02日，Page.30

Also Published As

Publication number Publication date
JPWO2020044665A1 (ja) 2021-08-10
US20210248430A1 (en) 2021-08-12
WO2020044665A1 (ja) 2020-03-05
US11983612B2 (en) 2024-05-14

Similar Documents

Publication Publication Date Title
JP6976257B2 (ja) マルチビューの特徴付けのための方法及び装置
US6148096A (en) Specimen preview and inspection system
US6430309B1 (en) Specimen preview and inspection system
AU2014237346B2 (en) System and method for reviewing and analyzing cytological specimens
JP5380026B2 (ja) 標本撮像装置
Kaewkamnerd et al. An automatic device for detection and classification of malaria parasite species in thick blood film
JP6479676B2 (ja) 流体サンプル中の粒子の分類のためのシステム及び方法
RU2019115141A (ru) Cистема и способ выполнения автоматизированного анализа проб воздуха
US6181811B1 (en) Method and apparatus for optimizing biological and cytological specimen screening and diagnosis
WO2004070653A2 (en) Image analysis system and method
JP4690163B2 (ja) 血液撮像装置、血液撮像方法、処理装置、及び撮像本体装置
JP3916395B2 (ja) 検体の予備処理機能を備えた検査体系
JP2007093356A5 (ja)
JP7132553B2 (ja) 分類装置、分類方法およびプログラム
CN108475429A (zh) 三维显微镜图像的分割的系统和方法
US6535626B1 (en) Inspection system with specimen preview
JP6530507B2 (ja) 癌検査システム及び癌検査評価方法
US20080199066A1 (en) Sample image obtaining method, sample image obtaining apparatus and sample image filing system
CN1692486A (zh) 探针痕迹读取装置和探针痕迹读取方法
WO2017081750A1 (ja) 癌検査システム及び癌検査評価方法
CN111656247A (zh) 一种细胞图像处理系统、方法、自动读片装置与存储介质
WO2021134474A1 (zh) 样本分析系统及方法
CN113039551A (zh) 分析细胞的方法、细胞分析设备与计算机可读存储介质
JP4690165B2 (ja) 血液撮像装置、血液撮像方法、処理装置、及び撮像本体装置
EP4396792A1 (en) System and method for identifying and counting biological species

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210121

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210121

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20210121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211206

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220615

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220615

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220623

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220810

R150 Certificate of patent or registration of utility model

Ref document number: 7132553

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150