JP6753622B2 - 表示制御装置、表示制御方法及び表示制御プログラム - Google Patents

表示制御装置、表示制御方法及び表示制御プログラム Download PDF

Info

Publication number
JP6753622B2
JP6753622B2 JP2019554569A JP2019554569A JP6753622B2 JP 6753622 B2 JP6753622 B2 JP 6753622B2 JP 2019554569 A JP2019554569 A JP 2019554569A JP 2019554569 A JP2019554569 A JP 2019554569A JP 6753622 B2 JP6753622 B2 JP 6753622B2
Authority
JP
Japan
Prior art keywords
certainty
display control
class
graph
gate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019554569A
Other languages
English (en)
Other versions
JPWO2020004101A1 (ja
Inventor
圭介 合田
圭介 合田
尚 新田
尚 新田
武昭 杉村
武昭 杉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cybo KK
Original Assignee
Cybo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cybo KK filed Critical Cybo KK
Publication of JPWO2020004101A1 publication Critical patent/JPWO2020004101A1/ja
Priority to JP2020137325A priority Critical patent/JP7361395B2/ja
Application granted granted Critical
Publication of JP6753622B2 publication Critical patent/JP6753622B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Description

本発明は、表示制御装置、表示制御方法及び表示制御プログラムに関する。
従来、流路を順次流れる細胞の種類を画像処理によって判別することにより、細胞の種類ごとに細胞を分類するフローサイトメーターや、さらに細胞の種類ごとに細胞を分取するセルソーターに関する技術が開示されている（例えば、再公表ＷＯ２０１３／１４７１１４号公報を参照。）。
従来、細胞の種類を判別するために、人工ニューラルネットワークを用いたディープラーニングなどの機械学習手法によるクラス判定結果を用いることがあった。しかし、人工ニューラルネットワークの内部階層における重みづけなどの判別条件について、その意義を人間が解釈することは困難である。このような従来技術によると、人工ニューラルネットワークの判別条件について人間が解釈困難であることから、そのクラス判定性能を評価することができない。
本発明は、人工ニューラルネットワークによるクラス判定性能を、人間が解釈しやすい形式にして提示できる表示制御装置、表示制御方法及び表示制御プログラムを提供することを目的とする。
本発明の一実施形態は、
入力画像のクラス判定結果の確信度を算出する確信度算出部によって算出される前記確信度を取得する確信度取得部と、
前記確信度取得部が取得する前記確信度の前記入力画像毎の分布を、グラフの表示軸のうち少なくとも一軸を前記確信度を示す確信度軸にして表示させる表示制御部と、を備える表示制御装置である。
本発明の一実施形態は、
入力画像のクラス判定結果の確信度を取得し、
前記確信度の前記入力画像毎の分布を、グラフの表示軸のうち少なくとも一軸を前記確信度を示す確信度軸にして表示する、
表示制御方法である。
本発明の一実施形態は、
表示制御装置が備えるコンピュータに、
入力画像のクラス判定結果の確信度を取得するステップと、
前記確信度の前記入力画像毎の分布を、グラフの表示軸のうち少なくとも一軸を、前記確信度を示す確信度軸にして表示させるステップと、
を実行させるための表示制御プログラムである。
本発明によれば、人工ニューラルネットワークによるクラス判定性能を、人間が解釈しやすい形式にして提示できる。
本実施形態のクラス判定システムの機能構成の一例を示す図 本実施形態のクラス判定部の構成の一例を示す図 本実施形態のクラス判定システムによる確信度の算出結果の一例を示す図 本実施形態のクラス判定システムの動作の一例を示す図 本実施形態の確信度グラフ画像の一例を示す図 本実施形態の表示制御部が表示させるグラフの一例を示す図 本実施形態の表示制御装置によるゲーティングの一例を示す図 本実施形態の表示制御装置によるゲーティングの変形例を示す図 本実施形態の表示制御装置によるゲーティングの他の変形例を示す図 本実施形態のニューラルネットワークの構成の一例を示す図 細胞画像と、各クラスについての確信度との関係の一例を示す図 確信度のヒストグラム及びゲーティング結果の一例を示す図 血小板凝集塊の分類精度を定量した結果の一例を示す図 セルソーターによる分取性能の一例（ＴＲＡＰによる刺激を与えた場合）を示す図 セルソーターによる分取性能の一例（ＴＲＡＰによる刺激を与えていない場合）を示す図 血小板凝集塊に分類される確信度のヒストグラム表示の一例を示す図 グラフの表示形式を散布図とした場合の一例を示す図 入力画像を確信度別に分類した結果の一例を示す図
以下、本実施形態のクラス判定システム１について図を参照して説明する。
［クラス判定システム１の機能構成］
図１は、本実施形態のクラス判定システム１の機能構成の一例を示す。クラス判定システム１は、一例として、フローサイトメーター（Flow Cytometer；ＦＣＭ）（不図示）の一形態であるイメージングサイトメーター（Imaging Cytometer）（不図示）に備えられる。この場合、クラス判定システム１は、細胞画像を取得し、取得した細胞画像に撮像されている細胞の種類を判定する。ここで、クラス判定システム１の判定対象であるクラスＣＬとは、「細胞の種類」である。すなわち、クラス判定システム１は、細胞の種類をクラスＣＬとしてクラス判定を行い、その判定結果として各クラスＣＬに対する確信度ＰＲ（つまり、細胞の種類を推定した結果）を取得して、確信度出力部２３０に表示する。さらに確信度出力部２３０上にゲートＧＴを設定し、取得した画像が設定したゲートＧＴに含まれるか否かの判定（ゲート判定）を行う。細胞分取機能がついたセルソーターでは、このゲート判定結果ＧＲをソート機構（不図示）に出力する。セルソーターのソート機構は、クラス判定システム１が出力するゲート判定結果ＧＲに基づいて細胞を分取する。
なお、以下の説明では、クラス判定システム１が、イメージングサイトメトリー装置のセルソーターに接続され、細胞の種類を判定するものであるとして説明するが、これに限られない。クラス判定システム１は、例示したイメージングサイトメトリーに利用されるものに限られず、例えば、一般的なフローサイトメーターや質量サイトメーター（Mass Cytometer）、顕微鏡などの他の細胞観察用途や、細胞以外の画像のクラス分け用途に利用されてもよい。
クラス判定システム１は、表示制御装置１０と、クラス判定装置２０とを備える。表示制御装置１０及びクラス判定装置２０は、１台のコンピュータ装置によって実現されてもよいし、別々のコンピュータ装置によって実現されてもよい。
また、クラス判定システム１は、操作検出部３０と、表示部４０とを備える。
操作検出部３０は、例えば、コンピュータ装置のキーボードやマウス、タッチパネルなどの操作デバイスであり、操作者による操作を検出する。
表示部４０は、例えば、液晶ディスプレイなどの表示デバイスであり、画像を表示する。
［クラス判定装置２０の機能構成］
クラス判定装置２０は、画像取得部２１０と、クラス判定部２２０と、確信度出力部２３０とを備える。
画像取得部２１０は、セルソーターの撮像部（不図示）において撮像された細胞画像を入力画像ＩＰとして取得する。画像取得部２１０は、取得した入力画像ＩＰをクラス判定部２２０に出力する。
クラス判定部２２０は、入力画像ＩＰに撮像されている細胞の種類をクラスＣＬとして判定する。クラス判定部２２０は、一例として、コンボリューショナル・ニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ＣＮＮ／以下、ニューラルネットワークＣＮＮとも称する。）による学習済みモデルとして実現される。
なお、クラス判定部２２０がニューラルネットワークＣＮＮによって実現されることは一例である。クラス判定部２２０は、例えば、深層ニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ＤＮＮ）、確率的ニューラルネットワーク（Ｐｒｏｂａｂｉｌｉｓｔｉｃ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ＰＮＮ）、順伝搬型ニューラルネットワーク（フィードフォワードニューラルネットワーク；ＦＦＮＮ）、再起型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ；ＲＮＮｓ）、Ａｕｔｏａｓｓｏｃｉａｔｏｒ、Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋｓ（ＤＢＮｓ）、Ｒａｄｉａｌ ｂａｓｉｓ ｆｕｎｃｔｉｏｎ（ＲＢＦ） ｎｅｔｗｏｒｋ、ボルツマンマシン、制約付きボルツマンマシンなどによって実現されていてもよい。ここに例示したネットワークのことを、以下の説明において人工ニューラルネットワークとも称する。
図２は、本実施形態のクラス判定部２２０の構成の一例を示す。クラス判定部２２０に供給される入力画像ＩＰには、例えば、血小板凝集塊ＰＡ、血小板ＳＰ、白血球ＬＫなどの各種の細胞（又は組織）のうち、いずれかが撮像されている。この一例において、血小板凝集塊ＰＡはクラスＣＬａに、血小板ＳＰはＣＬｂに、白血球ＬＫはクラスＣＬｃにそれぞれ対応づけられている。白血球ＬＫには、顆粒球ＧＬ（好中球、好酸球及び好塩基球）、リンパ球ＬＣ、単球ＭＣなどが含まれる。本実施形態の一例では、リンパ球ＬＣはクラスＣＬｄに、リンパ球ＬＣのうちＴリンパ球ＬＣはクラスＣＬｄ１に、Ｂリンパ球ＬＣはクラスＣＬｄ２に、それぞれ対応付けられている。また、顆粒球ＧＬはクラスＣＬｅに対応付けられている。
この一例の場合、クラス判定部２２０は、入力画像ＩＰに撮像されている細胞の種類が、上述したクラスＣＬのうちのいずれのクラスＣＬに該当するのかを判定し、各クラスＣＬに対する確信度ＰＲを出力する。
［確信度について］
クラス判定部２２０は、クラスＣＬに対する確信度（Ｐｒｏｂａｂｉｌｉｔｙ）を出力する。ここで、確信度ＰＲについて説明する。確信度ＰＲは、複数の種類のクラスＣＬに対し、それぞれ１：１にして対応づけられている。例えば、上述したクラスＣＬのうち、クラスＣＬａ〜クラスＣＬｃの３種類のクラスＣＬについて、クラスＣＬａには確信度ＰＲａが、クラスＣＬｂには確信度ＰＲｂが、クラスＣＬｃには確信度ＰＲｃが、それぞれ対応づけられている。
あるクラスＣＬの確信度ＰＲは、その値が大きいほど、ニューラルネットワークＣＮＮへの入力信号（例えば、入力画像ＩＰ）がそのクラスＣＬに該当する尤度が高いことを示し、その値が小さいほど、入力信号がそのクラスＣＬに該当する尤度が低いことを示す。例えば、クラスＣＬａ（上述の例では、血小板凝集塊ＰＡ）の確信度ＰＲは、入力画像ＩＰが血小板凝集塊ＰＡの画像である場合には高く、入力画像ＩＰが血小板凝集塊ＰＡ以外の画像である場合には低く算出される。
確信度ＰＲは、ある値の範囲（例えば、０〜１）に正規化されていてもよい。この場合、あるクラスＣＬの確信度ＰＲは、値が１に近いほど、入力信号がそのクラスＣＬに該当する尤度が高く、値が０に近いほど、入力信号がそのクラスＣＬに該当する尤度が低いことを示す。また、各クラスＣＬの確信度ＰＲをクラスＣＬごとに加算した総和は、ある値（例えば、１）である。例えば、ある入力画像ＩＰについて、上述した３種類のクラスＣＬに分類する場合、これらのクラスＣＬに対応する確信度ＰＲａ〜確信度ＰＲｃの総和は、１である。
なお、上述した人工ニューラルネットワークにおいては、クラスＣＬの種類数に対応したベクトル値を出力値とする。この人工ニューラルネットワークを構成する各層のうち、例えば最終層にＳｏｆｔｍａｘ層を採用することにより、最終層からの出力値が確信度ＰＲとなりうる。また、確信度ＰＲは、ある入力信号があるクラスＣＬに該当する尤度を、クラスＣＬ相互間の比較によって表現できればよく、その単位は任意である。
図３は、本実施形態のクラス判定システム１による確信度ＰＲの算出結果の一例を示す。
クラス判定部２２０は、入力画像ＩＰごとに、各クラスＣＬの確信度ＰＲを算出する。具体的な一例として、クラスＣＬａ〜クラスＣＬｃの３種類のクラスＣＬに分類される場合、クラス判定部２２０は、第１の入力画像ＩＰ１について、入力画像ＩＰ１がクラスＣＬａに該当する尤度を確信度ＰＲａとして、入力画像ＩＰ１がクラスＣＬｂに該当する尤度を確信度ＰＲｂとして、入力画像ＩＰ１がクラスＣＬｃに該当する尤度を確信度ＰＲｃとして、それぞれ算出する。図３に示す一例では、クラス判定部２２０は、確信度ＰＲａを９５％、確信度ＰＲｂを４％、確信度ＰＲｃを１％として、それぞれ算出する。
図１に戻り、確信度出力部２３０は、クラス判定部２２０が算出した確信度ＰＲを表示制御装置１０に対して出力する。
［表示制御装置１０の機能構成］
表示制御装置１０は、確信度取得部１１０と、表示制御部１２０と、設定値取得部１３０と、ゲート判定部１４０とを備える。
確信度取得部１１０は、入力画像ＩＰのクラス判定結果ＲＣＬの確信度ＰＲを算出するクラス判定部２２０（確信度算出部）によって算出される確信度ＰＲを取得する。
表示制御部１２０は、確信度取得部１１０が取得する確信度ＰＲの入力画像ＩＰ毎の分布に基づいて、グラフＧの画像を生成する。表示制御部１２０が生成するグラフＧの画像には、グラフＧの表示軸ＤＡＸとして確信度軸ＰＡＸが含まれる。ここで、表示軸ＤＡＸとは、表示部４０に表示されるグラフＧの軸をいう。また、確信度軸ＰＡＸとは、グラフＧの軸のうち、確信度ＰＲの大きさを示す軸をいう。表示制御部１２０は、グラフＧの表示軸ＤＡＸのうち、少なくとも一軸を、確信度軸ＰＡＸにして表示させる。例えば、グラフＧがＸ軸及びＹ軸の２軸による直交座標平面を示す場合、クラス判定システム１は、これら２軸のうち、Ｘ軸を確信度軸ＰＡＸにして表示させる。なお、表示制御部１２０は、これら２軸（すなわち、Ｘ軸及びＹ軸）をいずれも確信度軸ＰＡＸにして表示させてもよい。また、グラフＧは必ずしも２軸でなくてもよく、クラス判定部２２０が判定するクラスＣＬの種類の数に応じた数の軸を有するものであってもよい。例えば、クラス判定部２２０が判定するクラスＣＬの種類数が３種類である場合には、表示制御部１２０は、３軸のグラフＧを表示させてもよい。この場合、クラス判定システム１は、グラフＧの３軸のうち、すべての軸を確信度軸ＰＡＸとしてもよい。
すなわち、表示制御部１２０は、確信度取得部１１０が取得する確信度ＰＲの入力画像ＩＰ毎の分布を、グラフＧの表示軸ＤＡＸのうち少なくとも一軸を、確信度ＰＲを示す確信度軸ＰＡＸにして表示させる。
なお、以下の説明において、この表示制御部１２０が生成するグラフＧの画像のことを、確信度グラフ画像ＰＧとも称する。
設定値取得部１３０は、グラフＧに表示される確信度ＰＲについてのゲート設定値ＧＶを取得する。
ゲート判定部１４０は、設定値取得部１３０が取得するゲート設定値ＧＶに基づいて、入力画像ＩＰがゲート設定値ＧＶの内部にあるか否かを判定する。
次に、これら各部の動作の一例について、図４を参照して説明する。
［クラス判定システム１の動作］
図４は、本実施形態のクラス判定システム１の動作の一例を示す。
画像取得部２１０は、細胞（又は組織）が撮像された画像を、フローサイトメトリー装置（不図示）から、入力画像ＩＰとして取得する（ステップＳ２１０）。画像取得部２１０は、取得した入力画像ＩＰをクラス判定部２２０に出力する。
クラス判定部２２０は、ステップＳ２１０において取得された入力画像ＩＰについて、判定対象のクラスＣＬごとに確信度ＰＲを算出する（ステップＳ２２０）。
確信度出力部２３０は、ステップＳ２２０において算出した確信度ＰＲを、表示制御装置１０に対して出力する（ステップＳ２３０）。
確信度取得部１１０は、ステップＳ２３０において算出された確信度ＰＲを取得する（ステップＳ１１０）。
表示制御部１２０は、ステップＳ１１０において取得された確信度ＰＲに基づいて、グラフＧの画像を生成する（ステップＳ１２０）。
表示制御部１２０は、ステップＳ１２０において生成した確信度グラフ画像ＰＧを表示部４０に対して出力する（ステップＳ１３０）。この結果、表示部４０には、ステップＳ１２０において生成された確信度グラフ画像ＰＧが表示される。
設定値取得部１３０は、ゲート設定値ＧＶを取得する（ステップＳ１４０）。ゲート設定値ＧＶとは、キーボードやマウス、タッチパネルなどの手動によって与えられるものであってもよく、確信度グラフ画像ＰＧの分布状況などに基づいて自動的に計算されるものであってもよい。設定値取得部１３０は、取得したゲート設定値ＧＶを表示制御部１２０に出力する。ゲート設定値ＧＶとは、ステップＳ１３０において表示された確信度グラフ画像ＰＧに対してゲートＧＴを設定するための値である。
なお、表示制御部１２０は、取得されたゲート設定値ＧＶに基づくゲート画像ＧＰを確信度グラフ画像ＰＧ上に表示する。
また、表示制御部１２０は、ステップＳ１３０において生成した確信度グラフ画像ＰＧと、確信度グラフ画像ＰＧについてのゲート設定値ＧＶとを、ゲート判定部１４０に対して出力する。
ゲート判定部１４０は、ステップＳ２１０において取得された入力画像ＩＰが、ステップＳ１４０において作成されたゲート設定値ＧＶの内部にあるか否かの判定を行い、その判定結果としてのゲート判定結果ＧＲを生成する（ステップＳ１５０）。ここで、入力画像ＩＰがゲート設定値ＧＶの内部にあるか否かとは、確信度グラフ画像ＰＧ上においてゲート設定値ＧＶが示す確信度ＰＲの範囲内に、入力画像ＩＰの確信度ＰＲがプロットされるか否かを意味する。本実施形態の一例として、ゲート判定部１４０は、ステップＳ１４０において表示制御部１２０から出力される確信度グラフ画像ＰＧと、確信度グラフ画像ＰＧについてのゲート設定値ＧＶとに基づいて、入力画像ＩＰがゲート設定値ＧＶの内部にあるか否かを判定する。
ゲート判定部１４０は、生成したゲート判定結果ＧＲをセルソーター（不図示）に出力する。このように構成することにより、クラス判定システム１は、ゲート設定値ＧＶに含まれる細胞（あるいは含まれない細胞）を選択的に分取するようにプログラムできる。また、クラス判定システム１は、ゲート判定結果ＧＲに基づいて、ゲート設定値ＧＶに含まれる細胞（あるいは含まれない細胞）のデータ（画像、数値データ、プロットなど）を選択的に表示できる。
表示制御部１２０は、ゲート判定部１４０によるゲート判定結果ＧＲを用いて所望の細胞に対応した入力画像ＩＰやグラフＧなどのデータを表示させることもできる。また、表示制御部１２０は、ゲート判定結果ＧＲに基づいて、ゲートＧＴに含まれる入力画像ＩＰの個数や割合などの統計値を計算して出力させたり、グラフＧ上に表示させたりすることも可能である。また、表示制御部１２０は、個々の入力画像ＩＰがゲートＧＴに含まれるか否かのゲート判定結果ＧＲに基づいて、ゲートＧＴに含まれる入力画像に対応したデータ点について、データ点の位置を示すポイントの色や形状を変えることも可能である。
表示制御部１２０が生成する確信度グラフ画像ＰＧの一例について、図５を参照して説明する。
［確信度グラフ画像ＰＧの一例］
図５は、本実施形態の確信度グラフ画像ＰＧの一例を示す。上述したように、表示制御部１２０は、確信度ＰＲの入力画像ＩＰ毎の分布を、グラフＧの表示軸ＤＡＸのうち少なくとも一軸を、確信度軸ＰＡＸにして表示させる。図５（Ａ）に示す一例では、表示制御部１２０は、グラフＧの表示軸ＤＡＸのうち、Ｘ軸を確信度軸ＰＡＸとし、Ｙ軸を確信度ＰＲの出現頻度として、グラフＧを表示させる。ここでＹ軸の確信度ＰＲの出現頻度とは、複数の入力画像ＩＰについてクラス判定部２２０がクラスＣＬをそれぞれ判定した場合において、あるクラスＣＬの確信度ＰＲを入力画像ＩＰごとに計数した値である。確信度ＰＲの出現頻度のことを、ある確信度ＰＲにおける入力画像ＩＰの度数Ｆとも称する。図５（Ａ）に示す一例の場合、確信度グラフ画像ＰＧとは、Ｘ軸が確信度軸ＰＡＸを示し、Ｙ軸が度数Ｆを示すヒストグラムである。
具体的な一例として、クラス判定部２２０が、入力画像ＩＰが血小板凝集塊ＰＡの画像であるか否かを判定する場合について説明する。クラス判定部２２０は、入力画像ＩＰに撮像されている細胞（又は組織）が血小板凝集塊ＰＡであることの確信度ＰＲａを算出する。例えば、血小板凝集塊ＰＡの画像が入力画像ＩＰとして与えられた場合、クラス判定部２２０は、入力画像ＩＰが血小板凝集塊ＰＡの画像であることの確信度ＰＲ（つまり、確信度ＰＲａ）を９５％と算出する。すなわちこの場合、クラス判定部２２０は、与えられた入力画像ＩＰが血小板凝集塊ＰＡの画像である尤度が高いと判定する。また、白血球ＬＫの画像が入力画像ＩＰとして与えられた場合、クラス判定部２２０は、確信度ＰＲａを４％と算出する。すなわちこの場合、クラス判定部２２０は、与えられた入力画像ＩＰが血小板凝集塊ＰＡの画像である尤度が低いと判定する。
クラス判定部２２０は、複数の入力画像ＩＰについて確信度ＰＲａをそれぞれ算出し、算出した確信度ＰＲａの分布を、Ｘ軸を確信度軸ＰＡＸにし、Ｙ軸を度数Ｆを示す軸にしたグラフＧを、確信度グラフ画像ＰＧとして表示部４０に表示させる。
ここで、図５（Ａ）〜（Ｃ）には、クラス判定部２２０によるクラス判定性能の違いを示す。クラス判定性能が比較的高い場合には、図５（Ａ）に示すように確信度ＰＲが分布する。すなわち、クラス判定性能が比較的高い場合には、確信度ＰＲの分布が、確信度ＰＲが比較的低い「分布ＤＳ１Ａ」の領域と、確信度ＰＲが比較的高い「分布ＤＳ１Ｂ」の領域とに明確に分かれる。換言すれば、図５（Ａ）に示す確信度グラフ画像ＰＧが表示部４０に表示された場合には、操作者は、クラス判定性能が比較的高い状態であると解釈できる。
また、クラス判定性能が比較的低い場合には、図５（Ｂ）に示すように確信度ＰＲが分布する。すなわち、クラス判定性能が比較的低い場合には、確信度ＰＲの分布が、確信度ＰＲが比較的低い「分布ＤＳ１Ｃ」の領域と、確信度ＰＲが比較的高い「分布ＤＳ１Ｄ」の領域とに分かれるが、これら２つの領域どうしが、図５（Ａ）に示す場合に比べて接近する。つまり、クラス判定性能が比較的低い場合には、確信度ＰＲが比較的低い領域と、確信度ＰＲが比較的高い領域とを明確に分離し難い状態になる。換言すれば、図５（Ｂ）に示す確信度グラフ画像ＰＧが表示部４０に表示された場合には、操作者は、クラス判定性能が比較的低い状態であると解釈できる。
また、クラス判定性能がさらに低い場合には、図５（Ｃ）に示すように確信度ＰＲが分布する。すなわち、クラス判定性能がさらに低い場合には、確信度ＰＲの分布が、分布ＤＳ１Ｅの領域のみになり、確信度ＰＲの高い領域と、確信度ＰＲの低い領域とを判別できなくなる。換言すれば、図５（Ｃ）に示す確信度グラフ画像ＰＧが表示部４０に表示された場合には、操作者は、クラス判定性能が、図５（Ｂ）の状態に比べてさらに低い状態であると解釈できる。
なお、「クラス判定性能」のことを「クラスＣＬの分類精度」とも称する。
上述したように、グラフＧの少なくとも１軸を確信度軸ＰＡＸとすることにより、クラス判定部２２０の判定性能が、操作者（すなわち人間）にとって解釈しやすい形式になる。すなわち、本実施形態のクラス判定システム１によれば、ニューラルネットワークＣＮＮによるクラスＣＬの判定性能を操作者が解釈しやすい形式にして提示できる。
ところで、ニューラルネットワークＣＮＮの内部の各層における重みづけの意味について、人間が解釈することは一般的に困難である。このため、ニューラルネットワークＣＮＮが、入力画像ＩＰのクラスＣＬをどのような判定条件によって判定しているのかについて、人間が解釈することは一般的に困難である。したがって、ニューラルネットワークＣＮＮの学習状態が妥当であるか否か（つまり、ニューラルネットワークＣＮＮのクラス判定性能）を評価する場合において、ニューラルネットワークＣＮＮの内部の状態を観察することによって評価することは、一般的に困難である。このため従来、ニューラルネットワークＣＮＮのクラス判定性能を評価する場合において、ニューラルネットワークＣＮＮに与えた入力信号（例えば、入力画像ＩＰ）と、入力信号に基づいてニューラルネットワークＣＮＮが出力するクラス判定結果ＲＣＬとを照合して、その当否を判定する手法が行われている。例えば、ニューラルネットワークＣＮＮに対して「血小板凝集塊ＰＡ」の入力画像ＩＰを与えた場合において、ニューラルネットワークＣＮＮが出力するクラス判定結果ＲＣＬが「血小板凝集塊ＰＡ」を示していれば、このニューラルネットワークＣＮＮは妥当に学習されている、と判定する。しかし、この従来手法によると、ニューラルネットワークＣＮＮが出力するクラス判定結果ＲＣＬが正しいか誤っているかの２択として判定するにとどまり、クラス判定結果ＲＣＬの妥当性の程度、つまりニューラルネットワークＣＮＮのクラス判定性能までは判定できなかった。
本実施形態のクラス判定システム１は、ニューラルネットワークＣＮＮがクラス判定に用いる確信度ＰＲをニューラルネットワークＣＮＮから出力させ、確信度ＰＲをグラフＧの表示軸ＤＡＸとして表示させる。上述したように、確信度ＰＲは、ある入力信号があるクラスＣＬに該当する尤度を示す指標としてニューラルネットワークＣＮＮが算出する値であることから、ニューラルネットワークＣＮＮによるクラス判定の妥当性の程度を示している。したがって、確信度ＰＲの分布は、ニューラルネットワークＣＮＮのクラス判定性能を示す指標となりうる。ここで、図５を参照して説明したように、確信度ＰＲの分布をグラフＧの軸にすることにより、ニューラルネットワークＣＮＮの内部の状況を人間にも解釈させやすい形式にすることができる。
本実施形態のクラス判定システム１は、確信度ＰＲの分布を軸にしたグラフＧに示すことにより、ニューラルネットワークＣＮＮによるクラス判定性能を、人間が解釈しやすい形式にして提示できる。
上記ではニューラルネットワークＣＮＮによるクラス判定性能を人間が解釈する場合について説明したが、ゲート判定部１４０がクラス判定性能を評価してもよい。
なお、図５（Ｃ）に示すように、クラス判定性能が低くなる場合の原因としては、クラス判定を行ったニューラルネットワークＣＮＮのモデルの性能が悪いことや、入力した画像の画質が低いことが原因として考えられる。ニューラルネットワークＣＮＮのモデルの性能を向上させるためには、再学習を行うことが有効である。
以下、再学習の方法を例示する。例えば、ある特定のパラメータについての確信度の分布より、ゲートが有効ではないことが判明した場合、当該パラメータのクラスに対して、新規で学習に使用する画像を追加し、再学習することが有効である。
また、学習に使用した既存画像に対して、反転や回転などの画像処理を行うことにより、学習に使用する画像を生成して追加し、再学習することが有効である。
また、図５（Ｃ）に示すように、確信度の高い領域と確信度の低い領域を判別することができない場合、一つのクラスに分類されていた集団の中に、複数の異なる形状の細胞が存在することが明らかとなる場合がある。このような場合、既存の分類を分割して新しい分類を追加し、再学習することが有効である。
また、２つ以上の既存の分類を統合して１つの分類とし、再学習することが有効な場合もある。
また、クラス判定部のモデル（レイヤー数、各層を接続する構造など）を変更し、再学習することが有効な場合もある。
必要に応じて、上記再学習の方法を適宜組み合わせることにより、ニューラルネットワークＣＮＮのモデルの性能が向上することが期待できる。
なお、ゲート判定部１４０は、クラス判定性能の評価結果に基づき、再学習の要否判断や再学習方法の決定を行ってもよい。
［表示形式の変形例］
図６は、本実施形態の表示制御部１２０が表示させるグラフＧの一例を示す。本変形例において、表示制御部１２０は、グラフＧの表示軸ＤＡＸのうち、クラスＣＬｄの確信度ＰＲｄをＸ軸、クラスＣＬｅの確信度ＰＲｅをＹ軸にして、確信度グラフ画像ＰＧを表示させる。上述した一例では、クラスＣＬｄはリンパ球ＬＣ、クラスＣＬｅは顆粒球ＧＬにそれぞれ対応する。この場合、分布ＤＳ２Ａは、クラス判定部２２０が、入力画像ＩＰをリンパ球ＬＣの画像であるとクラス判定した領域を示している。分布ＤＳ２Ｂは、クラス判定部２２０が、入力画像ＩＰを顆粒球ＧＬの画像であるとクラス判定した領域を示している。また、分布ＤＳ２Ｃは、クラス判定部２２０が、入力画像ＩＰをリンパ球ＬＣ及び顆粒球ＧＬのいずれの画像でもないとクラス判定した領域を示している。
すなわち、同図に示す一例では、表示制御部１２０は、グラフＧの表示軸ＤＡＸのうちの複数の表示軸ＤＡＸを確信度軸ＰＡＸにして表示させる。
このように、複数の表示軸ＤＡＸを確信度軸ＰＡＸにしてグラフＧを表示させることにより、クラス判定システム１は、ニューラルネットワークＣＮＮによるクラス判定性能を、人間が解釈しやすい形式にして提示できる。
なお、上述した各例においては、確信度軸ＰＡＸが、あるクラスＣＬの確信度ＰＲをそのまま示す軸であるとして説明したが、これに限られない。確信度軸ＰＡＸは、複数のクラスＣＬの確信度ＰＲどうしの組み合わせによる確信度ＰＲ（すなわち、組み合わせ確信度ＰＲＣＢ）を示す軸であってもよい。例えば、グラフＧのＸ軸が、確信度ＰＲａと確信度ＰＲｂとが多項式によって加算された組み合わせ確信度ＰＲＣＢとされていてもよい。例えば、組み合わせ確信度ＰＲＣＢが、確信度ＰＲａに重みを掛け合わせた値と、確信度ＰＲｂに重みを掛け合わせた値との和によって表される。すなわちこの場合、表示制御部１２０は、クラス判定結果ＲＣＬが示す複数のクラスＣＬの確信度ＰＲどうしの組み合わせによる組み合わせ確信度ＰＲＣＢを示す軸を、確信度軸ＰＡＸとして表示させる。
なお、操作者が操作検出部３０に対してゲート設定値ＧＶを入力する操作を行うことにより、表示制御装置１０は、グラフＧにゲート画像ＧＰを重ねて表示できる。ここで「ゲート」とは、ヒストグラムなどのグラフＧの中から、特定の領域を抽出するためのしきい値をいう。また「ゲーティング」とは、グラフＧに対してゲートを行い特定の領域を抽出する作業をいう。
例えば、あるグラフＧから特定の種類の細胞の情報だけを抽出したい場合には、このゲーティングが有効である。
また、例えば、ゲーティングしたいクラスＣＬが複数のクラスＣＬにまたがる場合には、上述したような複数の確信度ＰＲどうしを多項式によって加算した組み合わせ確信度ＰＲＣＢを用いることが有効である。
このゲーティングの一例について、図７を参照して説明する。
［ゲーティングの一例］
図７は、本実施形態の表示制御装置１０によるゲーティングの一例を示す。図７（Ａ）には、図６に示した確信度グラフ画像ＰＧを再度示す。表示制御装置１０は、この確信度グラフ画像ＰＧのうち、分布ＤＳ２Ａについての確信度グラフ画像ＰＧ（図７（Ｂ））を表示させることができる。
操作者は、操作検出部３０に対してゲート設定値ＧＶを入力する操作を行う。ゲート設定値ＧＶを入力する操作には、例えば、数値入力、グラフＧの画像に対する矩形、円形又は多角形などの形状入力などがある。操作検出部３０は、ゲート設定値ＧＶを入力する操作を検出すると、検出した操作を示す情報を表示制御装置１０に出力する。
設定値取得部１３０は、操作検出部３０が出力する情報からゲート設定値ＧＶを取得する。
表示制御部１２０は、設定値取得部１３０が取得するゲート設定値ＧＶに基づくゲートＧＴを示すゲート画像ＧＰを、グラフＧに表示させる。
図７（Ａ）に示す一例では、設定値取得部１３０は、ゲート設定値ＧＶ１を取得する。また、表示制御部１２０は、ゲート画像ＧＰ１（すなわち、多角形のゲート画像ＧＰ）を確信度グラフ画像ＰＧに重ねて、表示部４０に表示させる。
図７（Ａ）に示すゲート画像ＧＰ１は、分布ＤＳ２Ａの領域を囲っている。分布ＤＳ２Ａは、クラスＣＬｄの確信度ＰＲｄが比較的高い領域（すなわち、入力画像ＩＰがリンパ球ＬＣの画像である尤度が高い領域）を示している。
表示制御部１２０は、ゲート画像ＧＰによって囲まれた領域が、クラスＣＬｄの確信度ＰＲｄが比較的高い領域であると判定した場合、新たなグラフＧの画像を生成し、表示部４０に表示させる（図７（Ｂ））。図７（Ｂ）に示すグラフＧとは、Ｘ軸を確信度ＰＲｄとし、Ｙ軸を度数Ｆとする確信度グラフ画像ＰＧである。
すなわち、表示制御部１２０は、グラフＧの表示領域におけるゲート画像ＧＰの位置に基づいて、新たなグラフＧを表示させることができる。
図７（Ｂ）に示されるグラフＧの一例の場合、確信度ＰＲｄが比較的低い「分布ＤＳ２Ｄ」の領域と、確信度ＰＲｄが比較的高い「分布ＤＳ１Ｅ」の領域とに分かれて示される。図７（Ｂ）のグラフＧに対してもゲートを設定できる。
すなわち、操作者は、図７（Ｂ）に示されるグラフＧに対してゲートを設定するために、操作検出部３０に対してゲート設定値ＧＶ２を入力する操作を行う。この一例の場合、ゲート設定値ＧＶ２とは、確信度ＰＲｄの幅を示す数値である。操作検出部３０は、ゲート設定値ＧＶ２を入力する操作を検出すると、検出した操作を示す情報を表示制御装置１０に出力する。
設定値取得部１３０は、操作検出部３０からゲート設定値ＧＶ２を取得する。
表示制御部１２０は、設定値取得部１３０が取得するゲート設定値ＧＶ２に基づくゲートＧＴを示すゲート画像ＧＰ２を、グラフＧに表示させる。ゲート画像ＧＰ２とは、図７（Ｂ）に示す一例では、分布ＤＳ２Ｅを囲む画像である。ここで、分布ＤＳ２Ｅは、確信度ＰＲｄが比較的高い領域（すなわち、入力画像ＩＰがリンパ球ＬＣの画像である尤度が高い領域）である。つまり、図７（Ｂ）に示す一例では、リンパ球ＬＣに対するゲーティングが行われている。
このようにして表示制御装置１０は、操作検出部３０が検出する操作に基づいて、複数のグラフＧを段階的に表示させることができる。すなわち、表示制御装置１０は、いわゆるゲートリージョンによる絞り込みをグラフＧの画像によって視覚的に表現することにより、人間が解釈しやすい形式にして提示できる。
［ゲーティングの変形例（１）］
図８は、本実施形態の表示制御装置１０によるゲーティングの変形例を示す。上述した図７に示す例においては、ゲーティング前のグラフＧ（図７（Ａ））が確信度グラフ画像ＰＧであった。本変形例においては、ゲーティング前のグラフＧが確信度グラフ画像ＰＧではない点において、上述した一例と異なる。
図８（Ａ）に示すグラフＧとは、パラメータＰＭ−ＡをＸ軸、パラメータＰＭ−ＢをＹ軸にした分布図である。一例として、パラメータＰＭ−Ａとは、抗体（例えば、ＣＤ４５−ＦＩＴＣ）についての各細胞の反応の程度を示すパラメータである。また、パラメータＰＭ−Ｂとは、各細胞の散乱光（例えば、側方散乱光）の程度を示すパラメータである。同図に示すグラフＧには、顆粒球ＧＬ、単球ＭＣ、及びリンパ球ＬＣの分布が示される。この一例では、リンパ球ＬＣに対してゲーティングがなされる。操作者は、グラフＧのうち、リンパ球ＬＣの領域を囲む範囲をゲート設定値ＧＶ３として設定する。操作検出部３０は、ゲート設定値ＧＶ３の設定操作を検出して、表示制御装置１０に出力する。表示制御部１２０は、ゲート設定値ＧＶ３に対応するゲート画像ＧＰ３を表示する。また、表示制御部１２０は、ゲート設定値ＧＶ３に基づいて、図８（Ｂ）に示すグラフＧの画像を生成し、表示部４０に表示させる。
図８（Ｂ）に示すグラフＧとは、Ｘ軸を確信度ＰＲｄ１とし、Ｙ軸を確信度ＰＲｄ２とする確信度グラフ画像ＰＧである。ここで、確信度ＰＲｄ１とは、一例として、クラスＣＬｄ１（Ｔリンパ球ＬＣＴ）についての確信度ＰＲである。また、確信度ＰＲｄ２とは、一例として、クラスＣＬｄ２（Ｂリンパ球ＬＣＢ）についての確信度ＰＲである。同図に示すグラフＧには、Ｔリンパ球ＬＣＴである尤度が比較的高い領域（分布ＤＳ３Ａ）と、Ｂリンパ球ＬＣＢである尤度が比較的高い領域（分布ＤＳ３Ｂ）と、いずれの尤度も比較的低い領域（分布ＤＳ３Ｃ）とが含まれる。
なお、このグラフＧに対してもゲート設定値ＧＶ４及びゲート画像ＧＰ４によってゲーティングが可能である。
［ゲーティングの変形例（２）］
図９は、本実施形態の表示制御装置１０によるゲーティングの他の変形例を示す。本変形例においても、上述した図７（Ｂ）の一例と同様にして、ゲート設定値ＧＶによってゲーティング可能である。なお、本変形例の場合、ゲーティングの目的に応じて、ゲート設定値ＧＶを変更できる点で、上述した一例と異なる。ここで、ゲーティングの目的の一例として、スクリーニングがある。スクリーニングにおいて、陽性を取りこぼさないようにするために偽陽性をより多く含んでも構わない場合には、ゲート設定値ＧＶがより広く設定される（例えば、図９（Ｃ）に示すゲート設定値ＧＶ２３）。また、偽陽性を極力排除するために陽性が取りこぼされても構わないとされる場合には、ゲート設定値ＧＶがより狭く設定される（例えば、図９（Ａ）に示すゲート設定値ＧＶ２１）。
なお、上記実施形態では、クラス判定システム１としてイメージングサイトメトリーの場合について説明したが、顕微鏡を用いる場合のように、一つの画像中に複数の細胞が存在する場合には、まず全体の画像から個別の細胞画像を切り出し、切り出した画像をクラス判定システム１に与えてもよい。
また、共焦点顕微鏡や２光子顕微鏡など、対象物の３次元構造を撮像する顕微鏡と組み合わせてもよい。また、奥行き方向（Ｚ方向）ではなく、時間軸方向にタイムラプス撮像したり、波長を切り替えて撮像するなど、各種の多次元撮像を行う顕微鏡と組み合わせてもよい。多次元撮像で得られた多次元画像でも、個々の細胞を切り出した画像をクラス判定システム１に与えることができる。
クラス判定システム１を３次元以上の多次元撮像可能な顕微鏡と組み合わせて用いる場合、多次元画像データを本発明に適用するために、以下の方法が考えられる。
（方法１） 奥行き方向（Ｚ方向）の異なる複数の撮像画像に対して、画像間の演算（単純加算、デコンボリューション、ピクセルごとの最大値など）を行い、単一の画像に合成する。そして、得られた単一の画像を対象として確信度を得て、クラス判定を行う。
（方法２） 奥行き方向（Ｚ方向）の異なる複数の撮像画像を、Ｚ方向を含む単一のボクセル画像とし、ボクセル画像を対象として確信度を得て、クラス判定を行う。
（方法３） 奥行き方向（Ｚ方向）の異なる複数の撮像画像を、別々にクラス判定システム１に入力し、Ｚ位置ごとに確信度を得る。
方法１、方法２によれば、一つの細胞に対して一式の確信度が得られる。これに対し、方法３では、Ｚ位置ごとに確信度が得られる。そのため、方法３では、確信度の分布に基づいて最適なＺ位置の画像を選択することもできる。
なお、上記の例では奥行き方向（Ｚ方向）の多次元画像を説明しているが、時間や波長を異ならせる場合も同様である。
また、表示制御部１２０は、多次元撮像で得られた多次元画像に対して得られた確信度を、元の多次元画像にマッピングして表示させてもよい。ここでマッピングとは、例えば、等高線プロットやヒートマップ、ドットプロット、棒グラフなどの手法を用いて確信度の分布を元の多次元画像上に表示させることを指す。
また、表示制御部１２０は、ゲーティングしたクラスの細胞を、元の多次元画像にマッピングして表示させてもよい。例えば、ゲーティングしたクラスの細胞の位置を元の多次元画像上にドットとして表現したり、ゲーティングしたクラスの細胞が存在する領域を曲線で囲ったり色調を変えて表現することなどが考えられる。
上記のような表示方法により、時間分布や空間分布を有する細胞画像に対して、クラス判定結果を人間がより解釈しやすくなる。
［実施例］
図１０から図１８を参照して、本実施形態のクラス判定システム１の実施例について説明する。
図１０は、本実施形態のニューラルネットワークＣＮＮの構成の一例を示す。
図１１は、細胞画像と、各クラスＣＬについての確信度ＰＲとの関係の一例を示す。
図１２は、確信度ＰＲのヒストグラム及びゲーティング結果の一例を示す。
図１２に示す一例では、ヒストグラムが、白血球ＬＫに分類される確信度ＰＲを示す。同図において確信度ＰＲが所定値以下の領域をゲーティングしている。すなわち、白血球ＬＫの尤度が低いものをゲーティングしている。このゲーティングの結果、白血球ＬＫ以外の細胞（又は組織）が抽出される。この一例では、ゲーティングの結果、血小板凝集塊ＰＡを含む細胞（又は組織）が抽出される。次に、抽出された結果に基づき、血小板凝集塊ＰＡの確信度ＰＲをＸ軸にしてグラフＧを表示させ、血小板凝集塊ＰＡの尤度が高い領域をゲーティングする。またゲート近傍には、ゲートに含まれる細胞（又は組織）の個数および割合が表示されている。このようにゲーティングの結果を示す統計値を表示することは、分類の結果を定量的に認知できるようになるため有用である。
一連のゲーティングによって、すべての入力画像ＩＰ中から血小板凝集塊ＰＡである尤度が高い入力画像ＩＰの群を限定している。すなわち、入力画像ＩＰのうち、白血球ＬＫに対する適合度が低いものをまず選択している。続いて、選択された入力画像ＩＰのうち、血小板凝集塊ＰＡに属する確信度ＰＲのヒストグラムを描画し、確信度ＰＲの値が一定値以上の入力画像ＩＰの群をゲートで指定している。
図１３は、血小板凝集塊ＰＡの分類精度を定量した結果の一例を示す。この一例においては、あらかじめ人為的にクラス分類されたデータセットを用いて、図１２において示したゲート設定による血小板凝集塊ＰＡの分類精度を定量した結果を示す。
図１４は、セルソーターによる分取性能の一例（ＴＲＡＰによる刺激を与えた場合）を示す。
図１５は、セルソーターによる分取性能の一例（ＴＲＡＰによる刺激を与えていない場合）を示す。
図１４及び図１５に示す一例では、セルソーター（不図示）を用いて分取する細胞集団を、図１２において示したゲート設定によって指定し、そのゲーティング設定に即して細胞分取を行い、分取したサンプルを顕微鏡で確認して、分取性能を確かめた実験例である。図１４及び図１５に示す一例のヒストグラムどうしの比較から、ＴＲＡＰ刺激によって血小板凝集塊が増加していることが分かる。さらに設定したアルゴリズムに基づいてセルソーターで細胞分取によって、血小板凝集塊が濃縮できたことも確認された。
図１６は、血小板凝集塊ＰＡに分類される確信度ＰＲのヒストグラム表示の一例を示す。図１６（Ａ）に示す一例では、比較的にヒストグラムの両端に集団が偏っている。これと比較すると、図１６（Ｂ）に示す一例では、ヒストグラムの中間領域により多くの集団が属している。分類が高精度で行われる場合においては、ヒストグラム両端近傍に集団が偏在すると期待されることから、図１６（Ｂ）のように中間領域に多数の画像が含まれるケースでは分類の品質があまり高くないと言える。このように、本発明を用いることで分類の精度や正確性についての情報を得ることができる。
図１７は、グラフＧの表示形式を散布図とした場合の一例を示す。図１７は、横軸（Ｘ軸）に血小板凝集塊ＰＡに対する確信度ＰＲ、縦軸（Ｙ軸）に単一血小板（血小板ＳＰ）に対する確信度ＰＲを示した散布図の例である。このように多次元のプロットで表示することも可能である。
図１８は、入力画像ＩＰを確信度ＰＲ別に分類した結果の一例を示す図である。血小板凝集塊ＰＡのヒストグラム上に異なる範囲でゲートを設定し、そこに含まれる入力画像ＩＰの一例を列挙したデータである。図１８（Ａ）は確信度が0.999より大きい入力画像ＩＰの群、図１８（Ｂ）は確信度が0.99から0.999の間に含まれる入力画像ＩＰの群、図１８（Ｃ）は確信度が0.98から0.99の間に含まれる入力画像ＩＰの群を示したものである。
このように、ヒストグラム上でゲート設定を変化させることで、分類対象とする入力画像ＩＰの群を絞り込むことが可能となる。
なお、上述した実施形態及び変形例において、クラス判定部２２０がニューラルネットワークＣＮＮによって実現される例について説明したが、これに限られない。
クラス判定部２２０は、決定木学習、サポートベクタマシン、クラスタリング、ベイジアンネットワーク、隠れマルコフモデル、アンサンブル学習、ブースティングなどの既存の手段によって実現されていてもよい。
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。
なお、上述の各装置は内部にコンピュータを有している。そして、上述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
１…クラス判定システム、１０…表示制御装置、１１０…確信度取得部、１２０…表示制御部、１３０…設定値取得部、２０…クラス判定装置、２１０…画像取得部、２２０…クラス判定部、２３０…確信度出力部、ＰＲ…確信度、ＩＰ…入力画像ＩＰ、ＰＧ…確信度グラフ画像

Claims (9)

  1. 入力画像のクラス判定結果の確信度を算出する確信度算出部によって算出される前記確信度を取得する確信度取得部と、
    前記確信度取得部が取得する前記確信度の前記入力画像毎の分布を、グラフの表示軸のうち少なくとも一軸を前記確信度を示す確信度軸にして表示させる表示制御部と、
    を備える表示制御装置。
  2. 前記表示制御部は、
    前記グラフの表示軸のうちの複数の表示軸を前記確信度軸にして表示させる
    請求項１に記載の表示制御装置。
  3. 前記表示制御部は、
    前記クラス判定結果が示す複数のクラスの前記確信度どうしの組み合わせによる組み合わせ確信度を示す軸を、前記確信度軸として表示させる
    請求項１又は請求項２に記載の表示制御装置。
  4. 前記グラフに表示される前記確信度についてのゲートの設定値を取得する設定値取得部
    をさらに備え、
    前記表示制御部は、
    前記設定値取得部が取得する前記設定値に基づくゲートを示すゲート画像を、前記グラフに表示させる
    請求項１から請求項３のいずれか一項に記載の表示制御装置。
  5. 前記設定値取得部が取得する前記ゲートの設定値に基づいて、前記入力画像が前記ゲートの設定値の内部にあるか否かを判定するゲート判定部
    を更に備える請求項４に記載の表示制御装置。
  6. 入力画像のクラス判定結果の確信度を取得し、
    前記確信度の前記入力画像毎の分布を、グラフの表示軸のうち少なくとも一軸を前記確信度を示す確信度軸にして表示する、
    表示制御方法。
  7. 前記グラフに表示される前記確信度についてのゲートの設定値を取得し、
    前記設定値に基づくゲートを示すゲート画像を、前記グラフに表示する、
    請求項６に記載の表示制御方法。
  8. 前記クラス判定結果の確信度に基づき、ゲート判定部が再学習の要否判断、又は、再学習方法の決定を行う、
    請求項６又は７に記載の画像表示方法。
  9. 表示制御装置が備えるコンピュータに、
    入力画像のクラス判定結果の確信度を取得するステップと、
    前記確信度の前記入力画像毎の分布を、グラフの表示軸のうち少なくとも一軸を、前記確信度を示す確信度軸にして表示させるステップと、
    を実行させるための表示制御プログラム。
JP2019554569A 2018-06-27 2019-06-17 表示制御装置、表示制御方法及び表示制御プログラム Active JP6753622B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020137325A JP7361395B2 (ja) 2018-06-27 2020-08-17 表示制御装置、表示制御方法及び表示制御プログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018122096 2018-06-27
JP2018122096 2018-06-27
PCT/JP2019/023833 WO2020004101A1 (ja) 2018-06-27 2019-06-17 表示制御装置、表示制御方法及び表示制御プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020137325A Division JP7361395B2 (ja) 2018-06-27 2020-08-17 表示制御装置、表示制御方法及び表示制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2020004101A1 JPWO2020004101A1 (ja) 2020-07-02
JP6753622B2 true JP6753622B2 (ja) 2020-09-09

Family

ID=68986491

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019554569A Active JP6753622B2 (ja) 2018-06-27 2019-06-17 表示制御装置、表示制御方法及び表示制御プログラム
JP2020137325A Active JP7361395B2 (ja) 2018-06-27 2020-08-17 表示制御装置、表示制御方法及び表示制御プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020137325A Active JP7361395B2 (ja) 2018-06-27 2020-08-17 表示制御装置、表示制御方法及び表示制御プログラム

Country Status (7)

Country Link
US (1) US20210232869A1 (ja)
EP (1) EP3816935A4 (ja)
JP (2) JP6753622B2 (ja)
CN (2) CN117496511A (ja)
AU (1) AU2019293020B2 (ja)
CA (1) CA3102749A1 (ja)
WO (1) WO2020004101A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115335681A (zh) * 2020-03-25 2022-11-11 合同会社予幸集团中央研究所 门区推定程序、门区推定方法和门区推定装置
JP6830561B1 (ja) * 2020-09-17 2021-02-17 株式会社スペースリー 情報処理装置、情報処理方法、情報処理システム、情報処理プログラム
US12056944B2 (en) 2020-11-19 2024-08-06 Sony Group Corporation Efficient and robust high-speed neural networks for cell image classification
US12078597B2 (en) 2020-11-19 2024-09-03 Sony Group Corporation Framework for image based unsupervised cell clustering and sorting
CN113536884A (zh) * 2021-03-29 2021-10-22 内蒙古卫数数据科技有限公司 一种基于机器视觉的虎红平板结果识别方法及系统
WO2024014102A1 (ja) * 2022-07-12 2024-01-18 株式会社レゾナック 欠陥分析装置、欠陥分析方法及びプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08293025A (ja) * 1995-04-20 1996-11-05 Olympus Optical Co Ltd 画像分類装置
US6947586B2 (en) * 2000-04-24 2005-09-20 International Remote Imaging Systems, Inc. Multi-neural net imaging apparatus and method
JP2006318405A (ja) * 2005-05-16 2006-11-24 Mitsubishi Electric Building Techno Service Co Ltd 設備機器の情報提供装置
WO2007139929A2 (en) * 2006-05-25 2007-12-06 The Burnham Institute For Medical Research Methods for culture and production of single cell populations of human embryonic stem cells
CN101187985B (zh) * 2006-11-17 2012-02-01 东软集团股份有限公司 确定对象分类器分类边界的方法及装置
US20080208015A1 (en) * 2007-02-09 2008-08-28 Morris Margaret E System, apparatus and method for real-time health feedback on a mobile device based on physiological, contextual and self-monitored indicators of mental and physical health states
JP5075111B2 (ja) * 2008-12-29 2012-11-14 株式会社日立ハイテクノロジーズ 画像分類基準更新方法、プログラムおよび画像分類装置
US20150132766A1 (en) 2012-03-30 2015-05-14 On-Chip Cellomics Consortium Imaging cell sorter
JP6070420B2 (ja) * 2013-05-31 2017-02-01 富士ゼロックス株式会社 画像処理装置及びプログラム
US9430460B2 (en) * 2013-07-12 2016-08-30 Microsoft Technology Licensing, Llc Active featuring in computer-human interactive learning
US9886669B2 (en) * 2014-02-26 2018-02-06 Microsoft Technology Licensing, Llc Interactive visualization of machine-learning performance
JP2015176588A (ja) * 2014-03-18 2015-10-05 株式会社東芝 表示装置、画像表示システムおよび情報処理方法
WO2017072854A1 (ja) * 2015-10-27 2017-05-04 株式会社日立製作所 監視装置、監視システムおよび監視方法
WO2017081829A1 (ja) * 2015-11-13 2017-05-18 富士通株式会社 行動検知装置、行動検知方法及び行動検知プログラム
WO2017154706A1 (ja) * 2016-03-09 2017-09-14 株式会社ニコン 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム
WO2017214572A1 (en) * 2016-06-10 2017-12-14 The Regents Of The University Of California Image-based cell sorting systems and methods
US10460256B2 (en) * 2016-08-09 2019-10-29 Microsot Technology Licensing, LLC Interactive performance visualization of multi-class classifier
US10945864B2 (en) * 2016-08-17 2021-03-16 Teledyne Scientific & Imaging, Llc System and method for noninvasive identification of cognitive and behavioral goals
EP3500964A1 (en) * 2016-08-22 2019-06-26 Iris International, Inc. System and method of classification of biological particles
US11200483B2 (en) * 2016-08-30 2021-12-14 Lunit Inc. Machine learning method and apparatus based on weakly supervised learning
JP7054787B2 (ja) * 2016-12-22 2022-04-15 パナソニックＩｐマネジメント株式会社 制御方法、情報端末、及びプログラム

Also Published As

Publication number Publication date
CN112313702B (zh) 2023-12-29
JP2021002354A (ja) 2021-01-07
JPWO2020004101A1 (ja) 2020-07-02
CN112313702A (zh) 2021-02-02
CN117496511A (zh) 2024-02-02
EP3816935A4 (en) 2022-03-23
US20210232869A1 (en) 2021-07-29
JP7361395B2 (ja) 2023-10-16
EP3816935A1 (en) 2021-05-05
AU2019293020A1 (en) 2021-01-07
WO2020004101A1 (ja) 2020-01-02
CA3102749A1 (en) 2020-01-02
AU2019293020B2 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
JP6753622B2 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
US11994459B2 (en) Adaptive sorting for particle analyzers
CN113454733A (zh) 用于预后组织模式识别的多实例学习器
Vaickus et al. Automating the Paris System for urine cytopathology—A hybrid deep‐learning and morphometric approach
US20240044904A1 (en) System, method, and article for detecting abnormal cells using multi-dimensional analysis
US11748981B2 (en) Deep learning method for predicting patient response to a therapy
CA2969912A1 (en) Automated flow cytometry analysis method and system
CN104156945B (zh) 基于多目标粒子群算法的灰度图像分割方法
JP2007132921A (ja) フローサイトメーター多次元データセット内のデータの離散母集団（例えば、クラスター）を識別する方法
Mohapatra et al. Lymphocyte image segmentation using functional link neural architecture for acute leukemia detection
KR20240015696A (ko) 면역 항암제에 대한 반응을 예측하는 방법 및 시스템
KR102628046B1 (ko) 면역 항암제에 대한 반응을 예측하는 방법 및 시스템
US20230393048A1 (en) Optimized Sorting Gates
CN107430587A (zh) 自动化流式细胞术分析方法及系统
JP7445672B2 (ja) ゲート領域推定プログラム、ゲート領域推定装置、学習モデルの生成方法
Wan et al. Uncertainty footprint: Visualization of nonuniform behavior of iterative algorithms applied to 4D cell tracking
Sánchez-Aragón et al. A new image segmentation algorithm with applications in confocal microscopy analysis
Röhrl et al. Towards Interpretable Classification of Leukocytes based on Deep Learning
Mohamed Using Probability Binning and Bayesian Inference to measure Euclidean Distance of Flow Cytometric data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200817

R150 Certificate of patent or registration of utility model

Ref document number: 6753622

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250