JPWO2018189875A1 - 撮像装置および形態特徴データ表示方法 - Google Patents

Abstract

教師データの効率的な作成と、ユーザの知識、経験を踏まえたうえでの総合的な評価を容易にする。画像を取得する画像入力部１０２と、画像入力部で取得した画像を表示するための画像表示部１０３と、取得した画像から特徴量を算出するための画像解析部１０４と、算出された特徴量を表示するための特徴量表示部１０５と、特徴量に対して抽出やソートの条件を指定するための抽出、ソート条件入力部１０６と、条件に基づき抽出やソート処理を行う抽出、ソート処理部１０７と、結果を表示するための抽出、ソート処理結果表示部１０８と、各画像に対して分類先をユーザが入力するためのユーザ分類入力部１０９と、分類入力内容を表示するユーザ分類結果表示部１１０を備える。

Description

本発明は画像分類装置に係り、特に撮像した画像の特徴量を解析して作成した分類モデルに基づく画像分類処理の表示技術に関する。

人工多能性幹（iPS）細胞や胚性幹（ES）細胞に代表される未分化な多能性幹細胞を培養して多能性幹細胞を分化誘導することで製造した特定の細胞（分化細胞）を顕微鏡で撮像し、その画像の特徴を捉えることで細胞の状態を評価する方法が提案されている。

例えば特許文献1では細胞群の画像を取得し、その細胞群から個々の細胞を認識し、その個々の細胞の円形度、最大径、最小径、面積などの形態特徴量から細胞が未分化状態であるか分化状態であるかを評価している。また、特許文献２では撮像された細胞群の画像から所望の細胞を抽出する手法について述べており、その中では、細胞を分類する形態特徴量として細胞の中の開放部と面積の比など細胞の外輪郭からだけでは得られない特徴量も使用することで分類している。特許文献１、２では分類は閾値による分類モデルや機械学習等を利用することで一度分類モデルや学習による分類器を作成してしまえばユーザの手を介さず自動で実施されている。

また、特許文献３では機械学習のための教師データの作成方法において初期分類と分類モデルによる分類結果、精度と画像を並べて表示することでユーザが分類モデルの適格性を容易に判断することができる。

ＷＯ２０１５／１８２３８２ 特開２０１１−２４３１８８号公報 特開２０１４−１４２８７１号公報

上述したように、細胞の外輪郭および内部構造の形態特徴量から細胞の分化、未分化状態の分類やこれに限らず細胞に関して何らかの分類を自動で行い、その結果を表示することは従来も行われていた。しかしながら分類のための教師データに必要な初期分類データの作成方法や、作成された分類モデルの判定結果に対してユーザが再分類する方法については何ら開示されていない。

医療目的では機械学習などによって生成した分類モデルによって判定された自動分類結果を全面的に信頼して使用することはできず、最終的には専門医の知識や経験に基づいて判断が下される。そのため、教師データに必要な初期分類データの作成や分類モデルの結果に対する最終的な評価をするにあたって、専門医が効率的に分類、評価するための方法があることが望ましい。

本発明の目的は、上記の課題に基づき、必要な初期分類データの作成や分類モデルの結果に対する評価を効率的に行うことが可能な画像分類装置、その表示方法、及びプログラムを提供することにある。

上記の目的を達成するため、本発明においては、画像を取得する画像入力部と、取得した画像を表示する画像表示部と、画像から形態の特徴量を算出する画像解析部と、算出された特徴量を表示する特徴量表示部と、算出された特徴量に対して抽出やソートの条件を指定する抽出、ソート条件入力部と、抽出、ソート条件入力部から入力された条件に基づき抽出やソート処理を行う抽出、ソート処理部と、抽出、ソート処理部の処理結果を表示する抽出、ソート処理結果表示部と、画像に対して分類先をユーザが入力するユーザ分類入力部と、ユーザ分類入力部からの入力内容を表示するユーザ分類結果表示部を備える画像分類装置を提供する。

また、上記の目的を達成するため、本発明においては、解析分類部と表示部を備えた画像分類装置の表示方法であって、解析分類部は、取得した画像から形態の特徴量を算出し、算出した特徴量に対して指定された抽出やソートの条件に基づき、特徴量の抽出やソート処理を行い、表示部は、取得した画像を表示し、算出した特徴量を表示し、特徴量の抽出やソート処理の処理結果を表示し、画像に対する分類先がユーザ入力された場合、入力内容を表示する表示方法を提供する。

更に、上記の目的を達成するため、本発明においては、解析分類部と表示部を備えた画像分類装置で実行されるプログラムであって、解析分類部を、取得した画像から形態の特徴量を算出し、算出した特徴量に対して指定された抽出やソートの条件に基づき、特徴量の抽出やソート処理を行い、表示部を、取得した画像を表示し、算出した特徴量を表示し、特徴量の抽出やソート処理の処理結果を表示し、画像に対する分類先がユーザ入力された場合、入力内容を表示する、よう動作させるプログラムを提供する。

本発明によれば、教師データの初期分類などを効率的に行い、更にユーザの知識、経験を踏まえた総合的な評価を容易に行うことができる。

実施例１に係る、血小板評価システムの概略構成を示すブロック図。 実施例１に係るシステムで利用する走査荷電粒子顕微鏡の概略構成図。 実施例１に係る血小板評価システムで教師データ及び分類モデルを作成するときのフローチャートを示す図。 実施例１に係る血小板評価システムで血小板を評価するときのフローチャートを示す図。 実施例１に係る血小板評価プログラムのユーザインターフェースの一例を示す模式図。 実施例１に係る血小板評価プログラムのユーザインターフェースの他の例を示す模式図。 実施例１に係る血小板画像とその形態特徴量の一表示画面を示す図。 実施例１に係る各特徴量の抽出、評価結果の強調表示を示す図。 実施例１に係る血小板評価システムの分類モデルの一例を示す図。 実施例１に係る、分類モデルの妥当性や精度を判定するためのROC曲線の一例を示す図。 実施例１に係る血小板評価システムの作業支援用ユーザインターフェースの一例を示す図。 実施例１に係る分類モデル作成作業支援の一例を説明するための図。 実施例１に係る分類モデル作成作業支援の他の例を説明するための図。

本発明の各種の実施形態について図面を用いて順次説明する。本発明に係る画像分類装置の対象は細胞に限らないが、以下の本明細書の説明においては、撮像した血小板などの細胞を分類する場合を中心に説明を行うこととする。

実施例１は、画像分類装置、その表示方法、及びプログラムについての実施例である。すなわち、画像を取得する画像入力部と、取得した画像を表示する画像表示部と、画像から形態の特徴量を算出する画像解析部と、算出された特徴量を表示する特徴量表示部と、算出された特徴量に対して抽出やソートの条件を指定する抽出、ソート条件入力部と、抽出、ソート条件入力部から入力された条件に基づき抽出やソート処理を行う抽出、ソート処理部と、抽出、ソート処理部の処理結果を表示する抽出、ソート処理結果表示部と、画像に対して分類先をユーザが入力するユーザ分類入力部と、ユーザ分類入力部からの入力内容を表示するユーザ分類結果表示部を備える画像分類装置、その表示方法、及びプログラムの実施例である。

以下の説明においては、画像入力部が入力する画像の基となる信号を荷電粒子線装置で検出する場合を例に説明するが、荷電粒子線装置に限られることはない。本実施例に係る荷電粒子線装置は、画像を生成する機能を持つ撮像装置であればよく、例えば、明視野顕微鏡や微分干渉顕微鏡などの光学顕微鏡、蛍光顕微鏡、荷電粒子線装置以外のＸ線を使用した撮像装置、超音波による撮像装置、核磁気共鳴画像法による撮像装置、これらと試料加工装置との複合装置、またはこれらを応用した解析・検査装置等も含まれる。

また、本実施例の説明に当り、多能性幹細胞（未分化細胞）から分化誘導された分化細胞である血小板を評価対象とする血小板評価システムを例示して説明するが、本実施例の撮像装置、特徴データ表示方法、及びそのプログラムの評価対象は、血小板に限られることはない。すなわち、本実施例に係る評価対象は、当該対象の形態及び／または内部構造物の特徴を基に当該対象の良否及び／又は機能性を評価できるものであればよく、例えば、神経幹細胞や心筋細胞やインシュリン生産細胞や幹細胞や造血幹細胞、または角膜や網膜や骨や軟骨や筋肉や腎臓の細胞等、更には半導体製造プロセスを使って製造される半導体基板、半導体集積回路等も含むことができる。

＜血小板評価システムの構成＞
図１は、実施例１に係る血小板評価システムの概略構成を示すブロック図である。本実施例の血小板評価システムは、図１に示すように画像取得部１００、取得した画像が入力される画像入力部１０２、入力された画像を表示する画像表示部１０３、画像から血小板を認識し、形態特徴量を解析する画像解析部１０４、解析された形態特徴量を表示する特徴量表示部１０５、特徴量から該当する血小板を任意に抽出、ソートするための抽出、ソート条件入力部１０６、前記入力情報を基に該当画像を抽出、ソートする抽出、ソート処理部１０７、前記の抽出、ソート処理結果を表示するための抽出、ソート処理結果表示部１０８、ユーザが分類先を指定するためのユーザ分類入力部１０９、ユーザによる分類結果を表示するためのユーザ分類結果表示部１１０、ユーザ分類結果である教師データに基づき分類モデルを作成する分類モデル作成部１１１、前記分類モデルを使用し、特徴量から血小板を分類する自動分類部１１２、自動分類した結果を表示するための自動分類結果表示部１１３を備えている。また、画像取得部１００は、荷電粒子線装置１０１、処理部１２１、制御部１２２、画像生成部１２３、記憶部１２４、入出力部１２５から構成される。

なお、本明細書において、画像解析部１０４、抽出、ソート処理部１０７、分類モデル作成部１１１、自動分類部１１２を纏めて解析分類部と呼ぶ場合がある。同様に、画像表示部１０３、特徴量表示部１０５、ソート結果表示部１０８、ユーザ分類結果表示部１１０、自動分類結果表示部１１３を纏めて表示部と呼ぶ場合があり、これらの複数の表示部を一つの表示画面上に纏めて表示しても良い。更に、抽出、ソート条件入力部１０６とユーザ分類入力部１０９を纏めて入力部と呼ぶ場合があり、これらも一つの入力部で構成しても良い。

図２は、図１における画像取得部１００の荷電粒子線装置１０１の一例である走査荷電粒子顕微鏡の概略構成である。同図において、走査荷電粒子顕微鏡２０１は、制御部１２２に制御され、検出器２０６で検出した信号を画像生成部１２３に出力する。荷電粒子銃２０２から荷電粒子ビーム２０３を発生し、荷電粒子ビーム２０３を電子レンズ２０４に通すことで荷電粒子ビーム２０３の向き、収束を制御し、荷電粒子ビームを照射ないしスキャンすることで、任意の倍率で観察を実施できる。ここで、前記倍率とは、視野（Field Of View: FOV）の幅、もしくはデジタル画像にした場合の１画素当りが示す長さ（ピクセルサイズ）などでもよい。電子レンズ２０４は複数個備わっていても良く、さらに、アライメントを調整する電子レンズであったり、非点収差を調整する電子レンズであったり、スキャンを目的としたビーム偏向用の電子レンズであっても良い。

試料２０５から発生する粒子を検出器２０６で検出することにより、信号を取得する。なお、検出器２０６は複数個備わっていてもよく、さらに、電子を検出する検出器と電磁波を検出する検出器のように異なる粒子を検出する検出器であったり、エネルギーやスピン方向が特定の範囲内にある粒子のみを検出する検出器であったり、２次荷電粒子検出器と反射電子などの後方散乱荷電粒子検出器のように異なる性質の粒子を検出する検出器であっても良い。同じ性質の粒子を検出する検出器が異なる配置位置に複数備わっていてもよい。検出器が複数個備わっている場合には、通常１回の撮像で、画像を複数枚取得することができる。

検出器２０６で取得された信号は、画像生成部１２３で画像として形成される。画像生成部１２３は、Ａ／Ｄ変換器とＦＰＧＡ等の電気回路で構成された画像処理回路から構成され、検出器２０６で検出された信号をＡ／Ｄ変換してデジタル画像とする。生成されたデジタル画像は半導体メモリやハードディスク等の記録媒体で構成される記憶部１２４に転送され、保存される。試料２０５はステージ２０７に接しており、制御部１２２の制御でステージ２０７を移動することにより、試料の任意の位置における画像の取得が可能である。

上述の構成間でやり取りされるデータは処理部１２１により加工、制御される。例えば入出力部１２５で入力された電圧値に従って、処理部１２１は電子レンズ２０４に対する印加の制御値を算出し制御部１２２に渡す。制御部１２２は、処理部１２１に命令に従い、電子レンズ２０４に指定の制御値を入力し、入力部１２５で入力された電圧値となるように制御する。また、処理部１２１は各種入力値や制御値を収集し、撮像時の条件を記憶部１２４に画像と共に記憶させるといった処理も行う。画像データに撮像条件は埋め込んでも良いし、別のファイルとして記憶させてもよい。

＜血小板評価システム構成、教師データ及び分類モデル作成＞
図３は上述した本実施例の装置を血小板評価システムに適用した場合の動作を示すフローチャートである。前述の画像および撮像条件の取得までの流れは図３のステップ３０１の説明である。以下、図３のフローチャートに従い動作処理を説明する。

画像取得部１００で取得した画像は、血小板評価システムの血小板評価用プログラムに入力される。本実施例の血小板評価用プログラムは、ＰＣなどのコンピュータにインストールされたものである。コンピュータは中央処理部（ＣＰＵ）やメモリなどの記憶部、キーボードやマウス、モニタなどの入出力部を備えておりプログラムがＣＰＵによって実行されることで動作する。

なお、コンピュータは必ずしもひとつである必要はなく、複数のコンピュータと複数のプログラムで画像や特徴量などのデータを通信することで実現してもよい。また、プログラムの一部の処理は処理速度の向上、処理時間の短縮を目的にＦＰＧＡのような論理回路やＧＰＵのような並列処理装置、もしくは分散型の高速計算システムで実行してもよい。

コンピュータにはオペレーティングシステム（ＯＳ）がインストールされており、ファイル管理プログラムが実行されている。画像入力部１０２は記憶部１２４などの記憶手段の特定の位置に取得した血小板画像と撮像条件を保存する。血小板評価プログラムは特定の位置以下のフォルダ、ファイルを監視しており自動的に画像と撮像条件を取得する。ユーザは後で説明するプログラムのフォルダツリーから指定のフォルダを選択することで特定のフォルダ以下の画像群と画像毎の撮像条件を読みこむ（ステップ３０２）。これは、血小板評価システムにおいて、フォルダを血小板製剤の検査単位としてすることで管理しやすくするためである。

なお、本実施例ではファイル管理プログラムを利用したが、特定のメモリ位置に画像データを記録するといった処理で代用してもよいし、撮像装置の制御部１２２や処理部１２１を介して、直接プログラム間で通信を行うことで画像を取得してもよい。また、画像入力部１０２にユーザインターフェースを持たせ、ユーザが選択した任意の画像を取得できるようにしてもよい。いずれにしても、画像入力部１０２から読み込まれた血小板画像は、解析分類部の画像解析部１０４により形態特徴量を算出され記憶される（ステップ３０３）。

画像解析部１０４は、画像処理による領域分割（セグメンテーション）処理を実行する。輪郭抽出はまず画像データに含まれる個々の血小板の外形に対して実施される。輪郭抽出は大津の２値化、pタイル法等の周知の画像処理及び画像認識技術を用いて２値化を行う。続いて、２値化後の画像データのセグメンテーション（領域分割）をおこない、２値化された領域を個々の血小板の領域に分割する。血小板試料を撮像した場合、血小板同士が隣接または接触した状態で撮像される場合があり、上述した２値化処理のみでは多数の血小板の集合体を１つの血小板として誤認識する場合がある。したがって、セグメンテーション処理により前述の血小板の集合体から個々の血小板を分離する必要がある。具体的には、例えばWatershed法、パターンマッチング等の手法や、Deep Learning等の機械学習を用いた周知の画像処理及び画像認識技術を用いてセグメンテーション処理をおこない、個々の血小板の輪郭（ポリゴン）データに分割する。

図３のフローチャートのステップ３０３までの処理により、個々の血小板の輪郭データを算出したため、各血小板と対応する輪郭データを記憶部１２４などの記憶装置に記憶する。これにより、画像データに含まれる個別の血小板に対して、当該血小板外形の形状データである輪郭データが紐付けられる。

以上が、画像解析部１０４で個別の血小板の外形、輪郭を抽出する場合の処理の一例である。更に、本実施例の血小板評価システムでは、血小板の評価精度向上のため、ステップ３０３で血小板の外形、輪郭の形態的特徴量だけでなく、血小板内部に含まれる細胞小器官、例えば分泌顆粒、開放小管系等の内部構造物の輪郭データなどの特徴量の算出・記憶を実施する。

細胞小器官等の内部構造物の輪郭データの算出は、既に算出済みの血小板外形の輪郭データの内側の領域に対して再び輪郭抽出処理を適用することによりおこなう。例えば、開放小管系の輪郭データを算出する場合は、２値化の条件を開放小管系のみが分離できるように設定することで血小板内部に含まれる開放小管系すべての輪郭データを収集する。収集された開放小管系の輪郭データは、開放小管系が所属する血小板と紐付けられて記憶される。同様の処理を画像データから抽出された全ての血小板に対して実行することにより、個々の血小板の外形及び、血小板に含まれる細胞小器官等（分泌顆粒、開放小管系等）の内部構造物の輪郭データを算出・記憶する。

すなわち、本実施例の血小板評価システムにおいては、血小板固有の細胞小器官であるα顆粒、濃染顆粒および血小板内部に含まれるグリコーゲン顆粒、ミトコンドリアを総じて濃染領域と定義し、この濃染領域の輪郭データを算出・記憶する。加えて、同じく血小板に固有の細胞小器官である開放小管系の輪郭データも算出・記憶する。これにより、血小板外形、輪郭と、濃染領域と、開放小管系との３つの輪郭データを算出・記憶し、それらを用いてステップ３０３において特徴量を算出する。

なお、血小板の評価を実施するために、血小板外形、輪郭と、濃染領域と、開放小管系に輪郭抽出対象を限定する必要はなく、α顆粒や濃染顆粒やグリコーゲン顆粒やミトコンドリアを個別に輪郭抽出対象に設定してもよいし、その他血小板に含まれる暗調小管系や微小管等の細胞小器官を輪郭抽出対象に設定してもよい。また、その他、血小板の良否及び／又は機能性、品質に相関のある細胞質、封入体又は副形質を輪郭抽出対象に設定してもよい。

また、輪郭抽出の精度を高める目的で画像のノイズ除去処理をおこなってもよい。具体的には、例えばメディアンフィルタ、ガウシアンフィルタ、デコンボリューションフィルタ等の周知の画像処理技術を用いて後述する輪郭抽出のための２値化処理やエッジ検出処理の精度を向上させるフィルタ処理をおこなう。加えて同じ目的でエッジ強調、二値化処理、コントラストや明るさなどの画像処理と組み合わせて実行してもよい。

また、輪郭抽出には例えば一次微分、二次微分、パターンマッチング、公知になっている様々な二値化手法がある。画像データや評価対象に合わせて本実施形態とは別の手法を使用してもよいし、ユーザインターフェースを設け、認識したい評価対象に応じて最適な手法を選択できるようにしてもよい。

次に、画像解析部１０４は、輪郭抽出で算出された個々の血小板に対する外形及び、分泌顆粒、開放小管系等の血小板に含まれる細胞小器官等の内部構造物の輪郭データを、面積や直径や周囲長などの形態的特徴を示す特徴量データを算出する（ステップ３０３）。

画像取得時の、視野の幅、もしくはデジタル画像にした場合のピクセルサイズなどを含む倍率データを基に、輪郭抽出にて算出・記憶された輪郭データを用いて輪郭抽出対象の形態的特徴を数値化することが可能となる。例えば、輪郭抽出対象が血小板外形であった場合、血小板外形の面積、直径、最大径、最小径、周囲長等のサイズに関する情報を特徴量として算出することができる。

また、本実施例の血小板評価システムでは、走査荷電粒子顕微鏡２０１を用いて血小板を観察する例を示している。走査荷電粒子顕微鏡２０１を用いた細胞の内部構造を含む観察では、細胞試料を樹脂で胞埋し、その樹脂を厚み数マイクロメートル程度の切片にスライスした切片試料を作製し、切片試料の断面像を観察する手法が一般的である。したがって、例えば切片試料の断面に見られる血小板の断面像の直径と、当該血小板の真の直径とは異なる値となることが予想されるため、直径等のサイズに関する特徴量のみでは細胞評価の精度の向上は見込めない。

この問題を解決するため画像解析部１０４が実行するステップ３０３において、サイズに関する特徴量に加えて、血小板の断面像からでもその血小板の良否及び／又は機能性を評価可能な特徴量として、形態複雑度と、開放小管系の面積比および拡張度と、濃染領域の面積比を特徴量データとして算出・記憶する。以下にそれぞれの特徴量の詳細を説明する。

形態複雑度
「形態複雑度」は血小板外形の丸さを示す特徴量である。血小板は血液中で碁石のような円盤型の形状をとることが知られている。上述したように、血小板が包埋された樹脂をスライスすることで血小板試料を作製するため、観察される血小板の断面は円形もしくは楕円形であることが予想される。また、血小板は外部刺激により活性化された状態になると長い突起を出し、それが相互にからまって凝集体（血栓）を作ることが知られている。したがって、丸みを失い、形態が複雑化した血小板は活性化状態であると判断できる。なお、医療用の血小板製剤としては、血小板は活性化していない状態が望ましい。

画像解析部１０４は、下記式（１）により「形態複雑度」を算出する。
（形態複雑度） = （周囲長）²／（面積） ・・・（１）
なお、本実施例では式（１）により形態複雑度を算出したが、形態複雑度は血小板の丸さと複雑さを定量的に表現できればよく、例えば円形度や真円度を用いても良く、周囲長や面積や直径、もしくは血小板の重心位置等を組み合わせて形態複雑度を算出してもよい。

開放小管系の面積比（OCS面積比）
「OCS面積比」は血小板内部に開放小管系が占める割合を示す特徴量である。人間の血液から採取された血小板の寿命は4日程度であることが知られており、寿命間近の血小板は開放小管系の面積が増加する傾向がある。したがって、OCS面積比を算出することで開放小管系の増加具合を算出することができ、血小板が寿命間近であるかを推定することができる。

画像解析部１０４は、下記式（２）により「OCS面積比」を算出する。
（OCS面積比） = （開放小管系の総面積）／（血小板の面積）・・・（２）

開放小管系の拡張度（OCS拡張度）
「OCS拡張度」は血小板内部の開放小管系の中でも細長く拡張した開放小管系の拡張具合を示す特徴量である。前述した開放小管系の面積比が低い値の場合でも、細長く拡張した開放小管系が存在し、その開放小管系の最大径が血小板外形の最大径の５０％を超えるような場合には、血小板の止血能力が著しく低下している可能性が高いことが本発明者等の生化学検査結果により示されている。したがって、OCS拡張度を算出することで、止血能力が低い血小板を選別することができる。

画像解析部１０４は、下記式（３）により「OCS拡張度」を算出する。
（OCS拡張度） = （開放小管系の最大径）／（血小板の直径）・・・（３）
このとき、「開放小管系の最大径」は血小板内のすべての開放小管系の最大径のうち最大のものの値を使用する。

なお、本実施例では式（３）によりOCS拡張度を算出したが、OCS拡張度は血小板内部の開放小管系の拡張具合を定量的に表現できればよく、例えば、「血小板の直径」に変えて「血小板の最大径」としてもよく、「開放小管系の最大径」に変えて「開放小管系の最大直径」としてもよく、血小板外形に対する開放小管系の拡張具合を示すものであればその定義式を式（３）に限定するものではない。

ここで、血小板の直径とは、血小板の輪郭データが示す輪郭の外周の２点を結び、かつ輪郭の重心を通る最大の線分の長さである。また、輪郭データが示す輪郭の外周の２点を結び、かつ輪郭の重心を通る最小の線分の長さが最小直径である。また、最大径とは、輪郭データが示す輪郭全体を囲む最小の矩形を算出した場合の矩形の長辺の長さである。直径は輪郭の重心を利用して直径の値を算出するが、重心が輪郭の外部にある場合には有効な測定値が得られない場合があるため、開放小管系のサイズ情報を得る場合には外接四角形（輪郭全体を囲む最小の矩形）を利用した最大径を用いたほうが、開放小管系の拡張具合をより正確に定量化することができる。

濃染領域の面積比（濃染領域面積比）
「濃染領域面積比」は血小板内部に濃染領域が占める割合を示す特徴量である。上述したように、濃染領域はα顆粒や濃染顆粒等の血小板の止血メカニズムと密接な関係がある化学物質（分泌物）を含んでいる。したがって、もしも濃染領域面積比が０％、１％、２％、３％、４％、５％など、低い値を示す場合には当該血小板は止血能力が低いと推定できる。

画像解析部１０４は、下記式（４）により「濃染領域面積比」を算出する。
（濃染領域面積比）=（濃染領域の総面積）／（血小板の面積）・・・（４）

なお、血小板の評価を実施するために定義した濃染領域の構成要素はα顆粒、濃染顆粒、グリコーゲン顆粒、ミトコンドリアに限定する必要はなく、止血メカニズムと関連する分泌物を含む少なくともひとつ以上の細胞小管系が含まれていればよい。また、その他血小板の良否及び／又は機能性、品質に相関のある細胞質、封入体又は副形質を濃染領域の変わりに定義し、その面積比を算出してもよい。

更に、評価対象や分類したい項目に応じて、上述した以外でも血小板自体の個数やその内部の分泌顆粒や開放小管系の個数といった特徴量を使用してもよい。また、面積、直径、最大径、最小径、周囲長等のサイズなどの輪郭データから算出可能なサイズに関する情報の選択部と、開放小管系や濃染領域といったサイズ情報の対象とする項目や、四則演算のような演算子を選択できる入力部とを備え、それらの組み合わせにより、形態複雑度のような特徴量をユーザ自身が追加できるようにしてもよい。これにより、ユーザは評価対象が変わってもサイズ情報から導出される特徴量を基に、ユーザが知識・経験に基づき判断している特徴量を任意に探索することが可能となる。

ステップ３０３が終了すると、画像解析部１０４により算出された特徴量と画像は、それぞれ特徴量表示部１０５と画像表示部１０３に表示される（ステップ３０４）。なお、図１の血小板評価システムの概略構成ブロック図においては、画像表示部１０３と特徴量表示部１０５は、抽出、ソート処理結果表示部１０８、ユーザ分離結果表示部１１０、自動分類結果表示部１１３同様、別個のブロックで図示したが、これらユーザインターフェースとなる各種の表示部は、上述したＰＣなどのコンピュータの表示部に、同時或いは切り替え表示する複数のウィンドウで構成するようにしても良い。

図５、図６は本実施例の血小板評価プログラムのユーザインターフェースの一例を示す模式図である。これらの図を用いて本実施例の血小板評価システムの表示方法の構成、機能、作用について説明する。

表示方法は、血小板評価プログラムのユーザインターフェース５０１のように特徴量、分類結果表示用の表５０４の形式でもよいし、ユーザインターフェース６０１のように画像を並べたパネル６０２の形式でもよい。図５の表５０４の場合、特徴量を一覧表でみられることが利点であり、画像サイズはサムネイル画像などを生成し、小さい領域で表示する。ただし、画像の視認性の向上のため、行をクリックすることで該当画像を拡大表示５０５する。図６のパネル６０２の場合は、画像が一覧でみられることが利点であるため各種の特徴量は通常は隠すことが望ましい。マウスカーソルを画像上に配置するとポップアップ６０５などで個別の特徴量を表示する。

このように、特徴量の表と画像のパネル表示の２通りの表示方法を提供することでユーザは特徴量に焦点を当てた評価と、画像からみえる総合的な評価を使い分けることができる。例えば、パネル６０２の形式で表示し、ある程度の画像を分類した後に表５０４の形式で表示することで、ユーザは自身が血小板画像のどの特徴量から良否及び／又は機能性、品質を判断し、分類して分類先を決めているのか認識しやすくなる。パネル６０２では、選択された画像を見やすくするため、背景色変更領域６０３のように背景色を変更して表示することが可能である。なお、図３に示した本実施例のフローチャートにおいては、画像表示と特徴量表示を同時に行っている（ステップ３０４）が、それぞれを画像入力直後、画像解析直後に表示してもよい。

図１に示した本実施例の血小板評価システムの抽出、ソート条件入力部１０６は、図５に示した血小板評価プログラムのユーザインターフェースにおいては、最低ひとつの任意の特徴量を指定できるインターフェース５０６と、その特徴量の値の範囲を示すインターフェース５０７の組み合わせと、抽出の実行タイミングを指示するインターフェース５０８で構成される。また、抽出だけでなく特徴量に基づき表示データをソートする指示を出すインターフェース５０９を有している。このインターフェース５０９を使い、図５に示すように表５０４の列タイトルをクリックすると昇順、降順に表示データをソートできる。なお、図５では列タイトルとしたが、任意の形態特徴量を指定できるインターフェースと昇順、降順といったソートの規則を指示するインターフェースとの組み合わせで構成してソートしてもよい。

本実施例の構成にあって、解析分類部の抽出、ソート処理部１０７は、抽出、ソート条件入力部１０６から入力された条件、すなわち、抽出の実行タイミングを指示するインターフェース５０８やソート実行の指示を出すインターフェース５０９の命令を受け、任意の特徴量を指定できるインターフェース５０６とその特徴量の値の範囲を示すインターフェース５０７の入力値を読み取り、抽出やソート処理を実行する。例えば、図５に示す例では最大直径が１以上２以下の範囲内にあり、面積が１．５以上３以下の範囲内にあるものを抽出する。その抽出結果は抽出、ソート処理結果表示部１０８に表示される。

以上説明したように、ある程度の画像を分類した後に表５０４の形式で表示し、ソート処理を行うことであるユーザは分類結果が、ある特徴量のある閾値を基に判断されていることの認識が容易となる。例えば図１２Ａに示すように面積でソートした場合特徴量との傾向は見えないが、図１２Ｂに示すように開放小管系拡張度でソートしてみたときに、開放小管系の拡張度が０．４を閾値として分類されていることが容易に認識できる。

更に、抽出、ソート処理結果表示部１０８は、本実施例の構成では限られた表示領域の中で視認性をよくするため、ウィンドウ数を少なくすることを目的に表５０４やパネル６０２の領域を再描画することで実現する。なお、抽出、ソート条件を変え、結果を並べて評価することを目的として複数のウィンドウに個別に結果を表示してもよい。

また、抽出において、抽出された特徴量が画像上でどこに該当するかを示すため、表示画面上に図７、図８に示すような強調表示を行っても良い。図７は、本実施例の血小板評価システムが評価対象とする血小板の断面像とその特徴量の一例を表示した表示画面を示しており、表示された血小板は図５、図６に示したものと同一形状のものである。同図において、左上に血小板の幅、高さを、左下に血小板の最大直径、最小直径を、右上に開放小管系の最大直径を、右下に血小板の面積、開放小管系の面積、濃染領域の面積を示した。

図８の矢印８０１は血小板の最大直径や開放小管系の拡張度のパラメータがどの箇所に該当するのかを示すための強調表示であり、図７の血小板、開放小管系の最大直径に対応する。これによりユーザは特徴量の数字が、画像のどの箇所を基に算出された値なのかを直感的に認識することができる。図８の他の強調表示であるポップアップメッセージ８０２については後述する。

なお、抽出、ソート処理の対象は特徴量だけでなく分類結果に対して実行してもよい。これにより、ユーザは未分類のものと分類済みのものを分けて管理できるほか、一部の分類先に範囲を絞り再確認し、再分類するといった作業が容易となる。

ユーザは図５の表５０４や図６のパネル６０２に表示された解析結果や抽出、ソート結果を閲覧しながらユーザ分類入力部１０９に分類先を入力していく。ユーザ分類入力部１０９は分類入力インターフェース５１０のように表５０４の該当セルに直接入力もできれば、表５０４やパネル６０２において該当行や画像を複数選択し分類先選択用のインターフェース６０４の入力値に従って一度に複数個を分類することもできる。パネル６０２ではマウスのドラッグ操作やタッチパネルでなぞるといった操作をすることで複数選択することもできる。このとき、選択行や選択された画像はわかるように背景色や枠線色を変更した背景色変更領域６０３として表示する。なお、選択されていることが分かればよく、選択行や選択画像の一部にチェック用のインターフェースを設けてもよい。これにより、ユーザは複数の血小板画像データに対してひとつひとつ分類していく必要がなくなり、効率的に分類できる。

また、図５に示す本実施例の構成では、抽出と同時に分類の実行も指示するインターフェース５１２と分類するための閾値を入力するインターフェース５１１を有することで、抽出と同時に効率的に分類することも可能としている。図５に示した例では、閾値が２以上であるため面積と最大直径比の両方が範囲内である画像の血小板はＯＫに分類される。例えば、ユーザは明らかに閾値で分類可能なものはユーザインターフェース５０１を使用して分類してしまい、その後に抽出、ソート処理を行って範囲を絞り、ユーザインターフェース６０１を使用しながら画像から総合的な判断を下していくことで効率的に分類していくことができる（ステップ３０５）。なお、抽出と分類を同時に実行する場合、抽出による再描画はしてもよいし、自動分類結果表示部１１３の更新だけでもよい。

また、ユーザ分類入力部１０９は分類先を指定する入力部だけでなく、分類先となる理由を入力するインターフェースを備えてもよい。ユーザ分類結果表示部１１０はユーザ分類入力部１０９に入力された値を表示すればよいため、分類入力インターフェース５１０と共用する。また、特徴量から分類を判定された場合、特徴量毎に分類結果を枠５０３、６０６で強調表示し、その分類は直線、点線、破線などの表現で分類する。これにより、ユーザは特徴量毎の分類結果に対する傾向が認識しやすくなる。なお、分類結果は枠線ではなく背景色の違いなどで表現してもよいし、特徴量毎の分類判定結果の列の追加やセルの片隅にマークなどで表記してもよい。

以上詳述したフローチャートの実行で分類された教師データを基に、解析分類部の分類モデル作成部１１１で分類モデルを作成する（３０６）。分類モデル作成部１１１は機械学習によって図９に例示すような分類木（Ｔ９０１〜Ｔ９０９）に従う分類木を生成してもよいし、ニューラルネットワークのような多層ネットワーク型の分類器でもよい。なお、教師データを必要とするような深層学習を使用した分類器でもよい。また、再編集や再利用する目的で画像解析部１０４に記憶された画像、特徴量や分類結果、分類モデル作成部１１１で作成された分類モデルを保存する記憶部、或いは記憶領域があってもよい。

＜血小板評価システムで血小板の最終評価＞
続いて、実施例１に係る血小板評価システムで血小板の最終評価をするときの動作処理フローについて図面を用いて説明する。

図４は本実施例の血小板評価システムを、血小板の最終評価に適用する場合の動作フローチャートの一例を示す。画像取得部１００で画像を取得し、取得した画像とその特徴量を表示するまでは、図３のステップ３０４までで説明したものと同一のフローであり、説明を省略する（ステップ４０１）。

図１の解析分類部の自動分類部１１２は、上述した分類モデル作成部１１１で作成された分類モデルを使用し、各種形態特徴量から血小板を自動的に分類する（ステップ４０２）。自動分類結果は自動分類結果表示部１１３に表示される。自動分類結果表示部１１３は、上述したユーザ分類結果表示部１１０と同じ形式で表示する（ステップ４０３）。また、図８に示す血小板画像上のポップアップメッセージ８０２のように、分類結果とその分類に至った事象の要因や分類結果が指し示す将来的な事象を追加で強調表示する。すなわち、自動分類結果表示部１１３は、自動分類部１１２の分類結果に基づいて特徴量を強調表示することができる。なお、事象の要因と密接な関係にある特徴量がある場合、その特徴量が画像上のどこに該当するかを矢印８０１で強調表示しても良いことは先に説明した通りである。

これにより、ユーザは何を理由に分類されたかや、分類された結果が示すリスクなどを参考としながら判断することができる。また、分類モデルが成熟し、一致率が向上した際には、経験の浅いユーザでも、経験が豊富なユーザと同レベルの判断が可能となる支援システムとなる。また、本システムを初心者向けの学習システムとして利用してもよい。

なお、分類モデルの評価とユーザが入力した評価の一致率の計算部を設け、その一致率を判定精度として表示してもよい。また、評価後には、ユーザの判断材料として図１０に例示したような受信者動作特性（ROC）曲線１００１、１００２を表示し、真陽性率や偽陽性率などを表示してもよい。なお、特徴量毎の分類と評価結果に傾向が出る場合もあるため、一致率やROC曲線は特徴量毎の分類結果と関連付け、特徴量毎にそれらを表示してもよい。これにより、ユーザは一致率やROC曲線をみることで分類モデルの妥当性やその精度を判定することができる。

一致率やROC曲線、特徴量、画像を上述と同様に抽出、ソート条件入力部１０６、抽出、ソート処理部１０７、抽出、ソート処理結果表示部１０８を使用し（ステップ４０４）、その結果を参照しながらユーザは図３のフローと同様に分類する（ステップ４０５）。

また、抽出、ソート処理は特徴量だけでなく分類結果や評価結果を対象としてもよい。これにより、製造工程で混入してしまった異物や血小板以外の構成物に評価された画像に関しては抽出処理で除外して範囲を狭めることでユーザによる評価時間の短縮が期待できる他、逆に異物を抽出し、その件数や異物の形態を評価することで製造工程の機器に何らかの不具合があるといったフィードバックが容易となる。

ユーザ分類結果表示部１１０は、上述した自動分類結果表示部１１３と同様に表示する。なお、ユーザ分類結果と自動分類結果の両方がわかるように枠５０３、６０６を複数表示してもよいし、ユーザ分類結果と自動分類結果の組み合わせでその種類を決めてもよい。また、ユーザ分類入力部１０９はユーザ分類結果表示部１１０や自動分類結果表示部１１３と同一でもよいし、個別のインターフェースで表示してもよい。

図１１の作業支援用ユーザインターフェース１１０１に示すように、ユーザ分類結果と自動分類結果を並列表示することで、ユーザは分類モデルが誤分類した箇所を容易に認識でき、その適切な閾値についても同時に検討が可能となり、分類モデル作成作業の支援効果が得られ、分類モデルの出来栄え評価が容易になる。すなわち、ユーザ分類結果表示部１１０と自動分類結果表示部１１３とを同一画面に並列表示するよう構成する。

同図に示した例では、分類モデルが血小板の品質を、面積にしきい値を設けて分類しており、そのしきい値は１０から１２の間、例えば１１であることが読み取れる。しかし、ユーザの分類結果を見ると、ユーザは面積が8以下のものをOK、１０以上のものをNGと分類する傾向があることがわかる。したがって、分類モデルの面積におけるしきい値を、例えば１１から９に変更することで分類精度が向上できる可能性がある。このように、表示部にて各分類結果を並列表示することで、ユーザは各分類モデルの妥当性や精度、改良点を検討することができる。更に、ユーザが認識した閾値を入力できるインターフェースを分類モデル作成部１１１に設け分類モデルを適切に修正してもよい。

単純な分類木のような分類モデルの場合は、図１１のようなユーザによる判断が容易であり、直接分類モデルを修正していった方が分類モデルは早く成熟することが期待できるが、分類木でもその条件が複数の条件の組み合わせにより分岐するものや、ニューラルネットワークのような複雑な分類モデルの場合は、単純な抽出、ソート処理では、閾値が判断できない場合もある。そのような場合はユーザ分類結果を再度分類モデル作成部１１１に通すことで、分類モデルの精度向上を図ってもよい。

再編集や再利用を目的に画像、特徴量や分類結果、使用された分類モデル、評価結果および最終的な分類結果を纏めて保存する記憶部を備えてもよい。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されるものではない。また、実施例の構成の一部を他の構成に置き換えることが可能であり、また、実施例の構成に他の構成を加えることが可能である。

更に、上述した各構成、機能、制御部、処理部等は、それらの一部又は全部を実現するプログラムを作成する例を説明したが、それらの一部又は全部を例えば集積回路で設計する等によりハードウェアで実現しても良いことは言うまでもない。すなわち、処理部の全部または一部の機能は、プログラムに代え、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの集積回路などにより実現してもよい。

１００ 画像取得部，１０１ 荷電粒子線装置，１０２ 画像入力部，１０３ 画像表示部，１０４ 画像解析部，１０５ 特徴量表示部，１０６ 抽出、ソート条件入力部，１０７ 抽出、ソート処理部，１０８ 抽出、ソート処理結果表示部，１０９ ユーザ分類入力部，１１０ ユーザ分類結果表示部，１１１ 分類モデル作成部，１１２ 自動分類部，１１３ 自動分類結果表示部，１２１ 処理部，１２２ 制御部，１２３ 画像生成部，１２４ 記憶部，１２５ 入出力部，２０１ 走査荷電粒子顕微鏡，２０２ 走査荷電粒子銃，２０３ 走査荷電粒子ビーム，２０４ 電子レンズ，２０５ 試料，２０６ 検出器，２０７ ステージ，５０１、６０１ 血小板評価プログラムのユーザインターフェース，５０２ フォルダツリー，５０３、６０６ 分類、評価結果表示枠，５０４ 表
５０５ 画像拡大表示部，５０６ 任意の形態特徴量を指定するインターフェース，５０７ 特徴量の値の範囲を示すインターフェース，５０８ 抽出処理実行を指示するインターフェース，５０９ ソート実行を指示するインターフェース，５１０ 分類入力インターフェース，５１１ 分類するための閾値を入力するインターフェース，５１２ 抽出と同時に分類の実行も指示するインターフェース，６０２ 特徴量、分類、評価結果表示用のパネル，６０３ 背景色変更領域，６０４ 分類先選択用インターフェース，６０５ 特徴量表示用ポップアップ，７００ 血小板の断面像とその特徴量を示す表示画面，８０１ 矢印，８０２ 事象の理由、将来的な事象表示，１００１、１００２ ROC曲線，１１０１ 作業支援用ユーザインターフェース

上述の構成間でやり取りされるデータは処理部１２１により加工、制御される。例えば入出力部１２５で入力された電圧値に従って、処理部１２１は電子レンズ２０４に対する印加の制御値を算出し制御部１２２に渡す。制御部１２２は、処理部１２１に命令に従い、電子レンズ２０４に指定の制御値を入力し、入出力部１２５で入力された電圧値となるように制御する。また、処理部１２１は各種入力値や制御値を収集し、撮像時の条件を記憶部１２４に画像と共に記憶させるといった処理も行う。画像データに撮像条件は埋め
込んでも良いし、別のファイルとして記憶させてもよい。

Claims (20)

1. 画像を取得する画像入力部と、
   取得した前記画像を表示する画像表示部と、
   前記画像から形態の特徴量を算出する画像解析部と、
   算出された前記特徴量を表示する特徴量表示部と、
   前記特徴量に対して抽出やソートの条件を指定する抽出、ソート条件入力部と、
   入力された前記条件に基づき、前記特徴量の抽出やソート処理を行う抽出、ソート処理部と、
   前記抽出、ソート処理部の処理結果を表示する抽出、ソート処理結果表示部と、前記画像に対する分類先をユーザが入力するユーザ分類入力部と、
   前記ユーザ分類入力部からの入力内容を表示するユーザ分類結果表示部と、を備える、
   ことを特徴とする画像分類装置。
2. 請求項１に記載の画像分類装置であって、
   前記抽出、ソート処理部の処理結果に基づき、前記画像を分類する自動分類部を作成する分類モデル作成部を更に備える、
   ことを特徴とする画像分類装置。
3. 請求項２に記載の画像分類装置であって、
   前記自動分類部で分類された前記画像の分類結果を表示する自動分類結果表示部を更に備える、
   ことを特徴とする画像分類装置。
4. 請求項３に記載の画像分類装置であって、
   前記自動分類結果表示部は、前記自動分類部の分類結果に基づいて前記特徴量を強調表示する、
   ことを特徴とする画像分類装置。
5. 請求項３に記載の画像分類装置であって、
   前記ユーザ分類結果表示部と前記自動分類結果表示部とを同一画面に並列表示する、
   ことを特徴とする画像分類装置。
6. 請求項３に記載の画像分類装置であって、
   前記自動分類部の分類結果と、前記ユーザ分類入力部から入力される前記入力内容の一致率を計算する計算部を更に備え、
   計算した前記一致率を表示する、
   ことを特徴とする画像分類装置。
7. 請求項３に記載の画像分類装置であって、
   前記画像は細胞の断面像であり、
   前記特徴量は前記細胞の輪郭の形態的特徴量と、前記輪郭の内部領域に含まれる内部構造物の特徴量である、
   ことを特徴とする画像分類装置。
8. 請求項７に記載の画像分類装置であって、
   前記細胞は血小板であり、
   前記輪郭の形態的特徴量とは、前記血小板外形の丸さを示す特徴量であり、前記内部構造物の特徴量は、前記血小板の開放小管系の面積比と、当該開放小管系の拡張度と、前記血小板の濃染領域の面積比とを含む、
   ことを特徴とする画像分類装置。
9. 請求項７に記載の画像分類装置であって、
   前記分類結果表示部は、前記自動分類部の分類結果に基づいて、前記特徴量を強調表示する、
   ことを特徴とする画像分類装置。
10. 請求項７に記載の画像分類装置であって、
    前記ユーザ分類結果表示部と前記自動分類結果表示部とを同一画面に並列表示する、
    ことを特徴とする画像分類装置。
11. 解析分類部と表示部を備えた画像分類装置の表示方法であって、
    前記解析分類部は、
    取得した画像から形態の特徴量を算出し、
    算出した前記特徴量に対して指定された抽出やソートの条件に基づき、前記特徴量の抽出やソート処理を行い、
    前記表示部は、
    取得した前記画像を表示し、
    算出した前記特徴量を表示し、
    前記特徴量の抽出やソート処理の処理結果を表示し、
    前記画像に対する分類先がユーザ入力された場合、入力内容を表示する、
    ことと特徴とする表示方法。
12. 請求項１１に記載の表示方法であって、
    前記解析分類部は、
    前記特徴量の抽出やソート処理の処理結果に基づき、前記画像を分類するための自動分類部を作成する、
    ことを特徴とする表示方法。
13. 請求項１２に記載の表示方法であって、
    前記表示部は、
    前記自動分類部により分類された前記画像の自動分類結果を表示する、
    ことを特徴とする表示方法。
14. 請求項１３に記載の表示方法であって、
    前記表示部は、
    前記自動分類部の自動分類結果に基づいて、前記特徴量を強調表示する、
    ことを特徴とする表示方法。
15. 請求項１３に記載の表示方法であって、
    前記表示部は、
    前記ユーザ分類結果と前記自動分類結果とを同一画面に並列表示する、
    ことを特徴とする表示方法。
16. 解析分類部と表示部を備えた画像分類装置で実行されるプログラムであって、
    前記解析分類部を、
    取得した画像から形態の特徴量を算出し、
    算出した前記特徴量に対して指定された抽出やソートの条件に基づき、前記特徴量の抽出やソート処理を行い、
    前記表示部を、
    取得した前記画像を表示し、
    算出した前記特徴量を表示し、
    前記特徴量の抽出やソート処理の処理結果を表示し、
    前記画像に対する分類先がユーザ入力された場合、入力内容を表示する、
    よう動作させる、
    ことを特徴とするプログラム。
17. 請求項１６に記載のプログラムであって、
    前記解析分類部を、
    前記特徴量の抽出やソート処理の処理結果に基づき、前記画像を分類するための自動分類部を作成する、よう動作させる、
    ことを特徴とするプログラム。
18. 請求項１７に記載のプログラムであって、
    前記表示部を、
    前記自動分類部により分類された前記画像の自動分類結果を表示する、よう動作させる、
    ことを特徴とするプログラム。
19. 請求項１８に記載のプログラムであって、
    前記表示部を、
    前記自動分類部の自動分類結果に基づいて、前記特徴量を強調表示する、よう動作させる、
    ことを特徴とするプログラム。
20. 請求項１８に記載のプログラムであって、
    前記表示部を、
    前記ユーザ分類結果と前記自動分類結果とを同一画面に並列表示する、よう動作させる、
    ことを特徴とするプログラム。

Images