JP7200040B2 - 情報処理装置、画像解析方法 - Google Patents

Description

本発明は、電子顕微鏡画像を解析する技術に関する。

材料業界においては、新材料の開発、材料改良を目的として、電子顕微鏡を用いて、材料を撮影した画像の解析により、材料構造の特性を評価している。電子顕微鏡画像を解析する際の従来のワークフローでは、まず、電子顕微鏡で撮影した画像の特徴的な領域を示す為に、分析者が画像上に現れている材料の特徴を判断し、画像に色塗りを行なう。その際、画像の輝度が一様でなかったり、ムラがあったりすると、正しく判断できない為、分析者は、画像編集ツールを用いて、画像の前処理（シェーディング、明るさ補正など）を実施する。

その後、分析者は、色塗りを行ない、画像の特徴領域を示した「色塗り画像」を得る。ある材料に対して撮像した複数枚の画像群、例えば１００枚全てに対して色塗りを行なうと膨大な工数を要する為、分析者は、一部分の画像、例えば１０枚の色塗りを実施し、色塗りした画像を教師データとして、機械学習により特徴領域のモデルを作成する。そして、分析者は、モデル作成で利用しなかった残りの画像に対して前処理を行い、モデルを適用し、得られた画像の特徴的な領域の特徴量、例えば、面積、粒子数を計算し、材料構造の特性を評価する。

材料メーカは、他社優位性を確保する為に、短期間で画像を解析する必要がある。しなしながら、材料の特徴量を抽出するまでの工程が複数存在し、分析者の作業、判断が必要な為、多大な工数を費やしていた。分析者の判断の結果、前工程に戻りやり直しを行なうことが一般的であり、分析者の勘と経験に基づいて試行錯誤していた為、分析者依存による作業工数バラツキもあった。

やり直し工数を低減する技術として、特許文献１の技術がある。当該文献においては、複数のメッシュの中から選択したメッシュについて、予め設定したデータを抽出するメッシュデータ検出手段と、メッシュデータ検出手段で検出したデータを入力値として、ニューラルネットワークに入力し、前記選択したメッシュの同一又は類似を判断するグループの判定値を出力値として取得する。１つの選択されたメッシュを修正する手段と、同じグループに属する他のメッシュに対しても同じ修正を行なう連動修正手段を備えている。

特開２００６－３１８２３２号公報

しかしながら、特許文献１に記載の修正手段においては、人が選択したメッシュと類似性の高いメッシュしか修正できなかった。電子顕微鏡で撮像した画像には、電子顕微鏡特有の濃淡やムラが広域に存在し、その種類は様々である。モデル適用後に、やり直しが必要な場合、画像の濃淡やムラが問題なのか、色塗りに問題があるのかを特定する為に、広域に存在する様々な種類の濃淡やムラも分類する必要がある。つまり、画像の特定領域に問題がある場合と、画像の広域に問題がある場合の双方に対応することが課題である。

本発明は、画像解析のやり直しの原因を分類することが可能な情報処理装置、画像解析方法を提供することを目的とする。

本発明の一態様にかかる情報処理装置は、顕微鏡画像解析のワークフローを実行する情報処理装置であって、学習評価用の顕微鏡画像を入力して得られた学習モデルに、特徴量評価用の顕微鏡画像を適用して得られた適用画像を所定の基準でグルーピングするグルーピング部と、前記グルーピングによりグループ化された画像群を用いて、前記学習評価用の顕微鏡画像に画像解析のやり直し原因があるのか、前記特徴量評価用の顕微鏡画像に画像解析のやり直し原因があるのかを判定するやり直し判定部と、を備えることを特徴とする情報処理装置として構成される。

本発明の一態様によれば、画像解析のやり直しの原因を分類することができる。

従来の電子顕微鏡画像解析ワークフローを示す図。 本発明の電子顕微鏡画像解析ワークフローを示す図。 グルーピング概念を示す図。 画像領域分割の例を示す図。 画像分割数決定方法を示す図。 グルーピング方法を示す図。 やり直しのフローチャート。 やり直しGUIを示す図。 セグメンテーション半自動化を示す図。 セグメンテーション半自動化のフローチャート。 コンピュータのハードウェア構成を示す図。 コンピュータの機能構成を示す図。 ワークフローを中断し、再開する場合のワークフローの例。

以下、図面を参照して本発明の実施形態を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。

図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。

以下の説明では、「テーブル」、「リスト」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「ＸＸテーブル」、「ＸＸリスト」等を「ＸＸ情報」と呼ぶことがある。識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いるが、これらについてはお互いに置換が可能である。

同一あるいは同様な機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。

また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ、ＧＰＵ）によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）および／またはインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路（例えばＦＰＧＡやＡＳＩＣ）を含んでいてもよい。

プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

図１は、従来の電子顕微鏡画像解析のワークフローを示す図である。従来のワークフローでは、分析者が操作するコンピュータ（例えば、ＰＣ（Personal Computer）が、当該コンピュータの記憶装置に記憶されている学習・評価用の電顕撮像画像１０１と、特徴量評価用の電顕撮像画像１０２とを読み出して、それぞれ、画像前処理工程１０３、１０９に入力する。画像前処理工程１０３、１０９においては、コンピュータが、分析者からの操作を受けて画像編集ツールを記憶装置から読み出し、当該画像編集ツールがシェーディング、明るさ補正のような前処理を実施する。画像前処理工程１０３の出力画像は、色塗り工程１０４に入力され、分析者からの操作を受けて、画像編集ツールが、分析者が着目する材料の特徴的な領域を色塗りし、色塗り画像１０５を得る。学習検証を行なう為に、コンピュータが、市販ツールを読み出して画像分割工程１０６を実行して色塗り画像１０５を分割し、分割後の色塗り画像１０６を学習・検証工程１０７に入力する。

コンピュータは、機械学習ツールを読み出して学習・検証工程１０７を実行し、実行により得られたモデルに対して、画像前処理工程１０９の出力結果を入力する。さらに、コンピュータは、科学計算ソフトウェアを読み出して特徴量算出工程１１０を実行し、材料の特徴量（例えば、画像分割後の各領域の面積や粒子数）を計算する。そして、分析者が、コンピュータの表示装置に出力されたモデル適用工程１０８を実行した後の画像を確認する。分析者は、確認した画像から想定していた結果が得られていないと判断した場合には、画像前処理工程１０３、１０９、もしくは色塗り工程１０４に戻って作業をやり直す。このように、従来は、ワークフロー全体を通して、分析者が様々なツールを駆使する必要があり、分析者が判断する為、多大なる工数を要していた。

図２は、電子顕微鏡解析システム１０００が行う本実施例の電子顕微鏡解析ワークフローを示す図である。本実施例のワークフローでは、分析者が操作するコンピュータが、当該コンピュータの記憶装置に記憶されている学習・評価用の電顕撮像画像２０１と、特徴量評価用の電顕撮像画像２０２とを読み出して、それぞれ、画像前処理工程２０３、２０９に入力する。画像前処理工程２０３、２０９においては、コンピュータが、シェーディングＧＵＩプログラム２１３、明るさ補正ＧＵＩプログラム２１４を起動し、分析者が、コンピュータの表示装置に表示されたＧＵＩ上の画像領域を指定することにより、色の濃淡を平準化するシェーディング、明るさ均一にする明るさ補正を実施する。コンピュータは、画像前処理工程２０３の出力画像を、セグメンテーション工程２０４に入力し、セグメンテーションプログラムＧＵＩ２１５を起動する。分析者は、コンピュータの表示装置に表示されたＧＵＩ上で材料の特徴となる領域に色塗りを行なう。補正工程２０５では、コンピュータが、色塗り後の画像を入力して、補正ＧＵＩプログラム２１６を起動する。分析者は、補正ＧＵＩプログラム２１５が表示するＧＵＩ上に表示された画像に対して、画像補正を行なう。画像分割工程２０６では、コンピュータが、画像分割ＧＵＩプログラム２１７を起動し、分析者が指定した画像の枚数に分割する。

学習・検証工程２０７では、コンピュータが、画像分割工程２０６後の画像を入力として、色塗りモデルを作成し、交差検証を実施する。学習の結果、学習モデルとなるモデル２０８が得られる。さらに、コンピュータは、電顕撮像画像２０２をモデル２０８に適用工程２１０を実行して得られる適用画像である特徴量評価用の色塗り画像を得る。グルーピング２１１では、コンピュータが、色塗り画像の出来栄えを分類する。やり直し判定工程２１２では、コンピュータが、グルーピングの結果を読み取り、画像解析のやり直しの原因が、画像の特定領域に問題があるのか、画像の広域に問題があるのかを分類する。例えば、コンピュータは、読み取ったグルーピングの結果から、特徴量評価用の電顕撮像画像２０２に問題があるか、学習・評価用の電顕撮像画像２０１に問題があるかを判定し、やり直しＧＵＩプログラム２１９を呼び出す。分析者は、やり直しＧＵＩ２１９に表示されている、やり直し画像の候補を目視で確認し、やり直す画像と戻る工程を選択する。

やり直し工程完了後、やり直し判定工程２１２において、コンピュータが、ワークフロー制御処理２８３を行い、やり直し工程の次の工程に移行させる。移行先となる当該次の工程とは、分析者によりやり直すべきであると判断された工程（やり直すべきであると判断された工程が複数ある場合には、そのうちの最初の工程）である。また、やり直し工程の次の工程においては、前回のやり直し工程で出力された、コンピュータに記憶されているデータが読み出され、上記次の工程の処理が行われる。例えば、やり直し工程の次の工程が補正工程２０５である場合には、コンピュータは、前回実行時に記憶されているセグメンテーション工程２０４の出力画像読み出してやり直し工程以降の各工程の処理を行う。これにより、やり直し工程よりも前の工程を再度実行する必要がなくなり、やり直しの時間を短縮することができる。

図３は、グルーピングの概念を示している。コンピュータは、上記モデル２０８に適用２１０された後の特徴量評価用の色塗り画像である複数枚の電顕撮像画像３０１を入力し、それらを複数の領域（図３では８つの領域）に分割する。コンピュータは、分割した各領域における指標を用いたグルーピング方法（後述）によりグルーピングする。グルーピングした結果、グループＡには、画像の広域に問題あるとされた画像群が分類される。グループＢには、問題ないとされた画像群が分類される。グループＣには、特定領域に問題あるとされた画像群が分類される。グループＢの画像群は、例えば、グループＡ、グループＣのいずれにも属さない画像群である。

図４は、画像の領域分割方法を示している。図４（ａ）は、３ｘ３の領域に分割した特徴量評価用の色塗り画像４０１の例であり、黒く表された領域Ｒ１は、材料のある特徴的な領域である。図４（ｂ）は、６ｘ６の領域に分割した特徴量評価用の色塗り画像４０２の例であり、黒く表された領域Ｒ２は、材料のある特徴的な領域である。電子顕微鏡で撮像した画像は、材料に含まれる特徴量が均一に分布していると仮定しており、画像分割の結果、均一に近い分布が好ましい。したがって、特徴量評価用の色塗り画像４０１と特徴量評価用の色塗り画像４０２とを比較すると、特徴量評価用の色塗り画像４０１の方が、材料のある特徴的な領域が存在しない分割領域がないため、特徴量評価用の色塗り画像４０２よりも好ましい分割方法である。

図５は、画像分割数の決定方法を示している。横軸に分割パターン番号、縦軸に材料１の平均占有率を示している。図５では、分割パターン番号１が２ｘ２の領域への分割、分割パターン番号２が３ｘ３の領域への分割、分割パターン番号３が４ｘ４の領域への分割、分割パターン番号４が５ｘ５の領域への分割、分割パターン番号５が６ｘ６の領域への分割である。図４の特徴量評価用の色塗り画像４０１は、分割パターン番号２であり、特徴量評価用の色塗り画像４０２は、分割パターン番号パターンＮｏ．５である。平均占有率は、例えば、特徴量評価用の色塗り画像が分割された各領域のうち、材料１のある特徴的な領域を含む領域が占める割合を表している。

コンピュータは、平均占有率が低下する前の分割パターン番号を選択する。例えば、コンピュータは、材料１の平均占有率が、所定の閾値を下回った分割パターン番号の１つ前の分割パターン番号を選択したり、あるいは材料１の平均占有率のマイナスの変化率が所定の閾値を超えたときの分割パターン番号の１つ前の分割パターン番号を選択する。図５においては、コンピュータは、分割パターン番号４が、上記所定の閾値を下回った分割パターン番号５（あるいは上記所定の閾値を超えたときの分割パターン番号５）の１つ前の分割パターン番号４（Ｎ）を選択する。

図６は、図２に示したグルーピングの方法を示している。図６では、特徴量評価用の色塗り画像は２枚（画像番号６０１の番号「１」と番号「２」）あり、各々が６個の領域（各領域番号６０２の番号「１」～「６」）に分割されている。各領域は、輝度平均６０３、輝度分散６０４、材料１面積６０５、材料２面積６０６であらわされる特徴量を用いてグルーピングされる。３つのグループにグルーピングした結果がグループ６０７であり、グループＡ、グループＢ、グループＣに分類されている。輝度平均６０３が平均から外れている値６０８、６０９である領域（画像番号「１」の領域番号「２」、「４」で示される領域）は、グループＡに分類されている。また、材料２面積６０６が、平均から外れている値６１０である領域（画像番号「２」の領域番号「５」で示される領域）は、グループＣに分類されている。グループＡ、グループＣに分類されなかった領域がグループＢに分類される。

分析者は、コンピュータが行った画像前処理、セグメンテーション、補正、画像分割までの各処理の結果を、ＧＵＩ上で目視により確認している。したがって、特徴量評価用の色塗り画像のうち、画像解析のやり直しの必要がなく、問題がない画像が大半を占めるため、グループに属する領域数が最大のグループを、問題がないグループ（グループＢ）と判定してもよい。

他の２つのグループ（グループＡ、グループＣ）は、画像の特定領域、あるいは画像の広域のいずれかに問題がある。コンピュータは、やり直し判定２１２において、グループＡが画像の広域の問題であり、グループＣが画像の特定領域の問題であると判定する。グループＡが画像の広域の問題であると判定する理由は、例えば、画像番号「１」で識別される特徴量評価用の色塗り画像のうち、複数の領域（領域番号「２」、「４」で示される領域）に亘って、基準となる上記所定の閾値を満たしていない領域が存在するためである。また、グループＣが画像の特定領域の問題であると判定する理由は、例えば、画像番号「２」で識別される特徴量評価用の色塗り画像のうち、ある１つの特定の領域（領域番号「５」で示される領域）で、基準となる上記所定の閾値を満たしていない領域が存在するためである。コンピュータは、画像の広域の問題であると判定した場合には、特徴量評価用の電顕撮像画像２０２を入力とする画像前処理２０９の工程に戻るようにワークフローを制御する。一方、コンピュータは、画像の特定領域の問題であると判定した場合には、学習・評価用の電顕撮像画像２０１を入力とする画像前処理２０３の工程に戻るようにワークフローを制御する。

図７は、画像解析のやり直しを行う手順を示すフローチャートを示している。コンピュータは、やり直し判定２１２において、やり直しＧＵＩプログラム７０１を起動し、やり直し判定結果をやり直しＧＵＩプログラム２１９に出力する（Ｓ７０１）。やり直し判定結果は、例えば、図６に示したグルーピングした結果であるグループ６０７を用いることができる。

分析者は、やり直しＧＵＩプログラム２１９が表示するＧＵＩ上で、やり直し画像とやり直し工程を選択、決定し、コンピュータが当該選択、決定を受け付ける。コンピュータは、当該選択、決定を受け付けると、ワークフローを制御して、分析者が選択したやり直し工程に遷移させる（Ｓ７０２、Ｓ７０３）。コンピュータは、当該選択、決定した工程での処理を実行する為に、工程に対応したＧＵＩプログラムを起動する（Ｓ７０４）。図７では、上記選択、決定した工程が画像前処理工程２０３であるため、コンピュータは、画像前処理工程２０３に対応するシェーディングＧＵＩプログラム２１３、明るさ補正ＧＵＩプログラム２１４を起動する。

分析者が、起動されたＧＵＩを操作して処理を行い、ＧＵＩプログラムがやり直し処理を完了させる（Ｓ７０５、Ｓ７０６）。図７では、シェーディングＧＵＩプログラム２１３、明るさ補正ＧＵＩプログラム２１４が分析者からの操作を受け付け、コンピュータは、受け付けた操作に従って画像前処理工程２０３を実行し、やり直し完了を通知する。

コンピュータは、やり直し判定２１２において、やり直し処理完了を受け取ると、ワークフローを制御して、やり直しを行った工程の次の工程に移行させる（Ｓ７０７）。図７では、やり直し工程が画像前処理工程２０３であるため、その次の工程であるセグメンテーション工程２０４に移行させる。

図８は、やり直し判定２１２において、コンピュータが、画像広域に問題があると判定した場合のやり直しＧＵＩ２１９を示している。やり直しＧＵＩ２１９では、画像広域に問題があると判定した画像群を表示する広域画像表示領域８０１と、問題がないと判定した画像群を表示する異常なし画像表示領域８０２と、画像選択用のチェックボックス８０３と、分析者により選択された画像８０４の拡大画像と、やり直し工程を選択する選択リストボックス８０６と、やり直す工程を決定する決定ボタン８０７と、を含む。広域画像表示領域８０１や異常なし画像表示領域８０２に表示される画像は、画像分割工程２０６により分割される前の全体画像である。図８では、広域画像表示領域８０１および画像表示領域８０２がやり直しＧＵＩ２１９に表示される例を示しているが、画像の特定領域に問題があると判定した画像群についても、画面をスクロールさせることにより、これらの画像と同様にやり直しＧＵＩ２１９に表示される。

図８では、分析者は、画像広域に問題あると判定した画像群８０２と、問題ないと判定した画像群８０３を比較し、真に問題がある画像をチェックボックス８０３で選択し、画像前処理工程をやり直し工程として選択した後に決定ボタン８０７を押す。コンピュータは、決定ボタン８０７が押下されると、当該やり直しＧＵＩ２１９は終了し、やり直し判定工程２１２に処理を遷移させる。

図９は、実施例１のセグメンテーション工程２０４において、分析者がセグメンテーションＧＵＩプログラム２１５を用いて、画像の特徴的な領域に色塗りしていた作業を半自動化する方法を示している。

実施例２では、画像前処理工程２０３を行った後の入力画像９０１（例えば、グレースケール画像）に対して、分析者がセグメンテーションＧＵＩの表示画面をタッチする等して特徴領域の一部分を色塗りする。コンピュータは、分析者が色塗りした部分を検知すると、当該部分を特徴領域として認識し、分析者による正解領域の色塗り画像９０２として出力する。図９では、特徴領域として、例えば、材料１のある部分を示す特徴領域９０３、材料２のある部分を示す特徴領域９０４の２種類の領域が特徴領域として認識され、色塗りされ、上記色塗り画像９０２が出力されていることを示している。

一方、上記グレースケールの画像９０１に対して、コンピュータは、複数種類の２値化手法９０５を適用して認識した画像の特徴的な領域を抽出した特徴画像９０６を出力する。図８では、例えば、コンピュータは、特徴的な領域９０１ａ、９０２ｂとそれ以外の領域９０３ｃを含む上記グレースケールの画像９０１（３色）を入力し、２値化手法１、３を適用し、特徴画像９０６（例えば、３色画像）を出力する。

コンピュータは、複数の２値化手法を適用した結果を示す上記特徴画像９０６の特徴領域と、分析者が与えた上記色塗り画像９０２の特徴領域とを比較する。コンピュータは、これらの領域がどの程度一致しているのかを示す一致度を算出し、その結果を正答率情報９０７として出力する。図９では、例えば、材料１が赤色、材料２が青色で色塗りされた特徴領域を含む場合、２値化手法１では、材料１の一致度が１パーセントである一方、材料２の一致度が９８パーセントであったことを示している。また、２値化手法２では、材料１および材料２の一致度が、いずれも９７パーセントであり、２値化手法３では、材料１の一致度が９９パーセントである一方、材料２の一致度が１パーセントであったことを示している。

コンピュータは、上記正答率情報を出力すると、各手法の評価を実施する。例えば、コンピュータは、あらかじめ定められた一致度の閾値と、上記正答率情報として出力された一致度とを比較し、いずれの材料についても閾値を上回る一致度となる２値化手法を選択する。図９において、一致度の閾値が９６パーセントである場合、コンピュータは、その閾値よりも高い精度である２値化手法２を選択してセグメンテーション工程２０４を行う。

さらに、コンピュータは、上記一致度の閾値とは別に、あらかじめ定められた目標正答率と、選択した２値化手法により得られた一致度とを比較し、一致度が目標正答率に満たない場合は、その旨をセグメンテーションＧＵＩに出力し、分析者に補正を行うように促し、分析者が手動で補正工程２０５を実行する。

図１０は、セグメンテーション半自動化処理のフローチャートを示している。図１０に示すように、セグメンテーション半自動化処理では、コンピュータは、分析者から２値化手法の選択を受け付け（Ｓ１００１）、入力画像９０１に対して、選択された２値化手法を適用し、特徴画像９０６を出力する（Ｓ１００２）。コンピュータは、出力した特徴画像９０６を記憶装置に記憶し（Ｓ１００３）、分析者が与えた正解データ（例えば、材料１、材料２の正解データ）を読み出す（Ｓ１００４、Ｓ１００５）。

コンピュータは、正解データに含まれる特徴領域と、特徴画像９０６の特徴領域とを比較し、各領域の正答率を算出する（Ｓ１００６）。コンピュータは、すべての２値化手法を選択済みであるか否かを判定し（Ｓ１００７）、すべての２値化手法を選択済みでないと判定した場合（Ｓ１００７；Ｎｏ）、Ｓ１００１に戻って以降の処理を続行する。

一方、コンピュータは、すべての２値化手法を選択済みであると判定した場合（Ｓ１００７；Ｙｅｓ）、各手法の評価を行い、閾値を上回る一致度となる２値化手法を選択する（Ｓ１００８）。

このように、分析者が一部分の正解データを与えて、コンピュータが一定の精度を満たす２値化手法を自動的に選択することにより、分析者の色塗り工数を低減させることができる。

図１１は、実施例１、実施例２で用いられるコンピュータのハードウェア構成を示す図である。図１１に示すように、コンピュータ１１００は、ＣＰＵ１１０１、メモリ１１０２、ＨＤＤ１１０３を有した、ハードウェアとしては一般的なコンピュータにより構成される。ＨＤＤ１１０３は、入力画像１１０４、前処理後画像１１０５、セグメンテーション後画像１１０６、分割後画像１１０７、モデル１１０８を記憶する。入力画像１１０４は、図２に示した学習・評価用の電顕撮像画像２０１、特徴量評価用の電顕撮像画像２０２であり、前処理後画像１１０５は、図２に示した画像前処理工程２０３が行われた後の画像である。また、セグメンテーション後画像１１０５は、図２に示したセグメンテーション工程２０４が行われた後の画像であり、分割後画像１１０６は、図２に示した画像分割工程２０６が行われた後の画像である。モデル１１０７は、学習の結果得られたモデル２０８である。

図１２は、実施例１、実施例２で用いられるコンピュータの機能構成を示す図である。図１２に示すように、コンピュータ１１００は、画像前処理部１２０２と、セグメンテーション部１２０３と、補正部１２０４と、画像分割部１２０５と、学習・検証・適用部１２０６とを有した解析部１２０１と、入力画像１２２２と、前処理後画像１２２３と、セグメンテーション後画像１２２４と、分割後画像１２２５と、モデル１２２６とを記憶する記憶部１２２１と、グルーピング部１２４２と、やり直し判定部１２４３とを有した判定部１２４１と、ワークフロー制御部１２６２を有した制御部１２６１とを備えている。

画像前処理部１２０２は、図２に示した画像前処理工程２０３を行う処理部である。セグメンテーション部１２０３は、図２に示したセグメンテーション工程２０４を行う処理部である。補正部１２０４は、図２に示した補正工程２０５を行う処理部である。画像分割部１２０５は、図２に示した画像分割工程２０６を行う処理部である。学習・検証・適用部１２０６は、図２に示した学習検証工程２０７、適用工程２１０を行う処理部である。グルーピング部１２４２は、図２に示したグルーピング工程２１１を行う処理部である。やり直し判定部１２４３は、図２に示したやり直し判定工程２１２を行う処理部である。ワークフロー制御部１２６２は、図２に示したワークフロー制御処理２８３を行う処理部である。

コンピュータ１１００の解析部１２０１、判定部１２４１、制御部１２６１が有する各部の機能は、プログラムを実行することにより実現される。例えば、ＣＰＵ１１０１が、ＲＯＭ等の記憶媒体から構成されるメモリ１１０２からプログラムを読み出して実行することにより、上記各部の機能が実現される。これらのプログラムは、ＵＳＢ(Universal Serial Bus)メモリ等の記憶媒体から読み出されたり、ネットワークを介した他のコンピュータからダウンロードする等して、コンピュータ１１００に提供されてもよい。

なお、実施例１、実施例２では、ワークフロー制御処理２８３により、やり直し工程完了後、やり直し判定工程２１２において、やり直し工程の次の工程に移行させることとしたが、これに限らず、ワークフローを中断し、再開する場合にも同様に処理を行うことができる。

図１３では、ワークフローを中断し、再開する場合のワークフローの例を説明している。コンピュータが、分析者からの指示に従って、ワークフローの中断処理１３０１を行い、画像前処理２０３でワークフローを中断して終了した場合を示している。この場合、コンピュータは、画像前処理工程２０３で中断されるまで読み込んだ撮像画像２０１をメモリに記憶しておく。コンピュータは、分析者からの指示に従って、再開処理１３０２を行う場合、ワークフロー制御処理２８３において、中断した次の処理から処理を続行する。例えば、コンピュータは、画像前処理２０３を実行中に中断処理を行った場合には、再開処理では、中断前までに読み込んだ撮像画像の次の画像を読み出して画像前処理２０３を続行する。また、コンピュータは、画像前処理２０３の実行後に中断処理を行った場合には、その次の工程であるセグメンテーション工程２０４に移行させ、ワークフローを続行する。これにより、やり直し工程の次の工程に移行させる場合と同様、中断前の処理や工程を再度実行する必要がなくなり、ワークフロー全体での処理時間を短縮することができる。

このように、実施例１では、顕微鏡画像解析のワークフローを実行するコンピュータにおいて、グルーピング部１２４２が、学習評価用の顕微鏡画像である学習・評価用の電顕撮像画像２０１を入力して得られたモデル２０８に、特徴量評価用の顕微鏡画像である特徴量評価用の電顕撮像画像２０２を適用して得られた特徴量評価用の色塗り画像である適用画像を所定の基準（例えば、図６に示したグルーピングの方法）でグルーピングし、やり直し判定部１２４３が、グルーピングによりグループ化された画像群を用いて、上記学習評価用の顕微鏡画像に画像解析のやり直し原因があるのか、上記特徴量評価用の顕微鏡画像に画像解析のやり直し原因があるのかを判定し、やり直し判定において、同じ傾向を持つ画像広域のやり直しか、特定の領域に対するやり直しかを判定することにより、問題の切り分けを行なうことができ、やり直し工数を低減することが可能となる。

すなわち、画像解析のやり直しの原因が、画像の特定領域に問題があるのか、画像の広域に問題があるのかを分類することができる。さらに、本システムでは、やり直し候補の画像をＧＵＩ上に表示し、分析者がやり直しを実施すべき画像を特定するため、やり直し画像を容易に特定することができる。

また、グルーピング部１２４２は、上記適用画像を複数の領域に分割した分割画像と上記所定の基準とを用いて分割画像をグルーピングするので、上記適用画像をグルーピングするので、精度よく上記問題の切り分けを行うことができる。

また、グルーピング部１２４２は、上記分割画像のそれぞれに、特徴的な材料（例えば、図４に示した領域Ｒ１、Ｒ２）が含まれる割合が略同程度となるように、上記適用画像の分割数を定めるので、上記問題の切り分けを行うための最適な数に上記適用画像を分割することができる。

また、グルーピング部１２４２は、上記学習評価用の顕微鏡画像と上記特徴量評価用の顕微鏡画像とを分類可能な説明変数を用いてグルーピングを行い、当該説明変数として、上記適用画像を複数の領域に分割した分割画像の輝度平均と、上記分割画像の輝度分散と、上記分割画像における特徴的な材料の面積とを用いてグルーピングを行う。したがって、顕微鏡画像解析のワークフローを実行する場合において、これらの指標を説明変数として用いて、上記学習評価用の顕微鏡画像と上記特徴量評価用の顕微鏡画像とを分類することができる。

また、やり直し判定部１２４３は、上記判定の結果に対応する適用画像を表示部（例えば、コンピュータ１１００が備えるディスプレイ）に表示し、表示部に表示された適用画像のうち分析者により指定された画像（例えば、図８に示した選択された画像８０４）と、顕微鏡画像解析のワークフローにおける当該画像のやり直し工程（例えば、図８に示した選択リストボックス８０６で選択された工程）との選択を受け付けて、指定された画像について選択されたやり直し工程（例えば、画像前処理工程）の処理を行うので、分析者は、一見して上記問題の切り分けを行なうことができ、さらに、やり直すべき工程を容易に把握することができる。また、やり直すべき工程に戻って速やかに顕微鏡画像解析のワークフローを実行することができる。

また、実施例２では、セグメンテーション部１２０３が、顕微鏡画像の特徴的な領域を色塗りするセグメンテーション工程２０４を含む顕微鏡画像解析のワークフローにおいて、分析者により顕微鏡画像の特徴的な領域が指定された画像（例えば、図９に示した色塗り画像９０２）と、所定の２値化手法を適用して認識した特徴的な領域を抽出した画像（例えば、図９に示した特徴画像９０６）との一致度に基づいて、セグメンテーション工程２０４の処理を行うので、分析者は、工数をかけることなく、所定の基準を満たした適切な色塗り画像を得ることができる。

本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化したり、上記実施の形態に開示されている複数の構成要素を適宜組み合わせて実施することができる。

１０００…電子顕微鏡解析システム
１１００…コンピュータ
１１０１…ＣＰＵ
１１０２…メモリ
１１０３…ＨＤＤ
１１０４…入力画像
１１０５…前処理後画像
１１０６…セグメンテーション後画像
１１０７…分割後画像
１１０８…モデル
１２０２…画像前処理部
１２０３…セグメンテーション部
１２０４…補正部
１２０５…画像分割部
１２０６…学習、検証、処理部
１２４２…グルーピング部
１２４３…やり直し判定部
１２２２…入力画像
１２２３…前処理後画像
１２２４…セグメンテーション後画像
１２２５…分割画像
１２２６…モデル
１２６２…ワークフロー制御部

Claims (8)

1. 顕微鏡画像解析のワークフローを実行する情報処理装置であって、
   学習評価用の顕微鏡画像を入力して得られた学習モデルに、特徴量評価用の顕微鏡画像を適用して得られた適用画像を所定の基準でグルーピングするグルーピング部と、
   前記グルーピングによりグループ化された画像群を用いて、前記学習評価用の顕微鏡画像に画像解析のやり直し原因があるのか、前記特徴量評価用の顕微鏡画像に画像解析のやり直し原因があるのかを判定するやり直し判定部と、
   を備えることを特徴とする情報処理装置。
2. 前記グルーピング部は、前記適用画像を複数の領域に分割した分割画像と前記所定の基準とを用いて前記分割画像をグルーピングすることにより、前記適用画像をグルーピングする、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記グルーピング部は、前記分割画像のそれぞれに、特徴的な材料が含まれる割合が略同程度となるように、前記適用画像の分割数を定める、
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記グルーピング部は、前記学習評価用の顕微鏡画像と前記特徴量評価用の顕微鏡画像とを分類可能な説明変数を用いて、前記グルーピングを行う、
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記グルーピング部は、前記説明変数として、前記適用画像を複数の領域に分割した分割画像の輝度平均と、前記分割画像の輝度分散と、前記分割画像における前記特徴的な材料の面積とを用いて、前記グルーピングを行う、
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記やり直し判定部は、前記判定の結果に対応する前記適用画像を表示部に表示し、前記表示部に表示された適用画像のうち分析者により指定された画像と、顕微鏡画像解析のワークフローにおける当該画像のやり直し工程との選択を受け付けて、前記指定された画像について前記選択されたやり直し工程の処理を行う、
   ことを特徴とする請求項１に記載の情報処理装置。
7. 前記顕微鏡画像の特徴的な領域を色塗りするセグメンテーション工程を含む前記顕微鏡画像解析のワークフローにおいて、
   分析者により前記顕微鏡画像の特徴的な領域が指定された画像と、所定の２値化手法を適用して認識した特徴的な領域を抽出した画像との一致度に基づいて、前記セグメンテーション工程の処理を行うセグメンテーション部、
   を備えることを特徴とする請求項１に記載の情報処理装置。
8. 顕微鏡画像の画像解析方法であって、
   グルーピング部が、学習評価用の顕微鏡画像を入力して得られた学習モデルに、特徴量評価用の顕微鏡画像を適用して得られた適用画像を所定の基準でグルーピングし、
   やり直し判定部が、前記グルーピングによりグループ化された画像群を用いて、前記学習評価用の顕微鏡画像に画像解析のやり直し原因があるのか、前記特徴量評価用の顕微鏡画像に画像解析のやり直し原因があるのかを判定する、
   ことを特徴とする画像解析方法。

Images