JP2024016378A - 解析支援方法、プログラムおよび解析支援装置 - Google Patents

Abstract

【課題】複数の染色画像において共通する、解析に適した領域を精度良く提示する。【解決手段】標本の染色画像の解析を支援する上述の解析支援方法は、１つの標本に対して複数種類の染色を行って得られた、当該複数種類の染色にそれぞれ対応する複数の染色画像を準備する工程（ステップＳ１１）と、複数の染色画像の各染色画像を所定の分割態様にて複数の分割領域に分割する工程（ステップＳ１３）と、各染色画像において、複数の分割領域のそれぞれにおける染色状態の均一性を示す均一性レベルを、機械学習により生成された学習済みモデルを用いて取得する工程（ステップＳ１４）と、複数の分割領域の各分割領域について、複数の染色画像のそれぞれにおける均一性レベルに基づいて所定の解析方法に対する適否を判定する工程（ステップＳ１５）と、を備える。これにより、複数の染色画像において共通する、解析に適した領域を精度良く提示することができる。【選択図】図７

Description

本発明は、標本の染色画像の解析を支援する技術に関する。

近年、医学研究や生物学研究において、疾患メカニズムの解明や生体メカニズムの解明、薬剤作用機序解明等を目的として、組織標本や細胞標本等の生体由来標本のシングルセル単位の解析が実施されている。例えば、多重免疫染色解析においては、タンパク質等の生体由来物質を様々な方法で染色し、染色状態を計測することで定量的・定性的な解析が行われている。特許文献１では、患者の組織切片を異なる染色方法により染色して得た複数のデジタル画像において、組織構造ベースの画像の位置合わせを行うことが提案されている。

特表２０１７－５０２３６２号公報

ところで、上述の多重免疫染色解析では、解析に使用される染色画像に、染色手法に起因するアーチファクト（すなわち、染色の不安定さ等から生じる揺らぎや意図しない染色結果）が含まれる場合がある。この場合、当該染色画像中において染色状態が均一な領域を解析視野として選定すれば、当該染色画像も解析に使用することができる。一方、互いに異なる染色がそれぞれ施された複数の染色画像において、１つの染色画像であっても解析視野にアーチファクトが含まれていると、解析精度が低下するおそれがある。したがって、解析視野として、全ての染色画像において染色状態が均一な領域を選定する必要がある。

しかしながら、上述のアーチファクトの要因は多岐に亘るため、染色画像における適切な解析視野の選定を画一的に行うことは難しく、熟練したオペレータが経験に基づいて解析視野の選定を行っているのが現状である。ただし、複数の染色画像の染色状態を考慮して適切な解析視野を選定することは、熟練したオペレータであっても容易ではない。また、オペレータは染色画像を拡大して観察することが多く、この場合、染色状態が均一であるか否かが視認しにくくなる。

本発明は、上記課題に鑑みなされたものであり、複数の染色画像において共通する、解析に適した領域を精度良く提示することを目的としている。

本発明の態様１は、標本の染色画像の解析を支援する解析支援方法であって、ａ）１つの標本に対して複数種類の染色を行って得られた前記複数種類の染色にそれぞれ対応する複数の染色画像を準備する工程と、ｂ）前記複数の染色画像の各染色画像を所定の分割態様にて複数の分割領域に分割する工程と、ｃ）前記各染色画像において、前記複数の分割領域のそれぞれにおける染色状態の均一性を示す均一性レベルを、機械学習により生成された学習済みモデルを用いて取得する工程と、ｄ）前記複数の分割領域の各分割領域について、前記複数の染色画像のそれぞれにおける前記均一性レベルに基づいて所定の解析方法に対する適否を判定する工程と、を備える。

本発明の態様２は、態様１の解析支援方法であって、前記ｄ）工程における判定結果に基づいて、前記解析方法に適合する分割領域である解析適合領域が前記複数の染色画像上に表示される。

本発明の態様３は、態様２の解析支援方法であって、前記複数の染色画像のそれぞれの表示倍率は変更可能であり、前記各染色画像の倍率が変更される際に、前記各染色画像上の前記解析適合領域を示す表示も前記各染色画像と共に倍率変更される。

本発明の態様４は、態様１（態様１ないし３のいずれか１つ、であってもよい。）の解析支援方法であって、前記ｄ）工程における判定結果に基づいて、前記解析方法に適合しない分割領域である解析不適合領域が前記複数の染色画像上に表示される。

本発明の態様５は、態様４の解析支援方法であって、前記複数の染色画像のそれぞれの表示倍率は変更可能であり、前記各染色画像の倍率が変更される際に、前記各染色画像上の前記解析不適合領域を示す表示も前記各染色画像と共に倍率変更される。

本発明の態様６は、態様１（態様１ないし５のいずれか１つ、であってもよい。）の解析支援方法であって、前記ｄ）工程における判定結果に基づいて、前記解析方法に対する適否が不明な分割領域である中間領域が前記複数の染色画像上に表示される。

本発明の態様７は、態様６の解析支援方法であって、前記複数の染色画像のそれぞれの表示倍率は変更可能であり、前記各染色画像の倍率が変更される際に、前記各染色画像上の前記中間領域を示す表示も前記各染色画像と共に倍率変更される。

本発明の態様８は、態様１ないし７のいずれか１つの解析支援方法であって、前記ａ）工程と前記ｃ）工程との間において、前記複数の染色画像のそれぞれに対して解像度低下処理を行う工程をさらに備える。

本発明の態様９は、態様８の解析支援方法であって、前記解像度低下処理後の前記複数の染色画像のそれぞれにおいて、前記標本中の細胞の平均直径は画素サイズ以上である。

本発明の態様１０は、態様１ないし７のいずれか１つ（態様１ないし９のいずれか１つ、であってもよい。）の解析支援方法であって、前記ｃ）工程において、前記複数の染色画像のそれぞれの前記均一性レベルの取得に用いられる前記学習済みモデルは共通である。

本発明の態様１１は、態様１ないし７のいずれか１つ（態様１ないし１０のいずれか１つ、であってもよい。）の解析支援方法であって、前記学習済みモデルの生成に使用される学習用画像の前記均一性レベルは、前記学習用画像中の陽性細胞および陰性細胞の輝度値に基づいて決定される。

本発明の態様１２は、標本の染色画像の解析を支援するプログラムであって、前記プログラムがコンピュータによって実行されることにより、ａ）１つの標本に対して複数種類の染色を行って得られた前記複数種類の染色にそれぞれ対応する複数の染色画像を準備する工程と、ｂ）前記複数の染色画像の各染色画像を所定の分割態様にて複数の分割領域に分割する工程と、ｃ）前記各染色画像において、前記複数の分割領域のそれぞれにおける染色状態の均一性を示す均一性レベルを、機械学習により生成された学習済みモデルを用いて取得する工程と、ｄ）前記複数の分割領域の各分割領域について、前記複数の染色画像のそれぞれにおける前記均一性レベルに基づいて所定の解析方法に対する適否を判定する工程と、が行われる。

本発明の態様１３は、標本の染色画像の解析を支援する解析支援装置であって、１つの標本に対して複数種類の染色を行って得られた前記複数種類の染色にそれぞれ対応する複数の染色画像について、各染色画像を所定の分割態様にて複数の分割領域に分割する分割部と、前記各染色画像において、前記複数の分割領域のそれぞれにおける染色状態の均一性を示す均一性レベルを、機械学習により生成された学習済みモデルを用いて取得するレベル取得部と、前記複数の分割領域の各分割領域について、前記複数の染色画像のそれぞれにおける前記均一性レベルに基づいて所定の解析方法に対する適否を判定する判定部と、を備える。

本発明では、複数の染色画像において共通する、解析に適した領域を精度良く提示することができる。

一の実施の形態に係る解析支援装置の構成を示す図である。 解析支援装置の機能を示すブロック図である。 染色画像の一例を示す図である。 染色画像の複数の分割領域を示す図である。 学習用画像の一例を拡大して示す図である。 学習用画像の一例を拡大して示す図である。 解析支援装置における処理の流れを示す図である。 各分割領域のクラス表示の一例を示す図である。 染色画像とマスクとを重ねた画像を示す図である。

図１は、本発明の一の実施の形態に係る解析支援装置１として機能するコンピュータの構成を示す図である。解析支援装置１は、標本の染色画像の解析を支援する装置であり、例えば、生体由来標本の多重免疫染色解析の支援に利用される。

解析支援装置１は、プロセッサ３１と、メモリ３２と、入出力部３３と、バス３４とを備える通常のコンピュータである。バス３４は、プロセッサ３１、メモリ３２および入出力部３３を接続する信号回路である。メモリ３２は、各種情報を記憶する。メモリ３２は、例えば、記憶媒体３０に予め記憶されているプログラムプロダクトであるプログラム３９を読み出して記憶する。記憶媒体３０は、例えば、ＵＳＢメモリやＣＤ－ＲＯＭである。プロセッサ３１は、メモリ３２に記憶される上記プログラム３９等に従って、メモリ３２等を利用しつつ様々な処理（例えば、数値計算）を実行する。入出力部３３は、オペレータからの入力を受け付けるキーボード３５およびマウス３６、並びに、プロセッサ３１からの出力等を表示するディスプレイ３７を備える。入出力部３３は、プロセッサ３１からの出力等を送信する送信部３８も備える。

図２は、解析支援装置１を構成する上記コンピュータによってプログラム３９が実行されることにより実現される機能を示すブロック図である。解析支援装置１は、コンピュータにより実現される機能として、記憶部４０と、画像処理部４１と、分割部４２と、レベル取得部４３と、判定部４４と、表示制御部４５とを備える。記憶部４０は、主にメモリ３２（図１参照）により実現され、多重免疫染色解析等に使用される複数の染色画像等を格納する。

図３は、記憶部４０に格納される染色画像９の一例を示す図である。図３に例示する染色画像９では、染色された略矩形状の１つの標本９１が示されている。標本９１は、例えば、多重免疫染色解析等の所定の解析方法にて解析される生体由来標本である。標本９１のうち、図３中の略中央の領域（すなわち、矩形枠９２にて囲む領域）では染色状態が均一であり、当該領域９２は解析に適した領域である。なお、領域９２は、染色画像９の解析が行われる際の解析視野に比べて大きい。図３中では、染色画像９の右下の領域に、解析視野のサイズを示す矩形９５を示す。

図３に例示する標本９１のうち、図３中の左上の領域（すなわち、矩形枠９３にて囲む領域）では、染色状態が均一ではなくグラデーション様を示しているが、単位距離当たりの濃度の変化（すなわち、濃度勾配）は比較的小さい。したがって、染色画像９を用いて行われる解析の種類によって、領域９３が解析に適しているか否かの判断は分かれる。標本９１のうち、図３中の右端の領域（すなわち、矩形枠９４にて囲む領域）では、染色状態が均一ではなくグラデーション様を示しており、濃度勾配が比較的大きい。したがって、領域９４は、解析に適していない領域である。

図２に示す画像処理部４１、分割部４２、レベル取得部４３、判定部４４および表示制御部４５は、主にプロセッサ３１（図１参照）により実現される。画像処理部４１は、標本９１の染色状態が均一であるか否かを強調する前処理を染色画像９に対して行う。当該前処理は、例えば解像度低下処理である。

分割部４２は、染色画像９を所定の分割態様にて複数の分割領域に分割する。図４は、複数の分割領域９６に分割された染色画像９を示す図である。図４に示す例では、染色画像９は、縦方向および横方向に配列された（すなわち、マトリクス状に配置された）複数の略矩形状の分割領域９６に分割される。分割領域９６は、例えば、１辺が２５６ｐｉｘｅｌの正方形である。図４では、縦方向に６個の分割領域９６が並び、横方向に１０個の分割領域９６が並ぶ。なお、染色画像９の分割態様は、図４に示すものには限定されず、様々に変更されてよい。例えば、染色画像９は、図４に示す分割領域９６とは異なる大きさの略矩形状の分割領域に分割されてもよい。また、各分割領域９６の形状は略矩形状には限定されず、様々に変更されてよい。

図２に示すレベル取得部４３は、各分割領域９６の染色状態の均一性を示す均一性レベルを、機械学習の一種であるディープラーニングにより生成された学習済みモデルを用いて取得する。分割領域９６の均一性レベルは、例えば、分割領域９６の染色状態が上述の領域９２のように均一である場合、「レベル０」とされる。また、分割領域９６の染色状態が、上述の領域９３のようにグラデーション様であるが濃度勾配が小さい場合、分割領域９６の均一性レベルは「レベル１」とされる。分割領域９６の染色状態が、上述の領域９４のようにグラデーション様であって濃度勾配が大きい場合、分割領域９６の均一性レベルは「レベル２」とされる。当該例では、レベルの数値が大きくなるに従って、分割領域９６の染色状態の均一性が低下し、解析への適合性も低下する。

上述の学習済みモデルは、例えば、解析支援装置１以外の装置により予め生成され、解析支援装置１の記憶部４０に予め記憶される。当該学習済みモデルの生成は、様々な染色画像９における様々な染色状態の領域を撮像して得られた多数の学習用画像を用いて、各学習用画像と均一性レベルとの関係を示す学習用データをディープラーニングによって初期モデルに学習させることにより行われる。学習用画像として、例えば、標本９１の染色画像９から一部を切り出すことにより得られた画像、および、当該画像を回転させたものや反転させたもの等が用いられる。切り出される学習用画像の形状および大きさは、分割領域９６と同じであってもよく、異なっていてもよい。学習用画像は、多重免疫染色解析等に用いられる複数種類の染色にぞれぞれ対応する複数の染色画像９から取得されてもよい。また、学習用画像は、複数の標本９１にそれぞれ対応する複数の染色画像９から取得されてもよい。学習用画像として、例えば、上述の解析に用いられる染色画像９以外の画像が用いられてもよい。なお、上記学習済みモデルは、ディープラーニング以外の機械学習により生成されてもよい。

解析支援装置１は、図２に示すように、コンピュータによってプログラム３９（図１参照）が実行されることにより実現される機能として、上記学習済みモデルを生成する学習部４６をさらに備えていてもよい。学習部４６は、主にプロセッサ３１により実現される。学習部４６は、上述の多数の学習用データを用いて、初期モデルに対してディープラーニング等の機械学習を行うことにより、上記学習済みモデルを生成する。当該機械学習に用いられる学習用画像は、例えば、解析支援装置１に設けられた撮像装置、または、解析支援装置１とは独立した撮像装置を用いて予め取得され、解析支援装置１の記憶部４０に格納される。

学習部４６における機械学習に用いられる学習用データは、学習用画像と、当該学習用画像の均一性レベルを示すレベルとが、オペレータにより関連付けられることにより作成される。例えば、オペレータは、学習用画像を拡大し、隣接する陽性細胞と陰性細胞との染まり方を比較する。通常、陽性細胞は濃く染色され、陰性細胞は薄く染色される（または、染色されない）ため、隣接する陽性細胞と陰性細胞とで濃度の差（すなわち、輝度値の差）が明確であれば、染色状態が均一と判断され、当該学習用画像の染色状態の均一性レベルはレベル０とされる。

一方、学習用画像の濃度が薄い領域における陽性細胞の濃度が、濃度が濃い領域における陰性細胞の濃度よりも薄い場合、または、同程度である場合、当該学習用画像の染色状態はグラデーション様を示すと判断される。そして、当該学習用画像において、上述の解析視野９５に相当する領域を切り出し、当該領域に濃淡が存在する場合、グラデーション様の濃度勾配が大きいと判断され、当該学習用画像の染色状態の均一性レベルはレベル２とされる。また、切り出された領域に濃淡が実質的に存在しない場合、グラデーション様の濃度勾配は比較的小さいと判断され、当該学習用画像の染色状態の均一性レベルはレベル１とされる。このように、上記学習済みモデルの生成に使用される学習用画像の染色状態の均一性レベルは、学習用画像中の陽性細胞および陰性細胞の濃度（すなわち、輝度値）に基づいて決定される。

図５は、レベル０と判断される学習用画像８１の一例を拡大して示す図である。学習用画像８１中の多数の円環８２ａ，８２ｂは、それぞれ細胞を示す。図５中において、破線にて輪郭を描いている細胞８２ａは陰性細胞を示す。また、実線にて輪郭を描いている細胞８２ｂは陽性細胞を示す。図５に示す例では、陰性細胞および陽性細胞は正常に染色されている。陽性細胞は、濃く染色されており、陰性細胞は、薄く染色されている（または、実質的に染色されていない）。図５では、陽性細胞８２ｂに平行斜線を付し、陰性細胞８２ａには平行斜線を付していない。

図５に例示する学習用画像８１の上部は、陰性細胞８２ａが密集しているため、学習用画像８１を拡大していない状態では、全体的に濃度が薄く見える。学習用画像８１の下部は、陽性細胞８２ｂが密集しているため、学習用画像８１を拡大していない状態では、全体的に濃度が濃く見える。また、学習用画像８１の上下方向の中央部は、陽性細胞８２ｂがまばらに存在するため、学習用画像８１を拡大していない状態では、全体的に中間的な濃度に見える。したがって、当該学習用画像８１は、拡大していない状態ではグラデーション様を示すように見えるが、図５に示すように拡大すると、隣接する陽性細胞８２ｂと陰性細胞８２ａとの濃度差が明確であるため、上述のように、染色状態の均一性レベルはレベル０とされる。

図６は、レベル１またはレベル２と判断される学習用画像８１の一例を拡大して示す図である。図６では、破線にて示す陰性細胞８２ａおよび実線にて示す陽性細胞８２ｂに付している平行斜線の密度は、染色された細胞の濃度を示し、平行斜線の密度が高い程、濃度が濃いことを示す。図６に例示する学習用画像８１の上部は、染色が不足している淡色領域であり、学習用画像８１の下部は、染色が過剰な濃色領域である。したがって、図６に例示する学習用画像８１は、拡大していない状態ではグラデーション様を示す。図６に例示する学習用画像８１では、上部の淡色領域における陽性細胞８２ｂの濃度が、下部の濃色領域における陰性細胞８２ａの濃度と同程度である。したがって、学習用画像８１は実際にグラデーション様を示していると判断され、染色状態の均一性レベルはレベル１またはレベル２とされる。

判定部４４は、図４に示す複数の分割領域９６のそれぞれについて、レベル取得部４３により取得された染色状態の均一性レベルに基づいて、多重免疫染色解析等の所定の解析方法に対する適否を判定する。表示制御部４５は、判定部４４による判定結果をディスプレイ３７上に表示する。

次に、解析支援装置１における処理の流れを図７を参照しつつ説明する。解析支援装置１では、まず、複数の染色画像９が記憶部４０に格納されることにより準備される（ステップＳ１１）。複数の染色画像９は、１つの標本９１対して、所定の解析方法（例えば、多重免疫染色解析）に対応する複数種類（例えば、９種類）の染色を行って撮像することにより得られる。複数の染色画像９は、上述の複数種類の染色にそれぞれ対応する。標本９１は、例えば、スライドガラス標本である。標本９１の厚さは、例えば４μｍ以下である。各染色画像９は、例えば、免疫染色された１つの標本９１の全体が撮像されたものである。染色画像９の解像度は、例えば０．４６μｍ／ｐｉｘｅｌ程度である。染色画像９において標本９１に含まれる細胞の直径は、１０～３０ｐｉｘｅｌ程度である。

続いて、画像処理部４１により、複数の染色画像９のそれぞれに対して、上述の前処理が行われる（ステップＳ１２）。ステップＳ１２では、染色画像９中の個々の細胞の境界が曖昧になるように、染色画像９に対する前処理が行われる。ただし、当該前処理は、染色画像９中において濃度の濃い領域が、陽性細胞８２ｂの集団（図５参照）であるか、それとも染色が過剰な濃色領域（図６参照）であるかを判断できるように、個々の細胞の有無が視認できる範囲内で行われる。

当該前処理は、例えば、各染色画像９の解像度を低下させる解像度低下処理である。解像度低下処理では、例えば、解像度が１／４程度になるように各染色画像９が処理される。好ましくは、解像度低下処理後の複数の染色画像９のそれぞれにおいて、標本９１中の細胞（すなわち、陰性細胞および陽性細胞）の平均直径は、画素サイズ以上である。当該画素サイズとは、解像度低下処理後の染色画像９における１画素の１辺の長さである。また、細胞の平均直径とは、標本９１中の全細胞の直径の算術平均である。なお、上記前処理は、解像度低下処理には限定されず、様々に変更されてよい。例えば、フィルタ等を用いたぼかし処理が前処理として各染色画像９に対して行われてもよい。

次に、分割部４２により、複数の染色画像９のそれぞれが、所定の分割態様にて複数の分割領域９６（図４参照）に分割される（ステップＳ１３）。複数の染色画像９の分割態様は同じであり、一の染色画像９における複数の分割領域９６の形状および位置は、他の染色画像９においても同じである。なお、ステップＳ１３は、上述のステップＳ１２と並行して行われてもよく、ステップＳ１１とステップＳ１２との間に行われてもよい。すなわち、ステップＳ１２，Ｓ１３は、ステップＳ１１と後述するステップＳ１４との間に行われる。

ステップＳ１１～Ｓ１３が終了すると、各染色画像９において、複数の分割領域９６のそれぞれにおける染色状態の均一性を示す均一性レベルが、レベル取得部４３により取得される（ステップＳ１４）。レベル取得部４３による各分割領域９６の均一性レベルの取得は、上述のように、ディープラーニング等の機械学習により生成された学習済みモデルを用いて行われる。これにより、オペレータの熟練度等に影響されることなく、各分割領域９６の均一性レベルを精度良く取得することができる。

ステップＳ１４では、例えば、複数の染色画像９のそれぞれの均一性レベルの取得に用いられる学習済みモデルが共通である。この場合、当該学習済みモデルの生成に用いられる学習用画像には、例えば、上述の複数の染色画像９からそれぞれ取得された画像が含まれる。学習済みモデルが複数の染色画像９で共通とされることにより、染色画像９の種類毎に学習済みモデルを変更する場合等に比べて、ステップＳ１４を迅速に行うことができる。

続いて、図４に例示される複数の分割領域９６の各分割領域９６について、上述の所定の解析方法に対する適否が判定部４４により判定される（ステップＳ１５）。ステップＳ１５では、各分割領域９６が当該所定の解析方法における利用に適合しているか否かが、複数の染色画像９のそれぞれにおいて取得された均一性レベルに基づいて判定される。

具体的には、一の分割領域９６について、複数の染色画像９のそれぞれにおいて取得された均一性レベルが判定部４４によって確認される。そして、例えば、複数の染色画像９の全てにおける均一性レベルがレベル０である場合、当該一の分割領域９６は、染色状態が全染色画像９において均一であって上記所定の解析方法に適合する解析適合領域であることを示す「クラス０」に分類される。また、複数の染色画像９のそれぞれにおいて取得された均一性レベルに、１つ以上のレベル２が含まれている場合、当該一の分割領域９６は、染色状態が不均一であって上記所定の解析方法に適合しない解析不適合領域であることを示す「クラス２」に分類される。一方、複数の染色画像９のそれぞれにおいて取得された均一性レベルに、１つ以上のレベル１が含まれており、かつ、レベル２が含まれていない場合、当該一の分割領域９６は、染色状態が少し不均一であって上記所定の解析方法に適合するか否かが不明な中間領域であることを示す「クラス１」に分類される。

ステップＳ１５では、複数の分割領域９６について上述のクラス分類が順次行われ、各分割領域９６のクラスが決定される。なお、上述のクラス分類の基準は様々に変更されてよい。例えば、一の分割領域９６について、複数の染色画像９のそれぞれにおいて取得された均一性レベルに含まれるレベル２の数が０であり、レベル１の数が１以下である場合、当該一の分割領域９６がクラス０に分類され、レベル２の数が１以上である場合はクラス２に分類され、それ以外の場合はクラス１に分類されてもよい。

ステップＳ１５が終了すると、ステップＳ１５における判定結果に基づいて、各分割領域９６のクラスが表示制御部４５によってディスプレイ３７に表示される（ステップＳ１６）。図８は、ディスプレイ３７上における各分割領域のクラス表示の一例を示す図である。図８では、上述の所定の解析方法に適合する分割領域である解析適合領域９６ａ（すなわち、クラス０の分割領域９６）は、平行斜線を付さずに示す。また、当該所定の解析方法に適合しない解析不適合領域９６ｃ（すなわち、クラス２の分割領域９６）は、比較的密度の高い平行斜線を付して示す。そして、当該所定の解析方法に対する適否が不明な中間領域９６ｂ（すなわち、クラス１の分割領域９６）は、解析不適合領域９６ｃに比べて密度の低い平行斜線を付して示す。これにより、染色画像９における解析に適した領域、解析に適していない領域、および、解析に対する適否が不明な領域を、オペレータが容易に視認することができる。以下の説明では、それぞれのクラスが視認可能に表示された複数の分割領域９６の画像を「マスク９７」とも呼ぶ。図８に示す例では、マスク９７の下方に凡例が表示されている（図９においても同様）。

図９は、ディスプレイ３７上において、マスク９７を一の染色画像９上に重ねて（すなわち、オーバーレイして）表示したものである。これにより、オペレータは、染色画像９における解析に適した領域、解析に適していない領域、および、解析に対する適否が不明な領域を、さらに容易に視認することができる。

図９では、染色画像９のうち、解析不適合領域９６ｃと重なる領域において標本９１が最も視認しにくく、解析適合領域９６ａと重なる領域において標本９１が最も視認しやすい。また、染色画像９のうち中間領域９６ｂと重なる領域では、標本９１は、解析不適合領域９６ｃと重なる領域よりは視認しやすく、解析適合領域９６ａと重なる領域よりは視認しにくい。換言すれば、染色画像９のうち解析不適合領域９６ｃは最も視認しにくいようにマスクされ、解析適合領域９６ａは最も視認しやすいように複数の分割領域９６から抽出されている。これにより、染色画像９を用いた解析において、オペレータが染色画像９上に解析視野９５（図３参照）を設定する際に、解析視野９５を解析適合領域９６ａ上に容易に設定することができる。

解析支援装置１では、上述の複数の染色画像９のそれぞれに、解析適合領域９６ａ、中間領域９６ｂおよび解析不適合領域９６ｃを重ねて表示することができる。ディスプレイ３７上には、解析適合領域９６ａ、中間領域９６ｂおよび解析不適合領域９６ｃが重ねられた１つの染色画像９が表示されてもよく、解析適合領域９６ａ、中間領域９６ｂおよび解析不適合領域９６ｃがそれぞれ重ねられた２以上の染色画像９が同時に表示されてもよい。

なお、実際のディスプレイ３７上では、解析適合領域９６ａ、中間領域９６ｂおよび解析不適合領域９６ｃは、例えば、図８のように互いに異なるハッチング態様によって区別可能に表示されてもよく、互いに異なる色に着色されることによって区別可能に表示されてもよい。また、解析適合領域９６ａ、中間領域９６ｂおよび解析不適合領域９６ｃは、ハッチングや色以外の様々な方法により、ディスプレイ３７上にて区別可能に表示されてもよい。

解析支援装置１では、ディスプレイ３７上に表示される各染色画像９の表示倍率は、表示制御部４５（図２参照）によって変更可能である。各染色画像９の表示倍率が変更される際には、各染色画像９上の解析適合領域９６ａ、中間領域９６ｂおよび解析不適合領域９６ｃを示す表示も、表示制御部４５によって各染色画像９と共に倍率変更される。

なお、ステップＳ１６では、マスク９７は必ずしも染色画像９に重ねて表示される必要はなく、図８に示すように、マスク９７単独でディスプレイ３７に表示されてもよい。また、ステップＳ１６では、解析適合領域９６ａ、中間領域９６ｂおよび解析不適合領域９６ｃのうち、１種類または２種類の領域のみが、染色画像９に重ねて、または、重ねずにディスプレイ３７に選択的に表示されてもよい。

また、ディスプレイ３７上には、マスク９７とは異なる他のマスクが、染色画像９に重ねて、または、重ねずに表示されてもよい。例えば、一の染色画像９の各分割領域９６の均一性レベルを示すマスクが、当該染色画像９に重ねて表示されてもよい。当該マスクでは、例えば、レベル０の分割領域９６には平行斜線を付さず、レベル２の分割領域９６には比較的密度の高い平行斜線を付し、レベル１の分割領域９６には、レベル２の分割領域９６に比べて密度の低い平行斜線を付す。これにより、当該染色画像９において解析に適している領域、解析に適していない領域、および、解析に対する適否が不明な領域をオペレータに分かり易く提示することができる。

上述の解析支援装置１による解析支援方法では、ステップＳ１５においてクラス１が省略され、各分割領域９６はクラス０またはクラス２に分類されてもよい。例えば、一の分割領域９６について、複数の染色画像９のそれぞれにおいて取得された均一性レベルが全てレベル０である場合、当該一の分割領域９６は解析適合領域を示すクラス０に分類され、それ以外の場合は、解析不適合領域を示すクラス２に分類されてもよい。当該クラス分類の基準は様々に変更されてよい。例えば、一の分割領域９６について、複数の染色画像９のそれぞれにおいて取得された均一性レベルに含まれるレベル２の数が０であり、レベル１の数が２以下である場合、当該一の分割領域９６がクラス０に分類され、それ以外の場合はクラス２に分類されてもよい。

以上に説明したように、標本９１の染色画像９の解析を支援する上述の解析支援方法は、１つの標本９１に対して複数種類の染色を行って得られた、当該複数種類の染色にそれぞれ対応する複数の染色画像９を準備する工程（ステップＳ１１）と、複数の染色画像９の各染色画像９を所定の分割態様にて複数の分割領域９６に分割する工程（ステップＳ１３）と、各染色画像９において、複数の分割領域９６のそれぞれにおける染色状態の均一性を示す均一性レベルを、機械学習により生成された学習済みモデルを用いて取得する工程（ステップＳ１４）と、複数の分割領域９６の各分割領域９６について、複数の染色画像９のそれぞれにおける均一性レベルに基づいて所定の解析方法に対する適否を判定する工程（ステップＳ１５）と、を備える。

これにより、上述のように、複数の染色画像９における各分割領域９６について、染色状態の均一性レベルを精度良く取得することができる。したがって、各分割領域９６について、解析に対する適否を精度良く判定することができる。その結果、複数の染色画像９において共通する、解析に適した領域を精度良く提示することができる。

上述のように、当該解析支援方法では、ステップＳ１５における判定結果に基づいて、上記解析方法に適合する分割領域９６である解析適合領域９６ａが、複数の染色画像９上に表示されることが好ましい。これにより、解析を行うオペレータ等が、染色画像９における解析に適した領域を容易に視認することができ、当該領域に解析視野９５を容易に設定することができる。その結果、複数の染色画像９を用いた解析の精度を向上することができる。

上述のように、当該解析支援方法では、複数の染色画像９のそれぞれの表示倍率は変更可能であり、各染色画像９の倍率が変更される際に、各染色画像９上の解析適合領域９６ａを示す表示も、各染色画像９と共に倍率変更されることが好ましい。これにより、染色画像９の表示倍率を変更した際であっても、オペレータ等は、染色画像９における解析に適した領域を容易に視認することができる。

上述のように、当該解析支援方法では、ステップＳ１５における判定結果に基づいて、上記解析方法に適合しない分割領域９６である解析不適合領域９６ｃが、複数の染色画像９上に表示されることが好ましい。これにより、解析を行うオペレータ等が、染色画像９における解析に適合しない領域を容易に視認することができ、当該領域を避けて解析視野９５を容易に設定することができる。その結果、複数の染色画像９を用いた解析の精度を向上することができる。

上述のように、当該解析支援方法では、複数の染色画像９のそれぞれの表示倍率は変更可能であり、各染色画像９の倍率が変更される際に、各染色画像９上の解析不適合領域９６ｃを示す表示も、各染色画像９と共に倍率変更されることが好ましい。これにより、染色画像９の表示倍率を変更した際であっても、オペレータ等は、染色画像９における解析に適合しない領域を容易に視認することができる。

上述のように、当該解析支援方法では、ステップＳ１５における判定結果に基づいて、上記解析方法に対する適否が不明な分割領域９６である中間領域９６ｂが、複数の染色画像９上に表示されることが好ましい。これにより、解析を行うオペレータ等が、染色画像９における解析に対する適否が不明な領域を容易に視認することができる。このため、当該領域が使用可能な解析が行われる場合、染色画像９上において解析視野９５の設定が可能な範囲を大きくすることができ、その結果、解析の自由度を向上することができる。また、当該領域が使用不能な解析が行われる場合、当該領域を避けて解析視野９５を容易に設定することができ、その結果、解析の精度を向上することができる。

上述のように、当該解析支援方法では、複数の染色画像９のそれぞれの表示倍率は変更可能であり、各染色画像９の倍率が変更される際に、各染色画像９上の中間領域９６ｂを示す表示も、各染色画像９と共に倍率変更されることが好ましい。これにより、染色画像９の表示倍率を変更した際であっても、オペレータ等は、染色画像９において解析に対する適否が不明な領域を容易に視認することができる。

上述のように、当該解析支援方法は、ステップＳ１１とステップＳ１４との間において、複数の染色画像９のそれぞれに対して解像度低下処理を行う工程（ステップＳ１２）をさらに備えることが好ましい。これにより、ステップＳ１４における均一性レベルの取得を精度良く行うことができる。

上述のように、解像度低下処理後の複数の染色画像９のそれぞれにおいて、標本９１中の細胞の平均直径は画素サイズ以上であることが好ましい。このように、細胞を個別に判別できる程度の解像度低下処理を行うことで、ステップＳ１４における均一性レベルの取得を好適に行うことができる。

上述のように、ステップＳ１４において、複数の染色画像９のそれぞれの均一性レベルの取得に用いられる学習済みモデルは共通であることが好ましい。これにより、染色画像９の種類毎に学習済みモデルを変更する場合等に比べて、ステップＳ１４を迅速に行うことができる。また、複数の染色画像９に対応する学習済みモデルの生成に要する時間および労力を低減できる可能性もある。

上述のように、学習済みモデルの生成に使用される学習用画像８１の均一性レベルは、学習用画像８１中の陽性細胞８２ｂおよび陰性細胞８２ａの輝度値に基づいて決定されることが好ましい。これにより、学習済みモデルの生成を好適に行うことができる。

上述のように、プログラム３９がコンピュータによって実行されることにより、１つの標本９１に対して複数種類の染色を行って得られた、当該複数種類の染色にそれぞれ対応する複数の染色画像９を準備する工程（ステップＳ１１）と、複数の染色画像９の各染色画像９を所定の分割態様にて複数の分割領域９６に分割する工程（ステップＳ１３）と、各染色画像９において、複数の分割領域９６のそれぞれにおける染色状態の均一性を示す均一性レベルを、機械学習により生成された学習済みモデルを用いて取得する工程（ステップＳ１４）と、複数の分割領域９６の各分割領域９６について、複数の染色画像９のそれぞれにおける均一性レベルに基づいて所定の解析方法に対する適否を判定する工程（ステップＳ１５）と、が行われる。これにより、上記と同様に、複数の染色画像９において共通する、解析に適した領域を精度良く提示することができる。

上述の解析支援装置１は、１つの標本９１に対して複数種類の染色を行って得られた、当該複数種類の染色にそれぞれ対応する複数の染色画像９について、各染色画像９を所定の分割態様にて複数の分割領域９６に分割する分割部４２と、各染色画像９において、複数の分割領域９６のそれぞれにおける染色状態の均一性を示す均一性レベルを、機械学習により生成された学習済みモデルを用いて取得するレベル取得部４３と、複数の分割領域９６の各分割領域９６について、複数の染色画像９のそれぞれにおける均一性レベルに基づいて所定の解析方法に対する適否を判定する判定部４４と、を備える。これにより、上記と同様に、複数の染色画像９において共通する、解析に適した領域を精度良く提示することができる。

上述の解析支援方法、プログラム３９および解析支援装置１では、様々な変更が可能である。

例えば、上述の学習済みモデルの生成に使用される学習用画像８１の染色状態の均一性レベルは、必ずしも、学習用画像８１中の陽性細胞８２ｂおよび陰性細胞８２ａの輝度値に基づいて決定される必要はなく、他の様々な基準に基づいて決定されてもよい。

ステップＳ１４では、複数の染色画像９のそれぞれの均一性レベルの取得に用いられる学習済みモデルは、必ずしも共通である必要はない。例えば、複数の染色画像９のそれぞれに対して、専用の学習済みモデルが用いられてもよい。あるいは、複数の染色画像９のうち一部の２以上の染色画像９についてのみ、学習済みモデルが共通であってもよい。

上記例では、各分割領域９６の解析に対する適合性を示すクラスは、０，１，２の３つに分類されているが、さらに細かく分類されてもよい。例えば、複数の染色画像９の数が９である場合、一の分割領域９６について、複数の染色画像９のそれぞれにおいて取得された均一性レベルが全てレベル０である場合、当該一の分割領域９６はクラス０に分類され、複数の染色画像９のそれぞれにおいて取得された均一性レベルに含まれるレベル２の数が０であり、レベル１の数が１である場合、当該一の分割領域９６は「クラス０．２」に分類される。また、複数の染色画像９のそれぞれにおいて取得された均一性レベルに含まれるレベル２の数が０であり、レベル１の数が２である場合、当該一の分割領域９６は「クラス０．４」に分類され、レベル２の数が０であり、レベル１の数が３である場合、当該一の分割領域９６は「クラス０．６」に分類され、レベル２の数が０であり、レベル１の数が４である場合、当該一の分割領域９６は「クラス０．８」に分類される。そして、複数の染色画像９のそれぞれにおいて取得された均一性レベルに含まれるレベル２の数が０であり、レベル１の数が５以上である場合、当該一の分割領域９６はクラス１に分類され、レベル２の数が１以上である場合、当該一の分割領域９６はクラス２に分類される。

ステップＳ１２では、解像度低下処理後の複数の染色画像９のそれぞれにおいて、標本９１中の細胞の平均直径は、画素サイズ未満であってもよい。また、上述のように、ステップＳ１２では、解像度低下処理以外の前処理が、解像度低下処理に代えて、または、解像度低下処理に加えて行われてもよい。

上述の解析支援方法、プログラム３９および解析支援装置１は、必ずしも多重免疫染色解析の支援に利用される必要はなく、多重免疫染色解析以外の様々な解析の支援に利用されてよい。また、標本９１は、必ずしも生体由来標本である必要はなく、他の標本であってもよい。

上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。

１ 解析支援装置
９ 染色画像
３９ プログラム
４２ 分割部
４３ レベル取得部
４４ 判定部
８１ 学習用画像
８２ａ 陰性細胞
８２ｂ 陽性細胞
９１ 標本
９６ 分割領域
９６ａ 解析適合領域
９６ｂ 中間領域
９６ｃ 解析不適合領域
Ｓ１１～Ｓ１６ ステップ

Claims (13)

1. 標本の染色画像の解析を支援する解析支援方法であって、
   ａ）１つの標本に対して複数種類の染色を行って得られた前記複数種類の染色にそれぞれ対応する複数の染色画像を準備する工程と、
   ｂ）前記複数の染色画像の各染色画像を所定の分割態様にて複数の分割領域に分割する工程と、
   ｃ）前記各染色画像において、前記複数の分割領域のそれぞれにおける染色状態の均一性を示す均一性レベルを、機械学習により生成された学習済みモデルを用いて取得する工程と、
   ｄ）前記複数の分割領域の各分割領域について、前記複数の染色画像のそれぞれにおける前記均一性レベルに基づいて所定の解析方法に対する適否を判定する工程と、
   を備える解析支援方法。
2. 請求項１に記載の解析支援方法であって、
   前記ｄ）工程における判定結果に基づいて、前記解析方法に適合する分割領域である解析適合領域が前記複数の染色画像上に表示されることを特徴とする解析支援方法。
3. 請求項２に記載の解析支援方法であって、
   前記複数の染色画像のそれぞれの表示倍率は変更可能であり、
   前記各染色画像の倍率が変更される際に、前記各染色画像上の前記解析適合領域を示す表示も前記各染色画像と共に倍率変更されることを特徴とする解析支援方法。
4. 請求項１に記載の解析支援方法であって、
   前記ｄ）工程における判定結果に基づいて、前記解析方法に適合しない分割領域である解析不適合領域が前記複数の染色画像上に表示されることを特徴とする解析支援方法。
5. 請求項４に記載の解析支援方法であって、
   前記複数の染色画像のそれぞれの表示倍率は変更可能であり、
   前記各染色画像の倍率が変更される際に、前記各染色画像上の前記解析不適合領域を示す表示も前記各染色画像と共に倍率変更されることを特徴とする解析支援方法。
6. 請求項１に記載の解析支援方法であって、
   前記ｄ）工程における判定結果に基づいて、前記解析方法に対する適否が不明な分割領域である中間領域が前記複数の染色画像上に表示されることを特徴とする解析支援方法。
7. 請求項６に記載の解析支援方法であって、
   前記複数の染色画像のそれぞれの表示倍率は変更可能であり、
   前記各染色画像の倍率が変更される際に、前記各染色画像上の前記中間領域を示す表示も前記各染色画像と共に倍率変更されることを特徴とする解析支援方法。
8. 請求項１ないし７のいずれか１つに記載の解析支援方法であって、
   前記ａ）工程と前記ｃ）工程との間において、前記複数の染色画像のそれぞれに対して解像度低下処理を行う工程をさらに備えることを特徴とする解析支援方法。
9. 請求項８に記載の解析支援方法であって、
   前記解像度低下処理後の前記複数の染色画像のそれぞれにおいて、前記標本中の細胞の平均直径は画素サイズ以上であることを特徴とする解析支援方法。
10. 請求項１ないし７のいずれか１つに記載の解析支援方法であって、
    前記ｃ）工程において、前記複数の染色画像のそれぞれの前記均一性レベルの取得に用いられる前記学習済みモデルは共通であることを特徴とする解析支援方法。
11. 請求項１ないし７のいずれか１つに記載の解析支援方法であって、
    前記学習済みモデルの生成に使用される学習用画像の前記均一性レベルは、前記学習用画像中の陽性細胞および陰性細胞の輝度値に基づいて決定されることを特徴とする解析支援方法。
12. 標本の染色画像の解析を支援するプログラムであって、
    前記プログラムがコンピュータによって実行されることにより、
    ａ）１つの標本に対して複数種類の染色を行って得られた前記複数種類の染色にそれぞれ対応する複数の染色画像を準備する工程と、
    ｂ）前記複数の染色画像の各染色画像を所定の分割態様にて複数の分割領域に分割する工程と、
    ｃ）前記各染色画像において、前記複数の分割領域のそれぞれにおける染色状態の均一性を示す均一性レベルを、機械学習により生成された学習済みモデルを用いて取得する工程と、
    ｄ）前記複数の分割領域の各分割領域について、前記複数の染色画像のそれぞれにおける前記均一性レベルに基づいて所定の解析方法に対する適否を判定する工程と、
    が行われることを特徴とするプログラム。
13. 標本の染色画像の解析を支援する解析支援装置であって、
    １つの標本に対して複数種類の染色を行って得られた前記複数種類の染色にそれぞれ対応する複数の染色画像について、各染色画像を所定の分割態様にて複数の分割領域に分割する分割部と、
    前記各染色画像において、前記複数の分割領域のそれぞれにおける染色状態の均一性を示す均一性レベルを、機械学習により生成された学習済みモデルを用いて取得するレベル取得部と、
    前記複数の分割領域の各分割領域について、前記複数の染色画像のそれぞれにおける前記均一性レベルに基づいて所定の解析方法に対する適否を判定する判定部と、
    を備えることを特徴とする解析支援装置。

Images