JP7414753B2

JP7414753B2 - 組織画像解析装置及び組織画像解析方法

Info

Publication number: JP7414753B2
Application number: JP2021022455A
Authority: JP
Inventors: 喬之神田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2021-02-16
Filing date: 2021-02-16
Publication date: 2024-01-16
Anticipated expiration: 2041-02-16
Also published as: US20220262040A1; JP2022124681A

Description

本発明は、組織画像を解析する組織画像解析装置及び組織画像解析方法に関する。

特許文献１には、組織を撮像した画像である組織画像の構成を判定するために、組織画像を異なる基準値で二値化して生成された各二値化画像において算出される穴領域の数と、基準値との対応関係を特徴づける特徴数に応じた情報を出力することが開示されている。

特許第６４８３８２６号公報

しかしながら特許文献１では、組織画像に含まれる複数の領域の間の関係、例えば合金の電子顕微鏡画像に含まれる個別の相同士の関係を定量化することに対する配慮がなされておらず、個々の領域の解析に留まっている。

そこで本発明の目的は、組織画像に含まれる複数の領域の間の関係を定量化することが可能な組織画像解析装置および組織画像解析方法を提供することである。

上記目的を達成するために本発明は、組織画像を解析する組織画像解析装置であって、前記組織画像から第一領域と第二領域を抽出し、前記第一領域と前記第二領域とを膨張させる領域処理部と、前記第一領域と前記第二領域が膨張する毎に両者の重複領域を抽出する重複領域抽出部と、前記重複領域によって生成され消滅する穴領域に基づいてパーシステント図を生成するパーシステント図生成部とを備えることを特徴とする。

また本発明は、組織画像を解析する組織画像解析方法であって、前記組織画像から第一領域と第二領域を抽出し、前記第一領域と前記第二領域とを膨張させる領域処理ステップと、前記第一領域と前記第二領域が膨張する毎に両者の重複領域を抽出する重複領域抽出ステップと、前記重複領域によって生成され消滅する穴領域に基づいてパーシステント図を生成するパーシステント図生成ステップとを備えることを特徴とする。

本発明によれば、組織画像に含まれる複数の領域の間の関係を定量化することが可能な画像解析装置および画像解析方法を提供することができる。

組織画像解析装置のハードウェア構成を示す図実施例１の機能ブロック図実施例１の処理の流れの一例を示す図各領域の抽出処理及び膨張処理について補足説明する図実施例１のパーシステント図の一例を示す図実施例１のパーシステント図について説明する図実施例１の入出力画面の一例を示す図実施例２について補足説明する図実施例３について補足説明する図

以下、添付図面に従って本発明に係る組織画像解析装置及び組織画像解析方法の実施例について説明する。なお、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。同一あるいは同様な機能を有する要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。

本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。

以下で詳細に説明される実施例の一つの特徴は、複数の相の形態的な関係性を解析するために、複数の画像間での演算を行い、それについてパーシステントホモロジー解析を行う点にある。

図１は組織画像解析装置１のハードウェア構成を示す図である。組織画像解析装置１は、プロセッサ２、メモリ３、記憶装置４、ネットワークアダプタ５がシステムバス６によって信号送受可能に接続されて構成される。また組織画像解析装置１は、ネットワーク９を介して組織画像撮像装置１０や組織画像データベース１１と信号送受可能に接続されるとともに、表示装置７と入力装置８が接続される。ここで、「信号送受可能に」とは、電気的、光学的に有線、無線を問わずに、相互にあるいは一方から他方へ信号送受可能な状態を示す。

プロセッサ２は、各構成要素の動作を制御したり、記憶装置４に格納されるプログラムを実行したりする装置である。メモリ３は、プロセッサ２が実行するプログラムや演算処理の途中経過を記憶するものである。記憶装置４は、プロセッサ２が実行するプログラムやプログラムの実行に必要なデータを格納する装置であり、具体的にはＨＨＤ(Hard Disk Drive)やＳＳＤ(Solid state Drive)等である。ネットワークアダプタ５は、組織画像解析装置１をＬＡＮ、電話回線、インターネット等のネットワーク９に接続するためのものである。プロセッサ２が扱う各種データはＬＡＮ(Local Area Network)等のネットワーク９を介して組織画像解析装置１の外部と送受信されても良い。

表示装置７は、組織画像解析装置１の解析結果等を表示する装置であり、具体的には液晶ディスプレイやタッチパネル等である。入力装置８は、操作者が組織画像解析装置１に対して操作指示を行う操作デバイスであり、具体的にはキーボードやマウス、タッチパネル等である。マウスの代わりにトラックパッドやトラックボール等のポインティングデバイスが用いられても良い。

組織画像撮像装置１０は、組織画像を撮像する装置であり、例えば光学顕微鏡や走査電子顕微鏡である。組織画像データベース１１は、組織画像撮像装置１０によって撮像された組織画像等を記憶するデータベースシステムである。

図２を用いて実施例１の機能ブロック図について説明する。なお図２に示される各機能は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等が用いられる専用のハードウェアで構成されても良いし、プロセッサ２上で動作するソフトウェアで構成されても良い。以降の説明では実施例１の各機能がソフトウェアで構成された場合について説明する。

実施例１は、領域処理部２０１、重複領域抽出部２０２、パーシステント図生成部２０３を備える。また記憶装置４には、組織画像撮像装置１０で撮像された組織画像等が記憶される。以下、各構成部について説明する。

領域処理部２０１は、組織画像から複数の領域を抽出したり、抽出された各領域に対して様々な画像処理を施したりする。各領域に施される画像処理には、各領域に関する二値化画像を生成する二値化処理や、各領域を膨張させる膨張処理、各領域を収縮させる収縮処理が含まれる。

重複領域抽出部２０２は、複数の領域が重複する領域である重複領域を抽出する。例えば、異なる二値化画像の間でＡＮＤ演算を実行することにより、二つの二値化画像の重複領域が抽出される。

パーシステント図生成部２０３は、重複領域によって生成され消滅する穴領域に基づいて、パーシステント図を生成する。パーシステント図の詳細は、図５Ａ、図５Ｂを用いて後述される。

図３を用いて、実施例１の処理の流れの一例についてステップ毎に説明する。

（Ｓ３０１）
領域処理部２０１は、記憶装置４から読み出したり、ネットワークアダプタ５を介して、組織画像解析装置１の外部から受信したりすることによって、組織画像を取得する。組織画像は、電子顕微鏡で取得されるグレースケールの画像や、光学顕微鏡で取得されるカラー形式の画像、マルチスペクトルカメラで取得される多チャンネルの画像等のいずれであっても良い。

（Ｓ３０２）
領域処理部２０１は、組織画像から複数の領域を抽出し、抽出された領域に基づいて二値化画像を生成する。抽出される領域は、例えば組織画像である合金の電子顕微鏡画像に含まれる各相の領域である。各領域の抽出には、任意の方法が用いられ、例えば組織画像の輝度値や色に基づいて各領域が抽出されたり、組織画像の中のテクスチャ等のデータを用いる機械学習モデルによって各領域が抽出されたりしても良い。

生成される二値化画像は、抽出された領域の輝度値が１に、抽出された領域以外の領域の輝度値が０に変換された白黒画像である。なお白色と黒色とを反転させた二値化画像が生成されても良い。

Ｓ３０２では組織画像から複数の領域が抽出されるので、複数の二値化画像が生成される。例えば組織画像に含まれる第一の相の領域である第一領域と、第二の相の領域である第二領域とが抽出されると、第一領域が白色、第一領域以外が黒色の二値化画像が第一画像として、第二領域が白色、第二領域以外が黒色の二値化画像が第二画像として生成される。図４の１行目には、Ｓ３０２で生成される画像が例示される。

（Ｓ３０３）
重複領域抽出部２０２は、複数の領域が重複する領域である重複領域を抽出する。例えば、第一領域の輝度値が１である第一画像と第二領域の輝度値が１である第二画像とのＡＮＤ演算によって得られる画像において輝度値が１となる領域が重複領域として抽出される。

組織画像に含まれる第一の相は第二の相とは異なる相であるので、Ｓ３０２で生成される第一画像と第二画像との間では重複領域が抽出されず、図４の１行目の最右列に例示されるように、全画素の輝度値が０、すなわち全体が黒色の画像が出力される。ただし後述されるＳ３０６の膨張処理が各領域に施されることにより、重複領域が抽出されるようになる。また、膨張処理が繰り返される毎に重複領域は大きくなる。

（Ｓ３０４）
パーシステント図生成部２０３は、Ｓ３０３で抽出された重複領域に対してパーシステントホモロジー解析を行う。具体的には、重複領域によって生成され消滅する穴領域に基づいて、当該穴領域に関する点がパーシステント図にプロットされる。

穴領域とは、所定の領域によって囲われる開口部であり、開口部を囲う当該領域が穴領域の外縁となる。すなわち外縁となる領域によって形成される閉空間が穴領域であり、当該領域の一部に切れ目のある開空間は穴領域ではない。また当該領域が大きくなるにつれて、開空間が閉空間になることで穴領域が生成され、閉空間である開口部が埋められると穴領域は消失する。

パーシステント図とは、所定の領域が大きくなる過程において穴領域が生成されるタイミングを横軸、生成された穴領域が消滅するタイミングを縦軸とする二次元座標系である。一つの穴領域の生成から消滅までの過程を経ることで、当該穴領域に関する一点がパーシステント図にプロットされる。Ｓ３０４では、重複領域が大きくなる過程において生成され消滅する穴領域に関する点がパーシステント図にプロットされる。

Ｓ３０４におけるパーシステントホモロジー解析は、重複領域を穴領域として扱いながら行われても良い。すなわち穴領域として扱われる重複領域の生成と消滅に基づいて、穴領域に関する点がパーシステント図にプロットされる。重複領域の生成には、各領域が膨張する過程において、領域同士が重なり合うことでなされる場合と、孤立する重複領域同士が融合することでなされる場合がある。重複領域の消滅は、孤立する重複領域同士が融合することでなされる。すなわち孤立する重複領域同士の融合は、融合前の各重複領域を消滅させるとともに、新たな重複領域を生成する。

（Ｓ３０５）
終了条件を満たすか否かが判定される。例えば、Ｓ３０６の膨張処理の繰り返しによって、各領域が画像全体を覆うまで膨張したときに終了条件が満たされたと判定される。終了条件が満たされる場合はＳ３０７へ処理が進められ、満たされない場合はＳ３０６を介してＳ３０３へ処理が戻される。

なお終了条件には、膨張処理の繰返し回数の上限や、重複領域が大きくなる割合に対する閾値等が設定されても良い。膨張処理の繰り返し回数が上限に達したときに終了条件が満たされたと判定される場合、組織画像の種類によらず一定の時間で解析することができる。また重複領域が大きくなる割合が閾値に達したりしたときに終了条件が満たされたと判定される場合、組織画像の種類によっては解析に要する時間を短縮することができる。

（Ｓ３０６）
領域処理部２０１は各領域を膨張させる。例えば、第一領域や第二領域の周囲の画素の輝度値を０から１に変換することにより第一領域や第二領域を膨張させる。膨張した第一領域及び第二領域は、新たな第一領域及び第二領域として更新される。

膨張量、すなわち輝度値の変換対象となる、各領域の外周からの画素数は、重視される項目に応じて予め設定される。例えば解析精度が重視される場合は一画素が、解析速度が重視される場合は複数画素が膨張量として設定される。

図４の２～４行目には、Ｓ３０６で更新される第一画像と第二画像が、Ｓ３０３で重複領域が抽出された画像、すなわち更新後の第一画像と第二画像をＡＮＤ演算した結果の画像とともに例示される。なお２行目は１回目の膨張処理後の画像であり、３行目は５回目、４行目は１０回目である。図４に示されるように、第一領域と第二領域に対する膨張処理の繰り返し回数が増えるに連れて、白色部である重複領域は大きくなる。

（Ｓ３０７）
パーシステント図生成部２０３は、パーシステント図を出力する。すなわちＳ３０６での各領域の膨張とＳ３０３での重複領域の抽出とが繰り返される毎に、Ｓ３０４において穴領域に関する点がプロットされたパーシステント図が出力される。

以上説明した処理の流れにより、組織画像に含まれる複数の領域の間の関係が定量化されたパーシステント図が出力される。図５Ａはパーシステント図の一例であり、横軸は穴領域が生成されたときの膨張処理の繰り返し回数ｂｉｒｔｈ、縦軸は穴領域が消滅したときの膨張処理の繰り返し回数ｄｅａｔｈである。なお図５Ａでは、同じ座標にプロットされる穴領域の数が濃淡で表されている。

図５Ｂを用いて実施例１で出力されるパーシステント図から得られる情報について説明する。実施例１のパーシステント図には、各領域が膨張する過程で大きくなる重複領域によって生成され消滅する穴領域に関する点がプロットされるので、領域間の距離に応じて横軸であるｂｉｒｔｈの値が変化する。つまり第一領域と第二領域との距離が短ければｂｉｒｔｈの値はより小さく、距離が長ければｂｉｒｔｈの値はより大きい。また近接する領域の疎密に応じて縦軸であるｄｅａｔｈの値が変化し、近接する領域がより密であればｄｅａｔｈの値はより小さく、近接する領域がより疎であればｄｅａｔｈの値はより大きい。

すなわち実施例１のパーシステント図にプロットされる点の分布から、組織画像に含まれる複数の領域間の距離や近接する領域の疎密に関する情報を得ることができる。なおｂｉｒｔｈ＝ｄｅａｔｈの線に近接する点の中で、最も原点に近い点は領域の間の最短距離を表す。さらに各座標にプロットされる点の数に対して重み付けがなされても良い。例えば、ｂｉｒｔｈ＝ｄｅａｔｈの線からｄｅａｔｈ軸方向への距離に基づいて重み付けがなされると、各領域の面積に関する指標が算出される。

図６を用いて実施例１で用いられる入出力画面の一例について説明する。入出力画面６０１では、組織画像から抽出された複数の領域に基づいて生成された二つの二値化画像である第一画像と第二画像が、入力画像として選択されている。なお「さらに画像を追加」と表記されたボタンをクリックすることにより三つ目以上の画像が入力画像として追加されてもよい。入力画像が選択された後「解析実行」ボタンがクリックされると解析が実行され、解析結果としてパーシステント図が表示される。またパーシステント図は「解析結果を保存」ボタンのクリックにより保存される。なお「解析実行」ボタンがクリックされる前に「精度重視」と「速度重視」のいずれかのボタンがクリックされることにより膨張量が設定されても良い。また図６の入出力画面６０１は一例であり、光学顕微鏡等の組織画像撮像装置１０から送信される組織画像を入力画像としたり、解析結果であるパーシステント図を他の解析装置に送信したりするような入出力画面であっても良い。

以上説明したように実施例１によれば、組織画像に含まれる各領域を膨張させる毎に抽出される重複領域によって生成され消滅する穴領域に関する点がプロットされるパーシステント図が出力されるので、複数の領域の間の関係を定量的に示すことができる。またパーシステント図を機械学習等に取り込ませ、製造方法や性能の最適化のために使用しても良い。

実施例１では、組織画像に含まれる２つの領域の重複領域によって生成され消滅する穴領域の解析について主に説明した。組織画像に含まれる領域は３つ以上である場合もある。そこで実施例２では、３つ以上の領域の重複領域によって生成され消滅する穴領域の解析を含めて説明する。なお実施例１との違いは組織画像に含まれる領域の数であるので、その点について主に説明する。なお組織画像解析装置１のハードウェア構成と機能ブロック図は実施例１と同じであるので説明を省略し、処理の流れは実施例１に準ずるので説明を簡略化する。

図７を用いて実施例２について説明する。図７には、組織画像７０１から抽出された５つの相の二値化画像７０２と、各相の二値化画像を組み合わせて解析した結果である４つのパーシステント図７０３が例示される。なお４つのパーシステント図７０３のうち、上から一段目は２つの相、二段目は３つの相、三段目は４つの相、四段目は５つの相を組み合わせて解析した結果として出力されるパーシステント図である。各相の二値化画像の組み合わせは、同一相を含まなければ任意で良い。

図７に例示されるように、組織画像に含まれる領域が３つ以上であっても、各領域を抽出して生成される二値化画像を適宜組み合わせ、重複領域によって生成され消滅する穴領域を解析することによりパーシステント図を生成することができる。生成されたパーシステント図には、領域間の距離や近接する領域の疎密が点の分布として表示される。

以上説明したように実施例２によれば、組織画像に含まれる領域が３つ以上であっても、各領域を膨張させる毎に抽出される重複領域によって生成され消滅する穴領域に関する点がプロットされるパーシステント図が出力される。その結果、２つの領域間に限らず、３つ以上の領域間の関係を定量的に示すことができる。

実施例１及び実施例２では、単一視野の組織画像に含まれる複数の領域の重複領域によって生成され消滅する穴領域の解析について主に説明した。組織画像が撮像される試料には部位毎のばらつきが存在し、複数視野での観察を必要とする場合があるものの、複数視野で得られる情報をどのように統合するかが課題となる。そこで実施例３では、複数視野で撮像された組織画像から得られる情報の統合について説明する。なお実施例１や実施例２との違いは異なる視野で撮像される組織画像の数であるので、その点について主に説明する。なお組織画像解析装置１のハードウェア構成と機能ブロック図は実施例１と同じであるので説明を省略し、処理の流れは実施例１に準ずるので説明を簡略化する。

図８を用いて実施例３について説明する。図８には、異なる視野で撮像された３つの組織画像８０１と、各々の組織画像８０１から抽出された相毎の二値化画像８０２と、相毎の二値化画像８０２を視野毎に解析した結果である３つのパーシステント図８０３と、それらを統合した統合パーシステント図８０４が例示される。異なる視野で撮像された各々の組織画像８０１からは、２つの相毎の二値化画像８０２が生成され、さらに視野毎にパーシステント図８０３が生成される。そして３つのパーシステント図８０３が重ね合わせられることによって統合パーシステント図８０４が生成される。

図８に例示される統合パーシステント図８０４は、試料の部位毎のばらつきが低減された情報を提示するので、操作者はより信頼性の高い解析結果を得ることができる。また、異なる視野毎のパーシステント図８０３が表示されることにより、操作者は視野毎のばらつきの大小を把握することもできる。

以上説明したように実施例３によれば、複数視野で撮像された組織画像のそれぞれに関するパーシステント図が生成されるとともに、それらが統合された統合パーシステント図が生成される。その結果、複数視野のそれぞれにおける領域間の関係の定量化と、それらが統合された情報の把握が可能になる。

以上、本発明の組織画像解析装置及び組織画像解析方法について３つの実施例を説明した。本発明の組織画像解析装置及び組織画像解析方法は上記実施例に限定されるものではなく、発明の要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば組織画像の中の第一領域と第二領域とを除く領域が収縮する毎に抽出される、第一領域と第二領域との重複領域によって生成され消滅する穴領域に基づいてパーシステント図が生成されても良い。また、上記実施例に開示されている複数の構成要素を適宜組み合わせても良い。さらに、上記実施例に示される全構成要素からいくつかの構成要素を削除しても良い。

１：組織画像解析装置、２：プロセッサ、３：メモリ、４：記憶装置、５：ネットワークアダプタ、６：システムバス、７：表示装置、８：入力装置、９：ネットワーク、１０：組織画像撮像装置、１１：組織画像データベース、２０１：領域処理部、２０２：重複領域抽出部、２０３：パーシステント図生成部、５０１：パーシステント図、６０１：入出力画面、７０１：組織画像、７０２：二値化画像、７０３：パーシステント図、８０１：組織画像、８０２：二値化画像、８０３：パーシステント図、８０４：統合パーシステント図

Claims

組織画像を解析する組織画像解析装置であって、
前記組織画像から第一領域と第二領域を抽出し、前記第一領域と前記第二領域とを膨張させる領域処理部と、
前記第一領域と前記第二領域が膨張する毎に両者の重複領域を抽出する重複領域抽出部と、
前記重複領域によって生成され消滅する穴領域に基づいてパーシステント図を生成するパーシステント図生成部とを備えることを特徴とする組織画像解析装置。
請求項１に記載の組織画像解析装置であって、
前記領域処理部は、終了条件が満たされるまで前記第一領域と前記第二領域の膨張を繰り返すことを特徴とする組織画像解析装置。
請求項２に記載の組織画像解析装置であって、
前記終了条件は、前記第一領域と前記第二領域が画像全体を覆うことであることを特徴とする組織画像解析装置。
請求項２に記載の組織画像解析装置であって、
前記終了条件は、前記第一領域と前記第二領域の膨張の繰り返し回数の上限であることを特徴とする組織画像解析装置。
請求項２に記載の組織画像解析装置であって、
前記終了条件は、前記重複領域が大きくなる割合に対する閾値であることを特徴とする組織画像解析装置。
請求項１に記載の組織画像解析装置であって、
前記領域処理部は、重視される項目に応じて前記第一領域と前記第二領域との膨張量を設定することを特徴とする組織画像解析装置。
請求項１に記載の組織画像解析装置であって、
前記領域処理部は、複数の組織画像のそれぞれから前記第一領域と前記第二領域を抽出し、
前記パーシステント図生成部は前記複数の組織画像のそれぞれについてパーシステント図を生成するとともに、それらを統合することにより統合パーシステント図を生成することを特徴とする組織画像解析装置。
組織画像を解析する組織画像解析方法であって、
前記組織画像から第一領域と第二領域を抽出し、前記第一領域と前記第二領域とを膨張させる領域処理ステップと、
前記第一領域と前記第二領域が膨張する毎に両者の重複領域を抽出する重複領域抽出ステップと、
前記重複領域によって生成され消滅する穴領域に基づいてパーシステント図を生成するパーシステント図生成ステップとを備えることを特徴とする組織画像解析方法。