JP6144915B2 - 生体組織画像の再構成方法、取得方法及び装置 - Google Patents

Description

本発明は、生体組織画像の再構成方法、取得方法および装置に関し、とりわけ生体組織の測定スペクトルデータから再構成した生体組織画像を取得する方法および装置に関するものである。また、本発明は、そうして取得した生体組織画像を用いて病理診断の際に疾患部位を明示的に表示する画像表示装置に関するものである。

従来より、病理診断、すなわち生体組織を対象に顕微鏡等で観察を行い、病変の有無や病変の種類について診断することが行われている。病理診断においては、観察対象である生体組織に関連付けられる構成物質や含有物質の可視化が求められる。これまでのところ、病理診断においては、免疫染色法（免染）を用いて特異抗原タンパク質を染色する手法が主に用いられている。乳がんを例に挙げれば、ホルモン療法の判断基準となるＥＲ（ホルモン依存性腫瘍に発現するエストロゲンレセプター）や、ハーセプチン投与の判断基準となるＨＥＲ２（進行の速い悪性がんに見られる膜タンパク質）が免染により可視化される。しかしながら免染には、抗体の持つ不安定性や、抗原抗体反応効率の制御の難しさに起因する再現性不良の問題がある。また今後、例えば数十種以上の構成物質や含有物質を検出する必要が生じた場合、現在の免染では対応できなくなるという問題がある。

また、前記構成物質や含有物質の可視化は組織レベルではなく細胞レベルで求められる場合がある。たとえば、腫瘍組織の一部の分画のみが免疫不全マウスへの異種移植後に腫瘍を形成することが明らかになったことから、がん幹細胞が認識された。すなわち、腫瘍組織の成長が腫瘍幹細胞の分化や自己再生の能力に依存していると理解されつつある。このような検討においては、組織全体ではなく、組織中における個々の細胞において、構成物質や含有物質の発現分布を観察することが必要となる。

以上のように、病理診断においては、腫瘍組織などに関連付けられる構成物質や含有物質を、細胞レベルで網羅的に可視化することが求められるが、そのための方法としては、飛行時間型二次イオン質量分析法（ＴＯＦ−ＳＩＭＳ）をはじめとする二次イオン質量分析法（ＳＩＭＳ）やラマン分光法が候補として挙げられる。ＳＩＭＳやラマン分光法による測定では、空間内の各点（領域）における情報を高い空間分解能で得ることができる。すなわち、測定対象に関連付けられる測定スペクトルの各ピーク値の空間分布情報が得られることから、当該測定スペクトルに関連付けられる生体組織中の物質についての空間分布を求めることができる。

ＳＩＭＳは、試料に一次イオンビームを照射し、試料から分離された二次イオンを検出することにより、試料上の各点の質量スペクトルを得る方法である。例えば、ＴＯＦ−ＳＩＭＳにおいては、二次イオンの飛行時間が、イオンの質量ｍと電荷ｚに依存していることを利用して、当該二次イオンを同定し、それにより試料上の各点の質量スペクトルを得ることができる。

ラマン分光法は、光源として単色光であるレーザー光を物質に照射して、発生したラマン散乱光を分光器、もしくは干渉計で検出することでラマン分光スペクトル（ラマンスペクトル）を取得する。ラマン散乱光の振動数と入射光の振動数の差（ラマンシフト）は物質の構造に特有の値をとることから、測定対象物固有のラマンスペクトルを取得することができる。

なお、上記の「細胞レベル」とは、少なくとも一つ一つの細胞を識別できるレベルを意味する。細胞の径は概ね１０μｍから２０μｍの範囲（ただし神経細胞などの大きなものは約５０μｍ）にある。したがって、細胞レベルの二次元分布像を取得するには空間分解能が１０μｍ以下であることが必要であり、好ましくは５μｍ以下、より好ましくは２μｍ以下、さらに好ましくは１μｍ以下である。空間分解能は、例えばナイフエッジの試料の線分析結果から決定することができる。すなわち、空間分解能は「試料の境界付近における当該物質に起因する信号強度がそれぞれ２０％、８０％となる二点間の距離」という一般的な定義に基づいて決定される。

従来、測定スペクトルデータから生体情報を取得するには、予め機械学習により識別器を生成し、これを試料の測定スペクトルデータに適用していた（特許文献１）。一方、病理診断では生体組織画像が必須であることから、測定スペクトル画像（スペクトル情報）と光学画像（形態情報）とを重ね合わせて画像表示を行うことも試みられていた（特許文献２）。なお、ここで機械学習とは、以前に取得されたデータを経験的に学習し、新たに取得したデータについて学習結果を基に解釈する手法である。また、識別器とは、以前に取得されたデータと生体情報との関係を経験的に学習することにより生成される判断基準情報である。

特開２０１０−７１９５３号公報 特開２０１０−８５２１９号公報

従来、機械学習により生成した識別器を適用して診断を行う対象は、特許文献１にも記載されるように、１つ（空間上の１点または試料全体に対する）の測定スペクトルデータであり、測定スペクトルの空間分布から生体組織画像を取得することは想定されていなかった。また、測定スペクトル画像（スペクトル情報）と、光学画像（形態情報）を重ね合わせている例はあるものの、スペクトル情報と形態情報の両方の情報について機械学習（識別器）を適用して生体組織画像を取得する例はなかった。すなわち、生体組織を対象に、空間分布を有するスペクトルを測定した結果から、がんの有無等に関する診断結果を表示する精度の高い生体組織画像を取得する方法が開示されていなかった。

細胞形態と病態（例えばがん細胞と正常組織）には相関があるため、測定スペクトルの解析に形態情報も取り入れることができれば、精度の高い結果を導出できることが予想される。

そこで本発明においては、空間内の各点（領域）について取得された測定スペクトルに対し、識別アルゴリズムを適用して生体組織画像を取得することを目的とする。また、測定スペクトルの各ピーク成分に着目すれば、スペクトル情報が対象組織の形態分布を反映することを利用し、識別アルゴリズムを適用する。すなわち、本発明は、空間軸にスペクトルを取得した対象の空間的な位置情報を、スペクトル軸方向に各ピーク成分をとった情報分布に対して、識別アルゴリズムを適用することを特徴とする。本発明のこの手法は病理診断等に利用することができる。

本発明は、空間内に組成分布を持つ測定対象を測定して得られた該空間内の座標それぞれに対応する複数の測定スペクトルを用いて、画像データを取得する画像取得方法であって、
以前に取得した経験的データを利用して生成した第１の識別器を用いて、前記測定スペクトルの複数成分それぞれの空間分布情報からそれぞれの第一の属性値を取得し、前記複数成分の第一の属性値を前記座標ごとに統合し、経験的データを利用して生成した第２の識別器を用いて、前記統合された前記第一の属性値から画像データを取得する。

本発明によれば、測定スペクトルの空間分布を測定し、その測定スペクトル情報とピーク成分の分布情報から得られる形態情報との両方を用いて、生体組織画像を取得することができる。それにより、従来に比べ高精度な生体組織の識別が可能となるため、病理診断等への応用に有用である。

本発明の装置の模式図である。 二次元平面内で強度分布を有するスペクトル信号の模式図である。 スペクトルのピーク成分の概念図である。 本発明のフローチャートである。 機械学習のフローチャートである。 識別器として決定木をもちいた場合の模式図である。 本発明の一連のプロセスを模式的に示した図である。 形態データの形成するパターンの模式図である。 三次元的情報の模式図である。 三次元的情報を用いることの有効性を模式的に示す図である。 階層的な識別器の構築過程を示す模式図である。 本発明の適用結果を示す図である。 スペクトル分布（形態情報）から生成した学習データを示す図である。 本発明の第１の実施例の適用結果を示す図である。 本発明の第１の実施例の適用効果を示す図である。 三次元的情報から生成した学習データを示す図である。 本発明の第２の実施例の適用結果を示す図である。 本発明の第２の実施例の適用結果を示す図である。 本発明の第２の実施例の適用効果を示す図である。

以下、本発明の実施の形態について、フローチャート及びその他の図面を参照しながら具体的に説明する。なお、以下の具体例は本発明にかかる最良の実施形態の一例ではあるが、本発明はかかる具体的形態に限定されるものではない。
本発明は、生体組織を領域ごとに測定して得られる複数の測定スペクトルを用いて生体組織画像を再構成する方法であって、それぞれの前記測定スペクトルにおける１つまたは複数のピークの強度分布と識別器を利用して生体組織画像を取得する。
測定スペクトルとは、たとえば、紫外、可視、赤外域の分光スペクトル、ラマン分光スペクトル、及び質量スペクトルのように、測定して得られるスペクトルを指す。ピークの強度分布とは、すなわち、ピークの強度の分布を指す。
本発明の画像再構成方法においては、１または複数のピークの強度と識別器を利用する際に、それぞれのピークの分布情報ごとに階層的に識別器を利用して生体組織画像を取得することができる。また、本発明においては、経験的データを利用して識別器を生成することができる。
また、本発明は、生体組織を領域ごとに測定して得られる複数の測定スペクトルを用いて生体組織画像を再構成する装置であって、それぞれの前記測定スペクトルにおける１つまたは複数のピークの強度分布と識別器を利用して生体組織画像を取得する装置を提供する。
本発明によれば、測定スペクトルの空間分布を測定し、その測定スペクトル情報とピーク成分の分布情報から得られる形態情報との両方を用いて、生体組織画像を取得することができる。それにより、従来に比べ高精度な生体組織の識別が可能となるため、病理診断等への応用に有用である。
また、本発明は、上記再構成法に基づく、診断を補助するためのデータ収集方法、ならびに生体組織画像の取得装置を利用して、病理診断の際に疾患部位を明示的に表示する画像表示装置を提供する。
疾患部位とは、病変が存在する部位であり、例として、腫瘍を含む部位をあげることができる。明示的に表示するとは、すなわち、疾患部位が明らかとなるように表示することをいう。
また、本発明は上記の生体組織画像の取得方法を利用することを特徴とする診断を補助するためのデータ収集方法を提供する。
本発明は、空間内に組成分布を持つ試料について測定を行うものであり、該空間内の各点の位置情報及び各点の位置に対応する測定スペクトル情報を得るものであれば、いかなる測定方法によって得た結果にも適用可能である。

図４に示すのは、本発明における画像再構成のフローチャートである。以下においては、このフローチャートの順に、図面を参照しながら説明する。

図４の工程Ｓ１０１においては、画像再構成に用いるピークを選定する。ここでピークとは、図３（a）の様な測定信号（例えば質量スペクトル）の場合には、その信号強度を、或いは図３（b）の様な測定信号（例えばラマンスペクトル）の場合には、それを離散化した場合の信号強度である図３（c）のことを意味している。次に、工程Ｓ１０２においては、データのデジタル化を行う。工程Ｓ１０３においては、デジタル化したデータから、スペクトルを測定した各点（領域）の空間内の位置及びその空間内の各点の測定スペクトル（ピーク成分）からなる多次元データを生成する。なお、本発明の測定スペクトルは、質量スペクトル、ラマン分光スペクトルのほか、紫外、可視、赤外域の分光スペクトルであってもよい。

図２に示すのは、空間上の各点において測定した測定スペクトルの模式図である。例えば、信号を取得する空間として、二次元平面を考えると、情報は三次元のデータとなる。この三次元データを生成する際の三次元空間の各点を座標（Ｘ、Ｙ、Ｚ）で表現すると、成分Ｘ及びＹは測定スペクトル信号を得た二次元空間（ＸＹ平面）上の座標であって図２の（ａ）に対応し、成分ＺはＸＹ平面上の各点における測定スペクトル信号であって図２の（ｂ）に対応している。従って、成分Ｘ及びＹには、信号を測定した点のＸ座標及びＹ座標が格納されており、成分Ｚには各ピーク成分の強度に対応する測定信号の値が格納されていることになる。

図４の工程Ｓ１０４においては、生成した識別器によって、信号の判別を行い、画像を出力する。この識別器の生成には、例えば機械学習を用いることができる。この機械学習においては、既に取得されたデータ（これを経験的データという）から、測定データと生体組織に関する情報とを結びつける判断基準を生成する。

図５に示すのは、識別器を生成するためのフローチャートである。以下においては、このフローチャートの順に、図面を参照しながら説明する。

図５の工程Ｓ２０１においては、画像再構成に用いるピークを選定する。次に、工程Ｓ２０２においては、データのデジタル化を行う。工程Ｓ２０３においては、デジタル化したデータから、例えば機械学習によって識別器を生成する。機械学習の手法としては、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）や、決定木もしくはそのアンサンブル平均を考えたランダムフォレスト法等を用いることができる。以下では、教師付き機械学習の一例として、決定木を用いた場合について説明する。

図６は、決定木アルゴリズムによって、識別器となる決定木を生成していくプロセスを示している。あるピーク成分の有無は、０と１で表現することができるため、複数のピーク成分の有無は、二分木を階層化した、決定木で表現することができる（この場合、使用するピーク数＝階層数となる）。ここで、二分木とは、データを分岐構造で表現したものである。学習対象となる各スペクトルには、教師データとして、例えば、ガン組織は１、正常組織は０という様に、生体組織の識別番号（ラベル）が付随する。スペクトルデータを決定木で表現する際には、どのピーク成分から開始していくかということが問題になる（図６の（ａ））。しかし、この場合には、同じラベル同士に効率よく分類することが目的であるため、再帰的にエントロピーを評価し、最も効率よくエントロピーを小さくすることができる様な決定木を最終的に決定し、識別器とする（図６の（ｂ））。ここで、エントロピーは、式（１）で定義され、エントロピーが減少するということは、異なるラベルが付随したデータが混合した集合を、同じラベルが付随したデータの集合同士に分類するということに対応する。式（１）においては、ｉは決定木の枝部分のノード番号を、ｐは分配確率（各ノードにおいて、それぞれのラベルが占める割合）を意味する。

図７は、図４及び５のフローチャートで示した、一連のプロセスを模式的に示している。

図７の（ａ）においては、機械学習により識別器を生成し、図７の（ｂ）においては新規に測定したデータを入力する。そして、図７の（ｃ）においては、再構成画像として、例えば、生体組織分布の確率分布（機械学習の結果得られる）を取得する。

なお、機械学習と識別に利用するデータは、空間各点におけるスペクトルデータだけでなくてもよく、例えば、各スペクトル成分の分布情報（形態情報）を利用してもよい。
この場合、例えば図８の様に、注目するピクセルの周辺エリアを切り出し、その領域が形成するパターンに着目する。例えば、信号を取得する空間として、二次元平面を考えると、機械学習と識別に利用するデータは、平面内の分布情報とスペクトル情報との合計で三次元の構造をしたデータとなる（図９：以下、これを多次元的情報と呼ぶ）。多次元的情報を用いた場合に、例えば形態情報のみの二次元的情報を用いた場合と比較した場合の利点を模式的に示したのが、図１０である。例えば、円柱の様な構造をしたデータ（ａ）と、球状の構造をしたデータ（ｂ）が存在した場合に、二次元的情報としては、両者とも円であり、識別することができない。しかしながら、多次元的情報に着目すれば、円柱と球では明らかに構造が異なるため、両者をより明確に識別することができる。

この、多次元的情報を用いた場合の、機械学習と識別の手順は、前述したスペクトルデータを用いた場合と本質的には同様である。但し、この場合には、データそのものを識別に用いるベクトル（以下これを特徴ベクトルと呼ぶ）に用いるのではなく、そのパターンを記述するのに適切な特徴量を複数取得した上で、それを特徴ベクトルとし、機械学習及び識別処理に用いることもできる。特徴量の代表的例としては、体積や曲率、空間勾配、ＨＬＡＣ（高次局所自己相関）等がある。

また、多次元的情報を階層的に使用する方法を用いてもよい。この場合、例えば図１１の様に、各スペクトル成分の分布情報から、それぞれの識別器（これを第１の識別器と呼ぶ）を生成する。そして、それぞれのスペクトル成分の分布から、それぞれのスペクトル成分の分布に対応する再構成値を取得する。そして再度それら取得した値の列（これを第２のスペクトルと呼ぶ）から、識別器（これを第２の識別器と呼ぶ）を生成し、それを用いて最終的な再構成画像を取得する。この様な階層的な多次元的情報の利用により、スペクトル方向の分解能とスペクトル成分の分布情報の両方を活用した画像再構成が可能となる。

本発明は、上記の具体的形態を実行する装置によって実現することができる。図１は、本発明による装置全体の構成を示している。１は基板上の試料を、２は信号の検出器を示している。また、３は取得した信号に対して上記の処理を行なう信号処理装置を、４は信号処理結果を画面に表示する画像表示装置を示している。

以下、本発明の実施例１について説明する。本実施例においては、ＩＯＮ−ＴＯＦ社製ＴＯＦ−ＳＩＭＳ５型装置（商品名）を用い、トリプシン消化処理を施したＨＥＲ２タンパク質の発現レベル２＋の組織切片（Ｐａｎｔｏｍｉｃｓ社製）に対して、以下の条件でＳＩＭＳ測定を行った。
一次イオン：２５ｋＶ Ｂｉ^＋、０．６ｐＡ（パルス電流値）、マクロラスター・スキャンモード
一次イオンのパルス周波数：５ｋＨｚ（２００μｓ／ショット）
一次イオンパルス幅：約０．８ｎｓ
一次イオンビーム直径：約０．８μｍ
測定範囲：４ｍｍ × ４ｍｍ
二次イオンの測定画素数：２５６×２５６
積算時間：１画素５１２ｓｈｏｔｓ， １回スキャン（約１５０分）
二次イオンの検出モード：正イオン

得られたＳＩＭＳデータには、測定画素ごとに位置を示すＸＹ座標情報と、１ショットにおける質量スペクトルが含まれる。例えば、測定画素ごとに、ＨＥＲ２タンパク質の消化断片の一つにナトリウム原子が１つ吸着した質量数に該当するピーク（ｍ／ｚ＝７２０．３５）や、各生体組織に起因するピーク成分の情報がスペクトルデータとして含まれている。

図１２の（ａ）は、ＨＥＲ２タンパク質の発現レベル２＋の組織切片（Ｐａｎｔｏｍｉｃｓ社製）に対して、ＨＥＲ２タンパク質の免疫染色を行い、これを光学顕微鏡で観察したものである。図１２の（ａ）では、ＨＥＲ２タンパク質の発現が多いところほど白く表示されている。また、ＳＩＭＳ測定に供した試料と、免疫染色を行った試料は、同一病変組織（パラフィンブロック）から切出した隣接切片であり、同一ではない。

図１２の（ｂ）は、本発明の手法を上記データに適用し、画像再構成を行ったものである。機械学習の際の学習データのラベル決定には、前述した図１２の（ａ）の画像データを用いており、学習データとしては、４０９６個のデータを使用している。また、使用したピーク数は合計６個であり、対応するｍ／ｚの値は、それぞれ、６９２．３５、７２０．３５、９３２．６３、１１０１．５、１１２８．６、１３２６．４であり、このうちの３個は、消化断片の理論値と対応する。本画像において、白色部分が、がん組織と識別された部分、黒色部分が正常組織と識別された部分を示している。

図１３は、ピーク（ｍ／ｚ＝１１２８．６）成分の分布情報（形態情報）を用いた場合に生成された、機械学習用の学習データを合計１００個分図示したものである。形態情報として、注目点を中心とする３×３のブロックを利用している。

図１４は、ピーク（ｍ／ｚ＝１１２８．６）成分の分布情報（形態情報）を用いて、画像再構成を行った結果を示している。機械学習の際の学習データのラベル決定には、前述した図１２の（ａ）の画像データを用いており、学習データとしては、４０９６個のデータを使用している。

図１５は、ピーク情報のみを用いて画像再構成を行った結果の一部を拡大したもの（ａ）と、ピーク情報とその分布情報（形態情報）とを用いて画像再構成を行った結果の一部を拡大したもの（ｂ）を示している。形態情報も用いて画像再構成を行った方が、ソルト＆ペパー状の画素成分が低減していることがわかる。この様に、本発明によれば、前述したスペクトルデータだけではなく、その空間分布情報を用いても、生体組織画像の分布を取得することができる。

以下、本発明の実施例２について説明する。本実施例の装置条件及び実験条件は実施例１の場合と同じであるが、スペクトルの三次元的情報を階層的に利用することによって画像再構成を行った。

図１６は、複数のピーク（ｍ／ｚ＝７２０．３５、１１２８．６、１３２６．４）成分の分布情報（多次元的情報）を用いた場合に生成された、機械学習用の学習データを合計２７個分図示したものである。多次元的情報として、注目点を中心とする３×３×３のブロックを利用している。

図１７は、それぞれのスペクトル成分の分布情報から、第１の識別器を生成し、画像再構成した結果を示している。（ａ）（ｂ）（ｃ）は、それぞれスペクトル成分（ｍ／ｚ＝７２０．３５、１１２８．６、１３２６．４）を用いた場合に対応している。学習データとしては、それぞれ４０９６個のデータを使用している。

図１８は、第１の識別器を用いて取得された結果から、第２の識別器を生成し、それを基に最終的な画像を再構成した結果である。

図１９は、単一のスペクトル成分の分布情報のみを用いて画像再構成を行った結果の一部を拡大したもの（ａ）と、複数のスペクトル成分の分布情報を用いた階層的な識別器の利用により画像再構成を行った結果の一部を拡大したもの（ｂ）を示している。複数のスペクトル成分の分布情報を用いて画像再構成を行った方が、ソルト＆ペパー状の画素成分が低減していることがわかる。この様に本発明によれば、複数のスペクトル成分の分布情報を用いた階層的な識別器を生成しそれを利用することによっても生体組織画像の分布を取得することができる。

本発明は、病理診断をより効果的に支援するツールとして利用することができる。

Claims (4)

1. 空間内に組成分布を持つ測定対象を測定して得られた該空間内の座標それぞれに対応する複数の測定スペクトルを用いて、画像データを取得する画像取得方法であって、
   以前に取得した経験的データを利用して生成した第１の識別器を用いて、前記測定スペクトルの複数成分それぞれの空間分布情報からそれぞれの第一の属性値を取得し、前記複数成分の第一の属性値を前記座標ごとに統合し、経験的データを利用して生成した第２の識別器を用いて、前記統合された前記第一の属性値から画像データを取得することを特徴とする画像取得方法。
2. 前記識別器として、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、決定木あるいはランダムフォレスト法を用いることを特徴とする、請求項１記載の方法。
3. 前記測定スペクトルが、紫外、可視、赤外域の分光スペクトル、ラマン分光スペクトル、及び質量スペクトルのいずれかであることを特徴とする請求項１または２記載の方法。
4. 試料を載置する基板と、試料の複数の位置から発生する信号を検出する検出器と、検出された信号から生成した該複数の位置のそれぞれに対応する測定スペクトルデータを処理して画像データを取得する信号処理手段と、該信号処理手段が取得した画像データに基づいて画像を画面に表示する画像表示手段とを含む画像取得装置であって、前記信号処理手段が、
   請求項１から３のいずれか１項に記載する方法によって、該測定スペクトルデータを処理することにより該画像データを取得するように構成されていることを特徴とする装置。