JP6382973B2 - レジストレーション方法、コンピュータプログラム及び記憶媒体 - Google Patents

Description

本発明は、組織スライスのイメージを登録するための方法、コンピュータプログラム、コンピュータ読み取り可能な媒体及びデバイスに関連する。

患者から採取された素材(組織及び細胞)についての病変診断検査は、多くの治療判断(特に、腫瘍学におけるもの)についての基礎となる。通常、生体(組織)検査法による薄いスライスが、顕微鏡スライド上に提供され、所定のプロトコルに従って染色される。癌の可能な存在形式をスコア付け及び評価(又は格付け)するために特定の染料(stain)が使用される。単独のスライドに適用される染料の数は、(特に、明視野顕微鏡における)視覚的スペクトルの重なる周波数に起因してかなり制限されるので、それぞれが別々に染色された連続的なスライスが使用される。従来の病理学では、１つのスライドの情報が、比喩的な意味で次のスライドに移される。複数のスライドの中で迅速に交換することは困難であり、その理由は、物理的なスライドを取り替えて対象領域を発見しなければならないからである。従って、複数のスライドのレジストレーション(registration)は、(例えば、病理学者のような)オペレータの頭の中で実行されなければならない。

ディジタルスキャナの導入により、画像分析ツールは、病理学者が(連続的な)スライドを登録することを支援するかもしれない。しかしながら、グローバルレジストレーションのような一般的なレジストレーション技術は、組織の相違、組織の変形、組織の伸縮などに起因して適切に機能しないおそれがある。ローカルレジストレーションのような更に進歩したレジストレーション技術は、単独の(グローバル)変換行列を必要とせず、ローカルな適合を許容する。

更に、レジストレーションのステップはアーチファクトに対して堅牢(ロバスト)である必要がある。通常、(例えば、染色又はイメージングアーチファクト)は局所的に表れ、それらの領域は例えば無視され、組織スライドの残りの画像がレジストレーションに使用される。しかしながら、このアプローチは折り重なる組織の場合には成り立たないかもしれない。折り重なる組織は、折り重なる組織が見える局所的な(空間)領域に影響するだけでなく、他の場所での組織の不存在、組織の潜在的な何らかの局所的な伸張及び変形を引き起こすかもしれない。

ローカルななアーチファクトを考慮して、互いに関連する組織スライス画像を登録するのための登録方法が必要とされる。

そのような必要性は、独立請求項の対象事項により充足される。本発明の更なる形態は、従属請求項及び以下の詳細な説明から明らかになるであろう。

本発明の一側面は、病理診断検査のための組織スライス画像のレジストレーション方法に関連する。例えば、組織スライスは、或る組織ブロックから準備される。更に、組織スライスは別々に染色されていてもよい。「レジストレーション(又は登録)」という用語は、(類似する又は同一の内容を示す)2つの画像が、可能な限りそれらの内容が合致(オーバーラップ)するように、グローバルに(全体的に)動かされ(回転され、スケーリングされ及び/又は移動させられ)及びローカルに(局所的に)変形されることを意味してよいことが、理解される必要がある。

本発明の実施形態によれば、本方法は：第1組織スライスの第1画像及び第2組織スライスの第2画像を受信するステップであって、双方の組織スライスは同じ組織ブロックから準備されている、ステップ；前記第1画像において、折り重なった組織を示す不信領域を判定するステップ；関心領域を見出すために、前記不信領域外部の前記第1画像及び第2画像の領域を登録することにより、前記第1画像及び第2画像を登録するステップ；を有する。

折り重なりは、双方の画像に登場していてもよいことが、理解される必要がある。その場合、不信領域は、第1画像及び第2画像において判定され、双方の画像のレジストレーションは、不信領域外部の第1画像及び第2画像の領域を登録することに基づいていてもよい。

例えば、選択的に別様に染色された組織スライス(組織ブロックからの連続的なスライスであってもよい)の2つの画像が、折り重なる組織を伴う領域/エリアを考慮することによりローカルに登録される。例えば、これらの領域は、閾値未満の画素強度を有する非常に暗い領域(例えば、低い画素強度の領域)を探すことにより判定されてもよい。そのような信頼可能でない領域又は除外される領域の内容は、マスク画像に保存され、2つの画像のローカルな登録の際には無視され、残りの画像のレジストレーションを増進させる。信頼可能でない領域は、双方の画像(すなわち、第1及び第2画像)で折り重なる組織を伴う領域を含んでもよいことが、理解される必要がある。

本方法は、折り重なる組織を考慮したロバストなレジストレーションを提供する。組織が折り重なる画像不整合領域が削減される。

本発明の別の側面はコンピュータプログラムに関連し、コンピュータプログラムは、プロセッサにより実行される場合に、上記及び下記に示されるような方法のステップを実行するように適合され、本発明の別の側面はそのようなコンピュータプログラムを保存するコンピュータ読み取り可能な媒体に関連する。コンピュータ読み取り可能な媒体は、フロッピーディスク、ハードディスク、ユニバーサルシリアルバス(Universal Serial Bus：USB)、ストレージデバイス、ランダムアクセスメモリ(Random Access Memory：RAM)、リードオンリメモリ(Read Only Memory：ROM)、消去可能プログラム可能リードオンリメモリ(Erasable Programmable Read Only Memory：EPROM)、又はフラッシュメモリであってもよい。コンピュータ読み取り可能な媒体は、プログラムコードのダウンロードを許容する例えばインターネット等のようなデータ通信ネットワークであってもよい。

本発明の別の側面は、上記及び下記の説明で示される方法のステップを実行するように構成される画像処理装置に関連する。例えば、パーソナルコンピュータ(PC)は、受信される生成される画像を表示するように構成される対応するソフトウェアを動作させるPCであってもよい。別の可能性は、クライアントコンピュータで表示されるオーバーレイ画像を生成するために、サーバーが画像を事前に処理することである。

上記及び下記で示されるようなデバイスの特徴は、上記及び下記で示されるような方法、コンピュータプログラム及びコンピュータ読み取り可能な媒体の特徴であってもよく、その逆も可能であることが理解される必要がある。

本発明のこれら及び他の側面は、以下に説明される実施形態から明らかになり及び十分に説明されるであろう。

以下、添付図面を参照しながら本発明の実施形態を更に詳細に説明する。
組織スライスを準備し、組織スライスの画像を登録する本発明の実施形態によるシステムを概略的に示す。 本発明の実施形態による組織スライスの画像登録方法のフローチャートを示す。 本発明の実施形態による組織スライスの画像登録方法で処理される組織スライスを有する画像を示す。 本発明の実施形態による組織スライスの画像登録方法で処理される組織スライスを有する画像を示す。 本発明の実施形態による組織スライスの画像登録方法で使用されるマスク画像を示す。 本発明の実施形態による組織スライスの画像登録方法で使用されるマスク画像を示す。 本発明の実施形態による組織スライスの画像登録方法により決定される組織スライス画像におけるグリッドを示す。 図面で使用される参照シンボル及びそれらの意味は、符号の説明の欄に列挙され要約されている。原則として、図中、同じ部分には同じ参照シンボルが与えられている。

図1は組織スライス14を準備し、画像18を登録するためのシステムを示す。組織ブロック(パラフィンブロック)10は、スライシング染色デバイス12で染色される組織スライス14にスライスされる。スライス14は、オブジェクトキャリア上に置かれ、スキャニングデバイス16によりスキャン/ディジタル化される。スキャンされた画像18は、データベース20に保存されてもよいし、あるいは、直接的に画像処理デバイスにより処理されてもよく、画像処理デバイス22は後述するように画像18を処理する。処理された画像に加えて別の画像が、画像処理デバイス22のディスプレイ24に表示されてもよい。画像処理デバイスは、パーソナルコンピュータ(PC)、サーバー又はそれらの組み合わせであってもよい。

図2は、画像処理デバイス22により実行される方法のためのフローチャートを示す。例えば、本方法は、画像処理デバイス22で動作する適切なソフトウェアで実現される。

ステップS10において、2つの画像18a，18bが受信される。図3A及び図3Bに示されるように、画像18a，18bは、各々の画素に関連して少なくとも1つの強度値を有する画素を有するディジタル画像であってもよい(例えば、グレースケール画像、カラー画像、又は、一般的にnチャネルの画像であってもよい)。双方の画像18a，18bは組織スライス14a，14bを示し、通常、これらは同じ組織ブロック(パラフィンブロック)10から準備される。更に、2つのスライスは異なる染色剤で染色されていてもよい。

図3Aに示されるように、スライス14aの画像18aは折り重なる組織(folded tissue)を含む。折り重なる組織は、スライス14aが画像18の中で平らに伸ばされていない領域、すなわち、巻き付いた領域、起伏のある領域、非常に強く圧縮された領域などであってよいことが理解される必要がある。

2つの画像18a，18bが受信された後に、1つ以上の不信領域(unreliable area)27が第1画像18aの中で判定又は検出される。更に、第2画像18bの中で1つ以上の不信領域が判定されることも可能である。折り畳まれた組織の検出は、非常に暗い領域及び/又は鋭いエッジを有する領域を探すことにより実行されてもよい。

例えば、不信領域27は、図4に示されるようにマスク画像として提供される。双方の画像18a，18bが折り重なりを有する可能性がある。その場合、画像18a，18bの各々に対するマスク画像が存在し、それらは1つの全体的なマスク画像26に併合されてよい。双方のマスクを結合するために、双方のマスク18a及び18bの双方についてのレジストレーションが実行される必要がある。

マスク画像26は、信頼できない画素(不信画素)又は信頼できる画素(信頼画素)を示す2つの強度値のみを含む画像であってよい。例えば、マスク画像26は、第1画像の強度値を閾値と比較することによって生成されてもよい。

折り畳まれた組織から通常の組織を区別するために、組織の折り重なりは、光路中において組織の量のかなりの増加をもたらし、そのため、(明視野顕微鏡の場合)非常に低い強度で見えるという事実を活用することができる。折り重なりについての別の視覚的な特徴は、結果的に生じる強度変化は際立ったものになることである(折り重なりの境界で著しい強度変化が生じる)。これらの折り重なりを検出する方法は、上記の特徴に対する画像18a，18bのグローバル分析を含んでもよく、すなわち、組織の折り重なりに関連する第1画像18a(及び第2画像18b)における低い強度、及び/又は、組織の折り重なりに関連する第1画像18(及び第2画像18b)における強度変化を検出することを含んでよい。

更に、図5に示されるように、不信領域は、不信領域周囲のマージン28とともに増大されてもよい。例えば、マスク画像26において作成されるマスクは拡張されてもよい。1つのアプローチは、構造化要素を制御するために、発見された領域の寸法を利用して、マスクを拡大することである。

不信領域は所定の幅のマージン28とともに提供されてもよく、例えば、マスクの各画素を、その所定の幅を半径とする円で置換することにより、提供されてもよい。不信領域27及び/又は組織の折り重なりの寸法(例えば、拡張される折り重なりの場合における短軸(minor-axis))からマージン28を導出することも可能である。

ステップS12において、次のステップでスライド18a，18bの登録(レジストレーション)に使用される(例えば、マトリクスを利用して表現される)変換及び/又は制御グリッド30が決定される。グリッド30は、(信頼可能な)信頼ポイント30及び(信頼可能でない)不信ポイント32という2種類の制御ポイント又はノット(knot)を含む。「信頼可能(reliable)」という用語は、対応する領域、ポイント又は画素パッチが、2つの画像18a，18bのレジストレーションに対して信頼性高く使用されてよいことを意味する。制御グリッド30のポイントは、マスク画像26において作成されるマスクを利用することにより分類される。

図6にはそのような制御グリッド30の具体例が示されている。グリッド30は、例えば、長方形又は正方形パターンのポイント30，32を伴う規則的なグリッド30であってよい。信頼可能な制御ポイント30は、不信領域27の外側に位置する。信頼できない制御ポイント30は、グリッド30のうちの残りのポイントであってよい。

ステップS14において、不信領域27の外側の第1画像及び第2画像の領域を登録し、不信領域を別様に取り扱うことにより、2つの画像18a，18bが互いに登録される。

あるアプローチでは、2つの画像18a，18bを登録する場合に、画像18aの不信領域27が無視される。

制御グリッド30とともに本アプローチを利用する場合に、信頼制御ポイント30(及びおそらくは不信制御ポイント32)に関し、新たなポジションが決定される。

これは、Bスプライン変換を適用することにより達成されてもよい。これは、典型的には、制御ポイント30，32を含むウィンドウの中で組織の局所的な変形(local deformation)を見出すことによって行われる(例えば、制御ポイント30，32がウィンドウの中心であってもよい)。原則として、第1画像18a及び第2画像18bの相対的な局所的な変形は、制御ポイント周辺の画像部分に基づいて、信頼可能な制御ポイント30において決定されてもよい。相対的な局所的な変形は、第1画像18aにおける位置と第2画像18bにおける位置との間における制御ポイント30，32のシフト(又は移動)により決定されてもよい。

信頼可能でない制御ポイント32は、信頼可能な制御ポイントとは別様に取り扱われてよい：
一例において、信頼できない制御ポイント32は無視されてもよい。

別の例において、信頼できない制御ポイント32における第1画像14a及び第2画像14bの相対的な局所的な変形は、不信領域27の外側の画像部分に基づいてもよい。言い換えれば、不信制御ポイント32の新たな位置は、「信頼可能でない」としてマスク画像によって選択されない組織を利用して決定されてよい。

更に、信頼可能な制御ポイント30に対する局所的な変形は、信頼可能でない制御ポイント32の新たな位置(ポジション)を決定するために、外挿又は内挿(補間)されてもよい。

また、信頼可能でない制御ポイント32は、Bスプラインのエンドポイントとして取り扱われてもよい。

ステップS16において、レジストレーションの間に収集された情報が画像18に適用され、例えば、決定された局所的な変形が画像18aに適用され、その結果、変形画像34aをもたらす。(例えば、逆方向の局所的な変形の半分を適用することにより)双方の画像18a，18bが変形されることも可能である。このようにして、変形画像34bが生成されてもよい。

レジストレーションがグリッド30に基づく場合、グリッド30に関連するローカル変形が適用されてもよい。

更に、画像34a及び18b(又は34b)が互いに重なっていること、すなわち、2つの画像をブレンド(又は混合又は一体化)することにより画像36が作成されることが可能である。可視化のための他の方法も可能である。例えば、2つの画像が、市松模様(checkerboard)状に一緒に示されてもよく、すなわち、それらが市松模様状の小さな四角形に分割され、「黒い」四角形が一方の画像18aからのものであり、「白い」四角形が他方の画像18bからのものである。

最終的に、画像34a又は画像36はディスプレイ24に表示されてよい。

生成されるマスク画像は、(おそらくは、マスクに対するローカル変形の適用後に)画像18a，34a又は36と重ねられてもよく、信頼できない組織領域を示すために表示されてもよい。また、折り重なる組織周辺の非登録領域の拡張されたマージンが、重ねて表示されてもよい。

本発明は明細書及び図面により詳細に記述及び説明されているが、そのような記述及び説明は例示的又は具体例であって限定ではないように考えられ；本発明は開示された実施形態に限定されない。開示された実施形態に対する他の変形例は、本明細書、添付の図面及び特許請求の範囲を参照することにより、当該技術分野で通常の知識を有しかつ請求項に係る発明を実施する者により理解及び把握されることが可能である。特許請求の範囲において、「有する(comprising)」という用語は他の要素やステップを排除しておらず、「ある」又は「或る」という不定冠詞的な語は複数個存在することを排除していない。単独のプロセッサ、コントローラ又はその他のユニットが、請求項に記載される複数の事項についての複数の機能を発揮してもよい。所定の複数の事項が難いに異なる従属請求項で引用されることは、それらの事項の組み合わせが有利に利用できないことを示してはいない。(存在する場合)特許請求の範囲における如何なる参照符号も発明範囲の限定として解釈されるべきでない。

10 組織ブロック
12 スライシング染色デバイス
14 組織スライス
14a 第1組織スライス
14b 第2組織スライス
15 折り重なった組織
16 イメージングデバイス
18 画像
18a 第1画像
18b 第2画像
20 データベース
22 画像処理デバイス
24 ディスプレイ
26 マスク画像
27 信頼可能でない領域
28 マージン
29 グリッド
30 信頼可能な制御ポイント
32 信頼可能でない制御ポイント
34a 変形された画像
34b 変形された画像
36 オーバーレイ画像

Claims (13)

1. 病理診断検査のための組織スライスの画像のレジストレーションのための方法であって：
   第１組織スライスの第１画像及び第２組織スライスの第２画像を受信するステップであって、前記第１及び第２組織スライスは同じ組織ブロックから生成されている、ステップ；
   前記第１画像において、折り重なった組織を示す不信領域を判定するステップ；
   規則的なグリッドとともに一群の制御ポイントを提供するステップ；
   前記不信領域外部の信頼可能な制御ポイントを選択するステップ；
   前記不信領域外部の前記第１画像及び第２画像の領域を登録することにより、前記第１画像及び第２画像を登録するステップであって、前記制御ポイント周辺の前記第１画像及び前記第２画像の一部に基づいて、前記信頼可能な制御ポイントにおける前記第１画像及び第２画像の相対的な局所的な変形を決定することにより、前記第１画像及び第２画像を登録するステップ；
   を有する方法。
2. 前記不信領域を前記不信領域周辺のマージンとともに拡張するステップ；
   を更に有する請求項１に記載の方法。
3. 前記不信領域内部の信頼可能でない制御ポイントを選択するステップ；
   前記不信領域外部の前記第１画像及び前記第２画像の一部に基づいて、信頼可能でない制御ポイントにおける前記第１画像及び第２画像の相対的な局所的な変形を決定するステップ；
   を更に有する請求項１に記載の方法。
4. 前記信頼可能でない制御ポイント周辺の局所的領域における信頼可能な制御ポイントにおける前記第１画像及び第２画像の局所的な変形を外挿又は内挿補間することにより、信頼可能でない制御ポイントにおける相対的な局所的な変形を決定するステップ；
   を更に有する請求項１に記載の方法。
5. 前記第１画像及び第２画像を登録する際に、信頼可能でない制御ポイントを無視するステップ；
   を更に有する請求項１に記載の方法。
6. 折り重なる組織を示す前記不信領域が、マスク画像により提供される、請求項１に記載の方法。
7. 前記不信領域は：
   折り重なる組織に関連する前記第１画像における低い強度；及び／又は
   前記折り重なる組織に関連する前記第１画像における強度変化；
   に基づいて判定される、請求項１に記載の方法。
8. マージンが前記不信領域の寸法から導出される、請求項２に記載の方法。
9. 前記第１画像及び第２画像は、各々の画素に関連する少なくとも１つの強度値を伴う画素を有するディジタル画像である、請求項１に記載の方法。
10. 前記第１画像、前記第２画像及び前記不信領域を有するマスク画像から選択される少なくとも２つの画像を重ねるステップ；
    を更に有する請求項６に記載の方法。
11. 前記第１組織スライスは前記第２組織スライスとは別様に染色される、請求項１０に記載の方法。
12. プロセッサにより実行される場合に、請求項１に記載の方法を実行させるように構成されるコンピュータプログラム。
13. コンピュータプログラムを保存する非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムは、コンピュータプロセッサにより実行される場合に、病理診断検査のための組織スライスの画像のレジストレーションを行い、前記コンピュータ読み取り可能な記憶媒体は：
    第１組織スライスの第１画像及び第２組織スライスの第２画像を受信するための受信コードであって、前記第１及び第２組織スライスは同じ組織ブロックから生成されている、受信コード；
    前記第１画像において、折り重なった組織を示す不信領域を判定するための判定コード；
    規則的なグリッドとともに一群の制御ポイントを提供するための提供コード；
    前記不信領域外部の信頼可能な制御ポイントを選択するための選択コード；
    前記不信領域外部の前記第１画像及び第２画像の領域を登録することにより、前記第１画像及び第２画像を登録するための登録コードであって、前記制御ポイント周辺の前記第１画像及び前記第２画像の一部に基づいて、前記信頼可能な制御ポイントにおける前記第１画像及び第２画像の相対的な局所的な変形を決定することにより、前記第１画像及び第２画像を登録する登録コード；
    を有する、非一時的なコンピュータ読み取り可能な記憶媒体。
    

Images