JP5394485B2 - 印環細胞検出器及び関連する方法 - Google Patents

Description

（関連出願）
本出願は、2008年7月3日に出願された米国特許仮出願第61/077,969号の利益を主張し、その全開示は参照によりここに組み込まれている。

本出願は、2008年7月3日に出願された米国特許仮出願第61/077,966号の利益を主張する「有糸分裂像検出器及び計数システム、並びに有糸分裂像を検出して計数する方法(Mitotic Figure Detector And Counter System And Method For Detecting And Counting Mitotic Figures)」と題する2009年7月2日に出願された米国特許出願番号第 号（代理人整理番号08031）、及び2008年7月3日に出願された米国特許仮出願番号第61/077,974号の利益を主張する「上皮層出器及び関連する方法(Epithelial Layer Detector And Related Methods)」と題する2009年7月2日に出願された米国特許出願番号第 号（代理人整理番号08033に関連する。「有糸分裂像検出器及び計数システム、並びに有糸分裂像を検出して計数する方法」と題する2009年7月2日に出願された米国特許出願番号第 号（代理人整理番号08031）及び「上皮層検出器及び関連する方法」と題する2009年7月2日に出願された米国特許出願番号第 号（代理人整理番号08033）の全開示は、参照によりここに組み込まれている。

（分野）
本開示は、デジタル病理学に関する。より詳細には、本開示は、組織試料中の印環細胞を自動的に検出する印環細胞検出器及び対応する方法に関する。

デジタル病理学は、病理医が組織標本を類別することを支援するコンピュータの使用を含んでいる。例えば、専門家が乳癌診断用の組織試料を類別するのに、通常、５分以上はかかる。いくつかの調査によれば、異なる病理医による同一事例に関する類別の間の一致は低いことが示されており、こうした診断の客観性が問題になっている。優れたシステムは、診断に際し、病理医を支援することができるので、より再現可能な結果をより低いコストで達成するのに役立つ。

印環細胞の他には簡単に検出できるマーカーがないので、胃癌における特に致命的な形態である印環細胞癌の診断によって、印環細胞の同定が重要である。印環細胞はごく少数だけ発生する可能性があるので、それらの印環細胞は、人間である病理医によって容易に見落とされることがある。

したがって、組織試料中の印環細胞を自動的に検出する装置／方法が必要とされる。

生検組織試料の画像内の印環細胞を自動的に検出する方法がここに開示される。この方法は、画像内において細胞膜が放射形対称に見える点をコンピュータ処理により見つけることと、所定の形状特徴を備えた隣接する核を有する少なくとも１つの点を、候補点として、コンピュータ処理により選択することと、候補点に対し、畳み込みニューラルネットワークコンピュータ処理を適用して、候補点のどれが印環細胞なのかを決定することと、を含む。

ここではさらに、生検組織試料の画像内の印環細胞を自動的に検出する印環細胞検出器が開示される。この検出器は、画像内において細胞膜が放射形対称に見える点を見つける放射形対称探知器と、所定の形状特徴を備えた隣接する核を有する少なくとも１つの点を候補点として選択する候補選別器と、候補点のどれが印環細胞なのかを決定する畳み込みニューラルネットワーク装置と、を有する。

組織試料中の印環細胞（ＳＲＣ；signet ring cell）を自動的に同定する印環細胞検出器の例示実施形態のブロック図である。 放射形対称探知器の例示実施形態のブロック図である。 候補選別器の例示実施形態のブロック図である。 候補となる印環細胞点を評価して、印環細胞を同定または検出するＣＮＮの例示実施形態のブロック図である。 背景技術の畳み込みニューラルネットワーク（ＣＮＮ；convolutional neural network）の概略図である。 ここで説明しているＳＲＣ検出器及び方法を実施するコンピュータシステムの例示実施形態のブロック図である。 印環細胞の分類または検出の各ステップ、すなわち押しつぶされた核小体の検出、隣接するハフピーク(Hough peak)の探索、及びそれらのピークの分類を示す、生検組織試料のデジタル高解像度カラースキャンまたは画像を示す図である。

図７は、印環細胞を含んでいても含んでいなくてもよい生検組織試料のデジタル高解像度カラースキャンまたは画像である。各押しつぶされた核(squashed nucleus)は正方形の印でマークされ、各隣接した陰性のハフピーク(Hough peak)はプラス印（＋）でマークされ、各隣接した陽性のハフピーク（印環細胞の中心）は斜め十字印（×）でマークされている。

図１は、組織試料内の印環細胞（ＳＲＣ；signet ring cell）を自動的に同定する印環細胞検出器１００の例示実施形態のブロック図である。ＳＲＣ検出器１００は、放射形対称探知器１０２と、候補選別器１０３と、畳み込みニューラルネットワーク（ＣＮＮ；convolutional neural network）装置１０４とを含んでいる。組織試料は、通常は黒っぽいシアン色で画像化されるヘマトキシリン、及び通常は明るいマゼンタ色で画像化されるエオシンのような、２つの異なる有色染料（しかしこれらに限定されるものではないが）でその組織試料を染色することにより、ＳＲＣ検出器１００による解析のために調製されてもよい。その後、着色され染色された組織試料の１つまたは２つ以上のデジタル高解像度カラースキャンまたは画像（例えばデジタル顕微鏡写真）１０１が、デジタル画像装置により得られる。組織試料の高解像度カラースキャンまたは画像１０１は、放射形対称探知器１０２の入力に加えられる。放射形対称探知器１０２は、細胞膜が放射状に対称的に見える点を決定することによってカラースキャンまたは画像を幾何学的に前処理することにより、印環細胞の中心の候補を探しそのリスト生成する。押しつぶされた核が印環細胞の周辺に現れることが知られているので（図７）、候補選別器１０３は、放射形対称探知器１０２の出力での点を解析し、押しつぶされた核を有するように見えるこれらの点、すなわち候補点を同定することにより、そのような押しつぶされた核を同定し、リストから印環細胞の候補のいくつかを除去する。したがって、すぐ近くに押しつぶされた核を有する候補の細胞中心のみがリスト上に候補として残ることになる。言いかえれば、候補選別器１０３は、印環細胞核の特徴的な押しつぶされた形状を探す。候補選別器は、色に基づいて核を分離することを試み、次に、核の着色部分をＣＮＮ装置１０４に提供する。色のしきい値は事前に決定されている（各入力に対して調整されない）。ＣＮＮ装置１０４は、印環細胞の残された各候補（候補点の中心にあるフルカラーのフレーム）を解析して、その候補が印環細胞のように見える全体的な細胞構成を持っているかどうかを判定し、印環細胞１０５である候補を同定する。

図２は、放射形対称探知器１０２の例示実施形態のブロック図である。放射形対称探知器１０２は、色分離器２０１と、エッジ探知器２０２と、ハフ変換装置(Hough transform unit)２０３とを含んでいる。色分離器２０１は「膜チャネル」として色チャネルを分離する。膜の色は使用される染料に依存する。例えば、細胞膜はエオシン好性であり、エオシンは緑の色チャネル中で強く画像化する。ヘマトキシリン及びエオシンに染色された組織に対して計画された例示実施形態では、色分離器２０１は、組織試料の１つまたは２つ以上の高解像度スキャンまたは画像１０１の各々について、赤、緑及び青の色チャネルへの単純な分離を行い、膜チャネルとして緑の色チャネルを指定する。

エッジ探知器２０２は、細胞膜を表していそうな膜チャネル中のエッジを同定する。ソーベル(Sobel)アルゴリズムのようなエッジ検出法は、任意の与えられた方向における画像の強度変化に関する情報を与え、複数のこれらのエッジ検出器の結果をいくつかの方向で取りまとめることができる。例示実施形態において、膜チャネルはまず非線形フィルタで強調され、エッジ探知器２０２は、水平、垂直、及び対角線方向に動作して、強調された膜チャネルの４枚のエッジマップを生成する。

ハフ変換装置２０３は、４枚のエッジマップから、残りの領域の一般化ハフ変換(generalized Hough transform)を算出し、印環細胞にふさわしい放射形対称２０４の候補点のリストを出力する。一般に、(ｘ,ｙ)でのグレースケールビットマップＢのハフ変換(Hough transform)は、次式で与えられる。

ここで、ｆ(ａ,ｂ)は、ａ及びｂが両方とも所与のしきい値を超える場合に１、そうでなければ０である。したがって、Ｈ(ｘ,ｙ)は、(ｘ,ｙ)のまわりの放射形対称を評価する。本明細書では、この変換の離散化バージョンが、積分の各π／４間隔で４つのエッジマップを使用して適用される。互いにあまりにも接近しすぎている２つのピークは選択されないという条件で、この変換のピークが所与のしきい値を達成しているときに、印環細胞の候補点が選択される。これらの候補点は、一定の候補領域の外側にあるものを除外するために、フィルタリングされてもよい。候補領域は、所定の色基準（白色領域または血液色領域）に一致する領域、及びエッジ探知器２０２によって検出されたエッジにあまりにも近くに現れる点を除外する。

放射形対称探知器１０２は、放射形対称の候補点２０４の各々のまわりに枠（フレーム）をつけ、枠をつけられた候補点２０５（図３）の各々を候補選別器１０３に適用する抽出器（図示せず）も含んでいる。

図３は、候補選別器１０３の例示実施形態のブロック図である。候補選別器１０３は、印環細胞の周辺に現れることが知られている、特徴的な「押しつぶされた」形状の核を見つける。候補選別器１０３は、色しきい値予測装置３０１と、連結成分解析器３０２と、形状フィルタリング装置３０３と、２値画像抽出器３０４と、分類器装置３０５とを含んでいる。しきい値化装置３０１は、生検画像１０１の個々の画素の色を核に期待される色と比較することによって、それらの画素を受理または拒絶する。染料がヘマトキシリンを含んでいる組織に計画された例示実施形態では、この色はヘマトキシリン−リッチ(hematoxylin-rich)になる。参照番号３０１の結果は、画素色（白または黒）が、色画像１０１の画素が期待される核の色を持っているかどうかを示す、２値画像となる。

連結成分解析器３０２は、色しきい値予測装置３０１から出力された２値画像における、互いに連結された、核の色に着色された画素の群を抽出する。連結画素のこれらの群は、以下では塊(blob)と呼ばれる。

形状フィルタリング装置３０３は、一定の基本的な形状制約を満たさない塊をフィルタリング除去する。最小限のものとして形状制約は、塊の大きさ（幅、高さ、質量）を含んでいるが、印環細胞に存在する典型的な「押しつぶされた核」の形状を特徴づける、より多くの複雑な形状制約が含まれていてもよい。そのような複雑な形状制約の一例として、塊の短軸に対するその塊の長軸の比がある。次に、２値画像抽出器３０４は、分類器装置３０５に送られるべき、塊周辺の２値画像を抽出する。

分類器装置３０５は、押しつぶされた核の検出器として訓練された分類器を有している。一例示実施形態では、分類器装置３０５は、ＣＮＮ（畳み込みニューラルネットワーク；Convolutional Neural Network）を有している。図５は、背景技術のＣＮＮ５００を概略的に示している。ＣＮＮ５００の構成及び機能はこの技術分野においてよく知られている。ＣＮＮは、特徴マップ(feature map)と呼ばれる入力のスタック（積み重ね）５０１（入力層）を小さなフィルタ５０２により畳み込んで、内部層または第１の内部層５０３と呼ばれる特徴マップの新たなスタックを得る。この第１の内部層５０３の特徴マップの各々は、（通常は異なる重みを有する）訓練されたカーネルによって１つまたは２つ以上の入力マップを畳み込み、その結果を一緒に加算することによって得られる。次に、結果として生じた値は、非線形伝達関数５０４を通して渡され、第２の内部層５０５が得られる。第３の内部層５０７がサブサンプリング５０６によって得られ、ここで、各値は、それより前の内部層（例えば第２の内部層５０５）からの隣接する値の群を一緒に平均化することによって得られる。それら群は重なり合わないので、結果として得られた内部層は、前の内部層よりも実質的に小さい。いくつかの内部層の後では、出力層５０８の各値５０９が入力層５０１の隣接値の入力窓５１０に依存することは明らかである。さらに、これらの窓は互いに重なり合う。

他の例示実施形態では、分類器装置３０５は、サポートベクトルマシン（ＳＶＭ；support vector machine）を有していてもよいが、これに限定されるものではない。

図３を再び参照して、押しつぶされた核について訓練された分類器装置３０５は、押しつぶされた形状の核がその周辺に存在するかどうかをチェックすることによって、印環細胞の候補点をさらに除去する。分類器装置３０５への入力は、一例示実施形態では、１マイクロメートル当たり４．３８９５ドットの倍率で４８×４８の２値画像である１つの特徴マップを有している。この特徴マップは、形状フィルタリング装置３０３から得られた画素群の中心に、その特徴マップの中心が合わされている。分類器装置３０５は、形状フィルタリング装置３０３からの各画素群に対する分類を出力する。そのような分類器装置は、形状フィルタリング装置３０３からの、印環細胞の周辺に現れることが知られていない画素群に対し、形状フィルタリング装置３０３からの、既知の印環細胞の周辺に現れる画素群の供給について訓練されていてもよい。（分類器装置３０５の訓練に用いられた印環細胞の周辺で見つかった核に類似した形状を示す）肯定的な分類が得られ、かつその示されたものが放射形対称の点２０４（図２）からの所定距離内にある場合、放射形対称の点２０４の点は、候補３０６の点として受理される。

図４を参照して、ＣＮＮ装置１０４は、ＳＲＣ点の候補を評価して印環細胞を同定または検出するように訓練されたＣＮＮ４０１を有する。ハフピークが押しつぶされた核（候補選別器１０３の分類器装置３０５の出力での候補点）の近くで発生した場合、ＣＮＮ４０１は、候補点周辺の組織の全体的な構成を評価し、印環細胞が存在するかどうかについての最終判断を行う。一例示実施形態では、ＣＮＮ４０１は、ハフピークのまわりの２０４×２０４の大きさの（４０×の倍率で）フレーム中の、赤、緑及び青の色チャネルを利用する。ＣＮＮ４０１は、色情報を取り入れ、単に形状だけにとどまらずに評価するので、そのＣＮＮ４０１は、押しつぶされた核の分類器装置３０５よりも多くの能力を必要とする。より具体的には、この分類を行うために、ＣＮＮ４０１は、分類器装置３０５から出力され、かつ印環細胞でない候補点３０６の供給に対し、印環細胞であることが知られている候補点の供給について訓練されていてもよい。

当業者には、ここで説明している印環細胞検出器及び方法が、任意の適切に適応されたコンピュータシステムを用いて実現できることが認識されよう。コンピュータシステムは、メインフレームコンピュータシステム、ワークステーション、パーソナルコンピュータシステム、携帯情報端末（ＰＤＡ；personal digital assistant）、または、メモリ媒体からの命令を実行する少なくとも１つのプロセッサを有する他のデバイスまたは装置を含んでいてもよいが、これらに限定されるものではない。

コンピュータシステムは、１つまたは２つ以上のコンピュータプログラムまたはソフトウエアコンポーネントを格納できる、１つまたは２つ以上のメモリ媒体を含んでいてもよい。ここで説明している方法を行うのに実行可能な１つまたは２つ以上のソフトウェアプログラムは、メモリ媒体に格納されてもよい。これらの１つまたは２つ以上のメモリ媒体は、ＣＤ−ＲＯＭ、フロッピーディスク、テープ装置、ＤＲＡＭ、ＳＲＡＭ、ＥＤＯ ＲＡＭ、及びＲａｍｂｕｓ ＲＡＭ（しかしこれらに限定されるものではない）のようなランダムアクセスメモリ、ハードディスクドライブ及び光記憶装置（しかしこれらに限定されるものではない）のような不揮発性メモリ、並びにこれらの組み合わせを含んでいてもよいが、これらに限定されるものではない。さらにメモリ媒体は、インターネットのようなネットワーク上のコンピュータシステムに接続した、１つまたは２つ以上の関連するコンピュータまたはコンピュータシステムに完全にまたは部分的に配置されていてもよい。

ここで説明している印環細胞検出器及び方法は、ハードウェア、ソフトウェアとハードウェアとの組み合わせ、または他の適切な実行可能な実装によって、実行することもできる。ソフトウェアで実装される方法は、コンピュータシステムのプロセッサ、または、コンピュータシステムに接続された１つまたは２つ以上の関連するコンピュータまたはコンピュータシステムの１つまたは２つ以上のプロセッサによって実行されてもよい。

図６は、ここで説明している印環細胞検出器及び方法を実施するコンピュータシステム６００の例示実施形態のブロック図である。コンピュータシステム６００は、プロセッサ６２０と、ここで説明している印環細胞検出器及び方法を実現するためにプロセッサ６２０によって実行可能な１つまたは２つ以上のプログラムを格納するメモリ６３０と、入力データ、例えばラベル付けされていないカラースキャンデータ及びラベル付けされたカラースキャンデータ（訓練データ）を受け取る入力６４０と、データ、例えば、印環細胞である候補点を示す１つまたは２つ以上の予測ラベル、及び印環細胞でない候補点を示す１つまたは２つ以上の予測ラベルを出力する出力６６０と、を含んでいる。

本開示の例示的図面及び特定の実施形態を説明し例示したが、本発明の範囲は説明した特定の実施形態に限定されないことが理解されよう。したがって、実施形態は限定的であるよりも例示的と見なすべきであり、添付の特許請求の範囲に記載された本発明の範囲ならびに構造的等価物及び機能的等価物から逸脱することなくこれらの実施形態に変更を加えることができることが当業者には理解されよう。

Claims (12)

1. 生検組織試料の画像内の印環細胞を自動的に検出する方法であって、
   前記画像は少なくとも２つの異なる色を有し、前記少なくとも２つの異なる色の１つの色は細胞膜を最もよく表現しており、
   コンピュータ処理により、前記少なくとも２つの異なる色のうちの前記細胞膜を最もよく表現する前記１つの色を有する前記画像の部分を、前記少なくとも２つの異なる色のうちの他の色を有する前記画像の部分から分離するステップと、
   コンピュータ処理により、前記少なくとも２つの異なる色のうちの前記細胞膜を最もよく表現する前記１つの色を有する前記画像の部分において、複数の方向における画像強度の変化を用いて、前記細胞膜であろうエッジを同定するステップと、
   細胞膜であろう前記同定されたエッジから、コンピュータ処理により、各々が、考え得る印環細胞の中心を表す点である、その周りで前記細胞膜が放射形対象に見える点を決定するステップと、
   前記考え得る印環細胞の中心を表す前記点の各々に対し、
   前記画像の各画素の色を核に期待される色と比較して、前記核に期待される色を有する画素を核の画素として分類することと、
   前記画素から前記核の画素が連結した群を抽出することと、
   前記抽出された核の画素が連結した群が、押しつぶされた形状がその周辺に存在する核を有するかどうかを判定することと、
   その点を候補印環細胞の中心として選択することと、
   によって、前記考え得る印環細胞の中心を表す前記点のうち、前記押しつぶされた形状を備えた隣接する核を有する点を、候補印環細胞として、コンピュータ処理により選択するステップと、
   前記候補印環細胞の中心を表す前記選択された点に対し、畳み込みニューラルネットワークコンピュータ処理を適用して、前記候補印環細胞のどれが印環細胞なのかを決定するステップと、
   を有する方法。
2. 前記その周りで前記細胞膜が放射形対象に見える点を決定するステップは、ハフ変換のピークを見つけるステップを含み、考え得る印環細胞の前記中心を表す前記点は、前記ハフ変換の前記ピークが所与のしきい値を達成しているときに選択される、請求項１に記載の方法。
3. 前記選択することは、分類器を用いて実行される、請求項１に記載の方法。
4. 前記分類器は畳み込みニューラルネットワークコンピュータ処理を有する、請求項３に記載の方法。
5. 前記分類器はサポートベクトルマシンコンピュータ処理を有する、請求項３に記載の方法。
6. 前記畳み込みニューラルネットワークコンピュータ処理を適用するステップは、印環細胞ではない候補点の供給に対し、印環細胞であることが知られている候補点の供給について訓練された畳み込みニューラルネットワークコンピュータを用いて行われる、請求項１に記載の方法。
7. 生検組織試料の画像内の印環細胞を自動的に検出する印環細胞検出器であって、
   前記画像は少なくとも２つの異なる色を有し、前記少なくとも２つの異なる色の１つの色は細胞膜を最もよく表現しており、
   前記少なくとも２つの異なる色のうちの前記細胞膜を最もよく表現する前記１つの色を有する前記画像の部分を、前記少なくとも２つの異なる色のうちの他の色を有する前記画像の部分から分離する命令と、
   前記少なくとも２つの異なる色のうちの前記細胞膜を最もよく表現する前記１つの色を有する前記画像の部分において、複数の方向における画像強度の変化を用いて、前記細胞膜であろうエッジを同定する命令と、
   細胞膜であろう前記同定されたエッジから、各々が、考え得る印環細胞の中心を表す点である、その周りで前記細胞膜が放射形対象に見える点を決定する命令と、
   前記考え得る印環細胞の中心を表す前記点の各々に対し、
   前記画像の各画素の色と核に期待される色とを比較して、前記核に期待される色を有する画素を核の画素として分類することと、
   前記画素から前記核の画素のいずれの連結した群を抽出することと、
   核の画素の前記抽出された連結した群が、押しつぶされた形状がその周辺に存在する核を有するかどうかを判定することと、
   その点を候補印環細胞の中心として選択することと、
   によって、前記考え得る印環細胞の中心を表す前記点のうち、前記押しつぶされた形状を備えた隣接する核を有する点を候補印環細胞として選択する命令と、
   前記候補印環細胞の中心を表す前記選択された点に畳み込みニューラルネットワークを適用して、前記候補印環細胞のどれが印環細胞なのかを決定する命令と、
   を実行するためのプロセッサを有する検出器。
8. 前記その周りで前記細胞膜が放射形対象に見える点を決定する命令は、
   ハフ変換のピークを見つける命令を含み、考え得る印環細胞の前記中心を表す前記点は、前記ハフ変換の前記ピークが所与のしきい値を達成しているときに選択される、請求項７に記載の検出器。
9. 前記その点を候補印環細胞の中心として選択することは、分類器を用いて実行される、請求項７に記載の検出器。
10. 前記分類器は畳み込みニューラルネットワークを有する、請求項９に記載の検出器。
11. 前記分類器はサポートベクトルマシンを有する、請求項９に記載の検出器。
12. 前記畳み込みニューラルネットワークは、印環細胞でない候補点の供給に対し、印環細胞であることが知られている候補点の供給について訓練された畳み込みニューラルネットワークを有する、請求項７に記載の検出器。

Images