JP5478618B2 - 上皮層検出器およびそれに関連する方法 - Google Patents

上皮層検出器およびそれに関連する方法 Download PDF

Info

Publication number
JP5478618B2
JP5478618B2 JP2011516869A JP2011516869A JP5478618B2 JP 5478618 B2 JP5478618 B2 JP 5478618B2 JP 2011516869 A JP2011516869 A JP 2011516869A JP 2011516869 A JP2011516869 A JP 2011516869A JP 5478618 B2 JP5478618 B2 JP 5478618B2
Authority
JP
Japan
Prior art keywords
color
pixel
dye
image
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011516869A
Other languages
English (en)
Other versions
JP2011527178A (ja
Inventor
クリストファー マロン、
マシュー エル. ミラー、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Laboratories America Inc
Original Assignee
NEC Laboratories America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Laboratories America Inc filed Critical NEC Laboratories America Inc
Publication of JP2011527178A publication Critical patent/JP2011527178A/ja
Application granted granted Critical
Publication of JP5478618B2 publication Critical patent/JP5478618B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Image Processing (AREA)

Description

本開示は、デジタル病理学に関する。より詳細には、本開示は、組織試料の上皮部分を自動的に同定する上皮層検出器および対応する方法に関する。
本出願は2008年7月03日に出願された米国特許仮出願番号第61/077,974号の利益を主張し、その全開示は参照によりここに組み込まれている。
本出願は、2008年7月03日に出願された米国特許仮出願番号第61/077,969号の利益を主張する、「印環細胞検出器および関連方法(Signet Ring Cell Detector and Related Methods)」と題する2009年7月2日に出願された米国特許出願番号第 号(代理人整理番号08032)、および2008年7月03日に出願された米国特許仮出願第61/077,966号の利益を主張する、「有糸分裂像検出器およびカウンターシステム、および有糸分裂像を検出、計数する方法(Mitotic Figure Detector and Counter System and Method for Detecting and Counting Mitotic Figures)」と題する2009年7月2日に出願された米国特許出願番号第 号(代理人整理番号08031)に関連する。「印環細胞検出器および関連方法」と題する2009年7月2日に出願された米国特許出願番号第 号(代理人整理番号08032)および「有糸分裂像検出器およびカウンターシステム、および有糸分裂像を検出、計数する方法」と題する2009年7月2日に出願された米国特許出願番号第 号(代理人整理番号08031)の全開示は参照によりここに組み込まれている。
デジタル病理学は、病理医が組織標本を類別するのを支援するコンピュータの使用を含んでいる。例えば、専門家が乳癌診断用の組織試料を類別するのに通常5分以上はかかる。いくつかの調査によれば、同一事例についての病理医の類別の間の一致は低いことが実証されており、それらの診断の客観性が問題になっている。優れたシステムは診断の際に病理医を支援することができるので、より再現可能な結果をより低いコストで達成することを助けることができる。
上皮組織の同定は、上皮組織周辺の細胞核密度が高レベルに達するので(悪性腫瘍に関する誤った警告を与える原因となる)、乳癌および胃癌の診断にとって重要である。診断値の組織学的統計量を生成するために、これらの領域は核の密度推定から取り除かれる必要がある。
乳癌および胃癌の場合には、組織試料は患者から取り出され、スライスされ、ヘマトキシリン・エオシン染料により染色され、微視的な分解能を持つデジタルスキャナで画像化することができる。問題は、上皮層内にある組織部を上皮層内にない組織部から識別することである。
先行技術では、2、3の方法で組織部を識別する問題が取り扱われている。1つの方法では、スキャンされた画像の各画素を、該画素の色に応じて4つの組織カテゴリのうちの1つに分類する、線形分類器(線形ニューラルネットワークによりトレーニングされた)が用いられる。次に、手動設計の発見的問題解決法を用いて上皮組織の境界を見つける。他の方法では、まずカラーセグメンテーションが画像に適用される。次に、各セグメントは、該セグメントの色、いくつかの基本的形状特徴、および近傍のセグメントの以前の分類に基づき、手動設計の発見的問題解決法に従って、いくつかの異なる物体の1つとして分類される。利用可能な種類のうちの1つは、ヘマトキシリン色を持つセグメントとして定義され、「間質核」のように見えるほど十分に円形でなくまた大きくもなく、「アポトーシス核」のように見えるほど黒っぽい、「上皮核」である。
都合の悪いことに、上述の方法の適応性は限られている。手動設計の発見的問題解決法に基づいた方法は、認識されるべき各パターンに適用される新たな規則群を必要とする。加えて、上記カラーセグメンテーションの方法は、上皮層の一部として核物質を認識できるのみである。該方法は、上皮層の一部と適正に見なされるべき、ゴブレット細胞のムチン性細胞体のような、他の物質を認識することができない。
したがって、上皮層内にある組織部を上皮層内にない組織部から自動的に識別するのに、改善された、より適応性のある装置および方法が必要とされる。
組織試料の上皮部分を自動的に同定する方法が提供される。本方法は、組織試料を1つまたは2つ以上の染料で染色すること、色変換計算機処理を適用して、染色された組織試料のカラー画像を1つまたは2つ以上のカラーチャネルに分離すること、カラーチャネルに畳み込みニューラルネットワーク計算機処理を適用して、組織試料の各位置について、該位置が上皮層内または上皮層外であるのかどうかについての決定を得ることを含む。
さらに、組織試料の上皮部分を自動的に同定する方法がここに開示される。本方法は、組織試料を少なくとも2つの染料で染色すること、組織試料のカラー画像に色変換計算機処理を適用して、各色組織画像の各画素が該画像の対応する画素において対応する染料の推定濃度を示す色の濃さを持つ、複数の画素で形成された少なくとも2つの個別の色組織画像を得ること、色組織画像に畳み込みニューラルネットワーク計算機処理を適用して、画素群について、該群の中心が上皮層内または上皮層外にあるのかどうかについての決定を得ることを含む。
組織試料の上皮部分を同定するのに使用される上皮層検出器の畳み込みニューラルネットワーク計算機処理の1つまたは2つ以上のパラメータをトレーニングする方法もここに開示される。本方法は、1つまたは2つ以上の組織試料を少なくとも2つの染料で染色すること、1つまたは2つ以上の組織試料をスキャンして、該1つまたは2つ以上の組織試料のカラー画像を生成すること、各マスクが、複数の画像のうちの対応する1つの画像の各画素について、該画素が上皮層内または上皮層外であるのかを示す、マスク群を生成すること、組織試料の各画像に色変換計算機処理を適用して、各カラーチャネルの各画素が走査内の対応する画素において対応する染料の推定濃度を示す色の濃さを持つカラーチャネルに、画像を分離すること、個別の色組織画像群からトレーニングデータとして使用するパッチ群を選択することであって、各パッチは該パッチ群のすべての色組織画像からの画素の連続的収集を含み、いくつかのパッチは上皮層内に中心があり、その他のパッチは上皮層外に中心がある、パッチ群を選択すること、畳み込みニューラルネットワーク計算機処理のパラメータを任意の値に初期化すること、畳み込みニューラルネットワーク計算機処理をパッチ群に反復して適用すること、前記パラメータを調整し、畳み込みニューラルネットワーク計算機処理の予測と各パッチの正しいラベルとの間の一致を改善することを含む。
さらに、組織試料の上皮部分を自動的に同定する上皮層検出器がここに開示される。本検出器は、1つまたは2つ以上の染料で染色された組織試料のカラースキャンに色変換処理を適用して、画像をカラーチャネルに分離する色変換装置であって、各カラーチャネルの各画素が走査の対応する画素において対応する染料の推定濃度を示す色の濃さを持つ、色変換装置と、カラーチャネルに畳み込みニューラルネットワーク処理を適用して、組織の各位置について、該位置が上皮層内または上皮層外であるのかどうかについての決定を得る、畳み込みニューラルネットワーク装置とを有する。
組織試料の上皮部分を同定する上皮組織検出器の典型的な実施形態の機能ブロックダイアグラムである。 従来のCNNを概略的に示す図である。 上皮組織検出器のCNNの典型的な実施形態を概略的に示す図である。 上皮組織検出器をトレーニングする方法の典型的な実施形態を示すフローチャートである。 図4のフローチャートに示した方法を概略的に示す図である。 ここで説明している上皮組織検出器および方法を実現するためのコンピュータシステムの典型的な実施形態のブロックダイアグラムである。
組織試料の上皮部分を自動的に同定する畳み込みニューラルネットワークを用いた、上皮組織検出器および方法がここに開示される。畳み込みニューラルネットワークをトレーニングして組織試料の上皮部分を同定する方法もここに開示される。畳み込みニューラルネットワークは、一連の畳み込みと、複数の非線形伝達関数と、各サブサンプリングが重み群で管理された複数のサブサンプリングとを含んでいる。該重み群は、手動でラベル付けされた生検画像の収集について好結果を得る確率的勾配降下法を用いてトレーニングされる。
図1は、組織試料の上皮部分を自動的に同定する上皮組織検出器100の典型的な実施形態の機能ブロックダイアグラムである。組織試料は、該組織試料を各染料が異なる色を持つ複数の染料で染色することによって準備されてもよく、次に、撮像装置が、組織試料の1つまたは2つ以上のデジタル高分解能カラースキャンまたは画像101を得るのに使用されてもよい。組織試料の1つまたは2つ以上の高解像度カラースキャンまたは画像101は、色変換器102の入力に加えられる。色変換器102は、スキャンまたは画像の各画素に、該画素の位置における各染料の濃度を推定するために、色変換処理を実行する。色変換処理は、色変換器102の出力として、各画素の色の濃さが染料の推定濃度を示す染色チャネル群103を各染料に対して1つ生成する。そのような色変換処理に関するより詳細については、例えば、2008年6月2日に出願された米国特許番号第12/131,346号を参照されたい。米国特許番号第12/131,346号の開示は、該開示が色変換処理に関連するものとして、参照によりここに組み込まれている。他の非限定的な実施形態では、赤、緑、および青のカラーチャネルへの簡単な分離(色分離器により実行される)が、色変換器102により行われた染色チャネルへの分離の代わりに適用されてもよい。
1つの典型的な実施形態では、色変換器102は、3次元色空間のベクトルとして染料の各々に対する主調色(dominant color)を推定する。次に、画素の各染料の濃度が、画素の色と染料の主調色との間の相関関係を算出することによって推定される。
1つの典型的な実施形態では、組織試料は、通常黒っぽいシアン色で画像化されるヘマトキシリンおよび通常明るいマジェンタ色で画像化されるエオシンの2つの染料で染色されてもよい。しかしながら、サンプルの古さ、全体的色素濃度、および撮像装置の諸特性が染料の正確な色調の変化をもたらす可能性がある。それゆえ、染料がすべての画像において同一色を持つと仮定することはできない。したがって、この実施形態では、画像内の基本シアン色は、画素のシアン含有量に基づいた各画素の重みを持つ、すべての画素の加重平均として次式のように推定される。
Figure 0005478618
なおここで、Cは基本シアン色、Piは画素iの3つの構成色、wiは画素iの重み、Pi Cyanは、シアン・マジェンタ・イエロー(CMY)色空間の画素iのシアン値である。次に、基本マジェンタ色Mがもう一つの加重平均として算出され、ここで、今回は、該重みは、基本シアン色で記述されない各色ベクトルの大きさから算出され、次式が得られる(これらの重みの使用は、画像が主にシアンおよびマジェンタから構成されているという仮定に基づいている)。
Figure 0005478618
次に、画素が主にヘマトキシリンである場合、該画素はエオシンをほとんど持っておらずその逆も成立すると仮定すると、ヘマトキシリンHの主調色は、基本シアンC色内の任意の基本マジェンタMの寄与を取り除くことにより推定され、エオシンの主調色は、基本マジェンタM色の中の任意の基本シアンCの寄与を取り除くことによって推定され、次式が得られる。
Figure 0005478618
Figure 0005478618
よって、画素i内のヘマトキシリンHの推定濃度はPi・H、エオシンEの推定濃度はPi・Eとなる。
他の実施形態では、色変換器は、ヘマトキシリンH染料およびエオシンE染料に対する束縛ベクトルを用いて、1つまたは2つ以上のスキャンまたは画像に色変換処理を行う。大きな色変化が画像間で推測されない場合、色変換処理のこの実施形態は適切である。ヘマトキシリンH染料およびエオシンE染料の3次元色空間のベクトルは、いくつかの試料画像に上述の計算を適用して結果を一緒に平均化することによって選ぶことができる。
図1をなお参照して、染色チャネル群103は、組織部が上皮層内または上皮層外であるのかどうかを判断する畳み込みニューラルネットワーク(CNN)104の入力に加えられる。通常、CNNは、畳み込みカーネル(convolution kernel)のトレーニングされた値を用いて、畳み込み、非線形伝達関数、およびサブサンプリングを連続して該CNNの入力に適用することによって進行し、いくつかの入力特性を記述する多くの出力105を得る。上皮組織検出器100では、入力103は色素濃度画像であり、出力105は、対応する組織部が上皮層内または上皮層外であるのかどうかを示す指標である。
図2は、従来のCNN200を概略的に示す図である。CNN200の構成および機能は当技術分野においてよく知られている。CNNは、特徴マップと呼ばれる入力201(入力層)の積み重ねを小さなフィルター202で畳み込んで、内層または第1の内層203と呼ばれる特徴マップの新たな積み重ねを得る。この第1の内層203の特徴マップの各々は、トレーニングされたカーネル(通常異なる重みを持つ)によって1つまたは2つ以上の入力マップを畳み込み、結果を一緒に加算することによって得られる。次に、結果として生じた値は非線形伝達関数204を通して渡され、第2の内層205を得る。第3の内層207がサブサンプリング206によって得られ、ここで、各値は、前の内層(例えば第2の内層205)からの隣接値群を一緒に平均化することによって得られる。該群は重複しないので、結果として得られた内層は前の内層よりも実質的に小さい。いくつかの内層の後、出力層208の各値209が入力層201の隣接値の入力ウィンドウ210に依存することは明らかである。さらに、これらのウィンドウは互いに重複する。
図1の上皮組織検出器100に用いられるCNN104は、入力ウィンドウの中心が上皮層内にあるのかどうかを、該CNN104の出力層の各値が示すように構成されている。図3は、上皮組織検出器100のCNN104の典型的な実施形態を概略的に示す図である。CNN104は、入力層301と、それぞれ第1、第2、第3、第4、第5および第6の内層である302,303,304,305,306および307と、出力層308とを含んでいる。
入力層301は2つの特徴マップを含んでいる。2つの特徴マップのうちの1つはヘマトキシリン濃度を推定し、2つの特徴マップの他の1つはエオシン濃度を推定する。
第1の内層302は、5×5個のカーネルを持つ2つの入力特徴マップを畳み込み、一定の補正値を加算し、該計算結果の双曲正接を算出することによって得られる、9つの特徴マップを含んでいる。該カーネルの値および一定の補正値は、後で説明するトレーニング処理によって得られる。第1の内層302には9つの特徴マップがあるので、トレーニングされるに違いない18個のカーネルと9つの一定の補正値とがある。5×5の畳み込みのために、第1の内層302の9つの特徴マップの各々は、入力層301の2つの特徴マップの各々よりも、xおよびyの両方でより小さい4つの画素となる。
第2の内層303はサブサンプリングによって得られる。第1の内層302から出力された9つの特徴マップの各々のすべての2×2群の値は一緒に平均化され、定数を掛けられ、他の定数によって相殺され、双曲正接関数を通して渡される。これは、第1の内層302の出力において、9つの特徴マップの各々について別々に行われる。したがって、第2の内層303は、各特徴マップが第1の内層302の出力において9個の特徴マップのうちの1つから算出された、9個の特徴マップを含んでいる。対応する9個の乗算値および9個の補正値が、トレーニングによって得られる。第2の内層303の9個の特徴マップの各々は、第1の内層302のそれらの対応する9個の特徴マップの半分の幅および半分の高さである。
第3の内層304は、第1の内層302に関して説明した方法と同一の方法で、5×5個のカーネルで畳み込み、定数で相殺し、双曲正接関数を通して結果を渡すことによって得られる、16個の特徴マップを持っている。16個の特徴マップの各々は、第2の内層303から出力された9個の特徴マップから算出されるので、144個のカーネルをトレーニングする必要がある。
第4の内層305は、第2の内層303に関して説明した方法と同一の方法で、サブサンプリングによって算出される。したがって、第4の内層は、各特徴マップが第3の内層304の出力において16個の特徴マップのうちの1つから得られる、16個の特徴マップを含んでいる。
第5の内層306は、第1の内層302に関して説明した方法と同一の方法で、5×5個のカーネルで畳み込み、定数で相殺し、双曲正接関数を通して結果を渡すことによって得られる、32個の特徴マップを持っている。32個の特徴マップの各々は、第4の内層305の出力において16個の特徴マップから算出されるので、512個のカーネルをトレーニングする必要がある。
第6の内層307は、第1の内層302と同一の方法で、5×5個のカーネルで畳み込み、定数で相殺し、双曲正接関数を通して結果を渡すことによって得られる、64個の特徴マップを持っている。64の特徴マップの各々は、第5の内層307の出力において32個の特徴マップから算出されるので、2048個のカーネルをトレーニングする必要がある。
出力層308は2つの特徴マップを含んでいる。入力層301の2つの特徴マップのうちの1つの隣接値の入力ウィンドウの中心が上皮層内にある場合、該2つの出力層特徴マップのうちの1つは、大きな値を持つようにトレーニングされ、入力層301の2つの特徴マップのうちの1つの隣接値の入力ウィンドウの中心が上皮層内にない場合、該2つの出力層特徴マップうちの他の1つは、大きな値を持つようにトレーニングされる。2つの出力層特徴マップは1×1個のカーネルによる畳み込みによって得られ、その結果、出力層308の各出力は、トレーニングによって得られた重みにより、第6の内層307の出力においてすべての64個の特徴マップの対応する値のちょうど加重和になる。このアーキテクチャにより、各出力値は48×48個のウィンドウに依存する。ウィンドウはxおよびyの44個の画素だけ重複する。
図4および図5は、組織試料の上皮部分を同定する上皮組織検出器をトレーニングする方法の典型的な実施形態を集合的に示す図である。図4は該方法のフローチャートであり、図5はトレーニング方法の対応する概略図である。ボックス401(図4)で、N個の染料により染色された組織試料の高解像度カラースキャン501のコーパス(図5)が、対応する複数のユーザ生成のマスク502(2値画像)(図5)と共に提供され、該マスクの各々は、対応する1つのスキャンの各画素について、該画素が上皮層内または上皮層外であるのかどうかを示している。そのようなマスクは当技術分野においてよく知られている。マスクに関する2進情報は、内在する画素の任意のブール特性を符号化することができる。ここで、マスクは、画像中の各位置が上皮層に属するかどうかを符号化する。この実施形態では、組織試料はヘマトキシリンとエオシン(したがって、N=2)とにより染色され、各画像のマスクはデータタブレットを持つ画像を手動でラベル付けすることにより得られる。
ボックス402(図4)で、検出器100の色変換102(図1)が各カラースキャン503(図5)に適用される。これは、各カラースキャンについてN個の染色チャネル504(図5)を生み出す。
ボックス403(図4)で、パッチ505(図5)がトレーニング群として働くように染色チャネルから選択される。各パッチ505は、CNN104(図1)の1つの入力ウィンドウに対応し、パッチが生じた画像に対応するマスクに応じて、パッチの中心画素が上皮層内または上皮層外であるのかどうかを示すラベル506(図5)に関連づけられている。図5に示すように、「1」のラベルはパッチが上皮層内であることを示し、「0」はパッチが上皮層内でないことを示している。
1つの典型的な実施形態では、上皮層内および上皮層外であるようにラベル付けされた数と等しい数のパッチがボックス403で選択される。同数のパッチが各画像から選択され、白色領域(すなわち組織がない領域)からのパッチは選択されない。これらの制約に加えて、トレーニングパッチがボックス403で任意に選択される。
ボックス404(図4)で、CNN104の重み値が、浮動小数点数の分布から選択された乱数値で初期化される。もう1つの選択肢として、CNN104は、ボックス403でパッチを選択する前に初期化されてもよい。ボックス405で、CNN104は、確率的勾配降下法および逆伝播法507(図5)のよく知られている原理に従ってパッチでトレーニングされ、組織試料の上皮部分を同定可能なCNN10のトレーニングされたバージョン508(図5)を生成する。
当業者には、ここで説明している上皮組織検出器および方法が、任意の適切に適応されたコンピュータシステムを用いて実現できることが認識されよう。コンピュータシステムは、メインフレームコンピュータシステム、ワークステーション、パーソナルコンピュータシステム、携帯情報端末(PDA)、または、記憶媒体からの命令を実行する少なくとも1つのプロセッサを持つ他のデバイスまたは装置を含んでいてもよいが、それらに限定されるものではない。
コンピュータシステムは、1つまたは2つ以上のコンピュータプログラムまたはソフトウエアコンポーネントを格納できる、1つまたは2つ以上の記憶媒体を含んでいてもよい。ここで説明している方法を行うのに実行可能な1つまたは2つ以上のソフトウェアプログラムは、記憶媒体に格納されてもよい。該1つまたは2つ以上の記憶媒体は、CD−ROM、フロッピーディスク、テープ装置、DRAM、SRAM、EDO RAM、およびRambus RAM(しかしこれらに限定されるものではない)のようなランダムアクセスメモリ、ハードディスクドライブおよび光記憶装置(しかしこれらに限定されるものではない)のような不揮発性メモリ、およびそれらの組み合わせを含んでいてもよいが、それらに限定されるものではない。加えて、記憶媒体は、インターネットのようなネットワーク上のコンピュータシステムに接続した、1つまたは2つ以上の関連するコンピュータまたはコンピュータシステムに完全にまたは部分的に配置されていてもよい。
ここで説明している上皮組織検出器および方法は、ハードウェア、ソフトウェアとハードウェアとの組み合わせ、または他の適切な実行可能な実装において実行されてもよい。ソフトウェアで実行される方法は、コンピュータシステムのプロセッサ、または、コンピュータシステムに接続された1つまたは2つ以上の関連するコンピュータまたはコンピュータシステムの1つまたは2つ以上のプロセッサによって実行されてもよい。
図6は、ここで説明している上皮組織検出器および方法を実現するコンピュータシステム600の典型的な実施形態のブロックダイアグラムである。コンピュータシステム600は、プロセッサ620と、ここで説明している上皮組織検出器および方法を実現するプロセッサ620によって実行可能な、1つまたは2つ以上のプログラムを格納するメモリ630と、入力データ、例えばラベル付されていないカラースキャンデータおよびラベル付けされたカラースキャンデータ(トレーニングデータ)を受け取る入力640と、データ(例えば、群の中心が上皮層内にあることを示す1つまたは2つ以上の予測ラベル、および群の中心が上皮層外にあることを示す1つまたは2つ以上の予測ラベル)を出力する出力660とを含んでいる。
本開示の例示的図面および特定の実施形態を説明および例示したが、本発明の範囲は説明した特定の実施形態に限定されないことが理解されるべきである。したがって、実施形態は限定的であるよりも例示的と見なすべきであり、添付の特許請求の範囲に記載された本発明の範囲ならびに構造的等価物および機能的等価物から逸脱することなくこれらの実施形態に変更を加えることができることが当業者には理解されよう。

Claims (15)

  1. 組織試料の上皮部分を自動的に同定する方法であって、
    前記組織試料を1つまたは2つ以上の染料で染色するステップと、
    色変換計算機処理を適用して、前記染色された組織試料のカラー画像を1つまたは2つ以上のカラーチャネルに分離するステップと、
    前記カラーチャネルに畳み込みニューラルネットワーク計算機処理を適用して、前記組織試料の各位置について、該位置が上皮層内または上皮層外であるのかどうかについての決定を得るステップとを含む方法。
  2. 請求項1に記載の方法において、
    前記色変換計算機処理を適用するステップによって生成された前記カラーチャネルが染色チャネルである方法。
  3. 請求項2に記載の方法において、
    前記各カラー画像は複数の画素で形成されており、
    前記色変換計算機処理を適用するステップが、
    前記画像の各染料の主調色を推定して複数の染料色ベクトルを得ることと、
    各画素の色と前記各染料色ベクトルとの間の相関関係を決定して前記各カラー画像内の対応する画素の色の濃さを得ることとによって行われる方法。
  4. 請求項3に記載の方法において、
    前記少なくとも2つの染料はヘマトキシリンとエオシンとを含んでおり、
    前記主調色推定するステップが、
    前記各画素の重みがシアン・マジェンタ・イエロー色体系の該画素のシアン値に基づいている、前記各カラー画像内のすべての画素の加重平均を決定し、基本シアン成分の推定を得ることと、
    前記各画素の重みが前記推定された基本シアン成分を取り除いた後の重みの大きさに基づいている、前記各カラー画像内のすべての画素の加重平均を決定し、基本マジェンタ成分の推定を得ることと、
    前記基本シアン成分の推定から前記推定された基本マジェンタ成分を取り除き、前記複数の染料色ベクトルのうちの1つである、ヘマトキシリンの染料色ベクトルを得ることと、
    前記推定された基本マジェンタ成分から前記推定された基本シアン成分を取り除き、前記複数の染料色ベクトルの他の1つである、エオシンの染料色ベクトルを得ることとによって行われる方法。
  5. 組織試料の上皮部分を同定するのに使用される上皮層検出器の畳み込みニューラルネットワーク計算機処理の1つまたは2つ以上のパラメータをトレーニングする方法であって、
    1つまたは2つ以上の組織試料を少なくとも2つの染料で染色するステップと、
    前記1つまたは2つ以上の組織試料をスキャンして、該1つまたは2つ以上の組織試料のカラー画像を生成するステップと、
    各マスクが、複数の画像のうちの対応する1つの画像の各画素について、該画素が上皮層内または上皮層外であるのかを示すマスク群を生成するステップと、
    前記組織試料の各画像に色変換計算機処理を適用して、前記画像を、各カラーチャネルの各画素が前記組織の対応する位置で対応する染料の推定濃度を示す色の濃さを持つカラーチャネルに分離するステップと、
    個別の色組織画像群からトレーニングデータとして使用するパッチ群を選択することであって、各パッチは該パッチ群のすべての色組織画像からの画素の連続的収集を含み、いくつかのパッチは上皮層内に中心があり、その他のパッチは上皮層外に中心がある、パッチ群を選択するステップと、
    計算機処理において、前記畳み込みニューラルネットワーク計算機処理のパラメータを任意の値に初期化するステップと、
    前記畳み込みニューラルネットワーク計算機処理を前記パッチ群に反復して適用するステップと、
    計算機処理において前記パラメータを調整し、前記畳み込みニューラルネットワーク計算機処理の予測と前記各パッチの正しいラベルとの間の一致を改善するステップとを含む方法。
  6. 請求項に記載の方法において、
    前記色変換計算機処理を適用するステップが、
    前記画像の各染料の主調色を推定して複数の染料色ベクトルを得ることと、
    各画素の色と前記各染料色ベクトルとの間の相関関係を決定して前記各色組織画像内の対応する画素の色の濃さを得ることとによって行われる方法。
  7. 請求項に記載の方法において、
    前記少なくとも2つの染料はヘマトキシリンとエオシンとを含んでおり、
    前記主調色推定するステップが、
    前記各画素の重みがシアン・マジェンタ・イエロー色体系の該画素のシアン値に基づいている、前記各カラー画像内のすべての画素の加重平均を決定し、基本シアン成分の推定を得ることと、
    前記各画素の重みが前記推定された基本シアン成分を取り除いた後の重みの大きさに基づいている、前記各カラー画像内のすべての画素の加重平均を決定し、基本マジェンタ成分の推定を得ることと、
    前記基本シアン成分の推定から前記推定された基本マジェンタ成分を取り除き、前記複数の染料色ベクトルのうちの1つである、ヘマトキシリンの染料色ベクトルを得ることと、
    前記推定された基本マジェンタ成分から前記推定された基本シアン成分を取り除き、前記複数の染料色ベクトルの他の1つである、エオシンの染料色ベクトルを得ることとによって行われる方法。
  8. 請求項に記載の方法において、
    前記パッチ群を選択するステップが無作為に行われる方法。
  9. 請求項に記載の方法において、
    前記パッチ群を選択するステップが、該パッチ群が内部上皮層および外部上皮層と等しい数を持つように行われる方法。
  10. 請求項に記載の方法において、
    前記パラメータ初期化ステップで初期化された前記パラメータが無作為に初期化される方法。
  11. 請求項に記載の方法において、
    前記畳み込みニューラルネットワーク計算機処理を適用するステップが逆伝播法を用いて行われる方法。
  12. 組織試料の上皮部分を自動的に同定する上皮層検出器であって、
    色変換計算機処理を適用して、染色された組織試料のカラー画像を1つまたは2つ以上のカラーチャネルに分離する色変換装置と、
    前記カラーチャネルに畳み込みニューラルネットワーク計算機処理を適用して、前記組織試料の各位置について、該位置が上皮層内または上皮層外であるのかどうかについての決定を得る畳み込みニューラルネットワーク装置とを有する検出器。
  13. 請求項12に記載の検出器において、
    前記色変換処理で生成されたカラーチャネルは染色チャネルである検出器。
  14. 請求項13に記載の検出器において、
    前記各カラー画像は複数の画素で形成されており、
    前記色変換装置が、
    前記画像の各染料の主調色を推定して複数の染料色ベクトルを得ることと、
    各画素の色と前記各染料色ベクトルとの間の相関関係を決定して前記各色組織画像内の対応する画素の色の濃さを得ることとによって色変換処理を行う検出器。
  15. 請求項14に記載の検出器において、
    前記少なくとも2つの染料はヘマトキシリンとエオシンとを含んでおり、
    前記主調色が、
    前記各画素の重みがシアン・マジェンタ・イエロー色体系の該画素のシアン値に基づいている、前記各カラー画像内のすべての画素の加重平均を決定し、基本シアン成分の推定を得ることと、
    前記各画素の重みが前記推定された基本シアン成分を取り除いた後の重みの大きさに基づいている、前記各カラー画像内のすべての画素の加重平均を決定し、基本マジェンタ成分の推定を得ることと、
    前記基本シアン成分の推定から前記推定された基本マジェンタ成分を取り除き、前記複数の染料色ベクトルのうちの1つである、ヘマトキシリンの染料色ベクトルを得ることと、
    前記推定された基本マジェンタ成分から前記推定された基本シアン成分を取り除き、前記複数の染料色ベクトルの他の1つである、エオシンの染料色ベクトルを得ることとによって推定される検出器。
JP2011516869A 2008-07-03 2009-07-02 上皮層検出器およびそれに関連する方法 Active JP5478618B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US7797408P 2008-07-03 2008-07-03
US61/077,974 2008-07-03
PCT/US2009/049487 WO2010003044A2 (en) 2008-07-03 2009-07-02 Epithelial layer detector and related methods

Publications (2)

Publication Number Publication Date
JP2011527178A JP2011527178A (ja) 2011-10-27
JP5478618B2 true JP5478618B2 (ja) 2014-04-23

Family

ID=41465054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011516869A Active JP5478618B2 (ja) 2008-07-03 2009-07-02 上皮層検出器およびそれに関連する方法

Country Status (4)

Country Link
US (1) US8341100B2 (ja)
EP (1) EP2257636A4 (ja)
JP (1) JP5478618B2 (ja)
WO (1) WO2010003044A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11276000B2 (en) 2018-02-27 2022-03-15 Sysmex Corporation Image analysis method, image analysis apparatus and learned deep layer learning algorithm manufacturing method

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9618319B2 (en) * 2011-02-18 2017-04-11 The General Hospital Corporation Laser speckle microrheometer for measuring mechanical properties of biological tissue
WO2013179581A1 (ja) * 2012-05-30 2013-12-05 パナソニック株式会社 画像計測装置、画像計測方法及び画像計測システム
US20140279128A1 (en) * 2013-03-14 2014-09-18 Rodrigo SAGEBIN Accessing media content in a media management system
US9710695B2 (en) * 2013-03-15 2017-07-18 Sony Corporation Characterizing pathology images with statistical analysis of local neural network responses
US9400925B2 (en) * 2013-11-15 2016-07-26 Facebook, Inc. Pose-aligned networks for deep attribute modeling
US20170140528A1 (en) * 2014-01-25 2017-05-18 Amir Aharon Handzel Automated histological diagnosis of bacterial infection using image analysis
KR20150108701A (ko) 2014-03-18 2015-09-30 삼성전자주식회사 의료 영상 내 해부학적 요소 시각화 시스템 및 방법
AU2015261891A1 (en) * 2014-05-23 2016-10-13 Ventana Medical Systems, Inc. Systems and methods for detection of biological structures and/or patterns in images
US10417525B2 (en) 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
CN105160400B (zh) * 2015-09-08 2018-03-02 西安交通大学 基于l21范数的提升卷积神经网络泛化能力的方法
KR20180115725A (ko) 2016-02-08 2018-10-23 이마고 시스템즈, 인크. 이미지 내의 대상의 시각화와 특징화를 위한 시스템 및 방법
US11150173B2 (en) 2016-02-12 2021-10-19 The General Hospital Corporation Laser speckle micro-rheology in characterization of biomechanical properties of tissues
US9739783B1 (en) 2016-03-15 2017-08-22 Anixa Diagnostics Corporation Convolutional neural networks for cancer diagnosis
US20170270406A1 (en) * 2016-03-18 2017-09-21 Qualcomm Incorporated Cloud-based processing using local device provided sensor data and labels
WO2018013200A1 (en) 2016-07-14 2018-01-18 Magic Leap, Inc. Deep neural network for iris identification
CN109661194B (zh) 2016-07-14 2022-02-25 奇跃公司 使用角膜曲率的虹膜边界估计
KR102529137B1 (ko) 2016-08-22 2023-05-03 매직 립, 인코포레이티드 딥 러닝 센서들을 갖는 증강 현실 디스플레이 디바이스
RU2016138608A (ru) 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
IL293688B2 (en) 2016-10-04 2024-02-01 Magic Leap Inc Efficient data layouts for convolutional neural networks
JP6549546B2 (ja) * 2016-10-18 2019-07-24 北海道瓦斯株式会社 融雪制御装置、ニューラルネットワークの学習方法、融雪制御方法及び融雪制御用プログラム
WO2018093796A1 (en) 2016-11-15 2018-05-24 Magic Leap, Inc. Deep learning system for cuboid detection
WO2018091486A1 (en) 2016-11-16 2018-05-24 Ventana Medical Systems, Inc. Convolutional neural networks for locating objects of interest in images of biological samples
IL266888B2 (en) 2016-12-05 2024-05-01 Magic Leap Inc Virtual user input controls in a mixed reality environment
US10360499B2 (en) 2017-02-28 2019-07-23 Anixa Diagnostics Corporation Methods for using artificial neural network analysis on flow cytometry data for cancer diagnosis
US9934364B1 (en) 2017-02-28 2018-04-03 Anixa Diagnostics Corporation Methods for using artificial neural network analysis on flow cytometry data for cancer diagnosis
US11164082B2 (en) 2017-02-28 2021-11-02 Anixa Diagnostics Corporation Methods for using artificial neural network analysis on flow cytometry data for cancer diagnosis
CA3055597A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Room layout estimation methods and techniques
IL271929B (en) 2017-07-26 2022-07-01 Magic Leap Inc Neural network training with displays of user interface devices
AU2018337653A1 (en) 2017-09-20 2020-01-16 Magic Leap, Inc. Personalized neural network for eye tracking
CN111373419A (zh) 2017-10-26 2020-07-03 奇跃公司 用于深度多任务网络中自适应损失平衡的梯度归一化系统和方法
JP7076698B2 (ja) 2017-11-17 2022-05-30 国立研究開発法人国立がん研究センター 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
JP7217589B2 (ja) * 2018-02-27 2023-02-03 シスメックス株式会社 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
WO2019222135A1 (en) 2018-05-16 2019-11-21 Benevis Informatics, Llc Systems and methods for review of computer-aided detection of pathology in images
KR102151723B1 (ko) * 2018-08-07 2020-09-03 주식회사 딥바이오 다중 색 모델 및 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
CN109525859B (zh) * 2018-10-10 2021-01-15 腾讯科技(深圳)有限公司 模型训练、图像发送、图像处理方法及相关装置设备
EP3920781A4 (en) * 2019-02-08 2022-10-12 Nanyang Technological University METHODS AND SYSTEM FOR SEIZURE DETECTION
WO2021095119A1 (ja) * 2019-11-12 2021-05-20 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07102733B2 (ja) * 1989-03-13 1995-11-08 大和製罐株式会社 円筒形容器外面への非重ね刷り網点印刷方法
WO1997011350A2 (en) * 1995-09-19 1997-03-27 Morphometrix Technologies Inc. A neural network assisted multi-spectral segmentation system
US5633990A (en) * 1996-04-10 1997-05-27 Eastman Kodak Company Method of non-overlapping color printing
JP2000295488A (ja) * 1999-04-08 2000-10-20 Matsushita Research Institute Tokyo Inc 色域判定装置及び色域変換装置並びに色域表面学習法
US20020186875A1 (en) * 2001-04-09 2002-12-12 Burmer Glenna C. Computer methods for image pattern recognition in organic material
FR2852427B1 (fr) * 2003-03-14 2005-10-14 Ct De Lutte Contre Le Cancer F Procede et dispositif de determination de parametres quantitatifs histochimiques et immunohistochimiques
US20050136509A1 (en) * 2003-09-10 2005-06-23 Bioimagene, Inc. Method and system for quantitatively analyzing biological samples
US20050136549A1 (en) * 2003-10-30 2005-06-23 Bioimagene, Inc. Method and system for automatically determining diagnostic saliency of digital images
JP4546157B2 (ja) * 2004-06-03 2010-09-15 キヤノン株式会社 情報処理方法、情報処理装置、撮像装置
GB2429523B (en) * 2005-12-23 2008-03-26 Astron Clinica Ltd Method and apparatus for detecting the presence of dermal melanin in epithelial tissue

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11276000B2 (en) 2018-02-27 2022-03-15 Sysmex Corporation Image analysis method, image analysis apparatus and learned deep layer learning algorithm manufacturing method

Also Published As

Publication number Publication date
EP2257636A2 (en) 2010-12-08
WO2010003044A2 (en) 2010-01-07
JP2011527178A (ja) 2011-10-27
WO2010003044A3 (en) 2011-10-27
EP2257636A4 (en) 2014-10-15
US8341100B2 (en) 2012-12-25
US20100004915A1 (en) 2010-01-07

Similar Documents

Publication Publication Date Title
JP5478618B2 (ja) 上皮層検出器およびそれに関連する方法
US20200242763A1 (en) Image based screening system for prediction of individual at risk of late age-related macular degeneration (amd)
Zerhouni et al. Wide residual networks for mitosis detection
Smal et al. Quantitative comparison of spot detection methods in fluorescence microscopy
JP5315411B2 (ja) 有糸分裂像検出装置および計数システム、および有糸分裂像を検出して計数する方法
JP5394485B2 (ja) 印環細胞検出器及び関連する方法
CN107924457A (zh) 用于在多路复用/超复合荧光组织图像中查找苏木精和曙红(h&e)染色的组织图像中的感兴趣区域并量化肿瘤内细胞空间异质性的系统和方法
Alawieh et al. GAN-SRAF: Sub-resolution assist feature generation using conditional generative adversarial networks
CN109697476B (zh) 一种基于深度学习的x射线光子计数探测器一致性校准方法
Sali et al. Celiacnet: Celiac disease severity diagnosis on duodenal histopathological images using deep residual networks
EP3975110A1 (en) A method of processing an image of tissue and a system for processing an image of tissue
JP7427080B2 (ja) 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習
CN108305253A (zh) 一种基于多倍率深度学习的病理全切片诊断方法
JP7294695B2 (ja) 学習済モデルによるプログラム、情報記録媒体、分類装置、ならびに、分類方法
Song et al. Hybrid deep autoencoder with Curvature Gaussian for detection of various types of cells in bone marrow trephine biopsy images
CN110490159A (zh) 识别显微图像中的细胞的方法、装置、设备及存储介质
Oikawa et al. Pathological diagnosis of gastric cancers with a novel computerized analysis system
Giusti et al. A comparison of algorithms and humans for mitosis detection
CN117529750A (zh) 使用多重免疫荧光成像的组织学染色的数字合成
Goceri Nuclei segmentation using attention aware and adversarial networks
Mudeng et al. Domain and histopathology adaptations–based classification for Malignancy Grading System
Song et al. Simultaneous cell detection and classification with an asymmetric deep autoencoder in bone marrow histology images
Afzal et al. [Retracted] Prediction of Conversion from CIS to Clinically Definite Multiple Sclerosis Using Convolutional Neural Networks
WO2023204959A1 (en) Cell classification using center emphasis of a feature map
Akbarnejad et al. Predicting ki67, er, pr, and her2 statuses from h&e-stained breast cancer images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140210

R150 Certificate of patent or registration of utility model

Ref document number: 5478618

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350