JP6667541B2 - スライドサムネイル画像を使用する関心範囲検出のためのシステム及び方法 - Google Patents

スライドサムネイル画像を使用する関心範囲検出のためのシステム及び方法 Download PDF

Info

Publication number
JP6667541B2
JP6667541B2 JP2017539655A JP2017539655A JP6667541B2 JP 6667541 B2 JP6667541 B2 JP 6667541B2 JP 2017539655 A JP2017539655 A JP 2017539655A JP 2017539655 A JP2017539655 A JP 2017539655A JP 6667541 B2 JP6667541 B2 JP 6667541B2
Authority
JP
Japan
Prior art keywords
tissue
image
slide
mask
digital image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017539655A
Other languages
English (en)
Other versions
JP2018511847A5 (ja
JP2018511847A (ja
Inventor
マーティン,ジム・エフ
サーカー,アニンディア
Original Assignee
ベンタナ メディカル システムズ, インコーポレイテッド
ベンタナ メディカル システムズ, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベンタナ メディカル システムズ, インコーポレイテッド, ベンタナ メディカル システムズ, インコーポレイテッド filed Critical ベンタナ メディカル システムズ, インコーポレイテッド
Publication of JP2018511847A publication Critical patent/JP2018511847A/ja
Publication of JP2018511847A5 publication Critical patent/JP2018511847A5/ja
Application granted granted Critical
Publication of JP6667541B2 publication Critical patent/JP6667541B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30072Microarray; Biochip, DNA array; Well plate

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

[001]本開示はデジタル病理学に関する。より詳細には、本開示は、スライド全域スキャンを生成するのに使用される組織生検材料を含むガラススライド上における組織検出に関する。
[002]デジタル病理学の分野では、組織部分、血液、細胞培養物などの生体標本を、1つ又は複数の染料で染色し、染色された標本を視認又は画像化することによって解析することがある。染色された標本の観察を、更なる臨床情報と組み合わせることによって、疾患の診断、治療に対する反応の予後評価及び/又は予測的評価、並びに疾患を克服する新薬の開発支援を含む、様々なプロセスが可能になる。本明細書で使用するとき、標的又は標的対象は、染料が特定する標本の特徴である。標的又は標的対象は、タンパク質、タンパク質断片、核酸、又は抗体、分子プローブ、もしくは非特異的染料によって認識される他の関心対象であってもよい。特異的に認識されるそれらの標的は、本開示では生物マーカーと呼ばれる。一部の染料は、生物マーカー(例えば、度々使用される対比染色のヘマトキシリン)を特異的に標的としない。ヘマトキシリンは、その標的に対して固定の関係を有するが、大部分の生物マーカーは、ユーザによる染料の選択によって特定することができる。つまり、アッセイの特定の必要性に応じて様々な染料を使用して、特定の生物マーカーが可視化されてもよい。染色に続いて、アッセイは、組織標本の内容物を更に解析するために画像化されてもよい。画像化は、染色された組織試料又は生検材料を含むガラススライドのスキャンを含む。細胞/微細構造によって獲得された染色は、組織の病理学的状態を示すものであり、また医療診断に使用することができるので、染色は重要である。手動モードでは、ガラススライドは、訓練された病理医によって顕微鏡下で読み取られる。デジタルモードでは、スライド全域スキャンは、コンピュータモニタ上で読み取られるか、又はスライド全域スキャンにおける染色された組織内容物を自動的に採点/解析する画像化アルゴリズムによって解析される。したがって、デジタル病理学を有効に使用するには、良好な品質のスキャニングが絶対的に必須である。
[003]良好な品質のスキャニングのため、ガラス上で組織を適切に検出することが非常に重要である。ガラススライド上の組織領域は、関心範囲(AOI)と呼ばれる。AOI検出は、ガラススライドの低分解能キャプチャであるサムネイル画像から手動で行うことができる。しかしながら、高速のバッチモードスキャニングの場合、AOIは、スライドサムネイル画像から自動的に抽出する必要がある。残念ながら、更なる解析に先立ってサムネイル画像を獲得する、既存の方法における第1のステップは、低分解能のサムネイルカメラを使用することに限定され、特に、異なる染色強度、形態学、組織編成などを有する異なるタイプのスライドによるデータの変動性を所与とすると、正確で精密なAOI検出は非常に困難である。
単一のAOI検出方法論を、多種多様なスライドに使用することにより、AOIの問題を解決することが非常に困難になっている。
[004]本開示は、様々な異なるタイプの入力スライドに対してAOIを正確に決定するシステム及びコンピュータ実装方法を提供することによって、上述の課題を解決する。スライドサムネイル画像(又はサムネイル)は、5つの異なるタイプのうち1つに割り当てられてもよく、スライドタイプに応じて、AOI検出に対する別個のアルゴリズムが実行されてもよく、また単一の一般的解決策で全てのデータ変動性を説明できないことから、アルゴリズムの目標は、スライド全域サムネイル画像から、効率的かつ正確にAOI領域を計算することができる操作を実行することである。各サムネイルは、組織形態学、レイアウト、スライドサムネイル上における組織の編成などに基づいて、5つのタイプのうち1つに区分されてもよい。スライドタイプとしては、単一の円板構造を有する「細胞株スライド」とも呼ばれるThinPrep(RTM)スライド(又は他の任意の類似の染色されたスライド)、グリッド構造を有する組織マイクロアレイ(TMA)スライド、淡い組織を有する対照スライド(controlHER2組織スライドの場合、指定数の、通常は4つの円形コアが存在する)、組織がスライド全体に拡散された塗抹スライド、及びデフォルト又はジェネリックスライドが挙げられる。対照スライドは、組織試料(実際に検査され解析されるべきもの)と、一般的には組織学的技術及び試薬反応性を検証するのに使用される対照組織試料の両方を含むスライドタイプである。直線に沿った規定位置で実際に解析される、組織試料の複数の組織領域(コア)を含む。
[005]最初の4つのカテゴリのいずれにも視覚的に分類できない、スライドは、ジェネリックスライドと見なされてもよい。スライドタイプは、ユーザ入力に基づいて割り当てられてもよい。カスタマイズされたAOI検出操作が、各スライドタイプに対して提供される。更に、ユーザが不適当なスライドタイプを入力した場合、本開示の操作は、不適当な入力を検出し、適切な方法を実行することを含む。各AOI検出操作の結果は、その出力として、組織に属しないものとして検出されたピクセルではゼロ強度値を有し、組織領域に属する可能性が高いものとして検出されたピクセルにはより高い強度値が割り当てられた、ソフト重み付き(soft−weighted)画像を提供する。検出された組織領域は関心範囲(AOI)と呼ばれる。最適化されたAOI検出は、スキャニングプロセス全体における重要なステップであり、出力画像において組織である可能性が高い領域に割り当てられるソフト重みに基づいた焦点配分など、後続のステップが可能になる。より強く重み付けされたAOI領域は、焦点を割り当てられる可能性がより高い。記載する操作は、精度及びリコールスコアの点で従前の方法よりも優れており、グラウンドトゥルースAOIデータを用いて計算したスコアを使用して検証されている。
[006]例示的な一実施形態では、本開示は、組織スライドのサムネイル画像上の関心範囲(AOI)を検出するシステムを提供し、システムは、プロセッサと、プロセッサに結合され、コンピュータ実行可能命令を記憶する、メモリとを含み、コンピュータ実行可能命令は、プロセッサによって実行されて、サムネイル画像及びサムネイル画像タイプを含む入力を受信することと、サムネイル画像タイプに応じて複数のAOI検出方法の1つを使用して、サムネイル画像から関心範囲(AOI)を決定することとを含む操作を実施し、サムネイル画像タイプが不適当に入力されたと判断されると、AOIの決定は、複数のAOI検出方法のうち別の方法を使用する。
[007]別の例示的な実施形態では、本開示は、組織スライドのサムネイル画像上の関心範囲(AOI)を検出するシステムを提供し、システムは、プロセッサと、プロセッサに結合され、コンピュータ実行可能命令を記憶する、メモリとを含み、コンピュータ実行可能命令は、プロセッサによって実行されて、サムネイル画像タイプに応じて複数のAOI検出方法の1つを使用して、サムネイル画像から関心範囲(AOI)を決定することと、検出されたAOIを描写する、ソフト重み付き画像を出力することとを含む操作を実施し、サムネイル画像タイプは、ThinPrep(RTM)スライド、組織マイクロアレイスライド、対照スライド、塗抹スライド、又はジェネリックスライドのうち1つを表す。
[008]更に別の例示的な実施形態では、本開示は、組織スライドのサムネイル画像上の関心範囲(AOI)を検出するシステムを提供し、システムは、プロセッサと、プロセッサに結合され、コンピュータ実行可能命令を記憶する、メモリとを含み、コンピュータ実行可能命令は、プロセッサによって実行されて、サムネイル画像及びサムネイル画像タイプを含む入力を受信することと、サムネイル画像タイプに応じて複数のAOI検出方法の1つを使用して、サムネイル画像から関心範囲(AOI)を決定することとを含む操作を実施し、複数のAOI検出方法は、ThinPrep(RTM)方法、組織マイクロアレイ方法、対照方法、塗抹方法、又はジェネリック方法を含み、サムネイル画像タイプが不適当に入力されたと判断されると、ジェネリック方法を使用する。
[009]AOI検出及び組織領域検出という表現は、以下、同義的に使用される。
[0010]更なる態様では、本発明は、組織スライドのデジタル画像において組織領域を検出する画像解析システムに関する。組織試料はスライド上に載置される。画像解析システムは、プロセッサと記憶媒体とを備える。記憶媒体は、複数のスライドタイプに特有の組織検出ルーチンと、ジェネリック組織検出ルーチンとを含む。画像解析システムは、
スライドタイプに特有の組織検出ルーチンの1つを選択するステップと、
選択されたスライドタイプに特有の組織検出ルーチンが実施される前、及び/又は実施されている最中に、選択されたスライドタイプに特有の組織検出ルーチンが、デジタル画像に描写されているスライドの組織スライドタイプに対応するかをチェックするステップと、
「はい」の場合、デジタル画像中の組織領域を検出する、選択されたスライドタイプに特有の組織検出ルーチンを自動的に実施するステップと、
「いいえ」の場合、デジタル画像中の組織領域を検出する、ジェネリック組織検出ルーチンを自動的に実施するステップとを含む、方法を実施するように構成される。ジェネリック組織検出ルーチンは、本明細書では、「デフォルト」組織検出ルーチン、モジュール、又はアルゴリズムとも呼ばれる。
[0011]本開示の例示的な一実施形態による、スライドスキャニングプロセスの概要を示す図である。 [0012]本開示の例示的な一実施形態による、AOI検出のためのシステム及びユーザインターフェースを示す図である。 本開示の例示的な一実施形態による、AOI検出のためのシステム及びユーザインターフェースを示す図である。 本開示の例示的な一実施形態による、AOI検出のためのシステム及びユーザインターフェースを示す図である。 [0013]本開示の例示的な一実施形態による、ThinPrep(RTM)スライド上におけるAOI検出の方法及び前記方法の結果を示す図である。 本開示の例示的な一実施形態による、ThinPrep(RTM)スライド上におけるAOI検出の方法及び前記方法の結果を示す図である。 [0014]本開示の例示的な一実施形態による、組織マイクロアレイ(TMA)スライド上におけるAOI検出の方法及び前記方法の結果を示す図である。 本開示の例示的な一実施形態による、組織マイクロアレイ(TMA)スライド上におけるAOI検出の方法及び前記方法の結果を示す図である。 [0015]本開示の例示的な一実施形態による、対照スライド上におけるAOI検出の方法及び前記方法の結果を示す図である。 本開示の例示的な一実施形態による、対照スライド上におけるAOI検出の方法及び前記方法の結果を示す図である。 本開示の例示的な一実施形態による、対照スライド上におけるAOI検出の方法及び前記方法の結果を示す図である。 本開示の例示的な一実施形態による、対照スライド上におけるAOI検出の方法及び前記方法の結果を示す図である。 [0016]本開示の例示的な一実施形態による、塗抹スライド上におけるAOI検出の方法及び前記方法の結果を示す図である。 本開示の例示的な一実施形態による、塗抹スライド上におけるAOI検出の方法及び前記方法の結果を示す図である。 [0017]本開示の例示的な一実施形態による、AOI検出のデフォルト方法及び前記方法の結果を示す図である。 本開示の例示的な一実施形態による、AOI検出のデフォルト方法及び前記方法の結果を示す図である。 本開示の例示的な一実施形態による、AOI検出のデフォルト方法及び前記方法の結果を示す図である。 [0018]複数の閾値及びそれに対応する中間マスクを計算するのに使用される、組織試料を含むガラススライドのヒストグラムを示す図である。
[0019]本開示は、様々な異なるタイプの入力スライドに対してAOIを正確に決定する、システムと、コンピュータ実装方法とを提供する。本明細書に記載するAOI検出モジュールは、ガラススライド上の最適化された組織検出にとって極めて重要であり、したがって、自動化スキャニングシステムの本質的な部分である。デジタルスキャンがスライド全域から得られると、ユーザがスキャンされた画像を読み取って、医学的診断を見出すことができ(デジタル読取り)、又は画像解析アルゴリズムを使用して、画像を自動的に解析し採点することができる(画像解析読取り)。このように、AOIモジュールは、正確で時間効率がよいガラススライドのスキャニングを可能にし、結果として全ての後続のデジタル病理学用途を可能にする、可能化モジュールである。スキャニングは、デジタル病理学ワークフローの始めに実施されるので、染色された組織生検材料スライドを獲得した後、開示されるAOI検出によってスキャニングが可能になる。ジェネリックを含むスライドタイプそれぞれについて、閾値の局所適応的な決定が組織に対して決定されてもよく、その結果がマージされて「組織確率」画像となる。つまり、ピクセルが組織である確率は、全体的制約及び局所的制約の両方に基づいて決定される。
[0020]概して、ユーザがスライドタイプを選択すると、開示の方法は、ユーザが誤ったスライドタイプ(誤って選択された組織スライドタイプに特有の組織検出アルゴリズムに対応する)を入力したかをチェックし、適切な組織検出アルゴリズムを実行する、内部検証を自動的に実施することを含む。ユーザによって対照と表されるスライドの場合、本明細書に開示する操作は、スライドが、4つのコアが直線に沿っているControlHER2の一例であるか否かを判断してもよく、そうでない場合、AOI抽出のためのジェネリック組織ファインダモジュールが起動されてもよい。ユーザによってTMAと表されるスライドの場合、方法は、(トレーニングTMAスライドに基づいて)スライドがコアの単一の長方形グリッドの一例であるか否かを判断し、そうでない場合、開示の方法は、AOI抽出のためのジェネリック組織ファインダモードを起動する。ThinPrep(RTM)画像の場合、単一コアの半径が分かっているという仮定の下で、経験的に決定されている変動の範囲内で、単一コア(AOI)がキャプチャされてもよく、向上したグレースケール画像をダウンサンプリングしたものの勾配の大きさに対して行われる、放射形対称に基づく投票を使用して、コアの中心及びその半径が決定される。ThinPrep(RTM)スライドと同様に染色された他のスライドが、この方法を使用して処理されてもよい。一般的に小塊又は円形の物体を検出する、放射形対称投票の説明については、その開示の全体を参照により本明細書に組み込む、Parvin,Bahram,et al.「Iterative voting for inference of structural saliency and characterization of subcellular events(構造的究極性の推論及び細胞下イベントの特性決定に対する繰返し投票)」、 Image Processing,IEEE Transactions on 16.3(2007): 615〜623を参照のこと。かすかな対照画像の場合、操作は、それが「ジェネリック」(淡いスライド)又はControl HER2(4つの淡いコアを有する)のタイプであるか否かを自動的に判断し、それらの近似的サイズ範囲が分かっており、それらの中心がほぼ1本の線上にあると仮定して、それら4つのコアを検出することができる。Control HERS2方法は、放射形対称と、それに続くガウシアンの差分(Difference of Gaussian)(DoG)に基づくフィルタ処理を使用して、可能性が高いコア中心位置をキャプチャし、次に、コア中心位置がどのように整列されているかに基づいて、コア中心間の距離に基づいて、またコア中心に適合する可能性が最も高い線によって形成される角度に基づいて、経験的に決定された規則を使用する。TMA画像の場合、スライドコアが長方形グリッド内に位置する条件では、方法は、TMAコアの場合、個々のコアサイズ及び1つのコアからそれに最も近いコアまでの距離が全て非常に類似しているものと仮定して、全ての関連する組織範囲を検出する。コアを検出する場合、サイズ及び形状に関連する制約が使用され、コアが検出されると、経験的に決定された規則を使用して、距離の制約に基づいて真正のコアと異常値のコアとが決定される。塗抹スライドの場合、組織領域は、塗抹組織がガラススライド全体に拡散できると仮定して、スライド全体を通して信頼性高く特定することができ、ここで、下限及び上限の閾値は、サムネイル画像のLUV色空間表現から導き出された、輝度及びカラー画像に基づいて計算されており(ここで、Lの逆数は輝度画像として使用され、U平方及びV平方の平方根はカラー画像として使用される)、ヒステリシス閾値化は、これらの閾値及び経験的に決定された範囲の制約に基づいて行われる。デフォルト/ジェネリック画像の場合、組織領域は、ガラスよりも暗い閾値の範囲を使用して、また特定のより小さい領域を検出し廃棄するサイズ及び距離の制約を使用して、適切に検出される。更に、特定のAOI検出モジュールが起動され、ユーザがサムネイル画像上で生成されたAOIを見ることができるようになると、ユーザは、一部の組織がアルゴリズムによって見落とされている稀なイベントにおいて、余分の焦点を追加してもよい。計算されたAOIが全ての組織範囲を十分にキャプチャしない稀なシナリオでは、ユーザが必要と見なせば、特にアルゴリズムが組織範囲に対して追加の焦点を配置し損ねている場合に、GUIを使用して追加の焦点を配置することができる。
[0021]サムネイル画像は、画像スキャナによって直接提供されてもよく、又は画像解析システムによって元の画像から計算されてもよい。例えば、画像スキャナは、サムネイル画像を獲得する低分解能カメラと、組織スライドの高分解能画像を獲得する高分解能カメラとを備えてもよい。サムネイル画像は、概して1000×3000ピクセルを含んでもよく、サムネイル画像の1ピクセルは組織スライドの25.4μmに相当する。「画像解析システム」は、例えば、スライドスキャナ、カメラ、ネットワーク、及び/又は記憶媒体から画像データを受信するインターフェースを備える、デジタルデータ処理デバイス、例えばコンピュータであることができる。
[0022]本明細書に記載する実施形態は単なる例示であり、それらは、当業者が本明細書に描写されている結果を再現できるようにする最良の形態を開示しているが、本特許出願の読者は、本明細書に開示する操作の変形例を実行することが可能であってもよく、特許請求の範囲は、開示する操作の全ての変形及び等価物を包含するものと解釈されるべきであり、開示の実施形態のみに限定されない。
[0023]図1は、本開示の例示的な一実施形態による、スライドスキャニングプロセスの概要を示す。概して、1つ又は複数の染色された組織生検材料スライドは、画像化操作のため、スキャニングシステムに入れられてもよい。システムは、ガラススライドのサムネイル画像をキャプチャする手段101を含んでもよい。この手段は、その目的用に設計されたカメラを含んでもよい。画像は、RGB画像を含む任意のタイプであってもよい。処理操作102は、サムネイル画像に対して実施されて、更なる解析のために関心範囲(AOI)を描写する、ソフト重みを含むマップを生成してもよい。本明細書に記載する実施形態は、サムネイル画像を最適に処理し、特定の又は標的の組織構造の確率を示すAOIマップを正確に提供する、システム及びコンピュータ実装方法を対象とする。AOIマップは、確率に基づいて焦点を割り当てる(103)のに使用されてもよく、各焦点に対して、タイル位置に対するz層の集合に沿って焦点の周りのタイルが考慮され(104)、それに続いて、最良のz層が決定され(105)、z層間が2次元補間され(106)、補間された層を使用して画像が作成される(107)。結果として得られる画像の作成(107)によって、診断、予後などの更なる解析ステップが可能になる。このプロセスは、使用されている画像化システムに応じて、追加のステップ又はより少ないステップを含んでもよく、単に文脈を提供すると解釈されるものとし、本明細書に記載する特徴のいずれに対しても制限が課せられないものとする。
[0024]図2Aは、本開示の例示的な一実施形態による、AOI検出のシステム200を示す。システム200は、1つ又は複数のサムネイル画像からAOIを検出する、ハードウェア及びソフトウェアを備えてもよい。例えば、システム200は、スライドステージもしくはスライドトレイ上に載置された、カメラなどの画像化構成要素201、及び/又は顕微鏡とカメラとを有するスライド全域スキャナを備えてもよい。画像化構成要素201は、一般に、生成される画像のタイプに応じて決まる。本実施形態では、画像化構成要素201は、少なくとも、スライドのサムネイル画像を生成するカメラを含む。スライドは、明視野画像化のための色素産生染料と関連付けられた1つ又は複数の異なる生物マーカーを含有する染色アッセイを適用することによって染色されている試料を含んでもよい。組織領域は染色され、AOI検出は、染色された組織領域を選び出すことを伴う。染色された関心範囲は、腫瘍、H&Eスライドのリンパ領域、又は任意の腫瘍マーカー、免疫マーカー、もしくは血管マーカーなどのような、IHC染色スライドにおける生物マーカー高発現のホットスポットなど、所望の組織タイプを描写してもよい。画像は、任意の拡大レベルでスキャンされ、任意のフォーマットでコード化されてもよく、画像化構成要素201によってメモリ210に提供されて、メモリに記憶されている論理モジュールにしたがって処理されてもよい。メモリ210は、コンピュータ225に結合されたプロセッサ220によって実行される、複数の処理モジュール又は論理的命令を保存する。プロセッサ220及びメモリ210の他に、コンピュータ225はまた、キーボード、マウス、スタイラス、ディスプレイ/タッチスクリーン、及びネットワーキング素子など、ユーザ入出力デバイスを含んでもよい。例えば、メモリ210内の処理モジュールの実行は、ユーザ入力によって、並びにコンピュータ225による記憶及びその後の検索のため、ネットワークを通じてネットワークサーバ又はデータベースから提供される入力によって始動されてもよい。システム200は、スライド全域スキャンの視認を容易にする、スライド全域画像ビュワーを備えてもよい。
[0025]上述したように、モジュールは、プロセッサ220によって実行される論理を含む。「論理」は、本明細書で使用するとき、また本開示全体を通して、プロセッサの動作に影響を及ぼすために適用されてもよい、命令信号及び/又はデータの形態を有する任意の情報を指す。ソフトウェアはかかる論理の一例である。プロセッサの例は、コンピュータプロセッサ(処理装置)、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、及びマイクロコントローラなどである。論理は、例示的な実施形態では、ランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、消去可能/電気消去可能プログラマブル読出し専用メモリ(EPROM/EEPROM)、フラッシュメモリなどであってもよい、メモリ210などのコンピュータ可読媒体に記憶された信号から形成されてもよい。論理はまた、例えば、デジタル及び/又はアナログハードウェア回路を含んでもよく、ハードウェア回路は、論理AND、OR、XOR、NAND、NOR、及び他の論理動作を含む。論理は、ソフトウェア及びハードウェアの組み合わせから形成されてもよい。ネットワーク上では、論理は、サーバ又はサーバの複合体上でプログラムされてもよい。特定の論理ユニットは、ネットワーク上の単一の論理位置に限定されない。更に、モジュールは必ずしも任意の特定の順序で実行されなくてもよい。各モジュールは、実行する必要があるとき、別のモジュールを呼び出す。
[0026]入力検出モジュールは、画像化構成要素201からのサムネイル画像、並びにスライドタイプを特定するユーザ入力を受信してもよい。サムネイル画像(又は「サムネイル」)は、ユーザが入力したスライドタイプに基づいてカテゴリに割り当てられてもよく、カテゴリに応じて、AOI検出のための別個のアルゴリズム213〜217が実行されてもよい。各サムネイルは、組織形態学、レイアウト、サムネイル上における組織の編成に基づいて、1つ又は複数のタイプに区分されてもよい。スライドタイプとしては、単一のディスク構造を有するThinPrep(RTM)スライド、グリッド構造を有する組織マイクロアレイ(TMA)スライド、指定数(通常は4つ)の円形コアを含む淡い組織を有する対照スライド、組織がスライド全体に拡散された塗抹スライド、及び全てのスライドが上記のカテゴリのいずれにも適合しないデフォルト又はジェネリックスライドが挙げられるが、それらに限定されない。一例として、図2Bは、ユーザ入力に基づいてスライドタイプを受信するユーザインターフェースを示す。ユーザは、選択リスト219に基づいてスライドサムネイルを見ながら適正なスライドタイプを入力してもよい。例えば、ユーザは、以下のスライドタイプの中から選んでもよい。グリッド(組織コアが単一の長方形グリッド内に存在するTMAスライドを指す)、淡い(対照スライドは一般に淡く、対照染色により、明確に染色されることは決してなく、サムネイル画像が淡く見える)、円形(ThinPrep(RTM)スライドにおいて、特定の半径範囲の単一の円形コアがスライドサムネルに存在する)、散乱(塗抹の場合、組織は一般にスライド全体にわたって拡散し、他のスライドタイプのように特定の範囲に制限されない)、及びジェネリックとも呼ばれるデフォルト。
[0027]AOI検出のためのモジュール213〜217はそれぞれ、これらのスライドタイプそれぞれに合わせてカスタマイズされる。例えば、ThinPrep(RTM)スライドの場合、組織AOIは、一般的に単一のディスクであり、したがって、所与の半径範囲における円ファインダが効果的なツールである。組織試料が円形又はほぼ円形の形状である、ThinPrep(RTM)スライドに類似した他のスライドは、特定のモジュールを使用して処理されてもよい。同様に、対照HER2スライドは、一般的に、既知の近似的な半径範囲を有し、強度が上から下へと暗色から淡色までの変動を有する、4つのコアを有する。塗抹スライドでは、組織は拡散し、サムネイル画像全体の大部分を占め、AOIは、他のタイプの場合のように、より小さくよりコンパクトな形状に集中しない。TMA又はグリッドスライドでは、AOIは、一般にm×nグリッドで見られ、グリッド要素はサイズが変動し得る(個々のRMA小塊は、他の非TMAサムネイル画像に見られる小塊と比較してはるかに小さいサイズであり得る)ので、グリッドの知識は、構成成分である小塊の予期されるサイズに対して制約を課す助けとなり、したがって異常値の小塊及び形状を取り除く助けとなる。ジェネリックAOI検出モジュール217は、これら4つのスライドタイプに明示的/視覚的に属しないスライドに対して、キャッチオール操作を提供する。各検出モジュールに関して検出された組織領域は、関心範囲(AOI)と呼ばれる。
[0028]各AOI検出操作(ジェネリックの、もしくは組織スライドタイプに特有の組織検出ルーチンの1つによって、実施されてもよい)は、ソフト重み付き画像出力モジュール218に提供されて、組織に属しないものとして検出されたピクセルにおいてゼロ強度値を有し、組織領域に属する可能性が高いものとして検出されたピクセルにはより高い強度値が割り当てられる、ソフト重み付き画像の出力を生成する。「ソフト重み付き画像」では、各ピクセルに、本明細書では「ソフト重み」とも呼ばれる重みが割り当てられている。「ソフト重み」とは、本明細書で使用するとき、その値が2つを超える異なる値を含む(即ち、「ゼロ」及び「1」だけではない)値範囲内にある重みである。例えば、値範囲は、0から255までの全ての整数を包含してもよく、又は0と1との間の浮動小数点数であってもよい。重みは、そのピクセルが、ガラス領域などの非組織領域ではなく組織領域内にある可能性を示す。重みの値が大きいほど、そのピクセルが組織領域内にある可能性が高い。
[0029]ソフト重み付き画像出力モジュール218は、所与の輝度及び色画像に対するソフト重み付き画像、並びにAOIに対応する二値マスク(即ち、マスクのマスキングされない領域は組織領域を表す)を計算するように起動される。一般に、色付きピクセルは、ガラスではなく組織である可能性がより高く、したがって、クロミナンス(色)成分が高いピクセルはより強く重み付けされる。(輝度に基づいて)より暗いピクセルは、より淡いピクセルよりも、組織である可能性が高い。このモジュールはRGB画像を、例えばRGBサムネイル画像を使用し、二値マスクMをその入力として使用し、二値マスクMはAOI検出モジュール213〜217のいずれかによって提供され(即ち、ジェネリックか、もしくは組織スライドタイプに特有の組織検出ルーチンの1つによって提供され)、例えば[0,255]のピクセル値を有する、ソフト重み付き画像SWの出力を提供する。
[0030]画像は、最初に、RGB色空間からL,UV色空間(L=輝度、U及びVは色チャネル)に変換される。L’=max(L)−Lとし、max(L)は、変換されたデジタル画像で観察される最大輝度値、Lは、最近転換されたピクセルの輝度値とする(より高いL’→より暗い領域)。
[0031]クロミナンス色空間又は複合UV色チャネルとも呼ばれるUV色空間は、UV=sqrt(U^2+V^2)にしたがって計算される。
[0032]輝度画像の場合、画像解析方法は、M>0である全てのピクセル(例えば、生成されたマスクMによってマスキングされない画像の領域)を特定し、特定されたピクセルに対するL’ドメインの下限閾値(L’low:ソートされたL’値の5%値)及び上限閾値(L’high:95%値)を計算する。
[0033]同様に、UVドメインの下限閾値(UVlow:ソートされたUV値の5%値)及び上限閾値(UVhigh:95%値)を計算する。前記5%値の代わりに、2〜7%の範囲の値も使用されてもよい。前記95%値の代わりに、90〜98%の範囲の値も使用されてもよい。
[0034]L’low及びL’highを使用して、L’ドメインからWeightedL画像を計算する。WeightedL画像を作成する際のL’からWeightedLへのマッピングは、L’(x,y)≦L’low→WeightedL(x,y)=0を設定すること、L’low<L’(x,y)<L’high→WeightedL(x,y)=(L’(x,y)−L’low)/(L’high−L’low)を設定すること、及びL’(x,y)>L’high→WeightedL(x,y)=1を設定することを含む。これは、WeightedL画像のピクセルが、その元のL’値がL’low閾値を下回る場合は「0」の値を有し、その元のL’値がL’high閾値を上回る場合は「1」の値を有し、他の全ての場合は(L’(x,y)−L’low)/(L’high−L’low)の値を有することを意味する。(L’(x,y)−L’low)/(L’high−L’low)の値は、正規化された逆数の輝度値であり、正規化はマスキングされていないピクセルに対して実施される。
[0035]同様に、WeightedUVはUV画像から計算される。
[0036]画像解析システムは、UV’low及びUV’highを使用して、WeightedUV画像をUV’ドメインから計算する。WeightedUV画像を作成する際のUV’からWeightedUVへのマッピングは、UV’(x,y)≦UV’low→WeightedUV(x,y)=0を設定すること、UV’low<UV’(x,y)<UV’high→WeightedUV(x,y)=(UV’(x,y)−UV’low)/(UV’high−UV’low)を設定すること、及びUV’(x,y)>UV’high→WeightedL(x,y)=1を設定することを含む。これは、WeightedUV画像のピクセルが、その元のUV’値がUV’low閾値を下回る場合は「0」の値を有し、その元のUV’値がUV’high閾値を上回る場合は「1」の値を有し、他の全ての場合は(UV’(x,y)−UV’low)/(UV’high−UV’low)の値を有することを意味する。(UV’(x,y)−UV’low)/(UV’high−UV’low)の値は、正規化された逆数のクロミナンス値であり、正規化はマスキングされていないピクセルに対して実施される。
[0037]次に、WeightedL及びWeighedUV画像をマージすることによって、組み合わされた重み付き画像Wが作成されてもよい。例えば、重み付き画像Wの各ピクセルに割り当てられる重みは、WeightedL及びWeightedUV画像における前記ピクセルの重みの平均として計算されてもよい。
[0038]次に、画像解析システムは、重み付き画像Wを、それぞれのピクセルが0と1との間の「ソフト重み」と呼ばれる重みを割り当てられている、ソフト重み付き画像にマッピングする。
[0039](重み付き画像W、マスク画像M)からSWへのマッピングは、s=(255−128)/(Wmax−Wmin)にしたがって換算係数sを計算することを含み、式中、Wmaxは重み画像Wで観察される最大重みであり、Wminは重み画像Wで観察される最小重みであり、それにより、M>0であるデジタル画像のピクセルに対するWの最大値及び最小値、並びに設定M(x,y)=0→SW(x,y)=0が選択的に計算され、したがって、M(x,y)>0→value=(W(x,y)−Wmin)×s+128;SW(x,y)=min(max128,value)255)である。それにより、255は、RGB画像の可能な最大強度値を表し、128は前記値の半分を表す。ソフト重み付き画像SWのピクセルは、マスクMによってマスキングされた(非組織)領域でゼロ強度を有し、128〜255の範囲で「正規化された」強度値を有し、それにより、強度値はピクセルの重みから導き出され、ピクセルが組織領域のピクセルである可能性を示す。
[0040]最適化されたAOI検出は、スキャニングプロセス全体において重要なステップであり、出力画像において組織である可能性が高い領域に割り当てられるソフト重みに基づいた、焦点配分などの後続ステップを可能にする。より強く重み付けられたAOI領域ほど、焦点を含む可能性が高い。
[0041]「焦点」は、本明細書で使用するとき、関連のある生物医学情報を示すものと予測又は仮定されるという理由で、自動的に特定及び/又はユーザによって選択される、デジタル画像中の地点である。自動化又は手動の焦点選択は、いくつかの実施形態では、スキャナを始動させて、前記焦点を取り囲む領域から更なる高分解能画像データを自動的に検索してもよい。
[0042]しかしながら、取得したAOIが精密ではなく、スキャニングの技術者又は他のシステム200の操作者が、より良好なスキャンを得るために更なる焦点を追加したい場合、かかる選択肢はユーザインターフェースを介して可能にされてもよい。例えば、図2Cは、更なる焦点を手動で追加するための例示的なインターフェースを示す。図2Cのインターフェースは、例えば、組織スライドをスキャンするスキャナに結合された、コンピュータ上に存在してもよい。更に、記載する操作は、精度及びリコールスコアの点で従前の方法よりも優れており、グラウンドトゥルースAOIデータを用いて計算したスコアを使用して検証されている。例えば、AOI検出モジュール213〜217は、510個のサムネイル画像のトレーニングセットに基づいて開発された。AOI検出モジュールは、最小接続構成要素サイズ、カバーガラス縁部からの有効組織領域の距離、可能なカバーガラス位置、有効組織領域間を区別する色閾値、及び暗いペンカラー(dark pen colors)など、いくつかの経験的に設定されたパラメータを使用してきており、パラメータは、更に記載するように、観察されたサムネイルに基づいて設定される。
[0043]メモリ210はまた、誤り訂正モジュール212を記憶する。誤り訂正モジュール212は、入力スライドタイプにおいてAOIを見つけようとし、予期されない結果に直面した場合に実行されてもよい。誤り訂正モジュール212は、誤ったスライドタイプが入力されていることを判断し、入力にかかわらず、適切なAOI検出モジュールを選択する論理を含む。例えば、TMA AOI検出モジュール216は、単一の長方形グリッドが見られると予期することがあるが、複数のグリッドが同じサムネイル内に存在することが起こり得る。そのような場合、TMA AOI検出は、単一グリッドパターンのみをキャプチャし、残りを見逃してもよく、ジェネリックAOI検出モジュール217は、スライド中の全ての適切なAOIを決定するのにより有用なことがある。ユーザがスライドタイプを「淡い」スライドと入力した場合、ジェネリックAOI検出モジュール217が実行されてもよい。例えば、ユーザは、グラフィカルユーザインターフェース(GUI)を介して、例えばボタンを押すことによって又はメニュー項目を選択することによって、最近解析された画像が「淡い」画像であることを示してもよい。「淡い」画像は、本明細書で使用するとき、ガラスの明るさに比べて大幅に暗色ではない組織領域を含む、即ち組織領域とガラス領域との間に低コントラストを有する画像である。反転グレースケール画像では、最も明るい部分は最も密な組織であり、最も暗い部分は最も疎な組織であり、完全に暗い(マスキングされた)部分はガラスに相当する。しかしながら、「淡い」という用語はまた、対照画像に、即ち4つのコアを有するものに当てはまることがある。したがって、「淡い」画像タイプが入力として受信されると、対照AOI検出モジュール214が実行されてもよく、4つのコアが検出されなかった場合、誤り訂正モジュール212は代わりにジェネリックAOI検出モジュール217を呼び出す。同様に、一部のTMA画像の場合、TMA AOI検出モジュール216は、見込まれるAOIデータのわずかな一部分のみを検索してもよく、それによって、サムネイル中に複数のグリッドが存在し得るという判断が、したがってジェネリックAOI検出がTMA AOI検出よりも優れている場合があるという判断がもたらされる。不適当に入力されたスライドタイプに関するこれら及び他の代替的な選択について、表1を参照して次に記載する。
[0044]表1:誤り訂正モジュール212の操作(予期される性能は括弧内)
[0045]表1の各行はユーザが入力するスライドタイプを示し、各列は実際のスライドタイプを示す。各セルは、操作によって予期される性能レベル(悪い、中程度、可など)を示す。塗抹及びThinPrep(RTM)画像の場合、デフォルトモードは提供されず、即ち、これらの事例いずれに関してもジェネリックモードへの分岐はない。一般に、検出の失敗は偽検出よりも重いペナルティが課されるので、潜在的な組織領域上で見落とされるよりも多くの疑似組織領域をキャプチャするのが好ましいことに留意されたい。
[0046]図3A〜図3Bは、本開示の例示的な一実施形態による、ThinPrep(RTM)スライド上におけるAOI検出の方法及び前記方法の結果を示す。図3の方法は、図1のサブシステムに示されるモジュールの任意の組み合わせ、又はサブシステム及びモジュールの他の任意の組み合わせによって実行されてもよい。この方法に列挙されるステップは、必ずしも図示される特定の順序で実行されなくてもよい。ThinPrep(RTM)スライドでは、関心領域はほぼ円形であり、より淡い。したがって、コントラストの拡張(S331)は、単一コア(関心領域)をより顕著にすることを可能にする画像向上操作として実施される。ピクセルの上部数行は、ラベルを除去するために廃棄されてもよい(S332)。例えば、経験的観察は、上部300行がラベルテキストを有するか、あるいは空白であることを示している。換言すれば、組織は一般に、上部300行よりもはるかに下にある。その後、可能性がある円形コアの中心(S334)及びその半径の計算を可能にするために、サムネイル画像がダウンサンプリングされる(S333)。例えば、サムネイルは、各回2倍で3回ダウンサンプリングされてもよい。ピラミッド型のアプローチが、より高速のダウンサンプリングに使用されてもよい。ダウンサンプリングされた画像により、可能性がある円形コアの位置を計算することがより簡単/より高速になる(S334)。最も可能性があるコア中心Cを見つけるのに、放射形対称に基づく投票が使用されてもよい(S334)。放射形対称操作は、3倍でダウンサンプリングされた画像内の[42,55]の半径範囲を使用してもよい。これは、入力画像における単一の組織コアの半径が336〜440ピクセルであってもよい、経験的観察に対応する。次に、AOI領域は、中心Cで得られるディスクとして定義される(S335)(ディスク半径=その票がCに蓄積されている全ての地点の平均半径)。最後に、輝度及び色の性質に基づいて、AOIピクセルに重みが割り当てられる(S336)。
[0047]したがって、この方法によって使用される一般的仮定は、単一のコアが画像中に存在し、最初の300ピクセル行にある組織の内容物が無視されるか又は廃棄され、単一コアの半径が336〜440ピクセルであるべきであるというものである(経験的/トレーニング時の観察、及びスライドサムネイル画像の実際の寸法に基づく)。図3Bは、図3Aの方法の結果を示す。ThinPrep(RTM)スライドの画像301は、組織の小塊又はコア304を含む関心範囲を表す長方形303を用いて境界が定められる。ソフト重み付きAOIマップ302(又はマスク)が方法によって返される。
[0048]図4A〜図4Bは、本開示の例示的な一実施形態による、組織マイクロアレイ(TMA)スライド上におけるAOI検出の方法及び前記方法の結果を示す。図4の方法は、図1のサブシステムに示されるモジュールの任意の組み合わせ、又はサブシステム及びモジュールの他の任意の組み合わせによって実行されてもよい。この方法に列挙されるステップは、必ずしも図示される特定の順序で実行されなくてもよい。概して、この方法は、図7Aに記載される「ジェネリック」方法と類似している。サムネイルに存在する様々な小塊のうち、異なる小塊がグリッドを構築するか否かが判断される。非常に小さいか又は非常に大きい小塊を、潜在的なTMA小塊から廃棄するのにサイズの制約が課され、形状の制約は大幅に非円形の形状を廃棄するのに使用される。ソフト重み付き前景画像から得られるような、可能性のあるAOI領域のうちわずかな部分のみが、TMAグリッドにキャプチャされる場合など、TMA方法がジェネリック方法に分岐する、特定の事例があってもよい。
[0049]より具体的には、本方法は、RGBサムネイル画像からグレースケール画像を取得し(S441)、トレーニングデータに基づいて無関係であることが分かっている画像の領域を廃棄する(S442)ことから始まる。例えば、サムネイル画像の下部にある黒いサポートタブは廃棄されてもよい。カバーガラスの余白が検出されてもよく、カバーガラスの余白の外側にある領域は廃棄されてもよい。暗い領域、即ち(8ビットサムネイル画像を仮定して)強度が40単位未満のグレーピクセルを有する領域が検出されてもよく、それらの暗い領域は、AOIの一部から廃棄されてもよい。カバーガラスの一般的な幅は約24mmであるが、それよりも大幅に大きい又は小さいカバーガラスを同様に使用することができる。しかしながら、本発明の実施形態は、スライド1つあたり1つを超えるカバーガラスは存在しないものと仮定する。
[0050]これらの領域に加えて、余白、ペンマーク、暗色の記号も検出され廃棄されることがある。対照ウィンドウも、スライド上に存在する場合は、検出されてもよい。「対照ウィンドウ」は、本明細書で使用するとき、画像解析の間に検出され解析される組織試料と同じ染色及び/又は洗浄プロトコルを施した、既知の性質を有する追加の組織部分を含む、組織スライド上の領域である。対照ウィンドウ内の組織は、一般的に、組織スライドの洗浄、染色、及び処理が適正に実施されたかを評価する参照画像として作用する。対照ウィンドウが見出された場合、対照ウィンドウの境界に対応する領域が廃棄されてもよい。より明確なAOI出力のため、境界の100ピクセル以内の領域も、疑似AOI領域が余白により近くなるのを回避する助けとして、またTMAコアはサムネイル境界にそこまで近づかないという仮定に基づいて廃棄されてもよい。
[0051]次に、画像中の全ての残っている有効画像領域に対してヒストグラムが計算される(S443)。画像ヒストグラムに基づいて、適応的閾値化を実施するため、閾値範囲が計算されてもよい(S444)。この操作は、ガラスのみの領域を、即ち画像ヒストグラムがガラスに対応するピクセル値でピークになる領域を決定することと、ガラス強度値未満の閾値範囲RAを計算することとを含む。画像ヒストグラムに基づいて、スライドが十分に淡いかが更に判断され(S445)、「はい」の場合、範囲RAと比較してガラス強度値により近い、閾値範囲RBが自動的に作成される。閾値範囲に基づいてマスクが作成される(S447)。
[0052]いくつかの実施形態によれば、閾値範囲は次のように計算されてもよい。
[0053]ヒストグラムピークにつながるピクセル強度値を、maxHistLocationとする(これはガラスに対応してもよい)。
[0054]グレースケール画像中の最大強度値を、
max_grayscale_indexとする。この値は「glass_right_cutoff」値を表す。
[0055]いくつかの実施形態によれば、閾値範囲が選ばれ、次の操作を使用して、例えばdifferent_cutoffsと表される、要素のベクトルの形で記憶される。
[0056]右ギャップ=max_grayscale_index−maxHIstLocationとする。
[0057]glass_left_cutoff=maxHIstLocation−rightgapとする。
[0058]interval_range_gap=max(1,round(rightgap/5))とする。
[0059]min_rightgap=−rightgapとする。
[0060]max_rightgap=min(rightgap−1,round(rightgap×0.75)とする。0.75の値は、一般的には0.5〜0.95の範囲、優先的には0.7〜0.8の範囲である、既定のgap_cutoff_fraction値である。
[0061]different_cutoffs[0]=glass_left_cutoff−2×rightgapとする。
[0062]number_interval_terms=(max_rightgap−min_rightgap)/interval_range_gapとする。
[0063]ベクトルdifferent_cutoffsのサイズは(number_interval_terms+2)である。
[0064]i=0の場合、number_interval_terms−1は、
[0065]different_cutoffs[i+1]=(glass_left_cutoff−rightgap)+interval_range_gap×i
[0066]different_cutoffs[number_interval_terms+1]=glass_left_cutoff+max_rightgapである。
[0067]図8は、閾値範囲及びそれに対応する中間マスクに対して、本発明の実施形態にしたがって使用されてもよい、組織試料を含むガラススライドのヒストグラムを示す。一般的に、ガラス領域によって引き起こされる強度ピークmhlは、およそ245に位置し、また一般的には235〜250の範囲内にあり、mgsは一般的に、mhlよりも0〜15単位高い範囲内にあるが、最大で255に限定される。基本概念は、一般的な画像では、ガラスに対応するピクセルは、各辺で(255のうち)わずか3〜10単位の幅の、やや対称的なピークを形成するというものである。「rightgap」(mgs−mhl)は、右側におけるこのピークの観察された幅である。「glass_left_cutoff」は、ガラスがこのピークの左側で終わる場合に関する概算である。その下のピクセル強度は、一般的に組織である。しかしながら、特に淡い組織スライドの場合、単一の閾値が、常に組織をガラス領域から適正に分離できるわけではないことが観察されている。したがって、本発明の実施形態は、組織である可能性が非常に高いピクセル強度からガラスである可能性が非常に高いピクセル強度までの閾値範囲rtsを自動的に抽出するため、図8に示されるようなヒストグラムで特定された値を使用する。図示される例では、閾値範囲は、dco[0]から、即ちglcoの左側にある2つの右ギャップから、mhlに近い値にまで及ぶ。例えば、mhlに近い前記値は、次式として計算することができる。
[0068]Dco[max−i]=different_cutoffs[number_interval_terms+1]=glass_left_cutoff+max_rightgapまた、単にmhlが、閾値範囲rts内の最大閾値として選ばれることも可能である。実施形態に応じて、閾値範囲rtsに含まれる閾値の数(number_interval_terms)は、既定であってもよく、又はrtsが及ぶ値範囲の派生物として計算されてもよい。
[0069]rts閾値範囲内の各閾値は、それぞれのマスクを計算するため、デジタル画像又はその派生物(例えば、グレースケール画像)に適用される。生成されたマスクは、中間マスク及び最終的には単一のマスクMを生成するため、繰り返し、ペア毎にマージされる。それにより、各マスクにおけるピクセル小塊のサイズが、経験的に決定された最小小塊範囲と比較され、他のそれぞれのマスクにおける前記小塊の近傍での、他の小塊の発生がチェックされる。
[0070]例えば、第1のマスク1及び第2のマスク2の小塊では、生成されたマスク全てのうち1つが、接続構成要素の解析によって特定されてもよい。マスク1のマスキングされていないピクセルが、マスク2におけるi番目の小塊の、例えば50ピクセルの距離内にある場合(一般的に100ピクセル未満である他の距離閾値が同様に使用されてもよい)、またその合計サイズ≧(minimum_area/2)の場合、マスク2にあるこの小塊は「真の小塊」と見なされ、このピクセルのマスキングされていない状態が維持される。マスク1のマスキングされていないピクセルが、i番目の小塊マスクにおけるピクセルの、例えば前記50ピクセルの距離内にない(即ち、マスク2のi番目の小塊が比較的隔離されている)場合、マスク2における前記小塊のピクセルは、小塊が例えば1.5×minimum_areaよりも大きい場合のみ、マスクされていないピクセルとして維持される。マスク1及びマスク2をマージすることによって生成される中間マスクは、マスク2における小塊のピクセルをマスキングされていないピクセルとして含むが、それは、前記小塊が、第1の経験的に導き出された閾値を上回る(>1.5×minimum_area)か、又は少なくとも、第1の閾値よりも小さい第2の閾値を上回る(>0.5×minimum_area)のに十分な大きさであり、マスク1における少なくともいくつかのマスキングされていないピクセルをその近傍(50ピクセル以内)に有する場合のみである。minimum_areaの値は、例えば150ピクセルであると、経験的に決定されている。
[0071]ソフト重み付き画像SW(値は範囲[0,1]内)は、グレースケール画像を使用して、またdifferent_cutoffsを使用して作成される(S447)。ソフト重み付き画像>0の場合に全てのピクセルにおいてONである、二値マスク(BWeff)が作成される。二値マスク作成(S447)の場合、different_cutoffsの全ての閾値に関して、二値マスク画像が作成され(マスク画像の対応するピクセルは、グレースケール値<閾値であるようなものである)、結果として二値マスク画像のベクトルが得られる。マスク画像のこのベクトルをマスクと呼ぶものとする。マスクのN個の要素を所与として、(N−1)要素を有する、FinalMaskと呼ばれるマスク画像の別のベクトルが作成される。マスク[i]及びマスク[i+1]を組み合わせてFinalMask[i]を生成する機能は、CombineTwoMasksと呼ばれることがあり、入力として小塊の最小サイズを要する。FinalMaskにおける全ての二値画像の二値OR操作により、BWeffが得られる。グレースケール、different_cutoffs、minimum_blob_sizeを入力として採用し、SW、BWeffを返す機能は、CreateWeightedImageMultipleCutoffsと呼ばれる。
[0072]CombineTwoMasksと呼ばれる、2つのマスクを組み合わせる機能は、次の操作を含んでもよい。
[0073]FinalMask=CombineTwoMasks(マスク1、マスク2、minimum_area)とする。
[0074]初期化:FinalMaskは、マスク1及びマスク2と同じサイズで作られ、FinalMaskの全てのピクセルは0に設定される。
[0075]マスク2上の接続構成要素(CC)を実施し、CCの数をMとする。
[0076]マスク1上の距離転換を計算し、距離転換された行列をDistとする。
[0077]i=1:M(M個の接続構成要素全てにわたってループする)の場合、マスク2のi番目のCCを考慮し、マスク1のONピクセルがマスク2のi番目のCCから50ピクセルの距離内にあるか否かを確かめ(Distの知識を使用して行われる)、「はい」の場合、その合計サイズ≧(minimum_area/2)の場合のみこの領域を考慮し、i番目のCCマスクに対応するFinalMaskの全てのピクセルをONに設定する。マスク1のONピクセルが、i番目のCCマスクにおける50ピクセルの距離内にない(即ち、マスク2のi番目のCCが比較的隔離されている)場合、十分に大きい場合、即ちi番目のCCに基づくマスク>(1.5×minimum_area)の場合にのみCCを考慮し、i番目のCCマスクに対応するFinalMaskの全てのピクセルをONに設定する。したがって、要約すると、CombineTwoMasksの役割は、十分に大きい(>1.5×minimum_area)か又は部分的に大きく(>0.5×minimum_area)、それに十分に近い(50ピクセル以内)マスク1の少なくともいくつかのONピクセルを有する、マスク2の小塊のみを考慮することである。minimum_areaの値は、150ピクセルであると経験的に決定されている。
[0078]二値マスクBWeffが計算されると、グレースケール強度値に基づいてソフト重みがピクセルに割り当てられるが、その基礎となる概念は、より暗い(グレースケール強度値が低い)ピクセルほど、組織である可能性が高く、したがってより重い重みを受けるというものである。ソフト重みはまた、それに続く後続の操作における有効な小塊の決定(S449)を可能にするが、これは、ソフト重みの合計が特定の閾値を上回る小塊は保持され、他のものは廃棄されてもよいためである(S450)。例えば、十分に大きいか、又は強い「暗色の」前景を含む十分なピクセルを有する小塊は、有効であってもよく、他の小塊は廃棄される。ソフト重み付き画像をマッピングするため、入力はグレースケール画像、効果的な二値マスク画像はBWeffであり、閾値のベクトルはdifferent_cutoffsと呼ばれ、出力はソフト重み付き前景画像SWである。効果的な二値マスクBWeffにおけるONピクセルを決定するため(different_cutoffsベクトルにおける要素の合計数はN)、
[0079]norm_value=(グレースケール値−different_cutoffs[0]/(different_cutoffs[N−1]−different_cuttoffs[0])とする。
[0080]norm_value>1の場合、norm_value=1であり、又はnorm_value<0の場合、norm_value=0である。
[0081]SWにおける対応する浮動値=1−norm_value
[0082]対応するグレースケール値<different_cutoffs[0]の場合、SWにおける対応する浮動値=1である(ピクセルが十分に暗い場合、割り当てられるソフト重み値=1)。
[0083]対応するグレースケール値>different_cutoffs[N−1]の場合、SWにおける対応する浮動値=0である(ピクセルが十分に明るい場合、割り当てられるソフト重み値=0)。
[0084]実施形態によれば、ジェネリック組織領域検出ルーチン、及び組織スライドタイプに特有の組織検出ルーチンのうち1つ又は複数は、更に、組織試料のデジタル画像から(ソフト)重み付き画像を計算し、それによって組織試料のグレースケール画像、マスク画像(BWeff)、及びソフト重み付き前景画像(SW)を得るように構成される。SWでは、ヒストグラムに対して21の均等に離間したビンを使用して、0.001〜1の全てのピクセルを考慮する。ビン内におけるデータの分布に応じて、スライドが十分に淡いか否かを決定する。画像が十分に淡い場合、最上位のヒストグラムビンにおけるデータの分布は十分に少なく、同様に、最下位のヒストグラムビンにおけるデータの分布は十分に多い。
[0085]ヒストグラム生成、閾値抽出、マスク生成、マスク融合、及び/又は(ソフト)重み計算の上述したステップは、ジェネリックのサブルーチン、及び/又は組織スライドタイプに特有の組織検出ルーチンのうち1つによって実施されてもよい。
[0086]上述したステップ毎に二値マスクが生成されると(S447)、接続構成要素の検出(S448)が実施されて、各接続構成要素が、可能性があるTMAコアであるかが確かめられる。検出された接続構成要素は、次のような、有効サイズ、形状、及び距離に関する規則を課せられる(S449)。
[0087]接続構成要素(CC)の幅<(列/6):(サムネイル画像の幅、ラベル以下=列)
[0088]CCの高さ<(行/8):(サムネイル画像の高さ、ラベル以下=行)
[0089]CCの面積>55ピクセル(小さいジャンクな小塊は廃棄されてもよい)。
[0090]CCマスクの偏心>0.62(TMAコアは円形と仮定される)
[0091]可能性があるTMAコアを見つけた後、TMAコアが十分に適切であると判断する、CCのサイズの分布が決定される。
[0092]MedianArea=有効なCCを特定する先行ステップ後に保持されている全てのCCの中央値
[0093]面積≧MedianArea/2であり、面積≦2×MedianAreaである、それらのCCを保持する。
[0094]次に、有効なCC全ての小塊間距離がチェックされ、次の規則を使用して、小塊を保持するか又は廃棄するかが決定される。規則において使用される用語は、次のものを含んでもよい。
[0095]NN_dist_values[i]=i番目の小塊の中心と最も近いTMA小塊の中心との間の距離
[0096]radius_current_blob_plus_NN_blob[i]=i番目のTMA小塊の半径+i番目のTMA小塊に最も近い小塊の半径
[0097]DistMedian=(NN_dist_values)の中央値
[0098]MADvalue=(NN_dist_values)の平均絶対偏差
[0099]Sdeff=max(50,2×MAD)
[00100]小塊に課せられる規則は次のように表されてもよい。NN_dist_value[i]≦1.3×(DistMedian+max(Sdeff,radius_current_blob_plus_NN_blob[i])→i番目の小塊が有効なTMA小塊である。TMAコアを考慮した場合、任意の2つの最も近いコア間の距離は、TMAではほぼ類似しており、したがって、これら全ての仮定が距離に基づく規則で使用される。
[00101]したがって、図4AのTMAアルゴリズムは、有効なTMAコアが十分に小さく、有効なTMAコアが特定の閾値よりも大きく、そのため小さいジャンク/きょう雑物/ゴミに基づく小塊が廃棄され、有効なTMAコアはそれぞれ十分に円形であり、またそのため偏心性は1により近いはずであり、全ての有効なTMAコアは十分に近いはずであり、コアから最も近いコアまでの距離は十分に短いため、この距離の制約に違反すると、これらのコアがAOIから廃棄されるという仮定に基づく。更に、検出されたカバーガラスの外側には組織領域がないものと仮定されてもよい。画像中の暗い領域を検出するモジュールの場合、仮定は、ペンマーク、記号が組織領域よりも暗いというものである。したがって、グレースケール値40を使用して、暗い領域が廃棄されてもよい。図4Bは、図4Aの方法の結果を示す。TMAスライドの画像401は、組織試料のアレイ404を含む関心範囲を表す長方形403を用いて境界が定められる。ソフト重み付きAOIマップ402(又はマスク)が、方法によって返される。
[00102]図5A〜図5Bは、本開示の例示的な一実施形態による、対照スライド上におけるAOI検出の方法及びその結果を示す。図5の方法は、図1のサブシステムに示されるモジュールの任意の組み合わせ、又はサブシステム及びモジュールの他の任意の組み合わせによって実行されてもよい。この方法に列挙されるステップは、必ずしも図示される特定の順序で実行されなくてもよい。この方法は、一般に、票が4つのコアの中心に蓄積するという動機付けによって、グレースケール画像を向上させたものに対する放射形対称操作を使用して、対照スライド上における(スライドの対照ウィンドウ内の対象組織ではなく、試験中の組織の)4つの組織部分コアを検出するのに使用される。多重スケールのガウシアンの差分(DOG)操作を票に対して使用して、コア中心が検出される。放射形対称の投票は、票を蓄積する助けとなり、多重スケールDoGが票画像に対して使用されると、コア中心をより良好に局所化する助けとなる。次に、小塊はその中間の背景よりも暗く、したがって閾値化がコアを除外する助けとなるので、セグメント化技術が、コア中心が見出されるところに近い領域に適用されてもよい。方法は「対照」スライドを対象とするが、ジェネリックの淡いスライド及び対照HER2(4コア)画像の両方にも働いてもよい。この方法は、サムネイルが4コアの対照HER2画像を表していない場合に、ジェネリック方法に自動的に分岐してもよい。
[00103]具体的には、方法は、RGBサムネイルのグレースケール画像を取得し(S551)、画像に対して放射形対称投票(S552)及びDOG(S553)を実施して、画像内のコアを取得する(S554)。画像が、特定の編成を有さない、茶色以外の色のジェネリック組織スライドとして現れた場合(対照スライドは、対照色が存在し、対照の染色された組織が明確には染色されないスライドである)、4コアの対照スライドではないと判断され、方法はジェネリックに分岐する(S555)。判断は、検出されたコア全てに対して、放射形対称投票(S552)及びDOG(S553)から平均及び最大の票を計算することによって達成され、また、(票、DOG)の(mean,max)に基づき、4コアのスライドが(票、DOG)に関して(mean,max)のより高い値を有するという仮定に基づく。投票プロセスを高速化するため、グレースケール画像は2回ダウンサンプリングされてもよい。投票に関して、[13,22]ピクセルの半径範囲が2回ダウンサンプリングされた画像に使用されてもよい。DOG(S553)は、結果として得られる票の行列に対して実施され、閾値よりも高い上位10個のDOGピークが、見込まれるコア中心位置として使用される。例えば、検出された全てのコア中心に基づいて、全てのコアに対するDOG平均及び最大と、全てのコアに対する票の平均及び最大とが計算されてもよく、mean_DOG_all_cells_cutoffは1.71に設定され、max_DOG_all_cells_cutoffは2に設定され、mean_votes_all_cells_cutoffは1.6に設定され、max_votes_all_cells_cutoffは1.85に設定され、次に、DOG/票の平均/最大がこれらのカットオフを上回るかを判断する。4つの条件のうち、2つ以上に対してこの条件が満たされた場合、画像が4コアの対照スライドを表すものと決定されてもよい。
[00104]見込まれるコア中心を所与として、一般に、コアはその真後ろの背景よりも暗いので、強度に基づいてコアを抽出するのが可能になるという事実に基づいて、Otsuの閾値化に基づくセグメント化操作(S556)を実施して、前景小塊が除外されてもよい。セグメント化(S556)が実施されると、[13,22]の半径範囲と合致しない小塊(S557)は処分されてもよい(S558)。小塊は円形であることが予期されるので、計算された円形性の特徴<min_circularity(0.21)である小塊が廃棄され、円形性は(4×PI×面積/周囲×周囲))として定義される。円形性は、非円形の細長い形状の場合は低く、ほぼ円形の形状では1に近い。
[00105]有効半径範囲[13,22]内にある残り全てのコアのうち、[38,68]ピクセルの範囲、即ち2つの最も近いコア中心の間の範囲にあると仮定される最も近いコア距離とともに、直線に沿って位置する任意の4つの小塊が検出される(S559)。いくつかの小塊が同じ直線に沿っているか否かを判断するため(S559)、小塊は、小塊中心からの距離が特定の距離の制約(23ピクセル)未満である線の一部と見なされてもよい。これらのサイズ及び距離の制約を使用した後、4よりも少ないコアが見出された場合(S560)、更なるコアの検出(S561)が試みられて、図5C〜図5Dに関して更に記載するように、最終的に合計4コアが見出される。
[00106]この方法は、一般に、非4コア画像が5以上のより小さいコアを有さない場合に、4コア及び非4コアの対照画像を適切に分離することができると仮定する。いくつかの5コア画像がジェネリック画像として解析されてもよい。各コアの半径は、サムネイル画像の[52,88]ピクセルの範囲内にあるものと仮定される。各コアをセグメント化するため、その中間の背景よりも暗いものと仮定される。これにより、サムネイル画像をグレースケール化したものに対する、強度に基づく閾値化が可能になる。2つの最も近いコア間の距離(4コアの対照HER2サムネイル画像の場合)は、[152,272]ピクセルの範囲内と仮定される。図5Bはこの方法の結果を示す。対照スライドのサムネイル画像501は、コア504を含む組織スライド領域を表す長方形503を用いて境界が定められる。ソフト重み付きAOIマップ502(又はマスク)が、方法によって返される。図5C〜図5Dは、より多数のコアを見つける手段を示す(S561)。例えば、各々の検出されたコア504に関して、見込まれるコアは、矢印506に基づいて50ピクセル離れていると仮定される。より良好な構成は、より多数の有効な小塊を有する構成(即ち、サイズ及び円形性の制約に合致するもの)であり、両方の構成が同じ数の有効な小塊を有する場合、有効なコア全てにわたって平均化された円形性の特徴を比較して結び付きが決められ、3つの選択肢のうち最良のものが選択される。図5Cでは、2つの小塊のみが見出されるので、方法は、3つの代替構成のいずれかの間で選択する。図5Dでは、3つの小塊のみが見出されるので、方法は、2つの代替構成のうち最良のものの間で選択する。
[00107]図6A〜図6Bは、本開示の例示的な一実施形態による、塗抹スライド(例えば、血液試料を含むスライド)上におけるAOI検出の方法を示す。図6の方法は、図1のサブシステムに示されるモジュールの任意の組み合わせ、又はサブシステム及びモジュールの他の任意の組み合わせによって実行されてもよい。この方法に列挙されるステップは、必ずしも図示される特定の順序で実行されなくてもよい。一般に、塗抹方法は、RGB画像から導き出したLUV画像から計算された、2つの画像チャネル、L及びsqrt(U^2+V^2)を考慮し、ここでLは輝度チャネル、U、Vはクロミナンスチャネルである。中央値及び標準偏差は、L及びsqrt(U^2+V^2)の両方に対して計算される。中央値及び標準偏差に対し得計算された下限閾値及び上限閾値に基づいて、ヒステリシス閾値化操作が実施されて、L及びsqrt(U^2+V^2)ドメインに対して別個のAOIマスクが返され、次にマスクが組み合わされる。スライドサムネイルの下部に特に近い疑似領域を取り除く後処理操作が実施されてもよい。
[00108]具体的には、グレースケール画像がRGBサムネイル画像から取得されてもよい(S661)。グレースケール値<40を有するピクセルに対応する、暗いマスクが生成される(S662)。次に、RGB画像は、L、UVサブチャネル(L=輝度、U、V:クロミナンス)に変換される(S663)。Lチャネルは輝度画像とも呼ばれる。U及びVチャネルは色チャネルである。両方のサブチャネルに対して、即ち輝度画像及びクロミナンス画像に対して、閾値が計算される(S664)。
[00109]Lチャネルに対して、L’=max(L)−Lにしたがって逆チャネルL’が計算され、それにより、max(L)はLチャネルで観察される最大輝度値に関し、Lはピクセルの輝度値である。次に、中央値(MedianL)及び平均絶対偏差(MADL)がL’チャネルに対して計算される。
[00110]クロミナンス画像UVは、UV=sqrt(U^2+V^2)にしたがって計算される。
[00111]L’チャネルに対して、下限閾値thLlowがthLlow=MedianL+MADLにしたがって計算され、上限閾値thLhighがthLhigh=MedianL+2×MADLにしたがって計算される。
[00112]類似の方法を使用して、UVチャネルに対する閾値が計算される。
[00113]クロミナンス画像UVは、UV=sqrt(U^2+V^2)にしたがって計算される。
[00114]逆チャネルUV’は、UV’=max(UV)−UVにしたがって計算され、それにより、max(UV)はUV−画像で観察される最大輝度値に関し、UVは前記画像中のピクセルのクロミナンス値である。次に、中央値 (MedianUV)及び平均絶対偏差(MADUV)が、UV’チャネルに対して計算される。
[00115]クロミナンスUVチャネルに対して、下限閾値thUlowがthUlow=MedianUV+MADUVにしたがって計算され、上限閾値thUhighがthUhigh=MedianUV+2×MADUVにしたがって計算される。
[00116]次に、両方のチャネル(L’、UV’)に対してヒステリシス閾値化が実施される(S665)。L’チャネルに対して、thLlow及びthLhighを使用した、また例えば150ピクセルの面積の制約を使用したヒステリシス閾値化が、L’ドメインの二値マスク(ML’)を取得するのに使用される。
[00117]UVチャネルに対するヒステリシス閾値化は、例えば150ピクセルの面積の制約を使用して、UVドメインの二値マスク(MU,V)を取得する。
[00118]ヒステリシス閾値化において「面積の制約を使用する」とは、(下限閾値及び上限閾値を満たす値を有する一組の隣接ピクセルとして)ヒステリシス閾値化によって検出されるピクセル小塊が、前記小塊が少なくとも面積の制約の大きさである場合のみ、生成されたマスクにおいて「マスキングされていない」ピクセル小塊として維持されることを意味する。面積の制約のサイズは、一般的に、130〜170ピクセルの範囲、例えば150ピクセルである。
[00119]最終の実効二値マスクMは、ML’及びMUVの二値ORの組み合わせ(S666)(ML’(x,y)=1又はMUV(x,y)=1の場合、M(x,y)=1)によって取得される。
[00120]輝度及びクロミナンス画像から別個に生成された2つの異なるマスクに対してヒステリシス閾値化を実施し、次に閾値化マスクを再結合することで、特に塗抹スライドの場合に、組織対ガラスの領域検出の精度が向上してもよい。これは、ガラススライド上の組織領域が、一般的に、スライド全域にわたって拡散された細胞から成るためである。前記細胞は、ガラススライドよりも低いコントラストを有する場合が多い。いずれにせよ、クロミナンス画像で表される色成分は、特定のスライド領域が組織に覆われていることの明確な指標として作用してもよい。
[00121]結果として得られる組み合わせは、本明細書に記載するようにソフト重み付けされて、最終マスクが生成される。更に、サムネイル画像の下部におけるサポートタブ間の領域が解析されて(S667)、既に検出されている組織AOI領域と連続しているサポートタブ間の任意の組織領域を、マスクに含める必要があるかが判断される。
[00122]この方法は、一般に、任意のカバーガラスの検出が塗抹組織の廃棄をもたらすことがあるので、カバーガラスの外側の組織領域が自動的に廃棄されるものと仮定する。ここでの利益は、組織が辺/縁部まで延在しない場合に、カバーガラスの余白が無視されることである。更に、塗抹組織はサポートタブ間に位置し得るので、特にサポートタブの外側の領域で既に検出された組織と接続されている場合に、真の組織であると仮定される。この方法の場合、AOIが見出された後、塗抹組織が有形の小塊から成っていないことがあるが、面積が十分に小さい可能性がある顕著な塗抹部分付近に位置する組織片が存在し得るという仮定に基づいて、より小さい接続構成要素は廃棄されない。組織領域の消失は疑似領域のキャプチャよりもリスクが高いので、保守的なアプローチは、AOI内のより小さい接続構成要素を保持することを含む。図6Bはこの方法の結果を示す。塗抹スライドのサムネイル画像601は、組織塗抹604を含む関心範囲を表す長方形603を用いて境界が定められる。ソフト重み付きAOIマップ602(又はマスク)は、方法によって返される。
[00123]図7A〜図7Cは、本開示の例示的な実施形態による、ジェネリックスライド及び誤って特定されたスライドに対するAOI検出を示す。図7の方法は、図1のサブシステムに示されるモジュールの任意の組み合わせ、又はサブシステム及びモジュールの他の任意の組み合わせによって実行されてもよい。この方法に列挙されるステップは、必ずしも図示される特定の順序で実行されなくてもよい。一般に、この方法は、様々な閾値を使用して、組織領域が見つかる可能性がより高いことが予期されるソフト重み付き画像を見出し、暗い組織領域に近い淡い領域は、真の組織領域からより遠くにある淡い領域よりも、組織領域である可能性が高いという仮定に基づいて、淡い画像領域を淡いアーチファクトから廃棄する。
[00124]方法は、RGBサムネイル画像からグレースケール画像を取得し(S771)、関心領域ではないことが分かっている領域を廃棄する(S772)ことによって始まる。例えば、サムネイル画像の下部にある黒いサポートタブ、並びにカバーガラスの検出された余白の外側の領域は廃棄される。グレースケール値<40を有する暗い領域、並びに対照ウィンドウ(検出されたものがある場合)の余白又は境界の外側にある任意の領域は、AOIの一部から廃棄される。ここまでで廃棄されなかった全ての画像領域に対して画像ヒストグラムが計算され(S773)、それに基づいて、ガラスのピーク値が得られ、それを使用して閾値範囲が計算され、その閾値範囲に対して適応的な閾値化を実施して、見込まれる組織領域が検出される。これらの操作S773〜S776は、図4Aを参照して記載したTMA方法によって実施される操作と類似している。しかしながら、この事例では、画像が淡い画像である場合、最も顕著な小塊が保持され(S777)、即ち、小塊に属する全てのピクセルのソフト重みの合計は最大である。更に、ソフト重みが十分に高く、最も顕著な小塊に十分に近い場合、この最も顕著な小塊の近くにあるより小さい小塊が保持される。接続構成要素が検出され(S778)、小塊を保持及び廃棄するため、サイズ、距離、及びソフト重みの制約が適用される(S779〜S780)。結果はAOIマスクである。更に、幅100ピクセルの境界領域におけるピクセルは、取り除かれた部分の組織領域に触れていてもよい内部部分に適切な組織領域が存在する場合、AOIマスクの一部と見なされる。サイズ、距離の制約、下部にある暗いサポートタブへの近接性、ソフト重みの制約などに基づいて、小さい小塊が廃棄される(S780)。
[00125]このデフォルト又はジェネリック方法は、カバーガラスが不適当に検出された場合(例えば、組織領域に線状パターンがあるとき)、偽のカバーガラスの外側にある全ての領域が取り除かれるリスクがあるので、検出されたカバーガラスの外側には組織領域がないものと仮定する。更に、画像中の暗い領域を検出するモジュールの場合、ペンマーク、記号は組織領域よりも暗いというのが直感である。方法は更に、グレースケール値40が暗い領域を廃棄するものと仮定する。小塊は、<150ピクセルの場合は小さいと見なされ、他の任意の顕著な小さくない小塊から特定の距離以内(<105ピクセル)にない場合に廃棄される。ソフト重みが>0.05であって最も顕著な小塊の75ピクセル以内にあるピクセルは、AOIの一部と見なされる。
[00126]上述したように、これらのAOI検出アルゴリズムは、5つの全カテゴリそれぞれから少なくとも30のスライドを含んだ、510のトレーニング用スライドから確立したグラウンドトゥルースを使用してトレーニングされている。アルゴリズムは、トレーニングセットとは異なる、297のスライドサムネイルの試験セットに対して更に試験した。グラウンドトゥルースAOIデータに基づいて、精度及びリコールスコアが計算され、5つのスライドタイプ全てに対して、これらの方法を使用して取得した精度・リコールに基づくスコアは、従来技術の方法よりも極めて優れていることが観察された。これらの改善点は、適応的な閾値化(閾値範囲と、それに対して、従来技術で一般に行われたような単一の統計的に見出された閾値とを使用する)、又はヒステリシス閾値化の場合の下限及び上限閾値、小さい小塊を廃棄するのに二値マスクに対して実施される接続構成要素検出、及び単一の選ばれた閾値に対する依存を除去する閾値範囲の使用、並びに、より小さい(以前として顕著な)小塊とより大きい小塊の間の距離の考慮(強度の小さいばらつきによってより大きい小塊を分割することができ、より小さいが依然として重要な小塊は従来技術の方法によって廃棄することができるので、これは顕著である)を含むが、それらに限定されない、本明細書に開示するいくつかの特徴に属してもよい。本明細書に開示する操作は、ハードウェアグラフィック処理装置(GPU)に移行させて、マルチスレッド並列実装を可能にしてもよい。
[00127]更なる態様では、本発明は、組織スライドのデジタル画像中の組織領域を検出するように構成された、画像解析システムに関する。組織試料はスライド上に載置される。画像解析システムは、プロセッサと記憶媒体とを備える。記憶媒体は、複数のスライドタイプに特有の組織検出ルーチンと、ジェネリック組織検出ルーチンとを含む。画像解析システムは、
スライドタイプに特有の組織検出ルーチンの1つを選択するステップと、
選択されたスライドタイプに特有の組織検出ルーチンが実施される前、及び/又は実施されている最中に、選択されたスライドタイプに特有の組織検出ルーチンが、デジタル画像に描写されているスライドの組織スライドタイプに対応するかをチェックするステップと、
「はい」の場合、デジタル画像中の組織領域を検出する、選択されたスライドタイプに特有の組織検出ルーチンを自動的に実施するステップと、
「いいえ」の場合、デジタル画像中の組織領域を検出する、ジェネリック組織検出ルーチンを自動的に実施するステップとを含む、方法を実施するように構成される。
[00128]前記特徴は、複数の異なるスライドタイプにおける組織を特定することができる全自動画像解析システムが提供されるので、有利であってもよい。誤ったスライドタイプの場合、また対応する組織解析方法がユーザによって又は自動で選択される場合、システムは、誤った選択を自動で判断してもよく、全て又はほぼ全てのタイプの組織スライドに対しても良好に働くことが示されている、デフォルト組織検出ルーチンを実施する。以下に記載する実施形態は、上述した実施形態のいずれかと自由に組み合わせることができる。
[00129]実施形態によれば、デジタル画像はサムネイル画像である。これは、「フルサイズの」組織スライド画像と比較して低分解能を有するサムネイルとして有益なことがあり、したがって、より効率的に処理されてもよい。
[00130]実施形態によれば、画像解析システムはユーザインターフェースを備える。スライドタイプに特有の組織検出ルーチンの選択は、ユーザインターフェースを介して組織スライドタイプのユーザ選択を受信することと、ユーザによって選択された組織スライドタイプに割り当てられたスライドタイプに特有の組織検出ルーチンの1つを選択することとを含む。
[00131]実施形態によれば、ジェネリック組織検出ルーチン、及びスライドタイプに特有の組織検出ルーチン(TMAルーチン)のうち1つ又は複数は、非組織領域を選択的にマスキングする二値マスクMを生成するサブルーチンを含む。サブルーチンは、
デジタル画像をグレースケール化したもののヒストグラムを計算するステップと、
ヒストグラムから複数の強度閾値を抽出するステップと、
デジタル画像から複数の中間マスクを生成するため、デジタル画像に複数の強度閾値を適用するステップと、
全ての中間マスクを組み合わせることによって二値マスクMを生成するステップとを含む。
[00132]実施形態によれば、ヒストグラムから複数の強度閾値を抽出するステップは、
ヒストグラムで観察される最大グレースケール強度値である、max−grayscale−index(mgs)を特定するステップと、
ヒストグラム中で最大発生頻度を有するグレースケール強度値である、max−histogram−location(mhl)を特定するステップと、
maximum−histogram−location(mhl)をmax−grayscale−index(mgs)から減算することによって右ギャップを計算するステップと、
glass−left−cutoff=max−histogram−location(mhl)−右ギャップにしたがって、glass−left−cutoffを計算するステップと、
閾値のうち最小のもの(dco[0])がglass_left_cutoff−右ギャップ以上の強度値であるような、また閾値のうち最大のものがglass_left_cutoff+右ギャップ以下であるような、複数の閾値の抽出を実施するステップとを含む。例えば、最小閾値はglass_left_cutoff−右ギャップ+1以上の強度値であることができ、閾値のうち最大のものは、glass_left_cutoff+右ギャップ−1以下であることができる。
[00133]閾値がヒストグラムに基づいており、したがって、光源、染色強度、組織分布、カメラ設定などの多くの異なる要因に依存することがある、スライドの組織領域及び非組織領域の淡さに動的に適合するので、前記特徴が有利なことがある。このように、異なる組織スライドの画像のより良好な比較可能性、及び組織検出のより良好な全体精度が達成されてもよい。
[00134]実施形態によれば、ヒストグラムから複数の強度閾値を抽出するステップは、
irg=max(1,round(rightgap/constant))にしたがって(constantは2〜20、優先的には3〜8の既定の数値)、interval−range−gap(irg)を計算するステップと、
max_rightgap=min(rightgap−1,round(rightgap×gap_cutoff_fraction)にしたがって(gap_cutoff_fractionは0.5〜0.95、優先的には0.7〜0.8の範囲の規定値)、max_rightgap値を計算するステップと、
number_interval_terms=((max_rightgap+rightgap)/interval_range_gap)にしたがって、number_interval_termsを計算するステップと、
計算されたnumber_interval_termsに対してそれらの数が同一であるような、複数の閾値を作成するステップとを含む。
[00135]生成される閾値の数はヒストグラムに基づいており、したがって、光源、染色強度、組織分布、カメラ設定などの多くの異なる要因に依存することがある、スライドの組織領域及び非組織領域の淡さ及び強度の分布に動的に適合されるので、前記特徴が有利なことがある。ガラスに関連する強度ピークが非常に狭い場合、組織領域をガラス領域から正確に分離するには、より少数の閾値で十分であり得ることが観察されている。ガラスに関連する強度ピークが非常に広く、それに対応して右ギャップが大きい場合、好ましくは、より多数の閾値とそれに対応するマスクを計算してもよい。
[00136]実施形態によれば、複数の中間マスクを生成するため、複数の強度閾値をデジタル画像に適用するステップは、
a)グレースケール値が複数の閾値のうち第1の閾値未満である、デジタル画像中の全てのピクセルをマスキングすることによって、第1の中間マスクを作成するステップと、
b)グレースケール値が複数の閾値のうち第2の閾値未満である、デジタル画像中の全てのピクセルをマスキングすることによって、第2の中間マスクを作成するステップであって、第2の閾値が、例えば複数の閾値のうち2番目に高い閾値である、ステップと、
c)第1の小塊を特定するため、第1のマスクのマスキングされていないピクセルに対して、接続構成要素解析を実施するステップと、
d)第2の小塊を特定するため、第2のマスクのマスキングされていないピクセルに対して、接続構成要素解析を実施するステップと、
e)第1及び第2のマスクをマージして、マージされたマスクにするステップとを含み、マージするステップは、
サイズがabosolute−minimum−area未満である第1の小塊を全てマスキングし、サイズがabsolute−minimum−area超過であるがconditonal−minimum−area未満であり、前記第1の小塊の周りにおける既定の近傍範囲内に第1の小塊がない、第1の小塊を全てマスキングするステップと、
第1の小塊の1つ又は複数をマスキングするステップを実施した後、第1及び第2のマスクのマスキングされていない領域を統合して、マージされたマスクのマスキングされていない領域を生成するステップであって、マージされたマスクの他の全ての領域がマスキングされた領域である、ステップと、
マージされたマスクを新しい第1の中間マスクとして使用して、第3の閾値から新しい第2の中間マスクを計算するため、第3の閾値を選択し、複数の閾値それぞれが選択されるまでステップc)〜e)を繰り返し、最終的に生成されるマージされたマスクを、マージされた二値マスクMとして出力するステップとを含む。
[00137]異なる閾値が、大幅に異なる強度レベルの組織のドット又は小塊を捕えることができるので、上述したような多重閾値に基づく多重マスクマージが有利なことがある。1つのマスクが小塊を見逃した場合、前記小塊は、厳密度が低い閾値に基づいたマスクによって捕えられてもよい。更に、マスクが組み合わされる方法は、2つの異なるマスクの文脈情報が評価されるので、マスクがノイズによって汚染されることを防止する。マスクのマスキングされていないピクセルの小塊は、前記小塊が非常に大きいか、又は他のマスクで検出された小塊に空間的に近接している場合にのみ、マスクマージプロセスにおいて維持される。かかる発見は、一般的に、ガラス領域のアーチファクトが解析される場合ではなく、組織領域が解析される場合に行われる。輝度に基づくマスク及びクロミナンスに基づくマスクのマージは、上述したのと同じ方法で実施され、それにより、輝度マスクは、例えば第1のマスクとして使用されてもよく、クロミナンスマスクは第2のマスクとして使用されてもよく、輝度チャネル及びクロミナンスチャネルそれぞれのマスキングされていない領域における第1及び第2の小塊を検出する、接続構成要素解析が実施される。
[00138]実施形態によれば、absolute−minimum−areaは、組織細胞を表す小塊の予期されるサイズの100%〜200%の範囲であり、conditional−minimum−areaは、組織細胞を表す小塊の予期されるサイズの30%〜70%の範囲である。小塊の周りの既定の隣接範囲は、一般的な組織細胞の約1〜3の直径幅、例えば50ピクセルの幅を有する、小塊の周りのピクセルベルトによって定義されてもよい。
[00139]実施形態によれば、スライドタイプに特有の組織検出ルーチンは、TMAスライドルーチンを含む。TMAスライドルーチンは、組織マイクロアレイ(TMA)スライドにおける組織領域を検出するように構成される。TMAスライドルーチンは、
上述の実施形態にしたがってサブルーチンを実施することによって、二値マスクMを生成し、
二値マスク(M)をデジタル画像に適用し、組織領域のグリッドを検出するため、デジタル画像のマスキングされていない領域を選択的に解析するように構成される。「コア」は、本明細書で使用するとき、既定の最小距離、例えば少なくとも2mm又はそれ以上スライド上の他の組織領域(他の「コア」)から分離される、スライド上に含まれる個々の組織試料又はその一部である。
[00140]本発明の実施形態は、中間マスクの生成に複数の閾値を利用し、次に最終マスクを生成するため、マスクを組み合わせる。画像解析システムは、組織領域を特定するのに最終マスクを使用する。複数の異なる閾値をマスク生成に適用し、次にスマートマスクマーキングアルゴリズムを介してマスクを組み合わせることで、組織対ガラスの検出精度がより高くなることが観察されている。複数の閾値が生成され、それぞれのマスクが融合される方法は、組織検出アルゴリズムの精度を更に向上させるため、異なる組織スライドタイプに対してわずかに異なってもよい。
[00141]実施形態によれば、選択されたスライドタイプに特有の組織検出ルーチンはTMAスライドルーチンであり、画像解析システムは更に、
組織領域のグリッドが、デジタル画像のマスキングされていない領域で検出されなかった場合、選択されたTMAスライド組織検出ルーチンが、デジタル画像に描写された組織スライドの組織スライドタイプに対応しないと判断し、
TMAスライド組織検出ルーチンの実行を終了し、ジェネリック組織検出ルーチンの実行を開始するように構成される。
[00142]実施形態によれば、スライドタイプに特有の組織検出ルーチンは対照スライドルーチンを含む。対照スライドルーチンは、対照スライド中の組織領域を検出するように構成される。対照スライドは、解析されている組織に追加して、対照組織を含むスライドである。対照組織及び解析される組織は対照染料で、即ち、生物マーカーに特有の染料ではなく、生物マーカーに特異的でない染料で染色される。対照染料により、対照組織部分及び実際に解析される組織部分が明確に染色されることは決してなく、一般的に、実験的な試験スライドよりも淡い。対照スライドルーチンは、
二値マスク生成に関する上述の実施形態のうち任意の1つのサブルーチンを実施することによって、二値マスクMを生成し、
二値マスクMをデジタル画像に適用し、
直線で位置付けられた組織領域の数を検出するため、デジタル画像のマスキングされていない領域を選択的に解析するように構成される。
[00143]実施形態によれば、選択されたスライドタイプに特有の組織検出ルーチンは、対照スライドルーチンである。直線の組織領域の数がデジタル画像のマスキングされていない領域で検出されない場合、画像解析システムは、選択された対照スライド組織検出ルーチンが、デジタル画像に描写された組織スライドの組織スライドタイプに対応しないと判断し、対照スライド組織検出ルーチンの実行を終了し、ジェネリック組織検出ルーチンの実行を開始する。
[00144]実施形態によれば、スライドタイプに特有の組織検出ルーチンは細胞株スライドルーチンを含む。細胞株スライドルーチンは、細胞株スライドの組織領域を検出するように構成される。細胞株スライドは、単一のディスク形状の組織試料を含む組織スライドであり、細胞株スライドルーチンは、
グレースケール画像をデジタル画像の派生物として計算するように構成され、いくつかの実施形態によれば、グレースケール画像は、例えばコントラストの拡張による、「向上した」画像である。(向上した)グレースケール画像は、実施形態によれば、勾配強度画像が計算される前に、複数回(例えば、2倍で瞬時に)ダウンサンプリングされ(低減した分解能とともに記憶され)、
勾配強度画像をグレースケール画像の派生物として計算し、
デジタル画像のヒストグラムを計算し、
ヒストグラムから複数の強度閾値を抽出し、
デジタル画像から複数の中間マスクを生成するため、複数の強度閾値をデジタル画像に適用し、
全ての中間マスクを組み合わせることによって、二値マスク(M)を生成し、
二値マスク(M)をデジタル画像及び勾配強度画像に適用し、
単一の組織領域の中心及び半径を検出するため、勾配強度画像におけるマスキングされていない領域に対して、放射形対称に基づく投票を選択的に実施する。
[00145]実施形態によれば、選択されたスライドタイプに特有の組織検出ルーチンは細胞株スライドルーチンであり、画像解析システムは更に、
単一の組織領域が検出されなかった場合、又は検出された半径もしくは検出された中心位置が、細胞株スライドタイプに対して予期される半径もしくは中心位置から逸脱していた場合、選択された細胞株スライド組織検出ルーチンが、デジタル画像に描写された組織スライドの組織スライドタイプに対応しないと判断し、
細胞株スライド組織検出ルーチンの実行を終了し、ジェネリック組織検出ルーチンの実行を開始するように構成される。
[00146]実施形態によれば、スライドタイプに特有の組織検出ルーチンは塗抹スライドルーチンを含む。塗抹スライドルーチンは、塗抹スライドの組織領域を検出するように構成される。塗抹スライドは、組織領域がスライド全体に拡散されているスライドタイプである。塗抹スライドルーチンは、
デジタル画像のLUV色空間表現のLチャネル画像である輝度画像を、デジタル画像の派生物として計算し、
デジタル画像のLUV色空間表現のU,Vチャネルの派生物であるクロミナンス画像を、デジタル画像からの派生物として計算し、
輝度に基づくマスクを生成するため、輝度画像を反転したものに対してヒステリシス閾値化を実施し、
クロミナンスに基づくマスクを生成するため、クロミナンス画像を反転したものに対してヒステリシス閾値化を実施し、
輝度に基づくマスクとクロミナンスに基づくマスクを組み合わせて、二値マスク(M)を取得し、
二値マスクをデジタル画像に適用し、
拡散された組織領域を検出するため、デジタル画像のマスキングされていない領域を選択的に解析するように構成される。
[00147]実施形態によれば、ヒステリシス閾値化の実施は、
ヒステリシス閾値化の間に適用された下限閾値及び上限閾値をピクセル値が満たしている隣接ピクセルの各組に対して、ピクセル組が少なくとも経験的に判断された範囲を包含するかを判断するステップであって、例えば、経験的に判断された範囲は、所与の分解能のデジタル画像における組織細胞のピクセルの一般的な数に対応する、ステップと、
「はい」の場合(ピクセル組が少なくとも前記範囲を包含する場合)、前記ピクセル組がマスキングされないようにして二値マスクを生成するステップであって、マスキングされないピクセルとしての前記ピクセルは、前記ピクセルが組織領域と見なされ、マスキングされたピクセルが非組織領域、例えばガラス領域と見なされると示唆するものと見なす、ステップと、
「いいえ」の場合、前記ピクセル組がマスキングされるように、二値マスクを生成するステップとを含む。
[00148]ピクセルの隣接した組を比較するステップは、一般的な細胞よりも小さいスペックル及びノイズが、生成されたマスクによって濾過されるという利点を有してもよい。
[00149]実施形態によれば、組織スライドはガラススライドであり、組織検出ルーチンは、ガラス領域を選択的にマスキングするマスクを生成するように構成され、組織領域は前記マスクのマスキングされない領域である。
[00150]実施形態によれば、サブルーチンは、中間マスクを組み合わせて二値マスクを生成するとき、サイズ及び距離の制約を使用して、より小さい領域を中間マスクから検出し廃棄するステップを更に含む。
[00151]実施形態によれば、ジェネリック組織検出ルーチン、及び組織スライドタイプに特有の組織検出ルーチンのうち1つ又は複数は、更に、デジタル画像から重み付き画像を生成するように構成され、重み付き画像の各ピクセルには、2つを超える異なる値を含む値範囲で重みを割り当てられる。重みは、前記ピクセルが、ガラスに属するのと比較して、組織領域に属する可能性を示す。マスクは単に二値画像を生成するが、ガラス領域ではなく組織領域である可能性は0と1の間であってもよいので、これは有利なことがある。いくつかのピクセルに対して、それらが組織ピクセルであるか否かを明白に決めるのはほぼ不可能なことがある。複数の可能な値のいずれかを有してもよい重みを割り当てることによって、真の組織ピクセルである可能性が高いことが見込まれるいくつかの組織領域、及び組織領域である可能性が低いことが見込まれる(ただし、いずれにせよマスキングされず、したがって組織領域と見なされる)いくつかの組織領域を、ユーザに対して表示することが可能である。
[00152]実施形態によれば、重み付き画像を生成するステップは、デジタル画像並びに二値マスクMを入力として使用する。ソフト重み付き画像は、二値マスク内部の非ゼロであるピクセルを除く全ピクセルでゼロ値にされ、これらの非ゼロピクセルには、それらがガラスに属するのと比較して組織に属する可能性が高いか低いかに応じて、より高い値又はより低い値が割り当てられる。
[00153]実施形態によれば、重み付き画像を生成するステップは、
デジタル画像のLUV色空間表現のLチャネル画像である輝度画像を、デジタル画像の派生物として計算するか、又は二値マスク(M)を生成するのに既に計算されている輝度画像にアクセスするステップと、
デジタル画像のLUV色空間表現のU,Vチャネルの派生物であるクロミナンス画像を、デジタル画像からの派生物として計算するか、又は二値マスクMを生成するのに既に計算されているクロミナンス画像にアクセスするステップと、
輝度及び/又はクロミナンスを、非組織領域を選択的にマスキングする二値マスク(M)でマスキングするステップと、
重み付き画像SWを、輝度及び/又はクロミナンス画像の派生物として生成するステップであって、重み付き画像の各ピクセルには、輝度画像における対応するピクセルのクロミナンスと明確に相関する、かつ/又は輝度画像における対応するピクセルの暗さと明確に相関する値が割り当てられる、ステップとを含む。
[00154]一般に、色付きピクセル(その色情報はクロミナンス画像に含まれる)及びより暗いピクセル(輝度画像)は、ガラスではなく組織である可能性が高く、高いクロミナンス(色)成分を有するピクセル及び/又は(輝度にしたがって)より暗いピクセルは、より重く重み付けされる。
[00155]クロミナンスUV及び輝度L画像の計算は、本発明の実施形態に関して既に記載したような画像解析システムによって実施される。
[00156]実施形態によれば、画像解析システムは、選択可能なGUI要素を表示するように構成されたグラフィカルユーザインターフェースを備える。GUI要素により、ユーザが、スライドタイプに特有の組織検出ルーチン又はジェネリック組織検出ルーチンのうち1つを選択することが可能になる。スライドタイプに特有の組織検出ルーチンは、TMAスライドルーチン、対照スライドルーチン、細胞株スライドルーチン、及び塗抹スライドルーチンのうちの1つである。それに加えて、又は別の方法として、画像解析システムは、検出された組織領域を表示し、表示される組織領域のピクセルの色及び/又は明るさは、組織領域ピクセルそれぞれに割り当てられた重み(ソフト重み)に応じて決まる。それに加えて、又は別の方法として、GUIにより、ユーザが、表示された(ソフト重み付き)組織領域の領域に対して余分の焦点を追加することが可能になり、余分な焦点の追加は、スキャナを始動させて、焦点によって更に詳細に示される領域がスキャンされる。
[00157]更なる態様では、本発明は、組織スライドのデジタル画像における組織領域を検出するための画像解析方法に関する。組織試料はスライド上に載置される。方法は、プロセッサと記憶媒体とを備える画像解析システムで実施される。方法は、
スライドタイプに特有の組織検出ルーチンの1つを選択するステップと、
選択されたスライドタイプに特有の組織検出ルーチンが実施される前、及び/又は実施されている最中に、選択されたスライドタイプに特有の組織検出ルーチンが、デジタル画像に描写されているスライドの組織スライドタイプに対応するかをチェックするステップと、
「はい」の場合、デジタル画像中の組織領域を検出する、選択されたスライドタイプに特有の組織検出ルーチンを自動的に実施するステップと、
「いいえ」の場合、デジタル画像中の組織領域を検出する、ジェネリック組織検出ルーチンを自動的に実施するステップとを含む。
[00158]更なる態様では、本発明は、画像解析システムのプロセッサによって解釈可能な命令を含む記憶媒体に関し、命令は、プロセッサによって実行されたとき、本明細書に記載される実施形態のいずれか1つによる画像解析システムで実施される画像処理方法による方法を、画像解析システムに実施させる。
[00159]コンピュータは、一般的に、プロセッサ、オペレーティングシステム、システムメモリ、メモリ記憶デバイス、入出力コントローラ、入出力デバイス、及び表示デバイスなど、既知の構成要素を含む。また、コンピュータの多くの可能な構成及び構成要素が存在し、キャッシュメモリ、データバックアップユニット、及び他の多くのデバイスも含んでもよいことが、当業者には理解されるであろう。入力デバイスの例としては、キーボード、カーソル制御デバイス(例えば、マウス)、マイクロフォン、スキャナなどが挙げられる。出力デバイスの例としては、表示デバイス(例えば、モニタもしくはプロジェクタ)、スピーカー、プリンタ、ネットワークカードなどが挙げられる。表示デバイスとしては、視覚情報を提供する表示デバイスを挙げることができ、この情報は一般的に、ピクセルのアレイとして論理的及び/又は物理的に編成されてもよい。入出力インターフェースを提供する様々な既知のもしくは将来のソフトウェアプログラムのいずれかを含んでもよい、インターフェースコントローラも含まれてもよい。例えば、インターフェースとしては、1つ又は複数のグラフィック表現をユーザに提供する、「グラフィカルユーザインターフェース」と一般に呼ばれている(GUIと呼ばれる場合が多い)ものを挙げることができる。インターフェースは、一般的に、当業者には知られている選択又は入力の手段を使用して、ユーザ入力を受け入れられるようにされる。インターフェースはまた、タッチスクリーンデバイスであってもよい。同じ又は代替の実施形態では、コンピュータ上のアプリケーションは、「コマンドラインインターフェース」と呼ばれる(CLIと呼ばれる場合が多い)ものを含む、インターフェースを用いてもよい。CLIは、一般的に、アプリケーションとユーザとの間の相互作用に基づいてテキストを提供する。一般的に、コマンドラインインターフェースは、表示デバイスを通して、テキストのラインとして出力を提示し、入力を受信する。例えば、いくつかの実装例は、当業者には知られているUnix Shell、又はMicrosoft NETフレームワークなどのオブジェクト指向型のプログラミングアーキテクチャを用いるMicrosoft Windows Powershellなど、「シェル」と呼ばれるものを含んでもよい。
[00160]当業者であれば、インターフェースは、1つもしくは複数のGUI、CLI、又はそれらの組み合わせを含んでもよいことを認識するであろう。プロセッサとしては、Intel Corporation製のCeleron、Core、又はPentiumプロセッサ、Sun Microsystems製のSPARCプロセッサ、AMD Corporation製のAthlon、Sempron、Phenom、又はOpteronなどの市販のプロセッサを含んでもよく、あるいは利用可能であるか又は今後利用可能になる他のプロセッサのうち1つであってもよい。プロセッサのいくつかの実施形態は、マルチコアプロセッサと呼ばれるものを含んでもよく、かつ/又はシングルもしくはマルチコア構成において並列処理技術を用いることが可能にされてもよい。例えば、マルチコアアーキテクチャは、一般的に、2つ又はそれ以上のプロセッサ「実行コア」を備える。本例では、各実行コアは、複数スレッドの並列実行を可能にする独立プロセッサとして機能してもよい。それに加えて、当業者であれば、プロセッサは、32又は64ビットアーキテクチャと一般に呼ばれるものか、又は現在知られているかもしくは将来的に開発されるであろう他のアーキテクチャ構成で構成されてもよいことを認識するであろう。
[00161]プロセッサは、一般的に、例えばMicrosoft CorporationによるWindowsタイプのオペレーティングシステム、Apple Computer Corp.によるMac OS Xオペレーティングシステム、多くのベンダーから入手可能であってオープンソースと呼ばれる、UnixもしくはLinux(登録商標)タイプのオペレーティングシステム、別のもしくは将来のオペレーティングシステム、又はそれらの何らかの組み合わせであってもよい、オペレーティングシステムを実行する。オペレーティングシステムは、ファームウェア及びハードウェアと周知の方法でインターフェース接続し、プロセッサが、様々なプログラミング言語で記述されていてもよい様々なコンピュータプログラムの機能を協調し実行するのを容易にする。一般的にはプロセッサと協働するオペレーティングシステムは、コンピュータの他の構成要素の機能を協調し実行する。オペレーティングシステムはまた、全て既知の技術による、スケジューリング、入出力制御、ファイル及びデータ管理、メモリ管理、並びに通信制御及び関連サービスを提供する。
[00162]システムメモリは、所望の情報を記憶するのに使用することができ、コンピュータがアクセスすることができる、様々な既知の又は将来のメモリ記憶デバイスのいずれかを含んでもよい。コンピュータ可読記憶媒体としては、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの情報を記憶するため、任意の方法又は技術で実装される、揮発性及び不揮発性の、取外し式及び非取外し式媒体を挙げることができる。例としては、任意の市販のランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、電気消去可能プログラマブル読出し専用メモリ(EEPROM)、デジタル多用途ディスク(DVD)、常駐ハードディスクもしくはテープなどの磁気媒体、読み書きコンパクトディスクなどの光学媒体、又は他のメモリ記憶デバイスが挙げられる。メモリ記憶デバイスとしては、コンパクトディスクドライブ、テープドライブ、取外し可能ハードディスクドライブ、USBもしくはフラッシュドライブ、又はディスケットドライブを含む、様々な既知の又は将来のデバイスのいずれかを挙げることができる。このようなタイプのメモリ記憶デバイスは、一般的に、それぞれコンパクトディスク、磁気テープ、取外し可能ハードディスク、USBもしくはフラッシュドライブ、又はフロッピーディスケットなどの、プログラム記憶媒体から読み出し、かつ/又はそれに書き込む。これらのプログラム記憶媒体、又は現在使用されているかもしくは今後開発されるであろう他のものはいずれも、コンピュータプログラム製品と見なされてもよい。理解されるように、これらのプログラム記憶媒体は、一般的に、コンピュータソフトウェアプログラム及び/又はデータを記憶する。コンピュータ制御論理とも呼ばれるコンピュータソフトウェアプログラムは、一般的に、メモリ記憶デバイスと併用される、システムメモリ及び/又はプログラム記憶デバイスに記憶される。いくつかの実施形態では、制御論理(プログラムコードを含む、コンピュータソフトウェアプログラム)が記憶されたコンピュータ使用可能媒体を含む、コンピュータプログラム製品が記載される。制御論理は、プロセッサによって実行されたとき、本明細書に記載の機能をプロセッサに実施させる。他の実施形態では、いくつかの機能は、例えばハードウェア状態機械を使用して、主にハードウェアに実装される。本明細書に記載の機能を実施するようにハードウェア状態機械を実装することは、当業者には明白となるであろう。入出力コントローラは、人間であれ機械であれ、ローカルであれ遠隔であれ、ユーザから情報を受理し処理する、様々な既知のデバイスのいずれかを含むことができる。かかるデバイスとしては、例えば、モデムカード、ワイヤレスカード、ネットワークインターフェースカード、サウンドカード、又は様々な既知の入力デバイスのいずれかに対する他のタイプのコントローラが挙げられる。出力コントローラは、人間であれ機械であれ、ローカルであれ遠隔であれ、ユーザに情報を提示する、様々な既知の表示デバイスのいずれかに対するコントローラを含むことができる。本明細書に記載の実施形態では、コンピュータの機能的要素は、システムバスを介して互いと通信する。コンピュータのいくつかの実施形態は、ネットワーク又は他のタイプの遠隔通信を使用して、いくつかの機能的要素と通信してもよい。当業者には明白となるように、機器制御及び/又はデータ処理アプリケーションは、ソフトウェアに実装された場合、システムメモリ及び/又はメモリ記憶デバイスにロードされ、それらから実行されてもよい。機器制御及び/又はデータ処理アプリケーションの全てもしくは一部はまた、読出し専用メモリ、又はメモリ記憶デバイスにおける類似のデバイスに常駐してもよく、かかるデバイスは、機器制御及び/又はデータ処理アプリケーションが、入出力コントローラを通して最初にロードされることを要しない。当業者には理解されるように、機器制御及び/又はデータ処理アプリケーション、もしくはその一部は、実行に有利なので、既知の方法でシステムメモリに、又はキャッシュメモリに、又は両方に、プロセッサによってロードされてもよい。また、コンピュータは、システムメモリに記憶された、1つ又は複数のライブラリファイル、実験データファイル、及びインターネットクライアントを含んでもよい。例えば、実験データは、検出された信号値など、1つもしくは複数の実験又はアッセイに関連するデータ、あるいは1つもしくは複数の合成による配列決定(SBS)実験又はプロセスと関連付けられた他の値を含むことができる。それに加えて、インターネットクライアントは、ネットワークを使用した別のコンピュータにおける遠隔サービスにアクセスできるようにされたアプリケーションを含んでもよく、例えば、「ウェブブラウザ」と一般に呼ばれるものを備えてもよい。本例では、いくつかの一般に用いられるウェブブラウザとしては、Microsoft Corporationから入手可能なMicrosoft Internet Explorer、Mozilla CorporationによるMozilla Firefox、Apple Computer Corp.によるSafari、Google CorporationによるGoogle Chrome、又は当該分野で現在知られているかもしくは将来開発されるであろう他のタイプのウェブブラウザが挙げられる。また、同じ又は他の実施形態では、インターネットクライアントは、生物学的用途向けのデータ処理アプリケーションなど、ネットワークを介して遠隔情報にアクセスできるようにされた専用ソフトウェアアプリケーションを含んでもよく、あるいはその要素であることができる。
[00163]ネットワークは、当業者には良く知られている、多くの様々なタイプのネットワークの1つ又は複数を含んでもよい。例えば、ネットワークは、通信に適合されたTCP/IPプロトコルと一般に呼ばれるものを用いてもよい、ローカルエリアネットワーク又は広域ネットワークを含んでもよい。ネットワークは、共通してインターネットと呼ばれる相互接続されたコンピュータネットワークの世界的システムを含むネットワークを含んでもよく、又は、様々なイントラネットアーキテクチャを含むことができる。また、当業者であれば、ネットワーク化された環境における一部のユーザは、「ファイアウォール」と一般に呼ばれるもの(パケットフィルタもしくは境界保護デバイスと呼ばれる場合もある)を用いて、ハードウェア及び/又はソフトウェアシステムとの間の情報トラフィックを制御するのを好むことがあることを認識するであろう。例えば、ファイアウォールは、ハードウェアもしくはソフトウェア要素又はそれらの組み合わせを含んでもよく、一般的に、例えばネットワーク管理者などのユーザによって導入される、セキュリティポリシーを実施するように設計される。
[00164]本開示における例示的な実施形態の上述の開示は、例証及び説明の目的で提示されている。排他的であること、又は本開示を開示される正確な形態に限定することを意図しない。本明細書に記載した実施形態の多くの変形及び修正が、上述の開示に照らして当業者には明白となるであろう。本開示の範囲は、添付の特許請求の範囲及びそれらの等価物によってのみ定義されるものである。
[00165]更に、本開示の代表的な実施形態を記載するにあたって、本明細書は、本開示の方法及び/又はプロセスを特定のステップシーケンスとして提示していることがある。しかしながら、方法及びプロセスが、本明細書で説明したステップの特定の順序に依存しないという限りにおいて、方法又はプロセスは、記載した特定のステップシーケンスに限定されるものではない。当業者であれば認識するように、他のステップシーケンスが可能であってもよい。したがって、本明細書で説明したステップの特定の順序は、特許請求の範囲に対する限定として解釈されるものではない。それに加えて、本開示の方法及び/又はプロセスを対象とする特許請求の範囲は、それらのステップを記載された順序で実施することに限定されるものではなく、当業者であれば、シーケンスが変更され、依然として本開示の趣旨及び範囲内にあってもよいことを、容易に認識することができる。

Claims (16)

  1. 組織スライドのデジタル画像において組織領域を検出するように構成された画像解析システム(220)であって、組織試料が前記組織スライド上に載置され、前記画像解析システムがプロセッサ(220)と記憶媒体とを備え、前記記憶媒体が、複数のスライドタイプに特有の組織検出ルーチン(213、214、215、216)と、ジェネリック組織検出ルーチン(217)とを備え、
    前記スライドタイプに特有の組織検出ルーチンの1つを選択するステップと、
    前記選択されたスライドタイプに特有の組織検出ルーチンが実施される前、及び/又は実施されている最中に、前記選択されたスライドタイプに特有の組織検出ルーチンが、前記デジタル画像に描写されている前記スライドの組織スライドタイプに対応するかをチェックするステップと、
    対応する場合、前記デジタル画像中の前記組織領域を検出する、前記選択されたスライドタイプに特有の組織検出ルーチンを自動的に実施するステップと、
    対応しない場合、前記デジタル画像中の組織領域を検出する、前記ジェネリック組織検出ルーチンを自動的に実施するステップとを含む、方法を実施するように構成された、画像解析システム。
  2. 前記デジタル画像がサムネイル画像である、請求項1に記載の画像解析システム。
  3. ユーザインターフェースを備え、前記スライドタイプに特有の組織検出ルーチンを選択する前記ステップが、前記ユーザインターフェースを介して組織スライドタイプのユーザ選択を受信するステップと、前記ユーザによって選択された前記組織スライドタイプに割り当てられた前記スライドタイプに特有の組織検出ルーチンの前記1つを選択するステップとを含む、請求項1又は2に記載の画像解析システム。
  4. 前記ジェネリック組織検出ルーチン、及び前記スライドタイプに特有の組織検出ルーチンの1つ又は複数が、非組織領域を選択的にマスキングする二値マスク(M)を生成するサブルーチンを含み、前記サブルーチンが、
    前記デジタル画像をグレースケール化したもののヒストグラム(800)を計算するステップと、
    前記ヒストグラムから複数の強度閾値(rts)を抽出するステップと、
    前記デジタル画像から複数の中間マスクを生成するため、前記デジタル画像に前記複数の強度閾値を適用するステップと、
    全ての前記中間マスクを組み合わせることによって二値マスク(M)を生成するステップとを含む、請求項1から3のいずれか一項に記載の画像解析システム。
  5. 前記ヒストグラムから前記複数の強度閾値を抽出する前記ステップが、
    前記ヒストグラムで観察される最大グレースケール強度値である、max−grayscale−index(mgs)を特定するステップと、
    前記ヒストグラム中で最大発生頻度を有するグレースケール強度値である、max−histogram−location(mhl)を特定するステップと、
    前記maximum−histogram−location(mhl)を前記max−grayscale−index(mgs)から減算することによって右ギャップを計算するステップと、
    glass−left−cutoff=max−histogram−location(mhl)−右ギャップにしたがって、glass−left−cutoffを計算するステップと、
    閾値のうち最小のもの(dco[0])がglass_left_cutoff−右ギャップ以上の強度値であるような、また閾値のうち最大のものがglass_left_cutoff+右ギャップ以下であるような、複数の閾値の抽出を実施するステップとを含む、請求項4に記載の画像解析システム。
  6. 前記ヒストグラムから前記複数の強度閾値を抽出する前記ステップが、
    irg=max(1,round(rightgap/constant))にしたがって(constantは2〜20、優先的には3〜8の既定の数値)、interval−range−gap(irg)を計算するステップと、
    max_rightgap=min(rightgap−1,round(rightgap×gap_cutoff_fraction)にしたがって(gap_cutoff_fractionは0.5〜0.95、優先的には0.7〜0.8の範囲の規定値)、max_rightgap値を計算するステップと、
    number_interval_terms=((max_rightgap+rightgap)/interval_range_gap)にしたがって、number_interval_termsを計算するステップと、
    前記計算されたnumber_interval_termsに対して数が同一であるような、前記複数の閾値を作成するステップとを含む、請求項5に記載の画像解析システム。
  7. 複数の中間マスクを生成するため、前記複数の強度閾値(rts)を前記デジタル画像に適用する前記ステップが、
    a)グレースケール値が前記複数の閾値のうち第1の閾値未満である、前記デジタル画像中の全てのピクセルをマスキングすることによって、第1の中間マスクを作成するステップと、
    b)グレースケール値が前記複数の閾値のうち第2の閾値未満である、前記デジタル画像中の全てのピクセルをマスキングすることによって、第2の中間マスクを作成するステップと、
    c)第1の小塊を特定するため、前記第1のマスクのマスキングされていないピクセルに対して、接続構成要素解析を実施するステップと、
    d)第2の小塊を特定するため、前記第2のマスクのマスキングされていないピクセルに対して、接続構成要素解析を実施するステップと、
    e)前記第1及び第2のマスクをマージして、マージされたマスクにするステップであって、
    サイズがabosolute−minimum−area未満である第1の小塊を全てマスキングし、サイズがabsolute−minimum−area超過であるがconditonal−minimum−area未満であり、前記第1の小塊の周りにおける既定の近傍範囲内に第1の小塊がない、第1の小塊を全てマスキングするステップと、
    前記第1の小塊の1つ又は複数をマスキングする前記ステップを実施した後、前記第1及び第2のマスクのマスキングされていない領域を統合して、前記マージされたマスクのマスキングされていない領域を生成するステップであって、前記マージされたマスクの他の全ての領域がマスキングされた領域である、ステップとを含む、マージするステップと、
    f)前記マージされたマスクを新しい第1の中間マスクとして使用して、前記閾値のうち第3のものから新しい第2の中間マスクを計算するため、前記第3の閾値を選択し、前記複数の閾値それぞれが選択されるまでステップc)〜e)を繰り返し、最終的に生成されるマージされたマスクを、マージされた二値マスク(M)として出力するステップとを含む、請求項4、5、又は6に記載の画像解析システム。
  8. 前記absolute−minimum−areaが、組織細胞を表す小塊の予期されるサイズの100%〜200%の範囲であり、前記conditional−minimum−areaが、組織細胞を表す小塊の予期されるサイズの30%〜70%の範囲である、請求項7に記載の画像解析システム。
  9. 前記スライドタイプに特有の組織検出ルーチンがTMAスライドルーチンを含み、TMAスライドルーチンが、組織マイクロアレイ(TMA)スライドにおける前記組織領域を検出するように構成され、前記TMAスライドルーチンが、
    請求項4から8のいずれかの前記サブルーチンを実施することによって、二値マスク(M)を生成し、
    前記二値マスク(M)を前記デジタル画像に適用し、組織領域のグリッドを検出するため、前記デジタル画像のマスキングされていない領域を選択的に解析する
    ように構成された、請求項1から8のいずれか一項に記載の画像解析システム。
  10. 前記スライドタイプに特有の組織検出ルーチンが対照スライドルーチンを含み、対照スライドルーチンが、対照スライド中の組織領域を検出するように構成され、前記対照スライドルーチンが、
    請求項4から8のいずれか一項に記載の前記サブルーチンを実施することによって、二値マスク(M)を生成し、
    前記二値マスク(M)を前記デジタル画像に適用し、
    直線で位置付けられた組織領域の数を検出するため、前記デジタル画像のマスキングされていない領域を選択的に解析する
    ように構成された、請求項1から8のいずれか一項に記載の画像解析システム。
  11. 前記スライドタイプに特有の組織検出ルーチンが細胞株スライドルーチンを含み、細胞株スライドルーチンが、細胞株スライドの組織領域を検出するように構成され、細胞株スライドが、単一のディスク形状の組織試料を含む組織スライドであり、前記細胞株スライドルーチンが、
    グレースケール画像を前記デジタル画像の派生物として計算し、
    勾配強度画像を前記グレースケール画像の派生物として計算し、
    前記デジタル画像のヒストグラム(800)を計算し、
    前記ヒストグラムから複数の強度値(rts)を抽出し、
    前記デジタル画像から複数の中間マスクを生成するため、複数の強度閾値を前記デジタル画像に適用し、
    全ての前記中間マスクを組み合わせることによって、二値マスク(M)を生成し、
    前記二値マスク(M)を前記デジタル画像及び前記勾配強度画像に適用し、
    単一の組織領域の中心及び半径を検出するため、前記勾配強度画像における前記マスキングされていない領域に対して、放射形対称に基づく投票を選択的に実施する
    ように構成された、請求項1から8のいずれか一項に記載の画像解析システム。
  12. 前記スライドタイプに特有の組織検出ルーチンが塗抹スライドルーチンを含み、塗抹スライドルーチンが、塗抹スライドの組織領域を検出するように構成され、塗抹スライドが、前記組織領域が前記スライド全体に拡散されているスライドタイプであり、前記塗抹スライドルーチンが、
    前記デジタル画像のLUV色空間表現のLチャネル画像である輝度画像を、前記デジタル画像の派生物として計算し、
    前記デジタル画像のLUV色空間表現のU,Vチャネルの派生物であるクロミナンス画像を、前記デジタル画像からの派生物として計算し、
    輝度に基づくマスクを生成するため、前記輝度画像を反転したものに対してヒステリシス閾値化を実施し、
    クロミナンスに基づくマスクを生成するため、前記クロミナンス画像を反転したものに対してヒステリシス閾値化を実施し、
    前記輝度に基づくマスクと前記クロミナンスに基づくマスクを組み合わせて、二値マスク(M)を取得し、
    前記二値マスクを前記デジタル画像に適用し、
    前記拡散された組織領域を検出するため、前記デジタル画像のマスキングされていない領域を選択的に解析する
    ように構成された、請求項1から8のいずれか一項に記載の画像解析システム。
  13. 前記組織スライドがガラススライドであり、前記組織検出ルーチンが、ガラス領域を選択的にマスキングするマスクを生成するように構成され、組織領域が前記マスクのマスキングされない領域である、請求項1から12のいずれか一項に記載の画像解析システム。
  14. 前記ジェネリック組織検出ルーチン、及び前記組織スライドタイプに特有の組織検出ルーチンのうち1つ又は複数が、更に、
    前記デジタル画像から重み付き画像を生成し、前記重み付き画像の各ピクセルには、2つを超える異なる値を含む値範囲で重みを割り当てられ、前記重みが、前記ピクセルがガラスに属するのと比較して組織領域に属する可能性を示すように構成され
    前記重み付き画像を生成する前記ステップが、好ましくは、
    前記デジタル画像のLUV色空間表現のLチャネル画像である輝度画像を、前記デジタル画像の派生物として計算するか、又は二値マスク(M)を生成するのに既に計算されている輝度画像にアクセスするステップと、
    前記デジタル画像のLUV色空間表現のU,Vチャネルの派生物であるクロミナンス画像を、前記デジタル画像からの派生物として計算するか、又は前記二値マスク(M)を生成するのに既に計算されているクロミナンス画像にアクセスするステップと、
    前記輝度及び/又は前記クロミナンスを、非組織領域を選択的にマスキングする二値マスク(M)でマスキングするステップと、
    重み付き画像(SW)を、前記輝度及び/又は前記クロミナンス画像の派生物として生成するステップであって、前記重み付き画像の各ピクセルには、前記輝度画像における対応するピクセルのクロミナンスと明確に相関する、かつ/又は前記輝度画像における対応するピクセルの暗さと明確に相関する値が割り当てられる、ステップとを含む、請求項1から13のいずれか一項に記載の画像解析システム。
  15. 組織スライドのデジタル画像における組織領域を検出するための画像解析方法であって、組織試料が前記組織スライド上に載置され、プロセッサと記憶媒体とを備える画像解析システムで実施され、
    スライドタイプに特有の組織検出ルーチンの1つを選択するステップと、
    前記選択されたスライドタイプに特有の組織検出ルーチンが実施される前、及び/又は実施されている最中に、前記選択されたスライドタイプに特有の組織検出ルーチンが、前記デジタル画像に描写されている前記スライドの前記組織スライドタイプに対応するかをチェックするステップと、
    対応する場合、前記デジタル画像中の前記組織領域を検出するために、前記選択されたスライドタイプに特有の組織検出ルーチンを自動的に実施するステップと、
    対応しない場合、前記デジタル画像中の前記組織領域を検出するために、前記ジェネリック組織検出ルーチンを自動的に実施するステップとを含む、画像解析方法。
  16. 画像解析システムのプロセッサ(220)によって解釈可能な命令を含み、前記命令が、前記プロセッサによって実行されたとき、請求項15に記載の方法を前記画像解析システムに実施させる、記憶媒体。
JP2017539655A 2015-01-31 2016-01-29 スライドサムネイル画像を使用する関心範囲検出のためのシステム及び方法 Active JP6667541B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562110473P 2015-01-31 2015-01-31
US62/110,473 2015-01-31
PCT/EP2016/051967 WO2016120463A1 (en) 2015-01-31 2016-01-29 Systems and methods for area-of-interest detection using slide thumbnail images

Publications (3)

Publication Number Publication Date
JP2018511847A JP2018511847A (ja) 2018-04-26
JP2018511847A5 JP2018511847A5 (ja) 2019-02-21
JP6667541B2 true JP6667541B2 (ja) 2020-03-18

Family

ID=55353181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017539655A Active JP6667541B2 (ja) 2015-01-31 2016-01-29 スライドサムネイル画像を使用する関心範囲検出のためのシステム及び方法

Country Status (7)

Country Link
US (1) US10796429B2 (ja)
EP (1) EP3251088B1 (ja)
JP (1) JP6667541B2 (ja)
CN (2) CN113763377A (ja)
AU (1) AU2016211885A1 (ja)
CA (1) CA2970129C (ja)
WO (1) WO2016120463A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10453195B2 (en) * 2016-08-19 2019-10-22 Optrascan, Inc. Method of detecting tissue area of interest in digital pathology imaging by executing computer-executable instructions stored on a non-transitory computer-readable medium
US10430943B2 (en) * 2016-10-07 2019-10-01 Sony Corporation Automated nuclei area/number estimation for IHC image analysis
TWI756365B (zh) * 2017-02-15 2022-03-01 美商脫其泰有限責任公司 圖像分析系統及相關方法
JP7128203B2 (ja) 2017-04-14 2022-08-30 ヴェンタナ メディカル システムズ, インク. スティッチングのための局所的タイルベースレジストレーションおよび大域的配置
CN107403181B (zh) * 2017-06-01 2020-05-12 深圳信息职业技术学院 基于广式腊肠高光谱图像的瘦肉与肥肉自适应分离的方法
USD875753S1 (en) * 2018-03-06 2020-02-18 Ventana Medical Systems, Inc. Display screen or portion thereof with graphical user interface for biological slide scanning
CN108492246B (zh) * 2018-03-12 2023-01-24 维沃移动通信有限公司 一种图像处理方法、装置及移动终端
MX2021004983A (es) 2018-11-02 2021-09-08 Walmart Apollo Llc Sistemas y metodos para modificacion de busqueda.
JP7244641B2 (ja) 2018-11-20 2023-03-22 リーンエイピー・インコーポレイテッド イメージ比較のための試料撮像及びイメージアーカイビング
WO2020167632A1 (en) 2019-02-13 2020-08-20 Ventana Medical Systems, Inc. Systems and methods for computing the contributions of autofluorescence in multichannel images
USD911369S1 (en) * 2019-06-25 2021-02-23 Walmart Apollo, Llc Display screen with graphical user interface
USD911370S1 (en) * 2019-06-25 2021-02-23 Walmart Apollo, Llc Display screen with graphical user interface
USD912078S1 (en) * 2019-06-25 2021-03-02 Walmart Apollo, Llc Display screen with graphical user interface
USD905726S1 (en) * 2019-06-25 2020-12-22 Walmart Apollo, Llc Display screen with graphical user interface
CN112330585B (zh) * 2019-07-31 2024-07-02 北京金山云网络技术有限公司 图像质量的检测方法、装置及电子设备
CN110503114B (zh) * 2019-08-29 2023-04-07 中国科学院深圳先进技术研究院 图像特征提取方法、装置、肿瘤识别系统及存储介质
WO2021050421A1 (en) * 2019-09-09 2021-03-18 Paige.Al, Inc. Systems and methods for processing images of slides for digital pathology
CN111047587B (zh) * 2019-12-27 2023-05-02 超越科技股份有限公司 图像的噪声估计方法、计算机设备和存储介质
CN111353551B (zh) * 2020-03-13 2020-12-08 广东工业大学 一种面向产品装配工艺的非均匀样本均衡化方法及系统
USD957453S1 (en) * 2020-05-22 2022-07-12 Autel Intelligent Technology Corp., Ltd. Display screen or portion thereof of a device with transitional graphical user interface
USD982612S1 (en) * 2020-11-19 2023-04-04 Autel Intelligent Technology Corp., Ltd. Display screen or portion thereof of a device with transitional graphical user interface
CN113032919B (zh) * 2021-03-12 2022-03-04 奥特斯科技(重庆)有限公司 部件承载件制造方法、处理系统、计算机程序和系统架构
CN114264378A (zh) * 2021-12-20 2022-04-01 红原县雪月天佑农牧科技有限公司 一种牲畜智能管理系统及方法
US20230215052A1 (en) * 2022-01-05 2023-07-06 Kenneth Tang Systems and methods for intelligently compressing whole slide images

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6868183B1 (en) * 1999-04-01 2005-03-15 Kabushiki Kaisha Toshiba Image processing apparatus, image forming apparatus, and image processing method depending on the type of original image
US7155043B2 (en) * 2001-11-21 2006-12-26 Confirma, Incorporated User interface having analysis status indicators
EP1534114A2 (en) * 2002-06-18 2005-06-01 Lifespan Biosciences, Inc. Computerized image capture of structures of interest within a tissue sample
US20040122708A1 (en) * 2002-12-18 2004-06-24 Avinash Gopal B. Medical data analysis method and apparatus incorporating in vitro test data
US20060127880A1 (en) * 2004-12-15 2006-06-15 Walter Harris Computerized image capture of structures of interest within a tissue sample
JP2008535528A (ja) * 2005-01-18 2008-09-04 トレストル コーポレーション スライドの可変品質画像を形成するためのシステムおよび方法
GB0508057D0 (en) * 2005-04-21 2005-06-01 Nokia Corp Selection of a communication interface
US8180126B2 (en) * 2007-08-13 2012-05-15 University Of Maryland, Baltimore Detecting meniscal tears in non-invasive scans
EP2538839B1 (en) * 2010-02-23 2015-07-08 Loma Linda University Method of analyzing a medical image
CN101859276B (zh) * 2010-05-14 2012-02-22 东南大学 一种基于层次切片的回归测试用例选择方法
ES2928897T3 (es) * 2011-03-04 2022-11-23 Lbt Innovations Ltd Método y software para analizar el crecimiento microbiano
EP2721392B1 (en) * 2011-06-17 2021-05-19 Roche Diagnostics Hematology, Inc. System and method for sample display and review
EP2810213B1 (en) * 2012-02-01 2020-01-22 Ventana Medical Systems, Inc. System for detecting genes in tissue samples
EP3633543A1 (en) * 2013-03-15 2020-04-08 Hologic, Inc. System and method for reviewing and analyzing cytological specimens
WO2014181347A2 (en) * 2013-04-23 2014-11-13 Aditya Imaging Information Technologies Method and system for processing a digital slide image of a stained tissue
KR102120864B1 (ko) * 2013-11-06 2020-06-10 삼성전자주식회사 영상 처리 방법 및 장치

Also Published As

Publication number Publication date
WO2016120463A1 (en) 2016-08-04
US10796429B2 (en) 2020-10-06
EP3251088A1 (en) 2017-12-06
JP2018511847A (ja) 2018-04-26
CA2970129C (en) 2023-04-11
CA2970129A1 (en) 2016-08-04
EP3251088B1 (en) 2019-07-31
CN107209937B (zh) 2021-10-15
AU2016211885A1 (en) 2017-06-29
US20180012355A1 (en) 2018-01-11
CN107209937A (zh) 2017-09-26
CN113763377A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
JP6667541B2 (ja) スライドサムネイル画像を使用する関心範囲検出のためのシステム及び方法
US10657643B2 (en) Medical image analysis for identifying biomarker-positive tumor cells
JP7241723B2 (ja) 免疫スコアを計算するためのシステム及び方法
US11430131B2 (en) Foreground segmentation and nucleus ranking for scoring dual ISH images
US10275880B2 (en) Image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains
Zhang et al. Automation‐assisted cervical cancer screening in manual liquid‐based cytology with hematoxylin and eosin staining
JP7197584B2 (ja) デジタル病理学分析結果の格納および読み出し方法
JP6733983B2 (ja) 画像解析装置
Qin et al. Computerized delineation of nuclei in liquid‐based pap smears stained with immunohistochemical biomarkers
Swiderska et al. Texture and mathematical morphology for hot-spot detection in whole slide images of meningiomas and oligodendrogliomas

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200225

R150 Certificate of patent or registration of utility model

Ref document number: 6667541

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250