JP6910068B2 - ヘマトキシリン・エオシン(h&e)染色組織画像における関心領域を調べて、多重化/高多重化蛍光組織画像で腫瘍内細胞空間的不均一性を定量化するシステム及び方法 - Google Patents
ヘマトキシリン・エオシン(h&e)染色組織画像における関心領域を調べて、多重化/高多重化蛍光組織画像で腫瘍内細胞空間的不均一性を定量化するシステム及び方法 Download PDFInfo
- Publication number
- JP6910068B2 JP6910068B2 JP2017563619A JP2017563619A JP6910068B2 JP 6910068 B2 JP6910068 B2 JP 6910068B2 JP 2017563619 A JP2017563619 A JP 2017563619A JP 2017563619 A JP2017563619 A JP 2017563619A JP 6910068 B2 JP6910068 B2 JP 6910068B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- stained tissue
- tissue image
- image
- color space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/372—Arrangements in connection with the implantation of stimulators
- A61N1/37211—Means for communicating with stimulators
- A61N1/37217—Means for communicating with stimulators characterised by the communication link, e.g. acoustic or tactile
- A61N1/37223—Circuits for electromagnetic coupling
- A61N1/37229—Shape or location of the implanted or external antenna
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/162—Segmentation; Edge detection involving graph-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
- G06V10/426—Graphical representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01Q—ANTENNAS, i.e. RADIO AERIALS
- H01Q1/00—Details of, or arrangements associated with, antennas
- H01Q1/27—Adaptation for use in or on movable bodies
- H01Q1/273—Adaptation for carrying or wearing by persons or animals
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01Q—ANTENNAS, i.e. RADIO AERIALS
- H01Q7/00—Loop antennas with a substantially uniform current distribution around the loop and having a directional radiation pattern in a plane perpendicular to the plane of the loop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Description
本願は、米国特許法第119条e項の下、2015年6月11日に出願された、発明の名称が「A Common Framework for Finding Regions of Interest in Hematoxylin and Eosin (H&E) Stained Tissue Images and Quantifying Intratumor Cellular Spatial Heterogeneity in Multiplexed/Hyperplexed Fluorescence Tissue Images」である米国仮出願第62/174,187号に基づく優先権を主張しており、その内容は引用を以て本明細書に組込まれる。
開示されている概念の第1態様は、特に、浸潤癌のような胸部組織、上皮内癌、非定型及び正常管、脂肪組織及び/又はリンパ球のような組織のH&E染色画像における組織学的構造のセグメント化でのデジタル・パソロジー・システムの機能及び動作の改良(例えば、処理能力の改良)に焦点を当てている。本発明者らは、空間画像統計は、組織学的構造の広範なクラスをセグメント化するための判別可能なフィンガープリントを与えると仮定した。本明細書においてより詳しく記載する本開示概念のこの態様は、2つのグラフ理論的セグメント化方法を提供しており、各々は、局所的空間的統計の特徴付けに依存している。
本明細書でより詳しく説明されるように、本開示概念の別の態様は、デジタル・パソロジー・システムの機能及び動作における改善(例えば、処理の改善)を提供する。特に、この態様は、腫瘍内空間的不均一性を定量化する方法を提供し、これは、単一のバイオマーカー、多重化、又は高多重化免疫蛍光(IF)データを処理する。その方法は、アプローチが全体論的であり、TMAにおける全腫瘍組織セクション及び/又はスポットの発現及び空間情報の両方を使用して、空間的関連性を特徴付ける。本明細書で詳細に記載する例示的な実施形態では、本方法は、主要な及びマイナーな亜集団の両方の空間的関連性を明示的に解明する2次元不均一性マップを生成する。腫瘍内空間的不均一性の特徴化は、癌の進行、増殖及び治療に対する反応について重要な診断バイオマーカーとなり、従って、本開示概念のこの態様の方法及びシステムは、価値のある診断及び治療ツールとなると信じられる。
図18は、本明細書で記載するH&E染色組織画像セグメント化する手順を実施可能な例示的なシステム・デジタル・パソロジー(pathology)200の概略図である。図18に示すように、システム200は、本明細書で説明されているように、H&E染色組織画像を表すデジタル画像データを受け取って、これらの画像を処理するように構成されたコンピューティング・デバイスである。システム200は、例えば、PC、ラップトップ・コンピュータ、タブレット・コンピュータ、スマートフォン、又は本明細書に記載した機能を行うように構成された任意の他の適切なデバイスであってよく、これらに限定されない。システム200は、入力装置202(例えば、キーボード)、ディスプレイ204(例えば、LCD)、及び処理装置206を含む。ユーザは入力装置202を使用して処理装置206に入力することができ、処理装置206は、出力信号をディスプレイ204に提供し、本明細書で詳細に記載するように、ディスプレイ204にユーザに対して情報(例えば、セグメント化組織画像)を表示するようにする。処理装置206は、プロセッサとメモリとを含む。プロセッサは、例えば、マイクロプロセッサ(μP)、マイクロコントローラ、又はメモリとインターフェイスで接続する他の適切なプロセッシング・デバイスでもよく、これらに限定されない。メモリは、限定ではないが、コンピュータの内部記憶領域の形をしたデータ記憶のためのRAM、ROM、EPROM(複数を含む)、EEPROM(複数を含む)、FLASH、記憶レジスタをもたらすものような、種々のタイプの内部及び/又は外部記憶媒体の任意の1種又は複数であってよく、例えば、機械読み取り可能媒体であり、揮発性メモリ又は不揮発性メモリであってもよい。メモリは、本明細書に記載された開示概念を実施するためのルーチンを含む、プロセッサによって実行可能な数多くのルーチンをそこに格納している。特に、処理装置206は、H&E染色組織画像を表す、受け取った画像データに基づいて、本明細書で記載されているように、H&E染色組織画像に関する局所的空間的統計を定量化するように構成された定量化コンポーネント208と、本明細書に記載されているように、局所的空間的統計に基づいて、H&E染色組織画像内で組織学的構造を特定するように構成された特定コンポーネント210と、受け取った画像データ及び特定した組織学的構造を使用して、セグメント化H&E染色組織画像を生成するように構成されており、次いで、画像をディスプレイ204に提供してもよいセグメント化組織画像生成コンポーネント212とを含んでいる。定量化コンポーネント208は、H&E画像データにおける隣接ピクセル間の統計的関連性を示す相互情報量データの決定によって局所的空間的統計を定量化するように構成された1つ以上のコンポーネントを含んでよく、特定コンポーネント210は、本明細書に記載された、相互情報量データ及びグラフに基づくスペクトル・セグメント化アルゴリズムを使用して組織学的構造を特定するように構成された1つ以上のコンポーネントを含んでもよい。或いは、定量化コンポーネント208は、RGBデータから推定核位置をスーパーピクセル形式で特定し、各スーパーピクセルと複数のそれに最も近い隣接ものとの間の点別距離(pointwise distance)に基づいてスーパーピクセル・グラフを作成して、スーパーピクセルを標識セグメントにクラスター化する1つ以上のコンポーネントを含んでもよく、特定コンポーネント210は、本明細書に記載されているように、標識セグメントを組織学的構造にマージして特定するように構成された1つ以上のコンポーネントを含んでもよい。
Claims (24)
- 染色組織画像において関心領域を特定する方法において、
前記染色組織画像を表す画像データを受け取る工程であって、前記画像データが、染色された組織画像を表すRGB空間内のRGBデータを反対色空間に変換して反対色空間データを生成して、前記反対色空間データを正規化することにより得られた、前記反対色空間における正規化画像データである、工程と、
受け取った画像データに基づいて、前記画像データにおける隣接ピクセル間の統計的関連性を示す相互情報量データを決定することによって前記染色組織画像について局所的空間的統計を定量化する工程と、
定量化された局所的空間的統計に基づいて、決定された相互情報量データ及びグラフに基づくスペクトル・セグメント化アルゴリズムを使用して、前記染色組織画像内の組織学的構造を特定し、境界を検出する工程と、
前記染色された組織画像を表す、受け取った画像データと、特定した前記組織学的構造の前記検出された境界とを使用して、特定した前記組織学的構造がセグメント化された、セグメント化染色組織画像を生成する工程と、
を含む方法。 - 前記染色された組織画像は、ヘマトキシリン・エオシン(H&E)染色組織画像であり、
前記RGBデータを反対色空間に変換することは、紫及びピンクのピクセルの色相値が複素色面において最大限に分離されるようにピンク及び紫の色が反対に配置される、選択されたピンク及び紫のピクセルの集まりに基づく直交射影行列を利用することを含む、請求項1に記載の方法。 - 前記染色された組織画像は、ヘマトキシリン・エオシン(H&E)染色組織画像であり、
前記RGBデータを反対色空間に変換することは、前記RGBデータをH&E−色相チャネル、H&E−彩度チャネル、及びH&E−明度チャネルに変換することを含み、
前記反対色空間データを正規化することは、前記反対色空間データにおけるピンク、紫、及び白のクラスのピクセルを特定し、前記ピンク、紫、及び白のクラスのピクセルの各々について統計量をマッチングすることを含み、前記ピンク、紫、及び白のクラスのピクセルを特定することは、一変量フォン・ミーゼス分布の混合を用いたH&E−色相チャネルを使用して色相値をモデル化することを含む、請求項1に記載の方法。 - 前記画像データは、前記反対色空間における正規化色相データを含み、前記相互情報量データを決定することは、前記正規化色相データにおける隣接ピクセル間の色相角の同時分布を推定すること、及び前記同時分布の自己相互情報量(PMI)を計算することを含み、前記PMIは前記相互情報量データである、請求項1に記載の方法。
- 特定する工程は、前記PMIから親和性関数を作ることと、スペクトラルクラスタリングを使用して、親和性関数に基づいて前記境界を検出することとを含む、請求項4に記載の方法。
- 前記染色された組織画像は、ヘマトキシリン・エオシン(H&E)染色組織画像であり、前記セグメント化染色組織画像は、セグメント化H&E染色組織画像である、請求項1、4又は5のいずれかに記載の方法。
- 命令を含む1以上のプログラムを格納する非一時的なコンピュータ可読媒体であって、コンピュータによって実行されると、コンピュータに請求項1に記載の方法を実行させる、非一時的なコンピュータ可読媒体。
- 染色組織画像において関心領域を特定するコンピュータシステムであって、
処理装置を備えており、当該処理装置は、
前記染色組織画像を表す受け取った画像データに基づいて、前記染色組織画像について局所的空間的統計を定量化する工程であって、前記画像データが、染色された組織画像を表すRGB空間内のRGBデータを反対色空間に変換して反対色空間データを生成して、前記反対色空間データを正規化することにより得られた、前記反対色空間における正規化画像データである工程を行うように構成された定量化コンポーネントであって、前記画像データにおける隣接ピクセル間の統計的関連性を示す相互情報量データを決定することによって前記局所的空間的統計を定量化するように構成された定量化コンポーネントと、
定量化された局所的空間的統計に基づいて、決定された相互情報量データ及びグラフに基づくスペクトル・セグメント化アルゴリズムを使用して、前記染色組織画像内で組織学的構造を特定し、境界を検出する工程を行うように構成された特定コンポーネントと、
前記染色された組織画像を表す、受け取った画像データと、特定した前記組織学的構造の前記検出された境界とを使用して、特定した前記組織学的構造がセグメント化された、セグメント化染色組織画像を生成する工程を行うように構成されたセグメント化組織画像生成コンポーネントと、
を含む、システム。 - 前記染色された組織画像は、ヘマトキシリン・エオシン(H&E)染色組織画像であり、
前記RGBデータを反対色空間に変換することは、紫及びピンクのピクセルの色相値が複素色面において最大限に分離されるようにピンク及び紫の色が反対に配置される、選択されたピンク及び紫のピクセルの集まりに基づく直交射影行列を利用することを含む、請求項8に記載のシステム。 - 前記染色された組織画像は、ヘマトキシリン・エオシン(H&E)染色組織画像であり、
前記RGBデータを反対色空間に変換することは、前記RGBデータをH&E−色相チャネル、H&E−彩度チャネル、及びH&E−明度チャネルに変換することを含み、
前記反対色空間データを正規化することは、前記反対色空間データにおけるピンク、紫、及び白のクラスのピクセルを特定し、前記ピンク、紫、及び白のクラスのピクセルの各々について統計量をマッチングすることを含み、前記ピンク、紫、及び白のクラスのピクセルを特定することは、一変量フォン・ミーゼス分布の混合を用いたH&E−色相チャネルを使用して色相値をモデル化することを含む、請求項8に記載のシステム。 - 前記画像データは、前記反対色空間における正規化色相データを含み、前記相互情報量データを決定することは、前記正規化色相データにおける隣接ピクセル間の色相角の同時分布を推定すること、及び前記同時分布の自己相互情報量(PMI)を計算する工程を含み、前記PMIは前記相互情報量データである、請求項8に記載のシステム。
- 特定する工程は、前記PMIから親和性関数を作ることと、スペクトラルクラスタリングを使用して、親和性関数に基づいて前記境界を検出することとを含む、請求項11に記載のシステム。
- 前記染色された組織画像は、ヘマトキシリン・エオシン(H&E)染色組織画像であり、前記セグメント化染色組織画像は、セグメント化H&E染色組織画像である、請求項8、11又は12のいずれかに記載のシステム。
- 染色組織画像において関心領域を特定する方法において、
前記染色組織画像を表す画像データを受け取る工程であって、前記画像データが正規化RGBデータであり、前記正規化RGBデータが、染色された組織画像を表すRGB空間内のRGBデータを反対色空間に変換して反対色空間データを生成して、前記反対色空間データを正規化して、正規化反対色空間データを生成して、前記正規化反対色空間データをRGB空間に変換することにより得られた、正規化データである、工程と、
前記正規化RGBデータから決定された核間距離分布に基づいて、前記染色組織画像について局所的空間的統計を定量化する工程と、
定量化された局所的空間的統計に基づいて、前記染色組織画像内の組織学的構造を特定し、境界を検出する工程と、
前記染色された組織画像を表す、受け取った画像データと、特定した前記組織学的構造の前記検出された境界を使用して、特定した前記組織学的構造がセグメント化された、セグメント化染色組織画像を生成する工程と、
を含む方法。 - 定量化する工程は、前記正規化RGBデータから推定核位置をスーパーピクセル形式で特定することと、各スーパーピクセルとそれに最も近い幾つかの隣接したものとの間の点別距離に基づいてスーパーピクセル・グラフを作ることと、前記スーパーピクセルを標識セグメントへとクラスター化することとを含み、
特定する工程は、前記標識セグメントを前記組織学的構造にマージすることを含む、請求項14に記載の方法。 - 前記染色された組織画像は、ヘマトキシリン・エオシン(H&E)染色組織画像であり、前記セグメント化染色組織画像は、セグメント化H&E染色組織画像である、請求項14又は15に記載の方法。
- 前記染色された組織画像は、ヘマトキシリン・エオシン(H&E)染色組織画像であり、
前記RGBデータを反対色空間に変換することは、紫及びピンクのピクセルの色相値が複素色面において最大限に分離されるようにピンク及び紫の色が反対に配置される、選択されたピンク及び紫のピクセルの集まりに基づく直交射影行列を利用することを含む、請求項14に記載の方法。 - 前記染色された組織画像は、ヘマトキシリン・エオシン(H&E)染色組織画像であり、
前記RGBデータを反対色空間に変換することは、前記RGBデータをH&E−色相チャネル、H&E−彩度チャネル、及びH&E−明度チャネルに変換することを含み、
前記反対色空間データを正規化することは、前記反対色空間データにおけるピンク、紫、及び白のクラスのピクセルを特定し、前記ピンク、紫、及び白のクラスのピクセルの各々について統計量をマッチングすることを含み、前記ピンク、紫、及び白のクラスのピクセルを特定することは、一変量フォン・ミーゼス分布の混合を用いたH&E−色相チャネルを使用して色相値をモデル化することを含む、請求項14に記載の方法。 - 命令を含む1以上のプログラムを格納する非一時的なコンピュータ可読媒体であって、コンピュータによって実行されると、コンピュータに請求項14に記載の方法を実行させる、非一時的なコンピュータ可読媒体。
- 染色組織画像において関心領域を特定するコンピュータシステムであって、
処理装置を備えており、当該処理装置は、
前記染色組織画像を表す受け取った画像データに基づいて、前記染色組織画像について局所的空間的統計を定量化する工程であって、前記画像データが正規化RGBデータであり、前記正規化RGBデータが、染色された組織画像を表すRGB空間内のRGBデータを反対色空間に変換して反対色空間データを生成して、前記反対色空間データを正規化して、正規化反対色空間データを生成して、前記正規化反対色空間データをRGB空間に変換することにより得られた、正規化データである工程を行うように構成された定量化コンポーネントであって、前記正規化RGBデータから決定された核間距離分布に基づいて、前記局所的空間的統計を定量化するように構成された定量化コンポーネントと、
定量化された局所的空間的統計に基づいて、前記染色組織画像内の組織学的構造を特定し、境界を検出する工程を行うように構成された特定コンポーネントと、
前記染色された組織画像を表す、受け取った画像データと、特定した前記組織学的構造の前記検出された境界を使用して、特定した前記組織学的構造がセグメント化された、セグメント化染色組織画像を生成する工程を行うように構成されたセグメント化組織画像生成コンポーネントと、
を含む、システム。 - 定量化する工程は、前記正規化RGBデータから推定核位置をスーパーピクセル形式で特定することと、各スーパーピクセルとそれに最も近い幾つかの隣接したものとの間の点別距離に基づいてスーパーピクセル・グラフを作ることと、前記スーパーピクセルを標識セグメントへとクラスター化することとを含み、
前記特定コンポーネントは、前記標識セグメントを前記組織学的構造にマージすることにより特定するように構成されている、請求項20に記載のシステム。 - 前記染色された組織画像は、ヘマトキシリン・エオシン(H&E)染色組織画像であり、前記セグメント化染色組織画像は、セグメント化H&E染色組織画像である、請求項20又は21に記載のシステム。
- 前記染色された組織画像は、ヘマトキシリン・エオシン(H&E)染色組織画像であり、
前記RGBデータを反対色空間に変換することは、紫及びピンクのピクセルの色相値が複素色面において最大限に分離されるようにピンク及び紫の色が反対に配置される、選択されたピンク及び紫のピクセルの集まりに基づく直交射影行列を利用することを含む、請求項20に記載のシステム。 - 前記染色された組織画像は、ヘマトキシリン・エオシン(H&E)染色組織画像であり、
前記RGBデータを反対色空間に変換することは、前記RGBデータをH&E−色相チャネル、H&E−彩度チャネル、及びH&E−明度チャネルに変換することを含み、
前記反対色空間データを正規化することは、前記反対色空間データにおけるピンク、紫、及び白のクラスのピクセルを特定し、前記ピンク、紫、及び白のクラスのピクセルの各々について統計量をマッチングすることを含み、前記ピンク、紫、及び白のクラスのピクセルを特定することは、一変量フォン・ミーゼス分布の混合を用いたH&E−色相チャネルを使用して色相値をモデル化することを含む、請求項20に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562174197P | 2015-06-11 | 2015-06-11 | |
US62/174,187 | 2015-06-11 | ||
PCT/US2016/036825 WO2016201186A1 (en) | 2015-06-11 | 2016-06-10 | Systems and methods for finding regions of interest in hematoxylin and eosin (h&e) stained tissue images and quantifying intratumor cellular spatial heterogeneity in multiplexed/hyperplexed fluorescence tissue images |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020186755A Division JP7168237B2 (ja) | 2015-06-11 | 2020-11-09 | ヘマトキシリン・エオシン(h&e)染色組織画像における関心領域を調べて、多重化/高多重化蛍光組織画像で腫瘍内細胞空間的不均一性を定量化するシステム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018525707A JP2018525707A (ja) | 2018-09-06 |
JP6910068B2 true JP6910068B2 (ja) | 2021-07-28 |
Family
ID=78414789
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017563619A Active JP6910068B2 (ja) | 2015-06-11 | 2016-06-10 | ヘマトキシリン・エオシン(h&e)染色組織画像における関心領域を調べて、多重化/高多重化蛍光組織画像で腫瘍内細胞空間的不均一性を定量化するシステム及び方法 |
Country Status (7)
Country | Link |
---|---|
US (3) | US10755138B2 (ja) |
EP (1) | EP3308327A4 (ja) |
JP (1) | JP6910068B2 (ja) |
CN (2) | CN107924457B (ja) |
CA (2) | CA3021538C (ja) |
HK (1) | HK1254322A1 (ja) |
WO (1) | WO2016201186A1 (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ITUB20153912A1 (it) * | 2015-09-25 | 2017-03-25 | Sisvel Tech S R L | Metodi e apparati per codificare e decodificare immagini digitali mediante superpixel |
US10692194B2 (en) * | 2016-09-30 | 2020-06-23 | Huawei Technologies Co., Ltd. | Method and terminal for displaying edge of rectangular frame |
EP3410394B1 (en) * | 2017-06-01 | 2020-01-15 | Leica Instruments (Singapore) Pte. Ltd. | Method, image processor and device for observing an object containing a bolus of a fluorophore |
JP7278224B2 (ja) * | 2017-06-02 | 2023-05-19 | コーニンクレッカ フィリップス エヌ ヴェ | 医用画像の病変の定量化される態様 |
CN107273858B (zh) * | 2017-06-19 | 2018-07-31 | 潘浩天 | 一种数据处理方法及系统 |
CN111448584B (zh) | 2017-12-05 | 2023-09-26 | 文塔纳医疗系统公司 | 计算肿瘤空间和标记间异质性的方法 |
WO2019219651A1 (en) * | 2018-05-15 | 2019-11-21 | Ventana Medical Systems, Inc. | Quantitation of signal in stain aggregates |
FR3083633B1 (fr) * | 2018-07-05 | 2020-05-29 | Thales | Procede et dispositif d'affichage de donnees sonar ou radar a haute dynamique |
BR112020026363A2 (pt) * | 2018-07-06 | 2021-03-30 | Enzyvant Therapeutics Gmbh | Determinação de potência de tecido através de análise histomorfológica quantitativa |
EP3591574A3 (en) * | 2018-07-06 | 2020-01-15 | Universität Zürich | Method and computer program for clustering large multiplexed spatially resolved data of a biological sample |
US20220044401A1 (en) | 2018-12-19 | 2022-02-10 | University Of Pittsburgh-Of The Commonwealth System Of Higher Education | Computational systems pathology spatial analysis platform for in situ or in vitro multi-parameter cellular and subcellular imaging data |
EP3914911A1 (en) * | 2019-01-22 | 2021-12-01 | Imabiotech | Method for evaluating molecular changes related to a molecule effect in a biological sample |
WO2020166469A1 (ja) * | 2019-02-15 | 2020-08-20 | コニカミノルタ株式会社 | 情報提供方法、情報提供装置及びプログラム |
WO2020232094A1 (en) * | 2019-05-14 | 2020-11-19 | University Of Pittsburgh-Of The Commonwealth System Of Higher Education | System and method for chaftacterizing cellular phenotypic diversity from multi-parameter cellular. and sub-cellular imaging data |
CN110222745B (zh) * | 2019-05-24 | 2021-04-30 | 中南大学 | 一种基于相似性学习及其增强的细胞类型鉴定方法 |
CN110378885B (zh) * | 2019-07-19 | 2023-07-04 | 王晓骁 | 一种基于机器学习的wsi病灶区域自动标注方法及系统 |
CN111161234B (zh) * | 2019-12-25 | 2023-02-28 | 北京航天控制仪器研究所 | 一种离散余弦变换测量基排序方法 |
EP4121893A4 (en) * | 2020-03-16 | 2024-04-24 | Univ Pittsburgh Commonwealth Sys Higher Education | SCALABLE AND HIGHLY PRECISE CONTEXT-GUIDED SEGMENTATION OF HISTOLOGICAL STRUCTURES WITH DUCTS/GLAND AND LUMEN |
JP7322800B2 (ja) | 2020-05-11 | 2023-08-08 | 株式会社豊田自動織機 | 認識装置 |
DE102020130444A1 (de) * | 2020-11-18 | 2022-05-19 | Koenig & Bauer Ag | Vorrichtung zum Erzeugen einer digitalen Kennung von einem mindestens ein Druckbild aufweisenden Exemplar eines Druckerzeugnisses |
WO2022226327A1 (en) * | 2021-04-23 | 2022-10-27 | Genentech, Inc. | High dimensional spatial analysis |
WO2023096969A1 (en) * | 2021-11-23 | 2023-06-01 | H. Lee Moffitt Cancer Center And Research Institute, Inc. | Artificial intelligence-based methods for grading, segmenting, and/or analyzing lung adenocarcinoma pathology slides |
CN114565919A (zh) * | 2022-01-19 | 2022-05-31 | 深圳先进技术研究院 | 基于数字病理图像的肿瘤微环境空间关系建模系统与方法 |
WO2023137627A1 (zh) * | 2022-01-19 | 2023-07-27 | 深圳先进技术研究院 | 基于数字病理图像的肿瘤微环境空间关系建模系统与方法 |
TWI809682B (zh) * | 2022-01-25 | 2023-07-21 | 國立成功大學 | 免疫組織化學染色影像的分析方法與電腦程式產品 |
CN115048617B (zh) * | 2022-03-28 | 2024-04-12 | 山西大学 | 一种基于信息论的空间因子空间分层异质性强弱的评价方法 |
CN115035952B (zh) * | 2022-05-20 | 2023-04-18 | 深圳赛陆医疗科技有限公司 | 碱基识别方法和装置、电子设备及存储介质 |
CN115880262B (zh) * | 2022-12-20 | 2023-09-05 | 桂林电子科技大学 | 基于在线噪声抑制策略的弱监督病理图像组织分割方法 |
CN116797613B (zh) * | 2023-08-24 | 2023-12-19 | 摩尔线程智能科技(北京)有限责任公司 | 多模态细胞分割、模型训练方法、装置、设备、存储介质 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4496943B2 (ja) * | 2004-11-30 | 2010-07-07 | 日本電気株式会社 | 病理診断支援装置、病理診断支援プログラム、病理診断支援装置の作動方法、及び病理診断支援システム |
KR101185870B1 (ko) * | 2005-10-12 | 2012-09-25 | 삼성전자주식회사 | 3d 입체 영상 처리 장치 및 방법 |
US8014569B2 (en) * | 2006-10-30 | 2011-09-06 | The Regents Of The University Of California | Method and apparatus for performing qualitative and quantitative analysis of produce (fruit, vegetables) using spatially structured illumination |
CA2704796A1 (en) * | 2007-10-11 | 2009-04-16 | British Columbia Cancer Agency Branch | Systems and methods for automated characterization of genetic heterogeneity in tissue samples |
US8116551B2 (en) * | 2007-12-04 | 2012-02-14 | University College, Dublin, National University of Ireland | Method and system for image analysis |
US20110286654A1 (en) * | 2010-05-21 | 2011-11-24 | Siemens Medical Solutions Usa, Inc. | Segmentation of Biological Image Data |
WO2013022688A1 (en) | 2011-08-05 | 2013-02-14 | Siemens Healthcare Diagnostics Inc. | Automated detection of diagnostically relevant regions in pathology images |
US8873827B2 (en) * | 2012-06-29 | 2014-10-28 | General Electric Company | Determination of spatial proximity between features of interest in biological tissue |
GB201212090D0 (en) * | 2012-07-06 | 2012-08-22 | Univ Warwick | Method and apparatus |
US20150227687A1 (en) * | 2012-10-05 | 2015-08-13 | Edmund A. Mroz | System and method for using genetic data to determine intra-tumor heterogeneity |
CN103020585B (zh) * | 2012-11-06 | 2015-08-26 | 华南师范大学 | 一种免疫组织阳性细胞和阴性细胞识别方法 |
US20160307305A1 (en) * | 2013-10-23 | 2016-10-20 | Rutgers, The State University Of New Jersey | Color standardization for digitized histological images |
JP2015087167A (ja) * | 2013-10-29 | 2015-05-07 | キヤノン株式会社 | 画像処理方法、画像処理システム |
TW201520906A (zh) * | 2013-11-29 | 2015-06-01 | Univ Nat Taiwan Science Tech | 影像註冊方法 |
CN103593853B (zh) * | 2013-11-29 | 2016-05-11 | 武汉大学 | 基于联合稀疏表达的遥感影像多尺度面向对象分类方法 |
EP3175389A1 (en) * | 2014-07-28 | 2017-06-07 | Ventana Medical Systems, Inc. | Automatic glandular and tubule detection in histological grading of breast cancer |
-
2016
- 2016-06-10 EP EP16808345.9A patent/EP3308327A4/en active Pending
- 2016-06-10 JP JP2017563619A patent/JP6910068B2/ja active Active
- 2016-06-10 CA CA3021538A patent/CA3021538C/en active Active
- 2016-06-10 CN CN201680046884.1A patent/CN107924457B/zh active Active
- 2016-06-10 US US15/577,838 patent/US10755138B2/en active Active
- 2016-06-10 CA CA3182538A patent/CA3182538A1/en active Pending
- 2016-06-10 CN CN202210196519.6A patent/CN114463748A/zh active Pending
- 2016-06-10 WO PCT/US2016/036825 patent/WO2016201186A1/en active Application Filing
-
2018
- 2018-10-17 HK HK18113291.9A patent/HK1254322A1/zh unknown
-
2020
- 2020-05-19 US US16/877,608 patent/US11376441B2/en active Active
-
2022
- 2022-06-27 US US17/850,306 patent/US20220323776A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN107924457B (zh) | 2022-03-18 |
CN107924457A (zh) | 2018-04-17 |
CN114463748A (zh) | 2022-05-10 |
WO2016201186A1 (en) | 2016-12-15 |
EP3308327A1 (en) | 2018-04-18 |
CA3182538A1 (en) | 2016-12-15 |
US20200279125A1 (en) | 2020-09-03 |
US20220323776A1 (en) | 2022-10-13 |
EP3308327A4 (en) | 2019-01-23 |
JP2018525707A (ja) | 2018-09-06 |
US20180204085A1 (en) | 2018-07-19 |
CN107924457A8 (zh) | 2018-05-18 |
CA3021538C (en) | 2023-09-26 |
HK1254322A1 (zh) | 2019-07-19 |
US10755138B2 (en) | 2020-08-25 |
US11376441B2 (en) | 2022-07-05 |
CA3021538A1 (en) | 2016-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6910068B2 (ja) | ヘマトキシリン・エオシン(h&e)染色組織画像における関心領域を調べて、多重化/高多重化蛍光組織画像で腫瘍内細胞空間的不均一性を定量化するシステム及び方法 | |
JP7168237B2 (ja) | ヘマトキシリン・エオシン(h&e)染色組織画像における関心領域を調べて、多重化/高多重化蛍光組織画像で腫瘍内細胞空間的不均一性を定量化するシステム及び方法 | |
CN111448584B (zh) | 计算肿瘤空间和标记间异质性的方法 | |
Veta et al. | Breast cancer histopathology image analysis: A review | |
CN111512383B (zh) | 用于图像处理的自动测定评估和归一化 | |
US20190042826A1 (en) | Automatic nuclei segmentation in histopathology images | |
Basavanhally et al. | Multi-field-of-view strategy for image-based outcome prediction of multi-parametric estrogen receptor-positive breast cancer histopathology: Comparison to Oncotype DX | |
CN111448569B (zh) | 存储和检索数字病理学分析结果的方法 | |
EP2391887B1 (en) | Image-based risk score-a prognostic predictor of survival and outcome from digital histopathology | |
Nguyen et al. | Spatial statistics for segmenting histological structures in H&E stained tissue images | |
Brieu et al. | Slide-specific models for segmentation of differently stained digital histopathology whole slide images | |
Xu et al. | Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients | |
Hoque et al. | Retinex model based stain normalization technique for whole slide image analysis | |
Spagnolo et al. | Pointwise mutual information quantifies intratumor heterogeneity in tissue sections labeled with multiple fluorescent biomarkers | |
Qu et al. | Two-step segmentation of Hematoxylin-Eosin stained histopathological images for prognosis of breast cancer | |
WO2014006421A1 (en) | Identification of mitotic cells within a tumor region | |
JP2023517703A (ja) | 空間マルチパラメータ細胞・細胞内撮像プラットフォームからの組織サンプルの全スライド画像における管/腺及び内腔、管/腺のクラスタ、並びに個々の核を含む組織学的構造のスケーラブルで高精度なコンテクストガイドセグメンテーション | |
Orlov et al. | Automatic detection of melanoma progression by histological analysis of secondary sites | |
Sarnecki et al. | A robust nonlinear tissue-component discrimination method for computational pathology | |
Yuan et al. | Self-organizing maps for cellular in silico staining and cell substate classification | |
US20140372450A1 (en) | Methods of viewing and analyzing high content biological data | |
Guo et al. | Towards More Reliable Unsupervised Tissue Segmentation Via Integrating Mass Spectrometry Imaging and Hematoxylin-Erosin Stained Histopathological Image | |
Apou et al. | Fast segmentation for texture-based cartography of whole slide images | |
CN113226157A (zh) | 用于原位或体外多参数细胞和亚细胞成像数据的计算系统病理学空间分析平台 | |
Allen | Bayesian Models for High Throughput Spatial Transcriptomics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20180322 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180327 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180323 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20180703 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180709 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180703 |
|
A59 | Written plea |
Free format text: JAPANESE INTERMEDIATE CODE: A59 Effective date: 20181009 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200811 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210601 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210629 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6910068 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |