JP6772066B2 - 画像を処理して解析するための検査装置 - Google Patents

画像を処理して解析するための検査装置 Download PDF

Info

Publication number
JP6772066B2
JP6772066B2 JP2016559525A JP2016559525A JP6772066B2 JP 6772066 B2 JP6772066 B2 JP 6772066B2 JP 2016559525 A JP2016559525 A JP 2016559525A JP 2016559525 A JP2016559525 A JP 2016559525A JP 6772066 B2 JP6772066 B2 JP 6772066B2
Authority
JP
Japan
Prior art keywords
image
region
reference region
unit
alternative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016559525A
Other languages
English (en)
Other versions
JP2017511473A (ja
JP2017511473A5 (ja
Inventor
リューウェン マリヌス バスティアン ファン
リューウェン マリヌス バスティアン ファン
イェルト ピーター ヴィンク
イェルト ピーター ヴィンク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2017511473A publication Critical patent/JP2017511473A/ja
Publication of JP2017511473A5 publication Critical patent/JP2017511473A5/ja
Application granted granted Critical
Publication of JP6772066B2 publication Critical patent/JP6772066B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Description

本発明は、生体サンプルの画像を処理して解析するための検査装置、生体サンプルの画像を処理して解析するための検査方法、かかる装置を制御するためのコンピュータプログラム要素、及び対応するコンピュータ可読媒体に関する。本発明は、「LSH」(Life Science for Health)プログラムの枠組みの中で行われた。
患者の物質(組織及び細胞)の病理の診断的研究は、とりわけ腫瘍学における多くの治療法の決定の基礎である。組織形態を視覚化するために、生検の標準的な薄切片が顕微鏡のスライド上に与えられ、特定のプロトコルに従って染色される。評価は一般に明視野顕微鏡を使って行われる。
米国特許出願公開第2012/045790 A1号は、生物学、組織学、及び病理学で使用するための方法を開示する。その方法は、生物学的物質を含む対象者の第1の薄片の第1のデジタル画像を提供するステップと、対象者の第2の薄片の第2のデジタル画像を生成するステップと、第1の画像内の関心領域に基づいて第2の画像内の関心領域を決定するステップと、第2の画像内の関心領域に基づいて第2の薄片内の関心領域を決定するステップと、第2の薄片内の関心領域から物質を抽出するステップとを含む。
現在、関心領域(ROI)の選択は手動で行われており、それは不正確であるだけでなく煩雑である。それに加えて、組織内のより優れた又は代替的な領域が見落とされる可能性がある。様々な理由から他の領域の方が良い場合がある。1つの理由は、その領域が後続の解析により関連する細胞/物質を含むことであり得る。別の理由は、その領域がより均質であり、感度、特定性、並びに再現性を改善することであり得る。
従って、生体サンプルの画像を処理して解析するための検査装置を提供することが求められている可能性があり、とりわけ関心領域(ROI)の選択が改善される。
本発明の目的は、更なる実施形態が従属請求項に組み込まれる独立請求項の内容によって解決される。
本発明によれば、生体サンプルの画像を処理して解析するための検査装置が提示される。この装置は、インタフェースユニットと、画像解析ユニットと、表示ユニットとを含む。インタフェースユニットは、生体サンプルの画像を提供するように構成され、例えば生体サンプルをデジタル化するためのスキャナ装置へのインタフェースであり得る。画像解析ユニットは、画像内の関心領域を基準領域として示し、基準領域の特性を画像から抽出し、同様の特性を有する代替的領域について画像を解析するように構成される。表示ユニットは、同様の特性を有する代替的領域の解析結果を表示するように構成される。
つまり例示的には、ROIの選択中に例えば病理学者を支援することが提案される。病理学者は、ROIの(大まかな)位置を手動で指示することができる。病理学者にとって関心のある細胞/組織の特性の基準としてそのROI内の組織が使用され得る。
画像解析を使用し、選択領域の特性(細胞/核)の特徴が抽出され得る。更に、例えば領域内の核密度や細胞/核の形状又は種類の変化等、組織形態の特性が抽出され得る。
このコンテキストでは、「同様の」特性とは、基準領域から抽出される特性と代替的領域から抽出される特性との間のずれが±30%未満、好ましくは±20%未満、より好ましくは±10%未満、一層好ましくは±5%未満であることを意味する。
次に、同様の特性を示す領域について全組織サンプルが走査される。更に、例えば各代替的領域内の腫瘍細胞の割合を測定することにより、サンプルの不均質性が求められ得る。腫瘍細胞は大きな割合でその後の解析の質に悪影響を有するので、かかる領域は回避され得る。
代わりの候補領域が検出される場合、利用者は視覚フィードバックによってそれらの領域を知らされ得る。代替的領域は特定の色を使って画面上で強調表示され得る。その領域が代替的と考えられる理由を示すために様々な色が使用され得る。例えば、より優れた均質性を示す代替的領域を特に注目させるために、各領域の追加の(例えば大きさや均質性に関する)詳細情報がテキストボックスによって又はオーバレイ内で利用者に提示され得る。
本発明の意味において、検査される生体サンプルは任意の生物学的物質、組織サンプル、塗布標本、細胞サンプル、身体サンプル等であり得る。生体サンプルは、例えば皮膚、粘膜、眼の表面等から取られ得る。採取元は人間、動物、又は植物とすることができる。生体外応用に加えて、生体サンプルという用語は生体内応用も包含する。例えば本発明は、超音波、X線、MRシステム等の良く知られている任意の撮像システムを用いて例えば身体内の臓器を撮像する場合に興味深い応用を見出す。
生体外応用に戻り、生体サンプルはとりわけ身体組織の薄片であり得る。更に、関心のある特定の特徴を(より)見やすくするために、画像の生成前にサンプルが染色され得る。従って本発明の装置では、それらのステップを実行し得るサンプル調製ユニットが任意選択的に含まれ得る。本発明の方法は、身体組織の薄片の生成及び/又はサンプルの染色を任意選択的に含んでも良い。
特性は、細胞又は核の特徴、組織形態の特徴、核密度、核の種類、細胞又は核の形状の変化等に関係し得る。特性は、それぞれの代替的領域の不均質性パラメータ、好ましくは腫瘍細胞の割合に更に関係し得る。サンプルの特性は概して、サンプルの画像から明らかにされ得る任意の種類の特性、例えば所与の化学物質の局所濃度(例えば物質の色によって明らかにされる)とすることができる。好ましい実施形態では、サンプルパラメータが、特定の細胞の種類又は組織の種類の局所的な量/割合を示す。サンプルパラメータは、例えば所与の領域内の腫瘍細胞の絶対数又は相対数を表し得る。具体的には、サンプルパラメータは、画像のROI内の腫瘍細胞の数及び/又は率であり得る。画像のROIについてこの数を知ることは、その領域を参照する試験データを正しく解釈するための重要な手がかりを与え得る。
サンプルの生成画像は好ましくは顕微鏡画像であり、即ち裸眼では見えない詳細を明らかにする。画像は組織画像でも良い。加えて、又は或いは、画像は好ましくはデジタル画像であり、従って汎用性のあるデジタル画像処理手続きを可能にする。更に、画像は走査によって、即ちサンプルのより狭い部分の下位画像を逐次的に生成することによって生成され得る。従って機器は、上記の特徴の実施形態を可能にするためのデジタル顕微鏡、とりわけデジタル走査顕微鏡を含み得る。更に、生成される顕微鏡画像は明視野画像若しくは蛍光画像又は異なる画像の組合せであり得る。
一例では、画像解析ユニットが、画像内の関心領域を基準領域として選択して示すように構成される、自動選択/指示ユニット及び/又はユーザインタフェースを含む。画像解析ユニット、自動選択/指示ユニット、及び/又はユーザインタフェースは、利用者が例えば自動選択の結果を調節できるようにするようにも構成される。つまり、画像内のROIの選択及び指示は、適切な画像処理ルーチンによって自動で、利用者の手入力によって、又は両方の混合によって行われ得る。ほぼ任意の形状及び大きさの画像ROIを生成することが通常は可能である。装置は、好ましくは画像解析モジュール、例えばデジタル画像を解析するための関連ソフトウェアを有するデジタルマイクロプロセッサを含み得る。加えて、又は或いは、装置は、画像ROIの選択に関するデータを利用者が入力できる入力手段を含むユーザインタフェースを含み得る。典型的には、ユーザインタフェースは、サンプルの画像が任意選択的に現在定められている画像ROIの表現と共に表示され得る出力手段、例えばディスプレイ(モニタ)も含む。出力手段は、好ましくは調節可能なズーム比と共にサンプル画像の表現を可能にし得る。画像解析部は、典型的にはサンプルパラメータを自動で決定できる適切な画像処理ソフトウェアを有するデジタルデータ処理ユニットである。
画像解析ユニットは、画像内の部分的に重複するウィンドウを定めるように構成されても良く、ウィンドウごとに特性が抽出され、基準領域の特性と比較される。画像は、1つ又は複数の使用される且つ/又は結合されるIHC染色の染色性の形を取る局所反応を用いて区分化され得る。或いは、又は加えて、画像解析ユニットは腫瘍細胞の局所的な量及び/又は種類に応じて画像を様々な小領域へと区分化するように構成されても良く、小領域ごとに特性が抽出され、基準領域の特性と比較される。或いは、又は加えて、画像解析ユニットは、局所的なHER2値(ヒト上皮細胞増殖因子受容体2)に応じて画像を様々な小領域へと区分化するように構成されても良く、小領域ごとに特性が抽出され、基準領域の特性と比較される。これについては図面を参照して更に説明される。
更なる例では、画像解析ユニットが、第1の生体サンプル内で定められる基準領域の位置を第2の生体サンプル及び/又はそれぞれの画像内の対応する領域に移動させるように構成される移動ユニットを含む。
一例では、生体サンプルの画像を処理して解析するための検査装置が、核を検出するように構成される核検出ユニットを更に含む。それにより、核を検出するためのアルゴリズムによって細胞が抽出される。核検出ユニットは、異なる核の種類(即ちリンパ球、上皮細胞、脂肪細胞等)間で異なるように、及び見た目が異なる核を示すように構成され得る。
更なる例では、表示ユニットが、観察される特性に関して同様である解析結果を色、色の強さ、テキスト、文字、数字、記号等によって表示するように構成される。更に、特性自体及び/又は不均質性パラメータが色、色の強さ、テキスト、文字、数字、記号等によって表示され得る。更に、様々な領域のスナップショットの概要も可能である。スナップショットは、観察される特性に応じて整理されても整理されなくても良い。
本発明の更なる例では、生体サンプルの画像を処理して解析するための検査方法が提示される。この方法は、必ずしもこの順序ではないが、
a)生体サンプルの画像を提供するステップと、
b)画像内の関心領域を基準領域として示すステップと、
c)基準領域の特性を画像から抽出するステップと、
d)同様の特性を有する代替的領域について画像を解析するステップと、
e)同様の特性を有する代替的領域の解析結果を表示するステップと
を含む。
言い換えれば、及び例示的には、この方法は以下のステップに基づき、そのステップとはつまり、(基準)関心領域を手動及び/又は自動で選択すること、細胞を識別すること、抽出される特徴を用いて関心領域を識別し又は特徴付けること、選択された関心領域と同様の特性を示す生体サンプル内の代替的領域を識別すること、それぞれの代替的領域をスコアリングすること(例えばリンパ球若しくは腫瘍細胞の割合を測定すること、及び/又は不均質性を測定すること)、及び代替的領域の画面上の視覚フィードバックである。
一例では、生体サンプルの画像を提供すること、将来の基準領域を含む幾つかの領域の特性を画像から抽出すること、特性に基づいて関心領域を選択すること、画像内の関心領域を基準領域として示すこと、抽出される特性又は新たな測定に基づいて同様の特性を有する代替的領域について画像を走査し又は解析すること、及び同様の特性を有する代替的領域の走査結果を表示することも可能である。
本発明の更なる例ではコンピュータプログラムが提示され、コンピュータプログラムは、装置を制御するコンピュータ上で実行されるとき、方法に関する独立請求項に記載の方法のステップを装置に関する独立請求項に記載の装置に実行させるためのプログラムコード手段を含む。
本発明の応用は、分子病理学の応用、とりわけ癌細胞内の分子変化を識別することに基づいて患者を階層化するための腫瘍学の応用であり得るが、他の病気を診断/モニタするための応用でも良い。
独立請求項による、生体サンプルの画像を処理して解析するための検査装置、生体サンプルの画像を処理して解析するための検査方法、かかる装置を制御するためのコンピュータプログラム要素、及びかかるコンピュータプログラム要素が記憶されたコンピュータ可読媒体は、とりわけ従属請求項の中で定められる同様の及び/又は同一の好ましい実施形態を有することが理解されよう。本発明の好ましい実施形態は、それぞれの独立請求項との従属請求項の任意の組合せとすることもできることが更に理解されよう。
本発明のこれらの及び他の態様が以下に記載の実施形態から明らかになり、かかる実施形態に関して説明される。
以下、本発明の例示的実施形態が添付図面を参照して説明される。
本発明による、生体サンプルの画像を処理して解析するための検査方法の一実施形態を概略的且つ例示的に示す。 核検出アルゴリズムの出力の詳細を概略的且つ例示的に示す。 局所的HER2スコアの計算に基づく領域作成の一例を概略的且つ例示的に示す。 画面上の基準領域及び代替的領域の視覚フィードバックを概略的且つ例示的に示す。 本発明による、生体サンプルの画像を処理して解析するための検査装置を概略的且つ例示的に示す。
本発明が、幾つかの好ましい用途の1つであるデジタル病理学分野の実際的事例に関して以下に示される。但し、先に説明されたように、デジタル病理学は非限定的な一応用例として解釈されるべきである。
患者の物質(組織及び細胞)の病理の診断的研究は、とりわけ腫瘍学における多くの治療法の決定の基礎である。組織形態を視覚化するために、生検の標準的な薄切片が顕微鏡のスライド上に与えられ、特定のプロトコルに従って染色される。最近では、標的薬物のコンパニオン診断のために病気固有のバイオマーカーに関する原位置染色が開発されている。評価は一般に明視野顕微鏡を使って行われる。
この形式の解析の次に、組織及び細胞の生検もq−PCR(ポリメラーゼ連鎖反応)やシーケンシング等の分子法を使って調べられる。新たな分子バイオマーカーの登場でこの所謂分子診断(MDx)の重要度が高まっている。多くの場合、病理学者は正しい治療の選択を得るために、分子検査を行って(癌)組織の生物学的特性を識別する決定を形態学的情報に基づいて下す。多くの分子バイオマーカーは組織上の原位置で(又は少なくとも所要の精度で)定量化できないので、別の分子診断検査が行われる。例えば、生検から取られるサンプルに対してPCRやシーケンシングが行われる。概して、生検から既に取られている第2のクーペ(coupe)が使用される。この組織切片は、DNA又はmRNAマーカーの測定前に細胞溶解によって処理される。その結果、空間情報が失われる。
腫瘍組織は、一般に癌細胞だけでなく多くの異なる細胞の種類で構成され、癌細胞でさえ腫瘍の異なる領域内の分子構造の点で大きく異なり得る。分子解析の結果は、分子検査のサンプルとして使用される組織切片の正確な組成に依存する。選択領域が薄ければ薄いほど検査結果の感度が低くなり不確かになる。加えて、癌細胞集団内の不均質性もMDx検査の雑音の原因となり、感度、特定性、並びに再現性を下げる。現在、病理画像に基づく分子検査のためにサンプル物質を正確に選択するための現実的な解決策がない。多くの事例で行われる手動選択は不正確である。
現在ROIの選択は手動で行われており、それは不正確であるだけでなく煩雑である。それに加えて、組織内のより優れた又は代替的な領域が見落とされる可能性がある。様々な理由から他の領域の方が良い場合がある。1つの理由は、その領域がMDxのためのより多くの細胞/物質を含むことであり得る。別の理由は、その領域がより均質であり、感度、特定性、並びに再現性を改善することであり得る。
図1は、本発明による、組織サンプルの画像を処理して解析するための検査方法の一実施形態を概略的且つ例示的に示す。この方法は、必ずしもこの順序ではないが、
a)ステップS1、組織サンプルの画像を提供するステップと、
b)ステップS2、画像内の関心領域を基準領域として示すステップと、
c)ステップS3、基準領域の特性を画像から抽出するステップと、
d)ステップS4、同様の特性を有する代替的領域について画像を解析するステップと、
e)ステップS5、同様の特性を有する代替的領域の解析結果を表示するステップと
を含む。
ステップS1で、例えばデジタル顕微鏡やスキャナへのインタフェースを形成するインタフェースユニットによって組織サンプルの画像が提供される。
ステップS2は、画像内の関心領域を基準領域として選択して示すことを含む。基準関心領域の選択については少なくとも2つのシナリオがあり、そのシナリオとはつまり、b1)分子解析に使用される組織サンプル内で領域が自動で及び/又は手動で選択されること、及び/又はb2)標準実施法で常に作成される染色サンプル(例えばH&EやIHC等)内で領域が自動で及び/又は手動で選択されることである。次に、染色サンプルが分子解析に使用される第2の組織サンプルと位相的に位置合せされる。位置合せ後、第2のサンプル内の対応するROIの位置が分かる。
あり得る下位ステップS21(図2も参照されたい)では、核を検出するためのアルゴリズムによって細胞が抽出される。このアルゴリズムは、様々な核の種類、例えば見た目が小型の核(例えばリンパ球等)及び/又は見た目がより透明な核(上皮細胞及び癌細胞に固有である)の大まかな表示をもたらす。
ステップS3で、基準領域の特性が画像から抽出され、言い換えれば抽出される少なくとも1つの特徴を使用して関心領域が特徴付けられる。あり得る下位ステップS31で、実行可能な履行は腫瘍細胞として(例えば「見た目が透明な核」として)分類されるROI内の物体の密度を求めることによるものである。この密度は、印付けされた境界によって「囲まれる」領域及びROI内の全組織領域から計算される。
ステップS4は、同様の特性を有する代替的領域について画像を解析することを含む。代替的領域を得るための可能な手法d1)は、スライドウィンドウ実装を使用することであり、部分的に重複する位置において矩形のウィンドウが定められる。スライドウィンドウごとに特性が計算される。これらの特性が基準関心領域の特性と比較される。多かれ少なかれ同様の特性を有する領域が候補領域として選択される。次に、各候補領域にスコアが割り当てられる。MDxの応用では、例えば各領域内の上皮細胞の割合が計算される。
あり得る下位ステップS41で、「見た目が透明な核」として分類されているROI内の核の数及び検出された核物体の総数(即ち「見た目が透明な核」として分類される核の数と「見た目が小型の核」として分類される核の数との和)から、腫瘍細胞の割合及び/又はリンパ球の割合が推定される。基準領域に比べて等しい又は高い割合を有する領域が、視覚化の最終ステップのために選択される。
スライドウィンドウ実装を使用して代替的領域を選択するための更なる可能な手法d2)は、最初にスライドを区分化することである。実行可能な履行は、局所IHCスコアリングアルゴリズム(HER2スコアリングアルゴリズムについては図3も参照されたい)によって作成される領域を使用することである。次いで(上記の手順と同様に)区分ごとに特性が計算され、基準関心領域の特性と比較される。
ステップS5は、代替的領域、つまり同様の特性を有する代替的領域の走査結果の画面上の視覚フィードバックを含む。代替的領域を示す1つのやり方e1)は、代替的領域の境界をデジタル組織画像内の対比色で色付けすることによる。領域を示すために使用される色又は色の強さは、例えばその領域内で計算される腫瘍細胞の割合に応じたものであり得る。別の又は更なるやり方e2)は、オーバレイ内の関連領域を強調表示することである。更に、潜在的に興味深いROIをそれぞれ表すサムネイルの概要も可能である。
図2は、核検出アルゴリズムの出力の詳細を専ら例示目的で示す。異なる手法を用いる代替的実装もある。図2は、核を検出するためのアルゴリズムによって細胞が抽出される、あり得る下位ステップS21に関係する。このアルゴリズムは、見た目が小型の核(例えばリンパ球等)対、見た目がより透明な核(上皮細胞及び癌細胞に固有である)の大まかな表示をもたらす。このアルゴリズムは、核の高度に不均質な特徴に基づき、核の内部構造に焦点を当てる検出器と上皮細胞の境界の線構造に集中する検出器との2つの検出器に関する。検出器の出力が併合され、接続されたコンポーネントを使用してシード内に移される。検出される核の境界を洗練させるために、大域的に最適な能動輪郭アルゴリズムが使用される。
図2に示されているオーバレイでは、核の内部構造及び境界が例えば異なる色で、又は図中では異なるグレースケールで印付けされる。中心部分14は「見た目が小型の核」として検出されている核(典型的にはリンパ球)を示し、境界部分15は「見た目が透明な核」として検出されている核(典型的には上皮細胞)の境界を示す。あり得る下位ステップS41で、「見た目が透明な核」として分類されているROI内の核の数及び検出された核物体の総数(即ち「見た目が透明な核」として分類される核の数と「見た目が小型の核」として分類される核の数との和)から、腫瘍細胞の割合が推定される。
図3は、IHC染色スライド(例えばHER2染色スライド)を使用して同様の特性を有する代替的領域について画像を解析するステップS4に関係する。実行可能な履行は、局所的HER2スコアリングアルゴリズムによって作成される領域を使用することである。HER2スコアは乳癌に関して重要な診断的価値を有する。HER2膜染色組織を解釈するには、染色と輪郭染色とを区別すること、細胞膜による染色性の量及び完全性を明らかにすること、並びに過剰発現を示す腫瘍細胞の割合を導出することが必要である。更に、サンプルが複数の不均質な腫瘍領域を含む場合、それらの領域それぞれのスコアリングが1つのスコアへと結合されなければならない。アルゴリズムの入力は手動で選択される組織領域である。
図3は、局所的HER2スコアの計算に基づく領域16作成の一例を示す。同様のHER2スコアを有する小領域を含む全領域16が、重ね合わせられる境界線17によって囲まれる。それにより、異なる局所的HER2スコアを有する領域16が区別され得る。異なる局所的HER2スコアを有する領域16が異なる色によって示され得るように、領域16の境界17は一意の色によって示され得る。更に、1つ又は複数の色の透明領域を有するオーバレイも可能である。
図4はステップS5に関係し、画面上の基準領域10及び代替的領域11、つまり同様の特性を有する代替的領域11の走査結果の視覚フィードバックを示す。代替的領域11は、例えばデジタル組織画像内で対比色を使ってその境界を示す、例えば色付けすることによって示される。領域を示すために使用される境界線12の太さ、色、又は色の強さは、例えばその領域内で計算される腫瘍細胞の割合に応じたものであり得る。更に、オーバレイ13内の関連領域を強調表示することが可能である。
図5は、本発明による、組織サンプルの画像を処理して解析するための検査装置1を示す。検査装置1は、インタフェースユニット2と、画像解析ユニット3と、表示ユニット4とを含む。インタフェースユニット2は、組織サンプルの画像を提供するように構成される。画像解析ユニット3は、画像内の関心領域を基準領域として示し、基準領域の特性を画像から抽出し、同様の特性を有する代替的領域について画像を解析するように構成される。表示ユニット4は、同様の特性を有する代替的領域の解析結果を表示するように構成される。組織サンプルの画像を処理して解析するための検査装置1は、核検出ユニット5と、自動選択/指示ユニット31と、ユーザインタフェース32と、移動ユニット33とを更に含み得る。画像解析ユニット3の一部として例示的に示されている移動ユニット33は、他の場所に配置されても良い。
本発明の別の例示的実施形態では、先の実施形態の1つによる方法の方法ステップを適切なシステム上で実行するように適合されることを特徴とする、コンピュータプログラム又はコンピュータプログラム要素が提供される。
従って、コンピュータプログラム要素は、同じく本発明の実施形態の一部であり得るコンピュータユニット上に記憶されても良い。このコンピューティングユニットは、上記の方法のステップを実行するように、又は実行を引き起こすように適合され得る。更に、このコンピューティングユニットは、上記の機器の構成要素を動作させるように適合されても良い。このコンピューティングユニットは、自動で動作し且つ/又は利用者の命令を実行するように適合され得る。コンピュータプログラムは、データプロセッサの作業メモリ内にロードされても良い。従ってデータプロセッサは、本発明の方法を実行するように構成され得る。
本発明のこの例示的実施形態は、本発明を初めから使用するコンピュータプログラム、及びアップデートにより、既存のプログラムを本発明を使用するプログラムへと変えるコンピュータプログラムの両方を範囲に含む。
更に、このコンピュータプログラム要素は、上記の方法の例示的実施形態の手続きを満たすのに必要な全てのステップを提供できても良い。
本発明の更なる例示的実施形態によれば、CD−ROM等のコンピュータ可読媒体が提供され、コンピュータ可読媒体上には前節で説明されたコンピュータプログラム要素が記憶されている。
コンピュータプログラムは、他のハードウェアと共に供給される、又は他のハードウェアの一部として供給される、光学記憶媒体やソリッドステート媒体等の適当な媒体上に記憶され且つ/又は分散され得るが、インターネットや他の有線又は無線通信システムによって等、他の形態で分散されても良い。
但し、コンピュータプログラムはワールドワイドウェブ等のネットワークを介して提供されても良く、かかるネットワークからデータプロセッサの作業メモリ内にダウンロードされ得る。本発明の更なる例示的実施形態によれば、コンピュータプログラム要素をダウンロードできるようにする媒体が提供され、コンピュータプログラム要素は、先に説明された本発明の実施形態の1つによる方法を実行するように構成される。
本発明の実施形態が様々な内容に関して説明されたことを指摘しておかなければならない。具体的には、一部の実施形態は方法型の請求項に関して説明された一方、他の実施形態は装置型の請求項に関して説明された。しかし、別段の定めがない限り、一種類の内容に属する特徴の任意の組合せに加えて、様々な内容に関係する特徴間の任意の組合せも本願で開示されていると見なされることを、当業者なら上記の説明及び以下の説明から推測されよう。但し、全ての特徴が組み合わせられ、それらの特徴を単純に合計する以上の相乗効果をもたらすことができる。
本発明が図面及び上記の説明の中で図示され詳細に説明されてきたが、かかる図面及び説明は制限的ではなく説明的又は例示的と見なされるべきである。本発明は開示された実施形態に限定されない。図面、本開示、及び従属請求項を検討することにより、特許請求の範囲に記載の本発明を実施する際に開示された実施形態に対する他の改変形態が当業者によって理解され、もたらされ得る。
特許請求の範囲では、「含む」という語は、他の要素又はステップを排除せず、不定冠詞「a」又は「an」は複数形を排除しない。特許請求の範囲の中で列挙される幾つかのアイテムの機能を単一のプロセッサ又は他のユニットが果たしても良い。或る手段が互いに異なる従属請求項の中で列挙されているという単なる事実は、それらの手段の組合せが有利に使用されてはならないことを示すものではない。特許請求の範囲の中の如何なる参照符号も、範囲を限定するものとして解釈されるべきではない。

Claims (12)

  1. デジタル病理学のための生体サンプルの画像を処理して解析するための検査装置であって、
    インタフェースユニットと、
    画像解析ユニットと、
    表示ユニットと、
    核検出ユニットと、
    を含み、前記インタフェースユニットは生体サンプルの顕微鏡画像を提供し、
    前記画像解析ユニットは、前記顕微鏡画像内の関心領域を基準領域として示し、前記基準領域の細胞及び/又は組織の特性を前記顕微鏡画像から抽出し、前記基準領域から抽出される前記特性と同様の特性を有する代替的領域について前記顕微鏡画像を解析し、
    前記表示ユニットは、同様の特性を有する代替的領域の前記解析の結果を表示し、
    前記生体サンプルが組織サンプルであり、
    前記核検出ユニットが核を検出
    前記特性は、核の特徴、核の種類、核密度又は核の形状の変化に関係する、
    装置。
  2. 前記核検出ユニットが異なる核の種類間で異なる、請求項1に記載の装置。
  3. 前記画像解析ユニットが、前記顕微鏡画像内の関心領域を基準領域として選択して示す自動選択/指示ユニット及び/又はユーザインタフェースを含む、請求項1又は2に記載の装置。
  4. 前記画像解析ユニットが、第1の生体サンプルの前記基準領域の位置を第2の生体サンプル及び/又はそれぞれの顕微鏡画像内の対応する領域に移動させる移動ユニットを含む、請求項1乃至3の何れか一項に記載の装置。
  5. 前記画像解析ユニットが前記顕微鏡画像内の部分的に重複するウィンドウを定め、ウィンドウごとに前記特性が抽出され、前記基準領域の前記特性と比較される、請求項1乃至4の何れか一項に記載の装置。
  6. 前記画像解析ユニットが腫瘍細胞の量及び種類に応じて、並びに/又はIHC染色に対する局所反応に応じて前記顕微鏡画像を様々な小領域へと区分化し、小領域ごとに前記特性が抽出され、前記基準領域の前記特性と比較される、請求項1乃至3の何れか一項に記載の装置。
  7. 前記表示ユニットが、前記解析の前記結果を色、色の強さ、テキスト、文字、数字、記号等によって表示する、請求項1乃至6の何れか一項に記載の装置。
  8. 前記顕微鏡画像が組織画像である、請求項1乃至7の何れか一項に記載の装置。
  9. 前記特性がそれぞれの代替的領域の不均質性パラメータ、好ましくは腫瘍細胞の割合に更に関係する、請求項1乃至の何れか一項に記載の装置。
  10. デジタル病理学のための生体サンプルの画像を処理して解析するための検査方法であって、
    a)生体サンプルの顕微鏡画像を提供するステップであって、前記生体サンプルが組織サンプルであるステップと、
    b)前記顕微鏡画像内の関心領域を基準領域として示すステップと、
    c)核を検出し、前記基準領域の細胞及び/又は組織の特性を前記顕微鏡画像から抽出するステップと、
    d)前記基準領域から抽出される前記特性と同様の特性を有する代替的領域について前記顕微鏡画像を解析するステップと、
    e)同様の特性を有する代替的領域の前記解析の結果を表示するステップと
    を含
    前記特性は、核の特徴、核の種類、核密度又は核の形状の変化に関係する、方法。
  11. 処理ユニットによって実行されるとき請求項10に記載の方法ステップを実行する、請求項1乃至9の何れか一項に記載の装置を制御するためのコンピュータプログラム。
  12. 請求項11に記載のコンピュータプログラムが記憶されている、コンピュータ可読媒体。
JP2016559525A 2014-04-03 2015-03-31 画像を処理して解析するための検査装置 Active JP6772066B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14163311.5 2014-04-03
EP14163311 2014-04-03
PCT/EP2015/057045 WO2015150392A1 (en) 2014-04-03 2015-03-31 Examining device for processing and analyzing an image

Publications (3)

Publication Number Publication Date
JP2017511473A JP2017511473A (ja) 2017-04-20
JP2017511473A5 JP2017511473A5 (ja) 2018-05-17
JP6772066B2 true JP6772066B2 (ja) 2020-10-21

Family

ID=50478718

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016559525A Active JP6772066B2 (ja) 2014-04-03 2015-03-31 画像を処理して解析するための検査装置

Country Status (6)

Country Link
US (1) US11232565B2 (ja)
EP (1) EP3127084B1 (ja)
JP (1) JP6772066B2 (ja)
CN (1) CN106462767B (ja)
RU (1) RU2690224C2 (ja)
WO (1) WO2015150392A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6168426B2 (ja) * 2013-09-19 2017-07-26 学校法人慶應義塾 疾患分析装置、制御方法、及びプログラム
US11232565B2 (en) * 2014-04-03 2022-01-25 Koninklijke Philips N.V. Examining device for processing and analyzing an image
CN104537975B (zh) * 2015-01-16 2018-09-04 北京智谷睿拓技术服务有限公司 显示控制方法和装置、显示设备
CN106885813B (zh) * 2015-12-16 2019-06-07 清华大学 检查货物的方法、系统和装置
EP3549057A1 (en) 2016-12-05 2019-10-09 Koninklijke Philips N.V. Device and method for identifying a region of interest (roi)
US10504224B1 (en) * 2016-12-31 2019-12-10 Flagship Biosciences, Inc. Method for detecting immunostaining below the threshold of visual perception
JPWO2018229920A1 (ja) * 2017-06-15 2020-04-16 オリンパス株式会社 定量評価装置
WO2019077610A1 (en) * 2017-10-19 2019-04-25 Scopio Labs Ltd. DEPTH DETECTION BASED ON DEPTH
US20200357122A1 (en) * 2018-03-30 2020-11-12 Shimadzu Corporation Data analysis device and data analysis system
CN108401112B (zh) * 2018-04-23 2021-10-22 Oppo广东移动通信有限公司 图像处理方法、装置、终端及存储介质
EP3761032A1 (en) 2019-07-03 2021-01-06 Xyall B.V. Determining region(s) for tissue dissection in pathology slides
CN112862739A (zh) * 2019-11-08 2021-05-28 大猩猩科技股份有限公司 一种评估影像有效分析区域的方法与系统
JP2021124861A (ja) * 2020-02-04 2021-08-30 ソニーグループ株式会社 解析装置、解析方法、解析プログラム及び診断支援システム
CN113256617B (zh) * 2021-06-23 2024-02-20 重庆点检生物科技有限公司 一种病理切片虚拟免疫组化染色方法及系统

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0652263B2 (ja) * 1985-12-10 1994-07-06 株式会社日立製作所 細胞分析装置
US6058322A (en) 1997-07-25 2000-05-02 Arch Development Corporation Methods for improving the accuracy in differential diagnosis on radiologic examinations
AU763459B2 (en) * 1999-11-24 2003-07-24 Confirma, Inc. Convolution filtering of similarity data for visual display of enhanced image
JP2001283190A (ja) 2000-03-30 2001-10-12 Fuji Photo Film Co Ltd 画像処理装置
US20100279341A1 (en) * 2000-10-24 2010-11-04 Tissuegnostics Gmbh Methods and system for analyzing cells
US20050136509A1 (en) * 2003-09-10 2005-06-23 Bioimagene, Inc. Method and system for quantitatively analyzing biological samples
US8265359B2 (en) * 2007-06-18 2012-09-11 New Jersey Institute Of Technology Computer-aided cytogenetic method of cancer diagnosis
JP4947589B2 (ja) * 2007-06-27 2012-06-06 Kddi株式会社 類似画像検索装置
JP4801025B2 (ja) 2007-09-07 2011-10-26 オリンパス株式会社 細胞画像解析装置及び細胞画像解析ソフトウェア
US8103081B2 (en) * 2008-03-10 2012-01-24 Cambridge Research & Instrumentation, Inc. Classification of samples
US8340389B2 (en) * 2008-11-26 2012-12-25 Agilent Technologies, Inc. Cellular- or sub-cellular-based visualization information using virtual stains
US8175369B2 (en) * 2008-12-12 2012-05-08 Molecular Devices, Llc Multi-nucleated cell classification and micronuclei scoring
US8995733B2 (en) 2009-04-28 2015-03-31 Koninklijke Philips N.V. Microdissection method and information processing system
JP5284863B2 (ja) * 2009-04-30 2013-09-11 独立行政法人理化学研究所 画像処理装置、画像処理方法およびプログラム
JP5537347B2 (ja) * 2009-11-30 2014-07-02 シスメックス株式会社 粒子分析装置
JP2011181015A (ja) * 2010-03-03 2011-09-15 Olympus Corp 診断情報配信装置および病理診断システム
CN102947860B (zh) 2010-06-15 2018-09-07 皇家飞利浦电子股份有限公司 显微镜学中的图像处理方法
WO2012016242A2 (en) * 2010-07-30 2012-02-02 Aureon Biosciences, Inc. Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions
US20120069049A1 (en) 2010-09-16 2012-03-22 Omnyx, LLC Digital pathology image manipulation
US8711149B2 (en) * 2010-12-08 2014-04-29 Definiens Ag Graphical user interface for interpreting the results of image analysis
US20140176602A1 (en) * 2011-08-18 2014-06-26 Nec Corporation Information processing system, information processing method, information processing apparatus, and control method and control program thereof
WO2013027399A1 (ja) * 2011-08-23 2013-02-28 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム
RU120799U1 (ru) 2012-05-17 2012-09-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Национальный исследовательский Томский государственный университет" (ТГУ) Система поиска областей интереса в трехмерных медицинских изображениях
JP5464244B2 (ja) * 2012-08-24 2014-04-09 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
CN113406077A (zh) * 2012-10-03 2021-09-17 皇家飞利浦有限公司 组合的样品检查
CA2899714C (en) * 2013-03-15 2020-10-27 Ventana Medical Systems, Inc. Tissue object-based machine learning system for automated scoring of digital whole slides
EP3108446B1 (en) * 2014-02-21 2019-03-20 Ventana Medical Systems, Inc. Medical image analysis for identifying biomarker-positive tumor cells
US11232565B2 (en) * 2014-04-03 2022-01-25 Koninklijke Philips N.V. Examining device for processing and analyzing an image
DE102014224656A1 (de) * 2014-12-02 2016-06-02 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Segmentieren eines medizinischen Untersuchungsobjekts mit quantitativen MR-Bildgebungsmethoden

Also Published As

Publication number Publication date
RU2016143098A3 (ja) 2018-11-12
RU2016143098A (ru) 2018-05-04
CN106462767A (zh) 2017-02-22
JP2017511473A (ja) 2017-04-20
US11232565B2 (en) 2022-01-25
CN106462767B (zh) 2021-01-19
EP3127084B1 (en) 2020-07-15
EP3127084A1 (en) 2017-02-08
WO2015150392A1 (en) 2015-10-08
RU2690224C2 (ru) 2019-05-31
US20170116734A1 (en) 2017-04-27

Similar Documents

Publication Publication Date Title
JP6772066B2 (ja) 画像を処理して解析するための検査装置
JP5663873B2 (ja) 乳癌病理画像診断支援システム、乳癌病理画像診断支援方法、乳癌病理画像診断支援プログラム、及び、乳癌病理画像診断支援プログラムを記録した記録媒体
EP3827248B1 (en) Information processing apparatus and microscope for separating the fluorescence of a fluorescent reageant from the autofluorescence of a specimen
EP2950708B1 (en) Imaging system with hyperspectral camera guided probe
US9298968B1 (en) Digital image analysis of inflammatory cells and mediators of inflammation
JP2018504674A (ja) 早期癌予知のための計算病理学システム及び方法
JP5508792B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
JP2004286666A (ja) 病理診断支援装置および病理診断支援プログラム
RU2707326C2 (ru) Анализ тканевой микроматрицы
WO2017171720A1 (en) Digital image analysis of inflammatory cells and mediators of inflammation
JP7114323B2 (ja) 医用情報処理システム及び医用情報処理装置
KR101559798B1 (ko) 디지털 병리학의 이미지 표준화 방법
Geldof et al. Layer thickness prediction and tissue classification in two-layered tissue structures using diffuse reflectance spectroscopy
CN111656393A (zh) 组织学图像分析
Ulaganathan et al. A clinicopathological study of various oral cancer diagnostic techniques
US11922623B2 (en) Cellular diagnostic and analysis methods
Bower et al. A quantitative framework for the analysis of multimodal optical microscopy images
JP2008216077A (ja) 染色組織標本の陽性細胞の自動検出法
JP2012198139A (ja) 画像処理プログラム、画像処理装置、計測解析装置及び画像処理方法
WO2020022394A1 (en) Information processing apparatus and microscope for separating the fluorescence of a fluorescent reageant from the autofluorescence of a specimen
Forchhammer et al. Diagnosis of Basal Cell Carcinoma with Ex-vivo Confocal Laser Scanning Microscopy in a Real-life Setting
Merz et al. High-resolution 3-D imaging for precise staging in malignant melanoma
US11798160B2 (en) Integrated method for cancer screening
JP2022142461A (ja) 画像診断方法、画像診断装置、画像診断プログラム。
EP3576096A1 (en) Sensitivity analysis for digital pathology

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180329

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190419

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200402

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200402

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200501

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200930

R150 Certificate of patent or registration of utility model

Ref document number: 6772066

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250