JP7485384B2 - 病理スライドにおける組織解剖のための領域の決定 - Google Patents

病理スライドにおける組織解剖のための領域の決定 Download PDF

Info

Publication number
JP7485384B2
JP7485384B2 JP2021577407A JP2021577407A JP7485384B2 JP 7485384 B2 JP7485384 B2 JP 7485384B2 JP 2021577407 A JP2021577407 A JP 2021577407A JP 2021577407 A JP2021577407 A JP 2021577407A JP 7485384 B2 JP7485384 B2 JP 7485384B2
Authority
JP
Japan
Prior art keywords
image
images
annotation
annotations
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021577407A
Other languages
English (en)
Other versions
JPWO2021001564A5 (ja
JP2022538191A (ja
Inventor
クッペンス，ヘンリキュス・ルドルヒュス
バルマシュノバ，エブヘニア
ファン・ウェインガールデン，ハンス
Original Assignee
キアル・ベー・フェー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キアル・ベー・フェー filed Critical キアル・ベー・フェー
Publication of JP2022538191A publication Critical patent/JP2022538191A/ja
Publication of JPWO2021001564A5 publication Critical patent/JPWO2021001564A5/ja
Application granted granted Critical
Publication of JP7485384B2 publication Critical patent/JP7485384B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20128—Atlas-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Processing (AREA)

Description

本発明は、病理学およびデジタルパソロジーに関し、詳細には、一連の病理スライドにおける組織解剖のための１つ以上の領域を決定するためのシステムおよびコンピュータにより実施される方法に関する。さらに、本発明は、上記システムまたは方法によって生成される１つ以上の注釈に基づいて組織解剖システムを制御することに関する。さらに、本発明は、コンピュータにより実施される方法をプロセッサシステムに実行させる命令を含むコンピュータ可読媒体に関する。
病理学の分野では、外科医は、病院の病理学部門などによる検査のために患者から組織のサンプルを除去する場合がある。この組織サンプルは、典型的には「組織ブロック」と呼ばれるものを形成するためにパラフィンに包埋することができる。病理学者は、組織ブロックをとても薄い層にスライスし、これをガラススライド上に配置し、顕微鏡によって検査することができる。これにより、病理学者が診断を確立することを可能にすることができる。
様々な特定の病理学用途が存在する。例えば、病理学は、例えば、いわゆるゲノムベース診断テストを使用して、癌を持つ個々の患者に対する治療法決定を誘導するのに使用され得る。これは、一般にガラススライド上に用意される組織内の癌細胞を単離し、ポリメラーゼ連鎖反応（ＰＣＲ）プロセス中に単離した癌細胞を使用してＤＮＡおよび／またはＲＮＡを「増幅」することを含むことができ、それによって関心の特定の遺伝子異常が検出または定量化されることを可能にする。
周囲の非癌細胞から癌細胞を単離する一般に知られている方法、または周囲組織から関心のある組織を単離する一般的に知られている方法は、例えば、カミソリ刃を使用する組織の切断および／またはリフトよる手動解剖、およびミリングツール、レーザ、分解液などを使用する（半）自動解剖を含むが、これに限定されない。
組織が解剖される領域は、デジタルパソロジーによる技法を用いて決定することができる。そのようなデジタルパソロジーは、病理スライドのデジタル化に基づいており、ガラススライド上に配置された組織スライスをデジタル画像（「デジタルスライド」）に変換することを指し、このデジタル画像は、コンピュータモニタなどのディスプレイ上で見る、管理する、共有する、および解析することができる。それによって、病理学者は、画像を、例えば、マウス、ペン、またはタッチスクリーンを使用してデジタル式に注釈付けすることによって組織抽出のための領域を指定することができる。例えば、病理学者は、幾何プリミティブ、例えば、線、円形、長方形、または他のタイプの多角形を画像に選択および配置し、次いで、これについてサイズおよび／または形状が調整できることによって、そのような領域を示すことができる。さらにまたは代替として、病理学者は、例えば、いわゆる「フリーフォーム」ツールによってそのような幾何プリミティブを定めることができ、または画像などに簡単に自由に描くことができる。画像に形態構造を自動または半自動で注釈付けすることも知られている。そのような技法は、そのような領域が形態構造にリンクされる場合、組織抽出のための領域を自動または半自動で決定するために使用することができる。
通常、組織解剖のための領域は、組織が染色されている画像において注釈付けられ、ここで該組織は、いくつかのタイプの生体物質の視認性を高めるために染色剤を用いて染色されており、これにより、例えば癌細胞である関心のある組織の識別を容易にすることができる。例えば、ヘマトキシリンエオジン（Ｈ＆Ｅ）が、関心のある組織がより良く識別可能である染色された「参照」スライドを得るために組織へ加えられてもよい。同時に、染色されていないスライドから関心のある組織を解剖することが好ましいことであり得、これらは、「抽出」スライドとも呼ばれる。したがって、組織解剖のための領域を表す注釈を染色された参照スライドから染色されていない抽出スライドへ、または一般的に、ある画像から別の画像へ転写することが必要であり得る。
米国特許出願公開第２０１８０２６７２９０（Ａ１）号は、分子診断のために除去される染色されていないサンプルのサンプル除去エリアを選択する方法を記載する。この方法は、以下のステップ：ａ）対象の参照スライスの参照画像中の参照除去エリアを選択するステップであって、参照スライス中の生体物質が染色される、ステップと、ｂ）撮像設定の下で対象のサンプルスライスのデジタルサンプル画像を取得するステップであって、サンプルスライス中の生体物質が染色されない、ステップと、ｃ）参照画像中の参照除去エリアをデジタルサンプル画像へ移すためにデジタルサンプル画像を参照画像にレジストレーションするステップと、ｄ）移された参照除去エリアに基づいてデジタルサンプル画像中のサンプル除去エリアを識別するステップとを含む。
不都合なことに、米国特許出願公開第２０１８０２６７２９０（Ａ１）号は、生体物質がスライス間で異なる形状および／または位置を有する場合、十分にはロバストでない。
米国特許出願公開第２０１８／０２６７２９０号明細書
本発明の目的は、組織解剖のための領域を識別する注釈を参照画像から１つ以上の抽出画像へよりロバストに転写することである。
本発明の第１の態様によれば、一連の病理スライドのデジタル版を表す一連の画像を用いて一連の病理スライドにおける組織解剖のための１つ以上の領域を決定するコンピュータにより実施される方法が提供される。この方法は、
－ 一連の画像のうちの第１の画像中の組織解剖のための第１の領域を識別する第１の注釈を取得することと、
－ 一連の画像のうちの第２の画像中の組織解剖のための第２の領域を識別する第２の注釈を取得することであって、第１の画像および第２の画像が一連の中間画像によって一連の画像中で隔てられている、ことと、
－ 一連の中間画像から１つ以上の中間画像についての注釈を生成することであって、１つ以上の画像の１つごとに、
－ 中間画像の第１の画像との少なくとも部分的なレジストレーションを表すレジストレーションパラメータの第１のセットを決定し、
－ 中間画像の第２の画像との少なくとも部分的なレジストレーションを表すレジストレーションパラメータの第２のセットを決定し、
－ レジストレーションパラメータの第１のセットを用いて第１の画像から中間画像へ第１の注釈を伝達し、
－ レジストレーションパラメータの第２のセットを用いて第２の画像から中間画像へ第２の注釈を伝達し、
－ 中間画像中の注釈を取得するように伝達された第１の注釈と第２の注釈を結合する
ことによって注釈を生成することと
を含む。
本発明のさらなる態様によれば、一連の病理スライドのデジタル版を表す一連の画像を用いて一連の病理スライドにおける組織解剖のための１つ以上の領域を決定するシステムが提供される。
このシステムは、
－ 一連の画像にアクセスするためのデータインタフェースと、
－ 注釈入力データにアクセスするためのさらなるデータインタフェースと、
－ プロセッササブシステムと
を備え、
注釈入力データが、
－ 一連の画像のうちの第１の画像中の組織解剖のための第１の領域を識別する第１の注釈、および
－ 一連の画像のうちの第２の画像中の組織解剖のための第２の領域を識別する第２の注釈を定め、第１の画像および第２の画像が一連の中間画像によって一連の画像中で隔てられており、
プロセッササブシステムは、 － １つ以上の画像の１つごとに、
－ 中間画像の第１の画像との少なくとも部分的なレジストレーションを表すレジストレーションパラメータの第１のセットを決定し、
－ 中間画像の第２の画像との少なくとも部分的なレジストレーションを表すレジストレーションパラメータの第２のセットを決定し、
－ レジストレーションパラメータの第１のセットを用いて第１の画像から中間画像へ第１の注釈を伝達し、
－ レジストレーションパラメータの第２のセットを用いて第２の画像から中間画像へ第２の注釈を伝達し、
－ 中間画像中の注釈を取得するように伝達された第１の注釈と第２の注釈を結合する
ことによって一連の中間画像から１つ以上の中間画像についての注釈を生成するように構成される。
本発明のさらなる態様によれば、コンピュータにより実施される方法をプロセッサシステムに実行させるように構成された命令を表す一時的または非一時的データを含むコンピュータ可読媒体が提供される。
上記方策は、関心のある組織の形状および位置が一連の病理スライドにわたって、そしてそれによって一連の病理スライドのデジタル版を表す一連の画像にわたっても、大きく変わり得るという洞察に基づいている。例えば、腫瘍は、複雑で不規則な３Ｄ形状を有する場合があり、この３Ｄ形状の２Ｄ交点は、病理スライドごとに大きく変わり得る。関心のある組織は、前立腺の生検の場合におけるように複雑な形状を有する場合もある。
したがって、組織解剖のための領域の注釈が、画像、例えば、「参照」画像の１つについて取得される場合、この注釈を他の「抽出」画像へ転写することが難しい可能性がある。ここで、参照画像は、Ｈ＆Ｅ染色病理スライドに対応することができ、または組織抽出のための領域の注釈を容易にする画像を任意の他のやり方で表すことができ、一方、抽出画像は、染色されていない病理スライド、ヌクレアファストレッド（ＮＦＲ：Ｎｕｃｌｅａｒ Ｆａｓｔ Ｒｅｄ）染色病理スライドに対応することができ、あるいは組織抽出のための領域の注釈が利用できないまたは参照画像についてよりも取得が難しい可能性がある画像を任意の他のやり方で表すことができる。
上記方策は、少なくとも２つの参照画像中のそれぞれの組織解剖のための領域を識別する注釈を取得することを含む。両参照画像は、一連の中間病理スライドのデジタル版を表す一連の中間画像によって一連の画像中で隔てられている。注釈は、例えば、病理学者による手動注釈によって、またはいくつかの実施形態では半自動または自動注釈によってそれ自体知られているやり方で取得されていることができる。
中間画像のうちの少なくとも１つについての注釈は、各参照画像を中間画像と少なくとも一部レジストレーションすることによって取得することができる。そのようなレジストレーションは、それ自体知られており、典型的には画像の画像内容間の一致性を表し、そのため「画像レジストレーション」とも呼ばれる。ここで、用語「少なくとも一部」は、中間画像とレジストレーションされる参照画像の少なくとも一部、例えば、空間小領域、または選択画像特徴などを指す。各レジストレーションは、それ自体知られているように、パラメータの１セットによって定めることができる。例えば、レジストレーションは、パラメトリックレジストレーションとすることができるが、例えば、変形フィールドなどによって定められる、従来から非パラメトリックレジストレーションとみなされるレジストレーションも含み得る。後者の例では、レジストレーションパラメータは、変形ベクトルを定義することができる。
両注釈を取得すると、各注釈は、それぞれのレジストレーションに基づいて中間画像に転写され得る。そのような転写は、典型的には、レジストレーションに従って注釈を変形することを含むことができる。例えば、弾性レジストレーションが使用される場合、弾性レジストレーションは、画像内容を重ね合わせる注釈と同様のやり方で適用され得る画像内容の変形を示し得る。したがって、２つの注釈が、中間画像について取得することができ、次いで、例えば、モフォロジー演算を用いて、例えば、形状の重複を考慮に入れることを用いて、または距離変換もしくはシェイプコンテキストなどを用いて、これらは１つに結合することができる。
参照画像から抽出画像へ注釈を転写するための知られている技法と比較して、上記方策は、一連の画像中の中間画像の両側でそれぞれの参照画像について取得される２つ以上の注釈を転写する。したがって、注釈は、中間画像のどちらかの側から転写することができる。したがって、結合された注釈は、片側からの単なる外挿ではなく、そのような注釈の双方向内挿を有効に表すことができる。そのような内挿は、一連の病理スライドにわたって大いに変わる関心のある組織の形状および／または位置により良く対処することができる。詳細には、関心のある組織の形状および／または位置が大きく変わる場合、両注釈は、例えば、病理学者が前記異なる形状および／または位置に対処するために各参照画像を異なるように注釈付けすることによって、やはり異なる形状および／または位置を有し得る。これは、両注釈と結合するときに考慮に入れられ得るさらなる情報を表す。例えば、結合された注釈が、両注釈間の重複のみからなり、例えば、論理「積」を表し、それによっていずれかの注釈だけと比較して関心のある組織のみを含む可能性がより高い「控えめな」注釈を表すことができる。したがって、片側からの注釈を外挿するのと比較して、よりロバストな注釈を取得することができる。
任意選択で、レジストレーションパラメータの第１のセットおよびレジストレーションパラメータの第２のセットが、変形可能（ｄｅｆｏｒｍａｂｌｅ）レジストレーションをそれぞれ定め、中間画像へ第１の注釈を伝達すること、および中間画像へ第２の注釈を伝達することが、それぞれのセットのレジストレーションパラメータに基づいてそれぞれの注釈を変形することをそれぞれ含む。そのよう変形可能レジストレーションは、弾性レジストレーションとしても知られており、典型的には、並進および／または回転（例えば、アフィン変換として）の観点だけでなく、局所変形（例えば、非剛体変換）の観点でも画像の画像内容間の一致性を表す。そのような弾性レジストレーションパラメータを取得すると、根底にある画像内容について算出された変形に従って、両注釈が変形され得る。それによって、それぞれの変形された注釈は、中間画像中の画像内容により良くマッチングすることができる。
任意選択で、方法は、中間画像中の注釈の適合品質を決定することと、適合品質が適合品質基準を満足しない場合、第１の画像と第２の画像の間の一連の中間画像に含まれる第３の画像中の第３の注釈を与えるようにユーザにアラートすることとをさらに含む。そのような適合品質は、様々なやり方で、例えば、結合された注釈を中間画像中の画像内容と比較することによって、および／または両方の伝達された注釈を比較することによって決定することができる。適合品質が不十分であると考えられる場合、これは、関心のある組織の形状および／または位置が、参照画像の各々または両方と抽出画像との間でずっと多く変わり、どちらかまたは両方の注釈の伝達を不十分に正確なものにさせることを示し得る。したがって、例えば、両参照画像の中間のより近い画像についての注釈を取得することが望ましいものであり得、これは、関心のある組織の形状および／または位置の観点で、中間画像により類似している可能性がある。したがって、例えば、画面上の警告を用いて、または任意の他のやり方で、ユーザが、第１の画像と第２の画像の間の一連の中間画像に含まれる第３の画像中の第３の注釈を与えるようにアラートされてもよい。いくつかの実施形態では、これは、染色および再デジタル化されなければならない対応する病理スライドを含むことができ、それによって抽出スライドを参照スライドに有効に変換し、再デジタル化後に、２つの元の参照画像間の別の参照画像を取得する。
いくつかの実施形態では、第２の画像中の第２の注釈は、中間画像に第１の注釈を伝達することによって取得される適合品質が適合品質基準を満足しない場合に取得されさえすればよい。例えば、方法およびシステムは、まず、第１の注釈を取得し、レジストレーションパラメータの第１のセットを決定し、レジストレーションパラメータの第１のセットを用いて第１の画像から中間画像へ第１の注釈を伝達し、結果として得られる伝達された注釈の適合品質を決定することができ、これらの実施形態では、これは、例えば、ユーザから受信したユーザ入力に基づいて決定することができ、このユーザ入力は、適合品質を示すことができる。例えば、適合品質基準を満足しないことによって、適合品質が不十分であると考えられる場合、方法およびシステムは、例えば、第２の画像中の第２の注釈を与えるようにユーザにアラートすることによって、第２の注釈を取得してもよい。第２の注釈を取得すると、方法およびシステムは、レジストレーションパラメータの第２のセットを決定し、レジストレーションパラメータの第２のセットを用いて第２の画像から中間画像へ第２の注釈を伝達し、中間画像中の注釈を取得するように伝達された第１の注釈と第２の注釈を結合することができる。言い換えれば、第２の注釈、および第１の注釈と第２の注釈の結合に関連した機能性は、単一の注釈の伝達が不十分な適合品質をもたらす場合に、この機能性が呼び出されるにすぎない（さえすればよい）ものであり得るという点で、条件付きの機能性であり得る。
任意選択で、ユーザにアラートすることは、一連の中間画像内の第３の画像の場所、または一連の病理スライド内の対応する病理スライドの場所を示すことを含む。例えば、ユーザは、一連の中間画像の実質的に真ん中に、または言い換えれば、一連の画像中の第１の画像と第２の画像の間の実質的に途中の、したがって対応する一連の中間病理スライドの真ん中の第３の画像に注釈付けするようにアラートされてもよい。
任意選択で、中間画像中の注釈の適合品質を決定することが、伝達された第１の注釈の第１の適合品質、および伝達された第２の注釈の第２の適合品質を決定することを含み、方法が、第１の適合品質と第２の適合品質の比較に基づいて第３の画像の場所を決定することをさらに含む。注釈付けされる第３の画像の場所は、それぞれの適合品質に基づいて適応的に決定することができる。例えば、伝達された注釈の１つが、他の伝達された注釈と比較して良くない適合品質をもたらす場合、これは、関心のある組織の形状および／または位置が中間画像と対応する参照画像の間でとても多く変わることを示し得、したがって、中間画像の側で前記中間画像により近い注釈を取得することが望ましいものであり得る。それによって、中間画像についての注釈を生成するときに、第３の画像についての注釈は、より早期の参照画像のものと置き換わることができる。
任意選択で、
－ 第１の画像および第３の画像が、中間画像の第１のサブシリーズによって一連の画像中で隔てられており、
－ 第２の画像および第３の画像が、中間画像の第２のサブシリーズによって一連の画像中で隔てられており、
上記方法は、
－ 第１の注釈および第３の注釈に基づいて、中間画像の第１のサブシリーズの１つ以上の中間画像についての注釈を生成することと、
－ 第２の注釈および第３の注釈に基づいて、中間画像の第２のサブシリーズの１つ以上の中間画像についての注釈を生成することとをさらに含む。
上記方策は、特定の中間画像について、結合された伝達された注釈の適合品質が不十分であると考えられる場合、注釈が、第１の画像と第２の画像の中間の第３の画像について取得され、その後に、注釈と伝達のプロセスが、両方のサブシリーズにわたって個々に繰り返される、反復プロセスを提供する。この反復は、全ての抽出画像または十分な数の抽出画像が注釈付けされるまで繰り返され得てもよく、その後に反復プロセスは停止することができる。有利には、反復プロセスは、適合品質が不十分であると考えられる場合、ユーザが（対応する病理スライドを染色し、染色されたスライドを再デジタル化することを含み得る）さらなる画像に注釈付けすることだけ要求されるという点で適応性がある。さもなければ、および他の場合には、反復プロセスが注釈と伝達に基づいて進行する。
任意選択で、適合品質を決定するステップが、伝達された第１の注釈および伝達された第２の注釈の形状の差異、または表面エリアの重複を決定することを含む。この適合品質尺度は、注釈を画像内容と比較することに基づくとともに、両注釈が形状および／またはサイズの観点で類似または実質的に同一である場合に伝達された注釈が信頼できるとみなされ得る検討事項に基づいて、適合品質に加えてまたは適合品質の代替として、使用されてもよい。
任意選択で、適合品質を決定するステップが、伝達された第１の注釈および／または伝達された第２の注釈の変形の大きさを決定することを含む。より大きい変形は、それぞれの参照画像と中間画像の間の関心のある組織の形状の差がより大きく、そのため伝達された注釈が中間画像に十分フィットしていない可能性がより大きいことを示し得る。
任意選択で、適合品質を決定するステップは、ｉ）第１の画像中の第１の注釈の根底にある画像データと中間画像中の伝達された第１の注釈の根底にある画像データとの間の類似性および／または差異、ならびに／あるいはｉｉ）第２の画像中の第２の注釈の根底にある画像データと中間画像中の伝達された第２の注釈の根底にある画像データとの間の類似性および／または差異に基づく。そのような画像ベース適合品質は、それぞれのレジストレーションの信頼性および／または正確さを表すことができ、形状の差異または表面エリアの重複に基づいて上述した適合品質と組み合わせることもできる。代替として、それぞれのレジストレーションの信頼性および／または正確さの任意の他の知られている尺度が、適合品質を決定するために用いられてもよいことが理解されよう。
任意選択で、レジストレーションパラメータの第１のセットおよびレジストレーションパラメータの第２のセットが、特徴ベース画像レジストレーション、動的輪郭モデル（ａｃｔｉｖｅ ｃｏｎｔｏｕｒ ｍｏｄｅｌ）を用いた画像レジストレーション、シェイプコンテキストを用いた画像レジストレーション、およびレベルセット法を用いた画像レジストレーションからなる群のうちの１つによって決定される。これらのレジストレーション技法は、それ自体知られており、画像レジストレーションによく適しているだけでなく、１つ以上の中間画像に注釈を伝達することにもよく適していることが見出されている。
任意選択で、第１の画像および第２の画像および第３の画像は、ヘマトキシリンエオジン（Ｈ＆Ｅ）染色病理スライドであるか、あるいは病理スライドから除去可能または除去不可能である別の染色剤を用いて染色された病理スライドである。
任意選択で、一連の中間画像が、パラフィン中で染色されていない、パラフィンなしで染色されていない、および／またはヌクレアファストレッド（ＮＦＲ）、あるいは病理スライドから除去可能である別の染色剤を用いて染色された病理スライドである。
任意選択で、方法は、１つ以上の中間画像のために生成された１つ以上の注釈に基づいて、１つ以上の中間画像に対応する１つ以上の病理スライドから組織を解剖するように組織解剖システムを制御することをさらに含む。したがって、生成された注釈は、対応する病理学抽出スライドから組織を自動または半自動で抽出するために使用することができる。
任意選択で、レジストレーションパラメータの第１のセットを決定することは、一連の画像におけるそれぞれの画像ペア間の個々のレジストレーションを決定することを含み、個々のレジストレーションが、第１の画像と中間画像の間のレジストレーションの連なりを一緒に形成する。したがって、第１の画像と中間画像の間のレジストレーションパラメータを直接決定する代わりに、第１の画像と中間画像の間のレジストレーションが、両画像の中間の画像ペア間の個々のレジストレーションの重ね合わせとして取得することができる。画像ペア（例えば、連続した画像ペア、または一連の画像中の１つおきもしくは２つおきの画像によって形成される画像ペア）間のそのようなレジストレーションは、画像間の距離が第１の画像と中間画像の間の距離よりも小さくなることができるときに、したがって画像ペア間の類似性が、第１の画像と中間画像に間の類似性よりも高いことが期待されるときに、よりロバストになることができ、これにより、レジストレーション全体がよりロバストなものになり得る。レジストレーションに対する上述した「連なりベース」の手法は、必要な変更を加えて、レジストレーションパラメータの第２のセットを決定するために使用することもできる。
任意選択で、システムは、ユーザインタフェースサブシステムであって、
－ ディスプレイ上にそれぞれの画像を表示するためのディスプレイ出力と、
－ ユーザによって動作可能なユーザ入力デバイスからユーザ入力データを受信するためのユーザ入力インタフェースとを備え、
プロセッササブシステムは、ユーザインタフェースサブシステムを介して、ユーザが一連の画像の第１の画像中の組織解剖のための第１の領域を識別する第１の注釈を与えるとともに、第２の画像中の組織解剖のための第２の領域を識別する第２の注釈を与えることを可能にするように構成される、ユーザインタフェースサブシステムをさらに備える。
したがって、システムは、ユーザが第１の注釈および第２の注釈を手動で定めることを可能にするように構成することができる。そのような実施形態では、前述の注釈入力データは、ユーザによる注釈の結果としてプロセッササブシステムによって生成することができるデータであり得る。そのような実施形態では、さらなるデータインタフェースは、メモリインタフェースなどのプロセッササブシステムの内部データインタフェースであり得る。
任意選択で、システムは、第１の注釈および第２の注釈を取得するために、注釈技法を第１の画像および第２の画像に適用することによって注釈入力データを生成するように構成される。注釈技法は、知られているタイプの自動注釈技法であってもよいが、ユーザが前述のユーザインタフェースサブシステムを介してさらなるユーザ入力を与えることができる半自動注釈技法とすることもできる。
任意選択で、システムが、組織解剖システムの一部である、または組織解剖システムとインタフェースするように構成される。
本発明の上述した実施形態、実現、および／または任意選択の態様のうちの２つ以上が、有用と思われる任意のやり方で組み合わされてもよいことが当業者に理解されよう。
対応するシステムの上述した変更および変形に対応する、任意のコンピュータにより実施される方法および／または任意のコンピュータプログラム製品の修正および変形が、本説明に基づいて、および逆も同じで、当業者によって実施されてもよい。
本発明のこれらおよび他の態様は、以下に記載される実施形態から明らかであり、これを参照して明らかにされよう。
組織ブロックを形成するようにパラフィンのブロックに包埋される組織物質を示す図である。 各病理スライドがそれぞれの組織部分を含む、一連の病理スライドを取得するために組織ブロックをスライスしたものを示す図である。 １枚の病理スライド中の組織がＨ＆Ｅによって染色され、残りの病理スライドがＨ＆Ｅによって染色されていない、一連の病理スライドを示す図である。 Ｈ＆Ｅ染色病理スライドの注釈、およびＨ＆Ｅによって染色されていない病理スライドへの注釈の転写を示す図である。 組織ストランドを含む組織ブロックを示す図である。 各病理スライドがそれぞれの組織部分を含む、一連の病理スライドを取得するために組織ブロックをスライスしたものを示す図である。 ２つの参照スライドの中間に配置され、Ｈ＆Ｅによって染色されていない病理スライドである１つ以上の抽出スライドに注釈を転写する際に参照スライドとして働くいくつかのＨ＆Ｅ染色病理スライドの注釈を示す図である。 複数のＨ＆Ｅ染色病理スライドからＨ＆Ｅによって染色されていない中間病理スライドへの注釈の転写を示す図である。 組織解剖領域を決定するためのシステムを示す図である。 組織解剖領域を決定するための方法を示す図である。 非一時的データを含むコンピュータ可読媒体を示す図である。
異なる図において同じ参照番号を有する項目は、同じ構造的特徴、および同じ機能を有し、または同じ信号であることに留意されたい。そのような項目の機能および／または構造が説明されている場合、詳細な説明にそれに関する繰り返しの説明が必ずしもあるわけではない。
参照番号のリスト
参照番号に係る以下のリストは、図面の解釈を容易にするために与えられ、特許請求の範囲を限定するものとして解釈されるべきではない。
１０、１１ 組織ブロック
１５ 切断
２０、２１ 組織物質
３０－８６ 病理スライド（＊＝Ｈ＆Ｅ染色組織を含む）
９０－９５ 画像ペア間のレジストレーション
１００－１０７ 組織部分（Ｈ＆Ｅ染色でない）
１５０、１５１ 組織部分（Ｈ＆Ｅ染色）
２００－２０３ 組織解剖のための領域を表す注釈
２５０－２５４ 転写された注釈
３００ 組織解剖領域を決定するシステム
３２０ データインタフェース
３４０ プロセッササブシステム
３４２、３４４ 内部データ通信
３６０ ユーザインタフェースサブシステム
３７０ ディスプレイ出力
３８０ ユーザ入力インタフェース
４００ データストレージ
４１０ 画像データ
４１２ 注釈出力データ
４２０ ディスプレイ
４２２ 表示データ
４４０ ユーザ入力デバイス
４４２ ユーザ入力データ
５００ 組織解剖領域を決定するための方法
５１０ 第１の画像中の第１の注釈を取得する
５２０ 第２の画像中の第２の注釈を取得する
５３０ 中間画像についての注釈を生成する
５４０ レジストレーションパラメータの第１のセットを決定する
５５０ レジストレーションパラメータの第２のセットを決定する
５６０ 中間画像に第１の注釈を伝達する
５７０ 中間画像に第２の注釈を伝達する
５８０ 伝達された第１の注釈と第２の注釈を結合する
６００ コンピュータ可読媒体
６１０ 命令データ
本発明の説明
図１は、手術または生検などの最中に患者から除去され得るとともに、罹患した組織、例えば、病巣、または任意の他のタイプの関心のある組織を含み得る組織物質２０を含む組織ブロック１０を示す。組織ブロック１０を取得するために、組織物質２０は、パラフィンを浸透させ、パラフィンに包埋されてもよい。関心のある組織の病理学的または組織学的な検査を可能にするために、組織ブロックは、スライスされてもよく、結果として得られる１つ以上の組織スライスは、別個のガラススライド上へそれぞれ転写されてもよく、これにより光学顕微鏡による検査を可能にするが、例えば、デジタルパソロジーの分野によりそれ自体で知られているいわゆるデジタルスライドスキャナによってそれらのデジタル化も可能にする。図２は、組織ブロック１０のこのスライスしたもの、および（図２の矢印１５によって共に示される）ガラススライド上への結果として得られる組織スライスの装着、ならびにその結果、すなわち、一連の病理スライド３０－３４を示す。図２では、一連の病理スライド３０－３４中の各スライスは、組織部分１００を含むことが示されている。
図３は、第１の病理スライド４０＊中の組織がヘマトキシリンエオジン（Ｈ＆Ｅ）によって染色されている一連の病理スライド４０＊－４５を示す。そのようなタイプの染色は、病理学および組織学の分野でよく知られており、ある種の生体物質の視認性を高めるために加えられてもよく、これにより、例えば組織部分１５０または組織部分１５０の一部である、ある特定の関心のある組織の識別を容易にすることができる。
図３は、Ｈ＆Ｅによって染色されていない残りの病理スライド４１－４５を示す。概して、一連の病理スライドは、以降にさらに説明される理由により「参照スライド」とも呼ばれるＨ＆Ｅ染色病理スライド、ならびに染色されていない１つ以上の病理スライド、あるいはヌクレアファストレッド（ＮＦＲ）を用いて染色された１つ以上の病理スライド、またはポリメラーゼ連鎖反応（ＰＣＲ）プロセスに影響しないおよび／もしくはＰＣＲ前に除去可能である同様の染色剤を用いて染色された１つ以上の病理スライドを含むことができる。Ｈ＆Ｅ染色組織を含む病理スライドは、ここや他のところで「染色された病理スライド」とも単に呼ばれ、参照数字とこれに続くアスタリスクが付されている。（パラフィン中でまたはパラフィンなしで）染色されていない組織、またはＮＦＲ染色組織を含む病理スライドは、組織解剖に使用することができ、これは、組織抽出とも呼ばれ、対応するスライドは、「抽出スライド」と呼ばれる。
図４は、Ｈ＆Ｅ染色病理スライド５０＊の注釈を示す。そのような注釈２００は、例えばマーカを用いて、物理的スライド５０＊自体の上に行われ得るが、今日では通常、病理スライドのデジタル版に、例えば、その画像に加えられる。したがって、病理スライドに加えられる（または生成される、転写されるなど）注釈への何らかの参照は、病理スライドのデジタル版にデジタル式に加えられる（または生成される、転写されるなど）注釈を含むと理解されるべきである。そのようなデジタル注釈は、それ自体知られており、病理学者などのユーザによって、デジタルパソロジーソフトウェアパッケージを動作させることによって、または（半）自動アルゴリズムによって実行されてもよい。そのようなデジタル注釈は、原理的には、病理スライドを物理的にマークすることによっても、および病理スライドをその注釈付きでデジタル化することによっても取得可能であることにさらに留意されたい。
概して、注釈２００は、関心のある組織をマークするために、多くの場合には、組織解剖のための領域を特にマークするために、適用することができる。図４に示されるように、注釈２００の形状は、解剖学的構造、例えば、関心のある組織であるかまたは関心のある組織を含む組織部分１５１の形状に対応する必要はないが、そうするのでもよい。例えば、注釈２００は、周囲のパラフィンの一部を含んでもよく、またはパラフィンを超えて広がってもよく、または以前にパラフィンを含んだが、組織スライスをデジタル化する前に除去されたエリアに広がってもよい。
Ｈ＆Ｅ染色により参照スライド５０＊上で組織抽出を行わずに、むしろ抽出スライドの１つの上で組織抽出を行うことが好ましいものであり得る。したがって、図４の矢印７０によって示されるように、注釈２００は、抽出スライド５１中に注釈２５０を得るために参照スライド５０＊から抽出スライド５１へ転写されてもよい。両スライドの対応する画像間の画像レジストレーションに基づいてデジタル注釈を並進させることによってそのような注釈を転写することが知られている。すなわち、画像レジストレーションは、参照スライド５０＊の画像データと抽出スライド５１の画像データとの間の一致性を決定し、それによって組織部分１５１と組織部分１０１との間の一致性を決定することができるので、注釈２００は、根底にある画像データの一致性に従って並進させることができる。図４は、例えば、アフィン変換として推定されることによって、並進、回転、および変形の成分をやはり含む画像レジストレーションの結果であり得る注釈２００に比較しての並進、回転、および変形される注釈２５０を示すことに留意されたい。参照スライド５０＊は、当初に注釈付けされた病理スライドであることによって、例えば、１つ以上の抽出スライドへの注釈２００の転写についての参照を表すことによって、「参照」スライドと名付けられてもよいことにさらに留意されたい。
図５は、図１に類似するが、組織ストランドを含み、それによって巻き形状を有した組織物質２１を含む組織ブロック１１を示す。関心のある組織は、前立腺の生検などの場合、例えば、生物学的理由により、しかしやはり、組織スライスが組織ストランドから取得されるとき、そのような複雑な形状をしばしば有し得る。
図６は、それが組織ブロック１１のスライスしたもの、およびガラススライド上への結果として得られる組織スライスの装着を示すという点で図２に類似する。スライスしたものおよび（図６の矢印１５によって共に示される）ガラス上への装着の結果は、それぞれの組織部分１０２－１０７をそれぞれ含み得る一連の病理スライド６０－６５である。図６を図２と比較するとき、組織の巻き形状によって、組織部分１０２－１０７は病理スライド６０－６５ごとに大きく変わる外観を有する、例えば、異なる形状を有することになることが理解できる。結果として、病理スライド間の画像レジストレーションは、準最適であり得、例えば、誤った一致性という結果になる。この問題は、関心のある組織が均一な組織エリアにあるときに悪化し得る。この場合には、画像レジストレーションは、例えば、その変わる形状により、関心のある組織自体によって誘導されることもできず、空間的詳細を欠くことにより画像レジストレーションが周囲組織エリアの一致性を決定することを可能にしないので、周囲組織エリアによっても誘導されない。
したがって、病理スライドの１つがＨ＆Ｅ染色組織を含むとともに、注釈付けされ、それによって参照スライドを有効に表すとしたら、抽出スライドへの注釈の転写は、転写された注釈が抽出スライド中の関心のある組織にマッチングしない結果になり得るという点で準最適でもあり得る。したがって、注釈に基づく続く組織解剖は、関心のある組織の抽出が不十分であり得る、または関心のない組織があまりに多いという点で準最適であり得る。
図７は、本発明のいくつかの実施形態による複数のＨ＆Ｅ染色病理スライドの注釈を示す。ここで、一連の病理スライド７０＊－７６＊が示されており、スライド７０＊、７３＊、および７６＊は、Ｈ＆Ｅ染色病理スライドであり、これらはそれぞれの注釈２０１－２０３を含み、それによって参照スライドを表すことができる。そのような注釈は、ユーザによってすでに与えられてもよく、または図９を参照して説明されるように、システムは、選択スライドに注釈を与えることをユーザに促すことができ、選択スライドは、すでにＨ＆Ｅ染色されていてもよく、またはまだＨ＆Ｅ染色されなければならなくてもよく、または選択Ｈ＆Ｅ染色スライド上の注釈を決定するために（半）自動アルゴリズムを使用してもよい。それぞれの中間スライドのサブシリーズ（例えば、スライド７１および７２、およびスライド７４および７５）によって一連の病理スライド７０＊－７６＊中で離間配置される参照スライドについての注釈を取得すると、これらの注釈は、組織抽出のための領域がスライドごとに識別されることを可能にするように図８に示されるようなやり方で中間スライドへ転写することができる。
図７をさらに参照すると、注釈の転写は、外側スライド７０＊および７６＊などの少なくとも２つの参照スライドを含むことができ、任意選択で、図７のスライド７３＊によって表されるように、１つ以上の中間参照スライドで拡張されることに留意されたい。
図８は、参照スライド８０＊、８３＊、および８６＊から抽出スライド８１、８２、８４、および８５への注釈の転写を示す。他のところと同じように、スライドの参照がなされるが、これは、スライドのデジタル版、すなわち、対応する画像にここで当てはまると理解される。転写は、中間スライドサブシリーズの各々に別々に（例えば、並列でまたは逐次）適用され得る下記ステップを含むことができる。例えば、中間スライドの第１のサブシリーズ８１、８２について、注釈２５１、２５２が、各中間スライド８１、８２と、第１の参照スライド８０＊および第２の参照スライド８３＊である２つの最も近い参照スライドの各々とをレジストレーションすることによってそれぞれのスライドについて生成することができる。この「双方向性」レジストレーションは、それぞれのスライド間、例えば、第１の参照スライド８０＊と中間スライド８１の間、および第２の参照スライド８３＊と中間スライド８１の間に直接レジストレーションを含むことができる。代替として、図８にやはり示されるように、中間スライドと各参照スライドのレジストレーションは、レジストレーションの連なりによって行うことができる。このために、それぞれのスライドペア間のレジストレーションをそれぞれ表す参照番号９０－９５によって図８に示されるように、スライドの各連続ペアは、相互にレジストレーションされ得る。次いで、参照スライドとそれぞれの中間スライドとの間のレジストレーションは、個々のレジストレーションの重ね合わせとして取得することができる。例えば、中間スライド８１は、レジストレーション９０によって第１の参照スライド８０＊とレジストレーションすることができ、レジストレーション９１とレジストレーション９２との重ね合わせを用いて第２の参照スライド８３＊とレジストレーションすることができる。そして、前記レジストレーションは、直接または連なりによって、各中間スライド８１、８２について、中間スライド８１、８２と第１の参照スライド８０＊の少なくとも部分的なレジストレーションを表すレジストレーションパラメータの第１のセット、および中間スライド８１、８２と第２の参照スライド８３＊の少なくとも部分的なレジストレーションを表すレジストレーションパラメータの第２のセットをもたらすことができる。
次いで、両参照スライド８０＊、８３＊中の注釈は、他のところに記載したように中間スライド８１、８２へ伝達され、それによって転写されてもよく（これは、破線によって図８に概略的にやはり示されている）、続いて、それぞれの中間スライド８１、８２中の結合された注釈２５１、２５２を取得するために結合される。上記プロセスは、２つの最も近い参照スライドとして第２の参照スライド８３＊および第３の参照スライド８６＊をここで使用することを除いて、ほぼ同じやり方で、中間スライドの第２のサブシリーズ８４、８５について実行することもでき、中間スライド８４、８５についての結合された注釈２５３、２５４という結果になる。
概して、注釈は、少なくとも２つの病理スライドの組織をＨ＆Ｅ染色することによって上述したやり方で転写されてもよい。一連の病理スライドでは、これらは、第１のスライド、および最後のスライドであってもよく、または概して、抽出スライドを表す一連の中間スライドによって離間配置される任意の２つのスライドであってもよい。デジタル化後、Ｈ＆Ｅ染色スライドは、組織解剖のための領域を識別するように注釈付けされてもよく、それによって中間抽出スライドについての参照スライドになる。次いで、両参照スライド中の注釈は、中間抽出スライドの各々または少なくとも一方へ転送することができ、これは、例えば、参照スライドの一方の「前方」および他方の参照スライドの「後方」の中間スライドからの双方向レジストレーションを含むことができる。そのような双方向レジストレーションは、知られている画像レジストレーションを２度実行することを含んでもよく、例えば、特徴ベース画像レジストレーション、動的輪郭モデルを用いた画像レジストレーション、シェイプコンテキストを用いた画像レジストレーション、またはレベルセット法を用いた画像レジストレーションに基づくことができる。前後のレジストレーションを取得すると、次いで、各注釈は、根底にある画像データとの一致性における注釈の形状および／または位置を調整し、それによって「前方注釈」および「後方注釈」を取得することによって中間スライドへ伝達されてもよく、ただし、形容詞「前方の」および「後方の」は、ここで、例えば、連続のより先またはより後の一連の病理スライド内のそれぞれの注釈の起源を指す。次いで、両注釈は、例えば、距離変換などの技法に基づいて、シェイプコンテキストに基づいて、またはモフォロジー演算によって、例えば、２つの注釈間の重複を用いることによって結合することができる。特定の例は、両注釈が両注釈の論理「積」、すなわち、積集合として、または両注釈の論理「和」、すなわち、和集合として結合できるものであり得る。
別の特定の例は、２つの符号付き距離変換画像を取得するために、符号付き距離変換が各転写された注釈に適用されてもよいものである。次いで、両符号付き距離変換画像は、共に加算することができ、結合された注釈領域が、加算された画素値が正である領域として決定され得る。
両注釈が、例えば、形状の観点であまりに異なる場合、注釈を生成するシステム（例えば、図９のシステム）によって、Ｈ＆Ｅで中間スライドを染色すること、およびスライドを注釈付けすることがアドバイスされてもよい。次いで、このスライドは、参照スライドとして使用することができ、それによって一連の病理スライド中の参照スライド間の平均距離を減少させ、それによって両注釈があまりに異なる可能性を低下させる。概して、適合品質尺度は、中間スライドを染色することおよび中間スライドに注釈付けすることが必要であるかについて決定するために、注釈間および／または画像データ間の差異を評価するのに使用することができる。特定の例は、伝達された第１の注釈および／または伝達された第２の注釈の変形の大きさとして、例えば、変換パラメータの１セットによって定められる変換の非剛体成分の大きさとして、適合品質を表すことができるものである。さらにまたは代替として、適合品質は、伝達された第１の注釈および伝達された第２の注釈の形状の差異または表面エリアの重複として表され得る。例えば、形状の差異は、注釈の輪郭の差異によって定量化することができる。
図８などを参照して説明されるような技法は、適切に構成されたシステムまたはコンピュータにより実施される方法によって実施することができる。
図９は、一連の病理スライドのデジタル版を表す一連の画像を用いて一連の病理スライドにおける組織解剖のための１つ以上の領域を決定するためのシステム３００を示す。システム３００は、一連の画像の画像データ４１０にアクセスするように構成されたデータインタフェース３２０を備える。図９の例では、データインタフェース３２０は、画像データ４１０を含む外部データストレージ４００に接続されるように示されている。例えば、データストレージ４００は、システム３００が接続され得るまたは中に含まれる病院情報システム（ＨＩＳ）の画像保管通信システム（ＰＡＣＳ：Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）によって構成されてもよく、またはその一部であってもよく、あるいはハードドライブ、ＳＳＤ、またはその配列などの任意の他のタイプのデータストレージであってもよい。したがって、システム３００は、外部データ通信を介して画像データ４１０にアクセスすることができる。代替として、画像データ４１０は、システム３００の内蔵データストレージ（図示せず）からアクセスされてもよい。概して、データインタフェース３２０は、ローカルエリアネットワーク（ＬＡＮ）またはインターネットなどのワイドエリアネットワーク（ＷＡＮ）へのネットワークインタフェース、内蔵または外部データストレージへのストレージインタフェース等などの様々な形態をとることができる。
システム３００は、データ通信３４２を介してデータインタフェース３２０と内部的に通信するように構成されたプロセッササブシステム３４０を備えるようにさらに示される。プロセッササブシステム３４０は、データ通信３４４を介してユーザインタフェースサブシステム３６０と内部で通信するようにさらに示されている。ユーザインタフェースサブシステム３６０は、システム３００の動作中、ユーザが、例えば、グラフィカルユーザインタフェースを用いてシステム３００と対話することを可能にするように構成されてもよい。ユーザインタフェースサブシステム３６０は、ユーザによって操作可能なユーザ入力デバイス４４０からユーザ入力データ４４２を受信するように構成されたユーザ入力インタフェース３８０を備えるように示されている。ユーザ入力デバイス４４０は、限定するものではないがコンピュータマウス、タッチスクリーン、キーボード、マイクロフォンなどを含む様々な形態をとることができる。図９は、コンピュータマウス０８０であるユーザ入力デバイスを示す。概して、ユーザ入力インタフェース３８０は、ユーザ入力デバイス４４０のタイプに対応するタイプとすることができ、すなわち、それは、ユーザデバイスインタフェース３８０のそれに対応するタイプであり得る。
ユーザインタフェースサブシステム３６０は、システム３００の出力を視覚化するために表示データ４２２をディスプレイ４２０へ提供するように構成されたディスプレイ出力インタフェース３７０を備えるようにさらに示されている。図９の例では、ディスプレイは、外部ディスプレイ４２０である。代替として、ディスプレイは、内蔵ディスプレイであってもよい。ディスプレイ出力インタフェース３７０の代わりに、ユーザインタフェースサブシステム３６０は、ユーザに感覚認知のやり方で出力データをレンダリングするように構成された別のタイプの出力インタフェースを備えることもできることに留意されたい。
プロセッササブシステム３４０は、システム３００の動作中に、およびユーザインタフェースサブシステム３６０を用いて、ユーザが、画像データに注釈付けすることを可能にする、詳細には、一連の画像の第１の画像中の組織解剖のための第１の領域を識別する第１の注釈を与えるとともに、一連の画像の第２の画像中の組織解剖のための第２の領域を識別する第２の注釈を与えることを可能にするユーザインタフェースを確立するように構成することができ、第１の画像および第２の画像は、一連の中間画像によって一連の画像中で隔てられる。いくつかの実施形態では、第１および第２の注釈は、プロセッササブシステム３４０によって（半）自動で取得することができることに留意されたい。この場合には、ユーザの役割は変化し、ユーザデータ（入力４４２および出力４２２）は、その異なる役割に適合され得る。概して、手動、半自動、または自動注釈は、コンピュータ可読方式で第１の注釈および第２の注釈を定める注釈入力データという結果になり得、このデータは、例えば、プロセッササブシステムのメモリインタフェースであり得るかまたは注釈入力データがータストレージ４００に記憶される場合、データインタフェース３２０と同じまたは同じタイプのデータインタフェースであり得るさらなるデータインタフェース（図９に別個に図示せず）を介して、プロセッササブシステム３４０によってアクセス可能である。例えば、図８および図１０を参照すると、プロセッササブシステム３４０は、他のところに記載したように一連の中間画像から１つ以上の中間画像についての注釈を生成するようにさらに構成され得る。その結果として、データストレージ４００に記憶され得る、および／または組織解剖システムによって使用され得る注釈出力データ４１２が取得できる。
図９に示されていないが、いくつかの実施形態では、システム３００は、１つ以上の中間画像について生成される１つ以上の注釈に基づいて１つ以上の中間画像に対応する１つ以上の病理スライドから組織を解剖するための組織解剖システムを制御するように、組織解剖システムへのインタフェースを備えることができる。他の実施形態では、システム３００は、例えば、そのサブシステムの形態で、そのような組織解剖システムの一部であり得る。さらに、いくつかの実施形態では、プロセッササブシステム３４０は、中間画像中の注釈の適合品質を決定し、適合品質が適合品質基準を満足しない場合、第１の画像と第２の画像の間の一連の中間画像に含まれる第３の画像中の第３の注釈を与えるようにユーザにアラートするように構成することができる。例えば、プロセッササブシステム３４０は、ユーザインタフェースサブシステム３６０を介してディスプレイ４２０による表示のために画面上の警告を生成することができる。いくつかの実施形態では、プロセッササブシステム３４０は、ユーザインタフェースサブシステム３６０を介して、例えば、場所を指定する画面上のメッセージとして、またはディスプレイ４２０上の特定のスライドの視覚的表示を強調することによって、一連の画像内の第３の画像の推奨場所を示すこともできる。概して、プロセッササブシステム３４０は、ユーザインタフェースサブシステム３６０を介して、中間の第３の参照スライドの第３の参照画像を用いて第３の注釈を与えるために実行されるユーザへの命令を与えることができる。いくつかの実施形態では、新たに染色されたスライドが再びデジタル化されると、プロセッササブシステム３４０は、ユーザインタフェースサブシステム３６０を介して、前記スライドに注釈付けするようにユーザを促すことができる。注釈を取得すると、そして、次いで、プロセッササブシステム３４０は、抽出スライドについての注釈を生成するために参照スライドとして新たに染色されたスライドを用いて進行することができる。
概して、システム３００は、単一のデバイスまたは装置、例えば、ワークステーションまたは病理学システム、例えば、組織解剖システムまたはそのような組織解剖システムとインタフェースする病理学システムとして具現化されてもよく、またはそれらに具体化されてもよい。デバイスまたは装置は、１つ以上のマイクロプロセッサ、例えば、ＣＰＵおよび／またはＧＰＵを備えることができ、これは一緒になって、プロセッササブシステムを表すことができ、適切なソフトウェアを実行することができる。ソフトウェアは、ダウンロードされていてもよく、および／または対応するメモリ、例えば、ＲＡＭなどの揮発性メモリ、またはフラッシュなどの不揮発性メモリに記憶されてもよい。代替として、システム、例えば、データインタフェース、ユーザ入力インタフェース、ディスプレイ出力インタフェース、およびプロセッササブシステムの機能ユニットが、プログラマブルロジックの形態で、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）として、デバイスまたは装置に実現されてもよい。概して、システムの各機能ユニットは、回路の形態で実現することができる。システム３００は、例えば、異なるデバイスまたは装置を含む分散したやり方で実現することもできることに留意されたい。例えば、分散は、例えば、サーバおよびシンクライアントを用いるクライアントサーバーモデルに従うことができる。例えば、画像レジストレーションおよび注釈の伝達などの計算的に複雑な演算が、１つ以上のサーバによって、例えば、１つ以上のクラウドベースサーバ、または高性能コンピューティングシステムによって実行されてもよく、一方、注釈は、例えば、クライアントに接続されるユーザ入力デバイスを動作させることができるユーザによって、クライアントで生成され得る。そのような例では、システム３００のプロセッササブシステムは、分散サーバおよび／またはクライアントのマイクロプロセッサによって表すことができる。
図１０は、一連の病理スライドのデジタル版を表す一連の画像を用いて一連の病理スライドにおける組織解剖のための１つ以上の領域を決定するための方法５００を示す。方法５００は、「第１の画像中の第１の注釈を取得する」と題されたステップにおいて、一連の画像の第１の画像中の組織解剖のための第１の領域を識別する第１の注釈を取得すること５１０を含むように示されている。方法５００は、「第２の画像中の第２の注釈を取得する」と題されたステップにおいて、一連の画像の第２の画像中の組織解剖のための第２の領域を識別する第２の注釈を取得すること５２０を含むようにさらに示されており、第１の画像および第２の画像は、一連の中間画像によって一連の画像中で隔てられる。方法５００は、「中間画像についての注釈を生成する」と題されたステップにおいて、１つ以上の画像の１つごとに、以下のステップ５４０－５８０を実行することによって、一連の中間画像から１つ以上の中間画像についての注釈を生成すること５３０を含むようにさらに示されている。すなわち、ステップ５３０は、「レジストレーションパラメータの第１のセットを決定する」と題されたステップにおいて、中間画像の第１の画像との少なくとも部分的なレジストレーションを表すレジストレーションパラメータの第１のセットを決定すること５４０を含むようにさらに示されている。ステップ５３０は、「レジストレーションパラメータの第２のセットを決定する」と題されたステップにおいて、中間画像の第２の画像との少なくとも部分的なレジストレーションを表すレジストレーションパラメータの第２のセットを決定すること５５０を含むようにさらに示されている。ステップ５３０は、「中間画像に第１の注釈を伝達する」と題されたステップにおいて、レジストレーションパラメータの第１のセットを用いて第１の画像から中間画像へ第１の注釈を伝達すること５６０を含むようにさらに示されている。ステップ５３０は、「中間画像に第２の注釈を伝達する」と題されたステップにおいて、レジストレーションパラメータの第２のセットを用いて第２の画像から中間画像へ第２の注釈を伝達すること５７０を含むようにさらに示されている。ステップ５３０は、「伝達された第１の注釈と第２の注釈を結合する」と題されたステップにおいて、中間画像中の注釈を取得するために、前記伝達された第１の注釈と第２の注釈を結合すること５８０を含むようにさらに示されている。
概して、図１０の方法５００のステップは、適用可能な場合、例えば、入出力関係によって必要とされる特定の順番を受けて、任意の適切な順番で、例えば、連続して、同時に、またはそれらの組合せで実行することができることを理解されよう。方法５００は、コンピュータにより実施される方法として、専用ハードウェアとしての、または両方の組合せとしてのコンピュータ上で実施することができる。また、図１１に示されるように、コンピュータのための命令、例えば、実行可能コードは、例えば、機械可読物理的マークの連続６１０の形態で、および／または異なる電気的、例えば、磁気的または光学的な特性または値を有する一連の要素として、コンピュータ可読媒体６００に記憶することができる。実行可能コードは、一時的または非一時的なやり方で記憶することができる。コンピュータ可読媒体の例には、メモリデバイス、光学記憶デバイス、クラウド記憶デバイスなどが含まれる。図１１は、光ディスク６００を示す。
上述した実施形態は、本発明の限定ではなく、当業者が多くの代替実施形態を設計することができることを示すことに留意されたい。特許請求の範囲において、カッコ内に配置される任意の参照符号は、請求項を限定するものと解釈されるべきではない。動詞『備える、含む（ｃｏｍｐｒｉｓｅ）』およびその活用形の使用は、請求項に示された要素以外の要素またはステップの存在を除外しない。要素に先立つ冠詞『１つの（ａ）』または『１つの（ａｎ）』は、複数のそのような要素の存在を除外しない。「少なくとも１つの」などの表現は、要素のリストまたは群に先立つとき、このリストまたは群からの要素の全部または任意のサブセットの選択を表す。例えば、表現「Ａ、Ｂ、およびＣの少なくとも１つ」は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方、またはＡ、Ｂ、およびＣの全部を含むと理解されたい。本発明は、いくつかの別個の要素を含むハードウェアによって、および適切にプログラムされたコンピュータによって実施することができる。いくつかの手段を挙げるデバイスの請求項では、これらの手段のいくつかは、ハードウェアの１つの同じ物によって具現化されてもよい。いくつかの方策が相互に異なる従属請求項に挙げられているという単なる事実は、これらの方策の組合せが利益をもたらすように使用できないということを示さない。

Claims (15)

  1. 一連の病理スライド（３０－８６）のデジタル版を表す一連の画像を用いて一連の病理スライドにおける組織解剖のための１つ以上の領域を決定するためのコンピュータにより実施される方法（５００）であって、
    － 一連の画像のうちの第１の画像中の組織解剖のための第１の領域を識別する第１の注釈（２０１）を取得すること（５１０）と、
    － 一連の画像のうちの第２の画像中の組織解剖のための第２の領域を識別する第２の注釈（２０２）を取得すること（５２０）であって、第１の画像および第２の画像が一連の中間画像によって一連の画像中で隔てられている、こと（５２０）と、
    － 一連の中間画像から１つ以上の中間画像についての注釈（２５１、２５２）を生成すること（５３０）であって、前記１つ以上の画像の１つごとに、
    － 中間画像の第１の画像との少なくとも部分的なレジストレーションを表すレジストレーションパラメータの第１のセットを決定し（５４０）、
    － 中間画像の第２の画像との少なくとも部分的なレジストレーションを表すレジストレーションパラメータの第２のセットを決定し（５５０）、
    － レジストレーションパラメータの第１のセットを用いて第１の画像から中間画像へ第１の注釈を伝達し（５６０）、
    － レジストレーションパラメータの第２のセットを用いて第２の画像から中間画像へ第２の注釈を伝達し（５７０）、
    － 中間画像中の注釈を取得するように前記伝達された第１の注釈と第２の注釈を結合する（５８０）
    ことによって注釈（２５１、２５２）を生成すること（５３０）と、
    を含む、方法（５００）。
  2. － レジストレーションパラメータの第１のセットおよびレジストレーションパラメータの第２のセットが、変形可能レジストレーションをそれぞれ定め、
    － 中間画像へ第１の注釈（２０１）を伝達すること、および中間画像へ第２の注釈（２０２）を伝達することが、レジストレーションパラメータのそれぞれのセットに基づいてそれぞれの注釈を変形することをそれぞれ含む、
    請求項１に記載の方法（５００）。
  3. － 中間画像中の注釈の適合品質を決定することと、
    － 適合品質が適合品質基準を満足しない場合、第１の画像と第２の画像の間の一連の中間画像に含まれる第３の画像中の第３の注釈を与えるようにユーザにアラートすることと
    をさらに含む、請求項１または２に記載の方法（５００）。
  4. ユーザにアラートすることは、一連の中間画像内の第３の画像の場所、または一連の病理スライド内の対応する病理スライドの場所を示すことを含む、請求項３に記載の方法（５００）。
  5. － 中間画像中の注釈の適合品質を決定することが、伝達された第１の注釈の第１の適合品質、および伝達された第２の注釈の第２の適合品質を決定することを含み、
    － 方法が、第１の適合品質と第２の適合品質の比較に基づいて第３の画像の場所を決定することをさらに含む
    請求項４に記載の方法（５００）。
  6. － 第１の画像および第３の画像が、中間画像の第１のサブシリーズによって一連の画像中で隔てられており、
    － 第２の画像および第３の画像が、中間画像の第２のサブシリーズによって一連の画像中で隔てられており、
    － 第１の注釈および第３の注釈に基づいて、中間画像の第１のサブシリーズの１つ以上の中間画像についての注釈を生成することと、
    － 第２の注釈および第３の注釈に基づいて、中間画像の第２のサブシリーズの１つ以上の中間画像についての注釈を生成することとをさらに含む、
    請求項３から５のいずれか一項に記載の方法（５００）。
  7. 適合品質を決定することが、伝達された第１の注釈および伝達された第２の注釈の形状の差異、または表面エリアの重複を決定することを含む、請求項３から６のいずれか一項に記載の方法（５００）。
  8. － 伝達された第１の注釈および／または伝達された第２の注釈の変形の大きさを決定することによって中間画像中の注釈の適合品質を決定することと、
    － 適合品質が適合品質基準を満足しない場合、第１の画像と第２の画像の間の一連の中間画像に含まれる第３の画像中の第３の注釈を与えるようにユーザにアラートすることと
    をさらに含む、請求項２に記載の方法（５００）。
  9. レジストレーションパラメータの第１のセットおよびレジストレーションパラメータの第２のセットが、
    － 特徴ベース画像レジストレーション、
    － 動的輪郭モデルを用いた画像レジストレーション、
    － シェイプコンテキストを用いた画像レジストレーション、および
    － レベルセット法を用いた画像レジストレーション
    からなる群のうちの１つによって決定される、請求項１から８のいずれか一項に記載の方法（５００）。
  10. 第１の画像および第２の画像が、ヘマトキシリンエオジン（Ｈ＆Ｅ）染色病理スライドである、請求項１から９のいずれか一項に記載の方法（５００）。
  11. 一連の中間画像が、パラフィン中で染色されていない、パラフィンなしで染色されていない、および／またはヌクレアファストレッド（ＮＦＲ）を用いて染色された病理スライドである、請求項１から１０のいずれか一項に記載の方法（５００）。
  12. １つ以上の中間画像のために生成された１つ以上の注釈に基づいて、１つ以上の中間画像に対応する１つ以上の病理スライドから組織を解剖するように組織解剖システムを制御することをさらに含む、請求項１から１１のいずれか一項に記載の方法（５００）。
  13. 請求項１から１２のいずれか一項に記載のコンピュータにより実施される方法をプロセッサシステムに実施させるように構成された命令を表す一時的または非一時的データ（６１０）を含むコンピュータ可読媒体（６００）。
  14. 一連の病理スライドのデジタル版を表す一連の画像を用いて一連の病理スライド（３０－８６）における組織解剖のための１つ以上の領域を決定するためのシステム（３００）であって、
    － 一連の画像にアクセスするためのデータインタフェース（３２０）と、
    － 注釈入力データにアクセスするためのさらなるデータインタフェース（３６０）と、
    － プロセッササブシステム（３４０）と
    を備え、
    注釈入力データが、
    － 一連の画像のうちの第１の画像中の組織解剖のための第１の領域を識別する第１の注釈（２０１）、および
    － 一連の画像のうちの第２の画像中の組織解剖のための第２の領域を識別する第２の注釈（２０２）を定め、第１の画像および第２の画像が一連の中間画像によって一連の画像中で隔てられており、
    プロセッササブシステム（３４０）は、前記１つ以上の画像の１つごとに、
    － 中間画像の第１の画像との少なくとも部分的なレジストレーションを表すレジストレーションパラメータの第１のセットを決定し、
    － 中間画像の第２の画像との少なくとも部分的なレジストレーションを表すレジストレーションパラメータの第２のセットを決定し、
    － レジストレーションパラメータの第１のセットを用いて第１の画像から中間画像へ第１の注釈を伝達し、
    － レジストレーションパラメータの第２のセットを用いて第２の画像から中間画像へ第２の注釈を伝達し、
    － 中間画像中の注釈（２５１、２５２）を取得するように前記伝達された第１の注釈と第２の注釈を結合する
    ことによって一連の中間画像から１つ以上の中間画像についての注釈（２５１、２５２）を生成するように構成される、
    システム（３００）。
  15. 組織解剖システムの一部である、または組織解剖システムとインタフェースするように構成される、請求項１４に記載のシステム（３００）。
JP2021577407A 2019-07-03 2020-07-03 病理スライドにおける組織解剖のための領域の決定 Active JP7485384B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19184236.8 2019-07-03
EP19184236.8A EP3761032A1 (en) 2019-07-03 2019-07-03 Determining region(s) for tissue dissection in pathology slides
PCT/EP2020/068907 WO2021001564A1 (en) 2019-07-03 2020-07-03 Determining region(s) for tissue dissection in pathology slides

Publications (3)

Publication Number Publication Date
JP2022538191A JP2022538191A (ja) 2022-08-31
JPWO2021001564A5 JPWO2021001564A5 (ja) 2023-06-26
JP7485384B2 true JP7485384B2 (ja) 2024-05-16

Family

ID=67184785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021577407A Active JP7485384B2 (ja) 2019-07-03 2020-07-03 病理スライドにおける組織解剖のための領域の決定

Country Status (5)

Country Link
US (1) US20220375070A1 (ja)
EP (2) EP3761032A1 (ja)
JP (1) JP7485384B2 (ja)
CN (1) CN114080624A (ja)
WO (1) WO2021001564A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117813539A (zh) * 2021-07-23 2024-04-02 基因组健康股份有限公司 用于转移标记的系统和方法
EP4177835A1 (en) * 2021-11-08 2023-05-10 TECAN Trading AG Image registration with application in tissue treatment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011110282A (ja) 2009-11-27 2011-06-09 Ziosoft Inc 医療用画像処理装置及び医療用画像処理プログラム
JP2013506478A (ja) 2009-09-30 2013-02-28 インペリアル イノベ−ションズ リミテッド 医用画像処理方法および装置
JP2017500102A (ja) 2013-12-10 2017-01-05 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 解剖学的構造のモデルベースのセグメンテーション
WO2019005722A1 (en) 2017-06-26 2019-01-03 The Research Foundation For The State University Of New York SYSTEM, METHOD AND COMPUTER-ACCESSIBLE MEDIA FOR VIRTUAL PANCREATOGRAPHY

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101542527A (zh) * 2006-11-16 2009-09-23 维斯欧法姆有限公司 可组合图像的基于特征的配准
US8718350B2 (en) * 2011-04-08 2014-05-06 Regents Of The University Of Minnesota Computerized methods for tissue analysis
AU2015357091A1 (en) * 2014-12-03 2017-04-27 Ventana Medical Systems, Inc. Systems and methods for early-stage cancer prognosis
JP2018511036A (ja) * 2015-01-31 2018-04-19 エフ．ホフマン−ラ ロシュ アーゲーＦ． Ｈｏｆｆｍａｎｎ−Ｌａ Ｒｏｃｈｅ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ メソダイセクションのためのシステムおよび方法
EP3323108B1 (en) 2015-07-16 2022-07-13 Koninklijke Philips N.V. Digital pathology system
US10643396B2 (en) * 2016-11-11 2020-05-05 Microbrightfield, Inc. Methods and software for creating a 3D image from images of multiple histological sections and for mapping anatomical information from a reference atlas to a histological image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013506478A (ja) 2009-09-30 2013-02-28 インペリアル イノベ−ションズ リミテッド 医用画像処理方法および装置
JP2011110282A (ja) 2009-11-27 2011-06-09 Ziosoft Inc 医療用画像処理装置及び医療用画像処理プログラム
JP2017500102A (ja) 2013-12-10 2017-01-05 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 解剖学的構造のモデルベースのセグメンテーション
WO2019005722A1 (en) 2017-06-26 2019-01-03 The Research Foundation For The State University Of New York SYSTEM, METHOD AND COMPUTER-ACCESSIBLE MEDIA FOR VIRTUAL PANCREATOGRAPHY

Also Published As

Publication number Publication date
CN114080624A (zh) 2022-02-22
EP3994466B1 (en) 2023-07-19
US20220375070A1 (en) 2022-11-24
JP2022538191A (ja) 2022-08-31
EP3994466C0 (en) 2023-07-19
EP3994466A1 (en) 2022-05-11
EP3761032A1 (en) 2021-01-06
WO2021001564A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
US9946953B2 (en) Apparatus and method for processing images of tissue samples
CN109754361B (zh) 3d各向异性的混合网络：将来自2d图像的卷积特征传递到3d各向异性体积
US9965857B2 (en) Medical image processing
Beichel et al. Liver segmentation in contrast enhanced CT data using graph cuts and interactive 3D segmentation refinement methods
EP3025303B1 (en) Multi-modal segmentation of image data
US9129391B2 (en) Semi-automated preoperative resection planning
JP7485384B2 (ja) 病理スライドにおける組織解剖のための領域の決定
US11468567B2 (en) Display of medical image data
EP2415019A1 (en) Interactive iterative closest point algorithm for organ segmentation
JP2021533451A (ja) 医療画像内の視覚的オブジェクトの自動検出のためのシステムおよび方法
Debarba et al. Efficient liver surgery planning in 3D based on functional segment classification and volumetric information
JP7349158B2 (ja) 機械学習装置、推定装置、プログラム及び学習済みモデル
JP4885042B2 (ja) 画像処理方法および装置ならびにプログラム
US20180064409A1 (en) Simultaneously displaying medical images
Bellos et al. Reconstruction of cochlea based on micro‐CT and histological images of the human inner ear
US20150036903A1 (en) Lesion-type specific reconstruction and display of digital breast tomosynthesis volumes
WO2021030995A1 (zh) 基于vrds ai下腔静脉影像的分析方法及产品
JP7122918B2 (ja) 画像処理装置および画像処理方法
JP5394218B2 (ja) 医用画像表示装置および方法、並びにプログラム
WO2020159935A1 (en) Systems, methods, and media for automatically transforming a digital image into a simulated pathology image
WO2021081839A1 (zh) 基于vrds 4d的病情分析方法及相关产品
Vicente et al. Gradient‐based 3D skin roughness rendering from an in‐vivo skin image for dynamic haptic palpation
WO2021030994A1 (zh) 基于vrds ai静脉影像的识别方法及产品
CN114494300A (zh) 肝脏影像的分割方法及相关装置
WO2018159052A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230616

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240424

R150 Certificate of patent or registration of utility model

Ref document number: 7485384

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150