JP6840719B2 - デジタル病理学における情報変換 - Google Patents

デジタル病理学における情報変換 Download PDF

Info

Publication number
JP6840719B2
JP6840719B2 JP2018501160A JP2018501160A JP6840719B2 JP 6840719 B2 JP6840719 B2 JP 6840719B2 JP 2018501160 A JP2018501160 A JP 2018501160A JP 2018501160 A JP2018501160 A JP 2018501160A JP 6840719 B2 JP6840719 B2 JP 6840719B2
Authority
JP
Japan
Prior art keywords
sample
slide
image
slice
annotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018501160A
Other languages
English (en)
Other versions
JP2018528405A5 (ja
JP2018528405A (ja
Inventor
イェルテ ペーター ヴィンク
イェルテ ペーター ヴィンク
ルード フラッタース
ルード フラッタース
アンケ ピーリック
アンケ ピーリック
バス ハルスケン
バス ハルスケン
ラインホルド ウィンベルガー‐フリードル
ラインホルド ウィンベルガー‐フリードル
シグリンド ネールケン
シグリンド ネールケン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2018528405A publication Critical patent/JP2018528405A/ja
Publication of JP2018528405A5 publication Critical patent/JP2018528405A5/ja
Application granted granted Critical
Publication of JP6840719B2 publication Critical patent/JP6840719B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Sampling And Sample Adjustment (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By The Use Of Chemical Reactions (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Description

本発明は、デジタル病理に関し、より詳細には、生物学的物質のスライスを担持するスライド間の注釈の変換に関する。
病理医は、ケアサイクルの診断部分において中心的役割を果たす。生検の間患者から生物学的物質サンプルが採取されるとき、通常は、生検からの組織及び細胞の顕微鏡検査により潜在的な疾患の性質及び重要性に関して最終診断を行うのは病理医である。
一例では、顕微鏡検査のためのスライドは、以下のように複数の工程で調製されることができる。最初に、生物学的物質サンプルが、ホルマリン内に配置され、続いてパラフィンブロックへと加工される。このブロックから、薄い約5μmのスライスが切断される。次いで、これらのスライスの1つがスライドの基材、特にガラス基材に置かれ、その後1つ又は複数の染色物質が適用されることができる。その結果、関連する細胞又は組織部分が顕微鏡で可視となる。その後、マッチング流体及び/又は固定剤がスライスに適用されることができる。更に、約170マイクロメートルの薄い透明カバースリップがスライスの上部に配置されることができ、スライスが密閉される。これは、スライスを含むスライドの長期保存、特に10年以上の保存を可能にする。
病理学は典型的にはアナログな職業であるが、近年、診断効率及び品質を改善するため、デジタル病理学への移行が行われている。デジタル病理は、生物学、組織学及び/又は病理学の分野における生物学的物質、特にスライスを分析するのに必要な情報のデジタル化を指す。特に、デジタル病理は、生物学的物質サンプルから予め切断されたスライスのデジタル分子診断を指す。
デジタル病理の典型的な適応は、病理医がもはや自身で物理的にスライドを扱うことなく、診断のためスライド及び他の臨床情報から取られるデジタル画像を用いて作業することをもたらす。
適切な解剖技術、例えばレーザによる微小切開を使用して、スライドの基質により運ばれるスライスから1つ又はいくつかの小さな組織サンプルが切り出されることができる。小組織サンプルは、DNA遺伝子型決定又はRNA転写物プロファイリングのような更なる分子試験の対象となり得る。典型的には、病理医は、スライスにおいて1つ又は複数の関心領域を選択し、これは、以前に解説された解剖技術の対象となることができる。しばしば、この選択は、スライドの裏側にマーキングすることにより行われる。オペレータは、関心領域と周囲の組織サンプル領域とを分離するマーキングの線に沿って切断するため、集束されたレーザビームを使用することができる。次いで、更なる分子診断の対象となるよう、分離された組織サンプルが抽出される。
US2012/0045790A1号は、微小切開法及び情報処理システムに関する。生物学的物質サンプルにおける関心領域の選択及び関心領域での組織サンプルの抽出のステップを容易にするため、デジタル画像における関心領域に基づきサンプルスライスにおける関心領域の決定が提供される。この場合、それぞれの関心領域でサンプルスライスからサンプル組織が抽出される。
スライスの実際の処理は、スライスが2つ以上の関心領域を持つ場合があることを示す。斯かる関心領域は典型的には、互いに離間している。異なる関心領域を識別するため、注釈が、スライド、特にスライドの裏側に提供されることができる。従って、関心領域に関連付けられる注釈が、関心領域を識別するための識別子を含むことができる。更なる注釈、特に、スライスに関するコメント、腫瘍細胞の推定に関するパーセンテージノート、又は診断情報の文脈に関連する他の任意の情報がスライドに提供されることができる。典型的には、病理医は、少なくとも1つの関心領域がマークされる、いわゆる基準スライドに注釈を付ける。更に、各々がサンプルスライスを含む、いわゆるサンプルスライドが提供される。好ましくは、基準スライドの基準スライス及びサンプルスライドのサンプルスライスが、ブロック形状を持つことができる生物学的物質から切断される。基準スライス及びサンプルスライスは典型的には、検査室に送られる。そこでは、技術者が通常、基準スライドの情報に基づき、基準スライドの関心領域に対応する少なくとも1つのサンプルスライドにおける領域を手動で識別する。従って、サンプルスライドを扱うとき、注釈の手動トレースが存在する。
基準スライドにおいて提供される情報のサンプルスライドへの変換を容易にする必要があり、そこでは基準スライド及びサンプルスライドが同じ生物学的物質ブロックのスライスを含む。
本発明の目的は、独立請求項の主題により解決され、更なる実施形態は、従属請求項に組み込まれる。
本発明の第1の態様によれば、基準提供ユニットと、サンプル提供ユニットと、認識ユニットと、決定ユニットと、イラストユニットとを有する装置が提供される。基準提供ユニットは、生物学的物質を含む対象の基準スライスを含む基準スライドのデジタル基準画像を提供し、上記基準画像においてデジタル注釈を提供するよう構成される。サンプル提供ユニットは、上記対象のサンプルスライスを含むサンプルスライドのデジタルサンプル画像を提供するよう構成される。認識ユニットは、上記基準画像と上記サンプル画像との間の空間リンクを提供するため、上記基準画像と上記サンプル画像との間の認識を実行するよう構成される。決定ユニットは、上記空間リンクに基づき、上記サンプルスライドにおける注釈に関する注釈位置を決定するよう構成される。イラストユニットは、上記サンプルスライドにおける注釈位置で上記注釈を物理的に示すよう構成される。
サンプルスライスの処理及び/又はサンプルスライドにより運ばれるサンプルスライスのサンプル組織の解剖を容易にするため、装置は、関連付けられる注釈がスライド上に視覚的に直接現れるという利点を提供し、サンプルスライドにおける注釈の配置は、基準スライドにおける注釈の配置に対応する。従って、スライドの形状、又はスライドの他の特徴、特に関心領域に関する関連付けが維持されることができる。例えば、関心領域と注釈との間の関連付けを実現するため注釈が基準スライドにおける関心領域の近くに配置される場合、それぞれの注釈が、類似の配置でサンプルスライドに提供されることができる。関心領域がサンプルスライドにも提供される場合、近い配置が同様に現れることができる。より詳細には、注釈と関心領域との間の所望の関連付けが注釈により識別されることができる。従って、サンプルスライドのサンプルスライスからのサンプル組織の切開が単純化される。なぜなら、技術者が所望の関心領域を容易に識別することができるからである。更に、注釈は、検証目的で使用されることができる。
一例では、本装置は、好ましくは生物学、組織学及び/又は病理学の分野における診断、特に分子診断のための装置に関する。
更なる例では、この装置は、顕微鏡に関して、又は顕微鏡と共に使用される。
生物学的物質を有する対象は、生物学的物質のサンプル、特に物質のブロックを形成するサンプルに関する。従って、「対象」は、「対象サンプル」、「物質サンプル」又は「対象ブロック」と呼ばれることもできる。
「スライス」という用語は、対象のサンプル材料片に関し、特に、好ましくは薄い(例えば、約5マイクロメートル)スライスの形態の対象からの切片に関する。
一例では、スライドは、特に診断目的のため、スライスを支持及び/又は運ぶために提供されるキャリアに関する。スライドは、アーカイブ目的で、特にスライスを保存するために構成されることもできる。
一例では、用語「空間リンク」は、基準画像の特徴とサンプル画像の特徴との間の変換規則を指す。
一例では、デジタル基準画像は、基準スライスを担持する基準スライドのデジタル画像を指す。
一例では、デジタルサンプル画像は、サンプルスライスを運ぶサンプルスライドのデジタル画像を指す。
一例では、注釈は、ノート、マーキング、テキスト、スクリプト、図画、記号、図形、記号及び/又はアイコンの少なくとも1つに関する。
一例では、「注釈を物理的に示す」という用語は、注釈の実際の又は現実の外観に関連する。
例示的な実施形態によれば、上記基準スライスが、上記対象の染色されたスライスであり、上記サンプルスライスは、上記対象の染色されていないか又は異なって染色されたスライスである。
「染色された」という用語は、着色に関連する。染色は、スライスのコントラストを増加させ、及び/又はスライスの特定の関心特徴を強調することができる。
「染色されていない」という用語は、染色物質との化学的相互作用により使用されていないスライスに関する。
「異なって染色された」という用語は、染色のために使用される異なる化学的染色物質に関連する。例えば、H&E染色されたスライス及びH染色されたスライスは、異なって染色されたものである。
サンプルスライスが染色されていないか、又は異なって染色されている場合、サンプルスライスの関連する細胞又は関連する部分が見えない場合がある。しかし、サンプルスライドにおいて注釈を物理的に、及び従って特にサンプルスライス上に直接的に示すことにより、注釈と共に提供される情報は、サンプルスライドの取り扱いを容易にする。一例では、イラストレーションは、サンプルスライド又はサンプルスライスの関連領域を識別するのに役立つことがある。更なる例では、注釈のイラストレーションは、サンプルスライスの関心領域に関連付けられる関連情報を提供することができる。
例示的な実施形態によれば、上記イラストユニットが更に、上記サンプルスライドの上記サンプルスライスにおいて上記注釈を物理的に示すよう構成される。
結果として、注釈がサンプルスライスにおいて直接見えるように現れることができる。これは、サンプルスライスのサンプル組織の切開を容易にすることができる。
例示的な実施形態によれば、上記イラストユニットは、上記注釈及び/又は除去領域を視覚的に示すため、上記サンプルスライドに光を投射するプロジェクタ又はディスプレイを有する。
結果として、注釈は、サンプルスライド又はサンプルスライスの状態を変更することなく、サンプルスライス上に視覚的に直接現れることができる。従って、条件的に変化していないサンプル組織が、サンプルスライスから切開されることができる。
例示的な実施形態によれば、上記サンプルスライドにおける上記注釈及び/又は上記サンプルスライドにおける上記除去領域を物理的に示すため、上記イラストユニットは、上記サンプルスライドにインクを堆積させるインク堆積ユニットを有する。
結果として、注釈がサンプルスライスにおいて直接見えるように現れることができる。インクが堆積された後にサンプルスライスを動かすとき、注釈はサンプルスライドに維持される。この維持は、サンプルスライスのサンプル組織の切開の質を容易にする。なぜなら、切開は、スクレーピングにより行われることができるからである。サンプル組織をスクレーピングする間の変位は、サンプルスライドにおける注釈の位置を変更しない。
本発明の第2の態様によれば、スライド画像生成装置と、先の実施例の1つによる装置とを有するシステムが提供される。上記スライド画像生成装置が、上記基準スライドのデジタル基準画像を生成し、上記サンプルスライドのデジタルサンプル画像を生成するよう構成される。
結果として、システムは、基準スライドの注釈をサンプルスライドに自動的にコピーすることができる。
本発明の第3の態様によれば、注釈イラストレーション方法が提供される。この方法は、
a)生物学的物質を含む対象の基準スライスを含む基準スライドに関するデジタル基準画像を提供するステップと、
b)上記基準画像においてデジタル注釈を提供するステップと、
c)上記対象のサンプルスライスを含むサンプルスライドのサンプル画像を提供するステップと、
d)上記基準画像と上記サンプル画像との間の空間リンクを提供するため、上記基準画像と上記サンプル画像との間の認識を実行するステップと、
e)空間リンクに基づき、上記サンプルスライドにおける注釈に関する注釈位置を決定するステップと、
f)上記サンプルスライドの上記注釈位置に注釈を物理的に示すステップとを有する。
結果として、基準スライドの注釈が、少なくとも1つのサンプルスライドにコピーされることができる。いくつかのサンプルスライドが提供される場合、基準スライドの注釈は、各サンプルスライドにコピーされることができる。従って、この方法は、サンプルスライドに注釈を付ける労力を低減し、サンプルスライドにおける注釈の精度を高める。
例示的な実施形態では、イラストステップf)は、上記サンプルスライドのサンプルスライスにおいて物理的に上記注釈を示すステップを有する。
結果として、サンプルスライスのサンプル組織の解剖が容易されることができる。
本発明の第4の態様によれば、処理ユニットにより実行されるとき、上記方法ステップを実行するよう構成される、先行する実施例の1つによるデバイスを制御するためのコンピュータプログラムが提供される。
本発明の第5の態様によれば、本発明の前述の態様によるプログラムを記憶したコンピュータ可読媒体が提供される。
本発明の第6の態様によれば、サンプルスライスを保持するスライドが提供され、これは、サンプルスライスを運ぶための支持構造と、サンプルスライスにおける注釈及び/又は除去領域を記憶したコンピュータ可読媒体とを有する。
本発明の一態様によれば、注釈イラストレーション方法が提供される。この方法では、基準スライドに提供される注釈をサンプルスライドにコピーすることが意図される。典型的には、基準スライドの基準画像が、特に基準スライドを走査することにより提供される。従って、基準画像は、基準スライドにより運ばれる基準スライスに関する情報を持つ。更に、基準スライドは、関心領域と、関心領域に関連付けられることができる注釈とでマークされる。斯かる基準スライドが走査される場合、それぞれの基準画像は、マークされた関心領域に関する情報及び注釈を含む。
更に、サンプル画像を提供するため、サンプルスライスを担持するサンプルスライドが走査されることができる。サンプルスライス及び基準スライスは、生物学的物質の同じ対象から切断される。特に、サンプルスライスは、基準スライスを提供するため、材料ブロックの切断が行われた後に直接切断される。基準スライス及びサンプルスライスは同じ対象に由来するので、それらの特徴は、非常に類似している可能性が高い。この類似する特徴により、画像認識を実行して、基準画像とサンプル画像との間の変換規則が得られることができる。変換規則は、基準スライドとサンプルスライドとの間の空間リンクを形成することが好ましい。空間リンクに基づき、基準画像における画素、特徴又は任意の点の任意の位置情報が、サンプル画像における対応する位置に変換されることができる。従って、サンプル画像における注釈位置を決定することが好ましい。この場合、基準画像に与えられる同じ注釈がサンプル画像にコピーされることができる。従って、サンプル画像における注釈位置は、注釈がサンプルスライドにあることが望まれる位置である。従って、サンプル画像における注釈位置を決定することにより、サンプルスライドにおける注釈位置も決定される。決定された注釈位置に基づき、注釈、特にテキスト又は基準画像から既知の他の任意の符号、色若しくはテクスチャがサンプルスライドに物理的に適用される。例えば、注釈は、プロジェクタの光投影によりサンプルスライドに直接適用されることができる。代替的に、注釈は、サンプルスライド上、特にサンプルスライドのサンプルスライス上にインクで直接印刷されることができる。
対象ブロックを概略的に示す図である。 一連のスライドを概略的に示す図である。 基準画像の一例を示す図である。 サンプル画像の一例を示す図である。 本発明による装置の第1の例の概略構成を示す図である。 本発明による装置の第2の例の概略構成を示す図である。 基準画像の更なる例を示す図である。 サンプル画像の更なる例を示す図である。 基準画像の更なる例を示す図である。 ディスプレイに配置されるサンプルスライスの一例を概略的に示す図である。 本発明による装置の第3の例の概略構成を示す図である。 本発明による装置の第4の例の概略構成を示す図である。 本発明による装置の第5の例の概略構成を示す図である。 本発明による方法の一例の概略フローチャートを示す図である。
本発明のこれら及び他の側面は、本書に記載される実施形態から明らかとなり、及び実施形態を参照して説明されることになる。
本発明の例示的な実施形態が、以下の図面を参照して以下に説明される。
特に明記しない限り、異なる図面に現れる同一又は類似の参照番号は、同一又は類似の構成要素を示す。
本発明は、サンプルスライドにおける注釈のイラストレーションに関する。注釈のイラストレーションは、特に分子診断を用いて、デジタル病理の分野における分析を可能にするワークフローの効率及び/又は品質を高めることができる。個別の分析は、困難であり、特に細胞及び/又はそれらの形態の生物学的物質の微細構造の詳細な分析を必要とする場合がある。従って、正常なタイプ及び腫瘍タイプへの組織の分類は困難であり得る。サンプルスライドにおける注釈のイラストレーションは、ワークフローのパフォーマンスを向上させることができる。
図1は、対象10の一例を示す。
対象10は、生物学的物質を有する。一例では、対象10は、生物学的物質のサンプル、特に生物学的物質のブロックを形成するサンプルに関する。
従って、対象10は、「対象-サンプル」、「物質サンプル」又は「対象ブロック」と呼ばれることもできる。
一例では、一連のスライス16、18が対象10から切り出される。これらのスライスの1つは好ましくは、特にヘマトキシリン及びエオシン(H&E)で染色される。一般に、染色のため異なる物質が使用されることができる。
一例では、スライスを染色することは例えば、細胞、組織及び相互接続の間、特に個々の細胞内の筋繊維、結合組織、血液細胞及び/又は細胞小器官の間を区別することを可能にする。
一例では、「染色」という用語は、着色に関連する。従って、染色は好ましくは、スライスの生物学的物質のコントラストを高め、及び/又は好ましくは例えばスライスの生物学的物質の特定の関心特徴を強調する。
図2には、一連のスライド12、14が示される。このシリーズの前に、基準スライド12の一例が配置される。基準スライド12の後に、サンプルスライド14の例が配置される。
基準スライド12は、対象10の基準スライス16を有する。各サンプルスライド14は、関連付けられるサンプルスライス18(図示省略)を有する。スライス16、18は好ましくは、対象10から次々に切断される。従って、それらは同様の形状又はパターンを持つことができる。
サンプルスライド12のサンプルスライス16を分析した後、サンプルスライス12における関心領域20が特定されることができる。関心領域20は、基準スライス16で円で囲まれることができる。特に、関心領域20のマーキングは、病理医により行われることができる。一例では、関心領域20は、基準スライス16の領域に関連する。この領域で、特定の細胞、例えば腫瘍細胞が推定される。
更に、注釈22が基準スライド12に適用されることができる。
一例では、スライド12、14は、診断目的のため、特にスライス16、18を格納するアーカイブ目的のため、スライス16、18を支持及び/又は担持するために提供されるキャリアに関する。
更なる例では、スライド12、14は、透明基板24、例えばガラス基板24を有し、その上にスライス16、18が提供される。
一例では、スライス16、18を保護及び/又は保持するため、例えば薄いガラス層又は透明な板などのカバースリップ(図示省略)がスライス16、18及び基板24の上部に提供されることができる。
一例では、基準スライド12の透明基板24の裏面に注釈22が適用されることができる。特に、病理医はペンを使用して、注釈22を基板24の裏側に適用することができる。代替的に、注釈22は、基準スライド12の前面に適用されることができる。例えば、注釈22は、基準スライド12の透明基板24の前面及び/又は基準スライド12のカバースリップに適用されることができる。
一例では、注釈22は、注記、マーキング、テキスト、スクリプト、図画、記号、図形、記号及び/又はアイコンの少なくとも1つに関する。
一例では、注釈は、関心領域20に関連し得る。別の例では、注釈は、関心領域20、特に腫瘍細胞が推定される領域に関係しないか、又はマークしない場合がある。
一例では、関心領域20は、スライス12、14の領域に関連し、この領域は、例えば解析される組織を形成するなどの更なる目的のために除去されると考えられる。
一例では、「関心領域」という用語は、「除去領域」と呼ばれることができる。
図1を参照すると、スライス、特に基準スライス16及び/又はサンプルスライス18が、対象10から次々に1つずつ切断されることができる。従って、スライス16、18は、同様の形状又はパターンを持つことができる。
一例では、基準スライス16及びサンプルスライス18は、同じ対象10から切断される前に隣接していた。
図3は、基準スライド12の基準画像26を示す。
基準画像26は好ましくは、基準スライド12の上面図を示す。従って、基準画像26は、基準スライス16の画像を部分的に有する。更に、基準画像26は、デジタル形式の注釈22を有する。従って、基準画像26は、デジタル注釈22を有する。
一例では、基準画像26は、関心領域20に対応する円で囲まれた領域を示す。従って、基準画像26は、デジタル関心領域20を有することができる。
一例では、基準スライス16は、特に基準画像26が生成されるとき染色される。
一例では、病理医は、基準画像26において関心領域20をデジタル的に選択する。
一例では、基準画像26における関心領域20は、基準スライス16の形態又は染色パターンに基づかれる。
図4は、サンプルスライド14のサンプル画像28の一例を示す。
サンプル画像28は好ましくは、サンプルスライド14の上面図に関連する。
一例では、サンプルスライド14は、サンプルスライス18を担持する透明基板30を有する。
一例では、特にサンプル画像28が生成されるとき、サンプルスライス18は染色されず、かつ/又はパラフィン処理される。
図5は、本発明の一実施形態による装置32の第1の例を示す。装置32は、基準提供ユニット34と、サンプル提供ユニット36と、認識ユニット38と、決定ユニット40と、イラストユニット44とを有する。
基準提供ユニット34は、生物学的物質を含む対象10の基準スライス16を含む基準スライド12のデジタル基準画像26を提供し、基準画像26におけるデジタル注釈22を提供するよう構成される。
「デジタル基準画像」という用語は、「基準画像」とも呼ばれる。
「デジタル注釈」という用語は、「注釈」とも呼ばれる。
サンプル提供ユニット36は、対象10のサンプルスライス18を含むサンプルスライド14のデジタルサンプル画像28を提供するよう構成される。
「デジタルサンプル画像」という用語は、「サンプル画像」とも呼ばれる。
認識ユニット38は、基準画像26とサンプル画像28との間の認識を実行し、基準画像26とサンプル画像28との間の空間リンクを提供するよう構成される。
決定ユニット40は、サンプルスライド14における注釈22の注釈位置42を空間リンクに基づき決定するよう構成される。
イラストユニット44は、サンプルスライド14の注釈位置42に注釈22を物理的に示すよう構成される。
その結果、サンプルスライド14において注釈が視覚的に直接現れることができる。この登場(appearance)は、サンプルスライド14の取り扱いを容易にする。なぜなら、サンプルスライド14を取り扱う人が、基準スライドで注釈を絶えずチェックする必要がないからである。
一例では、サンプルスライド14における注釈22は、基準画像26における注釈22に対応する。特に、サンプルスライド14における注釈22は、基準画像26のデジタル注釈22の可視及び/又は実物のコピーとすることができる。
一例では、決定ユニット40は、少なくとも2つのステップで注釈位置42を決定するよう構成される。少なくとも2つのステップの第1ステップにおいて、決定ユニット40は、サンプル画像28における注釈22に関する注釈位置を空間リンクに基づき決定するよう構成することができる。サンプル画像28における注釈22は、基準画像26におけるデジタル注釈22のデジタルコピーであってもよい。少なくとも2つのステップにおける第2ステップにおいて、決定ユニット40は、サンプル画像28におけるデジタル注釈22の注釈位置に基づき、サンプルスライド14における注釈22に関する注釈位置42を決定するよう構成することができる。サンプルスライド14における注釈22は、サンプル画像28におけるデジタル注釈22の可視及び/又は実物のコピーであってもよい。
一例では、デジタルサンプル画像28は、サンプルスライス18を担持するサンプルスライド14のデジタル画像を指す。
一例では、基準提供ユニット34は、デジタル形式で基準画像26を受信するよう構成されるインターフェースを有する。
一例では、サンプル提供ユニット36は、カメラ46に接続されることができ、カメラ46は、サンプルスライド14のデジタルサンプル画像28を生成するよう構成される。サンプル提供ユニット36とカメラ46との間の接続は、カメラ46のデジタルサンプル画像28のデータをサンプル提供ユニット36に送信するよう構成されるデータ接続であってもよい。
カメラ46は、デジタルサンプル画像28を生成するよう構成される適切な種類のカメラとすることができる。
一例では、デジタルサンプル画像28は、サンプルスライス18を担持するサンプルスライド14のデジタル画像を指す。
一例では、基準提供ユニット34は、デジタル形式でデジタル基準画像26を受信するよう構成されるインターフェースを有する。
一例では、基準提供ユニット34は、カメラ(図示省略)に接続される。接続は、デジタル基準画像26に対応するデータを送信するためのデータ接続であってもよい。カメラは、デジタル基準画像26を生成するよう構成されてもよい。
更なる例では、基準提供ユニット34は、サンプル提供ユニット36と同じカメラ46に接続されていてもよい(図示省略)。
更なる例では、基準提供ユニット34及びサンプル提供ユニット36は、共通のユニットにより結合及び/又は形成される。
更なる例では、基準提供ユニット36及びサンプル提供ユニット36は、同じユニットであり、「提供ユニット」と呼ばれることができる。
一例では、基準画像26とサンプル画像28との間の認識は、画像認識又は画像レジストレーションにより提供される。
一例では、基準スライス16及びサンプルスライス18は、同じ対象10から、特に、順次、切断される。従って、基準スライス16及びサンプルスライス18は、類似の形状、パターン及び/又は他の特徴を持つ可能性が非常に高い。
一例では、基準画像26とサンプル画像28との間の認識は、基準画像26の特徴とサンプル画像28の特徴との間の変換規則を提供する。特徴は、個別のスライス16、18の形状及び/又は個別のスライス16、18のパターンに関連し得る。
一例では、「空間リンク」という用語は、基準画像26の特徴とサンプル画像28の特徴との間の変換規則を指す。
一例では、変換規則は、基準画像における位置のサンプル画像における対応する位置への変換のための規則を提供する。
一例では、空間リンクがデジタル注釈22に適用されることができる。従って、サンプル画像28における注釈22のコピーに対して注釈位置42を提供するため、空間リンクが、基準画像26におけるデジタル注釈22の位置に適用されることができる。一例では、決定ユニット40は、上述のステップを決定するよう構成されてもよい。
一例では、決定ユニット40は、空間リンクに基づきサンプル画像28における注釈22の注釈位置を決定し、その後、注釈位置をサンプルスライド14にマッピングするよう構成される。
一例では、サンプル画像28における注釈22の注釈位置に基づき、サンプルスライド14における注釈22の注釈位置42が決定される。決定ユニット40は、この決定を行うよう構成されることができる。
一例では、注釈位置は、注釈に関するサンプル画像28における位置に関連する。
一例では、注釈位置42は、注釈22を説明するためのサンプルスライド14における位置に関する。
一例では、注釈位置42は、サンプルスライド14の表面又はサンプルスライド14により搬送されるサンプルスライス16の表面における注釈を示すための位置に関する。言い換えると、決定ユニット40は、空間リンクに基づきサンプル画像28における注釈22の注釈位置42を決定し、その後注釈位置42をサンプルスライド14にマッピングするよう構成されることができる。
図5は、装置32の一例の概略構成を示す。
一例では、図5に示されるイラストユニット44は、サンプルスライド14における注釈位置42での光投影により注釈22を示すよう構成される。
一例では、「サンプルスライドにおける」という用語は、「サンプルスライド上で」を指すこともできる。
一例では、イラストユニット44は、サンプルスライド14における注釈位置42において注釈22を物理的に示すよう構成される。特に、注釈22は、サンプルスライド14の表面に物理的に示される。サンプルスライド14の表面は、少なくとも部分的にサンプルスライド14の基板30の表面により及び/又は少なくとも部分的にサンプルスライス18の表面により形成されることができる。
一例では、イラストレーションは、光及び/又はインクを用いて行われることができる。
一例では、「サンプルスライドにおける」という用語は、「サンプルスライド内で」を指すこともできる。
一例では、イラストユニット44は、サンプルスライド14における注釈位置42で注釈22を物理的に示すよう構成される。一例では、注釈22の物理的イラストレーションは、サンプルスライド14の基板30内及び/又はサンプルスライド14の基板30により搬送されるサンプルスライス18内に存在することができる。好ましくは、サンプルスライド14の基板30は透明である。
一例では、イラストユニット44は、サンプルスライド14において関心領域20を物理的に示すよう構成される。
一例では、基準スライド12のデジタル画像を提供するため、基準スライド12が走査されることができる。その後、デジタル注釈22を含む基準スライド12のデジタル基準画像26を形成するため、少なくとも1つの注釈22が、基準スライド12のデジタル画像にデジタル的に適用されることができる。
一例では、基準スライド12は、基板24、特に透明基板24を有し、基板24は、基準スライス16を担持する。更に、基準スライド12は、カバースリップを有することができる。これは、基準スライス16の上部に配置され、その結果、基準スライス16は、基板24とカバースリップとの間に配置される。
別の例では、サンプルスライド14は、基板30、特に透明基板30を有し、基板30はサンプルスライス18を担持する。サンプルスライド14がカバーレスであることが好ましい。従って、サンプルスライド14は、サンプルスライス18を覆うためのカバースリップを持たない場合がある。カバースリップがなければ、サンプルスライス18の生物学的物質は、更なる分析又は他の目的のために容易に切開されることができる。
装置32、特に装置32のカメラ46は、複数のサンプルスライド14のデジタルサンプル画像28を生成するよう構成されることができる。
一例では、装置32は、基準スライド12及び/又はサンプルスライド14を識別するよう構成されることができる。これは、特に複数のサンプルスライド14が同じ基準スライド12に割り当てられる場合、基準スライド12とサンプルスライド14との間の割り当てを容易にする。
一例では、基準スライド12及びサンプルスライド14はそれぞれ、例えばバーコード及び/又は電子記憶媒体といったデータキャリア、特にRFIDチップを有する。
一例では、基準スライド12のデータキャリア及び/又はサンプルスライド14のデータキャリアは識別目的のために使用されることができる。例えば、サンプルスライド14が識別され、基準スライド12に割り当てられる場合、装置32は、サンプルスライド14の注釈位置42において物理的に注釈22を示すよう構成されることができる。この注釈は、基準スライド12の基準画像26におけるデジタル注釈22に対応する。
装置32を使用することにより、サンプルスライド14のサンプルスライス18の生物学的物質の少なくとも一部を分析したい技術者は、基準スライド12に提供される情報について基準スライド12を絶えずチェックする必要はない。なぜなら、注釈22が、サンプルスライド14において物理的に示されることができるからである。従って、技術者は、基準スライド12からスライド14へと前後に切り替える必要はない。これにより、対象10の生物学的物質、特にサンプルスライス18の分析のワークフローの間に起こり得る誤り率が大幅に低減される。
更なる例では、基準スライス16は、対象10の染色されたスライスであり、サンプルスライス18は、対象10の染色されていないスライス又は異なって染色されたスライスである。
一例では、染色は、スライスの特徴の色付けに関する。例えば、染色は、スライスのコントラストを増加させ、及び/又はスライスの特定の関心特徴を強調することができる。
一例では、基準スライス16及び/又はサンプルスライス18は、ホルマリン固定パラフィン包埋(FFPE)とすることができる。
一例では、スライスを染色するための染色物質として、ヘマトキシリン(H)、エオシン(E)又はヘマトキシリンとエオシンとの組み合わせ(H&E)が適用されることができる。
一例では、スライスを染色することが、例えば細胞、組織及び相互連結の間、特に個々の細胞における筋繊維、結合組織、血液細胞、及び/又は細胞小器官の間を区別することを可能にする。
一例では、染色は、スライスの生物学的物質と染色に使用される染色物質との間の化学的相互作用により引き起こされ得る。
「染色されていない」という用語は、染色物質との化学的相互作用により使用されていないスライスに関する。従って、サンプルスライス18は、染色物質との化学的相互作用に適用されていない場合がある。
用語「異なって染色された」は、基準スライス16を染色するためのサンプルスライス18に関する異なる化学的染色物質に関連し得る。例えば、基準スライス16は、ヘマトキシリン及びエオシン(H&E)で染色され、サンプルスライスは、ヘマトキシリンのみで染色される(H染色)ことができる。この場合、基準スライス16とサンプルスライス18は異なって染色されている。
一例では、基準スライス16が染色され、その結果、所望の関心領域が識別される。
一例では、基準スライス16における除去領域を指すことができる関心領域は、基準スライス16の形態及び/又は染色パターンに基づかれる。
一例では、関心領域は、基準画像26、特に、染色された基準スライス16を有する基準スライド12の画像において特定されることができる。
図6は、装置32の更なる例を示す。
一例では、イラストユニット44は更に、サンプルスライド14のサンプルスライス18におけるサンプル位置42に物理的に注釈22を示すよう構成される。
一例では、用語「スライスにおいて」は、「スライス上で」を指すこともできる。特に、注釈は、サンプルスライス18の上面に物理的に示されることができる。
更なる例では、用語「スライスにおいて」は、「スライス内で」を指すこともできる。
一例では、注釈22は、物理的に照らされ、従ってサンプルスライス18において物理的に示されてもよい。これは、プロジェクタを有するイラストユニット44により行われることができる。
一例では、イラストユニット44は、レーザプロジェクタを有することができる。レーザプロジェクタは、レーザビームがサンプルスライス18で注釈22を示すことができるよう構成されることができる。
更なる例によれば、認識は、サンプル画像28における基準画像26の特徴の画像認識を有する。
画像認識は一般に、従来技術において知られている。サンプル画像28における基準画像26の特徴の画像認識は、基準画像26の特徴とサンプル画像28のそれぞれの特徴との間の変換規則を生成するために実行されてもよい。
更なる例によれば、認識は、基準画像26の位置合わせされた特徴A、B、C、Dとサンプル画像28の位置合わせされた特徴A'、B'、C'、D'との間の空間的リンクを提供するため、基準画像26とサンプル画像28との画像レジストレーションを有する。
基準画像26の位置合わせされた特徴A、B、C、Dが、図7に例示的に示される。
サンプル画像28の位置合わせされた特徴A'、B'、C'、D'が、図8に例示的に示される。
一例では、画像レジストレーションのため、基準画像26の少なくともいくつかの特徴A、B、C、Dが、サンプル画像28の類似の特徴A'、B'、C'、D'に投影される。
一例では、画像レジストレーションのため、基準画像26の少なくともいくつかの特徴A、B、C、Dの基準位置及び基準位置に対する基準ベクトルが決定され、サンプル画像28の少なくともいくつかの特徴A'、B'、C'、D'のサンプル位置及びサンプル位置に対するサンプルベクトルが決定され、それぞれ、それらの位置とベクトルとのマッチに基づき、空間リンクとしての空間変換規則が決定される。好ましくは、決定ユニット40は、斯かる決定を行うよう構成される。
別の例では、基準画像26と画像28との重ね合わせのコントラストが最大化され、空間リンクとしての空間変換規則が決定される。好ましくは、決定ユニット40が、この決定を実行するよう構成されることができる。
別の例では、レジストレーションは、空間リンクとして空間変換規則を決定するため、サンプル画像28にマッチする基準画像26のラッピングを有することができる。好ましくは、決定ユニット40が、この決定を行うよう構成されることができる。
一例では、レジストレーションは、基準画像26の基準フレームとサンプル画像28のサンプルフレームとの空間的マッチングをもたらす。
一例では、基準座標が基準スライド12に対して決定され、変換に基づき空間リンクを決定するため、基準座標がサンプルスライド14に関するサンプル座標に転送される。好ましくは、決定ユニット40は、この決定を行うよう構成される。
更なる例によれば、基準提供ユニット34は、基準画像26における基準除去領域を提供するよう構成される。この場合、デジタル注釈22は好ましくは、基準除去領域48に関して更なる情報を提供するデジタルノートである。
図9には、基準画像26の別の例が提供される。基準画像26は、基準スライド12の上面図の画像に対応する。基準スライド12は、基準スライス16を有する。更に、除去領域48が示される。
一例では、除去領域48は、基準スライス16の一部に関係する。
一例では、除去領域48は、更なる目的のために除去されると考えられる基準画像26又は基準スライス16における領域、例えば解析される生体材料組織を形成する領域に関連する。従って、代わりに「除去領域」という用語が使用されることができる。
図9に例示的に示されるように、「20%」という用語は、デジタル注釈22に対応することができ、従ってデジタルノートであることができる。デジタルノートは、基準除去領域48に関する更なる情報を有する。特に、病理医は、腫瘍細胞が除去領域48に位置する確率として「20%」と記述した。
一例では、デジタル注釈22は、基準スライス16の外側、特に基準スライド12の基板24の上面にあってもよい。
一例では、特に前述の文脈に関して、デジタル注釈22は、除去領域48に関連していなくてもよい。好ましくは、除去領域48は、基準スライス16を描く基準画像26における領域に関する。更に好ましくは、デジタル注釈22は、基準スライス16を描く領域の外側の領域で基準画像26に配置される。
一例では、デジタルノートは、マーキング、テキスト、スクリプト、描画、色、サイン、図形、記号及び/又はアイコンの少なくとも1つに関する。
更なる例では、異なる色が使用されることができる。例えば、サンプルスライスにおける異なる領域をマークするのに異なる色が使用されることができる。ある実施形態では、関心腫瘍領域を輪郭描写するのに第1の色のインクが使用されることができ、関心参照領域(例えば健康な組織)をマークするのに、第2の色のインクが使用されることができる。
更なる例によれば、決定ユニット40は更に、空間リンクに基づき、サンプルスライド14における除去領域48に関する除去位置を決定するよう構成される。
一例では、決定ユニット40は、サンプル画像28における基準除去領域48のコピーであってもよい除去領域に関する除去位置を空間リンクに基づき決定するよう構成される。更に好ましくは、決定ユニット40は、サンプル画像28における除去位置に基づき、サンプルスライド14においてこの除去領域に関する対応する除去位置を決定するよう構成されることができる。
一例では、イラストユニット44は更に、除去領域48、特に、基準画像26において除去領域48に対応する除去領域を、サンプルスライド14の除去位置50において物理的に示すよう構成される。
図10は、ディスプレイ52に配置されるサンプルスライス18の一例を示す。
一例では、イラストユニット44は、注釈22及び/又は除去領域48を視覚的に示すため、サンプルスライド14に光を投射するディスプレイ52を有する。
一例では、ディスプレイ52は、LCDディスプレイとして形成されることができる。
一例では、サンプルスライド14は、ディスプレイ52、特にディスプレイ52の上面54に配置される。代替的に、サンプルスライド14は、ディスプレイ52の前面、特にディスプレイ52の上面54の前面に置かれることができる。サンプルスライド14とディスプレイ52との間の相対的な位置は固定されることができる。一例では、ディスプレイ52は、スライド14が配置される領域56を強調表示することができる。
更なる例では、ディスプレイ52は、サンプルスライド14上に光を投影することができ、その結果、注釈22及び/又は除去領域48がサンプルスライド14の中又は上に表示される。好ましくは、サンプルスライス18は、サンプルスライド14の透明基板30に配置される。従って、ディスプレイ52は、サンプルスライス18において注釈22及び/又は除去領域48を照らすよう構成されることができる。
一例では、イラストユニット44は、サンプルスライド14又はサンプルスライス18において直接光を投影するよう構成される。
更なる例によれば、イラストユニット44は、注釈22又は除去領域48を視覚的に示すため、サンプルスライド14に光を投射するプロジェクタを有する。
更なる例では、ディスプレイ52は、サンプルスライド14の透明基板30の裏側に配置される。
一例では、サンプルスライド14は、ディスプレイ52に取り外し可能に取り付けられる。従って、サンプルスライド14とディスプレイ52との間の機械的整列が実現されることができる。
更なる例によれば、イラストユニット44は、サンプルスライド14において注釈22を物理的に示すため、及び/又はサンプルスライド14の除去領域50を示すため、サンプルスライド14にインクを堆積させるインク堆積ユニット58を有する。
図11は、装置32の更なる例の概略構成を示す。
装置32は、顕微鏡(図示省略)と共に使用されることができる。一例では、装置32は、スライド16、18用のホルダ60を有する。
一例では、スライドホルダ60は、サンプルスライド14を取り外し可能に保持及び/又は担持するよう構成される。
一例では、ホルダは、ディスプレイ52又はプロジェクタに対してそれぞれ固定される。
一例では、イラストユニット44は、サンプルスライド14において注釈22を物理的に示すため、及び/又はサンプルスライド14の除去領域50を示すため、サンプルスライド14にインクを堆積させるインク堆積ユニット58を有する。
一例では、装置32は、ホルダ60の背面に配置されるバックライトを有する。
一例では、インク堆積ユニット58は、ホルダ60の上側に配置される。従って、ホルダ60は、インク堆積ユニット58とバックライト62との間に配置されることができる。サンプルスライド14がホルダ60により保持される場合、サンプルスライド14は、インク堆積ユニット58とバックライト62との間に配置され得る。
一例では、小さなスリットがホルダ60により与えられ、サンプルスライド14の間に介在することができる。
一例では、バックライトは、サンプルスライド14の表面において、特にサンプルスライド14の透明基板30により搬送されるサンプルスライス18に照明を提供するよう構成される。
一例では、サンプルスライス18が、パラフィン64を用いて埋め込まれることができる。
一例では、インク堆積ユニット58は、サンプルスライド14にインクを堆積させるよう構成される。好ましくは、注釈22がサンプルスライド14の注釈位置42に印刷されるよう、インクが堆積される。
一例では、サンプルスライド14が、ホルダ60に配置され、その結果、サンプルスライス18が、サンプルスライド14の透明基板30とバックライト62との間に配置される。従って、インク堆積ユニット58は、サンプルスライド14の基板30の裏側に注釈22を印刷するよう構成される。言い換えれば、イラストユニット44は、サンプルスライス18から離れたサンプルスライド14の表面にインクを堆積させるよう構成されることができる。
図12には、装置32の更なる例の概略的な構成が示される。サンプルスライド14の向きを参照する説明を除いて、図11の説明が参照される。
一例では、サンプルスライド14は、サンプルスライド14の基板30が、サンプルスライド14のサンプルスライス18とバックライト62との間に配置されるように、ホルダ60により保持されることができる。
一例では、特に脱パラフィンされたサンプルスライド14が使用される場合、インクは、インク堆積ユニット58により直接サンプルスライス18に堆積され得る。
図13は、装置32の更なる例の概略的な構成を示す。インク堆積ユニット58を除いて、図12の説明が参照される。この場合、インク堆積ユニット58は、少なくとも1つのペンを備えるプロッタである。
一例では、インク堆積ユニット58で堆積されるインクは、ペンでプロットすることにより実行され得る。プロットは、サンプルスライド14に直接適用されることができる。
一例では、プロットは、サンプルスライド14の透明基板30の裏側に適用されることができる。代替的に、更なる例によれば、プロットは、サンプルスライド14のサンプルスライス18に直接適用されることができる。
更なる例によれば、スライド画像生成装置と、先の実施例の1つによる装置とを有するシステムが提供される。スライド画像生成装置は好ましくは、基準スライド12のデジタル基準画像26を生成し、サンプルスライド14のデジタルサンプル画像28を生成するよう構成される。
一例では、スライド画像生成装置はカメラ46である。
一例では、スライド画像生成装置は、スライドハンドリングユニットとデジタルカメラ46とを有する。カメラ46は、ハンドリングユニットを一時的に保持するスライスのデジタル画像データを取得し、例えば、基準提供ユニット34及び/又はサンプル提供ユニット36により形成される処理ユニットにデータを提供するよう構成されることができる。処理ユニットは、認識ユニット38及び/又は決定ユニット40を有することもできる。
図14は、本発明による方法65を示す。方法65は、以下を有する。
ステップa)とも呼ばれる第1の提供ステップ66において、生物学的物質を含む対象10の基準スライス16を有する基準スライド12のデジタル基準画像26が提供される。
ステップb)とも呼ばれる第2の提供ステップ68において、基準画像26におけるデジタル注釈22が提供される。
ステップc)とも呼ばれる第3の提供ステップ70において、対象10のサンプルスライス18を有するサンプルスライド14のサンプル画像28が提供される。
ステップd)とも呼ばれる実行ステップ72において、基準画像26とサンプル画像28との間の空間リンクを提供するため、基準画像26とサンプル画像28との間の認識が実行される。
ステップe)とも呼ばれる決定ステップ74において、空間リンクに基づき、サンプルスライド14における注釈22に関する注釈位置42が決定される。
ステップf)とも呼ばれるイラストステップ76において、注釈22が、サンプルスライド14における注釈位置42に物理的に示される。
一例によれば、イラストレーションは、サンプルスライド14のサンプルスライス18に物理的に注釈22を示すことを有する。
一例では、認識は、基準画像26及びサンプル画像28の特徴の画像認識及び/又は基準画像26及びサンプル画像28の画像レジストレーションを含み、基準画像26の位置合わせされた特徴及びサンプル画像の位置合わせされた特徴の間の空間リンクが提供される。
一例では、ステップb)は、基準画像において基準除去領域48を提供するサブステップb1)を有し、注釈22は、基準除去領域48に関して更なる情報を提供するデジタルノートである。
一例では、ステップe)は、サンプルスライド14における除去領域48の除去位置50を空間リンクに基づき決定するサブステップe1)を有する。
一例では、ステップf)は、サンプルスライド14の除去位置50において除去領域50を物理的に示すサブステップf1)を有する。
一例では、注釈22及び/又は除去領域48が、投影された光によりサンプルスライド14に示される。
一例では、光は、サンプルスライド又はサンプルスライスに直接投影される。
一例では、ディスプレイ42、特にLCDディスプレイ、又はプロジェクタが光を投影するために使用される。
一例では、注釈22のイラストレーティングは、サンプルスライド14及び/又はサンプルスライス18において注釈22を光学的に強調表示することを有する。
一例では、除去領域48のイラストレーティングは、サンプルスライド14及び/又はサンプルスライス18において除去領域48を光学的に強調表示することを有する。
一例では、注釈22は、サンプルスライド14及び/又はサンプルスライス18の注釈22に隣接する領域よりも光学的に明るく又は暗く強調表示される。
一例では、除去領域48は、サンプルスライド14及び/又はサンプルスライス18において除去領域48に隣接する領域よりも光学的に明るく又は暗く強調表示される。
一例では、ステップf)は、サンプルスライド14及び/又はサンプルスライド14の除去領域50において注釈22を物理的に示すため、サンプルスライド14にインクを堆積させることを有する。
一例では、サンプルスライス18は、サンプルスライド14の透明基板30により提供され、注釈22を示すために、注釈22が基板30の裏面に印刷される。
一例では、注釈22は、除去領域48の外側に印刷される。
一例では、除去領域48を示すため、インクは、サンプルスライス18における除去領域48と正確に重なるサンプルスライド14における領域に外接する線として堆積される。
一例では、インクは、サンプルスライス18の表面における除去領域50に外接する線として堆積される。
一例では更に、サンプルスライス18の除去領域50で生物学的物質の少なくとも一部を除去するステップg)と、更なる目的のため、除去された生物学的物質を提供するステップh)とが提供される。
本発明の実施形態が異なる主題を参照して記載される点に留意されたい。特に、いくつかの実施形態は、装置を参照して記載されたが、他の実施形態は、方法を参照して記載される。しかしながら、当業者であれば、他の記載がない限り、1つの主題に属する特徴の任意の組み合わせに加えて、異なる主題に関連する特徴間の任意の組み合わせも、本願で開示されるとみなされることを理解されるであろう。しかしながら、すべての特徴は、これらの特徴の単純な合計より多くの共同効果を提供する態様で、結合されることができる。
本発明が図面及び前述の説明において詳細に図示され及び説明されたが、斯かる図示及び説明は、説明的又は例示的であると考えられ、本発明を限定するものではない。本発明は、開示された実施形態に限定されるものではない。図面、開示及び従属項の研究から、開示された実施形態に対する他の変形が、請求項に記載の本発明を実施する当業者により理解され、及び実行されることができる。
請求項において、単語「有する」は他の要素又はステップを除外するものではなく、不定冠詞「a」又は「an」は複数性を除外するものではない。単一のスライス又は他のユニットが、請求項に記載されるくつかのアイテムの機能を果たすことができる。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを意味するものではない。請求項における任意の参照符号は、発明の範囲を限定するものとして解釈されるべきではない。

Claims (14)

  1. 装置であって、
    生物学的物質を含む対象の基準スライスを含む基準スライドのデジタル基準画像を提供し、前記基準画像においてデジタル注釈を提供する基準提供ユニットと、
    前記対象のサンプルスライスを含むサンプルスライドのデジタルサンプル画像を提供するサンプル提供ユニットであって、前記サンプルスライス及び前記基準スライスが同じ前記対象から切断される、サンプル提供ユニットと、
    前記基準画像と前記サンプル画像との間の空間リンクを提供するため、前記基準画像と前記サンプル画像との間の認識を実行する認識ユニットと、
    前記空間リンクに基づき、前記サンプルスライドにおける注釈に関する注釈位置を決定する決定ユニットと、
    前記サンプルスライドにおける注釈位置で前記注釈を物理的に示すイラストユニットとを有する、装置。
  2. 前記基準スライスが、前記対象の染色されたスライスであり、前記サンプルスライスは、前記対象の染色されていないか又は異なって染色されたスライスである、請求項1に記載の装置。
  3. 前記イラストユニットが更に、前記サンプルスライドの前記スライスにおいて前記注釈を物理的に示す、請求項1又は2に記載の装置。
  4. 前記認識が、前記サンプル画像における前記基準画像の特徴の画像認識、及び/又は前記基準画像の位置合わせされた特徴と前記サンプル画像の位置合わせされた特徴との間の空間的なリンクを提供するため、前記基準画像と前記サンプル画像との画像レジストレーションを有する、請求項1乃至3の一項に記載の装置。
  5. 前記基準提供ユニットが、前記基準画像において基準除去領域を提供し、前記デジタル注釈は、前記基準除去領域に対して更なる情報を提供するデジタルノートである、請求項1乃至4の一項に記載の装置。
  6. 前記決定ユニットが、前記空間リンクに基づき、前記サンプルスライドにおける前記除去領域に関する除去位置を決定し、前記イラストユニットは、前記サンプルスライドにおける前記除去位置において前記除去領域を物理的に示す、請求項5に記載の装置。
  7. 前記イラストユニットが、前記注釈及び/又は除去領域を視覚的に示すため、前記サンプルスライドに光を投射するプロジェクタ又はディスプレイを有する、請求項1乃至6の一項に記載の装置。
  8. 前記イラストユニットが、前記サンプルスライドにおける前記注釈及び/又は前記サンプルスライドにおける前記除去領域を物理的に示すため、前記サンプルスライドにインクを堆積させるインク堆積ユニットを有する、請求項1乃至7の一項に記載の装置。
  9. 前記装置が、前記スライドの識別のため、前記基準スライドのデータキャリア及び/又は前記サンプルスライドのデータキャリアを使用する、請求項1乃至8の一項に記載の装置。
  10. システムであって、
    スライド画像生成装置と、
    請求項1乃至9の一項に記載の装置とを有し、
    前記スライド画像生成装置が、前記基準スライドのデジタル基準画像を生成し、前記サンプルスライドのデジタルサンプル画像を生成する、システム。
  11. 注釈イラストレーション方法において、
    a)生物学的物質を含む対象の基準スライスを含む基準スライドのデジタル基準画像を提供するステップと、
    b)前記基準画像においてデジタル注釈を提供するステップと、
    c)前記対象のサンプルスライスを含むサンプルスライドのサンプル画像を提供するステップであって、前記サンプルスライス及び前記基準スライスが同じ前記対象から切断される、ステップと、
    d)前記基準画像と前記サンプル画像との間の空間リンクを提供するため、前記基準画像と前記サンプル画像との間の認識を実行するステップと、
    e)空間リンクに基づき、前記サンプルスライドにおける注釈に関する注釈位置を決定するステップと、
    f)前記サンプルスライドにおける前記注釈位置に物理的に注釈を示すステップとを有する、方法。
  12. 前記示すステップが、前記サンプルスライドのスライスにおいて物理的に前記注釈を示すステップを有する、請求項11に記載の方法。
  13. 処理ユニットにより実行されるとき、請求項11又は12に記載の方法ステップを実行するよう構成される、請求項1乃至9の一項に記載の装置を制御するコンピュータプログラム。
  14. 請求項13に記載のプログラムを格納したコンピュータ可読媒体。
JP2018501160A 2015-07-16 2016-07-12 デジタル病理学における情報変換 Active JP6840719B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15176980.9 2015-07-16
EP15176980 2015-07-16
PCT/EP2016/066540 WO2017009337A1 (en) 2015-07-16 2016-07-12 Information transformation in digital pathology

Publications (3)

Publication Number Publication Date
JP2018528405A JP2018528405A (ja) 2018-09-27
JP2018528405A5 JP2018528405A5 (ja) 2019-07-18
JP6840719B2 true JP6840719B2 (ja) 2021-03-10

Family

ID=53673794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018501160A Active JP6840719B2 (ja) 2015-07-16 2016-07-12 デジタル病理学における情報変換

Country Status (6)

Country Link
US (1) US10867443B2 (ja)
EP (1) EP3323107B1 (ja)
JP (1) JP6840719B2 (ja)
CN (1) CN108027968B (ja)
RU (1) RU2716746C2 (ja)
WO (1) WO2017009337A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209092A (zh) 2015-01-31 2017-09-26 豪夫迈·罗氏有限公司 用于中间解剖的系统和方法
CN115493907A (zh) * 2015-01-31 2022-12-20 豪夫迈·罗氏有限公司 用于中间解剖的系统和方法
US10876933B2 (en) 2016-11-09 2020-12-29 Ventana Medical Systems, Inc. Automated tissue dissection instrument and methods of using the same
JP7426999B2 (ja) * 2018-11-29 2024-02-02 ラ トローブ ユニバーシティ 構造を識別する方法
CN113155510B (zh) * 2021-04-16 2024-05-10 伊达生物有限公司 组织细胞分割采样系统和方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2132138C (en) * 1993-09-29 2004-01-06 Shih-Ping Wang Computer-aided diagnosis system and method
US7369304B2 (en) * 1999-10-29 2008-05-06 Cytyc Corporation Cytological autofocusing imaging systems and methods
US7006674B1 (en) * 1999-10-29 2006-02-28 Cytyc Corporation Apparatus and methods for verifying the location of areas of interest within a sample in an imaging system
WO2002037158A2 (en) 2000-11-03 2002-05-10 Cytyc Corporation Cytological imaging systems and methods
US20040085443A1 (en) * 2000-12-13 2004-05-06 Kallioniemi Olli P Method and system for processing regions of interest for objects comprising biological material
JP2007093450A (ja) * 2005-09-29 2007-04-12 Olympus Corp 検査システムおよびこの検査対象物の保持具
JP2008033049A (ja) * 2006-07-28 2008-02-14 Ricoh Co Ltd 対象物指示装置
EP2188661B1 (de) * 2008-04-01 2014-07-30 Bauhaus-Universität Weimar Verfahren und beleuchtungsvorrichtung zur optischen kontrastverstärkung
RU2553078C2 (ru) * 2009-04-28 2015-06-10 Конинклейке Филипс Электроникс Н.В. Способ микродиссекции и система обработки информации
US8787651B2 (en) * 2010-09-28 2014-07-22 Flagship Biosciences, LLC Methods for feature analysis on consecutive tissue sections
RU2540453C2 (ru) * 2010-10-29 2015-02-10 Кэнон Кабусики Кайся Микроскоп, устройство получения изображения и система получения изображения
EP2450667B1 (en) * 2010-11-09 2016-11-02 Harman Becker Automotive Systems GmbH Vision system and method of analyzing an image
KR101858780B1 (ko) * 2011-01-24 2018-05-16 닐스 비. 에이디 재료 샘플로부터 재료를 추출하기 위한 장치, 시스템, 및 방법
JP5692818B2 (ja) * 2012-07-24 2015-04-01 東芝テック株式会社 標本スライド撮像装置
US20150262329A1 (en) 2012-10-03 2015-09-17 KONINKLIJKE PHILIPS N.V. a corporation Combined sample examinations
WO2014054016A1 (en) 2012-10-03 2014-04-10 Koninklijke Philips N.V. Sample isolation unit
AU2014230809B2 (en) * 2013-03-14 2019-05-02 Ventana Medical Systems, Inc. Whole slide image registration and cross-image annotation devices, systems and methods
WO2014184005A1 (en) * 2013-05-15 2014-11-20 Koninklijke Philips N.V. Tissue separation from a sample
BR112016006144B1 (pt) * 2013-09-24 2022-02-22 Koninklijke Philips N.V. Método para calcular um plano de intervenção cirúrgica, método de visualização do plano cirúrgico, e aparelho para calcular um plano de intervenção cirúrgica
EP3053139B1 (en) 2013-10-01 2020-10-21 Ventana Medical Systems, Inc. Line-based image registration and cross-image annotation devices, systems and methods
EP3055835B1 (en) 2013-10-07 2019-12-18 Ventana Medical Systems, Inc. Systems and methods for comprehensive multi-assay tissue analysis
CN105612555B (zh) 2013-10-18 2019-08-20 皇家飞利浦有限公司 针对mdx的基于图像的roi追踪

Also Published As

Publication number Publication date
CN108027968B (zh) 2022-05-27
US20180225872A1 (en) 2018-08-09
JP2018528405A (ja) 2018-09-27
US10867443B2 (en) 2020-12-15
RU2716746C2 (ru) 2020-03-16
EP3323107B1 (en) 2021-03-10
CN108027968A (zh) 2018-05-11
WO2017009337A1 (en) 2017-01-19
RU2018105702A (ru) 2019-08-16
EP3323107A1 (en) 2018-05-23
RU2018105702A3 (ja) 2019-10-07

Similar Documents

Publication Publication Date Title
JP6840719B2 (ja) デジタル病理学における情報変換
JP5739871B2 (ja) 生物学、組織学及び病理学のために使用する方法、装置、並びにデータキャリア
US20240119595A1 (en) Computer supported review of tumors in histology images and post operative tumor margin assessment
CN112106061A (zh) 使用深度学习对未标记荧光图像进行数字染色的方法和系统
CN111727436B (zh) 对未染色组织的病理学预测
US11783604B2 (en) Method for creating histopathological ground truth masks using slide restaining
US8320655B2 (en) Process and system for analyzing the expression of biomarkers in cells
EP2930655A1 (en) Automated grossing image synchronization and related viewers and workstations
JP6843121B2 (ja) 組織マイクロアレイ分析
CN112649403A (zh) 细胞图像解析方法及细胞解析装置
TW201709150A (zh) 組織學染色之空間多工
Fernandez-Gonzalez et al. Quantitative image analysis in mammary gland biology

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190614

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200326

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210217

R150 Certificate of patent or registration of utility model

Ref document number: 6840719

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250