JP7244706B2 - 生体試料の合成デジタル画像を生成するシステム - Google Patents

生体試料の合成デジタル画像を生成するシステム Download PDF

Info

Publication number
JP7244706B2
JP7244706B2 JP2022170598A JP2022170598A JP7244706B2 JP 7244706 B2 JP7244706 B2 JP 7244706B2 JP 2022170598 A JP2022170598 A JP 2022170598A JP 2022170598 A JP2022170598 A JP 2022170598A JP 7244706 B2 JP7244706 B2 JP 7244706B2
Authority
JP
Japan
Prior art keywords
image
focus
focal plane
images
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022170598A
Other languages
English (en)
Other versions
JP2023017808A (ja
Inventor
ルーテンバーグ、マーク
スコット、リチャード
チョン、ロバート
セルツァー、ポール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cdx Medical Ip Inc
Original Assignee
Cdx Medical Ip Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cdx Medical Ip Inc filed Critical Cdx Medical Ip Inc
Publication of JP2023017808A publication Critical patent/JP2023017808A/ja
Application granted granted Critical
Publication of JP7244706B2 publication Critical patent/JP7244706B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Stringed Musical Instruments (AREA)
  • Microscoopes, Condenser (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Dental Preparations (AREA)
  • Materials For Medical Uses (AREA)

Description

本発明は、概して、医療診断の分野に関する。より詳細には、本発明は、デジタル顕微鏡画像を処理して、癌性及び前癌性組織及び細胞の検出を促進する改良されたシステムに関する。
病理医は、典型的には、高解像度顕微鏡を利用して組織試料を調べ、例えば癌性又は前癌性細胞の兆候を識別する。正確で正しい診断をするために、病理医は、高解像度顕微鏡下でピントが合った状態で細胞特徴及び組織特徴を見なければならない。しかしながら、病理医が使用する高解像度顕微鏡には、関心のある物体を異なる平面に有する厚い生体標本の分析が難しくなる制限を有する。
特に、顕微鏡のレンズは、単一の点にのみ合焦することができる。鮮鋭であると見なされ得る有限距離がこの焦点の前後に存在する。この有限距離は、被写界深度として知られている。周知のように、病理医によって使用されるもの等の高解像度顕微鏡は、限られた又は狭い被写界深度を有する。結果として、顕微鏡の所与の被写界深度外又は焦点面外に現れる物体は、ぼやけ、ピントがずれ、厚い試料を見る場合に病理医に手動で連続してフォーカスを変更させる。これは、病理医の生産性を制限すると共に、病理医が、狭い焦点面でのみ現れ得る微細な特徴を見落とす危険性を増大させる。
この制限は、標本全体を単一の焦点面で撮像することができないため、厚い組織標本(例えば、顕微鏡対物レンズの被写界深度よりも厚いもの)又は不均一な組織標本の分析において特に深刻である。そのような標本の三次元特性により、試料の種々の輪郭において細胞を観察するために絶えずリフォーカスする必要がある。結果として、病理医は、試料全体をピントが合った状態で見ず、幾つかの焦点面にわたって広がる微細な診断特徴を認識する病理医の能力を制限する。
例えば、組織の非裂傷ブラシ生検を取得する場合、組織を穿通するのに十分な剛性のブラシが使用される。全厚組織標本を取得するプロセスでは、単一の細胞及び細胞集団に加えて、組織断片が取得され、顕微鏡スライドに移される。そのような厚い試料の集合は、例えば、特許文献1に記載されている。
そのような標本は、単一の細胞、細胞集団及び組織断片を含み、基本的に細胞学的スメアと組織学的切片との間のハイブリッドである。そのような標本は、例えば、20~60ミクロン厚であり得る。しかしながら、0.75NA(開口数)を有する典型的な20×顕微鏡の被写界深度は、わずか4ミクロンであり得る。したがって、そのような標本は、容易に撮像することができない。結果として、従来の顕微鏡は、診断を行う場合、病理医が必要とする情報の全て(例えば、全体的にピントが合った画像)を提示しない。
単一の細胞に加えて組織断片を見る能力は、診断を行うに当たり、病理に利点を与える。例えば、そのままの組織は、細胞学的スメアで利用可能でない、組織のアーキテクチャについての重要な情報を病理医に提供する。この恩恵は、例えば、腺上皮、扁平上皮及び円柱上皮を含む種々の細胞タイプを含む複雑な組織である胃腸組織の評価において特に重大である。
上記の問題に対する1つの解決策は、特許文献2(「’997特許」)に提供されている。その特許は、厚い三次元標本から二次元画像を作成するシステム及び方法を開示している。これは、病理医が、従来の顕微鏡に関連する欠点なしで三次元標本から入手可能な情報を捕捉できるようにする。’997特許に開示されているシステム及び方法は、拡張被写界深度(「EDF」)処理技法を利用する。そこに記載されるように、EDF処理を用いる場合、自動顕微鏡は、z軸に沿って一定間隔で撮影された(同じロケーションにおける)画像スライスの組を捕捉し、次に各スライスからピントが合ったピクセルを復元して、ピントが合ったピクセルから単一の合成画像を構築する。
’997特許の発明は、従来の顕微鏡技法からの大きい改良を表す。しかし、厚く半透明な生体標本を撮像するために、EDFベースの撮像システムにおける更なる改良が必要とされている。これに関して、従来のEDFシステム及び方法は、画像の組におけるロケーションに関係なく、全ての画素を鮮鋭にする。これらのシステム及び方法は、画像の集合を繰り返しトラバースし、各画像の最も鮮鋭な部分を識別することによってそれを行い得る。次に、画像の組内の各画像の最も鮮鋭な部分に配置されたピクセルのみを使用して、合成画像が形成される。この従来のプロセスは、表面下のいかなる物体も見ることが可能でない非透明又は不透明な物体で良好に機能する。しかしながら、組織試料等の半透明の画像物体では、表面下の物体は、顕微鏡にとって可視であり、追加の複雑性をもたらす。
特に、従来のEDFシステム及び方法は、表面における物体及び表面下の物体をピントが合った状態にし、上及び下の物体の両方が同じ焦点面にあるように見せ、物体が実際よりも互いに近く見えるようにする。そのような望ましくない画像アーチファクトは、細胞が密集しているように見せ得、したがって不健康に見せ得、病理医及び/又はコンピュータシステムによってなされるエリアの診断を大きく変える、例えば良性から異形成(すなわち前癌性)に変える恐れがある。これに関して、健康な組織は、細胞間に一定の間隔を有して見える。一方、癌組織では、細胞の間隔がかなり不規則であるか、又は細胞が互いと均一に位置合わせされない。従来のEDFは、真の診断のために核の間隔の保存が望ましいのに反して、フォーカスを強化するために物体間のz関係をデシメートする自然な傾向も有する。
したがって、異なる平面における物体間の空間的関係を保存しながら、画像の集合から合成画像を作成するシステム及び方法が必要とされている。更に、画像の集合に最適な焦点面を識別するシステム及び方法が必要とされている。
従来のEDFシステムに伴う別の問題は、顕微鏡の対物レンズが焦点面間で上下に移動する際に倍率が変わることである。特に、対物レンズが移動する際、新しい物体は、ピントが合って見え、その間、他の物体のピントは、よりボケる。同時に、ピントがよりボケた物体は、倍率変化に起因してより小さくも見える。結果として、画像におけるエッジは、フォーカスが変化するにつれて移動する。それに対応して、画像は、縮み、潜在的にアルゴリズムに移動する各エッジを各焦点面における別個のエッジとして認識させる。これにより、システムは、合成EDF画像において、単一のエッジを、複数の隣接するエッジの「階段状」に分割することになり得る。そのような状況では、「移動する」偽のエッジは、画像自体を圧倒し、合成EDF画像に階段状のアーチファクトをもたらす可能性がある。これらのアーチファクトは、例えば、合成画像において白いフレークとして見え得る。
EDFシステムでは、画像間で大きいステップを用いて、z軸に沿った画像のスタックを取得することが有利であることが多い(例えば、撮像プロセスを加速させるために)。このステップサイズは、システムの被写界深度に近いことがある。したがって、物体のエッジを保存し、それでもなお画像間に大きいステップを可能にするシステム及び方法が必要とされている。
更に、ブラシ生検試料に独自に含まれる有価値診断情報を利用するシステム及び方法が必要とされている。例として、米国及び世界中の多数の患者は、内視鏡処置を受ける。それにより、医師は、内視鏡を使用して上部消化管、胆管又は体の他の部位のセクションを観察する。そのような処置では、医師は、鉗子生検及び/又はブラシ生検を実行して、研究所での分析のために組織試料を回収し得る。
鉗子生検処置中、組織の小さいセクションが食道のフォーカスエリアから所与の間隔で切除される。研究所において、病理医による分析のために、切除された組織セグメントは、ミクロトームを用いて平坦シートにスライスされる。したがって、これらの従来の組織標本を検査する病理医は、必要とされるリフォーカスが最小である略平坦な組織切片を分析する。
他方、ブラシ生検処置中、剛性ブラシを有するブラシ生検器具を使用して、組織の広いエリアを掃引し、広い組織エリアの組織の全厚試料を取得する。生検ブラシは、小さい組織セグメントを採取する。小さい組織セグメントは、標本スライドに実質的にそのままで移される。これらの組織セグメントは、(鉗子生検に関して上述したように)スライスされない。そのため、組織の自然なアーキテクチャが維持される。意義深いことに、これは、病理医による観察及び/又はコンピュータシステムによる分析のために組織の正面像を保存する(正面像が組織スライスに起因して破壊される従来の組織学的組織準備と異なる)。
組織の正面像は、有価値診断情報を与える。例えば、消化管の細胞は、「ハニカム」を形成する格子構造で編成される。この六角形組織アーキテクチャは、胆管、結腸、胸部等の体内の腺細胞並びに食道細胞又は子宮頚管細胞等の扁平上皮細胞及び腺組織が遭遇する遷移領域に典型的である。
健康な組織では、ハニカムの外観を形成する均等間隔の核を観察することができる。しかしながら、初期異形成では、個々の核がわずかに拡大し得、正常核細胞質比が増大する。これが生じる場合、近傍核は、互いのより近くに成長し、一緒に密集し始める。加えて、編成されたハニカムに詰め込まれる代わりに、核は、編成を崩する。互いに対する細胞の関係は、場当たり的な性質になる。したがって、ハニカム構造の有無並びに密集及び編成崩れの程度は、初期段階の疾患の検出及び異形成状態と良性状態との区別において重要な診断特徴である。
ブラシ生検は、組織の正面像を保持し、臨床観察に向けてハニカムを保持した組織断片を取得することが可能である。しかし、ハニカムを形成する構成細胞は、多くの場合、異なる焦点面に配置される。したがって、病理医は、ピントの合った状態でハニカムを観察することができない。むしろ、病理医は、第1の焦点距離において孤立して離れた1つ又は複数の細胞を見、次に第2の焦点距離において孤立して離れた1つ又は複数の細胞を見る等の必要がある。この手動プロセスは、面倒であるのみならず、望ましくもない。これに関して、病理医は、異なる焦点距離における細胞間の関係及び距離を記憶し、次に観察した全ての情報を一緒に頭の中でつなぎ合わせなければならない。比喩的に言えば、病理医は、森の像を見るのではなく、個々の木々を見て、頭の中で森のイメージを構築することを強いられる。
既知のEDF技法は、厚い半透明試料における細胞間の空間的関係を保存することができないため、ハニカムを適宜撮像するに至っていない。結果として、ハニカムは、明確に撮像されない。その規則性及び潜在的な異常は、評価がより難しい。従来のEDFシステムでは、全ての核は、同じ平面に見え、それによりハニカムをより密集させて見せ、細胞が異形成になりつつあるという誤った印象を病理医に与えることになる。
米国特許第6,258,044号明細書 米国特許第8,199,997号明細書
したがって、コンピュータ及び/又は病理医による分析に向けてハニカム構造のピントが合ったビューを作成することができる改良されたシステム及び方法が必要とされている。
本発明の目的は、生体試料のピントが合った合成画像を生成し、それにより、診断的に重要な画像物体が、ピントが合った状態で提示され、及び下にある物体が強調抑制されるEDFシステムを提供することである。
本発明の別の目的は、生体試料の異なるセグメントについて複数の最適焦点面を特定し、且つ複数の最適焦点面から画像物体を取得して、デジタル合成画像を生成することである。
本発明の更に別の目的は、組織における細胞間の距離が所定の健康な距離内にあるかどうかを判断し、且つそのような判断がなされる場合、所定の健康な距離内の細胞が占める平面の下にある画像物体を強調抑制することである。
本発明の別の目的は、組織を構成する構成細胞が異なる平面に配置されている組織の正面画像を生成することである。
本開示の特徴及び利点は、添付図面図と併せて解釈される場合、以下の詳細な説明を参照してより詳細に理解される。
従来のEDFシステムを使用して撮像された代表的な組織試料の概略断面図である。 本発明の強化EDFシステムの実施形態を使用して撮像された代表的な組織試料の概略断面図である。 本発明の実施形態による強化EDFシステムのブロック図である。 本発明の実施形態による強化EDF処理方法の実施形態のフローチャートである。 本発明の実施形態による強化EDFシステムを使用して捕捉された代表的な画像の要素を示す図である。 本発明の実施形態による強化EDFシステムによって実行される方法の一ステップを示すチャートである。 本発明の実施形態による強化EDFシステムによって実行される方法の別のステップを示すチャートである。 円柱上皮組織切片の概略側面斜視図である。 ハニカムパターンを示す、図8Aの組織切片の概略上面図である。 組織切片の構成細胞が異なる平面を占める円柱上皮組織切片の概略側面図を示す。 一連の細胞が上部平面を占め、下の細胞が下の平面を占める円柱上皮組織切片の概略側面図を示す。 本発明の実施形態による強化EDFシステムを用いずに取得された組織標本の合成画像を示す。 本発明の実施形態による強化EDFシステムを使用して取得された組織標本の合成画像を示す。 「階段状のアーチファクト」を有する標本エリア及び本発明の実施形態により、アーチファクトがなくなった同じ標本エリアの概略比較表現を示す。
本発明の実施形態について、図面の上記の識別した図を参照してここで説明する。しかしながら、本発明の図面及び本明細書における説明は、本発明の範囲の限定を意図しない。本発明の趣旨から逸脱することなく、本発明の本説明の種々の変更形態が可能であることが理解されるであろう。また、本明細書に記載される特徴は、省略され得、追加の特徴は、含められ得、且つ/又は本明細書に記載される特徴は、本明細書に記載される特定の組合せと異なって組み合わされ得る。これらは、全て本発明の趣旨から逸脱しない。
上述したように、従来のEDFシステムは、通常、合成画像を生成する際、各焦点面から最も鮮鋭なピクセルを盲目的に抽出する。したがって、そのようなアルゴリズムが厚い半透明生体標本に適用される場合、何れの特定のピクセルが何れの特定の物体に属するかを必ずしも考慮に入れるわけではない。したがって、そのような物体の空間配置を保存できないことがある。例えば、複数の物体又は細胞が異なる平面にある(しかし、互いに重なる)場合、従来のEDFシステムによって生成される合成画像は、実際には幾つかの細胞が互いに上下に積み重なっている場合、単一の細胞を表すように見えることがある。これは、従来のEDFが使用される場合、異なる平面における物体間の空間的関係が常に保存されるわけではないためである。この問題は、病理医及び/又はコンピュータシステムによってなされるエリアの診断を大きく変える、例えば良性から異形成(すなわち前癌性)に変える恐れがある。
図1は、従来のEDFシステムの動作を実証する。標本1は、深さDを有する半透明組織試料であり、関心のある物体(例えば、細胞)10、20及び30を含む。物体30は、第1の焦点面(標本の上部に最も近い)に配置される。物体20は、第2のより低い焦点面に配置される。物体10は、第2の焦点面の下の第3の焦点面に配置される。第2の焦点面に配置された物体20は、第3の焦点面に配置された物体10と重なる。標準EDFシステムの出力は、合成画像5に示される。見て取ることができるように、従来のEDFシステムは、合成画像を生成する際、各焦点面における最も鮮鋭な物体に対応するピクセルを盲目的に抽出する。従来のEDF平面6は、標本1における種々の物体の空間的関係を考慮に入れないか又は保存しない。結果として、物体10及び20は、実際には異なる平面に配置されているにもかかわらず、合成画像5では一緒に密集して見える。これらの物体は、合成画像5では単一の細胞又は塊として誤って見え得、病理医又はコンピュータシステムによる誤った診断に繋がる恐れがある。これに関して、病理医は、合成画像5が、単に、異なる平面に配置された健康な細胞を含む場合、合成画像5を異形成として解釈する恐れがある。したがって、EDFシステムが、物体20及び30にピントが合っているが、物体10にピントが合っていない合成EDF画像を提供することができる場合に望ましいであろう。
本発明の強化EDFシステムの動作は、図1と同じ概略標本を示す図2を参照して実証されている。特に、標本1は、深さDを有する半透明組織試料であり、関心のある物体(例えば、細胞)10、20及び30を含む。物体30は、第1の焦点面(標本の上部に最も近い)に配置される。物体20は、第2の焦点面(物体30の下)に配置される。物体10は、第3の焦点面(物体20の下)に配置される。物体20は、物体10に重なる。しかしながら、各焦点面における最も鮮鋭な物体に対応するピクセルを合成画像5に盲目的にコピーするのではなく、強化EDFシステムは、標本1における最適な焦点面7を識別する。結果として、合成画像5が生成される際、物体10は、強調抑制される。物体20に対する物体10の空間的表現は、保存される。
試料の収集及び準備:
多くの分野に適用可能であるが、本発明のシステム及び方法は、他のスメア準備及び高NA対物レンズを用いて40×で撮像された従来の組織学的試料に関するブラシ生検器具を使用して収集された組織試料の分析において有用であることが分かっている。上述したように、組織のブラシ生検を取得する際、組織(例えば、上皮組織)の種々の層を穿通するのに十分な剛性のブラシが使用される。全厚組織標本を取得するプロセスにおいて、単一の細胞及び細胞集団に加えて、組織断片が収集される。
通常、病理学に向けた細胞標本の準備において、臨床医は、細胞及び/又は組織をガラス顕微鏡スライドに移して固定する。次に、スライドは、更なる処理及び医療診断に向けて研究所に送られる。更なる処理は、顕微鏡下で見た場合、スライドを染色して試料(又は試料の特定の特徴)のコントラストを増強させることを含み得る。そのような染色は、例えば、フォイルゲン、パパニコロウ、ヘマトキシリン及びエオシン(H&M)、アルシアンブルー並びにIHC染色を含み得る。研究所の技師は、カバースリップ及びラベルをスライドに適用することもできる。特に、ラベルは、試料に適用された染色のタイプを識別し得る。この情報は、バーコードで表され得るか、又は電子追跡デバイス(例えば、RFID)に組み込まれ得る。更に後述するように、後の処理ステップにおいて、コンピュータシステムは、この情報を読み取り、特定の試料に適用するのに最適な処理アルゴリズムを特定することができる。
しかしながら、本発明では、スライドは、病理医及び/又はコンピュータシステムの何れかによって調べられる前に追加の処理を受け得る。特に、細胞標本の捕捉されたデジタル顕微鏡画像は、診断的に重要な物体及び互いに対する空間的関係を保存する強化デジタル画像を生じさせる、本明細書に記載される強化EDFシステムによって更に処理される。アーチファクト及び誤った画像が低減し、関心のある診断的に重要な物体が、コンピュータにピントが合った状態で提示されるため、これは、コンピュータ分析システムの精度を増大させる。
本発明の強化EDFシステム100のブロック図は、図3に示される。システム100は、スライドから画像の集合を取得する光学系40を含む。光学系40は、高出力顕微鏡、スライド位置決めステージ及びカメラを含み得る。コンピュータ装置44は、z方向におけるステージの移動を制御して、特定のx-y位置の画像を合成するのに十分な数の画像スライスを取得する。システム100は、画像の集合を記憶する記憶装置42を更に含む。記憶装置42は、ハードドライブ、SSD(固体状態ドライブ)又は他のタイプの高速メモリデバイスを含み得る。コンピュータ装置44(又は一緒に機能する複数のコンピュータ)は、zスタック画像の集合を処理して、本明細書に記載される強化合成画像を生成する。コンピュータ装置44は、専用画像処理ハードウェア(グラフィカル処理ユニット又は「GPU」等)を利用して処理速度を増大させ得る。
光学系40は、ステージのあらゆる移動後、画像を捕捉して記憶するように構成され得るか、又は代替的にステージが一定速度で移動する間、画像を規則正しい時間間隔で連続して継続的に捕捉するように構成され得ることが当業者によって理解されるであろう。本発明の実施形態では、後者の方法は、zスタックの生成においてより高速であり得る。しかしながら、画像捕捉積分時間を最小に保つことができるように、十分な光をシステムに追加する(例えば、ストロボスコープを介して)ことに注意を払わなければならない。本発明の他の実施形態では、システムは、zスタック画像に対して不可逆的又は可逆的圧縮の何れかを実行し、より集約的なEDF計算に向けてzスタック画像を圧縮したものをオフラインで移動させる(例えば、イーサネットを介して)ように構成される。これは、画像zスタック捕捉プロセスを最大速度(機械的移動によって制約される)で行うことができるように行われる。ここで、EDF処理は、複数のコンピュータによって並列に実行することができる。この分離により、最小のコストで最大のスケーラビリティと共に最大のスループットが可能になる。全ての機械的な移動は、スキャナ/画像部に分離される。一方、第2の部分は、必要に応じて追加のコンピュータを追加して、ラウンドロビン方式で個々のzスタックで作業することによって高度にスケーラブルである。
強化EDFシステムによって実行される処理ステップの一実施形態は、図4のフローチャートに示される。
画像収集:
図4のステップS1に示されるように、光学系は、画像スライスの集合を取得する。各画像スライスは、z軸(すなわち顕微鏡軸)に沿って異なる焦点深度(又は焦点面)で撮影される。画像の集合は、好ましくは、集約的EDF演算を行うために、CPUが直接アクセスを有するコンピュータのメモリに記憶される。又は別の実施形態では、zスタック画像は、高速EDF演算を行うことが可能な別個のCPU、RISC、GPU若しくはFPGAプロセッサを有する別個の処理又はグラバーボードに記憶することができる。EDFが完了すると、画像の集合は、コンピュータ装置による検索のためにデータ記憶装置(図3の42)に記憶される。スタック中の画像数は、検査中の試料の厚さ及び顕微鏡対物レンズの被写界深度を含め、幾つかの要因に依存し得る。一般に、オーバーサンプリングの基準を満たすために、顕微鏡対物レンズの被写界深度未満の間隔を使用することが好ましい。これは、標本の全厚を通して一貫した鮮鋭さを保証する。例えば、試料が60μm厚であり、画像が4μm焦点深度間隔で撮影されると仮定すると、合計で15枚以上の画像(又はスライス)を収集し得る。
サンプリング間隔は、例えば、予め確立されたデータに基づいて予め決定することができる。代替的に、サンプリング間隔は、例えば、各焦点面における鮮鋭ピクセル数を測定し、比較的少数の鮮鋭ピクセルが見つけられる場合、処理を適応させることにより、コンピュータシステムによって動的に決定することができる。アルゴリズムは、zスキャンを時期尚早に終了することによって適合され得るか、又は追加の鮮鋭ピクセルをなお見つけるべき場合、zスキャンを拡張することによって適応され得るか、又は見つかった鮮鋭ピクセル数が最小である場合、焦点面間のz距離を増大させることによって適合され得る。行うことができるステップが少ないほど、システムは、最終的なEDF画像を高速で提示することができる。しかし、これは、ステップが大きすぎる場合に生じ得る画質損失とバランスされる必要がある。
前処理:
一実施形態では、図4のステップS2に示されるように、スタック中の画像は、グレースケールに変換される。各画像をグレースケールに変換することにより、画像データ量及び関連する処理量は、診断精度を犠牲にすることなく大きく低減することが分かっている。これに関して、グレースケール変換は、特定の免疫染色、例えばH&E又はアルシアンブルーに最適化し得る。例えば、色逆重畳を使用して、免疫染色された細胞を強化し、特定の色にピントが合ったままであることを保証することができる。一実施形態では、システムは、スライドから、適用された染色に関する情報を自動的に読み取り、特定の試料に適用するのに最適な処理アルゴリズムを決定する。
別の実施形態では、収集された画像をグレースケールに変換するのではなく、強化EDFシステムは、EDF処理をカラー画像に対して直接実行する。例えば、赤、緑及び青のコントラストの最大として3つのRGBカラー画像からエッジコントラストを直接計算することができる。
ステップS3において、画像処理に必要な種々のデータ構造を初期化し得る。これらは、最大鮮鋭度アレイ及びZインデックスアレイを含め、二次元アレイの数を含み得る。これについては、更に後述する。集合、テーブル又はデータオブジェクト等の当業者に既知の代替のデータ構造をピクセルアレイの代わりに使用し得る。
画像の集合において最も鮮鋭な物体の発見:
図4のステップS4、S5及びS6を参照すると、強化EDFシステムは、z軸に沿って異なる焦点距離から撮影された画像の集合を繰り返しトラバースして、画像の集合において最も鮮鋭な物体のロケーションを識別する。特に、画像スタックの上(又は下)から始まり、システムは、第1の画像平面における物体の鮮鋭度を計算することによって開始する。計算された鮮鋭値は、最大鮮鋭度アレイに記憶され、Zインデックスアレイに開始画像平面(例えば、一番上の平面を表す平面1)のインデックスが入れられる。z軸に沿った続く全ての平面について、システムは、その平面における各ピクセル又は物体の鮮鋭度を計算し、新しい画像平面におけるそれらの物体の鮮鋭度を、最大鮮鋭度アレイに記憶された鮮鋭度と比較する。新しい最大鮮鋭値が見つけられた場合、システムは、(1)新しい最大鮮鋭値を最大鮮鋭度アレイに記憶し(古い最大値に代えて)、(2)そのロケーション(すなわちそれが配置された画像スライスのインデックス)をZインデックスアレイに記憶する。
最適焦点面の特定:
強化EDFシステムは、次に、調査中の試料の最適焦点面を計算する(ステップS7)。上述したように、このステップは、試料内の関心のある物体間の空間的関係が維持されることを保証する。最適焦点面を取得し、導出された最適焦点面を使用して合成画像を作成する結果として、上にある物体は、ピントが合った状態で提示される。下にある物体は、ピントが合わない状態で維持される。
本発明の実施形態では、最適焦点面は、細胞間の距離を計算し、細胞が互いから正常距離又は健康距離(図2では「h距離」と呼ばれる)内にあるかどうかを判断することによって特定される。本発明の実施形態では、健康距離又は「h距離」は、細胞エッジ間又は2つの核間の所定の距離である。例えば、本発明の一実施形態では、h距離は、近傍細胞の核のエッジ間の距離を測定することによって計算される。別の実施形態では、h距離は、近傍核の中心間の距離を測定することによって計算される。
2つの細胞がh距離内にあると判断される場合、システムは、それらの2つの細胞が同じ組織のものであると結論付ける。したがって、近傍細胞によって占められる平面は、焦点面になる。下にある細胞は、ピントが合わないままになる。しかしながら、2つの細胞間の距離がh距離よりも大きい場合、システムは、関連しない両方の細胞にピントが合った状態を維持することができるように焦点面をシフトさせることになる。
例えば、図2を参照すると、システムは、物体20間の距離(例えば、距離A)がh距離内であると判断した。したがって、物体20によって占められた平面は、そのスライドセグメントの最適焦点面として選択される。物体20は、ピントが合った状態で提示される。他方、下にある物体10は、ピントが合わないままである。逆に、物体20’と物体30’との間の距離Bは、h距離よりも大きいと判断される。結果として、焦点面は、物体30が互いからh距離内に位置するスライドセグメントに(示される向きでは右に)シフトする。本発明の実施形態によれば、h距離は、線形メートル系単位又はピクセル数によって測定され得る。
本発明の一実施形態では、焦点面は、「クロージング」をZインデックスアレイに対して実行することによって特定される。クロージングとは、予め定義された数のグレースケール膨張後、等数のグレースケール収縮が続く演算の組である。例えば、h距離が5ピクセルであると仮定すると、システムは、5ピクセルの構造化要素を利用するか又は複数の繰り返しを実行してh距離をカバーする。したがって、膨張は、h距離ギャップを完全にカバーすることになる。ギャップが埋められ、ギャップの両側にあるピクセルが融合されると、いかなる後続の収縮も何らの効果も有さない。しかしながら、ギャップが埋められない場合、後続の収縮は、エッジを元の位置に復元する。したがって、クロージングは、ギャップを完全に埋める(すなわち同じzインデックスをもたらす)ことができ、したがってそのような画像がギャップ間に存在する場合、下にある画像(例えば、細胞核)を表面に持ってこない。しかしながら、クロージングがギャップを埋めず、ギャップ間の下に1つ又は複数の核がある場合、クロージングは、核を表面の停止位置に持ってくる。
収縮及び膨張は、当技術分野で既知の種々の技法の何れか、例えばギル-キンメル膨張/収縮アルゴリズム(Gil,J.Y.,&Kimmel,R,Efficient dilation,erosion,opening,and closing algorithms.IEEE Transactions on Pattern Analysis and Machine Intelligence,24(12),1606-1617(2002)を参照されたい)によって実行され得ることが理解されるであろう。
したがって、図2に示される例示的な実施形態では、細胞20’及び30’間の距離Bは、h距離よりも大きい。したがって、膨張は、細胞20’の画像を全方向において拡張すると共に、細胞30’の画像も全方向において拡張する。しかし、各細胞間のギャップは、埋められない。結果として、収縮が実行された後、細胞20’及び30’の元のエッジは、復元される。細胞20によって占められた平面は、細胞30によって占められた平面と融合しない。代わりに、焦点面は、細胞20によって占められた平面から、細胞30によって占められた平面に効果的にシフトする。逆に、細胞20間の距離は、h距離内であるため、細胞20に対して実行された膨張は、各細胞20間のギャップを埋める効果を有する。これは、後続する収縮によって逆にならない。したがって、細胞20によって占められた平面は、焦点面として特定される。その結果、細胞20は、ピントが合った状態で提示される。一方、細胞20間のギャップの下にある細胞10は、ピントが合わない状態で提示される。これは、細胞20と、下にある細胞10との間の空間的関係が保存されることを保証する。
一実施形態では、平坦な5×5の概ね円形のカーネルが収縮及び膨張に使用される。別の実施形態では、先に引用したギル-キンメル引用文献において教示されるもの等のグレースケールガウスカーネルが使用される。収縮及び膨張の数は、上にある物体にピントを合わせ、下にある物体をピントが合わない状態に維持するように選択される。最適焦点面の特定は、物体間の距離に応じて行われるため、最適焦点面は、システムが標本の距離にわたって移動するにつれて変化し得、核が最も可視である上部核層によって集中し、最も鮮鋭な特徴(光は、半透明媒体の表面の近くでは回折の程度が低い)を有するが、より深い核を表面に持ってくることがなお可能である。
先に考察した膨張/収縮手順の結果は、図5及び図6に更に示される。図5では、画像のスタック15が示されている。画像I10は、画像スタックの一番上に位置している。画像I5及びI1は、これらの画像平面の各々においてピントがあった種々の物体を含む。物体20は、z軸において物体10に重なる。画像スタック15から生成された代表的なZインデックスアレイ11の一部が図6に示される。見て取ることができるように、Zインデックスアレイは、画像スタック15(図5)における最も鮮鋭な物体に対応するピクセルのロケーション(すなわち画像平面番号)を含む。特に、物体20のロケーションは、「5」で示される。物体10のロケーションは、「1」で示される。仮に最終的な合成画像を図6のZインデックスアレイ11から編纂する(すなわち従来のEDFのように)場合、物体10及び20は、単一の物体として見える(すなわち、物体10は、物体20に群がる)。上述したように、これは、誤診に繋がる恐れがある。したがって、標本を正確に示し、且つ正確な診断を行うために、合成画像における空間的関係は、保存される必要がある。
図7は、幾つかの膨張及び収縮が実行された後の図6の代表的なZインデックスアレイを示す。特に、画像I1に配置された物体は、問題なく強調抑制されている。物体の空間的関係は、維持されている。見て取ることができるように、「5」で示される物体20のみがインデックス12に残っている。したがって、最終的な合成画像が編纂される際、本発明を用いない場合に画像I1から回収されたであろうピクセルは、画像I5から回収される。
一実施形態では、膨張又は収縮の数は、健康な組織における核間のh距離に等しい。先に述べたように、強化EDFシステムは、上層の核間の距離がh距離未満である場合、下の物体を強調抑制し、すなわち下の物体にピントを合わせない。他方、上層の核間の距離がh距離よりも大きい場合、2つの核は、同じ組織のものではないと仮定することができる。したがって、先に考察した密集作用を導入することなく、安全に任意の下のレベルにある物体にピントを合わせることができる。例えば、h距離は、5ピクセル又は18ミクロンであり得る。
このプロセスは、画像の集合の最適焦点面を効果的に見つけ、望ましくない密集作用をなくすことが分かっている。本明細書に記載されるシステムは、細胞核等の関心のある細胞構造の最適焦点面を見つけるのに使用され得る。しかしながら、システムは、関心のある他の構造、特に杯細胞における細胞質粘液ポケット及び/又は細胞境界にフォーカスして、細胞のハニカム配列の検出を強化するように構成することができる。
大きく明るい粘液エリアを見つけるために、システムは、(画像の解像度に応じて)10×10~20×20範囲内等のより大きいサイズのカーネルを用いて膨張及び収縮を実行し得ることが分かっている。このプロセスは、杯細胞において見られるムチン領域等の大きく明るい高コントラスト物体のZインデックスアレイを生成する。細胞境界を見つけるために、アルゴリズムは、モルフォロジ演算を実行して、細く暗い線を強化する(リング構造化要素による収縮後、同サイズのソリッド構造化要素による膨張が続く)。これは、細胞の頂端面における魚鱗等の細く暗い線のZインデックスアレイを生成する。3つのZインデックスアレイを使用して、3つの別個のEDF画像を作成し得、ユーザが異なる焦点面における関心のある異なる細胞構造を見られるようにする。代替的に、Zインデックスを最大鮮鋭度と一緒に解釈し、次に5×5ガウスカーネルによって平滑化することにより、3つのZインデックスアレイを結合し得る。
合成画像の生成及び後処理:
ステップS8に示されるように、システムは、次に、Zインデックスアレイ(ここでは、合成画像に含める最適ピクセルのロケーションを含む)及び元の画像の集合に基づいて合成画像を生成する。単一のスライドで複数の画像スタックを取得し、別個に分析し(後述するように)、その結果生成された合成画像を一緒にステッチングして、単一の合成画像を形成できることも理解されたい。又は画像の単一のスタックを取得し、複数のアルゴリズムに送信し得る。各アルゴリズムは、特定の特徴を探し、独自の合成画像を生成する。例えば、あるユーザは、杯細胞の最適合成画像を選択することができ、異形成細胞に別の合成画像、ハニカムパターンに別の合成画像を選択することができる。
種々の後処理演算(ステップS9)を合成画像に対して任意選択的に実行し得る。一実施形態では、後処理は、鮮鋭度補正を含む。これは、物体のエッジをより目立たせ、診断を支援する。一実施形態では、鮮鋭度補正は、ノイズを増やさずにエッジを鮮鋭化することが知られているアンシャープマスキングを含む。一般に、アンシャープマスキングは、ぼやけたネガ画像(ガウスぼかし)を使用して、高周波及び低周波のエリアを識別する元画像のマスクを作成する。マスクは、次に、元画像と結合されて、元画像よりも鮮鋭な画像を作成する。更なる後処理ステップは、後述するように、ガイデッドフィルタ、XYZ膨張、霞除去及びZ補間を含む。
ハニカム構造の分析:
述べたように、ブラシ生検組織収集は、組織の正面像をそのまま維持する組織断片の収集を可能にする。すなわち、従来の組織学的試料は、スライスされ、組織スライスとして病理医に提示される。したがって、病理医は、組織の正面像を決して観察しない。組織の正面ハニカム外観は、ブラシ生検収集を用いて独自に入手可能な重要な臨床情報をもたらす。強化EDFシステムの実施形態は、ハニカムを形成する構成細胞が幾つかの焦点面を占め得るにもかかわらず、組織のハニカム構造の全体としての観察及び分析を可能にする。
図8Aは、腺上皮組織48の断片の概略図を示す。示されるように、組織は、縦方向に一緒に詰め込まれた円柱細胞(例えば、50)で形成される。細胞の核52は、細胞50の下セグメントに配置されている。細胞50は、基底膜53に配置されている。細胞の頂端面は、組織表面を形成する。核のレベルにフォーカスして顕微鏡下で見た場合、核は、六角形パターンで見える。フォーカスが上にある場合、細胞膜は、六角「魚鱗」パターンを形成する。フォーカスが上面と核との間にある場合、杯細胞の明確なムチン領域を最も明確に見ることができる。病理医の観察の大半は、核のレベルにフォーカスされる。しかし、ムチン及び魚鱗レベルビューも診断において病理医を支援するのに利用される。
図8Bは、フォーカスレベルが細胞の核である図8Aの組織断片の上面図を示す。細胞核の規則正しいパターン(すなわち「ハニカム」)を観察することができる。
しかしながら、三次元ブラシ生検組織準備では、ハニカムを形成する細胞は、異なる焦点面に配置され得る。これに関して、合成画像を作成せずにハニカムをピントが合った状態で見ることは、不可能であろう。
例えば、図9を参照すると、核細胞54及び60は、第1の焦点面P1に示されている。核細胞56は、異なる焦点面P2に示されている。細胞58の核は、更に異なる焦点面P3に示されている。顕微鏡対物レンズが核細胞58をピントが合った状態で見るように設定される場合、細胞54、60及び56の核は、ピントが合わない。細胞56の核にピントが合う場合、細胞58及び細胞54の核は、ピントが合わない。これに関して、手動顕微鏡を利用する病理医は、ハニカムパターン全体をピントが合った状態で見ることが可能ではない。従来のEDFシステムは、無差別に全ての細胞核を上面に持ってくるため、この問題に適宜対処しない。したがって、ハニカムの下に有り得る細胞又は組織に関連する下にある核が合成画像に含まれ得、画像アーチファクトを生じさせ得る。
他方、本発明のシステムは、標本の各セグメントに最良の焦点面を捕捉するように焦点面を動的にシフトさせる。結果として、ハニカム構造の構成細胞が複数の焦点面に配置される場合でも、ハニカム構造は、ピントが合った状態で撮像される。更に、ハニカムに関連しない細胞は、ピントが合わないままである。
例えば、図9をなお参照すると、本発明のEDFシステムは、動的に、標本のセクションEの最適焦点面としてP1を選択し、標本のセクションFの最適焦点面としてP2を選択し、標本のセクションGの最適焦点面としてP3を選択し、標本のセクションHの最適焦点面としてP1を選択する。加えて、述べたように、本発明のEDFシステムは、計算された最適焦点面の下に配置された特徴を強調抑制した合成画像を作成する。したがって、最適焦点面が一連の上部細胞の近傍に基づいて特定される場合、上部細胞の真下にあり得る細胞は、ピントが合わないままであり、それにより上部細胞と下部細胞との間の空間的関係を保存する。例えば、図10では、一連の細胞62は、各核が焦点面P4を占めた状態で示されている。細胞64は、細胞62の下に示されている。しかしながら、示される実施形態では、細胞62間の距離は、h距離内である。したがって、焦点面P4は、システムによって最適焦点面として特定される。結果として、下にある細胞64は、ピントが合わないままである。意義深いことに、細胞64に関連する特徴は、表面に持ってこられない。
ハニカムにおける細胞の各々は、ピントが合った状態で提示され、下にある細胞は、画像アーチファクトを生じさせないため、生成された合成画像を分析するコンピュータは、より正確且つより高感度になる。同様に、孤立して離れた細胞及び細胞の集団を分析するのではなく、合成画像は、ハニカムのゲシュタルトビューを病理医に提供する。これは、病理医が他の細胞及び細胞集団との関連において細胞及び細胞集団を分析できるようにする。
図11は、強化EDFシステムを用いずに取得された組織標本の合成画像である。見て取ることができるように、画像の大部分は、ぼやけており、ピントが合っていない。とりわけ、ハニカム構造は、全体として観察することができない。
図12は、本発明の強化EDFシステムを使用して取得された組織標本の合成画像である。この画像では、ハニカム構造は、ピントが合っている。したがって、病理医は、ハニカムをより容易に観察及び分析することができる。
意義深いことに、強化EDFシステムは、ハニカム全体を撮像するため、コンピュータシステムは、モルフォロジ分析を実行して、試料の異常を識別することができる。例えば、細胞核を細胞質から区別できることが分かっている。核が分離されると、核間の距離(h距離)を測定することができる。コンピュータシステムは、次に、例えば核の最近傍への平均及び標準偏差h距離を計算し、次に通常の六角形非異形成組織で見られる範囲外のh距離を有する核の割合を計算することにより、ハニカムが正常であるか又は異常であるかを査定することができる。更に、核レベルの代わりに、図11に示されるように画像が別個の核なしで規則正しい六角形「魚鱗」外観をとる細胞境界レベルの焦点面を用いて、六角形配列を視覚化し、評価することができる。
ガイデッドフィルタ:
標本に存在する組織及び細胞構造のエッジを保存することが有利である。しかしながら、標準の平均化又は他の無差別平滑化技法は、エッジを区別することができない。したがって、本発明の実施形態では、新規のガイデッドフィルタを利用して、厚い試料の場合に特に深刻なZインデックスアレイにおける急な輪郭のxyロケーションのシフトなしで正確なエッジ保存平滑化を実行する。拡大レンズを使用する任意の対物レンズを用いる場合、倍率は、焦点面から離れるにつれて変化する。z移動毎に、撮像されている物体は、縮み、それに従って偽エッジを移動させる。ガイデッドフィルタを使用すると、強調は、真のエッジがある場所に置かれ、それにより偽エッジの影響をヌル化する。ガイデッドフィルタは、グレースケール画像又はカラー画像に適用され得る。本願におけるガイデッドフィルタの新規使用は、最も鮮鋭なピクセルのzロケーションを含むZインデックスアレイを平滑化する。これは、zインデックスノイズを動的に除去し、他の平滑化技法よりも好ましい。
XYZ膨張アルゴリズム:
種々の焦点距離から複数の画像を取得することの潜在的な望ましくない一影響は、各焦点で生じ得るアーチファクトエッジの出現である。すなわち、各EDF画像スライスの取得に伴い、真のエッジに隣接するピントが合っていないピクセルは、「偽」エッジとして存在し得る。そのようなアーチファクトエッジの連続が生成される場合、それらは、階段状の外観をとり得る(すなわち階段効果)。例えば、図13の(前)画像は、合成画像において階段のような提示をとる一連のアーチファクトエッジ66を示す。これは、試料を歪ませ得、有用で診断的に重要な組織又は細胞特徴を曖昧にし得る。
本発明の実施形態では、階段状の問題は、述べたようにEDFアルゴリズムステップを実行する際、ピントが合っていないピクセルの選択によって生じる階段状のアーチファクトエッジをなくすように設計されたzインデックス後処理アルゴリズムによって対処される。これは、複数の隣接するエッジを抑制し、最も強いエッジのみを保存することによって達成される。本発明の実施形態では、これは、z値の「持ち歩き」を用いて膨張を実行することによって達成される。このために、システムは、エッジを特定し、エッジ強度を16ビット画像の上位8ビットに置き、最良フォーカスのzインデックスを下位8ビットに置くルーチン又はアルゴリズムを実行するように構成される。膨張(例えば、12×12膨張)中、下位8ビットにおけるz値は、膨張アルゴリズムの副作用として、上位8ビットにおける対応するエッジコントラストと共に運ばれる。結果として、誤ったzインデックスを有する隣接するより弱いエッジは、より良好なzインデックスを有するより強いエッジで置換される。次に、最良フォーカスzインデックス画像は、膨張した画像からの下位8ビットを使用して更新される。
したがって、図13の(前)画像は、述べたような「持ち運び」特徴を含まないEDFシステムを用いて処理された合成画像を示す。示されるように、一連の偽エッジ66が組織エッジに存在する。他方、(後)画像では、述べたような「持ち運び」アルゴリズムを使用して後処理された同じ標本が示される。示されるように、階段状のアーチファクトがなくなっており、鮮鋭な真のエッジ68が存在する。
霞除去:
顕微鏡画像は、通常、非集束散乱光によって生じる霞を含む。霞除去は、画像霞を推定し、元画像から霞を差し引いて、診断情報がより容易に可視であるより明確な画像を生成することによって実行することができる。一実施形態では、システムは、平坦な5×5の概ね円形のカーネルを用いてR、G、B画像を収縮させ、収縮の最小値をとり、ガイデッド画像フィルタリングを実行して霞を平滑化し、除去された霞コントラストを32グレーレベルの最大値(256のスケールで)にクリッピングすることによって霞をなくす。
Z補間:
記載されるEDFシステムにおいて、現実では、フォーカスレベルが滑らかに変化する場合、あるフォーカスレベルから次のフォーカスレベルにZインデックス値の大きいジャンプがあり得る。そのような不一致は、画像アーチファクトを生じさせ得る。この問題に対処するために、EDFシステムは、後処理Z補間ルーチンを実行して、そのようなアーチファクトをなくすように構成され得る。この実施形態では、システムは、顕微鏡フォーカスステップのサイズを決定する。このサイズは、顕微鏡の被写界深度ほどの大きいサイズであり得、例えば20×対物レンズの場合に最大で4ミクロンであり得る。Z補間アルゴリズムは、Zインデックスアレイのガイデッドフィルタリングが実行される前に、Zインデックスアレイを伸長させてコントラストを上げる。これは、平滑化されたzインデックスを生成する。次に、アルゴリズムは、2つの最良近傍フォーカスレベルを使用して画像強度を補間し、それにより平滑な画像を達成する。
上述したように、テレセントリック及び非テレセントリックEDFシステムの両方において、単一のエッジが合成EDF画像において複数のエッジとして見えることがある。上記の処理ステップの1つ又は複数により、この問題に対処できることが分かっている。代替の実施形態では、ステップの順序は、例えば、ガイデッドフィルタリング前にXYZ膨張を適用することによって変更され得る。
本発明について、先に概説した実施形態と併せて説明した。一方、多くの代替形態、変更形態及び変形態形が当業者に明白になることが明らかである。したがって、先に記載した本発明の例示的な実施形態は、限定ではなく、例示であることが意図される。本発明の趣旨及び範囲から逸脱することなく、に種々の変更形態がなされ得る。

Claims (9)

  1. 生体試料の合成デジタル画像を生成するシステムであって、
    前記生体試料の複数の画像から前記生体試料の合成画像を生成するように構成されたコンピュータ装置を含み、前記複数の画像の各々は、単一の軸に沿って撮影され、
    前記コンピュータ装置は、
    (a)前記生体試料の第1のx-yロケーションにおける画像物体の第1の集合の、第1のzロケーションを含む第1の焦点面を識別することと、
    (b)前記生体試料の第2のx-yロケーションにおける画像物体の第2の集合の、第2のzロケーションを含む第2の焦点面を識別することと、
    (c)前記(a)及び前記(b)にそれぞれ基づいて、第1の最適な焦点面及び第2の最適な焦点面を識別することと、
    (d)第1の最適な焦点面からの画像物体及び第2の最適な焦点面からの画像物体を結合し、且つ前記合成デジタル画像を生成することと
    を行い、
    前記コンピュータ装置は、前記第1の焦点面における前記画像物体の鮮鋭値を計算し、前記第2の焦点面における前記画像物体の鮮鋭値を計算し、最高鮮鋭値を有する前記画像物体のZインデックスの二次元マップを生成し、
    前記コンピュータ装置は、前記第1及び第2の焦点面において前記最高鮮鋭値を有する前記画像物体の前記Zインデックスの前記二次元マップに対して1つ又は複数の膨張及び収縮を実行することにより、第1及び第2の画像物体の集合の最適な第1の焦点面及び最適な第2の焦点面を識別し、
    前記膨張及び収縮の数は、健康な組織における関心のある細胞物体間の距離に比例し、それによって前記第1及び前記第2の最適な焦点面を識別し、
    前記第1の最適な焦点面に配置された画像物体は、ピントが合った状態で提示され、及び前記第1の最適な焦点面の下の画像物体は、強調抑制され、
    前記第2の最適な焦点面に配置された画像物体は、ピントが合った状態で提示され、及び前記第2の最適な焦点面の下の画像物体は、強調抑制される、システム。
  2. 前記複数の画像における前記画像の1つ又は複数は、カラー画像であり、前記コンピュータ装置は、前記複数の画像の最適な焦点面を識別する前に、前記複数の画像における前記1つ又は複数のカラー画像をグレースケールに変換する、請求項1に記載のシステム。
  3. 前記合成画像は、前記生体試料のハニカム構造を含む、請求項1に記載のシステム。
  4. 前記ハニカム構造は、ピントが合っている、請求項3に記載のシステム。
  5. 顕微鏡及びカメラを更に含む、請求項1に記載のシステム。
  6. 顕微鏡ステージを更に含む、請求項5に記載のシステム。
  7. 前記関心のある細胞物体は、細胞構造である、請求項1に記載のシステム。
  8. 前記関心のある細胞物体は、細胞核である、請求項1に記載のシステム。
  9. 前記関心のある細胞物体は、杯細胞の細胞質粘液ポケットである、請求項1に記載のシステム。
JP2022170598A 2018-08-01 2022-10-25 生体試料の合成デジタル画像を生成するシステム Active JP7244706B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862713076P 2018-08-01 2018-08-01
US62/713,076 2018-08-01
JP2021529243A JP7166456B2 (ja) 2018-08-01 2019-08-01 生体試料への拡張強化された合焦深度
PCT/US2019/044639 WO2020028648A1 (en) 2018-08-01 2019-08-01 Enhanced extended depth of focusing on biological samples

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021529243A Division JP7166456B2 (ja) 2018-08-01 2019-08-01 生体試料への拡張強化された合焦深度

Publications (2)

Publication Number Publication Date
JP2023017808A JP2023017808A (ja) 2023-02-07
JP7244706B2 true JP7244706B2 (ja) 2023-03-22

Family

ID=69232648

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021529243A Active JP7166456B2 (ja) 2018-08-01 2019-08-01 生体試料への拡張強化された合焦深度
JP2022170598A Active JP7244706B2 (ja) 2018-08-01 2022-10-25 生体試料の合成デジタル画像を生成するシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021529243A Active JP7166456B2 (ja) 2018-08-01 2019-08-01 生体試料への拡張強化された合焦深度

Country Status (11)

Country Link
US (4) US11263735B2 (ja)
EP (1) EP3830749B1 (ja)
JP (2) JP7166456B2 (ja)
KR (2) KR102542267B1 (ja)
CN (1) CN112789622A (ja)
AU (2) AU2019312657B2 (ja)
BR (1) BR112021001864B1 (ja)
CA (1) CA3107949A1 (ja)
ES (1) ES2948295T3 (ja)
IL (2) IL280503B (ja)
WO (1) WO2020028648A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019077610A1 (en) * 2017-10-19 2019-04-25 Scopio Labs Ltd. DEPTH DETECTION BASED ON DEPTH
KR102542267B1 (ko) * 2018-08-01 2023-06-13 씨디엑스 메디칼 아이피 인크. 생물학적 샘플에서 개선된 확장된 초점 심도
US11983874B1 (en) 2023-07-25 2024-05-14 Pramana, Inc. Imaging device and a method for image generation of a specimen

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007058222A (ja) 2004-08-31 2007-03-08 Trestle Acquisition Corp 顕微鏡スライドの拡大イメージを作成するシステム及び方法
US20090046909A1 (en) 2007-08-17 2009-02-19 Mark Rutenberg Feature Dependent Extended Depth of Focusing on Semi-Transparent Biological Specimens
JP2011109644A (ja) 2009-10-15 2011-06-02 General Electric Co <Ge> 被写界深度が向上した撮像システム及び撮像方法
JP2013020212A (ja) 2011-07-14 2013-01-31 Canon Inc 画像処理装置、撮像システム、画像処理システム
JP2015108837A (ja) 2015-01-07 2015-06-11 キヤノン株式会社 画像処理装置及び画像処理方法
JP2018081666A (ja) 2016-03-18 2018-05-24 パナソニックIpマネジメント株式会社 画像生成装置、画像生成方法及びプログラム
JP2018516591A (ja) 2015-03-31 2018-06-28 スライブ バイオサイエンス, インコーポレイテッド 組み込み式撮像システムを備える細胞培養インキュベータ

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003226336A1 (en) * 2002-04-09 2003-10-27 University Of Iowa Research Foundation Reconstruction and motion analysis of an embryo
US20050036702A1 (en) * 2003-08-12 2005-02-17 Xiaoli Yang System and method to enhance depth of field of digital image from consecutive image taken at different focus
JP2013516650A (ja) * 2009-12-31 2013-05-13 アボット ポイント オブ ケア インコーポレイテッド 生物検体を高速フォーカス撮像する方法及び装置
US9395302B2 (en) * 2012-07-25 2016-07-19 Theranos, Inc. Image analysis and measurement of biological samples
WO2016103501A1 (ja) * 2014-12-26 2016-06-30 国立大学法人東京大学 解析装置、解析方法、解析プログラム、細胞の製造方法、および細胞
US10801959B2 (en) 2015-06-18 2020-10-13 Konica Minolta, Inc. Objective biological substance analysis device, analysis system, analysis method, and recording medium storing computer readable analysis program
DE102015219971A1 (de) * 2015-10-14 2017-04-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Erstellen einer Mikroskopiepanoramadarstellung
WO2018106691A1 (en) 2016-12-06 2018-06-14 Abbott Laboratories Automated slide assessments and tracking in digital microscopy
GB201700487D0 (en) * 2017-01-11 2017-02-22 Hermon-Taylor John Diagnostic
JP6967232B2 (ja) * 2017-10-06 2021-11-17 株式会社ニコン 画像処理装置、画像処理方法及び画像処理プログラム
KR102542267B1 (ko) * 2018-08-01 2023-06-13 씨디엑스 메디칼 아이피 인크. 생물학적 샘플에서 개선된 확장된 초점 심도
US11717159B2 (en) * 2019-08-12 2023-08-08 Optos Plc Panoramic gonioscopic imaging
US20210149170A1 (en) * 2019-11-15 2021-05-20 Scopio Labs Ltd. Method and apparatus for z-stack acquisition for microscopic slide scanner

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007058222A (ja) 2004-08-31 2007-03-08 Trestle Acquisition Corp 顕微鏡スライドの拡大イメージを作成するシステム及び方法
US20090046909A1 (en) 2007-08-17 2009-02-19 Mark Rutenberg Feature Dependent Extended Depth of Focusing on Semi-Transparent Biological Specimens
JP2011109644A (ja) 2009-10-15 2011-06-02 General Electric Co <Ge> 被写界深度が向上した撮像システム及び撮像方法
JP2013020212A (ja) 2011-07-14 2013-01-31 Canon Inc 画像処理装置、撮像システム、画像処理システム
JP2015108837A (ja) 2015-01-07 2015-06-11 キヤノン株式会社 画像処理装置及び画像処理方法
JP2018516591A (ja) 2015-03-31 2018-06-28 スライブ バイオサイエンス, インコーポレイテッド 組み込み式撮像システムを備える細胞培養インキュベータ
JP2018081666A (ja) 2016-03-18 2018-05-24 パナソニックIpマネジメント株式会社 画像生成装置、画像生成方法及びプログラム

Also Published As

Publication number Publication date
JP2021533389A (ja) 2021-12-02
EP3830749A4 (en) 2022-04-27
IL295104B1 (en) 2023-05-01
US11449973B2 (en) 2022-09-20
BR112021001864B1 (pt) 2022-08-23
AU2022209237B2 (en) 2023-09-28
KR102466218B1 (ko) 2022-11-11
AU2019312657A1 (en) 2021-02-18
JP7166456B2 (ja) 2022-11-07
JP2023017808A (ja) 2023-02-07
KR20210037714A (ko) 2021-04-06
ES2948295T3 (es) 2023-09-07
AU2019312657B2 (en) 2022-04-28
US20210295482A1 (en) 2021-09-23
AU2022209237A1 (en) 2022-08-18
US11810280B2 (en) 2023-11-07
IL280503A (en) 2021-03-25
KR102542267B1 (ko) 2023-06-13
WO2020028648A1 (en) 2020-02-06
EP3830749A1 (en) 2021-06-09
CA3107949A1 (en) 2020-02-06
BR112021001864A2 (pt) 2021-04-27
KR20220151003A (ko) 2022-11-11
IL280503B (en) 2022-09-01
US20220405901A1 (en) 2022-12-22
CN112789622A (zh) 2021-05-11
IL295104B2 (en) 2023-09-01
US11263735B2 (en) 2022-03-01
EP3830749B1 (en) 2023-05-31
IL295104A (en) 2022-09-01
US20220156906A1 (en) 2022-05-19
US20240046419A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
JP7244706B2 (ja) 生体試料の合成デジタル画像を生成するシステム
US8199997B2 (en) Feature dependent extended depth of focusing on semi-transparent biological specimens
JP2011109644A (ja) 被写界深度が向上した撮像システム及び撮像方法
US20190213736A1 (en) Apparatus for tubulus detection from a tissue biopsy
Adiga et al. Region based techniques for segmentation of volumetric histo-pathological images
Štajduhar et al. 3d localization of neurons in bright-field histological images
JP2013113818A (ja) 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
On et al. 3D Reconstruction of Phase Contrast Images Using Focus Measures
Fan Methods for rapid and high quality acquisition of whole slide images
Adiga On Quantitative Evaluation of 3-D Histo-Pathological Images from Confocal Laser Scanning Microscope
Thiesse et al. Bright field segmentation tomography (BFST) for use as surface identification in stereomicroscopy
Chen et al. Physics and engineering aspects of cell and tissue imaging systems: microscopic devices and computer assisted diagnosis
Kladnik Test PDF submission
Indhumathi Volume processing of fluorescent laser confocal microscopic cellular images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221025

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230309

R150 Certificate of patent or registration of utility model

Ref document number: 7244706

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150