JP7344568B2 - ディープラーニングを使用して無標識蛍光画像をデジタル染色する方法及びシステム - Google Patents
ディープラーニングを使用して無標識蛍光画像をデジタル染色する方法及びシステム Download PDFInfo
- Publication number
- JP7344568B2 JP7344568B2 JP2020552396A JP2020552396A JP7344568B2 JP 7344568 B2 JP7344568 B2 JP 7344568B2 JP 2020552396 A JP2020552396 A JP 2020552396A JP 2020552396 A JP2020552396 A JP 2020552396A JP 7344568 B2 JP7344568 B2 JP 7344568B2
- Authority
- JP
- Japan
- Prior art keywords
- sample
- image
- neural network
- images
- deep neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Image Processing (AREA)
Description
本願は、2018年3月30日付けで出願された米国仮特許出願第62/651,005号明細書の優先権を主張するものであり、この米国仮特許出願を参照により本明細書に援用する。優先権は米国特許法第119条及び任意の他の妥当な法律に準拠して主張される。
組織切片試料22及び染色の異なる組合せを使用して、本明細書に記載されるシステム2及び方法をテストし、実証した。CNNベースのディープニューラルネットワーク10のトレーニングに続き、ディープニューラルネットワーク10にトレーニングセット又は検証セットで使用された画像と重複しない無標識組織切片22の自己蛍光画像20を供給することにより、その推測をブラインドテストした。図4A~図4Hは、デジタル/仮想染色されて、同じ試料22のH&E染色明視野画像48(すなわち、グランドトルース画像)と照合された唾液腺組織切片の結果を示す。これらの結果は、無標識組織切片22の蛍光画像20を、H&E染色組織から予期される正確な配色を示し、類上皮細胞、細胞核、核小体、間質、及びコラーゲン等の種々の構成要素を含む明視野均等画像40に変換するシステム2の能力を実証している。図3C及び図3Dの両方の評価は、H&E染色が、皮下繊維脂肪組織内の湿潤性腫瘍細胞の小島を実証することを示す。なお、核小体(矢印)とクロマチンテクスチャとの区別を含め、原子核細部は両パネルにおいて明確に理解される。同様に、図3G及び図3Hでは、H&E染色は湿潤性扁平上皮癌を実証する。隣接する間質中の浮腫粘液変化(アスターリスク)との繊維形成反応は、両染色で明確に識別可能である。
組織切片及び染色における差を評価した後、専用染色組織学的作業フローにおいて仮想染色システム2の能力をテストした。特に、肝臓組織切片の15個の無標識試料及び腎臓の13個の無標識組織切片の自己蛍光分布を20×/0.75NA対物レンズを用いて撮像した。肝臓及び腎臓の全ての組織切片は、異なる患者から取得され、小さな生検及びより大きな切除の両方を含んだ。全ての組織切片はFFPEから取得されたが、カバースリップされなかった。自己蛍光スキャン後、組織切片をマッソントリクローム(4μm肝臓組織切片)及びジョーンズ染色(2μm腎臓組織切片)を用いて組織学的に染色した。次にWSIをトレーニングセット及びテストセットに分割した。肝臓スライドコホートでは、7つのWSIを仮想染色アルゴリズムのトレーニングに使用し、8つのWSIをブラインドテストに使用し、腎臓スライドコホートでは、6つのWSIをアルゴリズムのトレーニングに使用し、7つのWSIをテストに使用した。研究病理学者には、各WSIの染色技法は隠され、異なる染色の品質について1~4の番号等級を適用するように求めた:4=完璧、3=非常に良い、2=許容可能、1=許容不可能。第2に、研究病理学者は、同じスコアスケール(1~4)を特定の特徴:原子核細部(ND)、細胞質細部(CD)、及び肝臓のみの細胞外線維化(EF)について適用した。これらの結果を以下の表2(肝臓)及び表3(腎臓)にまとめる(勝者は太字)。データは、病理学者が両染色技法で組織病理学的特徴を認識することが可能であり、両技法が高度に一致し、明確に好ましい染色技法がない(仮想vs組織学的)ことを示す。
次に、図3A~図3H、図4A~図4H、図5A~図5Pに提供される視覚的比較を超えて、まず、化学的に染色された試料22と、いかなる標識/染色も使用せずにディープニューラルネットワーク10を使用して合成されたデジタル/仮想染色画像40の明視野画像48間のピクセルレベル差を計算することにより、トレーニングされたディープニューラルネットワーク10の結果を定量化した。以下の表4に、YCbCr色空間を使用した組織タイプ及び染色の異なる組合せのこの比較をまとめており、ここで、クロマ成分Cb及びCrは全体的に色を定義し、Yは画像の輝度成分を定義する。この比較の結果により、これらの2組の画像間の平均差が、クロマチャネル(Cb,Cr)及び輝度チャネル(Y)でそれぞれ約5%未満及び約16%未満であることが明らかである。次に、第2の尺度、すなわち、一般に、基準画像と比較して人間のオブザーバーが画像に与えるスコアを予測するのに使用される構造的類似性指標(SSIM)を使用して、比較を更に定量化した(本明細書における式8)。SSIMは0~1の範囲であり、ここで、1は同一画像のスコアを定義する。このSSIM定量化の結果も表4にまとめられており、ネットワーク出力画像40と化学的に染色した試料の明視野画像48との間の強い構造的類似性を非常によく示している。
デジタル/仮想染色システム2の興味深い副産物は、染色標準化であることができる。換言すれば、トレーニングされたディープニューラルネットワーク10は「共通染色」カラー化方式に収束し、それにより、組織学的染色組織画像48におけるばらつきは、仮想染色組織画像40よりも大きくなる。仮想染色のカラー化は専らそのトレーニングの結果であり(すなわち、トレーニングフェーズ中に使用された判断基準組織学的染色)、新しい染色カラー化を用いてネットワークを再トレーニングすることにより、病理学者の好みに基づいて更に調整することができる。そのような「改善」されたトレーニングは、最初から作成することもでき、又は転送学習を通して加速することができる。ディープラーニングを使用したこの潜在的な染色標準化は、試料準備の異なる段階における人から人へのばらつきの悪影響を改善し、異なる臨床研究所間で共通のグラウンドを生み出し、臨床医の診断作業フローを強化すると共に、特に自動組織転移検出又は異なるタイプの癌の等級付け等の新しいアルゴリズムの開発を助ける。
転送学習の概念を使用して、改善された性能、すなわち、トレーニング費用/損失関数においてよりよい極小に達しながらも、新しい組織及び/又は染色タイプのトレーニング手順ははるかに高速に収束することができる。これは、異なる組織-染色組合せから予め学習されたCNNモデルディープニューラルネットワーク10が、ディープニューラルネットワーク10の初期化に使用されて、新しい組合せの仮想染色を統計学的に学習することができることを意味する。図6A~図6Cは、そのような手法の好ましい属性を示す:新しいディープニューラルネットワーク10は、非染色甲状腺組織切片の自己蛍光画像20を仮想染色するようにトレーニングされ、唾液腺のH&E仮想染色に向けて前にトレーニングされた別のディープニューラルネットワーク10の重み及びバイアスを使用して初期化された。トレーニングフェーズで使用される反復回数の関数としての損失尺度の進化は、新しい甲状腺ディープネットワーク10が、図6Aに示されるようにランダム初期化を使用して一からトレーニングされた同じネットワークアーキテクチャと比較してより低い最小に高速に収束することを明らかに実証している。図6Bは、学習プロセスの異なる段階におけるこの甲状腺ネットワーク10の出力画像40を比較し、提示される手法を新しい組織/染色組合せに高速で適合させる転写学習の影響を更に示す。ネットワーク出力画像40は、例えば6,000回以上の反復でのトレーニングフェーズ後、細胞核が、甲状腺乳頭カルシノーマを示唆する不規則な輪郭、原子核溝、及びクロマチン蒼白化を示し、細胞がまた、軽度から中等度の量の好酸性顆粒状細胞形質を示し、ネットワーク出力画像における血管結合組織コアが、リンパ球及び血漿細胞を含む炎症細胞の増大を示すことを明らかにする。図6Cは、対応するH&E化学染色明視野画像48を示す。
トレーニングされたディープニューラルネットワーク10を使用する方法は、異なる組織組成での推測性能を高めるために、他の励起波長及び/又は撮像モダリティと組み合わせることができる。例えば、仮想H&E染色を使用した皮膚組織切片試料でのメラニン検出を試みた。しかしながら、ネットワークの出力は本明細書に記載される実験システムで測定されるDAPI励起/放射波長において弱い自己蛍光信号を提示するため、メラニンは、ネットワークの出力において明確に識別できなかった。メラニンの自己蛍光を高める潜在的な一方法は、試料が酸化性溶液中にある間、試料を撮像することである。しかしながら、例えば、メラニン信号を増強し、トレーニングされたディープニューラルネットワーク10において正確に推測することができるように、Cy5フィルタ(励起628nm/放射692nm)から発せられる追加の自己蛍光チャネルが利用されるより実用的な代替を使用した。DAPI及びCy5自己蛍光チャネルの両方を使用してネットワーク10をトレーニングすることにより、トレーニングされたディープニューラルネットワーク10は、図7A~図7Cに示されるように、試料でメラニンが発生した場所を首尾良く特定することができた。これとは対照的に、DAPIチャネルのみが使用された場合(図7A)、ネットワーク10は、メラニンを含むエリアを特定することができなかった(エリアは白く見える)。換言すれば、Cy5チャネルからの追加の自己蛍光情報がネットワーク10により使用されて、背景組織からメラニンを区別した。図7A~図7Cに示される結果では、最も必要な情報が高解像度DAPIスキャンにおいて見つけられ、追加情報(例えば、メラニンの存在)をより低解像度のスキャンでエンコードすることができるとの仮説を立てたため、高解像度DAPIスキャン(20×/0.75NA)を補足するために、画像20はCy5チャネルではより低い解像度の対物レンズ(10×/0.45NA)を使用して取得された。このようにして、2つの異なるチャネルを使用し、チャネルの一方は、メラニン識別のためにより低解像度で使用した。これは、蛍光顕微鏡110を用いた試料22の複数のスキャン通過を必要とし得る。更に別のマルチチャネル実施形態では、複数の画像20をトレーニングされたディープニューラルネットワーク10に供給し得る。これは、例えば、コントラスト強調、コントラスト反転、及び画像フィルタリング等の線形又は非線形画像事前処理を受けた1つ又は複数の画像と組み合わせた未処理の蛍光画像を含み得る。
キシレンを使用して、ホルマリン固定パラフィン包埋2μm厚組織切片を脱パラフィン化し、Cytoseal(商標)(Thermo-Fisher Scientific,Waltham,MA USA)を使用して標準ガラススライドに載せ、その後、カバースリップ(Fisherfinest(商標),24×50-1,Fisher Scientific,Pittsburgh,PA USA)を配置した。非標識組織試料の初期自己蛍光撮像プロセス(DAPI励起及び放射フィルタセットを使用)に続き、スライドを次に、約48時間又は組織にダメージなくカバースリップを取り外すことができるまでキシレン中に配置した。カバースリップが取り外されると、スライドを無水アルコール、95%アルコールに浸漬し(約30回)、次に脱イオン水に約1分洗浄した。このステップに続き、H&E、マッソントリクローム、又はジョーンズ染色に使用される対応する染色手順が続いた。この組織処理パスは、手法のトレーニング及び検証のみに使用され、ネットワークがトレーニングされた後は必要ない。システム及び方法をテストするために、異なる組織及び染色組合せを使用した:唾液腺及び甲状腺組織切片はH&Eを用いて染色し、腎臓組織切片はジョーンズ染色を用いて染色し、肝臓及び肺組織切片はマッソントリクロームを用いて染色した。
モータ駆動ステージを装備した従来の蛍光顕微鏡110(1×83、Olympus Corporation,Tokyo,Japan)を使用して、無標識組織自己蛍光画像20を捕捉し、画像取得プロセスはMetaMorph(登録商標)顕微鏡オートメーションソフトウェア(Molecular Devices,LLC)により制御された。非染色組織試料を近UV光で励起させ、40×/0.95NA対物レンズ(Olympus UPLSAPO 40X2/0.95NA、WD0.18)又は20×/0.75NA対物レンズ(Olympus UPLSAPO 20X/0.75NA、WD0.65)と共にDAPIフィルタキューブ(OSFI3-DAPI-5060C、励起波長377nm/50nm帯域幅、放射波長447nm/60nm帯域幅)を使用して撮像した。メラニン推測の場合、10×/0.4NA対物レンズ(Olympus UPLSAPO10X2)と共にCy5フィルタキューブ(CY5-4040C-OFX、励起波長628nm/40nm帯域幅、放射波長692nm/40nm帯域幅)を使用して、試料の自己蛍光画像を更に取得した。露出時間約500msで科学的CMOSセンサ(ORCA-flash4.0 v2,Hamamatsu Photonics K.K.,Shizuoka Prefecture,Japan)を用いて各自己蛍光画像を捕捉した。2×倍率アダプタを装備した20×/0.75NA対物レンズ(Plan Apo)を使用したスライドスキャナ顕微鏡(Aperio AT,Leica Biosystems)を使用して、明視野画像48(トレーニング及び検証に使用される)を取得した。
ディープニューラルネットワーク10は、化学的に染色されていない組織試料22の自己蛍光画像20と、組織化学的に染色された同じ組織試料22の明視野画像48との間の統計学的変換を学習することを目的とするため、入力画像とターゲット画像(すなわち、非染色自己蛍光画像20と染色された明視野画像48)とのFOVを正確に一致させることが重要である。MATLAB(The MathWorks Inc.,Natick,MA,USA)で実施された大域的及び局所的画像レジストレーションプロセスを記述する全体方式は図8において説明される。このプロセスの最初のステップは、非染色自己蛍光画像と化学染色明視野画像とを一致させる候補特徴を見つけることである。このために、各自己蛍光画像20(2048×2048ピクセル)をダウンサンプリングして、明視野顕微鏡画像の有効ピクセルサイズを一致させる。これにより、1351×1351ピクセルの非染色自己蛍光組織画像になり、これは、全てのピクセル値の下1%及び上1%を飽和させることによりコントラスト強調され、グレースケール変換されたホールスライドイメージのカラーマップをよりよく表すようにコントラスト反転される(図8における画像20a)。次に、相関パッチプロセス60が実行され、1351×1351ピクセルパッチのそれぞれ1つをホールスライドグレースケール画像48aから抽出された同サイズの対応するパッチと相関付けることにより、正規化相関スコア行列が計算される。最高スコアを有するこの行列内のエントリは、2つの撮像モダリティ間で一致する可能性が最も高いFOVを表す。この情報(座標ペアを定義する)を使用して、元のホールスライド明視野画像48の一致するFOVはクロッピングされて(48c)、ターゲット画像48dを作成する。このFOV一致手順60に続き、自己蛍光画像20及び明視野顕微鏡画像48は粗くマッチングされる。しかしながら、これらは、同じ試料の入力画像とターゲット画像との間に僅かな回転角(約1~2度)をランダムに生じさせる2つの異なる顕微鏡撮像実験(自己蛍光、それに続いて明視野)での試料配置の僅かなミスマッチに起因して、個々のピクセルレベルではまだ正確にレジストレーションされていない。
この作業では、GANアーキテクチャを使用して、無標識非染色自己蛍光入力画像20から化学染色試料の対応する明視野画像48への変換を学習した。標準の畳み込みニューラルネットワークベースのトレーニングは、ネットワークの出力とターゲット標識との間の損失/費用関数を最小化するように学習する。したがって、この損失関数69(図9及び図10)の選択は、ディープネットワーク設計の極めて重要な構成要素である。例えば、費用関数として単にl2ノルムペナルティを選ぶことは、ネットワークが全てのもっともらしい結果の加重確率を平均するため、ぼやけた結果を生成する傾向があり、したがって、ネットワークの出力に望ましい鮮鋭な試料特徴を保存するようにネットワークをガイドするために、一般に追加の正則化項が必要である。GANは、ディープネットワークの出力画像が真であるか偽であるか(すなわち、仮想染色で正しいかそれとも誤っているか)を正確に分類することを目的とした基準を学習することによりこの問題を回避する。これは、望ましい標識と一貫しない出力画像を容認しないようにし、損失関数を目下のデータ及び望ましいタスクに適応させる。この目標を達成するために、GANトレーニング手順は、図9及び図10に示されるように、2つの異なるネットワークのトレーニングを含む:(i)この場合、非染色自己蛍光入力画像20と組織学的染色プロセス後の同じ試料12の対応する明視野画像48との間の統計学的変換を学習することを目的とする生成ネットワーク70及び(ii)染色組織切片の真の明視野画像と生成ネットワークの出力画像との区別の仕方を学習する識別ネットワーク74。最終的に、このトレーニングプロセスの望ましい結果は、非染色自己蛍光入力画像20を、同じ試料22の染色明視野画像48から区別不可能なデジタル染色画像40に変換するトレーニングされたディープニューラルネットワーク10である。このために、生成器70及び識別器74の損失関数69は、
のように定義され、式中、Dは識別ネットワーク出力を指し、z標識は化学染色組織の明視野画像を示し、z出力は生成ネットワークの出力を示す。生成器損失関数は、ピクセル毎のMSE損失及び結合生成器損失(l生成器)のそれぞれ約2%及び約20%に適応する経験的に異なる値に設定される正則化パラメータ(λ,α)を使用して、標識に対する生成ネットワーク出力画像のピクセル毎の平均二乗誤差(MSE)、出力画像の全変動(TV)演算子、及び出力画像の識別ネットワーク予測のバランスを取る。画像zのTV演算子は、
として定義され、式中、p,qはピクセルインデックスである。式(1)に基づいて、識別器は、真の標識(すなわち、化学染色組織の明視野画像)を正確に分類する確率を最大化しながら、出力損失を最小化しようとする。理想的には、識別ネットワークはD(Z標識)=1及びD(z出力)=0の達成を目標とするが、生成器がGANにより首尾良くトレーニングされる場合、D(z出力)は理想的には0.5に収束する。
式中、CONV{.}は畳み込み演算子(バイアス項を含む)であり、k1、k2、及びk3は畳み込み層のシリアル番号を示し、LReLU[.]は、
として定義されるネットワーク全体を通して使用された非線形活性化関数(すなわち、漏洩正規化線形ユニット)である。
により与えられ、式中、CONCAT(.)は、チャネル数を統合する2つの特徴マップ間の連結であり、US{.}はアップサンプリング演算子であり、k4、k5、及びk6は畳み込み層のシリアル番号を示す。アップサンプリングパスにおける各レベルの入力チャネル数は1024、512、256、128に設定され、アップサンプリングパスにおける各レベルの出力チャネル数は256、128、64、32にそれぞれ設定された。最後の層は、32のチャネルをYCbCrカラーマップで表される3つのチャネルにマッピングする畳み込み層(CL)である。生成ネットワーク及び識別ネットワークは両方とも、パッチサイズ256×256ピクセルを用いてトレーニングされた。
の5ブロックが続き、式中、k1、k2は畳み込み層のシリアル番号を示す。各層のチャネル数は3、64、64、128、128、256、256、512、512、1024、1024、2048であった。次の層は、パッチサイズ(256×256)に等しいフィルタサイズを有する平均プール層であり、2048エントリを有するベクトルを生成した。この平均プール層の出力は次に、以下の構造:
を有する2つの全結合層(FC)に供給され、式中、FCは学習可能な重み及びバイアスを有する全結合層を表す。第1の全結合層は2048エントリを有するベクトルを出力し、一方、第2の全結合層はスカラー値を出力する。このスカラー値はシグモイド活性化関数D(z)=1/(1+exp(-z))への入力として使用され、シグモイド活性化関数は、図10の出力67に示されるように、識別ネットワーク入力が真/真正又は偽である確率(0~1)、すなわち、理想的にはD(Z標識)=1を計算する。
トレーニングされたパッチ数、エポック数、及びトレーニング時間を含めたその他の実装詳細を以下の表5に示す。デジタル/仮想染色ディープニューラルネットワーク10は、Pythonバージョン3.5.0を使用して実装された。GANはTensorFlowフレームワークバージョン1.4.0を使用して実装された。使用された他のPhythonライブラリはos、time、tqdm、Pythonイメージングライブラリ(PIL)、SciPy、glob、ops、sys、及びnumpyであった。ソフトウェアは、Windows10オペレーティングシステム(Microsoft)を実行する、4.2GHz(Intel)のCore i7-7700K CPU及び64GBのRAMを有するデスクトップコンピュータで実装された。ネットワークのトレーニング及びテストは、デュアルGeForce(登録商標)GTX 1080Ti GPU(NVidia)を使用して実行した。
Claims (39)
- 無標識試料のデジタル染色顕微鏡画像を生成する方法であって、
計算デバイスの1つ又は複数のプロセッサを使用して画像処理ソフトウェアにより実行される、トレーニングされたディープニューラルネットワークを提供するステップであって、前記トレーニングされたディープニューラルネットワークは、複数の一致した化学染色画像又は画像パッチ及び同じ試料の対応する自己蛍光画像又は画像パッチを用いてトレーニングされる、提供するステップと、
蛍光顕微鏡、1以上の励起光源、および1以上の放射フィルタを使用して前記試料の1つ以上の自己蛍光画像を取得するステップであって、蛍光は内因性フルオロフォア又は前記試料内の周波数シフト光の他の内因性エミッタから発せられる、取得するステップと、
前記試料の1つ以上の前記自己蛍光画像を前記トレーニングされたディープニューラルネットワークに入力するステップと、
前記トレーニングされたディープニューラルネットワークが、化学染色された前記同じ試料の対応する明視野画像と実質的に均等な前記試料の前記デジタル染色顕微鏡画像を出力するステップと、
を含むことを特徴とする方法。 - 請求項1に記載の方法において、
前記トレーニングされたディープニューラルネットワークは畳み込みニューラルネットワークを含むことを特徴とする方法。 - 請求項1に記載の方法において、
前記ディープニューラルネットワークは、敵対的生成ネットワーク(GAN)モデルを使用してトレーニングされることを特徴とする方法。 - 請求項1に記載の方法において、
前記ディープニューラルネットワークは、前記一致した化学染色画像又は画像パッチと前記同じ試料の自己蛍光画像又は画像パッチとの間の統計学的変換を学習するように構成された生成ネットワークと、前記試料のグランドトルース化学染色画像と前記試料の前記出力されたデジタル染色顕微鏡画像とを区別するように構成された識別ネットワークを使用してトレーニングされることを特徴とする方法。 - 請求項1に記載の方法において、
前記試料は、哺乳類組織、植物組織、細胞、病原体、体溶液塗抹、又は関心のある他の物体を含むことを特徴とする方法。 - 請求項1に記載の方法において、
前記ディープニューラルネットワークは、取得された1つ以上の前記自己蛍光画像の前記試料タイプと同じタイプの試料を用いてトレーニングされることを特徴とする方法。 - 請求項1に記載の方法において、
前記トレーニングされたディープニューラルネットワークは、1つ以上の前記自己蛍光画像の入力から1秒未満でデジタル染色顕微鏡画像を出力することを特徴とする方法。 - 請求項1に記載の方法において、
前記試料は非固定組織試料を含むことを特徴とする方法。 - 請求項1に記載の方法において、
前記試料は固定組織試料を含むことを特徴とする方法。 - 請求項9に記載の方法において、
前記固定組織試料はパラフィンに埋め込まれることを特徴とする方法。 - 請求項1に記載の方法において、
前記試料は新鮮組織試料を含むことを特徴とする方法。 - 請求項1に記載の方法において、
前記試料はin vivoで撮像された組織を含むことを特徴とする方法。 - 請求項1に記載の方法において、
1以上の前記励起光源は紫外線光又は近紫外線光を発することを特徴とする方法。 - 請求項1に記載の方法において、
複数の放射フィルタが、前記トレーニングされたディープニューラルネットワークに入力される複数の自己蛍光画像を捕捉するのに使用されることを特徴とする方法。 - 請求項14に記載の方法において、
前記複数の自己蛍光画像は、異なる波長又は波長範囲の光を発する複数の励起光源により取得されることを特徴とする方法。 - 請求項1に記載の方法において、
1つ以上の前記自己蛍光画像は、コントラスト強調、コントラスト反転、前記トレーニングされたディープニューラルネットワークに入力される前の画像フィルタリングから選択される1つ又は複数の線形又は非線形画像事前処理演算を受けることを特徴とする方法。 - 請求項16に記載の方法において、
1つ以上の前記自己蛍光画像及び1つ以上の事前処理された画像は一緒に、前記トレーニングされたディープニューラルネットワークに入力されることを特徴とする方法。 - 請求項1に記載の方法において、
前記同じ試料の前記複数の一致した化学染色及び自己蛍光画像又は画像パッチは、トレーニング中、レジストレーションを受け、前記レジストレーションは、回転を補正する大域的レジストレーションプロセス及び前記一致した化学染色画像及び自己蛍光画像において見つけられた局所特徴を一致させる続く局所レジストレーションプロセスを含むことを特徴とする方法。 - 請求項1に記載の方法において、
前記トレーニングされたディープニューラルネットワークは、1つ又は複数のGPU又はASICを使用してトレーニングされることを特徴とする方法。 - 請求項1に記載の方法において、
前記トレーニングされたディープニューラルネットワークは、1つ又は複数のGPU又はASICを使用して実行されることを特徴とする方法。 - 請求項1に記載の方法において、
前記試料の前記デジタル染色顕微鏡画像は、前記試料の1つ以上の前記自己蛍光画像を取得した後、リアルタイム又は準リアルタイムで出力されることを特徴とする方法。 - 請求項1に記載の方法において、
前記トレーニングされたディープニューラルネットワークは、転送学習を使用して第2の組織/染色組合せに更に最適化された第1の組織/染色組合せからの初期ニューラルネットワーク重み及びバイアスを使用して前記第2の組織/染色組合せに向けてトレーニングされることを特徴とする方法。 - 請求項21に記載の方法において、
前記トレーニングされたディープニューラルネットワークは、複数の組織/染色組合せに向けてトレーニングされることを特徴とする方法。 - 請求項21に記載の方法において、
前記トレーニングされたディープニューラルネットワークは、所与の組織タイプの2つ以上の化学染色タイプに向けてトレーニングされることを特徴とする方法。 - 無標識試料のデジタル染色顕微鏡画像を生成する方法であって、
計算デバイスの1つ又は複数のプロセッサを使用して画像処理ソフトウェアにより実行される、トレーニングされたディープニューラルネットワークを提供するステップであって、前記トレーニングされたディープニューラルネットワークは、複数の一致した化学染色画像又は画像パッチ及び同じ試料の対応する自己蛍光画像又は画像パッチを用いてトレーニングされる、提供するステップと、
蛍光顕微鏡を使用して前記試料の1つ以上の第1の自己蛍光画像を取得するステップであって、第1の波長又は波長範囲の蛍光が、内因性蛍光又は前記試料内の周波数シフト光の他の内因性エミッタから発せられる、取得するステップと、
蛍光顕微鏡を使用して前記試料の1つ以上の第2の自己蛍光画像を取得するステップであって、第2の波長又は波長範囲の蛍光が、内因性蛍光又は前記試料内の周波数シフト光の他の内因性エミッタから発せられる、取得するステップと、
前記試料の1つ以上の前記第1の自己蛍光画像及び1つ以上の前記第2の自己蛍光画像を前記トレーニングされたディープニューラルネットワークに入力するステップと、
前記トレーニングされたディープニューラルネットワークが、化学染色された前記同じ試料の対応する明視野画像と実質的に均等な前記試料の前記デジタル染色顕微鏡画像を出力するステップと、
を含むことを特徴とする方法。 - 請求項25に記載の方法において、
1つ以上の前記第1の自己蛍光画像及び1つ以上の前記第2の自己蛍光画像は、異なる解像度を使用して取得されることを特徴とする方法。 - 請求項25に記載の方法において、
前記試料は、組織、細胞、病原菌、体溶液塗抹、又は関心のある他の物体を含むことを特徴とする方法。 - 化学的に染色されていない試料のデジタル染色顕微鏡画像を生成するシステムであって、
計算デバイスを備え、前記計算デバイスは、前記計算デバイスで又は前記計算デバイスにより実行される画像処理ソフトウェアを有し、前記画像処理ソフトウェアは、前記計算デバイスの1つ又は複数のプロセッサを使用して実行されるトレーニングされたディープニューラルネットワークを含み、前記トレーニングされたディープニューラルネットワークは、複数の一致した化学染色画像又は画像パッチ及び同じ試料の対応する自己蛍光画像又は画像パッチを用いてトレーニングされ、前記画像処理ソフトウェアは、1以上の放射フィルタを使用して1以上の放射波長帯域において取得された前記試料の1つ以上の自己蛍光画像を受信し、化学染色された前記同じ試料の対応する明視野画像と実質的に均等な前記試料の前記デジタル染色顕微鏡画像を出力するように構成されることを特徴とするシステム。 - 請求項28に記載のシステムにおいて、
前記トレーニングされたディープニューラルネットワークは畳み込みニューラルネットワークを含むことを特徴とするシステム。 - 請求項29に記載のシステムにおいて、
前記トレーニングされたディープニューラルネットワークは、敵対的生成ネットワーク(GAN)モデルを使用してトレーニングされることを特徴とするシステム。 - 請求項28に記載のシステムにおいて、
前記試料の前記1つ以上の自己蛍光画像を取得するように構成された蛍光顕微鏡を更に備えることを特徴とするシステム。 - 請求項31に記載のシステムにおいて、
複数のフィルタを更に備え、複数の自己蛍光画像が異なるフィルタを使用して取得されることを特徴とするシステム。 - 請求項31に記載のシステムにおいて、
前記蛍光顕微鏡は、異なる波長又は波長帯域の光を発する複数の励起光源を備えることを特徴とするシステム。 - 請求項30に記載のシステムにおいて、
前記GANモデルは、前記一致した化学染色画像又は画像パッチと前記同じ試料の自己蛍光画像又は画像パッチとの間の統計学的変換を学習するように構成された生成ネットワークと、前記試料のグランドトルース化学染色画像と前記試料の前記出力されたデジタル染色顕微鏡画像とを区別するように構成された識別ネットワークを使用してトレーニングされることを特徴とするシステム。 - 請求項30に記載のシステムにおいて、
前記GANモデルは、前記取得された1つ以上の前記自己蛍光画像の前記試料と同じ試料タイプの試料を用いてトレーニングされることを特徴とするシステム。 - 請求項28に記載のシステムにおいて、
前記トレーニングされたディープニューラルネットワークは、1つ以上の前記自己蛍光画像の入力から1秒未満でデジタル染色顕微鏡画像を出力することを特徴とするシステム。 - 請求項31に記載のシステムにおいて、
前記蛍光顕微鏡の励起光源は、紫外線光又は近紫外線光を発することを特徴とするシステム。 - 請求項31に記載のシステムにおいて、
1つ以上の前記自己蛍光画像は、フィルタセットを使用してフィルタリングされた放射帯域又は放射波長範囲で取得されることを特徴とするシステム。 - 請求項38に記載のシステムにおいて、
前記フィルタセットは、前記蛍光顕微鏡と併用されるように構成された複数のフィルタの1つを含むことを特徴とするシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862651005P | 2018-03-30 | 2018-03-30 | |
US62/651,005 | 2018-03-30 | ||
PCT/US2019/025020 WO2019191697A1 (en) | 2018-03-30 | 2019-03-29 | Method and system for digital staining of label-free fluorescence images using deep learning |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021519924A JP2021519924A (ja) | 2021-08-12 |
JP7344568B2 true JP7344568B2 (ja) | 2023-09-14 |
Family
ID=68060845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020552396A Active JP7344568B2 (ja) | 2018-03-30 | 2019-03-29 | ディープラーニングを使用して無標識蛍光画像をデジタル染色する方法及びシステム |
Country Status (8)
Country | Link |
---|---|
US (2) | US11893739B2 (ja) |
EP (1) | EP3776342A4 (ja) |
JP (1) | JP7344568B2 (ja) |
KR (1) | KR20200140301A (ja) |
CN (1) | CN112106061A (ja) |
BR (1) | BR112020019896A2 (ja) |
CA (1) | CA3095739A1 (ja) |
WO (1) | WO2019191697A1 (ja) |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7181001B2 (ja) * | 2018-05-24 | 2022-11-30 | 日本電子株式会社 | 生物組織画像処理システム及び機械学習方法 |
CN113167783A (zh) | 2018-10-18 | 2021-07-23 | 加利福尼亚大学董事会 | 用于流体样本中运动物体的基于运动的无标记检测的设备和方法 |
EP3903092A4 (en) | 2018-12-26 | 2022-02-16 | The Regents of the University of California | SYSTEMS AND METHODS FOR TWO-DIMENSIONAL FLUORESCENCE WAVE PROPAGATION ON SURFACES USING DEPTH LEARNING |
JP7470339B2 (ja) * | 2019-03-06 | 2024-04-18 | 学校法人 埼玉医科大学 | 染色画像推定器学習装置、画像処理装置、染色画像推定器学習方法、画像処理方法、染色画像推定器学習プログラム、及び、画像処理プログラム |
JP7370158B2 (ja) * | 2019-04-03 | 2023-10-27 | 株式会社Preferred Networks | 情報処理装置および情報処理方法 |
CN113678142A (zh) | 2019-04-11 | 2021-11-19 | 安捷伦科技有限公司 | 基于深度学习的经由回归层的实例分割训练 |
US11262286B2 (en) | 2019-04-24 | 2022-03-01 | The Regents Of The University Of California | Label-free bio-aerosol sensing using mobile microscopy and deep learning |
WO2020242630A1 (en) * | 2019-05-24 | 2020-12-03 | PharmaNest LLC | Quantitative phenotyping of fibrosis from images of biological tissue samples |
US11460395B2 (en) | 2019-06-13 | 2022-10-04 | The Regents Of The University Of California | System and method for measuring serum phosphate levels using portable reader device |
GB2585005B (en) * | 2019-06-24 | 2021-06-23 | Roadmetric Ltd | Training a machine to recognize a motor vehicle driver using a mobile device |
WO2021052063A1 (en) * | 2019-09-19 | 2021-03-25 | The Hong Kong University Of Science And Technology | Slide-free histological imaging method and system |
US11423678B2 (en) | 2019-09-23 | 2022-08-23 | Proscia Inc. | Automated whole-slide image classification using deep learning |
TR201915794A2 (ja) * | 2019-10-14 | 2021-04-21 | Izmir Yueksek Teknoloji Enstituesue | |
KR102302333B1 (ko) * | 2019-11-05 | 2021-09-16 | 주식회사 토모큐브 | 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치 |
DE102019130032B4 (de) * | 2019-11-07 | 2022-04-14 | Ford Global Technologies, Llc | Verfahren, Computerprogrammprodukt und System zum Erzeugen eines Bilddatensatzes für eine computerimplementierte Simulation |
WO2021113821A1 (en) * | 2019-12-05 | 2021-06-10 | Tempus Labs, Inc. | Systems and methods for high throughput drug screening |
CN110727097B (zh) * | 2019-12-19 | 2020-05-05 | 上海兰脉信息科技有限公司 | 一种病理显微图像实时采集分析系统、方法、装置及介质 |
EP3839884A1 (en) * | 2019-12-20 | 2021-06-23 | Fundación Tecnalia Research & Innovation | Method, system and computer program product for image transformation |
WO2021133847A1 (en) * | 2019-12-23 | 2021-07-01 | The Regents Of The University Of California | Method and system for digital staining of microscopy images using deep learning |
WO2021132633A1 (ja) * | 2019-12-26 | 2021-07-01 | 公益財団法人がん研究会 | Aiを用いた病理診断支援方法、及び支援装置 |
DE102020105697B3 (de) * | 2020-03-03 | 2021-03-04 | Carl Zeiss Meditec Ag | Computerimplementiertes Verfahren zum Auffinden möglicher Artefakte in einem virtuell eingefärbten Histologiebild |
WO2021198247A1 (en) * | 2020-03-30 | 2021-10-07 | Carl Zeiss Ag | Optimal co-design of hardware and software for virtual staining of unlabeled tissue |
US11189060B2 (en) * | 2020-04-30 | 2021-11-30 | Adobe Inc. | Generating procedural materials from digital images |
US11393182B2 (en) * | 2020-05-29 | 2022-07-19 | X Development Llc | Data band selection using machine learning |
AU2021339584A1 (en) * | 2020-09-08 | 2023-05-18 | Insitro, Inc. | Biological image transformation using machine-learning models |
US11250199B1 (en) * | 2020-09-16 | 2022-02-15 | Center For Deep Learning In Electronics Manufacturing, Inc. | Methods and systems for generating shape data for electronic designs |
EP4200674A4 (en) | 2020-09-23 | 2024-03-20 | Proscia Inc | CRITICAL COMPONENT DETECTION USING DEEP LEARNING AND DEEP ATTENTION |
EP4002267A1 (en) | 2020-11-19 | 2022-05-25 | Prospective Instruments GmbH | Imaging method and system for generating a digitally stained image, training method for training an artificial intelligence system, and non-transitory storage medium |
KR102462847B1 (ko) * | 2021-01-29 | 2022-11-04 | 한국광기술원 | 음영 왜곡을 보정하는 전체 슬라이드 이미징 장치 및 그 방법 |
EP4323951A1 (en) * | 2021-04-14 | 2024-02-21 | Ventana Medical Systems, Inc. | Transformation of histochemically stained images into synthetic immunohistochemistry (ihc) images |
CN113515077A (zh) * | 2021-04-23 | 2021-10-19 | 重庆德方信息技术有限公司 | 人体细胞染色过程监控系统及方法 |
US11995810B2 (en) * | 2021-04-27 | 2024-05-28 | City University Of Hong Kong | System and method for generating a stained image |
DE102021204805A1 (de) * | 2021-05-11 | 2022-11-17 | Carl Zeiss Microscopy Gmbh | Bewertungsverfahren für Simulationsmodelle in der Mikroskopie |
CN113469864B (zh) * | 2021-06-28 | 2024-05-07 | 平湖莱顿光学仪器制造有限公司 | 一种用于获取显微图像的方法与设备 |
WO2023061162A1 (en) * | 2021-10-12 | 2023-04-20 | The Hong Kong University Of Science And Technology | Systems and methods for label-free multi-histochemical virtual staining |
CN114119609B (zh) * | 2022-01-25 | 2022-04-26 | 深圳佑驾创新科技有限公司 | 图像污点浓度的检测方法、装置、设备及存储介质 |
WO2023154925A1 (en) * | 2022-02-14 | 2023-08-17 | Genetic Innovations, Inc. | Medical spectroscopy and imaging analysis |
CN114596298B (zh) * | 2022-03-16 | 2022-11-15 | 华东师范大学 | 基于高光谱成像的精标注数字病理数据集自动生成方法 |
KR20230160440A (ko) * | 2022-05-17 | 2023-11-24 | 계명대학교 산학협력단 | Gan을 활용한 디지털병리 염색 복원 장치 및 방법 |
WO2024036020A1 (en) * | 2022-08-10 | 2024-02-15 | Verily Life Sciences Llc | Generating images of virtually stained biological samples |
WO2024063119A1 (ja) * | 2022-09-21 | 2024-03-28 | 国立大学法人大阪大学 | 画像翻訳装置、画像診断システム、画像翻訳方法、制御プログラム、記録媒体 |
CN115565698B (zh) * | 2022-10-26 | 2024-03-29 | 南方医科大学珠江医院 | 一种人工智能评估供肾质量的方法及系统 |
CN116503858B (zh) * | 2023-05-06 | 2024-01-23 | 华东师范大学 | 一种基于生成模型的免疫荧光图像分类方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130077875A1 (en) | 2005-01-27 | 2013-03-28 | Richard Levenson | Classifying image features |
WO2013187148A1 (ja) | 2012-06-15 | 2013-12-19 | オリンパス株式会社 | 画像処理装置、顕微鏡システム、内視鏡システム及び画像処理方法 |
US20140270457A1 (en) | 2013-03-15 | 2014-09-18 | The Board Of Trustees Of The University Of Illinois | Stain-free histopathology by chemical imaging |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003270687B2 (en) | 2002-09-13 | 2008-05-08 | Life Technologies Corporation | Interactive and automated tissue image analysis with global training database and variable-abstraction processing in cytological specimen classification and laser capture microdissection applications |
CN1556379A (zh) * | 2003-12-30 | 2004-12-22 | 天津大学 | 光纤连续激发显微荧光光谱成像仪 |
US8269827B2 (en) * | 2009-09-29 | 2012-09-18 | General Electric Company | System and methods for mapping fluorescent images into a bright field color space |
CN102143133B (zh) | 2010-08-05 | 2013-12-18 | 华为技术有限公司 | Http流播放方式中支持广告内容的方法、装置和系统 |
US20120083678A1 (en) * | 2010-09-30 | 2012-04-05 | Chemimage Corporation | System and method for raman chemical analysis of lung cancer with digital staining |
EP2827772B1 (en) * | 2012-03-19 | 2023-10-04 | Genetic Innovations Inc. | Devices, systems, and methods for virtual staining |
WO2014065889A2 (en) * | 2012-10-28 | 2014-05-01 | Clarient Diagnostic Services, Inc. | Multiplexed method for diagnosing classical hodgkin lymphoma |
US20150269314A1 (en) * | 2014-03-20 | 2015-09-24 | Rudjer Boskovic Institute | Method and apparatus for unsupervised segmentation of microscopic color image of unstained specimen and digital staining of segmented histological structures |
WO2015168026A2 (en) | 2014-04-28 | 2015-11-05 | The Broad Institute, Inc. | Method for label-free image cytometry |
US9964489B2 (en) * | 2014-09-16 | 2018-05-08 | Lawrence Livermore National Security, Llc | System and method for controlling depth of imaging in tissues using fluorescence microscopy under ultraviolet excitation following staining with fluorescing agents |
US9625387B2 (en) | 2014-09-16 | 2017-04-18 | Lawrence Livermore National Security, Llc | System and method for controlling depth of imaging in tissues using fluorescence microscopy under ultraviolet excitation following staining with fluorescing agents |
US9767555B2 (en) * | 2015-01-05 | 2017-09-19 | Case Western Reserve University | Disease characterization from fused pathology and radiology data |
US9984462B2 (en) * | 2015-01-05 | 2018-05-29 | Case Western Reserve University | Disease characterization from fused pathology and radiology data |
WO2017053592A1 (en) | 2015-09-23 | 2017-03-30 | The Regents Of The University Of California | Deep learning in label-free cell classification and machine vision extraction of particles |
US9971966B2 (en) | 2016-02-26 | 2018-05-15 | Google Llc | Processing cell images using neural networks |
WO2017196885A1 (en) | 2016-05-10 | 2017-11-16 | The Regents Of The University Of California | Method and device for high-resolution color imaging using merged images from holographic and lens-based devices |
JP6810167B2 (ja) * | 2016-05-27 | 2021-01-06 | ヴェリリー ライフ サイエンシズ エルエルシー | 4dハイパースペクトル撮像のためのシステムおよび方法 |
WO2017205858A1 (en) * | 2016-05-27 | 2017-11-30 | Verily Life Sciences Llc | Spatial light modulator based hyperspectral confocal microscopes and methods of use |
EP3469515A1 (en) | 2016-06-13 | 2019-04-17 | Nanolive SA | Method of characterizing and imaging microscopic objects |
EP3490454A4 (en) | 2016-07-29 | 2020-08-05 | Novadaq Technologies ULC | METHODS AND SYSTEMS FOR CHARACTERIZING A SUBJECT FABRIC USING MACHINE LEARNING |
US20180064409A1 (en) | 2016-09-05 | 2018-03-08 | Koninklijke Philips N.V. | Simultaneously displaying medical images |
WO2018156133A1 (en) | 2017-02-23 | 2018-08-30 | Google Llc | Method and system for assisting pathologist identification of tumor cells in magnified tissue images |
CN110869738A (zh) | 2017-03-10 | 2020-03-06 | 加利福尼亚大学董事会 | 用于空气质量监测的移动显微镜系统 |
IL272433B2 (en) | 2017-08-03 | 2024-02-01 | Nucleai Ltd | Systems and methods for tissue image analysis |
EP3664705A4 (en) | 2017-08-09 | 2021-09-29 | Allen Institute | IMAGE PROCESSING SYSTEMS, DEVICES AND METHODS FOR GENERATING AN IMAGE WITH PREDICTIVE MARKING |
WO2019118544A1 (en) * | 2017-12-15 | 2019-06-20 | Verily Life Sciences Llc | Generating virtually stained images of unstained samples |
WO2019145767A1 (en) * | 2018-01-25 | 2019-08-01 | King Abdullah University Of Science And Technology | Deep-learning based structure reconstruction method and apparatus |
US11222415B2 (en) * | 2018-04-26 | 2022-01-11 | The Regents Of The University Of California | Systems and methods for deep learning microscopy |
US11030744B2 (en) | 2018-06-26 | 2021-06-08 | Astrazeneca Computational Pathology Gmbh | Deep learning method for tumor cell scoring on cancer biopsies |
WO2020018154A1 (en) | 2018-07-19 | 2020-01-23 | The Regents Of The University Of California | Method and system for digital staining of label-free phase images using deep learning |
US11354804B1 (en) * | 2019-09-27 | 2022-06-07 | Verily Life Sciences Llc | Transforming multispectral images to enhanced resolution images enabled by machine learning |
WO2021133847A1 (en) * | 2019-12-23 | 2021-07-01 | The Regents Of The University Of California | Method and system for digital staining of microscopy images using deep learning |
-
2019
- 2019-03-29 BR BR112020019896-0A patent/BR112020019896A2/pt unknown
- 2019-03-29 WO PCT/US2019/025020 patent/WO2019191697A1/en unknown
- 2019-03-29 CA CA3095739A patent/CA3095739A1/en active Pending
- 2019-03-29 KR KR1020207031116A patent/KR20200140301A/ko active Search and Examination
- 2019-03-29 CN CN201980029172.2A patent/CN112106061A/zh active Pending
- 2019-03-29 US US17/041,447 patent/US11893739B2/en active Active
- 2019-03-29 EP EP19776693.4A patent/EP3776342A4/en active Pending
- 2019-03-29 JP JP2020552396A patent/JP7344568B2/ja active Active
-
2023
- 2023-12-18 US US18/543,168 patent/US20240135544A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130077875A1 (en) | 2005-01-27 | 2013-03-28 | Richard Levenson | Classifying image features |
WO2013187148A1 (ja) | 2012-06-15 | 2013-12-19 | オリンパス株式会社 | 画像処理装置、顕微鏡システム、内視鏡システム及び画像処理方法 |
US20150119722A1 (en) | 2012-06-15 | 2015-04-30 | Olympus Corporation | Image processing apparatus, microscope system, endoscope system, and image processing method |
US20140270457A1 (en) | 2013-03-15 | 2014-09-18 | The Board Of Trustees Of The University Of Illinois | Stain-free histopathology by chemical imaging |
Non-Patent Citations (3)
Title |
---|
BURLINGAME ERIK A ET AL,SHIFT: speedy histopathological-to-immunofluorescent translation of whole slide images using conditional generative adversarial networks,PROGRESS IN BIOMEDICAL OPTICS AND IMAGING,,SPIE,2018年03月06日,10581,1058105,ESR D2 |
HAN LIANG ET AL,Transferring Microscopy Image Modalities with Conditional Generative Adversarial Networks,2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW),IEEE,2017年07月21日,851-859,ESR D3 |
NESLIHAN BAYRAMOGLU ET AL,Towards Virtual H&E Staining of Hyperspectral Lung Histology Images Using Conditional Generative Adversarial Networks,2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS (ICCVW),IEEE,2017年10月22日,64-71,ISR D3/ESR D1 |
Also Published As
Publication number | Publication date |
---|---|
KR20200140301A (ko) | 2020-12-15 |
CN112106061A (zh) | 2020-12-18 |
EP3776342A4 (en) | 2021-06-09 |
JP2021519924A (ja) | 2021-08-12 |
EP3776342A1 (en) | 2021-02-17 |
US20240135544A1 (en) | 2024-04-25 |
US20210043331A1 (en) | 2021-02-11 |
WO2019191697A1 (en) | 2019-10-03 |
CA3095739A1 (en) | 2019-10-03 |
US11893739B2 (en) | 2024-02-06 |
BR112020019896A2 (pt) | 2021-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7344568B2 (ja) | ディープラーニングを使用して無標識蛍光画像をデジタル染色する方法及びシステム | |
US20230030424A1 (en) | Method and system for digital staining of microscopy images using deep learning | |
Rivenson et al. | Virtual histological staining of unlabelled tissue-autofluorescence images via deep learning | |
Oskal et al. | A U-net based approach to epidermal tissue segmentation in whole slide histopathological images | |
Li et al. | Biopsy-free in vivo virtual histology of skin using deep learning | |
US20210264214A1 (en) | Method and system for digital staining of label-free phase images using deep learning | |
Rivenson et al. | Deep learning-based virtual histology staining using auto-fluorescence of label-free tissue | |
US9792693B2 (en) | Spectral unmixing | |
US20230186659A1 (en) | Machine learning models for cell localization and classification learned using repel coding | |
US20240079116A1 (en) | Automated segmentation of artifacts in histopathology images | |
JP7487418B2 (ja) | 多重化免疫蛍光画像における自己蛍光アーチファクトの識別 | |
WO2021198247A1 (en) | Optimal co-design of hardware and software for virtual staining of unlabeled tissue | |
WO2023121846A1 (en) | Adversarial robustness of deep learning models in digital pathology | |
Abraham et al. | Applications of artificial intelligence for image enhancement in pathology | |
WO2021198252A1 (en) | Virtual staining logic | |
Hoque et al. | Stain normalization methods for histopathology image analysis: A comprehensive review and experimental comparison | |
WO2023107844A1 (en) | Label-free virtual immunohistochemical staining of tissue using deep learning | |
WO2021198241A1 (en) | Multi-input and/or multi-output virtual staining | |
US20100177942A1 (en) | Method and apparatus for analyzing imagery data | |
de Haan et al. | Deep learning-based transformation of the H&E stain into special stains improves kidney disease diagnosis | |
Crouzet et al. | Spectroscopic and deep learning-based approaches to identify and quantify cerebral microhemorrhages | |
Asaf et al. | Dual contrastive learning based image-to-image translation of unstained skin tissue into virtually stained H&E images | |
Mannam et al. | Improving fluorescence lifetime imaging microscopy phasor accuracy using convolutional neural networks | |
WO2024025969A1 (en) | Architecture-aware image tiling for processing pathology slides | |
Temerinac-Ott | Multiview reconstruction for 3D Images from light sheet based fluorescence microscopy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230828 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7344568 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |