JP7431472B2 - スライドフリーな組織学的撮像法及びシステム - Google Patents
スライドフリーな組織学的撮像法及びシステム Download PDFInfo
- Publication number
- JP7431472B2 JP7431472B2 JP2022517980A JP2022517980A JP7431472B2 JP 7431472 B2 JP7431472 B2 JP 7431472B2 JP 2022517980 A JP2022517980 A JP 2022517980A JP 2022517980 A JP2022517980 A JP 2022517980A JP 7431472 B2 JP7431472 B2 JP 7431472B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- speckle
- images
- autom
- estimated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 27
- 238000000034 method Methods 0.000 claims description 107
- 238000005286 illumination Methods 0.000 claims description 78
- 230000015654 memory Effects 0.000 claims description 58
- 238000013527 convolutional neural network Methods 0.000 claims description 54
- 238000000386 microscopy Methods 0.000 claims description 28
- 230000003287 optical effect Effects 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 23
- 238000012546 transfer Methods 0.000 claims description 18
- 150000001875 compounds Chemical class 0.000 claims description 15
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 claims description 14
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 claims description 9
- 230000001133 acceleration Effects 0.000 claims description 7
- 210000001519 tissue Anatomy 0.000 description 35
- 241000699666 Mus <mouse, genus> Species 0.000 description 33
- 210000004556 brain Anatomy 0.000 description 31
- 238000003860 storage Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 210000004027 cell Anatomy 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 7
- 239000002105 nanoparticle Substances 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 7
- 239000010931 gold Substances 0.000 description 6
- 229910052737 gold Inorganic materials 0.000 description 6
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000005284 excitation Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 4
- 230000004075 alteration Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000000971 hippocampal effect Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 208000035346 Margins of Excision Diseases 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 101100117236 Drosophila melanogaster speck gene Proteins 0.000 description 2
- 238000001069 Raman spectroscopy Methods 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 238000000339 bright-field microscopy Methods 0.000 description 2
- 210000003855 cell nucleus Anatomy 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002073 fluorescence micrograph Methods 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 210000001320 hippocampus Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 150000002632 lipids Chemical class 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000004940 nucleus Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102000008186 Collagen Human genes 0.000 description 1
- 108010035532 Collagen Proteins 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 102000029749 Microtubule Human genes 0.000 description 1
- 108091022875 Microtubule Proteins 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- CTQNGGLPUBDAKN-UHFFFAOYSA-N O-Xylene Chemical compound CC1=CC=CC=C1C CTQNGGLPUBDAKN-UHFFFAOYSA-N 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003050 axon Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000019522 cellular metabolic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 229920001436 collagen Polymers 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000001218 confocal laser scanning microscopy Methods 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 210000000877 corpus callosum Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000001215 fluorescent labelling Methods 0.000 description 1
- 239000005350 fused silica glass Substances 0.000 description 1
- 210000001905 globus pallidus Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000011503 in vivo imaging Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000004688 microtubule Anatomy 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 229930027945 nicotinamide-adenine dinucleotide Natural products 0.000 description 1
- BOPGDPNILDQYTO-NNYOXOHSSA-N nicotinamide-adenine dinucleotide Chemical compound C1=CCC(C(=O)N)=CN1[C@H]1[C@H](O)[C@H](O)[C@@H](COP(O)(=O)OP(O)(=O)OC[C@@H]2[C@H]([C@@H](O)[C@@H](O2)N2C3=NC=NC(N)=C3N=C2)O)O1 BOPGDPNILDQYTO-NNYOXOHSSA-N 0.000 description 1
- 238000012014 optical coherence tomography Methods 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 230000001936 parietal effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 208000007578 phototoxic dermatitis Diseases 0.000 description 1
- 231100000018 phototoxicity Toxicity 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- 238000005464 sample preparation method Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 239000008096 xylene Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
- G01N2001/302—Stain compositions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Microscoopes, Condenser (AREA)
- Image Analysis (AREA)
Description
〔関連出願〕
本出願は、２０１９年９月１９日に出願された米国仮特許出願第６２／９７３，１０１号に基づく優先権を主張するものであり、この文献の内容はその全体が引用により本明細書に組み入れられる。
本出願は、２０１９年９月１９日に出願された米国仮特許出願第６２／９７３，１０１号に基づく優先権を主張するものであり、この文献の内容はその全体が引用により本明細書に組み入れられる。
本発明は、スライドフリーな組織学的撮像法及びシステムに関する。
組織学的検査は、依然として悪性腫瘍の外科的マージン評価のためのゴールドスタンダードである。しかしながら、試料調製準備に時間及びコストが掛かる日常的な組織学的分析では、有毒な試薬廃棄物が発生し、小試験体（ｓｍａｌｌ ｓｐｅｃｉｍｅｎｓ）が枯渇し、病理組織学的レポートの作成が数時間から数日間に長引いてしまう。この時間及びコストが掛かる手順としては、ホルマリン固定及びパラフィン包埋（ＦＦＰＥ）、その後の高品質な切片形成（ｓｅｃｔｉｏｎｉｎｇ）、染色、及びその後のスライドガラス上への試料取り付けが挙げられる。これらの避けられないステップには数日間を要し、従って正確な診断レポートの作成が数時間から数日間遅れてしまう。術中凍結切片形成は、物理的切片形成の前に新鮮な組織を凍結させることによってＦＦＰＥ組織学のより迅速な代替案を提供するが、術中凍結切片形成でも準備及びターンアラウンドに２０～３０分掛かる。さらに、凍結切片試料には、特に脂質の多い組織を取り扱う際に特有の凍結アーチファクト（ｆｒｅｅｚｉｎｇ ａｒｔｉｆａｃｔｓ）が発生し、これが術中の誤判断及び診断的落とし穴の原因となる。
病理組織学での大きな需要は、未染色の新鮮な組織の迅速かつ非侵襲的な診断を達成する多くの努力を呼び起こしてきた。紫外線（ＵＶ）表面励起による顕微鏡法、共焦点レーザー走査顕微鏡法及びライトシート顕微鏡法を含む、非切片組織を撮像するためのいくつかの顕微鏡法は、従来のＦＦＰＥ組織学における何百枚ものスライドガラスの準備に伴う困難な作業及び治療費を削減する。しかしながら、これらの方法は全て、分子特異性を高めるために特定の蛍光標識を必要とする。蛍光撮像は、細胞内の異なる生体分子の形態及び動態に関する情報を提供するために強力であることは疑う余地もないが、細胞代謝を妨げる外因性標識又は遺伝子導入の使用を招き、その後の臨床実施に悪影響を及ぼす恐れがある。さらに、蛍光標識法を用いた長期細胞モニタリングは、細胞への光毒性及び蛍光色素分子自体の光退色を引き起こす恐れがある。
画像構造が特定の化学結合の固有の分子振動によって特徴付けられる誘導ラマン散乱（ＳＲＳ）及びコヒーレント反ストークスラマン散乱（ＣＡＲＳ）は、脂質の多い構造におけるＣ－Ｈストレッチ検査のための無標識な代替案を提供する。さらに、第２高調波発生（ＳＨＧ）、第３高調波発生（ＴＨＧ）、及びこれらを組み合わせたモダリティを含む、非中心対称界面から発生する非線形プロセスは、コラーゲン及び微小管構造の本質的特性評価のための大きな可能性を示している。しかしながら、これらの方法は全て、検出感度及び分子コントラストを維持するために高出力超高速レーザーを必要とし、ほとんどの環境では容易に利用できないと考えられる。スペクトル共焦点反射顕微鏡法は、有髄軸索の無標識な高解像度インビボ撮像を可能にするが、分子特異性が低いため、波長可変能力を有する共焦点顕微鏡が依然として必要である。定量的位相撮像法も、未染色試料の位相変化の測定を通じて高速屈折率マッピングを可能にする大きな可能性を示す。しかしながら、これらの技術はほとんどが透過型システムに組み込まれ、試料の厚みによって厳しく制限される。また、光コヒーレンストモグラフィーなどの反射率ベースの撮像法は、ヒトの乳房組織を無標識で撮像するための術中診断ツールに姿を変えているが、細胞下解像度（ｓｕｂｃｅｌｌｕｌａｒ ｒｅｓｏｌｕｔｉｏｎ）を達成するように設計されておらず、標準的臨床病理学において望まれる分子標的のプロービングには適していない。
本発明は、上述した又は本明細書で説明する１又は２以上の不利点に対処し、或いは少なくとも有用な代替案を提供することを目的とする。
第１の態様では、擬似ヘマトキシリン・エオシン（Ｈ＆Ｅ）染色画像を生成するコンピュータ実装方法であって、無標識試料の紫外線ベースの自家蛍光顕微鏡（ＵＶ－ＡｕｔｏＭ）画像又は紫外線ベースの光音響顕微鏡（ＵＶ－ＰＡＭ）画像であってグレースケール画像である入力画像を受け取るステップと、敵対的生成ネットワークを使用して入力画像を入力画像の擬似Ｈ＆Ｅ染色画像に変換するステップと、疑似Ｈ＆Ｅ染色画像を出力するステップとを含む方法を提供する。
いくつかの実装では、敵対的生成ネットワークが、サイクル一貫性を有する敵対的生成ネットワークである。
いくつかの実装では、方法が、ペアになっていない入力画像及びＨ＆Ｅ染色画像を使用して敵対的生成ネットワークを訓練するステップを含む。
いくつかの実装では、敵対的生成ネットワークが、入力画像を生成されたＨ＆Ｅ画像に変換するように構成された第１の生成器深層畳み込みニューラルネットワークと、Ｈ＆Ｅ画像を生成されたＵＶ－ＡｕｔｏＭ画像又はＵＶ－ＰＡＭ画像に変換するように構成された第２の生成器深層畳み込みニューラルネットワークと、訓練セットのＨ＆Ｅ画像と、第１の生成器深層畳み込みニューラルネットワークによって生成された、生成されたＨ＆Ｅ画像とを識別するように構成された第１の識別器深層畳み込みニューラルネットワークと、訓練セットのＵＶ－ＡｕｔｏＭ画像又はＵＶ－ＰＡＭ画像と、第２の生成器深層畳み込みニューラルネットワークによって生成された、生成されたＵＶ－ＡｕｔｏＭ画像又はＵＶ－ＰＡＭ画像とを識別するように構成された第２の識別器深層畳み込みニューラルネットワークとを含む４つの深層畳み込みニューラルネットワークで構成される。
いくつかの実装では、第１及び第２の生成器深層畳み込みニューラルネットワークが、ＲｅｓＮｅｔベースの又はＵ－Ｎｅｔベースの生成器ネットワークである。
いくつかの実装では、第１及び第２の識別器深層畳み込みニューラルネットワークが、ＰａｔｃｈＧＡＮ識別器ネットワークである。
いくつかの実装では、ＵＶ－ＰＡＭ画像の形態で受け取られる入力画像が、集束アセンブリのガルボミラースキャナを制御して紫外線を走査軌道に従って試料に集束させ、少なくとも１つのトランスデューサが紫外線に反応して、試料によって放出された光音響波を受け取り、光音響波に基づいてＵＶ－ＰＡＭ画像を生成することによって生成される。
いくつかの実装では、ＵＶ－ＡｕｔｏＭ画像の形態で受け取られる入力画像が、走査軌道に従って取り込まれた一連のスペックル照射画像から生成された推定ＵＶ－ＡｕｔｏＭ画像であり、推定ＵＶ－ＡｕｔｏＭ画像は、一連のスペックル照射画像の各スペックル照射画像と比べて高い解像度を有する。
いくつかの実装では、推定ＵＶ－ＡｕｔｏＭ画像が、ａ）一連のスペックル照射画像の平均値を補間することに基づいて高解像度画像オブジェクトを初期化し、ｂ）一連のスペックル照射画像の各スペックル照射画像について、ｉ）高解像度画像オブジェクトを走査軌道内の特定の位置に計算的にシフトさせることによって推定スペックル照射画像を生成し、ｉｉ）周波数領域における推定スペックル照射画像及び光学的伝達関数に基づいて、周波数領域におけるフィルタ済みオブジェクトパターンコンパウンドを決定し、ｉｉｉ）周波数領域における推定スペックル照射画像と、周波数領域におけるそれぞれの取り込まれたスペックル照射画像と、周波数領域におけるフィルタ済みオブジェクトパターンコンパウンドと、光学的伝達関数とに基づいて、周波数領域における更新済み推定スペックル照射画像を決定し、ｉｖ）更新済み推定スペックル照射画像と、空間領域における推定スペックル照射画像と、スペックルパターンとに基づいて高解像度オブジェクトを更新し、ｖ）更新済み推定スペックル照射画像と、推定スペックル照射画像と、高解像度画像オブジェクトとに基づいてスペックルパターンを更新し、ｖｉ）高解像度画像オブジェクト及びスペックルパターンにネストロフ運動量加速度を適用し、ｃ）高解像度画像オブジェクトを再構成する収束が検出されるまでステップｂ）を反復的に実行することによって生成され、高解像度画像オブジェクトは、センチメートル規模の撮像領域にわたって細胞下解像度が強化された推定ＵＶ－ＡｕｔｏＭ画像である。
第２の態様では、擬似ヘマトキシリン・エオジン（Ｈ＆Ｅ）染色画像を生成するように構成されたコンピュータシステムであって、コンピュータシステムが、実行可能命令を記憶した１又は２以上のメモリと、１又は２以上のプロセッサとを含み、実行可能命令が、プロセッサによって実行されると、無標識試料の紫外線ベースの自家蛍光顕微鏡（ＵＶ－ＡｕｔｏＭ）画像又は紫外線ベースの光音響顕微鏡（ＵＶ－ＰＡＭ）画像であってグレースケール画像である入力画像を受け取り、敵対的生成ネットワークを使用して入力画像を入力画像の擬似Ｈ＆Ｅ染色画像に変換し、疑似Ｈ＆Ｅ染色画像を出力することを１又は２以上のプロセッサに行わせる、コンピュータシステムを提供する。
いくつかの実装では、敵対的生成ネットワークが、サイクル一貫性を有する敵対的生成ネットワークである。
いくつかの実装では、１又は２以上のプロセッサが、ペアになっていない入力グレースケール画像及びＨ＆Ｅ染色画像を使用して敵対的生成ネットワークを訓練するように構成される。
いくつかの実装形態では、敵対的生成ネットワークが、入力画像を生成されたＨ＆Ｅ画像に変換するように構成された第１の生成器深層畳み込みニューラルネットワークと、Ｈ＆Ｅ画像を生成されたＵＶ－ＡｕｔｏＭ画像又はＵＶ－ＰＡＭ画像に変換するように構成された第２の生成器深層畳み込みニューラルネットワークと、訓練セットのＨ＆Ｅ画像と、第１の生成器深層畳み込みニューラルネットワークによって生成された、生成されたＨ＆Ｅ画像とを識別するように構成された第１の識別器深層畳み込みニューラルネットワークと、訓練セットのＵＶ－ＡｕｔｏＭ画像又はＵＶ－ＰＡＭ画像と、第２の生成器深層畳み込みニューラルネットワークによって生成された、生成されたＵＶ－ＡｕｔｏＭ画像又はＵＶ－ＰＡＭ画像とを識別するように構成された第２の識別器深層畳み込みニューラルネットワークとを含む４つの深層畳み込みニューラルネットワークで構成される。
いくつかの実施形態では、第１及び第２の生成器深層畳み込みニューラルネットワークが、ＲｅｓＮｅｔベースの又はＵ－Ｎｅｔベースの生成器ネットワークである。
いくつかの実装では、第１及び第２の識別器深層畳み込みニューラルネットワークは、ＰａｔｃｈＧＡＮ識別器ネットワークである。
いくつかの実装では、ＵＶ－ＰＡＭ画像の形態で受け取られる入力画像が、集束アセンブリのガルボミラースキャナを制御して紫外線を走査軌道に従って試料に集束させ、少なくとも１つのトランスデューサが紫外線に反応して、試料によって放出された光音響波を受け取り、光音響波に基づいてＵＶ－ＰＡＭ画像を生成することによって生成される。
いくつかの実装では、ＵＶ－ＡｕｔｏＭ画像の形態で受け取られる入力画像が、走査軌道に従って取り込まれた一連のスペックル照射画像から生成された推定ＵＶ－ＡｕｔｏＭ画像であり、推定ＵＶ－ＡｕｔｏＭ画像が、一連のスペックル照射画像の各スペックル照射画像と比べて高い解像度を有する。
いくつかの実装形態では、推定ＵＶ－ＡｕｔｏＭ画像が、ａ）一連のスペックル照射画像の平均値を補間することに基づいて高解像度画像オブジェクトを初期化し、ｂ）一連のスペックル照射画像の各スペックル照射画像について、ｉ）高解像度画像を走査軌道内の特定の位置に計算的にシフトさせることによって推定スペックル照射画像を生成し、ｉｉ）周波数領域における推定スペックル照射画像及び光学的伝達関数に基づいて、周波数領域におけるフィルタ済みオブジェクトパターンコンパウンドを決定し、ｉｉｉ）周波数領域における推定スペックル照射画像と、周波数領域におけるそれぞれの取り込まれたスペックル照射画像と、周波数領域におけるフィルタ済みオブジェクトパターンコンパウンドと、光学的伝達関数とに基づいて、周波数領域における更新済み推定スペックル照射画像を決定し、ｉｖ）更新済み推定スペックル照射画像と、空間領域における推定スペックル照射画像と、スペックルパターンとに基づいて高解像度オブジェクトを更新し、ｖ）更新済み推定スペックル照射画像と、推定スペックル照射画像と、高解像度画像オブジェクトとに基づいてスペックルパターンを更新し、ｖｉ）高解像度画像オブジェクト及びスペックルパターンにネストロフ運動量加速度を適用し、ｃ）高解像度画像オブジェクトを再構成する収束が検出されるまでステップｂ）を反復的に実行することによって生成され、高解像度画像オブジェクトが、センチメートル規模の撮像領域にわたって細胞下解像度が強化された推定ＵＶ－ＡｕｔｏＭ画像である。
第３の態様では、擬似ヘマトキシリン・エオジン（Ｈ＆Ｅ）染色画像を生成するようにコンピュータシステムを構成する実行可能命令を含む１又は２以上の非一時的コンピュータ可読媒体であって、コンピュータシステムが１又は２以上のプロセッサを有し、実行可能命令が、プロセッサによって実行されると、無標識試料の紫外線ベースの自家蛍光顕微鏡（ＵＶ－ＡｕｔｏＭ）画像又は紫外線ベースの光音響顕微鏡（ＵＶ－ＰＡＭ）画像であってグレースケール画像である入力画像を受け取り、敵対的生成ネットワークを使用して入力画像を入力画像の擬似Ｈ＆Ｅ染色画像に変換し、疑似Ｈ＆Ｅ染色画像を出力するようにコンピュータシステムを構成する、１又は２以上の非一時的コンピュータ可読媒体を提供する。
いくつかの実装では、敵対的生成ネットワークが、サイクル一貫性を有する敵対的生成ネットワークである。
いくつかの実装では、実行可能命令が、プロセッサによって実行されると、コンピュータシステムを、ペアになっていない入力グレースケール画像及びＨ＆Ｅ染色画像を使用して敵対的生成ネットワークを訓練するように構成する。
いくつかの実装では、敵対的生成ネットワークが、入力画像を生成されたＨ＆Ｅ画像に変換するように構成された第１の生成器深層畳み込みニューラルネットワークと、Ｈ＆Ｅ画像を生成されたＵＶ－ＡｕｔｏＭ画像又はＵＶ－ＰＡＭ画像に変換するように構成された第２の生成器深層畳み込みニューラルネットワークと、訓練セットのＨ＆Ｅ画像と、第１の生成器深層畳み込みニューラルネットワークによって生成された、生成されたＨ＆Ｅ画像とを識別するように構成された第１の識別器深層畳み込みニューラルネットワークと、訓練セットのＵＶ－ＡｕｔｏＭ画像又はＵＶ－ＰＡＭ画像と、第２の生成器深層畳み込みニューラルネットワークによって生成された、生成されたＵＶ－ＡｕｔｏＭ画像又はＵＶ－ＰＡＭ画像とを識別するように構成された第２の識別器深層畳み込みニューラルネットワークとを含む４つの深層畳み込みニューラルネットワークで構成される。
いくつかの実施形態では、第１及び第２の生成器深層畳み込みニューラルネットワークが、ＲｅｓＮｅｔベースの又はＵ－Ｎｅｔベースの生成器ネットワークである。
いくつかの実装形態では、第１及び第２の識別器深層畳み込みニューラルネットワークが、ＰａｔｃｈＧＡＮ識別器ネットワークである。
いくつかの実装では、ＵＶ－ＰＡＭ画像の形態で受け取られる入力画像が、集束アセンブリのガルボミラースキャナを制御して紫外線を走査軌道に従って試料に集束させ、少なくとも１つのトランスデューサが紫外線に反応して、試料によって放出された光音響波を受け取り、光音響波に基づいてＵＶ－ＰＡＭ画像を生成することによって生成される。
いくつかの実装では、ＵＶ－ＡｕｔｏＭ画像の形態で受け取られる入力画像が、走査軌道に従って取り込まれた一連のスペックル照射画像から生成された推定ＵＶ－ＡｕｔｏＭ画像であり、推定ＵＶ－ＡｕｔｏＭ画像が、一連のスペックル照射画像の各スペックル照射画像と比べて高い解像度を有する。
いくつかの実装形態では、ＵＶ－ＡｕｔｏＭ画像が、ａ）一連のスペックル照射画像の平均値を補間することに基づいて高解像度画像オブジェクトを初期化し、ｂ）一連のスペックル照射画像の各スペックル照射画像について、ｉ）高解像度画像を走査軌道内の特定の位置に計算的にシフトさせることによって推定スペックル照射画像を生成し、ｉｉ）周波数領域における推定スペックル照射画像及び光学的伝達関数に基づいて、周波数領域におけるフィルタ済みオブジェクトパターンコンパウンドを決定し、ｉｉｉ）周波数領域における推定スペックル照射画像と、周波数領域におけるそれぞれの取り込まれたスペックル照射画像と、周波数領域におけるフィルタ済みオブジェクトパターンコンパウンドと、光学的伝達関数とに基づいて、周波数領域における更新済み推定スペックル照射画像を決定し、ｉｖ）更新済み推定スペックル照射画像と、空間領域における推定スペックル照射画像と、スペックルパターンとに基づいて高解像度オブジェクトを更新し、ｖ）更新済み推定スペックル照射画像と、推定スペックル照射画像と、高解像度画像オブジェクトとに基づいてスペックルパターンを更新し、ｖｉ）高解像度画像オブジェクト及びスペックルパターンにネストロフ運動量加速度を適用し、ｃ）高解像度画像オブジェクトを再構成する収束が検出されるまでステップｂ）を反復的に実行することによって１又は２以上のプロセッサよって生成され、高解像度画像オブジェクトは、センチメートル規模の撮像領域にわたって細胞下解像度が強化された推定ＵＶ－ＡｕｔｏＭ画像である。
実施形態の説明全体を通じて他の態様及び実施形態が理解されるであろう。
以下、添付図面を参照しながら本発明の好ましい実施形態をほんの一例として説明する。
添付図面のうちのいずれか１つ又は２つ以上において同じ参照数字を有するステップ及び／又は特徴を参照している場合、本明細書におけるこれらのステップ及び／又は特徴は、反対の意思が見られない限り同じ機能又は動作を有する。
なお、「背景技術」の節に含まれる説明、及び先行技術の構成に関連する上記の説明は、それぞれの公表物及び／又は使用を通じて公知となった文書又は装置の説明に関する。これについては、このような文書又は装置が当業における共通の一般知識の一部を何らかの形で形成することを本発明者（ら）又は特許出願人が表すものであると解釈すべきではない。
図１Ａ及び図１Ｂに、本明細書で説明する様々な構成が実装された汎用コンピュータシステム１００の例の概略図を示す。
図１Ａに示すように、コンピュータシステム１００は、コンピュータモジュール１０１と、キーボード１０２、マウスポインタデバイス１０３、スキャナ１２６、カメラ１２７及びマイク１８０などの入力装置と、プリンタ１１５、ディスプレイ装置１１４及びスピーカ１１７などの出力装置とを含む。コンピュータモジュール１０１は、接続部１２１を介して通信ネットワーク１２０と通信するために外部変調復調器（モデム）トランシーバ装置１１６を使用することができる。通信ネットワーク１２０は、インターネット、携帯電話通信網又はプライベートＷＡＮなどのワイドエリアネットワーク（ＷＡＮ）とすることができる。接続部１２１が電話回線である場合、モデム１１６は従来の「ダイアルアップ」モデムとすることができる。或いは、接続部１２１が大容量（例えば、ケーブル）接続部である場合、モデム１１６はブロードバンドモデムとすることができる。また、通信ネットワーク１２０との無線接続には無線モデムを使用することもできる。
通常、コンピュータモジュール１０１は、少なくとも１つのプロセッサユニット１０５及びメモリユニット１０６を含む。例えば、メモリユニット１０６は、半導体ランダムアクセスメモリ（ＲＡＭ）及び半導体リードオンリメモリ（ＲＯＭ）を有することができる。コンピュータモジュール１０１は、ビデオディスプレイ１１４、スピーカ１１７及びマイク１８０に結合するオーディオビデオインターフェイス１０７と、キーボード１０２、マウス１０３、スキャナ１２６、カメラ１２７及び任意にジョイスティック又はその他のヒューマンインターフェイス装置（図示せず）又はプロジェクタに結合するＩ／Ｏインターフェイス１１３と、外部モデム１１６及びプリンタ１１５のためのインターフェイス１０８とを含む複数の入力／出力（Ｉ／Ｏ）インターフェイスも含む。いくつかの実装では、モデム１１６をコンピュータモジュール１０１内、例えばインターフェイス１０８内に組み込むことができる。コンピュータモジュール１０１は、ローカルエリアネットワーク（ＬＡＮ）として知られているローカルエリア通信ネットワーク１２２に接続部１２３を介してコンピュータシステム１００を結合可能にするローカルネットワークインターフェイス１１１も有する。図１Ａに示すように、ローカル通信ネットワーク１２２は、通常はいわゆる「ファイアウォール」装置又は同様の機能の装置を含む接続部１２４を介してワイドエリアネットワーク１２０に結合することもできる。ローカルネットワークインターフェイス１１１は、イーサネット回路カード、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線構成、又はＩＥＥＥ８０２．１１無線構成を含むことができるが、インターフェイス１１１については他の数多くのタイプのインターフェイスを実施することができる。
Ｉ／Ｏインターフェイス１０８及び１１３は、シリアル接続及びパラレル接続の一方又は両方を提供することができ、通常、前者はユニバーサルシリアルバス（ＵＳＢ）標準に従って実装され、対応するＵＳＢコネクタ（図示せず）を有する。典型的にはハードディスクドライブ（ＨＤＤ）１１０を含む記憶装置１０９も設けられる。フロッピーディスクドライブ及び磁気テープドライブ（図示せず）などの他の記憶装置を使用することもできる。通常は、不揮発性データソースとして機能する光ディスクドライブ１１２が設けられる。例えば、システム１００への適切なデータ源として、光ディスク（例えば、ＣＤ－ＲＯＭ、ＤＶＤ、Ｂｌｕ－ｒａｙ Ｄｉｓｃ（商標））、ＵＳＢ－ＲＡＭ、ポータブル、外付けハードドライブ及びフロッピーディスクなどのポータブルメモリデバイスを使用することができる。
通常、コンピュータモジュール１０１のコンポーネント１０５～１１３は、相互接続されたバス１０４を介して、当業者に周知のコンピュータシステム１００の従来の動作モードをもたらす形で通信する。例えば、プロセッサ１０５は、接続部１１８を使用してシステムバス１０４に結合される。同様に、メモリ１０６及び光ディスクドライブ１１２は、接続部１１９によってシステムバス１０４に結合される。説明する構成を実施できるコンピュータの例としては、ＩＢＭ－ＰＣ及び互換機、Ｓｕｎ社のＳｐａｒｃｓｔａｔｉｏｎ、Ａｐｐｌｅ社のＭａｃ（商標）又は同様のコンピュータシステムが挙げられる。
本明細書で説明する方法は、コンピュータシステム１００を使用して実装することができ、本明細書で説明するプロセスは、コンピュータシステム１００内で実行可能な１又は２以上のソフトウェアアプリケーションプログラム１３３として実装することができる。とりわけ、本明細書で説明する方法のステップは、コンピュータシステム１００内で実行されるソフトウェア１３３内の命令１３１（図１Ｂを参照）によって達成される。ソフトウェア命令１３１は、それぞれが１又は２以上の特定のタスクを実行する１又は２以上のコードモジュールとして形成することができる。
ソフトウェアは、例えば後述する記憶装置を含むコンピュータ可読媒体に記憶することができる。ソフトウェアは、コンピュータ可読媒体からコンピュータシステム１００にロードされた後にコンピュータシステム１００によって実行される。このようなソフトウェア又はコンピュータプログラムを記録したコンピュータ可読媒体はコンピュータプログラム製品である。コンピュータシステム１００内でコンピュータプログラム製品を使用することで、書き込み動作を検出及び／又は共有する有利な装置が実現されることが好ましい。
通常、ソフトウェア１３３はＨＤＤ１１０又はメモリ１０６に記憶される。ソフトウェアは、コンピュータ可読媒体からコンピュータシステム１００にロードされ、コンピュータシステム１００によって実行される。従って、例えば、ソフトウェア１３３は、光ディスクドライブ１１２によって読み取られる光学的に読み取り可能なディスク記憶媒体（例えば、ＣＤ－ＲＯＭ）１２５に記憶することができる。このようなソフトウェア又はコンピュータプログラムを記録したコンピュータ可読媒体はコンピュータプログラム製品である。
いくつかの事例では、アプリケーションプログラム１３３を１又は２以上のＣＤ－ＲＯＭ１２５上に符号化してユーザに供給して対応するドライブ１１２を介して読み取ることができ、或いはユーザがネットワーク１２０又は１２２から読み取ることもできる。さらに、ソフトウェアは、他のコンピュータ可読媒体からコンピュータシステム１００にロードすることもできる。コンピュータ可読記憶媒体は、記録された命令及び／又はデータを実行及び／又は処理のためにコンピュータシステム１００に提供するいずれかの非一時的有形記憶媒体を意味する。このような記憶媒体の例としては、コンピュータモジュール１０１の内部に存在するか、それとも外部に存在するかにかかわらず、フロッピーディスク、磁気テープ、ＣＤ－ＲＯＭ、ＤＶＤ、Ｂｌｕ－ｒａｙ（商標）ディスク、ハードディスクドライブ、ＲＯＭ又は集積回路、ＵＳＢメモリ、光磁気ディスク、又はＰＣＭＣＩＡカードなどのコンピュータ可読カードなどが挙げられる。同様にコンピュータモジュール１０１にソフトウェア、アプリケーションプログラム、命令及び／又はデータを提供することに関与できる一時的又は非有形コンピュータ可読伝送媒体の例としては、無線又は赤外線伝送チャネル、別のコンピュータ又はネットワーク装置へのネットワーク接続、並びに電子メール送信及びウェブサイトなどに記録された情報を含むインターネット又はイントラネットなどが挙げられる。
上述したアプリケーションプログラム１３３及び対応するコードモジュールの第２の部分は、ディスプレイ１１４上にレンダリング又は別様に表現される１又は２以上のグラフィカルユーザインターフェイス（ＧＵＩ）を実装するように実行することができる。コンピュータシステム１００及びアプリケーションのユーザは、通常はキーボード１０２及びマウス１０３の操作を通じて機能的に適合可能な形でインターフェイスを操作して、（単複の）ＧＵＩに関連するアプリケーションに制御コマンド及び／又は入力を提供することができる。スピーカ１１７を介して出力されるスピーチプロンプト及びマイク１８０を介して入力されるユーザ音声コマンドを利用するオーディオインターフェイスなどの、他の形態の機能的に適合可能なユーザインターフェイスを実装することもできる。
図１Ｂは、プロセッサ１０５及び「メモリ」１３４の詳細な概略的ブロック図である。メモリ１３４は、図１Ａのコンピュータモジュール１０１がアクセスできる（ＨＤＤ１０９及び半導体メモリ１０６を含む）全てのメモリモジュールの論理的集約を表す。
コンピュータモジュール１０１の最初の電源投入時には、パワーオンセルフテスト（ＰＯＳＴ）プログラム１５０が実行される。通常、ＰＯＳＴプログラム１５０は、図１Ａの半導体メモリ１０６のＲＯＭ１４９に記憶される。ソフトウェアを記憶するＲＯＭ１４９などのハードウェア装置はファームウェアと呼ばれることもある。ＰＯＳＴプログラム１５０は、コンピュータモジュール１０１内のハードウェアを検査して正しい機能を確実にし、典型的にはプロセッサ１０５、メモリ１３４（１０９、１０６）、及びやはり通常はＲＯＭ１４９に記憶される基本入力－出力システムソフトウェア（ＢＩＯＳ）モジュール１５１を正しい動作のためにチェックする。ＰＯＳＴプログラム１５０が正常に動作すると、ＢＩＯＳ１５１が図１Ａのハードディスクドライブ１１０を作動させる。ハードディスクドライブ１１０が作動すると、ハードディスクドライブ１１０上に存在するブートストラップローダプログラム１５２がプロセッサ１０５を介して実行される。これにより、ＲＡＭメモリ１０６にオペレーティングシステム１５３がロードされてＲＡＭメモリ１０６上で動作を開始する。オペレーティングシステム１５３は、プロセッサ管理、メモリ管理、デバイス管理、ストレージ管理、ソフトウェアアプリケーションインターフェイス及び汎用ユーザインターフェイスを含む様々な高水準機能を実行するためにプロセッサ１０５によって実行可能なシステムレベルアプリケーションである。
オペレーティングシステム１５３は、コンピュータモジュール１０１上で実行される各プロセス又はアプリケーションが他のプロセスに割り当てられたメモリと衝突することなく実行するのに十分なメモリを有することを確実にするようにメモリ１３４（１０９、１０６）を管理する。さらに、図１Ａのシステム１００内で利用できる異なるタイプのメモリは、各プロセスが効果的に動作できるように正しく使用されなければならない。従って、集約されたメモリ１３４は、（特に指定していない限り）メモリの特定のセグメントがどのように割り当てられるかを示すように意図するものではなく、むしろコンピュータシステム１００がアクセスできるメモリの一般的概念、及びこれらがどのように使用されるかを示すように意図するものである。
図１Ｂに示すように、プロセッサ１０５は、制御装置１３９、算術論理演算ユニット（ＡＬＵ）１４０、及びキャッシュメモリと呼ばれることもあるローカル又は内部メモリ１４８を含む複数の機能モジュールを含む。通常、キャッシュメモリ１４８は、レジスタ部に複数の記憶レジスタ１４４～１４６を含む。これらの機能モジュールは、１又は２以上の内部バス１４１によって機能的に相互接続される。通常、プロセッサ１０５は、接続部１１８を使用してシステムバス１０４を介して外部装置と通信するための１又は２以上のインターフェイス１４２も有する。メモリ１３４は、接続部１１９を使用してバス１０４に結合される。
アプリケーションプログラム１３３は、条件付き分岐命令及びループ命令を含むことができる一連の命令１３１を含む。プログラム１３３は、プログラム１３３の実行において使用されるデータ１３２を含むこともできる。命令１３１及びデータ１３２は、メモリ位置１２８、１２９、１３０、及び１３５、１３６、１３７にそれぞれ記憶される。メモリ位置１３０に示す命令によって示すように、命令１３１とメモリ位置１２８～１３０との相対的サイズに応じて単一のメモリ位置に特定の命令を記憶することができる。或いは、メモリ位置１２８及び１２９に示す命令セグメントによって示すように、各部分が別個のメモリ位置に記憶される複数の部分に命令をセグメント化することもできる。
一般に、プロセッサ１０５には、プロセッサ１０５内で実行される命令セットが与えられる。プロセッサ１０５は後続の入力を待ち、この入力に対して別の命令セットを実行することによって反応する。各入力は、入力装置１０２、１０３の一方又は両方によって生成されたデータ、ネットワーク１２０、１０２の一方を介して外部ソースから受け取られたデータ、記憶装置１０６、１０９の一方から取り出されたデータ、又は対応するリーダ１１２に挿入された記憶媒体１２５から取り出されたデータを含む、全て図１Ａに示す複数のソースのうちの１つ又は２つ以上から提供することができる。場合によっては、命令セットを実行するとデータが出力されることもある。実行によってデータ又は変数がメモリ１３４に記憶されることもある。
開示する書き込み検出及び共有構成は、メモリ１３４の対応するメモリ位置１５５、１５６、１５７に記憶された入力変数１５４を使用する。書き込み検出及び共有構成は、メモリ１３４の対応するメモリ位置１６２、１６３、１６４に記憶される出力変数１６１を生成する。中間変数１５８は、メモリ位置１５９、１６０、１６６、１６７に記憶することができる。
図１Ｂのプロセッサ１０５を参照すると、レジスタ１４４、１４５、１４６、算術論理演算ユニット（ＡＬＵ）１４０及び制御装置１３９は、プログラム１３３を構成する命令セット内の全ての命令について「フェッチ、復号及び実行」サイクルを実行するのに必要な一連のマイクロ演算を実行するように協働する。各フェッチ、復号及び実行サイクルは、メモリ位置１２８、１２９、１３０から命令１３１をフェッチし又は読み込むフェッチ動作と、どの命令がフェッチされたかを制御装置１３９が判定する復号動作と、制御装置１３９及び／又はＡＬＵ１４０が命令を実行する実行動作とを含む。
その後に、次の命令のためのさらなるフェッチ、復号及び実行サイクルを実行することができる。同様に、制御装置１３９がメモリ位置１６２に値を記憶し又は書き込むストアサイクルを実行することもできる。
本明細書で説明するプロセスの各ステップ又はサブプロセスは、プログラム１３３の１又は２以上のセグメントに関連し、プロセッサ１０５内のレジスタ部１４４、１４５、１４７、ＡＬＵ１４０及び制御装置１３９が上述したプログラム１３３のセグメントの命令セット内の全ての命令についてフェッチ、復号及び実行サイクルを実行するように協働することによって実行される。
或いは、本明細書で説明する方法は、書き込み検出及び共有方法の機能又は従属機能を実行する１又は２以上の集積回路などの専用ハードウェアに実装することもできる。このような専用ハードウェアは、グラフィックプロセッサ、デジタルシグナルプロセッサ、或いは１又は２以上のマイクロプロセッサ及び関連するメモリを含むことができる。
図２Ａ及び図２Ｂは、説明する書き込み検出及び／又は共有方法が実施されることが望ましい、埋め込みコンポーネントを含む汎用電子装置２０１の概略的ブロック図を集合的に形成する。電子装置２０１は、例えば処理リソースが限られた携帯電話機、ポータブルメディアプレーヤ、仮想現実メガネ又はデジタルカメラとすることができる。しかしながら、説明する方法は、著しく大きな処理リソースを有するデスクトップコンピュータ、サーバコンピュータなどの上位装置上で実行することもできる。
図２Ａに示すように、電子装置２０１は埋め込みコントローラ２０２を含む。従って、電子装置２０１は「埋め込み装置」と呼ぶことができる。本実施例では、コントローラ２０２が、内部記憶モジュール２０９に双方向に結合された処理装置（又はプロセッサ）２０５を有する。図２Ｂに示すように、記憶モジュール２０９は、不揮発性の半導体リードオンリメモリ（ＲＯＭ）２６０及び半導体ランダムアクセスメモリ（ＲＡＭ）２７０から形成することができる。ＲＡＭ２７０は、揮発性、不揮発性、又は揮発性メモリと不揮発性メモリとの組み合わせとすることができる。
電子装置２０１は、液晶ディスプレイ（ＬＣＤ）パネルなどのディスプレイ２１４に接続されたディスプレイコントローラ２０７を含む。ディスプレイコントローラ２０７は、ディスプレイコントローラ２０７が接続された埋め込みコントローラ２０２から受け取られた命令に従ってディスプレイ２１４上にグラフィックイメージを表示するように構成される。
電子装置２０１は、典型的にはキー、キーパッド又は同様のコントロールによって形成されるユーザ入力装置２１３も含む。いくつかの実装では、ユーザ入力装置２１３が、ディスプレイ２１４と物理的に関連付けられて集合的にタッチ画面を形成するタッチセンサ式パネルを含むことができる。従って、このようなタッチ画面は、典型的にはキーパッドとディスプレイとの組み合わせと共に使用されるプロンプト又はメニュー駆動式ＧＵＩとは対照的に、グラフィカルユーザインターフェイス（ＧＵＩ）の一形態として動作することができる。音声コマンド用のマイク（図示せず）、又は容易なメニューナビゲーションためのジョイスティック／サムホイール（図示せず）などの他の形態のユーザ入力装置を使用することもできる。
図２Ａに示すように、電子装置２０１は、接続部２１９を介してプロセッサ２０５に結合されたポータブルメモリインターフェイス２０６も含む。ポータブルメモリインターフェイス２０６は、相補的ポータブルメモリデバイス２２５が電子装置２０１に結合されてデータのソース又はデスティネーションとして機能し、或いは内部記憶モジュール２０９を補完することを可能にする。このようなインターフェイスの例は、ユニバーサルシリアスバス（ＵＳＢ）メモリデバイス、セキュアデジタル（ＳＤ）カード、パーソナルコンピュータメモリーカード国際協会（ＰＣＭＩＡ）カード、光ディスク及び磁気ディスクなどのポータブルメモリデバイスとの結合を可能にする。
電子装置２０１は、接続部２２１を介して装置２０１をコンピュータ又は通信ネットワーク２２０に結合できるようにする通信インターフェイス２０８も有する。接続部２２１は、有線又は無線とすることができる。例えば、接続部２２１は、無線周波数又は光とすることができる。有線接続の例としてはイーサネットが挙げられる。さらに、無線接続の例としては、Ｂｌｕｅｔｏｏｔｈ（商標）型ローカル相互接続、（ＩＥＥＥ８０２．１１ファミリーの標準に基づくプロトコルを含む）Ｗｉ－Ｆｉ、及び赤外線通信協会（ＩｒＤａ）などが挙げられる。
通常、電子装置２０１は、何らかの特殊機能を実行するように構成される。埋め込みコントローラ２０２は、この特殊機能を実行するために、場合によってはさらなる特殊機能コンポーネント２１０と組み合わせて提供される。例えば、装置２０１がデジタルカメラである場合、コンポーネント２１０は、カメラのレンズ、焦点制御及びイメージセンサを表すことができる。特殊機能コンポーネント２１０は、埋め込みコントローラ２０２に接続される。別の例として、装置２０１を携帯電話機ハンドセットとすることもできる。この事例では、コンポーネント２１０が、携帯電話環境での通信に必要なコンポーネントを表すことができる。装置２０１がポータブル装置である場合、特殊機能コンポーネント２１０は、ジョイントフォトグラフエキスパートグループ（ＪＰＥＧ）、（動画エキスパートグループ）ＭＰＥＧ及びＭＰＥＧ－１オーディオレイヤ３（ＭＰ３）などを含むタイプの複数のエンコーダ及びデコーダを表すことができる。
後述する方法は、埋め込みコントローラ２０２を使用して実行することができ、本明細書で説明するプロセスは、埋め込みコントローラ２０２内で実行可能な１又は２以上のソフトウェアアプリケーションプログラム２３３として実装することができる。説明する方法は、図２Ａの電子装置２０１によって実行される。具体的には、図２Ｂを参照すると、説明する方法のステップは、コントローラ２０２内で実行されるソフトウェア２３３の命令によって達成される。ソフトウェア命令は、それぞれが１又は２以上の特定のタスクを実行する１又は２以上のコードモジュールとして形成することができる。ソフトウェアは２つの別個の部分に分割することができ、第１の部分及び対応するコードモジュールが説明した方法を実行し、第２の部分及び対応するコードモジュールが第１の部分とユーザとの間のユーザインターフェイスを管理する。
通常、埋め込みコントローラ２０２のソフトウェア２３３は、内部記憶モジュール２０９の不揮発性ＲＯＭ２６０に記憶される。ＲＯＭ２６０に記憶されたソフトウェア２３３は、コンピュータ可読媒体から必要とされた時に更新することができる。ソフトウェア２３３は、プロセッサ２０５によってロードされ実行されることができる。いくつかの例では、プロセッサ２０５が、ＲＡＭ２７０内に位置するソフトウェア命令を実行することができる。ソフトウェア命令は、プロセッサ２０５がＲＯＭ２６０からＲＡＭ２７０に１又は２以上のコードモジュールをコピーし始めることによってＲＡＭ２７０にロードすることができる。或いは、メーカーがＲＡＭ２７０の不揮発性領域に１又は２以上のコードモジュールのソフトウェア命令を予めインストールしておくこともできる。プロセッサ２０５は、１又は２以上のコードモジュールがＲＡＭ２７０内に配置された後に、１又は２以上のコードモジュールのソフトウェア命令を実行することができる。
通常、アプリケーションプログラム２３３は、電子装置２０１の流通前にメーカーによってＲＯＭ２６０に予めインストールされ記憶される。しかしながら、いくつかの事例では、アプリケーションプログラム２３３を、内部記憶モジュール２０９又はポータブルメモリ２２５に記憶する前に１又は２以上のＣＤ－ＲＯＭ（図示せず）に符号化してユーザに供給し、図２Ａのポータブルメモリインターフェイス２０６を介して読み取ることもできる。別の代替例では、プロセッサ２０５がソフトウェアアプリケーションプログラム２３３をネットワーク２２０から読み込み、或いは他のコンピュータ可読媒体からコントローラ２０２又はポータブル記憶媒体２２５にロードすることができる。コンピュータ可読記憶媒体は、命令及び／又はデータを実行及び／又は処理のためにコントローラ２０２に提供することに関与するいずれかの非一時的有形記憶媒体を意味する。このような記憶媒体の例としては、コンピュータモジュール１０１の内部に存在するか、それとも外部に存在するかにかかわらず、フロッピーディスク、磁気テープ、ＣＤ－ＲＯＭ、ハードディスクドライブ、ＲＯＭ又は集積回路、ＵＳＢメモリ、光磁気ディスク、フラッシュメモリ、又はＰＣＭＣＩＡカードなどのコンピュータ可読カードが挙げられる。同様に装置２０１にソフトウェア、アプリケーションプログラム、命令及び／又はデータを提供することに関与できる一時的又は非有形コンピュータ可読伝送媒体の例としては、無線又は赤外線伝送チャネル、並びに別のコンピュータ又はネットワーク装置へのネットワーク接続、電子メール送信及びウェブサイトなどに記録された情報を含むインターネット又はイントラネットなどが挙げられる。このようなソフトウェア又はコンピュータプログラムを記録したコンピュータ可読媒体はコンピュータプログラム製品である。
上述したアプリケーションプログラム２３３及び対応するコードモジュールの第２の部分は、図２Ａのディスプレイ２１４上にレンダリング又は別様に表される１又は２以上のグラフィカルユーザインターフェイス（ＧＵＩ）を実装するように実行することができる。装置２０１及びアプリケーションプログラム２３３のユーザは、ユーザ入力装置２１３（例えば、キーパッド）の操作を通じて機能的に適合可能な形でインターフェイスを操作して、（単複の）ＧＵＩに関連するアプリケーションに制御コマンド及び／又は入力を提供することができる。スピーカ（図示せず）を介して出力されるスピーチプロンプト及びマイク（図示せず）を介して入力されるユーザ音声コマンドを利用するオーディオインターフェイスなどの、他の形態の機能的に適合可能なユーザインターフェイスを実装することもできる。
図２Ｂに、アプリケーションプログラム２３３を実行するプロセッサ２０５と内部ストレージ２０９とを有する埋め込みコントローラ２０２を詳細に示す。内部ストレージ２０９は、リードオンリメモリ（ＲＯＭ）２６０及びランダムアクセスメモリ（ＲＡＭ）２７０を含む。プロセッサ２０５は、接続されたメモリ２６０及び２７０の一方又は両方に記憶されたアプリケーションプログラム２３３を実行することができる。電子装置２０１が最初に電源を投入されると、ＲＯＭ２６０内に存在するシステムプログラムが実行される。ＲＯＭ２６０に永続的に記憶されるアプリケーションプログラム２３３は「ファームウェア」と呼ばれることもある。ファームウェアは、プロセッサ２０５によって実行されると、プロセッサ管理、メモリ管理、デバイス管理、ストレージ管理、ユーザインターフェイスなどの様々な機能を果たすことができる。
通常、プロセッサ２０５は、制御装置（ＣＵ）２５１と、算術論理演算ユニット（ＡＬＵ）２５２と、デジタルシグナルプロセッサ（ＤＳＰ）２５３と、典型的には原子データ要素２５６、２５７を含む一連のレジスタ２５４及び内部バッファ又はキャッシュメモリ２５５を含むローカル又は内部メモリとを含む複数の機能モジュールを含む。これらの機能モジュールは、１又は２以上の内部バス２５９によって相互接続される。通常、プロセッサ２０５は、接続部２６１を使用してシステムバス２８１を介して外部装置と通信する１又は２以上のインターフェイス２５８も含む。
アプリケーションプログラム２３３は、条件付き分岐命令及びループ命令を含むことができる一連の命令２６２～２６３を含む。プログラム２３３は、プログラム２３３の実行において使用されるデータを含むことができる。このデータは、命令の一部として、或いはＲＯＭ２６０又はＲＡＭ２７０内の別の位置２６４に記憶することができる。
一般に、プロセッサ２０５には、プロセッサ２０５内で実行される命令が与えられる。この命令セットは、電子装置２０１内で発生する特定のタスクの実行又は特定のイベントの処理を行うブロックに組織化することができる。通常、アプリケーションプログラム２３３は、イベントを待った後に、このイベントに関連するコードブロックを実行する。イベントは、図２Ａのユーザ入力装置２１３を介したユーザからの入力がプロセッサ２０５によって検出されたことに応答してトリガすることができる。イベントは、電子装置２０１内の他のセンサ及びインターフェイスに応答してトリガすることもできる。
命令セットの実行は、数値変数の読み取り及び修正を必要とすることがある。このような数値変数は、ＲＡＭ２７０に記憶される。開示する方法は、メモリ２７０の既知の位置２７２、２７３に記憶された入力変数２７１を使用する。入力変数２７１は処理されて、メモリ２７０の既知の位置２７８、２７９に記憶される出力変数２７７を生成する。中間変数２７４は、メモリ２７０の位置２７５、２７６内のさらなるメモリ位置に記憶することができる。或いは、一部の中間変数は、プロセッサ２０５のレジスタ２５４内にのみ存在することもできる。
一連の命令の実行は、プロセッサ２０５においてフェッチ－実行サイクルを繰り返し適用することによって達成される。プロセッサ２０５の制御装置２５１は、次に実行すべき命令のＲＯＭ２６０又はＲＡＭ２７０内アドレスを含むプログラムカウンタと呼ばれるレジスタを維持する。フェッチ実行サイクルが開始すると、プログラムカウンタによってインデックス付けされたメモリアドレスの内容が制御装置２５１にロードされる。このようにロードされた命令は、プロセッサ２０５のその後の動作を制御して、例えばＲＯＭメモリ２６０からプロセッサレジスタ２５４にデータをロードさせたり、レジスタの内容を別のレジスタの内容と算術的に結合させたり、レジスタの内容を別のレジスタに記憶された位置に書き込ませたりする。フェッチ実行サイクルが終了すると、プログラムカウンタはシステムプログラムコード内の次の命令を指し示すように更新される。この動作は、直前に実行された命令に応じて、プログラムカウンタに含まれるアドレスを増分し、又は分岐操作を行うためにプログラムカウンタに新たなアドレスをロードすることを伴うことができる。
後述する方法のプロセスにおける各ステップ又はサブプロセスは、アプリケーションプログラム２３３の１又は２以上のセグメントに関連し、プロセッサ２０５におけるフェッチ－実行サイクルの反復実行、又は電子装置２０１内の他の独立したプロセッサブロックの同様のプログラム的動作によって実行される。
態様は、組織学的に染色された生体分子を直接プローブするための、紫外光照明下における固有の光吸収コントラストに基づく高スループット、無標識、かつスライドフリーな撮像法及びシステムを提供する。２つの手法、すなわち紫外線ベースの（ｉ）光音響顕微鏡法（ＵＶ－ＰＡＭ）及び（ｉｉ）自家蛍光顕微鏡法（ＵＶ－ＡｕｔｏＭ）を開示する。ＵＶ－ＰＡＭでは、高スループットを達成するために高速な光走査構成を利用することができる。ＵＶ－ＡｕｔｏＭでは、低倍率対物レンズを用いた高解像度画像の推定を可能にして、センチメートル規模の撮像領域にわたる細胞下解像度の画像を提供すると同時に組織表面形態、スライド配置誤差及び厚みに起因する画像のぼやけに対する高耐性を可能にするスペックル照射（ＳＩ）が利用される。
ＵＶ－ＰＡＭ及びＵＶ－ＡｕｔｏＭの両タイプの画像のために、大きな未処理の新鮮／固定組織の組織学様画像を細胞下解像度で生成するために使用できるディープラーニングベースの仮想染色法及びシステムを開示する。この仮想染色法及びシステムは、ペア／アンペア訓練（ｐａｉｒｅｄ／ｕｎｐａｉｒｅｄ ｔｒａｉｎｉｎｇ）例を通じて非標識化組織のＵＶ－ＰＡＭ又はＵＶ－ＡｕｔｏＭ画像から組織学的に染色された画像への変換を可能にするように構成された敵対的生成ネットワーク（ＧＡＮ）を利用する。開示する方法及びシステムは、標準的治療組織病理学のワークフローを数日から１０分未満に簡略化し、術中の外科的マージン評価を可能にし、これによって断端陽性（ｐｏｓｉｔｉｖｅ ｍａｒｇｉｎ）に起因する２回目の手術の必要性を低減又は排除することができる。
紫外線ベースの光音響顕微鏡法（ＵＶ－ＰＡＭ）
ＰＡＭは、従来の光学顕微鏡法とは異なり、高度に特異的な光吸収コントラストを利用する。（波長２４０～２８０ｎｍの）ＵＶパルスレーザーを励起ビームとして使用することによって細胞核を強調することができ、従って無標識な組織学様画像を提供することができる。
ＰＡＭは、従来の光学顕微鏡法とは異なり、高度に特異的な光吸収コントラストを利用する。（波長２４０～２８０ｎｍの）ＵＶパルスレーザーを励起ビームとして使用することによって細胞核を強調することができ、従って無標識な組織学様画像を提供することができる。
図３に、ＵＶ－ＰＡＭシステム３００の例を示す。具体的には、集束アセンブリ３０３によってナノ秒パルスＵＶレーザー３０２（例えば、Ｂｒｉｇｈｔ Ｓｏｌｕｔｉｏｎ Ｓｒｌ社から市販されているＷＥＤＧＥ－ＨＦ２６６ｎｍ）が集束する。具体的には、ＵＶレーザー３０２によって放出された光は、一対のレンズ３０４、３０８（例えば、Ｔｈｏｒｌａｂｓ社から市販されているＬＡ４６４７－ＵＶ及びＬＡ４６６３－ＵＶ）によって拡大される。一対のレンズ３０４、３０８間に配置されたピンホール３０６によって、ＵＶ光ビームの品質を向上させることができる。ピンホール３０６のサイズは、直径１０μｍ～１００μｍ（例えば、Ｔｈｏｒｌａｂｓ社から市販されているＰ２５Ｃ）とすることができる。その後、ビームは、１Ｄガルボミラースキャナ３１０によって反射された後に、対物レンズ３１０（例えば、Ｔｈｏｒｌａｂｓ社から市販されているＭｉｃｒｏＳｐｏｔ（商標）Ｆｏｃｕｓｉｎｇ Ｏｂｊｅｃｔｉｖｅ（ＬＭＵ－２０Ｘ－ＵＶＢ））によって試料３１２の底面に集束する。試料３１２は、ＸＹＺ並進ステージ３１８に取り付けられた試料ホルダ３１５によって保持された水槽３１４の底部に配置される。水槽３１４を水で満たして光音響波を上向きに伝搬させて、水に浸した超音波トランスデューサ３１６（例えば、オリンパスＮＤＴ社から市販されているＶ３２４－ＳＵ）によって検出する。
受け取られた音圧は、電気信号に変換された後に増幅器３２０（例えば、Ｍｉｎｉ－ｃｉｒｃｕｉｔｓ社から市販されている２つのＺＦＬ－５００ＬＮ－ＢＮＣ＋）によって増幅され、最後にデータ収集システム３２２（例えば、Ａｌａｚａｒ Ｔｅｃｈｎｏｌｏｇｉｅｓ社から市販されているＡＴＳ９３５０）を通じてコンピュータシステム１００又は２０１によって受け取られる。二次元画像を生成するために、最初に各Ａライン信号の最大振幅投影（ＭＡＰ）を識別する。その後に、走査プロセスの順序に従って最大振幅投影を再配置してグレースケール画像を生成する。
動作時には、集束アセンブリのガルボミラースキャナ３１０を制御して、走査軌道に従って試料３１２上に紫外線を集束させることができる。ガルボミラースキャナ３１０の制御は、コンピュータシステム１００又はコンピュータ埋め込み装置２０１の一部によって実行することができる。トランスデューサ３１６は、紫外線に反応して試料３１２が放出する光音響波を受け取るように構成される。コンピュータシステム１００又は埋め込み装置２０１は、この光音響波に基づいてＵＶ－ＰＡＭ画像を生成する。
ＵＶ－ＰＡＭシステムの横方向及び軸方向分解能を測定するために、金ナノ粒子（直径２００ｎｍ）をｘ軸及びｙ軸の両方において０．１５μｍのステップサイズで撮像した（図４（ａ））。４つの金ナノ粒子のデータ点を選択して平均化し、図４（ｂ）に示すようにガウスプロファイルフィッティングによって横方向分解能を測定した。ガウスフィッティングプロファイルの半値全幅は～０．６μｍである。軸方向分解能を評価するために、中心位置のＡ線信号の包絡線を抽出することができる。図４（ｃ）に、図４（ａ）の金ナノ粒子の中心位置のＡライン信号を示す。Ａライン信号の包絡線のＦＷＨＭは３８ｎｓであり、これはＵＶ－ＰＡＭシステムの軸方向分解能を表す５８μｍに相当する。
紫外線自家蛍光顕微鏡法（ＵＶ－ＡｕｔｏＭ）
通常、病理組織検査では、細胞形態及び代謝活動観察のための細胞下解像度を達成するために２０Ｘ～４０Ｘの倍率の対物レンズが必要である。しかしながら、このような倍率では、視野（ＦＯＶ）が１ｍｍ２以内に制限されてしまう。また、高倍率の対物レンズは、空間的に変動する収差の影響が大きく、浅い被写界深度を特徴としているため、顕微鏡スライドの配置誤差及び試料の粗さに対する耐性が低くなる。このような理由で、高倍率の対物レンズを使用して画像ステッチングを介して広い組織面を撮像することは副次的選択肢（ｓｕｂ－ｏｐｔｉｏｎａｌ）となる。
通常、病理組織検査では、細胞形態及び代謝活動観察のための細胞下解像度を達成するために２０Ｘ～４０Ｘの倍率の対物レンズが必要である。しかしながら、このような倍率では、視野（ＦＯＶ）が１ｍｍ２以内に制限されてしまう。また、高倍率の対物レンズは、空間的に変動する収差の影響が大きく、浅い被写界深度を特徴としているため、顕微鏡スライドの配置誤差及び試料の粗さに対する耐性が低くなる。このような理由で、高倍率の対物レンズを使用して画像ステッチングを介して広い組織面を撮像することは副次的選択肢（ｓｕｂ－ｏｐｔｉｏｎａｌ）となる。
デジタル顕微鏡の広いＦＯＶと高い分解能（ＨＲ）との間の固有のトレードオフを緩和して異なる関心領域の細胞下解像度での高スループット可視化を可能にするスペックル照射（ＳＩ）法を開示する。
ＵＶ－ＡｕｔｏＭシステム例５００を示す図５Ａに示すように、ＸＹＺ電動ステージ３１８（例えば、ＰＩ ｍｉＣｏｓ，ＧｍｂＨ社から市販されている３つのＬ－５０９）に接続されたオープントップ型の試料ホルダ上に未染色の新鮮な組織３１２を配置する。ＵＶレーザー３０２（例えば、Ｂｒｉｇｈｔ Ｓｏｌｕｔｉｏｎ Ｓｒｌ社から市販されているＷＥＤＧＥ－ＨＦ ２６６ｎｍ）をコリメート化し、溶融シリカディフューザ（例えば、Ｔｈｏｒｌａｂｓ社から市販されているＤＧＵＶ１０－６００）上に投影してスペックルパターンを生成する。結果として得られた波は、集束アセンブリ３０３の一部である０．６９の開口数（ＮＡ）を有する非球面ＵＶコンデンサレンズ５１２（例えば、Ｅｄｍｕｎｄ Ｏｐｔｉｃｓ社から市販されている＃３３－９５７）を通じて集束する。試料３１２は、（例えば、２００ｎｍ～１５００ｎｍの透過率が９０％を上回る）ＵＶ透明窓５１４を通じて斜めに照射される。次に、４Ｘ対物レンズ５１８（例えば、Ｏｌｙｍｐｕｓ ＮＤＴ社から市販されているＮＡ=０．１のプランアクロマート対物レンズ）と無限補正チューブレンズ５２０（Ｔｈｏｒｌａｂｓ社から市販されているＴＴＬ１８０－Ａ）とを備えた倒立顕微鏡５１７によって、（主にＮＡＤＨ及びＦＡＤからの、ピーク発光が４５０ｎｍｍの）励起された自家蛍光信号が収集され、最終的にモノクロ科学相補型金属酸化膜半導体（ｓＣＭＯＳ）カメラ５２２（例えば、ＰＣＯ ＡＧ社から市販されているＰＣＯエッジ４．２、６．５μｍピクセルピッチ）によって撮像される。
低倍率対物レンズは、広いＦＯＶにわたって空間変動収差の影響が少なく、大きなＤＯＦ及び長い作動距離を特徴としており、これによってスライドの配置誤差に対する高い耐性及び試料ステージ上での柔軟な操作が可能になる。しかしながら、その空間分解能は、レイリー基準による撮像系の到達可能な分解能の決定要因である低ＮＡ値によって大きく制限される（撮像系が解像できる最小距離は０．６１λ／ＮＡであり、ここでのλは蛍光発光波長であり、ＮＡは対物レンズの開口数である）。このため、この構成では、ＳＩ再構成を利用して低ＮＡ対物レンズによるこのような解像限界を回避している。
自家蛍光顕微鏡法を達成するためのスペックル照射に基づく計算的撮像法を開示する。好ましい実施形態では、この方法が高スループットの顕微鏡検査法を達成する。具体的には、「高スループットの顕微鏡検査法」とは、自動化された顕微鏡法及び画像解析を使用して、細胞の特徴を大規模に視覚化して定量的に取り込むことを意味する。より具体的には、スペックル照射の適用による高スループット出力の空間帯域幅積（すなわち視野／解像度２）は、通常はメガピクセルレベルに制約される従来の蛍光顕微鏡法の約１０倍以上である。低倍率対物レンズは、空間変動収差からの影響が小さいので、広い組織面を撮像するのに適している。また、低倍率レンズは被写界深度が大きいため、その実装を通じて、表面の凹凸、組織の厚み又はスライド配置誤差による画像のピンぼけを最小限に抑えることができる。しかしながら、このようなレンズの低い開口数（ＮＡ）値は達成可能な解像度を制限し、従って細胞下レベルの撮像を目的とする用途の妨げとなってしまう。提案する方法は、一連のスペックル照射された低解像度自家蛍光画像を通じた反復再構成を実行して、低ＮＡ対物レンズによって設定される解像度限界を回避し、任意の表面形状を有する広い撮像領域にわたる高速高解像度撮像を容易にする。
図５Ｂ及び図５Ｃに、一連のスペックル照射画像からＵＶ励起自家蛍光画像（ＵＶ－ＡｕｔｏＭ）を再構成するコンピュータ実装方法例５３０を表すフローチャートを示す。コンピュータ実装方法５３０は、図１Ａ及び図１Ｂに関連して説明したようなコンピュータシステム１００によって、又は図２Ａ及び図２Ｂに関連して説明したような埋め込み装置２０１によって実行することができる。図５Ｄには、スペックル照射された一連の画像から高スループットＵＶ励起自家蛍光画像（ＵＶ－ＡｕｔｏＭ）を再構成する具体的な実装をさらに表す疑似コードを示す。本明細書では、図５Ｄの疑似コードを参照しながら図５Ｂ及び図５Ｃのフローチャートについて説明する。
具体的には、方法５３０は、ステップ５３０－１において、走査軌道に沿って平面内のそれぞれの一連の位置に平行移動した試料の一連のスペックル照射画像Ｉj（ｊ＝１，２，．．．，Ｎ）を記録することを含む。一連のスペックル照射画像Ｉは、各低解像度スペックル照射画像Ｉjに比べて方法５３０の出力の方が高い解像度を有する高解像度画像であるという意味で低解像度画像である。１つの例では、４Ｘ／０．１ＮＡ対物レンズを使用して一連のスペックル照射画像を取り込むことができる。
方法５３０は、ステップ５３０－２において、ここでは高解像度画像オブジェクトと呼ぶ画像オブジェクトｏ（ｘ，ｙ）及びスペックルパターンを初期化することを含む。擬似コードの３行目に示すように、一連のスペックル照射画像を平均化し、平均化されたスペックル照射画像を補間し、高解像度画像オブジェクトｏ（ｘ，ｙ）を平均化されたスペックル照射画像の補間の結果に設定する。スペックルパターンは、１の行列に初期化される。
ステップ５３０－３において、現在位置を一連の位置からの第１の位置に設定する。図５Ｄの疑似コードにおける現在位置は（ｘj、ｙj）によって表される。
ステップ５３０－４～５３０－１１は、取り込まれた一連のスペックル照射画像内の各スペックル照射画像について、図５Ｂ及び図５Ｃに示すフローチャートの内部ループの形で実行される。図５Ｄの疑似コードを参照すると、この内部ループは６行目～１４行目を表し、５行目～１７行目によって外部ループが表される。内部ループでは、現在位置変数が一連の位置内の次の位置に効果的に増分され、高解像度画像オブジェクト及びスペックルパターンを修正する画像処理ステップにおいて、それぞれの現在位置における対応するスペックル照射画像が使用される。
より具体的には、方法５３０は、ステップ５３０－４において、高解像度オブジェクトを計算的に現在位置ｏ（ｘ－ｘj，ｙ－ｙj）にシフトさせ、これにスペックルパターンｐ（ｘ，ｙ）を乗算することによって推定スペックル照射画像φj（ｘ，ｙ）を生成することを含む。このことを、図５Ｄの疑似コードの７行目に示す。
方法５３０は、ステップ５３０－５において、周波数領域における空間座標をｋｘ及びｋｙとする光学的伝達関数であるＯＴＦ（ｋx、ｋy）を乗算した周波数領域における推定スペックル照射画像Ｆ（φj（ｘ，ｙ））に基づいて、周波数領域におけるフィルタ済みオブジェクトパターンコンパウンド（ｆｉｌｔｅｒｅｄ ｏｂｊｅｃｔ－ｐａｔｔｅｒｎ ｃｏｍｐｏｕｎｄ）ψj（ｋx，ｋy）を決定することを含む。この光学的伝達関数は、試料の一連のスペックル照射画像を取り込むために使用される装置の既知の光学的伝達関数である。
なお、ステップ５３０－４及び５３０－５におけるシフト操作は、集合的に角度スペクトルの適用である。
後述するステップ５３０－６～５３０－８は、タイコグラフィック反復エンジン（Ｐｔｙｃｈｏｇｒａｐｈｉｃ ｉｔｅｒａｔｉｖｅ ｅｎｇｉｎｅ：ＰＩＥ）と呼ばれる位相検索アルゴリズムに基づく再構成手順である。
方法５３０は、ステップ５３０－６において、周波数領域における推定スペックル照射画像、周波数領域における現在位置で取り込まれたスペックル照射画像、周波数領域におけるフィルタ済みオブジェクトパターンコンパウンド、光学的伝達関数、及び適応学習率パラメータαに基づいて、周波数領域における更新済み推定スペックル照射画像Ｆ（φj
update）を決定することを含む。より具体的には、図５Ｄの疑似コードの９行目に、以下の方程式１によって示す、周波数領域における更新済み推定スペックル照射画像の具体的計算を示す。
方程式１
具体的には、周波数領域における更新済み推定スペックル照射画像は、周波数領域における推定スペックル照射画像と、適応学習率パラメータに光学的伝達関数の共役を乗算し、これに周波数領域における現在位置で取り込まれたスペックル照射画像と周波数領域におけるフィルタ済みオブジェクトパターンコンパウンドとの間の差分を乗算し、これを光学的伝達関数の絶対値の二乗で除算したものとの合計に等しくなるように計算される。
方法５３０は、ステップ５３０－７において、空間領域における更新済み推定スペックル照射画像及びスペックルパターンに基づいて高解像度オブジェクトを更新することを含む。このことを図５Ｄの疑似コードの１０行目に示しており、以下の方程式２によって表す。
方程式２
具体的には、高解像度オブジェクトは、高解像度オブジェクトと、スペックルパターンの共役に空間領域における更新済み推定スペックル照射画像と空間領域における推定スペックル照射画像との差分を乗算し、これをスペックルパターンの最大値の絶対値の二乗で除算したものとの合計に等しくなるように設定される。
方法５３０は、ステップ５３０－８において、更新済み推定スペックル照射画像、推定スペックル照射画像及び高解像度オブジェクトに基づいてスペックルパターンを更新することを含む。このことを図５Ｄの疑似コードの１１行目に示しており、以下の方程式３によって表す。
方程式３
具体的には、スペックルパターンは、スペックルパターンと、高解像度オブジェクトの共役に空間領域における更新済み推定スペックル照射画像と空間領域における推定スペックル照射画像との間の差分を乗算し、これを高解像度オブジェクトの最大値の絶対値の二乗で除算したものとの合計に等しくなるように設定される。
ステップ５３０－９において、取り込まれたスペックル照射画像Ｉjと周波数領域におけるフィルタ済みオブジェクトパターンコンパウンドψjの逆フーリエ変換との間の差分の絶対値に基づいて、現在のループの合計損失（ｓｕｍｍｅｄ ｌｏｓｓ）パラメータｌｏｓｓjを計算する。このことを図５Ｄの疑似コードの１２行目に示しており、以下の方程式４によって表す。
方程式４
方法５３０は、ステップ５３０－１０において、高解像度オブジェクト及びスペックルパターンにネステロフ運動量加速度（Ｎｅｓｔｅｒｏｖ ｍｏｍｅｎｔｕｍ ａｃｃｅｌｅｒａｔｉｏｎ）を適用することを含む。この適用は、再構成プロセスの最急降下法（ｇｒａｄｉｅｎｔ ｄｅｃｅｎｔ）を加速してより速く収束させるために実行される。
方法５３０は、ステップ５３０－１１において、現在位置が一連の位置における最後の位置であるかどうかを判定することを含む。方法は、肯定的な判定（すなわち、「はい」）に応答してステップ５３０－１３に進む。方法は、否定的な判定（すなわち、「いいえ」）に応答してステップ５３０－１２に進む。
方法５３０は、ステップ５３０－１２において、現在位置を一連の位置における次の位置に設定することを含む。その後、方法５３０はステップ５３０－４に戻って、最後のスペックル照射画像が処理されるまで、ステップ５３０－４～５３０－１１によって表される内部ループの１回又は２回以上のさらなる反復を実行する。
方法５３０は、ステップ５３０－１３において、合計損失パラメータに基づいて収束が検出されたかどうかを判定することを含む。この判定は、内部ループ（すなわち、ステップ５３０－４～５３０－１１）の前回の反復及び現在の反復について計算された合計損失パラメータ間の差分を内部ループの前回の反復の合計損失パラメータで除算したものに基づいて計算される損失率（ｌｏｓｓ ｒａｔｉｏ）を決定することによって行われる。次に、この損失率を、図５Ｄの擬似コード例では０．０１に設定されている損失閾値と比較する。損失率が損失閾値以下である場合、適応学習率パラメータは減少し、この例では適応学習率パラメータが半分になる。再構成画像のアーチファクトを最小化するために、収束点付近での損失関数の変動を抑えるように適応学習率パラメータを調整する。学習率αがゼロまで減少すると再構成処理は終了し、ステップ５３０－１４において高解像度オブジェクトが決定され出力される。出力される高解像度画像オブジェクトは、再構成方法５３０への入力として提供される各低解像度スペックル照射画像と比べて高い解像度を有する、センチメートル規模の撮像領域にわたって細胞下解像度が向上した高解像度ＵＶ－ＡｕｔｏＭ画像である。最初は方法５３０の開始時に未知であったスペックルパターンもステップ５３０－１４において決定される。
方法５３０によって表されるこの計算的撮像法は、一連の低解像度スペックル照射画像を合成して高解像度の自家蛍光画像（ＵＶ－ＡｕｔｏＭ）を再構成する。この方法は、空間領域及び周波数領域における一連の更新処理を通じて達成される。この方法は、高解像度オブジェクトの初期推定から開始する。まず、オブジェクトをスペックルパターンで乗算して周波数領域にフーリエ変換し、光学的伝達関数によってローパスフィルタ処理を行う。次に、フィルタ済みスペクトルを空間領域に逆変換し、強度を対応する低解像度スペックル照射画像に置き換える。最後に、この更新された自家蛍光画像を周波数領域に変換してさらに更新する。全ての取り込まれた低解像度画像が関わるまで１回の反復を完了し、勾配降下を高速化するためにネステロフ運動量加速度を実装する。数回の反復後に、センチメートル規模の画像領域にわたって細胞下解像度が向上した高解像度ＵＶ－ＡｕｔｏＭ画像が出力される。スペックルパターンの事前知識は不要であり、各低解像度画像間の相対的シフトのみが分かればよい。
数回の反復後に、センチメートル規模の画像領域にわたって細胞下解像度が向上した高解像度ＵＶ－ＡｕｔｏＭ画像が出力される。スペックルパターンの事前知識は不要であり、各撮像画像間の相対的シフト（ｘｊ，ｙｊ）のみが分かればよい。（－２の低ＮＡの回折限界スポットサイズよりも大きい）十分な走査範囲、及び（目標解像度よりも小さい）より細かな走査ステップによって再構成の歪みを低減することができ、最終的に達成可能なＮＡは、対物レンズのＮＡとスペックルのＮＡとの合計になることが示唆される。
図６に、図５Ａ～図５Ｃに関連して上述したＳＩ再構成方法及びシステムの例を示す。図６では、６１０に、フーリエ空間内で４Ｘ／０．１ＮＡ対物レンズによって設定される物理的制約と、（厚さ１００μｍの）対応するマウス脳試料の低解像度未加工画像とを示す。図６に示すようなＳＩデータセット６２０は、４Ｘ／０．１ＮＡ対物レンズを使用して取得され、この例ではＸ－Ｙ平面内の４９個の異なる位置に５００ｎｍの走査ステップサイズで試料を平行移動させることによって取得された４９個の低解像度スペックル照射測定値で構成される。次に、このＳＩデータセットを使用して、４Ｘ／０．１ＮＡ対物レンズを使用して取得された画像と比べて３倍の解像度向上に相当するＮＡ＝０．３まで通過域が拡張された高スループットＵＶ－ＡｕｔｏＭ画像６３０を再構成することができる。
上述したＳＩ再構成法及びシステムの分解能を定量化するために、直径５００ｎｍの蛍光ナノ粒子（励起／放出：３６５ｎｍ／４４５ｎｍ、Ｔｈｅｒｍｏ Ｆｉｓｈｅｒ社から市販されているＢ５００）を使用することができる。図７Ａは、均一照射下において４Ｘ／０．１ＮＡ対物レンズを使用して取り込まれた低解像度蛍光画像の例であり、図７Ｂは、５００ｎｍのステップサイズでラスター走査された４９個の低解像度スペックル照射画像を通じて再構成された高解像度蛍光画像である。図７Ａ及び図７Ｂは、いずれも２６６ｎｍＵＶレーザーを取り込まれたものである。図７Ｃは、図７Ａ及び図７Ｂに示す実線７００、７１０に沿った強度プロットであり、開示するＳＩ再構成方法及びシステムによる解像度向上をこのプロットから定量化することができる。
ＳＩ再構成方法及びシステムは、粗い表面に対する耐性が高いという利点を有することができる。これらのシステムの粗い表面に対する耐性の高さを実証するために、図８Ａ～図８Ｃは、２つの未加工葉試料のＵＶ－ＡｕｔｏＭ画像である。図８Ａ及び図８Ｂには、４Ｘ／０．１ＮＡ対物レンズを使用して取り込んだ低解像度自家蛍光画像を示し、図８Ｃ及び図８Ｄには、５００ｎｍのステップサイズで走査した４９個の低解像度スペックル照射画像を通じた高解像度ＳＩ再構成ＵＶ－ＡｕｔｏＭ画像を示す。図８Ｅ及び図８Ｆには、高ＮＡ対物レンズの浅いＤＯＦに起因して図８Ｃ及び図８Ｄと比べて明らかなピンぼけ領域を示す、１０Ｘ／０．３ＮＡ対物レンズを使用して取り込まれた高解像度参照画像を示しており、低ＮＡ対物レンズを介してＳＩ法によって再構成された高解像度ＵＶ－ＡｕｔｏＭ画像は、特に粗い表面を取り扱う際に高ＮＡ対物レンズをはるかに上回ることが示されている。
図９Ａ～図９Ｆに、ＵＶ－ＡｕｔｏＭ画像と明視野Ｈ＆Ｅ染色画像との間の構造的整合を示す。図９Ａは、マウス脳全体のスライド（脱パラフィン処理後のＦＦＰＥ切片、厚さ４μｍ）のＵＶ－ＡｕｔｏＭ画像であり、図９Ｂ及び図９Ｃは、それぞれ図９Ａのボックス９１０及び９２０の拡大画像であり、図９Ｄ及び図９Ｅは、それぞれデジタルスライドスキャナ（ＮａｎｏＺｏｏｍｅｒ ＳＱ、浜松）によって取り込まれた対応する明視野Ｈ＆Ｅ組織画像である。ＵＶ－ＡｕｔｏＭ画像では、マージン領域（ボックス９１０）及び海馬領域（ボックス９２０）に集中している細胞がネガティブコントラストではっきりと解像されており、（細胞形態及び細胞分布の両方が）Ｈ＆Ｅ染色画像との実質的に完全な構造的整合を示すことが分かる。
図１０Ａ～図１０Ｇに、厚いマウスの脳（厚さ１００μｍ、Ｌｅｉｃａ社製ｖｉｂｒａｔｏｍｅによって切断）の高スループット、無標識での可視化を示す。励起された自家蛍光は、低い紫外線深達度に起因して表面から数ミクロンの範囲に表面的に局在しており、従って厚い試料の無標識かつスライドフリーな撮像が可能である。さらに、４Ｘ対物レンズを介してマウスの脳全体の迅速な高解像度可視化を達成するために、上記で開示したＳＩ再構成方法及びシステムを適用したところ、１０Ｘ対物レンズと比べて画像収差が少なく、粗い組織表面に対する高い耐性が可能であった。図１０Ａは、マウス脳を上から見た画像例である。図１０Ｂ及び図１０Ｃは、図１０Ａのマウス脳のそれぞれの位置（線Ａ－Ａ及びＢ－Ｂ）を通じた切断面を示す再構成ＵＶ－ＡｕｔｏＭ画像の例であり、各再構成ＵＶ－ＡｕｔｏＭ画像は、４４１個の低解像度スペックル照射画像を含むＳＩデータセットを使用して生成される。露光時間は、各低解像度未加工画像では２００ｍｓであり、合計取得時間が３分以内の高速撮像を可能にしている。図１０Ｄ～図１０Ｈは、（ａ）脳梁１０１０、（ｂ）海馬１０２０、（ｃ）淡蒼球１０３０、（ｄ）尾状体（ｃａｕｄｏｐｕｔａｍｅｎ）１０４０及び（ｅ）頭頂葉皮質１０５０を含む図１０Ｃの５つの機能領域の高スループットサブビューである。
擬似染色組織画像の生成
通常、病理学者は、組織学的に染色された組織試料を検査して診断を下すように訓練される。しかしながら、ＵＶ－ＰＡＭ画像及びＵＶ－ＡｕｔｏＭ画像はいずれもグレースケール画像である。この問題に対処し又はこれを軽減するために、非標識化組織のＵＶ－ＰＡＭ画像又はＵＶ－ＡｕｔｏＭ画像を擬似ヘマトキシリン・エオジン（Ｈ＆Ｅ）染色画像に変換する、敵対的生成ネットワーク（ＧＡＮ）を利用した深層学習ベースの仮想染色法を開示する。
通常、病理学者は、組織学的に染色された組織試料を検査して診断を下すように訓練される。しかしながら、ＵＶ－ＰＡＭ画像及びＵＶ－ＡｕｔｏＭ画像はいずれもグレースケール画像である。この問題に対処し又はこれを軽減するために、非標識化組織のＵＶ－ＰＡＭ画像又はＵＶ－ＡｕｔｏＭ画像を擬似ヘマトキシリン・エオジン（Ｈ＆Ｅ）染色画像に変換する、敵対的生成ネットワーク（ＧＡＮ）を利用した深層学習ベースの仮想染色法を開示する。
ＧＡＮは、ペアになっていないＵＶ－ＰＡＭ／ＵＶ－ＡｕｔｏＭ画像及びＨ＆Ｅ画像の仮想染色を可能にすることによって、染色プロセス中に組織が回転又は変形し得るため困難である画像前処理手順を大幅に簡略化する。疑似着色（ｐｓｅｕｄｏ－ｃｏｌｏｒｉｎｇ）を実行するために、ＵＶ－ＰＡＭ／ＵＶ－ＡｕｔｏＭ画像と対応するＨ＆Ｅ染色画像とのペア訓練法を採用することもできる。
いくつかの実施形態では、擬似染色組織画像を生成するために、図３に関連して説明した方法及びシステムを使用して生成されたＵＶ－ＰＡＭ画像、並びに図５Ａ、図５Ｂ及び図５Ｃのシステム及び方法を使用して生成されたＳＩ再構成ＵＶ－ＡｕｔｏＭ画像を訓練されたｃｙｃｌｅ－ＧＡＮへの入力として提供することができる。これに加えて又はこれに代えて、疑似染色組織画像を生成するために、米国特許出願第２０１４／０３５６８９７号に開示されているシステム及び方法を使用して生成されたＵＶ－ＰＡＭ画像をＧＡＮへの入力として使用することもでき、この文献の内容はその全体が引用により本明細書に組み入れられる。
図１１Ａに、疑似染色組織画像（すなわち、仮想染色組織画像）を生成するコンピュータ実装システム例を表すブロック図を示す。このコンピュータ実装システムは、コンピュータシステム１００又は埋め込みシステム２０１を使用して実装することができる。
コンピュータ実装システムは、サイクル一貫型敵対的生成ネットワーク（Ｃｙｃｌｅ－ＧＡＮ）の形態で提供できる敵対的生成ネットワーク１１００（ＧＡＮ）を利用する。Ｃｙｃｌｅ－ＧＡＮ１１００は、４つの深層畳み込みニューラルネットワーク、すなわち第１の生成器モジュールＧ、第２の生成器モジュールＦ、第１の識別器モジュールＸ及び第２の識別器モジュールＹで構成される。
図１１Ａに示すように、生成器Ｇは、（ＵＶ－ＰＡＭ画像として例示する）ＵＶ－ＡｕｔｏＭ／ＵＶ－ＰＡＭ入力画像１１１０を（ＢＲ－ＨＥ画像として例示する）明視野Ｈ＆Ｅ画像１１２０に変換するように学習するよう構成され、生成器Ｆは、明視野Ｈ＆Ｅ画像１１２０をＵＶ－ＡｕｔｏＭ／ＵＶ－ＰＡＭ画像１１１０に変換するように学習するよう構成される。識別器Ｘは、出力１１３０に示すように本物のＵＶ－ＰＡＭ画像と生成器Ｆによって生成された偽物のＵＶ－ＰＡＭ画像とを識別するように構成され、同時に識別器Ｙは、出力１１４０に示すように本物の明視野Ｈ＆Ｅ画像と生成器Ｇによって生成された偽物の明視野Ｈ＆Ｅ画像とを識別するように構成される。生成器Ｇは、識別器Ｙが本物のＨ＆Ｅ入力画像と区別できないＨ＆Ｅ画像を生成できるようになると、このＵＶ－ＡｕｔｏＭ／ＵＶ－ＰＡＭ画像からＨ＆Ｅ画像への変換を学習し終えたことになる。同様に、生成器Ｆは、識別器Ｘが本物のＨ＆Ｅ画像と識別できないＵＶ－ＡｕｔｏＭ／ＵＶ－ＰＡＭ画像を生成できるようになると、このＨ＆Ｅ画像からＵＶ－ＡｕｔｏＭ／ＵＶ－ＰＡＭ画像への変換を学習し終えたことになる。
図１１Ｂに、疑似ヘマトキシリン・エオジン（Ｈ＆Ｅ）染色画像を生成するコンピュータ実装方法例１１５０を表すフローチャートを示す。このコンピュータ実装方法は、コンピュータシステム１００又は埋め込みシステム２０１によって実行することができる。
ステップ１１６０において、方法１１５０は、入力画像を受け取ることを含む。入力画像は、非標識化標本の紫外線ベースの自家蛍光顕微鏡（ＵＶ－ＡｕｔｏＭ）画像又は紫外線ベースの光音響顕微鏡（ＵＶ－ＰＡＭ）画像である。入力画像はグレースケール画像である。
方法１１５０は、ステップ１１７０において、敵対的生成ネットワークを使用して入力画像を入力画像の擬似Ｈ＆Ｅ染色画像に変換することを含む。
方法１１５０は、ステップ１１８０において、疑似Ｈ＆Ｅ染色画像を出力することを含む。
敵対的生成ネットワークは、サイクル一貫性を有する敵対的生成ネットワークであることが好ましい。
いくつかの実装では、方法１１５０が、ペアになっていない入力画像及びＨ＆Ｅ染色画像を使用して敵対的生成ネットワークを訓練することを含む。
図１２に、図１１のサイクル－ＧＡＮ１１００の順方向サイクル１２０２及び逆方向サイクル１２０４の詳細なワークフロー１２００を表す機能ブロック図を示す。サイクル敵対的生成ネットワークは、入力画像を生成されたＨ＆Ｅ画像に変換するように構成された第１の生成器Ｇと、Ｈ＆Ｅ画像を生成されたＵＶ－ＡｕｔｏＭ画像又はＵＶ－ＰＡＭ画像に変換するように構成された第２の生成器Ｆと、訓練セットのＨ＆Ｅ画像と第１の生成器深層畳み込みニューラルネットワークによって生成された、生成されたＨ＆Ｅ画像とを識別するように構成された第１の識別器Ｙと、訓練セットのＵＶ－ＡｕｔｏＭ画像又はＵＶ－ＰＡＭ画像と第２の生成器深層畳み込みニューラルネットワークによって生成された、生成されたＵＶ－ＡｕｔｏＭ画像又はＵＶ－ＰＡＭ画像とを識別するように構成された第２の識別器Ｘとを含む４つの深層畳み込みニューラルネットワークで構成される。
より具体的には、図１２に示す概略図の最も上の行に示す順方向サイクル１２０２では、（本明細書では入力画像と呼ぶ）１つのＵＶ－ＡｕｔｏＭ／ＵＶ－ＰＡＭ画像１２１０を生成器Ｇに入力した後に、生成器Ｇが生成されたＨ＆Ｅ画像１２２０を出力する。識別器Ｙは、生成されたＨ＆Ｅ画像１２２０が本物であるか、それとも偽物であるかを判定するように構成される（すなわち、識別器Ｙは、生成器Ｇから受け取られたＨ＆Ｅ画像が本物のＨ＆Ｅ入力画像に由来するものであるか、それとも生成器Ｇに由来するものであるかを識別するように構成される）。さらに、生成器Ｇの生成されたＨ＆Ｅ画像１２２０は、生成器Ｆへの入力として提供されて、循環画像（ｃｙｃｌｉｃ ｉｍａｇｅ）１２３０と呼ばれるＵＶ－ＡｕｔｏＭ／ＵＶ－ＰＡＭ画像１２３０に逆変換される。サイクル－ＧＡＮでは、入力画像１２１０と循環画像１２３０との間の損失がサイクル一貫性損失（ｃｙｃｌｅ－ｃｏｎｓｉｓｔｅｎｃｙ ｌｏｓｓ）と呼ばれる。図１２の概略図の最も下の行１２０４に示すように、逆方向サイクルは順方向サイクルと対称的である。逆方向サイクルは、入力Ｈ＆Ｅ画像１２４０から開始し、逆方向サイクルは、ＢＲ－Ｈ＆Ｅ画像１２４０をＵＶ－ＡｕｔｏＭ／ＵＶ－ＰＡＭ画像１２５０に変換するように学習する。同様に、識別器Ｘは、生成されたＵＶ－ＡｕｔｏＭ／ＵＶ－ＰＡＭ画像を入力画像と比較することによって、このＵＶ－ＡｕｔｏＭ／ＵＶ－ＰＡＭ画像が本物であるか、それとも偽物であるかを判定するように構成される。
図１１ＡのＣｙｃｌｅ－ＧＡＮの生成器例１３００を表す機能ブロック図を示す図１３を参照する。１つの形態では、第１及び第２の生成器である生成器Ｇ及びＦをＲｅｓｎｅｔベースの生成器ネットワークとして構成することができる。別の実施形態では、生成器Ｇ及びＦをＵ－Ｎｅｔベースの生成器ネットワークとして構成することができる。各Ｒｅｓｎｅｔベースの生成器は、複数のダウンサンプリング層１３２０Ａ、１３３０Ａ、１３３０Ｂ、１３３３０Ｃ、残差ブロック１３１０Ａ～１３１０Ｉ、並びにアップサンプリング層１３３０Ｄ、１３３０Ｅ及び１３２０Ｂで構成することができる。図１３に示す例では、９個の残差ブロック１３１０Ａ～１３１０Ｉが、それぞれ２５６×２５６の画素数を有するＵＶ－ＰＡＭ画像及びＨＥ画像を訓練する。それぞれの生成器ニューラルネットワークの入力及び出力が同じサイズを有するように、ニューラルネットワークの最初に空間反射パディング（Ｓｐａｔｉａｌ ｒｅｆｌｅｃｔｉｏｎ ｐａｄｄｉｎｇ）（３×３）が加えられる。各Ｒｅｓｎｅｔベースの生成器１３００は、パディング層１３２０Ａの後に、３つのＣｏｎｖｏｌｕｔｉｏｎ－ＩｎｓｔａｎｃｅＮｏｒｍ－ＲｅＬＵ層１３３０Ａ、１３３０Ｂ及び１３３０Ｃを含むダウンサンプリング経路を含む。具体的には、第１のＣｏｎｖｏｌｕｔｉｏｎ－ＩｎｓｔａｎｃｅＮｏｒｍ－ＲｅＬＵダウンサンプリング層１３３０Ａは、カーネルサイズ７×７のより大きな受容野を有するのに対し、他の２つの層１３３０Ｂ、１３３０Ｃは、カーネルサイズ３×３のより小さな受容野を有する。第１の層１３３０Ａの後には、画像サイズが元々の画像サイズに回復してチャンネルが６４に増加する。他の２つの層１３３０Ｂ、１３３０Ｃを通過すると、画像サイズが２倍ダウングレードされてチャンネル数が２倍増加する。ダウンサンプリング層１３２０Ａ、１３３０Ａ、１３３０Ｂ、１３３０Ｃの後は、９つの残差ブロック１３１０Ａ～１３１０Ｉを含む長い残差ニューラルネットワークである。各残差ブロックを通過しても、画像サイズ及びチャンネル数は変わらない（２５６×６４×６４）。生成器１３００は、９つの残差ブロック１３１０Ａ～１３１０Ｉの後に、カーネルサイズ３×３の２つのＣｏｎｖｏｌｕｔｉｏｎ－ＩｎｓｔａｎｃｅＮｏｒｍ－ＲｅＬＵ層１３３０Ｄ、１３３０Ｅと、カーネルサイズ７×７のＣｏｎｖｏｌｕｔｉｏｎ－ＩｎｓｔａｎｃｅＮｏｒｍ－ＲｅＬＵ層１３４０に結合した反射パディング層１３２０Ｂ（３×３）とを含むアップサンプリング経路を含む。各アップサンプリング層の後には、画像サイズが２倍増加してチャンネル数が半分に減少する。２つのアップサンプリング層の後には、画像サイズが元々の画像サイズに回復してチャンネル数が６４に減少する。最後の結合層１３４０は、チャネル数を３に減少させながら画像サイズをそのまま保つように構成される。
特定の構成では、４つの４×４Ｃｏｎｖｏｌｕｔｉｏｎ－ＩｎｓｔａｎｃｅＮｏｒｍ－ＬｅａｋｙＲｅＬＵ層を含む７０×７０のＰａｔｃｈＧＡＮ識別器によって識別器ネットワークＤｘ及びＤｙを提供することができる。ＰａｔｃｈＧＡＮは、最後の層の後に１次元出力（本物又は偽物）を生成する。
説明したＧＡＮは、Ｐｙｔｈｏｎバージョン３．７．３及びＰｙｔｏｒｃｈバージョン１．０．１を使って実装したものである。このソフトウェアは、Ｕｂｕｎｔｕ １８．０４．２ ＬＴＳオペレーションシステムを実行するＣｏｒｅ ｉ７－８７００Ｋ ＣＰＵ、３．７ＧＨｚ、３２ＧＢ ＲＡＭを搭載したデスクトップコンピュータ上に実装したものである。１１ＧＢ ＲＡＭ搭載のＧｅＦｏｒｃｅ ＧＴＸ １０８０Ｔｉ ＧＰＵを使用してＣｙｃｌｅ－ＧＡＮニューラルネットワークの訓練及び試験を行った。しかしながら、他のコンピュータシステム又は埋め込みシステム２０１を利用することもできると理解されるであろう。
本明細書では、上述したＣｙｃｌｅ－ＧＡＮを使用して生成された仮想染色組織画像の例について説明する。
図１４Ａ～図１４Ｃを参照して分かるように、上述したＵＶ－ＰＡＭ法及びシステムを使用してマウス脳スライスのＵＶ－ＰＡＭ画像の仮想染色画像を生成し、上述したＣｙｃｌｅ－ＧＡＮ１１００を使用して変換した。ＵＶ－ＰＡＭ画像、及びＵＶ－ＰＡＭ画像の仮想染色画像を、Ｈ＆Ｅ染色後の同じ試料の組織画像と比較した。具体的には、ＦＦＰＥマウス脳から切り取った厚さ７μｍの試料の断面を撮像し、開示するＵＶ－ＰＡＭ方法及びシステムを、ラスター走査を使用して０．６３μｍのステップサイズで動作させた。ＵＶ－ＰＡＭ方法及びシステムはグレースケール画像を生成するように構成されているので、次に図１１～図１３に関連して説明したＣｙｃｌｅ－ＧＡＮ１１００を使用して、図１４Ａに示すようなグレースケールＵＶ－ＰＡＭ画像を図１４Ｂに示すような仮想染色画像に変換する。生成された仮想染色画像が従来の組織画像と同様の情報を提供できるかどうかを評価するために、図１４Ｃに示すように、Ｈ＆Ｅ染色後に明視野顕微鏡法を使用して同じ試料の組織画像を取得した。ＵＶ－ＰＡＭシステムによって生成された仮想染色画像上の細胞核及び他の結合組織の色を検査すると、ＵＶ－ＰＡＭシステムによって生成された仮想染色画像は従来の組織画像と実質的に同様であることが判明した。概して、開示するＣｙｃｌｅ－ＧＡＮ１１００の形態で提供される深層学習システムと組み合わせたＵＶ－ＰＡＭシステムは、従来の染色技術を必要とすることなく実質的に正確な仮想染色組織画像を生成する。
図１５Ａ～図１５Ｃに、ペア訓練法を利用したＵＶ－ＡｕｔｏＭ画像の仮想染色の例を示す。図１５Ａは、厚さ７μｍの脱パラフィン処理したＦＦＰＥマウス脳切片のＵＶ－ＡｕｔｏＭ画像であり、図１５Ｂは、ペアになったｐｉｘ２ｐｉｘベースのネットワークの形態のＧＡＮモデルを利用したＵＶ－ＡｕｔｏＭ画像の仮想染色バージョンであり、図１５Ｃは、比較目的を果たす対応する明視野Ｈ＆Ｅ画像である。ペアのデータセットを介した色変換では、正確かつ信頼性の高い組織学様画像が生成された。しかしながら、あらゆるペア訓練手法は、画像の整合及び位置合わせに関する厳密なデータ前処理手順を必要とし、厚い試料の仮想染色時に適用することは困難である。Ｃｙｃｌｅ－ＧＡＮベースのネットワークは、ペア訓練例を使用しないカラーマッピングを可能にすることが判明し、あらゆる厚みの生体組織に対する大きな可能性を示した。Ｃｙｃｌｅ－ＧＡＮネットワーク１１００には、脱パラフィン処理したＦＦＰＥマウス脳切片からのペアになっていないＵＶ－ＡｕｔｏＭ画像及びＨ＆Ｅ画像を供給することができる。十分に訓練されたＣｙｃｌｅ－ＧＡＮ１１００ネットワークは、無標識組織のＵＶ－ＡｕｔｏＭ画像から無標識組織の仮想Ｈ＆Ｅ染色バージョンへの変換を可能にし、これによって病理学者がＵＶ－ＡｕｔｏＭ画像を容易に解釈することを可能にする。
図１６Ａ及び図１６Ｂは、異なる厚みのマウスの脳試料に対する訓練済みＣｙｃｌｅ－ＧＡＮネットワーク１１００の試験結果に関する。図１６Ａ及び図１６Ｂは、それぞれ１００μｍ及び２００μｍの厚みを有するマウス脳試料のＳＩ再構成された高解像度ＵＶ－ＡｕｔｏＭ画像であり、図１６Ｃ及び図１６Ｄは、対応する仮想的に染色したＨ＆Ｅ画像である。ＵＶ－ＡｕｔｏＭコントラストからＨ＆Ｅ染色バージョンへのカラーマッピングの成功は、医師及び病理学者が手術室内で使用できる実用的な術中診断ツールとしてのＵＶ－ＡｕｔｏＭ撮像モダリティの開発を大幅に容易にする。
ＵＶ－ＰＡＭ画像とＵＶ－ＡｕｔｏＭ画像との間には相補的コントラストが存在し、これによってＵＶ－ＰＡＭ画像及びＵＶ－ＡｕｔｏＭ画像の両方を生成する方法及びシステムが可能になると理解されるであろう。光子（又は蛍光）は放射緩和を介して生成されるのに対し、熱は非放射緩和によって生成され、熱によって誘導される試料の圧力／温度上昇を介してＰＡ波が放出される。この結果、ＰＡ画像及び自家蛍光画像は、エネルギー保存に従って相補的コントラストを示すと予想される。このコントラストを図１７Ａ及び図１７Ｂに実験的に示す。図１７Ａには、ＵＶレーザー（２６６ｎｍ）励起による無標識ＰＡコントラスト（ＵＶ－ＰＡＭ）を示すのに対し、図１７Ｂには、脱パラフィン処理した厚さ７μｍのマウス脳試料からの海馬領域の無標識自家蛍光コントラスト（ＵＶ－ＡｕｔｏＭ）を示す。図１７Ｃは、ＵＶ－ＰＡＭ画像及びＵＶ－ＡｕｔｏＭ画像の両方との構造的類似性を示す、対応する明視野Ｈ＆Ｅ染色画像である。ＵＶ範囲では核が強く吸収されるので、ＵＶ－ＰＡＭ画像では海馬に集中した核が明るく見え、ＵＶ－ＡｕｔｏＭ画像では暗く見える。このような相補的撮像コントラスト機構では、デュアルモダリティ無標識撮像施設が未処理の新鮮な組織の構造的及び機能的情報をより多く提供することができる。
本説明全体を通じて、脳試料は、Ｓｗｉｓｓ Ｗｅｂｓｔｅｒマウスから抽出して１０％の中性バッファホルマリン内で２４時間にわたって固定したものである。薄いスライス（２～８μｍ）については、試料をＦＦＰＥワークフローによって処理してミクロトームによって切片化した。ＦＦＰＥ組織切片は、キシレンを使用して脱パラフィン化し、説明したＵＶ－ＰＡＭ及びＵＶ－ＡｕｔｏＭシステムによって撮像されるように石英スライド上に取り付けた後にＨ＆Ｅ染色手順を行った。厚いスライス（２０～２００μｍ）については、ビブラトームによって異なる目標厚で直接試料を切断した。
好ましい実施形態を参照しながら本発明を説明したが、当業者であれば本発明を他の形態で具現化することもできると理解するであろう。
例えば、明らかな依存関係又は矛盾した代替物の場合を除き、上記開示の有利な実施形態及び／又はさらなる展開を個別に又は互いに任意の組み合わせで適用することもできる。
６１０ 広視野、ＮＡ＝０．１
６２０ ＳＩシーケンス
６３０ ＳＩ再構成、ＮＡ＝０．３
６２０ ＳＩシーケンス
６３０ ＳＩ再構成、ＮＡ＝０．３
Claims (18)
- 擬似ヘマトキシリン・エオシン（Ｈ＆Ｅ）染色画像を生成するコンピュータ実装方法であって、
無標識試料の紫外線ベースの自家蛍光顕微鏡（ＵＶ－ＡｕｔｏＭ）画像又は紫外線ベースの光音響顕微鏡（ＵＶ－ＰＡＭ）画像であってグレースケール画像である入力画像を受け取るステップと、
敵対的生成ネットワークを使用して前記入力画像を前記入力画像の擬似Ｈ＆Ｅ染色画像に変換するステップと、
前記疑似Ｈ＆Ｅ染色画像を出力するステップと、
を含み、
前記ＵＶ－ＡｕｔｏＭ画像の形態で受け取られる前記入力画像は、走査軌道に従って取り込まれた一連のスペックル照射画像から生成された推定ＵＶ－ＡｕｔｏＭ画像であり、前記推定ＵＶ－ＡｕｔｏＭ画像は、前記一連のスペックル照射画像の各スペックル照射画像と比べて高い解像度を有し、
前記推定ＵＶ－ＡｕｔｏＭ画像は、
ａ）前記一連のスペックル照射画像の平均値を補間することに基づいて高解像度画像オブジェクトを初期化し、
ｂ）前記一連のスペックル照射画像の各スペックル照射画像について、
ｉ）前記高解像度画像オブジェクトを前記走査軌道内の特定の位置に計算的にシフトさせることによって推定スペックル照射画像を生成し、
ｉｉ）周波数領域における前記推定スペックル照射画像及び光学的伝達関数に基づいて、前記周波数領域におけるフィルタ済みオブジェクトパターンコンパウンドを決定し、
ｉｉｉ）前記周波数領域における前記推定スペックル照射画像と、前記周波数領域におけるそれぞれの取り込まれたスペックル照射画像と、前記周波数領域における前記フィルタ済みオブジェクトパターンコンパウンドと、前記光学的伝達関数とに基づいて、前記周波数領域における更新済み推定スペックル照射画像を決定し、
ｉｖ）前記更新済み推定スペックル照射画像と、空間領域における前記推定スペックル照射画像と、スペックルパターンとに基づいて前記高解像度画像オブジェクトを更新し、
ｖ）前記更新済み推定スペックル照射画像と、前記推定スペックル照射画像と、前記高解像度画像オブジェクトとに基づいて前記スペックルパターンを更新し、
ｖｉ）前記高解像度画像オブジェクト及び前記スペックルパターンにネストロフ運動量加速度を適用し、
ｃ）前記高解像度画像オブジェクトを再構成する収束が検出されるまでステップｂ）を反復的に実行する、
ことによって生成され、前記高解像度画像オブジェクトは、センチメートル規模の撮像領域にわたって細胞下解像度が強化された前記推定ＵＶ－ＡｕｔｏＭ画像である、
ことを特徴とする方法。 - 前記敵対的生成ネットワークは、サイクル一貫性を有する敵対的生成ネットワークである、
請求項１に記載のコンピュータ実装方法。 - 前記方法は、ペアになっていない入力画像及びＨ＆Ｅ染色画像を使用して前記敵対的生成ネットワークを訓練するステップを含む、
請求項１又は２に記載のコンピュータ実装方法。 - 前記敵対的生成ネットワークは、
前記入力画像を生成されたＨ＆Ｅ画像に変換するように構成された第１の生成器深層畳み込みニューラルネットワークと、
Ｈ＆Ｅ画像を生成されたＵＶ－ＡｕｔｏＭ画像又はＵＶ－ＰＡＭ画像に変換するように構成された第２の生成器深層畳み込みニューラルネットワークと、
訓練セットのＨ＆Ｅ画像と、前記第１の生成器深層畳み込みニューラルネットワークによって生成された、生成されたＨ＆Ｅ画像とを識別するように構成された第１の識別器深層畳み込みニューラルネットワークと、
前記訓練セットのＵＶ－ＡｕｔｏＭ画像又はＵＶ－ＰＡＭ画像と、前記第２の生成器深層畳み込みニューラルネットワークによって生成された、生成されたＵＶ－ＡｕｔｏＭ画像又はＵＶ－ＰＡＭ画像とを識別するように構成された第２の識別器深層畳み込みニューラルネットワークと、
を含む４つの深層畳み込みニューラルネットワークで構成される、請求項１から３のいずれか１項に記載のコンピュータ実装方法。 - 前記第１及び第２の生成器深層畳み込みニューラルネットワークは、ＲｅｓＮｅｔベースの又はＵ－Ｎｅｔベースの生成器ネットワークである、
請求項４に記載のコンピュータ実装方法。 - 前記ＵＶ－ＰＡＭ画像の形態で受け取られる前記入力画像は、
集束アセンブリのガルボミラースキャナを制御して紫外線を走査軌道に従って試料に集束させ、
少なくとも１つのトランスデューサが前記紫外線に反応して、前記試料によって放出された光音響波を受け取り、
前記光音響波に基づいて前記ＵＶ－ＰＡＭ画像を生成する、
ことによって生成される、請求項１から５のいずれか１項に記載のコンピュータ実装方法。 - 擬似ヘマトキシリン・エオジン（Ｈ＆Ｅ）染色画像を生成するように構成されたコンピュータシステムであって、前記コンピュータシステムは、実行可能命令を記憶した１又は２以上のメモリと、１又は２以上のプロセッサとを含み、前記実行可能命令は、前記プロセッサによって実行されると、
無標識試料の紫外線ベースの自家蛍光顕微鏡（ＵＶ－ＡｕｔｏＭ）画像又は紫外線ベースの光音響顕微鏡（ＵＶ－ＰＡＭ）画像であってグレースケール画像である入力画像を受け取り、
敵対的生成ネットワークを使用して前記入力画像を前記入力画像の擬似Ｈ＆Ｅ染色画像に変換し、
前記疑似Ｈ＆Ｅ染色画像を出力する、
ことを前記１又は２以上のプロセッサに行わせ、
前記ＵＶ－ＡｕｔｏＭ画像の形態で受け取られる前記入力画像は、走査軌道に従って取り込まれた一連のスペックル照射画像から生成された推定ＵＶ－ＡｕｔｏＭ画像であり、前記推定ＵＶ－ＡｕｔｏＭ画像は、前記一連のスペックル照射画像の各スペックル照射画像と比べて高い解像度を有し、
前記ＵＶ－ＡｕｔｏＭ画像は、
ａ）前記一連のスペックル照射画像の平均値を補間することに基づいて高解像度画像オブジェクトを初期化し、
ｂ）前記一連のスペックル照射画像の各スペックル照射画像について、
ｉ）高解像度画像を前記走査軌道内の特定の位置に計算的にシフトさせることによって推定スペックル照射画像を生成し、
ｉｉ）周波数領域における前記推定スペックル照射画像及び光学的伝達関数に基づいて、前記周波数領域におけるフィルタ済みオブジェクトパターンコンパウンドを決定し、
ｉｉｉ）前記周波数領域における前記推定スペックル照射画像と、前記周波数領域におけるそれぞれの取り込まれたスペックル照射画像と、前記周波数領域における前記フィルタ済みオブジェクトパターンコンパウンドと、前記光学的伝達関数とに基づいて、前記周波数領域における更新済み推定スペックル照射画像を決定し、
ｉｖ）前記更新済み推定スペックル照射画像と、空間領域における前記推定スペックル照射画像と、スペックルパターンとに基づいて前記高解像度画像オブジェクトを更新し、
ｖ）前記更新済み推定スペックル照射画像と、前記推定スペックル照射画像と、前記高解像度画像オブジェクトとに基づいて前記スペックルパターンを更新し、
ｖｉ）前記高解像度画像オブジェクト及び前記スペックルパターンにネストロフ運動量加速度を適用し、
ｃ）前記高解像度画像オブジェクトを再構成する収束が検出されるまでステップｂ）を反復的に実行する、
ことによって前記１又は２以上のプロセッサよって生成され、前記高解像度画像オブジェクトは、センチメートル規模の撮像領域にわたって細胞下解像度が強化された前記推定ＵＶ－ＡｕｔｏＭ画像である、
ことを特徴とするコンピュータシステム。 - 前記敵対的生成ネットワークは、サイクル一貫性を有する敵対的生成ネットワークである、
請求項７に記載のコンピュータシステム。 - 前記１又は２以上のプロセッサは、ペアになっていない入力グレースケール画像及びＨ＆Ｅ染色画像を使用して前記敵対的生成ネットワークを訓練するように構成される、
請求項７又は８に記載のコンピュータシステム。 - 前記敵対的生成ネットワークは、
前記入力画像を生成されたＨ＆Ｅ画像に変換するように構成された第１の生成器深層畳み込みニューラルネットワークと、
Ｈ＆Ｅ画像を生成されたＵＶ－ＡｕｔｏＭ画像又はＵＶ－ＰＡＭ画像に変換するように構成された第２の生成器深層畳み込みニューラルネットワークと、
訓練セットのＨ＆Ｅ画像と、前記第１の生成器深層畳み込みニューラルネットワークによって生成された、生成されたＨ＆Ｅ画像とを識別するように構成された第１の識別器深層畳み込みニューラルネットワークと、
前記訓練セットのＵＶ－ＡｕｔｏＭ画像又はＵＶ－ＰＡＭ画像と、前記第２の生成器深層畳み込みニューラルネットワークによって生成された、生成されたＵＶ－ＡｕｔｏＭ画像又はＵＶ－ＰＡＭ画像とを識別するように構成された第２の識別器深層畳み込みニューラルネットワークと、
を含む４つの深層畳み込みニューラルネットワークで構成される、請求項７から９のいずれか一項に記載のコンピュータシステム。 - 前記第１及び第２の生成器深層畳み込みニューラルネットワークは、ＲｅｓＮｅｔベースの又はＵ－Ｎｅｔベースの生成器ネットワークである、
請求項１０に記載のコンピュータシステム。 - 前記ＵＶ－ＰＡＭ画像の形態で受け取られる前記入力画像は、
集束アセンブリのガルボミラースキャナを制御して紫外線を走査軌道に従って試料に集束させ、
少なくとも１つのトランスデューサが前記紫外線に反応して、前記試料によって放出された光音響波を受け取り、
前記光音響波に基づいて前記ＵＶ－ＰＡＭ画像を生成する、
ことによって生成される、請求項７から１１のいずれか１項に記載のコンピュータシステム。 - 擬似ヘマトキシリン・エオジン（Ｈ＆Ｅ）染色画像を生成するようにコンピュータシステムを構成する実行可能命令を含む１又は２以上の非一時的コンピュータ可読媒体であって、前記コンピュータシステムは１又は２以上のプロセッサを有し、前記実行可能命令は、前記プロセッサによって実行されると、
無標識試料の紫外線ベースの自家蛍光顕微鏡（ＵＶ－ＡｕｔｏＭ）画像又は紫外線ベースの光音響顕微鏡（ＵＶ－ＰＡＭ）画像であってグレースケール画像である入力画像を受け取り、
敵対的生成ネットワークを使用して前記入力画像を前記入力画像の擬似Ｈ＆Ｅ染色画像に変換し、
前記疑似Ｈ＆Ｅ染色画像を出力する、
ように前記コンピュータシステムを構成し、
前記ＵＶ－ＡｕｔｏＭ画像の形態で受け取られる前記入力画像は、走査軌道に従って取り込まれた一連のスペックル照射画像から生成された推定ＵＶ－ＡｕｔｏＭ画像であり、前記推定ＵＶ－ＡｕｔｏＭ画像は、前記一連のスペックル照射画像の各スペックル照射画像と比べて高い解像度を有し、
前記ＵＶ－ＡｕｔｏＭ画像は、
ａ）前記一連のスペックル照射画像の平均値を補間することに基づいて高解像度画像オブジェクトを初期化し、
ｂ）前記一連のスペックル照射画像の各スペックル照射画像について、
ｉ）前記高解像度画像オブジェクトを前記走査軌道内の特定の位置に計算的にシフトさせることによって推定スペックル照射画像を生成し、
ｉｉ）周波数領域における前記推定スペックル照射画像及び光学的伝達関数に基づいて、前記周波数領域におけるフィルタ済みオブジェクトパターンコンパウンドを決定し、
ｉｉｉ）前記周波数領域における前記推定スペックル照射画像と、前記周波数領域におけるそれぞれの取り込まれたスペックル照射画像と、前記周波数領域における前記フィルタ済みオブジェクトパターンコンパウンドと、前記光学的伝達関数とに基づいて、前記周波数領域における更新済み推定スペックル照射画像を決定し、
ｉｖ）前記更新済み推定スペックル照射画像と、空間領域における前記推定スペックル照射画像と、スペックルパターンとに基づいて前記高解像度画像オブジェクトを更新し、
ｖ）前記更新済み推定スペックル照射画像と、前記推定スペックル照射画像と、前記高解像度画像オブジェクトとに基づいて前記スペックルパターンを更新し、
ｖｉ）前記高解像度画像オブジェクト及び前記スペックルパターンにネストロフ運動量加速度を適用し、
ｃ）前記高解像度画像オブジェクトを再構成する収束が検出されるまでステップｂ）を反復的に実行する、
ことによって前記１又は２以上のプロセッサよって生成され、前記高解像度画像オブジェクトは、センチメートル規模の撮像領域にわたって細胞下解像度が強化された前記推定ＵＶ－ＡｕｔｏＭ画像である、
ことを特徴とする１又は２以上の非一時的コンピュータ可読媒体。 - 前記敵対的生成ネットワークは、サイクル一貫性を有する敵対的生成ネットワークである、
請求項１３に記載の１又は２以上の非一時的コンピュータ可読媒体。 - 前記実行可能命令は、前記プロセッサによって実行されると、前記コンピュータシステムを、ペアになっていない入力グレースケール画像及びＨ＆Ｅ染色画像を使用して前記敵対的生成ネットワークを訓練するように構成する、
請求項１３に記載の１又は２以上の非一時的コンピュータ可読媒体。 - 前記敵対的生成ネットワークは、
前記入力画像を生成されたＨ＆Ｅ画像に変換するように構成された第１の生成器深層畳み込みニューラルネットワークと、
Ｈ＆Ｅ画像を生成されたＵＶ－ＡｕｔｏＭ画像又はＵＶ－ＰＡＭ画像に変換するように構成された第２の生成器深層畳み込みニューラルネットワークと、
訓練セットのＨ＆Ｅ画像と、前記第１の生成器深層畳み込みニューラルネットワークによって生成された、生成されたＨ＆Ｅ画像とを識別するように構成された第１の識別器深層畳み込みニューラルネットワークと、
前記訓練セットのＵＶ－ＡｕｔｏＭ画像又はＵＶ－ＰＡＭ画像と、前記第２の生成器深層畳み込みニューラルネットワークによって生成された、生成されたＵＶ－ＡｕｔｏＭ画像又はＵＶ－ＰＡＭ画像とを識別するように構成された第２の識別器深層畳み込みニューラルネットワークと、
を含む４つの深層畳み込みニューラルネットワークで構成される、請求項１３から１５のいずれか１項に記載の１又は２以上の非一時的コンピュータ可読媒体。 - 前記第１及び第２の生成器深層畳み込みニューラルネットワークは、ＲｅｓＮｅｔベースの又はＵ－Ｎｅｔベースの生成器ネットワークである、
請求項１６に記載の１又は２以上の非一時的コンピュータ可読媒体。 - 前記ＵＶ－ＰＡＭ画像の形態で受け取られる前記入力画像は、
集束アセンブリのガルボミラースキャナを制御して紫外線を走査軌道に従って試料に集束させ、
少なくとも１つのトランスデューサが前記紫外線に反応して、前記試料によって放出された光音響波を受け取り、
前記光音響波に基づいて前記ＵＶ－ＰＡＭ画像を生成する、
ことによって生成される、請求項１３から１７のいずれか１項に記載の１又は２以上の非一時的コンピュータ可読媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962973101P | 2019-09-19 | 2019-09-19 | |
| US62/973,101 | 2019-09-19 | ||
| PCT/CN2020/108454 WO2021052063A1 (en) | 2019-09-19 | 2020-08-11 | Slide-free histological imaging method and system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022548760A JP2022548760A (ja) | 2022-11-21 |
| JP7431472B2 true JP7431472B2 (ja) | 2024-02-15 |
Family
ID=75358332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022517980A Active JP7431472B2 (ja) | 2019-09-19 | 2020-08-11 | スライドフリーな組織学的撮像法及びシステム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220237783A1 (ja) |
| EP (1) | EP3994656A4 (ja) |
| JP (1) | JP7431472B2 (ja) |
| CN (1) | CN114365179A (ja) |
| WO (1) | WO2021052063A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023061068A1 (en) * | 2021-10-12 | 2023-04-20 | The Hong Kong University Of Science And Technology | Translational rapid ultraviolet-excited sectioning tomography assisted with deep learning |
| CN114420066B (zh) * | 2022-01-20 | 2023-04-25 | 海宁奕斯伟集成电路设计有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN116543385B (zh) * | 2023-07-05 | 2023-09-05 | 江西农业大学 | 一种水稻叶片细胞形态学智能检测方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019154987A1 (en) | 2018-02-12 | 2019-08-15 | F. Hoffmann-La Roche Ag | Transformation of digital pathology images |
| WO2019191697A1 (en) | 2018-03-30 | 2019-10-03 | The Regents Of The University Of California | Method and system for digital staining of label-free fluorescence images using deep learning |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107202780B (zh) * | 2017-04-28 | 2020-01-14 | 浙江大学 | 一种基于散斑照明的超分辨显微方法和装置 |
| CN111095360B (zh) * | 2017-09-19 | 2023-09-05 | 美国西门子医学诊断股份有限公司 | 使用通用对抗网络对数字全息显微术图像中的细胞的虚拟染色 |
| WO2019118544A1 (en) * | 2017-12-15 | 2019-06-20 | Verily Life Sciences Llc | Generating virtually stained images of unstained samples |
| CN109061131A (zh) * | 2018-06-29 | 2018-12-21 | 志诺维思（北京）基因科技有限公司 | 染色图片处理方法及装置 |
-
2020
- 2020-08-11 JP JP2022517980A patent/JP7431472B2/ja active Active
- 2020-08-11 WO PCT/CN2020/108454 patent/WO2021052063A1/en unknown
- 2020-08-11 US US17/597,784 patent/US20220237783A1/en active Pending
- 2020-08-11 EP EP20865564.7A patent/EP3994656A4/en active Pending
- 2020-08-11 CN CN202080063496.0A patent/CN114365179A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019154987A1 (en) | 2018-02-12 | 2019-08-15 | F. Hoffmann-La Roche Ag | Transformation of digital pathology images |
| WO2019191697A1 (en) | 2018-03-30 | 2019-10-03 | The Regents Of The University Of California | Method and system for digital staining of label-free fluorescence images using deep learning |
Non-Patent Citations (2)
| Title |
|---|
| Bevin Lin, Shiro Urayama, Ramez M. G. Saroufeem, Dennis L. Matthews, Stavros G. Demos，Clinical Translation of UV Autofluorescence Microscopy towards Endomicroscopy for Early Detection of Cancer，Asia Communications and Photonics Conference and Exhibition，IEEE，2010年，pp.44-45，ＵＲＬ，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5682843，DOI: 10.1109/ACP.2010.5682843 |
| Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros，Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks，2017 IEEE International Conference on Computer Vision (ICCV)，IEEE，2017年，pp.2242-2251，ＵＲＬ，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8237506，DOI: 10.1109/ICCV.2017.244 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114365179A (zh) | 2022-04-15 |
| WO2021052063A1 (en) | 2021-03-25 |
| EP3994656A1 (en) | 2022-05-11 |
| JP2022548760A (ja) | 2022-11-21 |
| US20220237783A1 (en) | 2022-07-28 |
| EP3994656A4 (en) | 2023-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7431472B2 (ja) | スライドフリーな組織学的撮像法及びシステム | |
| de Haan et al. | Deep-learning-based image reconstruction and enhancement in optical microscopy | |
| US20230030424A1 (en) | Method and system for digital staining of microscopy images using deep learning | |
| Chen et al. | Three-dimensional residual channel attention networks denoise and sharpen fluorescence microscopy image volumes | |
| Rivenson et al. | Virtual histological staining of unlabelled tissue-autofluorescence images via deep learning | |
| JP2021519924A (ja) | ディープラーニングを使用して無標識蛍光画像をデジタル染色する方法及びシステム | |
| JP6112872B2 (ja) | 撮像システム、画像処理方法、および撮像装置 | |
| Keikhosravi et al. | Non-disruptive collagen characterization in clinical histopathology using cross-modality image synthesis | |
| Shen et al. | Deep learning autofluorescence-harmonic microscopy | |
| Zhang et al. | High‐throughput, label‐free and slide‐free histological imaging by computational microscopy and unsupervised learning | |
| US20160027206A1 (en) | Three-Dimensional Image Processing to Locate Nanoparticles in Biological and Nonbiological Media | |
| Boktor et al. | Virtual histological staining of label-free total absorption photoacoustic remote sensing (TA-PARS) | |
| US20230055979A1 (en) | Three-dimensional contoured scanning photoacoustic imaging and virtual staining | |
| CN113466187B (zh) | 对荧光各向异性进行偏振超分辨成像的系统及方法 | |
| TW201942869A (zh) | 一種生物樣本之影像合成方法及採用該方法之光學系統 | |
| Combalia et al. | Digitally stained confocal microscopy through deep learning | |
| Halicek et al. | Cancer detection using hyperspectral imaging and evaluation of the superficial tumor margin variance with depth | |
| Sivaguru et al. | Application of an advanced maximum likelihood estimation restoration method for enhanced‐resolution and contrast in second‐harmonic generation microscopy | |
| Zhang et al. | Image-to-images translation for multiple virtual histological staining of unlabeled human carotid atherosclerotic tissue | |
| CN113724150A (zh) | 无需高信噪比真值图像的结构光显微重建方法及装置 | |
| Becker et al. | Visualizing minute details in light‐sheet and confocal microscopy data by combining 3D rolling ball filtering and deconvolution | |
| Houhou et al. | Comparison of denoising tools for the reconstruction of nonlinear multimodal images | |
| Ramamurthy et al. | A perspective on digital and computational pathology | |
| JP2024505149A (ja) | 合成画像集合を生成する為の装置とシステムと方法 | |
| de Haan et al. | Deep learning-based transformation of the H&E stain into special stains improves kidney disease diagnosis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220318 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230420 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230501 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230728 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230828 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231206 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240126 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7431472 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |