JP7467466B2 - マルチチャネル直交畳み込みニューラルネットワーク - Google Patents

マルチチャネル直交畳み込みニューラルネットワーク Download PDF

Info

Publication number
JP7467466B2
JP7467466B2 JP2021533203A JP2021533203A JP7467466B2 JP 7467466 B2 JP7467466 B2 JP 7467466B2 JP 2021533203 A JP2021533203 A JP 2021533203A JP 2021533203 A JP2021533203 A JP 2021533203A JP 7467466 B2 JP7467466 B2 JP 7467466B2
Authority
JP
Japan
Prior art keywords
tissue
image
plaque
features
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021533203A
Other languages
English (en)
Other versions
JP2022513200A (ja
JPWO2020123739A5 (ja
Inventor
トーマス イー. ミルナー,
オースティン マッケルロイ,
エイディン ザヘディヴァシュ,
ニテシュ カッタ,
Original Assignee
リサーチ ディベロップメント ファウンデーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by リサーチ ディベロップメント ファウンデーション filed Critical リサーチ ディベロップメント ファウンデーション
Publication of JP2022513200A publication Critical patent/JP2022513200A/ja
Publication of JPWO2020123739A5 publication Critical patent/JPWO2020123739A5/ja
Priority to JP2023217939A priority Critical patent/JP2024023852A/ja
Application granted granted Critical
Publication of JP7467466B2 publication Critical patent/JP7467466B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007Evaluating blood vessel condition, e.g. elasticity, compliance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A61B5/6852Catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/42Arrangements for detecting radiation specially adapted for radiation diagnosis
    • A61B6/4208Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector
    • A61B6/4241Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector using energy resolving detectors, e.g. photon counting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233Special features of optical sensors or probes classified in A61B5/00
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Fuzzy Systems (AREA)

Description

(関連出願の相互参照)
本願は、その全内容が、参照することによって本明細書に組み込まれる、2018年12月14日に出願された、米国仮特許出願第62/779,888号の優先権を主張する。
心筋梗塞につながるアテローム性動脈硬化症およびプラーク破裂は、世界中で主要な死因のままである[1]。炎症および基礎的な細胞および分子機構[2-4]は、発生から進行を通したアテローム発生、プラーク破裂、および最終的には血栓症に寄与する。近年、Virmani[5]によって「薄い被膜の線維性アテローム」として定義されている、脆弱なプラークは、炎症に起因し、典型的には、厚さが65μm未満の薄い線維性被膜、減少した平滑筋細胞を伴うマクロファージの浸潤の増加、および安定したプラークと比較して増加した脂質コアのサイズを有するものとして特徴付けられる[6-8]。
薄い被膜の線維性アテロームの破裂につながる、いくつかの細胞および分子事象が、現在理解され、新規の撮像アプローチを開発するために利用されている。薄い被膜の線維性アテローム中のマクロファージの蓄積は、薄い被膜の線維性アテロームの脆弱性および血栓形成の増加[13-15]に寄与すると考えられる、マトリクスメタロプロテイナーゼ(MMP)[9-12]を過剰発現させる。マクロファージは、冠状、脳、および末梢循環中のプラーク破裂の危険性を示す、重要な初期細胞マーカである。プラーク脆弱性が細胞組成および解剖学的構造に関係付けられるため、組成および構造の両方を同時に明らかにすることができる診断方法を開発することが、脆弱なプラークを識別するために望ましく、心臓血管介入に応答した縦断研究における心臓血管疾患の生体内監視を可能にするであろう。
血管内OCT(IVOCT)は、高解像度血管内撮像のための最近開発されたカテーテルベースの方法である。心臓血管画像診断法のうちIVOCTは、薄い被膜の線維性アテロームを撮像するために十分な空間分解能を提供する、唯一のアプローチである。
しかしながら、IVOCT画像のみによって、プラーク破裂の危険性を容易に査定することはできない。二光子発光(TPL)顕微鏡法は、組織の非線形光学性質を使用し、それらの内因性自己蛍光に基づいて、内皮細胞、平滑筋細胞[16]、エラスチン線維[17、18]、酸化LDL[19]、および脂質液滴[20]等のプラーク構成要素を撮像するために利用されてきた。ごく最近では、TPL顕微鏡法によって、ナノ粒子を装填されたマクロファージを検出できることが報告されている[21、22]。ファイバベースのOCT[23、24]およびTPL顕微鏡法[25-28]は、それぞれ、フォトニック結晶ファイバを使用して、より高い空間分解能を達成するために広帯域光を透過させること、またはシステムサイズ小型化のために超短パルスを透過することが報告されている。しかしながら、複合ファイバベースのOCT-TPLシステムは、これまで実現されていない。
しかしながら、動脈プラーク組成物を決定することは、アテローム性動脈硬化症の早期診断を有意に改良することができる。不安定プラークの早期検出は、リスク要因の早期管理につながり、将来的臨床転帰を改善し得、より標的化された治療をもたらすことができる。冠動脈アテローム硬化性プラークは、概して、脂質豊富である、線維状、または石灰化された組織から成る。石灰化されたプラークは、安定病変と結び付けられる一方、大量の線維および/または脂質組織を伴う病変は、不安定な薄い被膜の線維アテローム(TCFA)病変と結び付けられる。TCFAは、特に、危険であって、プラーク破裂等の急性冠動脈事象の大部分に関与する(Fujii et al, 2015)。プラーク組織特性評価はまた、ステント設置を誘導することに役立ち得る。脂質プラークに隣接して設置される、金属ステントは、例えば、非最適治癒応答を示している一方、石灰化されたプラークに隣接するものは、ステント血栓症またはステント内再狭窄症のより高い機会を有する(Ughi et al)。したがって、プラーク組成物は、特に、疾患および介入転帰の予測になり得る。さらに、プラーク形態構造の定量的特性評価は、アテローム性動脈硬化症機構の理解を進め、新しい診断基準を明らかにし、新しい療法の開発および試験を早めることができる。
臨床プラーク分類の現在の標準は、血管内超音波(IVUS)またはコンピュータ断層撮影(CT)走査に依拠する。プラーク特性評価の観点からの定量的冠動脈血管造影のための現在の産業標準、すなわち、IVUSは、線維または脂質不安定プラークを一貫して識別することが不可能である(Jang et al)。本限界は、約100μmのIVUSの軸方向分解能と結び付けられ、これは、これらの病変が、多くの場合、<65μmで測定されたTCFA等、100μmの厚さを下回るため、不安定プラークの検出を問題となるものにする。
しかしながら、血管内光コヒーレンス断層撮影(IVOCT)は、典型的には、10μm軸方向分解能を有し、より大きい範囲のプラークサイズの検出を可能にする。IVOCTは、カテーテル搭載型光源からの広帯域干渉法を使用して、サンプル材料の屈折率および反射率に基づいて、画像を発生させる。冠動脈の場合、動脈壁から後方散乱された光は、制御された経路長において、光で干渉され、最大2mmの種々の組織深度で画像を発生させ、それを動脈を半径方向に撮像するために理想的に好適なものにする。加えて、IVOCTは、本ミクロンレベル分解能をリアルタイムで送達し、それをインビボでの非侵襲性カテーテルベースの血管内撮像のための優れたツールにすることができる。
現在、IVOCTプラーク分類の大部分は、視覚的に構築されたグラウンドトゥルース上に形成され、ピクセルの領域は、OCT画像を読み取るように訓練されたヒト専門家によって、1つずつ、線維、脂質、および石灰化された組織に分類される。しかしながら、OCT画像の専門家分析は、誤特性評価を受けやすい。Manfrini et alによって行われた実験は、「[専門家による]誤解釈が、[全体で]28枚のOCT画像(41%)において生じている(21枚の線維性被膜アテローム(31%)、6枚の繊維状石灰化プラーク(9%)、および1枚の線維プラーク(1%))」ことを示している(Manfrini et al)。そのような誤解釈およびヒト専門家への依存性は、診断のために、IVUSまたはCT走査よりもIVOCTを推奨するとき、医学界への最も有意な障壁のうちの1つを表し、IVOCT分野における忠実性の欠如を表す。
故に、既存のプラーク分類技法は、多くの欠点を含み、改良されたシステムおよび方法が、所望される。
畳み込みニューラルネットワーク(CNN)が、組織の自動分類のために、IVOCTに適用されているが[124-126]、多くの問題点が、識別されており、これは、本明細書に説明されるように対処される。開発されている、CNNは、従来的には、電荷結合素子(CCD)またはCMOS撮像センサのいずれかを伴う、平面RGBアレイを使用して捕捉された画像に適用される。これらのセンサは、非常に高い信号対雑音比および無スペックル雑音を伴う、優れた空間および時間的相関を呈する。
医療画像は、通常、これらの撮像センサのうちの1つを使用して捕捉されず、かつ点または線形アレイトランスデューサを使用して構築される。信号入手後、伝達信号は、数学演算を適用され、グレースケールまたは偽色撮像の形態において、ユーザに表示される。光コヒーレンス断層撮影(OCT)、超音波、MRI、X線、およびCTシステムは、とりわけ、このように、画像を生成する。さらに、OCTおよび超音波は、コヒーレント撮像方法であって、したがって、感知デバイスの開口数に依存する、雑音のタイプである、スペックルに悩まされる。
本開示の例示的実施形態は、画像が伝達および構築される方法を考慮することによって、直交CNNを適用し、本情報を最良に考慮するようにニューラルネットワークを設計する、装置および方法を含む。2乗カーネルが、時間的および空間的に相関される、2乗センサのために理想的であるが、それらは、医療画像のためには理想的ではない場合がある。
OCTでは、A-走査(反射率プロファイルとも称される)が、データの最小単位であって、点センサまたは1次元(1D)アレイのセンサのいずれかから形成される。これらのデータは、時間的および空間的に相関されると見なされ得、ニューラルネットワークによって、そのように取り扱われるべきである。CNNの場合、これは、1A-走査の幅を伴う、a-走査の方向のみに存在する、カーネルとして表され得る。A-走査を横断したデータは、A-走査間隔が、必ずしも、均一ではないため、別個として取り扱われるべきであって、CNNの場合、直交1Dカーネルを用いて取り扱われるべきである。
単一グレースケール画像としての医療画像は、未処理のものであると見なすとする。医療撮像モダリティは、ニューラルネットワークによっても同様に検討されるべきである、豊富な導出データのセットを含有する。本明細書で使用されるように、用語「導出データ」は、元々の撮像センサから数学的に抽出される、データである。例えば、OCTデータは、サンプルから後方散乱された光から形成される。ある技法(例えば、Vermeer and de Boerによるものを含む)は、OCTA-走査の減衰を確認するために、従来の後方散乱OCTデータと併用されるとき、ニューラルネットワークに有益な情報を提供し得ることが実証されている。導出データの他の実施例は、2次元(2D)標準偏差および他の統計的ランク付けメトリックである。非導出データもまた、医療撮像システム設計に応じて、追加されてもよい。極性化も、OCTシステム上では標準的ではないが、追加され、付加的次元として含まれることができる。OCTデータセットから抽出される本多次元データは、センサの色チャネルによって限定されないが、捕捉された有用な導出または非導出データの数によって限定されることを除き、RGBデータのものと同様に成形されることができる。
例示的実施形態は、表在脂質およびカルシウム対線維組織および脂質、カルシウム組織、および結合組織間の判別を改良する方法であって、画像を入手するステップであって、画像は、点または線形アレイトランスデューサから構築された信号である、ステップと、画像が構築された方法を分析し、画像から導出データを数学的に抽出するステップと、直交畳み込みニューラルネットワーク(OCNN)を適用し、導出データの考慮点を最適化するステップとを含む、方法を含む。
ある実施形態では、画像は、光コヒーレンス断層撮影(OCT)プロセスを使用して取得される。特定の実施形態では、導出データは、OCTプロセスの間に実施されるA-走査の減衰データを備える。いくつかの実施形態では、導出データは、2次元(2D)標準偏差データを備える。具体的実施形態はさらに、OCNNを非導出データに適用するステップを含む。ある実施形態では、非導出データは、極性化データを備える。
本開示の例示的実施形態は、検証のために組織学と共位置合わせされるIVOCT画像に基づく、冠動脈内に存在するプラーク組織を分類するための自動化されたアルゴリズム方法を含む。そのグラウンドトゥルースとしての臨床上の至適基準である、組織学に基づく、組織分類システムのための説明される有力なアルゴリズム方法は、IVOCTの潜在性と臨床的受容性との間の隔たりを埋めることができる。
本開示の例示的実施形態は、血管内光コヒーレンス断層撮影およびスマートアルゴリズムを使用する、自動化された冠動脈プラーク特性評価およびリスク査定のためのシステムおよび方法を含む。特定の実施形態は、参照することによって本明細書に組み込まれる、米国特許公開第2014/0268168号および第2016/0078309号に開示されるような光コヒーレンス断層撮影システムおよび方法を組み込んでもよい。
例示的実施形態は、システムであって、光コヒーレンス断層撮影光源を備える、撮像デバイスであって、プラークを備える、血管内組織の画像を取得するように構成される、撮像デバイスと、プラークを複数の組織タイプのうちの第1の組織タイプとして分類するように構成される、第1のニューラルネットワークを用いて、画像のピクセルを分析し、プラークを複数の組織タイプのうちの第2の組織タイプとして分類するように構成される、第2のニューラルネットワークを用いて、画像のピクセルを分析し、プラークを複数の組織タイプのうちの第3の組織タイプとして分類するように構成される、第3のニューラルネットワークを用いて、画像のピクセルを分析するように構成される、非一過性コンピュータ可読媒体とを備える、システムを含む。
ある実施形態では、複数の組織タイプからの組織学的データは、第1、第2、および第3のニューラルネットワークを訓練するように選択される、ピクセルの組織タイプを特性評価するように分析される。特定の実施形態では、第1の組織タイプは、脂質プラークであって、第2の組織タイプは、石灰化プラークであって、第3の組織タイプは、線維プラークである。いくつかの実施形態では、非一過性コンピュータ可読媒体は、第1、第2、および第3のニューラルネットワークのノードを用いて、画像の複数の特徴を評価し、受信者動作特性(ROC)曲線を使用して、複数の特徴の感度および特異性を計算することによって、第1、第2、および第3のニューラルネットワークを最適化するように構成される。具体的実施形態では、複数の特徴は、以下のグレーレベル同時生起行列(GLCM)特徴、すなわち、コントラスト、エネルギー、相関、均質性、エントロピ、および最大確率のうちの1つ以上のものを備える。
ある実施形態では、複数の特徴は、以下の2次元画像統計、すなわち、平均値、分散、歪曲度、尖度、およびエネルギーのうちの1つ以上のものを備える。特定の実施形態では、光コヒーレンス断層撮影光源は、掃引型光コヒーレンス断層撮影光源として構成される。いくつかの実施形態では、光コヒーレンス断層撮影光源は、広帯域光コヒーレンス断層撮影光源として構成される。具体的実施形態では、撮像デバイスはさらに、短パルス状励起光源を備える。ある実施形態では、短パルス状励起光源は、二光子発光光源である。
特定の実施形態では、撮像デバイスはさらに、同時に、光コヒーレンス断層撮影光源からサンプル部位への第1の波長の単一モード伝搬を有効にし、短パルス状光源からサンプル部位への第2の波長の単一モード伝搬を有効にし、光コヒーレンス断層撮影信号をサンプル部位から透過し、光コヒーレンス断層撮影信号は、第1の波長から発生され、放出信号をサンプル部位から透過し、放出信号は、第2の波長によって短パルス状光源から誘発されるように構成される、フォトニック結晶ファイバを備える。
具体的実施形態はさらに、第1のダイクロイック要素を備え、いくつかの実施形態では、第1のダイクロイック要素は、第1および第2の波長をサンプル経路に指向するように構成される。ある実施形態は、第2のダイクロイック要素を備え、特定の実施形態では、第2のダイクロイック要素は、二光子発光を光子計数検出器に向かって指向するように構成される。具体的実施形態は、平衡検出器を備え、ある実施形態では、平衡検出器は、非干渉OCT構成要素を最小限にするように構成される。特定の実施形態は、光子計数検出器を備え、いくつかの実施形態では、光子計数検出器は、光電子増倍管またはアバランシェフォトダイオードである。ある実施形態では、光子計数検出器は、二光子発光を検出するように構成される。
特定の実施形態は、冠動脈プラークを特性評価する方法であって、光を光ファイバから放出する光コヒーレンス断層撮影光源を使用して、サンプル部位の画像を取得するステップであって、画像は、プラークを備える、血管内組織を備える、ステップと、プラークを複数の組織タイプのうちの第1の組織タイプとして分類するように構成される、第1のニューラルネットワークを用いて、画像のピクセルの定量的データを分析するステップであって、第1のニューラルネットワークは、第1の複数のノードを備え、第1の複数の特徴を読み取る、ステップと、プラークを複数の組織タイプのうちの第2の組織タイプとして分類するように構成される、第2のニューラルネットワークを用いて、画像のピクセルの定量的データを分析するステップであって、第2のニューラルネットワークは、第2の複数のノードを備え、第2の複数の特徴を読み取る、ステップと、プラークを複数の組織タイプのうちの第3の組織タイプとして分類するように構成される、第3のニューラルネットワークを用いて、画像のピクセルの定量的データを分析するステップであって、第3のニューラルネットワークは、第3の複数のノードを備え、第3の複数の特徴を読み取る、ステップとを含む、方法を含む。
ある実施形態では、複数の組織タイプからの組織学的データは、第1、第2、および第3のニューラルネットワークを訓練するように選択される、ピクセルの組織タイプを特性評価するように分析される。特定の実施形態では、第1の組織タイプは、脂質プラークであって、第2の組織タイプは、石灰化プラークであって、第3の組織タイプは、線維プラークである。いくつかの実施形態では、定量的データは、以下、すなわち、コントラスト、エネルギー、相関、均質性、エントロピ、および最大確率のうちの1つ以上のものを備える、分類特徴を含む。いくつかの実施形態では、定量的データは、以下、すなわち、平均値、分散、歪曲度、尖度、およびエネルギーのうちの1つ以上のものを備える、分類特徴を含む。具体的実施形態は、画像の複数の分類特徴に関する真陽性対偽陽性率をプロットする、受信者動作特性(ROC)曲線を計算することによって、第1、第2、および第3のニューラルネットワークを最適化するステップを含む。いくつかの実施形態はさらに、複数の分類特徴の各々に対し、各受信者動作特性(ROC)曲線下面積を計算するステップを含む。いくつかの実施形態は、入力画像の異なる部分に最適に加重することによって、特徴を生成する能力を有する。そのような実施形態は、事前に形成される定量的値または特徴に依拠しない。
ある実施形態はさらに、複数の分類特徴の各々に対する各受信者動作特性(ROC)曲線下面積によって、複数の分類特徴をランク付けするステップを含む。特定の実施形態はさらに、第1、第2、および第3のニューラルネットワークのために、分類特徴の感度および特異性を計算するステップを含む。いくつかの実施形態では、感度は、第1、第2、および第3のニューラルネットワークのそれぞれによって正しく分類された既知のプラークタイプデータ点の割合である。具体的実施形態では、特異性は、第1、第2、および第3のニューラルネットワークの各々に対する、プラーク組織タイプの特定のカテゴリに関する正しい分類対総分類の比である。ある実施形態では、第1、第2、および第3のニューラルネットワークはそれぞれ、特異性および感度の和の最高値をもたらす、第1、第2、および第3のニューラルネットワークの各々に対する、ノードおよび分類特徴の組み合わせを選択することによって、最適化される。
特定の実施形態は、システムであって、光コヒーレンス断層撮影光源を備える、撮像デバイスであって、血管内組織の画像を取得するように構成される、撮像デバイスと、画像内の血管内組織を複数の組織タイプのうちの第1の組織タイプとして分類するように構成される、第1のニューラルネットワークを用いて、画像のピクセルを分析するように構成される、非一過性コンピュータ可読媒体とを備える、システムを含む。ある実施形態では、あるステップを実施するように構成される、非一過性コンピュータ可読媒体は、非一過性コンピュータ可読媒体を読み取るように構成される、コンピュータプロセッサまたは他のハードウェアを介してそれを行ってもよい。いくつかの実施形態では、複数の組織タイプからの組織学的データは、第1のニューラルネットワークを訓練するように選択される、ピクセルの組織タイプを特性評価するように分析される。特定の実施形態では、非一過性コンピュータ可読媒体は、画像内の血管内組織を複数の組織タイプのうちの第2の組織タイプとして分類するように構成される、第2のニューラルネットワークを用いて、画像のピクセルを分析するように構成される。いくつかの実施形態では、非一過性コンピュータ可読媒体は、画像内の血管内組織を複数の組織タイプのうちの第3の組織タイプとして分類するように構成される、第3のニューラルネットワークを用いて、画像のピクセルを分析するように構成される。
ある実施形態では、複数の組織タイプからの組織学的データは、第1、第2、および第3のニューラルネットワークを訓練するように選択される、ピクセルの組織タイプを特性評価するように分析される。特定の実施形態では、第1の組織タイプは、脂質プラークであって、第2の組織タイプは、石灰化プラークであって、第3の組織タイプは、線維プラークである。いくつかの実施形態では、非一過性コンピュータ可読媒体は、第1、第2、および第3のニューラルネットワークのノードを用いて、画像の複数の特徴を評価し、受信者動作特性(ROC)曲線を使用して、複数の特徴の感度および特異性を計算することによって、第1、第2、および第3のニューラルネットワークを最適化するように構成される。具体的実施形態では、複数の特徴は、以下のグレーレベル同時生起行列(GLCM)特徴、すなわち、コントラスト、エネルギー、相関、均質性、エントロピ、および最大確率のうちの1つ以上のものを備える。ある実施形態では、複数の特徴は、以下の2次元画像統計、すなわち、平均値、分散、歪曲度、尖度、およびエネルギーのうちの1つ以上のものを備える。
特定の実施形態では、光コヒーレンス断層撮影光源は、掃引型光コヒーレンス断層撮影光源として構成される。いくつかの実施形態では、光コヒーレンス断層撮影光源は、広帯域光コヒーレンス断層撮影光源として構成される。具体的実施形態では、撮像デバイスはさらに、短パルス状励起光源を備える。ある実施形態では、短パルス状励起光源は、二光子発光光源である。
特定の実施形態では、撮像デバイスはさらに、同時に、光コヒーレンス断層撮影光源からサンプル部位への第1の波長の単一モード伝搬を有効にし、短パルス状光源からサンプル部位への第2の波長の単一モード伝搬を有効にし、光コヒーレンス断層撮影信号をサンプル部位から透過し、光コヒーレンス断層撮影信号は、第1の波長から発生され、放出信号をサンプル部位から透過し、放出信号は、第2の波長によって短パルス状光源から誘発されるように構成される、フォトニック結晶ファイバを備える。いくつかの実施形態はさらに、第1のダイクロイック要素を備え、具体的実施形態では、第1のダイクロイック要素は、第1および第2の波長をサンプル経路に指向するように構成される。
ある実施形態はさらに、第2のダイクロイック要素を備え、特定の実施形態では、第2のダイクロイック要素は、二光子発光を光子計数検出器に向かって指向するように構成される。いくつかの実施形態はさらに、平衡検出器を備え、具体的実施形態では、平衡検出器は、非干渉OCT構成要素を最小限にするように構成される。具体的実施形態はさらに、光子計数検出器を備える。ある実施形態では、光子計数検出器は、光電子増倍管またはアバランシェフォトダイオードである。特定の実施形態では、光子計数検出器は、二光子発光を検出するように構成される。
ある実施形態は、冠動脈プラークを特性評価する方法であって、光を光ファイバから放出する光コヒーレンス断層撮影光源を使用して、サンプル部位の画像を取得するステップであって、画像は、プラークを備える、血管内組織を備える、ステップと、プラークを複数の組織タイプのうちの第1の組織タイプとして分類するように構成される、第1のニューラルネットワークを用いて、画像のピクセルの定量的データを分析するステップであって、第1のニューラルネットワークは、第1の複数のノードを備え、第1の複数の特徴を読み取る、ステップと、プラークを複数の組織タイプのうちの第2の組織タイプとして分類するように構成される、第2のニューラルネットワークを用いて、画像のピクセルの定量的データを分析するステップであって、第2のニューラルネットワークは、第2の複数のノードを備え、第2の複数の特徴を読み取る、ステップと、プラークを複数の組織タイプのうちの第3の組織タイプとして分類するように構成される、第3のニューラルネットワークを用いて、画像のピクセルの定量的データを分析するステップであって、第3のニューラルネットワークは、第3の複数のノードを備え、第3の複数の特徴を読み取る、ステップとを含む、方法を含む。
特定の実施形態では、複数の組織タイプからの組織学的データは、第1、第2、および第3のニューラルネットワークを訓練するように選択される、ピクセルの組織タイプを特性評価するように分析される。いくつかの実施形態では、第1の組織タイプは、脂質プラークであって、第2の組織タイプは、石灰化プラークであって、第3の組織タイプは、線維プラークである。具体的実施形態では、定量的データは、以下、すなわち、コントラスト、エネルギー、相関、均質性、エントロピ、および最大確率のうちの1つ以上のものを備える、分類特徴を含む。ある実施形態では、複数の特徴は、以下の2次元画像統計、すなわち、平均値、分散、歪曲度、尖度、およびエネルギーのうちの1つ以上のものを備える。特定の実施形態はさらに、画像の複数の分類特徴に関する真陽性対偽陽性率をプロットする、受信者動作特性(ROC)曲線を計算することによって、第1、第2、および第3のニューラルネットワークを最適化するステップを含む。
いくつかの実施形態はさらに、複数の分類特徴の各々に対し、各受信者動作特性(ROC)曲線下面積を計算するステップを含む。具体的実施形態はさらに、複数の分類特徴の各々に対する各受信者動作特性(ROC)曲線下面積によって、複数の分類特徴をランク付けするステップを含む。ある実施形態はさらに、第1、第2、および第3のニューラルネットワークのために、分類特徴の感度および特異性を計算するステップを含む。特定の実施形態では、感度は、第1、第2、および第3のニューラルネットワークのそれぞれによって正しく分類された既知のプラークタイプデータ点の割合である。いくつかの実施形態では、特異性は、第1、第2、および第3のニューラルネットワークの各々に対する、プラーク組織タイプの特定のカテゴリに関する正しい分類対総分類の比である。具体的実施形態では、第1、第2、および第3のニューラルネットワークはそれぞれ、特異性および感度の和の最高値をもたらす、第1、第2、および第3のニューラルネットワークの各々に対する、ノードおよび分類特徴の組み合わせを選択することによって、最適化される。
ある実施形態は、システムであって、光コヒーレンス断層撮影光源を備える、撮像デバイスであって、血管内組織の画像を取得するように構成される、撮像デバイスと、画像内の血管内組織を複数の組織タイプのうちの第1の組織タイプとして分類するように構成される、第1のニューラルネットワークを用いて、画像のピクセルを分析するように構成される、非一過性コンピュータ可読媒体とを備える、システムを含む。特定の実施形態では、複数の組織タイプからの組織学的データは、第1のニューラルネットワークを訓練するように選択される、ピクセルの組織タイプを特性評価するように分析される。いくつかの実施形態では、非一過性コンピュータ可読媒体は、画像内の血管内組織を複数の組織タイプのうちの第2の組織タイプとして分類するように構成される、第2のニューラルネットワークを用いて、画像のピクセルを分析するように構成される。具体的実施形態では、非一過性コンピュータ可読媒体は、画像内の血管内組織を複数の組織タイプのうちの第3の組織タイプとして分類するように構成される、第3のニューラルネットワークを用いて、画像のピクセルを分析するように構成される。
いくつかの実施形態では、3つの分類された組織タイプ、すなわち、線維、カルシウム、および脂質間の判別をさらに改良するために、IVOCT画像内の個々のA-走査が、前処理および分類を受ける。第1の個々のA-走査は、管腔境界の開始点から信号が減衰される場所まで、信号に対して境界される。加えて、最急峻信号減弱の領域もまた、各A-走査から隔離される。例示的実施形態では、これは、信号強度における変化率を近似させるアルゴリズムを適用する、パニング窓を使用することによって、遂行されることができる。高速の例示的実施形態は、傾きが窓の端点における強度値間で計算される、アルゴリズムを有することができる。他の実施形態は、一次または二次導関数アルゴリズムを適用してもよい。窓サイズは、コンピュータ的に高価になりすぎず、精度を伴って、傾きの変化を測定するように最適化されなければならない。
A-走査の分析は、統計的信号特徴およびガウス適合から導出される特徴を抽出することによって行われる。例示的実施形態における統計的特徴は、A-走査信号全体下面積および対応する着目領域と、最急峻信号減弱の領域の始点および終点とを含むであろう。ガウス分析に関して、A-走査全体および最急峻信号減弱の隔離された領域は、対称信号分布を生成するように鏡映される。本鏡映分布は、以下の方程式のガウス関数に適合される。
上記の方程式からの変数a、b、およびcは、各鏡映分布に対し、特徴として収集される。加えて、ガウスへの最良適合(GOF)が、各鏡映信号に対し、特徴として計算される。統計的およびガウス特徴は、例示的実施形態では、線形判別分析のような分類子の中にフィードされ、各A-走査を脂質、線維、またはカルシウム組織に対応するとして分類することができる。本分類は、次いで、ニューラルネットワークの出力を閾値化するために使用される。
ニューラルネットワーク出力は、閾値をそれらに適用させ、ある組織タイプへの分類を発生させる。B-走査からのピクセルが、ニューラルネットワークの中にフィードされ、出力が、発生された後、これらのピクセルがその中に存在する、A-走査が、決定され、位置合わせされる。ニューラルネットワーク出力は、次いで、閾値をそれらに適用させ、分類をA-走査処理において決定された分類に向かってバイアスする。例えば、A-走査が、前処理段階において脂質として分類された場合、閾値を満たすことが非常に困難である、または高閾値が、カルシウムおよび線維ニューラルネットワーク出力に適用されるであろう一方、脂質ネットワーク出力は、0.5の閾値を超える必要のみがあるであろう。これは、本A-走査における任意のピクセルに関する脂質以外のカテゴリへの分類を非常に明白な症例においてのみ可能にするであろう。
ある実施形態は、表在脂質およびカルシウム対線維組織および脂質、カルシウム組織、および結合組織間の判別を改良する方法であって、(1)組織学およびユーザ入力に基づいて、各線維、カルシウム、脂質、および結合組織のa-走査特性のデータベースを生成するステップと、(2)個々のa-走査を1つずつb-走査から解析するステップと、(3)組織領域を境界するステップと、(4)信号減弱領域の起始の指標を識別するステップと、(5)信号減弱領域の停止の指標を識別するステップと、(6)ガウス関数への最良適合(GOF)を計算するステップと、(7)ガウス関数内の分母係数を抽出するステップと、(8)信号減弱領域下面積を計算するステップと、(9)総境界組織領域下面積を計算するステップと、(10)ステップ(4)および(5)からの統計をデータベース上で訓練された線形判別分析(LDA)の中に入力し、a-走査を線維、カルシウム、または脂質として分類するステップとを含む、方法を含む。
特定の実施形態はさらに、上記のステップ(10)において取得されるa-走査分類に基づいて、ニューラルネットワーク上の閾値にバイアスを付与するステップを含む。いくつかの実施形態では、組織領域を境界するステップは、管腔の開始点から強度が最大強度の5パーセントである点までサンプリングするステップを含む。具体的実施形態では、信号減弱領域の起始の指標を識別するステップは、傾きが窓の端点における強度値間で計算される、パニング窓アルゴリズムを使用するステップと、5つの連続窓が負の傾きを示すとき、信号減弱領域iを決定するステップとを含む。ある実施形態では、信号減弱領域の停止の指標を識別するステップは、信号減弱領域内の正の傾きのものを伴う、5つの連続窓を識別するステップを含む。
以下では、「連結される」という用語は、必ずしも直接的ではなく、かつ必ずしも機械的ではないが、「接続される」と定義される。
「1つの」(「a」または「an」)という言葉の使用は、請求項および/または明細書で「~を備える」という用語と併せて使用されるとき、「1つ」を意味し得るが、「1つ以上の」または「少なくとも1つ」の意味とも一致する。「約」という用語は、一般に、記述された値+または-5%を意味する。請求項での「または」という用語の使用は、代替案のみを指すように明示的に指示されない限り、または代替案が相互排他的でない限り、「および/または」を意味するために使用されるが、本開示は、代替案のみ、および「および/または」を指す定義を支持する。
「~を備える」(および「comprises」および「comprising」等の備える(comprise)の任意の形態)、「有する」(および「has」および「having」等の有する(have)の任意の形態)、「含む」(および「includes」および「including」等の含む(include)の任意の形態)、および「含有する」(および「contains」および「containing」等の含む(contain)の任意の形態)という用語は、非制約的な連結動詞である。結果として、1つ以上のステップまたは要素を「備える」、「有する」、「含む」、または「含有する」方法またはデバイスは、これらの1つ以上のステップまたは要素を保有するが、これらの1つ以上の要素のみを保有することに限定されない。同様に、1つ以上の特徴を「備える」、「有する」、「含む」、または「含有する」方法のステップまたはデバイスの要素は、これらの1つ以上の特徴を保有するが、これらの1つ以上の特徴のみを保有することに限定されない。さらに、ある方法で構成されるデバイスまたは構造は、少なくともそのように構成されるが、また、記載されていない方法で構成されてもよい。
本発明の他の目的、特徴、および利点は、以下の詳細な説明から明白となるであろう。しかしながら、本発明の精神および範囲内の種々の変更および修正が、詳細な説明から当業者に明白となるであろうため、詳細な説明および具体的実施例は、本発明の具体的実施形態を示す一方で、例証のみとして挙げられることを理解されたい。
本発明は、例えば、以下を提供する。
(項目1)
表在脂質およびカルシウム対線維組織および脂質、カルシウム組織、および結合組織間の判別を改良する方法であって、前記方法は、
画像を入手することであって、前記画像は、点または線形アレイトランスデューサから構築された信号である、ことと、
前記画像が構築された方法を分析し、前記画像から導出データを数学的に抽出することと、
直交畳み込みニューラルネットワーク(OCNN)を適用し、前記導出データの考慮点を最適化することと
を含む、方法。
(項目2)
前記画像は、光コヒーレンス断層撮影(OCT)プロセスを使用して取得される、項目1に記載の方法。
(項目3)
前記導出データは、前記OCTプロセスの間に実施されるA-走査の減衰データを備える、項目2に記載の方法。
(項目4)
前記導出データは、2次元(2D)標準偏差データを備える、項目1に記載の方法。
(項目5)
前記OCNNを非導出データに適用することをさらに含む、項目1に記載の方法。
(項目6)
前記非導出データは、極性化データを備える、項目5に記載の方法。
(項目7)
システムであって、
光コヒーレンス断層撮影光源を備える撮像デバイスであって、前記撮像デバイスは、プラークを備える血管内組織の画像を取得するように構成される、撮像デバイスと、
非一過性コンピュータ可読媒体であって、
前記プラークを複数の組織タイプのうちの第1の組織タイプとして分類するように構成される第1のニューラルネットワークを用いて、前記画像のピクセルを分析することと、
前記プラークを前記複数の組織タイプのうちの第2の組織タイプとして分類するように構成される第2のニューラルネットワークを用いて、前記画像のピクセルを分析することと、
前記プラークを前記複数の組織タイプのうちの第3の組織タイプとして分類するように構成される第3のニューラルネットワークを用いて、前記画像のピクセルを分析することと
を行うように構成される、非一過性コンピュータ可読媒体と
を備える、システム。
(項目8)
前記複数の組織タイプからの組織学的データは、前記第1、第2、および第3のニューラルネットワークを訓練するように選択されるピクセルの組織タイプを特性評価するように分析される、項目7に記載のシステム。
(項目9)
前記第1の組織タイプは、脂質プラークであり、前記第2の組織タイプは、石灰化プラークであり、前記第3の組織タイプは、線維プラークである、項目7に記載のシステム。
(項目10)
前記非一過性コンピュータ可読媒体は、前記第1、第2、および第3のニューラルネットワークのノードを用いて、前記画像の複数の特徴を評価し、受信者動作特性(ROC)曲線を使用して、前記複数の特徴の感度および特異性を計算することによって、前記第1、第2、および第3のニューラルネットワークを最適化するように構成される、項目7に記載のシステム。
(項目11)
前記複数の特徴は、以下のグレーレベル同時生起行列(GLCM)特徴、すなわち、コントラスト、エネルギー、相関、均質性、エントロピ、および最大確率のうちの1つ以上のものを備える、項目10に記載のシステム。
(項目12)
前記複数の特徴は、以下の2次元画像統計、すなわち、平均値、分散、歪曲度、尖度、およびエネルギーのうちの1つ以上のものを備える、項目10に記載のシステム。
(項目13)
前記光コヒーレンス断層撮影光源は、掃引型光コヒーレンス断層撮影光源として構成される、項目7に記載のシステム。
(項目14)
前記光コヒーレンス断層撮影光源は、広帯域光コヒーレンス断層撮影光源として構成される、項目7に記載のシステム。
(項目15)
前記撮像デバイスはさらに、短パルス状励起光源を備える、項目7に記載のシステム。
(項目16)
前記短パルス状励起光源は、二光子発光光源である、項目15に記載のシステム。
(項目17)
前記撮像デバイスはさらに、
フォトニック結晶ファイバであって、前記フォトニック結晶ファイバは、同時に、
前記光コヒーレンス断層撮影光源からサンプル部位への第1の波長の単一モード伝搬を有効にすることと、
前記短パルス状光源から前記サンプル部位への第2の波長の単一モード伝搬を有効にすることと、
光コヒーレンス断層撮影信号を前記サンプル部位から透過させることであって、前記光コヒーレンス断層撮影信号は、前記第1の波長から発生される、ことと、
放出信号を前記サンプル部位から透過させることであって、前記放出信号は、前記第2の波長によって前記短パルス状光源から誘発される、ことと
を行うように構成される、フォトニック結晶ファイバ
を備える、項目15に記載のシステム。
(項目18)
第1のダイクロイック要素をさらに備える、項目17に記載のシステム。
(項目19)
前記第1のダイクロイック要素は、前記第1および第2の波長を前記サンプル経路に指向するように構成される、項目17に記載のシステム。
(項目20)
第2のダイクロイック要素をさらに備える、項目17に記載のシステム。
(項目21)
前記第2のダイクロイック要素は、二光子発光を光子計数検出器に向かって指向するように構成される、項目20に記載のシステム。
(項目22)
平衡検出器をさらに備える、項目15に記載のシステム。
(項目23)
前記平衡検出器は、非干渉OCT構成要素を最小限にするように構成される、項目22に記載のシステム。
(項目24)
光子計数検出器をさらに備える、項目7に記載の装置。
(項目25)
前記光子計数検出器は、光電子増倍管である、項目24に記載の装置。
(項目26)
前記光子計数検出器は、アバランシェフォトダイオードである、項目24に記載の装置。
(項目27)
前記光子計数検出器は、二光子発光を検出するように構成される、項目24に記載の装置。
(項目28)
冠動脈プラークを特性評価する方法であって、前記方法は、
光を光ファイバから放出する光コヒーレンス断層撮影光源を使用して、サンプル部位の画像を取得することであって、前記画像は、プラークを備える血管内組織を備える、ことと、
前記プラークを複数の組織タイプのうちの第1の組織タイプとして分類するように構成される第1のニューラルネットワークを用いて、前記画像のピクセルの定量的データを分析することであって、前記第1のニューラルネットワークは、第1の複数のノードを備え、第1の複数の特徴を読み取る、ことと、
前記プラークを前記複数の組織タイプのうちの第2の組織タイプとして分類するように構成される第2のニューラルネットワークを用いて、前記画像のピクセルの定量的データを分析することであって、前記第2のニューラルネットワークは、第2の複数のノードを備え、第2の複数の特徴を読み取る、ことと、
前記プラークを前記複数の組織タイプのうちの第3の組織タイプとして分類するように構成される第3のニューラルネットワークを用いて、前記画像のピクセルの定量的データを分析することであって、前記第3のニューラルネットワークは、第3の複数のノードを備え、第3の複数の特徴を読み取る、ことと
を含む、方法。
(項目29)
前記複数の組織タイプからの組織学的データは、前記第1、第2、および第3のニューラルネットワークを訓練するように選択されるピクセルの組織タイプを特性評価するように分析される、項目28に記載の方法。
(項目30)
前記第1の組織タイプは、脂質プラークであり、前記第2の組織タイプは、石灰化プラークであり、前記第3の組織タイプは、線維プラークである、項目28に記載の方法。
(項目31)
前記定量的データは、以下、すなわち、コントラスト、エネルギー、相関、均質性、エントロピ、および最大確率のうちの1つ以上のものを備える分類特徴を含む、項目28に記載の方法。
(項目32)
前記複数の特徴は、以下の2次元画像統計、すなわち、平均値、分散、歪曲度、尖度、およびエネルギーのうちの1つ以上のものを備える、項目28に記載の方法。
(項目33)
前記画像の複数の分類特徴に関して真陽性対偽陽性率をプロットする受信者動作特性(ROC)曲線を計算することによって、前記第1、第2、および第3のニューラルネットワークを最適化することをさらに含む、項目28に記載の方法。
(項目34)
前記複数の分類特徴の各々に対し、各受信者動作特性(ROC)曲線下面積を計算することをさらに含む、項目33に記載の方法。
(項目35)
前記複数の分類特徴の各々に対する各受信者動作特性(ROC)曲線下面積によって、前記複数の分類特徴をランク付けすることをさらに含む、項目34に記載の方法。
(項目36)
前記第1、第2、および第3のニューラルネットワークのために、前記分類特徴の感度および特異性を計算することをさらに含む、項目35に記載の方法。
(項目37)
前記感度は、前記第1、第2、および第3のニューラルネットワークの各々によって正しく分類された既知のプラークタイプデータ点の割合である、項目36に記載の方法。
(項目38)
前記特異性は、前記第1、第2、および第3のニューラルネットワークの各々に対するプラーク組織タイプの特定のカテゴリに関する正しい分類対総分類の比である、項目36に記載の方法。
(項目39)
前記第1、第2、および第3のニューラルネットワークの各々は、前記特異性および感度の和の最高値をもたらす、前記第1、第2、および第3のニューラルネットワークの各々に対するノードおよび分類特徴の組み合わせを選択することによって、最適化される、項目36に記載の方法。
(項目40)
システムであって、
光コヒーレンス断層撮影光源を備える撮像デバイスであって、前記撮像デバイスは、血管内組織の画像を取得するように構成される、撮像デバイスと、
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、前記画像内の血管内組織を複数の組織タイプのうちの第1の組織タイプとして分類するように構成される第1のニューラルネットワークを用いて、前記画像のピクセルを分析するように構成される、非一過性コンピュータ可読媒体と
を備える、システム。
(項目41)
複数の組織タイプからの組織学的データは、前記第1のニューラルネットワークを訓練するように選択されるピクセルの組織タイプを特性評価するように分析される、項目40に記載のシステム。
(項目42)
前記非一過性コンピュータ可読媒体は、前記画像内の血管内組織を前記複数の組織タイプのうちの第2の組織タイプとして分類するように構成される第2のニューラルネットワークを用いて、前記画像のピクセルを分析するように構成される、項目40に記載のシステム。
(項目43)
前記非一過性コンピュータ可読媒体は、前記画像内の血管内組織を前記複数の組織タイプのうちの第3の組織タイプとして分類するように構成される第3のニューラルネットワークを用いて、前記画像のピクセルを分析するように構成される、項目42に記載のシステム。
(項目44)
表在脂質およびカルシウム対線維組織および脂質、カルシウム組織、および結合組織間の判別を改良する方法であって、前記方法は、
(1)組織学およびユーザ入力に基づいて、各線維、カルシウム、脂質、および結合組織のa-走査特性のデータベースを生成することと、
(2)個々のa-走査を1つずつb-走査から解析することと、
(3)組織領域を境界することと、
(4)信号減弱領域の起始の指標を識別することと、
(5)前記信号減弱領域の停止の指標を識別することと、
(6)ガウス関数への最良適合(GOF)を計算することと、
(7)前記ガウス関数内の分母係数を抽出することと、
(8)信号減弱領域下面積を計算することと、
(9)総境界組織領域下面積を計算することと、
(10)ステップ(4)および(5)からの統計を前記データベース上で訓練された線形判別分析(LDA)の中に入力し、a-走査を線維、カルシウム、または脂質として分類することと
を含む、方法。
(項目45)
方法38のステップ(10)において取得されたa-走査分類に基づいて、ニューラルネットワーク上の閾値にバイアスを付与することをさらに含む、項目44に記載の方法。
(項目46)
組織領域を境界することは、管腔の開始点から強度が最大強度の5パーセントである点までサンプリングすることを含む、項目44に記載の方法。
(項目47)
信号減弱領域の起始の指標を識別することは、
傾きが窓の端点における強度値間で計算されるパニング窓アルゴリズムを使用することと、
5つの連続窓が負の傾きを示すとき、信号減弱領域iを決定することと
を含む、項目44に記載の方法。
(項目48)
前記信号減弱領域の停止の指標を識別することは、前記信号減弱領域内の正の傾きのものを伴う5つの連続窓を識別することを含む、項目44に記載の方法。
以下の図面は、本明細書の一部を形成し、本開示のある側面をさらに実証するように含まれる。本発明は、本明細書で提示される具体的実施形態の詳細な説明と組み合わせて、これらの図面のうちの1つを参照することによって、より理解され得る。
図1は、例示的実施形態による、方法の概略を示す。 図2は、IV-OCTシステムから取得される画像を示す。 図3は、特徴選択およびネットワークアーキテクチャ最適化のためのグラフを示す。 図4は、特徴およびノード最適化ニューラルネットワーク(FANNON)最適化プロセスの概略を示す。 図5は、例示的実施形態による、光コヒーレンス断層撮影システムの概略を示す。 図6は、図5の実施形態の患者インターフェースモジュールの斜視図を示す。 図7は、図6のカテーテルの概略図を示す。 図8は、図7のカテーテルの遠位端の部分断面図を示す。 図9は、例示的実施形態による、光コヒーレンス断層撮影および短パルス状レーザシステムを示す。 図10は、例示的実施形態による、ネットワーク構造の略図を示す。 図11は、例示的実施形態によって生産されるインビボ画像を示す。 図12は、例示的実施形態によって生産されるエクスビボ画像を示す。
ここで図1を参照すると、例示的方法101の概要は、血管内光コヒーレンス断層撮影画像内で観察される異なるタイプの組織を分類するために実施される種々のステップを含む。例示的方法およびシステムの概説が、最初に提示され、その後、具体的特徴および要素のより詳細な議論が続くであろう。図1の例示的実施形態に示されるように、方法101は、動脈を走査し、血管内光コヒーレンス断層撮影画像を取得する、第1のステップ111を含む。1つのそのような画像201の実施例が、図2に提供される。画像201では、光源221を伴うカテーテル211が、動脈組織231を撮像するために使用される。カテーテル211の全ての構成要素が、明確性の目的のために、図2において標識されていないことを理解されたい。上記に記載されるように、特定の実施形態では、そのような画像は、参照することによって本明細書に組み込まれる、米国特許公開第2014/0268168号および第2016/0078309号に開示されるような光コヒーレンス断層撮影システムおよび方法を使用して取得されてもよい。
図1に開示される実施形態では、方法101は、次いで、下記にさらに詳細に説明されるように、ステップ121において、画像データを組織学的データと共位置合わせする。画像データ点選択が、ステップ131において実施された後、ステップ141において、同様にさらに下記に議論される、特徴抽出が続く。異なるタイプの組織(例えば、脂質プラーク、線維プラーク、および石灰化プラーク)のための特徴およびノード最適化ニューラルネットワーク(FANONN)が、次いで、ステップ151において、画像内の組織を分類するために使用されることができる。例示的実施形態では、画像データ点選択は、ユーザによって手動で(例えば、「ポイントアンドクリック」選択)、または組織のB-走査内の着目領域からのサンプリングを介して、選択されてもよい。本明細書に開示される分類技法は、他の組織タイプ(非罹患組織を含む)にも同様に適用されてもよいことを理解されたい。
ここで図3を参照すると、グラフが、線維最適化および脂質最適化特徴およびアーキテクチャのための特徴選択およびネットワークアーキテクチャ最適化のために提供される。図3の左側のグラフに示されるように、感度および特異性は、具体的組織の分類を最適化するように選択される特徴を伴うニューラルネットワークに関して最高である。脂質感度および特異性は、線維プラークのために最適化された特徴上で起動するネットワークでは改悪される。同様に、線維感度および特異性は、脂質プラークのために最適化された特徴上で起動するネットワークでは改悪される。
図3の右側のグラフは、感度および特異性が、具体的組織タイプの分類のために最適化されたいくつかのノード(例えば、ニューロン)を伴うニューラルネットワークに関して最高であることを図示する。脂質感度および特異性は、線維プラークのために最適化されたいくつかのノードを伴うネットワークでは改悪される。同様に、線維組織感度および特異性は、脂質組織のために最適化されたいくつかのノードを伴うネットワークでは改悪される。故に、組織分類は、使用される具体的特徴およびネットワークを構成するノードの数の両方に依存する。
上記に記載されるように、例示的実施形態は、血管内OCT画像データを組織学的データと共位置合わせする。一実施例では、IVOCT撮像が、死亡から24時間以内に収集された10例(3名の女性および7名の男性から)のヒト心臓上で行われた。死亡時の年齢は、65±11年歳であった。撮像は、14例の冠動脈(n=10、左前下行枝[LAD];n=4右冠動脈[RCA])上で行われた。これらの動脈走査から、画像データ点が、抽出された。
IVOCT撮像が、80nmの走査帯域幅、34kHzの繰り返し率、および2.8mm走査深度を伴う20μmの測定自由空間軸方向分解能を伴う、1,310nm掃引型レーザ(HSL-1000,Santec, Hackensack, NJ)を使用して行われた。IVOCT信号が、線形k-空間クロックを用いてサンプリングされ、リアルタイムOCT画像入手および表示を可能にした。動脈あたり、100枚の断面画像(B-走査)が、収集された。蛍光透視法システム(GE Medical Systems)および組織を37℃に維持するように設計されるチャンバが、使用された。左および右冠動脈6Fガイドカテーテルが、冠動脈口の中に縫留され、冠動脈への0.014インチガイドワイヤアクセスが、蛍光透視誘導下で得られ、ステントが、基点マーカとして、ガイドカテーテル先端から80mmで展開された。IVOCT引き戻しが、ステントからガイドカテーテルまで入手された(80mmの総引き戻し長)。左前下行枝(LAD)および右冠動脈(RCA)が、撮像された。撮像に続いて、RCAおよびLADは、100mmHgにおけるホルマリンで灌流固定された。組織学断面が、各動脈に対し、100枚の断面B-走査と同一深度において、100枚の組織学スライスとともに、同一の14例の冠動脈および10例のヒト心臓から得られた。
IVOCT撮像後に組織診断を行うために、LADおよびRCAは、10%中性緩衝ホルマリンで灌流固定され、各心臓から切除され、個々に、Faxitron MX-20(Faxitron Bioptics LLC, Tucson AZ)上でX線撮影され、必要に応じて、一晩、Cal-Rite(Richard Allen Scientific)で脱灰された。動脈区画は、2~3mm厚のリングにスライスされ、標準的パラフィン包埋切片のために、Tissue-Tek Vacuum Infiltration Processor(Sakura Finetek USA, Torrance, CA)上でさらに処理された。平均25個のリングが、各動脈から発生された。連続組織切片(5μm厚)が、150-μmの間隔で切断され、ヘマトキシリンおよびエオジン(H&E)、修正されたモバットペンタクローム、およびVon Kossaで染色された。抗CD68(Dako North America, Inc, Carpinteria, CA)および抗α-平滑筋細胞-アクチン(Sigma-Aldrich, St.Louis, MO)抗体が、それぞれ、マクロファージおよび平滑筋細胞を識別するために、免疫組織化学的研究において使用された。
本実施形態では、組織学リングが、次いで、個別のIVOCTフレームに合致された。共位置合わせが、以下、すなわち、(1)組織病理学的処理前のIVOCT画像、蛍光透視法、およびX線撮影において可視であった、2つの基点目印、すなわち、引き戻しの遠位端において展開されたステントおよび近位縁における縫留されたガイドカテーテルと、(2)組織切片内の基点目印からミクロン単位で推定された距離に対して測定された引き戻し内のIVOCT画像の物理的位置とに基づいて、IVOCT画像と組織学的切片との間で実施された。
分類が、冠動脈のIVOCT走査を使用して入手された一連の定量化可能画像特徴に基づいて、自動化された。プラークの分類のための画像データの抽出は、定量的特徴として知られる、画像からの具体的定量的測定値の読取を要求した。定量的特徴セットは、グレーレベル同時生起行列(GLCM)テクスチャ特徴とともに、2次元窓化画像統計を使用して、生成され、本明細書に解説される。
本実施形態では、2次元窓化画像統計は、平方窓を着目ピクセルの周囲に発生させ、以下の統計を計算することによって決定される。
(1)平均値
(2)分散
(3)歪曲度
(4)尖度
(5)エネルギー
これらの測定値は、画像強度および減衰データの両方とともに、平方窓内の水平および垂直平均の両方に関して計算される。強度は、デシベル単位で測定された組織から後方散乱された光として定義される。減衰データは、後方散乱された光強度が光源からの半径方向距離の関数として減弱する程度を表す。
GLCMは、ピクセル間の空間関係に基づく、テクスチャ分析および特性評価のための方法である。本方法では、画像テクスチャが、ある値を伴う対のピクセルおよび事前に定義された空間関係が生じる周波数を決定することによって特徴付けられる。例示的実施形態では、具体的GLCMテクスチャ特徴は、以下を含む。
(1)コントラスト
(2)エネルギー
(3)相関
(4)均質性
(5)エントロピ
(6)最大確率
これらのテクスチャ特徴はそれぞれ、再び、強度および減衰に伴って計算される。各組織タイプを分類するためのアルゴリズムのための最適化プロセスは、これらの窓化およびGLCM特徴から選択する。GLCMの付加的議論は、参照することによって本明細書に組み込まれる、Yang, Xiaofeng, et al.“Ultrasound GLCM texture analysis of radiation-induced parotid-gland injury in head-and-neck cancer radiotherapy:an in vivo study of late toxicity.”Medical physics 39.9(2012):5732-5739に見出されることができる。
例示的実施形態では、分類技法は、最適化されたニューラルネットワークを使用して、プラーク組織を画像のセットから分類する。ニューラルネットワークは、データセットを多くの異なるクラスにソートする能力を有する。本明細書に開示される実施形態では、組織タイプの3つの異なるクラス、すなわち、脂質、カルシウム、および線維プラークが、識別される。異なる実施形態は、組織タイプの異なるクラスを含んでもよいことを理解されたい。
定量的画像特徴のセットが、判断のための基礎として、ネットワークに提供され、これらの特徴を使用して、ニューラルネットワークは、ピクセルをソートすべきクラスに関する決定を行うであろう。
しかしながら、これらの定量的特徴の使用と関連付けられる、いくつかの設計考慮点が存在する。第1に、ニューラルネットワークの感度および特異性は、それに提供される特徴に基づいて変化し得る。ニューラルネットワークの中に入力されるべき利用可能な特徴は全て、候補特徴と呼ばれる。例えば、選定すべき300個の候補特徴を有する場合、ニューラルネットワークが、全300個の代わりに、それらの特徴のうちの150個の具体的セットを用いて最良に機能することが見出され得る。データを最良に分類するために、最良特徴が、候補のプールの中から選択されるべきである。最適なものより少なすぎるまたは多すぎる特徴のいずれを有する場合も、方法の結果として生じる感度および特異性を損なわせ得る。
IVOCT専門家撮像技術者は、典型的には、異なる特徴を使用して、異なるタイプのプラークを分類する。例えば、線維プラークを探すとき、撮像技術者は、典型的には、高後方散乱および均質性を探すであろう一方、カルシウムプラークを検索するとき、専門家は、信号品質および組織境界の境を考察し得る。故に、特徴の単一セットを伴う単一ネットワークを使用して、全てのタイプの組織を分類することは、最適ではない。
図3の議論において前述されたように、線維プラークをソートするために最良に機能する、特徴のセットは、石灰化プラークをソートするために使用するためには、最良特徴ではないであろう。さらに、ニューラルネットワークを構成するノードの数は、特徴の所与のセットを用いる場合のその性能に影響を及ぼす。特徴の最適セットおよびネットワーク構造は、入力される特徴が、ネットワーク内のノード間の接続と関連付けられる加重の最適分布に影響を及ぼし、これが、感度および特異性に影響を及ぼし得るため、相互依存する。したがって、最適化されたネットワークを構築するために、組織を分類するように選択される特徴だけではなく、また、使用される特徴に基づいて、ネットワークの構造を最適化しなければならない。
故に、本開示の例示的実施形態は、各組織タイプに対し、多重通過共最適化分類システムを利用する。本方法は、各組織タイプに対し、感度および特異性を最大限にする。分類システムは、最初に、IVOCT画像データと関連付けられる定量的画像特徴を、組織の共位置合わせされた組織学スライドからのトゥルースデータとともに集める。組織の各タイプは、個々に、取り扱われる。本明細書に開示される実施形態では、第1のネットワークは、線維プラークを検出するように最適化され、次いで、別のネットワークは、石灰化プラークを検出するように最適化され、第3のネットワークは、脂質プラークを検出するように最適化される。付加的組織クラスに関して、付加的ネットワークが、構築されることができることを理解されたい。
ここで図4を参照すると、各組織に対する特徴およびノード最適化ニューラルネットワーク(FANNON)最適化プロセス401が、各特徴を個々に使用して、ニューラルネットワークを用いて、データを評価し、各組織タイプをソートすることによって開始する。プロセスは、ステップ411において、1つのノードでニューラルネットワークを初期化することによって開始する。各特徴方法の結果として生じる感度および特異性が、分類子の真陽性対偽陽性率をプロットする、受信者動作特性(ROC)曲線を使用して計算される。ROC曲線下面積が大きいほど、特徴に基づくニューラルネットワークの感度および特異性は、高くなる。ステップ421では、特徴が全て、最大感度および特異性から最小感度および特異性まで、それらが入力としての役割を果たす、ニューラルネットワークのROC曲線下面積に従ってランク付けされる。
421における特徴ランク付けステップ後、分類システムは、ステップ431において、1から開始して候補特徴の数までのランク付けされた特徴リストからの増加数の特徴を使用して、特徴の各群の感度および特異性を記録する。本プロセスは、可変数のノードが関わる、ニューラルネットワークアーキテクチャの範囲にわたって繰り返される。ステップ441では、特徴の数および使用されるノードの最良の組み合わせが、関わる具体的タイプの組織を検出するために、ネットワークの感度および特異性の和に基づいて選択される。各組織タイプに対する最良ネットワークは、ともに対合された一意の特徴セットおよび一意の数のノードを有し、各プラークタイプを最適に分類するために使用される、特徴およびノード最適化ニューラルネットワーク(FANONN)を生成する。
結果
例示的実施形態のFANONN分類アルゴリズムは、下記の表に列挙された感度および特異性を伴って、組織学分析によって照合されるように、プラーク組織を線維、カルシウム、または脂質プラークとしてソートすることが実証されている。
上記の表に提示されるデータは、本明細書に開示されるFANONN技法を使用した結果と、IVOCTを使用してプラーク分類プロセスを自動化しようと試みる、文献中の研究とを比較する。各技法に対する正確度は、感度および特異性の平均であって、感度は、アルゴリズムが正しく分類した既知のプラークタイプデータ点の割合であって、特異性は、プラークの特定のカテゴリに関する正しい分類対総分類の比である。
正確度を報告されるメトリックとして使用すると、現在の文献研究との直接比較は、本明細書に開示される技法の有力性および新規性を示すことに役立つ。また、自動化されたプラーク分類の典型的現在のアプローチ[113、123]は、それらが組織学と共位置合わせされないという点で限定され、その分類グラウンドトゥルースをより脆弱にすることに留意されたい。
本一次分類能力に加え、例示的実施形態はさらに、脂質病変を特に高リスクTCFAタイプの病変として100%感度および100%特異性を伴って分類することができる。脂質プラークの分類を限界係数として捉えても、アルゴリズムは、TCFA病変を94%正確度を伴って検出することができる。
議論および結論
説明される分類技法およびシステムは、他の報告される方法より良好に、任意のヒト入力を伴わずに、冠動脈内の動脈プラーク組織を線維、カルシウム、または脂質プラークに特性評価することができる。他のグループも、類似動機を伴って、冠動脈プラークの特性評価を自動化する類似研究を行っているが、同一程度の成功を収めてはいない。本分野における具体的グループとして、それぞれ、線維、カルシウム、および脂質プラークの自動化された特性評価において、89.5%、72%、および79.5%の正確度を達成したUghi et al.と、81%、87%、および71%の正確度を達成したAthanasiou et al.とが挙げられる。UghiおよびAthanasiouによる現在の最先端研究は、ヒト観察者をそのグラウンドトゥルースとして使用しており、これは、その分類技法を本質的にあまり正確ではないものにする。対照的に、本明細書に開示される例示的実施形態は、訓練のために組織学をグラウンドトゥルースとして使用しており、これは、正確度および安定性を改良する。
本開示の例示的実施形態は、参照トゥルースとしての組織学の使用を通してだけではなく、また、本明細書に開示される分類技法を通して、高正確度を達成する。例示的実施形態は、各個々のプラークタイプを個々に取り扱い、各タイプを最適に分類するために調整されたニューラルネットワーク構造の生成を可能にすることによって、改良された結果を達成する。そのような技法は、各プラークタイプに対し、改良された結果を提供し、所望に応じた数の組織タイプに拡張されることができる。
本明細書に開示されるFANONN分類方法は、高正確度を伴って、プラーク組織組成物を分類するだけではなく、また、分類後、組織のリスク分析を提供することができる。動脈内の分類された脂質プラーク点の中から、分類方法は、プラーク病変を、不安定プラークを示し、プラーク破裂等の急性冠動脈事象の大部分につながることが公知である(Fujii et al、2015)、TCFAとして識別することができる。そのようなプラーク破裂は、血管を閉塞させ、心臓発作または脳卒中につながり得る。IVUS撮像を介してTCFA病変を分類する以前の試み(Swada)と異なり、IVOCTのミクロンレベル分解能と対合される、FANONNスマートアルゴリズムは、これらのリスクを受けやすいプラークを正確に分類するために要求される、物理的分解能および機械知能の両方を有する。本分類方法の能力は、非常に有力となるだけではなく、また、世界中の他のグループも、より高い正確度を伴って、自動化された分析を提供することができるという点で、特殊である。
ここで図5-8、特に、図5を参照すると、光コヒーレンス断層撮影システム500の例示的実施形態が、示される。システム500は、本明細書に説明されるような分析および分類のための組織の画像を取得するために使用されることができる。本実施形態では、システム500は、光コヒーレンス断層撮影光源510と、スプリッタ515と、光学サーキュレータ520と、結合器525と、平衡検出器530とを備える。スプリッタ515は、光をOCT光源510から参照経路511およびサンプル経路521に指向するように構成される。示される実施形態では、サンプル経路521は、患者インターフェースモジュール502およびカテーテル501を通して指向される一方、参照経路511は、フォトニック結晶ファイバ513を介して、ファイバ反射体512に指向される。
患者インターフェースモジュール502の斜視図が、図6に示される一方、カテーテル501の概略図が、図7に示され、カテーテル501の遠位端の部分断面図が、図8に示される。図7に示されるように、カテーテル501は、ビーズ535と、近位端532の近傍の光学コネクタ534とを備える。本実施形態では、患者インターフェースモジュール502は、トルクを患者インターフェースモジュール502からカテーテル501の遠位端531に伝達する、トルクケーブル509(図8に示される)を介して、カテーテル501を制御するように構成される。
ある実施形態では、患者インターフェースモジュール502は、2つの方向(例えば、前方への押動または後方への引動)における最大50mm/秒の可変平行移動速度で、100mmの線形ストロークをカテーテル501に提供するように構成されることができる。加えて、患者インターフェースモジュール502は、最大3,600回転毎分の速度で撮像ポート533を回転させ、回転あたり1,000A-走査を取得するように構成されることができる。
ある実施形態では、カテーテル501は、3.2F交差プロファイルと、6Fガイドカテーテルおよび0.014インチガイドワイヤと互換性がある、モノレール設計とを伴う、滅菌の単回使用使い捨てカテーテルであることができる。特定の実施形態では、カテーテル501は、撮像ポート557を伴う、定常外側シース551と、回転および平行移動トルクケーブル509と、光学系アセンブリ552とを備えてもよい。具体的実施形態では、カテーテル501は、その長さを通して、撮像ポート557の近傍の光学系アセンブリ(例えば、フェルール、屈折率勾配[GRIN]レンズ、およびプリズム)と、カテーテル501の遠位端531とを伴う、光ファイバを備える。加えて、カテーテル501は、遠位端531の近傍の外側アセンブリ上の放射線不透過性マーカ553および撮像ポート557の近傍の内側アセンブリ上の放射線不透過性マーカ554を備えてもよい。カテーテル501はさらに、遠位端531の近傍のポート558から退出する、ガイドワイヤを備えてもよい。図7および8に示される寸法は、単に、例示であって、他の実施形態は、それらの本実施形態に示されるものと異なる寸法を伴う構成を備えてもよいことを理解されたい。
上記に記載されるように、ある実施形態は、米国特許公開第2014/0268168号および第2016/0078309号(参照することによって本明細書に組み込まれる)に開示されるような光コヒーレンス断層撮影システムおよび方法を組み込み、分析のための画像を入手してもよい。ここで図9を参照すると、そのような装置50の一例示的実施形態は、光コヒーレンス断層撮影光源100と、スプリッタ200と、短パルス状(例えば、二光子発光)励起光源300と、第1のダイクロイック要素400と、第2のダイクロイック要素450とを備える。他の実施形態は、図9に示されるものと異なる構成要素の組み合わせまたはそれより少ない構成要素を伴う、装置を備えてもよいことを理解されたい。
本実施形態では、光コヒーレンス断層撮影光源100は、第1の波長110を放出するように構成され、スプリッタ200は、第1の波長110を基準経路210およびサンプル経路220に指向するように構成される。ある実施形態では、光コヒーレンス断層撮影光源100は、掃引源光コヒーレンス断層撮影光源または広帯域光コヒーレンス断層撮影光源として構成することができる。特定の実施形態では、サンプル経路220は、フォトニック結晶ファイバを通して指向することができる。示される実施形態では、二光子発光励起光源300は、第2の波長320を放出するように構成される。
動作の間、サンプル経路220および第2の波長320が(例えば、第1のダイクロイック要素400および図9の他の構成要素を介して)サンプル部位280に指向されるように、装置50を位置付けることができる。
ある例示的実施形態では、サンプル部位280は、ナノ粒子260を備えてもよく、具体的実施形態では、ナノ粒子260は、ナノロッドとして構成されてもよい。特定の実施形態では、ナノ粒子260は、約756nmの表面プラズモン共鳴を伴う、金を含むナノロッドとして構成されてもよい。ある実施形態では、ナノロッドの構成は、以下で提供される実施例の第4節で確立される手順に従って、選択することができる。
装置50はさらに、二光子発光(TPL)を検出するように構成される光子計数検出器350と、非干渉OCT構成要素を最小限化するように構成される平衡検出器250とを備える。具体的実施形態では、光子計数検出器350は、1つ以上の光電子増倍管(PMT)として構成することができる。他の実施形態では、光子計数検出器350は、アバランシェフォトダイオードとして構成することができる。
特定の実施形態では、図9で図示されるシステムの構成要素は、サンプル経路220中の光およびTPL励起光源300からサンプル部位280への第2の波長320の伝搬を可能にするためにフォトニック結晶ファイバ(PCF)を利用する、カテーテルベースのシステムに組み込むことができる。PCFは、OCTおよびTPL励起光の両方の単一モード透過を可能にする。単一モード透過は、モード干渉が起こらないことを保証するためにOCT撮像で必要とされる。単一モード透過は、TPL励起光のパルス持続時間がモード分散により広がっていないことを保証するように、TPL撮像のために必要とされる。具体的実施形態では、カテーテルは、システム50を利用して血管内画像を取得するように、血管に挿入することができる。
動作の間、システム50は、単一のシステムでOCTおよびTPL撮像技術の両方の利益を提供する。例示的実施形態では、システム50の構成要素は、OCTおよびTPL分野での確立された原理に従って機能する。したがって、個々のOCTおよびTPLの概説が提供されるであろうが、例示的実施形態は、環境条件または他の要因に従って、パラメータの種々の組み合わせを利用し得ることが理解される。例えば、OCT光源100は、近赤外光を生成することができ、比較的長い波長の光の使用は、動脈壁等の分散媒体の中へのより深い浸透を可能にする。特定の実施形態では、OCT光源100は、約1310nmの波長で光を提供するように構成することができる。
サンプル経路220中の光がサンプル部位280で指向されると、サンプル部位280の表面下特徴から反射する、この光のわずかな部分が収集される。動作中に、サンプル経路220中の光の有意な部分は、反射されないが、むしろ、サンプルから後方散乱する。後方散乱光は、従来の撮像で画像を曖昧にする背景に寄与するが、この光は、干渉分光法を介してOCTシステムで有益に使用することができる。例えば、受容した光子の光路長を記録するために、平衡検出器250を使用することができ、検出前に組織における散乱を増加させる、ほとんどの光子の拒否を可能にする。これは、サンプル部位280において目的とする領域から直接反射される光を収集しながら、背景信号を拒否することによって、構築される厚いサンプルの3次元画像を記録することを可能にすることができる。例示的実施形態では、OCT撮像は、概して、サンプル部位280における生物組織中の表面の1~2ミリメートル下方に限定される。より大きい深度で、散乱することなく漏出する光の割合は、典型的には、小さすぎて検出できない。
システム50の動作の間、TPL光源300および光子計数検出器350はまた、二光子発光顕微鏡法における確立された原理に一致して利用される。ある実施形態では、TPL光源300は、6nJ~5μJの最大パルスエネルギー、100fs~1psのパルス幅、および500kHz~80MHzの繰り返し率を伴って、760nm~1040nmで第2の波長320の励起エネルギーを生成する、同調可能なフェムト秒レーザとして構成することができる。特定の実施形態では、TPL光源300はまた、約78μm~706.8μmのスポット面積および20ミクロン秒のピクセル滞留時間を伴って、10μm~30μmのスポットサイズを生成するように構成されてもよい。加えて、TPL光源300はまた、500mW~2500mWのサンプル上の平均電力、0.0625MW~5MWの瞬間電力、および2E-4MW/μm~16E-3MW/μmの瞬間電力密度を伴って、ピクセルあたり10~1600パルスを生成するように構成されてもよい。
図5に示される実施形態では、第1のダイクロイック要素400は、フォトニック結晶ファイバ(PCF)を介して第2の波長320をサンプル部位280に指向するように位置付けることができる。特定の実施形態では、PCFは、NKT Photonicsから入手可能な大型サイズのモードフィールド直径(20μm)(LMA-20)を有することができる。ある実施形態では、PCFは、ダブルクラッドファイバとして構成されてもよく、具体的実施形態では、Crystal Fibreから入手可能なモデル番号DC-165-16の受動ファイバ等のダブルクラッド高NAファイバであってもよい。例示的なダブルクラッドフォトニック結晶ファイバは、高NAマルチモードファイバ構造に組み込まれた大型モード面積の単一モードコアを備えてもよい。そのようなファイバは、単一モードビームが、ファイバにおいて前方に伝搬されることを可能にすることができ、同時に、散乱光または二光子発光が、検出のために収集され、後方に伝搬されてもよい。単一クラッドフォトニック結晶ファイバの代わりのダブルクラッドファイバの使用は、(低NAコアと比較して)高NA内側クラッディングを用いて、二光子発光検出効率を増加させることができる。構成要素の特定の仕様は、実施例の目的のみで提示され、他の実施形態は、本明細書に説明されるものとは異なる仕様を伴う構成要素を備え得ることが理解される。
システム50の動作の間、第2の波長320は、第2のダイクロイック要素450を介して光子計数検出器350に指向される発光270を放出することができる、ナノ粒子260に励起エネルギーを提供することができる。例示的実施形態では、光子計数検出器350および平衡検出器250からの出力は、ユーザが、重ね合わせられるOCTおよびTPL撮像の両方の結果を視覚化することを可能にする、単一のディスプレイで組み合わせられるように構成することができる。
図10は、CNNを利用する例示的実施形態による、ネットワーク構造の略図を図示する。
図11は、CNNを利用する例示的実施形態によって生産される、インビボ画像を図示する。画像では、石灰化プラークは、青色(またはグレースケールで視認されるときは、より暗い灰色)で識別される一方、動脈内の線維組織は、緑色(またはグレースケールで視認されるときは、より明るい灰色)で示される。
図12は、CNNを利用する例示的実施形態によって生産される、エクスビボ画像を図示する。画像では、石灰化プラークは、再び、青色(またはグレースケールで視認されるときは、より暗い灰色)で識別される一方、動脈内の線維組織はまた、緑色(またはグレースケールで視認されるときは、より明るい灰色)で示される。
本開示に照らして、過度の実験を伴わずに、本明細書で開示および請求されるデバイス、システム、および/または方法の全てを作製し、実行することができる。本発明のデバイス、システム、および方法は、特定の実施形態に関して説明されているが、本発明の概念、精神、および範囲から逸脱することなく、本明細書に説明される方法のステップにおいて、または一連のステップにおいて、変形例がデバイス、システム、および/または方法に適用され得ることが当業者に明白となるであろう。当業者に明白である全てのそのような類似置換および修正は、添付の請求項によって定義されるような本発明の精神、範囲、および概念内であると見なされる。
(参考文献)
以下の参考文献の概念は、参照することにより本明細書に組み込まれる。

Claims (6)

  1. 表在脂質およびカルシウム対線維組織および脂質、カルシウム組織、および結合組織間の判別を改良する方法であって、前記方法は、
    画像を入手することであって、前記画像は、点または線形アレイトランスデューサから構築された信号である、ことと、
    前記画像が構築された方法を分析し、前記画像から導出データを数学的に抽出することと、
    最適化された直交畳み込みニューラルネットワーク(OCNN)を使用することにより、前記導出データを分類することと
    を含む、方法。
  2. 前記画像は、光コヒーレンス断層撮影(OCT)プロセスを使用して取得される、請求項1に記載の方法。
  3. 前記導出データは、前記OCTプロセスの間に実施されるA-走査の減衰データを備える、請求項2に記載の方法。
  4. 前記導出データは、2次元(2D)標準偏差データを備える、請求項1に記載の方法。
  5. 前記最適化されたOCNNを使用することにより、非導出データを分類することをさらに含む、請求項1に記載の方法。
  6. 前記非導出データは、極性化データを備える、請求項5に記載の方法。
JP2021533203A 2018-12-14 2019-12-12 マルチチャネル直交畳み込みニューラルネットワーク Active JP7467466B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023217939A JP2024023852A (ja) 2018-12-14 2023-12-25 マルチチャネル直交畳み込みニューラルネットワーク

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862779888P 2018-12-14 2018-12-14
US62/779,888 2018-12-14
PCT/US2019/065850 WO2020123739A1 (en) 2018-12-14 2019-12-12 Multi-channel orthogonal convolutional neural networks

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023217939A Division JP2024023852A (ja) 2018-12-14 2023-12-25 マルチチャネル直交畳み込みニューラルネットワーク

Publications (3)

Publication Number Publication Date
JP2022513200A JP2022513200A (ja) 2022-02-07
JPWO2020123739A5 JPWO2020123739A5 (ja) 2022-12-19
JP7467466B2 true JP7467466B2 (ja) 2024-04-15

Family

ID=71073798

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021533203A Active JP7467466B2 (ja) 2018-12-14 2019-12-12 マルチチャネル直交畳み込みニューラルネットワーク
JP2023217939A Withdrawn JP2024023852A (ja) 2018-12-14 2023-12-25 マルチチャネル直交畳み込みニューラルネットワーク

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023217939A Withdrawn JP2024023852A (ja) 2018-12-14 2023-12-25 マルチチャネル直交畳み込みニューラルネットワーク

Country Status (5)

Country Link
US (1) US11779220B2 (ja)
EP (1) EP3893734A4 (ja)
JP (2) JP7467466B2 (ja)
AU (1) AU2019397494A1 (ja)
WO (1) WO2020123739A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11189171B2 (en) * 2018-03-13 2021-11-30 Nec Corporation Traffic prediction with reparameterized pushforward policy for autonomous vehicles
EP3909016A1 (en) * 2019-01-13 2021-11-17 Lightlab Imaging, Inc. Systems and methods for classification of arterial image regions and features thereof
GB201906103D0 (en) * 2019-05-01 2019-06-12 Cambridge Entpr Ltd Method and apparatus for analysing intracoronary images
US11030743B2 (en) * 2019-05-16 2021-06-08 Tencent America LLC System and method for coronary calcium deposits detection and labeling
KR102068279B1 (ko) 2019-10-04 2020-01-20 주식회사 루닛 이미지 분석 방법 및 시스템
WO2023077239A1 (en) * 2021-11-05 2023-05-11 Daskalopoulou Styliani Stella Method and system for detection of histopathological plaque features in medical images using deep neural networks
CN114387464A (zh) * 2021-12-01 2022-04-22 杭州脉流科技有限公司 基于ivus影像的易损斑块识别方法、计算机设备、可读存储介质和程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078309A1 (en) 2014-09-12 2016-03-17 Research Development Foundation Apparatus and methods for identifying and evaluating bright spot indications observed through optical coherence tomography
WO2017214421A1 (en) 2016-06-08 2017-12-14 Research Development Foundation Systems and methods for automated coronary plaque characterization and risk assessment using intravascular optical coherence tomography

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5995651A (en) 1996-07-11 1999-11-30 Duke University Image content classification methods, systems and computer programs using texture patterns
WO2002088705A2 (en) 2001-05-01 2002-11-07 The General Hospital Corporation Method and apparatus for determination of atherosclerotic plaque type by measurement of tissue optical properties
US7016048B2 (en) * 2002-04-09 2006-03-21 The Regents Of The University Of California Phase-resolved functional optical coherence tomography: simultaneous imaging of the stokes vectors, structure, blood flow velocity, standard deviation and birefringence in biological samples
DE102005010076A1 (de) 2005-03-04 2006-09-07 Siemens Ag Bildbearbeitungsverfahren für ein digitales medizinisches Untersuchungsbild und zugehörige Untersuchungseinrichtung
US20120022360A1 (en) * 2008-03-28 2012-01-26 Volcano Corporation Methods for intravascular imaging and flushing
WO2009121067A1 (en) * 2008-03-28 2009-10-01 Volcano Corporation Method and apparatus for simultaneous hemoglobin reflectivity measurement
EP2293714B1 (en) 2008-06-02 2014-08-13 Lightlab Imaging, Inc. Quantitative methods for obtaining tissue characteristics from optical coherence tomography images
US20120163693A1 (en) 2010-04-20 2012-06-28 Suri Jasjit S Non-Invasive Imaging-Based Prostate Cancer Prediction
CN105074379B (zh) 2013-03-14 2019-05-17 研究发展基金会 用于光学相干断层扫描和双光子荧光成像的设备和方法
US10542954B2 (en) * 2014-07-14 2020-01-28 Volcano Corporation Devices, systems, and methods for improved accuracy model of vessel anatomy
US10478130B2 (en) 2015-02-13 2019-11-19 Siemens Healthcare Gmbh Plaque vulnerability assessment in medical imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078309A1 (en) 2014-09-12 2016-03-17 Research Development Foundation Apparatus and methods for identifying and evaluating bright spot indications observed through optical coherence tomography
WO2017214421A1 (en) 2016-06-08 2017-12-14 Research Development Foundation Systems and methods for automated coronary plaque characterization and risk assessment using intravascular optical coherence tomography
JP2019518581A (ja) 2016-06-08 2019-07-04 リサーチ ディヴェロプメント ファウンデーション 血管内光干渉断層撮影法を用いた冠動脈プラークの自動特徴分析およびリスク評価のためのシステムおよび方法

Also Published As

Publication number Publication date
JP2022513200A (ja) 2022-02-07
AU2019397494A1 (en) 2021-06-03
US11779220B2 (en) 2023-10-10
EP3893734A1 (en) 2021-10-20
EP3893734A4 (en) 2022-08-10
US20200187790A1 (en) 2020-06-18
JP2024023852A (ja) 2024-02-21
WO2020123739A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
JP7467466B2 (ja) マルチチャネル直交畳み込みニューラルネットワーク
AU2017277784B2 (en) Systems and methods for automated coronary plaque characterization and risk assessment using intravascular optical coherence tomography
US11890077B2 (en) Apparatus, devices and methods for in vivo imaging and diagnosis
US11129535B2 (en) Apparatus, devices and methods for obtaining omnidirectional viewing by a catheter
US7539530B2 (en) Method and system for spectral examination of vascular walls through blood during cardiac motion
US11382516B2 (en) Apparatuses, methods, and storage mediums for lumen and artifacts detection in one or more images, such as in optical coherence tomography images
US9713448B2 (en) System and method for intravascular structural analysis compensation of chemical analysis modality
JP7135050B2 (ja) 血管内画像処理のための血管内画像処理装置、方法及び非一時的記憶媒体
KR101746763B1 (ko) 망막 또는 맥락막 내 혈관조영 광가간섭 단층촬영 장치 및 이를 이용한 질병 진단방법
EP3949835A2 (en) Auto-pullback triggering method for intracoronary imaging apparatuses or systems using blood clearing
JP7034131B2 (ja) 低コヒーレンス干渉法のための方法及び装置
Villiger et al. Future development
US20230289956A1 (en) System and Method for identifying potential false positive and blind spot locations in catheter-based multimodal images
Villiger et al. Future Development 14
Flueraru et al. Improved arterial tissue differentiation by spectroscopic optical coherence tomography
Dana et al. Conference 9303E: Diagnostic and Therapeutic Applications of Light in Cardiology

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240403

R150 Certificate of patent or registration of utility model

Ref document number: 7467466

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150