JP7314025B2 - 動脈の分析および査定のための深層学習 - Google Patents
動脈の分析および査定のための深層学習 Download PDFInfo
- Publication number
- JP7314025B2 JP7314025B2 JP2019205363A JP2019205363A JP7314025B2 JP 7314025 B2 JP7314025 B2 JP 7314025B2 JP 2019205363 A JP2019205363 A JP 2019205363A JP 2019205363 A JP2019205363 A JP 2019205363A JP 7314025 B2 JP7314025 B2 JP 7314025B2
- Authority
- JP
- Japan
- Prior art keywords
- vessel
- neural networks
- image
- calcium
- image volume
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title description 41
- 238000004458 analytical method Methods 0.000 title description 4
- 210000001367 artery Anatomy 0.000 title 1
- 238000013528 artificial neural network Methods 0.000 claims description 79
- 238000000034 method Methods 0.000 claims description 44
- 238000003384 imaging method Methods 0.000 claims description 37
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 claims description 36
- 229910052791 calcium Inorganic materials 0.000 claims description 36
- 239000011575 calcium Substances 0.000 claims description 36
- 238000002591 computed tomography Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 27
- 230000000694 effects Effects 0.000 claims description 26
- 230000002792 vascular Effects 0.000 claims description 26
- 230000011218 segmentation Effects 0.000 claims description 25
- 238000010968 computed tomography angiography Methods 0.000 claims description 24
- 230000000004 hemodynamic effect Effects 0.000 claims description 21
- 238000009826 distribution Methods 0.000 claims description 15
- 239000012530 fluid Substances 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 5
- 230000036772 blood pressure Effects 0.000 claims description 3
- 238000013459 approach Methods 0.000 description 40
- 238000012549 training Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 28
- 238000004422 calculation algorithm Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 13
- 230000017531 blood circulation Effects 0.000 description 11
- 210000004351 coronary vessel Anatomy 0.000 description 9
- 210000001519 tissue Anatomy 0.000 description 9
- 208000031481 Pathologic Constriction Diseases 0.000 description 8
- 238000004088 simulation Methods 0.000 description 8
- 230000036262 stenosis Effects 0.000 description 8
- 208000037804 stenosis Diseases 0.000 description 8
- 210000002569 neuron Anatomy 0.000 description 7
- 230000005855 radiation Effects 0.000 description 7
- 210000005166 vasculature Anatomy 0.000 description 7
- 208000004434 Calcinosis Diseases 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 210000004204 blood vessel Anatomy 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 238000002600 positron emission tomography Methods 0.000 description 5
- 238000002603 single-photon emission computed tomography Methods 0.000 description 5
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 description 4
- 230000002308 calcification Effects 0.000 description 4
- 230000000747 cardiac effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005115 demineralization Methods 0.000 description 4
- 230000002328 demineralizing effect Effects 0.000 description 4
- 238000002608 intravascular ultrasound Methods 0.000 description 4
- 229910052740 iodine Inorganic materials 0.000 description 4
- 239000011630 iodine Substances 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000001154 acute effect Effects 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 206010053648 Vascular occlusion Diseases 0.000 description 2
- 238000002083 X-ray spectrum Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 210000005013 brain tissue Anatomy 0.000 description 2
- 210000005242 cardiac chamber Anatomy 0.000 description 2
- 230000001684 chronic effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 230000002107 myocardial effect Effects 0.000 description 2
- 208000010125 myocardial infarction Diseases 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 206010011086 Coronary artery occlusion Diseases 0.000 description 1
- 206010047139 Vasoconstriction Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002491 angiogenic effect Effects 0.000 description 1
- 210000000709 aorta Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 210000005240 left ventricle Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000005408 paramagnetism Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 229910052704 radon Inorganic materials 0.000 description 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000002966 stenotic effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000004218 vascular function Effects 0.000 description 1
- 230000006438 vascular health Effects 0.000 description 1
- 208000021331 vascular occlusion disease Diseases 0.000 description 1
- 230000025033 vasoconstriction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10108—Single photon emission computed tomography [SPECT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
- G06T2207/30104—Vascular flow; Blood flow; Perfusion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Geometry (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Description
本明細書で開示される主題は、血管分析のための深層学習アプローチの使用に関する。
非侵襲的撮像技術は、患者／物体に侵襲的処置を行うことなく患者／物体の内部構造または特徴の画像を得ることを可能にする。特に、そのような非侵襲的撮像技術は、データを取得し、画像を構築するか、あるいは患者／物体の観察された内部特徴を表すために、様々な物理的原理（ターゲットボリュームを通過するＸ線の差動透過、ボリューム内の音波の反射、ボリューム内の異なる組織および材料の常磁性、体内のターゲット放射性核種の破壊など）に依存している。
非侵襲的撮像を用いることができる臨床的関心のある分野の１つは、血管内の血流の査定である。例えば、それらの画像データは、血流を制限して下流の組織に影響を与え得る（例えば、心筋または脳組織への血流）、慢性閉塞の評価に使用することができる。評価の情報は、そのような状態から生じ得る急性事象である、心臓発作や脳卒中のリスクを査定するのにも有用とすることができる。したがって、画像データを使用してそのような状態を診断することは、こうした急性事象を防止し、慢性的な血流制限のある人々の健康を改善するのに役立ち得る。
現在、多くの処理集約的な手法と同様に、それぞれこのような撮像および血管分析アプローチに基づく三次元解剖学的モデリングと複雑な三次元流体力学モデリング手法の使用と、そのようなアプローチを実装するために必要とされ得る計算時間およびリソースとの間にはトレードオフが存在する。逆に、それほど複雑ではない、または次元が削減されたモデリングアプローチを使用すると、計算量は少なくなるが、精度の低下および／または予測利益の減少をもたらす可能性がある。
本明細書に開示されているある特定の実施形態の概要を、以下に記載する。これらの態様は、単にこれらのある特定の実施形態の簡単な要約を読者に提供するために提示されており、これらの態様は、本開示の範囲を限定することを意図していないことを理解されたい。実際、本開示は、以下に記載されていない可能性がある様々な態様を包含し得る。
一実施形態では、血管画像ボリュームを処理するための方法が提供される。この実施形態によれば、１つまたは複数の血管画像ボリュームは、撮像システムを使用して取得される。１つまたは複数の血管画像ボリュームは、１つまたは複数のニューラルネットワークに提供される。１つまたは複数のニューラルネットワークは、少なくとも１つまたは複数の合成画像を使用して訓練され、血管画像ボリューム内の１つまたは複数の血管をセグメント化すること、血管画像ボリュームのすべてまたは一部のカルシウムの影響を除去すること、セグメント化された血管の１つまたは複数のセクションのコントラストレベルを決定すること、またはセグメント化された血管のすべてまたは一部の１つまたは複数の血行動態パラメータを導出することの１つまたは複数を行う。
さらなる実施形態では、撮像システムが提供される。この実施形態によれば、撮像システムは、プロセッサ実行可能ルーチンをエンコードするメモリと、メモリにアクセスしてプロセッサ実行可能ルーチンを実行するように構成された処理構成要素とを備える。ルーチンは、処理構成要素によって実行されると、処理構成要素に、１つまたは複数の血管画像ボリュームを取得させ、１つまたは複数の血管画像ボリュームを１つまたは複数のニューラルネットワークに提供させる。１つまたは複数のニューラルネットワークは、少なくとも１つまたは複数の合成画像を使用して訓練され、血管画像ボリューム内の１つまたは複数の血管をセグメント化すること、血管画像ボリュームのすべてまたは一部のカルシウムの影響を除去すること、セグメント化された血管の１つまたは複数のセクションのコントラストレベルを決定すること、またはセグメント化された血管のすべてまたは一部の１つまたは複数の血行動態パラメータを導出することの１つまたは複数を行う。
追加の実施形態では、１つまたは複数のニューラルネットワークを訓練するための方法が提供される。この実施形態によれば、関心のある１つまたは複数の特徴またはパラメータについて既知のグランドトゥルース値を有する合成画像を含む訓練データセットが生成される。合成画像の一部またはすべては、関心のあるパラメータのグランドトゥルース値が不明な臨床画像から導出された単純化された解剖学的モデルまたは血管モデルの少なくとも１つに対応する。１つまたは複数のニューラルネットワークは、訓練データセットを使用して訓練される。
さらなる実施形態では、血管画像ボリュームを処理するための方法が提供される。この実施形態によれば、１つまたは複数の血管画像ボリュームは、撮像システムを使用して取得される。１つまたは複数の血管画像ボリュームは、１つまたは複数のニューラルネットワークに提供される。１つまたは複数のニューラルネットワークは、少なくとも１つまたは複数の合成画像を使用して訓練され、血管画像ボリューム内の１つまたは複数の血管をセグメント化すること、血管画像ボリュームのすべてまたは一部のカルシウムの影響を除去すること、またはセグメント化された血管の１つまたは複数のセクションのコントラストレベルを決定することの１つまたは複数を行う。数値流体力学モデルを使用して、セグメント化された血管のすべてまたは一部の１つまたは複数の血行動態パラメータが導出される。
本発明のこれらおよび他の特徴、態様、および利点は、添付の図面を参照しながら以下の詳細な説明を読解すればより良好に理解され、添付の図面においては、図面全体を通して同一の符号は同一の部分を表している。
１つまたは複数の具体的な実施形態を、以下に記載する。これらの実施形態の簡潔な説明を提供する努力において、実際の実施態様のすべての特徴が本明細書に記載されているわけではない。エンジニアリングまたは設計プロジェクトなどの実際の実施態様の開発においては、開発者の特定の目的を達成するために、例えばシステム関連および事業関連の制約条件への対応など実施態様に特有の決定を数多くしなければならないし、また、これらの制約条件は実施態様ごとに異なる可能性があることを理解されたい。さらに、このような開発努力は、複雑で時間がかかるが、それでもなお本開示の利益を有する当業者にとっては、設計、製作、および製造の日常的な仕事であることを理解されたい。
以下の説明の態様は医療撮像の場面で提供されるが、開示される手法の態様は他の場面に適用可能であり得、したがってそのような医療の例に限定されないことを理解されたい。実際に、そのような医療の場面における例および説明の提供は、現実の実施態様および用途の事例を提供することによって説明を容易にすることに過ぎず、したがって、非破壊検査または手荷物／貨物のセキュリティスクリーニングなど、他の適用可能な使用に関して本アプローチの適用可能性を制限するものと解釈されるべきではない。
さらに、ＣＴおよびＣアームの例が本明細書で主に提供されているが、開示される手法は、血管撮像が行われる他の撮像モダリティの場面で使用され得ることを理解されたい。例えば、本明細書に記載のアプローチは、限定はしないが、陽電子放出断層撮影（ＰＥＴ）スキャナ、単一光子放出コンピュータ断層撮影（ＳＰＥＣＴ）スキャナ、磁気共鳴撮像（ＭＲＩ）スキャナ、および／またはそのようなモダリティの組み合わせた実施態様を含む、他のタイプの断層撮影スキャナによって取得されたデータに用いることもできる。
例として、Ｘ線ＣＴ（例えば、マルチスライスＣＴまたはボリュメトリックＣＴ）およびＸ線Ｃアームシステム（例えば、コーンビームＣＴ）などのいくつかの撮像モダリティは、スキャンされる物体または患者の投影を測定し、投影は、手法に応じて、ラドン変換データ、ファンビーム変換データ、コーンビーム変換データ、または不均一フーリエ変換に対応する。投影は、撮像システムに対する物体または患者の１つまたは複数の角度配向に対応する１つまたは複数の指定された時間間隔中に取得されたデータを示す。他の場面では、スキャンデータは、磁場および無線周波数（ＲＦ）パルスに応じて生成された放出タイプデータ（例えば、ＰＥＴまたはＳＰＥＣＴデータ）または磁気共鳴データ（例えば、ＭＲＩデータ）であり得る。断層撮影再構築アルゴリズムならびに関連する補正および較正アルゴリズムは、生の測定値から有用なボリュメトリック画像および／またはモデルを生成するためにこれらの撮像モダリティと共に用いられる。
これを念頭に置いて、本明細書で説明する手法は、血管撮像の場面で１つまたは複数の機能を実行するために、１つまたは複数の深層学習アルゴリズムで具体化され得るような機械学習アプローチを利用する。本明細書で説明する実施態様の一部では、深層学習アルゴリズムは、臨床の現実の画像または幾何学的構築物とは対照的に、訓練データとして合成（例えば、シミュレートされた）画像を使用して訓練される。
例として、合成画像データで訓練される深層学習アルゴリズムは、以下でより詳細に説明するように、血管をセグメント化し、セグメント化されたもしくはセグメント化されていない血管の長さに沿った真のコントラストレベル（例えば、ハウンズフィールド単位（ＨＵ）スコアリングまたは推定）を決定し（システム解像度の制約条件による小さな血管の見かけのコントラストの不足に対処するためなど）、画像のカルシウムの影響を除去し、かつ／または冠血流予備量比（ＦＦＲ）などの関心のある血管パラメータを決定もしくは推定することができるように訓練される。理解され得るように、これらの機能の一部は、様々な利益を得るためにスタンドアロン方式で行うなど、他の機能なしで行われてもよいが、実際には、これらの機能の一部は、他の機能と組み合わせて行われることから恩恵を受けることができる。例えば、真のまたは正確なコントラストレベルのセグメンテーションおよび決定は、血管分析の場面において、撮像された領域の血流速度を決定するのに有用であり、および／または場合によっては血流の局所推定値を提供してもよい（本明細書で使用する場合、「局所」という用語は、全身推定またはモデリングとは対照的に、臓器、四肢、または他の限られた解剖学的領域内またはその周辺など、撮像された領域または撮像された領域の一部内を意味し得る）。セグメンテーションと管腔コントラストの推定機能の両方は、カルシウムの影響を除去することから恩恵を受けることができ、別個のまたは絡み合った機能のいずれかと見なされ得る。さらに、カルシウムブルーミングは画像特徴（例えば、関心のある血管系に近接する微細構造）の視覚化を妨げる可能性があるため、画像ボリュームからカルシウムの影響を除去することにより、臨床医が視覚的に画像ボリュームを確認する価値を高めることができる。
１つまたは複数の深層学習アルゴリズムを訓練するための合成画像の使用は、本明細書で説明するように、グランドトゥルース状態の推定またはグランドトゥルース状態を表す追加のデータの取得のいずれか、および訓練データを収集するための臨床画像データへの追加のデータの登録を伴い得る、そのような訓練目的での臨床画像の使用とは対照的である。理解され得るように、そのような追加のデータ取得は、侵襲的アプローチを必要とすることがあり（グランドトゥルース血管パラメータを得るためなど）、および／または場合によっては回避されるかもしれないリスクを導入し得る。例えば、血管の内部境界は、光学コンピュータ断層撮影（ＯＣＴ）または血管内超音波（ＩＶＵＳ）を使用して決定することができる。しかしながら、両方の手法は、適切な検知装置を備えたカテーテルを関心のある血管系に挿入する必要があるため、侵襲的である。これらのような侵襲的アプローチは、追加のリスクを患者にもたらす。
前述の序論的なコメントを念頭に置いて、本開示の一般的な場面を示すため、ならびに本明細書に記載のある特定の技術的概念の理解および説明を容易にするためのいくつかの一般化された情報が提供される。
例えば、上記のように、画像データに基づいて処理を改善または実行することに関して、深層学習アプローチを用いてもよい。本明細書で説明する深層学習の態様は、残差ネットワーク、生成的敵対ネットワーク、または他の損失ネットワークに基づくアプローチを含み得る。ある特定の実施態様では、そのような深層学習アプローチは、ニューラルネットワークを利用して画像データを処理したり、またはＣＴ、ＰＥＴ、ＳＰＥＣＴ、Ｃアーム、位相コントラスト、およびＭＲ画像などの断層撮影画像を含み得るそのような画像データに基づいて操作を行うことができる。本明細書で説明するニューラルネットワークは、深層ニューラルネットワーク、完全接続ネットワーク、畳み込みニューラルネットワーク（ＣＮＮ）、パーセプトロン、オートエンコーダ、リカレントネットワーク、ウェーブレットフィルタバンクベースのニューラルネットワーク、または他のニューラルネットワークアーキテクチャを包含し得る。これらの技術は、本明細書では深層学習手法と呼ばれるが、この専門用語は、特に複数の層を有するニューラルネットワークである深層ニューラルネットワークの使用に関しても使用され得る。
本明細書で説明するように、深層学習手法（深層機械学習、階層型学習、または深層構造学習として知られていてもよい）は、データの数学的表現および学習のための人工ニューラルネットワークを用いる機械学習技術の一分野である。例として、深層学習アプローチは、関心のあるタイプのデータの高レベルの抽象化を抽出またはモデル化するための１つまたは複数のアルゴリズムの使用によって特徴付けることができる。これは、１つまたは複数の処理層を使用して達成することができ、各層は、典型的には、異なる抽象化レベルに対応し、したがって所与の層のプロセスまたはアルゴリズムのターゲットとして先行の層の初期データまたは出力の異なる態様を潜在的に用いるまたは利用する（すなわち、階層または層のカスケード）。画像処理または再構築の場面では、これはデータの異なる特徴レベルまたは解像度に対応する異なる層として特徴付けられることがある。
一般に、１つの表現空間から次のレベルの表現空間への処理を、再構築プロセスの１つの「段階」と見なすことができる。再構築の各段階は、別個のニューラルネットワークによって、または１つのより大きなニューラルネットワークの異なる部分によって行うことができる。例えば、本明細書で説明するように、単一の深層学習ネットワークを使用して、１つまたは複数の局所血管特性を決定する一部としてセグメンテーション、コントラスト査定、脱灰、または他のステップを提供することができる。
本明細書で説明するように、特定の問題を解決するための深層学習プロセスの初期訓練の一部として、既知の初期値（例えば、入力画像、投影データ、放出データ、磁気共鳴データなど）と、深層学習プロセスの最終出力の既知の（すなわち、グランドトゥルース）値とを有する訓練データセットを用いることができる。以下でより詳細に説明するように、本アプローチによれば、合成画像データは、訓練データとして使用され、合成されたデータは、臨床画像データおよび／または単純な幾何学的構築物からシミュレートまたは合成または導出されるが、臨床画像データとは異なる。さらに、その合成性質により、本明細書で説明する合成訓練画像は、そのようなグランドトゥルースを推定したり、または追加の侵襲的操作を行ってそのようなグランドトゥルース特性を導出したりすることなく、既知のグランドトゥルース特性に関連付けられる。このようなグランドトゥルース情報は、血管の幾何学的形状（血管の長さ、血管境界の表現、プラークの位置で狭窄している血管の割合、プラークの長さなど）、管腔コントラストの強調、様々な組成の隣接するプラーク、周囲の組織などの１つまたは複数を含む。
単一の段階の訓練は、１つの表現空間に対応する既知の入力値と、次のレベルの表現空間に対応する既知の出力値とを有することができる。このようにして、深層学習アルゴリズムは、初期データと所望の出力との間の数学的関係が識別されるまで、および／または各層の入力と出力との間の数学的関係が識別されて特徴付けられるまで、既知のデータセットまたは訓練データセットを（教師付きもしくはガイド付きの方法で、または教師なしもしくはガイドなしの方法で）処理することができる。同様に、初期値と所望のターゲット値の両方が既知である別個の検証データセットを用いることができるが、初期値だけが訓練された深層学習アルゴリズムに供給され、次に、前の訓練を検証し、かつ／または過剰訓練を防止するために、出力を深層学習アルゴリズムの出力と比較する。
前述のことを念頭に置いて、図１は、本明細書で説明するように、深層学習モデルとして訓練することができる人工ニューラルネットワーク５０の例を概略的に示す。この例では、ネットワーク５０は多層であり、訓練入力５２（例えば、合成画像データ）、入力層５４と、隠れ層５８Ａ、５８Ｂなどと、出力層６０とを含む複数の層、ならびに訓練ターゲット６４がネットワーク５０に存在する。ある特定の実施態様では、入力層５４は、隠れ層として特徴付けられるか、または隠れ層であると理解されてもよい。各層は、この例では、複数の「ニューロン」またはノード５６で構成される。ニューロン５６の数は、層の間で一定であってもよいし、図示のように、層ごとに異なってもよい。各層のニューロン５６は、次の階層層のニューロン５６への入力として働くそれぞれの出力を生成する。実際には、バイアスを追加した入力の加重和を計算して、正規化線形ユニット（ＲｅＬＵ）、シグモイド関数、双曲線正接関数、または他の方法で指定またはプログラムされた関数などの活性化関数に従って層の各それぞれのニューロンを「励起」または「活性化」する。最終層の出力は、ネットワーク出力６０を構成し、ターゲット画像またはパラメータセット６４と併せて、損失または誤差関数６２によって使用されて誤差信号を生成し、これはネットワークの訓練をガイドするために逆伝播される。
損失または誤差関数６２は、ネットワーク出力と訓練ターゲットとの間の差を測定する。ある特定の実施態様では、損失関数は、ボクセルレベルの値もしくは部分線積分値の平均二乗誤差（ＭＳＥ）であり得、および／または画像勾配もしくは他の画像統計などの他の画像特徴を伴う差を説明し得る。あるいは、損失関数６２は、ソフトマックス関数またはＤＩＣＥ値などの問題の特定のタスクに関連付けられた他のメトリックによって定義することができる（ＤＩＣＥは、比率
深層学習手法を使用する本アプローチの説明を容易にするために、本開示は、主にＣＴまたはＣアームシステムの場面でこれらのアプローチを説明する。しかしながら、以下の説明は、限定はしないが、ＰＥＴ、ＳＰＥＣＴ、マルチスペクトルＣＴ、位相コントラスト撮像、およびＭＲＩを含む他の画像モダリティおよびシステム、ならびに断層撮影再構築が画像を再構築するために用いられる非医療的な場面または任意の場面にも適用可能であり得ることを理解されたい。
これを念頭に置いて、撮像システム１１０（すなわち、スキャナ）の例が図２に示される。図示の例では、撮像システム１１０は、患者（または他の被検体もしくは関心のある物体）の周りの様々なビューでスキャンデータ（例えば、Ｘ線減衰データ）を取得するように設計され、断層撮影再構築手法を使用して画像再構築を行うのに適したＣＴ撮像システムである。図２に示す実施形態では、撮像システム１１０は、コリメータ１１４に隣接して位置決めされたＸ線放射源１１２を含む。Ｘ線源１１２は、Ｘ線管、分散型Ｘ線源（固体または熱イオンＸ線源など）、または医療もしくは他の画像の取得に適した他の任意のＸ線放射源であってもよい。逆に、ＰＥＴまたはＳＰＥＣＴの実施形態では、トロイダル放射線検出器を設けることができ、患者に注入される放射性トレーサが放射源として使用される。ＭＲＩの場合、測定値は、フーリエ空間内のサンプルであり、ニューラルネットワークへの入力として直接適用することができるか、または最初にサイノグラム空間内の線積分に変換することができる。
図示の例では、コリメータ１１４は、患者／物体１１８が位置決めされる領域に入るＸ線ビーム１１６を整形または制限する。図示の例では、Ｘ線１１６は、撮像されたボリュームを通過する円錐形のビーム、すなわち、コーンビームになるようにコリメートされる。Ｘ線放射１２０の一部は、患者／物体１１８（または他の関心のある被検体）またはその周囲を通過し、参照番号１２２で一般的に表される検出器アレイに衝突する。アレイの検出器素子は、入射Ｘ線１２０の強度を表す電気信号を発生する。これらの信号が取得され、患者／物体１１８内の特徴の画像を再構築するために処理される。
源１１２は、ＣＴ検査シーケンス用の電力と制御信号の両方を供給するシステムコントローラ１２４によって制御される。図示の実施形態では、システムコントローラ１２４は、システムコントローラ１２４の構成要素であり得るＸ線コントローラ１２６を介して源１１２を制御する。そのような実施形態では、Ｘ線コントローラ１２６は、電力およびタイミング信号をＸ線源１１２に提供するように構成されてもよい。
さらに、検出器１２２は、システムコントローラ１２４に結合され、システムコントローラ１２４は、検出器１２２で生成された信号の取得を制御する。図示の実施形態では、システムコントローラ１２４は、データ取得システム１２８を使用して、検出器によって生成された信号を取得する。データ取得システム１２８は、検出器１２２の読み出し電子回路によって収集されたデータを受け取る。データ取得システム１２８は、検出器１２２からサンプリングされたアナログ信号を受け取り、後述する処理構成要素１３０による後続の処理のためにデータをデジタル信号に変換することができる。あるいは、他の実施形態では、デジタル－アナログ変換は、検出器１２２自体に設けられた回路によって行うことができる。システムコントローラ１２４はまた、ダイナミックレンジの初期調整、デジタルデータのインターリーブなどのために、取得された信号に対して様々な信号処理およびフィルタ処理機能を実行することができる。
図２に示す実施形態では、システムコントローラ１２４は、回転サブシステム１３２および線形位置決めサブシステム１３４に結合される。回転サブシステム１３２は、Ｘ線源１１２、コリメータ１１４および検出器１２２が、主に患者の周りのｘ、ｙ平面内で回転するなど、患者／物体１１８の周りで１回または複数回回転することを可能にする。回転サブシステム１３２は、それぞれのＸ線放出および検出構成要素が配置されるガントリまたはＣアームを含む場合があることに留意されたい。したがって、そのような実施形態では、システムコントローラ１２４を利用してガントリまたはＣアームを操作することができる。
線形位置決めサブシステム１３４は、ガントリの回転に対してｚ方向になど、患者／物体１１８、より具体的には患者を支持するテーブルをＣＴシステム１１０のボア内で変位させることを可能にすることができる。したがって、テーブルは、患者１１８の関心のある特定の領域の画像を生成するためにガントリ内で直線的に（連続的または段階的に）移動されてもよい。図示の実施形態では、システムコントローラ１２４は、モータコントローラ１３６を介して回転サブシステム１３２および／または線形位置決めサブシステム１３４の移動を制御する。
一般に、システムコントローラ１２４は、撮像システム１１０の操作を命令し（上述した源１１２、検出器１２２、および位置決めシステムの操作を介してなど）、検査プロトコルを実行して取得されたデータを処理する。例えば、システムコントローラ１２４は、上記のシステムおよびコントローラを介して、関心のある被検体の周りで源１１２および検出器１２２を支持するガントリを回転させることができ、それによりＸ線減衰データを被検体に対して１つまたは複数の角度位置で得ることができる。本場面では、システムコントローラ１２４はまた、信号処理回路、コンピュータによって実行されるプログラムおよびルーチン（本明細書に記載の血管特性推定手法を行うためのルーチンなど）を記憶するための関連するメモリ回路、ならびに構成パラメータ、画像データなどを含むことができる。
図示の実施形態では、システムコントローラ１２４によって取得および処理された信号は、画像再構築を行うことができる処理構成要素１３０に提供される。処理構成要素１３０は、１つまたは複数の汎用または特定用途向けマイクロプロセッサであってもよい。データ取得システム１２８によって収集されたデータは、直接またはメモリ１３８への記憶後に処理構成要素１３０に送信することができる。データの記憶に適した任意のタイプのメモリは、そのような例示的なシステム１１０によって利用することができる。例えば、メモリ１３８は、１つまたは複数の光学、磁気、および／または固体メモリ記憶構造を含むことができる。さらに、メモリ１３８は、取得システムサイトに位置してもよいし、かつ／または後述するように、データ、処理パラメータ、および／もしくは断層撮影画像再構築のためのルーチンを記憶するための遠隔記憶デバイスを含んでもよい。
処理構成要素１３０は、典型的にはキーボードおよび／または他の入力デバイスを備えたオペレータワークステーション１４０を介してオペレータから命令およびスキャンパラメータを受け取るように構成されてもよい。オペレータは、オペレータワークステーション１４０を介してシステム１１０を制御することができる。したがって、オペレータは、オペレータワークステーション１４０を使用して再構築された画像を観察し、かつ／または他の方法でシステム１１０を操作することができる。例えば、オペレータワークステーション１４０に結合されたディスプレイ１４２を利用して、再構築された画像を観察し、撮像を制御することができる。加えて、画像はまた、オペレータワークステーション１４０に結合され得るプリンタ１４４によって印刷されてもよい。
さらに、処理構成要素１３０およびオペレータワークステーション１４０は、他の出力デバイスに結合することができ、他の出力デバイスは、標準または専用のコンピュータモニタおよび関連する処理回路を含むことができる。１つまたは複数のオペレータワークステーション１４０は、システムパラメータの出力、検査の要求、画像の閲覧などのために、システムにさらにリンクすることができる。一般に、ディスプレイ、プリンタ、ワークステーション、およびシステム内で供給される同様のデバイスは、データ取得構成要素の場所にあってもよいし、あるいは、施設もしくは病院内の他の場所、またはまったく異なる場所など、これらの構成要素から離れた、１つまたは複数の構成可能なネットワーク、例えばインターネット、バーチャルプライベートネットワークなどを介して画像取得システムにリンクされた場所にあってもよい。
オペレータワークステーション１４０はまた、医療用画像管理システム（ＰＡＣＳ）１４６に結合されてもよいことにさらに留意されたい。次いでＰＡＣＳ１４６は、遠隔クライアント１４８、放射線科情報システム（ＲＩＳ）、病院情報システム（ＨＩＳ）または内部もしくは外部のネットワークに結合することができ、そのようにして様々な場所の第三者が生のまたは処理された画像データにアクセスすることができる。
前述の説明は別個に撮像システム１１０の様々な例示的な構成要素を扱ってきたが、これらの様々な構成要素は、共通のプラットフォーム内または相互接続されたプラットフォーム内に設けることができる。例えば、処理構成要素１３０、メモリ１３８、およびオペレータワークステーション１４０は、本開示の態様に従って操作するように構成された汎用または専用のコンピュータまたはワークステーションとして集合的に提供することができる。そのような実施形態では、汎用または専用のコンピュータは、システム１１０のデータ取得構成要素に対して別個の構成要素として提供されてもよく、またはそのような構成要素と共通のプラットフォームに提供されてもよい。同様に、システムコントローラ１２４は、そのようなコンピュータまたはワークステーションの一部として、または画像取得専用の別個のシステムの一部として設けることができる。
図２のシステムは、スキャンデータを使用して撮像された領域の画像を再構築するために、患者の関心のある血管新生領域に関する様々なビューについてのＸ線投影データ（または他のモダリティ用の他のスキャンデータ）を取得するために利用され得る。撮像システム１１０などのシステムによって取得された投影（または他の）データは、断層撮影再構築を行うために本明細書で説明するように再構築することができる。図２のシステムは、Ｘ線源１１２および検出器１２２を物体または被検体の周りで回転させるための回転サブシステム１３２を示しているが、非破壊評価に使用されるＣＴシステムのように、Ｘ線源および検出器が固定され、物体が回転するＣＴシステムも想定されている。
前述の背景および場面の説明を念頭に置いて、本開示は、関心のある１つまたは複数の局所的な血管特性を導出するために非侵襲的に取得された画像を使用することに関する。特に、血管、特に被検体が運動（ストレス）を受けているときの冠状動脈の血流の状態の査定には、かなりの診断力が存在し得る。例えば、この情報を使用して、心臓のコンピュータ断層撮影血管造影法（ＣＴＡ）を使用して達成され得るような、この情報と局所的な解剖学的情報を組み込んだ数値流体力学モデルの患者固有の境界状態を提供し、冠状動脈などの局所的な領域の圧力分布を推定することができる。例えば、閉塞は、血流を制限し、局所的な障害物を考慮して圧力に影響を及ぼし、それによって下流の組織に影響を与え得る（例えば、心筋または脳組織への血流を制限する）。心臓発作および脳卒中は、そのような状態から生じる可能性のある急性事象である。これを念頭に置いて、冠状動脈について得ることができるような患者固有の圧力分布データを使用して、冠血流予備量比（ＦＦＲ）（例えば、病変が疑われる場合の遠位と近位の圧力の比率）または関心のある血管の他の血管パラメータを推定することができる。そのような情報を使用して、冠状動脈の収縮の血行動態の重要性を査定し、血管収縮の重症度を評価するためのシステムの診断精度を向上させ、その後の治療計画の指針として役立てることができる。
そのような情報の取得を容易にするために、本明細書に記載のアプローチは、血管の健康の改善された査定を提供するように多数の課題に対処する。特に、血管査定に対する本アプローチは、深層学習ベースのアプローチ（以下でより詳細に説明する）を使用して、血管機能の定量化を目的として、血管セグメンテーション、脱灰、ハウンズフィールド単位（ＨＵ）スコアリング、および血行動態パラメータ推定（例えば、冠血流予備量比（ＦＦＲ）推定）の一部またはすべてを別個にまたは組み合わせて行う。
理解され得るように、これらの問題の各々は複雑であり、カスタマイズされたアルゴリズムを設計することによって対処することができる。そのようなアルゴリズムは、十分に効果的であるために、良好なパフォーマンスを確保するために調節する必要がある数十または数百のパラメータを必ず含む必要がある。そのようなプロセスは、非常に労働集約的であり、ある特定の状況で偏ったアルゴリズムになる可能性がある。このようなカスタマイズされたアルゴリズムとは対照的に、多層人工ニューラルネットワークで具体化され得るような深層学習ネットワークは、典型的なデータセットで発生するパターンを認識し、これらのパターンの解釈方法を定量化するために使用され得る大量のパラメータを自動的に学習することができる。そのような深層学習アプローチは、良好な訓練データが利用可能であると仮定してアルゴリズム開発を大幅に加速するが、特定のネットワークがどのように操作するかを完全に理解していないという犠牲を払う。すなわち、特定の訓練されたネットワークが機能する理由（各重みまたはフィルタの目的など）の詳細が不明な場合がある。本アプローチは、上記の４つのタスク、すなわち、１）セグメンテーション、２）脱灰、３）ＨＵ強度スコアリング、および４）血行動態パラメータ推定（例えば、ＦＦＲ推定）の一部またはすべてを行うために深層学習ネットワークを用いる。
これを念頭に置いて、血管閉塞の機能的影響を決定することに関して、解剖学的情報と流量情報の両方が必要である。これは、図３に一般化されたレベルで表されている。本明細書で説明するように、ＣＴＡ画像１７０（典型的には、関心のある血管系に導入されるコントラスト（例えば、ヨウ素）ボーラスで撮像することによって取得される）を使用して得ることができるような血管画像データを使用して、画像データ内の血管のセグメンテーションを行うなど、解剖学的情報を導出することができる（１７２）。これを念頭に置いて、本アプローチは、ニューラルネットワーク１７４Ａとして示される深層学習アルゴリズムを訓練および利用して、そのようなセグメンテーション操作を行うことができる。図示の例では、説明を容易にするために、各機能または操作は、別個のまたは異なる訓練されたニューラルネットワーク１７４によって行われるものとして示されている。しかしながら、実際には、説明された操作のいくつかまたはすべては、単一のニューラルネットワーク１７４または開示されたものよりも少ないニューラルネットワークによって行われてもよい。そのようなアプローチでは、示された流量または機能間の出力の相互関係（例えば、セグメンテーション、脱灰、ＨＵスコアリング、血行動態パラメータ推定）は、別個の操作への入力として１つの出力を明示的に提供することなく、ニューラルネットワークの層とニューロンとの間の様々な重み付けおよびリンクによって簡単に調整することができることが理解され得る。
一例では、セマンティックセグメンテーションの深層学習アルゴリズムは、ボリュメトリックＣＴ画像のセットの各ボクセルを管腔または背景に分類し、または別の実施態様では、画像の各ボクセルを管腔、脂肪、カルシウムまたは背景に分類する。すなわち、セグメンテーション操作は、ＣＴボリュメトリック画像の各ボクセルをラベルと関連付け、ラベルの１つは管腔（すなわち血管）の描写に関連付けられている。セグメンテーション結果は、後続の操作のためのセグメンテーション情報１７２として使用することができ、および／またはＦＦＲなどの関心のある血管パラメータを予測するために使用される数値流体力学（ＣＦＤ）モデルを構築もしくはパラメータ化するために使用することができる。あるいは、ボリュメトリックＣＴ画像セットのボクセルの尤度が管腔もしくは背景、または別の実施態様では、管腔、脂肪、カルシウムもしくは背景であることを推定することが可能である。これに関連して、１および０の尤度は、ボクセルがある特定の材料で構成されているかどうかの絶対的な確実性をそれぞれ指す。
当業者には理解され得るように、撮像された領域のカルシウムの存在は、閉塞のサイズまたは範囲を正確に決定することを困難にする可能性がある。例えば、カルシウム沈着物は、しばしば冠状動脈閉塞の視覚化を損なったり、または大きさを誇張することがあるため、特定の閉塞を正確に査定することを困難にし、それによって誤診（閉塞が実際に存在しない場合の分類）が発生し、さらにフォローアップが必要になる。結果として、本アプローチの別の態様は、ニューラルネットワーク１７４Ｂとして示される深層学習アプローチを利用して、画像へのカルシウム沈着物（出力１７８）の寄与（すなわち、脱灰）を除去することができ、これは上記のセグメンテーションステップ（１７４Ａ）などの他の操作の精度を向上させる効果を有し得、したがって画像データ１７０から導出された解剖学的情報を向上させることができる。同様に、画像へのカルシウム寄与１７８の識別は、図３に示すように、流量情報１８０、例えば、ＨＵスコアリングを決定する際に有用であり得る。
流量情報１８０に関して、この情報は、多くの方法で集めることができる。本明細書で説明する１つのアプローチでは、コントラスト強度（例えば、ＨＵ強度またはスコアリング１８０）は、冠状動脈ツリー内の各セグメント化された場所で１回以上推定される。例として、流量は、空間コントラスト強度分布に基づいて決定されてもよく、そのプロセスは、参照によりその全体がすべての目的のために本明細書に組み込まれる、米国特許出願第２０１７／０３２５７６９号に記載されている。この情報を使用して、問題の（例えば、大動脈または左心室の）血管の起源付近の関心領域の測定値から得られた時間密度プロファイル入力の推定値と組み合わせて流量を推定することができる。したがって、流量情報（例えば、ＨＵスコアリング１８０）の計算は、導出された解剖学的情報１７２（例えば、セグメント化された血管）に基づいていてもよい。実際には、これは、ニューラルネットワーク１７４Ｃまたはより包括的に訓練されたニューラルネットワークに訓練される適切な機能性を使用して達成することができる。
さらに、本明細書で説明するように、血圧分布またはＦＦＲ分布１８２の一方または両方は、適切な訓練されたニューラルネットワーク１７４Ｄまたは上記の機能の１つまたは複数を行い、上記の解剖学的セグメンテーション情報１７２および流量情報１８０を任意選択で活用するように訓練されたニューラルネットワークを使用して導出され得る。訓練されたニューラルネットワーク１７４Ｄを使用することによって、数値流体力学（ＣＦＤ）モデルを構築またはパラメータ化することなく、そのような分布を導出することができる。
上記のように、ニューラルネットワークを使用して上述の機能の一部またはすべてを行うための重要な側面は、それぞれのニューラルネットワーク１７４の訓練である。訓練の成功に関連する要因は、１）良好なグランドトゥルースデータへのアクセス、および２）トポロジおよび損失関数などの効果的なネットワーク設計の選択を含む。
良好なグランドトゥルースデータへのアクセスに関しては、「グランドトゥルース」として通用するデータセットにアクセスするための様々な方法が存在するが、これらの多くは、特に有用な深層学習アルゴリズムを訓練するために必要な量に関して、行うのが非常に困難である。例えば、血管査定の場面で関心のあるものとされる上記の４つの問題に関して、グランドトゥルースデータを得る際にいくつかの問題が存在する可能性がある。
脱灰（すなわち、画像からカルシウムの影響を除去する）の場合、組織内のカルシウムを脂肪または同様のコントラストの別の軟組織材料でデジタル的に置き換えることが望ましい場合がある。この方法論により、深層学習ネットワークはカルシウムが最終画像にどのように表されるかを学習することができ、ネットワークが非線形部分体積効果に起因するカルシウムブルーミングなどの関連するアーチファクトについて学習することを可能にする。臨床試験では、何らかの方法でカルシウムを外科的に除去して再撮像し、すべての他の要因が元のスキャンと同じままである（例えば、まったく同じ心臓の位相、患者の位置、コントラスト分布など）ことを保証する必要があるため、そのような画像を生成する実用的な方法は存在しない。これは、小さなデータセット、さらには深層学習アルゴリズムを訓練するのに十分な大きさのデータセットであっても実現可能ではない。
セグメンテーションの場合、グランドトゥルース情報を得るには、冠状動脈（または他の血管）の幾何学的形状を測定するより正確な方法が必要である。前述のように、この情報は、血管内超音波（ＩＶＵＳ）または光学コンピュータ断層撮影（ＯＣＴ）を使用して確認することができるが、ＩＶＵＳ／ＯＣＴデータのボリュメトリックＣＴ画像への登録や、心臓の位相、患者の位置、心拍数、患者のストレスのレベル、または他のそのような要因による幾何学的形状の変化を含む、これらのアプローチに関連付けられる課題が存在する。さらに、ＩＶＵＳおよびＯＣＴは、関心のある冠状動脈血管内に位置決めされたカテーテルを使用して測定値を取得する侵襲的処置である。したがって、深層学習ネットワークの訓練に必要な多数のそのような試験を行うのは費用がかかり、非侵襲的処置にはないリスクを導入する。
ハウンズフィールド単位（ＨＵ）スコアリングの場合、冠状動脈ＣＴ血管造影法（ＣＴＡ）スキャン中の特定の時点での冠状動脈ツリー全体のグランドトゥルースコントラスト（例えば、ヨウ素）密度の独立した正確な測定は、現在の方法では不可能である。臨床シナリオを模倣するファントムを作成することはできるが、多大な労力を必要とし、生じる可能性のある臨床画像の範囲をカバーするために、臨床的に関連する豊富な種類の血管の幾何学的形状および配向、ならびに様々なスキャン設定および心臓の幾何学的形状の変動を必要とする。目標が臨床シナリオを厳密に表すことである場合、非剛体運動も導入される場合がある。そのようなファントムを物理的に作成することは非常に費用のかかるタスクであり、モデル化された血管の幾何学的形状の範囲が制限されることになる。
最後に、冠血流予備量比（ＦＦＲ）推定などの血行動態パラメータ推定の場合、患者から取得したＣＴＡ画像、および所与の患者の侵襲的に測定されたグランドトゥルース血行動態パラメータ値に基づいて、関心のある血行動態パラメータを予測する深層ニューラルネットワークを訓練することが可能であり得る。しかしながら、ニューラルネットワークを訓練するには、多数の患者でこのような情報を収集する必要があり、これは実現可能な取り組みではなく、関心のあるグランドトゥルース値を測定するための侵襲的アプローチを再び想定することになる。対応するグランドトゥルースＦＦＲ情報のないＣＴＡ画像が利用可能かつ豊富であり、そのような画像を使用して、三次元（３Ｄ）数値流体力学（ＣＦＤ）モデルを使用してＦＦＲを予測することができる。臨床画像および予測されたＦＦＲは次に、深層学習アルゴリズムの訓練に使用することができる。しかしながら、予測されたＦＦＲをグランドトゥルースと合理的に見なすことはできない。特に、ＣＴＡ画像からの冠状動脈流量の推定においても、従来の管腔セグメンテーションによって不正確さが導入されている。これらの不正確さは、ＣＦＤモデルを介した予測されたＦＦＲの不正確さにつながり、そのような推定がグランドトゥルース値として有用ではなくなってしまう。
したがって、対処されている問題の各々について、所与のＣＴＡ画像１７０に対応するグランドトゥルース値を有することは一般に実現可能ではない。現在のアプローチに従って、これは２つの方法で対処される。ＣＴスキャナ、検出器開口、焦点開口、Ｘ線スペクトル、Ｘ線物理学などの幾何学的形状をモデル化するＣＴシミュレーションルーチン（すなわち、ソフトウェア）は、すべてのパラメータ化が既知のシミュレーションプロセスの結果である画像のために、グランドトゥルース値が明示的に知られている分析ファントムとデジタルファントム（臨床解剖学的構造を模倣する物体の数学的構築物）の両方で使用される。すなわち、生成された合成画像は、臨床画像とは異なり、表された解剖学的構造（例えば、血管やカルシウムの形態の正確な知識）、コントラストレベル、血流、およびスキャナの幾何学的形状に関する既知のパラメータ化の結果であり、したがって、これらのデータは、既知のグランドトゥルースデータに関連付けることができる。
これらのファントムは、大規模な訓練画像データセットに対応し、様々な血管の幾何学的形状、狭窄率、ＨＵ信号強度、周囲の組織（血管に近接する組織および心腔などの隣接する構造）、ノイズの認識などを表している。このようにして、ＣＴシミュレーションルーチンは、様々な臨床シナリオで生成される画像をシミュレートする。ファントムおよびスキャンパラメータは完全にカスタマイズ可能であるため、例えば、カルシウム沈着物が脂肪に置き換えられた場合など、ＣＴＡ画像がどのようになるかを正確にシミュレートすることが可能である。同様に、血管管腔内のヨウ素密度を完全に制御し、様々な血管の幾何学的形状、プラーク形状、および他の近くの構造をシミュレートすることが可能である。まとめると、これにより、セグメンテーション、脱灰、およびＨＵスコアリングの深層学習用途のために、大規模で多様なグランドトゥルースデータセットを生成することが可能になる。重要なことは、スキャナおよび再構築アルゴリズムの有限解像度によって引き起こされる不鮮明さは、このプロセスで正確に表される。
ＦＦＲ推定のグランドトゥルースの決定に関して、グランドトゥルース管腔幾何学的形状全体の圧力降下は、３Ｄ ＣＦＤ計算を使用して様々な流量で予測することができる。デジタルファントムの幾何学的形状は正確にわかっているため、予測される圧力降下は、実行可能なグランドトゥルースと見なすことができる。同様に、既知の管腔幾何学的形状および流量に基づいて、他のグランドトゥルース血行動態特性も同様に決定することができる。
一実施態様では、図４Ａおよび図４Ｂに示すように、血管モデルから導出された情報でデータセットが補強され、図４Ａは、単純化された血管モデルを示し、図４Ｂは、臨床データから導出された血管モデルのレンダリングを示す。図４Ａに示す単純化された血管モデルは、管腔１８０およびプラーク１８２を含み、それにより管腔１８０およびプラーク１８２の各々の密度および組成が指定され得る。別の実施態様では、データセットは、実際の生活、すなわち、臨床のデータから導出された情報で補強される。図４Ｂに示すように、臨床データから導出されたモデルは、管腔１８４およびプラーク１８６を含み、それにより管腔１８４およびプラーク１８６の各々の密度および組成が指定され得る。このようにして、様々な異なるスキャンパラメータおよび／または幾何学的形状で撮像された実際の血管系、カルシウム沈着物などの外観に対応するように、シミュレート画像を導出することができる。単純化された血管モデルから導出された情報により、モデルパラメータを簡単に修正し、深層学習ネットワークの訓練に必要な大規模なデータセットの生成が可能である。臨床画像から導出された情報を使用することで訓練データの充実度が向上され、一方、単純化された幾何学的構築物から生成された合成画像は有用ではあるが、実際の血管系への適用性が制限されている（したがって、訓練値も制限されている）。任意選択で、いずれかのモデルは、隣接する構造（例えば、心腔、周囲の肺など）、背景材料の変動性（例えば、脂肪など）、およびヨウ素などの注入された造影剤からの管腔内の可変コントラスト強調の１つまたは複数をさらに含む。代替のアプローチでは、両方のデータ源を使用して、深層学習ネットワークを訓練することができる。加えて、１つまたは複数の単純化された血管モデルまたは臨床データから導出された血管モデルを使用して生成された合成画像は、深層学習ネットワークを訓練するために、グランドトゥルース情報が既知の臨床データ（例えば、カルシウム沈着物がないことがわかっている血管セグメント）と組み合わせることができる。
このアプローチの例は図５に示されており、これは臨床ＣＴＡ画像１７０の使用を示し、ＣＴＡ画像１７０のみの場面では、推定される値のグランドトゥルースデータ（例えば、局所的な流量、局所的な圧力分布、冠血流予備量比など）は利用可能ではない。例として、これらの画像は最初にセグメント化され（ステップ１９６）、真の基礎となる管腔幾何学的形状と各カルシウム沈着物の幾何学的表現を生成する。プラーク成分、隣接する構造など、他の幾何学的特徴のセグメンテーションも想定されている。これらの幾何学的表現は、ボクセル化することができ（各ボクセルが幾何学的表現に対するボクセルの場所に基づいて特定の組織タイプまたは組織タイプの組合せに対応するボリュメトリック表現に変換またはそれによって表現される）、またはポリゴンサーフェス、ＮＵＲＢＳ（非均一有理ｂスプライン）、もしくは任意の数の他の表現によって特徴付けることができる。これらの表現は、真の管腔およびカルシウムの元の形状と正確に一致しない場合があるが、それらを一緒にすると十分に近いため、対応するＣＴＡ画像ボリュームの大きなセットから抽出されたこれらの表現の大規模なシリーズは、臨床診療で一般的に見られる形状のタイプを表している。それらが正確に一致しないという事実は、特にノイズ、解像度の制限、および他の画像の非理想性が存在する場合、セグメンテーションが困難な問題であるという観察に起因する可能性がある。それにもかかわらず、これらの表現（本アプローチに従って明示的に定義される）はグランドトゥルース形状になるので正確に一致する必要はなく、これは次に、臨床ＣＴＡ画像１７０の観測された幾何学的形状に基づいて、かつ臨床画像１７０を取得するために使用されるハードウェアを模倣する１つまたは複数の指定されたシステムおよびプロトコルシミュレーションパラメータ１９４（例えば、ＣＴスキャナの幾何学的形状、検出器開口、焦点開口、Ｘ線管の操作電圧、電子ビーム電流、Ｘ線ビームフィルタ処理、Ｘ線スペクトル、Ｘ線物理学など）に基づいて合成ＣＴＡ画像１９２を構築するＣＴシミュレーションルーチン１９０のセットへの１つの入力として使用される。
ＣＴシミュレーションルーチン１９０への入力および操作はすべて既知であるため、結果として得られる合成ＣＴＡ画像１９２は、関心のあるパラメータに対応する既知のグランドトゥルース値を有する。次いで、臨床ＣＴＡ画像から導出されるが既知のグランドトゥルース値を有する合成ＣＴＡ画像１９２は、本明細書で説明するように、１つまたは複数のニューラルネットワーク１７４（図３）の訓練で使用され得る。さらに、データセットを充実させるために、臨床データから導出された幾何学的モデルを多数の方法で修正することができる。例えば、スケーリング、回転、およびワープを行うことができる。任意のコントラストレベルを使用することができ、これは、形状の導出元である元のＣＴＡ画像のコントラストとは関係なくてもよい。さらに、血管の長さに沿って空間的に変化するコントラストレベルを血管系に対して定義することができる。ノイズレベルおよび他のスキャンパラメータもまた、独立して制御することが可能である。
前述は、上記のように、血管査定のためにニューラルネットワークを訓練する合成画像データの生成および使用に関連しているが、ネットワーク設計もまた要因である。ネットワーク設計の選択に関して、１つの実施態様では、セグメンテーションの深層学習アルゴリズムの畳み込みニューラルネットワーク設計（例えば、ニューラルネットワーク１７４Ａ）の選択は、Ｕ－Ｎｅｔなどのエンコーダ－デコーダアーキテクチャ、またはｄｉｌａｔｅｄ／ａｔｒｏｕｓ畳み込み（ｄｉｌａｔｅｄ／ａｔｒｏｕｓ ｃｏｎｖｏｌｕｔｉｏｎ）を使用するアーキテクチャの使用を含み、これにより、最初のアーキテクチャのようにプーリング層の使用による空間次元の減少なしに視野を指数関数的に増加させることが可能である。両方の深層学習アーキテクチャは、多くのセマンティックセグメンテーションタスクに効果的であり得る。それぞれのセグメンテーションの損失関数は、クロスエントロピー、ＤＩＣＥ、または平均二乗誤差とすることができる。
深層学習アルゴリズム（例えば、ニューラルネットワーク１７４Ｃ）を使用したＨＵスコアリングに関して、回帰および分類タスクで典型的には使用される収縮パスのみを含む畳み込みニューラルネットワークアーキテクチャを用いてもよい。１つのそのような実施態様では、サンプリングの削減の問題を軽減するために、元の再構築されたボリュームがより高密度の空間サンプリングにアップサンプリングされる。加えて、リサンプリンググリッドの幾何学的形状は、リサンプリング（例えば、アップサンプリング）の出力で血管の中心線がボリュームの中央を通るように、各冠状動脈分岐部の経過をたどるようにワープすることができる。
脱灰に関して、一実施形態では、ニューラルネットワーク（例えば、ニューラルネットワーク１７４Ｂ）への入力は、元のＣＴＡ画像１７０であり、出力１７８は、元の画像１７０と脂肪によるカルシウムの置き換えに基づく予測または推定された画像との間の予測された差である。次に、減算により脂肪予測画像を生成することができる。このアプローチは、Ｕ－ｎｅｔの低解像度スケールで情報が失われる可能性があるため、脂肪予測画像を直接出力するよりも好ましい場合がある。さらに、このアプローチは、完全な画像の背景の詳細を保存するのではなく、（局所的な）カルシウムの影響を推定するタスクのネットワークリソースを保存することが可能である。脱灰の損失関数は、平均二乗誤差または別の同様のメトリックであり得る。
訓練されたニューラルネットワーク１７４Ｄを使用した血行動態パラメータの推定に関して、冠血流予備量比（ＦＦＲ）が推定される一実施態様では、ＦＦＲ予測ニューラルネットワークは、上述の３Ｄ ＣＦＤモデルからの各流量でのグランドトゥルース圧力降下を入力として利用可能であり得る。１つのそのようなアプローチでは、ＦＦＲ圧力降下の入力画像ボリュームは、ＨＵスコアリングに関して上述したように再フォーマットすることができ、それにより血管はボリュームの中央に位置決めされ、血管の限られたセクション（狭窄の周囲の領域など）を含むようにトリミングすることができる。この縮小または制限された画像ボリュームは、ハーフＵ－ｎｅｔ（ｈａｌｆ－Ｕ－ｎｅｔ）または他の同様のネットワークアーキテクチャへの入力として使用され、出力は、グランドトゥルースが既知の流量の各々で予想される圧力降下である。損失関数は、各流量でのグランドトゥルース圧力降下との不一致を不利にする。グランドトゥルース範囲内の任意の流量で予想される圧力降下は、単純な（例えば、二次）モデルまたは滑らかな補間を使用して推測することができる。別の実施形態では、画像ボリュームは、上述のように制限されない。むしろ、３Ｄ ＣＦＤモデルを使用して、各流量での総圧力降下を抽出する。総圧力降下を使用する理由は、次のとおりである。静圧の変化は、壁での摩擦損失に加えて、狭窄内および狭窄のすぐ下流など、流れの加速／減速による圧力降下／上昇を含む。画像ボリュームが制限されていない場合、静圧降下は、狭窄による圧力降下を表していない場合がある。一方、総圧力降下は、損失、壁での摩擦損失、ならびに再循環および／または乱流による慣性損失のみを含む。したがって、これは、画像ボリュームが制限されていないときに追跡するのに適した圧力降下である。狭窄による圧力降下は、狭窄内の損失の結果だけでなく、狭窄の下流の損失の結果でもある。下流の損失は、流れの再循環、乱流および壁摩擦の結果である可能性があり得る。これらの損失は、狭窄の下流の血管が正常な場合でも発生する。深層学習を使用してこれらの損失を予測するために、画像ボリュームへの入口での速度プロファイル形状および流量は、画像ボリューム自体に加えて、ハーフＵ－ｎｅｔまたは同様のネットワークアーキテクチャへの入力として提供される。出力は、画像ボリューム全体の総圧力降下、および画像ボリューム出口での速度プロファイル形状である。速度プロファイル形状は、３Ｄプロファイル（すなわち、ｘ、ｙおよびｚ座標の関数としての速度）または形状の１Ｄ数特性（例えば、最大速度／平均速度）の形式にすることができる。次に、訓練されたネットワークは、狭窄を含む血管セグメントに沿った圧力降下を得るために、狭窄の上流から下流まで連続的に適用することができる。追加の実施形態では、深層学習を使用して１Ｄ血流モデルのパラメータを得て、次にこれを使用して圧力分布を予測する。１Ｄ運動量保存方程式は、以下の形式を有する：
これらのパラメータは、放物線状の速度プロファイルを仮定することによって推定することができるが、この仮定は、１Ｄモデルによって予測される圧力分布の精度に影響を与える可能性がある。精度を向上させるために、代わりにこれらのパラメータは、深層学習を使用して得られてもよい。３Ｄ ＣＦＤモデルから、このパラメータは、式
本アプローチから理解され得るように、本明細書に記載のアプローチの１つの可能な用途は、ＦＦＲを定量化することである。患者の冠状動脈に通された圧力ワイヤを使用して冠血流予備量比を直接測定することができるが、代わりに、撮像を使用して非侵襲的な方法でＦＦＲの局所的な推定値を得ることが有益である場合があり、これは本アプローチにより促進される。
本発明の技術的効果は、グランドトゥルースデータが知られている合成画像データを使用して、血管査定のための１つまたは複数のニューラルネットワークを訓練することを含む。ある特定の実施態様では、合成画像データは、グランドトゥルースデータが知られていないまたは利用可能でない臨床画像データに部分的に基づくか、またはそれから導出され得る。このようにして訓練されたニューラルネットワークを使用して、血管セグメンテーション、脱灰、ハウンズフィールド単位スコアリング、および／または血行動態パラメータの推定の１つまたは複数を行うことができる。
本明細書は、最良の様式を含む本発明を開示するため、およびどのような当業者も、任意のデバイスまたはシステムの作製および使用ならびに任意の組み込まれた方法の実行を含む本発明の実践を可能にするために、実施例を使用している。本発明の特許可能な範囲は、特許請求の範囲によって定義され、当業者であれば想到できる他の実施例も含むことができる。そのような他の実施例は、特許請求の範囲の文言と異ならない構造要素を有する場合、または特許請求の範囲の文言と実質的な差のない等価の構造要素を含む場合、特許請求の範囲内にあることが意図されている。
５０ ・・・人工ニューラルネットワーク
５２ ・・・訓練入力
５４ ・・・入力層
５６ ・・・ニューロン、ノード
５８Ａ ・・・隠れ層
５８Ｂ ・・・隠れ層
６０ ・・・出力層、ネットワーク出力
６２ ・・・誤差関数、損失関数
６４ ・・・訓練ターゲット、パラメータセット
１１０ ・・・撮像システム
１１２ ・・・Ｘ線放射源
１１４ ・・・コリメータ
１１６ ・・・Ｘ線ビーム
１１８ ・・・患者、物体
１２０ ・・・Ｘ線放射、入射Ｘ線
１２２ ・・・検出器
１２４ ・・・システムコントローラ
１２６ ・・・Ｘ線コントローラ
１２８ ・・・データ取得システム
１３０ ・・・処理構成要素
１３２ ・・・回転サブシステム
１３４ ・・・線形位置決めサブシステム
１３６ ・・・モータコントローラ
１３８ ・・・メモリ
１４０ ・・・オペレータワークステーション
１４２ ・・・ディスプレイ
１４４ ・・・プリンタ
１４６ ・・・医療用画像管理システム（ＰＡＣＳ）
１４８ ・・・遠隔クライアント
１７０ ・・・ＣＴＡ画像
１７２ ・・・解剖学的セグメンテーション情報
１７４Ａ ・・・訓練された人工ニューラルネットワーク
１７４Ｂ ・・・訓練された人工ニューラルネットワーク
１７４Ｃ ・・・訓練された人工ニューラルネットワーク
１７４Ｄ ・・・訓練された人工ニューラルネットワーク
１７８ ・・・出力、カルシウム寄与
１８０ ・・・流量情報、ＨＵスコアリング、管腔
１８２ ・・・血圧分布、ＦＦＲ分布、プラーク
１８４ ・・・管腔
１８６ ・・・プラーク
１９０ ・・・ＣＴシミュレーションルーチン
１９２ ・・・合成ＣＴＡ画像
１９４ ・・・システム＆プロトコルシミュレーションパラメータ
ｘ ・・・平面
ｙ ・・・平面
ｚ ・・・方向
５２ ・・・訓練入力
５４ ・・・入力層
５６ ・・・ニューロン、ノード
５８Ａ ・・・隠れ層
５８Ｂ ・・・隠れ層
６０ ・・・出力層、ネットワーク出力
６２ ・・・誤差関数、損失関数
６４ ・・・訓練ターゲット、パラメータセット
１１０ ・・・撮像システム
１１２ ・・・Ｘ線放射源
１１４ ・・・コリメータ
１１６ ・・・Ｘ線ビーム
１１８ ・・・患者、物体
１２０ ・・・Ｘ線放射、入射Ｘ線
１２２ ・・・検出器
１２４ ・・・システムコントローラ
１２６ ・・・Ｘ線コントローラ
１２８ ・・・データ取得システム
１３０ ・・・処理構成要素
１３２ ・・・回転サブシステム
１３４ ・・・線形位置決めサブシステム
１３６ ・・・モータコントローラ
１３８ ・・・メモリ
１４０ ・・・オペレータワークステーション
１４２ ・・・ディスプレイ
１４４ ・・・プリンタ
１４６ ・・・医療用画像管理システム（ＰＡＣＳ）
１４８ ・・・遠隔クライアント
１７０ ・・・ＣＴＡ画像
１７２ ・・・解剖学的セグメンテーション情報
１７４Ａ ・・・訓練された人工ニューラルネットワーク
１７４Ｂ ・・・訓練された人工ニューラルネットワーク
１７４Ｃ ・・・訓練された人工ニューラルネットワーク
１７４Ｄ ・・・訓練された人工ニューラルネットワーク
１７８ ・・・出力、カルシウム寄与
１８０ ・・・流量情報、ＨＵスコアリング、管腔
１８２ ・・・血圧分布、ＦＦＲ分布、プラーク
１８４ ・・・管腔
１８６ ・・・プラーク
１９０ ・・・ＣＴシミュレーションルーチン
１９２ ・・・合成ＣＴＡ画像
１９４ ・・・システム＆プロトコルシミュレーションパラメータ
ｘ ・・・平面
ｙ ・・・平面
ｚ ・・・方向
Claims (12)
- 血管画像ボリュームを処理するための方法であって、
撮像システム（１１０）を使用して１つまたは複数の血管画像ボリュームを取得することと、
前記１つまたは複数の血管画像ボリュームを１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）に提供することであって、前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）は、少なくとも１つまたは複数の合成画像を使用して訓練され、前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）の提供により、
前記血管画像ボリュームのすべてまたは一部のカルシウムの影響を除去すること、
前記カルシウムの影響が除去された後に、前記血管画像ボリューム内の１つまたは複数の血管をセグメント化すること、
前記セグメント化された血管のすべてまたは一部の１つまたは複数の血行動態パラメータを導出すること
の実行が行われ、
前記セグメント化された血管の１つまたは複数のセクションのコントラストレベルをニューラルネットワークによって決定することを含み、前記コントラストレベルを決定することは、前記セグメント化された血管に沿った１つまたは複数の位置のハウンズフィールド単位推定値を決定することを含み、前記ハウンズフィールド単位スコアに基づいて前記セグメント化された血管の流量情報が推定され、
前記方法は、
前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）の内の第１のニューラルネットワーク（１７４Ｂ）を利用して、前記血管画像ボリュームのすべてまたは一部のカルシウムの影響の出力（１７８）を得ることと、
前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）の内の第２のニューラルネットワーク（１７４Ａ）に前記カルシウムの影響の出力（１７８）を入力して、前記血管画像ボリューム内の１つまたは複数の血管をセグメント化すること、
前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）の内の第３のニューラルネットワーク（１７４Ｃ）に前記カルシウムの影響の出力（１７８）を入力して、前記セグメント化された血管に沿った１つまたは複数の位置の流量情報（１８０）を推定することと、
前記流量情報（１８０）及び、前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）の内の第４のニューラルネットワーク（１７４Ｄ）を利用して、前記セグメント化された血管のすべてまたは一部の血圧分布または冠血流予備量比分布（１８２）を導出することとを含む、方法。 - 血管画像ボリュームを処理するための方法であって、
撮像システム（１１０）を使用して１つまたは複数の血管画像ボリュームを取得することと、
前記１つまたは複数の血管画像ボリュームを１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）に提供することであって、前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）は、少なくとも１つまたは複数の合成画像を使用して訓練され、前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）の提供により、
前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）の内の第１のニューラルネットワーク（１７４Ｂ）を利用して、前記血管画像ボリュームのすべてまたは一部のカルシウムの影響の出力（１７８）を得ることと、
前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）の内の第２のニューラルネットワーク（１７４Ａ）に前記カルシウムの影響の出力（１７８）を入力して、前記血管画像ボリューム内の１つまたは複数の血管をセグメント化すること、
前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）の内の第３のニューラルネットワーク（１７４Ｃ）に前記カルシウムの影響の出力（１７８）を入力して、前記セグメント化された血管の１つまたは複数のセクションのコントラストレベルを決定すること、
前記コントラストレベルを使用して、セグメント化された血管のすべてまたは一部の１つまたは複数の血行動態パラメータを導出することと
の実行が行われ、
前記コントラストレベルを決定することは、前記セグメント化された血管に沿った１つまたは複数の位置のハウンズフィールド単位スコアを決定することを含む、方法。 - 前記血管画像ボリュームのすべてまたは一部のカルシウムの影響を除去することを含み、前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）は、画像ボリューム内の血管のセグメント化の１つまたは複数を行い、前記画像のすべてまたは一部の前記カルシウムの影響を除去し、前記画像内の血管のセグメントに対応するハウンズフィールド単位スコアを決定し、または前記画像内の前記血管の血行動態パラメータを推定するように訓練される、請求項２に記載の方法。
- 前記血管画像ボリュームは、コンピュータ断層撮影血管造影（ＣＴＡ）を含む、請求項１乃至３のいずれかに記載の方法。
- 前記１つまたは複数の合成画像は、関心のある１つまたは複数の特徴またはパラメータについて既知のグランドトゥルース値を有する、請求項１乃至４のいずれかに記載の方法。
- 前記１つまたは複数の血行動態パラメータは、冠血流予備量比を含む、請求項１乃至５のいずれかに記載の方法。
- 数値流体力学モデルを使用せずに、前記１つまたは複数の前記血行動態パラメータが導出される、請求項１乃至６のいずれかに記載の方法。
- プロセッサ実行可能ルーチンをエンコードするメモリ（１３８）と、
前記メモリ（１３８）にアクセスして前記プロセッサ実行可能ルーチンを実行するように構成された処理構成要素（１３０）とを備え、前記ルーチンは、前記処理構成要素（１３０）によって実行されると、前記処理構成要素（１３０）に、
１つまたは複数の血管画像ボリュームを取得させ、
前記１つまたは複数の血管画像ボリュームを１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）に提供させ、前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）は、少なくとも１つまたは複数の合成画像を使用して訓練され、前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）の提供により、
前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）の内の第１のニューラルネットワーク（１７４Ｂ）を利用して、前記血管画像ボリュームのすべてまたは一部のカルシウムの影響の出力（１７８）を得ることと、
前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）の内の第２のニューラルネットワーク（１７４Ａ）に前記カルシウムの影響の出力（１７８）を入力して、前記血管画像ボリューム内の１つまたは複数の血管をセグメント化することと、
前記１つまたは複数のニューラルネットワーク（１７４Ａ、１７４Ｂ、１７４Ｃ、１７４Ｄ）の内の第３のニューラルネットワーク（１７４Ｃ）に前記カルシウムの影響の出力（１７８）を入力して、前記セグメント化された血管の１つまたは複数のセクションのコントラストレベルを決定することと、
前記コントラストレベルを使用して、前記セグメント化された血管のすべてまたは一部の１つまたは複数の血行動態パラメータを導出することとが行われ、
コントラストレベルを決定することは、前記セグメント化された血管に沿った１つまたは複数の位置のハウンズフィールド単位スコアを決定することを含み、前記ハウンズフィールド単位スコアに基づいて前記セグメント化された血管の流量情報が推定される、
撮像システム（１１０）。 - 前記撮像システム（１１０）は、コンピュータ断層撮影システムを備える、請求項８に記載の撮像システム（１１０）。
- 前記血管画像ボリュームのすべてまたは一部のカルシウムの影響をニューラルネットワークによって除去することを含み、前記１つまたは複数の血管は、前記カルシウムの影響が除去された後にセグメント化される、請求項８または９に記載の撮像システム（１１０）。
- 前記１つまたは複数の合成画像は、関心のある１つまたは複数の特徴またはパラメータについて既知のグランドトゥルース値を有する、請求項８乃至１０のいずれかに記載の撮像システム（１１０）。
- 前記１つまたは複数の血行動態パラメータは、冠血流予備量比を含む、請求項８乃至１１のいずれかに記載の撮像システム（１１０）。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/192,551 | 2018-11-15 | ||
| US16/192,551 US10964017B2 (en) | 2018-11-15 | 2018-11-15 | Deep learning for arterial analysis and assessment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020081866A JP2020081866A (ja) | 2020-06-04 |
| JP7314025B2 true JP7314025B2 (ja) | 2023-07-25 |
Family
ID=68583086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019205363A Active JP7314025B2 (ja) | 2018-11-15 | 2019-11-13 | 動脈の分析および査定のための深層学習 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10964017B2 (ja) |
| EP (1) | EP3654281B1 (ja) |
| JP (1) | JP7314025B2 (ja) |
| CN (1) | CN111192316B (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7199850B2 (ja) * | 2018-06-29 | 2023-01-06 | キヤノンメディカルシステムズ株式会社 | 医用情報処理装置 |
| WO2020172188A1 (en) * | 2019-02-19 | 2020-08-27 | Cedars-Sinai Medical Center | Systems and methods for calcium-free computed tomography angiography |
| US10973472B2 (en) * | 2019-03-05 | 2021-04-13 | Siemens Healthcare Gmbh | Artificial intelligence-based material decomposition in medical imaging |
| EP3751580B1 (en) * | 2019-06-11 | 2024-04-03 | Siemens Healthineers AG | Hemodynamic analysis of vessels using recurrent neural network |
| CN110246137B (zh) * | 2019-06-19 | 2021-12-03 | 东软医疗系统股份有限公司 | 一种成像方法、装置及存储介质 |
| US12039685B2 (en) | 2019-09-23 | 2024-07-16 | Cathworks Ltd. | Methods, apparatus, and system for synchronization between a three-dimensional vascular model and an imaging device |
| WO2022005336A1 (en) * | 2020-06-29 | 2022-01-06 | Autonomous Non-Profit Organization For Higher Education «Skolkovo Institute Of Science And Technology» | Noise-resilient vasculature localization method with regularized segmentation |
| CN112001893B (zh) * | 2020-07-31 | 2024-02-20 | 上海联影医疗科技股份有限公司 | 一种血管参数的计算方法、装置、设备及存储介质 |
| JPWO2022071326A1 (ja) * | 2020-09-29 | 2022-04-07 | ||
| WO2022071325A1 (ja) * | 2020-09-29 | 2022-04-07 | テルモ株式会社 | 情報処理装置、情報処理方法、プログラムおよび学習済モデルの生成方法 |
| CN112419308B (zh) * | 2020-12-07 | 2023-06-23 | 上海联影医疗科技股份有限公司 | 斑块评估方法、装置、电子设备及存储介质 |
| CN112734770B (zh) * | 2021-01-06 | 2022-11-25 | 中国人民解放军陆军军医大学第二附属医院 | 一种基于多层级联的心脏核磁影像多序列融合分割方法 |
| CN113191367B (zh) * | 2021-05-25 | 2022-07-29 | 华东师范大学 | 基于密集尺度动态网络的语义分割方法 |
| US11763428B2 (en) * | 2021-06-22 | 2023-09-19 | Saudi Arabian Oil Company | System and method for de-noising an ultrasonic scan image using a convolutional neural network |
| CN113516210B (zh) * | 2021-09-14 | 2021-12-17 | 之江实验室 | 一种基于pet/ct的肺腺癌鳞癌诊断模型训练方法及装置 |
| US11980492B2 (en) * | 2021-11-05 | 2024-05-14 | GE Precision Healthcare LLC | System and method for deep-learning based estimation of coronary artery pressure drop |
| CN113995388B (zh) * | 2021-12-13 | 2022-06-03 | 数坤(北京)网络科技股份有限公司 | 血流储备分数计算方法、装置、电子设备及可读存储介质 |
| US20230252632A1 (en) * | 2022-02-10 | 2023-08-10 | Cathworks Ltd. | System and method for machine-learning based sensor analysis and vascular tree segmentation |
| CN114596311B (zh) * | 2022-04-22 | 2022-08-12 | 深圳科亚医疗科技有限公司 | 基于血管图像的血管功能评估方法和血管功能评估装置 |
| CN114757944B (zh) * | 2022-06-13 | 2022-08-16 | 深圳科亚医疗科技有限公司 | 一种血管图像的分析方法、装置及存储介质 |
| WO2024002937A1 (en) * | 2022-06-27 | 2024-01-04 | Institut National De La Sante Et De La Recherche Medicale | Method for recognizing bifurcations in a vascular tree, associated methods and devices |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140355850A1 (en) | 2013-05-31 | 2014-12-04 | Siemens Aktiengesellschaft | Segmentation of a calcified blood vessel |
| JP2016500014A (ja) | 2012-10-19 | 2016-01-07 | ハートフロー， インコーポレイテッド | 脈管構造を数値的に評価するためのシステムおよび方法 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2535942A1 (en) * | 2003-08-21 | 2005-03-10 | Ischem Corporation | Automated methods and systems for vascular plaque detection and analysis |
| DE102009014763B4 (de) * | 2009-03-25 | 2018-09-20 | Siemens Healthcare Gmbh | Verfahren und Datenverarbeitungssystem zur Bestimmung des Kalziumanteils in Herzkranzgefäßen |
| US10162932B2 (en) * | 2011-11-10 | 2018-12-25 | Siemens Healthcare Gmbh | Method and system for multi-scale anatomical and functional modeling of coronary circulation |
| US10034614B2 (en) | 2012-02-29 | 2018-07-31 | General Electric Company | Fractional flow reserve estimation |
| US10433740B2 (en) | 2012-09-12 | 2019-10-08 | Heartflow, Inc. | Systems and methods for estimating ischemia and blood flow characteristics from vessel geometry and physiology |
| US10398386B2 (en) | 2012-09-12 | 2019-09-03 | Heartflow, Inc. | Systems and methods for estimating blood flow characteristics from vessel geometry and physiology |
| US9805463B2 (en) * | 2013-08-27 | 2017-10-31 | Heartflow, Inc. | Systems and methods for predicting location, onset, and/or change of coronary lesions |
| US9700219B2 (en) * | 2013-10-17 | 2017-07-11 | Siemens Healthcare Gmbh | Method and system for machine learning based assessment of fractional flow reserve |
| EP3160335B1 (en) * | 2014-06-30 | 2023-09-20 | Koninklijke Philips N.V. | Apparatus for determining a fractional flow reserve value |
| US9349178B1 (en) | 2014-11-24 | 2016-05-24 | Siemens Aktiengesellschaft | Synthetic data-driven hemodynamic determination in medical imaging |
| US10037603B2 (en) * | 2015-05-04 | 2018-07-31 | Siemens Healthcare Gmbh | Method and system for whole body bone removal and vascular visualization in medical image data |
| US20170325770A1 (en) | 2016-05-13 | 2017-11-16 | General Electric Company | Methods for personalizing blood flow models |
| US10674986B2 (en) | 2016-05-13 | 2020-06-09 | General Electric Company | Methods for personalizing blood flow models |
| US9767557B1 (en) * | 2016-06-23 | 2017-09-19 | Siemens Healthcare Gmbh | Method and system for vascular disease detection using recurrent neural networks |
| WO2018015414A1 (en) * | 2016-07-21 | 2018-01-25 | Siemens Healthcare Gmbh | Method and system for artificial intelligence based medical image segmentation |
| US10600185B2 (en) * | 2017-03-08 | 2020-03-24 | Siemens Healthcare Gmbh | Automatic liver segmentation using adversarial image-to-image network |
| EP3602394A1 (en) * | 2017-03-24 | 2020-02-05 | Pie Medical Imaging BV | Method and system for assessing vessel obstruction based on machine learning |
| US10825167B2 (en) | 2017-04-28 | 2020-11-03 | Siemens Healthcare Gmbh | Rapid assessment and outcome analysis for medical patients |
| EP3404666A3 (en) * | 2017-04-28 | 2019-01-23 | Siemens Healthcare GmbH | Rapid assessment and outcome analysis for medical patients |
| US9968257B1 (en) * | 2017-07-06 | 2018-05-15 | Halsa Labs, LLC | Volumetric quantification of cardiovascular structures from medical imaging |
| US10970829B2 (en) * | 2017-08-24 | 2021-04-06 | Siemens Healthcare Gmbh | Synthesizing and segmenting cross-domain medical images |
| US10607114B2 (en) * | 2018-01-16 | 2020-03-31 | Siemens Healthcare Gmbh | Trained generative network for lung segmentation in medical imaging |
| US11389130B2 (en) * | 2018-05-02 | 2022-07-19 | Siemens Healthcare Gmbh | System and methods for fast computation of computed tomography based fractional flow reserve |
-
2018
- 2018-11-15 US US16/192,551 patent/US10964017B2/en active Active
-
2019
- 2019-10-23 CN CN201911027445.8A patent/CN111192316B/zh active Active
- 2019-11-13 JP JP2019205363A patent/JP7314025B2/ja active Active
- 2019-11-14 EP EP19209284.9A patent/EP3654281B1/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016500014A (ja) | 2012-10-19 | 2016-01-07 | ハートフロー， インコーポレイテッド | 脈管構造を数値的に評価するためのシステムおよび方法 |
| US20140355850A1 (en) | 2013-05-31 | 2014-12-04 | Siemens Aktiengesellschaft | Segmentation of a calcified blood vessel |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3654281A1 (en) | 2020-05-20 |
| JP2020081866A (ja) | 2020-06-04 |
| US10964017B2 (en) | 2021-03-30 |
| EP3654281B1 (en) | 2021-12-29 |
| CN111192316A (zh) | 2020-05-22 |
| CN111192316B (zh) | 2024-01-12 |
| US20200160509A1 (en) | 2020-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7314025B2 (ja) | 動脈の分析および査定のための深層学習 | |
| JP7150837B2 (ja) | 機械学習を使用した画像生成 | |
| CN110807737B (zh) | 迭代图像重建框架 | |
| US11039805B2 (en) | Deep learning based estimation of data for use in tomographic reconstruction | |
| JP7077319B2 (ja) | 解剖学的モデルパラメータの機械学習 | |
| JP6409114B2 (ja) | 患者固有の幾何学的形状モデルを変更することによって治療を決定する方法及びシステム | |
| US20180330233A1 (en) | Machine learning based scatter correction | |
| CN110944586B (zh) | 来自x射线图像数据的炎症估计 | |
| JP2021521993A (ja) | 敵対的生成ネットワークを使用した画像強調 | |
| US11744472B2 (en) | Hemodynamic parameter estimation based on image data | |
| NL2009379C2 (en) | System and method for blood vessel stenosis visualization and navigation. | |
| US10736594B2 (en) | Data-based scan gating | |
| CN112969412B (zh) | 深谱团注剂跟踪 | |
| CN108209955B (zh) | 用于表征斑块的方法、分析设备和计算机断层摄影系统 | |
| Tiago et al. | A data augmentation pipeline to generate synthetic labeled datasets of 3D echocardiography images using a GAN | |
| CN114469145B (zh) | 提供最佳减影数据组 | |
| US11980492B2 (en) | System and method for deep-learning based estimation of coronary artery pressure drop | |
| US20240104796A1 (en) | Ct reconstruction for machine consumption | |
| US20220156905A1 (en) | Provision of an optimum subtraction data set | |
| EP4311491A1 (en) | Determining a value of a blood flow parameter | |
| Manohar | Estimation of Regional Left Ventricular Function Based on Texture Analysis of Computed Tomography Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201222 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210520 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210524 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211214 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220311 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221005 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230301 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230614 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230712 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7314025 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |