JP2024515595A - コンピュータ断層撮影における深層学習画像再構成の信頼度表示の決定 - Google Patents
コンピュータ断層撮影における深層学習画像再構成の信頼度表示の決定 Download PDFInfo
- Publication number
- JP2024515595A JP2024515595A JP2023562481A JP2023562481A JP2024515595A JP 2024515595 A JP2024515595 A JP 2024515595A JP 2023562481 A JP2023562481 A JP 2023562481A JP 2023562481 A JP2023562481 A JP 2023562481A JP 2024515595 A JP2024515595 A JP 2024515595A
- Authority
- JP
- Japan
- Prior art keywords
- image
- basis
- reconstructed
- uncertainty
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002591 computed tomography Methods 0.000 title claims abstract description 86
- 238000013135 deep learning Methods 0.000 title claims description 57
- 238000000034 method Methods 0.000 claims abstract description 115
- 238000012545 processing Methods 0.000 claims abstract description 78
- 238000010801 machine learning Methods 0.000 claims abstract description 76
- 238000013528 artificial neural network Methods 0.000 claims description 136
- 239000000463 material Substances 0.000 claims description 127
- 238000000354 decomposition reaction Methods 0.000 claims description 73
- 230000006870 function Effects 0.000 claims description 55
- 238000003384 imaging method Methods 0.000 claims description 40
- 238000005259 measurement Methods 0.000 claims description 39
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 12
- 239000000126 substance Substances 0.000 claims description 7
- 230000001902 propagating effect Effects 0.000 claims 1
- 238000012549 training Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 32
- 229910052740 iodine Inorganic materials 0.000 description 32
- 239000011630 iodine Substances 0.000 description 32
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 description 31
- 230000000875 corresponding effect Effects 0.000 description 24
- 238000013527 convolutional neural network Methods 0.000 description 17
- 230000003595 spectral effect Effects 0.000 description 17
- 230000015654 memory Effects 0.000 description 15
- 238000013507 mapping Methods 0.000 description 13
- 229910052791 calcium Inorganic materials 0.000 description 9
- 239000011575 calcium Substances 0.000 description 9
- 238000003780 insertion Methods 0.000 description 8
- 230000037431 insertion Effects 0.000 description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 229910001868 water Inorganic materials 0.000 description 8
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 7
- 230000008901 benefit Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 6
- 210000000988 bone and bone Anatomy 0.000 description 5
- 238000013170 computed tomography imaging Methods 0.000 description 5
- 238000002059 diagnostic imaging Methods 0.000 description 5
- PNDPGZBMCMUPRI-UHFFFAOYSA-N iodine Chemical compound II PNDPGZBMCMUPRI-UHFFFAOYSA-N 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 210000004872 soft tissue Anatomy 0.000 description 5
- 229910052688 Gadolinium Inorganic materials 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 4
- 239000000654 additive Substances 0.000 description 4
- 230000000996 additive effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- UIWYJDYFSGRHKR-UHFFFAOYSA-N gadolinium atom Chemical compound [Gd] UIWYJDYFSGRHKR-UHFFFAOYSA-N 0.000 description 4
- 238000011002 quantification Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000007476 Maximum Likelihood Methods 0.000 description 3
- 238000013531 bayesian neural network Methods 0.000 description 3
- 239000002872 contrast media Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- -1 polyethylene Polymers 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 239000004698 Polyethylene Substances 0.000 description 2
- 238000002083 X-ray spectrum Methods 0.000 description 2
- GLXGDSIDFQEZRG-UHFFFAOYSA-N [Ca].[I] Chemical compound [Ca].[I] GLXGDSIDFQEZRG-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000005684 electric field Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229920000573 polyethylene Polymers 0.000 description 2
- 229920000915 polyvinyl chloride Polymers 0.000 description 2
- 239000004800 polyvinyl chloride Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000013530 stochastic neural network Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002800 charge carrier Substances 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/482—Diagnostic techniques involving multiple energy imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
- G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/401—Imaging image processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/419—Imaging computed tomograph
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/423—Imaging multispectral imaging-multiple energy imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/408—Dual energy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/441—AI-based methods, deep learning or artificial neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Evolutionary Computation (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- High Energy & Nuclear Physics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Optics & Photonics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Pulmonology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measurement Of Radiation (AREA)
Abstract
コンピュータ断層撮影(CT)における機械学習画像再構成のための1つ以上の信頼度表示を決定するための方法及びシステムが提供される。この方法は、(S1)エネルギー分解X線データを取得することと、(S2)少なくとも1つの機械学習システムに基づいてエネルギー分解X線データを処理して、少なくとも1つの再構成基底画像又はその画像特徴の事後確率分布の表現を生成することとを備える。本方法は更に、事後確率分布の表現に基づいて、前記少なくとも1つの再構成基底画像、又は前記少なくとも1つの再構成基底画像に由来する少なくとも1つの派生画像、又は前記少なくとも1つの再構成基底画像又は前記少なくとも1つの派生画像の画像特徴に対する1つ以上の信頼度表示を生成する(S3)ことを含む。【選択図】図6A
Description
提案される技術は、X線技術、X線イメージング、および対応するイメージング再構成およびイメージングタスクに関する。特に、提案される技術は、コンピュータ断層撮影(CT:Computed Tomography)における深層学習画像再構成のための信頼度表示(confidence indications:信頼性指標)を決定するための方法およびシステム、スペクトルCTにおける深層学習画像再構成(deep-learning image reconstruction)のための不確実性マップを生成するための方法およびシステム、ならびに対応する画像再構成システムおよびX線撮像システム、ならびに関連するコンピュータプログラムおよびコンピュータプログラム製品に関する。
X線画像などの放射線画像は、医療用途や非破壊検査に長年使用されてきた。
通常、X線撮像システムは、X線源と、1つまたは多数の検出器素子(X線強度/影響度を測定する独立した手段)を含む複数の検出器を含むX線検出器アレイとを含む。X線源はX線を放出し、X線は被写体または撮像対象物を透過した後、検出器アレイによって登録される。X線を吸収する物質が他の物質よりも多いため、被写体または物体の画像が形成される。
X線画像検出器の課題は、検出されたX線から最大限の情報を抽出し、物体や被写体の画像に入力することである。
一般的な医療用X線画像システムでは、X線はX線管によって生成される。一般的な医療用X線管のエネルギースペクトルは幅広く、ゼロから180keVの範囲に及ぶ。そのため、検出器は通常、さまざまなエネルギーのX線を検出する。
図1を参照して、例示的な全体的なX線撮像システムの概要を簡単に説明することが有用であろう。この例示的であるが非限定的な実施例では、X線撮像システム100は、基本的に、X線源10、X線検出器システム20、及び関連する画像処理システム又は装置30から構成される。一般に、X線検出器システム20は、X線源10からの放射線を登録(register)するように構成され、任意選択でX線光学系によって集束され、対象物、被写体又はその一部を通過した放射線を登録する。X線検出器システム20は、画像処理システム30による画像処理及び/又は画像再構成を可能にするために、少なくとも部分的にX線検出器システム20に統合されている適切なアナログ及び読み出し電子機器を介して画像処理システム30に接続可能である。
一例として、X線コンピュータ断層撮影(CT)システムは、被写体又は物体の投影画像を少なくとも180度をカバーする異なる視野角(view angles:ビューアングル)で取得できるように配置されたX線源及びX線検出器を含む。これは、最も一般的には、被写体または物体の周りを回転できる支持体上に線源と検出器を取り付けることによって達成される。異なる視野角について異なる検出器要素(detector elements)に登録された投影を含む画像はサイノグラムと呼ばれ、以下では、検出器が二次元であっても、異なる視野角について異なる検出器要素に登録された投影の集合をサイノグラムと呼び、サイノグラムを三次元画像とする。
X線イメージングのさらなる発展は、エネルギー分解X線イメージングであり、スペクトルX線イメージングとしても知られている。これは、線源を2つの異なる発光スペクトルの間で高速に切り替えさせるか、異なるX線スペクトルを放出する2つ以上のX線源を使用するか、またはより顕著に、入射放射線を2つ以上のエネルギーレベルで測定するエネルギー弁別検出器を使用することによって達成することができる。このような検出器の一例は、マルチビン光子計数検出器(multi-bin photon-counting detector)であり、登録された各光子は、一組の閾値と比較される電流パルスを生成し、それにより、多数のエネルギービンの各々に入射した光子の数を計数する。
スペクトルX線投影測定では、通常、各エネルギーレベルの投影画像が得られる。Tapsovaara and Wagner,「SNR and DQE analysis of broadspectrum X-ray Imaging」,Rhys.Med.Biol.30,519に説明されたように、これらの加重合計を作成して、指定されたイメージングタスクのコントラスト対ノイズ比(CNR)を最適化できる。
エネルギー分解X線イメージングが可能にするもう一つの技術は、基底物質分解(basis material decomposition)である。この手法は、人体組織のような原子番号の小さい元素から構成される物質はすべて、エネルギー依存性が2つの基底関数の線形結合として近似的に表現できる線形減衰係数凡(E)を持つという事実を利用する。
ここで、f1とf2は基底関数、a1とa2は対応する基底係数である。より一般的には、f1は基底関数であり、a1は対応する基底係数である。イメージングに使用されるエネルギー範囲にK吸収端(K-absorption edge)が存在するのに十分な高原子番号の元素がイメージング体積中に1つ以上存在する場合、そのような元素ごとに1つの基底関数を追加しなければならない。医療用イメージングの分野では、このようなK吸収端元素は、典型的には、造影剤として使用される物質であるヨウ素またはガドリニウムであり得る。
基底物質分解については、Alvarez and Macovski,「Energy-selective reconstructions in X-ray computerised tomography」、Phys.Med.Biol.21、733に記載されており、基底物質分解では、i=1…N(Nは基底関数の数)について各基底係数の積分Ai=∫l aidlが、線源から検出器要素への各投影線lにおける測定データから推定される。ある実装では、これはまず、各エネルギービンにおける予想登録計数をAiの関数として表現することによって達成される。
ここで、λiはエネルギービンiに期待される計数(カウント数)、Eはエネルギー、Siは被写体に入射するスペクトル形状、検出器の量子効率及び、エネルギーEを持つX線に対するエネルギービンiの感度に依存する応答関数である。「エネルギービン(energy bin)」という用語は光子計数検出器に対して最も一般的に使用されるが、この式は多層検出器(multi-layer detectors)やkVpスイッチング線源のような他のエネルギー分解X線システムも表すことができる。
次に、各ビンの計数がポアソン分布の確率変数であるという仮定の下で、最尤法(maximum likelihood method)を用いてAiを推定することができる。これは、負の対数尤度関数(negative log-likelihood function)を最小化することによって達成される。Roessl and Proksa,「K-edge imaging in X-ray computed tomography using multi-bin photon counting detectors」、Phys.Med.Biol.52(2007),4679-4696を参照。
ここで、miはエネルギービンiの測定計数、Mbはエネルギービンの数である。
その結果、各投影線に対する推定された基底係数線積分優i(上リング付きAにi)を画像行列に配置すると、各基底iに対する物質固有の投影画像(基底画像とも呼ばれる)が得られる。この基底画像は、直接見ることもできるし(投影X線イメージングなど)、物体内部の基底係数aiのマップ(CTなど)を形成する再構成アルゴリズムへの入力として取り込むこともできる。いずれにせよ、基底分解の結果は、基底係数の線積分や基底係数自体のような1つ以上の基底画像表現とみなすことができる。
物体内部の基底係数aiのマップは、基底マテリアル画像、基底画像、マテリアル画像、マテリアル固有画像、マテリアルマップ、または基底マップ(a basis material image, a basis image, a material image, a material-specific image, a material map or a basis map)と呼ばれる。
しかし、この手法や他の手法のよく知られた限界は、推定線積分の分散(the variance of the estimated line integrals)が通常、基底分解に使用される基底の数とともに増加することである。とりわけ、これは組織の定量化の向上と画像ノイズの増加との間の不運なトレードオフをもたらす。
さらに、2つ以上の基底関数を用いて正確な基底分解を行うことは実際には難しく、アーチファクトやバイアス、過剰なノイズ(artifacts, bias or excessive noise)が発生する可能性がある。また、このような基底分解は、正確な結果を得るために、大規模な較正測定とデータの前処理を必要とする場合がある。
多くの画像再構成タスクは本質的に複雑であるため、人工知能(Al)や深層学習のような機械学習が一般的な画像再構成に使用され始め、満足のいく結果が得られている。しかし、深層学習のような機械学習による画像再構成における現在の問題点は、その説明可能性の低さである。画像は一見、ノイズレベルが非常に低いように見えても、実際にはニューラルネットワーク推定器のバイアスによる誤差を含んでいる。
したがって、コンピュータ断層撮影(CT)のための深層学習画像再構成のような機械学習画像再構成において、信頼性および/または説明可能性(explainability)を向上させる必要性がある。
Tapsovaara and Wagner,「SNR and DQE analysis of broadspectrum X-ray Imaging」,Rhys.Med.Biol.30,519
Alvarez and Macovski,「Energy-selective reconstructions in X-ray computerised tomography」、Phys.Med.Biol.21、733
Roessl and Proksa,「K-edge imaging in X-ray computed tomography using multi-bin photon counting detectors」、Phys.Med.Biol.52(2007),4679-4696
一般に、X線画像応用のための画像再構成に関する改良を提供することが望ましい。
本発明の目的は、コンピュータ断層撮影(CT)における深層学習画像再構成などの機械学習画像再構成の信頼度表示を決定する方法を提供することである。
本発明は、スペクトルCTにおける深層学習画像再構成などの機械学習画像再構成のための不確定性マップ生成方法を提供することを目的とする。
また、コンピュータ断層撮影(CT)における深層学習画像再構成などの機械学習画像再構成の信頼度表示を決定するシステムを提供することも目的とする。
別の目的は、スペクトルCTにおける深層学習画像再構成などの機械学習画像再構成のための不確実性マップを生成するシステムを提供することである。
さらに別の目的は、対応する画像再構成システムを提供することである。
さらに別の目的は、全体的なX線画像システムを提供することである。
さらに、対応するコンピュータプログラムおよびコンピュータプログラム製品を提供することも目的である。
これらおよび他の目的は、提案された技術の1つまたは複数の実施形態によって達成され得る。
本発明者らは、深層学習画像再構成のような機械学習画像再構成から得られる画像を信頼できるようにするためには、再構成画像(値:values)に対する信頼の程度(degree of confidence)を定量化するか、そうでなければ信頼の表示(indication)又は表現(representation)を決定することが非常に望ましいことに気付いた。これは、理論的には物質組成の定量的に正確なマップを生成することが可能であるが、特に3基底分解(three-basis decomposition)ではノイズレベルが高いため、深層学習再構成法などの機械学習画像再構成を画像再構成チェーンの重要な構成要素として使用しなければならない可能性がある、光子計数スペクトルCTにおいて特に重要であると考えられる。
本発明の基本的な考え方は、深層学習画像再構成のような機械学習画像再構成によって生成された各画像の不確実性マップや信頼性マップのような信頼度表示を放射線科医に提供することである。
一組の訓練データ(a set of training data)、例えば、測定されたエネルギー分解X線データセットと、ニューラルネットワークなどの機械学習システムの訓練用に特別に選択されたグランドトゥルースまたは再構成された基底物質マップの対応するセット(a corresponding set of ground truth or reconstructed basis material maps)とが、1つまたは複数の再構成された基底物質画像の確率分布を特定または近似するために使用され得ることが理解される。評価される新しい測定値の前のこのような分布は、事前分布と呼ばれる。X線画像データの表現の1つまたは複数の測定がさらに実行される場合、この測定の追加的な知識による可能な基底物質画像の確率分布は、事後確率分布(posterior probability distribution)として知られる。
第1の態様によれば、コンピュータ断層撮影(CT)における機械学習画像再構成のための1つ以上の信頼度表示を決定するための方法が提供される。方法は。
エネルギー分解X線データを取得するステップと、
少なくとも1つの機械学習システムに基づいて前記エネルギー分解X線データを処理して、少なくとも1つの再構成基底画像またはその画像特徴の事後確率分布の表現を生成するするステップと、
前記事後確率分布の表現に基づいて、少なくとも1つの再構成基底画像、または前記少なくとも1つの再構成基底画像に由来する少なくとも1つの派生画像、または前記少なくとも1つの再構成基底画像または前記少なくとも1つの派生画像の画像特徴に対する1つまたは複数の信頼度表示を生成するステップとを含む。
エネルギー分解X線データを取得するステップと、
少なくとも1つの機械学習システムに基づいて前記エネルギー分解X線データを処理して、少なくとも1つの再構成基底画像またはその画像特徴の事後確率分布の表現を生成するするステップと、
前記事後確率分布の表現に基づいて、少なくとも1つの再構成基底画像、または前記少なくとも1つの再構成基底画像に由来する少なくとも1つの派生画像、または前記少なくとも1つの再構成基底画像または前記少なくとも1つの派生画像の画像特徴に対する1つまたは複数の信頼度表示を生成するステップとを含む。
一例として、信頼度表示は1つ以上の不確実性マップ又は信頼性マップを含むことができる。このような不確実性マップ又は信頼性マップは、放射線科医に付加的な有用な情報を提供するために、様々な方法で関連する画像又は画像特徴と共に提示されることがある。
第2の態様によれば、コンピュータ断層撮影(CT)における機械学習画像再構成のための1つ以上の信頼度表示を決定するためのシステムが提供される。本システムは、エネルギー分解X線データを取得するように構成される。本システムは更に、少なくとも1つの機械学習システムに基づいてエネルギー分解X線データを処理して、少なくとも1つの再構成基底画像又はその画像特徴の事後確率分布の表現を得るように構成される。本システムはまた、事後確率分布の表現に基づいて、前記少なくとも1つの再構成基底画像、又は前記少なくとも1つの再構成基底画像に由来する少なくとも1つの派生画像、又は前記少なくとも1つの再構成基底画像又は前記少なくとも1つの派生画像の画像特徴に対する1つ又は複数の信頼度表示を生成するように構成される。
第3の態様によれば、信頼度表示を決定するためのこのようなシステムを含む対応する画像再構成システムが提供される。
第4の態様によれば、このような画像再構成システムを含む全体的なX線撮像システムが提供される。
第5の態様によれば、対応するコンピュータプログラムおよびコンピュータプログラム製品が提供される。
このようにして、コンピュータ断層撮影(CT)のための機械学習画像再構成における信頼性および/または説明可能性の向上が得られる可能性がある。
本実施形態は、そのさらなる目的および利点とともに、添付図面とともに以下の説明を参照することによって最もよく理解されよう。
より良く理解するために、全体的なX線画像処理システムの非限定的な実施例に関する入門的な説明を続けることが有用であろう。
図2は、X線を照射するX線源10と、X線を検出するX線検出器を有するX線検出器システム20とから構成されるX線撮像システム100の一例を示す概略図である。図2は、X線を放出するX線源10と、対象物を透過した後のX線を検出するX線検出器を有するX線検出器システム20と、X線検出器からの生の電気信号を処理してデジタル化するアナログ処理回路25と、を備えるX線撮像システム100の一例を示す概略図である、補正の適用、一時的な記憶、又はフィルタリングなど、測定されたデータに対する更なる処理操作を実行することができるデジタル処理回路40と、処理されたデータを記憶し、更なる後処理及び/又は画像再構成を実行することができるコンピュータ50と、を備える。本発明によれば、アナログ処理回路25の全部または一部をX線検出器システム20に実装することができる。
全体的なX線検出器は、X線検出器システム20、または関連するアナログ処理回路25と組み合わされたX線検出器システム20とみなすことができる。
デジタル処理回路40及び/又はコンピュータ50を含むデジタル部分は、X線検出器からの画像データに基づいて画像再構成を実行する画像処理システム30とみなすことができる。画像処理システム30は、コンピュータ50として定義されてもよく、あるいは、画像処理システム35(デジタル画像処理)は、デジタル処理回路40とコンピュータ50との組み合わせシステムとして定義されてもよく、あるいは、デジタル処理回路が画像処理および/または再構成にもさらに特化されている場合には、デジタル処理回路40単体として定義されてもよい。
一般的に使用されるX線画像システムの一例として、X線コンピュータ断層撮影(CT)システムがあり、これには、X線のファン・オス・コーン・ビームを生成するX線管と、患者または対象物を透過したX線の割合を測定するX線検出器の対向するアレイが含まれる。X線管と検出器アレイは、被写体の周りを回転するガントリに取り付けられている。
図3は、X線撮像システムの例示としてのCTシステムの概略ブロック図である。CTシステムは、ディスプレイ及び何らかの形式のオペレータインタフェース、例えばキーボード及びマウスを有することができるオペレータコンソール60を介してオペレータからコマンド及び走査パラメータを受信するコンピュータ50から構成される。オペレータから供給されたコマンド及びパラメータは、コンピュータ50によって、X線制御装置41、ガントリ制御装置42及びテーブル制御装置43に制御信号を供給するために使用される。具体的には、X線コントローラ41は、X線源10に電力及びタイミング信号を供給し、テーブル12上に横たわる対象物又は患者へのX線の放射を制御する。ガントリ制御装置42は、X線源10及びX線検出器20を構成するガントリ11の回転速度及び位置を制御する。テーブル制御装置43は、患者テーブル12の位置及び患者の走査範囲を制御及び決定する。検出器コントローラ44もあり、これは検出器20を制御及び/又は検出器20からデータを受信するように構成されている。
一実施形態では、コンピュータ50は、X線検出器から出力された画像データの後処理及び画像再構成も行う。これにより、コンピュータは、図1及び図2に示す画像処理システム30に相当する。関連するディスプレイにより、オペレータは再構成画像やコンピュータからのその他のデータを観察することができる。
ガントリ11に配置されたX線源10は、X線を放出する。例えば光子計数検出器の形態のX線検出器20が、患者を透過した後のX線を検出する。X線検出器20は、例えば、センサ又は検出器素子とも呼ばれる複数の画素と、検出器モジュールに配置されたASICなどの関連する処理回路とによって形成される。アナログ処理部分の一部は画素に実装され、残りの処理部分は例えばASICに実装される。一実施形態では、処理回路(ASIC)は画素からのアナログ信号をデジタル化する。処理回路(ASIC)はまた、補正の適用、一時的な記憶、及び/又はフィルタリングなど、測定データに対する更なる処理動作を実行することができるデジタル処理部を構成することができる。X線投影データを取得するためのスキャンの間、ガントリ及びその上に搭載された構成要素は、アイソセンタ(iso-center)を中心に回転する。
現代のX線検出器は通常、入射したX線を電子に変換する必要がある。これは通常、光電効果またはコンプトン相互作用(Compton interaction)によって行われ、その結果生じた電子は通常、エネルギーが失われるまで二次的な可視光を作り出し、この光は感光材料によって検出される。また、半導体をベースとした検出器もあり、この場合、X線によって生成された電子は、印加された電界によって収集される電子-正孔対という電荷を生成する。
エネルギー積分モードで動作する検出器は、多数のX線から積分された信号を提供するという意味で存在する。出力信号は、検出されたX線によって蓄積された総エネルギーに比例する。
医療用X線アプリケーションでは、光子計数(フォトンカウンティング)とエネルギー分解機能を備えたX線検出器が一般的になりつつある。光子計数方式のX線検出器は、基本的に各X線のエネルギーを測定できるため、被写体の組成に関する追加情報が得られるという利点があり、この情報は、画質の向上や放射線量の低減に利用することができる。
一般に、光子計数型X線検出器は、検出器材料中の光子の相互作用によって発生する電気パルスの高さを一連の比較器電圧(コンパレータ電圧)と比較することによって、光子のエネルギーを決定する。これらの比較器電圧はエネルギーしきい値とも呼ばれる。一般的に、比較器のアナログ電圧は、デジタルアナログ変換器(DAC)によって設定される。DACは、コントローラから送信されたデジタル設定を、光子パルスの高さを比較できるアナログ電圧に変換する。
光子計数検出器は、測定時間中に検出器内で相互作用した光子の数を数える。新しい光子は一般に、電気パルスの高さが少なくとも1つの比較器の比較器電圧を超えることで識別される。光子が識別されると、チャネルに関連するデジタルカウンタをインクリメントすることによってイベントが保存される。
複数の異なる閾値を使用する場合、検出された光子を様々な閾値に対応するエネルギービンに並べ替えることができる、いわゆるエネルギー弁別型光子計数検出器が得られる。このタイプの光子計数検出器は、マルチビン検出器とも呼ばれることがある。一般に、エネルギー情報は、新しい情報が利用可能で、従来技術に固有の画像アーチファクトを除去することができる、新しい種類の画像を作成することを可能にする。言い換えれば、エネルギー弁別型光子計数検出器では、パルスの高さが比較器内のプログラム可能ないくつかの閾値(T1-TN)と比較され、パルスの高さに従って分類される。言い換えれば、2つ以上の比較器から構成される光子計数検出器は、マルチビン光子計数検出器と呼ばれる。マルチビン光子計数検出器の場合、光子計数は、典型的には、各エネルギー閾値に対して1つずつ、一組のカウンタに記憶される。例えば、カウンタは、光子パルスが超えた最も高いエネルギー閾値に対応するように割り当てることができる。別の例では、カウンタは光子パルスが各エネルギー閾値を横切った回数を記録する。
一例として、エッジオン(edge-on)とは、X線検出素子やピクセルなどのX線センサが入射X線に対してエッジオンになるような、光子計数検出器のための特別で非限定的な設計である。
例えば、このような光子計数検出器は、少なくとも2つの方向の画素を有することができ、エッジオン光子計数検出器の方向の1つは、X線の方向の成分を有する。このようなエッジオン光子計数検出器は、入射X線の方向に2つ以上の深さセグメントの画素を有する深さセグメント光子計数検出器と呼ばれることがある。
あるいは、画素は、入射X線の方向と実質的に直交する方向にアレイ(non-depth-segmented:非深度分割)として配置されてもよく、画素の各々は、入射X線に対してエッジオンに配向されてもよい。言い換えれば、光子計数検出器は、入射X線に対してエッジオンに配置されたまま、非深度分割であってもよい。
吸収効率を高めるために、エッジオン型光子計数検出器をエッジオンに配置することも可能であり、この場合、吸収深度を任意の長さに選択することができ、エッジオン型光子計数検出器は、非常に高い電圧にすることなく、依然として完全に空乏化させることができる、
直接半導体検出器を通してX線光子を検出する従来のメカニズムは、基本的に以下のように動作する。検出器材料中のX線相互作用のエネルギーは、半導体欠陥内部で電子-正孔対に変換され、電子-正孔対の数は一般に光子エネルギーに比例する。電子と正孔は検出器の電極と裏面に向かってドリフトする(またはその逆)。このドリフトの間、電子と正孔は電極に電流を誘起し、この電流を測定することができる。
図4に示されるように、1以上の信号は、X線検出器の検出器素子21からアナログ処理回路(例えば、ASIC)25の入力、27に送られる。特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)という用語は、特定の用途のために使用され構成される一般的な回路として広く解釈されることが理解されるべきである。ASICは、各X線から発生した電荷を処理し、それをデジタルデータに変換し、光子数及び/又は推定エネルギーなどの測定データを得るために使用することができる。ASICは、デジタル処理回路に接続するように構成されているので、デジタルデータは、さらなるデジタル処理回路40及び/又は1つ以上のメモリ45に送られ、最終的に、データは、再構成画像を生成するための画像処理回路30の入力となる。
1つのX線イベントから発生する電子と正孔の数はX線光子のエネルギーに比例するため、1つの誘導電流パルスに含まれる全電荷はこのエネルギーに比例する。ASICのフィルタリングステップの後、パルス振幅は電流パルスの総電荷に比例し、したがってX線エネルギーに比例する。パルスの振幅は、その値を1つまたは複数の比較器(COMP)の1つまたは複数の閾値(THR)と比較することによって測定することができ、パルスが閾値より大きい場合の数を記録するカウンタが導入される。このようにして、ある時間枠内に検出された、それぞれの閾値(THR)に対応するエネルギーを超えるエネルギーを有するX線光子の数を計数および/または記録することが可能である。
ASICは通常、クロック・サイクルに1回アナログ光子パルスをサンプリングし、比較器の出力を登録する。比較器(しきい値)は、アナログ信号が比較器電圧を上回ったか下回ったかに応じて、1または0を出力する。各サンプルで利用可能な情報は、例えば、比較器がトリガされた(光子パルスがしきい値より高かった)かどうかを表す各比較器の1または0である。
光子計数検出器では、通常、光子計数ロジックがあり、新しい光子が登録されたかどうかを判定し、光子をカウンタに登録する。マルチビン光子計数検出器の場合、通常、複数のカウンタがあり、例えば各比較器に1つずつあり、光子カウントは光子エネルギーの推定値に従ってカウンタに登録される。ロジックはいくつかの異なる方法で実装することができる。光子計数ロジックの最も一般的な2つのカテゴリーは、いわゆるノンパラリザブル計数モード(non-paralyzable counting modes)とパラライザブル計数モード(paralyzable counting modes)である。その他の光子計数ロジックには、例えば、電圧パルス中の検出された局所的な極大値をカウントし、場合によってはそのパルスの高さも登録する局所極大値検出(local maxima detection)がある。
光子計数型検出器には、高い空間分解能、低い電子ノイズ、エネルギー分解能、物質分離能力(material separation capability、スペクトル撮像能力:spectral imaging ability)など、多くの利点があるが、これらに限定されるものではない。しかし、エネルギー積分型検出器(energy integrating detectors)には、高い計数率耐性という利点がある。計数率耐性(count-rate tolerance:カウントレート耐性)は、光子の全エネルギーが測定されるため、1つの光子を追加すれば、現在検出器に登録されている光子の量に関係なく、(合理的な範囲内で)常に出力信号が増加するという事実/認識に由来する。この決定的な利点は、エネルギー積分検出器が今日の医療用CTの標準となっている主な理由の一つである。
より良く理解するために、簡単なシステムの概要及び/又はいくつかの技術的問題の分析から始めることが有用であろう。この目的のために、先行技術による光子計数回路及び/又は装置の概略図を提供する図5を参照する。
光子が半導体材料中で相互作用すると、電子-正孔対のクラウドが生成される。検出器材料に電界をかけると、電荷キャリアは検出器材料に取り付けられた電極に集められる。信号は検出器素子からアナログ処理回路(ASICなど)の入力に送られる。特定用途向け集積回路(ASIC)という用語は、特定の用途に使用され構成される一般的な回路として広く解釈されることを理解されたい。ASICは、各X線から生成された電荷を処理し、それをデジタルデータに変換し、光子数及び/又は推定エネルギーなどの測定データを得るために使用することができ、一例では、ASICは、検出器材料に光子によって堆積されたエネルギーの量に比例する最大高さを有する電圧パルスが生成されるように電荷を処理することができる。
ASICは一組の比較器302を含むことができ、各比較器302は電圧パルスの大きさを基準電圧と比較する。比較器出力は通常、比較された2つの電圧のどちらが大きいかによってゼロまたは1(0/1)になりる。ここでは、電圧パルスが基準電圧より高ければ比較器出力は1であり、基準電圧が電圧パルスより高ければ0であると仮定する。デジタル-アナログ変換器、DAC、301は、ユーザまたは制御プログラムによって供給され得るデジタル設定を、比較器302によって使用され得る基準電圧に変換するために使用され得る。電圧パルスの高さが特定の比較器の基準電圧を超えた場合、その比較器をトリガされたと呼ぶことにする。各比較器は一般にデジタルカウンタ303と関連しており、このカウンタは光子計数ロジックに従って比較器出力に基づいてインクリメントされる。
一般に、基底物質分解は、人体組織のような原子番号の低い元素から構成されるすべての物質が、エネルギー依存性を2つ(またはそれ以上)の基底関数の線形結合として近似的に表現できる線形減衰係数凡(E)を有するという事実を利用する。
ここで、f1とf2は基底関数、a1とa2は対応する基底係数である。より一般的には、fiは基底関数、aiは対応する基底係数である。イメージングに使用されるエネルギー範囲にk吸収端が存在するのに十分な原子番号の高い元素がイメージング体積中に1つ以上存在する場合、そのような元素ごとに1つの基底関数を追加する必要がある。医療用イメージングの分野では、このようなk吸収端元素は、典型的には、造影剤として使用される物質であるヨウ素またはガドリニウムである。
前述のように、各基底係数a1の線積分Aiは、線源から検出器要素への各投影光線lの測定データから推測される。線積分Aiは次のように表すことができる。
ここで、Nは基底関数の数である。ある実施態様では、基底物質の分解は、まず、各エネルギービンにおけるカウントの予想登録数をAiの関数として表現することによって達成される。通常、そのような関数は、次のような形をとることができる。
ここで、λiはエネルギービンtの予想計数、Eはエネルギー、siは撮像対象物に入射するスペクトル形状、検出器の量子効率、エネルギービンiのエネルギーifのX線に対する感度に依存する応答関数である。「エネルギービン」という用語は、光子計数検出器に対して最も一般的に使用されているが、この式は、多層検出器やkVpスイッチング線源のような、他のエネルギー分解X線システムを説明することもできる。
次に、最尤法(maximum likelihood)を使用して、各ビンの計数がポアソン分布確率変数であるという仮定の下でAiを推定することができる。これは、負の対数尤度関数を最小化することによって達成される。Roessl and Proksa,「K-edge imaging in X-ray computed tomography using multi-bin photon counting detectors」,Phys.Biol.52(2007),4679-4696を参照。
ここで、miはエネルギービンiの測定計数、Mbはエネルギービンの数である。
線積分Aから、基底係数aiを得るための断層再構成を行うことができる。このステップを別の断層再構成とみなしてもよいし、全体の基底分解の一部とみなしてもよい。
前述したように、各投影線に対する推定された基底係数線積分優iを画像行列に配置すると、その結果は、各基底iに対する物質固有の投影画像(基底画像とも呼ばれる)である。この基底画像は、(例えば投影X線撮像において)直接見ることもできるし、(例えばCTにおいて)物体内部の基底係数aiのマップを形成するための再構成アルゴリズムへの入力として取り込むこともできる。いずれにせよ、基底分解の結果は、基底係数の線積分や基底係数そのものなど、1つ以上の基底画像表現とみなすことができる。
X線撮像の分野では、画像データの表現は、例えばサイノグラム、投影画像又は再構成CT画像から構成される。このような画像データの表現は、異なるチャンネルにおけるデータが異なるエネルギー区間における測定されたX線データに関連する複数のチャンネル、いわゆるマルチチャンネル又はマルチビンエネルギー情報から構成される場合、エネルギー分解されることがある。
エネルギー分解X線画像データの表現を入力として受け取る物質分解のプロセスを通じて、基底画像表現セットを生成することができる。このようなセットは、多数の基底画像表現の集合であり、各基底画像表現は、全X線減弱に対する特定の基底関数の寄与に関連する。このような一組の基底画像表現は、一組の基底サイノグラム、一組の再構成された基底CT画像又は一組の投影画像であってもよい。この文脈における「画像」は、例えば二次元画像、三次元画像又は時間分解画像系列を意味し得ることが理解されよう。
例えば、エネルギー分解X線画像データの表現は、エネルギービンサイノグラムのコレクション(collection of energy bin sinograms)から構成することができ、各エネルギーサイノグラムは、1つのエネルギービンにおいて測定された計数(カウント数)を含む。このエネルギービンサイノグラムのコレクションを物質分解アルゴリズムへの入力とすることにより、基底サイノグラムのセットを生成することができる。このような基底サイノグラムは、再構成アルゴリズムへの入力として取り込まれ、再構成基底画像を生成することができる。
2基底分解では、2つの基底画像表現が生成される。これは、撮像された物体内の任意の物質の減衰が、2つの基底関数上の線形結合として表現できるという近似に基づいている。3基底分解では、撮像された物体内の任意の物質の減衰が3つの基底画像上の線形結合として表現できるという近似に基づいて、3つの基底画像表現が生成される。同様に、4基底分解、5基底分解、および同様の高次分解を定義することができる。また、撮像対象物内のすべての物質を、密度スケールファクター(density scale factor)までの類似したエネルギー依存性を有するX線減弱係数を有するものとして近似することにより、1基底分解(one-basis decomposition)を行うことも可能である。
2基底分解は、例えば、水サイノグラムとヨウ素サイノグラムを含む基底サイノグラムの集合となり、それぞれ水とヨウ素の線形減衰係数によって与えられる基底関数に対応する。あるいは、基底関数は、水とカルシウム、カルシウムとヨウ素、ポリ塩化ビニルとポリエチレンの減衰を表してもよい。3基底分解は、例えば、水サイノグラム、カルシウムサイノグラム、ヨウ素サイノグラムを含む基底サイノグラムの集合をもたらす。あるいは、基底関数は水、ヨウ素、ガドリニウム、またはポリ塩化ビニル、ポリエチレン、ヨウ素の減衰を表す。
前述したように、人工知能(Al)や深層学習などの機械学習は、一般的な画像再構成に利用され始めており、ある程度の満足のいく結果を得ている。しかし、深層学習による画像再構成のような機械学習による画像再構成の現在の問題点は、その限定された経験性である。画像は一見ノイズが少ないように見えても、実際にはニューラルネットワーク推定器のバイアスによる誤差を含んでいる。
一般的に、深層学習とは、人工ニューラルネットワークや類似のアーキテクチャに基づく、表現学習を用いた機械学習手法のことである。学習には教師あり、半教師あり、教師なし(supervised, semi-supervised or unsupervised)がある。ディープニューラルネットワーク、ディープビリーフネットワーク、リカレントニューラルネットワーク、畳み込みニューラルネットワーク(deep neural networks, deep belief networks, recurrent neural networks and convolutional neural networks)などの深層学習システムは、コンピュータビジョン、音声認識、自然言語処理、ソーシャルネットワークフィルタリング、機械翻訳、ボードゲームプログラムなど、さまざまな技術分野に応用されており、人間の専門家のパフォーマンスに匹敵する、場合によってはそれを上回る結果を生み出している。
深層学習(ディープラーニング)の「ディープ」という形容詞は、ネットワークに多層を用いることに由来する。初期の研究では、線形パーセプトロン(linear perceptron)は普遍的な分類器(universal classifier:ユニバーサルクラシファイア)にはなり得ないが、非多項式の活性化関数を持ち、非束縛の幅を持つ1つの隠れ層を持つネットワークは普遍的な分類器になり得ることが示された。深層学習は、理論的に無制限な数の層があり、その大きさが有限であるため、実用的な応用と最適化された実装が可能であり、一方で穏やかな条件下では理論的な普遍性を保つことができる、最新のバリエーションである。深層学習では、効率性、訓練しやすさ、理解しやすさのために、層は異種であり、生物学的情報に基づくコネクショニスト・モデル(biologically informed connectionist models)から大きく逸脱することも許される。
本発明者らは、深層学習画像再構成のような機械学習画像再構成、特にコンピュータ断層撮影(CT)において、信頼性および/または説明可能性を改善する必要性があることに気付いた。
提案する技術は、一般に、ニューラルネットワークや深層学習などの機械学習に基づいて再構成画像および/または画像特徴の信頼性の指標を提供するために適用可能である。
前述のように、本発明者らは、深層学習画像再構成のような機械学習画像再構成から得られる画像(上述したようなもの)を信頼できるようにするためには、再構成画像(値)に対する信頼の程度を定量化するか、さもなければ信頼の表示又は表現を決定することが非常に望ましいことに気付いた。これは、理論的には物質組成の定量的に正確なマップを生成することが可能であるが、特に3基底分解ではノイズレベルが高いため、深層学習画像再構成のような機械学習を画像再構成チェーン(image reconstruction chain)の重要な構成要素として使用しなければならない、または使用すべきであることを意味する、光子計数スペクトルCTにおいて特に重要であると考えられる。
ある意味で、本発明の基本的な考え方は、深層学習画像再構成などの機械学習画像再構成によって生成される各画像または画像特徴について、不確実性マップなどの信頼性表示を放射線科医に提供することである。
第1の主要な態様によれば、コンピュータ断層撮影(CT)における深層学習画像再構成などの機械学習画像再構成のための信頼度表示を決定するための方法の非限定的な例が提供される。
図6Aは、コンピュータ断層撮影(CT)における深層学習画像再構成などの機械学習画像再構成の信頼度表示を決定する方法の一例を示す概略フロー図である。
基本的に、この方法は以下のステップを含む。
エネルギー分解X線データを取得する(S1)。
ニューラルネットワークなどの少なくとも1つの機械学習システムに基づいて前記エネルギー分解X線データを処理し、少なくとも1つの再構成基底画像またはその画像特徴の事後確率分布の表現を生成する(S2)。
事後確率分布の前記表現に基づいて、前記少なくとも1つの再構成画像、または前記少なくとも1つの再構成基底画像に由来する少なくとも1つの派生画像、または前記少なくとも1つの再構成基底画像または前記少なくとも1つの派生画像の画像特徴に対する1つまたは複数の信頼度表示を生成する(S3)。
エネルギー分解X線データを取得する(S1)。
ニューラルネットワークなどの少なくとも1つの機械学習システムに基づいて前記エネルギー分解X線データを処理し、少なくとも1つの再構成基底画像またはその画像特徴の事後確率分布の表現を生成する(S2)。
事後確率分布の前記表現に基づいて、前記少なくとも1つの再構成画像、または前記少なくとも1つの再構成基底画像に由来する少なくとも1つの派生画像、または前記少なくとも1つの再構成基底画像または前記少なくとも1つの派生画像の画像特徴に対する1つまたは複数の信頼度表示を生成する(S3)。
換言すれば、これは、少なくとも1つのニューラルネットワーク又は同様の機械学習システムに基づいてエネルギー分解X線データを処理して、少なくとも1つの基底画像又はその画像特徴の少なくとも1つの事後確率分布の表現を得ることとして表すことができる。次いで、この表現を処理して、1つ以上の画像又は画像特徴の信頼度表示を形成することができる。
一組の訓練データ、例えば、測定されたエネルギー分解X線データセットと、ニューラルネットワークなどの機械学習システムの訓練用に特別に選択されたグランドトゥルース(corresponding set of ground truth)または再構成された基底物質マップの対応するセットとが、1つまたは複数の再構成された基底物質画像の確率分布を特定または近似するために使用され得ることが理解される。評価される新しい測定値の前のこのような分布は、事前分布と呼ばれる。X線画像データの表現の1つまたは複数の測定がさらに実行される場合、この測定の追加的な知識による可能な基底物質画像の確率分布は、事後確率分布(posterior probability distribution)として知られる。
換言すれば、CT画像がどのように見えそうであるかについての事前情報は、典型的には、訓練入力画像データ及び出力画像データの組を含む訓練データセットによって特定される。このような入力画像データ及び出力画像データは、サイノグラム又はビン画像若しくはサイノグラム又は基底画像若しくはサイノグラムのような異なる内容を有する画像の形態をとることができる。各対における入力データを、入出力トレーニング対における対応する出力画像データと可能な限り類似する出力画像データにマッピングするためのマッピングをトレーニングすることにより、測定画像データからノイズ除去、基底画像への分解、または画像再構成を行うことができるマッピングが得られる。各対におけるトレーニング出力画像データは、ラベルとも呼ばれる。好ましい実施形態では、このようなマッピングは畳み込みニューラルネットワーク(CNN)の形態をとることができるが、サポートベクターマシンや決定木(support vector machines or decision trees)のような他の実施形態もあり、このマッピングを実現/構成することができる。ネットワーク出力と訓練出力画像データとの間の最良の一致を与えるマッピングを見つけるために、損失関数とも呼ばれるデータ不一致関数が、通常、ネットワーク出力と訓練出力画像データとの間のデータ不一致を計算するために使用される。本発明の好ましい実施形態では、前記マッピングは確率的であってもよく、これは同じ入力データに複数回適用されたときに異なる出力を与えることを意味する。この実施形態では、損失関数は、例えば、ネットワークによって生成された出力画像データの分布と訓練出力画像データの分布との間のカルバックライブラ距離またはワッサーシュタイン距離(Kullback-Leibler distance or Wasserstein distance)の形をとることができる。
一例として、畳み込みニューラルネットワークのトレーニングは、例えばADAMのような最適化手法を用いてこのデータ不一致を最小化することによって行われる。マッピングがトレーニングされると、測定された画像データをマッピングして出力画像データを生成することにより、実行時に適用することができる。例えば、確率的マッピングを入力画像データに複数回適用して、出力画像データの集合体(アンサンブル)を生成することができる。出力画像データの平均と標準偏差は、この集合体にわたって計算することができ、平均出力画像は、ノイズ除去画像、分解画像または再構成画像の推定値として使用することができ、標準偏差は、前記ノイズ除去画像、分解画像または再構成画像の不確実性の推定値として使用することができる。
本発明の別の実施形態では、2つの別々のニューラルネットワークが使用され、1つのネットワークは、出力画像データ、例えば再構成基底画像の推定値を生成するように訓練され、第2のネットワークは、出力画像データの不確実性の推定値、例えば再構成基底画像の不確実性のマップを生成するように訓練される。例えば、このようなネットワークを訓練する1つの方法は、最初に、上述のように出力画像データの事後分布からサンプルを生成する単一の確率的ニューラルネットワークを訓練し、次に、前記事後分布の平均および標準偏差を予測するために2つのニューラルネットワークを訓練することである。
本発明のさらに別の実施形態では、出力画像データの平均と標準偏差を予測するネットワークを直接学習することができる。これは、平均および標準偏差によってパラメータ化された出力確率分布を仮定し、ネットワークによって予測されたパラメータを有する出力確率分布と、訓練データセットに基づく出力画像データの事後分布の近似との間のラルバック・ライビエ差(Lullback-Leibler diference)またはワッサーシュタイン差(or the Wasserstein diference)などのデータ不一致尺度を最小化する(minimizing a data discrepancy measure)ことによって達成される。
本発明のさらに別の実施形態では、上記の方法の1つに従って実装されたニューラルネットワーク推定器を訓練して、非ニューライネットワークベースのCTデータ処理方法、例えば再構成、分解またはノイズ除去方法の不確実性を予測することができる。この目的のために、前記CTデータ処理方法の不確実性は、前記方法をノイズの多いデータ、例えばシミュレートされたデータ又は測定されたデータに繰り返し適用することによって予測することができ、ニューラルネットワークはそのようなノイズの多いデータを予測するように訓練することができる。
本発明の例示的な実施形態では、前記エネルギー分解X線データは、光子計数型X線検出器を用いて取得されるか、または前記エネルギー分解X線データを記憶する中間メモリから取得される。
エネルギー分解X線データが使用されるという事実は、マルチチャンネルエネルギー情報が採用されることを意味する。さらに、基底物質画像または物質固有画像または物質選択画像とも呼ばれる1つまたは複数の基底画像が考慮されるということは、複数の物質(すなわち少なくとも2つの基底物質)が全体的な分析に関与していることを意味する。これは、より高次元のコンテキストにつながる。
信頼度表示(confidence indication)は、深層学習画像再構成などの機械学習画像再構成によって最終的に再構成画像(単数又は複数)又は画像特徴(単数又は複数)の信頼度の任意の適切な表示であってもよく、例えば、再構成画像(単数又は複数)及び/又は画像特徴(単数又は複数)の信頼度及び/又は信憑度(confidence and/or trust)の関連する定量化であってもよい。信頼度表示はまた、後に詳細に例示するように、不確実性マップ(uncertainty map)のような信頼度の複雑な表現であってもよい。
信頼度表示の一例は、例えば推定ヨウ素濃度の標準偏差など、基底画像推定値の不確実性を示すマップである。これにより、再構成されたヨウ素基底画像においてヨウ素濃度の不確実性が高い領域を強調する画像が得られる。
信頼度表示のもう一つの例は、ある物質が様々な場所に存在するという信頼度を示す信頼性マップである。例として、このようなマップは、画像中に確実にヨウ素が存在する領域を強調表示する一方、ヨウ素が含まれていないと高い確度で言える領域は暗いままにしておくことができる。このような信頼性マップは、例えば、推定ヨウ素濃度をヨウ素濃度の推定標準偏差で割ることによって算出することができる。別の例では、このようなマップは、マップが特定の位置でヨウ素を含む事後確率を計算することによって計算することができる。信頼度表示のさらに別の例は、画像内の各点における1つ以上の基底物質の濃度に対する信頼区間(confidence interval:信頼性間隔)である。
例として、機械学習画像再構成は深層学習画像再構成であり、前記少なくとも1つの機械学習システムは少なくとも1つのニューラルネットワークを含む。
特定の例では、事後確率分布の表現は、平均分散、共分散、標準偏差、歪度、および尖度(a mean variance, a covariance, a standard deviation, a skewness, and a kurtosis)のうちの少なくとも1つを含む。
任意選択で、1つ以上の信頼度表示は、前記少なくとも1つの再構成基底画像における少なくとも1つの点についての誤差推定値又は統計的不確実性の尺度、及び/又は前記少なくとも1つの再構成基底画像から導出可能な少なくとも1つの画像測定値についての誤差推定値又は統計的不確実性の尺度を含むことができる。
例えば、誤差推定値または統計的不確実性の尺度は、誤差の上限、誤差の下限、標準偏差、分散、または平均絶対誤差(an upper bound for an error, a lower bound for an error, a standard deviation, a variance or a mean absolute error)のうちの少なくとも1つを含むことができる。
一例として、前記少なくとも1つの画像測定は、特徴の寸法測定、面積、体積、不均一性の程度、形状または不規則性の測定、組成の測定、および物質の濃度の測定(a dimensional measure of a feature, an area, a volume, a degree of inhomogeneity, a measure of shape or irregularity, a measure of composition, and a measure of concentration of a sub-stance)のうちの少なくとも1つを含むことができる。
後に例示するように、1つ又は複数の信頼度表示は、前記少なくとも1つの再構成基底画像、又は前記少なくとも1つの再構成基底画像に由来する少なくとも1つの派生画像、又はその画像特徴についての1つ又は複数の不確実性マップを含むことができる。
特定の実施例では、1つまたは複数の信頼度表示を生成するステップS3は、コンピュータ断層撮影法CT(Computed Tomography)用の再構成された物質選択X線画像の信頼性マップを生成することを含む。
一例として、信頼性マップは、機械学習画像再構成が所定の閾値以上の信頼度で、すなわち高い信頼度で判定できた、再構成された物質選択X線画像の部分を強調するように生成することができる。
例えば、1つ以上の信頼度表示を生成するステップS3は、深層学習に基づく物質分解から得られた物質濃度マップを入力とするニューラルネットワークによって、1つ以上の信頼性マップを生成することを含み得る。
図6Bに概略的に示される特定の実施例では、本方法は、取得されたエネルギー分解X線データに基づいて前記少なくとも1つの再構成基底画像またはその画像特徴を生成するために、S2a物質分解ベースの画像再構成および/または機械学習画像再構成を実行することをさらに含む。
一例として、物質分解に基づく画像再構成及び/又は機械学習による画像再構成を実行するステップS2aは、エネルギービンサイノグラムを入力とするニューラルネットワークによって、前記少なくとも1つの再構成基底画像又は画像特徴を生成することを含み得る。
任意選択の実施形態では、1つ以上の信頼指標を生成するステップS3は、個々の基底物質画像の不確実性または信頼性マップ、および異なる基底物質画像間の共分散を決定することを含んでもよい。 これにより、不確実性の伝播のための公式またはアルゴリズムを使用して、不確実性または信頼性マップを伝播して、派生画像の不確実性マップ(uncertainty map:不確かさのマップ)を生成することができる。
特定の実施例では、前記少なくとも1つの基底物質画像は、少なくとも1つの不確実性マップと共に生成されてもよく、不確実性マップは、前記少なくとも1つの基底物質画像の不確かさ又は誤差推定値の表現であり、前記少なくとも1つの基底物質画像及び前記少なくとも1つの不確実性マップは、別個の画像/マップとして又は組み合わせてユーザに提示可能である。
例えば、前記少なくとも1つの不確定性マップは、前記少なくとも1つの基底物質画像に対するオーバーレイとして提示可能であってもよいし、前記少なくとも1つの不確定性マップは、前記少なくとも1つの基底物質画像に対する歪曲フィルタ(distorting filter)によって提示可能であってもよい、
一例として、少なくとも1つの機械学習システムに基づいてエネルギー分解X線データを処理して事後確率分布の表現を生成するステップS2(図6A)またはS2b(図6B)は、ニューラルネットワークによって、取得されたエネルギー分解X線データが与えられた事後確率分布(posterior probability distribution)のサンプルを生成することからなり、1つまたは複数の信頼度表示を生成するステップS3は、複数のサンプルにわたる標準偏差として不確実性マップを生成することを含む。
任意の実施形態において、事後確率分布の表現を生成するために少なくとも1つの機械学習システムに基づいてエネルギー分解X線データを処理するステップS2またはS2bは、変分オートエンコーダとして実装されたニューラルネットワークを適用して、入力データベクトルを潜在ランダム変数の確率分布のパラメータにエンコードすることと、事後観測値を得るために対応するデコーダによる(その後の)処理のために、この確率分布から潜在ランダム変数の事後サンプルのコレクション(collection of posterior samples of the latent random variable)を抽出することとを含む。
特定の実施例では、1つ以上の信頼度表示を生成するステップS3は、少なくとも1つの基底係数の分散または標準偏差(covariance or correlation coefficient)の少なくとも1つのマップ、および/または前記少なくとも1つの再構成基底画像に関連する少なくとも1つの基底関数の組の共分散または相関係数の少なくとも1つのマップを生成することを含む。
本発明の例示的な実施形態では、事後確率分布の前記表現は、複数の画像特徴の平均及び分散によって規定される。
本発明の例示的な実施形態において、事後確率分布の前記表現は、前記分布からの多数のモンテカルロサンプル(Monte Carlo samples:モンテカルロ標本)によって与えられることができる。
本発明の例示的な実施形態では、前記ニューラルネットワークは、少なくとも5つの層を有する畳み込みニューラルネットワーク(CNN)である。
本発明の例示的な実施形態において、前記ニューラルネットワークに基づく処理は、確率的ニューラルネットワークによる処理を含み得る。
本発明の例示的な実施形態では、ニューラルネットワークは、ランダムドロップアウト、ノイズ挿入、変分オートエンコーダ、またはノイズ確率的勾配降下(random dropout, noise insertion, a variational autoencoder or noisy stochastic gradient de-scent)に基づいて動作するように構成される。
本発明の例示的な実施形態において、前記ニューラルネットワークに基づく前記処理は、事後確率分布の尺度を提供(provides a measure of the posterior probability distribution)する決定論的ニューライネットワークによる処理を含み得る。
本発明の例示的な実施形態では、前記ニューラルネットワークに基づく前記処理は、再構成画像または画像特徴の不確実性の尺度を提供(provides a measure of uncertainty of a reconstructed image or image feature)する決定論的なニューライネットワークによる処理を含むことができる。
本発明の例示的な実施形態において、前記ニューラルネットワークに基づく処理は、データ取得の少なくとも1つの物理モデルから計算された1つ以上の入力に基づくニューラルネットワークに基づく。
本発明の例示的な実施形態では、データ取得の物理モデルから計算される前記少なくとも1つの入力は、データ不一致関数の勾配、散乱光子分布の推定値、または検出器ピクセル間のクロストークの表現、またはパイルアップの表現(a gradient of a data discrepancy function, an estimate of a scattered photon distribution, or a representation of cross-talk between detector pixels, or a representation of pile-up)である。
本発明の例示的な実施形態では、前記処理は、アンロール最適化ニューラルネットワークアーキテクチャ(unrolled optimization neural network architecture)を含むニューラルネットワークに基づいている。
本発明の例示的な実施形態では、前記処理はクラメールラオの下限(Cramer-Rao lower bound)に基づく画像空間またはサイノグラム空間における少なくとも1つの標準偏差、分散または共分散マップを入力とするニューラルネットワークに基づく。
本発明の例示的な実施形態では、前記処理は、以下のステップを実行するニューラルネットワークに基づくことができる。
エネルギー分解X線画像データの少なくとも1つの表現(at least one
representation)に対して少なくとも2つの基底物質分解を実行し、少なくとも2つの元の基底画像表現セットをもたらすステップと、
前記元の基底画像表現セットの少なくとも2つから少なくとも2つの基底画像表現を取得または選択するステップと、
前記得られたまたは選択された基底画像表現を、前記ニューラルネットワークに基づくデータ処理で処理し、その結果、基底画像表現セットの事後確率分布を表現するステップ。
エネルギー分解X線画像データの少なくとも1つの表現(at least one
representation)に対して少なくとも2つの基底物質分解を実行し、少なくとも2つの元の基底画像表現セットをもたらすステップと、
前記元の基底画像表現セットの少なくとも2つから少なくとも2つの基底画像表現を取得または選択するステップと、
前記得られたまたは選択された基底画像表現を、前記ニューラルネットワークに基づくデータ処理で処理し、その結果、基底画像表現セットの事後確率分布を表現するステップ。
本発明の例示的な実施形態では、前記処理は、ラベル、すなわち訓練セット内のネットワーク入力に対応する所定の出力と、ネットワーク出力との間の画像空間またはサイノグラム空間における不一致尺度として計算される損失関数を最小化することによって訓練されるニューラルネットワークに基づく。
本発明の例示的な実施形態では、前記損失関数は、加重平均二乗誤差、カルバックライブラ擬距離(Kullback-Leibler distance)、またはワッサースタイン距離(Wasserstein distance)に基づく。
本発明の例示的な実施形態において、前記損失関数は、異なる重み係数で組み込まれた少なくとも2つの異なる基底物質成分を組み込んでいる。
本発明の例示的な実施形態では、前記損失関数は、元の基底に対して変換された基底における基底係数のセットに基づいて計算される。
本発明の例示的な実施形態では、アルゴリズムは、意図的にモデル誤差を導入して生成された画像データでトレーニングされる。これにより、ニューラルネットワーク推定器をモデル誤差およびモデルの不確実性に対してより堅牢(ロバスト)にすることができる。また、この手法により、未知のモデル誤差による画像の不確実性を確率的ニューラルネットワークに取り込ませることができる。
補完的な態様によれば、スペクトルCTにおける深層学習画像再構成などの機械学習画像再構成のための不確実性マップを生成する方法の非限定的な例が提供される。
図7は、スペクトルCTにおける深層学習画像再構成等の機械学習画像再構成のための不確定性マップ生成方法の一例を示す概略フロー図である。
この方法は、以下のステップを含む。
エネルギー分解X線データを取得するステップ(S11)。少なくとも1つの再構成基底画像またはその画像特徴の事後確率分布の表現が得られるように、少なくとも1つのニューラルネットワークに基づいて前記エネルギー分解X線データを処理するステップ(S12)。事後確率分布の前記表現に基づいて、少なくとも1つの再構成画像、または派生画像、またはその画像特徴について、1つまたは複数の不確実性マップを生成するステップ(S13)。
エネルギー分解X線データを取得するステップ(S11)。少なくとも1つの再構成基底画像またはその画像特徴の事後確率分布の表現が得られるように、少なくとも1つのニューラルネットワークに基づいて前記エネルギー分解X線データを処理するステップ(S12)。事後確率分布の前記表現に基づいて、少なくとも1つの再構成画像、または派生画像、またはその画像特徴について、1つまたは複数の不確実性マップを生成するステップ(S13)。
本発明の例示的な実施形態において、1つ以上の不確実性マップを生成するステップは、少なくとも1つの基底係数の分散または標準偏差のマップ、および/または少なくとも1つの基底関数の組の共分散または相関係数の少なくとも1つのマップを生成するステップを含む。
一例として、エネルギー分解X線データは、光子計数型X線検出器から取得されるか、光子計数型X線検出器によって取得されるか、または前記エネルギー分解X線データを記憶する中間メモリから取得される。
本発明の例示的な実施形態では、前記ニューラルネットワークは、少なくとも5つの層を有する畳み込みニューラルネットワーク(CNN)である。
本発明の例示的な実施形態では、事後確率分布の前記表現は、複数の画像特徴の平均及び分散によって規定される。
本発明の例示的な実施形態において、事後確率分布の前記表現は、前記分布からの多数のモンテカルロ標本(a number of Monte Carlo samples)によって与えられることができる。
本発明の例示的な実施形態において、前記ニューラルネットワークに基づく処理は、確率的ニューラルネットワーク(stochastic neural network)による処理を含み得る。
本発明の例示的な実施形態では、前記ニューラルネットワークは、ランダムドロップアウト、ノイズ挿入、変分オートエンコーダ、またはノイズ確率的勾配降下(random dropout, noise insertion, a variational autoencoder or noisy stochastic gradient de-scent)に基づいて動作するように構成される。
本発明の例示的な実施形態において、前記ニューラルネットワークに基づく前記処理は、確率分布の尺度を提供する決定論的ニューラルネットワークによる処理を含み得る。
本発明の例示的な実施形態では、前記ニューラルネットワークに基づく処理は、再構成画像または画像特徴の不確実性の尺度を提供する決定論的ニューラルネットワーク(deterministic neural network)による処理を含むことができる。
本発明の例示的な実施形態では、前記ニューラルネットワークに基づく処理は、データ取得の少なくとも1つの物理モデルから計算された1つ以上の入力に基づくニューラルネットワークに基づく。
本発明の例示的な実施形態では、データ取得の物理モデルから計算される前記少なくとも1つの入力は、データ不一致関数の勾配、散乱光子分布の推定値、または検出器ピクセル間のクロストークの表現、またはパイルアップの表現(a gradient of a data discrepancy function, an estimate of a scattered photon distribution, or a representation of cross-talk between detector pixels, or a representation of pile-up)である。
本発明の例示的な実施形態では、前記処理は、アンロール最適化ニューラルネットワークアーキテクチャ(unrolled optimization neural network architecture)を含むニューラルネットワークに基づいている。
本発明の例示的な実施形態では、前記処理は、クラメールラオの下限に基づく画像空間またはサイノグラム空間における少なくとも1つの標準偏差、分散または共分散マップを入力とするニューラルネットワークに基づく。
本発明の例示的な実施形態において、前記処理は、ラベルとネットワーク出力との間の画像空間またはサイノグラム空間における不一致尺度(a discrepancy measure in image space or sinogram space)として計算される損失関数を最小化することによって訓練されるニューラルネットワークに基づく。
本発明の例示的な実施形態では、前記損失関数は、少なくとも2つの異なる基底物質成分が異なる重み係数で組み込まれた加重平均二乗誤差(weighted mean square error)に基づいている。
提案技術の理解を容易にするための例示的な枠組みを提供するために、次に、CT画像再構成という特定の文脈における深層学習に基づく画像再構成の具体例を示す。
しかし、CTアプリケーションにおける深層学習画像再構成の信頼性の表示を提供するための提案された技術は、CTのための深層学習に基づく画像再構成に一般的に適用可能であり、深層学習に基づく画像再構成の以下の特定の例に限定されないことが理解されるべきである。
一例として、開示された発明は、再構成された物質選択X線CT画像の信頼性マップを提供することができる。このような信頼性マップは、再構成アルゴリズムが高い信頼度で決定できた画像の部分を強調することができる。
特に、このような画像は、ヨウ素のような造影剤の分布の画像に対して提供することができる。ヨウ素を3基底分解で定量化することはノイズに非常に敏感であり、したがって、深層学習アルゴリズムのような再構成アルゴリズムは、この画像を得るために事前情報を大きく利用する必要がある場合があることが理解される。従って、ヨウ素の濃度に対する信頼性マップは、例えば図8に模式的に示されるように、放射線科医のような観察者が画像を解釈できるようにするために有用である。
さらに、分解された基底画像およびサイノグラムのノイズは、通常、異なる基底物質画像間で高い相関があることが理解される。さらに、画像再構成アルゴリズムが不完全な場合、ヨウ素を含む領域のような基底画像の1つの特徴が、骨の基底画像のような別の基底画像にアーチファクトとして現れる可能性があることが理解される。したがって、個々の物質マップの不確かさだけでなく、異なる物質マップ間の共分散も予測することが重要である。これにより、不確かさの伝播のための公式またはアルゴリズムを使用して信頼性マップを伝播し、派生画像(例えば仮想非造影画像、仮想非カルシウム画像、仮想単エネルギー画像、または合成ハウンズフィールド単位画像の不確実性マップ(a virtual non-contrast image, a virtual non-calcium image, a virtual monoenergetic image, or a syn-thetic Hounsfield unit image))を得ることができる。
開示された本発明の非限定的な実施形態では、少なくとも1つの不確実性マップと共に少なくとも1つの基底物質画像を生成する方法が提供され、前記不確実性マップは、前記基底物質画像の不確かさ又は誤差推定値の表現である。このような少なくとも1つの不確実性マップと共に少なくとも1つの基底物質画像を、別個の画像として、または例えばカラーオーバーレイとして組み合わせてユーザに提示することができる。別の可能性としては、少なくとも1つの不確実性マップを、例えばぼかしフィルタによって、基底物質マップの歪みフィルタの形で提示することができる。
図9は、分散マップまたは不確実性マップとともに平均物質画像を生成する確率的ニューラルネットワークの非限定的な例を示す。
図10は、物質濃度マップを不確実性マップにマッピングするディープニューラルネットワークを示している。このようなマップは、基底物質マップと一緒に提示することも、別々に提示することもできる(Bone:骨、Soft Tissue:軟組織、Iodine:ヨウ素)。
また、高精度のCT画像を生成するには、光子計数検出器のような優れたエネルギー分解能を有する検出器が必要であることも理解される。エネルギー分解された測定データから高精度のCT画像を生成するためには、正確な物理モデルが有益であることも理解される。このような物理モデルは、例えば反復最適化ループをアンロールする(unrolling an iterative optimization loop)ことによって、深層学習画像処理又は再構成アルゴリズムに組み込むことができる。
図11は、サイノグラム空間基底物質分解のための、このようなアンロール反復ループの例示的な実施形態を示す。これにより、入力サイノグラムは、一連のニューラルネットワークブロックを通して処理され、各ブロックは、1つまたは複数のニューラルネットワーク層を含み得る。前述したように、エネルギーサイノグラムは、例えば、特定のエネルギービンにおいて測定された計数(カウント数)を含み得る。各ブロックは、例えば尤度関数または対数尤度関数(a likelihood function or log-likelihood function)などの目標関数の勾配の推定値とともに、先行するブロックからの出力を入力として偽る。本発明の一実施形態では、この尤度関数は、基底物質サイノグラムの推定値が与えられた測定カウントの特定の組み合わせを検出するための尤度関数とすることができる。好ましい実施形態では、ニューラルネットワークの層は、畳み込みニューラルネットワークの層、すなわち畳み込み層(convolutional layers)であり得る。好ましい実施形態では、ニューラルネットワークは、グラフィック処理ユニット(GPU)を使用して実装される。これは非限定的な例であり、ニューラルネットワーク内部の投影および逆投影操作によって、ネットワークが物質画像またはエネルギービン計数画像(energy bin count images)を物質画像に変換する、またはビン計数(ビンカウント)または物質サイノグラムを物質画像に変換することができることを理解されたい。
上述したアンロール勾配降下アルゴリズム(unrolled gradient descent algorithm)とは別に、ニュートン法、共役勾配法、ネステロフ加速法、またはプライマル-デュアル法(a Newton method, a conjugate gradient method, a Nesterov- accelerated method or a pri-mal-dual method)などの他の反復アルゴリズムをアンロールすることができ、その結果、異なるネットワークアーキテクチャ、または各ネットワーク層への入力としての画像推定値の異なる関数が得られる。
本発明の例示的な実施形態では、ニューラルネットワークアーキテクチャは、焦点スポット形状、X線スペクトル形状、電荷共有、患者内の散乱、検出器内部の散乱、またはパイルアップ(the focal spot shape, the x-ray spectrum shape, charge sharing, scatter in the patient, scatter inside the detector or pile-up)のモデルに基づく物理モード!または補正項を考慮した物質分解法に基づくことができる。これらにより、ニューラルネットワーク内の1つまたは複数のステップで、推定出力に異なる関数を適用することができる。
光子計数検出器と慎重な物理モデリング(careful physics modeling)の組み合わせにより、高精度の光子計数画像を生成することができる。この高精度の利点は、信頼性の高い誤差推定を提供することで向上することが理解される。提案する技術は、スペクトルCTとニューラルネットワークベースの誤差推定を併用することで、誤差推定とともに高精度の定量画像を生成できるという知見に基づいている。さらに、画像推定と不確かさ推定の両方は、画像取得の物理学に関する少なくとも1つのモデルを組み込むことによってさらに改善できることが理解される。
例として、不確実性マップを生成する方法を開示する。ベイズニューラルネットワークのような確率的ニューラルネットワークを使用して、観察/測定データ(observed / measured data)と訓練セット(training set)が与えられた1つ以上の画像の事後確率分布からサンプルを生成することができる。一例として、訓練セットは、入出力ペアのセットを含むことができ、各訓練入力はビンサイノグラムのセットであり、訓練出力(ラベル)は基底画像のセットである。このような組は、例えば、数値ファントムのCT撮像のシミュレーションを通じて、又は、既知の組成を有する物理的ファントム(physical phantoms)の測定を通じて生成することができる。別の例では、このようなトレーニングペアは患者のCT撮像によって生成され、トレーニング出力は再構成画像として得られ、トレーニング入力は測定されたサイノグラムとして、余分なノイズが追加された修正サイノグラムとして、又はより低い線量で取得された同じ被写体の別のCT撮影からのサイノグラムとして得ることができる。訓練出力と比較してノイズが増加した訓練入力を使用することによって、結果として得られる訓練されたニューラルネットワークは、ノイズを低減する能力を達成することができ、本発明の別の実施形態では、入力データは、基底サイノグラムの集合、再構成されたビン画像の集合、又は基底画像の集合であってもよく、本発明のさらに別の実施形態では、入力データは、基底サイノグラムの集合、再構成されたビン画像の集合、又は基底画像の集合であってもよい、このようにして、サイノグラム領域または画像領域のいずれかで動作し、基底またはビン画像またはサイノグラムの基底分解またはノイズ除去を実行するニューラルネットワークを構築することができる。
一旦訓練されると、ニュートラルネットワークは、観察/測定されたデータを処理して、例えば臨床設定における「ランタイム(run-time)」中に、考慮された各画像の不確実性マップ又は信頼性マップのような信頼性表示を生成する準備が整う。この種のニューラルネットワークは、入力に依存するランダム変数である出力をネットワークに提供する。同じデータをこのネットワークに供給することにより、事後確率分布をサンプリングすることができる。例えば、不確実性マップは、このような多数のサンプルの標準偏差として生成することができる。
基底物質画像の不確実性マップを生成するこのようなニューラルネットワークは、マルチエネルギーチャネル画像および/またはサイノグラムデータを処理するために特別に設計される必要がある。具体的には、このようなニューラルネットワークは、エネルギー分解された測定データの少なくとも2つの表現、例えば2つのエネルギービン画像または2つの事前分解された基底物質画像を入力とすることができる。また、このようなニューラルネットワークは、少なくとも1つの基底物質画像の少なくとも1つの不確定性マップを生成することができる。このようなニューラルネットワークは、異なる物質マップを共同で処理してもよいし、別個に処理してもよいし、いくつかの層については別個に処理し、その後、少なくとも1つの層については共同で処理してもよい。
基底物質画像または不確定性マップ、またはその両方を生成するためのニューラルネットワーク推定器は、得られる画像の空間分解能を調整するために、調整可能なフィルタサイズを有する平滑化フィルタを組み込むことができることが理解される。このような調整可能なフィルタまたはフィルタは、例えば、少なくとも1つの層においてガウス平滑化の形態をとることができる。ニューラルネットワークは、前記調整可能なフィルタまたはフィルタの1つまたは複数のパラメータを変化させたときに、変化する解像度特性を有する一連の画像を生成するように訓練することができる。訓練後、ニューラルネットワークは、前記調整可能なフィルタの少なくとも1つのパラメータを調整することによって、変化する解像度の画像を生成するために使用することができる。このような調整可能フィルタは、各物質画像において所望の空間分解能およびノイズ特性を達成するために、異なる基底物質画像に異なるフィルタ特性、例えば、カーネルサイズで適用することができる。
ベイジアンニューラルネットワークは、訓練入力画像が与えられたときの出力分布と、訓練出力画像の分布(訓練ラベルとも呼ばれる)との間の不一致を最小化することによって訓練することができる。このような不一致は、平均二乗誤差、カルバックライブラダイバージェンス、またはワッサースタイン距離(a mean squared error, a Kullback-Leibler divergence or a Wasserstein distance)で測定することができる。「訓練入力画像(training input images)」および「訓練出力画像(training output images)」の概念は、非限定的なものであり、例えば、ビン画像またはサイノグラム、あるいは基底画像またはサイノグラムとなり得る画像データの表現を指すことが理解されるべきである。
このような確率的ニューラルネットワークは、例えば、固定され得るかまたはデータから学習され得るある確率でネットワークが接続するランダムドロップアウト(random dropout)に基づくことができる(図13)。本発明の別の実施形態では、確率的ニューラルネットワークは、少なくとも1つのネットワーク層の後の付加的ノイズ挿入(additive noise insertion)に基づくことができる(図14)。この加法的ノイズ挿入は、乗法的ノイズ挿入または他のタイプのノイズ挿入に置き換えることもできる。
本発明の別の実施形態では、確率的ニューラルネットワークは変分オートエンコーダ(variational autoencoder)として実装される(図15)この変分オートエンコーダは、まずデータ入力ベクトルを正規分布パラメータなどの潜在確率変数の確率分布のパラメータにエンコードする。次に潜在変数の事後サンプルの集合が潜在分布から引き出され、結果の事後観測値を得るためにデコーダによって処理される。これらの事後オブザベーションは、事後平均(最終結果)と事後分散(posterior variance、結果の不確実性マップ)を計算するために使用される。
特に、ニューラルネットワークを訓練するために使用されるこの不一致又は損失関数(discrepancy or loss function)は、異なる基底成分を異なるように扱うことにより、それらの異なるノイズレベル及び潜在的に異なる臨床的重要性を反映して、スペクトルCT物質分解の状況に適合されることが最適である。一例として、データ不一致が計算される前に、基底画像は基底の変更によって変換されることがある。例えば、データの不一致は、トレーニングセットからの基底画像とネットワークからの出力として生成された基底投影とを比較することによって計算することができ、別の例では、データの不一致は、基底画像を一組のモノエネルギー画像(set of monoenergetic images)に変換し、これらをトレーニングセットとネットワーク出力との間で比較することによって計算することができる。データの不一致の計算にどのタイプの画像が使用されるかに応じて、ニューラルネットワークのノイズ除去方法の性能は、エンドユーザに示すのに関心のあるタイプの画像に対して最適化することができる。別の例では、データ不一致を計算する数学的関数は、低ノイズがより重要である画像のタイプにおいて、不偏性(unbiasedness)がより重要である画像のタイプと比較して、より大きなノイズ抑制を得るために、基底画像の異なる線形結合を異なるように重み付けすることができる。例えば、試料の物質組成を正確に評価するためには、有効原子番号(effective atomic number)のマップにおいて不偏性を達成することがより重要である一方で、70keVの単色画像においてノイズを最小化することが好ましい場合がある。
不確定性マップの生成の一部として、又は不確定性マップの生成に加えて、開示された方法を使用して、1つ又は複数の導出された画像特徴、例えば放射線画像特徴の不確定性推定値を生成することが可能である。このような特徴の例としては、病変の体積、領域の平均密度、領域の平均有効原子番号、又は領域にわたる不均一性の標準偏差又は別の尺度が挙げられる。このような派生特徴の誤差推定値を生成するために、確率的ニューラルネットワークを使用して画像リアライゼーションのセット(a set of image realizations)を生成することができる。そして、特徴の不確実性は、例えば、これらのリアライゼーションの標準偏差として求めることができる。
例えば、2つ以上の基底関数を用いて正確な基底分解を行うことは実際には難しく、アーチファクトや偏り(bias:バイアス)、過剰なノイズが発生する可能性がある。また、このような基底分解は、正確な結果を得るために、大規模な較正測定やデータの前処理を必要とする場合がある。一般に、より多くの基底関数への基底分解は、より少ない基底関数への分解よりも技術的に困難な場合がある。
例えば、2基底分解と比較して、画像の偏りやアーチファクトの少ない3基底分解を行うのに十分な精度のキャリブレーションを行うことが困難な場合がある。また、過度にノイズの多い基底画像を生成することなく、ノイズの多いデータで3基底分解を実行できる物質分解アルゴリズムを見つけることが困難な場合がある。すなわち、クラメールラオの下限によって与えられる基底画像ノイズの理論的下限を達成することが困難な場合がある一方、2基底分解を実行する場合にはこの下限を達成することが容易な場合がある。
一例として、より多くの数の基底画像表現を生成するために必要な情報量は、各々がより少ない数の基底画像表現を有する複数の基底画像表現のセットから抽出することが可能である場合がある。例えば、水、カルシウム、ヨウ素のサイノグラムへの3つの基底分解を生成するのに必要な情報は、3つの2つの基底分解(水-カルシウム分解、水-ヨウ素分解、カルシウム-ヨウ素分解)のセットから抽出することが可能な場合がある。
単一の3基底分解を正確に実行するよりも、複数の2基底分解を正確に実行する方が簡単かもしれない。この観察は、例えば、正確な3基底分解を実行する問題を解決するために使用することができる。例として、エネルギー分解された画像データは、まず、水-カルシウム分解、水-ヨウ素分解、およびカルシウム-ヨウ素分解を実行するために使用される。次に、畳み込みニューラルネットワークを使用して、得られた6つの基底画像、またはそのサブセットを、水、カルシウム、およびヨウ素画像を含む3つの出力画像のセットにマッピングすることができる。このようなネットワークは、入力データとして複数の2基底画像表現セット、出力データとして3基底画像表現セットを用いて訓練することができ、前記2基底画像表現セットおよび3基底画像表現セットは、測定された患者画像データもしくはファントム画像データから、または数値ファントムに基づくシミュレーション画像データから生成されている。
前述の方法により、3基底画像表現セットのバイアス、アーチファクト、またはノイズは、エネルギー分解画像データに対して直接実行される3基底分解と比較して大幅に低減することができる。あるいは、より高解像度の画像を生成することができる。
ニューラルネットワークの代替または補完として、元の基底画像に適用される機械チーミングシステムまたは方法は、サポートベクターマシンまたは決定木ベースのシステムまたは方法などの別の機械学習システムまたは方法を含むことができる。
元の基底画像表現を生成するために使用される基底物質分解ステップは、例えば体積又は質量の保存制約又は非負性制約(volume or mass preservation constraints or nonnegativity constraint)のような事前情報を含むことができる。あるいは、このような事前情報は、例えば以前の検査からの画像や全エネルギービンの総計カウントから再構成画像などの事前画像表現の形をとることができ、アルゴリズムは、分解された基底画像表現のこの事前画像表現からの逸脱にペナルティを課すことができる。別の選択肢は、例えば学習済み辞書や事前学習済み畳み込みニューラルネットワークとして表される学習画像セットから学習した事前情報、または学習済み部分空間、すなわち再構成画像が存在すると予想される可能な画像のベクトル空間の部分空間を使用することである。
物質分解は、例えば、測定された各投影光線を独立に処理することにより、投影画像データまたはサイノグラムデータに対して実施することができる。この処理は、最尤分解、または、撮像された物体内の物質組成に関する事前確率分布が仮定される最大事後分解の形態をとることができる。また、入力カウントの集合から出力カウントの集合への線形またはアフィン変換、Alvarez(Med Phys:2324-2334)、低次多項式近似例えばLeeら(IEEE Transactions on Medical Imaging(Volume:36 , Issue:2 , Feb.2017: 560-573)により例示的に記載されるような)、Alvarez(https://arxiv.org/abs/1702.01006)により例示的に記載されるようなニューラルネットワーク推定器またはルックアップテーブル。あるいは、物質分解法は、複数の光線を共同で処理してもよいし、1段階または2段階の再構成アルゴリズムを構成してもよい。
Optical Engineering 58(1), 013104に掲載されたChenとLiによる論文では、ディープニューラルネットワークを用いてスペクトルCTデータのマルチマテリアル分解を行う方法が開示されている。
Scientific Reports第9巻、論文番号:17709(2019年)に掲載されたPoirotらの論文は、畳み込みニューラルネットワークを用いてデュアルエネルギーCT画像から非造影シングルエネルギーCT画像を生成する方法を開示している。
図8は、実施形態による不確実性マップの一例を示す概略図である。ヨウ素マップがヨウ素濃度の推定値を示すのに対し、ヨウ素信頼性マップは、画像の各所与の画素にヨウ素が存在することをアルゴリズムが予測できる信頼度を示す。得られた画像は、高い確率でヨウ素が存在する領域を強調し、暗い領域はヨウ素が存在しない可能性が高い領域である。
図9は、物質分解問題を解決するために使用できるベイズ型または確率的ニューラルネットワークの一例を示す概略図である。この例示的なニューラルネットワークは、入力として8つのエネルギービンサイノグラムを取り、出力として物質サイノグラムの数Tを生成する。ニューラルネットワークはマッピングΨθで表され、θはランダムなパラメータベクトルである。このマッピングはランダムなパラメータに依存するため、同じ入力データにネットワークを複数回適用すると、異なる出力が得られる。このような出力の集合体の平均は物質マップの推定値として使用され、一方、分散は不確実性マップの推定値として使用される。
図10は、深層学習に基づく物質分解から得られた物質濃度マップを取り込み、信頼性マップを生成するニューラルネットワーク推定器の一例を示す概略図である。これらの信頼性マップは、骨、軟部組織及びヨウ素がそれぞれ存在する可能性が高い画像の領域を強調する。画像からわかるように、ヨウ素信頼性マップは、ヨウ素を取り込んでいる腫瘍がある領域を強調するが、この領域にヨウ素があることをアルゴリズムが完全に否定できないため、脊椎領域にも低いがゼロではない値を付ける。深層学習に基づく物質分解から得られた物質濃度マップへのニューラルネットワークの適用は例示的なものであり、本発明の別の実施形態では、ニューラルネットワークを、フィルタ逆投影などの他の方法を用いて再構成画像に適用することができる。
図11は、アンロール型反復物質分解法に基づくサイノグラム空間物質分解のためのニューラルネットワークを示す概略図である。この方法は、予め定義された反復回数の反復ノイズ除去法に基づくものであり、各反復における更新ステップがニューラルネットワークに置き換えられている。この例示的な実施形態では、勾配降下アルゴリズムがアンロールされ、各反復ステップで勾配が計算され、次のネットワークへの追加入力として取り込まれることを意味し、それによって、ノイズ除去の基礎となる物理学および統計モデルに関する情報がネットワークに提供される。
図12は、エネルギービンサイノグラムを入力とし、再構成された基底物質画像を生成するニューラルネットワークの一例を示す概略図である。例として、8つのエネルギービンサイノグラムを生成する検出器を使用することができ、これらは8つの入力チャネルとしてニューラルネットワークに供給される。この例では、3つの出力チャンネルが3つの基底画像(骨、軟組織、ヨウ素)に対応する。
図13は、エネルギービンサイノグラムを入力とし、ランダムドロップアウトに基づいて再構成された基底物質画像を生成する確率的ニューラルネットワークの一例を示す概略図である。ネットワークが入力サイノグラムのセットに適用されるたびに、ネットワークの重みのランダムな選択がランダムにゼロに設定され、ランダムなネットワーク出力を与える。
図14は、エネルギービンサイノグラムを入力とし、加算ノイズの挿入に基づいて再構成された基底物質画像を生成する確率的ニューラルネットワークの一例を示す模式図である。ネットワークの各層のノードにノイズ値を付加することにより、出力される基底画像は入力されたビンサイノグラムのランダムな関数となる。このように、同じ入力画像にネットワークを複数回適用することにより、出力画像のランダムな分布を与えることができ、この分布が入力データが与えられた画像の事後分布と一致するようにネットワークを学習させることができる。
図15は、エネルギービンサイノグラムを入力とし、変分オートエンコーダに基づいて再構成基底物質画像を生成する確率的ニューラルネットワークの一例を示す概略図であり、エンコーダ、ランダム特徴生成部、デコーダから構成される。エンコーダは、エネルギービンサイノグラムを特徴平均ベクトルと分散ベクトルに変換する。これらのベクトルは、ランダム特徴ベクトルをランダムに生成するためのパラメータとして使用される。このベクトルは、例えば、エンコーダ部からの出力ベクトルによって与えられる平均と分散を持つ多変量正規分布からのサンプルとして選択することができる。このランダムな特徴ベクトルをデコーダネットワークの入力とし、骨、軟組織、ヨウ素基底画像を生成する。このように、変分オートエンコーダ全体は、入力サイノグラムを出力基底画像のセットにマッピングする確率的ニューラルネットワークとして機能し、これらの出力画像は決定論的ではなく、統計的分布からサンプリングされる。この分布が、入力データが与えられたときの画像の事後分布と一致するように、ネットワークを訓練することができる。
深層ニューラルネットワークを使用したマッピングの不確実性の非限定的な例示的な機能には、以下のようなものがある。
a. ニューラルネットワークは、解の事後確率分布を近似するように学習する。
b. ニューラルネットワークはランダム関数として機能する。つまり、同じオブザベーション 「y」(ネットワーク入力)で、ネットワークはK個の異なる解(ネットワーク出力、X1、X2、...、XK)を提供することができる。
・ベイジアンネットワークでは、これは例えばランダムドロップアウトによって達成される。
・変分エンコーダの後処理では、ランダムな潜在パラメータZが存在する。
・生成ネットワークでは、ランダムな入力パラメータZが存在する。
c.解の事後確率分布を学習するために、ニューラルネットワークの学習損失に統計的距離が使用される(KL発散、ワッサーシュタイン距離など)。
a. ニューラルネットワークは、解の事後確率分布を近似するように学習する。
b. ニューラルネットワークはランダム関数として機能する。つまり、同じオブザベーション 「y」(ネットワーク入力)で、ネットワークはK個の異なる解(ネットワーク出力、X1、X2、...、XK)を提供することができる。
・ベイジアンネットワークでは、これは例えばランダムドロップアウトによって達成される。
・変分エンコーダの後処理では、ランダムな潜在パラメータZが存在する。
・生成ネットワークでは、ランダムな入力パラメータZが存在する。
c.解の事後確率分布を学習するために、ニューラルネットワークの学習損失に統計的距離が使用される(KL発散、ワッサーシュタイン距離など)。
第2の主要な態様によれば、コンピュータ断層撮影(CT)における深層学習画像再構成などの機械学習画像再構成のための信頼度表示を決定するための対応するシステムの非限定的な例が提供され、信頼度表示を決定するためのシステムは、エネルギー分解X線データを取得するように構成される。本システムはさらに、1つ以上のニューラルネットワークなどの少なくとも1つの機械学習システムに基づいてエネルギー分解X線データを処理して、少なくとも1つの再構成基底画像またはその画像特徴の事後確率分布の表現を得るように構成される。本システムはまた、前記事後確率分布の表現に基づいて、前記少なくとも1つの再構成画像、又は前記少なくとも1つの再構成基底画像に由来する少なくとも1つの派生画像、又は前記少なくとも1つの再構成基底画像又は前記少なくとも1つの派生画像の画像特徴に対する1つ又は複数の信頼度表示を生成するように構成される。
前述のように、機械学習画像再構成は、例えば、深層学習画像再構成であってもよく、前記少なくとも1つの機械学習システムは、少なくとも1つのニューラルネットワークを含んでもよい。
一例として、1つ又は複数の信頼度表示は、前記少なくとも1つの再構成基底画像における少なくとも1つの点についての誤差推定値又は統計的不確実性の尺度、及び/又は前記少なくとも1つの再構成基底画像から導出可能な少なくとも1つの画像測定値についての誤差推定値又は統計的不確実性の尺度を含み得る。
任意選択で、本システムは、前記少なくとも1つの再構成基底画像、又は前記少なくとも1つの再構成基底画像に由来する少なくとも1つの派生画像、又はその画像特徴について、1つ又は複数の不確実性マップの形態で前記1つ又は複数の信頼度表示を生成するように構成され得る、
特定の実施例では、本システムは、コンピュータ断層撮影(CT)用の再構成された物質選択X線画像に対する信頼性マップの形態で、前記1つ以上の信頼度表示を生成するように構成され得る。
一例として、本システムは、前記少なくとも1つの再構成基底画像又はその画像特徴を生成するために、入力としてのエネルギービンサイノグラムに基づいて、物質分解に基づく画像再構成及び/又は機械学習による画像再構成を実行するように更に構成される。
任意選択で、システムは、前記機械学習画像再構成が閾値以上の信頼度で判定できた再構成された物質選択X線画像の部分を強調するように信頼性マップを生成するように構成され得る。
補完的な態様によれば、スペクトルCTにおける深層学習画像再構成のような機械学習画像再構成のための不確定性マップを生成するための対応するシステムの非限定的な例が提供される。不確定性マップを生成するためのシステムは、エネルギー分解X線データを取得するように構成される。本システムは更に、少なくとも1つの基底画像又はその画像特徴の事後確率分布の表現が得られるように、1つ以上のニューラルネットワーク等の少なくとも1つの機械学習システムに基づいて前記エネルギー分解X線データを処理するように構成される。また、前記システムは、前記事後確率分布の表現に基づいて、少なくとも1つの再構成画像、又は派生画像、又はその画像特徴に対する1つ以上の不確定性マップを生成するように構成される。
追加の態様によれば、信頼度表示を決定するためのこのようなシステム、および/または、深層学習画像再構成のための不確実性マップを生成するためのこのようなシステムを含む、対応する画像再構成システムが提供される。
別の態様によれば、このような画像再構成システムを含む全体的なX線撮像システムが提供される。
さらに別の側面によれば、対応するコンピュータプログラムおよびコンピュータプログラム製品が提供される。
本発明の例示的な実施形態では、エネルギー分解X線(画像)データを取得又は入手するステップ又は構成は、CT撮像システムによって行われる。
本発明の例示的な実施形態では、エネルギー分解X線(画像)データを取得または入手するステップまたは構成は、マルチビン光子計数X線検出器とも呼ばれるエネルギー分解光子計数検出器によって行われる。
あるいは、エネルギー分解X線(画像)データを取得するステップまたは構成は、マルチX線管取得、低速または高速kVスイッチング取得、マルチレイヤー検出器またはスプリットフィルタ取得によって行われる。
本発明の例示的な実施形態において、機械学習は、畳み込みニューラルネットワークに基づくことができる機械学習アーキテクチャおよび/またはアルゴリズムを含む。あるいは、前記機械学習アーキテクチャおよび/またはアルゴリズムは、サポートベクターマシンまたは決定木ベースの方法に基づいてもよい。
本発明の例示的な実施形態では、畳み込みニューラルネットワークは、残差ネットワーク(ResNet)、残差エンコーダ-デコーダ、U-Net、AlexNet、またはLeNetアーキテクチャに基づいてもよい。 あるいは、畳み込みニューラルネットワークに基づく機械学習アルゴリズムは、勾配降下アルゴリズム、原始-双対アルゴリズム、または交互方向乗算法(ADMM)アルゴリズム(an unrolled optimization method based on gradient descent algorithm, a pri-mal-dual algorithm or an alternating direction method of multipliers (ADMM) algorithm)に基づくアンロール最適化法に基づいてもよい。
本発明の例示的な実施形態では、畳み込みニューラルネットワークは、ネットワークアーキテクチャの一部として、少なくとも1つの順投影または少なくとも1つの逆投影を含む。
より良く理解するために、次に提案技術の例示的かつ非限定的な例を説明する。
一例として、例えば、異なる再構成基底画像のバイアス、分散及び/又は共分散の推定値を生成するために、別個の機械学習ベースの推定器を導入することによって、不確実性マップ又は信頼性マップのような信頼性表示を決定することが可能である。これらの推定値は、仮想単色画像や仮想非コントラスト画像などの派生画像の不確実性マップを生成するために伝搬される。
これらのマップを生成するには、さまざまな方法がある。1つの方法は、再サンプリングされた訓練データセットに対してニューラルネットワークを訓練する、ブートストラッピングに基づくものである。例えば、入力と出力の訓練データを含む訓練サンプルのランダムなセットを、それぞれ置き換えてサンプリングし、ニューラルネットワークの訓練に使用することができる。この手順を繰り返すことにより、ニューラルネットワークの集合体(アンサンブル)を得ることができ、これらのネットワークの各々を使用して入力画像データを処理することにより、出力画像または出力画像データ表現の集合体を得ることができる。この出力画像の集合体内のばらつきまたは不確実性は、例えば、画像の分布にわたるピクセル単位の標準偏差として測定することができる。次に、第2のニューラルネットワークを訓練して、測定された画像データを、結果として得られる不確実性または結果として得られる画像値の分布にマッピングすることができる。しかし、計算負荷の少ない方法として、変分オートエンコーダがある。中間層でデータを低次元特徴空間にマッピングするこのニューラルネットワークアーキテクチャは、研究中の深層学習再構成法などの機械学習画像再構成手順の画像結果の事後確率分布をサンプリングするように訓練することができる。変分オートエンコーダの低次元中間潜在特徴量の事後確率分布は、エンコーダ関数から求めることができる。次に、デコーダを用いて、再構成画像の対応する事後確率分布を求めることができる。
確率分布を表現する1つの方法は、分布からモンテカルロサンプルとも呼ばれるランダムサンプルを提供することである。
確率分布の表現を得るために画像表現を処理する1つの方法は、確率的ニューラルネットワークを前記画像表現に適用することである。確率的ニューラルネットワークとは、確率分布が入力に依存するランダムな関数を出力とするような、ランダムな要素または構成要素を含むニューラルネットワークである。
例として、前記確率ニューラルネットワークは、確率分布の1つ以上のモンテカルロ標本を提供することができる。
別の例示的な実施形態では、決定論的ニューラルネットワークを訓練して、例えば画像または画像特徴などの事後確率変数の確率分布の尺度(a measure of the probability distribution of a posterior random variable)を提供することができる。
例えば、事後確率変数の確率分布の前記尺度は、平均分散、共分散、標準偏差、歪度、尖度(a posterior random variable can be a mean variance, a covariance, a standard deviation, a skewness, a kurtosis)、またはこれらの組み合わせであり得る。
例えば、モンテカルロ推定量、マルコフ連鎖モンテカルロ推定量、ブートストラップ推定量または確率的ニューラルネットワーク推定量(a Monte Carlo estimator, a Markov Chain Monte Carlo estimator, a bootstrap estimator or a stochastic neural network estimator)などの画像の不確実性または事後確率分布の統計的推定量を最初に作成し、その後、事後確率分布の1つまたは複数の尺度を予測する決定論的ニューラルネットワークを訓練するための訓練データを生成するために使用することができる。
一例として、前記基底画像は、水、軟組織、カルシウム、ヨウ素、ガドリニウムまたは金などの物理的物質の密度のマップとすることができる。また、基底画像は、例えば、コンプトン散乱断面積、光電吸収断面積、密度または有効原子番号のマップ(a map of the Compton scatter cross-section, photoelectric absorption cross-section, density or effective atomic number)のような物理的特性を表す架空のまたは仮想の物質のマップとすることもできる。
例えば、前記信頼度表示は、1つ以上の再構成画像における少なくとも1つの点についての誤差推定値又は統計的不確実性の尺度であることができる。また、前記信頼度表示は、少なくとも1つの画像から導出可能な少なくとも1つの画像測定値に対する誤差推定値又は統計的不確実性の尺度であることもできる。
例えば、誤差推定値や統計的不確実性の尺度は、誤差の上限、誤差の塔界、標準偏差、分散、平均絶対誤差とすることができる。
例えば、少なくとも1つの画像から導出できる画像測定は、特徴の寸法測定、面積、体積、不均一性の程度、形状または不規則性の測定、組成の測定、または物質の濃度の測定とすることができる。
例えば、少なくとも1つの画像から導出できる画像測定は、放射線医学的特徴、例えば標準化された放射線医学的特徴とすることができる。
本発明の例示的な実施形態では、エネルギー分解X線データの処理は、少なくとも1つの基底サイノグラムまたは再構成基底画像を形成することと、ニューラルネットワークに基づいて前記画像を処理することとを含む。
例えば、ニューラルネットワークは畳み込みニューラルネットワークとすることができる。
例えば、訓練データへの適合に十分な柔軟性を持たせるために、ニューラルネットワークは少なくとも5つの層を持つ深層ニューラルネットワークとすることができる。
一例として、誤差マップを推定する方法には、マルコフ連鎖モンテカルロ法や変分ドロップアウトに基づく近似ベイズ推定法が含まれる。
Tannoらによる論文「Uncertainty modelling in deep learning for safer neuroimage enhancement:Demonstration in diffusion MRI」 Neuroimage 225, October 9, 2020は、拡散磁気共鳴画像強調のための不確実性マップを生成するための変分ドロップアウトを用いたベイジアンニューラルネットワークを用いた方法に関するものである。
Edupugantiらによる論文「Uncertainty Quantification in Deep MRI Reconstruction」、IEEE Transactions on Medical Imaging、第40巻、第1号、2021年1月は、アンダーサンプリングされたデータからの磁気共鳴画像(MRI)再構成のために、結果の事後サンプルを生成し、それらを用いて不確実性マップを構築する後処理ステップとして変分オートエンコーダを使用する方法に関する。しかし、著者らは、深層学習なしで計算される前処理された再構成を必要としており、さらにMRIに関連している。
Adler and Oktemによる論文「Deep posterior sampling:Uncertainty quantification for large scale inverse problems」Medical Imaging with Deep Learning 2019は、結果の事後確率分布をサンプリングする後処理の生成ニューラルネットワークを考慮した、X線コンピュータ断層撮影画像の不確実性を定量化する方法に関するものである。しかし、著者らは前処理された再構成を必要としており、この論文は特定の物質密度マップの誤差を定量化する方法を開示していない。この論文はさらにMRIに関するものである。
US20200294284A1明細書は、再構成画像に関する不確かさ情報を生成する方法に関するものである。しかし、この論文は、特定の物質密度マップの誤差を定量化する方法を開示しておらず、エネルギー分解データを全く用いずにエネルギー積分CTを考慮している。このことはさらに、基底画像を生成するために物質基底分解を効果的に行うことができないことを意味する。
このアプリケーションのアプローチは、主にマルチエネルギーおよびマルチマテリアルの結果を持つエネルギー分解(スペクトル)CTを考慮したものである。
例えば、光子計数CTは高次元問題を意味し、適切なスケーリングが要求され、クロスマテリアルとクロスエネルギー情報が事後サンプリングに影響を与える。
上記の3つの記事は、後処理のニューラルネットワークに基づいており、深層学習で再構成問題を解決していない。
提案された技術により、基底画像再構成と不確実性マッピングを深層学習などの機械学習で解決することができる。
本明細書で説明する機構や配置は、さまざまな方法で実施、組み合わせ、再配置できることが理解されよう。
例えば、実施形態は、ハードウェアで実装されてもよいし、適切な処理回路による実行のために少なくとも一部がソフトウェアで実装されてもよいし、それらの組み合わせでもよい。
本明細書で説明するステップ、機能、手順、および/またはブロックは、ディスクリート回路や集積回路技術など、汎用電子回路と特定用途向け回路の両方を含む従来技術を使用してハードウェアに実装することができる。
代替的に、または補完として、本明細書に記載されるステップ、機能、手順、および/またはブロックの少なくとも一部は、1つまたは複数のプロセッサまたは処理ユニットなどの適切な処理回路による実行のために、コンピュータプログラムなどのソフトウェアに実装されてもよい。
これは例えば、コンピュータベースの画像再構成システムの一部として実装することができる。
図16は、実施形態によるコンピュータ実装の一例を示す概略図である。この特定の例では、システム200は、プロセッサ210とメモリ220とを備え、メモリは、プロセッサによって実行可能な命令を含み、それによって、プロセッサは、本明細書で説明するステップおよび/またはアクションを実行するように動作可能である。命令は、典型的には、コンピュータプログラム225、235として構成され、メモリ220に予め構成されていてもよいし、外部メモリデバイス230からダウンロードされていてもよい。任意選択で、システム200は、入力パラメータおよび/または結果出力パラメータなどの関連データの入力および/または出力を可能にするために、1以上のプロセッサ210および/またはメモリ220に相互接続され得る入出力インターフェース240を備える。
特定の実施例では、メモリは、プロセッサによって実行可能な命令のそのようなセットを含み、それによって、プロセッサは、CT撮像における深層学習に基づく画像再構成のための不確実性マップのような信頼性表示を生成するように動作可能である。
「プロセッサ」という用語は、特定の処理、決定、または計算タスクを実行するために、プログラムコードまたはコンピュータプログラム命令を実行することができるあらゆるシステムまたは装置として、一般的な意味で解釈されるべきである。
このように、1つ以上のプロセッサを含む処理回路は、コンピュータプログラムの実行時に、本明細書で説明するような明確に定義された処理タスクを実行するように構成される。
処理回路は、上述のステップ、関数、手順および/またはブロックの実行のみに特化する必要はなく、他のタスクを実行してもよい。
また、本技術は、このようなコンピュータプログラムを格納したコンピュータ読み取り可能な媒体220、230を含むコンピュータプログラム製品も提供する。
一例として、ソフトウェアまたはコンピュータプログラム225、235は、コンピュータプログラム製品として実現することができ、通常、コンピュータ読み取り可能媒体220、230、特に不揮発性媒体に搬送または格納される。コンピュータ読取可能媒体は、読取専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、コンパクトディスク(CD)、デジタルバーサタイルディスク(DVD)、ブルーレイディスク、ユニバーサルシリアルバス(USB)メモリ、ハードディスクドライブ(HDD)記憶装置、フラッシュメモリ、磁気テープ、または他の任意の従来のメモリデバイスを含むがこれらに限定されない、1つまたは複数の取外し可能または取外し不可能なメモリデバイスを含むことができる。したがって、コンピュータプログラムは、その処理回路による実行のために、コンピュータまたは同等の処理デバイスのオペレーティングメモリにロードすることができる。
処理フローは、1つ以上のプロセッサによって実行される場合、コンピュータクションフローとみなすことができる。対応するデバイス、システム及び/又は装置は、機能モジュールのグループとして定義することができ、プロセッサによって実行される各ステップは、機能モジュールに対応する。この場合、機能モジュールは、プロセッサ上で実行されるコンピュータプログラムとして実装される。したがって、デバイス、システム、および/または装置は、代替的に、機能モジュールのグループとして定義されてもよく、機能モジュールは、少なくとも1つのプロセッサ上で実行されるコンピュータプログラムとして実装される。
したがって、メモリに常駐するコンピュータプログラムは、プロセッサによって実行されたときに、本明細書に記載のステップおよび/またはタスクの少なくとも一部を実行するように構成された適切な機能モジュールとして編成することができる。
あるいは、モジュールの大部分をハードウェアモジュールで実現することも、ハードウェアで代替することも可能である。ソフトウェアかハードウェアかは、純粋に実装の選択である。
10:X線源 11:ガントリ 12:テーブル 13:アイソセンタ 15:CT 20:X線検出器システム 21:検出器要素 25:アナログ処理回路 30:画像処理システム又は装置 35:画像処理システム 40:デジタル処理回路 41:X線制御装置 42:ガントリ制御装置 43:テーブル制御装置 44:検出器コントローラ 45:メモリ 50:コンピュータ 60:オペレータコンソール 100:X線撮像システム 200:システム 210:プロセッサ 220:メモリ 225、235:コンピュータプログラム 230:外部メモリデバイス 240:入出力インターフェース 301:デジタル-アナログ変換器 302:比較器 303:デジタルカウンタ
Claims (30)
- コンピュータ断層撮影(CT)における機械学習画像再構成のための1つ以上の信頼度表示を決定する方法であって、
エネルギー分解X線データを取得するステップ(S1)と、
少なくとも1つの機械学習システムに基づいて前記エネルギー分解X線データを処理して、少なくとも1つの再構成基底画像またはその画像特徴の事後確率分布の表現を生成するステップ(S2、S2b)と、
(1)前記少なくとも1つの再構成基底画像、または(2)前記少なくとも1つの再構成基底画像に由来する少なくとも1つの派生画像、または(3)前記少なくとも1つの再構成基底画像か前記少なくとも1つの派生画像の画像特徴に対する1つまたは複数の信頼度表示を、事後確率分布の前記表現に基づいて生成するステップ(S3)と、を含む方法。 - 前記機械学習画像再構成が深層学習画像再構成であり、前記少なくとも1つの機械学習システムが少なくとも1つのニューラルネットワークを含む、請求項1に記載の方法。
- 前記事後確率分布の表現は、平均分散、共分散、標準偏差、歪度、および尖度のうちの少なくとも1つを含む、請求項1または2に記載の方法。
- 前記1つ以上の信頼度表示が、前記少なくとも1つの再構成基底画像内の少なくとも1つの点に対する誤差推定値又は統計的不確実性の尺度、及び/又は前記少なくとも1つの再構成基底画像から導出可能な少なくとも1つの画像測定値に対する誤差推定値又は統計的不確実性の尺度を含む、請求項1乃至3のいずれかに記載の方法。
- 前記誤差推定値または統計的不確実性の尺度は、誤差の上限、誤差の下限、標準偏差、分散、または平均絶対誤差のうちの少なくとも1つを含む、請求項4に記載の方法。
- 前記少なくとも1つの画像測定値が、特徴の寸法測定、面積測定、体積測定、不均一性の程度測定値、形状または不規則性の測定値、組成の測定値、および物質の濃度の測定値から選択される少なくとも1つを含む、請求項4または5に記載の方法。
- 前記1つまたは複数の信頼度表示が、前記少なくとも1つの再構成基底画像、または前記少なくとも1つの再構成基底画像に由来する少なくとも1つの派生画像、またはその画像特徴についての1つまたは複数の不確実性マップを含む、請求項1乃至6のいずれかに記載の方法。
- 1つまたは複数の信頼度表示を生成する前記ステップ(S3)は、コンピュータ断層撮影(CT)用の再構成された物質選択X線画像の信頼性マップを生成するステップを含む、請求項1乃至7のいずれかに記載の方法。
- 前記信頼性マップは、前記機械学習画像再構成が所定の閾値以上の信頼度で判定できた再構成された物質選択X線画像の部分を強調するように生成される、請求項8に記載の方法。
- 1つまたは複数の信頼度表示を生成する前記ステップ(S3)は、深層学習に基づく物質分解から得られた物質濃度マップを入力とするニューラルネットワークによって、1つまたは複数の信頼性マップを生成するステップを含む、請求項1乃至9のいずれかに記載の方法。
- 前記方法は、取得されたエネルギー分解X線データに基づいて前記少なくとも1つの再構成基底画像またはその画像特徴を生成するために(S2a)物質分解に基づく画像再構成および/または機械学習画像再構成を実行するステップをさらに含む、請求項1乃至10のいずれかに記載の方法。
- 物質分解に基づく画像再構成および/または機械学習画像再構成を実行する前記ステップ(S2a)は、エネルギービンサイノグラムを入力として受け取るニューラルネットワークによって、前記少なくとも1つの再構成基底画像または画像特徴を生成するステップを含む、請求項11に記載の方法。
- 前記1つまたは複数の信頼度表示を生成する前記ステップ(S3)は、個々の基底物質画像の不確かさ又は信頼性マップを決定するとともに、異なる基底物質画像間の共分散を決定するステップと、前記不確かさまたは前記信頼性マップを、前記不確かさの伝播のための式またはアルゴリズムを用いて伝播させ、導出画像の不確実性マップを得ることを可能にするステップとを含む、請求項1乃至12のいずれかに記載の方法。
- 少なくとも1つの基底物質画像が少なくとも1つの不確実性マップと共に生成され、前記不確実性マップが前記少なくとも1つの基底物質画像の不確かさまたは誤差推定値の表現であり、前記少なくとも1つの基底物質画像と前記少なくとも1つの不確定性マップは、別個の画像として又は組み合わせてユーザに提示可能である請求項1乃至13のいずれかに記載の方法。
- 前記少なくとも1つの不確定性マップが、前記少なくとも1つの基底物質画像に対するオーバーレイとして提示可能であるか、または前記少なくとも1つの不確定性マップが、前記少なくとも1つの基底物質画像に対する歪曲フィルタによって提示可能である、請求項13または14に記載の方法。
- 少なくとも1つの機械学習システムに基づいて前記エネルギー分解X線データを処理して事後確率分布の表現を生成する前記ステップ(S2;S2b)が、ニューラルネットワークによって、取得されたエネルギー分解X線データが与えられた事後確率分布のサンプルを生成するステップとを含み、1つまたは複数の信頼度表示を生成する前記ステップ(S3)は、複数のサンプルにわたる標準偏差として不確実性マップを生成するステップを含む、請求項1乃至15のいずれかに記載の方法。
- 事後確率分布の表現を生成するために少なくとも1つの機械学習システムに基づいて前記エネルギー分解X線データを処理する前記ステップ(S2;S2b)は、変分オートエンコーダとして実装されたニューラルネットワークを適用して、入力データベクトルを潜在的確率変数の確率分布のパラメータにエンコードするステップと、事後観測値を得るために対応するデコーダによって処理するためにこの確率分布から潜在的確率変数の事後サンプルの集合を抽出するステップとを含む、請求項1乃至16のいずれかに記載の方法。
- 前記1つまたは複数の信頼度表示を生成する(S3)ステップは、前記少なくとも1つの再構成基底画像に関連する少なくとも1つの基底係数の分散または標準偏差の少なくとも1つのマップ、および/または前記少なくとも1つの再構成基底画像に関連する少なくとも1つの基底関数の組の共分散または相関係数の少なくとも1つのマップを生成するステップを含む、請求項1乃至17のいずれかに記載の方法。
- 前記事後確率分布の表現は、複数の画像特徴の平均および分散によって指定される、請求項1乃至18のいずれかに記載の方法。
- コンピュータ断層撮影(CT)における機械学習画像再構成のための1つ以上の信頼度表示を決定するためのシステム(30、40、50、200)であって、前記システムは、エネルギー分解X線データを取得するように構成され、前記システムは、少なくとも1つの機械学習システムに基づいて前記エネルギー分解X線データを処理して、少なくとも1つの再構成基底画像またはその画像特徴の事後確率分布の表現を取得するようにさらに構成され、前記システムはまた、事後確率分布の前記表現に基づいて、前記少なくとも1つの再構成基底画像、または前記少なくとも1つの再構成基底画像に由来する少なくとも1つの派生画像、または前記少なくとも1つの再構成基底画像または前記少なくとも1つの派生画像の画像特徴に対する1つまたは複数の信頼度表示を生成するように構成される、システム(30、40、50、200)。
- 前記機械学習画像再構成が深層学習画像再構成であり、前記少なくとも1つの機械学習システムが少なくとも1つのニューラルネットワークを含む、請求項20に記載のシステム(30、40、50、200)。
- 前記1つ以上の信頼度表示が、前記少なくとも1つの再構成基底画像内の少なくとも1つの点についての誤差推定値又は統計的不確実性の尺度、及び/又は前記少なくとも1つの再構成基底画像から導出可能な少なくとも1つの画像測定値についての誤差推定値又は統計的不確実性の尺度を含む、請求項20又は21に記載のシステム(30、40、50、200)。
- 前記システム(30、40、50、200)は、前記少なくとも1つの再構成基底画像、又は前記少なくとも1つの再構成基底画像に由来する少なくとも1つの派生画像、又はそれらの画像特徴に対して、前記1つ又は複数の信頼度表示を1つ又は複数の不確実性マップの形態で生成するように構成される、請求項20から22のいずれかに記載のシステム(30、40、50、200)。
- 前記システム(30、40、50、200)は、コンピュータ断層撮影(CT)用の再構成された物質選択X線画像に対する信頼性マップの形態で前記1つ以上の信頼度表示を生成するように構成されている、請求項20乃至23のいずれかに記載のシステム(30、40、50、200)。
- 前記システム(30、40、50、200)は、前記少なくとも1つの再構成基底画像またはその画像特徴を生成するために、入力としてのエネルギービンサイノグラムに基づいて、物質分解に基づく画像再構成および/または機械学習画像再構成を実行するようにさらに構成される、請求項20乃至24のいずれかに記載のシステム(30、40、50、200)。
- 前記システム(30、40、50、200)は、前記機械学習画像再構成が閾値以上の信頼度で判定できた再構成された物質選択X線画像の部分を強調するように前記信頼性マップを生成するように構成されている、請求項20乃至25のいずれかに記載のシステム(30、40、50、200)。
- CTにおける機械学習画像再構成のための1つ以上の信頼度表示を決定する請求項20乃至26のいずれかに記載のシステム(30、40、50、200)を含む画像再構成システム。
- 請求項27に記載の画像再構成システムを備えるX線撮像システム(100)。
- コンピュータプログラム(225、235)であって、コンピュータ断層撮影システム(100)に関連する少なくとも1つのプロセッサ(30、40、50、210)によって実行されると、前記少なくとも1つのプロセッサ(30、40、50、210)に請求項1乃至19のいずれかに記載の方法を実行させる命令を含むコンピュータプログラム。
- 請求項29に記載のコンピュータプログラム(225、235)を担持する非一過性のコンピュータ可読記憶媒体(220、230)を含むコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163174164P | 2021-04-13 | 2021-04-13 | |
US63/174,164 | 2021-04-13 | ||
PCT/SE2022/050344 WO2022220721A1 (en) | 2021-04-13 | 2022-04-06 | Determining a confidence indication for deep-learning image reconstruction in computed tomography |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024515595A true JP2024515595A (ja) | 2024-04-10 |
Family
ID=83639858
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023562481A Pending JP2024515595A (ja) | 2021-04-13 | 2022-04-06 | コンピュータ断層撮影における深層学習画像再構成の信頼度表示の決定 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4323967A1 (ja) |
JP (1) | JP2024515595A (ja) |
CN (1) | CN117355865A (ja) |
WO (1) | WO2022220721A1 (ja) |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005009206A2 (en) * | 2003-06-25 | 2005-02-03 | Besson Guy M | Dynamic multi-spectral imaging system |
WO2014185078A1 (ja) * | 2013-05-15 | 2014-11-20 | 国立大学法人京都大学 | X線ct画像処理方法,x線ct画像処理プログラム及びx線ct画像装置 |
US9808216B2 (en) * | 2014-06-20 | 2017-11-07 | Marquette University | Material decomposition of multi-spectral x-ray projections using neural networks |
US9870628B2 (en) * | 2015-03-18 | 2018-01-16 | Prismatic Sensors Ab | Image reconstruction based on energy-resolved image data from a photon-counting multi-bin detector |
CN108885781B (zh) * | 2015-04-28 | 2022-07-08 | 西门子保健有限责任公司 | 用于根据低剂量或低kV计算机断层扫描图像合成虚拟高剂量或高kV计算机断层扫描图像的方法和系统 |
EP3338636B1 (en) * | 2016-12-22 | 2024-02-28 | Nokia Technologies Oy | An apparatus and associated method for imaging |
US10672153B2 (en) * | 2018-04-23 | 2020-06-02 | Elekta Ab (Publ) | Posterior image sampling using statistical learning model |
KR102174600B1 (ko) * | 2018-06-04 | 2020-11-05 | 한국과학기술원 | 뉴럴 네트워크를 이용한 다방향 엑스레이 전산단층 촬영 영상 처리 방법 및 그 장치 |
US11039806B2 (en) * | 2018-12-20 | 2021-06-22 | Canon Medical Systems Corporation | Apparatus and method that uses deep learning to correct computed tomography (CT) with sinogram completion of projection data |
US10945695B2 (en) * | 2018-12-21 | 2021-03-16 | Canon Medical Systems Corporation | Apparatus and method for dual-energy computed tomography (CT) image reconstruction using sparse kVp-switching and deep learning |
EP3789963A1 (en) * | 2019-09-06 | 2021-03-10 | Koninklijke Philips N.V. | Confidence map for neural network based limited angle artifact reduction in cone beam ct |
-
2022
- 2022-04-06 WO PCT/SE2022/050344 patent/WO2022220721A1/en active Application Filing
- 2022-04-06 EP EP22788538.1A patent/EP4323967A1/en active Pending
- 2022-04-06 JP JP2023562481A patent/JP2024515595A/ja active Pending
- 2022-04-06 CN CN202280035278.5A patent/CN117355865A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022220721A1 (en) | 2022-10-20 |
EP4323967A1 (en) | 2024-02-21 |
CN117355865A (zh) | 2024-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10274439B2 (en) | System and method for spectral x-ray imaging | |
US20210290193A1 (en) | Apparatus and method that uses deep learning to correct computed tomography (ct) with sinogram completion of projection data | |
US10034646B2 (en) | Material decomposition of multi-spectral X-ray projections using neural networks | |
US10945695B2 (en) | Apparatus and method for dual-energy computed tomography (CT) image reconstruction using sparse kVp-switching and deep learning | |
JP2023159080A (ja) | 医用画像処理装置及び医用画像処理システム | |
JP2018140165A (ja) | 医用画像生成装置 | |
Weidinger et al. | Polychromatic iterative statistical material image reconstruction for photon-counting computed tomography | |
JP5853123B2 (ja) | 光子計数検出装置のための不完全性の動的モデリング | |
JP2016536032A (ja) | 電子密度画像の連結再構成 | |
JP6793469B2 (ja) | データ処理装置、x線ct装置及びデータ処理方法 | |
US11116470B2 (en) | Beam hardening correction in x-ray dark-field imaging | |
JP2018057867A (ja) | 医用画像処理装置、x線コンピュータ断層撮像装置及び医用画像処理方法 | |
JP2015033581A (ja) | X線コンピュータ断層撮像装置及び医用画像処理プログラム | |
JP7143330B2 (ja) | 画像再構築のための方法および装置 | |
JP2022113115A (ja) | ビームハードニング補正方法、x線ct装置及びビームハードニング補正プログラム | |
CN114901148A (zh) | 用于生成光子计数光谱图像数据的设备 | |
US20230326100A1 (en) | Methods and systems related to x-ray imaging | |
JP2024515595A (ja) | コンピュータ断層撮影における深層学習画像再構成の信頼度表示の決定 | |
JP7061673B6 (ja) | 対象物の関心領域のスペクトル画像を再構成するための装置、システム、方法及びコンピュータプログラム | |
US20230309937A1 (en) | Spectral x-ray material decomposition method | |
Persson | Reconstruction of spectral CT images | |
Szczykutowicz | Timothy Szczykutowicz, Jiang Hsieh, Guang-Hong Chen |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231212 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231212 |