JP2023539091A - X線イメージングに関連する方法及びシステム - Google Patents
X線イメージングに関連する方法及びシステム Download PDFInfo
- Publication number
- JP2023539091A JP2023539091A JP2023511887A JP2023511887A JP2023539091A JP 2023539091 A JP2023539091 A JP 2023539091A JP 2023511887 A JP2023511887 A JP 2023511887A JP 2023511887 A JP2023511887 A JP 2023511887A JP 2023539091 A JP2023539091 A JP 2023539091A
- Authority
- JP
- Japan
- Prior art keywords
- image
- representation
- data
- basis
- energy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 127
- 238000003384 imaging method Methods 0.000 title claims description 37
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 131
- 238000012545 processing Methods 0.000 claims abstract description 107
- 239000000463 material Substances 0.000 claims abstract description 102
- 238000010801 machine learning Methods 0.000 claims abstract description 90
- 230000006870 function Effects 0.000 claims description 58
- 238000013528 artificial neural network Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 23
- 238000013135 deep learning Methods 0.000 claims description 23
- 238000005259 measurement Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 14
- 239000000126 substance Substances 0.000 claims description 13
- 238000003066 decision tree Methods 0.000 claims description 12
- 238000012706 support-vector machine Methods 0.000 claims description 12
- 238000013526 transfer learning Methods 0.000 claims description 10
- 238000012805 post-processing Methods 0.000 claims description 8
- 238000012432 intermediate storage Methods 0.000 claims description 5
- 238000013179 statistical model Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 abstract description 29
- 238000002591 computed tomography Methods 0.000 description 35
- 238000004422 calculation algorithm Methods 0.000 description 26
- 239000011630 iodine Substances 0.000 description 14
- 229910052740 iodine Inorganic materials 0.000 description 14
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 description 13
- 238000007476 Maximum Likelihood Methods 0.000 description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 11
- 230000008901 benefit Effects 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000005457 optimization Methods 0.000 description 9
- 239000004698 Polyethylene Substances 0.000 description 7
- 239000004800 polyvinyl chloride Substances 0.000 description 7
- 229920000915 polyvinyl chloride Polymers 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 229910001868 water Inorganic materials 0.000 description 7
- 239000011575 calcium Substances 0.000 description 6
- 229910052791 calcium Inorganic materials 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 6
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 210000004872 soft tissue Anatomy 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- PNDPGZBMCMUPRI-UHFFFAOYSA-N iodine Chemical compound II PNDPGZBMCMUPRI-UHFFFAOYSA-N 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 229910052688 Gadolinium Inorganic materials 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 239000002872 contrast media Substances 0.000 description 3
- UIWYJDYFSGRHKR-UHFFFAOYSA-N gadolinium atom Chemical compound [Gd] UIWYJDYFSGRHKR-UHFFFAOYSA-N 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000005284 basis set Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000005684 electric field Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- -1 polyethylene Polymers 0.000 description 2
- 229920000573 polyethylene Polymers 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000002083 X-ray spectrum Methods 0.000 description 1
- GLXGDSIDFQEZRG-UHFFFAOYSA-N [Ca].[I] Chemical compound [Ca].[I] GLXGDSIDFQEZRG-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002800 charge carrier Substances 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/482—Diagnostic techniques involving multiple energy imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
- G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/42—Arrangements for detecting radiation specially adapted for radiation diagnosis
- A61B6/4208—Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector
- A61B6/4241—Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector using energy resolving detectors, e.g. photon counting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/401—Imaging image processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/419—Imaging computed tomograph
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/423—Imaging multispectral imaging-multiple energy imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/408—Dual energy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/441—AI-based methods, deep learning or artificial neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Public Health (AREA)
- High Energy & Nuclear Physics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Physics (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Pulmonology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
【課題】エネルギー分解X線データに基づく画像再構成のための方法及び対応するシステムを提供する。【解決手段】方法は、エネルギー分解X線データの少なくとも1つの表現を収集する(S1)ことと、エネルギー分解X線データの前記少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を実行して少なくとも2つの元の基底画像表現セットを生成する(S2)こととを含む。方法は、少なくとも2つの元の基底画像表現セットから少なくとも2つの基底画像表現を取得又は選択する(S3)ことと、取得又は選択した基底画像表現を機械学習に基づくデータ処理によって処理し、出力画像データの少なくとも1つの表現を生成する(S4)ことを更に備える。【選択図】図6
Description
本開示は、X線技術とX線イメージング、及び対応するイメージング再構成とイメージングタスクに関連する。特に、本開示は、画像再構成のための方法及びシステム、対応するX線イメージングシステム、ならびに対応するコンピュータプログラム及びコンピュータプログラム製品に関する。
X線イメージング(X線撮像)などの放射線イメージングは、医療用途や非破壊検査で長年使用されてきている。
通常、X線イメージング装置は、X線源と、1つまたは多数の検出器要素(X線の強度/蛍光を測定する独立した手段)からなる複数の検出器からなるX線検出器アレイを含む。X線源から放射されたX線は、被写体を透過して検出器アレイに入射し、検出されたX線は検出器アレイに記録される。X線を吸収する物質と吸収されない物質があるため、被写体の像が形成される。
X線画像検出器の課題は、検出されたX線から最大限の情報を抽出し、物体や被写体が密度、組成、構造などの観点から描写された画像の入力を提供することである。
典型的な医療用X線イメージングシステムでは、X線はX線管によって生成される。一般的な医療用X線管のエネルギースペクトルは幅広く、0から160keVまでの範囲である。したがって、検出器は通常、エネルギーが変化するX線を検出する。図1を参照して、全体的なX線イメージングシステムの概要を簡単に説明することは有用であろう。この例示的であるが非限定的な例では、X線イメージングシステム100は、基本的に、X線源10、X線検出器システム20、及び関連する画像処理システム又は装置30を備える。X線検出器システム20は、X線源10からの放射線を記録するように構成され、X線源10は、任意のX線光学系によって任意に集束され、物体、対象、又はその一部を通過する。X線検出器システム20は、X線検出器システム20に少なくとも部分的に統合された適切なアナログ及び読み出し電子機器を介して画像処理システム30に接続可能であり、画像処理システム30によってX線検出器による画像処理及び/又は画像再構成を可能にする。
例として、X線コンピュータ断層撮影(CT)システムは、X線源とX線検出器とを含み、X線源とX線検出器は、被写体又は物体の投影画像が、少なくとも180度。これは、最も一般的には、対象又は物体の周りを回転できる支持体に線源と検出器を取り付けることによって実現される。さまざまなビュー角度のさまざまな検出器要素に記録された投影を含む画像は、サイノグラム(sinogram)と呼ばれる。以下では、異なるビュー角度に対して異なる検出素子に記録された投影の集合は、たとえ検出器が二次元であってもサイノグラムと呼ばれ、サイノグラムは三次元画像にされる。
X線イメージングのさらなる発展として、X線透過率を複数の異なるエネルギーレベルについて測定するエネルギー分解X線イメージング(スペクトルX線イメージングとも呼ばれる)がある。これは、線源を2つの異なる発光スペクトルの間で高速に切り替えるか、異なるX線スペクトルを発する2つ以上のX線源を使用するか、または入射放射線を2つ以上のエネルギーレベルで測定するエネルギー弁別検出器を使用することにより実現できる。このような検出器の例としては、マルチビン光子計数型検出器(multi-bin photon-counting detector)があり、記録された各光子が電流パルスを生成し、これを一連の閾値と比較することにより、多数のエネルギービンのそれぞれにおいて入射した光子の数が計数される。
スペクトルX線投影測定により、各エネルギーレベルの投影画像が得られる。これらの投影画像の加重和は、「Tapiovaara and Wagner, "SNR and DQE analysis of broad spectrum X-ray imaging", Phys. Med. Biol. 30, 519」に記載されている。
エネルギー分解X線イメージングによって可能になるもう1つの手法は、基底物質分解(basis material decomposition)である。この手法は、人間の組織などの原子番号の小さい元素から構成されるすべての物質が線形減衰係数を持ちμ(E)、そのエネルギー依存性を2つ(又はそれ以上)の基底関数の線形結合として近似的に表現できることを利用した手法である。
μ(E)=a1f1(E)+a2f2(E)
ここで、fiは基底関数、aiは対応する基底係数である。イメージングに使用されるエネルギー範囲にk吸収端が存在するのに十分な高い原子番号を持つ1つ以上の元素がイメージングされたボリュームに存在する場合、1つの基底関数をそのような元素ごとに追加する必要がある。医用画像診断の分野では、そのようなk吸収端の元素は、典型的には、造影剤として使用される物質であるヨウ素またはガドリニウムであり得る。
μ(E)=a1f1(E)+a2f2(E)
ここで、fiは基底関数、aiは対応する基底係数である。イメージングに使用されるエネルギー範囲にk吸収端が存在するのに十分な高い原子番号を持つ1つ以上の元素がイメージングされたボリュームに存在する場合、1つの基底関数をそのような元素ごとに追加する必要がある。医用画像診断の分野では、そのようなk吸収端の元素は、典型的には、造影剤として使用される物質であるヨウ素またはガドリニウムであり得る。
基底物質の分解は、Alvarez and Macovski, "Energy-selective reconstructions in X-ray computerised tomography", Phys.Med.Biol.21,733に記載されている。基底物質分解では、各基底係数の積分は、線源から検出器要素への各投影光線lの測定データから推測される。
各ビンのカウント数がポアソン分布確率変数であるという仮定の下で、最尤法を使用してAiを推定できる(参照:Roessl and Proksa, K-edge imaging in x-ray computed tomography using multi-bin photon counting detectors, Phys. Med. Biol. 52 (2007), 4679-4696)。
結果として得られる各投影線の推定基底係数線積分(estimated basis coefficient line integral)
ただし、この手法のよく知られた制限は、推定された線積分の分散(variance of the estimated line integrals)が通常、基底分解で使用される基底の数とともに増加することである。とりわけ、これは改善された組織定量化と増加した画像ノイズの間の不所望なトレードオフをもたらす。
さらに、3つ以上の基底関数を使用した正確な基底分解は、実際には実行が難しく、アーティファクト、偏り(バイアス)、又は過剰なノイズ(artifacts, bias or excessive noise)が発生する可能性がある。このような基底分解では、正確な結果を得るために、過度なキャリブレーション測定(extensive calibration measurements)とデータの前処理も必要になる場合がある。
また、X線画像再構成に関する改善に対する一般的な要求もある。
一般に、X線イメージング用途の画像再構成に関して改善を提供することが望ましい。
X線イメージングのための基底分解に関して改善を提供することが特定の目的である。
画像再構成の改善された方法を提供することが特定の目的である。
画像再構成のための改良されたシステムを提供することも目的である。
別の目的は、改良されたX線イメージングシステム全体を提供することである。
対応するコンピュータ・プログラム及びコンピュータ・プログラム製品(コンピュータ・プログラム・プロダクト)を提供することがさらなる目的である。
これら及び他の目的は、提案された技術の1つ又は複数の実施形態によって達成され得る。
第1の態様によれば、エネルギー分解X線データに基づく画像再構成の方法が提供され、
エネルギー分解X線データの少なくとも1つの表現を収集し、
エネルギー分解X線データの少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を実行して、少なくとも2つの元の基底画像表現セット(at least two original basis image representation sets:少なくとも2つのオリジナルの基底画像表現のセット)を生成し、
元の基底画像表現セットの少なくとも2つから少なくとも2つの基底画像表現を取得又は選択し、
取得又は選択された基底画像表現を機械学習に基づいてデータ処理して、出力画像データの少なくとも1つの表現を生成する。
エネルギー分解X線データの少なくとも1つの表現を収集し、
エネルギー分解X線データの少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を実行して、少なくとも2つの元の基底画像表現セット(at least two original basis image representation sets:少なくとも2つのオリジナルの基底画像表現のセット)を生成し、
元の基底画像表現セットの少なくとも2つから少なくとも2つの基底画像表現を取得又は選択し、
取得又は選択された基底画像表現を機械学習に基づいてデータ処理して、出力画像データの少なくとも1つの表現を生成する。
第2の態様によれば、エネルギー分解X線データに基づく画像再構成のためのシステムが提供される。システムは、エネルギー分解X線データの少なくとも1つの表現を取得するように構成されている。システムは、エネルギー分解X線データの少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を行い、少なくとも2セットの基底画像表現を生成するように構成される。システムは、少なくとも2つの基底画像表現のセットから少なくとも2つの基底画像表現を取得又は選択するようにさらに構成される。システムはまた、取得又は選択された基底画像表現を機械学習に基づいてデータ処理して、出力画像データの少なくとも1つの表現を生成するように構成される。
第3の態様によれば、エネルギー分解X線データに基づく画像再構成のためのシステムが提供される。システムは、
エネルギー分解X線データの少なくとも1つの表現を受信するための入力と、
エネルギー分解X線データの少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を実行して、基底画像表現の少なくとも2つのセットを生成するように構成された基底物質分解システムと、
入力-出力対の訓練データに基づいて決定された構成(configuration determined based on input-output-paired training data)を有し、基底画像表現のセットの少なくとも2つから少なくとも2つの基底画像表現を受信し、受信した基底画像表現を機械学習に基づいてデータ処理して、出力画像データの少なくとも1つの表現を生成するように構成された訓練された機械学習システムと、
出力画像データの少なくとも1つの表現を出力する出力と、
を備える。
エネルギー分解X線データの少なくとも1つの表現を受信するための入力と、
エネルギー分解X線データの少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を実行して、基底画像表現の少なくとも2つのセットを生成するように構成された基底物質分解システムと、
入力-出力対の訓練データに基づいて決定された構成(configuration determined based on input-output-paired training data)を有し、基底画像表現のセットの少なくとも2つから少なくとも2つの基底画像表現を受信し、受信した基底画像表現を機械学習に基づいてデータ処理して、出力画像データの少なくとも1つの表現を生成するように構成された訓練された機械学習システムと、
出力画像データの少なくとも1つの表現を出力する出力と、
を備える。
第4の態様によれば、第2の態様又は第3の態様による画像再構成のためのシステムを備えるX線イメージングシステムが提供される。
第5の態様によれば、プロセッサによって実行されると、プロセッサに複数のステップを行わせる命令を含むコンピュータプログラムを格納した非一時的コンピュータ可読媒体を含むコンピュータプログラム製品が提供される。前記複数のステップは、
エネルギー分解X線データの少なくとも1つの表現を収集し、
エネルギー分解X線データの前記少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を実行して、少なくとも2つの元の基底画像表現セットを生成し、
前記元の基底画像表現セットの少なくとも2つから少なくとも2つの基底画像表現を抽出し、
前記抽出された基底画像表現を機械学習に基づいてデータ処理して、出力画像データの少なくとも1つの表現を生成することを含む。
エネルギー分解X線データの少なくとも1つの表現を収集し、
エネルギー分解X線データの前記少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を実行して、少なくとも2つの元の基底画像表現セットを生成し、
前記元の基底画像表現セットの少なくとも2つから少なくとも2つの基底画像表現を抽出し、
前記抽出された基底画像表現を機械学習に基づいてデータ処理して、出力画像データの少なくとも1つの表現を生成することを含む。
提案された技術は、機械学習ベースのデータ処理への入力として、2つ以上の基底物質分解から得られた基底画像表現を使用することにより、大幅に改善された画像再構成を提供する。提案された技術によって提供される技術的解決策は、例として、出力画像及び対応する画像表現における偏り(バイアス)、アーティファクト、及び/又はノイズを低減することができる。
本発明者らは、X線画像再構成を実行する際に、機械学習プロセス及び/又はシステムの効率、操作及び/又は結果を大幅に改善及び容易にすることが可能であることを認識した。生の画像データに対して機械学習を使用するという優勢な傾向に従う代わりに、本発明者らは、機械学習プロセス及び/又は機械学習システムの入力として、2つ以上の4基底物質分解から得られる基底画像表現を利用する場合に、改善された画像結果が達成できることを認識した。システム。たとえば、改善には、偏り、アーティファクト及び/又はノイズの低減、又は解像度の向上が含まれる場合がある。もう1つの利点は、提案された技術が、信頼性と品質の高い画像再構成を取得するために必要な訓練データの量を削減することである。本発明の実施形態は、そのさらなる目的及び利点とともに、添付の図面とともに以下の説明を参照することによって最もよく理解され得る。
理解を深めるために、X線イメージングシステム全体の非限定的な例の紹介的な説明を続けることが有用な場合がある。
図2は、X線を放射するX線源10と、X線が物体を通過した後のX線を検出するX線検出器を備えたX線検出器システム20と、X線検出器からの生の電気信号を処理してデジタル化するアナログ処理回路25とを備えるX線イメージングシステム100の一例を示す模式図である。補正の適用、一時的な保存、またはフィルタリングなど、測定データに対してさらなる処理操作を行うことができるデジタル処理回路40と、処理されたデータを保存し、さらなる後処理および/または画像再構成を行うことができるコンピュータ50と、を備える。本発明によれば、アナログ処理回路25の全て又は一部は、X線検出器システム20に実装されてもよい。
X線検出器全体は、X線検出器システム20、又は関連するアナログ処理回路25と組み合わされたX線検出器システム20と見なすことができる。
デジタル処理回路40及び/又はコンピュータ50を含むデジタル部分は、X線検出器からの画像データに基づいて画像再構成を実行する画像処理システム30とみなすことができる。したがって、画像処理システム30は、コンピュータ50、または代替的にデジタル処理回路40とコンピュータ50の複合システム、またはデジタル処理回路が画像処理および/または再構成のためにもさらに特化されている場合には、デジタル処理回路40単体として見なすことができる。
一般的に使用されるX線イメージングシステムの一例は、X線によるコンピュータ断層撮影(CT)システムであり、X線のファンビームまたはコーンビームを生成するX線管と、患者または物体を透過したX線の一部(fraction)を測定するX線検出器の対向するアレイとを含むことができる。X線管と検出器アレイは、撮影対象物の周りを回転するガントリに取り付けられている。
図3は、X線イメージング・システムの例示的な例としてのCTシステムの概略ブロック図である。CTシステムは、オペレータコンソール60を介してオペレータからコマンド及び走査パラメータを受信するコンピュータ50を含み、オペレータコンソール60は、ディスプレイ及び何らかの形のオペレータインターフェース、例えば、キーボード及びマウスを有することができる。オペレータが供給したコマンドとパラメータは、次にコンピュータ50によって利用され、X線コントローラ41、ガントリコントローラ42、及びテーブルコントローラ43に制御信号を提供する。具体的には、X線コントローラ41は、電力及びタイミング信号を提供する。ガントリコントローラ42は、X線源10及びX線源10を備えるガントリ11の回転速度及び位置を制御する。例として、X線検出器は光子計数X線検出器であってもよい。テーブルコントローラ43は、患者テーブル12の位置及び患者の走査範囲を制御及び決定する。検出器コントローラ44は、検出器20からのデータを制御及び/又は受信するように構成されている。
一実施形態では、コンピュータ50は、X線検出器から出力された画像データの後処理及び画像再構成も実行する。したがって、コンピュータは、図1及び図2に示される画像処理システム30に対応する。関連付けられたディスプレイにより、オペレータはコンピュータから再構成された画像やその他のデータを観察できる。
ガントリ11に配置されたX線源10はX線を放出する。例えば光子計数検出器(フォトンカウンティング検出器)の形態のX線検出器20は、患者を通過した後のX線を検出する。X線検出器20は、例えば、センサ又は検出器要素とも呼ばれる複数のピクセル、及び検出器モジュールに配置されたASICなどの関連する処理回路によって形成され得る。アナログ処理部分の一部は、ピクセルで実装されてもよいが、残りの処理部分は、例えばASICで実装される。一実施形態では、処理回路(ASIC)は、ピクセルからのアナログ信号をデジタル化する。処理回路(ASIC)は、デジタル処理部を備えてもよく、デジタル処理部は、測定データに対して、補正の適用、一時的な保存、及び/又はフィルタリングなどのさらなる処理操作を実行することができる。X線投影データを取得するための走査中、ガントリ及びガントリに取り付けられた構成要素はアイソセンタ13を中心に回転する。
現代のX線検出器は通常、入射したX線を電子に変換する必要がある。これは通常、光電効果またはコンプトン相互作用によって行われ、生成された電子はエネルギーが失われるまで通常二次可視光を生成し、この光が感光材料によって検出される。この場合、X線によって生成された電子は、適用された電場によって収集される電子-正孔ペアの観点から電荷を生成する。
多数のX線から積分された信号を提供するという意味で、エネルギー積分モードで動作する検出器がある。出力信号は、検出されたX線によって蓄積された総エネルギーに比例する。
光子計数機能とエネルギー分解機能を備えたX線検出器は、医療用X線アプリケーションで一般的になりつつある。光子計数検出器は、原理的に各X線のエネルギーを測定することができ、対象物の組成に関する追加情報をもたらすという利点を有する。この情報を使用して、画質を向上させたり、放射線量を減らしたりすることができる。
一般に、光子計数X線検出器は、検出器材料内の光子相互作用によって生成される電気パルスの高さを一連のコンパレータ電圧と比較することによって、光子のエネルギーを決定する。これらのコンパレータ電圧は、エネルギーしきい値とも呼ばれる。一般に、比較器(コンパレータ)のアナログ電圧は、D/A変換器(DAC)によって設定される。DACは、コントローラから送信されたデジタル設定を、光子パルスの高さを比較できるアナログ電圧に変換する。
光子計数検出器は、測定時間中に検出器内で相互作用した光子の数をカウントする。一般に、新しい光子は、電気パルスの高さが少なくとも1つの比較器の比較器電圧を超えるという事実によって識別される。光子が識別されると、チャネルに関連付けられたデジタルカウンタをインクリメント(増分)することによってイベントが保存される。
いくつかの異なるしきい値を使用すると、いわゆるエネルギー弁別光子計数検出器が得られ、検出された光子をさまざまなしきい値に対応するエネルギービンに分類できる。このタイプの光子計数検出器は、マルチビン検出器と呼ばれることもある。一般に、エネルギー情報により、新しい種類の画像を作成できるようになり、新しい情報が利用可能になり、従来の技術に固有の画像アーティファクトを取り除くことができる。言い換えれば、エネルギー弁別光子計数検出器の場合、パルス高は比較器のプログラム可能なしきい値(T1-TN)の数と比較され、エネルギーに比例するパルス高に従って分類される。つまり、複数の比較器からなる光子計数検出器を、ここではマルチビン型光子計数検出器と呼ぶことができる。マルチビン光子計数検出器の場合、光子計数は、典型的にはエネルギー閾値ごとに1つのカウンタの集合に格納される。例えば、カウンタは、光子パルスが超えた最も高いエネルギー閾値に対応するように割り当てられることができる。別の例では、カウンタは、光子パルスが各エネルギー閾値を横切った回数を記録している。
一例として、エッジオン(edge-on)は、光子計数検出器用の特別な非限定的な設計であり、X線検出素子又はピクセルなどのX線センサが入射X線に対してエッジオンに向けられる。
例えば、そのような光子計数検出器は、少なくとも2つの方向にピクセルを有することができ、エッジオン光子計数検出器の方向の1つは、X線の方向の成分を有する。このようなエッジオン光子計数検出器は、入射X線の方向にピクセルの2つ以上の深度セグメントを有する、深度セグメント化された光子計数検出器と呼ばれることがある。
あるいは、ピクセルは、入射X線の方向に実質的に直交する方向にアレイ(深さ分割されていない)として配置することができ、ピクセルのそれぞれは、入射X線に対して真横に向けることができる。言い換えれば、光子計数型検出器は、入射X線に対してエッジオンに配置されたまま、非深度分割型であってもよい。
エッジオン光子計数検出器をエッジオンに配置することにより、吸収効率を高めることができる。この場合、吸収深さは任意の長さに選択でき、エッジオン光子計数検出器は、非常に高い電圧にならなくても完全に使い果たす(fully deplete)ことができる。
直接半導体検出器をを介してX線光子を検出する従来の仕組みは、基本的に次のように動作する。検出器材料におけるX線相互作用のエネルギーは、半導体検出器内部で電子-正孔対に変換され、電子-正孔対の数は一般に光子エネルギーに比例する。電子と正孔は、検出器の電極と裏面に向かってドリフトする(またはその逆)。このドリフトの間、電子と正孔は電極に電流を誘起し、その電流は測定されることができる。
図4に示すように、信号(複数可)は、X線検出器の検出器要素子21から並列処理回路(例えば、ASIC)25の入力27に送られる。特定用途向け集積回路(ASIC)という用語は、特定のアプリケーション用に使用及び構成された一般的な回路として広く解釈される。ASICは、各X線から生成された電荷を処理し、それをデジタルデータに変換し、それを用いて光子数及び/又は推定エネルギーなどの測定データを得ることができる。ASICは、デジタルデータ処理回路に接続するように構成されているので、デジタルデータは、さらなるデジタルデータ処理40及び/又は1つ以上のメモリ45に送ることができ、最終的にデータは、再構成画像を生成するための画像処理30.50の入力となるであろう。
1つのX線イベントから発生する電子と正孔の数はX線光子のエネルギーに比例するため、1つの誘導電流パルスの総電荷はこのエネルギーに比例する。ASICでのフィルタリング工程の後、パルス振幅は電流パルスの総電荷に比例するため、X線エネルギーに比例する。次に、パルス振幅は、その値を1つ又は複数の比較器(COMP:comparator)で1つ又は複数のしきい値(THR)と比較することによって測定できる。また、パルスがしきい値よりも大きい場合の数を記録できるカウンタが導入される。このようにして、特定の時間枠内で検出されたそれぞれの閾値(THR)に対応するエネルギーを超えるエネルギーを有するX線光子の数を計数及び/又は記録することが可能である。
ASICは通常、クロックサイクルごとに1回アナログ光子パルスをサンプリングし、比較器の出力を記録する。比較器(しきい値)は、アナログ信号がコンパレータ電圧より上か下かに応じて、1又は0を出力する。各サンプルで利用可能な情報は、たとえば、比較器がトリガーされた(光子パルスがしきい値よりも高かった)かどうかを表す各比較器の1又は0である。
光子計数検出器では、通常、新しい光子が記録(register)されたかどうかを判断し、光子をカウンタに記録する光子計数ロジックがある。マルチビン光子計数検出器の場合、通常、複数のカウンタがあり、例えば、各比較器に1つずつあり、光子計数は、光子エネルギーの推定値に従ってカウンタに記録される。このロジックは、いくつかの異なる方法で実装することができる。光子計数ロジックの最も一般的なカテゴリーは、いわゆる非パラライザブル計数モード(non-paralyzable counting modes)と、パラライザブル計数モード(paralyzable counting modes)との2つである。その他の光子計数ロジックとしては、例えば、ローカルマキシマ検出(local maxima detection)があり、電圧パルスで検出された極大値をカウントし、場合によってはパルス高も記録する極大値検出が含まれる。
光子計数型検出器には、高い空間分解能、低い電子ノイズ、エネルギー分解能、物質分離能力(スペクトルイメージング能力)など、多くの利点があるが、これらに限定されるわけではない。しかし、エネルギー積分型検出器には、高い計数率耐性(high count-rate tolerance;計数率の許容度が高い)という利点がある。計数率の許容誤差は、光子の全エネルギーを測定するため、現在検出器に記録されている光子の量に関係なく、光子を1つ追加すれば必ず出力信号が(合理的な範囲内で)増加するという事実/認識に由来する。この利点は、エネルギー積分型検出器が今日の医療用CTの標準である主な理由の1つである。
提案された測定方法のより良い理解のために、簡単なシステムの概要及び/又は技術的問題の分析から始めることが有用であろう。この目的のために、先行技術による光子計数回路及び/又はデバイスの概略図を提供する図5を参照する。
光子が半導体材料中で相互作用すると、電子-正孔対のクラウド(cloud:雲)が生成される。検出器材料に電界をかけると、電荷キャリアは検出器材料に取り付けられた電極に集められる。信号は、検出器から並列処理回路(ASICなど)の入力に送られる。特定用途向け集積回路(ASIC)という用語は、特定の用途に使用され構成された一般的な回路として広く解釈されることが理解されるべきである。ASICは、各X線から発生した電荷を処理し、それをデジタルデータに変換し、それを用いて光子数及び/又は推定エネルギーなどの測定データを得ることができる。一例として、ASICは、検出器材料に光子によって堆積されたエネルギー量に比例する最大高さの電圧パルスが生成されるように電荷を処理することができる。
ASICは、各比較器302が電圧パルスの大きさを基準電圧と比較する比較器302のセットを含むことができる。比較器の出力は、比較された2つの電圧のどちらが大きいかに応じて、ゼロ又は1(0/1)になる。ここで、電圧パルスが基準電圧よりも高い場合、比較器出力は(1)であり、基準電圧が電圧パルスよりも高い場合(0)であると仮定する。デジタル/アナログ変換器(DAC)301を使用して、ユーザー又は制御プログラムによって供給され得るデジタル設定を、比較器302によって使用され得る基準電圧に変換することができる。電圧パルスの高さが特定の比較器の基準電圧を超える場合、その比較器がトリガされたと呼ぶことにする。各比較器は、一般に、光子計数論理に従って比較器出力に基づいて増分されるデジタルカウンタ303と関連付けられる。
一般に、基底物質分解は、人体組織のような原子番号の小さい元素から構成されるすべての物質が線形減衰係数μ(E)を持つという事実を利用する。そのエネルギー依存性は、2つ(以上)の基底関数の線形結合として近似的に表現できることを利用する。
μ(E)=a1f1(E)+a2f2(E)
ここで、fiは基底関数、aiは対応する基底係数である。イメージングに使用されるエネルギー範囲にk吸収端が存在するのに十分な高い原子番号を持つ1つ以上の元素がイメージングされたボリュームに存在する場合、1つの基底関数をそのような元素ごとに追加する必要がある。医用画像診断の分野では、そのようなk吸収端の元素は、典型的には、造影剤として使用される物質であるヨウ素またはガドリニウムであり得る。
μ(E)=a1f1(E)+a2f2(E)
ここで、fiは基底関数、aiは対応する基底係数である。イメージングに使用されるエネルギー範囲にk吸収端が存在するのに十分な高い原子番号を持つ1つ以上の元素がイメージングされたボリュームに存在する場合、1つの基底関数をそのような元素ごとに追加する必要がある。医用画像診断の分野では、そのようなk吸収端の元素は、典型的には、造影剤として使用される物質であるヨウ素またはガドリニウムであり得る。
前述のように、基底係数aiのそれぞれの線積分Aiは、線源から検出素子への各投影光線lにおける測定データから推測される。線積分Aiは次のように表すことができる。
次に、最尤推定法(maximum likelihood method)を使用して、各ビンのカウント数がポアソン分布確率変数となるという仮定の下でAiを推定することができる。これは、負の対数尤度関数を最小化する(minimizing the negative log-likelihood function)ことによって達成される(参照:Roessl and Proksa, K-edge imaging in x-ray computed tomography using multi-bin photon counting detectors, Phys. Med. Biol. 52 (2007), 4679-4696)。
線積分Aから、基底係数を取得する断層撮影再構成aiが実行される場合がある。この手順工程は、別個のトモグラフィー再構成と見なすことができ、あるいは全体的な基底分解の一部とみなすこともできる。
前述のように、各投影線の結果として得られる。
提案する技術は、2つ以上の基底物質分解から得られる基底画像表現を機械学習ベースのデータ処理への入力として使用することにより、画像再構成を大幅に改善することを目的とする。提案された技術によって提供される技術的解決策は、一例として、出力画像及び対応する画像表現における偏り、アーチファクト及び/又はノイズを低減することができる。
図6は、実施形態によるエネルギー分解X線測定データに基づく画像再構成方法の一例を示す模式的なフロー図である。
基本的に、この方法には以下の工程が含まれる。
S1:エネルギー分解されたX線データの少なくとも1つの表現を収集する。
S2:エネルギー分解X線データの少なくとも1つの表現に基づいて、少なくとも2つの基底物質分解を実行して、少なくとも2つの元の基底画像表現セットを生成する。
S3:元の基底画像表現セットの少なくとも2つから少なくとも2つの基底画像表現を取得又は選択する。
S4:機械学習に基づくデータ処理によって取得又は選択された基底画像表現を処理し、出力画像データの少なくとも1つの表現を生成する。
一例として、機械学習に基づくデータ処理は、取得又は選択された基底画像表現を、出力画像データの少なくとも1つの表現に対応付けるように構成され得る。
基本的に、この方法には以下の工程が含まれる。
S1:エネルギー分解されたX線データの少なくとも1つの表現を収集する。
S2:エネルギー分解X線データの少なくとも1つの表現に基づいて、少なくとも2つの基底物質分解を実行して、少なくとも2つの元の基底画像表現セットを生成する。
S3:元の基底画像表現セットの少なくとも2つから少なくとも2つの基底画像表現を取得又は選択する。
S4:機械学習に基づくデータ処理によって取得又は選択された基底画像表現を処理し、出力画像データの少なくとも1つの表現を生成する。
一例として、機械学習に基づくデータ処理は、取得又は選択された基底画像表現を、出力画像データの少なくとも1つの表現に対応付けるように構成され得る。
特定の例では、機械学習に基づくデータ処理は、訓練されたニューラル・ネットワーク、サポートベクターマシン、又は決定木ベースの手段に基づく実装によって、取得又は選択された基底画像表現を出力画像データの少なくとも1つの表現にマッピングするように構成されてもよい。
例えば、訓練(トレーニング)されたニューラル・ネットワーク、サポートベクターマシン、又は決定木に基づく実装は、測定された患者の画像データ又はファントム画像データの少なくとも1つに対して、又は数値ファントムに基づくシミュレートされた画像データで訓練することができる。
任意で、ニューラル・ネットワーク、サポートベクターマシン、又は決定木ベースの実装は、第1のタイプの画像で訓練され、転移学習を使用して第2のタイプの画像で使用するように適合される場合がある。
一例として、ニューラル・ネットワーク、サポートベクターマシン、又は決定木に基づく実装は、非エネルギー分解CT画像上にあり、転移学習を使用してエネルギー分解光子計数CT画像上で使用するように適合される場合がある。
典型的には、エネルギー分解X線データの少なくとも1つの表現は、X線検出器又は中間記憶装置から生じさせることができ、エネルギー分解X線画像データ及び/又はエネルギー分解X線測定データを含み得る。
例えば、X線検出器は、マルチビン光子計数X線検出器とも呼ばれるエネルギー分解光子計数検出器であってもよい。
あるいは、エネルギー分解X線データは、マルチX線管収集、低速又は高速kVスイッチング収集、多層検出器から、又は分割フィルタ収集によって取得することができる。
図7は、一実施形態による機械学習ベースの画像再構成の補足表現の一例を示す概略図である。基本的に、エネルギー分解されたX線データは、基底物質分解への入力として提供され、少なくとも2セットの基底画像表現を生成し、その少なくともサブセットが機械学習プロセス及び/又はシステムに転送される。機械学習プロセス及び/又はシステムは、適切に訓練されると、基底画像表現を出力画像データに(通常、推論と呼ばれるプロセスによって)マッピングする。
特定の実施例では、出力画像データの前記少なくとも1つの表現は、基底画像表現の出力セットと呼ばれる基底画像表現のセットを含み、出力セット内の基底画像表現の数は、前記少なくとも2つの元の基底画像表現セットのいずれかにおける基底画像表現の最大数より大きい。
一例として、基底画像表現の出力セットは、多数の基底関数を有してよく、元の基底画像表現セットの各々は、それぞれの数の基底関数を有してよく、基底画像表現の出力セットに対応する基底関数は、前記少なくとも2つの元の基底画像表現セットに対応する基底関数の和の部分集合であるか、又はそれに等しくてもよい。
例えば、基底画像表現の出力セットは多数の基底関数を有し、元の基底画像表現セットの各々はそれぞれの基底関数の数を有し、前記取得された又は選択された基底画像表現の数は、基底画像表現の前記出力セットに対応する基底関数の数と同じか又はそれより大きい。
特定の例では、元の基底画像表現セットは2基底分解(two-basis decompositions)に基づいており、基底画像表現の出力セットは3基底分解(three-basis decompositions)に基づいている。
このような場合、機械学習に基づくデータ処理は、例えばニューラルネットワークによって実行されてもよく、ニューラルネットワークは、入力データとしての複数の2基底画像表現セットと出力データとしての3基底画像表現セットとを用いて訓練されてもよい。
一例として、2基底画像表現セット及び3基底画像表現セットは、測定された患者画像データ又はファントム画像データから、又は数値ファントムに基づくシミュレートされた画像データから生成され得る。
オプションとして、取得又は選択された基底画像表現を処理するステップは、以下を含むことができる:
-取得又は選択された基底画像表現を、非基底画像データ(non-basis image data)の少なくとも1つの表現と組み合わせるステップ
-機械学習に基づくデータ処理によって、取得又は選択された基底画像表現を少なくとも1つの非基底画像データの表現と一緒に処理するステップ。
-取得又は選択された基底画像表現を、非基底画像データ(non-basis image data)の少なくとも1つの表現と組み合わせるステップ
-機械学習に基づくデータ処理によって、取得又は選択された基底画像表現を少なくとも1つの非基底画像データの表現と一緒に処理するステップ。
例えば、非基底画像データは、ビン計数サイノグラムデータ、対数正規化ビン計数サイノグラムデータ、サムオーバービンサイノグラムまたは対数正規化データ、再構成CT画像データ、およびセグメンテーションマスクデータ(bin counts sinogram data, log-normalized bin counts sinogram data, sum-over-bins sinogram or log-normalized data, reconstructed CT image data, and segmentation mask data)のうちの少なくとも1つを含むことができる。
オプションとして、取得又は選択された基本画像表現を処理するステップは、以下を含むことができる。
-前記取得又は選択された基底画像表現を事前情報の少なくとも1つの表現と組み合わせるステップ
-機械学習に基づく前記データ処理によって、事前情報の前記少なくとも1つの表現を用いて、前記取得又は選択された基底画像表現を処理するステップ。
-前記取得又は選択された基底画像表現を事前情報の少なくとも1つの表現と組み合わせるステップ
-機械学習に基づく前記データ処理によって、事前情報の前記少なくとも1つの表現を用いて、前記取得又は選択された基底画像表現を処理するステップ。
事前情報とは、一般に、例えば、物理法則及び原理並びに以前の測定、画像及び/又はシミュレーションに基づき、既知であると想定される利用可能な情報の別個のセットとして定義される。
オプションとして、取得又は選択された基底画像表現を処理するステップは、以下を含むことができる:
-取得又は選択された基底画像表現を、取得システム内の物理プロセスの少なくとも1つの計算表現と組み合わせるステップ、
-取得又は選択された基底画像表現を、機械学習に基づくデータ処理によって、物理プロセスの前記少なくとも1つの計算表現で処理するステップ。
-取得又は選択された基底画像表現を、取得システム内の物理プロセスの少なくとも1つの計算表現と組み合わせるステップ、
-取得又は選択された基底画像表現を、機械学習に基づくデータ処理によって、物理プロセスの前記少なくとも1つの計算表現で処理するステップ。
オプションとして、取得又は選択された基底画像表現を処理するステップは、以下を含むことができる:
-取得又は選択された基底画像表現を、測定データの統計モデルの少なくとも1つの計算表現と組み合わせるステップ、
-機械学習に基づくデータ処理によって、統計モデルの前記少なくとも1つの計算表現を用いて、取得又は選択された基底画像表現を処理するステップ。
-取得又は選択された基底画像表現を、測定データの統計モデルの少なくとも1つの計算表現と組み合わせるステップ、
-機械学習に基づくデータ処理によって、統計モデルの前記少なくとも1つの計算表現を用いて、取得又は選択された基底画像表現を処理するステップ。
特定の例では、出力画像データの前記少なくとも1つの表現は、基底画像表現及び/又は物質分解再構成画像の出力セットを含む。
一例として、機械学習に基づくデータ処理は、訓練データに基づいて構成されたディープラーニング後処理を含むことができ、ディープラーニング後処理は、偏った物質分解サイノグラム(biased material-decomposed sinograms)を入力として受け取り、出力として偏りのない物質分解サイノグラム(de-biased material-decomposed sinograms)又は偏りのない物質分解再構成画像(debiased material-decomposition reconstructed imagesを提供するように構成されてもよい。
例として、サイノグラムのセットを2基底分解の入力として提供して、2つ以上の基底画像表現を生成することができ、ディープラーニングニューラル・ネットワークを使用して、結果の基底画像表現を3物質分解に変換することができる。
第2の態様によれば、エネルギー分解X線データに基づく画像再構成のためのシステムが提供される。システムは、エネルギー分解X線データの少なくとも1つの表現を取得するように構成されている。システムは、エネルギー分解X線データの少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を行い、少なくとも2セットの基底画像表現を生成するように構成される。システムは、少なくとも2つの基底画像表現のセットから少なくとも2つの基底画像表現を取得又は選択するようにさらに構成される。システムはまた、出力画像データの少なくとも1つの表現を生成するために、機械学習システムに基づくデータ処理によって、取得又は選択された基底画像表現を処理するように構成される。
第3の態様によれば、エネルギー分解X線データに基づく画像再構成のためのシステムが提供される。システムは次の構成要素を備える。
-エネルギー分解X線データの少なくとも1つの表現を受信するための入力、
-エネルギー分解X線データの前記少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を実行して、少なくとも2セットの基底画像表現を生成するように構成された基底物質分解システム、
-入出力ペア訓練データに基づいて決定された構成を有し、前記ベース画像表現のセットの少なくとも2つから少なくとも2つのベース画像表現を受信し、受信したベース画像表現を機械学習によって処理するように適合された、訓練済み機械学習システムと、出力画像データの少なくとも1つの表現を生成するためのベースのデータ処理。
-出力画像データの前記少なくとも1つの表現を出力するための出力。
-エネルギー分解X線データの少なくとも1つの表現を受信するための入力、
-エネルギー分解X線データの前記少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を実行して、少なくとも2セットの基底画像表現を生成するように構成された基底物質分解システム、
-入出力ペア訓練データに基づいて決定された構成を有し、前記ベース画像表現のセットの少なくとも2つから少なくとも2つのベース画像表現を受信し、受信したベース画像表現を機械学習によって処理するように適合された、訓練済み機械学習システムと、出力画像データの少なくとも1つの表現を生成するためのベースのデータ処理。
-出力画像データの前記少なくとも1つの表現を出力するための出力。
図8は実施形態に係るX線画像再構成システムの一例を示す模式的なブロック図である。図8のX線画像再構成システム30は、基本的に、入力31、基底物質分解システム32、機械学習システム33、及び出力34から構成される。
上述のように、機械学習システム33は、例えば、ニューラル・ネットワーク、サポートベクターマシン、又は決定木ベース(a neural network, a support vector machine or a decision-tree based implementation)の実装に基づくことができる。
例として、機械学習システム33は、測定された患者画像データ又はファントム画像データの少なくとも1つに対して、又は数値ファントムに基づくシミュレートされた画像データから訓練され得る。
特定の例では、機械学習システム33は、第1のタイプの画像で訓練され、転移学習を使用して第2のタイプの画像で使用するように適合される。
例えば、機械学習システム33は、非エネルギー分解CT画像で訓練され、転移学習を使用してエネルギー分解光子計数CT画像での使用に適合され得る。
特定の例では、機械学習システム33は、取得又は選択された基底画像表現を出力画像データの前記少なくとも1つの表現にマッピングするように構成される。
典型的には、エネルギー分解X線データの前記少なくとも1つの表現は、X線検出器又は中間記憶装置から生じ得、エネルギー分解X線画像データ及び/又はエネルギー分解X線測定データを含み得る。
例として、X線検出器は、マルチビン光子計数X線検出器とも呼ばれるエネルギー分解光子計数検出器であってもよい。
前述のように、出力画像データの前記少なくとも1つの表現は、基底画像表現の出力セットと呼ばれる基底画像表現のセットを含んでよく、出力セットにおける基底画像表現の数は、前記少なくとも2つの元の基底画像表現セットのいずれかにおける基底画像表現の最大数より多い。
たとえば、基底画像表現の出力セットは、多数の基底関数を有し、各元の基底画像表現セットは、それぞれの数の基底関数を有し、基底画像表現の出力セットに対応する基底関数は、前記少なくとも2つの元の基底画像表現セットに対応する基底関数の和の部分集合であるか、又はそれに等しい。
例えば、出力画像データの前記少なくとも1つの表現は、基底画像表現及び/又は物質分解再構成画像の出力セットを含むことができる。
特定の例では、画像再構成システムは、少なくとも1つのプロセッサ及びメモリを備え、メモリは、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに画像再構成を実行させる命令を備える。
例として、基底物質分解システムは、基底画像表現の少なくとも2つのセットを生成するように構成された処理回路を備えてもよく、訓練された機械学習システムは、出力画像データの少なくとも1つの表現を生成するように構成された処理回路を備えてもよい。
より良く理解するために、次に、提案する技術を、2つ以上の基底分解から得られた基底画像表現を機械学習プロセス及び/又はシステムへの入力として用いる画像再構成に関して、非限定的な例を参照して説明する。
X線イメージングの分野では、画像データの表現は、例えばサイノグラム、投影画像、又は再構成されたCT画像を含むことがある。画像データのそのような表現は、異なるチャネルのデータが異なるエネルギー間隔で測定されたX線データに関連する複数のチャネルを含む場合、エネルギー分解され得る。
エネルギー分解X線データの表現を入力とする物質分解のプロセスを通じて、基底画像表現セットを生成することができる。このようなセットは、多数の基底画像表現の集まりであり、各基底画像表現は、全X線減衰に対する特定の基底関数の寄与に関連している。このような一連の基底画像表現は、基底サイノグラムの集合、再構成された基底CT画像の集合、又は投影画像の集合であってよい。この文脈における「画像」は、例えば二次元画像、三次元画像、又は時間分解画像系列(time-resolved image series)を意味し得ることが理解されよう。
例として、エネルギー分解X線データは、エネルギー分解X線画像データ及び/又はエネルギー分解X線測定データであってもよい。一例として、エネルギー分解されたX線データの少なくとも1つの表現は、X線検出器又は中間記憶装置から生じ得る。
たとえば、エネルギー分解X線データの表現は、エネルギー・ビン・サイノグラムのコレクションを含むことができる。ここで、各エネルギーサイノグラムには、1つのエネルギービンで測定されたカウント数が含まれる。このエネルギービンサイノグラムの集まりを物質分解アルゴリズムへの入力とすることにより、基底サイノグラムのセットを生成することができる。このような基底サイノグラムは、例示的に、再構成アルゴリズムへの入力として取り込まれ、再構成された基底画像を生成することができる。
2基底分解では、撮像された物体中の任意の物質の減衰が、2基底関数の線形結合として表現できるという近似に基づいて、2基底画像表現が生成される。3基底分解では、撮像された物体中の任意の物質の減衰が3基底画像上の線形結合として表現されるという近似に基づいて、3基底画像表現が生成される。同様に、4基底分解、5基底分解、および同様の多基底分解(four-basis decomposition, a five-basis decomposition and similar multi-basis decomposition )を定義することができる。また、画像対象物中の全ての物質を、密度スケールファクターまで類似したエネルギー依存性を持つX線減衰係数を持つものとして近似し、1基底分解(one-basis decomposition)を行うことも可能である。
2基底分解は、例えば、それぞれ水及びヨウ素の線形減弱係数によって与えられる基底関数に対応する、水サイノグラム及びヨウ素サイノグラムを含む基底サイノグラムのセットをもたらすことができる。あるいは、基底関数は、水とカルシウム、カルシウムとヨウ素、ポリ塩化ビニルとポリエチレンの減衰を表すことができる。2基底分解は、例えば、水サイノグラム、カルシウムサイノグラム、ヨウ素サイノグラムからなる基底サイノグラムのセットをもたらすことができる。あるいは、基底関数は、水、ヨウ素、ガドリニウムの減衰、またはポリ塩化ビニル、ポリエチレン、ヨウ素の減衰を表すことができる。
発明者は、3つ以上の基底関数を用いた正確な基底分解は、実際には実行するのが難しく、アーティファクト、偏り、又は過度のノイズをもたらす可能性があることを認識した。このような基底分解では、正確な結果を得るために、大規模なキャリブレーション測定とデータの前処理も必要になる場合がある。一般に、多数の基底関数への基底分解は、少数の基底関数への分解よりも技術的に難しい場合がある。
たとえば、2基底分解と比較して、画像の偏りやアーティファクトのレベルが低い3基底分解を行うのに十分正確なキャリブレーションを実行することは困難な場合がある。また、過度にノイズの多い基底画像を生成せずに、非常にノイズの多いデータで3基底分解を実行できる物質分解アルゴリズムを見つけるのは難しい場合がある。すなわち、クラメール・ラオの下限(Cramer-Rao lower bound)によって与えられる基底画像ノイズの理論的下限を達成することが困難で、2基底分解を行う場合にはこの下限を達成することが容易である場合がある。
本発明者らはさらに、より多くの基底画像表現を生成するために必要な情報量は、それぞれがより少ない数の基底画像表現を有する複数の基底画像表現のセットから抽出することが可能であり得ることを理解している。例えば、水、カルシウム、及びヨウ素のサイノグラムへの3基底分解を生成するために必要な情報は、水-カルシウム分解、水-ヨウ素分解、及びカルシウム-ヨウ素分解の3つの2基底分解のセット(a set of three two-basis decompositions)から抽出することが可能であり得る。
単一の3基底分解を正確に実行するよりも、複数の2基底分解を正確に実行する方が簡単な場合がある。開示された発明の特定の例において、この観察は、例えば、正確な3基底分解を実行するという問題を解決するために使用され得る。例として、エネルギー分解画像データを最初に使用して、水-カルシウム分解、水-ヨウ素分解、及びカルシウム-ヨウ素分解を実行することができる。次に、畳み込みニューラルネットワークなどの機械学習システムを用いて、得られた6つの(3×2)基底画像、またはそのサブセットを、水、カルシウム、およびヨウ素画像からなる3つの出力画像の集合に対応付けることができる。このような機械学習システム又はネットワークは、入力データとしてのいくつかの2基底画像表現セット及び出力データとしての3基底画像表現セットを用いて訓練することができ、前記2基底画像表現セット及び3基底画像表現セットは、測定した患者画像データ若しくはファントム画像データから、又は数値ファントムに基づくシミュレーション画像データから生成される。
上述の方法を使用すると、エネルギー分解された画像データに対して直接実行される3基底分解と比較して、3基底画像表現セットの偏り、アーティファクト、又はノイズを大幅に削減できる。あるいは、より解像度の高い画像を得ることができる。
元の基底画像に適用される機械学習アルゴリズムは、ニューラル・ネットワークの代わりに、サポートベクターマシン又は決定木ベースの方法などの別の機械学習方法を含むことができる。
より一般的には、本発明者らは、X線画像再構成を行う際の機械学習プロセス及び/又はシステムの効率、動作及び/又は結果を実質的に改善及び促進することが可能であることに気付いた。生画像データに機械学習を使用する優勢な傾向に従う代わりに、本発明者らは、2つ以上の基底物質分解から得られる基底画像表現を機械学習プロセス及び/又はシステムの入力として利用する場合に、改善された画像結果を達成することができることに気がついた。例えば、改善は、偏り、アーティファクト及び/又はノイズの低減、又はより高い解像度を含むことができる。別の利点は、提案された技術が、高い信頼性と品質を有する画像再構成を得るために必要な学習データの量を減少させることである。
元の基底画像表現を生成するために使用される基底物質分解は、例えば体積又は質量保存制約又は非負性制約などの事前情報を使用し及び/又は関与させてもよい。あるいは、そのような事前情報は、例えば、以前の検査からの画像又は全エネルギービンにおける集計カウントから再構成された画像などの事前画像表現の形態をとることができ、アルゴリズムは、この事前画像表現に対する分解された基底画像表現の逸脱にペナルティを科すことができる。別の選択肢は、例えば学習された辞書又は事前に訓練された畳み込みニューラルネットワークとして表される、学習画像のセットから学習された事前情報、又は再構成された画像が存在すると予想される学習された部分空間、即ち可能な画像のベクトル空間の部分空間を使用することである。
物質分解は、例えば、測定された各投影光線を独立して処理することにより、投影画像データまたはサイノグラムデータに対して実施することができる。この処理は、最大尤度分解(maximum likelihood decomposition)、または撮像されたオブジェクトの物質組成に関する事前確率分布(prior probability distribution)が仮定される最大事後分解(maximum a posteriori decomposition)の形式をとることができる。また、入力カウントのセットから出力カウントのセットへの線形又はアフィン変換(affine transform)、Alvarezによって例示的に説明されるようなAテーブル推定器(参照:Med Phys. 2011 May; 38(5):232-2334)、低次多項式近似(low-order polynomial approximation)例えばLee et al. (IEEE Transactions on Medical Imaging (Volume: 36, Issue: 2, Feb. 2017: 560-573)またはルックアップテーブルによって例示的に記述されたニューラルネットワーク推定器(neural network estimator)である。あるいは、物質分解法は、複数の光線を一緒に処理してもよいし、1段階または2段階の再構成アルゴリズムで構成されてもよい。
WO2017/223560は、ディープラーニングアルゴリズムを使用して再構成画像を生成する断層画像再構成方法を開示している。例えば、最初に第1のアルゴリズムを適用して中間データを取得し、次に第2のアルゴリズムを中間画像に適用する。
米国特許第9,036,885号は、例えば学習収縮関数を用いて、スパース化変換及び収縮を用いて投影データを処理する投影領域ノイズ除去処理方法を開示している。
WO2015/028975は、少なくとも2つの基底物質サイノグラムを受信し、非相関フィルタを用いて基底物質サイノグラムのノイズを除去する方法を開示している。
Optical Engineering 58(1), 013104に掲載されたChenとLiによる論文(An article by Chen and Li in Optical Engineering 58(1), 013104)では、ディープニューラルネットワークを用いてスペクトルCTデータの複数の物質分解を行う方法が開示されており、単にニューラルネットワークによって実際の物質分解を行うだけである。
Scientific Reports第9巻、記事番号:17709(2019)のPoirotらによる論文(An article by Poirot et al. in Scientific Reports volume 9, Article number: 17709 (2019))では、畳み込みニューラルネットワークを用いてデュアルエナジーCT画像から非造影シングルエナジーCT画像を生成する方法が開示されている。
第1の態様によれば、エネルギー分解X線データを処理するための方法の非限定的な例が提供され、方法は以下のステップを含む。
-エネルギー分解X線データの少なくとも1つの表現を収集するステップ
-エネルギー分解X線データの前記少なくとも1つの表現に対して少なくとも2つの基底物質分解を実行し、少なくとも2つの元の基底画像表現セットをもたらすステップ
-元の基底画像表現セットの少なくとも2つから少なくとも2つの基底画像表現を取得又は選択するステップ
-前記取得又は選択された基底画像表現を、機械学習アルゴリズムに基づくデータ処理(データ処理手順など)で処理し、出力画像データの少なくとも1つの表現を生成するステップ。
-エネルギー分解X線データの少なくとも1つの表現を収集するステップ
-エネルギー分解X線データの前記少なくとも1つの表現に対して少なくとも2つの基底物質分解を実行し、少なくとも2つの元の基底画像表現セットをもたらすステップ
-元の基底画像表現セットの少なくとも2つから少なくとも2つの基底画像表現を取得又は選択するステップ
-前記取得又は選択された基底画像表現を、機械学習アルゴリズムに基づくデータ処理(データ処理手順など)で処理し、出力画像データの少なくとも1つの表現を生成するステップ。
つまり、エネルギー分解されたX線データに基づく(X線)画像再構成法として表現することができる
第2の態様によれば、以下の構成を有する、エネルギー分解X線データを処理するための対応するシステムの非限定的な例も提供される。
-システムは、エネルギー分解X線データの少なくとも1つの表現を収集するように構成され、
-システムは、画像データの前記表現に対して少なくとも2つの基底物質分解を実行して、少なくとも2つの元の基底画像表現セットを生成するように構成され、
-システムは、前記元の基底画像表現セットのうちの少なくとも2つから少なくとも2つの基底画像表現を取得又は選択するように構成され、
-出力画像データの少なくとも1つの表現を生成するために、機械学習に基づくデータ処理(データ処理手順など)を使用して、取得又は選択された基底画像表現を処理するように構成される。
-システムは、エネルギー分解X線データの少なくとも1つの表現を収集するように構成され、
-システムは、画像データの前記表現に対して少なくとも2つの基底物質分解を実行して、少なくとも2つの元の基底画像表現セットを生成するように構成され、
-システムは、前記元の基底画像表現セットのうちの少なくとも2つから少なくとも2つの基底画像表現を取得又は選択するように構成され、
-出力画像データの少なくとも1つの表現を生成するために、機械学習に基づくデータ処理(データ処理手順など)を使用して、取得又は選択された基底画像表現を処理するように構成される。
つまり、エネルギー分解されたX線データに基づいて(X線)画像を再構成するためのシステムとして表現できる。
本発明の例示的な実施形態では、エネルギー分解X線データの少なくとも1つの表現を収集する前記ステップ又は構成は、CTイメージングシステムによって行われる。
本発明の例示的な実施形態では、エネルギー分解X線データの少なくとも1つの表現を収集する前記ステップ又は構成は、マルチビン光子計数X線検出器とも呼ばれるエネルギー分解光子計数検出器によって行われる。
あるいは、エネルギー分解X線データの少なくとも1つの表現を収集する前記ステップまたは構成は、マルチX線管収集、低速または高速kVスイッチング収集、多層検出器または分割フィルタ収集の方法によって行われる。
本発明の例示的な実施形態では、前記少なくとも1つの元の基底表現又は出力基底表現は、サイノグラム、投影X線画像、又は再構成されたCT画像のうちの少なくとも1つを含む。
本発明の例示的な実施形態では、選択された基底画像を処理する前記ステップ又は構成は、以下のステップ又は構成を含む。
-前記選択された基底画像データを、非基底画像データの少なくとも1つの表現と組み合わせることであって、非基底画像データは、例えば、ビン計数サイノグラム・データ、対数正規化ビン計数サイノグラム・データ、ビンオーバーサムサイノグラム又は対数正規化データ、再構築されたCT画像データ、及び/又はセグメンテーション・マスク・データ(bin counts sinogram data, log-normalized bin counts sinogram data, sum-over-bins sinogram or log-normalized data, reconstructed CT image data, and/or segmentation mask data)である。
-機械学習に基づくデータ処理方法を用いて、選択された基底画像データを非基底画像データの表現とともに処理すること。
-前記選択された基底画像データを、非基底画像データの少なくとも1つの表現と組み合わせることであって、非基底画像データは、例えば、ビン計数サイノグラム・データ、対数正規化ビン計数サイノグラム・データ、ビンオーバーサムサイノグラム又は対数正規化データ、再構築されたCT画像データ、及び/又はセグメンテーション・マスク・データ(bin counts sinogram data, log-normalized bin counts sinogram data, sum-over-bins sinogram or log-normalized data, reconstructed CT image data, and/or segmentation mask data)である。
-機械学習に基づくデータ処理方法を用いて、選択された基底画像データを非基底画像データの表現とともに処理すること。
本発明の例示的な実施形態では、出力画像データの前記少なくとも1つの表現は、元の基底画像セットとは異なる基底関数に対応する基底画像セットの一部を形成する基底画像表現の近似値である。
本発明の例示的な実施形態では、出力画像データの前記少なくとも1つの表現は、基底画像表現のセットからなり、前記出力セットにおける基底画像表現の数は、元の分解における基底画像のセットのいずれかにおける基底画像の最大数よりも大きい。
本発明の例示的な実施形態では、前記出力基底画像表現セットに対応する基底関数は、前記元の基底画像表現セットに対応する基底関数の和集合のサブセットであるか、又はそれに等しい。あるいは、前記出力基底画像表現セットに対応する基底関数は、前記元の基底画像表現セットに対応する基底関数の和集合のサブセットでなくてもよい。
本発明の例示的な実施形態では、前記選択された基底画像表現の数は、前記出力基底画像表現セットに対応する基底関数の数以上である。
本発明の例示的な実施形態において、前記元の基底画像表現セットは、2基底分解を含む/であり、前記少なくとも1つの出力画像表現セットは、3基底分解を含む。
本発明の例示的な実施形態では、前記基底物質分解のうちの少なくとも1つは、最尤法によって実行される。代替として、前記基底物質分解の少なくとも1つは、線形又はアフィン変換、Aテーブル法、低次多項式近似、ニューラル・ネットワーク、又はルックアップテーブル(a linear or affine transformation, an A-table method, a low-order polynomial approximation, a neural network or a look-up table)を通じて実行される。
本発明の例示的な実施形態では、前記基底物質分解のうちの少なくとも1つは、1段階の基底画像再構成法によって、又は2段階の基底画像再構成法によって実行される。
本発明の例示的な実施形態では、前記機械学習は、畳み込みニューラル・ネットワークに基づくことができる機械学習アーキテクチャ及び/又はアルゴリズムを含む。あるいは、前記機械学習アーキテクチャ及び/又はアルゴリズムは、サポートベクターマシン又は決定木ベースの方法に基づくことができる。
本発明の例示的な実施形態では、前記畳み込みニューラル・ネットワークは、残差ネットワーク(ResNet)、残差エンコーダ・デコーダ、U-Net、AlexNet、又はLeNetアーキテクチャ(a residual network (ResNet), residual encoder-decoder, U-Net, AlexNet or LeNet architecture)に基づく。代替として、畳み込みニューラル・ネットワークに基づく前記機械学習アルゴリズムは、勾配降下アルゴリズム、主双対アルゴリズム、又は乗数の交互方向法(ADMM)アルゴリズム(gradient descent algorithm, a primal-dual algorithm or an alternating direction method of multipliers (ADMM) algorithm)に基づくアンロール最適化法(an unrolled optimization method)に基づくことができる。
本発明の例示的な実施形態では、前記畳み込みニューラル・ネットワークは、ネットワークアーキテクチャの一部として、少なくとも1つの順投影又は少なくとも1つの逆投影を含む。
本発明の例示的実施形態では、前記畳み込みニューラル・ネットワークは、ファントム画像、患者画像、又は非エネルギー分解CTで画像化された患者から生成された数値ファントムの少なくとも1つで訓練される。
本発明の例示的な実施形態では、前記畳み込みニューラルネットワークは、第1のタイプのCT画像、例えば非エネルギー分解CT画像について移転学習を使用して訓練され、第2のタイプのCT画像、例えば光子計数CT画像について移転学習を使用して使用するように適応される。
本発明の例示的な実施形態では、選択された基底画像を処理する前記ステップまたは構成は、以下を含む。
-前記選択された基底画像データを、事前画像上のボリューム制約、学習済み辞書として表される事前分布、正規化ペナルティ、学習済み正規化ニューラルネットワーク、もしくは学習済み部分空間、または統計的解剖学的形状モデル(a volume constraint on a prior image, a prior distribution represented as a learned dictionary, a regularization penalty, a learned regularization neural network, or a learned subspace, or a statistical anatomical shape model)などの、事前情報の少なくとも1つの表現と結合するステップと
-前記選択された基底画像データを、前記事前情報の表現を用いて、機械学習に基づく前記データ処理で処理するステップ。
-前記選択された基底画像データを、事前画像上のボリューム制約、学習済み辞書として表される事前分布、正規化ペナルティ、学習済み正規化ニューラルネットワーク、もしくは学習済み部分空間、または統計的解剖学的形状モデル(a volume constraint on a prior image, a prior distribution represented as a learned dictionary, a regularization penalty, a learned regularization neural network, or a learned subspace, or a statistical anatomical shape model)などの、事前情報の少なくとも1つの表現と結合するステップと
-前記選択された基底画像データを、前記事前情報の表現を用いて、機械学習に基づく前記データ処理で処理するステップ。
本発明の例示的な実施形態では、選択された基底画像を処理する前記ステップ又は構成は、
-前記選択された基底画像データを、収集システムにおいて物理的プロセスの少なくとも1つの計算表現、例えば、コンプトン散乱、蛍光、電荷共有、パイルアップ又は幾何学的ぼかしと組み合わせるステップと、
-機械学習アルゴリズムに基づく物理プロセスの計算表現を用いて、選択された基底画像データを処理するステップとを含む。
-前記選択された基底画像データを、収集システムにおいて物理的プロセスの少なくとも1つの計算表現、例えば、コンプトン散乱、蛍光、電荷共有、パイルアップ又は幾何学的ぼかしと組み合わせるステップと、
-機械学習アルゴリズムに基づく物理プロセスの計算表現を用いて、選択された基底画像データを処理するステップとを含む。
あるいは、選択された基底画像を処理する前記ステップ又は構成は、前記選択された基底画像データを、尤度関数又は尤度関数の導関数などの測定データの統計モデルの少なくとも1つの計算表現と組み合わせることを含む。
本発明の例示的実施形態では、前記機械学習アーキテクチャ及び/又はアルゴリズムは、元の基底画像表現よりもノイズが低い1つ又は複数の出力基底画像表現を生成するように訓練される。あるいは、前記機械学習アーキテクチャ及び/又はアルゴリズムは、元の基底画像表現よりも偏りが低い1つ又は複数の出力基底画像表現を生成するように訓練されてもよい。さらに別の代替では、前記機械学習アーキテクチャ及び/又はアルゴリズムは、元の基底画像表現よりも高い空間解像度を有する1つ又は複数の出力画像データ表現を生成するように訓練され得る。
一般に、ディープラーニングは、人工ニューラル・ネットワーク又は表現学習による同様のアーキテクチャに基づく機械学習方法に関連している。学習は、教師あり、半教師あり、又は教師なしで行うことができる。ディープ・ニューラル・ネットワーク、ディープ・ビリーフ・ネットワーク、リカレント・ニューラル・ネットワーク、畳み込みニューラル・ネットワーク(deep neural networks, deep belief networks, recurrent neural networks and convolutional neural networks)などのディープラーニングシステムは、コンピューター・ビジョン、音声認識、自然言語処理、ソーシャルネットワーク・フィルタリング、機械翻訳、ボードゲームプログラム(computer vision, speech recognition, natural language processing, social network filtering, machine translation, and board game programs)など、さまざまな技術分野に適用されている。彼らは、人間の専門家のパフォーマンスに匹敵し、場合によってはそれを超える結果を生み出す。
ディープラーニング(深層学習)における「ディープ:深い」という形容詞は、ネットワークに複数の層を用いることに由来する。初期の研究では、線形パーセプトロンは万能分類器になりえないこと、非多項式活性化関数を持ち、非限定幅の隠れ層を持つネットワークは万能分類器になりうることが示された。ディープラーニングは、現代的なバリエーションであり、無限の層数を持ち、最適化された実装を可能にし、かつ穏やかな条件下で理論的な普遍性を保持する。ディープラーニングでは、効率性、訓練性、理解しやすさのために、層は異種であってもよく、生物学的知見に基づくコネクショニストモデルから大きく外れてもよいことになっている。より良い理解のために、次に、提案された技術の例示的かつ非限定的な例を説明する。
物質分解問題は、計算コストと精度の両面で解決が困難な非線形逆問題である。最も受け入れられているソリューションには、ポアソン統計を使用した最尤(ML)推定に基づく最適化が含まれる。これは、考慮されるフォワードモデルに大きく依存するモデルベースのアプローチである。一方、データ駆動型のアプローチでは、利用可能な測定データを利用する。これはディープラーニングの場合で、事前の情報を高速な方法で提供できる。
例えば、光子計数CT(PCCT:Photon-Counting CT)では、通常、3つの材料(物質)が臨床解析に関係する。しかし、実際には、2物質基底のML推定は3物質基底の推定よりも収束性がよく、安定で、ノイズも少ない。しかしながら、2物質基底の推定は高いバイアス(偏り)を持つ。この偏りを補正するために、実測した学習データを用いたディープラーニングの後処理を行うことで、2物質ML推定の利点(安定性、収束性)を維持しつつ、データ駆動型の正則化を行い、偏りの補正を行うことができる。したがって、2物質基底分解の利点と偏りを制御するデータ駆動型のアプローチを組み合わせることが提案される。
特定の非限定的な例では、アイデアは、2物質分解から3物質分解に移行することである。この例では、提案された技術は、2物質基底ML推定の安定性と収束性を利用し、偏りを補正するためにデータ駆動型の後処理を考慮する。一例として、物質分解は投影(サイノグラム)領域で行われてもよく、すなわち、CT画像の再構成は独立した第2段階であってもよい。
スキャンされたオブジェクトが3つの物質、例えば骨、軟組織、及び造影剤(ヨウ素など)を含むと仮定して、2つの基底物質、すなわち(i)骨及び軟組織、(ii)骨及びヨウ素、及び(iii)軟組織及びヨウ素のあらゆる可能な組み合わせを得るために一連の2物質推定を定義することにする。例えば、提案技術のディープラーニングアーキテクチャ及び/又は手順は、この6つの偏った推定値の集まりを入力として考慮し、出力として骨、軟組織、及びヨウ素の偏りのない推定値を提供することができる。
例えば、偏った物質分解サイノグラム(2基底ML推定値から)を受け取り、3つの補正された物質分解サイノグラムを出力として提供する教師あり機械学習アーキテクチャおよび/または手順(入力-出力ペアの学習データ)を使用することが実行可能である。
例えば、設計されたアーキテクチャは、5つの残差ブロック(ResBlock)で構成される残差ネットワークであってもよい。各ブロックは、3つの畳み込み層、それに続くバッチ正規化および整流線形ユニット(ReLu:rectified linear units)活性化を含んでもよい。特定の例では、各畳み込み層の出力チャンネルは、それぞれ32、32、及び3である。
図9は、提案されたディープラーニング偏り除去(proposed deep learning debiasing)のためのスキーム及び/又はアーキテクチャの一例を示す模式図である。非限定的な例では、例えば8個のサイノグラムのセットは、2つ以上の基底画像表現を生成するための2基底分解の入力として提供されてもよい。ディープラーニングニューラルネットワークは、得られた基底画像表現を、例えば投影空間における3つの物質分解に変換するために使用されてもよい。
例として、ResBlocksは、最適化問題の反復解の更新を模倣し、学習した畳み込みフィルタで学習データからの情報を追加することができる。各ブロックΨは、n番目の更新ステップと見なすことができる。すなわち、(n+1)番目のブロックであるan+1の入力は、n番目のブロックであるanの出力と、そのフィルタ重みθnによってパラメタ化された最後のブロックΨn の演算結果との差分である。
Ψは変数anの関数であり、θnによってパラメータ化されることを理解されたい。図10は、ResBlockの一例を示す模式図である。
図11は、2物質分解からの偏った結果の後の一連の残差ブロック(ResBlocks)を含む偏り除去ディープラーニングスキーム及び/又はアーキテクチャの例を示す概略図である。
本発明と研究開発の一環として、本技術のシミュレーションによる概念実証を行った。一例として、実現可能なセットアップを以下に紹介する。
Shepp-Loganヘッド(Shepp-Logan head)に基づく、シミュレートされたPCCTデータのデータセット。PCCTシステムとポアソンノイズのフォワードモデル(forward model:順モデル)を考える。ファントムのサイズは、画像空間で64×64ピクセル、投影空間で100×100ピクセルである。考慮される物質は、PVC(骨)、PE(軟部組織)、及びヨウ素である。データに変動性を追加するために、各サンプルのサイズ、回転、及びヨウ素領域の位置をランダムに変更した。図12は、シミュレートされたデータセットのサンプルの例を示す概略図であり、シェップ・ローガン(Shepp-Logan)の異なる部分が異なる物質を模倣している。
2物質分解ML関数を考慮し、推計のペアを実行する:PVC/PE、PVC/I、及び PE/I。これらの推定値は、3つの物質の混合物に属しているため、偏りがある。
これらの偏った推定値は、ニューラル・ネットワークの入力となる。出力は、物質ごとに1つずつ、3つの偏りのないノイズ除去された推定値(PVC、PE、I)で構成される。
ニューラルネットワークの学習には、平均二乗誤差(MSE)学習損失を用いたAdam最適化スキーム(Adam optimization scheme)を考える。この例では、訓練に250サンプル、テストに100サンプルを使用する。
100個のテストサンプルの評価では、MSEと結果の推定の偏りが大幅に改善されていることがわかる。以下の表1及び図13を参照されたい。
図13(a)~(f)は、シェップ・ローガンによるシミュレーションファントムに対して提案されたディープラーニングに基づく偏り緩和を適用した、定性的な結果の例を示す概略図である。
図13(a)は、PVC(第1列)、PE(第2列)及びヨウ素(第3列)の物質の真のサイノグラム(true sinograms of materials)の例を示す。
図13(b)は、偏った2物質MLからの6つの解のうちの最良の3つの例を示す。
図13(c)は、提案された偏りのないサイノグラムの例を示す。
図13(d)は、フィルタ逆投影(FBP)による再構成後の真の基底画像の例を示す。
図13(e)は、FBP後の偏った推定の例を示している。
図13(f)は、FBP後の提案された偏りのない例を示す。
以下では、特にこの技術/手法を実際の臨床データに対応させるために拡張する必要がある場合に、結果を向上させる可能性のある提案技術の代替実装を紹介する。
(i)ニューラル・ネットワーク
o提案する残差ネットワークのスケーリング:入力の次元が大きい場合、畳み込み層のサイズとブロックの数はそれに応じて設計することができる。すなわち、各ブロックの畳み込み層を増やす、各層の畳み込み出力チャンネルを増やす、または5つ以上のResBlockを増やすなど。
o ネットワークアーキテクチャの変更:提案した残差ネットワークは、入力のマルチスケール情報も利用するU-netに置き換えることができる。例えば、"U-Netは"O. Ronnebergerらによる「Convolutional Networks for Biomedical Image Segmentation, Medical Image Computing and Computer-Assisted Intervention- MICCAI (2015)」を参照することができる。代替的に、提案されたネットワークは、畳み込み層と完全連結層(convolutional and fully-connected layers)を組み合わせた別の一般的なネットワークアーキテクチャ、例示的にAlexNetまたはLeNetによって置き換えられることもあり得る。
o ニューラルネットワークのアーキテクチャの強化:幅方向(投影優位)、高さ方向(検出優位)のフィルタなど、正方形ではなく長方形の畳み込みフィルタを検討する。参考文献として、”Machine Friendly Machine Learning: Interpretation of Computed Tomography Without Image Reconstruction”, by Lee, H., et al., Sci Rep 9, 15540 (2019)を参照することができる。
o最適化問題の反復更新ステップをより明示的に模倣:それゆえ、その定義にシステムのフォワードモデルに関する事前情報を含むニューラルネットワークアーキテクチャを考察する。例えば、“Learned Primal Dual Reconstruction”, by Adler, J and Oktem, O., IEEE Transactions on Medical Imaging (2018)を参照することができる。
o学習損失をカスタマイズ:基本的な平均二乗誤差(MSE:basic mean-squared error)の代わりに、偏り、コントラスト対ノイズ比(CNR:contrast-to-noise ratio)、正則化損失(regularized loss)など、学習損失において関心のある品質指標を考慮することができる。
oネットワークへの入力として、複数の形式のデータを取り入れる:例えば、エネルギービンサイノグラムと物質分解サイノグラムを組み合わせて、ネットワークへの入力として使用することができる。また、エネルギービンサイノグラム及び/又は物質分解サイノグラムと、エネルギービン画像及び/又は物質分解画像とを組み合わせて、ネットワークへの入力とすることも可能である。また、尤度関数の微分値や基底画像ノイズのCramer-Rao下限値の表現を、物質分解サイノグラムと組み合わせてネットワークに入力することも可能である。上記の入力データのすべての組み合わせは、2つ以上の基底物質サイノグラム、または少なくとも2つの異なる基底画像表現セットからの画像と共に使用することができる。
oスペクトルアテンションモジュール(spectral attention modules)でネットワークの表現能力を高める:エネルギービンデータはネットワークの入力にもなり、ネットワークアーキテクチャのスペクトルアテンションモジュールでいくつかの情報が抽出される可能性がある。例えば、"Learning Spectral-Spatial Prior Via 3DDNCNN for Hyperspectral Image Deconvolution" by X. Wang et al., ICASSP (2020)などを参照することができる。
(ii)別の分解:
o組織/診断/解剖学的分解:ディープラーニングは柔軟な学習プロセスを可能にし、そこから基礎となるモデルを定義する必要なく、入力データの興味深い変換を推論することができる。したがって、必ずしも3基底分解を得る必要はなく、むしろ(3よりもさらに大きな)組織型分解、診断領域分解、解剖学的断面分解を得ることができる場合がある。ラベル付きの入出力学習データのセットがあれば、同様の設定でこれらの目的に使用できる。
(iii)その過程でCT再構成を検討する。
oステップの分解と再構成:提案された方法では、CT再構成(サイノグラムから画像空間へ)が独立したステップであると仮定される。ニューラルネットワークは、2つのステップを同時に処理することができる。例えば、偏った物質分解されたサイノグラムを、偏った物質分解された再構成画像に直接変換するように学習させた非転写反復最適化ネットワークが考えられる。このようにして、ニューラルネットワークは、より最適な方法(計算と精度)で、両方のステップ(分解と再構成)を解くことができる。例えば、"Learned Primal-Dual Reconstruction" by J. Adler and O. Oktem, IEEE Transactions on Medical Imaging, (2018)を参照されたい。このような展開反復最適化ネットワークは、勾配降下最適化法、プライマル-デュアル最適化法、または交互方向乗数法(a gradient descent optimization method, a primal-dual optimization method, or an alternating direction method of multipliers method)に基づくものであってよい。この種の繰り込み最適化法は、他のニューラルネットワークアーキテクチャと比較して、ネットワークの重みが少なく、少量の訓練データでより良く動作するなど、有利な特性を有する。このようなワンステップ法は、例えば、基底画像データ及びエネルギー分解された測定データの組合せを入力として取ることができる。あるいは、ワンステップ再構成法は、反復アルゴリズムとして実装されてもよい。本発明のこの実施形態の非限定的な例は、図14に示されており、機械学習システムが、少なくとも2つの基底物質分解から物質分解サイノグラムを処理し、出力として物質分解画像のセットを生成するものである。
oあるいは、元の基底画像セットを生成するために使用される物質分解ステップは、出力として再構成された基底画像をもたらす、ワンステップ再構成方法を構成することができる。これらは、次に、機械学習アルゴリズムによって処理され、1つ以上の出力基底画像をもたらす。本発明のこの実施形態の非限定的な例は、図15に示されており、機械学習システムは、入力エネルギービンサイノグラムを物質分解再構成画像に変換する少なくとも2つのワンステップ画像再構成から物質分解画像を処理し、出力として物質分解画像セットを生成する。さらなる代替案は、2ステップ基底分解法を用いて元の基底画像セットを生成することであり、これは、基底物質分解が各投影光線に対して別々に実施される第1のステップと、得られた基底サイノグラムが画像再構成アルゴリズムへの入力として取られて再構成された基底画像をもたらし、これが機械学習アルゴリズムによって処理されて1以上の出力基底画像をもたらす第2のステップとから構成されている。本発明のこの実施形態の非限定的な例が図16に示されており、機械学習システムは、それぞれが基底物質分解ステップに続いて画像再構成ステップからなる少なくとも2つの2ステップ画像再構成から物質分解画像を処理し、物質分解画像のセットを出力として生成する。前記1ステップまたは2ステップ分解方法は、任意に、事前画像または体積保存制約などの事前情報を組み込んでもよいし、サイノグラムまたは画像内のノイズレベルまたは相関構造に関する情報、例示的にCramer-Rao下限に関する情報を組み込んでもよい。
(i)ニューラル・ネットワーク
o提案する残差ネットワークのスケーリング:入力の次元が大きい場合、畳み込み層のサイズとブロックの数はそれに応じて設計することができる。すなわち、各ブロックの畳み込み層を増やす、各層の畳み込み出力チャンネルを増やす、または5つ以上のResBlockを増やすなど。
o ネットワークアーキテクチャの変更:提案した残差ネットワークは、入力のマルチスケール情報も利用するU-netに置き換えることができる。例えば、"U-Netは"O. Ronnebergerらによる「Convolutional Networks for Biomedical Image Segmentation, Medical Image Computing and Computer-Assisted Intervention- MICCAI (2015)」を参照することができる。代替的に、提案されたネットワークは、畳み込み層と完全連結層(convolutional and fully-connected layers)を組み合わせた別の一般的なネットワークアーキテクチャ、例示的にAlexNetまたはLeNetによって置き換えられることもあり得る。
o ニューラルネットワークのアーキテクチャの強化:幅方向(投影優位)、高さ方向(検出優位)のフィルタなど、正方形ではなく長方形の畳み込みフィルタを検討する。参考文献として、”Machine Friendly Machine Learning: Interpretation of Computed Tomography Without Image Reconstruction”, by Lee, H., et al., Sci Rep 9, 15540 (2019)を参照することができる。
o最適化問題の反復更新ステップをより明示的に模倣:それゆえ、その定義にシステムのフォワードモデルに関する事前情報を含むニューラルネットワークアーキテクチャを考察する。例えば、“Learned Primal Dual Reconstruction”, by Adler, J and Oktem, O., IEEE Transactions on Medical Imaging (2018)を参照することができる。
o学習損失をカスタマイズ:基本的な平均二乗誤差(MSE:basic mean-squared error)の代わりに、偏り、コントラスト対ノイズ比(CNR:contrast-to-noise ratio)、正則化損失(regularized loss)など、学習損失において関心のある品質指標を考慮することができる。
oネットワークへの入力として、複数の形式のデータを取り入れる:例えば、エネルギービンサイノグラムと物質分解サイノグラムを組み合わせて、ネットワークへの入力として使用することができる。また、エネルギービンサイノグラム及び/又は物質分解サイノグラムと、エネルギービン画像及び/又は物質分解画像とを組み合わせて、ネットワークへの入力とすることも可能である。また、尤度関数の微分値や基底画像ノイズのCramer-Rao下限値の表現を、物質分解サイノグラムと組み合わせてネットワークに入力することも可能である。上記の入力データのすべての組み合わせは、2つ以上の基底物質サイノグラム、または少なくとも2つの異なる基底画像表現セットからの画像と共に使用することができる。
oスペクトルアテンションモジュール(spectral attention modules)でネットワークの表現能力を高める:エネルギービンデータはネットワークの入力にもなり、ネットワークアーキテクチャのスペクトルアテンションモジュールでいくつかの情報が抽出される可能性がある。例えば、"Learning Spectral-Spatial Prior Via 3DDNCNN for Hyperspectral Image Deconvolution" by X. Wang et al., ICASSP (2020)などを参照することができる。
(ii)別の分解:
o組織/診断/解剖学的分解:ディープラーニングは柔軟な学習プロセスを可能にし、そこから基礎となるモデルを定義する必要なく、入力データの興味深い変換を推論することができる。したがって、必ずしも3基底分解を得る必要はなく、むしろ(3よりもさらに大きな)組織型分解、診断領域分解、解剖学的断面分解を得ることができる場合がある。ラベル付きの入出力学習データのセットがあれば、同様の設定でこれらの目的に使用できる。
(iii)その過程でCT再構成を検討する。
oステップの分解と再構成:提案された方法では、CT再構成(サイノグラムから画像空間へ)が独立したステップであると仮定される。ニューラルネットワークは、2つのステップを同時に処理することができる。例えば、偏った物質分解されたサイノグラムを、偏った物質分解された再構成画像に直接変換するように学習させた非転写反復最適化ネットワークが考えられる。このようにして、ニューラルネットワークは、より最適な方法(計算と精度)で、両方のステップ(分解と再構成)を解くことができる。例えば、"Learned Primal-Dual Reconstruction" by J. Adler and O. Oktem, IEEE Transactions on Medical Imaging, (2018)を参照されたい。このような展開反復最適化ネットワークは、勾配降下最適化法、プライマル-デュアル最適化法、または交互方向乗数法(a gradient descent optimization method, a primal-dual optimization method, or an alternating direction method of multipliers method)に基づくものであってよい。この種の繰り込み最適化法は、他のニューラルネットワークアーキテクチャと比較して、ネットワークの重みが少なく、少量の訓練データでより良く動作するなど、有利な特性を有する。このようなワンステップ法は、例えば、基底画像データ及びエネルギー分解された測定データの組合せを入力として取ることができる。あるいは、ワンステップ再構成法は、反復アルゴリズムとして実装されてもよい。本発明のこの実施形態の非限定的な例は、図14に示されており、機械学習システムが、少なくとも2つの基底物質分解から物質分解サイノグラムを処理し、出力として物質分解画像のセットを生成するものである。
oあるいは、元の基底画像セットを生成するために使用される物質分解ステップは、出力として再構成された基底画像をもたらす、ワンステップ再構成方法を構成することができる。これらは、次に、機械学習アルゴリズムによって処理され、1つ以上の出力基底画像をもたらす。本発明のこの実施形態の非限定的な例は、図15に示されており、機械学習システムは、入力エネルギービンサイノグラムを物質分解再構成画像に変換する少なくとも2つのワンステップ画像再構成から物質分解画像を処理し、出力として物質分解画像セットを生成する。さらなる代替案は、2ステップ基底分解法を用いて元の基底画像セットを生成することであり、これは、基底物質分解が各投影光線に対して別々に実施される第1のステップと、得られた基底サイノグラムが画像再構成アルゴリズムへの入力として取られて再構成された基底画像をもたらし、これが機械学習アルゴリズムによって処理されて1以上の出力基底画像をもたらす第2のステップとから構成されている。本発明のこの実施形態の非限定的な例が図16に示されており、機械学習システムは、それぞれが基底物質分解ステップに続いて画像再構成ステップからなる少なくとも2つの2ステップ画像再構成から物質分解画像を処理し、物質分解画像のセットを出力として生成する。前記1ステップまたは2ステップ分解方法は、任意に、事前画像または体積保存制約などの事前情報を組み込んでもよいし、サイノグラムまたは画像内のノイズレベルまたは相関構造に関する情報、例示的にCramer-Rao下限に関する情報を組み込んでもよい。
本明細書に記載の機構及び構成は、さまざまな方法で実装、組み合わせ、及び再構成できることが理解されるであろう。
例えば、実施形態は、ハードウェアで、又は適切な処理回路による実行のために少なくとも部分的にソフトウェアで、又はそれらの組み合わせで実装され得る。
本書に記載されたステップ、機能、手順、および/またはブロックは、汎用電子回路および特定用途向け回路の両方を含むディスクリート回路(discrete circuit)または集積回路技術などの任意の従来技術を使用してハードウェアに実装することができる。
代替的に、または補完的に、本明細書に記載のステップ、機能、手順、および/またはブロックの少なくとも一部は、1つまたは複数のプロセッサまたは処理ユニットなどの適切な処理回路による実行のために、コンピュータプログラムなどのソフトウェアで実装することができる。
図17は、実施形態によるコンピュータ実装の一例を示す概略図である。この特定の例では、システム200は、プロセッサ210とメモリ220とを備え、メモリは、プロセッサによって実行可能な命令を含み、それによって、プロセッサは、本明細書に記載のステップ及び/又はアクションを実行するように動作可能である。命令は、典型的には、コンピュータプログラム225、235として構成され、メモリ220に予め構成されてもよいし、外部メモリデバイス230からダウンロードされてもよい。任意選択で、システム200は、入力パラメータ(複数可)及び/又は結果出力パラメータ(複数可)などの関連データの入力及び/又は出力を可能にするために、1つまたは複数のプロセッサ210及び/又はメモリ220に相互接続され得る入力/出力インタフェース240を具備する。
特定の例では、メモリは、プロセッサによって実行可能な命令のセットを含み、それによって、プロセッサは、
-エネルギー分解されたX線データの少なくとも1つの表現を取得し、
-エネルギー分解X線データの前記少なくとも1つの表現に基づいて、少なくとも2つの基底物質分解を実行して、少なくとも2つの元の基底画像表現セットを生成すること、
-前記元の基底画像表現セットの少なくとも2つから少なくとも2つの基底画像表現を抽出し、
-出力画像データの少なくとも1つの表現を生成するために、機械学習に基づくデータ処理によって抽出された基底画像表現を処理する。
-エネルギー分解されたX線データの少なくとも1つの表現を取得し、
-エネルギー分解X線データの前記少なくとも1つの表現に基づいて、少なくとも2つの基底物質分解を実行して、少なくとも2つの元の基底画像表現セットを生成すること、
-前記元の基底画像表現セットの少なくとも2つから少なくとも2つの基底画像表現を抽出し、
-出力画像データの少なくとも1つの表現を生成するために、機械学習に基づくデータ処理によって抽出された基底画像表現を処理する。
「プロセッサ」という用語は、特定の処理、決定、又は計算タスクを実行するためにプログラムコード又はコンピュータ・プログラム命令を実行できるシステム又はデバイスとして一般的な意味で解釈されるべきである。
したがって、1つ又は複数のプロセッサを含む処理回路は、コンピュータ・プログラムを実行するときに、本明細書で説明するような明確に定義された処理タスクを実行するように構成される。
処理回路は、上述のステップ、機能、手順及び/又はブロックを実行するためだけに専用である必要はなく、他のタスクを実行することもできる。
提案された手法はまた、このようなコンピュータプログラムを格納したコンピュータ読み取り可能な媒体220、230からなコンピュータプログラム製品を提供するものである。
例として、ソフトウェアまたはコンピュータプログラム225、235は、コンピュータプログラム製品として実現されてもよく、これは通常、コンピュータ可読媒体220、230、特に不揮発性媒体上に担持または格納される。コンピュータ可読媒体は、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、コンパクトディスク(CD)、デジタルバーサタイルディスク(DVD)、ブルーレイディスク、ユニバーサルシリアルバス(USB)メモリ、ハードディスクドライブ(HDD)記憶装置、フラッシュメモリ、磁気テープ、または他の任意の従来のメモリデバイスを含むが、これに限定されない1以上の取り外し可能または取り外し不能メモリ装置を含んでも良い。したがって、コンピュータプログラムは、その処理回路による実行のために、コンピュータまたは同等の処理装置の動作メモリにロードされ得る。
メソッドフローは、1つ以上のプロセッサによって実行される場合、コンピュータアクションフローと見なすことができる。対応するデバイス、システム及び/又は装置は、機能モジュールのグループとして定義されてもよく、プロセッサによって実行される各ステップは、機能モジュールに対応する。この場合、機能モジュールは、プロセッサ上で実行されるコンピュータプログラムとして実装される。したがって、デバイス、システム及び/又は装置は、代替的に、機能モジュールのグループとして定義されてもよく、機能モジュールは、少なくとも1つのプロセッサ上で実行されるコンピュータプログラムとして実装される。
したがって、メモリに常駐するコンピュータ・プログラムは、プロセッサによって実行されると、本明細書に記載のステップ及び/又はタスクの少なくとも一部を実行するように構成された適切な機能モジュールとして編成され得る。
また、主にハードウェアモジュールで実現することも可能であり、ハードウェアと交互に実現することも可能である。ソフトウェアとハードウェアをどの程度使い分けるかは、純粋に実装の選択である。
上述した実施形態は、単に例として与えられたものであり、提案された技術はこれに限定されないことが理解されるべきである。添付の特許請求の範囲によって定義される本発明の範囲から逸脱することなく、実施形態に対して様々な修正、組み合わせ、変更を行うことができることは当業者には理解されよう。特に、異なる実施形態における異なる部品ソリューションは、技術的に可能であれば、他の構成で組み合わせることができる。
10:X線源 11:ガントリ 12:テーブル 13:アイソセンタ 20:X線検出器 21:検出器素子 25:アナログ処理回路 30:画像処理システム 31:入力 32:基底物質分解システム 33:機械学習システム 34:出力 40:デジタル処理回路 41:X線コントローラ 42:ガントリコントローラ 43:テーブルコントローラ 44:検出器コントローラ 45:メモリ 50:コンピュータ 60:オペレータコンソール 100:X線イメージングシステム 200:システム 210:プロセッサ 220:メモリ 225:コンピュータプログラム 230:外部メモリデバイス 235:コンピュータプログラム 240:入力/出力インタフェース 301:デジタル/アナログ変換器 302:比較器 303:デジタルカウンタ
Claims (38)
- エネルギー分解X線データに基づく画像再構成方法であって、
エネルギー分解X線データの少なくとも1つの表現を収集するステップ(S1)と、
エネルギー分解X線データの少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を実行して、少なくとも2つの元の基底画像表現セットを生成するステップ(S2)と、
元の基底画像表現セットの少なくとも2つから少なくとも2つの基底画像表現を取得又は選択するステップ(S3)と、
取得又は選択された基底画像表現を機械学習に基づいてデータ処理して、出力画像データの少なくとも1つの表現を生成するステップ(S4)と、
を含む、方法。 - 機械学習に基づいたデータ処理は、取得又は選択された基底画像表現を出力画像データの少なくとも1つの表現にマッピングするように構成される、請求項1に記載の方法。
- 機械学習に基づくデータ処理は、訓練されたニューラルネットワーク、サポートベクターマシン、または決定木に基づいて、取得又は選択された基底画像表現を出力画像データの少なくとも1つの表現にマッピングするよう構成される、請求項1又は2に記載の方法。
- 訓練されたニューラルネットワーク、サポートベクターマシン、または決定木は、測定された患者画像データ若しくはファントム画像データの少なくとも1つ、又は数値ファントムに基づくシミュレーション画像データで訓練される、請求項3に記載の方法。
- 訓練されたニューラルネットワーク、サポートベクターマシン、または決定木は、第1のタイプの画像で訓練され、転移学習を使用して第2のタイプの画像で使用するように適合される、請求項3又は4に記載の方法。
- 訓練されたニューラルネットワーク、サポートベクターマシン、または決定木は、非エネルギー分解CT画像で訓練され、転移学習を使用してエネルギー分解光子計数CT画像で使用されるように適合される、請求項5に記載の方法。
- エネルギー分解X線データの少なくとも1つの表現は、X線検出器または中間記憶装置に由来し、エネルギー分解X線画像データおよび/またはエネルギー分解X線測定データを含む、請求項1乃至6のいずれかに記載の方法。
- X線検出器が、マルチビン光子計数X線検出器とも呼ばれるエネルギー分解光子計数検出器である、請求項7に記載の方法。
- 出力画像データの少なくとも1つの表現は、基底画像表現の出力セットと呼ばれる基底画像表現のセットを含み、出力セットにおける基底画像表現の数は、少なくとも2つの元の基底画像表現セットのいずれかにおける基底画像表現の最大数より大きい、請求項1乃至8のいずれかに記載の方法。
- 出力セットの基底画像表現は、複数の基底関数を有し、元の基底画像表現セットの各々は、それぞれ対応する数の基底関数を有し、出力セットの基底画像表現に対応する基底関数は、少なくとも2つの元の基底画像表現セットに対応する基底関数のサブセットであるか、またはそれに等しい、請求項9に記載の方法。
- 出力セットの基底画像表現は、複数の基底関数を有し、元の基底画像表現セットの各々はそれぞれ対応する数の基底関数を有し、取得又は選択された基底画像表現の数は、出力セットの基底画像表現に対応する基底関数の数と同じかより大きい、請求項9または10に記載の方法。
- 元の基底画像表現セットが2基底分解に基づき、基底画像表現の出力セットが3基底分解に基づく、請求項9乃至11のいずれかに記載の方法。
- 機械学習に基づくデータ処理がニューラル・ネットワークによって実行され、ニューラル・ネットワークが入力データとしていくつかの2基底画像表現セットと出力データとして3基底画像表現セットで訓練される、請求項12に記載の方法。
- 2基底画像表現セット及び3基底画像表現セットが、測定された患者画像データ又はファントム画像データから、又は数値ファントムに基づくシミュレートされた画像データから生成される、請求項13に記載の方法。
- 取得又は選択された基底画像表現を機械学習に基づいてデータ処理するステップ(S4)は、
取得又は選択された基底画像表現を、非基底画像データの少なくとも1つの表現と結合するステップと、
機械学習に基づくデータ処理によって、取得又は選択された基底画像表現を、非基底画像データの少なくとも1つの表現と一緒に処理するステップと、
を含む、請求項1乃至14のいずれかに記載の方法。 - 非基底画像データは、ビン計数サイノグラム・データ、対数正規化ビン計数サイノグラム・データ、総和サイノグラム又は対数正規化データ、再構成されたCT画像データのうちの少なくとも1つを含む、請求項15に記載の方法。セグメンテーション・マスク・データ。
- 取得又は選択された基底画像表現を機械学習に基づいてデータ処理するステップ(S4)は、
取得又は選択された基底画像表現を少なくとも1つの事前情報の表現と組み合わせるステップと、
機械学習に基づくデータ処理によって、取得又は選択された基底画像表現を、少なくとも1つの事前情報の表現と共に処理するステップと、
を含む、請求項1乃至16のいずれかに記載の方法。 - 取得又は選択された基底画像表現を機械学習に基づいてデータ処理するステップ(S4)は、
取得又は選択された基底画像表現を、収集システム内の物理プロセスの少なくとも1つの計算表現と組み合わせるステップと、
機械学習に基づくデータ処理によって、物理的プロセスの少なくとも1つの計算表現を用いて、取得又は選択された基底画像表現を処理するステップと、
を含む、請求項1乃至17のいずれかに記載の方法。 - 取得又は選択された基底画像表現を機械学習に基づいてデータ処理するステップ(S4)は、
取得又は選択された基底画像表現を、測定データの統計モデルの少なくとも1つの計算表現と組み合わせ、
機械学習に基づくデータ処理によって、統計モデルの少なくとも1つの計算表現を用いて、取得又は選択された基底画像表現を処理するステップと、
を含む、請求項1乃至18のいずれかに記載の方法。 - 出力画像データの少なくとも1つの表現が、基底画像表現及び/又は物質分解再構成画像の出力セットを含む、請求項1乃至19のいずれかに記載の方法。
- 機械学習に基づくデータ処理は、学習データに基づいて構成されたディープラーニング後処理を含み、ディープラーニング後処理は、入力として偏った物質分解サイノグラムを受け取り、出力として偏りのない物質分解サイノグラム又は偏りのない物質分解再構成画像を提供するよう構成される、請求項1乃至20のいずれかに記載の方法。
- サイノグラムのセットが、2つ以上の基底画像表現を生成するための2基底分解の入力として提供され、ディープラーニングニューラルネットワークが、得られた基底画像表現を3物質分解に変換するために使用される、請求項21に記載の方法。
- エネルギー分解X線データに基づく画像再構成のためのシステム(30、200)であって、
エネルギー分解X線データの少なくとも1つの表現を取得し、
エネルギー分解X線データの少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を実行して、基底画像表現の少なくとも2つのセットを生成し、
基底画像表現のセットの少なくとも2つから少なくとも2つの基底画像表現を取得又は選択し、
取得又は選択された基底画像表現を機械学習に基づいてデータ処理して、出力画像データの少なくとも1つの表現を生成するように構成される、画像再構成システム(30、200)。 - エネルギー分解X線データに基づく画像再構成のためのシステム(30、200)であって、
エネルギー分解X線データの少なくとも1つの表現を受信するための入力(31、240)と、
エネルギー分解X線データの少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を実行して、基底画像表現の少なくとも2つのセットを生成するように構成された基底物質分解システム(32;210、225)と、
入力-出力対の訓練データに基づいて決定された構成を有し、基底画像表現のセットの少なくとも2つから少なくとも2つの基底画像表現を受信し、受信した基底画像表現を機械学習に基づいてデータ処理して、出力画像データの少なくとも1つの表現を生成するように構成された訓練された機械学習システム(33、210、225)と、
出力画像データの少なくとも1つの表現を出力する出力(34、240)と、
を備える画像再構成システム(30、200)。 - 機械学習システム(33、210、225)は、ニューラル・ネットワーク、サポートベクターマシン、又は決定木ベースの実装に基づく、請求項23又は24に記載の画像再構成システム。
- 機械学習システム(33、210、225)は、測定された患者画像データ又はファントム画像データのうちの少なくとも1つで、または数値ファントムに基づくシミュレーション画像データで訓練される、請求項23乃至25のいずれかに記載の画像再構成システム。
- 機械学習システム(33、210、225)は、第1のタイプの画像で訓練され、転移学習を使用して第2のタイプの画像で使用されるように適合される、請求項23乃至25のいずれかに記載の画像再構成システム。
- 機械学習システム(33、210、225)は、非エネルギー分解CT画像で訓練され、転移学習を使用してエネルギー分解光子計数CT画像で使用されるように適合される、請求項27に記載の画像再構成システム。
- 機械学習システム(33、210、225)は、取得又は選択された基底画像表現を出力画像データの少なくとも1つの表現にマッピングするように構成される、請求項23乃至28のいずれかに記載の画像再構成システム。
- エネルギー分解されたX線データの少なくとも1つの表現が、X線検出器(20)又は中間記憶装置(220)から生じ、エネルギー分解X線画像データ及び/又はエネルギー分解X線測定データを含む、請求項23乃至29のいずれかに記載の画像再構成システム。
- X線検出器(20)が、マルチビン光子計数X線検出器とも呼ばれるエネルギー分解光子計数検出器である、請求項30に記載の画像再構成システム。
- 出力画像データの少なくとも1つの表現は、基底画像表現の出力セットと呼ばれる基底画像表現のセットを含み、出力セットにおける基底画像表現の数は、少なくとも2つの元の基底画像表現セットのいずれかにおける基底画像表現の最大数より大きい、請求項23乃至31のいずれかに記載の画像再構成システム。
- 出力セットの基底画像表現は、複数の基底関数を有し、元の基底画像表現セットの各々は、それぞれ対応する数の基底関数を有し、出力セットの基底画像表現に対応する基底関数は、少なくとも2つの元の基底画像表現セットに対応する基底関数のサブセットであるか、またはそれに等しい、請求項32に記載の画像再構成システム。
- 出力画像データの少なくとも1つの表現が、基底画像表現及び/又は物質分解再構成画像の出力セットを含む、、請求項23乃至33のいずれかに記載の画像再構成システム。
- 前記システムが少なくとも1つのプロセッサ及びメモリを備え、メモリが、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに画像再構成を実行させる命令を備える、請求項23乃至34のいずれかに記載の画像再構成システム。
- 基底物質分解システムが、基底画像表現の少なくとも2つのセットを生成するように構成された処理回路を備え、訓練された機械学習システムが、出力の少なくとも1つの表現を生成するように構成された処理回路を備える、請求項23乃至34のいずれかに記載の画像再構成システム。
- 請求項23乃至34のいずれかに記載の画像再構成システムを備えるX線イメージングシステム(100)。
- プロセッサ(210)によって実行されると、プロセッサ(210)に複数のステップを行わせる命令を含むコンピュータプログラム(225、235)を格納した非一時的コンピュータ可読媒体(220、230)を含むコンピュータプログラム製品であって、
複数のステップが、
エネルギー分解X線データの少なくとも1つの表現を収集するステップ(S1)と、
エネルギー分解X線データの少なくとも1つの表現に基づいて少なくとも2つの基底物質分解を実行して、少なくとも2つの元の基底画像表現セットを生成するステップ(S2)と、
元の基底画像表現セットの少なくとも2つから少なくとも2つの基底画像表現を抽出するステップ(S3)と、
抽出された基底画像表現を機械学習に基づいてデータ処理して、出力画像データの少なくとも1つの表現を生成するステップ(S4)と、
を含む、コンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063067656P | 2020-08-19 | 2020-08-19 | |
US63/067,656 | 2020-08-19 | ||
PCT/SE2021/050685 WO2022039643A1 (en) | 2020-08-19 | 2021-07-06 | Methods and systems related to x-ray imaging |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023539091A true JP2023539091A (ja) | 2023-09-13 |
Family
ID=80350529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023511887A Pending JP2023539091A (ja) | 2020-08-19 | 2021-07-06 | X線イメージングに関連する方法及びシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230326100A1 (ja) |
EP (1) | EP4200809A1 (ja) |
JP (1) | JP2023539091A (ja) |
CN (1) | CN116249489A (ja) |
WO (1) | WO2022039643A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230132514A1 (en) * | 2021-10-27 | 2023-05-04 | Wisconsin Alumni Research Foundation | System and method for controlling errors in computed tomography number |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6585182B2 (ja) * | 2015-03-18 | 2019-10-02 | プリズマティック、センサーズ、アクチボラグPrismatic Sensors Ab | フォトンカウンティングマルチビン検出器からのエネルギー分解画像データに基づく画像再構成 |
WO2017223560A1 (en) * | 2016-06-24 | 2017-12-28 | Rensselaer Polytechnic Institute | Tomographic image reconstruction via machine learning |
US10559100B2 (en) * | 2017-05-22 | 2020-02-11 | Prismatic Sensors Ab | Method and devices for image reconstruction |
EP3451284A1 (de) * | 2017-09-05 | 2019-03-06 | Siemens Healthcare GmbH | Verfahren zur automatischen artefakterkennung in computertomographischen bilddaten |
US11039806B2 (en) * | 2018-12-20 | 2021-06-22 | Canon Medical Systems Corporation | Apparatus and method that uses deep learning to correct computed tomography (CT) with sinogram completion of projection data |
US11246555B2 (en) * | 2019-05-17 | 2022-02-15 | GE Precision Healthcare LLC | Systems and methods for automatic tube potential selection in dual energy imaging |
US11176642B2 (en) * | 2019-07-09 | 2021-11-16 | GE Precision Healthcare LLC | System and method for processing data acquired utilizing multi-energy computed tomography imaging |
-
2021
- 2021-07-06 US US18/042,279 patent/US20230326100A1/en active Pending
- 2021-07-06 JP JP2023511887A patent/JP2023539091A/ja active Pending
- 2021-07-06 CN CN202180057643.8A patent/CN116249489A/zh active Pending
- 2021-07-06 WO PCT/SE2021/050685 patent/WO2022039643A1/en active Search and Examination
- 2021-07-06 EP EP21858700.4A patent/EP4200809A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022039643A1 (en) | 2022-02-24 |
EP4200809A1 (en) | 2023-06-28 |
US20230326100A1 (en) | 2023-10-12 |
CN116249489A (zh) | 2023-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7334048B2 (ja) | X線ctシステム及び方法 | |
US10274439B2 (en) | System and method for spectral x-ray imaging | |
Schirra et al. | Statistical reconstruction of material decomposed data in spectral CT | |
US9208585B2 (en) | System and method for improved energy series of images using multi-energy CT | |
US8923583B2 (en) | Methods and systems for performing model-based iterative reconstruction | |
Weidinger et al. | Polychromatic iterative statistical material image reconstruction for photon-counting computed tomography | |
JP2016536032A (ja) | 電子密度画像の連結再構成 | |
US10176603B2 (en) | Sinogram (data) domain pansharpening method and system for spectral CT | |
JP6793469B2 (ja) | データ処理装置、x線ct装置及びデータ処理方法 | |
WO2012123845A1 (en) | Likelihood-based spectral data projection domain de-noising | |
US20150043795A1 (en) | Image domain pansharpening method and system for spectral ct with large pixel energy discriminating detectors | |
JP2018057867A (ja) | 医用画像処理装置、x線コンピュータ断層撮像装置及び医用画像処理方法 | |
CN113167913A (zh) | 针对常规成像的光子计数的能量加权 | |
WO2022268618A1 (en) | Multi-energy x-ray imaging with anatomical intelligence | |
EP3631763A1 (en) | Method and devices for image reconstruction | |
JP2023539091A (ja) | X線イメージングに関連する方法及びシステム | |
CN107019518B (zh) | 用于计算机断层扫描中的散射校正的信号处理方法及成像系统 | |
WO2022258429A1 (en) | A phase-contrast x-ray imaging system for obtaining a dark-field image and a method therefor | |
CN117355865A (zh) | 确定用于计算机断层扫描中的深度学习图像重建的置信度指示 | |
US20230309937A1 (en) | Spectral x-ray material decomposition method | |
WO2024036278A1 (en) | System and method for generating denoised spectral ct images from spectral ct image data acquired using a spectral ct imaging system | |
Shi et al. | Raw-Data-Based Material Decomposition Using Modified U-Net for Low-Dose Spectral CT | |
Fredette | Multi-Material Discrimination Using Photon Counting Spectral Computed Tomography | |
Bismark | On the application of the polychromatic statistical reconstruction technique to C-arm CT data | |
Niu et al. | Simultaneous Reconstruction and Denoising of Spectral CT Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230417 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230417 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240306 |