JP7451256B2 - X線システム、画像処理装置及びプログラム - Google Patents

X線システム、画像処理装置及びプログラム Download PDF

Info

Publication number
JP7451256B2
JP7451256B2 JP2020053357A JP2020053357A JP7451256B2 JP 7451256 B2 JP7451256 B2 JP 7451256B2 JP 2020053357 A JP2020053357 A JP 2020053357A JP 2020053357 A JP2020053357 A JP 2020053357A JP 7451256 B2 JP7451256 B2 JP 7451256B2
Authority
JP
Japan
Prior art keywords
projection data
size
rays
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020053357A
Other languages
English (en)
Other versions
JP2021013729A (ja
Inventor
チェン リー ツ
ジョウ ジエン
ユウ ジョウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to EP20184932.0A priority Critical patent/EP3764325B1/en
Priority to CN202010660989.4A priority patent/CN112215910B/zh
Publication of JP2021013729A publication Critical patent/JP2021013729A/ja
Application granted granted Critical
Publication of JP7451256B2 publication Critical patent/JP7451256B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/58Testing, adjusting or calibrating thereof
    • A61B6/582Calibration
    • A61B6/583Calibration using calibration phantoms
    • A61B6/584Calibration using calibration phantoms determining position of components of the apparatus or device using images of the phantom
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本明細書及び図面に開示の実施形態は、X線システム、画像処理装置及びプログラムに関する。
X線システムにおいて、X線管の焦点サイズを変化させたとき、解像度と画質の間にトレードオフが存在する。
例えば、X線の焦点サイズを大きくすると、X線のフラックスが大きくなるため、投影画像の画質、すなわちSNRが向上するが、X線の焦点サイズを大きくすると、空間的な解像度は低下する。
これに対して、X線の焦点サイズを小さくすると、解像度は向上する一方で、投影画像のSNRは低下し画質が低下する。
米国特許出願公開2018/0018757号明細書 米国特許出願公開2019/0030371号明細書
本明細書及び図面の開示の実施形態が解決しようとする課題の一つは、画質を向上することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
実施形態に係るX線システムは、生成部を備える。生成部は、第1の焦点サイズのX線を利用して収集された第1の投影データを入力、前記前記第1の焦点サイズより小さい第2の焦点サイズのX線を利用して収集された第2の投影データを出力として学習された第1の学習済みモデルに対して、前記第2の焦点サイズより大きい第3の焦点サイズのX線を利用して収集された第3の投影データを入力することにより、第4の投影データを生成する。
図1Aは、小さな焦点および比較的小さなX線露出を使用して生成された投影画像の例を示す図である。 図1Bは、図1Aを得るために用いた焦点よりも大きい焦点と、図1Aのときの2倍大きい露出を使用して生成された投影画像の例を示す図である。 図2は、X線源における焦点の有限幅から生じるX線投影画像のぼけの図を示す図である。 図3Aは、大きなアノード角と、小さな電子ビーム面積とを用いた実施形態について説明する図である。 図3Bは、大きなアノード角と、大きな電子ビーム面積とを用いた実施形態について説明する図である。 図3Cは、小さなアノード角と、大きな電子ビーム面積とを用いた実施形態について説明する図である。 図4は、実施形態に係るX線システムが行う処理の流れについて説明した図である。 図5は、実施形態に係るX線システムが行う学習の流れを説明したフローチャートである。 図6は、実施形態に係るDLネットワークの例を示す図である。 図7は、実施形態に係るDLネットワークにおいて、畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)を用いる場合について説明した図である。 図8は、実施形態に係るX線CT装置の一例について示した図である。
以下、図面を参照しながら、X線システム、画像処理装置及びプログラムの実施形態について詳細に説明する。
まずはじめに、図8を用いて、実施形態に係るX線システムの構成について説明する。
図8は、実施形態に係るX線CT装置(X線システム)の非限定的な例を示している。図8に示すように、X線撮影ガントリー500が側面図で示されており、更に、X線管501、環状フレーム502、および複数列または2次元アレイ型のX線検出器503を含んでいる。X線管501およびX線検出器503は、回転軸RAの周りに回転可能に支持された環状フレーム502上で、撮像対象Sを横切って直径方向に取り付けられている。
マルチスライスX線CT装置は、更に、スリップリング508を介してX線管501に印加される管電圧を生成し、X線管501がX線を生成する高電圧発生器509を含んでいる。X線は、断面積が円で表される撮像対象Sに向かって放射される。
例えば、X線管501は、第2のスキャン中の平均X線エネルギーよりも小さい第1のスキャン中の平均X線エネルギーを有する。従って、異なるX線エネルギーに対応する2以上のスキャンを取得できる。X線検出器503は、撮像対象Sを透過した放射X線を検出するために、撮像対象Sを挟んでX線管501の反対側に配置される。X線検出器503は更に、個々の検出器要素またはユニットを含んでいる。
X線CT装置は、更に、X線検出器503からの検出信号を処理するための他の装置を含んでいる。データ収集回路またはデータ収集システム(Data Acquisition System:DAS)504は、各チャネルのX線検出器503からの信号出力を電圧信号に変換し、この信号を増幅し、更にこの信号をデジタル信号に変換する。
上述のデータは、非接触型データ送信機505を介して、X線撮影ガントリー500の外部コンソールに収容された前処理回路506に送られる。前処理回路506は、生データの感度補正のような一定の補正を実行する。記憶装置512は、その結果のデータを保存し、当該データは再構成処理の直前の段階での投影データとも呼ばれる。
記憶装置512は、生成回路520、再構成回路514、入力装置515、およびディスプレイ516と共に、データ/制御バス511を介してシステムコントローラ510に接続される。システムコントローラ510は電流調整器513を制御し、これは当該CTシステムを駆動するための十分なレベルに電流を制限する。
検出器は、様々な世代のCTスキャナーシステムの中で、患者に対して回転および/または固定される。実施形態において、X線管501およびX線検出器503は、環状フレーム502に直径方向に取り付けられ、環状フレーム502が回転軸RAの周りを回転するときに、撮像対象Sの周りを回転する。
記憶装置512は、X線検出器503でのX線の放射照度を表す測定値を記憶することができる。更に、記憶装置512は、方法10を実行するための専用プログラムを記憶することができる。
再構成回路514は、方法10の様々なステップを実行することができる。更に、再構成回路514は、必要に応じて、ボリュームレンダリング処理および画像差分処理のような、再構成処理前の画像処理を実行することができる。再構成回路514は、再構成部の一例である。
生成回路520は、後述の学習済みモデルに対して投影データを入力することにより、投影データを生成する等、様々な処理を行う。生成回路520の処理については後述する。生成回路520は、生成部の一例である。
前処理回路506によって実行される投影データの再構成前処理は、例えば、検出器較正、検出器非線形性、および極性効果(polar effect)のための補正を含むことができる。
再構成回路514によって実行される再構成後処理は、必要に応じて、画像のフィルタリングおよび平滑化、ボリュームレンダリング処理、および画像差分処理を含むことができる。画像再構成プロセスは、図4に示す方法10の様々なステップを実施できる。再構成回路514は、メモリを使用して、例えば投影データ、再構成画像、較正データおよびパラメータ、ならびにコンピュータプログラムを保存できる。
様々な回路(例えば、再構成回路514、生成回路520および前処理回路506)は、個別論理ゲート、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)、またはその他の複合プログラマブル論理装置(Complex Programmable Logic Device:CPLD)として実装可能なCPU(処理回路)を含むことができる。
FPGAまたはCPLDの実施は、VHDL、Verilog、またはその他のハードウェア記述言語でコード化でき、当該コードはFPGAもしくはCPLD内の電子メモリに直接保存するか、または個別の電子メモリとして保存できる。
更に、記憶装置512は、ROM、EPROM、EEPROM、またはフラッシュメモリのような不揮発性メモリであることができる。記憶装置512は、スタチックまたはダイナミックRAMのような揮発性でもよく、また、電子メモリ、ならびにFPGAまたはCPLDとメモリとの間の相互作用を管理するために、マイクロコントローラまたはマイクロプロセッサのようなプロセッサを設けることができる。
実施形態において、再構成された画像はディスプレイ516に表示することができる。ディスプレイ516は、LCDディスプレイ、CRTディスプレイ、プラズマディスプレイ、OLED、LED、または当該技術分野で知られている何れか他のディスプレイであることができる。
続いて、実施形態に係る背景について説明する。
実際的な制約により、投影イメージング用のX線源として使用されるX線管の最小焦点サイズは制限され、また、この焦点サイズの制限により、X線撮影、コンピュータ断層撮影、蛍光透視および血管造影のようなアプリケーションで達成可能な解像度が制限される。これらの制約には、実用的なサイズの制限、熱伝達および材料の特性、線量の制約(例えば、放射線量を可能な限り低く維持すること)、ならびに時間の制約が含まれる。
実際問題として、焦点サイズを大きくするとX線のフラックスが大きくなり、投影画像のS/N比(SNR)が高くなるが、焦点サイズを大きくする代償として空間解像度は低くなる。
ここで説明する方法および装置は、大小両方の焦点サイズを使用して投影画像を含む学習データセットを取得し、次いでニューラルネットワークを学習して、大きな焦点サイズで得られる高いSNRを犠牲にすることなく、大きな焦点サイズを使用して取得した投影画像から小さな焦点サイズの画像解像度を達成することにより、大きな焦点サイズおよび小さな焦点サイズの最良の結果を組み合わせる。
従って、本明細書で説明する方法は、小さな焦点サイズを使用して生成された画像と同様の良好な空間解像度と、大きな焦点サイズを使用して生成された画像の大きなSNRの両方を有する投影画像を生成することができる。X線検出器のサイズが小さくなり続けているので、良好な空間分解能を達成することの重要性はますます重要になっている。
ここで図面を参照すると、幾つかの図を通して、同様の参照番号は同一または対応する部分を示しており、図1Aおよび図1Bは、異なる焦点サイズを使用して撮影した2つの投影画像を示している。
図1Aは、図1Bに示すX線投影画像を取得するために使用される焦点サイズよりも小さい焦点サイズを使用して取得されたX線投影画像を示している。図1Aの焦点は図1Bのものよりも小さく、図1BのX線露出量は図1Aの場合の2倍である。図1Aには図1Bよりも高い解像度が見られるが、図1Aはこの改善された解像度を得るためにSNRを犠牲にしている。これは、より小さい焦点サイズを使用して達成可能なX線フラックスが少ないため、図1Aでは図1Bで比較して信号が小さくなり、SNRが低くなるからである。
従って、既存の臨床システムに使用されているような、検出器の限界寸法に比較して有意に大きい焦点サイズは、システム全体の解像度に悪影響を及ぼすことが認められる。焦点のサイズは、特定の設計選択と特定のX線撮像素子のトレードオフに依存するが、一般に、すべてのX線撮像素子の焦点は、より小さな焦点のための管負荷容量に起因して、約1ミリメートルである。
理想的に言えば、焦点サイズは任意に小さくされるであろうが、それはX線管の設計上の制限により達成できない。結局のところ、解像度と画質の間にはトレードオフが存在する。一方で、焦点サイズを大きくすれば、より大きな露出量およびより大きいSNRを与えることができるが、このより大きいSNRは、空間分解能が低下するという代償を伴う。他方、焦点サイズを小さくすると、空間分解能は向上するが、この改善により露出量が少なくなり、SNRが小さくなるという代償を伴う。
図2は、X線源からのX線によって撮像対象が撮像される例示的なイメージングシステムを示しており、X線は、撮像対象を通過して画像平面で検出される。X線源のアノード上での電子ビームのサイズによって、焦点サイズが決定される。実線は、焦点の中心から物体の周辺を通過するX線の軌跡を示している。
破線は、焦点の端から撮像対象の周辺を通過するX線の軌跡を示している。線源から撮像対象までの距離(Source-To-Object Distance:SOD)が撮像対象から画像までの距離(Object-To-Imaged Distance:OID)よりもはるかに大きい場合、倍率は小さくなり、画像平面における点広がり関数は低下する。画像平面における画像の倍率および点広がり関数は、線源におけるX線フィルター/レンズ(例えばバタフライフィルター)の使用によっても影響を受ける可能性がある。画像解像度および点広がり関数に対するX線装置の幾何形状と焦点サイズの間の関係は一般によく理解されており、簡単な光線追跡を使用してモデル化できるため、これらの詳細についてはここでは説明しない。
図3A、3B、および3Cは、電子ビームおよび/またはアノード角度を大きくするか小さくするかの間のトレードオフを示している。
図3Aでは、アノード角が大きく且つ電子ビームの面積が小さいため、良好な視野範囲(即ち、ビーム角が大きいため視野が大きくなる)、良好な分解能のための小さい焦点サイズが得られるが、低い電力負荷を生じる(即ち、X線フラックスが低いため、所定の視野角でのSNRが低くなるか、または低いフラックス率を補償するために露光時間が長くなる)。
図3Bでは、アノード角が大きく且つ電子ビームの面積が大きいため、良好な視野範囲、低い解像度となる大きな焦点サイズ、および良好な電力負荷がもたらされる。図3Cでは、アノード角が小さく且つ電子ビームの面積が大きいため、狭く/貧弱な視野範囲、良好な解像度となる小さい焦点サイズ、および良好な電力負荷が生じる。これらのトレードオフは、製造コストおよび患者のサイズ制限のような、CTイメージングの他の側面にも影響する。
例えば、より小さい有効焦点サイズを使用すると、より低い電力負荷またはより小さい視野範囲が生じる。また、これらの要因は、更に微細な焦点サイズ(例えば、0.4×0.5mm)を、より大きく且つより強く減衰させる患者に適用するための実用性を制限する(例えば、大きな患者の場合は、より大きなビーム角および500mAのように更に高いmA設定が必要になり得る)。
更に、大きな電力負荷およびより小さな有効焦点サイズは、製造コストを増加させる可能性がある。
図4は、DLネットワーク170を学習および使用して、X線投影データに対するデータ領域の補正(例えば、エッジ/解像度向上、サイノグラム復元、ノイズ除去、および/またはアーチファクト補正)を実行する方法10についての、非限定的な例の流れ図を示す。図4に示すように、方法10は、DLネットワーク170を使用して、生データ251(例えばサイノグラム)を最適にフィルタリングする方法を学習し、次いでフィルターされたデータからCT画像を再構築する。方法10は2つの部分、即ち、(i)オフラインでの学習(訓練)プロセス150、および(ii)医用イメージングプロセス100を含んでいる。
即ち、学習プロセス150はDLネットワーク170の学習を行い、プロセス100は、学習済みのDLネットワーク170を使用して投影領域において生データ251をフィルタリングする。
これにより、ノイズおよびアーチファクトが低減された高品質の再構成画像135が生成される。蛍光透視法のような実施形態の一例では、ステップ120および130を省略でき、出力は補正された投影データであることができる。
実施形態の一例において、DLネットワーク170は畳み込みニューラルネットワーク(CNN)を含んでおり、ここでは一連の畳み込み、バッチ正規化、および正規化線形ユニットネットワーク層が実行される。
DLネットワーク170は、学習(訓練)プロセス160を使用して学習を行う。学習プロセス160では、損失関数を使用して、DLネットワーク170のパラメータが繰り返し調整/最適化される(例えば、DLネットワーク170のパラメータは、ネットワーク層を接続する重み係数、および層内のノードの活性化関数/ポテンシャルを含むことができる)。ネットワークパラメータの最適化は、停止基準(例えば、停止基準は、損失関数の値が事前に定義された閾値に収束したか否かであることができる)が満たされるまで継続され、学習されたDLネットワーク170を生じる。
損失関数は、目標データ153を、DLネットワーク170の現在のバージョンに入力データ157を適用して生成された出力と比較する。例えば、入力データには、大きい焦点サイズを使用して取得した投影データを含めることができ、また目標データには、ノイズを低減させるために小さい焦点サイズおよび大量の平均化を使用して取得した投影データを含めることができる。
すなわち、第1の学習済みモデルであるDLネットワーク170の学習(訓練)は、第1の焦点サイズのX線を利用して収集された第1の投影データである入力データ157を入力、第1の焦点サイズより小さい第2の焦点サイズのX線を利用して収集された第2の投影データである目標データ153に対応するデータを出力として行われる。
ここで、第2の投影データは、例えば複数の検出器により検出されたデータを平均することにより取得されたデータであり、第2の投影データの信号対ノイズ比は、第1の投影データの信号比ノイズより例えば大きい。
また、別の例として、第2の投影データは、第1の投影データよりも、小さい点広がり関数を用いて取得されてもよい。
また、第1の投影データである入力データ157及び第2の投影データである目標データ153は、例えばサイノグラムである。
かかる場合、所与のCTスキャンについて、入力データの低品質(例えば、焦点サイズが大きい)のサイノグラムは、対応する高品質(例えば、焦点サイズが小さい)のサイノグラムとの対を形成する。入力データ157についての低品質サイノグラムおよび目標データ153についての高品質サイノグラムを取得するためのスキャンは、例えばファントム上で実行することができる。
入力データからの低品質サイノグラムをDLネットワーク170の現在のバージョンに適用すると、ネットワークから出力が生成されるが、これは低品質サイノグラムの解像度が向上したバージョン(即ち、フィルターされたサイノグラム)であると想定される。
DLネットワーク170は、DLネットワーク170からのフィルターされたサイノグラム出力と、目標データ153からの高品質サイノグラムとの間の差を最小化するために、DLネットワーク170内のネットワーク係数を繰り返し調整することによって学習される。
DLネットワーク170の学習は、目標データとDLネットワーク170からの出力との間の差が最小化されたときに完了したと決定される。
この差が十分に最小化されたかどうかの問題は、学習プロセス160の1以上の所定の停止基準に基づいて解決される。基準が満たされていれば、この学習されたDLネットワーク170は保存され、その後に呼び出して、医用イメージングプロセス100で使用することができる。
別の実施において、DLネットワーク170は、残差ネットワーク(Residual Network:ResNet)として実施される。すなわち、第1の学習済みモデルであるDLネットワーク170は、残差ネットワークを用いて行われてもよい。
この場合、ここで説明する方法は、小さな焦点サイズのサイノグラムと大きな焦点サイズのサイノグラムとの差を、低品質のサイノグラムから直接除去できる加算残差として扱うことにより、画像をフィルタリングできる。この加算残差または差分画像は、小さい焦点サイズの投影データのハイパスフィルターバージョンと考えることができる。
従って、低品質サイノグラムがニューラルネットワークに適用されると、ネットワークは差分画像に対応する画像を出力する。次に、低品質サイノグラムからネットワーク出力(ノイズ/アーティファクト)を差し引いて補正されたサイノグラムを生成することにより、補正サイノグラムを生成することができる。
方法10では、損失関数を使用して、DLネットワーク170のネットワーク係数(例えば、畳み込み層およびプーリング層の重みおよびバイアス)を、停止基準(例えば、パラメータの所定の閾値への収束)が満たされるまで繰り返し調整して、学習されたDLネットワーク170を生成する。損失関数は、高品質データである目標データ153を、入力データ157が適用される現バージョンのDLネットワーク170の結果と比較する。
すなわち、第1の学習済みモデルであるDLネットワーク170の学習は、DLネットワーク170の重み係数が、第1の投影データである入力データ157に基づいて出力される出力サイノグラムと、第2の投影データである目標データ153との間の不一致度に基づいて定められる損失関数を最小化するように繰り返し調整されるように学習が行われる。
プロセス100は、生データ251を取得することによって、例えば、CTスキャンを実行して一連のビュー角度でのCT投影(即ち、低品質サイノグラム)を生成することによって実行される。例えば、サイノグラムは、生データ251を生成する低線量CTスキャンを使用して実行することができる。
ここで、生データ251は、第2の焦点サイズのX線を利用して収集された第2の投影データである目標データ153の焦点サイズである第2の焦点サイズより大きい第3の焦点サイズのX線を利用して収集された第3の投影データである。
プロセス100のステップ110において、生データ251は、学習が行われたDLネットワーク170に生データ251を適用することによりフィルターされる。すなわち、生成回路520は、第1の学習済みモデルであるDLネットワーク170に対して、第2の焦点サイズより大きい第3の焦点サイズのX線を利用して収集された第3の投影データである生データ251を入力することにより、第4の投影データを生成する。
例えば、第1の学習済みモデルであるDLネットワーク170の学習が、残差ネットワークを用いて行われる場合、生成回路520は、第3の投影データから当該残差ネットワークの出力を減算することにより第4の投影データを生成する。
なお、一般に、第4の投影データの解像度は、例えば第3の投影データの解像度より高くなる。
なお、第3の投影データは、例えば蛍光透視データであってもよい。
次いで、DLネットワーク170は、フィルターされたサイノグラムを出力する。実施形態の一例において、DLネットワーク170は畳み込みニューラルネットワーク(CNN)である。このCNNは、ローカルな小さいサイズのフィルター、即ち、下記を直接生成するネットワークであることができる。
Figure 0007451256000001
ここで、wijは、i番目の画素のフィルターである。
学習プロセス160では、生データ251からフィルターされたサイノグラムを生成するためにステップ110で使用したプロセスと同じプロセスが、入力データから出力サイノグラムを生成するためにも用いられ、次いで、損失関数を使用して出力サイノグラムを目標データと比較する。
プロセス100のステップ120では、ノイズ除去されたサイノグラムからCT画像が再構成される。すなわち、再構成回路514は、第4の投影データに基づいて、たとえばCT画像である第1の画像を再構成する。
投影データからCT画像を再構成するために、フィルター補正逆投影(Filtered Back-Projection:FBP)および統計的反復再構成(Iterative Reconstruction:IR)アルゴリズムを含む多様な方法を使用することができる。
FBPに加えて、フェルドカンプ・デービス・クレス(Feldkamp Davis Kress:FDK)法、逐次近似応用再構成(Adaptive Iterative Dose Reduction 3D:AIDR 3D)法などの他の分析法も使用することができる。FBP再構成法と比較して、IR法は低減された放射線量でも画像品質を改善できる。
IR法は、次式を最小化する引数pを見つけるために、制約なし(または制約付き)の最適化を実行する。
Figure 0007451256000002
ここで、lは、一連の投影角度で撮像された投影画像のX線強度の対数を表す投影データであり、pは、画像空間におけるボクセル/ボリューム画素(または2次元の再構成画像における2次元画素)についての、X線減衰の再構成画像である。システムマトリックスAについて、各マトリックス値aij(iは行インデックス、jは列インデックス)は、ボクセルpに対応するボリュームと投影値lに対応するX線軌跡との間の重なりを表す。再構成された画像pの順投影Aが、測定されたすべての投影画像lに対して良好な近似を提供するときに、データ忠実度項||Ap-l||2wは最小化される。従って、当該データ忠実度項の最小化は、システムマトリックス方程式Ap=lを解くことと関連し、これは線源からpで表される空間内の撮像対象Sを通ってlの値を生じるX線検出器に向かう様々な放射線のラドン変換(即ち、投影)を表している(例えば、三次元撮像対象Sを通って二次元投影画像lに至るX線投影)。
表記||g||2wはgTWgの形の重み付き内積を意味し、ここでのWは重み行列である(例えば、画素毎の信号対ノイズ比に基づいて、投影データの信頼性を表す)。他の実施において、重み行列Wは恒等行列で置き換えることができる。重み行列Wがデータ忠実度の項で使用されるとき、上記のIR法は、ペナルティ付き重み付け最小二乗(Penalized Weighted Least Squares:PLWS)アプローチと呼ばれる。
関数U(p)は正則化の項であり、この項は、1以上の制約(例えば、合計変動(Total Variation:TV)最小化制約)を課すことを目的としており、これは再構成された画像を平滑化またはノイズ除去する効果を持つことが多い。値βは正則化パラメータであり、データ忠実度項および正則化項の相対的な寄与を重み付けする値である。
プロセス100のステップ130では、追加の画像領域ノイズ除去が実行される。このステップはオプションであり、幾つかの実施では省略できる。
すなわち、ステップ130において、生成回路520は、ステップ120で再構成された第1の画像に基づいて、より画質が向上した第2の画像である再構成画像135を生成してもよい。
ノイズ除去方法の例として、線形平滑化フィルター、異方性拡散、ノンローカルミーン、または非線形フィルターが挙げられる。線形平滑化フィルターは、ローパスフィルターまたは平滑化操作を表す畳み込みカーネルを用いて、元の画像を畳み込むことによりノイズを除去する。例えば、ガウス畳み込みカーネルは、ガウス関数によって決定される要素で構成される。この畳み込みにより、各画素の値は、隣接する画素の値とより厳密に一致する。異方性拡散は、熱方程式に似た平滑化偏微分方程式の下で画像を進化させることにより、シャープなエッジを維持しながらノイズを除去する。メディアンフィルターは非線形フィルターの例であり、適切に設計されれば、非線形フィルターはエッジを保持してぼやけを防ぐこともできる。メディアンフィルターは、ランク条件付きランク選択(Rank-Conditioned Rank-Selection:RCRS)フィルターの一例であり、これを適用すると、画像に著しいぼやけアーチファクトを生じることなく、胡麻塩ノイズを除去できる。
加えて、画像化された領域が均一な領域間のシャープな境界で区切られた大きな領域に亘る均一性の仮定を支持する場合、合計変動(TV)最小化正則化項を使用するフィルターを適用できる。TVフィルターは、非線形フィルターの別の例である。更に、非局所平均フィルタリングは、画像内の同様のパッチの加重平均を使用して、ノイズを除去した画素を決定する例示的な方法である。
なお、実施形態はこれに限られず、ステップ130において、生成回路520は、DLネットワーク170とは別のニューラルネットワークを用いて、第1の画像から、より画質が向上した第2の画像である再構成画像135を生成してデノイズ処理を行ってもよい。換言すると、ステップ130において、生成回路520は、第1の画像に基づいて、第1の画像より高画質の第2の画像を生成する第2の学習済みモデルに対して、第1の画像を入力することにより、第2の画像である再構成画像135を生成する。
なお、第2の学習済みモデルの学習は、例えば低画質の画像を入力、入力画像より高画質の画像を出力として、例えば第2の学習済みモデルの実行より前に事前に行われる。
図4に戻り、最後に、良好な画像品質を有する再構成画像135が出力され、この再構成画像135はユーザーに表示されるか、または後で使用するために保存される。
次に、DLネットワークの学習(例えば、学習プロセス160)の、より詳細に説明する。ここで、目標データ153は、上述のように、X線管内の小さな焦点サイズを使用して取得された高品質サイノグラムであり、入力データ157は、大きな焦点サイズを使用して取得された低品質サイノグラムである。
図5は、実施形態における学習プロセス160の流れ図を示す。学習プロセス160では、入力データ157および目標データ153を学習データとして使用してDLネットワーク170の学習を行い、その結果として、DLネットワーク170が学習プロセス160のステップ319から出力される。オフラインDL学習プロセス160は、DLネットワーク170を学習するように対応する目標サイノグラムである目標データ153と対になった多数の入力データ157である入力サイノグラムを使用して、DLネットワーク170の学習を行い、入力データ157である入力サイノグラムから目標サイノグラムである目標データ153に似たフィルターされたサイノグラムを生成する。
学習プロセス160では、学習データのセットが取得され、DLネットワーク170は、誤差(例えば、損失関数により生成される値)を低減するように繰り返し更新される。DLネットワークは、学習データによって暗示されるマッピングを推測し、またコスト関数は、目標サイノグラムである目標データ153と、DLネットワーク170の現在の形を入力データ157である入力サイノグラムに適用することにより生じる結果との間のミスマッチに関連した誤差値を生じる。
例えば、特定の実施において、コスト関数は、平均二乗誤差を使用して平均二乗誤差を最小化できる。多層パーセプトロン(Multilayer Perceptrons:MLP)ニューラルネットワークの場合は、(確率的)勾配降下法を使用して平均二乗誤差に基づくコスト関数を最小化することにより、ネットワークの学習のために逆伝播アルゴリズムを使用できる。
学習プロセス160のステップ316では、DLネットワーク170の係数についての初期推測が生成される。例えば、当該初期推測は、撮像される領域の先験的知識、または1以上の例示的なノイズ除去方法、エッジ検出方法、および/またはブロブ検出方法に基づくことができる。更に、初期推測は、レクン(LeCun)初期化、ザビエル(Xavier)初期化、およびカイミン(Kaiming)初期化の何れかに基づいて行うことができる。
学習プロセス160のステップ316~319は、DLネットワーク170の学習を行うための最適化方法の非限定的例を提供する。
現在のバージョンのDLネットワーク170を適用した後の、目標サイノグラムである目標データ153(即ち、グラウンドトゥルース)と入力データ157である入力サイノグラムとの間の差の尺度(例えば、距離尺度)を表すために、(例えば、損失関数またはコスト関数を使用して)誤差が計算される。上記のコスト関数を含む、既知のコスト関数または画像データ間の距離尺度を使用して、誤差を計算することができる。更に、特定の実施では、誤差/損失関数は、ヒンジ損失およびクロスエントロピー損失の1つまたは複数を使用して計算できる。実施形態の一例において、損失関数は、目標データと、入力データをDLネットワーク170に適用した結果との差のlノルムであり得る。lノルムにおける「p」の異なる値は、ノイズの異なる側面を強調するために使用することができる。更に、(例えば、信号強度の減衰係数に基づいた)重み付けマスクを、目標データと入力データから生成された結果との間の差に対して、画素毎に適用することができる。実施形態では、目標データと入力データからの結果との間の差のlノルムを最小化するのではなく、損失関数は類似性を表すことができる(例えば、ピーク信号対ノイズ比(Peak Signal-To-Noise Ratio:PSNR)または構造的類似性(Structural Similarity:SSIM)指数を用いて)。
すなわち、損失関数は、ピーク信号ノイズ比、構造的類似性指数、または出力サイノグラムと第2の投影データとの間の差のlノルムのうち少なくとも一つであってもよい。
特定の実施形態において、学習は、次の損失関数を最小化することにより実行される。
Figure 0007451256000003
ここで、θはDLネットワーク170の調整可能な重み係数、hは調整不可能なパラメータ(例えば、再構成カーネルの選択など、ユーザーが選択したパラメータ)、y(n)は、n番目の入力サイノグラムを表し、y’(n)は、n番目の目標サイノグラムを表す。数Nは、学習データの総数である。実施形態の一例では、次の加重平均絶対誤差損失関数が使用される。
Figure 0007451256000004
ここで、dは次の形を有する重みであり、
Figure 0007451256000005
pはスカラー量である。この重みの選択は、統計的平均推定法に触発されており、ここでのdjは、データノイズ分散の逆数になるように選択されることが多い。過剰適合の問題に対処するために、hの追加の正則化Rが使用され、これはR(h)=Σで与えられる。正則化強度は、パラメータβを介して調整できる。
実施形態の一例において、DLネットワーク170は逆伝播を使用して学習が行われる。逆伝播は、ニューラルネットワークの学習のために使用でき、勾配降下最適化法と組み合わせて使用される。フォワードパスの際、アルゴリズムは現在のパラメータθに基づいてネットワークの予測を計算する。
次に、これらの予測は損失関数に入力され、それによって対応するグラウンドトゥルースラベル(つまり、高品質の目標データ153)と比較される。バックワードパスの際、当該モデルは現在のパラメータに関する損失関数の勾配を計算し、その後、最小化された損失の方向で予め定められたサイズのステップサイズを取ることによってパラメータが更新される(ネステロフの運動量法および様々なアダプティブ法では、より迅速に収束して損失サイズを最適化するようにステップサイズを選択できる)。
逆投影を実行する最適化方法では、勾配降下、バッチ勾配降下、確率的勾配降下、およびミニバッチ確率的勾配降下の1以上を使用できる。フォワードパスおよびバックワードパスは、ネットワークのそれぞれの層を通して段階的に実行できる。
フォワードパスでは、最初の層を介して入力を供給し、後続の層のための出力活性化を行うことによって実行が開始される。このプロセスは、最後の層の損失関数に達するまで繰り返される。バックワードパスの際に、最後の層は、それ自体の学習可能なパラメータ(存在する場合)と、以前の層の上流導関数として働く独自の入力に関して、勾配を計算する。このプロセスは、入力層に到達するまで繰り返される。
図5に戻ると、学習プロセス160のステップ317は、例えば、誤差勾配等、ネットワークにおける変化の関数を計算できるので誤差における変化を決定し、この誤差における変化を使用して、DLネットワーク170の重み/係数に対するその後の変更のための方向およびステップサイズを選択することができる。
このようにして誤差の勾配を計算することは、勾配降下最適化法の実施形態の一例と一致している。当業者が理解するように、他の実施形態の一例ではこのステップを省略し、および/または別の最適化アルゴリズム(例えば、疑似アニーリング法または遺伝的アルゴリズムなどの非勾配降下最適化アルゴリズム)に従う別のステップで置き換えることができる。
学習プロセス160のステップ317では、DLネットワーク170に対して係数の新しいセットが決定される。例えば、重み/係数は、勾配降下最適化方法または過剰緩和加速法におけると同様に、ステップ317で計算された変化を使用して更新することができる。
学習プロセス160のステップ318では、DLネットワーク170の更新された重み/係数を使用して、新しい誤差値が計算される。
ステップ319では、予め定められた停止基準を使用して、ネットワークの学習が完了したかどうかを判定する。例えば、予め定められた停止基準は、新しい誤差および/または実行された反復の総数が予め定められた値を超えているかどうかを評価できる。
例えば、新しい誤差が予め定められた閾値を下回った場合、または反復の最大数に達した場合には、停止基準は満たされることができる。停止基準が満たされない場合、学習プロセス160で実行される学習プロセスは、新しい重みおよび係数を使用してステップ317に戻り、このステップを繰り返すことにより、反復ループのスタートに戻る(反復ループにはステップ317、318、および319が含まれる)。停止基準が満たされると、学習プロセス160で実行される学習プロセスは完了する。
図6および図7は、DLネットワーク170における層間の相互接続の2つの例を示している。DLネットワーク170は、完全に接続された畳み込み層およびプーリング層を含むことができ、それらのすべてを以下で説明する。DLネットワーク170の特定の好ましい実施において、畳み込み層は入力層の近くに配置されるのに対して、高レベルの推論を実行する、完全に接続された層は、損失関数に向かって、当該アーキテクチャの更に下流に配置される。畳み込み層の後にプーリング層を挿入すると、フィルターの空間範囲、従って学習可能なパラメータの量が減少することが証明された。
活性化関数もまた、種々の層に組み込まれて非線形性を導入し、またネットワークが複雑な予測関係を学習することを可能にする。活性化関数は、飽和活性化関数(例えば、S字型または双曲線正接活性化関数)、または正規化活性化関数(例えば、上記の最初と2番目の例で適用された正規化線形ユニット(Rectified Linear Unit:ReLU))である。DLネットワーク170の層は、上述の第1および第2の例でも例示したように、バッチ正規化を組み込むこともできる。
図6は、N個の入力、K個の隠れ層、3つの出力を持つ一般的な人工ニューラルネットワーク(ANN)の例を示している。各層はノード(ニューロンとも呼ばれる)で構成され、各ノードは入力の加重和を実行し、この加重和の結果を閾値と比較して出力を生成する。ANNは関数のクラスを構成し、それについて、当該クラスのメンバーは、閾値、接続の重み、或いはノードの数および/またはそれらの接続などのアーキテクチャの詳細を変化させることによって取得される。ANNのノードはニューロン(またはニューロンノード)と呼ばれ、当該ニューロンはANNシステムの異なる層間での相互接続を有することができる。
シナプス(つまり、ニューロン間の接続)には、計算においてデータを操作する「重み」と呼ばれる値(「係数」または「重み係数」とも呼ばれる)が保存される。ANNの出力は、3つのタイプのパラメータ、即ち、(i)ニューロンの異なる層間の相互接続パターン、(ii)相互接続の重みを更新するための学習プロセス、および(iii)ニューロンの加重入力をその出力活性化に変換する活性化関数の3つに依存する。
数学的には、ニューロンのネットワーク関数m(x)は、他の関数(複数)n(x)の混成として定義され、これは更に他の関数の混成として定義することができる。このことは、図6に示すように、変数間の依存関係を表す矢印を用いたネットワーク構造として便利に表すことができる。
例えば、ANNは非線形の加重和を使用でき、ここでは
Figure 0007451256000006
であり、ここでのK(一般には活性化関数と称される)は或る予め定められた関数、例えば双曲線正接である。
図6(および図7でも同様)において、ニューロン(つまりノード)は閾値関数の周りの円で表されている。図6に示す非限定的な例において、入力は線形関数を囲む円として描かれ、矢印はニューロン間の指向性接続を示している。実施形態の一例において、DLネットワーク170はフィードフォワードネットワークである。
図7は、DLネットワーク170が畳み込みニューラルネットワーク(CNN)である非限定的な例を示している。CNNはANNの一種で、画像処理に有益な特性を有しており、従って、画像ノイズ除去アプリケーションのために特に関連している。CNNは、フィードフォワードANNを使用し、ここではニューロン間の接続パターンが画像処理の畳み込みを表すことができる。
例えば、CNNは、入力画像の一部を処理する受容野と称する小さなニューロンコレクションの複数の層を使用することにより、画像処理の最適化のために使用することができる。次いで、これらコレクションの出力は、元の画像のより良い表現を得るために、重なり合うように並べて表示できる。この処理パターンは、交互の畳み込み層およびプーリング層を有する複数の層に亘って繰り返すことができる。
畳み込み層の後、CNNはローカルおよび/またはグローバルなプーリング層を含むことができ、これは畳み込み層のニューロンクラスターの出力を結合する。加えて、特定の実施では、畳み込み層と完全に接続された層の種々の組み合わせをCNNに含めることができ、点毎の非線形性が各層の末端または後において適用される。
なお、上述の実施形態では、第1の学習済みモデルであるDLネットワーク170の学習が、焦点サイズの大きい投影データを入力、焦点サイズの小さい投影データを出力として行われる場合について説明したが、実施形態はこれに限られない。
一例として、第1の学習モデルであるDLネットワーク170の学習が、第1のサイズの検出器素子を用いて収集したデータを入力、第1のサイズより小さい第2のサイズの検出器素子を用いて収集したデータを出力として更に行われても良い。かかる場合、第1の学習モデルであるDLネットワーク170は、焦点サイズの学習を行う第1のDLネットワークと、検出器素子サイズの学習を行う第2のDLネットワークとからなり、第1のDLネットワークと、第2のDLネットワークとに対して、独立に学習が行われ、学習済モデルが生成される。
学習済モデルの実行段階、すなわちプロセス100において、生データ251は、例えば、焦点サイズの大きい第1の焦点サイズ、かつ、検出器素子サイズの大きい第1のサイズの検出器素子を用いて収集されたデータである。生成回路520は、DLネットワーク170に対して生データ251を入力することにより、第1の焦点サイズより小さい第2の焦点サイズ、かつ、第1のサイズより小さい第2のサイズの検出器素子を用いて収集したデータに相当するデータを出力する。一例として、生成回路520は、第1のDLネットワークに対して生データ251を入力し、その出力結果を第2のDLネットワークに対して入力しその出力結果を得ることにより、第1の焦点サイズより小さい第2の焦点サイズ、かつ、第1のサイズより小さい第2のサイズの検出器素子を用いて収集したデータに相当するデータを取得する。
また、別の例として、焦点サイズに関する学習と検出器素子サイズに関する学習が同時に行われてもよい。
例えば、第1の学習モデルであるDLネットワーク170の学習が、第1の焦点サイズかつ第1のサイズの検出器素子を用いて収集したデータを入力、第1の焦点サイズより小さい第2の焦点サイズ、かつ第1のサイズより小さい第2のサイズの検出器素子を用いて収集したデータを出力として行われても良い。
また、別の例として、例えば第1の学習モデルであるDLネットワーク170の学習が、第1の焦点サイズかつ第2のサイズの検出器素子を用いて収集したデータを入力、第2の焦点サイズ、かつ第1のサイズを用いて収集したデータを出力として行われるなど、学習に用いられるデータの組み合わせはその他の組み合わせでもよい。
上述の例では、X線システムの実施形態について説明したが、例えば図1の生成回路520、再構成回路514、記憶装置512、ディスプレイ516、入力装置515等と同様の機能を有する画像処理装置が、独立した画像処理装置を構成してもよい。かかる画像処理装置は、第1の焦点サイズのX線を利用して収集された第1の投影データを入力、第1の焦点サイズより小さい第2の焦点サイズのX線を利用して収集された第2の投影データを出力として学習された第1の学習済みモデルに対して、第2の焦点サイズより大きい第3の焦点サイズのX線を利用して収集された第3の投影データを入力することにより、第4の投影データを生成する、生成回路520と同様の機能を有する生成回路を備える。
また、コンピュータで実行されるプログラムが、第1の焦点サイズのX線を利用して収集された第1の投影データを入力、第1の焦点サイズより小さい第2の焦点サイズのX線を利用して収集された第2の投影データを出力として学習された第1の学習済みモデルに対して、第2の焦点サイズより大きい第3の焦点サイズのX線を利用して収集された第3の投影データを入力することにより、第4の投影データを生成するステップを、コンピュータに実行させてもよい。
以上説明した少なくとも1つの実施形態によれば、画質を向上することができる。
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
以上の実施形態に関し、発明の一側面および選択的な特徴として以下の付記を開示する。
(付記1)
第1の焦点サイズのX線を利用して収集された第1の投影データを入力、前記前記第1の焦点サイズより小さい第2の焦点サイズのX線を利用して収集された第2の投影データを出力として学習された第1の学習済みモデルに対して、前記第2の焦点サイズより大きい第3の焦点サイズのX線を利用して収集された第3の投影データを入力することにより、第4の投影データを生成する生成部
を備えたX線システム。
(付記2)
前記第4の投影データに基づいて第1の画像を再構成する再構成部を備えた。
(付記3)
前記第1の画像に基づいて、前記第1の画像より高画質の第2の画像を生成する第2の学習済みモデルに対して、前記第1の画像を入力することにより、前記第2の画像を生成する。
(付記4)
前記第1の学習済みモデルは、第1のサイズの検出器素子を用いて収集されたデータを入力、前記第1のサイズより小さい第2のサイズの検出器素子を用いて収集されたデータを出力として更に学習が行われた学習済みモデルである。
(付記5)
前記第1の投影データは、第1のサイズの検出器素子を用いて収集されたデータであり、
前記第2の投影データは、前記第1のサイズより小さい第2のサイズの検出器素子を用いて収集されたデータである。
(付記6)
前記第1の投影データ及び前記第2の投影データはサイノグラムであり、
前記第1の画像はCT画像である、請求項1に記載のX線システム。
(付記7)
前記第2の投影データは、複数の検出器により検出されたデータを平均することにより取得されたデータであり、
前記第2の投影データの信号対ノイズ比は、前記第1の投影データの信号対ノイズ比より大きい。
(付記8)
前記第2の投影データは、前記第1の投影データよりも、小さい点広がり関数を用いて取得され、
前記第4の投影データの解像度は、前記第3の投影データの解像度より高い。
(付記9)
前記学習済みモデルの学習は、残差ネットワークを用いて行われ、
前記生成部は、前記第3の投影データから前記残差ネットワークの出力を減算することにより前記第4の投影データを生成する。
(付記10)
前記第1の投影データ及び前記第2の投影データはサイノグラムであり、
前記学習済みモデルは、ニューラルネットワークの重み係数が、前記第1の投影データに基づいて出力される出力サイノグラムと前記第2の投影データとの間の不一致度に基づいて定められる損失関数を最小化するように繰り返し調整されるように学習が行われる。
(付記11)
前記損失関数は、ピーク信号対ノイズ比、構造的類似性指数、または、前記出力サイノグラムと前記第2の投影データとの間の差のlノルムのうち少なくとも一つである。
(付記12)
前記第3の投影データは、蛍光透視データである。
(付記13)
前記第3の投影データは、X線CT投影データであり、
回転可能なガントリーを更に備え、
前記ガントリーは、
前記ガントリー上で撮像対象の周りを回転するように構成され、焦点のサイズがアノード上の電子ビームの面積と、前記アノードから放出されたX線を含むX線ビームの方向に対する前記アノードの角度とによって制御されるX線管と、
複数の検出器を含む検出器アレイであって、前記X線管とは径方向に反対側のガントリー上に配置され、前記X線管と一緒に回転し、前記X線に基づいて前記投影データを生成する検出器アレイと、
を含む。
(付記14)
第1の焦点サイズのX線を利用して収集された第1の投影データを入力、前記前記第1の焦点サイズより小さい第2の焦点サイズのX線を利用して収集された第2の投影データを出力として学習された第1の学習済みモデルに対して、前記第2の焦点サイズより大きい第3の焦点サイズのX線を利用して収集された第3の投影データを入力することにより、第4の投影データを生成する。
(付記15)
第1の焦点サイズのX線を利用して収集された第1の投影データを入力、前記前記第1の焦点サイズより小さい第2の焦点サイズのX線を利用して収集された第2の投影データを出力として学習された第1の学習済みモデルに対して、前記第2の焦点サイズより大きい第3の焦点サイズのX線を利用して収集された第3の投影データを入力することにより、第4の投影データを生成するステップをコンピュータに実行させる。
512 記憶装置
514 再構成回路
515 入力装置
516 ディスプレイ
520 生成回路

Claims (15)

  1. 第1の焦点サイズのX線を利用して収集された第1の投影データを入力、前記第1の投影データと同一の対象物について前記第1の焦点サイズより小さい第2の焦点サイズのX線を利用して収集された第2の投影データを出力として学習された第1の学習済みモデルに対して、前記第2の焦点サイズより大きい第3の焦点サイズのX線を利用して収集された第3の投影データを入力することにより、第4の投影データを生成する生成部
    を備えたX線システム。
  2. 前記第4の投影データに基づいて第1の画像を再構成する再構成部を備えた、請求項1に記載のX線システム。
  3. 前記第1の画像に基づいて、前記第1の画像より高いSNR(signal-noise ratio)の第2の画像を生成する第2の学習済みモデルに対して、前記第1の画像を入力することにより、前記第2の画像を生成し、
    前記第2の学習済みモデルの学習は、画像を入力とし、入力される前記画像より高いSNRの画像を出力として行われる、請求項2に記載のX線システム。
  4. 前記第1の学習済みモデルは、第1のサイズの検出器素子を用いて収集されたデータを入力、前記第1のサイズより小さい第2のサイズの検出器素子を用いて収集されたデータを出力として更に学習が行われた学習済みモデルである、請求項1に記載のX線システム。
  5. 前記第1の投影データは、第1のサイズの検出器素子を用いて収集されたデータであり、
    前記第2の投影データは、前記第1のサイズより小さい第2のサイズの検出器素子を用いて収集されたデータである、請求項1に記載のX線システム。
  6. 前記第1の投影データ及び前記第2の投影データはサイノグラムであり、
    前記第1の画像はCT画像である、請求項に記載のX線システム。
  7. 前記第2の投影データは、複数の検出器により検出されたデータを平均することにより取得されたデータであり、
    前記第2の投影データの信号対ノイズ比は、前記第1の投影データの信号対ノイズ比より大きい、請求項1に記載のX線システム。
  8. 前記第2の投影データは、前記第1の投影データよりも、小さい点広がり関数を用いて取得され、
    前記第4の投影データの解像度は、前記第3の投影データの解像度より高い、請求項1に記載のX線システム。
  9. 前記第1の学習済みモデルの学習は、残差ネットワークを用いて行われ、
    前記生成部は、前記第3の投影データから前記残差ネットワークの出力を減算することにより前記第4の投影データを生成する、請求項1に記載のX線システム。
  10. 前記第1の投影データ及び前記第2の投影データはサイノグラムであり、
    前記第1の学習済みモデルは、ニューラルネットワークの重み係数が、前記第1の投影データに基づいて出力される出力サイノグラムと前記第2の投影データとの間の不一致度に基づいて定められる損失関数を最小化するように繰り返し調整されるように学習が行われる、請求項1に記載のX線システム。
  11. 前記損失関数は、ピーク信号対ノイズ比、構造的類似性指数、または、前記出力サイノグラムと前記第2の投影データとの間の差のlノルムのうち少なくとも一つである、請求項10に記載のX線システム。
  12. 前記第3の投影データは、蛍光透視データである、請求項1に記載のX線システム。
  13. 前記第3の投影データは、X線CT投影データであり、
    回転可能なガントリーを更に備え、
    前記ガントリーは、
    前記ガントリー上で撮像対象の周りを回転するように構成され、焦点のサイズがアノード上の電子ビームの面積と、前記アノードから放出されたX線を含むX線ビームの方向に対する前記アノードの角度とによって制御されるX線管と、
    複数の検出器を含む検出器アレイであって、前記X線管とは径方向に反対側のガントリー上に配置され、前記X線管と一緒に回転し、前記X線に基づいて前記投影データを生成する検出器アレイと、
    を含む、
    請求項1に記載のX線システム。
  14. 第1の焦点サイズのX線を利用して収集された第1の投影データを入力、前記第1の投影データと同一の対象物について前記第1の焦点サイズより小さい第2の焦点サイズのX線を利用して収集された第2の投影データを出力として学習された第1の学習済みモデルに対して、前記第2の焦点サイズより大きい第3の焦点サイズのX線を利用して収集された第3の投影データを入力することにより、第4の投影データを生成する生成部を備えた画像処理装置。
  15. 第1の焦点サイズのX線を利用して収集された第1の投影データを入力、前記第1の投影データと同一の対象物について前記第1の焦点サイズより小さい第2の焦点サイズのX線を利用して収集された第2の投影データを出力として学習された第1の学習済みモデルに対して、前記第2の焦点サイズより大きい第3の焦点サイズのX線を利用して収集された第3の投影データを入力することにより、第4の投影データを生成するステップをコンピュータに実行させるプログラム。
JP2020053357A 2019-07-12 2020-03-24 X線システム、画像処理装置及びプログラム Active JP7451256B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20184932.0A EP3764325B1 (en) 2019-07-12 2020-07-09 System and program for avoiding focal spot blurring
CN202010660989.4A CN112215910B (zh) 2019-07-12 2020-07-10 X射线系统、图像处理装置及程序产品

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/510,594 2019-07-12
US16/510,594 US11224399B2 (en) 2019-07-12 2019-07-12 Apparatus and method using deep learning (DL) to compensate for large focal spot size in x-ray projection imaging

Publications (2)

Publication Number Publication Date
JP2021013729A JP2021013729A (ja) 2021-02-12
JP7451256B2 true JP7451256B2 (ja) 2024-03-18

Family

ID=74102490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020053357A Active JP7451256B2 (ja) 2019-07-12 2020-03-24 X線システム、画像処理装置及びプログラム

Country Status (2)

Country Link
US (1) US11224399B2 (ja)
JP (1) JP7451256B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11828934B1 (en) 2019-07-10 2023-11-28 X Development Llc High-dispersion optical components and methods for making the same
US11011884B1 (en) 2019-08-29 2021-05-18 X Development Llc Systems and methods for designing optical devices having mode selective facets
US11604957B1 (en) * 2019-09-20 2023-03-14 X Development Llc Methods for designing hybrid neural networks having physical and digital components
CN110751701B (zh) * 2019-10-18 2021-03-30 北京航空航天大学 一种基于深度学习的x射线吸收衬度计算机断层成像不完备数据重建方法
US12061851B1 (en) 2019-12-18 2024-08-13 X Development Llc Systems and methods for designing photonic computational architectures
US11835715B1 (en) 2019-12-19 2023-12-05 X Development Llc Multimodal photonic components
US11842129B1 (en) 2020-05-28 2023-12-12 X Development Llc Finite floating-point numerical simulation and optimization

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005342514A (ja) 1995-02-10 2005-12-15 Nexray Inc 走査ビーム型x線画像システム
WO2010061810A1 (ja) 2008-11-27 2010-06-03 株式会社 日立メディコ 放射線撮像装置
JP2013085955A (ja) 2011-10-19 2013-05-13 Toshiba Corp 連続マルチスケール再構成において詳細画像を補うx線コンピュータ断層撮像装置(x線ct装置)、医用画像処理装置及び医用画像処理方法
JP2014226321A (ja) 2013-05-22 2014-12-08 株式会社東芝 X線コンピュータ断層撮影装置、再構成処理方法および再構成処理プログラム
JP2015116408A (ja) 2013-12-19 2015-06-25 株式会社日立メディコ X線ct装置及び不良素子補正方法
WO2016017534A1 (ja) 2014-07-28 2016-02-04 株式会社日立メディコ X線撮像装置および画像再構成方法
JP2016034374A (ja) 2014-08-01 2016-03-17 株式会社東芝 X線ct装置
JP2017225522A (ja) 2016-06-21 2017-12-28 ゼネラル・エレクトリック・カンパニイ コリメータ装置、放射線検出器及び放射線撮影装置
US20180078221A1 (en) 2016-09-20 2018-03-22 Siemens Healthcare Gmbh Sinogram-based scattered ray correction in computer tomography
US20180146935A1 (en) 2016-11-25 2018-05-31 Samsung Electronics Co., Ltd. X-ray apparatus and method of acquiring medical image thereof
JP2018126506A (ja) 2017-02-06 2018-08-16 キヤノンメディカルシステムズ株式会社 X線コンピュータ断層撮影装置
US20180293762A1 (en) 2017-04-05 2018-10-11 General Electric Company Tomographic reconstruction based on deep learning
WO2019005180A1 (en) 2017-06-26 2019-01-03 Elekta, Inc. METHOD FOR ENHANCING CT QUALITY QUALITY WITH CONIC BEAM THROUGH DEEP CONVOLUTIVE NEURAL NETWORK
US20190035118A1 (en) 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. System and method for image conversion
US20190066268A1 (en) 2017-08-31 2019-02-28 Shhanghai United Imaging Healthcare Co., Ltd. System and method for determining a trained neural network model for scattering correction
JP2019063385A (ja) 2017-10-04 2019-04-25 キヤノンメディカルシステムズ株式会社 X線画像診断装置
JP2019093126A (ja) 2017-11-24 2019-06-20 キヤノンメディカルシステムズ株式会社 医用データ処理装置、磁気共鳴イメージング装置及び学習済みモデル生成方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9389172B2 (en) * 2007-01-30 2016-07-12 New Jersey Institute Of Technology Methods and apparatus for the non-destructive measurement of diffusion in non-uniform substrates
WO2017223560A1 (en) 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
US20180018757A1 (en) 2016-07-13 2018-01-18 Kenji Suzuki Transforming projection data in tomography by means of machine learning
US10751548B2 (en) 2017-07-28 2020-08-25 Elekta, Inc. Automated image segmentation using DCNN such as for radiation therapy
EP3447731A1 (en) 2017-08-24 2019-02-27 Agfa Nv A method of generating an enhanced tomographic image of an object
CN107644225A (zh) * 2017-10-31 2018-01-30 北京青燕祥云科技有限公司 肺部病灶识别方法、装置和实现装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005342514A (ja) 1995-02-10 2005-12-15 Nexray Inc 走査ビーム型x線画像システム
WO2010061810A1 (ja) 2008-11-27 2010-06-03 株式会社 日立メディコ 放射線撮像装置
JP2013085955A (ja) 2011-10-19 2013-05-13 Toshiba Corp 連続マルチスケール再構成において詳細画像を補うx線コンピュータ断層撮像装置(x線ct装置)、医用画像処理装置及び医用画像処理方法
JP2014226321A (ja) 2013-05-22 2014-12-08 株式会社東芝 X線コンピュータ断層撮影装置、再構成処理方法および再構成処理プログラム
JP2015116408A (ja) 2013-12-19 2015-06-25 株式会社日立メディコ X線ct装置及び不良素子補正方法
WO2016017534A1 (ja) 2014-07-28 2016-02-04 株式会社日立メディコ X線撮像装置および画像再構成方法
JP2016034374A (ja) 2014-08-01 2016-03-17 株式会社東芝 X線ct装置
JP2017225522A (ja) 2016-06-21 2017-12-28 ゼネラル・エレクトリック・カンパニイ コリメータ装置、放射線検出器及び放射線撮影装置
US20180078221A1 (en) 2016-09-20 2018-03-22 Siemens Healthcare Gmbh Sinogram-based scattered ray correction in computer tomography
US20180146935A1 (en) 2016-11-25 2018-05-31 Samsung Electronics Co., Ltd. X-ray apparatus and method of acquiring medical image thereof
JP2018126506A (ja) 2017-02-06 2018-08-16 キヤノンメディカルシステムズ株式会社 X線コンピュータ断層撮影装置
US20180293762A1 (en) 2017-04-05 2018-10-11 General Electric Company Tomographic reconstruction based on deep learning
WO2019005180A1 (en) 2017-06-26 2019-01-03 Elekta, Inc. METHOD FOR ENHANCING CT QUALITY QUALITY WITH CONIC BEAM THROUGH DEEP CONVOLUTIVE NEURAL NETWORK
US20190035118A1 (en) 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. System and method for image conversion
US20190066268A1 (en) 2017-08-31 2019-02-28 Shhanghai United Imaging Healthcare Co., Ltd. System and method for determining a trained neural network model for scattering correction
JP2019063385A (ja) 2017-10-04 2019-04-25 キヤノンメディカルシステムズ株式会社 X線画像診断装置
JP2019093126A (ja) 2017-11-24 2019-06-20 キヤノンメディカルシステムズ株式会社 医用データ処理装置、磁気共鳴イメージング装置及び学習済みモデル生成方法

Also Published As

Publication number Publication date
US11224399B2 (en) 2022-01-18
JP2021013729A (ja) 2021-02-12
US20210007702A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
JP7451256B2 (ja) X線システム、画像処理装置及びプログラム
JP7334048B2 (ja) X線ctシステム及び方法
JP7432356B2 (ja) 医用装置及びプログラム
JP7433883B2 (ja) 医用装置及びプログラム
US10945695B2 (en) Apparatus and method for dual-energy computed tomography (CT) image reconstruction using sparse kVp-switching and deep learning
US11026642B2 (en) Apparatuses and a method for artifact reduction in medical images using a neural network
US10925568B2 (en) Apparatus and method using physical model based deep learning (DL) to improve image quality in images that are reconstructed using computed tomography (CT)
JP7475979B2 (ja) X線システム及び撮像プログラム
US11403791B2 (en) Apparatus and method using deep learning (DL) to improve analytical tomographic image reconstruction
EP3671646A1 (en) X-ray computed tomography (ct) system and method
EP3764325B1 (en) System and program for avoiding focal spot blurring
US11672498B2 (en) Information processing method, medical image diagnostic apparatus, and information processing system
JP7532332B2 (ja) 放射線画像処理装置、放射線画像処理方法、学習装置、学習データの生成方法、及びプログラム
EP3671647B1 (en) X-ray computed tomography (ct) system and method
US20220139006A1 (en) Information processing method, medical image diagnostic apparatus, and information processing system
US20230326596A1 (en) Information processing method, medical image diagnostic apparatus, and information processing system
US20240144551A1 (en) Apparatus and method for deep-learning-based scatter estimation and correction
Moraru Iterative computed tomography reconstruction using deep learning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230919

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240306

R150 Certificate of patent or registration of utility model

Ref document number: 7451256

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150