JP7403585B2 - 計算機式断層写真法画像再構成のためのシステム及び方法 - Google Patents

計算機式断層写真法画像再構成のためのシステム及び方法 Download PDF

Info

Publication number
JP7403585B2
JP7403585B2 JP2022090558A JP2022090558A JP7403585B2 JP 7403585 B2 JP7403585 B2 JP 7403585B2 JP 2022090558 A JP2022090558 A JP 2022090558A JP 2022090558 A JP2022090558 A JP 2022090558A JP 7403585 B2 JP7403585 B2 JP 7403585B2
Authority
JP
Japan
Prior art keywords
image
helical pitch
images
reconstructed
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022090558A
Other languages
English (en)
Other versions
JP2023001051A (ja
Inventor
グァン-フォン・チェン
チャン・シー
Original Assignee
ジーイー・プレシジョン・ヘルスケア・エルエルシー
ウィスコンシン・アルムナイ・リサーチ・ファンデーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジーイー・プレシジョン・ヘルスケア・エルエルシー, ウィスコンシン・アルムナイ・リサーチ・ファンデーション filed Critical ジーイー・プレシジョン・ヘルスケア・エルエルシー
Publication of JP2023001051A publication Critical patent/JP2023001051A/ja
Application granted granted Critical
Publication of JP7403585B2 publication Critical patent/JP7403585B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/005Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/006Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/412Dynamic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/424Iterative
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/441AI-based methods, deep learning or artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本書に開示される主題の実施形態は、医用撮像に関し、さらに具体的には、計算機式断層写真法データからの画像再構成のためのシステム及び方法に関する。
非侵襲型撮像技術は、患者又は物体に侵襲的処置を施さずに患者又は物体の内部構造の画像を得ることを可能にする。具体的には、計算機式断層写真法(CT)のような技術が、標的容積を通過するX線透過差のような様々な物理学的原理を用いて画像データを取得し、断層画像(例えば人体又は他の被撮像構造の内部の三次元(3D)表現)を構築する。
計算機式断層写真法(CT)では、テーブルに位置する患者の身体を包囲するガントリの両側にX線源及びX線検出器が配置されており、これらのX線源及びX線検出器が身体を中心として回転するのに伴って身体から取得されるX線データ(例えば投影)から、関心領域(ROI)の断面画像(例えばスライス)が再構成される。ガントリのテーブルの位置が、ガントリの中心軸に沿って頭尾(SI)方向(例えばz方向)に経時的に調節されて複数のスライスを生成することができ、これらのスライスから1又は複数の画像を形成することができる。テーブルは実時間で連続的に調節されることができ、X線源が患者を中心とした弦巻状軌跡又は螺旋軌跡を辿るのに伴って投影が取得される。スライスから再構成される画像を組み合わせて、ROIの3D容積測定(ボリュメトリック)画像を作成することができる。
再構成画像の品質はCT走査のピッチに依存する場合があり、ピッチはz方向でのテーブルの移動速度と、z方向でのX線コリメーションと、ガントリの回転速度との間の関係を反映したものである(例えば螺旋の一巻き同士の間の距離)。ピッチが1であるときには、螺旋の一巻き同士の間の距離(例えばミリメートル単位)は、z方向のX線検出器でのX線の照射寸法(例えばミリメートル単位)に等しい。ピッチが増加するにつれて、再構成を行なうのに用いられる投影データの量は減少する。従って、ピッチが増加するにつれて、走査時間及び患者照射線量は減少し得るが、より長い距離にわたりデータ点を補間するため再構成画像の品質は低下し得る。このように、一方では時間及び照射線量と、他方では品質との間にトレードオフがあり、品質の向上は手順の長時間化及び患者照射線量の増大を伴い、手順の短時間化及び照射線量の減少は品質の低下を伴う。代替的には、走査時間の高速化を図って検出器z方向照射範囲(カバレッジ)を増加させることができる。しかしながら、検出器照射範囲を増加させると、より高費用でのCTシステムの利用が必要になり、これによりCTシステムの費用と走査時間との間に第二のトレードオフを招く。
本開示は、以下の方法によって上述の問題の1又は複数に少なくとも部分的に取り組む。この方法は、第一の螺旋ピッチで取得された投影データから第一の計算機式断層写真法(CT)画像を形成するステップと、第一のCT画像から第二のCT画像を形成するように訓練済み多次元統計回帰モデルを用いるステップであって、該多次元統計回帰モデルは、第二の螺旋ピッチで取得された投影データから再構成される複数の目標CT画像により訓練されており、第二の螺旋ピッチは第一の螺旋ピッチよりも小さい、用いるステップと、最終CT画像を形成するように第二のCT画像の繰り返し式補正を行なうステップとを含んでいる。
換言すると、高螺旋ピッチ・データから形成されるCT画像の品質を高める事前訓練手順及び三段階画像改善手順が提示される。事前訓練手順では、低螺旋ピッチで再構成される第一の無アーティファクト画像と、高螺旋ピッチで再構成される第二の画像とを含む画像対を用いて多次元統計回帰モデルが訓練され、このモデルは高ピッチ画像(より低品質)を低螺旋ピッチ画像(より高品質)へ変換するように学習する。一旦、モデルが訓練されたら、この多次元統計回帰モデルを三段階手順において展開して、より低品質の高ピッチ螺旋画像から、より高品質の画像を形成することができる。
三段階手順の第一段階では、高螺旋ピッチで取得された投影データから初期CT画像が再構成され、ここでは補間を用いて欠落データを埋める。三段階手順の第二段階では、このCT画像を訓練済み多次元統計回帰モデルによって補正して、第一段階で再構成された初期CT画像から、より高品質(例えば低螺旋ピッチ)の画像を形成する。第三段階では、補正済みCT画像を2回目の繰り返し式補正手順を介してさらに補正して、初期CT画像での被検体に特有の情報が補正済みCT画像において保存されることを保証する。
例えば、フィルタ補正逆投影及び繰返し式再構成等のような標準的な再構成手法を用いるか、又は深層学習画像再構成を欠落データ推定と共に用いて、32スライスCTスキャナから取得された投影データ(例えば64スライスCTスキャナに対して高螺旋ピッチのデータ)から第一のCT画像を再構成することができる。多次元統計回帰モデルは複数の画像対を含む訓練用データを用いて訓練されたニューラル・ネットワークであってよく、各々の画像対が複数の目標CT画像のうち一つの目標画像と一つの入力画像とを含んでいる。複数の目標CT画像は、64スライスCTスキャナから取得された投影データ(例えば32スライスCTスキャナに対して低螺旋ピッチのデータ)から標準的な再構成手法を用いて再構成されることができ、入力画像は、64スライスCTスキャナの低螺旋ピッチ・データから生成される擬似高螺旋ピッチ・データから再構成され得る。一例では、擬似高螺旋ピッチ・データは、低螺旋ピッチ・データの投影データの半量を廃棄することにより生成される。例えば、64スライスCTスキャナは、64列のX線検出器横列を含む多列型検出器CTスキャナであり得るが、64列のX線検出器横列のうち32列分は廃棄され得る。
一旦訓練されたら、訓練済み多次元統計回帰モデルを用いて、より低品質の第一のCT画像(例えば高螺旋ピッチ画像)から、より高品質のCT画像を形成することができる。例えば、高品質画像ほどアーティファクト(例えば縞[ストリーキング])の数が少なく、第一の画像よりも高分解能で、且つ/又は第一の画像よりもノイズが少ない。次いで、より高品質の画像について繰り返し式補正手順を引き続き行なって、最終CT画像を形成することができる。繰り返し式補正手順は、最終CT画像が最初の画像の被検体に特有のサイノグラム・データと整合すること、及び不要な付加的情報が加わって最終CT画像を損なったりしないことを保証する。最終CT画像は表示装置に表示されてもよいし、記憶されてもよいし(例えばデータベースに)、異なる画像処理システムに入力されてもよい。このようにして、低螺旋ピッチ走査のより長い走査やより多い照射線量を患者に蒙らせずに、臨床診断のためには十分でない可能性のある高ピッチで形成された一組の画像の品質の程度を、臨床診断には十分と考えられる低螺旋ピッチで形成された一組の画像に関連付けられる品質の程度まで高めることができる。さらにもう一つの利点は、より低費用のCTスキャナを用いて、より高費用のCTスキャナに典型的な画像を形成することができ、これにより製造経費を削減し得ることである。
本記載の上述の利点及び他の利点、並びに特徴は、以下の詳細な説明単独で又は添付図面と共に参照して直ちに明らかとなろう。上述の概要は、詳細な説明においてさらに記載される様々な概念を単純化された形態で提起するために掲げられていることを理解されたい。かかる記載は、請求される主題の主要な又は本質的な特徴を特定するためのものではなく、請求される主題の範囲は、詳細な説明の後の特許請求の範囲によって一意に画定される。さらに、請求される主題は、上に記載される又は本開示の何れの部分に記載される何れの短所を解決する具現化形態にも限定されない。
本開示の様々な観点は、以下の詳細な説明を添付図面に関連させて読むとさらに十分に理解されよう。
実施形態によるイメージング・システムの見取り図である。 実施形態による例示的なイメージング・システムのブロック模式図である。 多次元統計回帰モデルを用いて高螺旋ピッチ画像を低螺旋ピッチ画像へマッピングするように構成されている螺旋ピッチ・マッピング・システムの実施形態の一例のブロック図である。 螺旋ピッチ・マッピング訓練システムの実施形態の一例のブロック図である。 高螺旋ピッチ画像を低螺旋ピッチ画像へマッピングする例示的な高レベルの方法の流れ図である。 図3の螺旋ピッチ・マッピング訓練システムのための訓練用データを生成する例示的な方法の流れ図である。 図3の螺旋ピッチ・マッピング訓練システムの内部の深層学習ニューラル・ネットワーク・モデルを訓練する例示的な方法の流れ図である。 高螺旋ピッチ画像を低螺旋ピッチ画像へマッピングするように訓練済み深層学習ニューラル・ネットワーク・モデルを適用する例示的な方法の流れ図である。
図面は、生成ニューラル・ネットワークを用いて第一の分解能の1又は複数の超音波画像を目標分解能の1又は複数の対応する超音波画像へマッピングするための所載のシステム及び方法の特定の観点を示す。以下の記載と併せて、図面は本書に記載される構造、方法、及び原理を明らかにし、また説明する。図面では、構成要素の寸法は、明瞭にするために誇張されたり、他の場合には改変されたりする場合がある。周知の構造、材料、又は動作は、所載の構成要素、システム及び方法の諸観点の不明確化を避けるために詳細な図示又は記載を省いている。
本書の記載及び本書に開示される主題の実施形態は、高螺旋ピッチ・データから再構成される計算機式断層写真法(CT)画像の品質を高める方法及びシステムに関する。本開示の目的のために、高螺旋ピッチ・データは、1.5よりも高いピッチでの螺旋走査時にCTスキャナから取得される投影データであり、低螺旋ピッチ・データは、1.5に等しいピッチでの螺旋走査時にCTスキャナから取得される投影データである。これらのことについては後にあらためて詳述する。
画像は投影データから再構成されることができ、ここで画像は投影データの各々の再構成平面毎に形成され得る。各々の再構成平面が複数の画像ボクセルを含むことができ、これらの画像ボクセルは、CTスキャナのX線源がCTスキャナのガントリの内部でテーブルに載置された被検体を中心として回転するのに伴ってX線源によって照射されたものである。被検体を中心とした各々の回転位置において、X線源は再構成平面の画像ボクセルの部分を照射することができ、この部分はX線源のビュー角度に対応している。X線源が各々の回転位置を通して回転するのに伴ってビュー角度が変化し、結果として画像ボクセルの異なる部分が照射される。このようにして、短走査角度範囲としても知られる180度にファン角度を加えた角度にわたって完全な投影データが取得される。しかしながら、ピッチが増加するにつれて、再構成平面の画像ボクセルを照射するビュー角度の角度範囲は減少し得る。例えば、1のピッチでは、ビュー角度の角度範囲は360°であってよく、ここでは第一の再構成平面の全ての画像ボクセルが照射され得る。2のピッチでは、第一の再構成平面内でのビュー角度の角度範囲は180°であってよく、ここではX線源が0°から180°までを掃引するのに伴って第一の再構成平面の画像ボクセルが照射されることができ、X線源が180°から360°までを掃引するのに伴って第一の再構成平面に隣接する第二の再構成平面の画像ボクセルが照射され得る。従って、2のピッチでは、第一及び第二の再構成平面において取得される投影データ量は、完全な投影データの半量であり得る。3のピッチでは、第一の再構成平面内でのビュー角度の角度範囲は120°であってよく、ここではX線源が0°から120°までを掃引するのに伴って第一の再構成平面の画像ボクセルが照射されることができ、X線源が120°から240°までを掃引するのに伴って第二の再構成平面の画像ボクセルが照射されることができ、X線源が240°から360°までを掃引するのに伴って第二の再構成平面に隣接する第三の再構成平面の画像ボクセルが照射され得る。従って、3のピッチでは、第一、第二、及び第三の再構成平面において取得される投影データ量は完全な投影データの3分の1となり得る。このように、ピッチが増加するにつれて、画像再構成のために再構成平面において利用可能であり得るビュー角度データが次第に限定される。
再構成平面において取得される投影データが画像再構成のための十分性条件を満たし得ず、この再構成平面のための画像を再構成することが不可能になり得るような閾値ピッチが存在し得る。一実施形態では、十分性条件はTuyのデータ十分性条件を含んでおり、閾値ピッチは約1.5である。不十分な投影データで再構成平面から画像を再構成するためには、データ補間及び/又は補外を用いて、画像を再構成するために十分なデータを生成することができる。さらに、データ補間及び/又は補外は再構成平面の内部及び再構成平面同士の間の両方について行なうことができる。換言すると、高螺旋ピッチでの画像再構成には二つの別個のデータ不十分性問題を解くことが必要である。すなわち、前述したような限定された(例えば打ち切り[トランケート]された)ビュー角度データの問題、及びSI方向又はz方向でのアンダーサンプリングの問題であり、ここではX線源の各回の螺旋回転の間にz方向においてデータに間隙が存在する。限定されたビュー角度のデータ及びz方向でのアンダーサンプリングの両方がアーティファクトの原因となり得る。
例えば、患者の第一の螺旋走査が1.0のピッチで行なわれることができ、ここでは画像が完全な一組の投影データ(例えば完全ビュー再構成)から再構成される。完全ビュー再構成の場合には、投影データには間隙は存在せず、高い品質で再構成画像が形成される。第二の螺旋走査は2.0のピッチで行なわれることができ、ここでは画像は不完全な投影データ(例えば部分ビュー再構成)から再構成される。部分ビュー再構成の場合には、投影データに間隙が存在し、各々の画像が投影データと補間されたデータとの組み合わせから再構成される。第一の螺旋走査に勝る第二の螺旋走査の一つの利点は、第二の螺旋走査の時間が第一の螺旋走査よりも短く、結果として、患者への照射線量が減少し(例えば半量)、呼吸停止時間も短くて済むことである。加えて、標的ROIの特徴が経時的に変化するときに、高ピッチ螺旋走査から再構成される画像は、低ピッチ螺旋走査から再構成される画像よりも高い画質の一貫性を有し得る。例えば、心CT走査において、高ピッチ螺旋走査では心拍同士の間の非一貫性が低減され得る。しかしながら、第一の螺旋走査に比較して、第二の螺旋走査の不利な点は、再構成画像の品質が第一の螺旋走査の品質よりも低い場合があることであり、このことは限定されたビュー角度のデータ及びz方向でのアンダーサンプリングが原因である。この場合には補間を行なうと画像のボケ発生又はアーティファクトの出現を招き得る。このように、典型的なCT走査プロトコルは再構成画像の高品質を保つようにピッチを制限し得るが、これにより走査時間が長引き放射線量が増加し得る。
本開示は、被検体から取得される画像であって相対的に高螺旋ピッチで被検体から取得される不完全な投影データから得られる画像の品質を高める手順を提供し、この手順は三段階を含んでいる。第一段階の部分ビュー再構成段階では、データ補間及び/又は補外を用いて、現行のCTスキャナに用いられている従来のフィルタ補正逆投影再構成アルゴリズムのための完全なデータの組を形成して、不完全な投影データから一組の事前画像を再構成する。第二段階の画像改善段階では、訓練済み多次元統計回帰モデルを用いて、再構成された第一の事前画像から、改善された第二の事前画像を形成する。最後に、第三段階の画像補正段階では、第一段階の部分ビュー再構成段階のデータ補間及び/又は補外に先立って被検体から収集された真正のサイノグラム・データを用いて、改善された第二の事前画像を繰り返し式で補正する手順を実行する。本開示はさらに、高螺旋ピッチ画像から目標螺旋ピッチ画像へのマッピングを学習するように多次元統計回帰モデルを訓練することを可能にする訓練のシステム及び方法を提供する。
本発明の手法に従って造影走査を行なうのに用いられ得る計算機式断層写真法(CT)イメージング・システムの一例を図1及び図2に掲げる。イメージング・システム200は、図3の螺旋ピッチ・マッピング・システム302のような螺旋ピッチ・マッピング・システムに連絡結合され得る。螺旋ピッチ・マッピング・システムは、非一過性メモリに記憶された深層学習ニューラル・ネットワーク・モデルのような多次元統計回帰モデルを含み得る。多次元統計回帰モデルは、図4に示す多次元統計回帰モデル訓練システム400を用いて訓練され得る。多次元統計回帰モデルが深層学習ニューラル・ネットワークであるような一実施形態では、図5の方法500のような高レベル方法を用いて、高螺旋ピッチ・データで再構成された画像から低螺旋ピッチ・データで再構成された目標画像へのマッピングを学習するように深層学習ニューラル・ネットワークを訓練することができる。深層学習ニューラル・ネットワークを訓練するための訓練用データセットは、図6の方法600のような手順によって生成されることができ、深層学習ニューラル・ネットワークの訓練は図7の方法700に従って行なわれ得る。訓練済み多次元統計回帰モデルが螺旋ピッチ・マッピング・システムによって展開されて、図8の方法800の1又は複数の動作を実行することにより、高螺旋ピッチ・データから再構成される1又は複数の新たなCT画像から低螺旋ピッチ・データに関連付けられる品質を有するCT画像を形成することができる。
CTシステムが例として記載されるが、本発明の手法は、トモシンセシス、PET撮像、及びCアーム血管造影法等のような他の撮像モダリティを用いて取得される画像に適用されるときにも有用であり得る。CT撮像モダリティについての本書での議論は、一つの適当な撮像モダリティの一例として掲げられているに過ぎない。
図1は、CT撮像用に構成されている例示的なCTシステム100を示す。具体的には、CTシステム100は、患者、無生物、1若しくは複数の製造部品、並びに/又は体内に存在する歯科インプラント、ステント、及び/若しくは造影剤等の異物のような被検体112を撮像するように構成されている。一実施形態では、CTシステム100はガントリ102を含んでおり、次いでガントリ102はさらに、テーブル114に横臥した被検体112を撮像するのに用いられるX線のビーム106(図2を参照)を投射するように構成されている少なくとも一つのX線源104を含み得る。具体的には、X線源104は、ガントリ102の反対側に配置された検出器アレイ108へ向けてX線ビーム106を投射するように構成されている。図1は単一のX線源104を示しているが、幾つかの実施形態では、多数のX線源及び検出器を用いて複数のX線ビームを投射し、患者に対応する異なるエネルギ・レベルでの投影データを取得することもできる。幾つかの実施形態では、X線源104はピーク・キロボルト電圧(kVp)高速切り換えによる二重エネルギGemstoneスペクトル・イメージング(GSI)を可能にし得る。幾つかの実施形態では、採用されるX線検出器は、異なるエネルギのX線光子を識別することが可能な光子計数型検出器である。他の実施形態では、二組のX線源及び検出器を用いて、一方の組を低kVpに設定し他方を高kVpに設定して二重エネルギ投影を生成する。このように、本書に記載される方法は単エネルギ取得手法としても二重エネルギ取得手法としても具現化され得る。
幾つかの実施形態では、CTシステム100はさらに、繰り返し式又は解析型の画像再構成方法を用いて被検体112の標的容積の画像を再構成するように構成されている画像プロセッサ・ユニット110を含んでいる。例えば、画像プロセッサ・ユニット110は、フィルタ補正逆投影(FBP)のような解析型画像再構成アプローチを用いて患者の標的容積の画像を再構成し得る。もう一つの例として、画像プロセッサ・ユニット110は、被検体112の標的容積の画像を再構成するために、先進型統計的繰返し式再構成法(ASIR)、共役勾配法(CG)、最尤推定期待値最大化法(MLEM)、及びモデル利用繰返し式再構成(MBIR)等のような繰り返し式画像再構成アプローチを用いることもできる。本書でさらに詳細に記載されるように、幾つかの例では画像プロセッサ・ユニット110は、繰り返し式画像再構成アプローチに加えてFBPのような解析型画像再構成アプローチを併用してもよい。
幾つかのCTイメージング・システム構成では、X線源は円錐(コーン)形X線ビームを投射し、円錐形X線ビームはデカルト座標系のXYZ平面であって一般に「撮像平面」と呼ばれる平面内に位置するようにコリメートされる。X線ビームは、患者又は被検体のような撮像対象を透過する。X線ビームは、対象によって減弱された後に、検出器素子のアレイに入射する。検出器アレイにおいて受光される減弱後のX線ビームの強度は、対象によるX線ビームの減弱に依存する。アレイの各々の検出器素子が別個の電気信号を発生し、この電気信号が検出器位置でのX線ビーム減弱の測定値となる。全ての検出器素子からの減弱測定値を別個に取得して、透過プロファイルを生成する。
幾つかのCTシステムでは、X線源及び検出器アレイは、撮像平面内で撮像対象を中心としてガントリと共に回転し、X線ビームが対象と交差する角度が一定に変化するように回転する。一つのガントリ角度での検出器アレイからの一群のX線減弱測定値、例えば投影データを「ビュー」と呼ぶ。対象の「走査」は、X線源及び検出器の一回転中に様々なガントリ角度すなわちビュー角度で形成される一組のビューを含んでいる。本書に記載される方法の利益はCT以外の医用撮像モダリティにおいても生ずるものと思料されるので、本書で用いられる「ビュー」との用語は一つのガントリ角度からの投影データに関して前述したような用法に限定されない。「ビュー」との用語は、CT取得、陽電子放出断層写真法(PET)取得、若しくは単光子放出CT(SPECT)取得、及び/又は開発途上のモダリティを含めた他の任意のモダリティ、並びに融合した実施形態でのこれらの組み合わせの何れからの取得かを問わず、様々な角度からの多数のデータ取得が存在する場合は常に、1回のデータ取得を意味するために用いられる。
投影データは処理されて、対象を通る二次元スライスに対応する画像を再構成し、又は投影データが多数のビュー若しくは走査を含むような幾つかの例では対象の三次元画像を再構成する。一組の投影データから画像を再構成する一つの方法を当技術分野ではフィルタ補正逆投影手法と呼ぶ。透過型及び放出型の断層写真法再構成手法はまた、繰返し式再構成手法に加えて最尤推定期待値最大化(MLEM)手法及び順序付きサブセット期待値再構成手法のような統計的繰り返し式方法を含んでいる。この工程は、走査からの減弱測定値を「CT値」又は「ハンスフィールド単位」と呼ばれる整数へ変換し、これらの値を用いて表示装置での対応するピクセルの輝度を制御する。
合計走査時間を短縮するために、「螺旋(ヘリカル)」走査を行なうこともできる。「螺旋」走査を行なうためには、所定数のスライスについてのデータが取得されている間に患者を移動させる。かかるシステムはコーン・ビーム螺旋走査から単一の螺旋を生成する。コーン・ビームによって写像された螺旋は投影データを生じ、ここから各々の所定のスライスにおける画像を再構成することができる。
本書で用いられる「画像を再構成する」との文言は、画像を表わすデータが生成されるが目に見える画像は形成されないような実施形態を排除することを意図しない。従って、本書で用いられる場合に、「画像」との用語は、目に見える画像と、目に見える画像を表わすデータとの両方を広く指す。但し、多くの実施形態は目に見える画像を少なくとも一つ形成する(又は形成するように構成される)。
図2は、図1のCTシステム100と同様の例示的なイメージング・システム200を示す。本開示の観点によれば、イメージング・システム200は被検体204(例えば図1の被検体112)を撮像するように構成されている。一実施形態では、イメージング・システム200は検出器アレイ108(図1を参照)を含んでいる。検出器アレイ108はさらに、複数の検出器素子202を含んでおり、これらの検出器素子202は一括で、被検体204(患者等)を通過するX線ビーム106(図2を参照)を感知して、対応する投影データを取得する。従って、一実施形態では、検出器アレイ108は複数の横列を成すセル又は検出器素子202を含むマルチ・スライス構成として作製される。かかる構成(例えば多列型検出器CT又はMDCT)では、検出器素子202の1又は複数の付加的な横列が平行な構成に配置されて投影データを取得する。構成は、4列、8列、16列、32列、64列、128列、又は256列の検出器横列を含み得る。例えば、64スライスMDCTスキャナは64列の検出器横列を有し、コリメータ幅を4cmとし得る一方、256スライスMDCTスキャナは256列の検出器横列を有し、コリメータ幅を16cmとし得る。このように、64スライスMDCTスキャナによって行なわれる4回転分の螺旋走査で、256スライスMDCTスキャナによって行なわれる単一回転分の走査と同等の検出器照射範囲を達成し得る。
幾つかの実施形態では、イメージング・システム200は、望まれる投影データを取得するために被検体204を中心とした様々な角度位置を横断するように構成される。従って、ガントリ102及びガントリ102に装着された構成要素は、例えば様々なエネルギ・レベルで投影データを取得するために回転中心206の周りを回転するように構成され得る。代替的には、被検体204に対する投影角が時間の関数として変化するような実施形態では、装着された構成要素は、円弧に沿ってではなく一般的な曲線に沿って移動するように構成されることもできる。
X線源104及び検出器アレイ108が回転するのに伴って、検出器アレイ108は減弱されたX線ビームのデータを収集する。検出器アレイ108によって収集されたデータは前処理及び較正を施されて、走査されている被検体204の減弱係数の線積分を表わすようにデータを調整する。処理後のデータを一般に投影と呼ぶ。
幾つかの例では、検出器アレイ108の個々の検出器又は検出器素子202は、個々の光子の相互作用を1又は複数のエネルギ・ビンに登録する光子計数型検出器を含み得る。本書に記載される方法はまた、エネルギ積算型検出器によっても具現化され得ることを認められたい。
取得された投影データの組は基底物質分解(BMD)に用いられてもよい。BMDの際には、測定された投影が一組の物質密度投影に変換される。物質密度投影を再構成して、骨マップ、軟組織マップ、及び/又は造影剤マップのように各々のそれぞれの基底物質の一対の又は一組の物質密度マップ又は画像を形成することができる。そして、密度マップ又は画像は、撮像された容積において基底物質、例えば骨、軟組織、及び/又は造影剤の3D容積測定画像を形成するように関連付けられ得る。
一旦再構成されたら、イメージング・システム200によって形成された基底物質画像は、被検体204の内部の特徴を二つの基底物質の密度として表現して明らかにする。密度画像はこれらの特徴を示すように表示され得る。疾患状態のような医学的状態の診断、さらに一般的には医学的事象の診断に対する従来のアプローチは、放射線科医又は担当医が関心のある顕著な特徴を識別するための密度画像のハード・コピー又は表示を考慮していた。かかる特徴は、病変、特定の解剖学的構造又は器官の寸法及び形状、並びに個々の医師の技量及び知見に基づいて画像において識別され得る他の特徴を含み得る。
一実施形態では、イメージング・システム200は、ガントリ102の回転のような構成要素の移動及びX線源104の動作を制御する制御機構208を含んでいる。幾つかの実施形態では、制御機構208はさらに、電力信号及びタイミング信号をX線源104に与えるように構成されているX線制御器210を含んでいる。加えて、制御機構208は、撮像要件に基づいてガントリ102の回転速度及び/又は位置を制御するように構成されているガントリ・モータ制御器212を含んでいる。
幾つかの実施形態では、制御機構208はさらに、検出器素子202から受け取ったアナログ・データをサンプリングして後に行なわれる処理のためにアナログ・データをディジタル信号へ変換するように構成されているデータ取得システム(DAS)214を含んでいる。本書でさらに詳細に記載されるように、DAS214はさらに、検出器素子202の部分集合からのアナログ・データを、所謂マクロ検出器として選択的に集約するように構成され得る。DAS214によってサンプリングされてディジタル化されたデータはコンピュータ又は計算装置216へ伝送される。一例では、計算装置216は、データを記憶装置又は大容量ストレージ218に記憶する。記憶装置218は例えば、ハードディスク・ドライブ、フロッピ・ディスク・ドライブ、コンパクト・ディスク読み書き(CD-R/W)ドライブ、ディジタル多用途ディスク(DVD)・ドライブ、フラッシュ・ドライブ、及び/又は固体記憶ドライブを含み得る。
加えて、計算装置216はDAS214、X線制御器210、及びガントリ・モータ制御器212の1又は複数に対し、データ取得及び/又はデータ処理のようなシステム動作を制御するための命令及びパラメータを与える。幾つかの実施形態では、計算装置216は、操作者入力に基づいてシステム動作を制御する。計算装置216は、当該計算装置216に動作に関して結合された操作者コンソール220を介して、操作者入力、例えば命令及び/又は走査パラメータを含む入力を受け取る。操作者コンソール220は、操作者が命令及び/又は走査パラメータを指定することを可能にするキーボード(不図示)又はタッチスクリーンを含み得る。
図2は一つの操作者コンソール220を示しているが、例えばシステム・パラメータの入出力、検査依頼、データのプロット、及び/又は画像の観察のために1よりも多い操作者コンソールをイメージング・システム200に結合してもよい。さらに、幾つかの実施形態では、イメージング・システム200は多数の表示器、プリンタ、ワークステーション、及び/又は類似装置に結合されることができ、これらの装置は、例えば施設若しくは病院の内部、又は全く異なる位置にローカルでもリモートでも配置されてよく、インターネット及び/又は仮想私設網、無線電話網、無線構内網、有線構内網、無線広域網、並びに有線広域網等のような1又は複数の構成可変の有線網及び/又は無線網を介して結合され得る。
一実施形態では、例えばイメージング・システム200は、医用画像保管及び通信システム(PACS)224を含むか又は該システム224に結合される。例示的な具現化形態では、PACS224はさらに、放射線科情報システムや病院情報システムのような遠隔システム、及び/又は構内網若しくは外部網(不図示)に結合されて、様々な位置の操作者が命令及びパラメータを与えたり、画像データを入手したりすることを可能にする。
計算装置216は操作者が供給した及び/又はシステムが定義した命令及びパラメータを用いてテーブル・モータ制御器226を動作させ、次にテーブル・モータ制御器226は、電動式テーブルであり得るテーブル114を制御することができる。具体的には、テーブル・モータ制御器226はテーブル114を移動させて、被検体204の目標容積に対応する投影データを取得するために被検体204をガントリ102において適当に配置することができる。
前述のように、DAS214は、検出器素子202によって取得された投影データをサンプリングしてディジタル化する。続いて、画像再構成器230がサンプリングされてディジタル化されたX線データを用いて高速再構成を実行する。図2は画像再構成器230を分離した実体として示しているが、幾つかの実施形態では、画像再構成器230は計算装置216の部分を形成していてよい。代替的には、画像再構成器230がイメージング・システム200に存在していなくてもよく、代わりに計算装置216が画像再構成器230の1又は複数の作用を実行してもよい。また、画像再構成器230はローカル又はリモートの何れに位置していてもよく、また有線網又は無線網を用いてイメージング・システム200に動作に関して接続され得る。具体的には、実施形態の一例は、画像再構成器230用に「クラウド」網クラスタの計算資源を利用し得る。
一実施形態では、画像再構成器230は、再構成された画像を記憶装置218に記憶する。代替的には、画像再構成器230は、診断及び評価に有用な患者情報を生成するために再構成画像を計算装置216に伝送してもよい。幾つかの実施形態では、計算装置216は、再構成画像及び/又は患者情報を、計算装置216及び/又は画像再構成器230に連絡結合された表示器又は表示装置232へ伝送することができる。幾つかの実施形態では、再構成画像は、短期記憶又は長期記憶のために計算装置216又は画像再構成器230から記憶装置218へ伝送され得る。
画像再構成器230はまた、画像再構成を支援するのに用いられ得る1又は複数の画像処理サブシステムを含み得る。例えば、ピッチが1よりも高い螺旋走査について、1又は複数の画像処理サブシステムが、被検体204の個々の断面に対応する密度画像同士の間で画像データを補外及び/又は補間することができる。1又は複数の画像処理サブシステムは、画像データの補外及び/又は補間を支援する深層学習モデル又は他の高次元統計的モデルを含み得る。一実施形態では、1又は複数の画像処理サブシステムは、螺旋ピッチ・マッピング・システムを含むことができ、このマッピング・システムは、高螺旋ピッチ・データに基づく再構成画像を低螺旋ピッチ・データに基づく再構成画像にマッピングして、再構成画像の品質を改善することができる。このことについて図3に関して以下に記載する。
図3には、一実施形態による螺旋ピッチ・マッピング・システム302が示されている。一実施形態では、螺旋ピッチ・マッピング・システム302はイメージング・システム200に組み入れられる。例えば、螺旋ピッチ・マッピング・システム302は、イメージング・システム200において画像再構成器230の内部又は計算装置216の内部に設けられ得る。幾つかの実施形態では、螺旋ピッチ・マッピング・システム302の少なくとも一部が、有線接続及び/又は無線接続を介してイメージング・システム200に連絡可能に結合された装置(例えば末端装置及びサーバ等)に配設される。幾つかの実施形態では、螺旋ピッチ・マッピング・システム302の少なくとも一部は、イメージング・システム200から又はイメージング・システム200によって生成される画像/データを記憶する記憶装置から画像を受け取ることができる別個の装置(例えばワークステーション)に配設される。螺旋ピッチ・マッピング・システム302は、利用者入力装置332及び表示装置334に動作可能に連絡結合され得る。少なくとも幾つかの例では、利用者入力装置332はイメージング・システム200の操作者コンソール220を含むことができ、表示装置334はイメージング・システム200の表示装置232を含むことができる。
螺旋ピッチ・マッピング・システム302は、非一過性メモリ306に記憶された機械可読の命令を実行するように構成されたプロセッサ304を含んでいる。プロセッサ304はシングル・コアであってもマルチ・コアであってもよく、ここで実行されるプログラムは並行処理用にも分散処理用にも構成され得る。幾つかの実施形態では、プロセッサ304は選択随意で、遠隔配置され且つ/又は協働型処理用に構成され得る2以上の装置にわたり分散される個別の構成要素を含み得る。幾つかの実施形態では、プロセッサ304の1又は複数の観点は、クラウド・コンピューティング構成として構成された遠隔利用可能な網接続された計算装置によって仮想化されて実行されてもよい。
非一過性メモリ306は、1又は複数の多次元統計回帰モデル308、モデル訓練モジュール310、推論モジュール312、及びMDCT画像データ314を記憶し得る。1又は複数の多次元統計回帰モデル308は高次元統計回帰モデルであってよい。一つの多次元統計回帰モデル308は、ニューラル・ネットワークを用いた深層学習モデルであってよく、このモデルは訓練済みニューラル・ネットワーク及び/又は訓練前ニューラル・ネットワークを含むことができ、さらに、ここに記憶された1又は複数のニューラル・ネットワークに関連する様々なデータ又はメタデータを含み得る。他の例では、多次元統計回帰モデル308はニューラル・ネットワークを用いたモデルでなくてもよく、高次元統計回帰を実行するように構成されている他の形式のコンピュータ・モデルであってもよい。例えば、多次元統計回帰モデル308は、第一の再構成画像に最も一致する画像を特定する「最良適合(ベスト・フィット)」を実行するアルゴリズムであってもよいし、画像補正をさらに精密化する付加的な非剛体位置合わせを実行するアルゴリズムであってもよい。以下では単一の多次元統計回帰モデル308を記載するが、本開示の範囲から逸脱することなく1又は複数の異なる多次元統計回帰モデル308が含まれ得ることを認められたい。
非一過性メモリ306はさらに、多次元統計回帰モデル308を訓練するための命令を含む訓練モジュール310を記憶し得る。訓練モジュール310は、プロセッサ304によって実行されると、高ピッチ螺旋データの再構成画像を低螺旋ピッチ・データで再構成される画像にマッピングするための方法500に従って用いられる訓練用データセットの生成のための方法600のステップの1又は複数を実行することを螺旋ピッチ・マッピング・システム302に行なわせる命令を含み得る。このことについては、それぞれ図5及び図6に関して後にあらためて詳述する。幾つかの実施形態では、訓練モジュール310は、多次元統計回帰モデル308の1又は複数のニューラル・ネットワークのパラメータを調節するのに用いるために、1又は複数の損失関数を適用し且つ/又はルーチンを訓練する1又は複数の最急降下アルゴリズムを実装する命令を含んでいる。
非一過性メモリ306はまた、訓練済み多次元統計回帰モデル308によって新たな投影データを処理するための命令を含む推論モジュール312を記憶する。訓練済み多次元統計回帰モデル308による画像の再構成及び強化は、図8に記載されるような推論モジュール312の内部で実行され得る。具体的には、推論モジュール312は、プロセッサ304によって実行されると、方法800のステップの1又は複数を実行することを螺旋ピッチ・マッピング・システム302に行なわせる命令を含み得る。このことについては後にあらためて詳述する。
非一過性メモリ306はさらに、CT画像データ314を記憶する。CT画像データ314は、例えばCTスキャナを介して取得されたCT画像を含み得る。一実施形態では、CTスキャナは多列型検出器CT(MDCT)スキャナである。一実施形態では、CTスキャナは、64列の検出器横列を含む64スライスCTスキャナである。他の実施形態では、CTスキャナは、異なる数の検出器横列(例えば128列及び256列等)を含むMDCTスキャナであってよい。もう一つの実施形態では、CTスキャナは二重線源又は多重線源のスキャナであってよい。後にあらためて詳述するように、CT画像データ314は、多次元統計回帰モデル308を訓練し且つ/又は試験するのに用いられる訓練用画像対セット及び/又は試験用画像対セットを含み得る。例えば、これらの画像対の各々の画像対は、32スライスCTスキャナを介して取得される高螺旋ピッチ・データから再構成される被検体の関心領域(ROI)の一つの画像と、64スライスCTスキャナを介して取得される低螺旋ピッチ・データから再構成されるROIの一つの画像とを含むことができ、ここでは多次元統計回帰モデル308は、高螺旋ピッチ・データで再構成される画像を入力として受け取り、低螺旋ピッチ・データで再構成される画像の品質を有する改善された画像を出力するように訓練され得る。幾つかの実施形態では、CT画像データ314は複数の訓練用セットを含み得る。
幾つかの実施形態では、非一過性メモリ306は、遠隔配置され且つ/又は協働型処理用に構成され得る2以上の装置に配設される構成要素を含み得る。幾つかの実施形態では、非一過性メモリ306の1又は複数の観点は、クラウド・コンピューティング構成として構成された遠隔利用可能な網接続された記憶装置を含み得る。
利用者入力装置332は、タッチスクリーン、キーボード、マウス、トラックパッド、運動感知カメラ、又は利用者が螺旋ピッチ・マッピング・システム302の内部のデータと対話し該データを操作することを可能にするように構成された他の装置の1又は複数を含み得る。例えば、利用者入力装置332は、利用者が、患者情報を入力すること、患者を1若しくは複数の異なる範疇に範疇分けすること、1若しくは複数の配向にある1若しくは複数の3D容積測定画像の一つの再構成平面を選択すること、訓練済み多次元統計回帰モデルの集合から一つの訓練済み多次元統計回帰モデルを選択すること、及び/又は高螺旋ピッチ・データから再構成される画像の品質を調節するための手順を開始することを可能にし得る。
表示装置334は、実質的に任意の形式の技術を用いた1又は複数の表示装置を含み得る。幾つかの実施形態では、表示装置334はコンピュータ・モニタを含み得る。表示装置334は、共通の筐体内でプロセッサ304、非一過性メモリ306、及び/又は利用者入力装置332と組み合わされていてもよいし、周辺表示装置であってもよく、またモニタ、タッチスクリーン、プロジェクタ、又は当技術分野で公知の他の表示装置を含むことができ、これにより利用者がイメージング・システム200によって形成される再構成画像を観察すること、及び/又は非一過性メモリ306に記憶されている様々なデータと対話することを可能にし得る。
図2に示す螺旋ピッチ・マッピング・システム302は説明のためのものであって、限定のためのものではないことを理解されたい。他の適当な画像処理システムが、より多い構成要素、より少ない構成要素、又は異なる構成要素を含み得る。
図4には、螺旋ピッチ・マッピング訓練システム400の一例が示されている。螺旋ピッチ・マッピング訓練システム400は、高螺旋ピッチ・データから再構成される画像から低螺旋ピッチ・データから再構成される画像へのマッピングを学習するように多次元統計回帰モデル(例えば図3の多次元統計回帰モデル308)を訓練するために図3の螺旋ピッチ・マッピング・システム302のような1又は複数の計算システムによって実装され得る。一実施形態では、螺旋ピッチ・マッピング訓練システム400は、訓練されるべき多次元統計回帰モデル402と、複数の画像対406を含む訓練用データセットを含む訓練モジュール404とを含んでいる。訓練モジュール404は、図3の螺旋ピッチ・マッピング・システム300のモデル訓練モジュール310と同じであるか又は類似していてよい。多次元統計回帰モデル402は本書ではニューラル・ネットワークを用いた深層学習モデルと記載されるが、他の実施形態では、多次元統計回帰モデル402はCT画像データについて訓練され得る異なる形式の統計回帰モデルであってよいことを認められたい。
複数の画像対406の各々の画像対が、1又は複数の被検体のROIの一つの入力画像408と、同じROIの一つの目標画像410とを含んでいる。一例では、入力画像408は高螺旋ピッチ・データから再構成され、ここでは入力画像を再構成するために用いられるデータの部分は補間されており、また目標画像410は低螺旋ピッチ・データで再構成され、ここでは目標画像を再構成するために用いられるデータは補間されていない。一実施形態では、入力画像408は一組の入力画像412(例えば投影データ及び補間されたデータに基づいて再構成される画像)から引き出されており、目標画像410は一組の目標画像414(例えば投影データに基づいて再構成される画像)から引き出されている。
一実施形態では、一組の入力画像412及び一組の目標画像414は両方とも、画像再構成器416によって、64スライスCTスキャナ418を介してROIの走査時に取得された投影データから再構成される。例えば、64スライスCTスキャナ418を用いて複数の被検体が走査されてよく、画像再構成器416は、複数の被検体の各々の被検体の各々の走査時に取得された投影データを被検体の画像容積(例えば3D容積測定画像)に再構成して、一組の画像容積を生成することができる。一組の画像容積は、訓練用画像容積セット、試験用画像容積セット、及び検証用画像容積セットに分割され得る。次いで、訓練用画像容積セット、試験用画像容積セット、及び検証用画像容積セットの各々の画像容積から形成される複数の2D画像スライスから、一組の入力画像412及び一組の目標画像414が引き出され且つ/又は形成され得る。
さらに、コリメータの検出器横列のうち32列からの投影データを廃棄して、32の残りのスライスに基づいて、前述したように一組の再構成画像を形成することにより、一組の入力画像412を得ることができる。対応する一組の目標画像414は、ROIの走査時に取得された完全な64スライス分の投影データから再構成され得る。このように、目標画像410は入力画像408の2倍のデータに基づいて再構成されることができ、従ってより高品質を有し得る。例えば、目標画像は入力画像408よりも少ないノイズ及び/又は少ないアーティファクトを含むことができ、或いは目標画像は入力画像408よりも高い分解能を有し得る。もう一つの実施形態では、一組の入力画像412は、32スライスCTスキャナを介してROIの走査時に取得された投影データから再構成されることができ、対応する一組の目標画像414は、64スライスCTスキャナを介してROIの走査時に取得された投影データから再構成され得る。さらに他の実施形態では、異なる手順を用いて画像対406を生成してもよい。複数の画像対406を生成するための一例の方法については、図6に関して後にあらためて詳述する。
一実施形態では、多次元統計回帰モデル402は、訓練モジュール404から複数の画像対406を受け取り、複数の画像対406の各々の画像対の各々の入力画像408と対応する目標画像410との間の差の評価に基づいて誤差関数を最小化するように、訓練時に多次元統計回帰モデル402の1又は複数のパラメータを繰り返し式で調節するように構成されているニューラル・ネットワークである。訓練時の誤差の最小化については図7に関して後にあらためて詳述する。
幾つかの実施形態では、多次元統計回帰モデル402は生成ニューラル・ネットワークを含み得る。幾つかの実施形態では、多次元統計回帰モデル402は敵対的生成ネットワークを含み得る。幾つかの実施形態では、多次元統計回帰モデル402は、U-netアーキテクチャを有する生成ニューラル・ネットワークを含み得る。幾つかの実施形態では、生成ニューラル・ネットワークは、1又は複数の畳み込み層を含み、次いで畳み込み層は1又は複数の畳み込みフィルタを含んでいる(例えば畳み込み型ニューラル・ネットワーク・アーキテクチャ)。畳み込みフィルタは複数の重みを含むことができ、重みの値は訓練手順時に学習される。畳み込みフィルタは1又は複数の視覚的特徴/パタンに対応していてよく、これにより多次元統計回帰モデル402が及び再構成画像から特徴を特定して抽出することを可能にする。
複数の画像対406は、一定数の訓練用画像対と、より少ない数の試験用画像対及び/又は検証用画像対(図4には不図示)とに分割されることができ、試験用画像対及び/又は検証用画像対は、モデルを検証して、過剰適合(例えば多次元統計回帰モデル402が、試験用画像対に存在しない訓練用画像対の標本に特有の特徴をマッピングするように学習する)を防ぐのに十分な訓練用データが利用可能であることを保証する。一例では、画像対は予め確定された比率で無作為に訓練用画像対又は試験用画像対のいずれかに割り当てられる。例えば、各々の画像対は、画像対の75%が訓練用画像対に割り当てられ、生成される画像対の25%が試験用画像対に割り当てられるように、無作為に訓練用画像対又は試験用画像対のいずれかに割り当てられ得る。尚、ここに掲げられる例は説明の目的のためのものであり、画像対は、本開示の範囲から逸脱することなく異なる手順を介して且つ/又は異なる比率で訓練用画像対又は試験用画像対に割り当てられ得ることを認められたい。
螺旋ピッチ・マッピング訓練システム400は、多次元統計回帰モデル402の性能を検証する検証器(バリデータ)420を含み得る。検証器420は入力として訓練済みの又は部分的に訓練済みの多次元統計回帰モデル402と試験用画像対のデータセットとを取り入れ、試験用画像対のデータセットについての訓練済みの又は部分的に訓練済みの多次元統計回帰モデル402の性能の評価を出力し得る。一実施形態では、訓練済みの又は部分的に訓練済みの多次元統計回帰モデル402の性能の評価は、試験用画像対の各々の画像対について達成される最小誤り率の平均に基づいて決定されることができ、ここで最小誤り率は、画像対の入力画像408の結果として訓練済みの又は部分的に訓練済みの多次元統計回帰モデル402によって出力される画像と、画像対の目標画像410との間の1又は複数の差の関数である。もう一つの実施形態では、訓練済みの又は部分的に訓練済みの多次元統計回帰モデル402の性能の評価は、訓練済みの又は部分的に訓練済みの多次元統計回帰モデル402によって出力される画像の品質評価を含むことができ、ここで品質評価は、目標画像410に比較したときの出力画像の1又は複数の予め確定された目的変数によって決定される。他の実施形態では、訓練済みの又は部分的に訓練済みの多次元統計回帰モデル402の性能の評価は、平均最小誤り率と品質評価との組み合わせや、試験用画像対の各々の画像対について達成される最小誤り率及び/又は1若しくは複数の品質評価の異なる関数や、訓練済みの又は部分的に訓練済みの多次元統計回帰モデル402の性能を評価する他の因子を含み得る。尚、ここに掲げられる例は説明の目的のためのものであり、本開示の範囲から逸脱することなく他の誤差関数、誤り率、品質評価、又は性能評価が含まれ得ることを認められたい。
例えば、多次元統計回帰モデル402は500,000対の訓練対から成る訓練用セットを用いて訓練されることができ、多次元統計回帰モデル402は125,000対の訓練対から成る試験用セットを用いて訓練時に試験されることができ、訓練済み多次元統計回帰モデル402は75,000対の画像対406から成る検証用データセットによって検証されることができ、これら画像対406の各々が心臓の入力画像408と心臓の目標画像410とを含んでいる。検証器420は、部分的に訓練済みの多次元統計回帰モデル402に入力画像408を供給して、被検体の心臓の出力画像を受け取ることができる。次いで、検証器420は、部分的に訓練済みの多次元統計回帰モデル402によって形成された心臓の出力画像を、関連画像対からの心臓の目標画像と比較して、出力画像と目標画像410との間の類似度を示す値を出力することができる。類似度は、前述したように損失関数によって決定され得る。一実施形態では、類似度は百分率で表わされることができ(例えば90%の類似性等級)、検証器420は、類似度が類似性百分率閾値(例えば85%)を超えることを示すと共に部分的に訓練済みの多次元統計回帰モデル402が入力画像408を目標画像410にマッピングするのに成功したことを示す1という二値の結果を返すことができる。或いは、検証器420は、類似度が類似性百分率閾値(例えば95%)を超えないことを示すと共に部分的に訓練済みの多次元統計回帰モデル402が入力画像408を目標画像410にマッピングするのに成功し損ねたことを示す0という二値の結果を返すことができる。検証器420は、試験用画像対の各々の画像対について部分的に訓練済みの多次元統計回帰モデル402を検証して、試験用画像対の各々の画像対について行なわれた類似性評価の結果を平均して全体検証スコアを決定することができる。全体検証スコアが閾値(例えば0.8)を超える場合には、多次元統計回帰モデル402はこれにより検証に合格し、これにより多次元統計回帰モデル402は十分に訓練されたので、CTスキャナから(例えば限定されたビュー・データから)形成された新たな入力画像をより高品質の新たな出力画像(例えば見かけ上低螺旋ピッチ・データから再構成されたもの)にマッピングするのに用いられ得る。或いは、全体検証スコアが閾値(例えば0.8)を超えない場合には、多次元統計回帰モデル402は検証に合格せず、多次元統計回帰モデル402が十分には訓練されていないことを示す。他の実施形態では、検証器420は二値の値の代わりに類似性等級又は百分率を出力してもよく、各々の画像対毎のこの類似性等級又は百分率を平均して全体検証スコアを決定してもよい。尚、ここに掲げられる例は説明の目的のためのものであり、本開示の範囲から逸脱することなく他の手順及び/又は関数を用いて部分的に訓練済みの多次元統計回帰モデル402の性能を検証し得ることを認められたい。
螺旋ピッチ・マッピング訓練システム400は推論モジュール422を含むことができ、この推論モジュール422は、図3の螺旋ピッチ・マッピング・システム302の推論モジュール312の非限定的な例であり得る。推論モジュール422は、前述したように検証器420によって検証された訓練済み多次元統計回帰モデル424を含んでいる。推論モジュール422は、一組の新たな高螺旋ピッチCT画像426から一組の低螺旋ピッチCT画像428を生成するように訓練済み多次元統計回帰モデル402を展開する命令を含むことができ、ここでの一組の低螺旋ピッチ画像428は、見かけ上低螺旋ピッチ・データから再構成される画像である。例えば、一組の低螺旋ピッチ画像428は、低螺旋ピッチで取得された画像に類似した分解能、及び/又は低螺旋ピッチで取得された画像のノイズ・プロファイル、及び/又は低螺旋ピッチに典型的に関連付けられる減少した数のアーティファクトを有し得る。低螺旋ピッチCT画像428は、新たな高螺旋ピッチCT画像426と同数の画像を含むことができ、新たな高螺旋ピッチCT画像426の各々の画像毎に、対応する低螺旋ピッチCT画像428が形成されるので、新たな高螺旋ピッチCT画像426と低螺旋ピッチCT画像428との間に一対一の対応関係が存在する。
図5には、実施形態の一例による多次元統計回帰モデル(図3の螺旋ピッチ・マッピング・システム302の多次元統計回帰モデル308の一つのようなもの)を訓練する方法500の流れ図が示されている。方法500は、図3の螺旋ピッチ・マッピング・システム302のモデル訓練モジュール310のような螺旋ピッチ・マッピング・システムのモデル訓練モジュールの内部で、図4の多次元統計回帰モデル訓練システム400のような訓練システムに従って実装され得る。一実施形態では、方法500の幾つかの動作が図3の螺旋ピッチ・マッピング・システム302の非一過性メモリ306のような非一過性メモリに記憶されて、同システム302のプロセッサ304のようなプロセッサによって実行され得る。
ブロック502では、方法500は、内部に高い解剖学的類似度が存在するような訓練用データセットを生成することを目標として、被検体を範疇分けして異なる標本群にグループ分けするステップを含んでいる(例えばこれらの異なる標本群は寸法及び性別等のような1又は複数の特性を共有する)。訓練用データは、1又は複数の状態を蒙っている可能性のある被検体から取得される標本データ、並びに健康な組織の及び/又は健康な被検体から取得される標本超音波画像を含み得る。例えば、訓練用に取得される画像は、拡大、膨張、及び/若しくは他の場合には奇形を生じている器官の画像、又は腫瘍、新生物、及び瘢痕組織等のように健康な被検体には存在しない解剖学的特徴の画像を含み得る。幾つかの実施形態では、複数の多次元統計回帰モデルが、対応する複数のROIについて訓練され得る。例えば、第一の多次元統計回帰モデルは1又は複数の被検体の頭部の画像について訓練され、第二の多次元統計回帰モデルは1又は複数の被検体の胸部の画像について訓練され、第三の多次元統計回帰モデルは1又は複数の被検体の腹部の画像について訓練される等を行なうことができる。これら複数の多次元統計回帰モデルを訓練するのに用いられる各々の訓練用データセットが、前述したように(例えば異なる病状及び異なる異常等を有する多様な被検体集合からの画像データを含み得る。
一実施形態では、訓練用データの準備の際には、異なる特性(例えば年齢及び性別等)及び/若しくは変化する健康度を有する広範な被検体、並びに/又は変化する正常度/異常度の解剖学的構造を有する広範な被検体から画像を取得するための手順に従うことができる。他の実施形態では、訓練用データの準備の際に、1又は複数の特性を共有しているような被検体選択群から画像を取得するための異なる手順に従ってもよい。
例えば、一つの標本群は成人である被検体を含むことができ、異なる標本群は小児である被検体を含むことができ、又は付加的な標本群が被検体の寸法に基づいて作成されてもよい(例えば幼児、小児、十代、成人、及び大柄の又は肥満した成人等)。もう一つの例では、例えば被走査ROIの特性が男女間で異なる場合には男性被検体及び女性被検体について別々の標本群を作成してもよい。さらにもう一つの例では、被検体ではなく被走査ROIの1又は複数の特徴又は特性に基づいて標本群を作成してもよい。例えば、一つの標本群は或る寸法のROIを有する被検体を含み、もう一つの標本群は異なる寸法のROIを有する被検体を含み得る。一組の包含規準及び/又は排除規準に従って手順を行なってもよい。例えば、包含規準には造影剤の利用があり、この場合には造影剤を用いずに走査された被検体が包含され、造影剤を用いて走査された被検体が包含されない。包含規準は一定範囲の解剖学的撮像範囲(例えば心臓のような共通のROIに基づくもの)や被検体の姿勢(例えば仰臥位)、又は他の規準を含み得る。排除規準は、金属物(例えば人工股関節、ペースメーカ、植込み型除細動器、左室補助人工心臓、及び脊椎用ハードウェア等)を有する被検体の身体を含み、金属物を有する被検体が訓練用データセット/試験用データセットから排除され得る。尚、ここに掲げられる例は説明の目的のためのものであり、本開示の範囲から逸脱することなく異なる包含規準及び/又は排除規準を用いて被検体を標本群にグループ分けし得ることを認められたい。
ブロック504では、方法500は、各々の標本群及び各々の画像再構成平面配向毎に訓練用データセットを生成することを含み、このことについては図6に関して後にあらためて詳述する。各々のCT走査が投影データからROIの3D容積測定画像を形成するのに伴って、3D容積測定画像から三つの配向の一つすなわち水平断配向(例えばCTスキャナのテーブルに平行)、矢状断(サジタル)配向(例えばZ軸又はテーブルの長さに沿ってテーブルに垂直)、又は冠状断(コロナル)配向(例えばZ軸を横断してテーブルに垂直)の2D画像を再構成することができる。ROIの解剖学的特徴は一つの配向において異なる配向におけるよりも見易い場合がある。例えば、動脈が第一の画像再構成平面では2本の平行線として現われ、同じ動脈が第二の異なる画像再構成平面では一つの円として現われ得る。幾つかの例では、螺旋ピッチ・マッピング・システムは平行な再構成平面の二つの再構成画像の間でのデータ点の補間を必要とするため、多次元統計回帰モデルは単一の画像再構成平面配向から生成される訓練用データセットを用いて最も効率よく訓練され得る。他の例では、目標とされる画像容積全体での画質の一貫性を高めるために、多数の画像再構成平面配向において相次いで又は同時に訓練を行なうことができる。多数の画像再構成平面からのデータによる訓練によって、多次元統計回帰モデルの性能も改善され得る。
このように、ブロック506において、方法500は、各々の標本群毎に水平断画像再構成平面について訓練用データセットを作成するステップを含んでおり、ブロック508において、方法500は各々の標本群毎に矢状断画像再構成平面について訓練用データセットを作成するステップを含んでおり、ブロック510において、方法500は各々の標本群毎に冠状断画像再構成平面について訓練用データセットを作成するステップを含んでいる。例えば、健康な小児被検体の第一の標本群、健康な成人の第二の標本群、及び肥満成人の第三の標本群を含む一実施形態では、9個のデータセットすなわち第一の標本群、第二の標本群、及び第三の標本群から作成される水平断画像再構成平面データセット、第一の標本群、第二の標本群、及び第三の標本群から作成される矢状断画像再構成平面データセット、並びに第一の標本群、第二の標本群、及び第三の標本群から作成される冠状断画像再構成平面データセットが生成され得る。
さらに、各々のデータセットが、関連標本群の各々の被検体からの集約された訓練用データを含み得る。例えば、第一の標本群から作成される第一の水平断画像再構成平面データセットは、第一の標本群の第一の被検体の第一の走査から生成される訓練用データと、第一の標本群の第二の被検体の第二の走査から生成される訓練用データと、第一の標本群の第三の被検体の第三の走査から生成される訓練用データとを含み得る等である。一例では、一つのデータセットの訓練用データが第一のデータセットの複数の被検体にわたり無作為抽出され、これにより個々の被検体の訓練用データに他の被検体の訓練用データが分散され得る。他の例では、標本群から再構成される画像容積が、2Dの訓練用画像、試験用画像、及び検証用画像を抽出するのに先立って訓練用セット、試験用セット、及び検証用セットに分割されてもよく、これにより各々の標本群の第一の部分が訓練用データに用いられ、各々の標本群の第二の部分が試験用データに用いられ、各々の標本群の第三の部分が検証用データに用いられる。
訓練用データセットを生成するために用いられる訓練用データは、後述の図6の方法600に従ってCTスキャナから取得される投影データに基づくROIの第一の事前画像(入力画像)とROIの第二の事前画像(正解データ/目標画像)とを含む画像対であり得る。
ブロック512では、方法500は、図7の方法700に関して後述するように、画像対の第一の事前画像を画像対の第二の事前画像にマッピングするように多次元統計回帰モデルを訓練するステップを含んでいる。
図6には、実施形態の一例による多次元統計回帰モデル(図3の螺旋ピッチ・マッピング・システム300の多次元統計回帰モデル302のようなもの)を訓練するための訓練用データを生成する方法600の流れ図が示されており、訓練用データは一組の複数の画像対を含んでいる。方法600は、図4の螺旋ピッチ・マッピング訓練システム400の部分として実装され得る。一実施形態では、方法600の幾つかの動作は図3の螺旋ピッチ・マッピング・システム302の非一過性メモリ306のような非一過性メモリに記憶されて、同システム302のプロセッサ304のようなプロセッサによって実行され得る。幾つかの実施形態では、画像対は図3の螺旋ピッチ・マッピング・システム302のモデル訓練モジュール310に記憶され得る。方法600は、単一の被検体から訓練用データを生成する例示的な手順を記載しており、図5の方法500に関して前述したような標本人口にわたり反復され得る。
方法600はブロック602において開始し、ここでは方法600は被検体のROIをCTスキャナによって低螺旋ピッチ(例えば1.0のピッチ)で走査するステップを含んでいる。一実施形態では、CTスキャナは、コリメータが64列の検出器横列を含む64スライスMDCTスキャナ(例えば図4の多次元統計回帰モデル訓練システム400の64スライスCTスキャナ)である。他の実施形態では、CTスキャナは異なる数の検出器横列を有するスキャナである。例えば、CTスキャナは、コリメータが128列の検出器横列を含む128スライス・スキャナであってもよいし、CTスキャナは、コリメータが32列の検出器横列を含む32スライス・スキャナであってもよい。
ROIは被検体の心臓であってもよいし、被検体の脳であってもよいし、被検体の他の器官又は解剖学的実体であってもよい。被検体は64スライスCTスキャナのテーブルに載置されることができ、テーブルは走査時に64スライスCTスキャナのガントリを通して移動されて、X線源及び対応するX線検出器(例えばそれぞれ図2のX線源104及び検出器アレイ108)がガントリの内部で360°回転するのに伴ってROIのX線投影データを取得することができる。走査の螺旋ピッチは1であってよく、ROIを撮像するために完全な一組の投影データ(例えば64スライスCTスキャナの全64列の検出器横列を用いたもの)が取得される。
ブロック604では、方法600は、ブロック602において取得された完全な投影データから、標本群の被検体の第一の組の3D容積測定画像を再構成するステップを含んでいる。第一の組の3D容積測定画像は、標準的な画像再構成手法を用いてCT走査生投影データから再構成され得る。例えば、第一の組の3D容積測定画像はフィルタ補正逆投影(FBP)又は繰返し式再構成を用いて再構成されてもよいし、推定データを用いて欠落データを埋めつつ(例えば異なる回帰モデルを用いて)深層学習画像再構成方法を介して再構成されてもよい。一実施形態では、螺旋軌道向けに適合構成された3DのFeldkamp、Davis、及びKress(FDK)のアルゴリズムを用いて画像容積を再構成し、この場合には3Dコーン・ビーム再構成問題が複数の2Dファン・ビーム再構成問題へ変換される。
ブロック606では、方法600は、不完全な投影データによって第二の3D容積測定画像を再構成するステップを含んでいる。換言すると、完全な一組の投影データ(例えば全64列の検出器横列から1.0の螺旋ピッチで取得されたもの)から再構成される3D容積測定画像と、不完全な又は部分的な一組の投影データ(例えばより少ない数の検出器横列から1.0よりも大きい螺旋ピッチを近似したもの)から再構成される3D容積測定画像との二つの異なる3D容積測定画像が生成され得る。一例では、64列の検出器横列のうち32列からの投影データは廃棄されてよく、不完全な又は部分的な一組の投影データは、64列の検出器横列のうち残り32列からの投影データを含み得る。もう一つの例では、不完全な投影データは完全な投影データのビューを廃棄することにより完全な投影データから生成されてもよい。例えば、不完全な投影データは、完全な投影データのうち(180°+ファン角度)のビュー角度範囲といったより大きい角度範囲のデータではなく、180°のビュー角度範囲のデータに基づくものであってよく、ここでファン角度範囲はX線源によって放出されるX線の広がり角である。さらにもう一つの例では、不完全な投影データは、同じ被検体を2の螺旋ピッチに設定された64スライスCTスキャナ又は32列の検出器横列を有する第二の32スライスCTスキャナによって走査することにより生成され得る。尚、ここに掲げられる例は説明の目的のためのものであり、不完全な又は部分的な一組の投影データは本開示の範囲から逸脱することなく異なる方法で生成され得ることを認められたい。
ブロック608では、方法600は、第二の組の3D容積測定画像(例えば不完全な投影データから再構成されたもの)から一組の第一の事前画像を抽出するステップを含んでいる。一例では、一組の第一の事前画像は、第二の組の3D容積測定画像の各々の3D容積測定画像の一つの次元を通して、第一の広がりの3D容積測定画像から第二の広がりの3D容積測定画像まで漸進することにより抽出される。例えば、一組の第一の事前画像は、3D容積測定画像のxy平面の2D画像を含むことができ、第一の2D画像が3D容積測定画像から第一のz位置において抽出され、第二の2D画像が3D容積測定画像から第二のz位置において抽出され、第三の2D画像が3D容積測定画像から第三のz位置において抽出され、以下同様である。前述のように、xy平面は3D容積測定画像の水平断平面、矢状断平面、又は冠状断平面のいずれであってもよい。
ブロック610では、方法600は、第一の組の3D容積測定画像から対応する一組の第二の事前画像を抽出するステップを含んでおり、一組の第一の事前画像及び一組の第二の事前画像が同じz位置を共有している。換言すると、第二の事前画像はブロック608において記載された手順に従って抽出され得るが、第一の事前画像は第二の組の3D容積測定画像の不完全な投影データから形成される一方で、第二の事前画像は第一の組の3D容積測定画像の完全な投影データから形成される。各々の第一の事前画像は対応する第二の事前画像と対にされることができ、この対応する第二の事前画像は第一の事前画像と同じz位置を有する。このようにして、第一の事前画像と第二の事前画像との対応する複数の組が、第二の組の3D容積測定画像及び第一の組の3D容積測定画像のそれぞれ対応する3D容積測定画像から生成され得る。
ブロック612では、方法600は、一組の第一の事前画像及び一組の第二の事前画像によって画像対を作成するステップを含んでいる。一組の第一の事前画像は第二の組の3D容積測定画像の限定されたビューの投影データから生成されているので、一組の第一の事前画像は多次元統計回帰モデルの訓練時に入力画像として用いられ得る。一組の第二の事前画像は第一の組の3D容積測定画像の完全な投影データから生成されており、第一の組の3D容積測定画像は第二の組の3D容積測定画像に対応しているので、一組の第二の事前画像は多次元統計回帰モデルの訓練時には対応する目標画像又は正解データ画像として用いられ得る。ブロック616では、方法600は、画像対を訓練用データセットに記憶するステップを含んでおり、方法600は終了する。
図7には、多次元統計回帰モデル(図4の多次元統計回帰モデル訓練システム400の多次元統計回帰モデル402のようなもの)を訓練する例示的な方法700の流れ図が示されている。一実施形態では、多次元統計回帰モデルは複数の隠れ層を有する深層学習ニューラル・ネットワーク・モデルであってよい。一実施形態では、深層学習ニューラル・ネットワーク・モデルは畳み込みニューラル・ネットワークを含み得るが、ここに掲げられる例は説明の目的のためのものであり、本開示の範囲から逸脱することなく任意の形式のニューラル・ネットワークが方法700によって用いられ得る。
方法700に用いられる訓練用データは、補間された投影データから再構成される被検体のROIの第一の事前画像と、実際の投影データから再構成される被検体のROIの対応する正解データ画像とを含む一組の画像対を含むことができ、補間された投影データ及び実際の投影データは図6の方法600に関して上で記載された手順に従って選択され記憶されている。方法700は図4の多次元統計回帰モデル訓練システム400及び/又は図3の螺旋ピッチ・マッピング・システム302の部分として実装され得る。一実施形態では、方法700の1又は複数の動作は図3の螺旋ピッチ・マッピング・システム302の非一過性メモリ306のような非一過性メモリに記憶されて、同システム302のプロセッサ304のようなプロセッサによって実行され得る。
方法700は動作702において開始し、ここでは方法700は、訓練用セットから第一の事前画像及び正解データ画像(例えば目標画像)を含む訓練用画像対を受け取るステップを含んでいる。一実施形態では、訓練用セットは、図3の螺旋ピッチ・マッピング・システム302のモデル訓練モジュール310のような螺旋ピッチ・マッピング・システムの訓練モジュールに記憶され得る。
ブロック704では、方法700は、訓練用画像対の第一の事前画像を深層学習ニューラル・ネットワークの入力層に入力するステップを含んでいる。幾つかの実施形態では、入力画像の各々のピクセル強度値が、深層学習ニューラル・ネットワークの入力層の別個のニューロンに入力され得る。
ブロック706では、方法700は、深層学習ニューラル・ネットワークから出力画像を受け取るステップを含んでいる。深層学習ニューラル・ネットワークは、当該深層学習ニューラル・ネットワークの入力層から1又は複数の隠れ層を通して出力層に到達するまで第一の事前画像を伝播させることにより、第一の事前画像を出力画像にマッピングする。幾つかの実施形態では、深層学習ニューラル・ネットワークの出力は値の2D行列を含んでおり、各々の値が入力画像のピクセルの別個の強度に対応し、出力画像の各々のピクセルの別個の強度は、出力画像の1又は複数の領域の分解能が入力画像の1又は複数の領域の分解能を上回っているような入力画像の再構成を生成する。
ブロック708では、方法700は、深層学習ニューラル・ネットワークの出力画像と訓練用画像対の目標画像との間の差を算出するステップを含んでいる。損失関数又は誤差関数を用いて、深層学習ニューラル・ネットワークの出力画像と訓練用画像対の目標画像(例えば正解データ画像)との間の差を最小化することができる。一実施形態では、誤差関数はピクセル単位の損失関数であってよく、この場合には出力画像と目標画像との間の差がピクセル単位で比較されて加算される。もう一つの実施形態では、誤差関数は二乗平均平方根誤差(RSME)関数であってよく、この場合には損失は全てのピクセルの間での二乗誤差の平均によって定義される。さらにもう一つの実施形態では、誤差関数は構造類似性画質指標(SSIM)に基づいたものであってよく、この場合には個々のSSIMが訓練用画像対の異なるROIについて算出されて、平均されて合計誤差を生成することができる。さらに他の実施形態では、損失関数はミニマックス損失関数又はWasserstein損失関数であってよい。尚、ここに掲げられる例は説明の目的のためのものであり、本開示の範囲から逸脱することなく他の形式の損失関数を用い得ることを認められたい。
ブロック710では、深層学習ニューラル・ネットワークの重み及びバイアスが、出力画像と関連訓練用画像対からの正解データ画像との間の差に基づいて調節される。損失関数によって決定された場合の差(又は損失)は、深層学習ニューラル・ネットワークを通して逆伝播されて、畳み込み層の重み(及びバイアス)を更新することができる。幾つかの実施形態では、損失の逆伝播は最急降下アルゴリズムに従って生ずることができ、ここでは深層学習ニューラル・ネットワークの各々の重み及びバイアスについて損失関数の勾配(一階導関数又は一階導関数の近似)が決定される。次いで、深層学習ニューラル・ネットワークの各々の重み(及びバイアス)は、予め決められた刻み幅で重み(又はバイアス)について決定された(又は近似された)勾配の積の負値を加算することにより更新され得る。そして方法700は終了し得る。方法700は、深層学習ニューラル・ネットワークの重み及びバイアスが収束するまで、又は方法700の各回の繰り返し毎の深層ニューラル・ネットワークの重み及び/又はバイアスの変化率が閾値を下回るまで繰り返され得ることを特記しておく。
方法700には記載していないが、過剰適合を回避するために、深層学習ニューラル・ネットワークの訓練は周期的に中断されて試験用訓練対を含む試験用セットについて深層学習ニューラル・ネットワークの性能を検証し得ることを認められたい。一例では、図4の多次元統計回帰モデル訓練システム400に関して前述したようにして試験用画像対を生成し、また試験用画像対は、より大きい訓練用データセットから無作為に採取されることもできる。一実施形態では、深層学習ニューラル・ネットワークの訓練は、試験用訓練対についての深層学習ニューラル・ネットワークの性能が収束したとき(例えば試験用セットについての誤り率が最小値に収束したとき)に完了し得る。このようにして、方法700は、補間された投影データに基づいて再構成される第一の画像を実際の投影データに基づいて再構成される第二の画像にマッピングするように深層学習ニューラル・ネットワークが訓練されることを可能にする。
図8には、低品質CT画像(例えば高螺旋ピッチ・データから再構成されたもの)から高品質CT画像(例えば低螺旋ピッチ・データに関連付けられる品質を有するもの)を形成する方法800の流れ図が示されている。方法800は、図3の螺旋ピッチ・マッピング・システム302のような螺旋ピッチ・マッピング・システムを含む図2のイメージング・システム200のようなイメージング・システムの内部で実行され得る。イメージング・システムの動作モード時には、訓練済み多次元統計回帰モデル(図3の螺旋ピッチ・マッピング・システム302の多次元統計回帰モデル308のようなもの)を展開して低品質CT画像から高品質CT画像を形成することができる。一実施形態では、訓練済み多次元統計回帰モデルは、畳み込みニューラル・ネットワークのような複数の隠れ層を有する深層ニューラル・ネットワークであってよく、図6の方法600に記載される手順に従って生成される訓練用データセットについて訓練される。方法800は図4の多次元統計回帰モデル訓練システム400の部分として実装され得る。一実施形態では、方法800の1又は複数の動作は非一過性メモリ(例えば図3の非一過性メモリ306)に実行可能な命令として記憶されて、図3のプロセッサ304のようなプロセッサによって実行され得る。さらに、方法800は、図3の螺旋ピッチ・マッピング・システム302の推論モジュール312及び/又は図4の多次元統計回帰モデル訓練システム400の推論モジュール422のような推論モジュールの部分として展開され得る。
方法800はブロック802において開始し、ここでは方法800は、CTスキャナによって高螺旋ピッチ(例えば2.0のように1.5よりも大きいピッチ)で患者のROIを走査するステップを含んでいる。高螺旋ピッチで走査する結果として、CTスキャナは不完全な投影データを生成し得る一方で、多次元統計回帰モデルは、完全な投影データについて訓練され得る。一例では、多次元統計回帰モデルは、64スライスCTスキャナから取得される完全な投影データを用いて訓練され、不完全な投影データを生成するCTスキャナは32スライスCTスキャナ、又は16スライスCTスキャナ、又は他の形式のスキャナである。例えば、16スライスCTスキャナは64スライスCTスキャナに対して費用が少ないため、又は走査時間を短くすると共に呼応して患者照射線量を減少させるという動作目標のため、又は他の理由のため、診療所の患者を撮像するために診療所が16スライスCTスキャナを用いる場合がある。一実施形態では、CTスキャナは32スライスCTスキャナである。もう一つの例では、CTスキャナは64スライスCTスキャナであり、この場合には64スライスCTスキャナの高螺旋ピッチ設定の結果として不完全な投影データが生成される。一般的には、CTスキャナは、当該CTスキャナによって取得される投影データ量が多次元統計回帰モデルを訓練するのに用いられる目標投影データ量よりも少ないという前提で任意のスキャナであってよい。
ブロック804では、方法800は、ブロック802においてCTスキャナによって取得された投影データから3D画像容積を再構成するステップを含んでいる。しかしながら、前述したように、限定されたビュー角度の投影データ及びz方向での投影データのアンダーサンプリングのため、アーティファクトが3D画像容積に含まれ得る。アーティファクトの数を減少させるために、画像再構成に先立って及び/又は画像再構成の部分として1又は複数のデータ増強手法を実行することができ、これにより、3D画像容積を再構成するステップは、欠落した投影データを埋めるように補間及び/又は補外を行なうステップを含み得る。
ブロック806では、欠落した投影データを埋めるように補間及び/又は補外を行なうステップは、高螺旋ピッチに起因して潜在的な不完全な又は限定されたビュー角度のデータに対処するように3D画像容積の各々の再構成平面においてボクセル・データを補間するステップを含んでいる。例えば、3D画像容積の各々のz位置において、再構成平面はz位置での(x,y)座標によって定義されることができ、この場合には再構成平面においてボクセル・データを補間するステップは、異なる組の(x,y)座標の間を補間することを含んでいる。各々の再構成平面の内部でボクセル・データを補間することにより、画像再構成のためのビュー角度データの十分性が達成され得る。
ブロック808では、欠落した投影データを埋めるように補間及び/又は補外を行なうステップは、z方向での投影データの潜在的なアンダーサンプリングに対処するために異なるz位置の同じ(x,y)座標の間でボクセル・データを補間することを含んでいる。前述したように、螺旋ピッチが増加するにつれて、イメージング・システムのX線源によって行なわれる各々の螺旋回転の間の投影データには間隙が存在し得る。十分な投影データを得て3D画像容積を十分に再構成するためには、z方向にデータ補間及び/又は補外を行なって間隙を埋めることができる。明確に述べると、X線源の1回目の全回転の間に取得される各々のデータ点は、走査の螺旋性のため異なるz位置を有する。従って、各々のスライスに跨って画像ボクセル・データを再構成するためには、各々のz位置においてデータ補間を行なって画像ボクセルについてデータ十分性を保証する。データ補間は、再構成平面の所与のz位置において同じ(x,y)座標を有する測定データ同士の間で行なわれる。
ブロック810では、方法800は、標準的な再構成手法を用いて3D画像容積を再構成するステップを含んでいる。図6の訓練方法600に関して前述したように、第一の組の3D容積測定画像は、フィルタ補正逆投影(FBP)又は繰返し式再構成を用いて再構成されてもよいし、欠落したデータを埋めるのに用いられる推定データによる深層学習画像再構成方法を介して再構成されてもよい。一実施形態では、螺旋軌道向けに適合構成された3DのFeldkamp、Davis、及びKress(FDK)のアルゴリズムを用いて画像容積を再構成し、この場合には3Dコーン・ビーム再構成問題が複数の2Dファン・ビーム再構成問題へ変換される。
ブロック812では、方法800は、図6の方法600に関して前述したように、3D画像容積から複数の2DCT画像を形成するステップを含んでいる。複数の2DCT画像は、水平断配向、矢状断配向、又は冠状断配向の再構成平面から形成されることができ、3D画像容積全体に広がっていてもよいし、3D画像容積全体に広がらずに3D画像容積全体の部分を網羅していてもよい。
ブロック814では、方法800は、2DCT画像を処理するために訓練済み多次元統計回帰モデルを選択するステップを含んでいる。図3に関して前述したように、螺旋ピッチ・マッピング・システムは、複数の異なる多次元統計回帰モデルを含み得る。複数の異なる多次元統計回帰モデルは、深層学習ニューラル・ネットワーク・モデル及び/又は他の形式の統計回帰モデル含んでいてよく、このモデルは異なる標本群について訓練され得る。例えば、第一の標本群への高い類似性を有する第一の被検体の2DCT画像を処理するために第一の訓練済み多次元統計回帰モデルが選択され得る一方で、第二の標本群への高い類似性を有する第二の被検体の2DCT画像を処理するために第二の訓練済み多次元統計回帰モデルが選択され得る。
幾つかの実施形態では、異なる多次元統計回帰モデルを異なる螺旋ピッチ(例えば異なる不完全度のデータ)について訓練してもよい。例えば、第一の多次元統計回帰モデルが、2の螺旋ピッチで取得された補間済み投影データから再構成される画像を1.0の螺旋ピッチで取得された投影データから再構成される画像にマッピングするように訓練されることができ、第二の多次元統計回帰モデルが、1.5の螺旋ピッチで取得された補間済み投影データから再構成される画像を1.0の螺旋ピッチで取得された投影データから再構成される画像にマッピングするように訓練されることができ、第三の多次元統計回帰モデルが、2.5の螺旋ピッチで取得された補間済み投影データから再構成される画像を1.0の螺旋ピッチで取得された投影データから再構成される画像にマッピングするように訓練されることができ、以下同様である。一例では、選択される多次元統計回帰モデルは、関連CT走査の螺旋ピッチに一致するモデルである。例えば、CT走査の螺旋ピッチが2.0である場合には、選択される多次元統計回帰モデルは、異なる螺旋ピッチで取得された補間済み投影データから再構成される画像を1.0の螺旋ピッチで取得された投影データから再構成される画像にマッピングするように訓練されたモデルではなく、2.0の螺旋ピッチで取得された補間済み投影データから再構成される画像を1.0の螺旋ピッチで取得された投影データから再構成される画像にマッピングするように訓練されたモデルであってよい。
加えて、複数の異なる多次元統計回帰モデルは、様々な身体型についてのモデルを含み得る。例えば、第一の多次元統計回帰モデルは成人について選択されることができ、第二の多次元統計回帰モデルは小児について選択されることができ、第三の多次元統計回帰モデルは幼児について選択されることができる。さらに、異なる身体型の成人について異なる多次元統計回帰モデルが開発され得る(例えば痩せ型の成人について一つのモデル、及び肥満成人について異なるモデル等)。
ブロック816では、方法800は、選択された訓練済み多次元統計回帰モデルを用いて2DCT画像について第一の深層学習画像補正を行なうステップを含んでいる。前述したように、深層学習画像補正を行なうステップは、高螺旋ピッチ(例えば2.0)の投影データから再構成される2DCT画像から、低螺旋ピッチ(例えば1.0)に関連付けられる品質の一組の出力画像を形成することを含み得る。換言すると、この一組の出力画像は、低螺旋ピッチ(例えば減少したアーティファクト数、減少したノイズ、及び/又は改善された分解能)での走査時にCTスキャナから取得される実際の投影データから再構成される画像であるかのような見かけを有し得る。
ブロック818では、方法800は、個々の被検体データに一致するようにブロック816において形成された深層学習補正済み画像(例えば一組の出力画像)の2回目の繰り返し式補正を実行するステップを含んでいる。幾つかの場合には、訓練済み多次元統計回帰モデルによって形成される一組の深層学習補正済み画像が、3D画像容積から形成される2DCT画像の情報を含んでいなかったりかかる情報を不明瞭にしたりする場合がある。例えば、ノイズ・テクスチャ又は画像細部が訓練済み多次元統計回帰モデルによって不正確に再構成される場合があり、これにより深層学習補正済み画像の要素が欠落したり、ボケたり、褪色したりする場合がある。代替的には、アーティファクト(例えばストリーク等)が混入して、深層学習補正済み画像の特徴を観察するのがより困難になる場合もある。深層学習補正済み画像が被検体の元の2DCT画像の被検体に特有の特徴を含むことを保証すると共に、混入するアーティファクトの数を減少させることを保証するために、2回目の繰り返し式補正手順を行なって、2回目の繰り返し式補正手順によって形成される一組の最終CT画像に被検体に特有の特徴が含まれることを保証する。2回目の繰り返し式補正手順を行なう結果として、高螺旋ピッチCT画像426の被検体に特有の特徴を消去したり不明瞭にしたりせずに、一組の最終CT画像が元の2DCT画像よりも高品質を有するようにすることができる。
一例では、2回目の繰り返し式補正手順は、事前画像制約付き圧縮型感知(PICCS)方法に基づく繰り返し式手順であってよい。PICCS方法によれば、出力画像をより疎にしたものを作成するように変換演算を行なうことができる。次いで、出力画像をより疎にしたものを再構成し、続いて逆変換を行なって、出力画像をより疎にしたものを元の出力画像に変換して戻すことができる。出力画像をより疎にしたものを再構成する利点は、ストリーキング・アーティファクトが減少し得ることである。換言すると、出力画像をより疎にしたものの画像再構成は、対応する元の高螺旋ピッチ画像によって制約され、高螺旋ピッチ画像と出力画像との間の類似性を用いて低周波数のシェーディング・アーティファクトを実効的に軽減することができる。一例では、出力画像をより疎にしたものは、減算演算を介して作成されることができ、この場合には出力画像のピクセル・データが対応する元の高螺旋ピッチ画像から減算される。
このように、高螺旋ピッチ・データから再構成されるCT画像の品質を高める三段階手順が提供され、ここでは改善されたCT画像が、アーティファクトの存在、ノイズのレベル、及び/又は他の品質尺度に関して、低螺旋ピッチ・データから再構成されるCT画像に匹敵する品質を呈し得る。三段階手順の第一段階では、一組の再構成平面の内部及び一組の再構成平面の再構成平面同士の間の両方で、欠落した投影データを埋めるようにデータ補間が行なわれ、標準的な再構成手法を用いて画像が再構成される。三段階手順の第二段階では、再構成画像が訓練済み多次元統計回帰モデルに入力されて、再構成画像の1回目の補正を行なう。三段階手順の第三段階では、補正済み再構成画像が2回目の繰り返し式補正手順を経て、新たな一組の画像の関連患者に特有のデータ(例えば新生物、腫瘤、腫瘍、及び異常等)が一組の最終画像に正しく表示されることを保証する。
さらに、第一のCT画像を第二のCT画像にマッピングするように多次元統計回帰モデル(例えば高次元統計回帰モデル)を訓練する方法及びシステムが提供され、ここで第一のCT画像はより低品質を有し、第二のCT画像はより高品質を有する(例えば低螺旋ピッチで取得された目標投影データを用いて多次元統計回帰モデルが訓練される結果として)。第一のCT画像は、第二のCT画像よりも少ない投影データから再構成されるため(例えば限定されたビューの投影データ対完全ビュー投影データ、又はz方向でのアンダーサンプリングのため)、より低品質を有し得る。例えば、第一のCT画像が、第二のCT画像よりも高い螺旋ピッチで取得される投影データから再構成されるせいで、より低品質を有する場合もあるし、第一のCT画像が、第二のCT画像よりも少スライスのCTスキャナから取得される投影データから再構成されるせいで、より低品質を有する場合もある。
この三段階手順の利益は、より低費用でより少スライスのCTスキャナによって形成されるCT画像の品質が、より高費用でより多スライスのCTスキャナによって形成されるCT画像の品質を近似し得ることである。より低費用でより少スライスのCTスキャナにおいて、望まれる画質を達成する結果として、診療所がCTスキャナに費やす費用の額を削減することができる。加えて、走査時間が短縮され、これにより、走査時の被検体の結果的な照射線量を減少させつつ、より多数の走査の予定を組むことが可能になり、資源配分効率を高めることができる。
この三段階手順を採用する技術的効果は、より高価なCTスキャナ又はより長い走査に関連付けられる品質までCT画像の品質を高め得ることである。
本開示はまた、以下の方法の根拠を提供し、この方法は、第一の螺旋ピッチで取得された投影データから第一の計算機式断層写真法(CT)画像を形成するステップと、第一のCT画像から第二のCT画像を形成するように訓練済み多次元統計回帰モデルを用いるステップであって、該多次元統計回帰モデルは、第二の螺旋ピッチで取得された投影データから再構成される複数の目標CT画像により訓練されており、第二の螺旋ピッチは第一の螺旋ピッチよりも小さい、用いるステップと、最終CT画像を形成するように第二のCT画像の繰り返し式補正を行なうステップとを含んでいる。この方法の第一の例では、方法はさらに、投影データの欠落データ点を補間及び補外して、フィルタ補正逆投影再構成、繰返し式再構成、及び深層学習画像再構成の一つに基づいて第一のCT画像を再構成することにより、第一の螺旋ピッチで取得された投影データから第一のCT画像を形成するステップをさらに含んでいる。方法の第二の例では、選択随意で第一の例を含み、第一のCT画像は2.0のピッチでのCT走査から取得された不完全な投影データから再構成され、複数の目標CT画像は1.0のピッチでのCT走査から取得された完全な投影データから再構成される。方法の第三の例では、選択随意で第一及び第二の例の一方又は両方を含み、複数の目標CT画像は、多次元統計回帰モデルを訓練することに先立って複数の標本群に範疇分けされた複数の被検体から取得され、複数の標本群の各々の標本群毎に異なる訓練用データセットが作成される。方法の第四の例では、選択随意で第一から第三の例の1若しくは複数又は各々を含み、複数の被検体は、当該複数の被検体の一被検体の寸法に基づいて複数の標本群に範疇分けされる。方法の第五の例では、選択随意で第一から第四の例の1若しくは複数又は各々を含み、訓練済み多次元統計回帰モデルはニューラル・ネットワークである。方法の第六の例では、選択随意で第一から第五の例の1若しくは複数又は各々を含み、ニューラル・ネットワークは畳み込みニューラル・ネットワークである。方法の第七の例では、選択随意で第一から第六の例の1若しくは複数又は各々を含み、ニューラル・ネットワークは、複数の画像対を含む訓練用データセットで訓練され、複数の画像対の各々が、複数の目標CT画像のそれぞれの目標CT画像と、対応する入力CT画像とを含んでおり、複数の目標CT画像の各々のそれぞれの目標CT画像が、第二の螺旋ピッチで取得されたそれぞれの低ピッチ投影データセットから再構成され、各々の対応する入力CT画像が、それぞれの低ピッチ投影データセットからの投影データの半量を含む擬似高ピッチ・データセットから再構成される。方法の第八の例では、選択随意で第一から第七の例の1若しくは複数又は各々を含み、複数の画像対の各々が、関心領域(ROI)の第一の三次元(3D)容積の再構成平面のデータ点から再構成される第一の訓練用画像を含んでおり、第二の訓練用画像が、ROIの第二の3D容積の同じ再構成平面から再構成され、ROIの第二の3D容積は、ROIの第一の3D容積の2倍量の投影データを含んでいる。方法の第九の例では、選択随意で第一から第八の例の1若しくは複数又は各々を含み、再構成平面は水平断再構成平面、矢状断再構成平面、及び冠状断再構成平面の一つである。方法の第十の例では、選択随意で第一から第九の例の1若しくは複数又は各々を含み、多次元統計回帰モデルは、第二のCT画像の繰り返し式補正をさらに精密化する付加的な非剛体位置合わせを行なう。方法の第十一の例では、選択随意で第一から第十の例の1若しくは複数又は各々を含み、第二のCT画像の繰り返し式補正を行なうステップは、第二のCT画像の被検体に特有の第一のCT画像の特徴を含めるように第二のCT画像を調節するステップをさらに含んでいる。方法の第十二の例では、選択随意で第一から第十一の例の1若しくは複数又は各々を含み、第二のCT画像は、事前画像制約付き圧縮型感知(PICCS)方法を用いて第一のCT画像の特徴を含めるように調節される。
本開示はまた、以下の方法の根拠を提供し、この方法は、高ピッチ・データセットから再構成される第一の計算機式断層写真法(CT)画像を得るステップと、第一のCT画像を、該第一のCT画像に基づいて第二のCT画像を出力するように訓練された訓練済み多次元統計回帰モデルに入力するステップであって、訓練済み多次元統計回帰モデルは、複数の訓練用CT画像対を含む訓練用データセットを用いて第一のCT画像を第二のCT画像へマッピングするように訓練され、各々の訓練用CT画像対が、低ピッチ・データセットから再構成される第一の訓練用CT画像と、低ピッチ・データセットから生成される擬似高ピッチ・データセットから再構成される第二の訓練用CT画像とを含んでいる、入力するステップと、最終CT画像を形成するように、第一のCT画像に基づいて第二のCT画像を繰り返し式で補正するステップと、最終CT画像を記憶し且つ/又は最終CT画像を表示用に出力するステップとを含んでいる。この方法の第一の例では、低ピッチ・データセットは、64スライスCTスキャナのコリメータにより被検体を走査することにより生成される投影データを含んでおり、コリメータは64列の検出器横列を有し、擬似高ピッチ・データセットは、コリメータの64列の検出器横列のうち32列の検出器横列から生成される低ピッチ・データセットの投影データを含んでいる。方法の第二の例では、選択随意で第一の例を含み、高ピッチ・データセットは、被検体を32スライスCTスキャナにより走査することにより取得される。方法の第三の例では、選択随意で第一及び第二の例の一方又は両方を含み、高ピッチ・データセットから再構成される第一のCT画像は、高ピッチ・データセットから再構成される3D画像容積から抽出された2DCT画像である。
本開示はまた、以下の画像処理システムの根拠を提供し、このシステムは、表示装置と、利用者入力装置と、訓練済み多次元統計回帰モデルと、表示装置、利用者入力装置、及び訓練済み多次元統計回帰モデルを記憶すると共に命令を含む非一過性メモリに連絡可能に結合されたプロセッサとを備えており、上述の命令は実行されると、第一段階では、高螺旋ピッチ投影データから被検体の関心領域(ROI)の第一の計算機式断層写真法(CT)画像を、高螺旋ピッチ投影データの欠落した投影データを埋めるように補間済みデータを用いて再構成し、第二段階では、訓練済み多次元統計回帰モデルを用いて、第一の画像よりも高品質を有する第二のCT画像を形成し、第三段階では、第一の画像に基づいて第二の画像を繰り返し式で補正して、表示装置を介して第二の画像を表示することをプロセッサに行なわせ、訓練済み多次元統計回帰モデルはニューラル・ネットワーク・アーキテクチャを有している。このシステムの第一の例では、高螺旋ピッチ投影データは、当該画像処理システムに連絡結合されたCTスキャナを介して取得される。システムの第二の例では、選択随意で第一の例を含み、訓練済み多次元統計回帰モデルは1又は複数の訓練用セットにより訓練され、該1又は複数の訓練用セットの各々が、複数の被検体からのROIの複数の画像対を含んでおり、該複数の画像対の各々が、低螺旋ピッチ・データセットから再構成される目標CT画像と、低ピッチ・データセットの部分集合から再構成される入力CT画像とを含んでおり、部分集合は低ピッチ・データセットのデータ量の半量を含んでいる。
本開示の様々な実施形態の要素について述べるに当たり、単数不定冠詞、定冠詞、「該」及び「前記」等の用語は、当該要素の1又は複数が存在することを意味するものとする。「第一」及び「第二」等の用語は、如何なる序列、量、又は重要性を表わすものでもなく、一つの要素を他の要素から区別するために用いられている。また「備えている(comprising)」、「含んでいる(including)」及び「有している(having)」の各用語は包括的であるものとし、所載の要素以外に付加的な要素が存在し得ることを意味する。「に接続されている」及び「に結合されている」等の用語が本書で用いられているときには、一方の対象(例えば材料、要素、構造、及び部材等)が他方の対象に接続又は結合されることができ、一方の対象が他方の対象に直接接続又は結合されているか、或いは一方の対象と他方の対象との間に1又は複数の介在対象が存在しているかを問わない。加えて、本開示の「一つの実施形態」又は「一実施形態」に対する参照は、所載の特徴を同様に組み入れている追加の実施形態の存在を排除すると解釈されるものではないことを理解されたい。
以上に示した任意の改変に加えて、本記載の主旨及び範囲から逸脱することなく他の多くの変形及び代替的な構成が当業者によって考案されることができ、また以下の特許請求の範囲はかかる改変及び構成を網羅するものとする。このように、最も実用的で好ましい観点と現状でみなされるものに関連して特定的且つ詳細に情報を上で記載したが、当業者には、限定しないが形態、機能、動作の態様、及び用法を含めた多くの改変が、本書に記載された原理及び概念から逸脱することなく行なわれ得ることが明らかとなろう。また、本書で用いられる場合に、実例及び実施形態は説明のみのためのものであって、如何なる態様でも限定するものと解釈されるべきではない。
100 CTシステム
102 ガントリ
104 X線源
106 X線ビーム
108 検出器アレイ
112 被検体
114 テーブル
200 イメージング・システム
202 検出器素子
204 被検体
206 回転中心
208 制御機構
214 データ取得システム(DAS)
232 表示装置
300 螺旋ピッチ・マッピング・システム
400 螺旋ピッチ・マッピング訓練システム
408 入力画像
410 目標画像
500 多次元統計回帰モデルを訓練する方法
600 訓練用データを生成する方法
700 多次元統計回帰モデルを訓練する方法
800 低品質CT画像から高品質CT画像を形成する方法
<FF>

Claims (20)

  1. 第一の螺旋ピッチで取得された投影データから第一の計算機式断層写真法(CT)画像を形成するステップと、
    前記第一のCT画像から第二のCT画像を形成するように訓練済み多次元統計回帰モデルを用いるステップであって、該多次元統計回帰モデルは、複数の入力CT画像と、第二の螺旋ピッチで取得された投影データから再構成される複数の目標CT画像であって、前記複数の入力CT画像に対応する複数の目標CT画像とにより訓練されており、前記第二の螺旋ピッチは前記第一の螺旋ピッチよりも小さ該多次元統計回帰モデルは、各入力CT画像と対応する目標CT画像との間の差の評価に基づいて誤差関数を最小化するように訓練される、用いるステップと、
    最終CT画像を形成するように前記第二のCT画像の繰り返し式補正を行なうステップとを備え
    前記多次元統計回帰モデルは、複数の画像再構成平面配向において同時に訓練が行われる、方法。
  2. 前記投影データの欠落データ点を補間及び補外して、フィルタ補正逆投影再構成、繰返し式再構成、及び深層学習画像再構成の一つに基づいて前記第一のCT画像を再構成することにより、前記第一の螺旋ピッチで取得された投影データから前記第一のCT画像を形成するステップをさらに含んでいる請求項1に記載の方法。
  3. 前記第一のCT画像は2.0のピッチでのCT走査から取得された不完全な投影データから再構成され、前記複数の目標CT画像は1.0のピッチでのCT走査から取得された完全な投影データから再構成される、請求項1に記載の方法。
  4. 前記複数の目標CT画像は、前記多次元統計回帰モデルを訓練することに先立って複数の標本群に範疇分けされた複数の被検体から取得され、前記複数の標本群の各々の標本群毎に異なる訓練用データセットが作成される、請求項1に記載の方法。
  5. 前記複数の被検体は、当該複数の被検体の一被検体の寸法に基づいて前記複数の標本群に範疇分けされる、請求項4に記載の方法。
  6. 前記訓練済み多次元統計回帰モデルはニューラル・ネットワークである、請求項1に記載の方法。
  7. 前記ニューラル・ネットワークは畳み込みニューラル・ネットワークである、請求項6に記載の方法。
  8. 前記ニューラル・ネットワークは、複数の画像対を含む訓練用データセットで訓練され、前記複数の画像対の各々が、前記複数の目標CT画像のそれぞれの目標CT画像と、対応する入力CT画像とを含んでおり、前記複数の目標CT画像の各々のそれぞれの目標CT画像が、前記第二の螺旋ピッチで取得されたそれぞれの低螺旋ピッチ投影データセットから再構成され、各々の対応する入力CT画像が、前記それぞれの低螺旋ピッチ投影データセットからの前記投影データの半量を含む擬似高螺旋ピッチ・データセットから再構成される、請求項6に記載の方法。
  9. 前記複数の画像対の各々が、関心領域(ROI)の第一の三次元(3D)容積の再構成平面のデータ点から再構成される第一の訓練用画像を含んでおり、第二の訓練用画像が、前記ROIの第二の3D容積の同じ再構成平面から再構成され、前記ROIの前記第二の3D容積は、前記ROIの前記第一の3D容積の2倍量の投影データを含んでいる、請求項8に記載の方法。
  10. 前記再構成平面は水平断再構成平面、矢状断再構成平面、及び冠状断再構成平面の一つである、請求項9に記載の方法。
  11. 前記多次元統計回帰モデルは、前記第二のCT画像の前記繰り返し式補正をさらに精密化する付加的な非剛体位置合わせを行なう、請求項1に記載の方法。
  12. 前記第二のCT画像の前記繰り返し式補正を行なうステップは、前記第二のCT画像の被検体に特有の前記第一のCT画像の特徴を含めるように前記第二のCT画像を調節するステップをさらに含んでいる、請求項1に記載の方法。
  13. 前記第二のCT画像は、事前画像制約付き圧縮型感知(PICCS)方法を用いて前記第一のCT画像の特徴を含めるように調節される、請求項12に記載の方法。
  14. 高螺旋ピッチ・データセットから再構成される第一の計算機式断層写真法(CT)画像を得るステップと、
    前記第一のCT画像を、該第一のCT画像に基づいて第二のCT画像を出力するように訓練された訓練済み多次元統計回帰モデルに入力するステップであって、前記訓練済み多次元統計回帰モデルは、複数の訓練用CT画像対を含む訓練用データセットを用いて前記第一のCT画像を前記第二のCT画像へマッピングするように訓練され、各々の訓練用CT画像対が、低螺旋ピッチ・データセットから再構成される第一の訓練用CT画像と、前記低螺旋ピッチ・データセットから生成される擬似高螺旋ピッチ・データセットから再構成される第二の訓練用CT画像とを含んでいる、入力するステップと、
    最終CT画像を形成するように、前記第一のCT画像に基づいて前記第二のCT画像を繰り返し式で補正するステップと、
    前記最終CT画像を記憶し且つ/又は前記最終CT画像を表示用に出力するステップとを備え
    前記訓練済み多次元統計回帰モデルは、複数の画像再構成平面配向において同時に訓練が行われたものである、方法。
  15. 前記低螺旋ピッチ・データセットは、64スライスCTスキャナのコリメータにより被検体を走査することにより生成される投影データを含んでおり、前記コリメータは64列の検出器横列を有し、前記擬似高螺旋ピッチ・データセットは、前記コリメータの64列の検出器横列のうち32列の検出器横列から生成される前記低螺旋ピッチ・データセットの投影データを含んでいる、請求項14に記載の方法。
  16. 前記高螺旋ピッチ・データセットは、被検体を32スライスCTスキャナにより走査することにより取得される、請求項14に記載の方法。
  17. 前記高螺旋ピッチ・データセットから再構成される前記第一のCT画像は、前記高螺旋ピッチ・データセットから再構成される3D画像容積から抽出された2DCT画像である、請求項14に記載の方法。
  18. 表示装置と、
    利用者入力装置と、
    訓練済み多次元統計回帰モデルと、
    前記表示装置、前記利用者入力装置、及び前記訓練済み多次元統計回帰モデルを記憶すると共に命令を含む非一過性メモリに連絡可能に結合されたプロセッサと
    を備えた画像処理システムであって、前記命令は実行されると、
    第一段階では、高螺旋ピッチ投影データから被検体の関心領域(ROI)の第一の計算機式断層写真法(CT)画像を、前記高螺旋ピッチ投影データの欠落した投影データを埋めるように補間済みデータを用いて再構成し、
    第二段階では、前記訓練済み多次元統計回帰モデルを用いて、前記第一のCT画像よりも高品質を有する第二のCT画像を形成し、
    第三段階では、前記第一のCT画像に基づいて前記第二のCT画像を繰り返し式で補正して、
    前記表示装置を介して前記第二のCT画像を表示する
    ことを前記プロセッサに行なわせ、前記訓練済み多次元統計回帰モデルはニューラル・ネットワーク・アーキテクチャを有しており
    前記訓練済み多次元統計回帰モデルは、複数の画像再構成平面配向において同時に訓練が行われたものである、画像処理システム。
  19. 前記高螺旋ピッチ投影データは、当該画像処理システムに連絡結合されたCTスキャナを介して取得される、請求項18に記載の画像処理システム。
  20. 前記訓練済み多次元統計回帰モデルは1又は複数の訓練用セットにより訓練され、該1又は複数の訓練用セットの各々が、複数の被検体からの前記ROIの複数の画像対を含んでおり、該複数の画像対の各々が、低螺旋ピッチ・データセットから再構成される目標CT画像と、前記低螺旋ピッチ・データセットの部分集合から再構成される入力CT画像とを含んでおり、前記部分集合は前記低螺旋ピッチ・データセットのデータ量の半量を含んでいる、請求項18に記載の画像処理システム
JP2022090558A 2021-06-17 2022-06-03 計算機式断層写真法画像再構成のためのシステム及び方法 Active JP7403585B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/350,906 US11908044B2 (en) 2021-06-17 2021-06-17 Systems and methods for computed tomography image reconstruction
US17/350,906 2021-06-17

Publications (2)

Publication Number Publication Date
JP2023001051A JP2023001051A (ja) 2023-01-04
JP7403585B2 true JP7403585B2 (ja) 2023-12-22

Family

ID=82358555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022090558A Active JP7403585B2 (ja) 2021-06-17 2022-06-03 計算機式断層写真法画像再構成のためのシステム及び方法

Country Status (4)

Country Link
US (1) US11908044B2 (ja)
EP (1) EP4105888A1 (ja)
JP (1) JP7403585B2 (ja)
CN (1) CN115496672A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117064446B (zh) * 2023-10-13 2024-01-12 山东大学 基于血管内超声的血管动态三维重建系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015009152A (ja) 2013-07-01 2015-01-19 株式会社東芝 医療画像処理装置および医用画像処理プログラム
US20170124732A1 (en) 2014-06-25 2017-05-04 Koninklijke Philips N.V. Ct imaging apparatus with sparse angular sampling
US20190073802A1 (en) 2017-09-05 2019-03-07 Cardiovascular Imaging Technologies, L.L.C. System and computer-implemented method for improving image quality
JP2019069145A (ja) 2017-10-06 2019-05-09 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理システム
JP2020068881A (ja) 2018-10-29 2020-05-07 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021029410A (ja) 2019-08-20 2021-03-01 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用情報処理プログラムおよびx線ct装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4639143B2 (ja) * 2005-11-30 2011-02-23 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー X線ct装置およびその制御方法
US8194937B2 (en) 2007-12-20 2012-06-05 Wisconsin Alumni Research Foundation Method for dynamic prior image constrained image reconstruction
EP2232446B1 (en) 2007-12-20 2013-04-17 Wisconsin Alumni Research Foundation Method for prior image constrained image reconstruction
JP5547655B2 (ja) 2008-01-14 2014-07-16 ウイスコンシン アラムナイ リサーチ ファウンデーシヨン 先行画像で制約する連続画像再構成の方法
EP2349008B1 (en) 2008-11-26 2015-02-25 Wisconsin Alumni Research Foundation Method for prior image constrained image reconstruction in cardiac cone beam computed tomography
US8280135B2 (en) * 2009-01-20 2012-10-02 Mayo Foundation For Medical Education And Research System and method for highly attenuating material artifact reduction in x-ray computed tomography
US8111893B2 (en) 2009-06-09 2012-02-07 Wisconsin Alumni Research Foundation Method for dynamic prior image constrained image reconstruction
US8204172B1 (en) 2010-03-17 2012-06-19 General Electric Company System and method of prior image constrained image reconstruction using short scan image data and objective function minimization
US8483463B2 (en) 2010-05-19 2013-07-09 Wisconsin Alumni Research Foundation Method for radiation dose reduction using prior image constrained image reconstruction
US8781243B2 (en) * 2011-01-07 2014-07-15 Wisconsin Alumni Research Foundation Method for constrained reconstruction of high signal-to-noise ratio images
US9076237B2 (en) * 2013-03-12 2015-07-07 Wisconsin Alumni Research Foundation System and method for estimating a statistical noise map in x-ray imaging applications
US9384566B2 (en) * 2013-03-14 2016-07-05 Wisconsin Alumni Research Foundation System and method for simulataneous image artifact reduction and tomographic reconstruction
US9208588B2 (en) * 2013-09-25 2015-12-08 Wisconsin Alumni Research Foundation Fast statistical imaging reconstruction via denoised ordered-subset statistically-penalized algebraic reconstruction technique
US9374565B2 (en) * 2014-11-06 2016-06-21 General Electric Company System and method for multi-material correction of image data
US10617365B2 (en) * 2016-11-16 2020-04-14 University Of Central Florida Research Foundation, Inc. System and method for motion estimation using artificial intelligence in helical computed tomography
JP2022509306A (ja) * 2018-11-30 2022-01-20 アキュレイ インコーポレイテッド イメージングにおける散乱評価および散乱補正を向上させるための方法および機器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015009152A (ja) 2013-07-01 2015-01-19 株式会社東芝 医療画像処理装置および医用画像処理プログラム
US20170124732A1 (en) 2014-06-25 2017-05-04 Koninklijke Philips N.V. Ct imaging apparatus with sparse angular sampling
US20190073802A1 (en) 2017-09-05 2019-03-07 Cardiovascular Imaging Technologies, L.L.C. System and computer-implemented method for improving image quality
JP2019069145A (ja) 2017-10-06 2019-05-09 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理システム
JP2020068881A (ja) 2018-10-29 2020-05-07 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021029410A (ja) 2019-08-20 2021-03-01 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用情報処理プログラムおよびx線ct装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hao Gong, et al.,Ultra-fast-pitch acquisition and reconstruction in helical CT,Proceedings Volume 11312, Medical Imaging 2020: Physics of Medical Imaging; 1131209,2020年,Vol. 11312,p. 1131209-1 to 1131209-7,[検索日:2023.07.10], <DOI: 10.1117/12.2549315>
HAYES, John W. et al.,High Pitch Helical CT Reconstruction,IEEE Transactions on Medical Imaging,2021年,Vol. 40, No. 11,p. 3077 - 3088,[検索日:2023.07.10], <DOI: 10.1109/TMI.2021.3083210>

Also Published As

Publication number Publication date
US11908044B2 (en) 2024-02-20
EP4105888A1 (en) 2022-12-21
JP2023001051A (ja) 2023-01-04
CN115496672A (zh) 2022-12-20
US20220405990A1 (en) 2022-12-22

Similar Documents

Publication Publication Date Title
US20220117570A1 (en) Systems and methods for contrast flow modeling with deep learning
US20130051516A1 (en) Noise suppression for low x-ray dose cone-beam image reconstruction
CN102236903B (zh) 通过迭代的图像重建在ct拍摄中提高时间分辨率
US10755407B2 (en) Systems and methods for capturing deep learning training data from imaging systems
US10679346B2 (en) Systems and methods for capturing deep learning training data from imaging systems
US11419566B2 (en) Systems and methods for improving image quality with three-dimensional scout
JP7199399B2 (ja) デュアルエネルギー撮像における自動管電位選択のためのシステムおよび方法
US9984476B2 (en) Methods and systems for automatic segmentation
Hayes et al. High pitch helical CT reconstruction
JP7403585B2 (ja) 計算機式断層写真法画像再構成のためのシステム及び方法
US20240029207A1 (en) Systems and methods for adaptive blending in computed tomography imaging
US10383589B2 (en) Direct monochromatic image generation for spectral computed tomography
CN112004471A (zh) 用于成像系统快捷模式的系统和方法
US11350895B2 (en) System and method for spectral computed tomography using single polychromatic x-ray spectrum acquisition
US20220375038A1 (en) Systems and methods for computed tomography image denoising with a bias-reducing loss function
US10552992B2 (en) Poly-energetic reconstruction method for metal artifacts reduction
US20230320688A1 (en) Systems and methods for image artifact mitigation with targeted modular calibration
US11270477B2 (en) Systems and methods for tailored image texture in iterative image reconstruction
WO2016186746A1 (en) Methods and systems for automatic segmentation
US20240029415A1 (en) Simulating pathology images based on anatomy data
EP4365828A1 (en) System and method for employing residual noise in deep learning denoising for x-ray imaging
US20240144470A1 (en) System and Method for Restoring Projection Data from CT/DBT Scans with Improved Image Quality
US20230048231A1 (en) Method and systems for aliasing artifact reduction in computed tomography imaging
WO2021252751A1 (en) Systems and methods for generating synthetic baseline x-ray images from computed tomography for longitudinal analysis
CN116250854A (zh) 用于基于先前成像数据的模拟放射学研究的方法和系统

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220607

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220728

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20230607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231212

R150 Certificate of patent or registration of utility model

Ref document number: 7403585

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150