JP7234064B2 - 反復的画像再構成フレームワーク - Google Patents

反復的画像再構成フレームワーク Download PDF

Info

Publication number
JP7234064B2
JP7234064B2 JP2019131542A JP2019131542A JP7234064B2 JP 7234064 B2 JP7234064 B2 JP 7234064B2 JP 2019131542 A JP2019131542 A JP 2019131542A JP 2019131542 A JP2019131542 A JP 2019131542A JP 7234064 B2 JP7234064 B2 JP 7234064B2
Authority
JP
Japan
Prior art keywords
image
denoising
sinogram
iterative
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019131542A
Other languages
English (en)
Other versions
JP2020036877A (ja
Inventor
リン・フウ
サティシュ・ラマニ
ジエ・タン
ブルーノ・クリスティアン・バーナード・デ・マン
ジェド・ダグラス・パック
ジアン・シェイ
ゲ・ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2020036877A publication Critical patent/JP2020036877A/ja
Application granted granted Critical
Publication of JP7234064B2 publication Critical patent/JP7234064B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/006Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/421Filtered back projection [FBP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/424Iterative
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/441AI-based methods, deep learning or artificial neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/444Low dose acquisition or reduction of radiation dose

Description

本明細書で開示される主題は、非侵襲的に取得されたスキャンデータを使用する画像の反復的再構成に関する。
非侵襲的撮像技術は、患者/対象物に侵襲的処置を実行することなく患者/対象物の内部構造または特徴の画像を得ることを可能にする。特に、そのような非侵襲的撮像技術は、データを取得し、画像を構成するか、あるいは患者/対象物の観察された内部特徴を表すために、様々な物理的原理(ターゲットボリュームを通過するX線の差動透過、ボリューム内の音波の反射、ボリューム内の異なる組織および材料の常磁性、体内のターゲット放射性核種の破壊など)に依存している。
非侵襲的に取得されたスキャンデータを使用した画像の再構成は、様々なタイプの再構成プロセスおよびアルゴリズムを使用して実行することができる。すべての再構成プロセスおよびアルゴリズムは、計算効率、患者線量、スキャン速度、画像品質、およびアーチファクトの間など、様々なトレードオフの影響を受ける。
例として、コンピュータ断層撮影(CT)画像は、X線の量子的性質および検出器読み出しノイズのために画像ノイズを受ける可能性がある。そのような画像は、有限の焦点サイズ、検出器のセルサイズ、および再構成プロセスを含む、いくつかの要因によって空間分解能に関して制限されている。放射線量が増加するか、または空間分解能が増加すると、画像ノイズが増加する。したがって、所与の放射線量に対して画像ノイズを最小限に抑え、空間分解能を最大限にすることが望ましい。再構成プロセスが低コントラストの細部を保存すること、および再構成プロセスが計算上効率的であることもまた、重要である。
米国特許出願公開第20180174335A1号
本明細書に開示されている特定の実施形態の概要を、以下に記載する。これらの態様は、単にこれらの特定の実施形態の簡単な要約を読者に提供するために提示されており、これらの態様は、本開示の範囲を限定することを意図していないことを理解されたい。実際、本開示は、以下に記載されていない可能性がある様々な態様を包含し得る。
一実施形態では、画像を再構成するための方法が提供される。この実施形態によれば、サイノグラム入力が受信される。1つまたは複数の中間サイノグラムは、サイノグラム入力から、またはサイノグラム入力から生成された1つまたは複数の中間画像から生成される。1つまたは複数の中間サイノグラムは、反復的に処理される。反復的処理は、反復的ループの出力を反復的ループへの入力と比較する少なくとも反復的データフィット操作を実行することを含む。データフィット操作に加えて、ノイズ除去操作が実行される。ノイズ除去操作は、訓練された人工ニューラルネットワークを使用して実行される。反復的処理が完了すると、最終画像が再構成され、検討、記憶、またはさらなる処理のために出力される。
さらなる実施形態では、画像を再構成するための方法が提供される。この実施形態によれば、サイノグラム入力が受信される。サイノグラム入力の初期再構成または複数の部分再構成が実行され、中間画像または複数の中間画像を生成する。1つまたは複数の中間画像、または1つまたは複数の中間画像の変換が反復的に処理される。反復的処理は、反復的ループの出力を反復的ループへの入力と比較する少なくとも反復的データフィット操作を実行することを含む。データフィット操作に加えて、ノイズ除去操作が実行される。ノイズ除去操作は、訓練された人工ニューラルネットワークを使用して実行される。反復的処理が完了すると、最終画像が再構成され、検討、記憶、またはさらなる処理のために出力される。
追加の実施形態では、画像を再構成するための方法が提供される。この実施形態によれば、サイノグラム入力が受信される。第1のノイズ除去操作は、第1の訓練された人工ニューラルネットワークを使用してサイノグラム入力に対して実行される。サイノグラム入力は、1つまたは複数の再構成された画像を生成するために再構成される。第2のノイズ除去操作は、第2の訓練された人工ニューラルネットワークを使用して画像ドメインで実行される。反復的処理が完了すると、最終画像が検討、記憶、またはさらなる処理のために出力される。
本発明のこれらおよび他の特徴、態様、および利点は、添付の図面を参照しながら以下の詳細な説明を読解すればより良好に理解され、添付の図面においては、図面全体を通して同一の符号は同一の部分を表している。
本開示の態様による、深層学習モデルを訓練するための人工ニューラルネットワークの一例を示す図である。 本開示の態様による、コンピュータ断層撮影(CT)撮像システムの構成要素を示すブロック図である。 本開示の態様による、データフィット操作およびノイズ除去を含む画像再構成プロセスフローの一般化された実施態様を示す図である。 本開示の態様による、対応する残差誤差サイノグラムと共に従来の情報保存フィルタ補正逆投影を使用して再構成された画像を示す図である。 本開示の態様による、反復的ループ内で並列に行われるデータフィット操作およびノイズ除去を含む画像再構成プロセスフローの一実施態様を示す図である。 本開示の態様による、反復的ループ内で直列に行われるデータフィット操作およびノイズ除去を含む画像再構成プロセスフローの一実施態様を示す図である。 本開示の態様による、反復的ループ内のデータフィット操作および別個のノイズ除去操作を含む画像再構成プロセスフローの一実施態様を示す図である。 本開示の態様による、フーリエドメインデータを含み、かつ反復的ループ内で直列に行われるデータフィット操作およびノイズ除去を含む画像再構成プロセスフローの一実施態様を示す図である。 本開示の態様による、画像ドメインで操作する反復的ループ内で直列に行われるデータフィット操作およびノイズ除去を含む画像再構成プロセスフローの一実施態様を示す図である。 本開示の態様による、データフィット操作およびノイズ除去を含む画像再構成プロセスフローの一般化された実施態様を示す図である。 本開示の態様による、サイノグラムリビニング操作を含み、かつデータフィット操作およびノイズ除去を含む画像再構成プロセスフローの一般化された実施態様を示す図である。 本開示の態様による、フィルタ補正逆投影を使用して再構成された画像の一例を示す図である。 本開示の態様による、フィルタ補正逆投影およびサイノグラムドメインノイズ除去を使用して再構成された画像の一例を示す図である。 本開示の態様による、フィルタ補正逆投影、サイノグラムドメインノイズ除去、および画像ドメインノイズ除去を使用して再構成された画像の一例を示す図である。 本開示の態様による、情報保存フィルタ補正逆投影、サイノグラムドメインノイズ除去、画像ドメインノイズ除去、およびデータフィット操作を使用して再構成された画像の一例を示す図である。
1つまたは複数の具体的な実施形態を、以下に記載する。これらの実施形態の簡潔な説明を提供しようと努力しても、実際の実施態様のすべての特徴を本明細書に記載することができるというわけではない。エンジニアリングまたは設計プロジェクトなどの実際の実施態様の開発においては、開発者の特定の目的を達成するために、例えばシステム関連および事業関連の制約条件への対応など実施態様に特有の決定を数多くしなければならないし、また、これらの制約条件は実施態様ごとに異なる可能性があることを理解されたい。さらに、このような開発努力は、複雑で時間がかかるが、それでもなお本開示の利益を有する当業者にとっては、設計、製作、および製造の日常的な仕事であることを理解されたい。
以下の議論の態様は医療撮像の場面で提供されるが、開示される技術は、そのような医療の場面に限定されないことを理解されたい。実際に、このような医療の場面における例および説明の提供は、現実の実施態様および用途の事例を提供することによって説明を容易にすることに過ぎない。しかしながら、開示される技術は、製造された部品または商品の非破壊検査(すなわち、品質管理または品質検討用途)で使用される工業用コンピュータ断層撮影(CT)用の反復的断層撮影画像再構成、および/または包装、箱、荷物などの非侵襲的検査(すなわち、セキュリティまたはスクリーニング用途)など、他の場面でも利用することができる。一般に、本開示は、取得されたデータのセットまたはタイプが再構成プロセスを経て画像またはボリュームを生成する、任意の撮像またはスクリーニングの場面または画像処理分野において有用であり得る。
さらに、以下の議論は標準画像または画像ボリュームに焦点を合わせているが、スキャンの異なる態様に対応する画像のセットまたは画像ボリュームにも同じアプローチを適用することができることを理解されたい。例えば、スペクトルCTは、異なるエネルギーでの単色画像および基底材料分解画像を含む画像のセットを発生する。あるいは別の例として、動的CTまたはPETは、異なる時点で画像のセットを発生する。本発明は、他のものと同様にこれらのセットまたはタイプの画像に適用することができる。
さらに、CTおよびCアームの例が本明細書で主に提供されているが、開示される技術は、反復的断層撮影再構成プロセスが用いられる他の撮像モダリティの場面で使用され得ることを理解されたい。例えば、本明細書に記載のアプローチは、限定はしないが、陽電子放出断層撮影(PET)スキャナ、単一光子放出コンピュータ断層撮影(SPECT)スキャナ、および/または磁気共鳴撮像(MRI)スキャナを含む他のタイプの断層撮影スキャナによって取得されたデータに用いることもできる。
一例として、X線CT(例えば、マルチスライスCT)およびX線Cアームシステム(例えば、コーンビームCT)のようないくつかの撮像モダリティは、スキャンされる対象物または患者の投影を測定し、投影は、技術に応じて、ラドン変換データ、ファンビーム変換データ、コーンビーム変換データ、または不均一フーリエ変換に対応する。他の場面では、スキャンデータは、磁場およびRFパルスに応じて生成された放出タイプデータ(例えば、PETまたはSPECTデータ)または磁気共鳴データ(例えば、MRIデータ)であり得る。反復的断層撮影再構成アルゴリズムならびに関連する補正および較正アルゴリズムは、生の測定値から有用な断面画像または体積測定画像を生成するためにこれらの撮像モダリティと共に用いられる。
従来の再構成技術は、典型的には、直接再構成(明示的な反転ステップを実施する)または最適化ベースの再構成(コスト関数を反復的に最適化する)として特徴付けることができる再構成アルゴリズムを使用する。直接再構成アプローチは、比較的高速であるが、ノイズおよび特定のアーチファクトを抑制する効率的な方法を欠いている。最適化ベースの再構成アプローチは、改善されたノイズ低減を提供し、分析的に容易に反転されない物理学効果をフォワードモデルに組み込むことができるが、そのようなアプローチは比較的計算コストがかかる。
本明細書で論じられるように、本開示は、ノイズ低減、空間分解能、細部保存および計算上の複雑さに関して好ましい特性を有する画像再構成に関する。開示される技術は、3つの異なる態様、すなわち第1パス再構成、単純化されたデータフィット項、および深層学習ノイズ除去装置のいくつかまたはすべてを含み得る。本明細書で使用されるとき、「データフィット」という用語は、測定されたデータ(例えば、サイノグラム)との推定解または変数のセット(例えば、再構成された画像)の一貫性のレベルを定義する再構成コスト関数の用語を意味すると理解され得る。例えば、データフィット項は、測定されたサイノグラムと推定された再構成された画像の再投影との間の加重最小二乗誤差であり得る。データフィット操作の計算上の複雑さを低減するため、または画像品質を改善するために、「データフィット操作」はまた、推定解または変数のセット(例えば、再構成された画像)の一貫性のレベルを、本明細書で論じるような測定されたデータの変換と定義することができる(例えば、測定されたデータからの初期再構成の再投影)。したがって、本明細書で使用される「データフィット操作」または「データフィット更新」は、推定解の反復的更新を指すと理解されてもよく、反復的更新は、推定解の測定されたデータとの一貫性、または間接的に測定されたデータの変換を強化するように設計されている。このアプローチによれば、直接再構成アプローチの単純さは、データフィット項の統計的利益と共に、深層学習のノイズ低減能力と共に得ることができる。加えて、様々な実施態様では、本開示は、本明細書で論じるように、第1パス再構成ステップを組み込むことなどによって、異なるCTプラットフォームに容易に移植可能である。
前述の序論的なコメントを念頭に置いて、本開示の一般的な文脈を示すため、ならびに本明細書に記載の特定の技術的概念の理解および説明を容易にするためのいくつかの一般化された情報が提供される。
例えば、上述のように、画像のノイズ除去に関して深層学習アプローチを用いることができる。本明細書で論じる深層学習ノイズ除去ステップは、残差ネットワーク、生成的敵対ネットワーク、または別の損失ネットワークに基づくアプローチを含み得る。特定の実施態様では、そのような深層学習アプローチは、CT、PET、SPECT、Cアーム、位相差、およびMR画像などの断層撮影画像を生成するために使用される再構成プロセスの一部として、このノイズ除去の役割においてニューラルネットワークを利用し得る。本明細書で論じるニューラルネットワークは、深層ニューラルネットワーク、完全接続ネットワーク、畳み込みニューラルネットワーク(CNN)、パーセプトロン、オートエンコーダ、リカレントネットワーク、ウェーブレットフィルタバンクベースのニューラルネットワーク、または他のニューラルネットワークアーキテクチャを包含し得る。これらの技術は、本明細書では深層学習技術と呼ばれるが、この専門用語は、特に複数の層を有するニューラルネットワークである深層ニューラルネットワークの使用に関しても使用され得る。
本明細書で論じるように、深層学習技術(深層機械学習、階層型学習、または深層構造学習として知られていてもよい)は、データの数学的表現および学習のための人工ニューラルネットワークを用いる機械学習技術の一分野である。例として、深層学習アプローチは、対象のタイプのデータの高レベルの抽象化を抽出またはモデル化するためのそれらの1つまたは複数のアルゴリズムの使用によって特徴付けられ得る。これは、1つまたは複数の処理層を使用して達成され得、各層は、典型的には、異なる抽象化のレベルに対応するため、所与の層のプロセスまたはアルゴリズムのターゲットとして、前の層の初期データまたは出力(すなわち、層の階層またはカスケード)の異なる態様を潜在的に用いるかまたは利用する。画像処理または再構成の場面では、これはデータの異なる特徴レベルまたは分解能に対応する異なる層として特徴付けられることがある。
一般に、1つの表現空間から次のレベルの表現空間への処理は、再構成プロセスの1つの「段階」と見なすことができる。再構成の各段階は、別個のニューラルネットワークによって、または1つのより大きなニューラルネットワークの異なる部分によって実行することができる。例えば、本明細書で論じるように、単一の深層学習ネットワークを使用し、再構成プロセスにおけるステップとして画像のノイズ除去を提供することができる。
本明細書で論じるように、特定の問題を解決するための深層学習プロセスの初期訓練の一部として、既知の初期値(例えば、入力画像、投影データ、放出データ、磁気共鳴データなど)、および深層学習プロセスの最終出力(例えば、ノイズ除去された断面画像または体積測定表示などの再構成された断層撮影再構成)のための既知または所望の値を有する訓練データセットを用いることができる。単一の段階の訓練は、1つの表現空間に対応する既知の入力値と、次のレベルの表現空間に対応する既知の出力値とを有することができる。このようにして、深層学習アルゴリズムは、初期データと所望の出力との間の数学的関係が識別されるまで、および/または各層の入力と出力との間の数学的関係が識別され特徴付けられるまで、既知のデータセットまたは訓練データセットを(教師付きまたはガイド付きの方法で、あるいは教師なしまたはガイドなしの方法で)処理することができる。同様に、初期ターゲット値と所望のターゲット値の両方が分かっている別個の検証データセットを用いることができるが、初期値だけが訓練された深層学習アルゴリズムに供給され、次に、前の訓練を検証し、かつ/または過剰訓練を防止するために、出力を深層学習アルゴリズムの出力と比較する。
前述のことを念頭に置いて、図1は、本明細書で論じるように、深層学習モデルとして訓練することができる人工ニューラルネットワーク50の一例を概略的に示す。この例では、ネットワーク50は多層であり、訓練入力52と、入力層54、隠れ層58A、58Bなどを含む複数の層とを有し、出力層60および訓練ターゲット64は、ネットワーク50に存在する。各層は、この例では、複数の「ニューロン」またはノード56からなる。ニューロン56の数は、層の間で一定であってもよく、または図示のように層ごとに異なってもよい。各層のニューロン56は、次の階層のニューロン56への入力として働くそれぞれの出力を生成する。実際には、バイアスを追加した入力の加重和を計算し、整流線形単位(ReLU)、シグモイド関数、双曲線正接関数、または他の方法で指定またはプログラムされたものなどの活性化関数に従って層の各それぞれのニューロンを「励起」または「活性化」する。最終層の出力は、ターゲット画像64と関連して、いくつかの損失または誤差関数62を計算するために使用されるネットワーク出力60(例えば、予測された画像)を構成し、損失または誤差関数62は、ネットワーク訓練をガイドするために逆伝搬される。
損失または誤差関数62は、ネットワーク出力(すなわち、ノイズ除去された画像)と訓練ターゲットとの間の差を測定する。特定の実施態様では、損失関数は、ボクセルレベルの値または部分線積分値の平均二乗誤差(MSE)であり得、および/または画像勾配または他の画像統計などの他の画像特徴を含む差を説明し得る。あるいは、損失関数62は、ソフトマックス関数のような、問題の特定のタスクに関連した他のメトリクスによって定義することができる。
深層学習技術を使用した本断層撮影再構成アプローチの説明を容易にするために、本開示は、CTまたはCアームシステムとの関連でこれらのアプローチを主に論じる。しかしながら、以下の議論は、限定はしないが、PET、SPECT、マルチスペクトルCT、位相コントラスト撮像、およびMRIを含む他の画像モダリティおよびシステム、ならびに断層撮影再構成が画像を再構成するために用いられる非医療的な場面または任意の場面にも適用可能であり得ることを理解されたい。
これを念頭に置いて、撮像システム110(すなわち、スキャナ)の一例を図2に示す。図示の例では、撮像システム110は、患者(または他の対象の被検体もしくは対象物)の周りの様々なビューでスキャンデータ(例えば、X線減衰データ)を取得するように設計され、断層撮影再構成技術を使用して画像再構成を実行するのに適したCT撮像システムである。図2に示す実施形態では、撮像システム110は、コリメータ114に隣接して配置されたX線放射源112を含む。X線源112は、X線管、分散型X線源(固体または熱イオンX線源など)、または医療もしくは他の画像の取得に適した任意の他のX線放射源であってもよい。逆に、PETまたはSPECTの実施形態では、トロイダル放射検出器を設けることができ、放射性トレーサが放射源として使用される。MRIの場合、測定値は、フーリエ空間内のサンプルであり、ニューラルネットワークへの入力として直接適用することができるか、または最初にサイノグラム空間内の線積分に変換することができる。
図示の例では、コリメータ114は、患者/対象物118が配置される領域に入るX線ビーム116を整形または制限する。図示の例では、X線116は、撮像されたボリュームを通過する円錐形ビーム、すなわち、コーンビームになるようにコリメートされている。X線放射120の一部は、患者/対象物118(または他の対象の被検体)を通過するかまたはその周りを通過し、全体として参照番号122で表される検出器アレイに衝突する。アレイの検出器素子は、入射X線120の強度を表す電気信号を発生する。これらの信号は、取得され処理されて患者/対象物118内の特徴の画像を再構成する。
線源112は、次のスキャンプロトコルのために患者/対象物内の対象の解剖学的構造を識別するために使用される二次元ローカライザまたはスカウト画像の取得を含む、CT検査シーケンス用の電力と制御信号の両方を供給するシステムコントローラ124によって制御される。図示の実施形態では、システムコントローラ124は、システムコントローラ124の構成要素とすることができるX線コントローラ126を介して線源112を制御する。そのような実施形態では、X線コントローラ126は、電力およびタイミング信号をX線源112に提供するように構成されてもよい。
さらに、検出器122は、システムコントローラ124に結合され、システムコントローラ124は、検出器122で生成された信号の取得を制御する。図示の実施形態では、システムコントローラ124は、データ取得システム128を使用して検出器によって生成された信号を取得する。データ取得システム128は、検出器122の読み出し電子回路によって収集されたデータを受信する。データ取得システム128は、検出器122からサンプリングされたアナログ信号を受信し、後述するプロセッサ130による後の処理のためにデータをデジタル信号に変換することができる。あるいは、他の実施形態では、デジタル-アナログ変換は、検出器122自体に設けられている回路によって実行することができる。システムコントローラ124はまた、ダイナミックレンジの初期調整、デジタル画像データのインターリーブなどのために、取得した画像信号に対して様々な信号処理およびフィルタ処理機能を実施することができる。
図2に示す実施形態では、システムコントローラ124は、回転サブシステム132および線形位置決めサブシステム134に結合される。回転サブシステム132は、X線源112、コリメータ114および検出器122が、主に患者の周りのx、y平面内で回転するなど、患者/対象物118の周りで1回または複数回旋回することを可能にする。回転サブシステム132は、ガントリまたはCアームを含むことができ、その上にそれぞれのX線放出および検出構成要素が配置されることに留意されたい。したがって、そのような実施形態では、システムコントローラ124を利用してガントリまたはCアームを操作することができる。
線形位置決めサブシステム134は、ガントリの回転に対してz方向になど、患者/対象物118、より具体的には患者を支持するテーブルをCTシステム110のボア内で変位させることを可能にすることができる。したがって、テーブルをガントリ内で(連続的または段階的な方法で)直線的に移動させ、患者118の特定のエリアの画像を生成することができる。図示の実施形態では、システムコントローラ124は、モータコントローラ136を介して回転サブシステム132および/または線形位置決めサブシステム134の移動を制御する。
一般に、システムコントローラ124は、撮像システム110の操作を命令し(上述した線源112、検出器122、および位置決めシステムの操作などを介して)、検査プロトコルを実行し、取得したデータを処理する。例えば、システムコントローラ124は、上述のシステムおよびコントローラを介して、対象の被検体の周りで線源112および検出器122を支持するガントリを回転させ、被検体に対して1つまたは複数のビューでX線減衰データを取得することができる。本場面では、システムコントローラ124はまた、信号処理回路、コンピュータによって実施されるプログラムおよびルーチン(本明細書に記載の断層撮影再構成技術を実行するためのルーチンなど)、ならびに設定パラメータ、画像データなどを記憶するための関連するメモリ回路を含むことができる。
図示の実施形態では、システムコントローラ124によって取得され処理された画像信号は、ここで開示されるアルゴリズムに従って画像を再構成するために処理構成要素130に提供される。処理構成要素130は、1つまたは複数の汎用または特定用途向けマイクロプロセッサとすることができる。データ取得システム128によって収集されたデータは、直接またはメモリ138に記憶された後に処理構成要素130に送信されてもよい。データを記憶するのに適した任意のタイプのメモリを、そのような例示的なシステム110によって利用することができる。例えば、メモリ138は、1つまたは複数の光学的、磁気的、および/または固体のメモリ記憶構造を含み得る。さらに、メモリ138は、取得システムサイトに位置してもよいし、かつ/または後述するように、データ、処理パラメータ、および/もしくは断層撮影画像再構成のためのルーチンを記憶するための遠隔記憶装置を含んでもよい。
処理構成要素130は、典型的にはキーボードおよび/または他の入力装置を備えたオペレータワークステーション140を介してオペレータから命令およびスキャンパラメータを受信するように構成されてもよい。オペレータは、オペレータワークステーション140を介してシステム110を制御することができる。したがって、オペレータは、オペレータワークステーション140を使用して再構成された画像を観察し、かつ/またはシステム110を操作することができる。例えば、オペレータワークステーション140に結合されたディスプレイ142を利用し、再構成された画像を観察して撮像を制御することができる。加えて、画像はまた、オペレータワークステーション140に結合され得るプリンタ144によって印刷されてもよい。
さらに、処理構成要素130およびオペレータワークステーション140は、他の出力装置に結合することができ、他の出力装置は、標準または専用のコンピュータモニタおよび関連する処理回路を含むことができる。1つまたは複数のオペレータワークステーション140は、システムパラメータを出力すること、検査を要求すること、および画像を閲覧することなどのために、システムにさらにリンクすることができる。一般に、ディスプレイ、プリンタ、ワークステーション、およびシステム内で供給される類似の装置は、データ取得構成要素の場所にあってもよいし、あるいは、施設もしくは病院内の他の場所、またはまったく異なる場所など、これらの構成要素から離れた、1つまたは複数の構成可能なネットワーク、例えばインターネット、バーチャルプライベートネットワークなどを介して画像取得システムにリンクされた場所にあってもよい。
オペレータワークステーション140はまた、医療用画像管理システム(PACS)146に結合されてもよいことにさらに留意されたい。次いでPACS146は、遠隔クライアント148、放射線科情報システム(RIS)、病院情報システム(HIS)または内部もしくは外部のネットワークに結合することができ、そのようにして様々な場所の第三者が生のまたは処理された画像データにアクセスすることができる。
前述の議論は撮像システム110の様々な例示的な構成要素を別個に扱ってきたが、これらの様々な構成要素は、共通のプラットフォーム内または相互接続されたプラットフォーム内に設けることができる。例えば、処理構成要素130、メモリ138、およびオペレータワークステーション140は、本開示の態様に従って操作するように構成された汎用または専用のコンピュータまたはワークステーションとして集合的に設けられてもよい。そのような実施形態では、汎用または専用のコンピュータは、システム110のデータ取得構成要素に関して別個の構成要素として設けられてもよく、またはそのような構成要素と共通のプラットフォームに設けられてもよい。同様に、システムコントローラ124は、そのようなコンピュータまたはワークステーションの一部として、または画像取得専用の別個のシステムの一部として設けることができる。
図2のシステムは、スキャンデータを使用して撮像された領域の画像を再構成するために、患者の対象の領域に関する様々なビューについてのX線投影データ(または他のモダリティ用の他のスキャンデータ)を取得するために利用され得る。撮像システム110などのシステムによって取得された投影(または他の)データは、断層撮影再構成を実行するために本明細書で論じるように再構成することができる。
前述の背景および文脈の議論を念頭に置いて、本開示は、ノイズ低減、空間分解能、細部保存および計算上の複雑さに関して好ましい特性を有する画像再構成アプローチに関する。開示される技術は、3つの異なる態様、すなわち第1パス再構成、単純化されたデータフィット項、および画像ドメイン深層学習ノイズ除去装置のいくつかまたはすべてを含み得る。このアプローチによれば、直接再構成アプローチの単純さは、データフィット項の統計的利益と共に、深層学習のノイズ低減能力と共に得ることができる。加えて、様々な実施態様では、開示される技術は、本明細書で論じるように、第1パス再構成ステップを組み込むことなどによって、異なるCTプラットフォームに容易に移植可能である。
例示として、図3を参照すると、一般化された実施態様では、測定されたサイノグラム190は、最初に様々な任意の前処理ステップ192を経ることができる。例えば、光子欠乏の場面では、サイノグラム処理は、画像ドメインで対処するのがより困難なアーチファクトを生じさせる可能性がある、サイノグラム190に存在する低信号アーチファクトを除去するか、そうでなければ補正することを含み得る。同様に、ビーム硬化補正または散乱補正もまた、前処理ステップ192の一部として実行することができる。
第1パス再構成194は、サイノグラム190を中間画像198(または画像ボリューム)に変換し、中間画像198は次に、最終画像208を発生するために、データフィット操作202と深層学習ノイズ除去操作204の一方または両方を含む反復的プロセスなどの反復的処理ステップへの入力として使用される。図示の例では、データフィットおよびノイズ除去操作は並列に実行されるが、あるいはそれらは直列に実行されてもよい。
本明細書で使用されるとき、データフィット操作202または比較は、モデルベースの反復的再構成(MBIR)で実行されるデータフィット操作と同様である。しかしながら、MBIR操作とは異なり、本データフィット操作202および/または更新は、元の測定されたデータとは対照的に、最新の反復の出力および中間再構成またはサイノグラム(例えば、中間画像198)に対して実行される比較および更新ステップに対応する。実際には、データフィット操作202は、初期状態の画像またはデータ、ここでは初期中間画像198を参照することによって空間分解能を保持するのに役立つ。データフィット操作202はまた、統計的モデル化を適用することを可能にし、それによってプロセスの空間分解能と統計的効率の両方を改善する。
一実施形態では、第1パス再構成194は、フィルタ補正逆投影法(FBP)、または一実施態様では、情報保存フィルタ処理逆投影再構成(IPFBP)などの分析的再構成である。フィルタ補正逆投影は、典型的には、最適化された画像品質または人間の観察者によるタスク性能のために画像ノイズを抑制するが、測定されたサイノグラム190に関する空間分解能または情報を失うという犠牲を払う。本明細書で使用されるIPFBP再構成に関して、そのような再構成は、分解能の損失を回避または低減するように、すなわち、測定されたサイノグラム190に存在する情報を保存するように設計または構成されたFBP再構成のタイプである。FBPと比較して、IPFBPは、より小さいボクセルサイズ(例えば、512×512画像マトリックスとは対照的に1024×1024または2048×2048画像マトリックスを使用する)、ハイパスカーネル(例えば、標準ランプフィルタと比較して特定の周波数を増幅するか、周波数を選択する)、および/またはサイノグラムのフィルタリングまたは逆投影のためのより高いアップサンプリング比(例えば、フィルタリングおよび逆投影中にサイノグラムを2~4倍にアップサンプリングする)を有してもよい。例えば、再構成カーネルは、FBP再構成の再投影と測定されたサイノグラム190との間の誤差を最小限に抑えるように経験的に定義され得る。そのようなIPFBP再構成は、人間の検討者による直接の検討とは対照的に、後のステップにおける(例えば、訓練されたニューラルネットワークによる)非人間の分析または処理のために最適化されてもよい。
例として、図4を参照すると、標準FBP(左側)対IPFBPアルゴリズムによって再構成された画像の間の視覚的比較が提供され、これは本明細書で論じるように第1パス再構成194として使用され得る。図示の例では、512×512再構成グリッド、標準フィルタカーネルを使用して、かつ逆投影前の検出器データのアップサンプリングを行わずに標準FBP再構成を実行した。対照的に、IPFBP再構成は、1024×1024再構成グリッド、高分解能フィルタカーネル(すなわち、FBP再構成の再投影と測定されたサイノグラムとの間の誤差を最小限に抑えることによって設計された高分解能フィルタカーネル)、および逆投影前の検出器データの4倍アップサンプリングを使用した。図示の標準FBP画像220はより低いノイズレベルおよびより滑らかな外観を有するが、図示のIPFBP画像222は、IPFBP画像においてのみ見ることができる高分解能の特徴によって証明されるように、より多くの情報を含む。各再構成についてのそれぞれの残差誤差サイノグラム224、226もまた比較のために示されており、これはIPFBP再構成において得られた残差誤差の相対的な減少をさらに示している。
図5、図6、および図7を参照すると、特定の実施形態では、サイノグラム処理ステップ192は、画像ドメインで実行されるノイズ除去ステップ204とは異なるサイノグラムノイズ除去ステップ230(例えば、訓練されたニューラルネットワークまたは畳み込みニューラルネットワークを使用して実行される深層学習サイノグラムノイズ除去ステップ)であってもよく、または含んでもよい。投影ドメインにおいて実行されるそのようなサイノグラムノイズ除去ステップ230は、サイノグラム190の最低信号部分に主に適用することができる。サイノグラム190のそのような低信号部分へのこの優先的な適用は、重み付け関数によって明示的に、または深層学習ノイズ除去ネットワークによって暗黙的に達成することができる。
図5~図7に示すように、特定の実施形態では、データフィット操作202は、中間サイノグラム236を生成するために、第1パス再構成の再投影(再投影ステップ234)を使用して実行されるデータフィット更新232の形をとることができる(すなわち、データフィット項は、フィルタ補正逆投影238によって生成された中間画像198に基づく)。次に、この中間サイノグラム236は、最適なノイズ挙動のための対応する統計的重みを用いるなど、反復的再構成更新ステップ(すなわち、反復的プロセスに対する正規化項として働くことができる深層学習ベースのノイズ除去を伴うデータフィット更新232)への入力として用いることができる。
特定の実施態様では、再投影操作234は、例えば、再投影タスクをより小さい部分に分割することによって、計算効率を改善するために異なるステップまたは時間で中間画像198の異なる部分(すなわち、中間画像198の限られた部分)に対して実行され得る。再投影ステップ234は、二次元並列ビームまたはファンビームもしくはファン並列ビームの再投影、ならびに元のサイノグラム190を取得するために使用される取得ジオメトリおよび/またはビューの数と比較して減少したビューの数に単純化され得る。再投影ステップ234はまた、初期スキャンデータを取得するために実際に用いられたものとは異なる仮想線源軌道および/または検出器位置(スキャナに設置された物理的線源および検出器では実用的または可能ではない仮想線源軌道および/または検出器位置を含む)で実行することができる。このようにして、計算効率および画像品質改善を含む、様々な利益を得ることができる。例えば、線源軌道の回転軸は、物理的回転軸に対してオフセットされていても斜めでもよい。
様々な実施形態では、フィルタ補正逆投影238および中間画像198はまた、後の再投影ステップ234の目的に十分な(診断品質または従来の分解能再構成とは対照的に)部分的な角度範囲にわたるなど、単純化された部分再構成であり得る。例えば、中間画像198は、再投影光線の対応する方向に沿ってより大きい画素サイズを有する制限された角度再構成のセットであり得る。そのような実施態様では、第1パス再構成(例えば、FBP238)と再投影ステップ234の両方の計算コストを削減することができる。様々なそのような実施形態では、異なる投影角度に対応する複数の中間画像または中間サイノグラムを生成することができる。
図5~図7は、データフィット操作(例えば、データフィット更新232)およびノイズ除去操作(例えば、深層学習ノイズ除去204)が調整される方法が異なる。理解され得るように、これらの操作は、様々な置換で実行されかつ組み合わされてもよく、そのうちの3つの例が図5~図7に示されている。しかしながら、他のプロセスフローおよびステップの組合せが企図されそして本議論により包含されることが理解されるべきである。
図5に関して、この例示的なプロセスフローでは、深層学習ノイズ除去操作204は、反復的ループ内で並列にデータフィット更新232と組み合わされ(ステップ240)、それによりループの各反復は、設定された反復回数が実行されるか、または何らかの他の完了閾値(例えば、コスト関数)が満たされるまで、次の反復のためにそれぞれのデータフィット更新232およびノイズ除去操作204に入力される再構成された画像242を生成し、その時点で、最新の再構成された画像242は、最終画像208である。
図6を参照すると、この例示的なプロセスフローでは、深層学習ノイズ除去操作204は、反復的ループ内で順次にデータフィット更新232と組み合わされ(ステップ240)、それによりそれぞれの反復によって生成された対応する再構成された画像242は、設定された反復回数が実行されるか、または何らかの他の完了閾値(例えば、コスト関数)が満たされるまで、次の反復のためにそれぞれのデータフィット更新232に入力され、その時点で、最新の再構成された画像242は、最終画像208である。
最後に、図7を参照すると、この例示的なプロセスフローでは、深層学習ノイズ除去操作204が最終の再構成された画像242に対して反復的ループの外側で実行され、最終画像208を生成する。この例では、それぞれの反復によって生成された対応する再構成された画像242は、設定された反復回数が実行されるか、または何らかの他の完了閾値(例えば、コスト関数)が満たされるまで、次の反復のためにそれぞれのデータフィット操作232に入力される。結果として得られる再構成された画像242は、反復的更新プロセスから出力され、最終画像208を生成するためにノイズ除去204を受ける。
他の実施形態では、データフィット項(例えば、データフィット更新232)は、中間画像198の画像変換に基づくことができる。例として、図8に示すように、反復的プロセスのデータフィット更新232は、第1パス再構成(例えば、FBP238)の(局所)フーリエ変換250(フーリエデータ252をもたらす)に基づくことができる。そのような例では、データフィット項は、フーリエベースの重み付けを含むことができる。所与の反復ループの再構成された画像242のフーリエ変換(例えば、高速フーリエ変換(FFT))は、反復が完了するまで、フーリエデータとしてデータフィット更新ステップ232に返される。理解され得るように、ウェーブレットフレームのような他の画像変換もまた、データフィット項として使用され得る。
図8に示すプロセスフロー例は、図6に示す順次フローに対応する。理解され得るように、しかしながら、この例における深層学習ノイズ除去ステップ204は、図5および図7に示す並列および反復的ループ外の例示的なプロセスフロー、ならびに他の適切なプロセスフロー設定を含む、異なる設定に適用され得る。
その一例が図9に示されている別の実施形態では、データフィット項は、第1パス再構成(例えば、フィルタ補正逆投影238から生成された中間画像198)に直接基づいている。このように、データフィット項は、画像ドメインにある(すなわち、画像ドメインデータフィット更新260)。データフィット項は、相関ノイズを説明するための空間相関項を含むことができる。所与の反復ループの再構成された画像242は、反復が完了するまで、画像ドメインデータフィット更新ステップ260への入力として使用される。様々なそのような実施形態では、データフィット項はまた、複数の中間画像、例えば、異なる投影角度に対応する画像を含むことができる。
先の例と同様に、図9に示すプロセスフロー例は、図6に示す順次フローに対応する。理解され得るように、しかしながら、この例における深層学習ノイズ除去ステップ204は、図5および図7に示す並列および反復的ループ外の例示的なプロセスフロー、ならびに他の適切なプロセスフロー設定を含む、異なる設定に適用され得る。
上記で論じられたアプローチの態様の他の変形および修正は、図10および図11のプロセスフローに示されている。例として、図10は、サイノグラム190のサイノグラム深層学習ノイズ除去230と、それに続くFBPまたはIPFBPなどの再構成ステップ194とを含むプロセスフローを示す。再構成ステップ194の結果(すなわち、画像)は、最終画像208を生成するために画像ドメインにおいて深層学習ノイズ除去204を受けることができる。図示のプロセスフローの一部として、第1パス再構成194の後に、深層学習ノイズ除去204と共に任意のデータフィット操作202を適用することもできる。
図11に示すさらに別の実施形態では、図3に示すように、第1パス再構成ステップ194および中間の再構成された画像198が省略される。代わりに、中間サイノグラム236は、サイノグラムリビニング270によって前処理されたサイノグラム190から直接生成される。中間サイノグラム236は、単純化された、修正された、または仮想の投影ジオメトリを適用することなどによって、様々な方法におけるリビニングによって生成することができる。あるいは、中間サイノグラム236で使用するための新しいサイノグラムデータは、一貫性条件に従って、および/または深層学習アプローチ(例えば、訓練されたニューラルネットワーク)を適用することによって生成することができる。そのようなアプローチは、様々な計算上または画像品質上の利益のために行うことができる。前述の例のように、データフィットおよび画像ドメインノイズ除去操作は、並列に順番に適用することができ、ノイズ除去は、反復的ループ外で発生する。
既存の画像再構成方法、画像処理方法、および特定の実施態様では、本明細書に記載の異なる方法およびプロセスフローのいくつかまたはすべては、並列に行うことができ、出力画像(すなわち、異なる並列プロセスによって生成されたそれぞれの最終画像208)は、所与の診断目的に最良の画像を選択したり、集約または加重画像に組み合わせたり、および/またはさらに改善された画像に処理をするために、深層学習ネットワーク(例えば、訓練されたニューラルネットワーク)によって組み合わせることができる。後の単一の最終画像の生成または選択を伴うそのような並列の処理アプローチ(すなわち、異なるが同程度の出力を生成する異なるプロセスを並列に行うこと)は、「バギング」と呼ばれ得、それぞれの個々の技術の利点を組み合わせ、欠点を回避または低減するのに役立ち得る。
前述のことを念頭に置いて、図12~図15は、単独でまたは組み合わせて操作の効果の比較を容易にするために、本明細書で論じられ説明された異なる操作に対応する再構成された画像(ここでは骨盤の臨床CTスキャン)を示す。例えば、図12は、標準フィルタ補正逆投影(FBP)アルゴリズムを使用して生成された再構成された画像に対応し、したがって本明細書で使用されるような第1パス再構成に対応することができる。この画像は、投影または画像ドメインのいずれにおいてもノイズ除去することなく、フィルタ補正逆投影を測定されたサイノグラムに適用することによって生成された。
図13は、図12と同じ測定されたサイノグラムデータのフィルタ補正逆投影再構成を示す。しかしながら、この例では、サイノグラムドメイン(すなわち、投影空間)の深層学習ノイズ除去操作は、FBP操作の前に実行された。この例および以下の例では、サイノグラムドメイン(すなわち、投影空間)の深層学習ノイズ除去操作は、層間接続を有する8層の完全接続ネットワークとして実施された。
図14は、FBP操作に続いて実行される画像ドメイン(すなわち、画像空間)の深層学習ノイズ除去操作を追加することによって、図13に例示されたこの一連の操作に基づいている。この例および以下の例では、画像ドメインの深層学習ノイズ除去操作は、8層の収縮経路ベースの畳み込みエンコーダ-デコーダとして実施された。
投影および画像ドメインのノイズ除去に加えて、図15は、2つの追加の変形による画像再構成を示す。従来のFBPの代わりに、本明細書で論じるように、代わりに情報保存フィルタ補正逆投影(IPFBP)アルゴリズムを使用して第1パス再構成が実行される。加えて、画像ドメインのノイズ除去のために、この例ではデータフィット項(本明細書で論じるようにデータフィット更新を使用して実施される)を用いた。図15を生成するために使用される組合せDLsino+IPFBP+データフィット+DLimgアルゴリズムは、図7に示すプロセスフローに従って実施された。
本発明の技術的効果は、ノイズ低減、空間分解能、細部保存および計算上の複雑さに関して好ましい特性を有する画像再構成を含む。開示される技術は、第1パス再構成、単純化されたデータフィット項、および深層学習ノイズ除去装置のいくつかまたはすべてを含み得る。様々な実施態様では、本開示は、第1パス再構成ステップを組み込むことなどによって、異なるCTプラットフォームに移植可能である。
本明細書は、最良の形態を含む実施例を使用して本発明を開示し、また、任意の装置またはシステムの製造および使用と、取り入れた任意の方法の実行とを含む本発明の実施が、当業者に可能となるようにしている。本発明の特許可能な範囲は、特許請求の範囲によって定義され、当業者であれば想到できる他の実施例も含むことができる。そのような他の実施例は、それらが特許請求の範囲の文言から相違しない構造要素を有する場合、または特許請求の範囲の文言から実質的には相違しない同等の構造要素を含む場合、特許請求の範囲の技術的範囲に包含される。
50 人工ニューラルネットワーク
52 訓練入力
54 入力層
56 ニューロン、ノード
58A 隠れ層
58B 隠れ層
60 出力層、ネットワーク出力
62 損失または誤差関数
64 訓練ターゲット、ターゲット画像
110 撮像システム、CTシステム
112 X線放射源、X線源
114 コリメータ
116 X線ビーム、X線
118 患者/対象物
120 X線放射、入射X線
122 検出器アレイ、検出器
124 システムコントローラ
126 X線コントローラ
128 データ取得システム
130 処理構成要素、プロセッサ
132 回転サブシステム
134 線形位置決めサブシステム
136 モータコントローラ
138 メモリ
140 オペレータワークステーション
142 ディスプレイ
144 プリンタ
146 医療用画像管理システム(PACS)
148 遠隔クライアント
190 サイノグラム
192 前処理ステップ、サイノグラム処理ステップ、
194 第1パス再構成、第1パス再構成ステップ
198 中間画像、中間の再構成された画像
202 データフィット操作
204 深層学習ノイズ除去操作、深層学習ノイズ除去ステップ、深層学習ノイズ除去、
208 最終画像
220 標準FBP画像
222 IPFBP画像
224 残差誤差サイノグラム
226 残差誤差サイノグラム
230 サイノグラムノイズ除去ステップ、サイノグラム深層学習ノイズ除去
232 データフィット更新、データフィット更新ステップ、データフィット操作
234 再投影操作、再投影ステップ
236 中間サイノグラム
238 フィルタ補正逆投影
240 ステップ
242 再構成された画像
250 フーリエ変換
252 フーリエデータ
260 画像ドメインデータフィット更新、画像ドメインデータフィット更新ステップ
270 サイノグラムリビニング

Claims (14)

  1. 画像を再構成するための方法であって、
    サイノグラム入力を受信することと、
    初期再構成を実行する前に前記サイノグラム入力に対して第1のノイズ除去操作を実行することであって、前記第1のノイズ除去操作が、第1の訓練された人工ニューラルネットワークを使用して実行される、第1のノイズ除去操作を実行すること、
    前記サイノグラム入力から、または前記サイノグラム入力から生成された1つまたは複数の中間画像(198)から1つまたは複数の中間サイノグラム(236)を生成することと、
    前記中間サイノグラム(236)を反復的に処理することであって、前記反復的処理することは、反復的ループの出力を前記反復的ループへの入力と比較する少なくとも反復的データフィット操作(202)を実行することを含むことと、
    前記データフィット操作(202)に加えて第2のノイズ除去操作(204)を実行することであって、前記第2のノイズ除去操作(204)は、第2の訓練された人工ニューラルネットワークを使用して実行され、前記データフィット操作(202)および前記第2のノイズ除去操作(204)が、前記反復的ループ内で並列にまたは直列に実行されることと、
    前記反復的処理することが完了すると、最終画像(208)を再構成し、検討、記憶、またはさらなる処理のために前記最終画像(208)を出力することと
    を含む、方法。
  2. 前記サイノグラム入力に対して初期再構成を実行して前記1つまたは複数の中間画像(198)を生成することと、
    前記1つまたは複数の中間画像(198)のすべてまたは一部を再投影して前記1つまたは複数の中間サイノグラム(236)を生成することと
    をさらに含む、請求項1に記載の方法。
  3. 前記初期再構成が、フィルタ補正逆投影(238)または情報保存フィルタ補正逆投影である、請求項2に記載の方法。
  4. 前記サイノグラム入力をリビニング(270)して前記1つまたは複数の中間サイノグラム(236)を生成すること
    をさらに含む、請求項1に記載の方法。
  5. 前記データフィット操作(202)が、前記反復的ループ内で実行され、前記第2のノイズ除去操作(204)が、前記反復的ループの後に実行される、請求項1に記載の方法。
  6. 画像を再構成するための方法であって、
    サイノグラム入力を受信することと、
    初期再構成を実行する前に前記サイノグラム入力に対して第1のノイズ除去操作を実行することであって、前記第1のノイズ除去操作が、第1の訓練された人工ニューラルネットワークを使用して実行される、第1のノイズ除去操作を実行すること、
    前記サイノグラム入力の初期再構成または複数の部分再構成を実行して1つまたは複数の中間画像(198)を生成することと、
    前記1つまたは複数の中間画像(198)、または前記1つまたは複数の中間画像(198)の変換を反復的に処理することであって、前記反復的処理することは、反復的ループの出力を前記反復的ループへの入力と比較する少なくとも反復的データフィット操作(202)を実行することを含むことと、
    前記データフィット操作(202)に加えて第2のノイズ除去操作(204)を実行することであって、前記第2のノイズ除去操作(204)は、第2の訓練された人工ニューラルネットワークを使用して実行され、前記データフィット操作(202)および前記第2のノイズ除去操作(204)が、前記反復的ループ内で並列にまたは直列に実行されることと、
    前記反復的処理することが完了すると、最終画像(208)を再構成し、検討、記憶、またはさらなる処理のために前記最終画像(208)を出力することと
    を含む、方法。
  7. 前記1つまたは複数の中間画像(198)のフーリエ変換(250)を実行して前記変換を生成すること
    をさらに含む、請求項6に記載の方法。
  8. 前記データフィット操作(202)および前記第2のノイズ除去操作(204)が、前記1つまたは複数の中間画像(198)を入力として使用して反復的に実行される、請求項6に記載の方法。
  9. 前記データフィット操作(202)が、前記反復的ループ内で実行され、前記第2のノイズ除去操作(204)が、前記反復的ループの後に実行される、請求項6に記載の方法。
  10. 前記初期再構成が、フィルタ補正逆投影(238)または情報保存フィルタ補正逆投影である、請求項6に記載の方法。
  11. 画像を再構成するための方法であって、
    サイノグラム入力を受信することと、
    第1の訓練された人工ニューラルネットワークを使用して前記サイノグラム入力に対して第1のノイズ除去操作を実行することと、
    前記サイノグラム入力を再構成して1つまたは複数の再構成された画像(242)を生成することと、
    第2の訓練された人工ニューラルネットワークを使用して画像ドメインで第2のノイズ除去操作(204)を実行することと、
    前記1つまたは複数の再構成された画像(242)、または前記1つまたは複数の再構成された画像(242)から生成された1つまたは複数の中間サイノグラム(236)を反復的に処理することであって、反復的ループの出力を前記反復的ループへの入力と比較する少なくとも反復的データフィット操作(202)を実行することを含み、前記データフィット操作(202)および前記第2のノイズ除去操作(204)が、前記反復的ループ内で並列にまたは直列に実行される、反復的に処理すること、
    前記反復的処理することが完了すると、検討、記憶、またはさらなる処理のために最終画像(208)を出力することと
    を含む、方法。
  12. 前記第2のノイズ除去操作が、前記1つまたは複数の再構成された画像(242)に対して実行される、請求項11に記載の方法。
  13. 前記データフィット操作(202)が、前記反復的ループ内で実行され、前記第2のノイズ除去操作(204)が、前記反復的ループの後に実行される、請求項11に記載の方法。
  14. 前記サイノグラム入力を再構成することが、フィルタ補正逆投影(238)または情報保存フィルタ補正逆投影を実行することを含む、請求項11に記載の方法。
JP2019131542A 2018-08-06 2019-07-17 反復的画像再構成フレームワーク Active JP7234064B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/056,111 US11195310B2 (en) 2018-08-06 2018-08-06 Iterative image reconstruction framework
US16/056,111 2018-08-06

Publications (2)

Publication Number Publication Date
JP2020036877A JP2020036877A (ja) 2020-03-12
JP7234064B2 true JP7234064B2 (ja) 2023-03-07

Family

ID=67543987

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019131542A Active JP7234064B2 (ja) 2018-08-06 2019-07-17 反復的画像再構成フレームワーク

Country Status (4)

Country Link
US (1) US11195310B2 (ja)
EP (1) EP3608877B1 (ja)
JP (1) JP7234064B2 (ja)
CN (1) CN110807737B (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018236748A1 (en) * 2017-06-19 2018-12-27 Washington University DIGITAL ASSISTED IMAGE RECONSTRUCTION FOR TOMOGRAPHIC IMAGING
US11037338B2 (en) * 2018-08-22 2021-06-15 Nvidia Corporation Reconstructing image data
WO2020069489A1 (en) * 2018-09-28 2020-04-02 Mayo Foundation For Medical Education And Research Systems and methods for multi-kernel synthesis and kernel conversion in medical imaging
US11176428B2 (en) * 2019-04-01 2021-11-16 Canon Medical Systems Corporation Apparatus and method for sinogram restoration in computed tomography (CT) using adaptive filtering with deep learning (DL)
US11403791B2 (en) * 2019-07-11 2022-08-02 Canon Medical Systems Corporation Apparatus and method using deep learning (DL) to improve analytical tomographic image reconstruction
US11100684B2 (en) * 2019-07-11 2021-08-24 Canon Medical Systems Corporation Apparatus and method for artifact detection and correction using deep learning
US11455755B2 (en) * 2019-09-05 2022-09-27 Siemens Medical Solutions Usa, Inc. Methods and apparatus for neural network based image reconstruction
CN110807821A (zh) * 2019-10-12 2020-02-18 上海联影医疗科技有限公司 一种图像重建方法和系统
WO2021187350A1 (ja) * 2020-03-19 2021-09-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置
WO2021232195A1 (en) * 2020-05-18 2021-11-25 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image optimization
CN112424835B (zh) 2020-05-18 2023-11-24 上海联影医疗科技股份有限公司 用于图像重建的系统和方法
CN111627082B (zh) * 2020-05-21 2022-06-21 浙江大学 基于滤波反投影算法和神经网络的pet图像重建方法
CN112053412B (zh) * 2020-08-31 2022-04-29 浙江大学 基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法
KR102441033B1 (ko) * 2020-11-26 2022-09-05 건양대학교 산학협력단 딥 러닝 기반의 제한각도 컴퓨터 단층촬영상 재구성 시스템
US11890124B2 (en) 2021-02-01 2024-02-06 Medtronic Navigation, Inc. Systems and methods for low-dose AI-based imaging
US11710218B2 (en) * 2021-03-17 2023-07-25 GE Precision Healthcare LLC System and method for normalizing dynamic range of data acquired utilizing medical imaging
KR102476433B1 (ko) * 2021-12-22 2022-12-12 이화여자대학교 산학협력단 신경망을 이용하여 영상의 노이즈를 저감하기 위한 학습 및 복원 방법과 이를 수행하는 컴퓨팅 장치
JP2023112818A (ja) * 2022-02-02 2023-08-15 浜松ホトニクス株式会社 画像処理装置および画像処理方法
JP2023176348A (ja) * 2022-05-31 2023-12-13 浜松ホトニクス株式会社 画像処理装置および画像処理方法
AU2022204142B1 (en) * 2022-06-14 2022-10-06 Curvebeam Ai Limited Method and System for Material Decomposition in Dual- or Multiple-Energy X-ray Based Imaging
US11786201B1 (en) 2022-06-14 2023-10-17 Curvebeam Ai Limited Method and system for material decomposition in dual- or multiple-energy x-ray based imaging
CN114916950B (zh) * 2022-07-21 2022-11-01 中国科学院深圳先进技术研究院 基于多层平板探测器的高空间分辨能谱ct图像重建方法
WO2024035674A1 (en) * 2022-08-10 2024-02-15 The Johns Hopkins University Methods and related aspects for producing processed images with controlled images quality levels

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009545409A (ja) 2006-08-03 2009-12-24 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア トモグラフィーにおけるドーズ低減および画像改良のための反復方法
JP2010201158A (ja) 2009-02-05 2010-09-16 Toshiba Corp 画像再構成装置および画像再構成方法
US20140185898A1 (en) 2012-12-28 2014-07-03 Samsung Electronics Co., Ltd. Image generation method and apparatus
WO2017223560A1 (en) 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
CN107610195A (zh) 2017-07-28 2018-01-19 上海联影医疗科技有限公司 图像转换的系统和方法
JP2018505401A (ja) 2015-08-07 2018-02-22 シャンハイ・ユナイテッド・イメージング・ヘルスケア・カンパニー・リミテッド マルチモダリティ撮像のシステム及び方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6507633B1 (en) 2001-02-15 2003-01-14 The Regents Of The University Of Michigan Method for statistically reconstructing a polyenergetic X-ray computed tomography image and image reconstructor apparatus utilizing the method
DE602007001315D1 (de) * 2006-08-22 2009-07-30 Konica Minolta Med & Graphic Röntgenbildverarbeitungssystem
EP2277145A1 (en) 2008-05-06 2011-01-26 Koninklijke Philips Electronics N.V. Image artifact reduction
US9208588B2 (en) * 2013-09-25 2015-12-08 Wisconsin Alumni Research Foundation Fast statistical imaging reconstruction via denoised ordered-subset statistically-penalized algebraic reconstruction technique
US9721361B2 (en) * 2015-05-29 2017-08-01 General Electric Company Systems and methods for parallel processing of imaging information
CN107530042B (zh) 2015-06-12 2020-11-06 株式会社日立制作所 X射线ct装置和迭代修正参数决定方法
DE102015221405A1 (de) * 2015-11-02 2017-05-04 Siemens Healthcare Gmbh Verwaltete Bildrekonstruktion für Bildgebungsverfahren in der Medizintechnik
US20170362585A1 (en) * 2016-06-15 2017-12-21 Rensselaer Polytechnic Institute Methods and apparatus for x-genetics
US20180018757A1 (en) * 2016-07-13 2018-01-18 Kenji Suzuki Transforming projection data in tomography by means of machine learning
US20180197317A1 (en) * 2017-01-06 2018-07-12 General Electric Company Deep learning based acceleration for iterative tomographic reconstruction
CN107123095B (zh) * 2017-04-01 2020-03-31 上海联影医疗科技有限公司 一种pet图像重建方法、成像系统
CN107403419A (zh) 2017-08-04 2017-11-28 深圳市唯特视科技有限公司 一种基于级联卷积神经网络的低剂量x射线图像去噪方法
US11250600B2 (en) * 2018-01-12 2022-02-15 Korea Advanced Institute Of Science And Technology Method for processing X-ray computed tomography image using neural network and apparatus therefor
US11234666B2 (en) * 2018-05-31 2022-02-01 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning to improve image quality in position emission tomography (PET)

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009545409A (ja) 2006-08-03 2009-12-24 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア トモグラフィーにおけるドーズ低減および画像改良のための反復方法
JP2010201158A (ja) 2009-02-05 2010-09-16 Toshiba Corp 画像再構成装置および画像再構成方法
US20140185898A1 (en) 2012-12-28 2014-07-03 Samsung Electronics Co., Ltd. Image generation method and apparatus
JP2018505401A (ja) 2015-08-07 2018-02-22 シャンハイ・ユナイテッド・イメージング・ヘルスケア・カンパニー・リミテッド マルチモダリティ撮像のシステム及び方法
WO2017223560A1 (en) 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
CN107610195A (zh) 2017-07-28 2018-01-19 上海联影医疗科技有限公司 图像转换的系统和方法

Also Published As

Publication number Publication date
EP3608877A1 (en) 2020-02-12
CN110807737B (zh) 2024-02-20
US11195310B2 (en) 2021-12-07
CN110807737A (zh) 2020-02-18
EP3608877B1 (en) 2024-04-03
JP2020036877A (ja) 2020-03-12
US20200043204A1 (en) 2020-02-06

Similar Documents

Publication Publication Date Title
JP7234064B2 (ja) 反復的画像再構成フレームワーク
JP7150837B2 (ja) 機械学習を使用した画像生成
JP7187476B2 (ja) 深層学習に基づくトモグラフィ再構成
US11039805B2 (en) Deep learning based estimation of data for use in tomographic reconstruction
JP2020168352A (ja) 医用装置及びプログラム
US8442353B2 (en) Incorporation of mathematical constraints in methods for dose reduction and image enhancement in tomography
US10628973B2 (en) Hierarchical tomographic reconstruction
KR20100133950A (ko) 동적인 제약들에 따른 오브젝트 주변의 사용을 통한 단층 촬영에 있어서의 양 감소 및 이미지 강화
US10970885B2 (en) Iterative image reconstruction
JP2021013725A (ja) 医用装置
US20220327662A1 (en) Medical data processing method, model generation method, medical data processing apparatus, and computer-readable non-transitory storage medium storing medical data processing program
Zhang et al. PET image reconstruction using a cascading back-projection neural network
CA2729607A1 (en) Incorporation of mathematical constraints in methods for dose reduction and image enhancement in tomography
JP2022161857A (ja) 深層学習ネットワークを用いて計算機式断層写真法検出器の不良ピクセルを補正するシステム及び方法
US20220327750A1 (en) Medical image processing method, medical image processing apparatus, and computer readable non-volatile storage medium storing medical image processing program
WO2024008764A1 (en) Cone beam artifact reduction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210520

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230222

R150 Certificate of patent or registration of utility model

Ref document number: 7234064

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150