JP7459243B2 - 1以上のニューラルネットワークとしての画像形成のモデル化による画像再構成 - Google Patents

1以上のニューラルネットワークとしての画像形成のモデル化による画像再構成 Download PDF

Info

Publication number
JP7459243B2
JP7459243B2 JP2022521029A JP2022521029A JP7459243B2 JP 7459243 B2 JP7459243 B2 JP 7459243B2 JP 2022521029 A JP2022521029 A JP 2022521029A JP 2022521029 A JP2022521029 A JP 2022521029A JP 7459243 B2 JP7459243 B2 JP 7459243B2
Authority
JP
Japan
Prior art keywords
neural networks
correction
processor
image data
computer readable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022521029A
Other languages
English (en)
Other versions
JP2022552218A (ja
Inventor
バシ,フランチェスク アッシジ マサネス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Solutions USA Inc
Original Assignee
Siemens Medical Solutions USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Medical Solutions USA Inc filed Critical Siemens Medical Solutions USA Inc
Publication of JP2022552218A publication Critical patent/JP2022552218A/ja
Application granted granted Critical
Publication of JP7459243B2 publication Critical patent/JP7459243B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/006Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/005Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G06T5/73
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10108Single photon emission computed tomography [SPECT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/424Iterative
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/441AI-based methods, deep learning or artificial neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Description

本開示は、広く、画像処理に関するものであり、より詳細には、1以上のニューラルネットワークとしての画像形成のモデル化に基づく画像再構成に関するものである。
単一光子放射断層撮影(英:Single Photon Emission Computed Tomography(SPECT))は、広く用いられている核医学的な断層撮影技術である。SPECT撮影のためには、まずガンマエミッタ標識された薬剤を対象に与える。その後、ガンマカメラという外部の装置を使って、1つまたは複数の画角から、身体に由来する放射能を検出する。1つの画角で得られた平面画像は、3次元(3D)分布の2次元(2D)の検出面への投影である。対象における放射性線源分布の3D画像は、対象の周囲の角度の範囲にわたって取得された一連の平面画像を使用することによって、再構成され得る。
SPECT画像再構成を行うための様々な技術が存在する。1つの技術は、逐次再構成を含んでおり、それは、通常想定画像から始まり、画像から投影を計算し、元の投影データを比較し、計算された投影と実際の投影の間の差分に基づいて画像を更新する。このアプローチでは、システムは確率の線形演算子としてモデル化されており、当該確率は、再構成において考慮されるであろう全ての画像形成効果、即ち、カメラ又は身体の回転、減衰、及び、フラッド補正(英:flood correction)さえも、を包含する。この手法は計算的に集約的である。なぜなら、それは、再構成の繰り返しごとに各視野に対する投影演算子の再計算を必要とするからであり、その理由は、確率のリストは、他の方法では保存するには大きすぎるからである。
もう1つの一般的な技術は機械学習に基づいている。機械学習ベースのSPECT画像再構成は、通常、ニューラルネットワーク構造を定義し、次いで、再構成精度を向上させるために層の重みを最適化するために構造を訓練することによって、問題をモデル化する。SPECT再構成のための深部学習(ディープラーニング)の現在のアプローチは、ネットワークの設計が画像形成モデルの物理と何も関係しない、他の科学分野のための深部学習と同じである。
ここで記述するのは、1つ以上のニューラルネットワーク(英:neural network (NN))としてのモデリングイメージフォーメーションに基づく画像再構成のためのシステムと方法である。1つの観点に従って、1つ以上のニューラルネットワークが、画像形成の物理に基づいて構成される。1つ以上のニューラルネットワークは、取得したテスト画像データを用いて、最適化されている。そして、出力画像は、1つ以上の最適化されたニューラルネットワークへの入力として、現在の画像データを適用することによって、再構成され得る。
本開示およびその付随する態様の多くをより完全に理解することは、以下の詳細な記述を、添付の図表と関連づけて考慮して、参照することにより、同じことがよりよく理解されるようになるにつれて、容易に得られるであろう。
図1は、例示的なシステムを説明するブロック図である。
図2は、コンピュータシステムによって実施される例示的な画像再構成方法を示す。
図3は、例示的なSPECT画像形成を説明する。
図4aは、例示的なニューラルネットワークを示す。
図4bは、例示的なシンプルローテーションを示す。
図4cは、運動補正をモデル化する例示的な畳み込み層を示す。
図4dは、運動補正のモデリングを説明する。
図4eは、頭部の位置ずれ補正をモデル化する例示的な畳み込み層を示す。
図4fは、点拡がり関数(PSF)フィルタリング補正の例示的なモデリングを説明する。
図5は、SPECT画像再構成のための例示的なニューラルネットワークアーキテクチャを示す。
図6は、ニューラルネットワーク最適化の例示的な方法を示す。
以下の説明では、本枠組みの実装を十分に理解するために、具体的な構成要素、装置、方法等の例など、数多くの具体的な詳細を述べる。しかしながら、当業者にとっては、これらの具体的な詳細が本枠組みの実施を実施するために採用しなくてもよいことは明らかであろう。他の例では、本フレームワークの実装を不必要に不明瞭にすることを避けるために、周知の材料または方法を詳細に説明してはいない。本フレームワークは、様々な変更および代替形態の影響を受ける余地があるが、その特定の実施は、図中の例によって示され、本明細書中で詳細に記述される。しかしながら、開示された特定の形態に発明を限定する意図はなく、逆に、意図は本発明の精神及び範囲内にある全ての修正、等価物、及び代替物を網羅することであることを理解すべきである。さらに、理解を容易にするために、ある方法ステップは別々のステップとして描かれ、しかしながら、これらの別々に描かれたステップは、それらのパフォーマンスに依存する必要な指示として解釈されるべきではない。
本明細書中で使用される用語「X線画像」は、(例えば、ビデオ画面上に表示される)目に見えるX線画像、または、X線画像のデジタル表現(例えば、X線検出器のピクセル出力に対応するファイル)、を意味することができる。本明細書で使用される用語「治療中のX線画像」は、放射線源がオンまたはオフのいずれかである時間を含むことができる、介入手順または治療手順の治療提供段階の間の任意の時点で取得された画像、に言及してもよい。時間ごとに、記述の便宜のために、CT撮像データ(例えば、コーンビームCT(英:cone-beam CT)撮像データ)が、例示的な撮像モダリティとして、本明細書中で使用されることがある。しかしながら、X線撮影、MRI(磁気共鳴画像法)、PET(陽電子放出断層撮影)、PET-CT(コンピュータ断層撮影)、SPECT(単一光子放出コンピュータ断層撮影)、SPECT-CT、MR-PET、3D超音波画像などを含むがこれらに限定されない、任意のタイプの画像モダリティからのデータも、様々な実装の中で使用され得ることが認識されるであろう。
以下の議論から明らかなように、明記されない限り、「分割(英:segmenting)」、「生成(英:generating)」、「登録(英:registering)」、「決定(英:determining)」、「整列(英:aligning)」、「位置決め(英:positioning)」、「処理(英:processing)」、「演算(英:computing)」、「選択(英:selecting)」、「推定(英:estimating)」、「検出(英:detecting)」、「追跡(英:tracking)」などの用語は、コンピュータシステム、または類似の電子計算装置の作用およびプロセスに言及することができ、それらは、コンピュータシステムのレジスタやメモリ内で物理的(例えば、電子的)量として表されたデータを、コンピュータシステムのメモリ、又は、レジスタ、又は、その他のその種の情報ストレージ、伝送又は表示装置、内で物理量として同様に表される他のデータへと、操作及び変換する。本明細書に記載される方法の実施形態は、コンピュータソフトウェアを用いて実装され得る。認識された基準に適合するプログラミング言語で書かれた場合、方法を実行するように設計された一連の命令は、様々なハードウェアプラットフォーム上での実行のため及び様々なオペレーティングシステムへのインターフェースのために、コンパイルされ得る。さらに、本フレームワークの実装は、特定のプログラミング言語を参照して説明されていない。様々なプログラミング言語が使用され得ることが認識されるであろう。
本明細書で使用されるように、「画像」という用語は、離散画像要素(例えば、2D画像のためのピクセル(英:pixel)、3D画像のためのボクセル(英:voxel)、4Dデータセットのためのドクセル(英:doxel))で構成される多次元データを指す。画像は、例えば、CT(コンピュータ断層撮影(英:computed tomography))、MRI(磁気共鳴画像(英:magnetic resonance imaging))、超音波、またはその他の当業者にとって公知の任意の医用画像システムによって収集された、被験体の医用画像であってもよい。画像は、例えば、遠隔センシングシステム、電子顕微鏡検査などの、非医学的状況から提供されてもよい。画像は、R3からRへの関数、またはR3へのマッピングと考えることができるが、本方法は、そのような画像に限定されるものではなく、任意の次元の画像、例えば、2D画像、3D体積または4Dデータセット、に適用することができる。2次元又は3次元画像の場合、画像の領域は、通常は2次元又は3次元の長方形アレイであり、ここで、各画素又はボクセルは、2又は3の相互に直交する軸のセットを参照して、アドレス指定することができる。本明細書中で使用される用語「デジタルの」および「デジタル化された」は、必要に応じて、デジタルのまたはデジタル化されたフォーマットにおいて、デジタル取得システムを介して、または、アナログ画像からの変換を介して、取得される、画像または体積を意味する。
2D撮像および画像表示に関して従来使用されている、画素のための用語「ピクセル」、3D撮像に関してしばしば使用される、ボリューム画像要素のための用語「ボクセル」、および4Dデータセットのための用語「ドクセル」は、交換可能に使用され得る。3Dボリューム画像は、それ自体、2Dセンサアレイ上の複数のピクセルとして得られた複数の画像から合成され、何らかの画角からの2D画像として表示されることに留意されたい。したがって、2Dの画像処理および画像解析技術を、3Dボリューム画像に対して、適用することができる。以下の記述では、ドクセル上で操作すると記述される技術は、表示のために2Dピクセルデータの形式で保存及び表現される3Dボクセルデータ上で操作するものとして、代替的に記述されることがある。同様に、ボクセルデータ上で操作する技術は、ピクセル上で操作すると記述することもできる。以下の説明では、変数xは、特定の空間的位置での対象画像要素を示すために、または、代替的に考慮される対象ピクセルを示すために、使用される。「対象画素」、「対象ボクセル」および「対象ドクセル」なる倒語は、本明細書に記載される技術を用いて操作される際に、特定の画像要素を示すために使用される。
本フレームワークの一態様は、画像形成の物理を使用して1つ以上のニューラルネットワークを定義する。現在の枠組みと従来の方法の間の違いを理解するために、単純な一次方程式:
y = a・x+b ----(1)
を考える。ここで、yは予測出力値、xは入力値、aは係数、bは切片である。目標は一般に、可能なyの最も正確な予測を出すことである。古典的機械学習では、{(x,y)}i=1,...,Nを用いてaとbを推定する。代数的再構成では、yが獲得され、物理学を用いてaとbを説明する。この枠組みの態様は、解を計算するためにディープラーニングアプローチを使用しながら、ニューラルネットワークをモデル化するために物理を使用する。
いくつかの実装において、本フレームワークは、画像データのより速い勾配降下再構成(英:gradient descent reconstruction)を達成するために、1つ以上のニューラルネットワークとして画像形成をモデル化する。古典的な逐次再構成のように、線形演算子の代わりに複数の操作のカスケードとして画像形成をモデリングすることにより、演算タスクの全体サイズが縮小される。ニューラルネットワークは、一度計算され、メモリ(例えば、500MB-4GBメモリ空間)に保存される、だけでよいので、時間とメモリ空間の必要量は大幅に減少する。ニューラルネットワーク定式化は、任意の画像再構成に直線的に適用することができ、例えば、グラフ処理ユニット(GPU)上で、特別な労力なしに、ネイティブに実行することができる。
さらに、この枠組みは、反復内減衰最適化(英:intra-iteration attenuation optimization)、敵対的生成ネットワーク(英:Generative Adversarial Networks)(GAN)研究、または、画像形成推定値の最適化(英:optimization of image formation estimates)などの、興味深い研究分岐の開発を可能にする。ニューラルネットワーク定式化は、各画像形成段階の微分を自動的に計算するために、ディープラーニングフレームワーク(例えば、GAN)において使用され得る。これらおよび他の例示的な特徴および利点は、本明細書中でより詳細に記述される。SPECT画像の再構成に向けられた特定の応用がここに示され得るが、この技術は説明された特定の実装に限定されないことが、理解される。このフレームワークは、他の種類のモダリティによって取得された画像にも適用可能である。
図1は、例示的なシステム100を説明するブロック図である。システム100は、本明細書に記載されるようなフレームワークを実装するためのコンピュータシステム101を含む。コンピュータシステム101は、デスクトップパーソナルコンピュータ、ポータブルラップトップコンピュータ、他のポータブルデバイス、ミニコンピュータ、メインフレームコンピュータ、サーバ、クラウドインフラストラクチャ、ストレージシステム、専用デジタル装置、通信デバイス、またはディジタルデータ項目のコレクションを保管するように構成されたストレージサブシステムを有する別のデバイス、であってもよい。いくつかの実装において、コンピュータシステム101は、スタンドアローンデバイスとして動作する。他の実装では、コンピュータシステム101は、撮像装置102やワークステーション103などの他の機械に(例えば、ネットワークを用いて)接続されることがある。ネットワーク展開では、コンピュータシステム101は、サーバの容量において、サーバ-クライアントユーザネットワーク環境におけるクライアントユーザマシン、または、ピアツーピア(または分散)ネットワーク環境におけるピア・マシンとして、動作することができる。
コンピュータシステム101は、1つ以上の非一時的なコンピュータ可読媒体105(例えば、コンピュータストレージまたはメモリ)、ディスプレイ装置108(例えば、モニタ)および様々な入力装置110(例えば、マウスまたはキーボード)に入出力インターフェース121を介して接続された、プロセッサ装置または中央処理装置(CPU)104を含んでもよい。コンピュータシステム101は、さらに、キャッシュ、電源、時計回路、通信バスなどの、支援回路を備えることができる。コンピュータシステム101には、追加のデータストレージデバイスや印刷装置など、さまざまな他の周辺装置も接続することができる。
本技術は、オペレーティングシステムを介して実行される、マイクロインストラクションコード(英:microinstruction code)の一部として、またはアプリケーションプログラムもしくはソフトウェア製品の一部として、またはそれらの組合せのいずれかとして、様々な形態のハードウエア、ソフトウェア、ファームウェア、専用プロセッサ、またはそれらの組合せにおいて実装され得る。一実施形態では、本明細書に記載する技術は、1つ以上の非一時的なコンピュータ可読媒体105に実体的に取り入れられたコンピュータ可読プログラムコードとして実施される。特に、本技術は、画像再構成モジュール106及びニューラルネットワークモジュール111によって、実装されてもよい。非一時的なコンピュータ可読媒体105は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、磁気フロッピーディスク、フラッシュメモリ、および他の種類のメモリ、またはそれらの組合せを含むことができる。コンピュータ可読プログラムコードは、プロセッサ装置104によって実行され、例えば撮像装置102によって取得された画像を処理する。このように、コンピュータシステム101は、コンピュータ可読プログラムコードを実行する場合に、特定目的のコンピュータシステムとなる、汎用コンピュータシステムである。コンピュータ可読プログラムコードは、特定のプログラミング言語およびその実装に限定されることを意図していない。本明細書に含まれる開示の教示を実施するために、様々なプログラミング言語およびそのコーディングを使用することができることが認識されるであろう。
同一または異なるコンピュータ可読媒体105が、画像セット、患者記録、知識ベースなどを保存するために、使用されてもよい。このようなデータは、外部ストレージまたは他のメモリに記憶することもできる。外部ストレージは、ハードディスク、RAM、またはリムーバブルメディアなどのメモリ上に常駐し、プロセッサ装置104によって管理されるデータベース管理システム(DBMS)を使用して、実現してもよい。外部ストレージは、1つ以上の追加のコンピュータシステム上に実装することができる。例えば、外部ストレージは、別々のコンピュータシステム上に存在するデータウェアハウスシステム、画像保存通信システム(PACS)、または他の現在知られている、または後に開発される病院、医療機関、医局、検査施設、薬局または他の医療患者記録記憶システム、を含んでいてもよい。
撮像装置102は、画像を取得するための、単光子放射断層撮影(SPECT)スキャナなどの核撮像システムであってもよい。ワークステーション103は、コンピュータと、キーボードやディスプレイ装置といった適切な周辺機器を含んでもよく、また、システム100全体と連動して操作することができる。例えば、ワークステーション103は、撮像装置102と通信することができ、その結果、撮像装置102によって収集された画像をワークステーション103で描写し、ディスプレイ装置上で観察することができる。
ワークステーション103は、処理された画像を表示するために、および/または、画像処理結果を出力するために、コンピュータシステム101と直接通信してもよい。ワークステーション103は、画像の視覚化および/または処理を操作するために、入力装置(例えば、キーボード、マウス、タッチスクリーン、音声またはビデオ認識インターフェース等)を介して、ユーザ入力を受信するグラフィカルユーザインターフェースを含んでもよい。例えば、ユーザは、処理された画像を見ることができ、1つ以上のビュー調整または好み(例えば、ズーム、クロップ、パン、回転、コントラスト変更、色調変更、ビュー角度変化、ビュー深度変化、レンダリングまたは再構成技術の変更など)を指定し、「goto」位置を指定することによって特定の関心領域にナビゲーションし、画像セットの時間的ボリュームをナビゲーション(例えば、停止、プレイ、ステップスルーなど)する。
付随する図で描かれた構成システム構成要素および方法ステップのいくつかはソフトウェアに実装できるので、システム構成要素(または処理ステップ)間の実際の接続は、現在のフレームワークがプログラムされる方法に応じて異なっていてもよいことが、さらに理解されるべきである。本明細書に提供される教示を考慮すると、当業者は、本フレームワークのこれらおよび類似の実装または構成を熟考することができるであろう。
図2は、コンピュータシステムによって実施される例示的な画像再構成方法200を示す。方法200のステップは、示された順序で実施されることもあれば、異なる順序で実施されることもあることを、理解すべきである。また、追加の、異なる、又はより少数の、ステップを提供してもよい。さらに、方法200は、図1のシステム100、異なるシステム、またはこれらの組合せで、実装されてもよい。
202において、ニューラルネットワークモジュール111内の1つ以上のニューラルネットワークは、画像形成の物理に基づいて構成される。画像形成の物理は、関心対象の画像を取得するために使用される撮像のモダリティに依存する。いくつかの実装では、1つ以上のニューラルネットワークは、SPECT画像形成に基づいて定義される。SPECTは、臓器内に投与された放射性トレーサーの分布を表す核医学断層撮影技術である。コンピュータ断層撮影(CT)、SPECT/CT、陽電子放出断層撮影(PET)など、他の種類の画像診断法(英:imaging modalities)も用いられることがある。
図3は、例示的なSPECT画像形成を説明する。SPECTシステムは、検出器が患者の周りを回転できるように、通常ガントリーに搭載されたコリメータを備えた1つ以上のガンマカメラを使用する。二次元(2D)投影データのコレクション302は、患者の周りで均等に間隔を離された多くの角度で取得される。投影画像は、一般に、完全な360度または180度の弧上で、n度(例えば、n=3~6度)ごとに取得される。投影データセット302は、回転されたデータセット304を生成するために、与えられた角度に対して回転される。次いで、回転されたデータセット304は、フィルタ処理されたデータセット306を生成するために、ポイントスプレッド関数(PSF)フィルタリングを行うことによって、深度に依存したぼやけ(例えば、ガウスぼけ(英:Gaussian blurring))に対して補正され得る。次いで、数学的アルゴリズムを用いて、フィルタ処理されたデータセット306から2Dの投影画像308を推定してもよい。
図4aは、例示的なニューラルネットワーク410を示す。ニューラルネットワーク410は、物理によって説明されるブラックボックスとして、機能してもよい。入力データfは、出力データgを生成するためにニューラルネットワーク410に適用され、ここでiは行インデックスを表す。各ニューラルネットワークは、回転補正、深度依存性PSFフィルタリングエラー補正、散乱補正、減衰補正、運動補正、頭部のミスアライメントの補正などを含むが、これらに限定されない、異なる物理的効果に基づいてモデル化されていてもよい。各効果は、ニューラルネットワークの重みを初期化または修正することによってまたはニューラルネットワークに1つ以上の層を追加することによって、モデル化され得る。
例えば、減衰補正のために、減衰補正用の入力係数が、CT画像から導出されてもよい。しかしながら、減衰補正係数は、例えば、画像処理の間に腕が動いたり膀胱が満たされたりした場合には、変更する必要があるかもしれない。ニューラルネットワーク410は、その内部重みを、投影画像データにより適した値に、更新してもよい。
図4bは、例示的な単純回転402を示す。回転402は、次の関数
を使用して表してもよい。取得したデータgは、回転補正後の画像の奥行き積分(英:depth integral)を表す。この回転関数(2)を計算することにより、ニューラルネットワークの初期重みを決定してもよい。
図4cは、運動補正をモデル化する例示的な畳み込み層420を示す。層420は、例えば、ニューラルネットワーク410の最終層の1つとして、提供されてもよい。畳み込み層420は、入力投影データKから運動補正された投影データK’を生成する。
図4dは、運動補正のモデリングを説明する。コンボリューションカーネル(英:convolution kernels)424a-bは、入力画像422に適用され、出力画像426a-426bを生成する。コンボリューションカーネル424aの中央に「1」を置くことで、出力画像426aに変化は生じない。しかし、コンボリューション行列424bに示されるように別の位置に「1」を配置する場合、患者の動きの補正は、出力画像426bに示したように、モデル化することができる。
図4eは、頭部のミスアライメント補正をモデル化する例示的な畳み込み層430を示す。層430は、例えば、ニューラルネットワーク410の最終層の1つとして提供されてもよい。畳み込み層430は、入力投影データKに基づいて、頭部についてアライメント固定された(または修正された)投影データK’を生成する。
図4fは、点拡がり関数(PSF)フィルタリング補正の例示的なモデリングを示す。PSFフィルタリング補正は、深さに依存してもよい。PSFは、点源に対する撮像システムの応答を記述する。深さdでは、gの値は次の畳み込み式
= fdepth d * PSFd -----------(3)
で計算されてもよい。
ここで、gは推定された投影画像を示し、fdepth dは推定された体積分布を示し、PSFは深さdでの点拡散関数を示す。
PSFは、撮像システムの光学系の不完全性の結果として、任意の所与の物体に付加されるぼけの量の程度を提供するように、推定されてもよい。PSFを用いたフィルタ処理により、画像のぼやけを取り除くことができる。しかし、PSFの推定は様々な理由から間違っている可能性がある。例えば、コリメータに欠陥がある場合や、コリメータが実際には予定よりも遠くにある場合がある。PSF推定とフィルタリングの誤差は、PSFフィルタリングの出力を最適化するために、ニューラルネットワークの少なくとも1つの畳み込み層の重みを更新することによって、補正されてもよい。
図5は、SPECT画像再構成のための例示的なニューラルネットワークアーキテクチャ500を示す。アーキテクチャ500は、回転補正ニューラルネットワーク506、PSFフィルタリングエラー補正ニューラルネットワーク510、累積積分(英:cumulative integral)ニューラルネットワーク512、及び、積及び投影(英:product and projection)ニューラルネットワーク514、を含む。例示的なニューラルネットワークアーキテクチャ500は、そのような効果に基づいてニューラルネットワーク506、512及び514をモデル化することによって、減衰補正及び散乱補正効果を考慮に入れている。対象内でのガンマ線の減衰は、深部組織における活動の著しい過小評価につながる可能性がある。測定した減衰データを用いて最適な補正が得られる。減衰データ502は、組織の減衰マップとして機能するX線CT画像の形態で、測定され得る。ガンマ線の散乱ならびにガンマ線のランダムな性質は、SPECT画像の品質の劣化につながり得る、また、分解能の喪失を引き起こす可能性もある。SPECT画像の分解能を向上させるための散乱補正及び分解能回復を行うために、散乱データ504を測定してもよい。
より詳細には、取得されたSPECTボリューム画像302及び測定された減衰データ502を回転ニューラルネットワーク506への入力として適用して、回転画像ボリューム304及び回転減衰データ508を生成してもよい。回転された画像ボリュームは、フィルタリングされた画像ボリューム306を生成するために、PSFニューラルネットワーク510に適用される、一方で、回転された減衰データは、処理された減衰データ513を生成するために、累積積分ニューラルネットワーク512に適用される。累積積分ニューラルネットワーク512は、3D入力データを投影して、データ比較のための2D減衰データ513を生成する。次いで、フィルタ処理された画像ボリューム306、処理された減衰データ513、および測定された散乱データ504が、積及び投影ニューラルネットワーク514に適用されて、出力推定された投影画像308が生成される。ニューラルネットワーク514は、例えば、1つ以上の層を含んでいてもよく、当該1つ以上の層は、(図4c-eを参照して前述したように)運動補正または頭部のミスアライメントの補正をモデル化する。
図2に戻って、204において、画像再構成モジュール106は、取得されたテスト画像データを用いて、ニューラルネットワークモジュール111内の1つ以上のニューラルネットワークを最適化する。ニューラルネットワークの各層は単純勾配(英:simple gradient)をもっている。勾配を計算することは、この層を単独で用いるか、又は、他の層と併用するかにかかわらず、層の重みとは無関係である。したがって、層をタイプAに定義することで、その勾配を暗黙的に定義できる。このように、勾配は各動作に対して暗黙的に定義され、勾配降下(英:gradient descent)は、いかなる追加のステップもなしに、再構成を行うために使用できる。各動作の勾配は、逐次再構成が収束するのを助ける予測された減衰を用いてより良好な推定を見出すために、画像形成モデルの各ステップを最適化するように、計算されてもよい。
投影オペレータの反復内最適化(英:Intra-iteration optimization)も行うことができる。多くの反復ステップが取られた後、収束がまだ達成されていない場合は、それは画像形成のモデリングと実世界セットアップの間のミスマッチによって引き起こされることがある。いくつかの実施では、取得されたデータへの出力の一致を最大化にするために、ニューラルネットワークの入力が変更される。収束を達成するために、減衰マップの更新、頭部位置合わせまたは運動修正を提供してもよい。
図6は、ニューラルネットワーク最適化204の例示的な方法を示す。方法204のステップは、示された順序で実施されることもあれば、異なる順序で実施されることもあることを、理解すべきである。追加の、異なる、又は、より少数の、ステップが提供されてもよい。さらに、方法204は、図1のシステム100、異なるシステム、又はこれらの組合せで、実装されてもよい。
601では、画像再構成モジュール106は、最適化されるべきニューラルネットワークモジュール111内の1つ以上のニューラルネットワークを受け取る。
602では、画像再構成モジュール106は、ニューラルネットワークを通して入力データfを伝搬し、出力データgを生成する、ここでiは反復番号を示す。
604では、画像再構成モジュール106は、差分(g-g)を計算することによって、出力データgを取得されたテストデータgと比較する。この差分は誤差を表し、ニューラルネットワークを通って逆伝播する重みを決定するために用いられる。
606では、画像再構成モジュール106は、ニューラルネットワークを介して差分を逆伝播する。逆伝播は、fi+1=f+Δfが(g-g)関して(gi+1-g)を最小化するように実施される。
608では、画像再構成モジュール106は、反復の回数が所定の数m1よりも多い(またはそれと等しい)かどうかを決定する。所定の反復回数m1に達した場合、方法204は610に進む。もしそうでなければ、ステップ602から608が繰り返される。
610では、画像再構成モジュール106は、ニューラルネットワーク内部の重みを再訓練するために、ディープラーニング技術を使用する。f及びgを用いて、ディープラーニング技術は、ニューラルネットワークの重みの変化を推定し、ステップ604の改善(例えば、収束)を達成する。例えば、図5では、ニューラルネットワーク506、510、512または514の1つ以上の重みを最適化することができる。単一のニューラルネットワーク(506、510、512、514)を、他のニューラルネットワークを「凍結」しながら、選択的に最適化してもよい。重み付けの変更が所定の閾値によりgとgの間の差分を改善する場合、方法600は611へ続く。
図6に戻り、611では、画像再構成モジュール106は、反復の回数が所定の数m2より多い(またはそれと等しい)かどうかを決定する。所定の反復回数m2に達した場合、方法204は612に進む。もしそうでなければ、ステップ602から610が繰り返される。
612では、画像再構成モジュール106は、最適化されたニューラルネットワークを出力する。
図2に戻って、206では、関心対象の現在の画像データは、例えば、撮像装置102を用いて、取得される。現在の画像データは、画像形成の物理に基づく同じモダリティ(例えばSPECT)を使用して、取得される。関心対象は、患者の臓器、脳、心臓、脚、腕などの一部、のような、調査または検査のために同定される任意の、生物学的な対象であってもよい。
208では、画像再構成モジュール106は、出力画像を再構成するために、ニューラルネットワークモジュール111内の1つ以上の最適化されたニューラルネットワークへの入力として、現在の画像データを適用する。
210では、出力画像が提示される。出力画像は、例えばワークステーション103で、ユーザインタフェースを介して、レンダリング及び表示されてもよい。
本フレームワークは例示的な実施形態を参照して詳細に記載されているが、当業者は、付属する特許請求の範囲に記載されている本発明の精神および範囲から逸脱することなく、様々な変更および置換をこれに加えることができることを認識するであろう。例えば、異なる例示的な実施形態の要素および/または特徴は、本開示および付属する特許請求の範囲の請求項の範囲内で互いに結合され、および/または互いに置換されてもよい。
101…コンピュータシステム、102…撮像装置、103…ワークステーション、104…プロセッサ装置、105…非一時的なコンピュータ可読媒体、106…画像再構成モジュール、108…ディスプレイ装置、110…入力装置、111…ニューラルネットワークモジュール、202…ステップ、204…ステップ、206…ステップ、208…ステップ、210…ステップ

Claims (15)

  1. 画像再構成のためのシステム(101)であって、
    コンピュータ可読プログラムコードを記憶するための1以上の非一時的なコンピュータ可読媒体(105)、及び、
    前記1以上の非一時的なコンピュータ可読媒体(105)と通信するプロセッサ(104)、
    を備え、
    前記プロセッサ(104)は、
    前記コンピュータ可読媒体(105)から、関心対象の現在の画像データを取得するために使用される撮像のモダリティに依存する画像形成の物理に基づいて構成され、散乱補正のモデル化を含む1以上のニューラルネットワーク(410、500)を受け取ること、
    前記コンピュータ可読媒体(105)から受け取られた前記1以上のニューラルネットワーク(410、500)を、取得されたテスト画像データを使用して、最適化する(204)こと、
    前記モダリティにより撮像された前記関心対象の前記現在の画像データを取得すること、及び、
    前記テスト画像データを使用して最適化された、前記1以上のニューラルネットワーク(410、500)への入力として取得した前記現在の画像データを適用することによって、前記関心対象の出力画像を再構成する(208)こと、
    を含むステップを実行するように、前記コンピュータ可読プログラムコードを用いて作動する、
    システム(101)。
  2. 記撮像のモダリティSPECTを含む、前記コンピュータ可読プログラムコードを用いて作動する
    請求項1に記載のシステム(101)。
  3. 前記1以上のニューラルネットワーク(410、500)は、更に、回転補正、点拡がり関数(PSF)フィルタリングエラー補正、散乱補正、減衰補正、運動補正、頭部のミスアライメントの補正、またはそれらの組合わせ、をモデル化したものである、
    請求項1に記載のシステム(101)。
  4. 前記プロセッサ(104)は、減衰補正のための前記1以上のニューラルネットワーク(410、500)の少なくとも1つの重みを更新することによって、前記1以上のニューラルネットワーク(410、500)を構成するように、前記コンピュータ可読プログラムコードを用いて作動する、
    請求項1に記載のシステム(101)。
  5. 前記プロセッサ(104)は、回転関数(402)に基づき前記1以上のニューラルネットワーク(410、500)の少なくとも1つの重みを初期化することによって前記1以上のニューラルネットワーク(410、500)を構成するように、前記コンピュータ可読プログラムコードを用いて作動する、
    請求項1に記載のシステム(101)。
  6. 前記プロセッサ(104)は、前記1以上のニューラルネットワーク(410、500)のうちの少なくとも1つに、動きの補正をモデル化する少なくとも1つの最終層(420)を提供することによって、前記1以上のニューラルネットワーク(410、500)を構成するように、前記コンピュータ可読プログラムコードを用いて作動する、
    請求項1に記載のシステム(101)。
  7. 前記プロセッサ(104)は、前記1以上のニューラルネットワーク(410、500)のうちの少なくとも1つに、頭部のミスアライメント補正をモデル化する少なくとも1つの最終層(430)を提供することによって、前記1以上のニューラルネットワーク(410、500)を構成するように、前記コンピュータ可読プログラムコードを用いて作動する、
    請求項1に記載のシステム(101)。
  8. 前記プロセッサ(104)は、PSFフィルタリングエラー補正のための前記1以上のニューラルネットワーク(410、500)のうちの少なくとも1つの重みを更新することによって、前記1以上のニューラルネットワーク(410、500)を構成するように、前記コンピュータ可読プログラムコードを用いて作動する、
    請求項1に記載のシステム(101)。
  9. 前記プロセッサ(104)は、勾配降下最適化を行うことによって、前記1以上の受け取られたニューラルネットワーク(410、500)を最適化するように、前記コンピュータ可読プログラムコードを用いて作動する、
    請求項1に記載のシステム(101)。
  10. 前記プロセッサ(104)は、前記1以上の受け取られたニューラルネットワーク(410、500)を介して入力データを反復的に伝播させて出力データを生成させること、取得したテスト画像データと前記出力データを比較すること、及び、前記出力データと前記取得したテスト画像データの間の差分を前記1以上の受け取られたニューラルネットワーク(410、500)を介して逆伝播させること、によって、前記勾配降下最適化を行うように、前記コンピュータ可読プログラムコードを用いて作動する
    請求項9に記載のシステム(101)。
  11. 前記プロセッサ(104)は、ディープラーニング技術を用いて、前記1以上の受け取られたニューラルネットワーク(410、500)内の重みを再訓練するように、前記コンピュータ可読プログラムコードを用いて作動する、
    請求項10に記載のシステム(101)。
  12. 前記プロセッサ(104)は、反復内最適化を実行することによって前記1以上の受け取られたニューラルネットワーク(410、500)を最適化するように、前記コンピュータ可読プログラムコードを用いて作動する、
    請求項1に記載のシステム(101)。
  13. コンピュータに実装された画像再構成の方法(200)であって、
    プロセッサ(104)が、コンピュータ可読媒体(105)から、関心対象の現在の画像データを取得するために使用される撮像のモダリティに依存する画像形成の物理に基づいて構成され、散乱補正のモデル化を含む1以上のニューラルネットワーク(410、500)を受け取ること、
    前記プロセッサ(104)が、前記コンピュータ可読媒体(105)から受け取られた前記1以上のニューラルネットワーク(410、500)を、取得されたテスト画像データを使用して、最適化する(204)こと、
    前記プロセッサ(104)が、前記モダリティにより撮像された前記関心対象の前記現在の画像データを取得すること、及び、
    前記プロセッサ(104)が、前記テスト画像データを使用して最適化された、前記1以上のニューラルネットワーク(410、500)への入力として取得した前記現在の画像データを適用することによって、前記関心対象の出力画像を再構成する(208)こと、
    を含む方法(200)。
  14. 前記1以上のニューラルネットワーク(410、500)は、更に、回転補正、点拡がり関数(PSF)フィルタリングエラー補正、散乱補正、減衰補正、運動補正、頭部のミスアライメントの補正、またはこれらの組合せ、をモデル化するものである、
    請求項13に記載の方法(200)。
  15. 前記1以上のニューラルネットワーク(410、500)を構成すること(202)が、回転関数(402)に基づいて、前記1以上のニューラルネットワーク(410、500)のうちの少なくとも1つの重みを初期化すること、を含む、
    請求項13に記載の方法(200)。
JP2022521029A 2019-10-09 2019-10-09 1以上のニューラルネットワークとしての画像形成のモデル化による画像再構成 Active JP7459243B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/055293 WO2021071476A1 (en) 2019-10-09 2019-10-09 Image reconstruction by modeling image formation as one or more neural networks

Publications (2)

Publication Number Publication Date
JP2022552218A JP2022552218A (ja) 2022-12-15
JP7459243B2 true JP7459243B2 (ja) 2024-04-01

Family

ID=75438024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022521029A Active JP7459243B2 (ja) 2019-10-09 2019-10-09 1以上のニューラルネットワークとしての画像形成のモデル化による画像再構成

Country Status (6)

Country Link
US (1) US20220215601A1 (ja)
EP (1) EP4026054A4 (ja)
JP (1) JP7459243B2 (ja)
CN (1) CN114503118A (ja)
IL (1) IL291956A (ja)
WO (1) WO2021071476A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862320B (zh) * 2020-09-21 2020-12-11 之江实验室 一种spect三维重建图像到标准视图的自动转向方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130182928A1 (en) 2012-01-12 2013-07-18 Samsung Electronics Co., Ltd. Method and apparatus for correcting positron emission tomography image
US20170372193A1 (en) 2016-06-23 2017-12-28 Siemens Healthcare Gmbh Image Correction Using A Deep Generative Machine-Learning Model
US20180300907A1 (en) 2017-04-14 2018-10-18 Siemens Medical Solutions Usa, Inc. Network training and architecture for medical imaging
US20180330233A1 (en) 2017-05-11 2018-11-15 General Electric Company Machine learning based scatter correction
JP2019032211A (ja) 2017-08-07 2019-02-28 株式会社島津製作所 核医学診断装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4453734B2 (ja) * 2007-09-21 2010-04-21 ソニー株式会社 画像処理装置、画像処理方法、及び画像処理プログラム、並びに撮像装置
GB201219403D0 (en) * 2012-10-29 2012-12-12 Uni I Olso Method for improved estimation of tracer uptake in physiological image volumes
US20180018757A1 (en) * 2016-07-13 2018-01-18 Kenji Suzuki Transforming projection data in tomography by means of machine learning
US11517197B2 (en) * 2017-10-06 2022-12-06 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction
EP3542721A1 (de) * 2018-03-23 2019-09-25 Siemens Healthcare GmbH Verfahren zur bearbeitung von parametern eines maschinenlernverfahrens sowie rekonstruktionsverfahren

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130182928A1 (en) 2012-01-12 2013-07-18 Samsung Electronics Co., Ltd. Method and apparatus for correcting positron emission tomography image
US20170372193A1 (en) 2016-06-23 2017-12-28 Siemens Healthcare Gmbh Image Correction Using A Deep Generative Machine-Learning Model
US20180300907A1 (en) 2017-04-14 2018-10-18 Siemens Medical Solutions Usa, Inc. Network training and architecture for medical imaging
US20180330233A1 (en) 2017-05-11 2018-11-15 General Electric Company Machine learning based scatter correction
JP2019032211A (ja) 2017-08-07 2019-02-28 株式会社島津製作所 核医学診断装置

Also Published As

Publication number Publication date
IL291956A (en) 2022-07-01
JP2022552218A (ja) 2022-12-15
CN114503118A (zh) 2022-05-13
EP4026054A4 (en) 2022-11-30
WO2021071476A1 (en) 2021-04-15
US20220215601A1 (en) 2022-07-07
EP4026054A1 (en) 2022-07-13

Similar Documents

Publication Publication Date Title
US10387765B2 (en) Image correction using a deep generative machine-learning model
US9754390B2 (en) Reconstruction of time-varying data
Cai et al. Cine cone beam CT reconstruction using low-rank matrix factorization: algorithm and a proof-of-principle study
US8774481B2 (en) Atlas-assisted synthetic computed tomography using deformable image registration
CN111540025B (zh) 预测用于图像处理的图像
US9317915B2 (en) Computed-tomography system and method for determining volume information for a body
CN110546685B (zh) 图像分割和分割预测
Mair et al. Estimation of images and nonrigid deformations in gated emission CT
US10863946B2 (en) Respiratory motion estimation in projection domain in nuclear medical imaging
JP7359851B2 (ja) 陽電子放出断層撮影(pet)のための人工知能(ai)ベースの標準取込み値(suv)補正及び変動評価
EP2396765A1 (en) Group-wise image registration based on motion model
HU231302B1 (hu) Eljárás és rendszer, valamint tárolóeszköz kép rekonstrukció végrehajtására egy térfogathoz projekciós adathalmaz alapján
Van Eyndhoven et al. Region-based iterative reconstruction of structurally changing objects in CT
CN110458779B (zh) 对呼吸或心脏的pet图像进行衰减校正的校正信息获取方法
Qi et al. A quantitative study of motion estimation methods on 4D cardiac gated SPECT reconstruction
JP7459243B2 (ja) 1以上のニューラルネットワークとしての画像形成のモデル化による画像再構成
Gigengack et al. Motion correction in thoracic positron emission tomography
US20230154067A1 (en) Output Validation of an Image Reconstruction Algorithm
US11704795B2 (en) Quality-driven image processing
EP4312229A1 (en) Information processing apparatus, information processing method, program, trained model, and learning model generation method
US20230260141A1 (en) Deep learning for registering anatomical to functional images
CN114241069A (zh) 一种pet图像的散射校正方法
Abdalah 4D dynamic image reconstruction for cardiac SPECT

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220621

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220616

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230913

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240118

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240319

R150 Certificate of patent or registration of utility model

Ref document number: 7459243

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150