JP7246116B1 - トランスフォーマ特徴共有に基づくｐｅｔ画像再構成方法、装置、デバイス及び媒体 - Google Patents

トランスフォーマ特徴共有に基づくｐｅｔ画像再構成方法、装置、デバイス及び媒体 Download PDF

Info

Publication number
JP7246116B1
JP7246116B1 JP2023007950A JP2023007950A JP7246116B1 JP 7246116 B1 JP7246116 B1 JP 7246116B1 JP 2023007950 A JP2023007950 A JP 2023007950A JP 2023007950 A JP2023007950 A JP 2023007950A JP 7246116 B1 JP7246116 B1 JP 7246116B1
Authority
JP
Japan
Prior art keywords
pet
encoder
image
decoder
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023007950A
Other languages
English (en)
Other versions
JP2023133132A (ja
Inventor
聞▲タオ▼ 朱
宝 楊
元鋒 呉
少杰 李
Original Assignee
之江実験室
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 之江実験室 filed Critical 之江実験室
Application granted granted Critical
Publication of JP7246116B1 publication Critical patent/JP7246116B1/ja
Publication of JP2023133132A publication Critical patent/JP2023133132A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Nuclear Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本発明は、トランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法、装置、デバイス及び媒体を開示し、本発明は、ＰＥＴ生データ情報を含む逆投影画像を得、ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力することにより、ＰＥＴ画像を得る。本発明のＰＥＴ画像再構成ネットワークモデルは、２組のエンコーダ－デコーダから構成され、そのうち１組はＰＥＴ逆投影画像とＰＥＴ再構成画像の間のマッピングを確立し、もう１組はＰＥＴ逆投影画像と事前情報画像の間のマッピングを確立し、２組のエンコーダ－デコーダを同時に最適化することにより、事前情報画像中の事前知識を用いて目標ＰＥＴ画像中のノイズを低減しつつ、画像の詳細情報を保持することを実現する。２組のエンコーダの間で、畳み込みベースのアテンションメカニズムの代わりにトランスフォーマユニットを用いて、再構成ネットワークのトレーニングプロセスでエンコーダのパラメータ共有の自己学習を実現し、再構成誤差をさらに低減し、再構成ＰＥＴ画像の品質を改善する。【選択図】図１

Description

本発明は、医用画像技術の分野に関し、特に、トランスフォーマ（ｔｒａｎｓｆｏｒｍｅｒ）特徴共有に基づくＰＥＴ画像再構成方法、装置、デバイス及び媒体に関する。
陽電子放出断層撮影（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ、ＰＥＴ）は、人体の生物学的機能・代謝情報及び形態学・解剖学的構造情報を同時に提供できる医用画像技術であり、腫瘍の診断、神経精神疾患、心血管疾患の診断・治療及び評価などの臨床応用に広く用いられている。ＰＥＴ画像を生成するプロセスは、スキャン前に患者に放射性トレーサーを注入することと、トレーサーが体内の生理学的代謝に参加する際に崩壊して陽電子を生成することと、陽電子が近くの組織の中の電子と対消滅して逆方向に移動する高エネルギーの光子対を生成することと、反対の位置にある２つの検出器で光子対の一致検出を行って一致応答線を記録することと、一定数の一致応答線を収集し、位置及び角度情報に従って三次元ＰＥＴ生データとして配列することと、生データを補正した後、再構成アルゴリズムを用いて体内の各組織の代謝強度を表現する三次元ＰＥＴ画像を得ることとを含む。
コンピュータハードウェアのアップグレード及びディープラーニング技術の急速な発展に伴い、近年、ディープラーニングに基づくＰＥＴ画像再構成ネットワークの構築がホットな課題となっている。そのうち、エンコーダとデコーダを用いた低品質のＰＥＴ画像と高品質のＰＥＴ画像の間のエンドツーエンドのマッピングの確立や、ＰＥＴ生データとＰＥＴ画像の間のマッピングの確立などの技術は進歩を遂げている。しかしながら、単一の符号化－復号構造に基づく既存の再構成ネットワークは再構成プロセスにおいて他のモダリティの医用画像（例えば、コンピュータ断層撮影ＣＴ、磁気共鳴画像法ＭＲＩ）に存在するＰＥＴ画像に関する事前知識を導入できないため、ＰＥＴ画像の品質は依然として向上する余地がある。
複数組のエンコーダ－デコーダから構成されるマルチタスクディープニューラルネットワークはすでに自然画像及び医用画像の分割、検出などのタスクへの適用に成功している。当該ネットワーク構造は、メインタスクにサブタスクの事前情報を導入することを実現でき、そのネットワーク構造でよく用いられる特徴共有方式は、エンコーダ共用、又は畳み込みベースの空間、チャネルアテンションメカニズムを用いるエンコーダのパラメータ共有の学習である。エンコーダ共用の強制的なパラメータ共有と比べて、学習可能なパラメータ共有メカニズムは、ネットワークトレーニングをより優れるソリューションに導くことができる。それにも関わらず、既存の畳み込みベースのパラメータ共有の学習はグローバル性を欠いており、局所的な特徴間のアテンション係数を計算して、局所的なパラメータ共有しか実現できない。一方、従来の畳み込み構造に代わるトランスフォーマというネットワーク構造は、テキスト翻訳や音声認識などの分野で画期的な進歩を遂げている。トランスフォーマはグローバルなマルチヘッド自己アテンションメカニズム及び多層パーセプトロンから構成される。
本発明の目的は、ディープラーニングに基づく既存のＰＥＴ画像再構成技術の欠点に対し、トランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法、装置、デバイス及び媒体を提供することである。
本発明は、トランスフォーマの構造及び機能に基づいて、トランスフォーマ特徴共有に基づく新規なＰＥＴ画像再構成ネットワークモデルを構築する。当該モデルは、２組のエンコーダ－デコーダから構成され、そのうち１組のエンコーダ－デコーダはＰＥＴ逆投影画像とＰＥＴ再構成画像の間のマッピングを確立し、もう１組のエンコーダ－デコーダはＰＥＴ逆投影画像と事前情報画像の間のマッピングを確立し、２組のエンコーダ－デコーダを同時に最適化することにより、事前情報画像中の事前知識を用いてＰＥＴ画像再構成ネットワークの再構成誤差を低減することを実現する。２組のエンコーダの間で、畳み込みベースのアテンションメカニズムの代わりにトランスフォーマユニットを用いて、再構成ネットワークのトレーニングプロセスでエンコーダのパラメータ共有の自己学習を実現し、具体的には、トランスフォーマユニットに基づくインターリーブ接続を設計し、グローバルなチャネル及び空間的アテンション係数の計算を実現することにより、再構成ネットワークのトレーニングプロセスでエンコーダのパラメータ共有は自己学習され、ネットワークの再構成誤差をさらに低減し、再構成ＰＥＴ画像の品質を改善する。
本発明は、次の技術的解決手段により実現される。
トランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法であって、
ＰＥＴ生データ情報を含む逆投影画像を得るステップと、
前記ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力して、ＰＥＴ画像を得るステップと、を含む。
トランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルは、第１エンコーダ－デコーダと、第２エンコーダ－デコーダと、少なくとも１つのトランスフォーマユニットとを含み、第１エンコーダ－デコーダは逆投影画像をマッピングして予測ＰＥＴ画像を生成するために用いられ、第２エンコーダ－デコーダは逆投影画像をマッピングして予測事前情報画像を生成するために用いられ、事前情報画像はＰＥＴ画像と同じバッチで収集される他のモダリティの画像の１種であり、トランスフォーマユニットは第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットを接続し、第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットの出力を受信し、処理後の出力を第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における次の畳み込みユニットに送り込むために用いられ、各トランスフォーマユニットは順に接続されたアテンションメカニズムモジュール及び多層パーセプトロンモジュールを含み、
前記予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルは、トレーニングデータセットに基づいて、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失を最小にし、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像と第２エンコーダ－デコーダによって生成される予測事前情報画像との間の構造的類似性を最大にすることを目的としてトレーニングすることにより得られる。
さらに、
前記トレーニングデータセット中の各組のトレーニングデータは、ＰＥＴ生データ情報を含む逆投影画像、再構成して得られたＰＥＴ画像及び事前情報画像を含むことをさらに含む。
さらに、前記事前情報画像は、ＰＥＴ画像と同じバッチで収集されるＣＴ画像又はＭＲＩ画像である。
さらに、前記ＰＥＴ生データ情報を含む逆投影画像は、
ＰＥＴ生データを正則化、減衰、ランダム化、散乱補正した後、画像領域に逆投影して、ＰＥＴ生データ情報を含む逆投影画像を得ることで得られる。
さらに、前記ＰＥＴ画像は、
物理的に補正されたＰＥＴ生データを反復再構成することでＰＥＴ画像を得ることで得られる。
さらに、前記アテンションメカニズムモジュールは、第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットの出力スプライシング特徴に基づいてクエリベクトルグループ、キーワードベクトルグループ、特徴ベクトルグループを得て、クエリベクトルグループ中の各ベクトルをキーワードベクトルグループ中の全てのベクトルと順に内積演算を行い、内積演算により対応するベクトルの自身及び他の全てのベクトルに対するアテンションパラメータを得て、得られたアテンションパラメータを用いて特徴ベクトルグループ中の全てのベクトルの加重和を計算して、対応する特徴ベクトルの更新を完了し、さらに全ての特徴ベクトルを順に更新し、更新後の全ての特徴ベクトルをスプライシングし、出力特徴を算出し、出力特徴と畳み込みユニットの出力スプライシング特徴を加算する結果をアテンションメカニズムモジュールの最終出力とするために用いられる。
ＰＥＴ画像再構成装置であって、前記装置は、
ＰＥＴ生データ情報を含む逆投影画像を得るための画像取得モジュールと、
前記ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力して、ＰＥＴ画像を得るための再構成モジュールと、を含む。
さらに、前記装置は、
トレーニングデータセットに基づいて、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失を最小にし、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像と第２エンコーダ－デコーダによって生成される予測事前情報画像との間の構造的類似性を最大にすることを目的としてトレーニングすることにより予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルを得るためのトレーニングモジュールをさらに含む。
メモリと、プロセッサと、メモリに記憶され、プロセッサにおいて動作できるコンピュータプログラムとを含む電子デバイスであって、前記プロセッサが前記コンピュータプログラムを実行すると、前記ＰＥＴ画像再構成方法を実施する。
コンピュータ実行可能命令を含む記憶媒体であって、前記コンピュータ実行可能命令がコンピュータプロセッサによって実行されると、前記ＰＥＴ画像再構成方法が実施される。
本発明は、既存のＰＥＴ画像再構成方法と比べて、次の有益な効果を有する。本発明は、２組のエンコーダ－デコーダを同時にトレーニングすることによりＰＥＴ逆投影画像からＰＥＴ再構成画像及び他のモダリティの医用画像（例えば、ＣＴ、ＭＲＩ）へのマッピングを実現し、ＣＴ又はＭＲＩ画像中の事前情報を、ＰＥＴ画像再構成の品質を向上させ、再構成ネットワークの汎化能力を改善するために用いる。本発明は、畳み込み層の代わりにトランスフォーマユニットを用いて、２組のエンコーダをインターリーブ接続して、異なるチャネル、異なる空間的位置特徴の間のグローバル性を計算するアテンションメカニズムを実現することを提案し、局所的な特徴に基づく畳み込みネットワークによって実現される既存のアテンションメカニズムの性能より優れる。また、本発明は、１つの損失関数を最適化することにより、２組のエンコーダの間で特徴共有をいかに行うかの自己学習を実現し、１つのエンコーダを共用する既存のネットワーク構造と比べて、有用な情報を選択的に増やし、無用な情報を捨てることを実現することにより、ネットワークの最適なソリューションに近づく。
本発明の実施例１によって提供されるトランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法のフローの概略図である。 本発明の実施例１によって提供されるトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルの構造図である。 本発明の実施例１によって提供されるアテンションメカニズムモジュールの動作の概略図である。 本発明の実施例１によって提供されるトランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法と単一のエンコーダ－デコーダに基づくＰＥＴ画像再構成方法の再構成結果の比較図である。 本発明の実施例２によって提供されるＰＥＴ再構成装置の構造概略図である。 本発明の実施例３によって提供される電子デバイスの構造概略図である。
例示的な実施例をここで詳細に説明し、その例示は添付の図面に示される。以下の説明が図面に言及している場合、特に断りのない限り、異なる図面の同じ番号は、同じ又は類似の要素を示す。以下の例示的な実施例に記載の実施形態は、本発明と一致する全ての実施形態を表すわけではない。それどころか、それらは、添付の特許請求の範囲に詳述されているような、本発明のいくつかの態様と一致する装置及び方法の例に過ぎない。
本発明で使用される用語は、特定の実施例を説明するためのものに過ぎず、本発明を限定するものではない。
本発明及び添付の特許請求の範囲で使用される単数形「一種」、「前記」及び「当該」は、文脈が明らかに他の意味を示さない限り、複数形も含むことを意図している。また、本明細書において使用される用語「及び／又は」は、１つ又は複数の関連する列挙された項目の任意の又は全ての可能な組み合わせを指し、包含することを理解されたい。
なお、本発明では「第１」、「第２」、「第３」などの用語で様々な情報を説明するかもしれないが、これらの情報はこれらの用語に限定されない。これらの用語は同じタイプの情報を互いに区別するためだけに用いられる。例えば、本発明の範囲から逸脱しない限り、第１情報は第２情報とも呼ばれてもよいし、同様に、第２情報は第１情報と呼ばれてもよい。文脈によって、ここで使用される言葉「もし」は、「…とき」又は「…と」又は「決定に応じて」と解釈されてもよい。
実施例１：図１は、本発明の実施例１によって提供されるトランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法のフローの概略図であり、図１に示されるように、当該方法は、具体的に以下のステップを含む。
ステップ１０１、ＰＥＴ生データ情報を含む逆投影画像を得る。
具体的には、ＰＥＴ生データを正則化、減衰、ランダム化、散乱補正した後、画像領域に逆投影して、生データ情報を含む逆投影画像を得る。
ステップ１０２、前記ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力して、ＰＥＴ画像を得る。
トランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルは、第１エンコーダ－デコーダと、第２エンコーダ－デコーダと、トランスフォーマユニットとを含み、第１エンコーダ－デコーダは逆投影画像をマッピングして予測ＰＥＴ画像を生成するために用いられ、第２エンコーダ－デコーダは逆投影画像をマッピングして予測事前情報画像を生成するために用いられ、前記事前情報画像はＰＥＴ画像と同じバッチで収集される他のモダリティの画像の１種であり、トランスフォーマユニットは第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットを接続し、第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットの出力を受信し、処理後の出力を第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における次の畳み込みユニットに送り込むために用いられ、各トランスフォーマユニットは順に接続されたアテンションメカニズムモジュール及び多層パーセプトロンモジュールを含む。
前記エンコーダ－デコーダは、一般的なニューラルネットワーク構造であり、複数の畳み込みユニット及び逆畳み込みユニットから構成される。
本発明は、エンコーダ－デコーダを確立して、マッピングにより、それぞれ予測ＰＥＴ画像及び予測事前情報画像を生成し、事前情報画像中の事前知識を用いて目標ＰＥＴ画像中のノイズを低減しつつ、画像の詳細情報を保持し、同時にトランスフォーマユニットがマルチヘッド自己アテンションメカニズム及び多層パーセプトロンから構成されることを利用して、グローバルなアテンション係数を計算することができ、２組のエンコーダの間で、トランスフォーマユニットに基づくインターリーブ接続を設計し、グローバルなチャネル及び空間的なアテンション係数の計算を実現することにより、再構成ネットワークのトレーニングプロセスでエンコーダのパラメータ共有は自己学習され、ネットワークの再構成誤差をさらに低減し、再構成ＰＥＴ画像の品質を改善する。
前記事前情報画像は、ＰＥＴ画像と同じバッチで収集される他のモダリティの画像の１種を指し、例えば、ＣＴ画像、ＭＲＩ画像などである。事前情報画像の収集とＰＥＴ画像の収集の時間間隔が短く、体内の各臓器、組織の構造変化が無視できるため、事前情報画像とＰＥＴ画像は同じ解剖学的構造を有する。また、事前情報画像はＰＥＴ画像より高い解像度を有するため、事前情報画像の局所的な平滑性を利用してＰＥＴ画像の対応する臓器、組織の内部のノイズを低減し、構造の詳細情報を保持することができる。
前記トランスフォーマユニットは１つでも複数でもよく、第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造におけるいずれかの畳み込みユニットを接続するために用いられてもよく、好ましくは、図２が、本発明の実施例１によって提供されるトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルの構造図であり、前記トランスフォーマユニットの数と第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットの数は同じであり、各組の畳み込みユニットについてエンコーダパラメータの共有は自己学習され、再構成ＰＥＴ画像の品質を最大限に改善する。
前記エンコーダ－デコーダ符号化構造における畳み込みユニットの出力は、複数のチャネルから構成され、好ましい実施形態として、前記アテンションメカニズムモジュールは各チャネルについて、図３に示されるように操作処理を行い、具体的には次のとおりである。
第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットの出力スプライシング特徴の各チャネルのデータに基づいて投影行列Ｗｉ ｑｒｙ、Ｗｉ ｋｅｙ、Ｗｉ ｖａｌによって（ｉはｉ番目のチャネルを表す）、それぞれクエリベクトルグループ、キーワードベクトルグループ、特徴ベクトルグループとして投影し、クエリベクトルグループ中の各ベクトルをキーワードベクトルグループ中の全てのベクトルと順に内積演算を行い、内積演算により対応するベクトルの自身及び他の全てのベクトルに対するアテンションパラメータを得て、得られたアテンションパラメータを用いて特徴ベクトルグループ中の全てのベクトルの加重和を計算して、対応する特徴ベクトルの更新を完了し、さらに全ての特徴ベクトルを順に更新し、前記ステップを繰り返して他のチャネルの特徴ベクトルグループの更新を完了する。更新後の各チャネルの特徴ベクトルグループをスプライシングし、投影行列Ｗｏによって出力特徴１を算出し、出力特徴１と畳み込みユニットの出力スプライシング特徴を加算する結果をアテンションメカニズムモジュールの最終出力とする。
単一のチャネルのあるベクトルの特徴ベクトルに対する更新方法は次のように表されてもよい。
Figure 0007246116000002
 ただし、ｆｉは第１エンコーダ－デコーダ及び第２エンコーダ－デコーダにおける畳み込みユニットの単一のチャネルから出力されるスプライシング特徴である。ｆｉＷｉ ｑｒｙ、（Ｗｉ ｋｅｙ）τｆｉ、ｆｉＷｉ ｖａｌは３つの投影演算である。ｓｏｆｔｍａｘ（）は非線形活性化関数であり、ｄは単一のチャネルの特徴ベクトルグループの次元である。上記で提案されるアテンションメカニズムモジュールは畳み込み層の代わりに、２組のエンコーダをインターリーブ接続して、異なるチャネル、異なる空間的位置特徴の間のグローバル性を計算するアテンションメカニズムを実現し、局所的な特徴に基づく畳み込みネットワークによって実現される既存のアテンションメカニズムの性能より優れる。
前記予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルは、トレーニングデータセットに基づいて、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失を最小にし、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像と第２エンコーダ－デコーダによって生成される予測事前情報画像との間の構造的類似性を最大にすることを目的としてトレーニングすることにより得られる。
具体的に、前記トレーニングデータセット中の各組のトレーニングデータは、ＰＥＴ生データ情報を含む逆投影画像、再構成して得られたＰＥＴ画像及び事前情報画像を含む。ＰＥＴ生データ情報を含む逆投影画像はトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルの入力となり、再構成して得られたＰＥＴ画像は第１エンコーダ－デコーダの学習ラベル（第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像に対応する真値）となり、事前情報画像は第２エンコーダ－デコーダの学習ラベル（第２エンコーダ－デコーダによって生成される予測事前情報画像に対応する真値）となる。
学習ラベルとなるデータは、ＰＥＴ放射性トレーサーの体内の各臓器における分布状況を可能な限り高品質で表現する必要があり、本実施例において、前記ＰＥＴ画像は、
物理的に補正されたＰＥＴ生データを反復再構成することでＰＥＴ画像を得ることで得られる。
さらに、トレーニングする時に勾配最適化アルゴリズムを用いて第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失を最小にし、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像と第２エンコーダ－デコーダによって生成される予測事前情報画像との間の構造的類似性を最大にし、トランスフォーマユニットによってインターリーブ接続される第１エンコーダ－デコーダ、第２エンコーダ－デコーダのパラメータを更新する。第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失は次のように定義される。
Figure 0007246116000003
 ただし、
Figure 0007246116000004
 は第１エンコーダ－デコーダの出力であり、ＩＰＥＴは第１エンコーダ－デコーダの学習ラベルであり、即ち再構成して得られたＰＥＴ画像であり、
Figure 0007246116000005
 は第２エンコーダ－デコーダの出力であり、ＩＣＴは第２エンコーダ－デコーダの学習ラベルであり、本実施例ではＣＴ画像である。ＳＳＩＭ（）は、構造的類似性指標測定関数であり、２組のエンコーダ－デコーダの出力の間の構造的類似性を計算するために用いられる。βは重み係数であり、構造的類似性の損失関数に対する重要度を調節するために用いられる。１つの損失関数で２組のエンコーダ－デコーダを同時にトレーニングすることによりＰＥＴ逆投影画像からＰＥＴ再構成画像及び他のモダリティの医用画像（例えば、ＣＴ、ＭＲＩ）へのマッピングを実現し、ＣＴ又はＭＲＩ画像中の事前情報を、ＰＥＴ画像再構成の品質を向上させ、再構成ネットワークの汎化能力を改善するために用いる。また、ネットワークのトレーニングは２組のエンコーダの間で特徴共有をいかに行うかの自己学習を実現し、１つのエンコーダを共用する既存のネットワーク構造と比べて、有用な情報を選択的に増やし、無用な情報を捨てることを実現することにより、エンコーダ－デコーダの出力を最適なソリューションに近づける。
図４は、本発明の実施例１によって提供されるトランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法と単一のエンコーダ－デコーダに基づくＰＥＴ画像再構成方法による患者のＰＥＴ全身画像に対する再構成結果の比較図であり、ここで、単一のエンコーダ－デコーダに基づくものはＰＥＴ逆投影画像を入力とし、従来の反復再構成画像を学習ラベルとしてトレーニングして得られるものであり、単一のエンコーダ－デコーダによる再構成結果は図４の（ａ）に示され、当該再構成結果は従来の反復再構成の結果に非常に近い。本発明によって提案されるトランスフォーマ特徴共有に基づくマルチ符号化－復号ネットワークを用いて再構成する結果は図４の（ｂ）に示され、生成されるＰＥＴ画像中のノイズは図４の（ａ）より明らかに少なく、また、肺腫瘍（例えば、矢印で示す）のコントラストは低下しておらず、ＰＥＴ再構成画像の品質が顕著に向上している。
実施例２：前記トランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法の実施例に対応して、本実施例は、さらに、トランスフォーマ特徴共有に基づくＰＥＴ画像再構成装置を提供し、図５は、本発明の実施例２によって提供されるＰＥＴ再構成装置の構造概略図であり、図５に示されるように、前記装置は、画像取得モジュール１１０と、再構成モジュール１２０とを含み、
画像取得モジュール１１０は、ＰＥＴ生データ情報を含む逆投影画像を得るために用いられ、
再構成モジュール１２０は、前記ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力して、ＰＥＴ画像を得る。
前記トランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルの構造は図２に示されており、ここで説明を省略する。
さらに、当該装置は、トレーニングデータセットに基づいて、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失を最小にし、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像と第２エンコーダ－デコーダによって生成される予測事前情報画像との間の構造的類似性を最大にすることを目的としてトレーニングすることにより予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルを得るためのトレーニングモジュール１３０をさらに含む。
本実施例によって提供されるＰＥＴ画像再構成装置は、ＰＥＴ再構成画像の品質を顕著に向上させることができる。
実施例３：前記トランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法の実施例に対応して、本実施例は、さらに、トランスフォーマ特徴共有に基づく電子デバイスを提供し、図６は、本発明の実施例３によって提供される電子デバイスの構造概略図であり、図６に示されるように、本発明の実施例によって提供される電子デバイスは、メモリと、プロセッサと、メモリに記憶され、プロセッサにおいて動作できるコンピュータプログラムとを含み、前記プロセッサが前記コンピュータプログラムを実行すると、前記トランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法を実施する。
本発明の電子デバイスは、データ処理能力を有する任意のデバイスに配置され、当該データ処理能力を有する任意のデバイスは、例えば、コンピュータなどのデバイス又は装置であってもよい。
論理的な意味での装置としては、それが配置されているデータ処理能力を有する任意のデバイスのプロセッサによって不揮発性メモリ中の対応するコンピュータプログラム命令をメモリに読み込んで実行することによって形成される。ハードウェア面では、本発明の電子デバイスのハードウェア構造図である図６に示されるように、図６に示されるプロセッサ、メモリ、ネットワークインタフェース及び不揮発性メモリの他に、実施例におけるデータ処理能力を有する任意のデバイスは通常、当該データ処理能力を有する任意のデバイスの実際の機能に応じて、他のハードウェアを含んでもよく、これに関しては説明を省略する。
前記電子デバイスの各ユニットの機能及び効果を実現するプロセスについては、具体的に前記方法における対応するステップを実現するプロセスを参照することができ、ここで説明を省略する。
電子デバイスの実施例について、実質的に方法実施例に対応しているため、関連する部分は方法実施例の説明を参照すればよい。上記の電子デバイスの実施例は例示的なものに過ぎず、分離部品として説明されるユニットは物理的に分離しているものでもよいし、そうでなくてもよく、ユニットとして記されている部品は物理的なユニットでもよいし、そうでなくてもよく、即ち同じ場所に位置してもよいし、又は複数のネットワークユニットに分布していてもよい。本発明の解決策の目的を達成するために、実際のニーズに応じてその中から一部又は全てのモジュールを選んでもよい。当業者は創造的な努力をすることなく理解し、実施することができる。
本発明の実施例は、さらに、コンピュータ可読記憶媒体を提供し、プログラムが記憶されており、当該プログラムがプロセッサによって実行されると、前記実施例におけるトランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法が実施される。
前記コンピュータ可読記憶媒体は、上記のいずれかの実施例において記載されているデータ処理能力を有する任意のデバイスの内部記憶ユニットであってもよく、例えば、ハードディスク又はメモリである。前記コンピュータ可読記憶媒体は、データ処理能力を有する任意のデバイスであってもよく、例えば、前記デバイスに搭載されているプラグインハードディスク、スマートメモリカード（Ｓｍａｒｔ Ｍｅｄｉａ（登録商標） Ｃａｒｄ、ＳＭＣ）、ＳＤカード、フラッシュメモリカード（Ｆｌａｓｈ Ｃａｒｄ）などである。さらに、前記コンピュータ可読記憶媒体は、データ処理能力を有する任意のデバイスの内部記憶ユニット及び外部記憶デバイスの両方を含んでもよい。前記コンピュータ可読記憶媒体は、前記コンピュータプログラム及び前記データ処理能力を有する任意のデバイスに必要な他のプログラムとデータを記憶するために用いられ、すでに出力している又は出力する予定のデータを一時的に記憶するために用いられてもよい。
なお、上述したのは本発明の好ましい実施例及び使用される技術的原理に過ぎない。当業者であれば、本発明はここに記載されている特定の実施例に限定されず、当業者にとって本発明の保護範囲を逸脱することなく様々な明白な変更、再調整及び置換が可能であることを理解するであろう。従って、上記の実施例を通じて本発明を詳細に説明しているが、本発明は上記の実施例に限定されず、本発明の構想を逸脱しない限り、さらに多くの他の等価な実施例を含んでもよく、本発明の範囲は添付の特許請求の範囲により決定される。

Claims (9)

  1. トランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法であって、
    ＰＥＴ生データ情報を含む逆投影画像を得るステップと、
    前記ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力して、ＰＥＴ画像を得るステップと、を含み、
    トランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルは、第１エンコーダ－デコーダと、第２エンコーダ－デコーダと、少なくとも１つのトランスフォーマユニットとを含み、前記第１エンコーダ－デコーダは逆投影画像をマッピングして予測ＰＥＴ画像を生成するために用いられ、第２エンコーダ－デコーダは逆投影画像をマッピングして予測事前情報画像を生成するために用いられ、事前情報画像はＰＥＴ画像と同じバッチで収集される他のモダリティの画像の１種であり、トランスフォーマユニットは第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットを接続し、第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットの出力を受信し、処理後の出力を第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における次の畳み込みユニットに送り込むために用いられ、各トランスフォーマユニットは順に接続されたアテンションメカニズムモジュール及び多層パーセプトロンモジュールを含み、
    前記アテンションメカニズムモジュールは、第１エンコーダ－デコーダ、第２エンコーダ－デコーダ符号化構造における畳み込みユニットの出力スプライシング特徴に基づいてクエリベクトルグループ、キーワードベクトルグループ、特徴ベクトルグループを得て、クエリベクトルグループ中の各ベクトルをキーワードベクトルグループ中の全てのベクトルと順に内積演算を行い、内積演算により対応するベクトルの自身及び他の全てのベクトルに対するアテンションパラメータを得て、得られたアテンションパラメータを用いて特徴ベクトルグループ中の全てのベクトルの加重和を計算して、対応する特徴ベクトルの更新を完了し、さらに全ての特徴ベクトルを順に更新し、更新後の全ての特徴ベクトルをスプライシングし、出力特徴を算出し、出力特徴と畳み込みユニットの出力スプライシング特徴を加算する結果をアテンションメカニズムモジュールの最終出力とするために用いられ、
    前記予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルは、トレーニングデータセットに基づいて、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失を最小にし、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像と第２エンコーダ－デコーダによって生成される予測事前情報画像との間の構造的類似性を最大にすることを目的としてトレーニングすることにより得られることを特徴とするトランスフォーマ特徴共有に基づくＰＥＴ画像再構成方法。
  2. 前記トレーニングデータセット中の各組のトレーニングデータは、ＰＥＴ生データ情報を含む逆投影画像、再構成して得られたＰＥＴ画像、及び事前情報画像を含むことをさらに含むこと特徴とする請求項１に記載の方法。
  3. 前記事前情報画像は、ＰＥＴ画像と同じバッチで収集されるＣＴ画像又はＭＲＩ画像であることを特徴とする請求項１に記載の方法。
  4. 前記ＰＥＴ生データ情報を含む逆投影画像は、
    ＰＥＴ生データを正則化、減衰、ランダム化、散乱補正した後、画像領域に逆投影して、ＰＥＴ生データ情報を含む逆投影画像を得ることで得られることを特徴とする請求項１に記載の方法。
  5. 前記ＰＥＴ画像は、
    物理的に補正されたＰＥＴ生データを反復再構成することでＰＥＴ画像を得ることで得られることを特徴とする請求項１に記載の方法。
  6. 請求項１に記載のＰＥＴ画像再構成方法を実施するＰＥＴ画像再構成装置であって、
    ＰＥＴ生データ情報を含む逆投影画像を得るための画像取得モジュールと、
    前記ＰＥＴ生データ情報を含む逆投影画像を予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルに入力して、ＰＥＴ画像を得るための再構成モジュールと、を含むことを特徴とするＰＥＴ画像再構成装置。
  7. トレーニングデータセットに基づいて、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像、第２エンコーダ－デコーダによって生成される予測事前情報画像と真値との損失を最小にし、第１エンコーダ－デコーダによって生成される予測ＰＥＴ画像と第２エンコーダ－デコーダによって生成される予測事前情報画像との間の構造的類似性を最大にすることを目的としてトレーニングすることにより予めトレーニングされたトランスフォーマ特徴共有に基づくＰＥＴ画像再構成ネットワークモデルを得るためのトレーニングモジュールをさらに含むことを特徴とする請求項６に記載の装置。
  8. メモリと、プロセッサと、メモリに記憶され、プロセッサにおいて動作できるコンピュータプログラムとを含む電子デバイスであって、前記プロセッサが前記コンピュータプログラムを実行すると、請求項１～５のいずれか１項に記載のＰＥＴ画像再構成方法を実施することを特徴とする電子デバイス。
  9. コンピュータ実行可能命令を含む記憶媒体であって、前記コンピュータ実行可能命令がコンピュータプロセッサによって実行されると、請求項１～５のいずれか１項に記載のＰＥＴ画像再構成方法が実施されることを特徴とする記憶媒体。
JP2023007950A 2022-03-11 2023-01-23 トランスフォーマ特徴共有に基づくｐｅｔ画像再構成方法、装置、デバイス及び媒体 Active JP7246116B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210235862.7A CN114332287B (zh) 2022-03-11 2022-03-11 基于transformer特征共享的PET图像重建方法、装置、设备及介质
CN202210235862.7 2022-03-11

Publications (2)

Publication Number Publication Date
JP7246116B1 true JP7246116B1 (ja) 2023-03-27
JP2023133132A JP2023133132A (ja) 2023-09-22

Family

ID=81033499

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023007950A Active JP7246116B1 (ja) 2022-03-11 2023-01-23 トランスフォーマ特徴共有に基づくｐｅｔ画像再構成方法、装置、デバイス及び媒体

Country Status (2)

Country Link
JP (1) JP7246116B1 (ja)
CN (1) CN114332287B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843679A (zh) * 2023-08-28 2023-10-03 南方医科大学 基于深度图像先验框架的pet图像部分容积校正方法
CN117011673A (zh) * 2023-10-07 2023-11-07 之江实验室 基于噪声扩散学习的电阻抗层析成像图像重建方法和装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115423893B (zh) * 2022-11-03 2023-04-28 南京应用数学中心 基于多模态结构相似度神经网络的低剂量pet-ct重建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257134A (zh) 2017-12-21 2018-07-06 深圳大学 基于深度学习的鼻咽癌病灶自动分割方法和系统
US20190340793A1 (en) 2018-05-04 2019-11-07 General Electric Company Systems and methods for improved pet imaging
JP2019211475A (ja) 2018-05-31 2019-12-12 キヤノンメディカルシステムズ株式会社 医用画像処理装置及びプログラム
CN113256753A (zh) 2021-06-30 2021-08-13 之江实验室 基于多任务学习约束的pet图像感兴趣区域增强重建方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3769284A4 (en) * 2018-03-23 2021-12-22 Memorial Sloan-Kettering Cancer Center DEEP ENCODER-DECODER MODELS FOR THE RECONSTRUCTION OF BIOMEDICAL IMAGES
CN109584324B (zh) * 2018-10-24 2022-12-06 南昌大学 一种基于自动编码器网络的正电子发射型计算机断层显像(pet)重建方法
JP7254656B2 (ja) * 2019-07-18 2023-04-10 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像診断装置及び核医学診断装置
CN110580695B (zh) * 2019-08-07 2022-06-21 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备
CN111325686B (zh) * 2020-02-11 2021-03-30 之江实验室 一种基于深度学习的低剂量pet三维重建方法
CN111462020B (zh) * 2020-04-24 2023-11-14 上海联影医疗科技股份有限公司 心脏图像的运动伪影校正方法、系统、存储介质和设备
CN111627082B (zh) * 2020-05-21 2022-06-21 浙江大学 基于滤波反投影算法和神经网络的pet图像重建方法
CN112150568A (zh) * 2020-09-16 2020-12-29 浙江大学 基于Transformer模型的磁共振指纹成像重建方法
CN112651890A (zh) * 2020-12-18 2021-04-13 深圳先进技术研究院 基于双编码融合网络模型的pet-mri图像去噪方法、装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257134A (zh) 2017-12-21 2018-07-06 深圳大学 基于深度学习的鼻咽癌病灶自动分割方法和系统
US20190340793A1 (en) 2018-05-04 2019-11-07 General Electric Company Systems and methods for improved pet imaging
JP2019211475A (ja) 2018-05-31 2019-12-12 キヤノンメディカルシステムズ株式会社 医用画像処理装置及びプログラム
CN113256753A (zh) 2021-06-30 2021-08-13 之江实验室 基于多任务学习约束的pet图像感兴趣区域增强重建方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843679A (zh) * 2023-08-28 2023-10-03 南方医科大学 基于深度图像先验框架的pet图像部分容积校正方法
CN116843679B (zh) * 2023-08-28 2023-12-26 南方医科大学 基于深度图像先验框架的pet图像部分容积校正方法
CN117011673A (zh) * 2023-10-07 2023-11-07 之江实验室 基于噪声扩散学习的电阻抗层析成像图像重建方法和装置
CN117011673B (zh) * 2023-10-07 2024-03-26 之江实验室 基于噪声扩散学习的电阻抗层析成像图像重建方法和装置

Also Published As

Publication number Publication date
JP2023133132A (ja) 2023-09-22
CN114332287B (zh) 2022-07-15
CN114332287A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
JP7246116B1 (ja) トランスフォーマ特徴共有に基づくｐｅｔ画像再構成方法、装置、デバイス及び媒体
Zhou et al. Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method
CN109697741B (zh) 一种pet图像重建方法、装置、设备及介质
Chen et al. Semantic-aware generative adversarial nets for unsupervised domain adaptation in chest x-ray segmentation
Luo et al. 3D transformer-GAN for high-quality PET reconstruction
Song et al. Deep learning-based automatic segmentation of images in cardiac radiography: a promising challenge
Cheng et al. Applications of artificial intelligence in nuclear medicine image generation
CN113256753B (zh) 基于多任务学习约束的pet图像感兴趣区域增强重建方法
Xue et al. LCPR-Net: low-count PET image reconstruction using the domain transform and cycle-consistent generative adversarial networks
Myronenko et al. 4D CNN for semantic segmentation of cardiac volumetric sequences
Chen et al. Generative adversarial U-Net for domain-free medical image augmentation
Kläser et al. Improved MR to CT synthesis for PET/MR attenuation correction using imitation learning
Kläser et al. Deep boosted regression for MR to CT synthesis
Xia et al. Deep residual neural network based image enhancement algorithm for low dose CT images
Chen et al. Dual-branch squeeze-fusion-excitation module for cross-modality registration of cardiac SPECT and CT
Wang et al. IGNFusion: an unsupervised information gate network for multimodal medical image fusion
Su et al. A deep learning method for eliminating head motion artifacts in computed tomography
Amirkolaee et al. Development of a GAN architecture based on integrating global and local information for paired and unpaired medical image translation
Chan et al. An attention-based deep convolutional neural network for ultra-sparse-view CT reconstruction
Poonkodi et al. 3d-medtrancsgan: 3d medical image transformation using csgan
Yin et al. Unpaired low-dose CT denoising via an improved cycle-consistent adversarial network with attention ensemble
Chen et al. DuSFE: Dual-Channel Squeeze-Fusion-Excitation co-attention for cross-modality registration of cardiac SPECT and CT
CN113379863A (zh) 基于深度学习的动态双示踪pet图像联合重建与分割方法
Sang et al. A conditional registration network for continuous 4D respiratory motion synthesis
Qin et al. Multicenter computer-aided diagnosis for lymph nodes using unsupervised domain-adaptation networks based on cross-domain confounding representations

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230123

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230123

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230307

R150 Certificate of patent or registration of utility model

Ref document number: 7246116

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150