JP7324195B2 - ディープイメージングを使用したポジトロンエミッショントモグラフィシステム設計の最適化 - Google Patents

Description

本発明は、一般に、医用イメージング技術、医用画像解釈技術、画像再構成技術、ディープラーニング技術、及び関連技術に関する。

ハイエンドのポジトロンエミッショントモグラフィ／コンピュータトモグラフィ（ＰＥＴ／ＣＴ）システムは、デジタル検出技法、高い時間解像度のタイムオブフライト（ＴＯＦ）エレクトロニクスのようなハードウェア設計の高度な技術、及びリストモードＴＯＦ再構成のような高度なデータ処理ソフトウェアを使用する。主な欠点は、関連するシステムの複雑さ、設計及び製造コスト、保守コストなどである。

臨床応用のためのシステム性能を維持しながら、システムの設計を最適化することによるコスト削減は、ＰＥＴ／ＣＴシステムの最大の産業上の課題の１つである。結晶のコストは、ＰＥＴシステムの総コストの大きな要素であるので、コスト削減のための１つの主要な取り組みは、より安価な結晶を使用することである。しかしながら、結晶のコストの低減は、ほとんどの場合、性能の低下につながる。例えば、ルテチウムイットリウムオキシオルソシリケート（ＬＹＳＯ）結晶と比較して安価な結晶を使用すると、ＰＥＴ／ＣＴシステム全体のコストを削減することができるが、次善のＴＯＦ解像度しか実現できない場合がある。

ソフトウェアアプローチが、主に高度な再構成及びデータ処理アルゴリズムを通じて、低コストでシステムの性能を改善するために開発されてきた。例えば、一部の既存の再構成ソフトウェアプログラムが、低解像度のＴＯＦを備えたシステム又はＴＯＦ機能をまったく備えていないシステムからの画像品質を改善するために使用されることができる。このような従来の再構成及びデータ処理アルゴリズムからの改善は、システム性能と顧客のニーズとの間のギャップを埋めるには十分でないことがある。

ＰＥＴ／ＣＴ設計の最適化は、所望のシステム性能とコスト（製造コスト、運用及び保守コスト等を含むライフサイクルコスト）とのバランスである。ローエンドのＰＥＴ／ＣＴシステムはコストが一層低くなるが、性能が低下する可能性がある。従来のソフトウェアソリューションは、ローエンドシステムの性能（画像品質、定量化など）を改善することができるが、多くの場合、性能を満足できるレベルに改善するには不十分である。

以下は、これらの問題を克服するための新しく改善されたシステム及び方法を開示する。

１つの開示された態様において、イメージング方法は、第１の画像取得装置使用して１又は複数のイメージング対象の第１のトレーニング画像を取得するステップと、第１のイメージング装置と同じイメージングモダリティの第２の画像取得装置を使用して、第１のトレーニング画像と同じ１つ又は複数のイメージング対象の第２のトレーニング画像を取得するステップと、ニューラルネットワーク（ＮＮ）をトレーニングして、第１のトレーニング画像を、変換された第１のトレーニング画像に変換し、変換された第１のトレーニング画像及び第２のトレーニング画像とを比較する差分メトリックの最小値を有する。

別の開示された態様において、非一時的なコンピュータ可読媒体は、少なくとも１つの電子プロセッサによって可読かつ実行可能な命令であって、イメージング方法を実行する命令を記憶し、イメージング方法は、第１の画像取得装置を使用して対象の対象画像を取得するステップと、トレーニングされたニューラルネットワークを対象画像に適用して、変換された対象画像を生成するステップと、変換された対象画像を表示するステップと、を有する。トレーニング済みニューラルネットワークは、第１の画像取得装置又は同等の画像取得装置によって１又は複数のトレーニング対象について取得された第１のトレーニング画像を、変換された第１トレーニング画像に変換するニューラルネットワークトレーニングによって構築され、変換された第１のトレーニング画像と、第１の画像取得装置と同等でない第２の画像取得装置によって１又は複数のトレーニング対象について取得された第２のトレーニング画像とを比較する、当該変換された第１のトレーニング画像の差分メトリックの値が、トレーニングによって最小化される。

開示される別の態様において、イメージングシステムは、対象のイメージングデータを取得するように構成される第１の画像取得装置を有する。少なくとも１つの電子プロセッサは、（ｉ）イメージングデータを再構成して再構成画像を生成し、画像ドメインでトレーニングされたニューラルネットワークを再構成画像に適用すること、又は（ｉｉ）イメージングデータドメインのトレーニング済みニューラルネットワークをイメージングデータに適用して、変換されたイメージングデータを生成し、変換されたイメージングデータを再構成し、ディスプレイ装置を制御して、変換された対象画像を表示すること、のうち一方の処理によって、変換された対象画像を生成するようにイメージングデータを処理するようにプログラムされる。以下の一方が実行される：（ｉａ）画像ドメインのトレーニング済みニューラルネットワークが、第１の画像取得装置によって１又は複数のトレーニング対象について取得された第１のトレーニング画像を、変換された第１のトレーニング画像に変換するためのニューラルネットワークトレーニングによって構築され、変換された第１のトレーニング画像と、第２の画像取得装置によって１又は複数のトレーニング対象について取得された第２のトレーニング画像とを比較する前記変換された第１のトレーニング画像の差分メトリックの値が、トレーニングによって最小化される、又は（ｉｉａ）イメージングデータドメインのトレーニング済みニューラルネットワークが、第１の画像取得装置によって１又は複数のトレーニング対象について取得された第１のトレーニングイメージングデータを、変換された第１のトレーニングイメージングデータに変換するためのニューラルネットワークトレーニングによって構築され、変換された第１のトレーニングイメージングデータと、第２の画像取得装置によって１又は複数のトレーニング対象について取得された第２のトレーニングイメージングデータとを比較する前記変換された第１のトレーニングイメージングデータの差分メトリックの値が、トレーニングによって最小化される。

１つの利点は、よりハイエンドのイメージングシステムと同等の画像を生成するように、よりローエンドのイメージングシステムをプログラムするためにディープラーニングを使用することにある。

別の利点は、ローエンドのＰＥＴ／ＣＴシステムの設計を最適化するために、ハイエンドのＰＥＴ／ＣＴシステムのデータを用いたディープイメージングアプローチを使用するＰＥＴ／ＣＴシステムを提供することにある。

別の利点は、ローエンドのイメージングデータとハイエンドのイメージングデータとを有するハイエンドのＰＥＴ／ＣＴイメージングシステムからのディープイメージングデータセットを用いてトレーニングされるローエンドのＰＥＴ／ＣＴイメージングシステムを提供し、結果として得られるディープイメージングを、ローエンドシステムの画像の日常的なイメージングプロセスに適用することにある。

別の利点は、ハイエンドシステム及びローエンドシステムの両方からのデータセットを組み合わせてディープイメージングニューラルネットワークを共同でトレーニングし、ローエンドシステムからの画像及びその臨床使用（特徴の識別、定量化の改善を含む）を一層改善することにある。

別の利点は、ハイエンドのイメージングシステムからのデータを用いてトレーニングされたローエンドのイメージングシステムを購入することにより、医療施設のコストを低減することにある。

所与の実施形態は、前述の利点のいずれも提供せず、前述の利点の１、２以上、又はすべてを提供することができ、及び／又は本開示を読み理解することによって当業者に明らかになるような他の利点を提供することができる。

本開示は、さまざまなコンポーネント及びコンポーネントの配置、並びにさまざまなステップ及びステップの配置の形をとることができる。図面は、好適な実施形態を例示する目的のためだけであり、開示を限定するものとして解釈されるべきではない。

１つの形態によるイメージングシステムの概略を示す図。 図１のシステムの例示的なフローチャート操作を示す図。

市販のＰＥＴシステムの製品ラインには、通常、「エントリレベル」から「プレミアム」までのモデルが含まれる。エントリレベルのシステムは、通常は非ＴＯＦであり、つまり、個々のラインオブレスポンス（ＬＯＲ）に沿ったイベントのタイムオブフライトのローカライズに関する情報を取得せず又は活用せず、大きなサイズの検出器シンチレータ結晶を使用して、解像度を大幅に低下させる。一方、プレミアムシステムは、ＬＯＲに沿ってＴＯＦローカリゼーション情報を取得し、この情報を画像再構成に活用し、より小さくて高速なシンチレータ結晶と改善された画像処理を使用して、より良い解像度と全体的により良い画像品質の画像とを提供する。

プレミアムＰＥＴシステムは、通常、広範なリソースを有する医療機関によって購入され運用されており、そのような医療機関で利用可能な広範なトレーニングを受けた人員を採用しており、これは、エントリレベルのシステムと比較して、これらのプレミアムＰＥＴシステムによって得られる画像品質の間の格差を更に拡大させる。

プレミアムレベルのシステムの導入とエントリレベルのシステムの導入の間のこの隔たりは、エントリレベルシステムのハードウェアをアップグレードすることでは解決することができず、その理由は、そのようなハードウェアのアップグレードはコストがかかり、エントリレベルのＰＥＴシステムをエントリレベルの価格で販売する能力を打ち消すからである。

概して、ハードウェアのアップグレードは一般にコストが高いため、エントリレベルのシステムとプレミアムシステムとの間のギャップを埋めるには、処理側のソフトウェアを改善する方が費用対効果が高くなる。しかしながら、プレミアムとエントリレベルの性能の間の低減される相違を分離して定量化することは難しいので、かなりの困難が生じる。相違は、ハードウェアの違い、ワークフローの違い、メンテナンスプロシージャの違いなどに起因する可能性があり、これらのさまざまな違いは、処理の改善による低減の影響を受けやすい場合とそうでない場合がある。処理側の違いは、種類の違い、例えば、非ＴＯＦ対ＴＯＦ再構成の違い、又は再構成中に使用されるフィルタの選択、又はフィルタパラメータに起因する一層とらえがたい違いでありうる。更に、改善された「画像品質」につながる画像内の結果として生じる違いは、同様に不適切に定義されることがある。

以下の開示は、エントリレベルＰＥＴイメージングシステムの画像品質を改善するために、プレミアムＰＥＴイメージングシステムを用いて取得された画像を活用する。開示されるアプローチは、プレミアムＰＥＴイメージングシステムによって生成された画像と比較して、そのようなシステムによって生成された画像間の差異を低減する中間レベル又はエントリレベルのＰＥＴイメージングシステムを改善することが期待される。

開示されたアプローチは、エントリレベルのＰＥＴシステムによって取得された画像を、プレミアムＰＥＴ画像システムによって取得される同等の画像に一層匹敵する画像に変換するように設計されるディープラーニングコンポーネントを提供することである。このコンポーネントを構築するために、同じ対象（人間又はファントム）の第１及び第２の画像が、エントリレベルのＰＥＴシステム（第１のシステム）及びプレミアムＰＥＴシステム（第２のシステム）を使用して、同等の条件下（例えば、同じ放射性医薬品、薬剤投与とイメージングの間の同じ時間間隔、同じイメージングボリューム、同じ画像取得時間など）でそれぞれ取得される。これは、多数の類似する対象、類似するイメージングシナリオ等について反復されて、（第１の画像、第２の画像）対のトレーニングセットを開発することができ、この場合、各第１の画像は、エントリレベルのＰＥＴシステムによって取得され、各第２の画像は、プレミアムＰＥＴシステムを用いて取得される。

目標は、ディープラーニングコンポーネントをトレーニングして、各第１の画像を、対応する第２の画像と可能な限り類似した変換済み第１の画像に変換することである。その後、トレーニングされたディープラーニングコンポーネントが、エントリレベルのＰＥＴシステムによって取得された臨床画像に適用されることにより、かかる臨床画像は、プレミアムＰＥＴシステムを使用して取得される画像により近い画像に変換される。

本明細書に開示される実施形態において、ディープラーニングコンポーネントは、畳み込みニューラルネットワーク（ＣＮＮ）であり、その重みは、エントリレベルＰＥＴシステムによって取得された第１の画像を、最小の損失を有する変換された第１の画像に変換するようにトレーニングされ、損失は、変換された第１の画像と対応する第２の画像との間の差を定量化するメトリックである。一般に、各サンプル（すなわち、各第１／第２画像ペア）ごとの損失は、変換された第１の画像及び第２の画像を空間的に位置合わせし、次いで、平均二乗差又は他の適切な損失メトリックを計算することによって、計算される。可能であれば、損失は事前の知識を含むことができ、例えば臨床ＰＥＴイメージングが、病変を検出することを意図している場合には、そのような病変を有するファントムをイメージング対象とすることができ、損失は、変換された第１の画像又は第２の画像を使用して病変が検出可能である容易さの差を定量化することができる。

アプローチは、プレミアムイメージングシステムから利用可能な画像を活用して、エントリレベルのイメージングシステムによって生成される画像を改善する。有利には、ニューラルネットワークは、既存の画像取得及び処理ワークフローの上に重ねられるため、既存のワークフローの変更は必要ない。更に、ニューラルネットワークのトレーニングにより、手動での分離又は定量化が困難なとらえがたい違いを修正することができる。エントリレベルのイメージングシステムによって生成される画像は、イメージングワークフローのすべての側面を暗黙的に取り込むので、ワークフローのどこにおいても欠陥を具体化する。逆に、プレミアムイメージングシステムからの画像は、「モデル」ワークフローを暗黙的に取り込むので、画像品質を向上させるための適切なトレーニング目標としての役目を果たす。

本開示は、例示的な例としてＰＥＴ又はハイブリッドＰＥＴ／ＣＴイメージングシステムを説明するが、開示されたアプローチは、任意の適切なイメージングシステム（例えば、磁気共鳴（ＭＲ）イメージングシステム、機能ＭＲイメージングシステム、ハイブリッドＰＥＴ／ＭＲシステム、シングルフォトンエミッションコンピュータトモグラフィ（ＳＰＥＣＴ）イメージングシステム、ハイブリッドＳＰＥＣＴ／ＣＴイメージングシステム等）にも適用されることができる。

図１を参照すると、例示の第１の画像取得装置１２は、対象のイメージングデータを取得するように構成され、例示の第２の画像取得装置１４は、対象のイメージングデータを取得するように構成される。第１及び第２の画像取得装置１２及び１４は同一のイメージングモダリティである。例えば、第１及び第２の画像取得装置１２及び１４は、ハイブリッドＰＥＴ／ＣＴシステム、又は任意の他の適切な画像取得装置（例えば、ＭＲ、ハイブリッドＰＥＴ／ＭＲ、ＳＰＥＣＴ、ハイブリッドＳＰＥＣＴ／ＣＴなど）でありうる。目標がＰＥＴ画像を改善することである場合、一方のシステム（ほとんどの場合エントリレベルシステム）がスタンドアロンのＰＥＴイメージング装置であり、もう一方のシステム（ほとんどの場合プレミアムシステム）がＰＥＴ／ＣＴイメージング装置であることが企図され、ＰＥＴ／ＣＴイメージング装置は、ＰＥＴイメージングにおいて使用される減衰マップを生成するためにＣＴモダリティを活用する。

第２の画像取得装置１４は、第１の画像取得装置１２と同等ではない。より具体的には、第１の画像取得装置１２は、第２の画像取得装置１４と比較して「低品質」のイメージング装置である。すなわち、第２のＰＥＴ／ＣＴ装置１４は、第１のＰＥＴ／ＣＴ装置１２により取得される第１のＰＥＴ画像よりも高い画像品質をもつＰＥＴ画像として、第２のイメージングデータを取得するように構成される。一例において、第１の画像取得装置１２は、非ＴＯＦ ＰＥＴイメージング装置でありえ、第２の画像取得装置１４は、ＴＯＦ ＰＥＴイメージング装置である。別の例では、第２の画像取得装置１４は、第２のタイミング解像度を有するＴＯＦＰＥＴイメージング装置であり、第１の画像取得装置１２は、第２のタイミング解像度よりも粗い第１のタイミング解像度を有するＴＯＦ ＰＥＴイメージング装置である。更なる例において、第２の画像取得装置１４は、第１の画像取得装置１２よりも高い空間解像度を有する。磁気共鳴イメージング（ＭＲＩ）スキャナに適した更に別の例として、第１の取得装置は、低磁場（例えば、０．２３テスラ乃至１．５テスラ）ＭＲＩスキャナであり、第２の取得装置は、高磁場（例えば、３．０テスラ以上）のＭＲＩスキャナでありうる。

第１の画像取得装置１２は、本明細書で更に説明される畳み込みＮＮ（又は任意の他の適切なＮＮ）のようなニューラルネットワーク（ＮＮ）１６を使用する。一実施形態において、ＮＮ１６は、画像ドメインでトレーニングされたニューラルネットワークである。第１の画像取得装置１２は更に、コンピュータ、又はワークステーション、又は例えば少なくとも１つの電子プロセッサ２２、少なくとも１つのユーザ入力装置（例えば、マウス、キーボード、トラックボール等）２０、及び表示装置２４のような典型的なコンポーネントを有する他の電子データ処理装置１８を有する。いくつかの実施形態において、表示装置２４は、コンピュータ１８とは別個のコンポーネントでありうる。

患者診断、治療モニタリング、又は他の臨床目的のための臨床画像を生成するために、少なくとも１つの電子プロセッサ２０は、第１のイメージング方法又はプロセス１００を使用してイメージングデータを再構成して再構成画像を生成し、次いで、トレーニングされたＮＮ１６を再構成画像に適用して臨床画像を生成することによって、変換された対象画像を生成するようにイメージングデータを処理するようにプログラムされる。変形実施形態（表示せず）において、画像再構成の前に、イメージングデータドメインのトレーニング済みＮＮが、イメージングデータに適用されて、変換されたイメージングデータが生成され、次いで、変換されたイメージングデータが再構成され、臨床画像が生成される。いずれの場合も、表示装置２４は、臨床画像を適切に表示する。

典型的な意図されたシナリオでは、第１の画像取得装置１２は、病院、クリニック、又は例えば外傷センタではない又は低レベルの外傷センタである郊外の病院のようなわずかなリソースしかもたない他の医療機関（囲み破線のボックス６によって概略的に示される）によって所有される（又はリースされる或いは他のやり方で調達される）エントリレベルのイメージング装置である。これとは対照的に、第２の画像取得装置１４は、病院、クリニック、又はより広範なリソースを有する他の医療機関、例えば、実質的に進行中の臨床研究及び関連する助成金収入を有する一流の教育病院、高水準の地域外傷センタなど（囲み破線のボックス８によって図示される）によって所有される（又はリースされる、若しくは他のやり方で調達される）プレミアムイメージング装置である。これは典型的な想定シナリオであり、本明細書では例示的な実施形態として参照されるが、より一般的には、第１及び第２の取得装置は、異なる機能を備えた同じイメージングモダリティの別個のイメージング装置であり、第２のイメージング装置は、より高い臨床効果をもつ、より高品質の画像を生成する点で「より良い」と考えられる。更に、第１及び第２のイメージング装置は、同じ病院、同じクリニック、又は同じ医療機関によって所有される（又はリースされる若しくは他のやり方で調達される）ことが企図される。

ＮＮ１６のトレーニングは、（例えばプレミアム）画像取得装置により取得された第２のトレーニング画像１４を、ＮＮ１６の「ターゲット出力」として利用する。第２のトレーニング画像は、第２のイメージング方法又はプロセス２００を使用して第２の画像取得装置１４により生成され、第２のイメージング方法又はプロセス２００は、第１（例えばエントリレベル）の画像取得装置１２で用いられる第１のイメージング方法又はプロセス１００と大きく異なるものでありうる。例えば、一実施形態において、第１の画像イメージング方法又はプロセス１００は、ＴＯＦローカライゼーション情報を提供しないエントリレベル画像取得装置１２により取得されるイメージングデータの非ＴＯＦ画像再構成を使用する。一方、第２の画像イメージング方法又はプロセス２００は、その検出されたイベントのＴＯＦローカライゼーション情報を提供するプレミアム画像取得装置１４により取得されるイメージングデータのＴＯＦ画像再構成を使用する。第２のイメージング方法又はプロセス２００は、より複雑な画像再構成を使用することができ、例えば、プレミアムＴＯＦ ＰＥＴイメージング装置を通常調達するタイプの医療機関の広範なリソースの一部として利用可能又はアクセス可能な高速ネットワークサーバコンピュータ２６上に実装される。これらの技術的な違いの他に、２つのイメージング方法又はプロセス１００、２００は、フィルタ、フィルタパラメータ、その他の異なる選択肢を用いて人員によって実行されることができる。

図１を引き続き参照して、トレーニング済みニューラルネットワーク１６は、第１の画像取得装置１２により１又は複数のトレーニング対象について取得された第１の（トレーニング）画像（すなわち、トレーニング画像）を、変換された第１のトレーニング画像に変換するためのニューラルネットワークトレーニングによって構築され、変換された第１のトレーニング画像と、第２の画像取得装置１４により１又は複数のトレーニング対象について（同じ）取得された第２のトレーニング画像とを比較する、当該変換された第１のトレーニング画像の差分メトリックの値が、トレーニングによって最小化される。「最小化」という語は、完全な最小値を必要としないことを理解されたい（例えば、ＮＮの重みを調整して差分メトリックを小さくし、停止基準が満たされるまで実行するように動作する反復最適化アルゴリズムによって生成されるに十分である；例えば、差分メトリック値の反復と反復との間の変化が、ある閾値を下回る、及び／又は、差分メトリックの絶対値が、ある閾値を下回る、など）。

ＮＮ１６のトレーニングは、ニューラルネットワークトレーナ３０を実装する例示的なサーバコンピュータ又は他の電子データ処理装置２８によって適切に実現される。例示的な実施形態において、サーバコンピュータ２８及びトレーニング３０は、囲み破線のボックス１０によって概略的に示される第３のエンティティによって所有される（又はリースされる若しくは他のやり方で調達される）。この第３のエンティティ１０は、例えば、イメージング装置１２、１４を各医療機関６、８に販売する又はリースするベンダでありうる。この企図される構成において、第２の画像取得装置１４を所有する機関８は、購入契約の下で、又は研究開発（Ｒ＆Ｄ）契約などの一部として、第２のトレーニング画像をイメージング装置ベンダ１０に供給する。例えば、ベンダ１０は、第２の画像取得装置１４を所有する施設８と契約し、かかる第２の画像取得装置１４は、第２のイメージング方法又はプロセス２００を具体化する標準的な臨床画像化プロトコルを使用して、イメージングファントムの標準セット（例えば、種々の臨床タスクのためにイメージングされることが期待される胴体、頭部、又は他の解剖学的領域を表す）をイメージングすることにより、第２のトレーニング画像を生成する。第１のトレーニング画像は、第１の画像取得装置１２のインストール中、第１の画像取得装置１００により同じ組のイメージングファントムについて取得されることができ、又は、第１のイメージング方法又はプロセス１２を実施する第１の施設６の標準的な臨床イメージングプロトコルの後に行われる追加の処理ステップとして画像品質改善ＮＮ１６が追加される「レトロフィット」プロセスの一部として、インストールのかなり後に取得されることができる。これは単なる例示的な例であり、さまざまな機関又はエンティティ６、８、１０間の他の構成及び関連付けが企図される。例えば、別の企図される構成では、第２の画像取得装置１４を所有する医療機関８は、例えば、医療画像コミュニティ全体に対するサービスとして、ＮＮトレーニング３０を実行するエンティティ１０でありうる。（この場合、２つの機関８、１０は同一であり、２つの処理装置２６、２８は、同一のコンピュータサーバ又は別のコンピュータサーバでありうる）。

ニューラルネットワークトレーナ３０は、任意の適切なニューラルネットワークトレーニングアルゴリズムを使用することができ、例えば、（基準）第２のトレーニング画像とニューラルネットワークによって変換された第１のトレーニング画像の類似性を定量化する損失メトリックを、（例えば、勾配降下法、ニュートン法、又は他の反復最小化アルゴリズムを使用して）最小化するために、（逆伝搬）ネットワークを介した誤差の伝播、又はニューラルネットワークの重みの反復最適化を伴う同様の技術を使用する。ニューラルネットワークトレーナ３０の出力は、トレーニング済みニューラルネットワーク１６である（例えば、ニューラルネットワークトポロジー又はそのトポロジのポインタ又は識別子とニューラルネットワークの最適化された重みとを記憶するデータファイルとして記憶される）。トレーニング済みニューラルネットワーク１６は、第１のイメージング方法又はプロセス１００によって出力された画像を、改善された画像品質を有する臨床画像に変換するために後で使用するために、コンピュータ１８にロードされる。

別の実施形態（図示せず）において、ＮＮは、トレーニング済みのイメージングデータドメインのニューラルネットワークである。イメージングデータドメインのトレーニング済みニューラルネットワークは、第１の画像取得装置１２により１又は複数のトレーニング対象について取得された第１のイメージングデータ（つまり、トレーニングイメージングデータ）を、変換された第１のトレーニングイメージングデータに変換するためのニューラルネットワークトレーニングによって構築され、変換された第１のトレーニングイメージングデータと、第２のイメージング装置により１又は複数のトレーニング対象について取得された第２のトレーニングイメージングデータとを比較する、前記変換された第１のトレーニングイメージングデータの差分メトリックが、トレーニングによって最小化される。ＮＮ１６をトレーニングする処理は、以下により詳しく記載される。

少なくとも１つの電子プロセッサ２０、サーバコンピュータ２６、及び／又はサーバコンピュータ２８は、第１のイメージング方法又はプロセス１００及び第２のイメージング方法１６を実行することを含む開示された処理を実行し、ＮＮ２００をトレーニングするために読み取り可能かつ実行可能な命令を記憶する非一時的記憶媒体（図示せず）に動作可能に接続される。非一時的な記憶媒体は、例えば、ハードディスクドライブ、ＲＡＩＤ若しくは他の磁気記憶媒体、ソリッドステートドライブ、フラッシュドライブ、電子的に消去可能な読み取り専用メモリ（ＥＥＲＯＭ）、又は光ディスク又はその他の光学ストレージのようなその他の電子メモリ、それらのさまざまな組み合わせ等を含みうる。いくつかの例において、イメージング方法又はプロセス１００又は２００は、クラウド処理によって実行されることができる。

図２を参照すると、臨床画像を改善するための例示のニューラルネットワークのトレーニング及びトレーニング済みニューラルネットワーク１６の使用例が、フローチャートとして概略的に示されている。ステップ１０２において、第１の画像取得装置１２（イメージングデータの再構成、再構成後のフィルタリング、及び／又はその他を含み得る第１のイメージング方法又はプロセス１００による処理を含む）を用いて、１又は複数のイメージング対象の第１のトレーニング画像が取得される。

ステップ１０４において、第２の画像取得装置１４（イメージングデータの再構成、再構成後フィルタリングなどを含む第２のイメージング方法又はプロセス２００による処理を含む）を用いて、第１のトレーニング画像と同一の１又は複数のイメージング対象の第２のトレーニング画像が取得される。第１及び第２のトレーニング画像（のセット）が十分に同等であるためには、同じイメージング対象がイメージングされなければならず、一般に、イメージング対象は、１又は複数のイメージングファントム、すなわち、人間の臓器及び組織の特性を模倣するように構成された製品、及び（ＰＥＴ又はＳＰＥＣＴ画像用）であって、ヒト対象に投与される放射性医薬品を模倣する方法で放射性医薬品を受け取るための貯蔵容器、アセンブリ、又は吸収性材料を含むものであることが最も都合がよいと予想される。しかしながら、適切なヒト対象が、両方の施設６、８でのイメージングのために利用可能である場合、イメージング対象は、実際のヒトイメージング対象でありうる。第１及び第２の画像取得装置１２及び１４は更に、第１及び第２のトレーニング画像（のセット）が十分に同等であるようにするために、同じイメージングモダリティのものである。一例では、第１の画像取得装置１２及び第２の画像取得装置１４は、それぞれＰＥＴ／ＣＴイメージング装置である。第２のＰＥＴ／ＣＴ装置１４は、第２のトレーニング画像を、第１のＰＥＴ／ＣＴ装置１２により取得される第１のＰＥＴトレーニング画像よりも高い画像品質のＰＥＴ画像として取得するように構成される。別の例では、第１の画像取得装置１２は、非ＴＯＦ ＰＥＴイメージング装置であり、第１のトレーニング画像の取得は、前記第１の画像取得装置により取得される非ＴＯＦ ＰＥＴイメージングデータの再構成を含み、かかる再構成により、前記第１のトレーニング画像をＴＯＦローカライゼーションを利用することなく生成する。第２の画像取得装置１４は、ＴＯＦ ＰＥＴイメージング装置であり、第２のトレーニング画像の取得は、ＴＯＦローカライゼーションを利用して第２のイメージング装置により取得されるＴＯＦ ＰＥＴイメージングデータを再構成することを含む。

ニューラルネットワークのトレーニング３０は、図２の例示の方法において、例示的な処理１０６、１０８、１１０によって実現される。ステップ１０６において、いくつかの実施形態では、第１のトレーニング画像は、第１のトレーニング画像よりも高い解像度を有することができる第２のトレーニング画像に合致するように、その解像度（例えば、画像内の多数のピクセル又はボクセル）を高めるためにアップサンプリングされる。（ステップ１０６は、第１及び第２のトレーニング画像が同じ解像度のものである場合、又はニューラルネットワーク１６が統合されたアップサンプリングを組み込んでいる場合には省略されることができる）。

ステップ１０８において、アップサンプリングされた第１のイメージングデータは、第２のイメージングデータと空間的に位置合わせされる。例えば、第１及び第２のトレーニング画像は、共通の画像空間において位置合わせされる。

ステップ１１０において、ＮＮ１６は、第１のトレーニング画像を、変換された第１のトレーニング画像に変換するようにトレーニングされ、変換された第１のトレーニング画像は、当該変換された第１のトレーニング画像及び第２のトレーニング画像を比較する差分メトリックの最小値を有する。差分メトリックは、変換された第１のトレーニング画像を第２のトレーニング画像と比較する任意の適切な画像比較メトリック、例えば、ピクセルごとの差分メトリックでありうる。エッジなどの特徴は通常臨床画像において重要であるので、例えば最初にエッジ検出アルゴリズムを画像に適用し、次にエッジ変換された画像を比較することによって、そのような特徴を強調する差分メトリックが選択されることができる。臨床医にとって最も価値があると予期される画像特性に応じて、個々の異なる臨床応用についてＮＮをトレーニングするために個々の異なる差分メトリックを使用することが企図される。ＮＮ１６の重みは、差分メトリックの値を最小にするようにトレーニングによって調整されるので、トレーニング済みＮＮ１６の動作は、第１のトレーニング画像を第２のトレーニング画像と同様であるように変換することができる。いくつかの例において、ＮＮ１６は、畳み込みＮＮ（ＣＮＮ）である。得られたトレーニング済みＮＮ１６は、サーバコンピュータ２８から第１の画像取得装置１２のコンピュータ１８に通信される（図２に示されていないステップ）。

図２を引き続き参照して、機関６で適切に実行されるステップの組１１１は、トレーニング済みＮＮ１６の適切な適用を示す。ステップ１１２において、臨床対象の臨床画像が、第１のイメージング装置１２によって取得される（ステップ１０２のような第１のイメージング方法又はプロセス１００による処理を含む）。ステップ１１４において、トレーニングによって生成されたＮＮ１６は、臨床分析又は使用のために医師、腫瘍医、心臓医、又は他の臨床医に提示される臨床画像を生成するために、第１のイメージング方法又はプロセス１００によって出力される臨床画像に適用される。ステップ１１６において、臨床画像が表示装置２４に表示される。変換された臨床画像は、画像保管通信システム（ＰＡＣＳ）に保存されるか、他の方法で利用されることができる。

例示的な一例において、第１の画像取得装置１２は、結晶特性、タイミング分解能、あまり洗練されていない再構成及び処理アルゴリズム、又は他のイメージング特性に起因する最先端の性能に満たない、Geminiシステム又はIngenuity TFシステム（オランダ、アイントホーフェン所在のKoninklijke Philips N.V.から入手可能）などのハイブリッドＰＥＴ／ＣＴシステムでありうる。第２の画像取得装置１４は、Vereos Digital PET（Koninklijke Philips NVから同様に入手可能）のような、第１の画像取得装置１２よりも優れた性能特性を有する任意の適切なイメージングシステムでありうる。トレーニング済みＮＮ１６を用いることにより、第１の画像取得装置１２によって取得された画像は、第２の画像取得装置１４によって取得された画像と一層同等なものにされることができる。

いくつかの例では、第１の画像取得装置１２は、約５００－６００ピコ秒（ｐｓ）のタイミング分解能でフォトマルチプライヤの読み出しを行う数値ベースの性能ＬＹＳＯ結晶ＰＥＴシステムである。第２の画像取得装置１４は、３２５ピコ秒ＴＯＦ解像度を有するPereos Digital PETシステムである。ＮＮ１６は、Vereosシステムからのイメージングデータを用いてトレーニングされ、Garnetシステムに適用される。これにより、Garnetシステムは、TOF Premium PETシステムにより近い画像品質を実現する。

本開示は、好適な実施形態を参照して説明された。当業者であれば、前述の詳細な説明を読み理解することにより、修正及び変更が思いつくであろう。本発明は、それらが添付の特許請求の範囲又はその均等物の範囲内にある限り、そのようなすべての修正及び変更を含むものとして解釈されることが意図される。

Claims (6)

1. 第１の画像取得装置を使用して、１又は複数のイメージング対象の第１のトレーニング画像を取得するステップと、
   前記第１の画像取得装置と同じイメージングモダリティの第２の画像取得装置であって、前記第１の画像取得装置のタイミング解像度より短いタイミング解像度を有し、前記第１の画像取得装置の空間解像度より高い空間解像度を有する第２の画像取得装置を使用して、前記第１のトレーニング画像と同じ１又は複数のイメージング対象の第２のトレーニング画像を取得するステップと、
   前記第１のトレーニング画像を前記第２のトレーニング画像と比較するステップ、及び前記第１のトレーニング画像と前記第２のトレーニング画像との間の差分メトリックの値を最小化することにより、変換された第１のトレーニング画像を生成するステップによって、前記第１のトレーニング画像を、前記変換された第１のトレーニング画像に変換するようにニューラルネットワーク（ＮＮ）をトレーニングする、ステップと、
   前記トレーニングに先立って、前記第１のトレーニング画像及び前記第２のトレーニング画像を共通の画像空間において空間的に位置合わせするステップと、
   前記位置合わせに先立って、前記第２のトレーニング画像と合致するように、前記第１のトレーニング画像をアップサンプリングしてその解像度を上げるステップと
   を有し、
   前記第２のトレーニング画像は前記第１のトレーニング画像よりも高い解像度を有し、
   前記第１の画像取得装置は、非ＴＯＦ（非タイムオブフライト）ポジトロンエミッショントモグラフィ（ＰＥＴ）イメージング装置であり、前記第１のトレーニング画像の取得は、前記第１の画像取得装置によって取得される非ＴＯＦ ＰＥＴイメージングデータを再構成して、ＴＯＦローカリゼーションを利用せずに前記第１のトレーニング画像を生成することを含み、
   前記第２の画像取得装置は、ＴＯＦ ＰＥＴイメージング装置であり、前記第２のトレーニング画像の取得は、ＴＯＦローカリゼーションを利用して、前記第２の画像取得装置によって取得されたＴＯＦ ＰＥＴイメージングデータを再構成することを含む、
   イメージング方法。
2. 前記第１の画像取得装置を使用して臨床対象の臨床画像を取得するステップと、
   前記トレーニングによって生成されたニューラルネットワークを前記臨床画像に適用して、変換された臨床画像を生成するステップと、
   前記変換された臨床画像を表示するステップと、
   を更に有する、請求項１に記載の方法。
3. 前記１又は複数のイメージング対象が、人間のイメージング対象及びイメージングファントムの少なくとも一方である、請求項１乃至２のいずれか１項に記載の方法。
4. 前記ニューラルネットワークが畳み込みニューラルネットワークであり、前記第１の画像取得装置及び前記第２の画像取得装置は、それぞれがポジトロンエミッショントモグラフィ／コンピュータトモグラフィ（ＰＥＴ／ＣＴ）イメージング装置であり、第２のＰＥＴ／ＣＴ装置は、第１のＰＥＴ／ＣＴ装置によって取得された第１のＰＥＴトレーニング画像よりも画像品質の高いＰＥＴ画像として前記第２のトレーニング画像を取得するように構成されている、請求項１乃至３のいずれか１項に記載の方法。
5. イメージング方法を実行するための、少なくとも１つの電子プロセッサによって読み取り可能及び実行可能な命令を保存する非一時的コンピュータ可読媒体であって、前記イメージング方法が、
   第１の画像取得装置を使用して対象の対象画像を取得するステップと、
   トレーニング済みニューラルネットワークを対象画像に適用して、変換された対象画像を生成するステップと、
   前記変換された対象画像を表示するステップと、を有し、
   前記トレーニング済みニューラルネットワークは、第１の画像取得装置によって又は同等の画像取得装置によって１又は複数のトレーニング対象について取得された第１のトレーニング画像を、変換された第１のトレーニング画像に変換するためのニューラルネットワークトレーニングによって構築され、前記変換された第１のトレーニング画像と、前記第１の画像取得装置と同等でない第２の画像取得装置によって前記１又は複数のトレーニング対象について取得された第２のトレーニング画像とを比較するステップ、及び前記第１のトレーニング画像と前記第２のトレーニング画像との間の差分メトリックの値を最小化することにより、前記変換された第１のトレーニング画像を生成するステップによって、前記第１のトレーニング画像を、前記変換された第１のトレーニング画像に変換するようにニューラルネットワークはトレーニングされ、
   前記第１の画像取得装置及び前記同等の画像取得装置は、共通のイメージング構成をもつ共通の装置モデルであり、前記第１の画像取得装置及び前記第２の画像取得装置は、異なるイメージング構成の異なる装置モデルであり、
   前記第２のトレーニング画像は前記第１のトレーニング画像よりも高い解像度を有し、
   前記第２の画像取得装置が、タイムオブフライト（ＴＯＦ）ポジトロンエミッショントモグラフィ（ＰＥＴ）イメージング装置であり、前記第２のトレーニング画像が、ＴＯＦ ＰＥＴトレーニング画像であり、
   前記第１の画像取得装置が、非ＴＯＦ ＰＥＴイメージング装置であり、前記第１のトレーニング画像が非ＴＯＦ画像であり、前記対象画像が非ＴＯＦ画像であるという点で少なくとも、前記第２の画像取得装置は前記第１の画像取得装置と同等ではなく、
   前記第２の画像取得装置が、第２のタイミング解像度をもつタイムオブフライト（ＴＯＦ）ポジトロンエミッショントモグラフィ（ＰＥＴ）イメージング装置であり、
   前記第１の画像取得装置が、第２のタイミング解像度よりも粗い第１の時間解像度をもつＴＯＦ ＰＥＴイメージング装置であるという点で少なくとも、前記第２の画像取得装置は前記第１の画像取得装置と同等ではなく、前記イメージング方法は更に、
   前記トレーニングに先立って、前記第１のトレーニング画像及び前記第２のトレーニング画像を共通の画像空間において空間的に位置合わせするステップと、
   前記位置合わせに先立って、前記第２のトレーニング画像と合致するように、前記第１のトレーニング画像をアップサンプリングしてその解像度を上げるステップと
   を有する、
   非一時的コンピュータ可読媒体。
6. 前記トレーニング済みニューラルネットワークが、トレーニング済み畳み込みニューラルネットワークである、請求項５に記載の非一時的コンピュータ可読媒体。

Images