JP7039153B2 - 敵対的生成ネットワークを使用した画像強調 - Google Patents

Description

［０００１］
本特許出願は、２０１８年７月２４日に出願された米国出願第１６／０４４，２４５号明細書の優先権の利益を主張し、これは、２０１８年４月２６日に出願された米国仮特許出願第６２／６６２，９３３号明細書「ＩＭＡＧＥ ＱＵＡＬＩＴＹ ＥＮＨＡＮＣＥＭＥＮＴ ＦＯＲ ＣＯＮＥ－ＢＥＡＭ ＣＴ（ＣＢＣＴ）」と題された米国仮特許出願第６２／６６２，９３３号明細書の優先権の利益を主張し、これらのそれぞれは、その全体が参照により本明細書に組み込まれる。

（技術分野）
［０００２］
本開示の実施形態は、一般に、コーンビームコンピュータ断層撮影（ＣＢＣＴ）撮像、コンピュータ断層撮影および人工知能処理技術に関する。特に、本開示は、ＣＢＣＴおよびコンピュータ断層撮影画像およびシステム操作で使用するために適合された敵対的生成ネットワーク（ＧＡＮ）におけるデータモデルの生成および使用に関する。

［０００１］
Ｘ線コーンビームコンピュータ断層（ＣＢＣＴ）撮影は、放射線治療において、患者のセットアップや適応的な再計画のために使用されている。状況によっては、歯科用画像診断やインプラントの計画などの診断目的にもＣＢＣＴ撮影が採用されている。また、Ｘ線ＣＢＣＴ撮影は、マイクロコンピュータ断層撮影をはじめとする撮影関連の多くのアプリケーションに採用されている。しかし、ＣＢＣＴ画像の画質は、医学物理学者、医師、研究者が観察しているように、かなり低い。一般に、ＣＢＣＴ画像は、異なるタイプのアーチファクト（調査中の実際の物体には存在しない様々なタイプのノイズまたは再構成データ中の可視化された構造を含む）を含む可能性がある。

［０００２］
ＣＢＣＴ画像中のアーチファクトやノイズは、適応的治療の再計画を妨害したり、診断に影響を与えたり、（画像のセグメンテーションのような）他の多くの画像処理ステップを困難にしたり、不可能にしたりする可能性がある。それぞれのアーチファクトは、１つまたはそれ以上の異なる要因によって引き起こされ得るので、異なる方法により異なるアーチファクトを抑制する。放射線治療および他の臨床用途では、一般に、（毎日取得され得る）ＣＢＣＴ画像の他に、１つまたはそれ以上の他のコンピュータ断層（ＣＴ）画像データセットが（例えば、計画ＣＴ画像と）一緒に利用可能であり得る。一般的にＣＴ画像は、コントラストなどの情報がより正確で、アーチファクトが少ない画像品質の方がより高品質であるとされている。ＣＢＣＴ画像中のアーチファクトを低減するために、研究者は多くの研究を行い、いくつかの関連する手法を開発してきたが、現在のところ、一般的なアーチファクトのすべてまたは大部分を抑制することができる簡単で効率的な手法は存在していない。そのため、ＣＢＣＴ画像中のアーチファクトやノイズを抑制・除去するための、新規で効率的かつ簡便な手法の開発が求められている。

［０００３］
本開示は、入力されたＣＢＣＴ画像に対応するか、またはそれを表す模擬的または合成的なＣＴ画像を生成するための人工知能（ＡＩ）処理技術を開発、訓練、および利用するための手順を含む。このようなＡＩ処理技術は、敵対的生成ネットワーク（ＧＡＮ）、サイクル敵対的生成ネットワーク（ＣｙｃｌｅＧＡＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、深層畳み込みニューラルネットワーク（ＤＣＮＮ）、および他の形態の機械学習（ＭＬ）実装を含む。本開示は、特に、アーチファクトフリーまたは実質的にアーチファクトフリーのＣＢＣＴ画像または実質的にアーチファクトの数が減少したＣＢＣＴ画像を強化して生成するために、ペアのＣＢＣＴ画像および実ＣＴ画像のモデルを学習するために、ＧＡＮまたはＣｙｃｌｅＧＡＮ内で動作する識別器モデルおよび生成器モデルの使用に関連したいくつかの例示的な例を含む。ＧＡＮまたはＣｙｃｌｅＧＡＮ（および他の開示されたＡＩおよびＭＬ技法）の一部としての画像データ（例えば、ＣＢＣＴ画像）の本明細書に記載された使用および分析は、様々な診断、評価、解釈、または治療の設定のために使用される他の医療ワークフローに組み込まれ得ることが明らかになるであろう。

［０００４］
いくつかの実施形態では、訓練されたモデルを使用して強化されたコーンビームコンピュータ断層撮影（ＣＢＣＴ）画像を生成するためのコンピュータ実装方法が提供される。被検体のＣＢＣＴ画像を受け取る。ＣＢＣＴ画像に対応する合成コンピュータ断層撮影（ｓＣＴ）画像が、生成モデルを用いて生成される。生成モデルが、敵対的生成ネットワーク（ＧＡＮ）で訓練され、生成モデルは、更に、入力としてＣＢＣＴ画像を処理し、出力としてｓＣＴ画像を提供するように訓練される。被検体の医学的分析のためにｓＣＴ画像を提示する。

［０００５］
いくつかの実施形態では、敵対的生成ネットワークは、識別モデルを使用して生成モデルを訓練するように構成されている。生成モデルと識別モデルが適用する値は、識別モデルと生成モデルの間の敵対的訓練を用いて確立される。生成モデルおよび識別モデルによって適用される値が、識別モデルと生成モデルの間の敵対的訓練を使用して確立される。生成モデルと識別モデルは、それぞれ畳み込みニューラルネットワークを有する。

［０００６］
いくつかの実施形態では、敵対的訓練は、与えられたＣＢＣＴ画像から与えられたｓＣＴ画像を生成するために生成モデルを訓練することと、与えられたｓＣＴ画像を合成または実ＣＴ画像として分類するために識別モデルを訓練することとを有する。生成モデルの出力は、識別モデルを訓練するために使用され、識別モデルの出力は、生成モデルを訓練するために使用される。

［０００７］
いくつかの実施形態では、敵対的生成ネットワークは、生成モデルと識別モデルからなるサイクル敵対的生成ネットワーク（ＣｙｃｌｅＧＡＮ）を使用して訓練される。生成モデルは第１の生成モデルであり、識別モデルは第１の識別モデルであり、ＣｙｃｌｅＧＡＮは、所定のＣＴ画像を入力として処理し、所定の合成（ｓＣＢＣＴ）画像を出力として提供するように訓練された第２の生成モデルと、所定のｓＣＢＣＴ画像を合成ＣＢＣＴ画像または実ＣＢＣＴ画像として分類するように訓練された第２の識別モデルとを有する。

［０００８］
いくつかの実施形態では、ＣｙｃｌｅＧＡＮは、第１の生成モデルを訓練するための第１の部分と第２の部分を有する。第１の部分は、実ＣＴ画像とペアになった訓練ＣＢＣＴ画像を取得し、訓練されたＣＢＣＴ画像を、第１の生成モデルの入力に送信して、所定の合成ＣＴ画像を出力し、所定の合成ＣＴ画像を第１の識別モデルの入力で受け取り、所定の合成ＣＴ画像を合成ＣＴ画像または実ＣＴ画像として分類し、サイクル整合性損失を計算するためのサイクルＣＢＣＴ画像を第２の生成モデルの入力で生成するように訓練される。第２の部分は、実ＣＴ画像を第２の生成モデルの入力に送信し、所定の合成ＣＢＣＴ画像を生成し、所定の合成ＣＢＣＴ画像を第２の識別モデルの入力で受け取り、所定の合成ＣＢＣＴ画像を合成ＣＢＣＴ画像又は実ＣＢＣＴ画像として分類し、サイクル整合性損失を計算するためのサイクルＣＴ画像を第１の生成モデルの入力で生成するように訓練される。

［０００９］
いくつかの実施形態では、第１の生成モデルは、複数の合成ＣＴ画像とそれぞれペアになった実ＣＴ画像との間の差の期待値を表す第１の画素ベース損失項を最小化または減少させるように訓練され、第２の生成モデルは、複数の合成ＣＢＣＴ画像とそれぞれペアになった実ＣＢＣＴ画像との間の差の期待値を表す第２の画素ベース損失項を最小化または減少させるように訓練される。

［００１０］
いくつかの実施形態では、ＣｙｃｌｅＧＡＮは、第１の画素ベース損失項と第２の画素ベース損失項にメトリックを適用するように訓練され、メトリックは、ＣＢＣＴ画像と実ＣＴ画像のペアと同じサイズを有するマップに基づいて生成され、その結果、マップ内の各ピクセル値が、所定のＣＢＣＴ画像と、所定のＣＢＣＴ画像とペアになった所定の実ＣＴ画像との間の類似度レベルを表す。

［００１１］
いくつかの実施形態では、ＣｙｃｌｅＧＡＮは、メトリックに閾値を適用するように訓練され、その結果、類似度レベルが閾値を超える場合、メトリックが第１の画素ベース損失項と第２の画素ベース損失項に適用され、そうでない場合、ゼロ値が第１の画素ベース損失項と第２の画素ベース損失項に適用される。

［００１２］
いくつかの実施形態では、敵対的生成ネットワークは、敵対的損失項とサイクル整合性損失項と画素ベース損失項に基づく目的関数に従って訓練される。

［００１３］
いくつかの実施形態では、強化されたコーンビームコンピュータ断層撮影（ＣＢＣＴ）画像を生成するためのモデルを訓練するためのコンピュータ実装方法が提供される。生成モデルの入力として被験体のＣＢＣＴ画像を受け取る。ＣＢＣＴ画像を処理して、生成モデルの出力としてＣＢＣＴ画像に対応する合成コンピュータ断層撮影（ｓＣＴ）画像を提供するために、生成モデルを敵対的生成ネットワーク（ＧＡＮ）で訓練する。

［００１４］
いくつかの実施形態では、敵対的生成ネットワークは、生成モデルと識別モデルを有するサイクル敵対的生成ネットワーク（ＣｙｃｌｅＧＡＮ）を使用して訓練される。生成モデルは第１の生成モデルであり、識別モデルは第１の識別モデルであり、入力として所定のＣＴ画像を処理し、出力として所定の合成（ｓＢＣＴ）画像を提供するため、第２の生成モデルを訓練することと、所定のｓＣＢＣＴ画像を合成ＣＢＣＴ画像または実ＣＢＣＴ画像として分類するため、第２の識別モデルを訓練することとを有する。

［００１５］
いくつかの実施形態では、ＣｙｃｌｅＧＡＮは、第１の生成モデルを訓練するための第１の部分と第２の部分を有する。実ＣＴ画像と対となっている訓練ＣＢＣＴ画像を取得する。訓練ＣＢＣＴ画像を第１の生成モデルの入力に送信し、所定の合成ＣＴ画像を出力する。所定の合成ＣＴ画像を第１の識別モデルの入力で受け取る。第１の識別モデルを用いて、所定の合成ＣＴ画像を合成ＣＴ画像または実ＣＴ画像として分類する。所定の合成ＣＴ画像を第２の生成モデルの入力で受け取り、周期整合性損失を計算するためのサイクルＣＢＣＴ画像を生成する。実ＣＴ画像を第２の生成モデルの入力に送信し、合成訓練ＣＢＣＴ画像を出力する。合成訓練ＣＢＣＴ画像を第２の識別モデルの入力で受け取り、合成訓練ＣＢＣＴ画像を合成ＣＢＣＴ画像または実ＣＢＣＴ画像として分類し、サイクル整合性損失を計算するためのサイクルＣＴ画像を第１の生成モデルの入力で生成する。複数の合成ＣＴ画像と、それぞれペアになっている実ＣＴ画像との間の差の期待値を表す第１の画素ベース損失項を最小化または減少させるために第１の生成モデルを訓練する。複数の合成ＣＴ画像と、それぞれペアになっている実ＣＢＣＴ画像との間の差の期待値を表す第２の画素ベース損失項を最小化または減少させるために第２の生成モデルを訓練する。

［００１６］
いくつかの実施形態では、訓練されたモデルを使用して強化されたコーンビームコンピュータ断層撮影（ＣＢＣＴ）画像を生成するためのシステムが提供される。システムは、少なくとも１つのプロセッサを有する処理回路と、少なくとも１つのプロセッサにより実行されたとき、被検体のＣＢＣＴ画像を受け取るステップと、生成モデルを使用して、ＣＢＣＴ画像に対応する合成コンピュータ断層撮影（ｓＣＴ）画像を生成するステップであって、生成モデルは、敵対的生成ネットワーク（ＧＡＮ）で訓練され、生成モデルは、ＣＢＣＴ画像を入力として処理し、ｓＣＴ画像を出力として提供するように更に訓練されているステップと、被検体の医学的分析のためにｓＣＴ画像を提示するステップとをプロセッサに実行させる命令を有する記憶媒体とを有する。

［００１７］
いくつかの実施形態では、敵対的生成ネットワークは、識別モデルを使用して生成モデルを訓練するように構成されており、生成モデルと識別モデルによって適用される値が、識別モデルと生成モデルの間の敵対的な訓練を使用して確立されており、生成モデルと識別モデルは、それぞれ畳み込みニューラルネットワークで構成されている。敵対的訓練は、所定のＣＢＣＴ画像から所定のｓＣＴ画像を生成するために生成モデルを訓練することと、所定のｓＣＴ画像を合成画像または実ＣＴ画像として分類するために識別モデルを訓練することとを有する。識別モデルの出力は識別モデルの訓練に使用され、識別機モデルの出力は生成モデルを訓練するために使用される。

［００１８］
いくつかの実施形態では、敵対的生成ネットワークは、生成モデルと識別モデルを有するサイクル敵対的生成ネットワーク（ＣｙｃｌｅＧＡＮ）を使用して訓練され、生成モデルは第１の生成モデルであり、識別モデルは第１の識別モデルである。ＣｙｃｌｅＧＡＮは、所定のＣＴ画像を入力として処理し、所定の合成（ｓＢＣＴ）画像を出力として提供するように訓練された第２の生成モデルと、所定のｓＣＢＣＴ画像を合成ＣＢＣＴ画像または実ＣＢＣＴ画像として分類するために訓練された第２の識別モデルとを更に有する。

［００１９］
いくつかの実施形態では、ＣｙｃｌｅＧＡＮは、第１の生成モデルを学習するための第１の部分と第２の部分とを有する。第１の部分は、実ＣＴ画像と対である訓練ＣＢＣＴ画像を取得し、訓練ＣＢＣＴ画像を第１の生成モデルの入力に送信して、所定の合成ＣＴ画像を出力し、所定の合成ＣＴ画像を第１の識別モデルの入力で受け取り、所定の合成ＣＴ画像を合成ＣＴ画像または実ＣＴ画像として分類し、第２の生成モデルの入力でサイクル整合性損失を計算するためのサイクルＣＢＣＴ画像を生成するように訓練される。第２の部分は、第２の生成モデルの入力に実ＣＴ画像を送信して、所定の合成ＣＢＣＴ画像を出力し、所定の合成ＣＢＣＴ画像を第２の識別モデルの入力で受け取り、所定の合成ＣＢＣＴ画像を合成ＣＢＣＴ画像または実ＣＢＣＴ画像として分類し、第１の生成モデルの入力でサイクル整合性損失を計算するためのサイクルＣＴ画像を生成するように訓練される。

［００２０］
いくつかの実施形態では、第１の生成モデルは、複数の合成ＣＴ画像とそれぞれペアになった実ＣＴ画像との間の差の期待値を表す第１の画素ベース損失項を最小化または低減するように訓練され、第２の生成モデルは、複数の合成ＣＢＣＴ画像とそれぞれペアになった実ＣＢＣＴ画像との間の差の期待値を表す第２の画素ベース損失項を最小化または低減するように訓練される。

［００２１］
いくつかの実施形態では、ＣｙｃｌｅＧＡＮは、第１の画素ベース損失項と第２の画素ベース損失項にメトリックを適用するように訓練され、メトリックは、ＣＢＣＴ画像と実ＣＴ画像の対と同じサイズを有するマップに基づいて生成され、その結果、マップ内の各ピクセル値が、所定のＣＢＣＴ画像と、所定のＣＢＣＴ画像とペアになった所定の実ＣＴ画像との間の類似度レベルを表す。

［００２２］
いくつかの実施形態では、ＣｙｃｌｅＧＡＮは、メトリックに閾値を適用するように訓練され、その結果、類似度レベルが閾値を超える場合、メトリックが第１の画素ベース損失項と第２の画素ベース損失項に適用され、そうでない場合、ゼロ値が第１の画素ベース損失項と第２の画素ベース損失項に適用される。

［００２３］
いくつかの実施形態では、敵対的生成ネットワークは，逆襲損失，サイクル整合性損失，ピクセルベースの損失項に基づく目的関数に従って学習される。

［００２４］
以上の概要は、本特許出願の主題の概要を提供することを目的としている。本発明の排他的または網羅的な説明を提供することを意図したものではない。発明の詳細な説明には、本特許出願についての更なる情報を提供することが含まれる。

［００２５］
必ずしも縮尺で描かれていない図面において、同様の数字は、いくつかの図面全体にわたって実質的に類似した構成要素を表す。異なる文字の接尾辞を持つ数字のようなものは、実質的に類似した構成要素の異なる実例を表す。図面は、本明細書で論じられている様々な実施形態を一般的に例示しているが、これに限定されるものではない。

［００２６］
図１は、いくつかの実施例による治療計画生成処理を実行するために適合された例示的な放射線治療システムを示す。

［００２７］
図２Ａ及び図２Ｂは、本開示のいくつかの実施例による例示的な画像誘導放射線治療装置を示す。

［００２８］
図３Ａ及び図３Ｂは、本開示のいくつかの実施例による、受け取られたＣＢＣＴ画像からｓＣＴ画像を生成および識別するために適合した例示的な畳み込みニューラルネットワークモデルを示す。

［００２９］
図４は、本開示のいくつかの実施例による、受け取られたＣＢＣＴ画像からｓＣＴ画像を生成するために適合された敵対的生成ネットワークの訓練および使用のための例示的なデータフローを示す。

［００３０］
図５は、本開示のいくつかの実施例による、受け取られたＣＢＣＴ画像からｓＣＴ画像を生成するための生成的逆境ネットワークの訓練を示す。

［００３１］
図６は、本開示のいくつかの実施例による、受け取られたＣＢＣＴ画像からｓＣＴ画像を生成するためのサイクル生成的な敵対的ネットワークの訓練および使用を示す。

［００３２］
図７は、本開示のいくつかの実施例による、受け取られたＣＢＣＴ画像からのｓＣＴ画像の訓練および生成に関連して使用される解剖学的領域情報および入力画像のバリエーションを示す。

［００３３］
図８は、本開示のいくつかの実施例による、受け取られたＣＢＣＴ画像からｓＣＴ画像を出力するために適合された生成モデルを訓練するための例示的な操作のフローチャートを示す。

［００３４］
本開示は、ｓＣＴ画像（受け取ったＣＢＣＴ画像を表す合成または模擬ＣＴ画像）を生成することによってＣＢＣＴ画像を改善および強化するための様々な技術を含み、ＣＢＣＴ画像を改善するための手動（例えば、人間が指示した、人間にアシストされた、または人間にガイドされた）および従来のアプローチよりも技術的な利点を提供する方法を含む。これらの技術的利点には、強化されたＣＢＣＴ画像またはｓＣＴ画像を生成するためのコンピューティング処理時間の短縮、ＣＢＣＴ画像中のアーチファクトの除去、および強化されたＣＢＣＴ画像、ならびにＣＢＣＴ画像およびｓＣＴ画像の生成および強化に使用される処理、メモリ、およびネットワークリソースの改善が含まれる。これらの改善されたＣＢＣＴ画像またはｓＣＴ画像は、このような改善されたＣＢＣＴ画像またはｓＣＴ画像を支援するためにデータを管理するデータ管理、可視化および制御システムの改善に加えて、様々な医療および診断の設定およびそのような設定で使用される情報技術システムに適用することができる。したがって、本技術は、これらの技術的利点に加えて、多くの見かけ上の医療上の利点（放射線治療の治療精度の向上、意図しない放射線への被曝の低減などを含む）をもたらす可能性がある。

［００３５］
本明細書でさらに議論されるように、教師付き人工知能（ＡＩ）機械学習の一形態である敵対的生成ネットワーク（ＧＡＮ）の以下の使用および展開は、学習モデルを介してｓＣＴ画像を生成することにより、ＣＢＣＴ画像の精度および有用性の向上を可能にする。一実施例では、本技術は、（例えば、人間の被検体の）入力されたＣＢＣＴ画像に対応する合成ＣＴ画像を出力し、実際の、真の、または現実の（real, true or actual）ＣＴ画像データと一致する、または匹敵する精度を有するピクセル値を含むことができる（そのようなＣＴ画像は、全体を通して、実際の、真の、または現実のＣＴ画像と称されることがある）。また、本明細書で議論される学習モデルは、元の低画像品質のＣＢＣＴ画像から優れた高画像品質の合成ＣＴ画像（ｓＣＴ）を生成することができる。このようなｓＣＴ画像は、元のＣＢＣＴ画像内の解剖学的構造を保存し、正確で正しいＨＵ値を有する高画質を得るために、全てまたは実質的に全ての散乱、ストリーキングアーテファクトおよび他のノイズアーチファクトを取り除く、または除去することができる。ｓＣＴ画像は、リアルタイムにオンザフライで生成することができる（例えば、開示されたモデルは、ＣＢＣＴ画像を受け取ると、ＣＢＣＴ画像を生成し、増強することができる）。

［００３６］
一実施例において、学習されたモデルは、ＧＡＮまたはＣｙｃｌｅＧＡＮ、すなわち、訓練データを記述する確率分布の推定値を生成する生成器（「生成モデル」とも呼ばれる）、および生成器のサンプルを生成器または学習データに属するものとして分類する識別器（「識別モデル」とも呼ばれる）で動作する一対の深層畳み込みニューラルネットワークを使用して生成される。生成器は、学習データのデータ分布を可能な限り完全にエミュレートし、それによって識別器を最大に混乱させることを目的としている。その結果、予測モデリングにおける回帰の結果を最大化するように訓練された（本質的には「調整された」）生成器が生成される。

［００３７］
一実施例では、ＧＡＮは、ＣＢＣＴ画像と実ＣＴ画像とのペアのセットで訓練され、ＣＢＣＴ画像が与えられたｓＣＴ画像を生成するためのモデルを訓練する。ＣＢＣＴ画像は、実ＣＴ画像と共に登録することができる。ＧＡＮの２つのネットワーク（生成器と判別器）アーキテクチャは、ニューラルネットワークにおける教師付きＭＬの先行アプローチを含む先行実装およびＤＮＮアーキテクチャよりも優れた、受け取られたＣＢＣＴ画像に対応するｓＣＴ画像を生成する訓練された生成モデルを生成するために使用することができる。さらに、本技術によるＣｙｃｌｅＧＡＮを使用することは、ｓＣＴ画像を作成するために使用される生成器の訓練を改善するための追加的な改善をもたらすことができる。このような技術的で機能的な利点は、次のセクションで明らかになるだろう。

［００３８］
本明細書で議論されるアプローチは、ＣＢＣＴ画像および実ＣＴ画像の特性を発見して、ＣＢＣＴ画像が受け取られると同時にリアルタイムで新しいｓＣＴ画像を生成することを可能にする。これらのアプローチは、ＣＢＣＴ画像と実ＣＴ画像の間のリンクのより詳細なモデルを得るためにＧＡＮによって採用された一種の統計的学習を使用している。

［００３９］
あるアプローチでは、ＣＢＣＴ画像を改善するための深層学習ネットワークの基本的な利用法を探ってきた。このようなアプローチは、出願中であり、同じ譲受人による米国特許出願第１５／９６４，９８３号、２０１８年４月２７日に出願され、発明の名称「ＩＭＰＲＯＶＩＮＧ ＩＭＡＧＥ ＱＵＡＬＩＴＹ ＩＮ ＣＯＮＥ ＢＥＡＭ ＣＯＭＰＵＴＥＤ ＴＯＭＯＧＲＡＰＨＹ ＩＭＡＧＥＳ ＵＳＩＮＧ ＤＥＥＰ ＣＯＮＶＯＬＵＴＩＯＮＡＬ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫＳ」の特許出願（代理人整理番号：４１８６．０１８ＵＳ１）により記述されており、その全体は参照により本明細書に組み込まれる。しかし、このアプローチでも、不鮮明で、不完全な、限られた精度のＣＢＣＴ画像に直面する可能性がある。特に、この先行アプローチでは、ＤＣＮＮ構造を学習するために非線形マッピングを用いており、このようなマッピングは、通常、手動で確立された目的関数を用いて学習される。このような関数は、改善されたＣＢＣＴ画像が実ＣＴ画像と一致するように促すため、ＣＢＣＴ画像と実ＣＴ画像との間の差分のＬ１－ノルムまたはＬ２－ノルム、Ｌ１－ロスおよびＬ２－ロスと称してもよいが、これらをそれぞれ最小化することができる。しかし、このような最小化では、手動で確立された目的関数を使用しても、ぼやけた、または過度に滑らかになったＣＢＣＴ画像が生成され、その結果、ＣＢＣＴ画像内の微細または微妙な構造が失われることになりうる。

［００４０］
また、ＤＣＮＮ型のアプローチでは、訓練中にＣＢＣＴ画像と実ＣＴ画像の対応する位置の画素のペアに対して非線形マッピングを学習するため、訓練データのペアごとの画像対応精度に依存している。Ｌ１またはＬ２の損失関数では、画像の画素ごとに差分を計算して合計することができる。しかし、ＣＢＣＴ画像と実ＣＴ画像の対応する位置の画素のペアが、不完全なマッチングにより実際には同じ解剖学的構造を表していない場合には、その誤差が学習過程に伝播し、そのような位置ではファジー画像のように見える不確かな予測結果になってしまう可能性がある。従来のシステムでは、ＣｙｃｌｅＧＡＮ（例えば、画像マップまたは画像アライメント制約を含む）の使用など、ＧＡＮの動作および精度を向上させる方法は研究されていなかった。

［００４１］
図１は、本明細書で議論される１つまたはそれ以上のアプローチを使用して放射線治療計画の処理操作を実行するように適合された例示的な放射線治療システム１００を示す。これらの放射線治療計画の処理動作は、撮影された医用画像データの特定の側面と治療線量計算とに基づいて、放射線治療システムが患者に放射線治療を提供することを可能にするために実行される。具体的には、画像処理ロジック１２０によって実行される画像生成ワークフロー１３０及び画像生成訓練ワークフロー１４０の一部として、以下の処理動作を実行する。しかしながら、データ検証、可視化、および他の医学的評価および診断の設定を含む、以下の訓練されたモデルおよび画像処理ロジック１２０の多くのバリエーションおよび使用例が提供されてもよいことが理解されるであろう。放射線治療システム１００は、受け取ったＣＢＣＴ画像からｓＣＴ画像を生成するためにＧＡＮを使用することができる。ｓＣＴ画像は、実ＣＴ画像に似たシャープなエッジを持つ改良されたＣＢＣＴ画像を表している可能性がある。したがって、放射線治療システム１００は、被検体の領域を撮影した低品質のＣＢＣＴ画像を使用して、リアルタイムで医療分析のためのｓＣＴタイプの画像を生成することができる。

［００４２］
放射線治療システムは、画像処理ロジック１２０を主催する放射線治療処理計算システム１１０を含む。放射線治療処理計算システム１１０は、ネットワーク（図示せず）に接続することができ、そのようなネットワークは、インターネットに接続することができる。例えば、ネットワークは、放射線治療処理計算システム１１０を、１つまたはそれ以上の医療情報源（例えば、放射線学情報システム（ＲＩＳ）、医療記録システム（例えば、電子カルテ（ＥＭＲ）／電子健康記録（ＥＨＲ）システム）、腫瘍学情報システム（ＯＩＳ））、１つまたはそれ以上の画像データソース１５０、画像取得装置１７０（例えば、撮像モダリティ）、治療装置１８０（例えば、放射線治療装置）、および治療データソース１６０と接続することができる。一実施例として、放射線治療処理計算システム１１０は、治療装置１８０によって使用され、および／または装置１４６の出力のために使用される、改良されたＣＢＣＴ画像を生成するための操作の一部として、画像処理ロジック１２０からの命令またはデータを実行することによって、被検体のＣＢＣＴ画像を受け取り、ＣＢＣＴ画像に対応するｓＣＴ画像を生成するように構成することができる。

［００４３］
放射線治療処理計算システム１１０は、処理回路１１２と、メモリ１１４と、記憶装置１１６と、ユーザインターフェース１４２と、通信インタフェース（図示せず）などの他のハードウェアおよびソフトウェア操作可能な機能を含むことができる。記憶装置１１６は、オペレーティングシステム、放射線治療計画（例えば、訓練ＣＢＣＴ画像、実ＣＴ画像、訓練画像と実ＣＴ画像を関連付けるペアリング情報、生成されたｓＣＴ画像、適応または修正されたＣＢＣＴ画像など）、ソフトウェアプログラム（例えば、画像処理ソフトウェア、画像または解剖学的可視化ソフトウェア、ＤＬモデル、ＭＬモデル、ニューラルネットワークなどによって提供されるようなＡＩ実装およびアルゴリズムなど）、および処理回路１１２によって実行される他の任意のコンピュータ実行可能な命令を記憶することができる。

［００４４］
一実施例では、処理回路１１２は、マイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、加速処理装置（ＡＰＵ）などの１つまたはそれ以上の汎用処理装置などの処理装置を含むことができる。より具体的には、処理回路１１２は、複雑命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、非常に長い命令ワード（ＶＬＩＷ）マイクロプロセッサ、他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサであってもよい。また、処理回路１１２は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、システムオンチップ（ＳｏＣ）などの１つまたはそれ以上の特別目的処理装置によって実装されてもよい。当業者には理解されるであろうが、いくつかの例では、処理回路１１２は、汎用プロセッサではなく、特殊用途プロセッサであってもよい。処理回路１１２は、Ｉｎｔｅｌ（登録商標）によって製造されたＰｅｎｔｉｕｍ（登録商標）、Ｃｏｒｅ（登録商標）、Ｘｅｏｎ（登録商標）、またはＩｔａｎｉｕｍ（登録商標）ファミリー、ＡＭＤ（登録商標）によって製造されたＴｕｒｉｏｎ（登録商標）、Ａｔｈｌｏｎ（登録商標）、Ｓｅｍｐｒｏｎ（登録商標）、Ｏｐｔｅｒｏｎ（登録商標）、ＦＸ（登録商標）、Ｐｈｅｎｏｎ（登録商標）ファミリー、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓによって製造された様々なプロセッサのいずれかのような１つまたはそれ以上の既知の処理装置を含むことができる。処理回路１１２は、Ｎｖｉｄｉａ（登録商標）によって製造されたＧｅＦｏｒｃｅ（登録商標）、Ｑｕａｄｒｏ（登録商標）、Ｔｅｓｌａ（登録商標）ファミリー、Ｉｎｔｅｌ（登録商標）によって製造されたＧＭＡ、Ｉｒｉｓ（登録商標）ファミリー、またはＡＭＤ（登録商標）によって製造されたＲａｄｅｏｎ（登録商標）ファミリーのような、グラフィック処理ユニットを含むことができる。処理回路１１２は、Ｉｎｔｅｌ（登録商標）によって製造されたＸｅｏｎ Ｐｈｉ（登録商標）ファミリーのような、加速処理ユニットを含むことができる。開示された実施形態は、本明細書に開示された方法を実行するために、大量のデータを特定し、分析し、維持し、生成し、および／または提供し、またはそのようなデータを操作するというコンピューティング要求を満たすように構成された任意のタイプのプロセッサ（複数可）に限定されるものではない。さらに、「プロセッサ」という用語は、複数の物理的（回路ベースの）またはソフトウェアベースのプロセッサ、例えば、マルチコア設計または複数のプロセッサのそれぞれがマルチコア設計を有するプロセッサを含んでもよい。処理回路１１２は、メモリ１１４に記憶され、記憶装置１１６からアクセスされる、一過性または非一過性のコンピュータプログラム命令のシーケンスを実行して、以下でより詳細に説明する様々な操作、プロセス、方法を実行することができる。システム１００内の任意のコンポーネントは、別個に実装され、独立した装置として動作してもよく、本開示に記載された技術を実行するために、システム１００内の任意の他のコンポーネントに結合されてもよいことが理解されるべきである。

［００４５］
メモリ１１４は、読み出し専用メモリ（ＲＯＭ）、相変化ランダムアクセスメモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）などのダイナミックランダムアクセスメモリ（ＤＲＡＭ）、電気的に消去可能なプログラム可能な読み出し専用メモリ（ＥＥＥＰＲＯＭ）、スタティックメモリ（例えば、フラッシュメモリ、フラッシュディスク、静的ランダムアクセスメモリ）、および他のタイプのランダムアクセスメモリ、キャッシュ、レジスタ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）または他の光ストレージ、カセットテープ、他の磁気記憶装置、または画像、データ、または処理回路１１２または他のタイプのコンピュータ装置によってアクセスされることが可能な一過性または非一過性のコンピュータ実行可能命令（例えば、任意の形式で格納されているもの）を含む情報を格納するために使用され得る他の非一過性の媒体を含み得る。例えば、コンピュータプログラム命令は、処理回路１１２によってアクセスされ、ＲＯＭ、または他の任意の適切なメモリ位置から読み出され、処理回路１１２によって実行されるためにＲＡＭにロードすることができる。

［００４６］
記憶装置１１６は、本明細書に記載された方法論または機能（様々な例では、治療処理ロジック１２０およびユーザインターフェース１４２を含む）のうちの任意の１つまたはそれ以上の方法論または機能を具現化または利用する１つまたはそれ以上の一組の、一過性または非一過性の機械読み取り可能な媒体を含む駆動装置を構成してもよい。命令は、また、放射線治療処理計算システム１１０による実行中に、メモリ１１４内および／または処理回路１１２内に、完全にまたは少なくとも部分的に存在してもよく、メモリ１１４および処理回路１１２は、また、一過性または非一過性の機械可読媒体を構成することができる。

［００４７］
メモリ１１４および記憶装置１１６は、非一過性のコンピュータ読み取り可能な媒体を構成することができる。例えば、メモリ１１４および記憶装置１１６は、コンピュータ読み取り可能な媒体上に、１つまたはそれ以上のソフトウェアアプリケーションのための一過性または非一過性の命令を記憶またはロードすることができる。メモリ１１４および記憶装置１１６に記憶またはロードされたソフトウェアアプリケーションは、例えば、一般的なコンピュータシステム用のオペレーティングシステムおよびソフトウェア制御装置用のオペレーティングシステムを含むことができる。また、放射線治療処理計算システム１１０は、画像処理ロジック１２０およびユーザインターフェース１４２を実装するためのソフトウェアコードからなる様々なソフトウェアプログラムを動作させることができる。さらに、メモリ１１４および記憶装置１１６は、処理回路１１２によって実行可能なソフトウェアアプリケーション全体、ソフトウェアアプリケーションの一部、またはソフトウェアアプリケーションに関連付けられたコードまたはデータを記憶またはロードすることができる。更なる実施例では、メモリ１１４および記憶装置１１６は、１つまたはそれ以上の放射線治療計画、画像データ、セグメンテーションデータ、治療可視化、ヒストグラムまたは測定値、ＡＩモデルデータ（例えば、重みおよびパラメータ）、ラベルおよびマッピングデータなどを記憶し、ロードし、操作することができる。ソフトウェアプログラムは、記憶装置１１６およびメモリ１１４だけでなく、ハードドライブ、コンピュータディスク、ＣＤ－ＲＯＭ、ＤＶＤ、ブルーレイＤＶＤ、ＵＳＢフラッシュドライブ、ＳＤカード、メモリスティック、または任意の他の適切な媒体などの取り外し可能なコンピュータ媒体に格納することができ、そのようなソフトウェアプログラムは、ネットワークを介して通信または受信することができる。

［００４８］
図示されていないが、放射線治療処理計算システム１１０は、通信インターフェース、ネットワークインターフェースカード、および通信回路を含むことができる。例示的な通信インターフェースは、例えば、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、ＵＳＢコネクタ、パラレルコネクタ、高速データ伝送アダプタ（例えば、ファイバ、ＵＳＢ ３．０、サンダーボルトなど）、無線ネットワークアダプタ（例えば、ＩＥＥＥ ８０２．１１／Ｗｉ－Ｆｉアダプタなど）、通信アダプタ（例えば、３Ｇ、４Ｇ／ＬＴＥ、５Ｇ、ネットワークなどと通信するためのもの）などを含むことができる。このような通信インターフェースは、機械がネットワークを介して、遠隔地に配置された構成要素のような他の機械および装置と通信することを可能にする、１つまたはそれ以上のデジタルおよび／またはアナログ通信装置を含むことができる。ネットワークは、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、クラウドコンピューティング環境（例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャなど）、クライアントサーバー、広域ネットワーク（ＷＡＮ）などの機能を提供することができる。例えば、ネットワークは、他のシステム（追加の画像処理計算システムまたは医用画像処理または放射線治療操作に関連する画像ベースのコンポーネントを含む）を含むことができるＬＡＮまたはＷＡＮであってもよい。

［００４９］
一実施例では、放射線治療処理計算システム１１０は、記憶装置１１６およびメモリ１１４上でホスティングするために、画像データソース１５０（例えば、ＣＢＣＴ画像）から画像データ１５２を取得することができる。例示的な画像データソース１５０は、図２Ｂに関連して詳細に記載されている。一実施例では、放射線治療処理計算システム１１０上で動作するソフトウェアプログラムは、擬似ＣＴ画像またはｓＣＴのような合成画像を生成することによって、あるフォーマット（例えば、ＭＲＩ）の医用画像を別のフォーマット（例えば、ＣＴ）に変換することができる。別の実施例では、ソフトウェアプログラムは、対応する画像が適切にペアリングされて関連付けられるように、患者の医用画像（例えば、ＣＴ画像またはＭＲ画像）を、その後に作成または捕捉されたその患者のＣＢＣＴ画像（例えば、画像としても表される）に登録または関連付けることができる。さらに別の実施例では、ソフトウェアプログラムは、符号付き距離関数または画像情報のいくつかの側面を強調する画像の処理済みバージョンのような患者画像の機能を代替することができる。

［００５０］
例示的な実施形態では、放射線治療処理計算システム１１０は、画像データソース１５０から、または画像データソース１５０にＣＢＣＴ撮像データ１５２を取得するか、または通信することができる。このような撮像データは、ＧＡＮまたはＣｙｃｌｅＧＡＮモデリングを使用して撮像データを強化または改善してｓＣＴを生成するために計算システム１１０に提供することができる。ｓＣＴは、治療データソース１６０または装置１８０によって、人間の被検体を治療するために使用することができる。さらなる実施例では、治療データソース１６０は、画像生成ワークフロー１３０によって生成されたｓＣＴの結果として計画データを受信または更新し、画像データソース１５０はまた、画像生成訓練ワークフロー１４０で使用するために撮像データを提供またはホストすることができる。

［００５１］
一実施例では、計算システム１１０は、画像データソース１５０を使用して、ＣＢＣＴ画像と実ＣＴ画像のペアを生成することができる。例えば、計算システム１１０は、被検体の標的領域（例えば、脳領域）の画像を取得するようにＣＢＣＴ装置に指示することができる。計算システム１１０は、画像データを、ＣＢＣＴ画像によって捕捉された時間および目標領域の関連付けられた表示とともに記憶装置１１６に格納することができる。また、計算システム１１０は、ＣＴ撮影装置に対して、実ＣＴ画像と同じ対象領域（例えば、脳領域の同じ断面）の画像を取得するように指示することができる。計算システム１１０は、実ＣＴ画像を同じ領域の以前に得られたＣＢＣＴ画像と関連付けることができ、それにより、訓練ペアとして装置１１６に記憶するための実ＣＴ画像とＣＢＣＴ画像のペアを形成することができる。計算システム１１０は、閾値数のペアが得られるまで、そのような訓練画像のペアを生成し続けてもよい。いくつかの実施形態では、計算システム１１０は、どの標的領域を取得するか、およびどのＣＢＣＴ画像を実ＣＴ画像とペアにするかについて、人間のオペレータによってガイドするようにしてもよい。

［００５２］
処理回路１１２は、メモリ１１４および記憶装置１１６に通信的に結合されてもよく、処理回路１１２は、メモリ１１４または記憶装置１１６のいずれかからそこに記憶されたコンピュータ実行可能命令を実行するように構成することができる。処理回路１１２は、画像データ１５２からの医用画像をメモリ１１４で受信または取得し、画像処理ロジック１２０を用いて処理するように命令を実行することができる。さらなる実施例では、処理回路１１２は、画像データ１５２および他の患者データとともにソフトウェアプログラム（例えば、画像処理ソフトウェア）を利用して、ｓＣＴ画像を強化または生成することができる。

［００５３］
さらに、処理回路１１２は、例えば、ニューラルネットワークモデル、機械学習モデル、画像生成ワークフロー１３０、画像生成訓練ワークフロー１４０、または本明細書で議論されるようなＧＡＮまたはＣｙｃｌｅＧＡＮによるｓＣＴ画像の生成に関与する他の側面によって使用される更新されたパラメータのような中間データを生成するためのソフトウェアプログラムを利用することができる。さらに、そのようなソフトウェアプログラムは、本明細書でさらに議論される技術を使用して、治療データソース１６０への展開および／または出力装置１４６上での提示のための新しいまたは更新されたｓＣＴ画像を生成するための画像生成ワークフロー１３０を実施するために、画像処理ロジック１２０を利用することができる。処理回路１１２は、その後、通信インターフェースおよびネットワークを介して、新しい画像または更新された画像を治療装置１８０に送信してもよく、ここで、放射線治療計画は、ワークフロー１４０で訓練されたワークフロー１３０の結果と一致して、治療装置１８０を介して患者を放射線で治療するために使用される。ソフトウェアプログラムおよびワークフロー１３０、１４０の他の出力および使用は、放射線治療処理計算システム１１０の使用に伴って発生することができる。

［００５４］
本明細書の実施例では（例えば、図３および図４を参照して議論された敵対的生成ネットワーク処理を参照して実施例では）、処理回路１１２は、入力ＣＢＣＴ画像からのｓＣＴ画像生成のためのＭＬ、ＤＬ、ニューラルネットワーク、および人工知能の他の側面の機能を実装するために、画像処理ロジック１２０を呼び出すソフトウェアプログラムを実行することができる。例えば、処理回路１１２は、本明細書で議論されるように、受け取ったＣＢＣＴ画像から訓練、分析、予測、評価、およびｓＣＴ画像を生成するソフトウェアプログラムを実行することができる。

［００５５］
一実施例では、画像データ１５２は、１つまたはそれ以上のＭＲＩ画像（例えば、２ＤＭＲＩ、３ＤＭＲＩ、２ＤストリーミングＭＲＩ、４ＤＭＲＩ、４ＤボリューメトリックＭＲＩ、４ＤシネＭＲＩなど）、機能的ＭＲＩ画像（例えば、ｆＭＲＩ、ＤＣＥ－ＭＲＩ、拡散ＭＲＩ）、コンピュータ断層撮影（ＣＴ）画像（例えば、２ＤＣＴ、コーンビームＣＴ、３ＤＣＴ、４ＤＣＴ）、超音波画像（例えば、２Ｄ超音波、３Ｄ超音波、４Ｄ超音波）、陽電子放出断層撮影（ＰＥＴ）画像、Ｘ線画像、透視画像、放射線治療ポータル画像、シングルフォトエミッションコンピュータ断層撮影（ＳＰＥＣＴ）画像、コンピュータで生成された合成画像（例えば、疑似ＣＴ画像）などを含み得る。さらに、画像データ１５２は、医用画像処理データ、例えば、訓練画像、およびグラウンドトゥルース画像、輪郭画像、および線量画像を含むか、または関連付けられていてもよい。他の実施例では、解剖学的領域の等価な表現は、非画像フォーマット（例えば、座標、マッピングなど）で表現することができる。

［００５６］
一実施例では、画像データ１５２は、画像取得装置１７０から受信され、画像データソース１５０の１つまたはそれ以上（例えば、ＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）、ＶＮＡ（Ｖｅｎｄｏｒ Ｎｅｕｔｒａｌ Ａｒｃｈｉｖｅ）、医療記録または情報システム、データウェアハウスなど）に格納することができる。したがって、画像取得装置１７０は、患者の医用画像を取得するためのＭＲＩ撮像装置、ＣＴ撮像装置、ＰＥＴ撮像装置、超音波撮像装置、透視装置、ＳＰＥＣＴ撮像装置、リニアアクセラレータとＭＲＩ撮像装置を一体化したもの、ＣＢＣＴ撮像装置、またはその他の医用画像を取得するための医用画像取得装置で構成されていてもよい。画像データ１５２は、画像取得装置１７０および放射線治療処理計算システム１１０が、開示された実施形態と一致する動作を実行するために使用することができる、任意のタイプのデータまたは任意のタイプのフォーマット（例えば、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）フォーマット）で受信および保存することができる。さらに、いくつかの実施例では、本明細書で議論されるモデルは、元の画像データフォーマットまたはその派生物を処理するように訓練することができる。

［００５７］
例示的な実施形態では、画像取得装置１７０は、単一の装置（例えば、リニア加速器と組み合わせたＭＲＩ装置、「ＭＲＩ－Ｌｉｎａｃ」とも呼ばれる）として治療装置１８０と一体化されていてもよい。このようなＭＲＩ－Ｌｉｎａｃは、例えば、放射線治療計画に従って放射線治療を所定の標的に正確に指示するために、患者の標的臓器または標的腫瘍の位置を決定するために使用することができる。例えば、放射線治療計画は、各患者に適用されるべき特定の放射線量に関する情報を提供することができる。また、放射線治療計画には、他の放射線治療情報、例えば、ビーム角度、線量－ヒストグラム－ボリューム情報、治療中に使用する放射線ビームの本数、ビーム当たりの線量などが含まれていてもよい。いくつかの実施例では、画像生成ワークフロー１３０におけるＧＡＮ訓練されたモデルは、強化されたＣＢＣＴ画像を生成するためにのみ使用され、他のワークフローまたはロジック（図示せず）は、この強化されたＣＢＣＴ画像を、放射線治療を達成するために使用される特定のビーム角および放射線物理学に翻訳するために使用される。

［００５８］
放射線治療処理計算システム１１０は、ネットワークを介して外部データベースと通信し、画像処理および放射線治療操作に関連する複数の様々なタイプのデータを送受信することができる。例えば、外部データベースは、治療装置１８０、画像取得装置１７０、または放射線治療または医療処置に関連する他の機械に関連する情報を提供する機械データ（装置制約（device constraints）を含む）を含むことができる。機械データ情報は、放射線ビームサイズ、アーク配置、ビームのオンオフ時間、機械パラメータ、セグメント、マルチリーフコリメータ（ＭＬＣ）構成、ガントリ速度、ＭＲＩパルスシーケンスなどを含むことができる。外部データベースは、記憶装置であってもよく、適切なデータベース管理ソフトウェアプログラムを備えていてもよい。さらに、そのようなデータベースまたはデータソースは、中央または分散的に配置された複数のデバイスまたはシステムを含むことができる。

［００５９］
放射線治療処理計算システム１１０は、処理回路１１２およびメモリ１１４に通信可能に結合された１つまたはそれ以上の通信インターフェースを使用して、ネットワークを介して、データを収集および取得し、他のシステムと通信することができる。例えば、通信インターフェースは、放射線治療処理計算システム１１０と放射線治療システム構成要素との間の通信接続を提供する（例えば、外部装置とのデータ交換を可能にする）ようにしてもよい。例えば、通信インターフェースは、いくつかの実施例では、ユーザが放射線治療システムに情報を入力するためのハードウェアキーボード、キーパッド、またはタッチスクリーンであってもよいユーザインターフェース１４２に接続するための出力装置１４６または入力装置１４８からの適切なインターフェース回路を有することができる。

［００６０］
一実施例として、出力装置１４６は、ユーザインターフェース１４２の表現と、医用画像、治療計画、およびそのような計画の訓練、生成、検証、または実施の状況の１つまたはそれ以上の側面、可視化、または表現を出力する表示装置を含むことができる。出力装置１４６は、医用画像、インターフェース情報、治療計画パラメータ（例えば、輪郭、線量、ビーム角、ラベル、地図など）、治療計画、目標、目標の定位および／または目標の追跡、または任意の関連情報をユーザに表示する１つまたはそれ以上のディスプレイ画面を含むことができる。ユーザインターフェース１４２に接続された入力装置１４８は、キーボード、キーパッド、タッチスクリーン、またはユーザが放射線治療システムに情報を入力することができる任意のタイプのデバイスであってもよい。代替的に、出力装置１４６、入力装置１４８、およびユーザインターフェース１４２の機能は、スマートフォンまたはタブレットコンピュータ（例えば、Ａｐｐｌｅ ｉＰａｄ（登録商標）、Ｌｅｎｏｖｏ Ｔｈｉｎｋｐａｄ（登録商標）、Ｓａｍｓｕｎｇ Ｇａｌａｘｙ（登録商標）など）のような単一のデバイスに統合することができる。

［００６１］
さらに、放射線治療システムの任意のおよびすべての構成要素は、仮想マシン（例えば、ＶＭＷａｒｅ、Ｈｙｐｅｒ－Ｖなどの仮想化プラットフォームを介して）または独立したデバイスとして実装することができる。例えば、仮想マシンは、ハードウェアとして機能するソフトウェアである可能性がある。したがって、仮想マシンは、少なくとも１つまたはそれ以上の仮想プロセッサ、１つまたはそれ以上の仮想メモリ、および一緒にハードウェアとして機能する１つまたはそれ以上の仮想通信インターフェースを含むことができる。例えば、放射線治療処理計算システム１１０、画像データソース１５０、または同様の構成要素は、仮想マシンとして、またはクラウドベースの仮想化環境内で実装することができる。

［００６２］
画像処理ロジック１２０または他のソフトウェアプログラムは、計算システムが画像データソース１５０と通信して、メモリ１１４および記憶装置１１６に画像を読み込んだり、メモリ１１４または記憶装置１１６から画像データソース１５０に画像または関連データを格納したり、画像データソース１５０との間で画像データソース１５０と通信するようにすることができる。例えば、画像データソース１５０は、モデル訓練または生成ユースケースにおいて、画像取得装置１７０を介して１人または複数の患者から取得された画像データ１５２内の画像セットから、画像データソース１５０がホストする複数の画像（例えば、３ＤＭＲＩ、４ＤＭＲＩ、２ＤＭＲＩスライス画像、ＣＴ画像、２Ｄ透視画像、Ｘ線画像、ＭＲスキャンまたはＣＴスキャンからの生データ、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）メタデータなど）を保存して提供するように構成してもよい。また、画像データソース１５０または他のデータベースは、受け取ったＣＢＣＴ画像からｓＣＴ画像を作成、修正、または生成する画像処理動作を実行するソフトウェアプログラムを実行する際に、画像処理ロジック１２０によって使用されるデータを格納することができる。さらに、様々なデータベースは、敵対的生成ネットワークモデル１３８によって学習されたモデルを構成するネットワークパラメータと、その結果得られる予測データとを含む、学習されたモデルによって生成されたデータを格納することができる。したがって、放射線治療処理計算システム１１０は、放射線治療または診断操作の実行に関連して、画像データソース１５０、画像取得装置１７０、治療装置１８０（例えば、ＭＲＩ－Ｌｉｎａｃ）、または他の情報システムから、画像データ１５２（例えば、２ＤＭＲＩスライス画像、ＣＴ画像、２Ｄ透視画像、Ｘ線画像、３ＤＭＲＩ画像、４ＤＭＲＩ画像など）を取得および／または受信することができる。

［００６３］
画像取得装置１７０は、関心領域（例えば、標的臓器、標的腫瘍、またはその両方）に対する患者の解剖学の１つまたはそれ以上の画像を取得するように構成され得る。各画像、典型的には２Ｄ画像またはスライスは、１つまたはそれ以上のパラメータ（例えば、２Ｄスライスの厚さ、向き、および位置など）を含むことができる。一実施例では、画像取得装置１７０は、任意の向きの２Ｄスライスを取得することができる。例えば、２Ｄスライスの方向は、矢状方向（sagittal orientation）、冠状方向（coronal orientation）または軸方向（axial orientation）を含むことができる。処理回路１１２は、標的臓器および／または標的腫瘍を含むように、２Ｄスライスの厚さおよび／または向きなどの１つまたはそれ以上のパラメータを調整することができる。一実施例では、２Ｄスライスは、３ＤＣＢＣＴまたは３ＤＣＴ、またはＭＲＩボリュームなどの情報から決定することができる。このような２Ｄスライスは、患者が放射線治療を受けている間、例えば治療装置１８０を使用しているときに、画像取得装置１７０によって「ほぼリアルタイム」で取得することができる（「ほぼリアルタイム」とは、少なくともミリ秒以下でデータを取得することを意味する）。

［００６４］
放射線治療処理計算システム１１０における画像処理ロジック１２０は、訓練された（学習された）生成モデルの使用（例えば、図８を参照して以下に説明する方法を実装する）を含む画像生成ワークフロー１３０を実装するように描かれている。この生成モデルは、敵対的生成ネットワークモデル１３８の一部として訓練された生成器１３８Ｂによって提供することができる。一実施例では、画像処理ロジック１２０が動作する計画生成ワークフロー１３０は、実ＣＴ画像データ処理１３２とＣＢＣＴ画像データ処理１３４とを統合して、訓練で使用したマッピングされたＣＴ画像とＣＢＣＴ画像とに基づいてｓＣＴ画像を生成し、その生成されたｓＣＴ画像に基づいてＣＢＣＴ画像を生成する。

［００６５］
一実施例では、生成器１３８Ｂは、学習データのペアリング（例えば、ＣＢＣＴ画像および実ＣＴ画像のペアリング）を処理する画像生成訓練ワークフロー１４０に関連して、ＧＡＮ１３８内の識別器１３８Ａおよび生成器１３８Ｂの使用を含む訓練の結果として学習された重みおよび値を含む。上述したように、この訓練ワークフロー１４０は、データソース１６０、１７０、および関連する画像データ１５２から画像データを取得して利用することができる。

［００６６］
図２Ａは、Ｘ線源または線形加速器などの放射線源、カウチ２１６、撮像検出器２１４、および放射線治療出力２０４を含む例示的な画像誘導放射線治療装置２０２を図示する。放射線治療装置２０２は、患者に治療を提供するために放射線ビーム２０８を放出するように構成されている。放射線治療出力２０４は、マルチリーフコリメータ（ＭＬＣ）などの１つまたはそれ以上の減衰器またはコリメータを含む。理解されるように、放射線治療出力２０４は、画像生成ワークフロー１３０およびＧＡＮのジェネレータ１３８Ｂからの画像生成の関連使用を実装する画像処理ロジック１２０と関連して提供することができる。

［００６７］
一例として、患者は、治療カウチ２１６によって支持された領域２１２内に配置され、放射線治療計画に従って放射線治療線量を受けることができる。放射線治療出力２０４は、ガントリ２０６または他の機械的支持体に搭載され、または取り付けられる。１つまたはそれ以上のシャーシモータ（図示せず）は、カウチ２１６が治療領域に挿入されたときに、ガントリ２０６および放射線治療出力２０４をカウチ２１６の周りで回転させることができる。一実施例では、ガントリ２０６は、カウチ２１６が処置領域内に挿入されたときに、カウチ２１６の周りで連続的に回転可能である。別の実施例では、ガントリ２０６は、カウチ２１６が処置領域内に挿入されたときに、所定の位置まで回転する。例えば、ガントリ２０６は、治療出力２０４を軸（「Ａ」）の周りに回転させるように構成することができる。カウチ２１６および放射線治療出力２０４の両方は、横方向（「Ｔ」）に移動可能であるか、横方向（「Ｌ」）に移動可能であるか、または横軸（「Ｒ」と表示される）についての回転など、１つまたはそれ以上の他の軸についての回転として、患者の周囲の他の位置に独立して移動可能である。１つまたはそれ以上のアクチュエータ（図示せず）に通信的に接続されたコントローラは、放射線治療計画に従って患者を放射線ビーム２０８内または放射線ビーム２０８の外に適切に位置決めするために、カウチ２１６の動きまたは回転を制御することができる。カウチ２１６およびガントリ２０６の両方は、互いに独立して複数の自由度で移動可能であり、これにより、放射線ビーム２０８が腫瘍を正確に標的にすることができるように患者を位置決めすることができる。

［００６８］
図２Ａに示す座標系（軸Ａ、軸Ｔ、軸Ｌを含む）は、アイソセンタ２１０に位置する原点を有する。アイソセンタは、患者上または患者内の場所に所定の放射線量を送達するように、放射線治療ビーム２０８の中心軸が座標軸の原点と交差する位置として定義する。代替的に、アイソセンタ２１０は、ガントリ２０６によって軸Ａの周りに位置決めされた放射線治療出力２０４の様々な回転位置のために、放射線治療ビーム２０８の中心軸が患者と交差する位置として定義することができる。

［００６９］
ガントリ２０６はまた付属の撮像検出器２１４を有していてもよい。撮像検出器２１４は、好ましくは、放射線源（出力２０４）に対向して配置され、一実施例では、撮像検出器２１４は、治療ビーム２０８のフィールド内に配置され得る。撮像検出器２１４は、ＣＢＣＴ画像からｓＣＴ画像をリアルタイムで生成するために、画像処理ロジック１２０（ＦＩＧ１）を実装することができる。撮像検出器２１４は、好ましくは、治療ビーム２０８との整列を維持するように、放射線治療出力２０４に対向して、ガントリ２０６に取り付けられることができる。撮像検出器２１４は、ガントリ２０６の回転に伴って回転軸を中心に回転する。例示的な実施形態では、撮像検出器２１４は、フラットパネル検出器（例えば、直接検出器またはシンチレータ検出器）であってもよい。このように、撮像検出器２１４は、治療ビーム２０８を監視するために使用することができ、または、撮像検出器２１４は、ポータルイメージングのような患者の解剖学的な撮像のために使用することができる。放射線治療装置２０２の制御回路は、放射線治療システム１００内に統合されていてもよいし、放射線治療システム１００から離れていてもよい。

［００７０］
例示的な一実施例では、カウチ２１６、治療出力２０４、またはガントリ２０６のうちの１つまたはそれ以上が自動的に位置決めされ、治療出力２０４は、特定の治療送達インスタンスのための指定された線量に従って治療ビーム２０８を確立することができる。ガントリ２０６、カウチ２１６、または治療出力２０４の１つまたはそれ以上の異なる向きまたは位置を使用するなど、放射線治療計画に応じて、治療送達のシーケンスを指定することができる。治療の送達は、順次行われ得るが、アイソセンタ２１０のような患者上または患者内の所望の治療部位で交差させることができる。所定の累積線量の放射線治療は、それによって治療部位に送達され得る一方で、治療部位の近くの組織への損傷を減少させるか、または回避することができる。

［００７１］
したがって、図２Ａは、放射線治療出力が中心軸（例えば、軸「Ａ」）を中心に回転可能な構成で、患者に放射線治療を提供するために操作可能な放射線治療装置２０２の例を具体的に示している。他の放射線治療の出力構成を使用することができる。例えば、放射線治療出力は、複数の自由度を有するロボットアームまたはマニピュレータに取り付けることができる。さらなる別の実施例では、治療出力は、患者から横方向に分離された領域に位置するように固定され、患者を支持するプラットフォームは、放射線治療アイソセンタを患者内の特定の標的軌跡に整列させるために使用され得る。別の実施例では、放射線治療装置は、線形加速器と画像取得装置との組み合わせであってもよい。いくつかの実施例では、画像取得装置は、当業者が認識するであろう、ＭＲＩ、Ｘ線、ＣＴ、ＣＢＣＴ、スパイラルＣＴ、ＰＥＴ、ＳＰＥＣＴ、光断層撮影、蛍光撮影、超音波撮影、または放射線治療門脈撮影装置などであってもよい。

［００７２］
図２Ｂは、図２Ａ及び図１の画像取得装置１７０の一例としてのＸ線コーンビームコンピュータ断層撮影スキャナ２２０の一例を示す。Ｘ線コーンビームコンピュータ断層撮影スキャナ２２０は、Ｘ線管２２４および検出器２２２を含むことができる。動作中、光子は、Ｘ線管２２４から放出され、検出器２２２に到達する前に、３次元物体（例えば、患者の解剖学の一部）を通って伝搬する。立体物は、放出された光子の一部を吸収することができる。検出器２２２は、受け取られた光子を対応する電子信号に変換することができる２Ｄ平面を含むことができる。電子信号は、２Ｄ投影空間画像を形成するためのように、特定のＸ線経路（直線経路）に沿った吸収強度を記録することができる。また、３Ｄ物体の３Ｄ構造情報を得るために、３Ｄ物体を回転軸について回転させたり、Ｘ線管２２４及び検出器２２２を軌道状に走査して、異なる視野角からの２Ｄ投影空間画像を得るようにすることができる。一実施例では、２Ｄ投影空間画像は、数百枚の２Ｄ投影空間画像に対応することができるなど、２００度以上の範囲に渡って収集することができる。

［００７３］
画像再構成アルゴリズムは、Ｘ線コーンビームコンピュータ断層撮影スキャナ２２０によって収集された２Ｄ投影空間画像から３Ｄ物体の３Ｄ画像を形成するために採用することができる。再構成アルゴリズムは、解析的再構成アルゴリズムと反復的再構成アルゴリズムを含むことができる。一実施例では、解析アルゴリズム（例えば、ＦｅｌｄｋａｍｐまたはＦｅｌｄｋａｍｐ－ｍｏｄｉｆｉｅｄアルゴリズム）を使用して、スキャナ２２０によって収集された２Ｄ投影空間画像を処理して、３Ｄ再構成画像を得ることができる。一実施例では、解析アルゴリズムは、２Ｄ投影空間画像を数秒で処理することができる。しかし、３Ｄ再構成画像は、収集された２Ｄ投影空間画像と解析アルゴリズムに関連する数学的仮定との間の不一致によってもたらされるようなアーチファクトに悩まされる可能性がある。さらに、アーチファクトは、ノイズなどの他のソースから発生することがあり得る。一実施例では、スキャナ２２０によって収集された２Ｄ投影空間画像を処理して３Ｄ再構成画像を得るために、反復アルゴリズムを使用することができる。反復アルゴリズムは、分析アルゴリズムに関連するアーチファクトの一部を抑制することができるが、すべてのタイプではなく、分析アルゴリズムよりも高品質の画像を得ることができるけれど、反復アルゴリズムは、高度なＧＰＵ技術を使用しても、分析アルゴリズムよりもはるかに長い時間がかかる。解析的アルゴリズムも反復的アルゴリズムも、すべての種類のアーチファクトに対して有効ではない。画像中のアーチファクトは、ノイズ、散乱、消光アーチファクト、ビームハードニングアーチファクト、指数関数的エッジ勾配効果、エイリアシング効果、リングアーチファクト、モーションアーチファクト、位置ずれ効果のうちの任意の１つまたはそれ以上を含む。

［００７４］
ノイズアーチファクトには、ラウンドオフエラーや電気ノイズなどの付加的なノイズが含まれる。ノイズアーチファクトには、ポアソン分布に従うことができる光子数ノイズを含まれる。ＣＢＣＴ装置は、ＣＴ装置に比べて約１桁低いミリアンペアの電流で動作するため、ＣＢＣＴ画像のＳ／ＮをＣＴ画像よりも低くすることができる。散乱アーチファクトは、直線経路に沿って移動から逸脱した物体によって散乱された光子によって引き起こされることがある。フォトンが直線経路を移動すると仮定できる特定の再構成アルゴリズムでは、散乱のためにアーチファクトが導入される可能性がある。散乱アーチファクトには、ＣＢＣＴ ２Ｄ／３Ｄ画像の不均一な暗化を含む。消光アーチファクトは、物体に強い吸収を持つ物質が含まれていて、光子が物体を透過できず、検出器上の信号が非常に弱いかゼロになってしまう場合がある。吸収情報は、検出器上の信号が非常に弱い場合やゼロの場合に失われることがある。２ＤＣＢＣＴ投影空間画像における消光アーチファクトは、再構成されたＣＢＣＴ２Ｄ／３Ｄ画像において、強いブライトストリーク様アーチファクトのようなアーチファクトを引き起こす可能性がある。２ＤＣＢＣＴ投影空間画像を形成するために多色Ｘ線ビームが使用される場合、ビーム硬化アーチファクトが発生する可能性がある。多色Ｘ線ビームにおいて、低エネルギーＸ線は、高エネルギーＸ線と低エネルギーＸ線との比の相対的な増加をもたらすことができるように、患者の組織によって優先的に吸収され得る。比率の相対的な増加は、再構成されたＣＢＣＴ２Ｄ／３Ｄ画像のアーチファクトにつながる可能性がある。指数的エッジ勾配効果（ＥＥＧＥ）は、隣接する構造物とのコントラストが高いシャープなエッジで発生する可能性がある。脳波は測定された強度を有限のビーム幅で平均化することで発生するが、再構成のためのアルゴリズムはゼロビーム幅を想定している。ＥＥＧＥは、低減された計算された密度値を提供することができ、投影方向に長い直線エッジの接線にストリークを発生させることができる。画像のサンプリング周波数（単位面積あたりのピクセル）が、サンプリングされる空間周波数の値の２倍未満である場合に、エイリアシングアーチファクト（Aliasing artefacts）が発生する可能性がある。エイリアシングアーチファクトは、ＣＢＣＴ投影空間画像の収集に使用されるような発散コーンビームの結果としても発生する可能性がある。リングアーチファクト（Ring artefacts）は、欠陥や校正されていない検出器素子によって引き起こされることがある。リングアーチファクトは、回転軸を中心とした同心円状のリングとして現れることがある。モーションアーチファクト（Motion artefacts）や位置ズレの影響は、ＣＢＣＴ画像の収集中にソース、オブジェクト、検出器のいずれかの位置ズレによって引き起こされることがある。

［００７５］
これらのＣＢＣＴ画像は、画像処理ロジック１２０（図１）を使用するような、本明細書で議論されるようなＧＡＮを含むディープラーニング（ＤＬ）／機械学習（ＭＬ）アプローチの使用によって改善され得る。ＡＩ、ＤＬ、ＭＬのいずれも、ランダム変数の確率とその確率分布を数学的に解析したものである。通常，ランダム変数は，ペアＸ、Ｙ、｛ｘ_ｉ，ｙ_ｉ｝，ｉ＝１，Ｎとして観測される。ここで、それぞれの値ｘ_ｉ∈Ｘに対して、我々は、それを、スカラーのカテゴリインデックスｙ_ｉ∈Ｙ（分類）で表されるクラスやカテゴリに割り当てたい、または、関数ｙ_ｉ＝ｆ（ｘ_ｉ）（回帰）に従って数値を割り当てたいと考えている。

［００７６］
すべての分類法や回帰法は、ランダム変数Ｘ，Ｙを記述するための確率分布の概念に依存する。ランダム変数Ｘ，ｐ（ｘ）（ｘは離散または連続）に対する確率分布は、次の条件を満たさなければならない。（１）ｐ（ｘ）の領域は、ｘのすべての可能な値の集合である。（２）すべてのｘ∈Ｘに対して、ｐ（ｘ）≧０を満足する。（３）

を満足する。

分布ｐ（ｘ）から抽出された標本ｘは、ｘ～ｐ（ｘ）と表記される。Ｘ，Ｙの合同分布（joint distribution）はｐ（ｘ，ｙ）と表記され、限界分布をｘとして、合同分布ｐ（ｘ，ｙ）を与えられたｐ（ｘ）は、ｐ（ｘ）＝∫ｐ（ｘ，ｙ）ｄｙとなる。ｘの値を条件としてｙを観測する確率は、ｐ（ｙ｜ｘ）＝ｐ（ｘ，ｙ）／ｐ（ｘ）となる。データｘが与えられたときにｙを観測する条件付き確率は、データ尤度と呼ばれる。ベイズの法則は、Ｘ，Ｙの条件付き尤度を、ｐ（ｙ｜ｘ）＝ｐ（ｘ｜ｙ）ｐ（ｙ）／ｐ（ｘ）とする。

［００７７］
統計的学習の目的は、任意のｙをｘに関連付ける写像ｆ：ｘ→ｙを決定することである。その中でも特に重要な方法の一つが最尤推定である。訓練データは、プロセスｐ_data（ｘ，ｙ）によって生成されたものとする。マッピングを見つけるには、マッピングがｘに加えて依存するパラメータθを含むモデルプロセスｐ_model（ｘ；θ）を学習する必要がある。例えば、θは、ニューラルネットワーク層の重みやバイアスパラメータを含む。最尤推定は、ｘの最も可能性の高い値を与えるパラメータθ_Ｌを次のように推定する。

［００７８］
ここで、Ｅは括弧付き引数の期待値である。確率分布の近似が困難であるので、また、目標は、ｐ_data（ｘ）分布とｐ_model（ｘ；θ）分布間の差を最小化することであるので、ＫＬダイバージェンス（KL divergence）は、データに基づいた次の代替手段を提供する。

［００７９］
ここで、最尤度は，モデル分布とデータ分布の差を最小化することに等しい、ｌｏｇ ｐ_data（ｘ）項はモデルに依存しないので、Ｄ_KLを最小化するためには次式を最小化する必要がある。

［００８０］
これは、モデル式中に暗に含まれたθを有する式（１）と同じである。所望のマッピングは、ｆ（θ）：ｘ～ｐ_model→ｙとなる。

［００８１］
現在開示されたＣＴ画像モデリングおよびｓＣＴ画像生成のためのシステムは、放射線治療の治療計画および画像生成をモデリングするための最新のニューラルネットワーク技術の有用な応用を提供する。ニューラルネットワーク（ＮＮｓ）は、１９６０年代から、分類問題（観測データｘを２つ以上のクラスｙ_ｉ，ｉ＝１，．．．，ｎのうちの１つに割り当てる）や、回帰問題（観測データｘをそのデータに関連するパラメータの値ｙと関連付ける）の解決策として研究されてきた。ＣＴおよびＣＢＣＴ画像パラメータの生成は、ＧＡＮ構成によって学習されたＮＮ生成モデルの使用によって生成される回帰問題と考えてもよい。

［００８２］
シンプルＮＮは、入力層、中間層または隠れ層、および出力層から構成され、それぞれが計算ユニットまたはノードを含む。隠れ層ノードは、入力層のすべてのノードからの入力を持ち、出力層のすべてのノードに接続されている。このようなネットワークは「完全に接続されている（fully connected）」と呼ばれている。各ノードは、その入力の和の非線形関数に応じて、出力ノードに信号を伝達する。分類器の場合，入力層ノードの数は、通常，クラスに分類されるオブジェクトの集合のそれぞれの特徴量の数に等しく，出力層ノードの数はクラスの数に等しくなる。ネットワークは、既知のクラスのオブジェクトの特徴を提示し、バックプロパゲーションと呼ばれるアルゴリズムによって学習誤差を減らすためにノードの重みを調整することによって訓練される。このようにして、訓練されたネットワークは、クラスが不明な新しいオブジェクトを分類することができる。

［００８３］
ニューラルネットワークは、データとクラスや回帰値の関係性を発見する能力を持ち、ある条件下では非線形関数を含むあらゆる関数ｙ＝ｆ（ｘ）をエミュレートすることができる。ＭＬでは，学習データとテストデータは同じデータ生成プロセスＰ_ｄａｔａによって生成され，各サンプル（ｘ_ｉ，ｙ_ｉ）は同一かつ独立に分布していること（identically and independently distributed：i.i.d.)を前提としている。ＭＬでは，学習誤差を最小化し，訓練誤差と試験誤差の差をできるだけ小さくすることを目標としている．訓練誤差が大きすぎるとアンダーフィッティングが発生し、訓練と試験の誤差のギャップが大きすぎるとオーバーフィットが発生する。どちらのタイプの性能不足もモデルの容量に関連しており、大容量であると訓練データに非常によくフィットするが、オーバーフィットにつながり得る。ＤＮＮは、膨大な容量を有するので、機械学習ではオーバーフィットがより一般的な問題となっている。

［００８４］
ディープラーニングとは、入力と出力が複雑に配置された多数の隠れ層を持つＤＮＮを採用し、画像認識や音声認識などの作業において人間レベルの性能を発揮する機械学習手法である。本実施例では、観測データＸと出力Ｙとの関係を決定するためにＤＮＮを訓練することができる。データＸ＝｛Ｘ_１，．．．Ｘ_ｎ｝はＣＢＣＴ画像の集合体であり、出力ＹはｓＣＴ画像である。

［００８５］
ＤＮＮの動作は、次の関数ｆ（・）によって象徴的に捕捉される。

［００８６］
ここで、Θ＝（θ_１，．．．θ_ｎ）^Ｔは、Ｙ^＊が学習時に観測された真のＹに最も近い近似値である訓練されたＮＮに関連するパラメータのベクトルである。ＤＮＮは、訓練用ＣＢＣＴ画像Ｘと、既知の実在する対応するまたは登録されたＣＴ画像Ｙのデータセット｛Ｘ，Ｙ｝_i，ｉ＝１，．．．，Ｎを用いて訓練される。訓練は，次の並べ替えのコスト関数Ｊ（Θ）を最小化する。

［００８７］
ここでΘ^＊は，実際のＸと推定値Ｙの間の平均二乗誤差を最小化するパラメータの集合である。深層学習では、コスト関数は、データ近似関数を問題変数の確率関数、またはＸが与えられ、式Ｐ（Ｙ、Ｘ；Θ）として表されるパラメータΘの値に従うＹを観測する条件付き尤度として表すことがよくある。この式に対して、尤度を最大化することにより、次式のような最適なパラメータΘ_ＭＬが得られる。

［００８８］
または、代わりに、次式もあり得る。

［００８９］
この式は、訓練データを合計したものである。

［００９０］
実際のＣＴクラスに属するｓＣＴ画像を識別する結果となるＤＮＮ出力は、分類の一例である。この場合、ＤＮＮの出力は、ＣＢＣＴ画像マップ Ｙ＝（ｙ_１，．．．，ｙ_Ｍ）^Ｔの実値要素ｙ_ｉとなり、ネットワーク計算が回帰の一実施例となることを意味する。

［００９１］
ＤＮＮは、基本的なＮＮの実装よりも多くの層（はるかに深い）を持っており、ＤＮＮは多くの場合、数十から数百の層を含み、各層は数千から数十万のノードで構成され、層は複雑な形状に配置されている。入力の加重和に加えて、いくつかの層では、畳み込みなどの前の層の出力に対して他の演算を計算する。畳み込みとそこから派生したフィルタは、画像のエッジやサウンドストリームの時間的／ピッチ的特徴を見つけ出し、後続の層はこれらのプリミティブ（primitives）で構成されたより大きな構造を見つけ出すことができる。このような畳み込み層の使用を伴う訓練されたＤＮＮは、畳み込みニューラルネットワーク（ＣＮＮ）と呼ばれている。

［００９２］
スキップ接続はＣＮＮの重要な構築技術的（architectural）革新である。スキップ接続は、もともと精度を向上させ、訓練を短縮するために導入されたもので、ネットワークのあるレベルのノードのデータを別のレベルのノードのデータに接続する。重要な実施例として、医用画像のセグメンテーションのために開発されたＵ－Ｎｅｔアーキテクチャがある。後述するように、「Ｕ」の「左」の部分は、画像データを畳み込みフィルタ特徴量として符号化（encode）し、「Ｕ」の「右」の部分は、それらの特徴量を連続した高解像度表現に復号化（decode）する。同じネットワーク階層レベルで符号化された特徴と復号化された特徴を組み合わせることで、より正確な分類が可能になる。スキップ接続のもう一つのバリエーションは，各ＣＮＮブロック内に実装されており，レイヤ出力を直接ではなく，レイヤ出力間の差分（残差）で訓練することである。この「ＲｅｓＮｅｔ」アーキテクチャとその多くのバリエーションにより、ＮＮの精度を向上させることができる。

［００９３］
図３Ａは、本開示に従って合成ＣＴ画像（ｓＣＴ）を生成するために適合された例示的なＣＮＮモデル３００を示す。すなわち、モデル３００は、入力訓練セット（例えば、ペアのＣＢＣＴおよびＣＴ画像３０２、３０４）に基づいて出力データセット（出力ｓＣＴ画像３０６）を生成するように設計された「Ｕ－Ｎｅｔ」深層ＣＮＮの配置を描写する。名前は「Ｕ」の構成に由来しており、よく理解されているように、この形式のＮＮモデルは、ピクセル単位の分類または回帰結果を生成することができる。

［００９４］
モデル操作の左側（「符号化」操作３１２）は、右側（「復号化」操作３１４）が出力結果を再構成するために使用する特徴のセットを学習する。Ｕ－Ｎｅｔは、ｃｏｎｖ／ＢＮ／ＲｅＬＵ（畳み込み／バッチ正規化／修正線形単位）ブロック３１６からなるｎレベルを有し、各ブロックは、残差学習を実施するためのスキップ接続を有する。ブロックサイズは、図３Ａでは「Ｓ」および「Ｆ」の数で示され、入力画像のサイズはＳｘＳであり、特徴層の数はＦに等しい。各ブロックの出力は、画像と同じサイズの配列の特徴応答のパターンである。

［００９５］
符号化パスを下に進むと、ブロックのサイズは各レベルで１／２または２^－１で減少するが、慣習（convention）による特徴のサイズは２の要因で増加する。ネットワークのデコード側はＳ／２^ｎからスケールアップし、左側から特徴内容を同じレベルで追加していく。これがコピー／コンカテネート（copy/concatenate）データ通信である。図３Ａに示す入力画像３０２、３０４は、出力画像が存在しないので、ｃｏｎｖ／ＢＮ／ＲｅＬＵ層のパラメータを評価するためのネットワークを訓練するために提供される。モデルを使用した推論、またはテストのために、入力はＣＢＣＴ画像３０２の単一画像であり、出力はｓＣＴ画像３０６である。

［００９６］
図３Ａのモデル３００の表現は、このようにして、分類ではなく回帰を実行するように適合された生成モデルの訓練および予測を例示する。図３Ｂは、本開示に従って合成ＣＴ画像（ｓＣＴ）を識別するために適合した例示的なＣＮＮモデルを示す。図３Ｂに示す識別器ネットワークは、ストライド２畳み込み層（stride-2 convolutional layers）、バッチ正規化層（batch normalization layers）およびＲｅＬｕ層（ReLu layers）で構成された複数のレベルのブロック、および分離されたプーリング層を含むことができる。ネットワークの最後には、識別目的のための２Ｄパッチを形成するために、１層または数層の完全接続層が存在することになる。図３Ｂに示された識別器は、入力ｓＣＴ画像（例えば、図３Ａに示された生成器からの）を受け取り、画像を本物または偽物として分類し、その分類を出力３５０として提供するように構成されたパッチベースの識別器であり得る。

［００９７］
本開示の実施形態によれば、このようなモデルに基づく治療モデリング方法、システム、装置、および／またはプロセスは、２つの段階、すなわち、ＧＡＮにおける識別器／生成器のペアを使用した生成モデルの訓練と、ＧＡＮで訓練された生成器を使用した生成モデルを使用した予測とを含む。ｓＣＴ画像生成のためのＧＡＮとＣｙｃｌｅＧＡＮが関与する様々な実施例については、以下の実施例で詳細に説明する。深層学習モデルの種類および他のニューラルネットワーク処理アプローチの他のバリエーションおよび組み合わせもまた、本技術を用いて実施され得ることが理解されるであろう。さらに、以下の実施例は、画像および画像データを参照して論じているが、以下のネットワークおよびＧＡＮは、他の非画像データ表現およびフォーマットを使用して動作してもよいことが理解されるであろう。

［００９８］
ディープＣＮＮ訓練では，学習モデルは訓練中に決定された層ノードパラメータθ（ノード重みと層バイアス）の値である。訓練は、訓練データとモデル分布の間の最尤度またはクロスエントロピー（cross entropy）を使用する。この関係を表すコスト関数は次式となる。

［００９９］
特定の問題に対するコスト関数の正確な形式は、使用されるモデルの性質に依存する。ガウスモデルｐ_{ｍｏｄｅｌ}（ｙ｜ｘ）＝Ｎ（ｙ：ｆ（ｘ；θ））は、次のようなコスト関数を意味する。

［０１００］
この式は、θに依存しない定数項を含む。したがって、Ｊ（θ）を最小化すると、訓練データの分布を近似するマッピングｆ（ｘ；θ）が生成される。

［０１０１］
図４は、受け取ったＣＢＣＴ画像から合成ＣＴ画像を生成するために適合した敵対的生成ネットワークの訓練と使用のための例示的なデータフローを示す。例えば、訓練された生成器モデル４６０を生成するために訓練された図４の生成器モデル４３２は、図１の放射線治療システム１００における画像処理ロジック１２０の一部として提供される処理機能１３２，１３４を実装するために訓練することができる。従って、ＧＡＮモデル使用（予測）４５０のデータフローは、訓練された生成器モデル４６０への新しいデータ４７０（例えば、新しい患者からのＣＢＣＴ入力画像）の提供、および生成結果４８０（例えば、入力ＣＢＣＴ画像に対応するｓＣＴ画像）の予測または推定値を生成するための訓練された生成器モデル４６０を使用するものとして、図４に描かれている。

［０１０２］
ＧＡＮは、分類または回帰を実行するために訓練される生成ネットワーク（例えば、生成器モデル４３２）と、生成ネットワークの出力分布（例えば、模擬出力４３６）をサンプリングし、そのサンプルが真のテスト分布と同じか異なるかを決定する識別ネットワーク（例えば、識別器モデル４４０）との２つのネットワークから構成される。このネットワークシステムの目標は、判別器ネットが５０％の確率でしか生成器サンプルの正しい原点を決定できないように、生成器ネットを駆動して、生成器ネットとの均衡に達するように、可能な限り正確に基底真理モデルを学習させることである。識別器はグラウンドトゥルースにアクセスすることができるが、生成器は生成器の出力に対する検出器の応答を通してのみ訓練データにアクセスする。

［０１０３］
図４のデータフローは、（ＣＢＣＴ患者画像データ、患者画像データに対応する実ＣＴ画像、および／または解剖学的領域４２４および４２５のマッピング、条件または制約４２６を含むような訓練画像４２３と共に）モデルパラメータ４１２及び訓練データ４２０の様々な値を含む訓練入力４１０の受け取りを示す。訓練入力は、ＧＡＮモデル使用法４５０で使用される訓練された生成器モデル４６０を生成するために、ＧＡＮモデル訓練４３０に提供される。解剖学的領域４２４および４２５のマッピングは、２つの画像間の類似性（例えば、ＳＳＳＩＭ重みを用いた）を比較するために使用されるメトリックを提供する。

［０１０４］
ＧＡＮモデル訓練４３０の一部として、生成器モデル４３２は、解剖学的領域４２４と実際のＣＴデータ及びＣＢＣＴデータペア４２２（これは、図３Ａでは３０２、３０４として描かれている）のマッピングに基づいて訓練され、ＣＮＮ内のセグメントペアを生成し、マッピングする。このようにして、生成器モデル４３２は、入力マップに基づいて模擬的または合成的なＣＴ画像表現４３６を生成するように訓練される。識別器モデル４４０は、模擬表現４３６が訓練データ（例えば、実ＣＴ画像）からのものであるか、または生成器（例えば、生成結果４３４および検出結果４４４で生成器モデル４３２と識別器モデル４４０との間で通信されるｓＣＴ）からのものであるかを決定する。この訓練処理の結果、重み調整４３８，４４２がバックプロパゲーションされ、生成器モデル４３２および識別器モデル４４０が改善される。

［０１０５］
このように、本実施例では、ＧＡＮモデル訓練４３０のためのデータ準備は、ＣＢＣＴ画像とペアになっているＣＴ画像（これらを訓練ＣＢＣＴ／ＣＴ画像と呼ぶことがある）を必要とする。一実施例では、原データは、解剖学に由来する２Ｄ画像のペアを生成するために、共通の座標フレームに登録され、再サンプリングされてもよいＣＢＣＴ画像セットと対応するＣＴ画像のペアを含む。

［０１０６］
詳細には、ＧＡＮモデルにおいて、生成器（例えば、生成器モデル４３２）は、分布ｐ_Ｚ（ｚ）を有するノイズ入力から始まるデータｘ，ｐ（ｘ）上の分布を、生成器がマッピングＧ（ｚ；θ_Ｇ）：ｐ（ｚ）→ｐ（ｘ）を学習するように学習する。ここで、Ｇは、層の重みとバイアスパラメータθ_Ｇを有するニューラルネットワークを表す微分可能な関数である。識別器Ｄ（ｘ；θ_Ｇ）（例えば、識別器モデル４４０）は、生成器出力を２値スカラー｛真（true），偽（false）｝にマッピングし、生成器出力が実際のデータ分布Ｐ_ｄａｔａ（ｘ）からのものであれば真（true）と決定し、生成器分布ｐ（ｘ）からのものであれば偽（false）と決定する。つまり、Ｄ（ｘ）は、ｘが、ｐ_ｄａｔａ（ｘ）から来た確率ではなく、ｐ_Ｇ（ｘ）から来た確率である。

［０１０７］
図５は、本明細書で議論される例示的な技術に従って、合成ＣＴ画像モデルを生成するためのＧＡＮでの訓練を示す。図５は、具体的には、入力ＣＢＣＴ画像５４０の結果として、シミュレートされた（例えば、推定された、人工的な）出力ｓＣＴ画像５８０を生成するように設計されたＧＡＮ生成器モデルＧ５６０の動作フロー５５０を示している。図５は、また、入力（例えば、実ＣＴ画像５１０または生成されたｓＣＴ画像５８０）に基づいて決定値５３０（例えば、本物か偽物か、真か偽か）を生成するように設計されたＧＡＮ識別器モデルＤ５２０の操作フロー５００を示す。特に、識別器モデルＤ５２０は、識別器モデルＤ５２０が生成されたｓＣＴ画像５８０が本物であるか偽物であるかを判定するかを示す出力を生成するように訓練される。

［０１０８］
ＧＡＮのコンテキストでは、識別器Ｄ５２０は、両方の分布からのサンプルに正しいラベルを割り当てる確率を最大化するように訓練され、一方、生成器Ｇ５６０は、訓練中に適用された調整された訓練重量５７０に基づいて、ｌｏｇ（１－Ｄ（Ｇ（ｚ）））を最小化するように訓練される。Ｄ，Ｇは、次式のような値関数を持つ２人用のミニマックスゲームをプレイしているとみなすことができる。

［０１０９］
学習の初期、Ｇのパフォーマンスが悪いときには、ｌｏｇ（１－Ｄ（Ｇ（ｘ）））項がＶ（Ｄ，Ｇ）を支配し、早期に不正確な終了を引き起こす。ｌｏｇ（１－Ｄ（Ｇ（ｘ））を最小化するようにＧを訓練する代わりに、ｌｏｇ（１－Ｄ（Ｇ（ｘ））を最大化するように訓練することで、訓練の早い段階でより情報量の多い勾配を生成することができる。さらに、学習が進むにつれて、分布ｐ_Ｇ（ｘ）は真のデータ分布ｐ_ｄａｔａ（ｘ）に収束する。

［０１１０］
ＧＡＮの有用な拡張は、図６に関連して以下に説明するＣｙｃｌｅＧＡＮである。図６は、本開示のいくつかの実施例による、受け取ったＣＢＣＴ画像からｓＣＴ画像を生成するためのＣｙｃｌｅＧＡＮ６００の訓練および使用を示す。ＣｙｃｌｅＧＡＮ６００は、第１の生成器モデル６１０と、第２の生成器モデル６２０と、第１の識別器モデル６３０と、第２の識別器モデル６４０とを含む。第１の生成器モデル６１０および第２の生成器モデル６２０は、それぞれ、生成器モデル４３２（図４）の実装（例えば、回帰型ＤＣＮＮモデルとして）であってもよく、第１の識別器モデル６３０および第２の識別器モデル６４０は、それぞれ、識別器モデル４４０の実装（例えば、分類型ＤＣＮＮモデルとして）であってもよい。ＣｙｃｌｅＧＡＮ６００は、第１の部分６５０および第２の部分６５２に分割することができる。

［０１１１］
一実施例では、第１の部分６５０において、第１の生成器モデル６１０は、ＣＢＣＴ訓練画像６０２（画像４２２のうちの１つを含んでもよい）を受け取り、生成結果６１２としてｓＣＴ画像を生成するように訓練することができる。生成結果６１２は、第１の識別器モデル６３０に提供することができる。第１の識別器モデル６３０は、ｓＣＴ画像を実際のＣＴ訓練画像または模擬ＣＴ訓練画像として分類し、その分類を検出結果６３２として提供することができる。生成結果６１２および検出結果６３２は、第１の生成器モデル６１０および第１の識別器モデル６３０によって実装された重みを調整するために、第１の生成器モデル６１０および第１の識別器モデル６３０にフィードバックすることができる。例えば、生成結果６１２（例えば、第１の生成器モデル６１０によって生成されたｓＣＴ画像）は、逆境損失を計算するために使用することができる。また、生成結果６１２（例えば、ｓＣＴ画像）は、第２の生成器モデル６２０に同時に提供することができる。第２の生成器モデル６２０は、生成結果６１２を受信し、出力として模擬ＣＢＣＴ画像を生成することができる。模擬ＣＢＣＴ画像は、サイクルＣＢＣＴ画像６２２と呼ばれてもよく、第１の生成器モデル６１０／第２の生成器モデル６２０の重みを調整するためにサイクル損失を計算するために使用することができる。

［０１１２］
一実施例では、第２の部分６５２において、第２の生成器モデル６２０は、実ＣＴ訓練画像６０４（画像４２２のうちの１つを含む）を受信し、生成結果６２６としてｓＣＢＣＴ画像（合成ＣＢＣＴ画像または模擬ＣＢＣＴ画像）を生成するように訓練することができる。生成結果６２６は、第２の識別器モデル６４０に提供することができる。第２の識別器モデル６４０は、ｓＣＢＣＴ画像を実ＣＢＣＴ訓練画像または模擬ＣＢＣＴ訓練画像として分類し、その分類を検出結果６４２として提供することができる。生成結果６２６および検出結果６４２は、第２の生成器モデル６２０および第２の識別器モデル６４０によって実装される重みを調整するために、第２の生成器モデル６２０および第２の識別器モデル６４０にフィードバックすることができる。例えば、生成結果６２６（例えば、第２の生成器モデル６２０によって生成されたｓＣＢＣＴ画像）は、逆説的損失を計算するために使用することができる。また、生成結果６２６（例えば、ｓＣＢＣＴ画像）は、第１の生成器モデル６１０に同時に提供することができる。第１の生成器モデル６１０は、生成結果６２６を受信し、出力としてｓＣＴ画像を生成することができる。ｓＣＴ画像は、サイクルＣＴ画像６２４とも呼ばれ、第１の生成器モデル６１０／第２の生成器モデル６２０の重みを調整するためにサイクル損失を計算するために使用することができる。

［０１１３］
いくつかの実施例では、「敵対的損失」は、第１の識別機６３０および第２の識別器６４０の分類損失を計算することができる。第１の識別器６３０及び第２の識別器６４０は、合成画像が実画像と類似した分布を有するか否かを分類することができる。サイクル整合性損失については、実ＣＢＣＴ画像とサイクルＣＢＣＴ画像の各ペア間、実ＣＴ画像とサイクルＣＴ画像の各ペア間で、それぞれ損失を算出する。例えば、ＣＢＣＴ訓練画像６０２とサイクルＣＢＣＴ画像６２２との間で第１の損失が計算することができ、実訓練ＣＴ画像６０４とサイクルＣＴ画像６２４との間で第２の損失が計算することができる。サイクルＣＢＣＴ画像６２２及びサイクルＣＴ画像６２４は、いずれも前進及び後退のサイクルを行って得ることができる。実ＣＢＣＴ画像６０２とサイクルＣＢＣＴ画像６２２の各ペアは、同一のＣＢＣＴ画像領域内にあってもよく、実ＣＴ画像６０４とサイクルＣＴ画像６２４の各ペアは、同一のＣＴ画像領域内にあってもよい。ＣｙｃｌｅＧＡＮは、それに応じて、合成ＣＴ画像（ｓＣＴ画像）６１２および合成ＣＢＣＴ画像（ｓＣＢＣＴ画像）６２２を生成するために、真実のまたは実際のＣＢＣＴ画像６０２のひとつの全体プール（または複数）および実ＣＴ画像６０４のひとつの全体プール（または複数）に依存することができる。「敵対的損失」および「サイクル整合損失」に基づいて、ＣｙｃｌｅＧＡＮ６００は、実ＣＴ画像と同様の画像解像度を有するシャープな合成ＣＴ画像を生成することができる。これは、与えられたＣＢＣＴ画像を改善するためにＤＣＮＮを使用するという、上述された以前のアプローチのうちのひとつよりも少なくとも１つの技術的な改善である。

［０１１４］
いくつかの実施例では、プロセッサ（例えば、システム１００の）は、実ＣＴ訓練画像を訓練ＣＢＣＴ画像に登録するために画像登録を適用することができる。これにより、訓練データ中のＣＢＣＴ画像とＣＴ画像との間に１対１の対応関係が形成される可能性がある。この関係は、ペアされた、または、ＣＢＣＴ画像とＣＴ画像のペアと呼ばれる。一実施例では、ＣｙｃｌｅＧＡＮ６００は、対応するＣＢＣＴ画像と全く同じ解剖学的構造または実質的に同じ構造を保持し、かつ、ピクセル値の精度を含む実ＣＴ画像と同様の高い画像品質を有する１つまたはそれ以上のｓＣＴ画像を生成することができる。いくつかの実施形態では、これらの解剖学的構造は、２つの画像間の類似性を表すメトリックを提供する解剖学的領域４２４（図４）のマッピングから決定することができる。一実施例では、ＣＢＣＴ画像に対応するｓＣＴ画像のピクセル値精度を保持するために（例えば、ＣＢＣＴ画像が実ＣＴ画像として現れるために）、ＣｙｃｌｅＧＡＮ６００に追加の制約を加えてもよい。これらの制約は、ｓＣＴ画像と実ＣＴ画像との間、及びｓＣＢＣＴ画像と実ＣＢＣＴ画像との間の画素値損失を表す画素値損失を追加することを含むことができる。このような制約は、制約４２６（図４）の一部であってもよい。ｓＣＴ画像と対応するＣＴ画像とを直接リンクさせるこれらの制約は、次式の画素値損失項（画素ベース損失項：pixel based loss term）で表することができる。

ここで、ｘ、ｙはペアになったＣＢＣＴ画像と実ＣＴ画像であり、Ｇ１は第１の生成器モデル６１０（例えば、ＣＢＣＴからｓＣＴへの生成器）であり、Ｅは全てのｓＣＴ画像と対応する実ＣＴ画像との間のＬ１差分の期待値を表し、Ｇ１（ｘ）はｓＣＴ画像である。Ｅの値は、記憶装置１１６、外部データソース、人間の入力、および／または追加のｓＣＴおよびｓＣＢＣＴ画像が生成されるにつれて連続的に更新することができる。

［０１１５］
ｓＣＢＣＴ画像と対応するＣＢＣＴ画像とを直接リンクさせるための制約として、別の画素値損失項が追加されてもよいが、これは次式の画素値損失項で表することができる。

ここで、ｘ，ｙはＣＢＣＴ画像とＣＴ画像のペアであり、Ｇ２は第２の生成器モデル６２０（実ＣＴからｓＣＢＣＴ生成器への）であり、Ｇ２（ｘ）はｓＣＢＣＴ画像である。

［０１１６］
これら２つの画素値損失項（Ｌ１ノルム項）は、ｓＣＴ画像を、対応する実ＣＴ画像と比較し、ｓＣＢＣＴ画像を、対応する実ＣＢＣＴ画像と比較する。この２つのＬ１ノルム項を最小化または低減することにより、合成画像は、対象となる真／実画像と画素値が一致する可能性が高くなる。より具体的には、例えば、ｓＣＴ－ＣＴのＬ１ノルム項を最小化または低減することにより、生成されたｓＣＴ画像は、強制的に、または対応するＣＴ画像とのピクセルレベルの精度および類似性を有する可能性がより高いものとすることができる。医用画像における画素の絶対値は、何らかの特定の物理的な測定値または量を表すことができるので、従来のシステムに比べて技術的な改善をもたらす可能性がある。例えば、ＣＴの画素値には電子密度に関する情報が含まれており、放射線量の計算に有用である。別の実施例として、放射線治療システム１００は、被検体の標的領域に向けて放射線治療または放射線をより正確に指示することができる。

［０１１７］
別の実施例では、重みのようなメトリックが、（例えば、ペアリングされた画像が完全に整列していない状況を考慮するために）ピクセルベースの損失項に追加されてもよい。そのようなメトリックは、制約４２６から取得することができる。メトリックは、所定の割り当てられた重み、普遍的な品質指標（ＵＱＩ）、局所的な相互相関、または２つの画像間の類似性または他の関係を測定する他の任意の技術を使用して生成することができる。本開示の目的のために、２つの画像間の関係を測定するために使用されるメトリックはＳＳＩＭ重みであるが、他の任意のメトリックを使用することができる。例えば、ＳＳＩＭ重み付きＬ１ノルムアプローチは、ペアのＣＢＣＴ－ＣＴ画像の不完全なマッチングを補正するために使用することができる。特に、ｓＣＴ－ＣＴのＬ１ノルム項を最小化または減少させることにより、ＣｙｃｌｅＧＡＮ６００は、ｓＣＴ画像が対象とする実ＣＴ画像とピクセル値が一致するという制約を強制することができる。ペアになったＣＢＣＴ－ＣＴ画像のすべて、または実質的にすべてが完全に整列している場合、対象となる実ＣＴ画像は、ＣＢＣＴ画像と同じ解剖学的構造を有している可能性がある。このような状況では、生成されたｓＣＴ画像は、また、ＣＢＣＴ画像における同じ解剖学的構造を保存することができる。いくつかの実施例では、ペアされたＣＢＣＴ画像とＣＴ画像が完全に整列していないことがある（例えば、患者の解剖学的構造（特に、いくつかの臓器または軟部組織）が、ＣＢＣＴ画像と対応する実ＣＴ画像を撮影する間に変化しているため）。これらの場合、ｓＣＴ－ＣＴおよび／またはｓＣＢＣＴ－ＣＢＣＴのＬ１損失項を最小化または減少させることは、（例えば、生成された合成ＣＴ画像が、それらのずれた領域の対応するＣＴ画像と一致するように強制することによって）訓練された生成器および識別器モデルに、生成された画像に何らかの歪みを生じさせる誤差を導入させる可能性がある。潜在的な歪み効果を除去／抑制／低減する１つの方法は、ｓＣＴ－ＣＴおよびｓＣＢＣＴ－ＣＢＣＴの画素ベースの損失項に対して、次式のような、ＳＳＩＭ重みを追加することである。

［０１１８］
いくつかの実施形態では、重み（ＳＳＩＭ（ｘ，ｙ））は、ペアになったＣＢＣＴ画像およびＣＴ画像と同じサイズまたは実質的に同じサイズを有するマップ（例えば、解剖学的マップ４２４）であってもよい。ＳＳＩＭ（ｘ，ｙ）の各画素値は、同じ画素位置にある元のＣＢＣＴと対応する実ＣＴ画像のペア間の類似度を表することができる。ＳＳＳＩＭの画素値の範囲は、０から１の範囲とすることができる（他の範囲であってもよい）。値１は、ＣＢＣＴと、対応する実ＣＴ画像が画像位置で良好に整列していることを示す完全な構造類似度を表し、値０は、構造類似度が最も低いことを表すことができる。例えば、ＣＢＣＴ画像および実ＣＴ画像の各ペアに対して（例えば、記憶装置１１６に記憶されているＣＢＣＴ画像および実ＣＴ画像の各ペアに対して）、ＳＳＩＭマップ／画像を（例えば、システム１００のプロセッサにより）計算することができる。ＳＳＩＭマップは、所定のペアの訓練画像を形成する際に、または、訓練画像のしきい値番号が得られて記憶された後に、システム１１０によって計算することができる。計算システムは、画像モデリングを使用して、ＣＢＣＴ画像と実ＣＴ画像のペアが整列している確率をピクセルごとに決定し、その確率を格納するか、または決定された確率でそのピクセルのＳＳＩＭ値を更新することができる。いくつかの実施形態では、この確率値は、人間のオペレータによって入力されてもよいし、医師によってガイドすることができる。ＳＳＳＩＭ重み付けｓＣＴ－ＣＴピクセルベースの損失項は、ＣＢＣＴと実ＣＴの間のピクセルの組が強い類似性を有する高いＳＳＳＩＭ値（１に近い）を有する場合、ＳＳＳＩＭ重み付けＬ１ノルム項を最小化することによって、ＣｙｃｌｅＧＡＮ６００が、ｓＣＴ画像が（例えば、ＣＢＣＴ画像とＣＴ画像との間の類似性重みが大きいために）対象とするＣＴ画像と一致することを意味する。一方、ＣＢＣＴと実ＣＴとの間のペアの画素が低いＳＳＳＩＭ値（０に近い）である場合、ＳＳＩＭ重み付けされたＬ１ノルム項を最小化または減少させることにより、ＣｙｃｌｅＧＡＮ６００は、（例えば、重みが既に小さい（０に近い）ため）合成ＣＴ画像が標的ＣＴと一致することを回避することができる。特に、マップの重みがＣＴ／ＣＢＣＴ画像のペアの間の類似度が低レベルであることを示す場合には、所定の画素位置において画素値損失項が最小化されるか、または低減される可能性が低減される。これにより、画素位置での２枚の画像の差分ｓＣＴへの影響を低減させることができる。また、マップの重みがペアのＣＴ画像及びＣＢＣＴ画像間の類似度が高いことを示している場合には、所定の画素位置において画素値損失項が最小化または減少する可能性が高くなる。これにより、画素位置における２枚の画像間の差分のＳＣＴへの影響が大きくなる。ＳＳＳＩＭ重みは、ピクセル単位で対象となる実ＣＴ画像と一致するように、ｓＣＴ画像に異なるレベルの強度を強制するメカニズムを提供する。

［０１１９］
同様に、ＳＳＩＭ重み付けｓＣＢＣＴ－ＣＢＣＴピクセルベースの損失項は、ＣＢＣＴと実ＣＴの間のピクセルの組が強い類似性を有する高いＳＳＳＩＭ値（１に近い）を有する場合、ＳＳＳＩＭ重み付けＬ１ノルム項を最小化することにより、ＣｙｃｌｅＧＡＮ６００は、（例えば、ＣＢＣＴ画像とＣＴ画像の間の類似性重みが大きいため）ｓＣＢＣＴ画像が標的ＣＢＣＴ画像と一致することを引き起こし得ることを意味する。一方、ＣＢＣＴと実ＣＴとの間の一対の画素が低いＳＳＳＩＭ値（０に近い）を有する場合、ＳＳＩＭ重み付けされたＬ１ノルム項を最小化または減少させることにより、ＣｙｃｌｅＧＡＮ６００は、（例えば、重みが既に小さい（０に近い）ため）合成ＣＢＣＴ画像が標的ＣＢＣＴと一致することを回避することができる。特に、マップの重みがＣＴ／ＣＢＣＴ画像の対の間の類似度の低レベルを示す場合に、所定の画素位置において画素値損失項が最小化されるか、または低減される可能性が低減される。これにより、画素位置における２つの画像間の差分のｓＣＢＣＴへの影響を低減することができる。また、マップの重みがペアのＣＴ画像及びＣＢＣＴ画像間の類似度が高いことを示している場合には、所定の画素位置において画素値損失項が最小化または減少する可能性が高くなる。これにより、画素位置での２つの画像間の差のｓＣＢＣＴへの影響が大きくなる。ＳＳＩＭ重みは、ピクセル単位のレベルで標的とされた実ＣＢＣＴ画像と一致するように、ｓＣＢＣＴ画像に異なるレベルの強度を強制するメカニズムを提供する。

［０１２０］
別の実施例では、閾値付きＳＳＩＭ加重Ｌ１ノルムアプローチを用いることができる。この閾値は、制約４２６（図４）から取得することができる。特に、ペアのＣＢＣＴ画像及び実ＣＴ画像の間の類似度の高い領域を選択し、類似度の低い領域を無視するために、ＳＳＳＩＭの重みに閾値を置くことができる。例えば、ＳＳＩＭ（ｘ，ｙ）の重み値が閾値α（ハイパーパラメータ）未満である場合、それらの重みは全てゼロに設定されてもよい（例えば、重みは無視されてもよく、それによって損失項が減少または最小化される可能性が減少する）。このような領域については、重みがゼロであるため、ｓＣＴはＣＴ画像と強制的に一致させることができない（２枚の画像間の差の情報が得られない場合がある）。このように、重み＝０なので、差分＝０を乗算すると、その画素での２つの画像の差は影響を受けないことになる。その代わりに、プロセスは、それらの画素領域を回復するために、敵対的損失とサイクル整合性損失に依存している。重み値が閾値α（ハイパーパラメータ）以上である場合、重みは、画素ベースの損失値について上述したのと同様の効果を有する。この閾値付きＳＳＩＭ重み付けＬ１ノルムは、次式のように表すことができる。

［０１２１］
閾値化されたＳＳＩＭ重み付けされたＬ１のｓＣＴ－ＣＴ画素ベースの損失項は、次式のように表すことができる。

［０１２２］
閾値ＳＳＩＭ重み付けされたＬ１ ｓＣＢＣＴ－ＣＢＣＴ項は、次式のように表すことができる。

［０１２３］
ハイパーパラメータαの範囲は、０から１の間で設定することができる。いくつかの実施例では、ハイパーパラメータαの値を０．５または０．６に設定する。

［０１２４］
いくつかの実施形態では、ＣｙｃｌｅＧＡＮ６００は、敵対的損失項、サイクル整合性損失項、およびピクセルベース損失項（Ｌ１ノルム項）を含む目的関数に従ってｓＣＴ画像を生成するように実装することができる。画素ベースの損失項は、重み付け（例えば、ＳＳＳＩＭ重み付け）および／または閾値重み付けすることができる。敵対損失は、第１の生成器モデル６１０／第２の生成器モデル６２０および第１の識別器モデル６３０／第２の識別器モデル６４０を用いて決定され、次式のように表することができる。

ここで、Ｌ_ＧＡＮ（Ｇ１，Ｄ_ｃｔ，ｘ，ｙ）は、次式のように表すことができる。

また、Ｌ_ＧＡＮ（Ｇ１，Ｄ_ｃｂｃｔ，ｙ，ｘ）は、次式のように表すことができる。

［０１２５］
特に、Ｄ_ｃｔは第１の識別器モデル６３０を表し、Ｇ１は第１の生成器モデル６１０を表す。Ｌ_ＧＡＮ（Ｄ_ｃｂｃｔ，ｘ，ｙ）およびＬ_ＧＡＮ（Ｇ２，ｘ，ｙ）に対する同様の関数は、最小化または縮小されてもよい。ここで、Ｄ_ｃｂｃｔは、第２の識別器モデル６４０を表し、Ｇ２は、第２の生成器モデル６２０を表す。サイクル整合性損失項は、画像６２２および６２４を用いて決定され、次式のように表することができる。

［０１２６］
ＣｙｃｌｅＧＡＮの総損失は、次式のように表すことができる。

［０１２７］
画素ベースの損失項は、次式のように表すことができる。

［０１２８］
このような場合、全目的関数は、次式のように表すことができる。

［０１２９］
画素ベースの損失項に重み（ＳＳＩＭ）が適用される場合、重み付けされた画素ベースの損失項は、次式のように表すことができる。

［０１３０］
このような場合、全目的関数は、次式のように表すことができる。

［０１３１］
画素ベースの損失項に閾値付き重み（ＳＳＩＭ）が適用される場合、閾値付き重み付き画素ベースの損失項は、次式のように表すことができる。

［０１３２］
したがって、目的関数の合計は、次式のように表すことができる。

ここで、λ_１、λ_２は、それぞれ、２つの損失の相対的な強さを制御する。ＣｙｃｌｅＧＡＮ６００は、第１の生成器６１０／第２の生成器６２０を次式に従って訓練する。

［０１３３］
いくつかの実施形態では、ＣｙｃｌｅＧＡＮ６００を用いて訓練された後、第１の生成器モデル６１０は、取得されたＣＢＣＴ画像からｓＣＴ画像を生成するためにシステム１００において使用することができる。ＣｙｃｌｅＧＡＮ６００の他の構成要素は、システム１００から除外することができる。

［０１３４］
先行する実施例は、ＣＴ画像およびＣＢＣＴ画像のペアに基づいて、具体的には２Ｄ画像スライスの画像データから、ＧＡＮまたはＣｙｃｌｅＧＡＮを訓練する方法の例を提供する。ＧＡＮまたはＣｙｃｌｅＧＡＮは、他の形態の画像データ（例えば、３Ｄまたは他の多次元画像）を処理してもよいことが理解されるであろう。さらに、添付の図面では（黒および白を含む）グレースケール画像のみが描かれているが、以下の実施例で議論されるように、カラー画像がＧＡＮによって生成および／または処理されてもよいことが理解されるであろう。

［０１３５］
図７は、訓練およびｓＣＴ画像モデルの生成に関連して使用されるＣＢＣＴおよび実ＣＴ入力画像のペアを示す。図７において、画像７０２は、実ＣＴ画像７０４とペアになっている入力ＣＢＣＴ画像を示す。画像７０６は、画像類似度メトリック（例えば、ＳＳＳＩＭ重み）を提供するために解剖学的領域４２４のマップとして使用される画像を表し、画像７０８は、閾値付き類似度メトリック（例えば、閾値付きＳＳＩＭ重み）を提供するために解剖学的領域４２４のマップとして使用される画像を表す。ＣｙｃｌｅＧＡＮの生成器が訓練された後、新しいＣＢＣＴ画像が受信することができる。ＣｙｃｌｅＧＡＮは、新しいＣＢＣＴ画像（例えば、画像７０２）を処理して、ｓＣＴ画像７１２を出力することができる。ＣｙｃｌｅＧＡＮの出力の品質をさらに向上させるために、ＣｙｃｌｅＧＡＮまたはＧＡＮモデルを訓練する際に、画素ベースの損失項（または重み付きおよび／または閾値付き重み付き画素ベースの損失項）を使用することができる。そのような状況では、入力画像７０２を受け取った後、（画素ベースの損失項に基づいて訓練された）ＣｙｃｌｅＧＡＮまたはＧＡＮは、ｓＣＴ画像７１４を出力することができる。特に、ｓＣＴ画像７１４は、従来のＬ１正則化を用いてＣｙｃｌｅＧＡＮによって得られたｓＣＴ画像であり得る。いくつかの実施形態では、入力画像７０２を受け取った後、（ＳＳＩＭマップ画像７０６のような画像メトリックを考慮したピクセルベースの損失項に基づいて訓練された）ＣｙｃｌｅＧＡＮまたはＧＡＮは、ｓＣＴ画像７１６を出力することができる。特に、ｓＣＴ画像７１６は、ＳＳＳＩＭ重み付けされたＬ１損失を有するＣｙｃｌｅＧＡＮによって得られたｓＣＴ画像であり得る。いくつかの実施形態では、入力画像７０２を受け取った後、（閾値付きＳＳＩＭマップ画像７０８のような画像メトリックを考慮した閾値－ピクセルベースの損失項に基づいて訓練された）ＣｙｃｌｅＧＡＮまたはＧＡＮは、ｓＣＴ画像７１８を出力することができる。特に、ｓＣＴ画像７１８は、閾値化されたＳＳＳＩＭ－重み付けされたＬ１－損失を有するＣｙｃｌｅＧＡＮによって得られたｓＣＴ画像であり得る。本明細書で議論されるように、画素ベースの損失項（または、重み付きおよび／または閾値付き重み付き画素ベースの損失項）は、ｓＣＴ画像と実ＣＴ画像および／またはＣＢＣＴ画像とｓＣＢＣＴ画像との間のすべてまたは閾値付きの数の間の画素値に基づく期待差を表す。

［０１３６］
図８は、入力ＣＢＣＴ画像からｓＣＴ画像を出力するために適合された生成モデルを訓練するための例示的な操作のプロセス８００のフローチャートを示す。プロセス８００は、先行する実施例で議論されたようなＧＡＮまたはＣｙｃｌｅＧＡＮを使用して生成モデルを訓練して利用する放射線治療処理システム１００の観点から図示されている。しかしながら、対応する操作は、（特定の画像処理ワークフローまたは医療処置とは別のオフラインの訓練または検証設定におけるものを含む）他の装置またはシステムによって実行されてもよい。

［０１３７］
図示されているように、フローチャートのワークフローの第１のフェーズは、訓練およびモデル操作のパラメータを確立するための操作（８１０、８２０）から始まる。フローチャート８００は、訓練画像データを受信（例えば、取得、抽出、識別）するための操作（操作８１０）と、訓練のための制約または条件を設定するための操作（操作８２０）から始まる。一実施例では、この訓練画像データは、特定の状態、解剖学的特徴、または解剖学的領域に関連する、複数の人間の被検体らの画像データから構成されてもよく、例えば、標的領域のＣＢＣＴ画像および実ＣＴ画像のペアのようなものである。また、一実施例では、制約は、撮像装置、治療装置、患者、または医学的治療の考慮事項に関連している。例示的な実施例では、これらの制約は、敵対的損失、サイクル整合性に基づく損失、およびピクセルに基づく値の損失項（すなわち、重み付けされたおよび／または閾値付けされた重み付けされたピクセルに基づく損失項）を含むことができる。

［０１３８］
フローチャート８００の第２のフェーズは、敵対的生成ネットワークにおける生成モデルおよび識別モデルの逆説訓練を含む訓練操作を継続する（操作８３０）。一実施例では、逆説的訓練は、入力ＣＢＣＴ画像から模擬ＣＴ画像を生成するために生成モデルを訓練し（操作８４２）、生成されたＣＴ画像を模擬または実際の訓練データとして分類するために識別モデルを訓練することを含む（操作８４４）。また、この敵対的訓練では、生成モデルの出力が識別モデルの訓練に使用され、識別モデルの出力が生成モデルの訓練に使用され、識別モデルの出力が生成モデルの訓練に使用される。様々な実施例では、生成モデルおよび識別モデルは、（例えば、上述の図３Ａおよび３Ｂを参照してそれぞれ論じたように）それぞれの畳み込みニューラルネットワークを構成する。更なる実施例では、敵対的生成ネットワークは、（例えば、上記の図６を参照して議論されるように）複数の生成モデルおよび敵対モデルが採用され、１つの生成モデルからの出力が第２の生成モデルへの入力として提供されるサイクル敵対的生成ネットワークである。

［０１３９］
フローチャート８００は、生成モデルが被検体の入力ＣＢＣＴ画像に基づいてｓＣＴ画像を生成するように適合されているので、ｓＣＴ画像を生成する際に使用するための生成モデルの出力（動作８５０）を継続する。生成モデルは、ＣＢＣＴ画像を強化するため、または画像処理を実行するために、システム１００内の任意のコンポーネントに採用することができる。いくつかの実施形態では、生成モデルは、外部ソース（例えば、サードパーティベンダー）からシステム１００に追加することができる。

［０１４０］
フローチャート８００は、被検体の入力ＣＢＣＴ画像に基づいてｓＣＴ画像を生成するために訓練された生成モデルを利用する（操作８６０）ことを継続する。生成モデルは、ＣＢＣＴ画像を強化するため、または画像処理を実行するために、システム１００の任意のコンポーネントで採用することができる。いくつかの実施形態では、生成モデルは、外部ソース（例えば、サードパーティのベンダー）からシステム１００に追加することができる。

［０１４１］
フローチャート８００は、追加の訓練データに基づいて生成モデルを更新すること（操作８７０）、および更新された訓練された生成モデルを出力すること（操作８８０）を含む、生成モデルへの更新を実施するための最終段階で終了する。様々な実施例では、更新は、追加の訓練画像データおよび制約の受信に関連して（例えば、操作８１０、８２０と同様の態様で）、または追加の敵対的訓練の実行に関連して（例えば、操作８３０、８４２、８４４と同様の態様で）生成することができる。更なる実施例では、生成モデルは、ｓＣＴ画像の承認、変更、または使用（例えば、医療専門家による画像データの修正、検証、または変更の結果）に基づいて具体的に更新することができる。フローチャートは、後続の放射線治療のための更新された生成モデルの使用において実行され得るような、更新された訓練された生成モデルの使用（操作８９０）で終了する。

［０１４２］
図６及び図８を参照して上述したように、敵対的生成ネットワークは、生成モデルと敵対モデルからなるサイクル敵対的生成ネットワークである。

［０１４３］
前に議論したように、それぞれの電子計算システムまたは装置は、本明細書で議論された方法または機能的な操作のうちの１つまたはそれ以上を実装することができる。１つまたはそれ以上の実施形態では、放射線治療処理計算システム１１０は、画像誘導放射線治療装置２０２を制御または操作するために、モデル３００からの訓練または予測操作を実行または実施するために、訓練された生成器モデル４６０を操作するために、データフロー５００、５５０、６００を実行または実施するために、フローチャート８００の操作を実行または実施するために、または、本明細書で議論されている他の方法論のうちの任意の１つまたはそれ以上を（例えば、画像処理ロジック１２０およびワークフロー１３０、１４０の一部として）実行するために、構成され、適合され、または使用される。様々な実施形態では、そのような電子計算システムまたはデバイスは、スタンドアロンデバイスとして動作するか、または他のマシンに（例えば、ネットワーク化されて）接続されている。例えば、そのような計算システムまたはデバイスは、サーバクライアントネットワーク環境におけるサーバーまたはクライアントマシンの容量内で動作してもよいし、ピアツーピア（または分散）ネットワーク環境におけるピアマシンとして動作してもよい。計算システムまたは計算装置の機能は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、ウェブアプリ、または、そのマシンによって実行されるべきアクションを指定する命令を（シーケンシャルまたは他の方法で）実行することが可能な任意のマシンによって具現化することができる。

［０１４４］
また、上述したように、上述した機能は、機械可読媒体上の命令、論理、または他の情報の記憶によって実装することができる。機械可読媒体は、単一の媒体であることを参照して様々な例で説明されてきたが、「機械可読媒体」という用語は、１つまたはそれ以上の一過性または非一過性の命令またはデータ構造を格納する単一の媒体または複数の媒体（例えば、集中型または分散型のデータベース、および／または関連するキャッシュおよびサーバー）を含むものとすることができる。「機械可読媒体」という用語はまた、機械によって実行されるための一過性または非一過性の命令を格納、符号化または運搬することが可能であり、機械に、本発明の方法論のいずれか１つまたはそれ以上を実行させるか、またはそのような命令によって利用されるか、またはそのような命令に関連するデータ構造を格納、符号化または運搬することが可能である任意の有形媒体を含むと解されるものとする。

［０１４５］
上記の詳細な説明は、詳細な説明の一部を形成する添付図面への参照を含む。図面は、図示のためではあるが、限定するものではないが、本発明を実施することができる特定の実施形態を示している。これらの実施形態は、本明細書では「実施例」とも呼ばれる。そのような実施例は、図示されたまたは記載されたものに加えて、要素を含むことができる。しかしながら、本開示は、図示されたまたは記載された要素のみが提供される実施例も想定しうる。更に、本開示はまた、特定の実施例（またはその１つまたはそれ以上の態様）に関して、または、本明細書に示されたまたは記載された他の実施例（またはその１つまたはそれ以上の態様）に関して、図示されたまたは記載されたそれらの要素の任意の組み合わせまたは順列を使用する実施例も想定しうる。

［０１４６］
本明細書で参照される、すべての出版物、特許、および特許文書は、個々が参照により組み込まれているが、参照によりその全体が本明細書に組み込まれる。本明細書と、参照により組み込まれた文書との間に一貫性のない用法がある場合、参照により組み込まれた文書での用法は、本明細書の用法を補足するものと見なされ、矛盾する用法については、本明細書の用法が支配する。

［０１４７］
本明細書では、用語「ａ」、「ａｎ」、「ｔｈｅ」、「ｓａｉｄ」は、特許文書で一般的であるように、本発明の態様の要素を導入するときに使用され、「少なくとも１つの」または「１つまたはそれ以上の」のいかなる他の例または使用法とは無関係に、１つまたはそれ以上の要素よりも１つまたはそれ以上を含む。本明細書では、用語「または（ｏｒ）」は、「ＡまたはＢ（Ａ ｏｒ Ｂ」が、そうでないと示されない限り、「Ａを含むがＢを含まない（Ａ ｂｕｔ ｎｏｔ Ｂ）」、「Ｂを含むがＡを含まない（Ｂ ｂｕｔ ｎｏｔ Ａ）」、「ＡおよびＢ（Ａ ａｎｄ Ｂ）」を含むように、非排他的であることを指すために使用される。

［０１４８］
添付の特許請求の範囲において、用語「ｉｎｃｌｕｄｉｎｇ（含む）」および「ｉｎ ｗｈｉｃｈ（その中で）」は、それぞれの用語「ｃｏｍｐｒｉｓｉｎｇ（含む）」および「ｗｈｅｒｅｉｎ（ここで）」の平易な英語の等価物として使用される。また、以下の特許請求の範囲において、用語「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｈａｖｉｎｇ）」、は、オープンエンドであることを意図し、請求項のそのような用語（例えば、「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｈａｖｉｎｇ）」）の後に列挙されている要素に追加した要素を含むものが、依然としてその請求項の範囲内にあるとみなされる。さらに、以下の特許請求の範囲では、「第１の」、「第２の」、および「第３の」などの用語は、単なるラベルとして使用されており、それらの対象に数値要件を課すことを意図していない。

［０１４９］
本発明はまた、本明細書の操作を実行するために適合され、構成され、または操作されるコンピューティングシステムに関する。このシステムは、必要な目的のために特別に構成することも、コンピュータに格納されたコンピュータプログラムによって選択的にアクティブ化または再構成された汎用コンピュータを含むこともできる。本明細書において図示および説明される本発明の実施形態における動作の実行または実行の順序は、特に指定されない限り、必須ではない。すなわち、特に明記しない限り、操作は任意の順序で実行でき、本発明の実施形態は、本明細書に開示されているものよりも多いまたは少ない操作を含むことができる。例えば、別の操作の前、同時、または後に特定の操作を実行または実行することは、本発明の態様の範囲内であると考えられる。

［０１５０］
上記記載を考慮すれば、本発明のいくつかの目的が達成され、他の有利な結果が得られることが分かるであろう。本発明の態様を詳細に説明したが、添付の特許請求の範囲で定義される本発明の態様の範囲から逸脱することなく、修正および変更が可能であることは明らかであろう。本発明の態様の範囲から逸脱することなく、上記の構造、製品、および方法に様々な変更を加えることができるので、上記の説明に含まれ、添付の図面に示されるすべての事項は、例示として、かつ、限定的な意味ではないと、解釈されるべきである。

［０１５１］
本明細書に記載された例は、様々な実施形態で実施することができる。例えば、一実施形態は、処理ハードウェア（例えば、プロセッサまたは他の処理回路）およびそこに具現化された命令を含むメモリハードウェア（例えば、記憶装置または揮発性メモリ）を含むコンピューティングデバイスを含み、そのような命令は、処理ハードウェアによって実行されると、コンピューティングデバイスに、これらの技術およびシステム構成のための電子的な操作を実装、実行、または調整することを引き起こす。本明細書で論じられる別の実施形態は、機械可読媒体または他の記憶装置によって具現化されるようなコンピュータプログラム製品を含み、それは、これらの技術およびシステム構成のための電子的操作を実施、実行、または調整するための命令を提供する。本明細書で論じられる別の実施形態は、これらの技術およびシステム構成のための電子的操作を実施、実行、または調整するために、コンピューティングデバイスの処理ハードウェア上で操作可能な方法を含む。

［０１５２］
更なる実施形態において、上述した電子的操作の態様を実施する論理、命令、または命令は、デスクトップまたはノートブック型パーソナルコンピュータ、タブレット、ネットブック、スマートフォンのようなモバイルデバイス、クライアント端末、およびサーバーホストマシンインスタンスのようなコンピューティングシステム用の任意の数のフォームファクタを含む、分散型または集中型コンピューティングシステムで提供することができる。本明細書で議論される別の実施形態は、本明細書で議論される技術を、そのような技術の機能を実行するためのそれぞれの手段を有する装置を含む、プログラムされた論理、ハードウェア構成、または特殊なコンポーネントまたはモジュールの他の形態に組み込むことを含む。このような技術の機能を実装するために使用されるそれぞれのアルゴリズムは、上述した電子的操作の一部または全部のシーケンス、または添付の図面および以下の詳細な説明に描かれている他の側面を含むことができる。

［０１５３］
上記の説明は、例示を意図したものであり、限定を意図したものではない。例えば、上述の実施例（または１つまたはそれ以上の態様）は、互いに組み合わせて使用することができる。さらに、本発明の範囲から逸脱することなく、特定の状況または材料を本発明の教示に適合させるために、多くの修正を行うことができる。本明細書に記載された寸法、材料の種類、および例示的なパラメータ、機能、および実施形態は、本発明のパラメータを定義することを意図しているが、それらは決して限定的なものではなく、例示的な実施形態である。上記の説明を検討すれば、他の多くの実施形態が当業者には明らかであろう。したがって、本発明の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられる等価物の全範囲とともに決定されるべきである。

［０１５４］
また、上記の詳細な説明では、開示を簡素化するために、さまざまな機能をグループ化することがある。これは、クレームされていない開示された機能がクレームに不可欠であることを意図するものとして解釈されるべきではない。むしろ、発明の主題は、特定の開示された実施形態のすべての特徴より少ない場合がある。したがって、以下の請求項は、これにより詳細な説明に組み込まれ、各請求項は別個の実施形態としてそれ自体で成立する。本発明の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられる均等物の全範囲とともに決定されるべきである。

Claims (15)

1. 訓練されたモデルを使用して、強化されたコーンビームコンピュータ断層撮影（ＣＢＣＴ）画像を生成するためのコンピュータ実装方法であって、
   前記方法は、
   被検体のＣＢＣＴ画像を受け取るステップと、
   生成モデルを使用して、前記ＣＢＣＴ画像に対応する合成コンピュータ断層撮影（ｓＣＴ）画像を生成するステップであって、前記生成モデルは、敵対的生成ネットワーク（ＧＡＮ）で訓練され、前記生成モデルは、更に、入力として前記ＣＢＣＴ画像を処理し、出力として前記ｓＣＴ画像を提供するように訓練されるステップと、
   前記被検体の医学的分析のために前記ｓＣＴ画像を提示するステップと
   を有する
   ことを特徴とするコンピュータ実装方法。
2. 請求項１記載の方法において、
   前記敵対的生成ネットワークは、識別モデルを使用して前記生成モデルを訓練するように構成され、
   前記生成モデルおよび前記識別モデルによって適用される値が、前記識別モデルと前記生成モデルの間の敵対的訓練を使用して確立され、
   前記生成モデルと前記識別モデルは、それぞれ畳み込みニューラルネットワークを有する
   ことを特徴とする方法。
3. 請求項２記載の方法において、
   前記敵対的訓練は、与えられたＣＢＣＴ画像から与えられたｓＣＴ画像を生成するために前記生成モデルを訓練することと、与えられたｓＣＴ画像を合成または実コンピュータ断層撮影（ＣＴ）画像として分類するために前記識別モデルを訓練することとを有し、
   前記生成モデルの出力は、前記識別モデルを訓練するために使用され、前記識別モデルの出力は、前記生成モデルを訓練するために使用される
   ことを特徴とする方法。
4. 請求項１記載の方法において、
   前記敵対的生成ネットワークは、前記生成モデルと識別モデルからなるサイクル敵対的生成ネットワーク（ＣｙｃｌｅＧＡＮ）を使用して訓練され、前記生成モデルは第１の生成モデルであり、前記識別モデルは第１の識別モデルであり、
   前記ＣｙｃｌｅＧＡＮは、
   所定のＣＴ画像を入力として処理し、所定の合成ｓＣＢＣＴ画像を出力として提供するように訓練された第２の生成モデルと、
   前記所定のｓＣＢＣＴ画像を合成ＣＢＣＴ画像または実ＣＢＣＴ画像として分類するように訓練された第２の識別モデルと
   を有する
   ことを特徴とする方法。
5. 請求項４記載の方法において、
   前記ＣｙｃｌｅＧＡＮは、前記第１の生成モデルを訓練するための第１の部分と第２の部分を有し、
   前記第１の部分は、
   実ＣＴ画像とペアになった訓練ＣＢＣＴ画像を取得し、
   前記訓練されたＣＢＣＴ画像を、前記第１の生成モデルの前記入力に送信して、所定の合成ＣＴ画像を出力し、
   前記所定の合成ＣＴ画像を前記第１の識別モデルの入力で受け取り、前記所定の合成ＣＴ画像を合成ＣＴ画像または実ＣＴ画像として分類し、サイクル整合性損失を計算するためのサイクルＣＢＣＴ画像を前記第２の生成モデルの入力で生成するように訓練され、
   前記第２の部分は、
   前記実ＣＴ画像を前記第２の生成モデルの前記入力に送信し、所定の合成ＣＢＣＴ画像を生成し、
   前記所定の合成ＣＢＣＴ画像を前記第２の識別モデルの前記入力で受け取り、前記所定の合成ＣＢＣＴ画像を合成ＣＢＣＴ画像又は実ＣＢＣＴ画像として分類し、サイクル整合性損失を計算するためのサイクルＣＴ画像を前記第１の生成モデルの前記入力で生成するように訓練される
   ことを特徴とする方法。
6. 請求項５記載の方法において、
   前記第１の生成モデルは、複数の合成ＣＴ画像とそれぞれペアになった実ＣＴ画像との間の差の期待値を表す第１の画素ベース損失項を最小化または減少させるように訓練され、
   前記第２の生成モデルは、複数の合成ＣＢＣＴ画像とそれぞれペアになった実ＣＢＣＴ画像との間の差の期待値を表す第２の画素ベース損失項を最小化または減少させるように訓練される
   ことを特徴とする方法。
7. 請求項６記載の方法において、
   前記ＣｙｃｌｅＧＡＮは、前記第１の画素ベース損失項と前記第２の画素ベース損失項にメトリックを適用するように訓練され、前記メトリックは、ＣＢＣＴ画像と実ＣＴ画像のペアと同じサイズを有するマップに基づいて生成され、その結果、前記マップ内の各ピクセル値が、前記所定のＣＢＣＴ画像と前記所定のＣＢＣＴ画像とペアになった所定の実ＣＴ画像との間の類似度レベルを表す
   ことを特徴とする方法。
8. 請求項７記載の方法において、
   前記ＣｙｃｌｅＧＡＮは、前記メトリックに閾値を適用するように訓練され、その結果、前記類似度レベルが前記閾値を超える場合、前記メトリックが前記第１の画素ベース損失項と前記第２の画素ベース損失項に適用され、そうでない場合、ゼロ値が前記第１の画素ベース損失項と前記第２の画素ベース損失項に適用される
   ことを特徴とする方法。
9. 請求項１記載の方法において、
   前記敵対的生成ネットワークは、敵対的損失項とサイクル整合性損失項と画素ベース損失項に基づく目的関数に従って訓練される
   ことを特徴とする方法。
10. 強化されたコーンビームコンピュータ断層撮影（ＣＢＣＴ）画像を生成するためのモデルを訓練するためのコンピュータ実装方法であって、
    前記方法は、
    生成モデルの入力として被検体のＣＢＣＴ画像を受け取るステップと、
    前記ＣＢＣＴ画像を処理して、前記生成モデルの出力として前記ＣＢＣＴ画像に対応する合成コンピュータ断層撮影（ｓＣＴ）画像を提供するために、前記生成モデルを敵対的生成ネットワーク（ＧＡＮ）で訓練するステップと
    を有する
    ことを特徴とするコンピュータ実装方法。
11. 請求項１０記載の方法において、
    前記敵対的生成ネットワークは、前記生成モデルと前記識別モデルを有するサイクル敵対的生成ネットワーク（ＣｙｃｌｅＧＡＮ）を使用して訓練され、
    前記生成モデルは第１の生成モデルであり、前記識別モデルは第１の識別モデルであり、
    前記方法は、更に、
    入力として所定のＣＴ画像を処理し、出力として所定の合成（ｓＣＢＣＴ）画像を提供するため、第２の生成モデルを訓練するステップと、
    前記所定のｓＣＢＣＴ画像を合成ＣＢＣＴ画像または実ＣＢＣＴ画像として分類するため、第２の識別モデルを訓練するステップと
    を有する
    ことを特徴とする方法。
12. 請求項１１記載の方法において、
    前記ＣｙｃｌｅＧＡＮは、前記第１の生成モデルを訓練するための第１の部分と第２の部分を有し、
    前記方法は、更に、
    実ＣＴ画像と対となっている訓練ＣＢＣＴ画像を取得するステップと、
    前記訓練ＣＢＣＴ画像を前記第１の生成モデルの前記入力に送信し、所定の合成ＣＴ画像を出力するステップと、
    前記所定の合成ＣＴ画像を前記第１の識別モデルの前記入力で受け取るステップと、
    前記第１の識別モデルを用いて、前記所定の合成ＣＴ画像を合成ＣＴ画像または実ＣＴ画像として分類するステップと、
    前記所定の合成ＣＴ画像を前記第２の生成モデルの前記入力で受け取り、周期整合性損失を計算するためのサイクルＣＢＣＴ画像を生成するステップと、
    前記実ＣＴ画像を前記第２の生成モデルの前記入力に送信し、合成訓練ＣＢＣＴ画像を出力するステップと、
    前記合成訓練ＣＢＣＴ画像を前記第２の識別モデルの前記入力で受け取り、前記合成訓練ＣＢＣＴ画像を合成ＣＢＣＴ画像または実ＣＢＣＴ画像として分類し、サイクル整合性損失を計算するためのサイクルＣＴ画像を前記第１の生成モデルの前記入力で生成するステップと、
    複数の合成ＣＴ画像と、それぞれペアになっている実ＣＴ画像との間の差の期待値を表す第１の画素ベース損失項を最小化または減少させるために前記第１の生成モデルを訓練するステップと、
    複数の合成ＣＴ画像と、それぞれペアになっている実ＣＢＣＴ画像との間の差の期待値を表す第２の画素ベース損失項を最小化または減少させるために前記第２の生成モデルを訓練するステップと
    を有する
    ことを特徴とする方法。
13. 訓練されたモデルを使用して、強化されたコーンビームコンピュータ断層撮影（ＣＢＣＴ）画像を生成するためのシステムであって、
    前記システムは、
    少なくとも１つのプロセッサを有する処理回路と、
    前記少なくとも１つのプロセッサにより実行されたとき、請求項１乃至９のいずれか１項に記載の方法を前記プロセッサに実行させる命令を有する記憶媒体と
    を有することを特徴とするシステム。
14. 強化されたコーンビームコンピュータ断層撮影（ＣＢＣＴ）画像を生成するためのモデルを訓練するためのシステムであって、
    前記システムは、
    少なくとも１つのプロセッサを有する処理回路と、
    前記少なくとも１つのプロセッサにより実行されたとき、請求項１０乃至１２のいずれか１項に記載の方法を前記プロセッサに実行させる命令を有する記憶媒体と
    を有することを特徴とするシステム。
15. コンピュータ装置の１つまたはそれ以上のプロセッサにより実行されたときに、請求項１乃至１２のいずれか１項に記載の方法を前記コンピュータ装置に実行させる命令を格納するコンピュータ可読媒体。

Images