JP7607635B2 - プログラム、情報処理方法、情報処理装置及びモデル生成方法 - Google Patents

Description

本発明は、プログラム、情報処理方法、情報処理装置及びモデル生成方法に関する。

超音波画像、光干渉（ＯＣＴ：Optical Coherence Tomography）画像、Ｘ線画像など、人体内部を可視化した医用画像に基づく治療が行われている。これに伴い、画像観察者が好適に医用画像を観察可能なように、医用画像を加工する種々の技術が提案されている。

例えば特許文献１では、被検体の病変部の超音波画像を表示する超音波診断装置であって、治療前の超音波画像と治療後の超音波画像とを重ね合わせた画像を生成し、病変部の治療領域と未治療領域とを異なった色で表示する超音波診断装置が開示されている。

特開２００８－１１９０７１号公報

しかしながら、特許文献１に係る発明は、治療前に取得した画像と治療後に取得した画像とを重ね合わせるに過ぎず、治療後の画像を生成するものではない。

一つの側面では、治療前の医用画像から治療後の状態を予測した医用画像を得ることができるプログラム等を提供することを目的とする。

一つの側面に係るプログラムは、複数の治療段階のいずれかの処置前の患者の管腔器官をイメージングした第１医用画像と、前記管腔器官の治療に用いる治療用デバイスに関連するデバイス情報とを取得し、前記第１医用画像及びデバイス情報と、該第１医用画像に対応する前記治療段階を表すクラスラベルとを入力した場合に、該治療段階の処置後の第２医用画像を生成するよう学習済みのモデルに、取得した前記第１医用画像及びデバイス情報と、前記クラスラベルとを入力して前記第２医用画像を生成する処理をコンピュータに実行させる。

一つの側面では、治療前の医用画像から治療後の状態を予測した医用画像を得ることができる。

治療支援システムの構成例を示す説明図である。 サーバの構成例を示すブロック図である。 実施の形態１の概要を示す説明図である。 生成モデルに関する説明図である。 医用画像の表示画面例を示す説明図である。 血管内治療の治療段階に関する説明図である。 生成モデルの生成処理の手順を示すフローチャートである。 第２医用画像の生成処理の手順を示すフローチャートである。 実施の形態２に係る生成モデルに関する説明図である。 実施の形態２に係る医用画像の表示画面例を示す説明図である。 実施の形態３に係る第２医用画像の生成処理の手順を示すフローチャートである。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、治療支援システムの構成例を示す説明図である。本実施の形態では、血管内治療を実施前に患者の血管をイメージングした医用画像（以下、「第１医用画像」と呼ぶ）と、血管内治療に用いる治療用デバイスに関するデバイス情報とに基づき、治療後の血管の状態を予測した医用画像（以下、「第２医用画像」）を生成する治療支援システムについて説明する。治療支援システムは、情報処理装置１、画像診断システム２を有する。情報処理装置１及び画像診断システム２は、ＬＡＮ（Local Area Network）、インターネット等のネットワークＮに通信接続されている。

なお、本実施の形態では血管内治療を一例に説明するが、対象とする管腔器官は血管に限定されず、例えば胆管、膵管、気管支、腸などの他の管腔器官であってもよい。

画像診断システム２は、血管内画像診断装置２１、透視画像撮影装置２２、表示装置２３を有する。血管内画像診断装置２１は、患者の血管内断層像をイメージングするための装置であり、例えばカテーテル２１１を用いた超音波検査を行うＩＶＵＳ（Intravascular Ultrasound）装置である。カテーテル２１１は患者の血管内に挿入される医用器具であり、超音波を送信すると共に血管内からの反射波を受信するイメージングコアを備える。血管内画像診断装置２１は、カテーテル２１１で受信した反射波の信号に基づいて超音波断層像を生成し、表示装置２３に表示させる。

なお、本実施の形態では血管内画像診断装置２１が超音波断層像を生成するものとするが、例えばＯＣＴ、ＯＦＤＩ（Optical Frequency Domain Imaging）等の光学的手法による光干渉断層像を撮影してもよい。

透視画像撮影装置２２は、患者体内を透視した透視画像を撮影するための装置ユニットであり、例えば血管造影検査を行うアンギオグラフィ装置である。透視画像撮影装置２２は、Ｘ線源２２１、Ｘ線センサ２２２を備え、Ｘ線源２２１から照射されたＸ線をＸ線センサ２２２が受信することにより、患者のＸ線透視画像を撮影する。

なお、上記では医用画像の一例として超音波断層像、光干渉断層像、アンギオグラフィ画像を挙げたが、医用画像はコンピュータ断層撮影（ＣＴ；Computed Tomography）画像、磁気共鳴（ＭＲＩ；Magnetic Resonance Imaging）画像などであってもよい。

情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。本実施の形態では情報処理装置１がサーバコンピュータであるものとし、以下では簡潔のためサーバ１と読み替える。なお、サーバ１は画像診断システム２と同じ施設（病院等）に設置されたローカルサーバであってもよく、インターネット等を介して通信接続されたクラウドサーバであってもよい。サーバ１は、画像診断システム２で生成された第１医用画像（超音波断層像及びＸ線透視画像）から第２医用画像を生成する生成装置として機能し、生成した第２医用画像を画像診断システム２に出力する。

具体的には後述のように、サーバ１は、所定の訓練データを学習する機械学習を事前に行い、第１医用画像及びデバイス情報を入力として、第２医用画像を生成する生成モデル５０（図３等参照）を用意してある。なお、デバイス情報については後述する。サーバ１は、画像診断システム２から第１医用画像及びデバイス情報を取得して生成モデル５０に入力し、第２医用画像を生成して表示装置２３に表示させる。

なお、本実施の形態では画像診断システム２とは別体のサーバ１において第２医用画像を生成するものとするが、サーバ１が機械学習によって生成した生成モデル５０を画像診断システム２にインストールし、画像診断システム２で第２医用画像の生成を可能としてもよい。

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰを読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。

補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ、その他のデータを記憶している。また、補助記憶部１４は、生成モデル５０を記憶している。生成モデル５０は、上述の如く訓練データを学習済みの機械学習モデルであり、第１医用画像及びデバイス情報を入力として、第２医用画像を生成するモデルである。生成モデル５０は、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。

なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記憶媒体１ａを読み取る読取部を備え、可搬型記憶媒体１ａからプログラムＰを読み取って実行するようにしても良い。あるいはサーバ１は、半導体メモリ１ｂからプログラムＰを読み込んでも良い。

図３は、実施の形態１の概要を示す説明図である。図３では、生成モデル５０を用いて第１医用画像及びテキスト情報から第２医用画像を生成する様子を概念的に図示している。図３に基づき、本実施の形態の概要を説明する。

生成モデル５０は、患者の治療前に画像診断システム２で取得した第１医用画像と、治療に用いる治療用デバイスに関するデバイス情報とを入力として、治療後の状態を予測した第２医用画像を生成する機械学習モデルである。第１医用画像は、血管内画像診断装置２１及び透視画像撮影装置２２でそれぞれ取得した超音波断層像及びＸ線透視画像であり、治療前に患者の血管を検査した画像である。

デバイス情報は、血管内治療に使用するデバイスに関連する情報であり、例えばＰＣＩ（Percutaneous Coronary Intervention；経皮的冠動脈形成術）に用いられるステント、バルーン等に関連する情報である。例えばデバイス情報は、患者の血管内に留置するステントの長さ、直径、種類、留置位置、バルーンの種類、バルーンによる拡張後の直径（以下、「拡張径」と呼ぶ）、拡張圧、拡張時間などを含む。なお、治療用デバイスはステント及びバルーンに限定されず、ロータブレータ等の他のデバイスであってもよい。

第２医用画像は、治療用デバイスを用いた治療後の血管内の状態を予測した画像であり、治療後の超音波断層像及びＸ線透視画像である。なお、サーバ１は超音波断層像及びＸ線透視画像のいずれか一方のみを第２医用画像として生成してもよく、あるいは３種類以上の画像を生成してもよい。

サーバ１は、訓練用の第１医用画像及びデバイス情報と、第２医用画像とを含む訓練データを学習し、生成モデル５０を生成する。訓練データは、例えば血管内治療を実施済みの患者のデータであり、治療前の超音波断層像及びＸ線透視画像（第１医用画像）と、当該患者の治療に用いた治療用デバイスに関するデバイス情報と、治療後の超音波断層像及びＸ線透視画像とを含む。サーバ１は、これらのデータを訓練データに用いて機械学習を行い、生成モデル５０を予め生成してある。

なお、訓練データは実際の患者のデータに限定されず、例えばＧＡＮ（Generative Adversarial Network）等のデータ生成手段で水増しされた仮想のデータであってもよい。

例えばサーバ１は、患者の治療時に第１医用画像及びデバイス情報を画像診断システム２から取得し、治療後の第２医用画像を生成して表示装置２３に表示させる。具体的には、サーバ１は、カテーテル２１１を用いた超音波検査時に、血管の長手方向に沿って連続してイメージングされた複数の超音波断層像（フレーム画像）を血管内画像診断装置２１から順次取得する。また、サーバ１は、超音波検査時に同時に撮影されているＸ線透視画像を透視画像撮影装置２２から取得する。サーバ１は、連続する複数の超音波断層像と、各超音波断層像を取得時のＸ線透視画像とをデバイス情報と共に生成モデル５０に順次入力し、治療後の状態を予測した超音波断層像及びＸ線透視画像を順次生成する。

図３の例では、治療後の第２医用画像として、ステントが留置され、バルーンにより拡張された後の血管の超音波断層像及びＸ線透視画像が生成される様子を図示している。なお、図３では、ステントに対応する部分をハッチングにより図示している。サーバ１は、生成モデル５０を用いて治療後の血管の状態を予測し、第２医用画像として提示する。

なお、本実施の形態では治療時に第２医用画像を生成して画像診断システム２に出力するものとするが、録画された第１医用画像を事後的に生成モデル５０に入力して第２医用画像を生成してもよいことは勿論である。

図４は、生成モデル５０に関する説明図である。本実施の形態では、生成モデル５０としてＧＡＮを用いる。ＧＡＮは、入力データから出力データを生成する生成器（Generator）と、生成器が生成したデータの真偽を識別する識別器（Discriminator）とを備え、生成器及び識別器が競合して学習を行うことでネットワークを構築する。

ＧＡＮに係る生成器はランダムなノイズ（潜在変数）の入力を受け付け、出力データを生成する。識別器は、学習用に与えられる真のデータと、生成器から与えられるデータとを用いて、生成器から与えられたデータの真偽を学習する。ＧＡＮでは、最終的に生成器の損失関数が最小化し、かつ、識別器の損失関数が最大化するようにネットワークを構築する。

本実施の形態に係る生成モデル５０の生成器は、入力データを潜在変数に変換するエンコーダと、潜在変数から出力データを生成するデコーダとを備え、第１医用画像及びデバイス情報から第２医用画像を生成する。例えば図４に示すように、生成モデル５０の生成器は、治療前の超音波断層像、Ｘ線透視画像、及びデバイス情報の３種類の入力データの入力を受け付ける３つのエンコーダを備える。また、生成器は、治療後の超音波断層像及びＸ線透視画像を生成する２つのデコーダを備える。また、生成モデル５０は、各デコーダから出力されたデータの真偽を識別する２つの識別器を備える。生成器は、各エンコーダにおいて入力データの特徴量を抽出し、各入力データの特徴量を結合した潜在変数を各デコーダに入力して、治療後の状態を予測した超音波断層像及びＸ線透視画像を生成する。２つの識別器はそれぞれ、超音波断層像及びＸ線透視画像の真偽を識別する。

サーバ１は、訓練用に与えられる第１医用画像及びデバイス情報と、第２医用画像とを用いて学習を行い、生成モデル５０を生成する。例えばサーバ１はまず、生成器のパラメータ（重み等）を固定した上で訓練用の第１医用画像及びデバイス情報を生成器に入力し、第２医用画像を生成する。そしてサーバ１は、生成器が生成した第２医用画像を偽のデータとし、訓練用の第２医用画像を真のデータとして識別器に与え、識別器のパラメータを最適化する。次にサーバ１は、識別器のパラメータを最適値に固定し、生成器の学習を行う。サーバ１は、生成器が生成した第２医用画像を識別器に入力した場合に、真偽の確率が５０％に近似するよう生成器のパラメータを最適化する。これにより、サーバ１は生成モデル５０を生成する。実際に第１医用画像から第２医用画像を生成する場合は生成器のみを用いる。

なお、生成モデル５０はＧＡＮに限定されず、ＶＡＥ（Variational Autoencoder）、ＣＮＮ（例えばＵ－ｎｅｔ）等のニューラルネットワーク、あるいはその他の学習アルゴリズムに基づくモデルであってもよい。

また、図４に示す生成モデル５０のネットワーク構造は一例であり、本実施の形態はこれに限定されるものではない。例えば、超音波断層像及びＸ線透視画像という２つの画像を結合して単一の画像とみなし、１種類のエンコーダ及びデコーダで２つの画像を同時に処理可能としてもよい。また、デバイス情報の特徴量を抽出するためのエンコーダは用意せず、Ｏｎｅ－ｈｏｔエンコーディング等の手段でデバイス情報（テキストデータ）を符号化し、潜在空間に直接写像（結合）してもよい。このように、生成モデル５０のネットワーク構造は種々の変更が考えられる。

なお、サーバ１は、訓練用の第２医用画像として、図３で例示したように、ステント等のユーザが関心あるオブジェクトを他の画像領域と異なる表示態様で表示する第２医用画像を用いると好適である。例えばサーバ１は、ステント等のオブジェクトに対応する画像領域を、色分け、エッジ強調等によりラベリング（加工）した画像を用いる。これにより、サーバ１は、ユーザが関心あるオブジェクトを識別可能な第２医用画像を生成することができる。

なお、ラベリングされるオブジェクトはステント等の治療用デバイスに限定されず、例えば血管内の病変部（プラーク等）、内腔境界など、その他のオブジェクトであってもよい。

また、上記では医用画像以外の入力データとしてステント情報を挙げたが、血管内治療に関連するその他の情報も生成モデル５０に入力してもよい。例えばサーバ１は、血管内の病変部に関する病変情報を生成モデル５０に入力する。病変情報は、例えば病変部の種類（プラーク、石灰化した組織、血管狭窄部など）、位置、性状（病変部の硬さ等）などである。例えばサーバ１は、ステント情報に対応するエンコーダに病変情報を併せて入力し、潜在変数に変換する。これにより、生成モデル５０は病変の性質や状態も参照しつつ第２医用画像を生成することができる。

図５は、医用画像の表示画面例を示す説明図である。図５では、表示装置２３が表示する画面例であって、第１医用画像及び第２医用画像を表示した画面例を図示している。図５に基づき、血管内治療時に実行される処理フローについて説明する。

例えば表示装置２３は、第１医用画像に対応する現在の血管の超音波断層像及びＸ線透視画像を、現断層像５０１、現透視画像５０２として表示する。また、表示装置２３は、デバイス情報の指定入力を受け付けるため、画面左側のメニューバーに指定欄５０３、５０３、５０３…を表示する。また、表示装置２３は、現在の治療段階の指定入力を受け付けるためのステータス欄５０４をメニューバーに表示する。

表示装置２３は、当該画面上でデバイス情報の指定入力を受け付ける。具体的には、表示装置２３は、現透視画像５０２上に矩形枠を描画する操作入力を受け付けることで、治療対象とする血管内の部位（病変部の位置）の指定入力を受け付ける。さらに表示装置２３は、ステントの長さ、直径、バルーンによる拡張径等の指定入力を各指定欄５０３により受け付ける。

なお、図５の例では、複数の指定欄５０３により各項目のデバイス情報を個別に入力することとしているが、例えばステントやバルーンの製品名を入力することで、各項目を同時に指定可能としてもよい。

また、表示装置２３は、ステータス欄５０４を介して、現在の血管内治療の治療段階の指定入力を受け付ける。サーバ１は、ステータス欄５０４で指定された治療段階に応じた第２医用画像を生成し、表示装置２３に出力する。

図６は、血管内治療の治療段階に関する説明図である。図６では、ＰＣＩを実施する場合の一般的な治療フローを概念的に図示している。一般的には、ＰＣＩは以下の手順で実施される。

まず、カテーテル２１１を誘導するためのガイドワイヤを患者の血管に挿入する。次に、カテーテル２１１を挿入して超音波断層像を取得し、Ｘ線透視画像と合わせて病変部の状態を確認する。その後、ステントを留置可能なように、必要に応じて留置前にバルーンによる血管の拡張が行われる。なお、ステント留置前のバルーン拡張は省略され得る。

次に、ステントを血管内に留置し、バルーンによって病変部を拡張する。ステントの留置後、超音波画像を再度取得し、Ｘ線透視画像と合わせて拡張後の病変部の状態を確認する。その後、ステントの拡張が不十分である場合などには、再びバルーンによる血管の拡張が行われる。なお、ステント留置後のバルーン拡張は省略され得る。最後に病変部の状態を各画像で確認し、一連の処置が終了する。

なお、以下の説明では簡潔のため、ステント留置前のバルーン拡張を「前拡張」と呼び、ステント留置後のバルーン拡張を「後拡張」と呼ぶ。

本実施の形態においてサーバ１は、上記の前拡張、ステントの拡張、及び後拡張に合わせて、各治療段階の処置前の第１医用画像から処置後の第２医用画像を生成モデル５０により生成する。

例えばサーバ１は、ＣｏｎｄｉｔｉｏｎａｌＧＡＮのように、生成モデル５０を入力データのクラスラベルを入力可能なモデルとして構成する。サーバ１は、生成モデル５０に第１医用画像を入力する際に、第１医用画像のクラスを示すラベルデータとして、前拡張の処置前であるか、ステントの拡張前であるか、又は後拡張の処置前であるかを示す値を入力する。そしてサーバ１は、入力されたラベルデータに応じて、いずれかの処置後の第２医用画像を生成する。これにより、ユーザはこれから行う処置後の状態を予測した第２医用画像を段階的に確認することができる。

図５では、ステント拡張時の表示画面例を図示している。サーバ１は、ステータス欄５０４で指定された治療段階に従い、ステント拡張後の第２医用画像を生成する。すなわち、サーバ１は、ステント拡張前に血管内画像診断装置２１で生成された超音波断層像と、透視画像撮影装置２２で撮影されたＸ線透視画像と、ユーザが指定したデバイス情報とを生成モデル５０に入力し、ステント拡張後の状態を予測した超音波断層像及びＸ線透視画像を生成する。この場合、例えばサーバ１は、ステントに対応する画像領域を他の領域と異なる表示態様で示す超音波断層像及びＸ線透視画像を第２医用画像として生成する。

サーバ１は、生成した第２医用画像を出力し、表示装置２３に表示させる。表示装置２３は、第２医用画像に対応する超音波断層像及びＸ線透視画像を、予測断層像５０５、予測透視画像５０６として表示する。

なお、図５では第２医用画像として２次元の超音波断層像及びＸ線透視画像を図示しているが、サーバ１は２次元の超音波断層像及びＸ線透視画像を再構成し、３次元の血管画像を生成して表示装置２３に表示させてもよい。図３で説明したように、サーバ１は、血管内画像診断装置２１から順次取得する複数の超音波断層像（横断層像）と、Ｘ線透視画像とを生成モデル５０に順次入力して、治療後の状態を予測した複数の超音波断層像と、Ｘ線透視画像とを第２医用画像として生成する。サーバ１は、超音波検査時にＸ線不透過マーカ等の手段で検出したカテーテル２１１の位置に応じて各超音波断層像とＸ線透視画像との位置合わせを行い、公知の手法で３次元画像に変換する。これにより、治療後の血管内の状態を３次元で表現し、ユーザに提示することができる。

また、図５の例では、一パターンのデバイス情報の指定入力を受け付けて一パターンの第２医用画像を表示するものとしたが、複数パターンのデバイス情報の指定入力を受け付けて、複数パターンに対応する複数の第２医用画像を表示してもよい。例えばサーバ１は、治療に用いるステントの候補として複数のステントの指定入力を受け付け、各ステントを用いた場合の第２医用画像を別々に生成し、表示装置２３にプレビュー表示させる。これにより、ユーザの利便性を向上させることができる。

図７は、生成モデル５０の生成処理の手順を示すフローチャートである。図７に基づき、機械学習により生成モデル５０を生成する際の処理内容について説明する。
サーバ１の制御部１１は、治療を実施済みの患者についてのデータであって、治療前の医用画像である第１医用画像、及び治療に用いた治療用デバイスに関するデバイス情報と、治療後の医用画像である第２医用画像とを含む訓練データを取得する（ステップＳ１１）。具体的には、制御部１１は、血管内治療を実施済みの患者に関し、治療前の超音波断層像及びＸ線透視画像を第１医用画像として取得する。また、制御部１１は、血管内治療に用いたステント、バルーン等の情報をデバイス情報として取得する。また、制御部１１は、血管内治療後の超音波断層像及びＸ線透視画像を第２医用画像として取得する。

制御部１１は訓練データに基づき、第１医用画像及びデバイス情報を入力した場合に第２医用画像を生成する生成モデル５０を生成する（ステップＳ１２）。具体的には、制御部１１は、治療前の超音波断層像、Ｘ線透視画像、及びデバイス情報を入力として、治療後の超音波断層像及びＸ線透視画像を出力とするＧＡＮを生成する。制御部１１は一連の処理を終了する。

図８は、第２医用画像の生成処理の手順を示すフローチャートである。図８に基づき、第２医用画像を生成する際の処理内容について説明する。
サーバ１の制御部１１は、患者の管腔器官の治療に用いる治療用デバイスに関するデバイス情報を画像診断システム２から取得する（ステップＳ３１）。また、制御部１１は、第１医用画像を画像診断システム２から取得する（ステップＳ３２）。具体的には上述の如く、制御部１１は、治療対象の患者を検査した超音波断層像と、超音波検査時に同時に撮影されたＸ線透視画像とを取得する。

制御部１１は、ユーザからの操作入力に応じて、ステント留置前の前拡張が必要か否かを判定する（ステップＳ３３）。前拡張が必要ではないと判定した場合（Ｓ３３：ＮＯ）、制御部１１は処理をステップＳ３６に移行する。前拡張が必要であると判定した場合（Ｓ３３：ＹＥＳ）、制御部１１は、ステップＳ３２で取得した第１医用画像を生成モデル５０に入力して、前拡張後の第２医用画像を生成し、表示装置２３に出力する（ステップＳ３４）。

制御部１１は、ユーザからの操作入力に応じて、前拡張が完了したか否かを判定する（ステップＳ３５）。前拡張が完了していないと判定した場合（Ｓ３５：ＮＯ）、制御部１１は処理を待機する。

前拡張が完了したと判定した場合（Ｓ３５：ＹＥＳ）、制御部１１はステント拡張後の第２医用画像を生成し、表示装置２３に出力する（ステップＳ３６）。

制御部１１は、ユーザからの操作入力に応じて、後拡張が必要であるか否かを判定する（ステップＳ３７）。後拡張が必要でないと判定した場合（Ｓ３７：ＮＯ）、制御部１１は一連の処理を終了する。後拡張が必要であると判定した場合（Ｓ３７：ＹＥＳ）、制御部１１は、第１医用画像を再取得する（ステップＳ３８）。制御部１１は、取得した第１医用画像を生成モデル５０に入力して後拡張後の第２医用画像を生成し、表示装置２３に出力する（ステップＳ３９）。制御部１１は一連の処理を終了する。

以上より、本実施の形態１によれば、治療前の第１医用画像から治療後の状態を予測した第２医用画像を生成し、ユーザに提示することができる。

また、本実施の形態１によれば、複数の治療段階に合わせて、各処置後の第２医用画像を提示することができる。

また、本実施の形態１によれば、血管内治療に合わせて、前拡張後、ステント拡張後、及び後拡張後それぞれの第２医用画像を生成してユーザに提示することができる。

また、本実施の形態１によれば、Ｘ線透視画像上で対象部位の指定入力を受け付けることで、デバイス情報を好適に指定することができる。

また、本実施の形態１によれば、生成モデル５０を用いて順次生成される複数の超音波断層像（横断層像）と、Ｘ線透視画像とから、治療後の状態を３次元で表現した画像を提供することもできる。

また、本実施の形態１によれば、デバイス情報以外にも病変情報を生成モデル５０の入力に用いることで、第２医用画像の生成精度を高めることができる。

（実施の形態２）
本実施の形態では、第１医用画像及び第２医用画像として超音波断層像のみを扱う形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。

図９は、実施の形態２に係る生成モデル５０に関する説明図である。本実施の形態に係る生成モデル５０は、Ｘ線透視画像を処理するためのエンコーダ及びデコーダを備えず、治療前の超音波断層像及びデバイス情報それぞれの入力を受け付ける２つのエンコーダ、治療後の超音波断層像を生成するデコーダ、及びデコーダが生成した超音波断層像の真偽を識別する識別器のみを有する。サーバ１は、訓練用の第１医用画像及び第２医用画像として、血管内治療を実施済みの患者の治療前後の超音波断層像を訓練データとして用い、図９に示す生成モデル５０を生成する。

図１０は、実施の形態２に係る医用画像の表示画面例を示す説明図である。本実施の形態において表示装置２３は、実施の形態１と同様に、第１医用画像に対応する現断層像５０１を表示する。本実施の形態ではさらに、表示装置２３は、複数の超音波断層像（横断層像）を再構成した縦断層像５２１を表示する。

縦断層像５２１は、血管内画像診断装置２１で連続してイメージングされた複数の横断層像を、血管の長手方向に沿う形で再構成した縦断面画像である。サーバ１は、カテーテル２１１の走査に従い、血管の長手方向に沿って連続してイメージングされた複数の横断層像（フレーム画像）から縦断層像５２１を再構成し、表示装置２３に表示させる。本実施の形態で表示装置２３は、縦断層像５２１上で矩形枠の描画入力を受け付けることで、治療対象とする血管内の部位の指定入力を受け付ける。そのほか、表示装置２３は実施の形態１と同様に、指定欄５０３により他のデバイス情報の指定入力を受け付ける。

サーバ１は、第１医用画像に対応する超音波断層像と、デバイス情報とを生成モデル５０に入力し、第２医用画像に対応する超音波断層像を生成する。そしてサーバ１は、生成した超音波断層像を予測断層像５０５として表示させる。なお、予測断層像５０５として、横断層像だけでなく縦断層像を表示してもよいことは勿論である。

なお、実施の形態１と同様に、生成モデル５０で順次生成する複数の超音波断層像を再構成し、３次元画像を生成して表示装置２３に表示させてもよい。

上記の点以外は実施の形態１と同様であるため、本実施の形態ではフローチャートその他の詳細な説明は省略する。

（実施の形態３）
本実施の形態では、生成モデル５０が生成した第２医用画像の修正情報の入力を受け付け、入力された修正情報に基づいて再学習を行う形態について説明する。

例えば表示装置２３は、図５で例示した表示画面上で、生成モデル５０により生成した第２医用画像を修正するための修正情報の入力をユーザから受け付ける。具体的には、表示装置２３は、色分け表示したステント（治療用デバイス）の位置、長さ、直径（幅）等を修正する修正入力を受け付ける。例えば表示装置２３は、予測断層像５０５又は予測透視画像５０６に対し、ステントに対応する画像領域の境界（エッジ）を新たに描画する描画入力を受け付ける。表示装置２３は、ユーザによりステントに対応する画像領域が描画された第２医用画像を修正情報としてサーバ１に送信し、再学習を行わせる。

なお、本実施の形態ではステント拡張後の第２医用画像に対する修正情報の入力を受け付けることとするが、前拡張後、又は後拡張後の第２医用画像に対する修正情報の入力を受け付けてもよい。

サーバ１は、表示装置２３から取得した修正情報に基づいて再学習を行い、生成モデル５０を更新する。具体的には、サーバ１は、再学習用の訓練データとして、第２医用画像を生成した際に入力とした第１医用画像及びデバイス情報と、ステントの画像領域が描画された第２医用画像とを生成モデル５０に与え、生成器及び識別器のパラメータを更新する。

図１１は、実施の形態３に係る第２医用画像の生成処理の手順を示すフローチャートである。ステント留置後の第２医用画像を生成して表示装置２３に出力した後（ステップＳ３６）、サーバ１は以下の処理を実行する。
サーバ１の制御部１１は、出力した第２医用画像の修正情報の入力を受け付ける（ステップＳ２０１）。例えば制御部１１は、第２医用画像上でステントの位置、長さ、直径等を修正する修正入力を受け付ける。制御部１１は、処理をステップＳ３７に移行する。

ステップＳ３７でＮＯ、又はステップＳ３９の処理を実行後、制御部１１は、ステップＳ２０１で入力された修正情報に基づいて生成モデル５０を更新する（ステップＳ２０２）。具体的には、制御部１１は、ステップＳ３６で第２医用画像を生成した際に入力とした第１医用画像及びデバイス情報を訓練用の入力データとし、ステップＳ３６で生成した第２医用画像を修正した画像を訓練用の出力データとして再学習を行い、生成器及び識別器のパラメータを更新する。制御部１１は一連の処理を終了する。

以上より、本実施の形態３によれば、本システムの運用を通じて第２医用画像の生成精度を高めることができる。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ サーバ（情報処理装置）
１ａ 可搬型記憶媒体
１ｂ 半導体メモリ
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
Ｎ ネットワーク
Ｐ プログラム
２ 画像診断システム
２１ 血管内画像診断装置
２１１ カテーテル
２２ 透視画像撮影装置
２２１ Ｘ線源
２２２ Ｘ線センサ
２３ 表示装置
５０１ 現断層像
５０２ 現透視画像
５０３ 指定欄
５０４ ステータス欄
５０５ 予測断層像
５０６ 予測透視画像
５２１ 縦断層像

Claims (12)

1. 複数の治療段階のいずれかの処置前の患者の管腔器官をイメージングした第１医用画像と、前記管腔器官の治療に用いる治療用デバイスに関連するデバイス情報とを取得し、
   前記第１医用画像及びデバイス情報と、該第１医用画像に対応する前記治療段階を表すクラスラベルとを入力した場合に、該治療段階の処置後の第２医用画像を生成するよう学習済みのモデルに、取得した前記第１医用画像及びデバイス情報と、前記クラスラベルとを入力して前記第２医用画像を生成する
   処理をコンピュータに実行させるプログラム。
2. 前記治療はカテーテルを用いた血管内治療であり、
   ステント留置前のバルーン拡張、前記ステントの拡張、及び前記ステント留置後のバルーン拡張のいずれかの治療段階の処置前の第１医用画像を取得して前記第２医用画像を生成する
   請求項１に記載のプログラム。
3. 前記第１医用画像を表示部に表示し、
   前記第１医用画像に対し、治療対象の前記管腔器官内の部位と、該部位の治療に用いる複数パターンの前記治療用デバイスとを指定する指定入力を受け付け、
   指定された前記部位及び複数パターンの治療用デバイスを示す前記デバイス情報を前記モデルに入力することで、複数パターンに対応する複数の前記第２医用画像を生成する
   請求項１又は２に記載のプログラム。
4. 前記第１医用画像は、前記患者の体内の透視画像を含み、
   前記透視画像を表示部に表示し、
   前記透視画像に対し、治療対象の前記管腔器官内の部位と、該部位の治療に用いる前記治療用デバイスとを指定する指定入力を受け付け、
   指定された前記部位及び治療用デバイスを示す前記デバイス情報を前記モデルに入力する
   請求項１～３のいずれか１項に記載のプログラム。
5. 前記第１医用画像は、前記管腔器官内の横断層像を含み、
   前記管腔器官の長手方向に沿って連続してイメージングされた複数の横断層像から縦断層像を生成して表示部に表示し、
   前記縦断層像に対し、治療対象の前記管腔器官内の部位と、該部位の治療に用いる前記治療用デバイスとを指定する指定入力を受け付け、
   指定された前記部位及び治療用デバイスを示す前記デバイス情報を前記モデルに入力する
   請求項１～３のいずれか１項に記載のプログラム。
6. 前記複数の横断層像を前記モデルに入力して、治療後の複数の横断層像を生成し、
   生成した治療後の複数の横断層像から３次元の前記第２医用画像を生成する
   請求項５に記載のプログラム。
7. 前記管腔器官内の病変部の性状を示す病変情報の入力を受け付け、
   前記病変情報を前記モデルに入力して前記第２医用画像を生成する
   請求項１～６のいずれか１項に記載のプログラム。
8. 生成した前記第２医用画像の修正情報の入力を受け付け、
   前記修正情報に基づき、前記モデルを更新する
   請求項１～７のいずれか１項に記載のプログラム。
9. 前記第１医用画像及びデバイス情報と、前記クラスラベルとを前記モデルに入力することで、所定のオブジェクトを他の画像領域と異なる表示態様で表示する前記第２医用画像を生成する
   請求項１～８のいずれか１項に記載のプログラム。
10. 複数の治療段階のいずれかの処置前の患者の管腔器官をイメージングした第１医用画像と、前記管腔器官の治療に用いる治療用デバイスに関連するデバイス情報とを取得し、
    前記第１医用画像及びデバイス情報と、該第１医用画像に対応する前記治療段階を表すクラスラベルとを入力した場合に、該治療段階の処置後の第２医用画像を生成するよう学習済みのモデルに、取得した前記第１医用画像及びデバイス情報と、前記クラスラベルとを入力して前記第２医用画像を生成する
    処理をコンピュータが実行する情報処理方法。
11. 複数の治療段階のいずれかの処置前の患者の管腔器官をイメージングした第１医用画像と、前記管腔器官の治療に用いる治療用デバイスに関連するデバイス情報とを取得する取得部と
    前記第１医用画像及びデバイス情報と、該第１医用画像に対応する前記治療段階を表すクラスラベルとを入力した場合に、該治療段階の処置後の第２医用画像を生成するよう学習済みのモデルに、取得した前記第１医用画像及びデバイス情報と、前記クラスラベルとを入力して前記第２医用画像を生成する生成部と
    を備える情報処理装置。
12. 複数の治療段階夫々の処置前の患者の管腔器官をイメージングした第１医用画像と、複数の治療段階夫々の処置後の患者の管腔器官をイメージングした第２医用画像と、前記管腔器官の治療に用いた治療用デバイスに関連するデバイス情報とを含む訓練データを取得し、
    前記訓練データに基づき、前記第１医用画像及びデバイス情報と、該第１医用画像に対応する前記治療段階を表すクラスラベルとを入力した場合に前記第２医用画像を生成する学習済みモデルを生成する
    処理をコンピュータが実行するモデル生成方法。

Images