WO2022163402A1

WO2022163402A1 - 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置

Info

Publication number: WO2022163402A1
Application number: PCT/JP2022/001351
Authority: WO
Inventors: 彰工藤
Original assignee: 富士フイルム株式会社
Priority date: 2021-01-26
Filing date: 2022-01-17
Publication date: 2022-08-04
Also published as: JPWO2022163402A1; US20230368442A1; EP4287114A1

Abstract

入力された３次元画像のドメインを変換して高解像度の３次元生成画像を生成することができる学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置を提供する。本開示の一態様に係る学習済みモデルの生成方法は、第１ドメインの３次元画像の入力を受け付け、第１ドメインとは異なる第２ドメインの３次元生成画像を出力する３次元畳み込みニューラルネットワークを用いて構成される第１生成器と、第２ドメインの３次元生成画像から切り出される第１スライス面方向の断面画像を示す２次元画像の入力を受け付け、入力された２次元画像の真偽を判別する２次元畳み込みニューラルネットワークを用いて構成される第１判別器とを含む敵対的生成ネットワークの構造を有する学習モデルを用い、コンピュータが第１撮影条件により撮影された３次元画像と、第１撮影条件とは異なる第２撮影条件により撮影された３次元画像とを含む複数の学習データに基づき、第１生成器と第１判別器とを敵対的に学習させる学習処理を行うことを含む。

Description

学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置

　本発明は、学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置に係り、特に、３次元画像のドメイン変換を行う機械学習技術および画像処理技術に関する。

　医療分野においては、ＣＴ（Computed Tomography）装置あるいはＭＲＩ（Magnetic Resonance Imaging）装置等の各種モダリティによって撮影された医療画像を用いて画像診断が行われている。近年は深層学習を用いて医療画像から臓器等の部位の抽出、病変領域の検出、あるいは病名などの分類等を行う人工知能（Artificial Intelligence：ＡＩ）の開発が進められている。

　特許文献１には、ＡＩを利用して医療画像から臓器領域を抽出する診断支援システムが記載されている。特許文献２には、ＣＴ装置等のモダリティによって撮影された所定のスライス厚さの３次元データからスライス厚さを変更した高精細の３次元データを生成する画像処理方法が記載されている。

　非特許文献１は、敵対的生成ネットワーク（Generative Adversarial Networks：ＧＡＮ）の構成を２つ組み合わせたネットワークを用い、学習データとしてペアの画像を用いることなく、２つの異なるドメインの画像を相互に変換する技術を開示している。

　非特許文献２は、非特許文献１の技術を応用し、３次元の医療画像に対してドメイン変換および臓器の領域抽出のタスクを学習する方法を提案している。

特開２０１９－１４９０９４号公報特許第６５８３８７５号

Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros, "Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks", ArXiv: 1703.10593 Zizhao Zhang, Lin Yang, Yefeng Zheng "Translating and Segmenting Multimodal Medical Volumes with Cycle- and Shape-Consistency Generative Adversarial Network", ArXiv: 1802.09655

　医療画像は様々なモダリティによって生成され、モダリティごとに画像の特徴が異なる。ＡＩを用いたコンピュータ支援診断（Computer Aided Diagnosis, Computer Aided Detection ：ＣＡＤ）システムなどは、対象とする医療画像を撮影したモダリティごとに構築されることが一般的である。特定のモダリティで構築された技術を、他のモダリティの画像にも適応することができれば、より多くの場面での活用が期待される。

　例えば、ＣＴ画像を入力して臓器の領域抽出を行う臓器抽出ＣＡＤのシステムが構築されている場合に、この技術を基にＭＲ（Magnetic Resonance）画像からでも同様に、臓器の領域抽出を実現するといった応用が可能になる。

　そのためには、例えば、ＣＴ画像から擬似的なＭＲ画像を生成する処理、あるいは、逆に、ＭＲ画像から擬似的なＣＴ画像を生成する処理などの、異種モダリティ間で画像変換を行う高性能な画像変換器が要求される。なお、「画像変換」は「画像生成」と言い換えてもよく、変換器は「生成器」と言い換えてもよい。モダリティは画像の特徴に対応するドメインの一種と理解される。

　ＣＴ装置あるいはＭＲＩ装置などを用いて撮影された医療画像は、２次元スライス画像がスライス厚方向に連続する３次元データとなり得るため、このような３次元画像を対象とする画像変換器の開発が望まれる。

　この点、非特許文献１は、２次元画像を対象とする内容であり、３次元画像への適用については記載されていない。非特許文献２は、３次元の医療画像を対象として、異なるドメイン間での画像変換を学習する方法を提案しているが、非特許文献２に記載の方法はアキシャル断面、サジタル断面およびコロナル断面の３種類のそれぞれの断面について高解像度のデータセットを用いてモデルを訓練する必要がある。

　しかしながら、医療画像においては、３種類すべての断面について高解像度の３次元データを入手できるケースは少なく、異種のモダリティにおいて撮影範囲およびスライス厚などの撮影の条件が同じデータを十分に入手できるケースは少ない。

　その一方で、３種類の断面のうち特定の１断面のみが高解像度である３次元データなど、異なる撮影の条件にて撮影された３次元データなどは入手可能なケースがある。例えば、実際の臨床にて広く利用されているスライス厚が厚いＴｈｉｃｋスライスの３次元データは、スライス厚方向の解像度が低く、３種類の断面のうち特定の１断面のみが高解像度である。

　これに対して、スライス厚が１ｍｍ以下のＴｈｉｎスライスの３次元データは、スライス厚方向を含む直交３軸（例えば、ｘ軸、ｙ軸およびｚ軸）の各軸方向の解像度が高く、３種類の断面のすべてについて高解像度である。Ｔｈｉｎスライスの３次元データは、Ｔｈｉｃｋスライスに比べて、撮影に時間を要し、さらにデータ量も大きくなることから、多くの医療機関では通常はＴｈｉｃｋスライスのデータが取得される。このため、Ｔｈｉｃｋスライスのデータは、Ｔｈｉｎスライスのデータに比べて、比較的容易に入手可能である。

　深層学習ベースのアルゴリズムを用いてドメイン変換のタスクを行うモデルを訓練する場合、モデルによって生成される生成画像の特徴は学習に使用したデータに依存する。仮に、非特許文献１に記載されている２次元画像を対象とする学習アーキテクチャを、そのまま３次元画像を対象とするアーキテクチャに応用し、訓練用のデータとして、入手容易なＴｈｉｃｋスライスのデータを使用して学習を実施した場合、生成される画像は学習に用いたデータと同じ条件（Ｔｈｉｃｋスライス）で得られるため、３種類の各断面について高解像度の３次元画像の生成は困難である。

　上記のような課題は、医療画像に限らず、各種用途の３次元画像を対象とするドメイン変換を実現する場合に共通する課題として把握される。

　本開示はこのような事情に鑑みてなされたものであり、３次元の各軸方向のうち一部の軸方向の解像度が相対的に低い３次元データを学習に用いる場合であっても、入力された３次元画像のドメインを変換して高解像度の３次元生成画像を生成することができる学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置を提供することを目的とする。

　本開示の一態様に係る学習済みモデルの生成方法は、入力された３次元画像のドメインを変換して異なるドメインの３次元生成画像を出力する学習済みモデルの生成方法であって、第１ドメインの３次元画像の入力を受け付け、第１ドメインとは異なる第２ドメインの３次元生成画像を出力する３次元畳み込みニューラルネットワークを用いて構成される第１生成器と、第１生成器によって生成された第２ドメインの３次元生成画像から切り出される第１スライス面方向の断面画像を示す２次元画像の入力を受け付け、入力された２次元画像の真偽を判別する２次元畳み込みニューラルネットワークを用いて構成される第１判別器とを含む敵対的生成ネットワークの構造を有する学習モデルを用い、コンピュータが、第１撮影条件により撮影された３次元画像と、第１撮影条件とは異なる第２撮影条件により撮影された３次元画像とを含む複数の学習データを取得し、複数の学習データに基づき、第１生成器と第１判別器とを敵対的に学習させる学習処理を行うことを含む。

　この態様によれば、第１生成器によって生成された３次元生成画像について、リアル画像（実画像）であるか、フェイク画像（生成画像）であるかの真偽判別を行う際に、リアル画像としての学習データにおいて相対的に解像度が高いスライス面方向を第１スライス面方向とする断面画像の２次元画像に分割して第１判別器に入力することができる。これにより、第１生成器への入力に使用される３次元画像において第１スライス面方向の断面画像の解像度が低い場合であっても、第１生成器は、第１スライス面方向の断面画像の解像度が高い３次元生成画像を生成できるように訓練される。学習済みの第１生成器は、３次元画像のドメインを変換する異種ドメイン画像生成のタスクを行う学習済みモデルとして利用することができる。

　学習済みモデルの生成方法は、学習済みモデルを生産する方法と理解される。また、学習済みモデルの生成方法は、コンピュータを用いて実施される機械学習方法と理解してもよい。解像度は空間分解能と言い換えてもよい。

　本開示の他の態様に係る学習済みモデルの生成方法において、コンピュータが、第１生成器によって生成された第２ドメインの３次元生成画像から第１スライス面方向の断面画像を示す２次元画像を切り出す第１切り出し処理を行い、第１切り出し処理により切り出された２次元画像を第１判別器に入力することを含む構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、第１撮影条件は、撮影に使用した機器が第１撮影機器であることを含み、第２撮影条件は、撮影に使用した機器が第１撮影機器とは異なる種類の第２撮影機器であることを含む構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、第１撮影条件は、解像度の条件が第１解像度条件であることを含み、第２撮影条件は、解像度の条件が第１解像度条件とは異なる第２解像度条件であることを含む構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、第１撮影条件および第２撮影条件のうち少なくとも１つは、解像度の条件として、直交３軸のうち１つの軸方向の解像度が他の２つの軸方向のそれぞれの解像度よりも低いことを含む構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、第２撮影条件により撮影された３次元画像として、直交３軸のうち１軸方向の解像度が他の２軸方向のそれぞれの解像度よりも低い非等方性３次元データが用いられ、第１スライス面方向は、非等方性３次元データにおいて相対的に解像度が高い他の２軸方向に平行なスライス面方向である構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、学習モデルは、さらに、第１生成器によって生成された第２ドメインの３次元生成画像から切り出される第１スライス面方向と直交する第２スライス面方向の断面画像を示す２次元画像の入力を受け付け、入力された２次元画像の真偽を判別する２次元畳み込みニューラルネットワークを用いて構成される第２判別器を含み、学習処理は、第１生成器と第２判別器とを敵対的に学習させる処理を含む構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、コンピュータが、第１生成器によって生成された第２ドメインの３次元生成画像から第２スライス面方向の断面画像を示す２次元画像を切り出す第２切り出し処理を行い、第２切り出し処理により切り出された２次元画像を第２判別器に入力することを含む構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、学習データとして、ｘ軸、ｙ軸およびｚ軸の直交３軸のうちｚ軸方向の解像度がｘ軸方向およびｙ軸方向のそれぞれの解像度よりも低いｚ軸低解像の非等方性３次元データと、ｙ軸方向の解像度がｚ軸方向およびｘ軸方向のそれぞれの解像度よりも低いｙ軸低解像の非等方性３次元データとが用いられ、第１スライス面方向は、ｘ軸方向およびｙ軸方向に平行なスライス面方向であり、第２スライス面方向は、ｚ軸方向およびｘ軸方向に平行なスライス面方向である構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、学習データとして、ｘ軸、ｙ軸およびｚ軸の直交３軸のうちｙ軸方向の解像度がｚ軸方向およびｘ軸方向のそれぞれの解像度よりも低いｙ軸低解像の非等方性３次元データと、ｘ軸方向の解像度がｙ軸方向およびｚ軸方向のそれぞれの解像度よりも低いｘ軸低解像の非等方性３次元データとが用いられ、第１スライス面方向は、ｚ軸方向およびｘ軸方向に平行なスライス面方向であり、第２スライス面方向は、ｙ軸方向およびｚ軸方向に平行なスライス面方向である構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、学習データとして、ｘ軸、ｙ軸およびｚ軸の直交３軸のうちｘ軸方向の解像度がｙ軸方向およびｚ軸方向のそれぞれの解像度よりも低いｘ軸低解像の非等方性３次元データと、ｚ軸方向の解像度がｘ軸方向およびｙ軸方向のそれぞれの解像度よりも低いｚ軸低解像の非等方性３次元データとが用いられ、第１スライス面方向は、ｙ軸方向およびｚ軸方向に平行なスライス面方向であり、第２スライス面方向は、ｘ軸方向およびｙ軸方向に平行なスライス面方向である構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、コンピュータが、入力された学習データの解像度の条件に応じて、第２ドメインの３次元生成画像の真偽判別に使用する第１判別器または第２判別器を選択的に切り替える構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、第１撮影条件により撮影された３次元画像として、直交３軸のうちの１軸方向の解像度が他の２軸方向の解像度よりも低い非等方性３次元データが用いられる構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、コンピュータが、第１撮影条件により撮影された３次元画像を、直交３軸の各軸方向の解像度が等しい等方性３次元データに変換する第１等方化処理を行い、第１等方化処理による変換後の等方性３次元データを第１生成器に入力することを含む構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、第１生成器は、直交３軸の各軸方向の解像度が等しい等方性３次元データの入力を受け付け、３次元生成画像としての等方性３次元データを出力する構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、学習モデルは、さらに、第２ドメインの３次元画像の入力を受け付け、第１ドメインの３次元生成画像を出力する３次元畳み込みニューラルネットワークを用いて構成される第２生成器と、第２生成器によって生成された第１ドメインの３次元生成画像から切り出される特定のスライス面方向の断面画像を示す２次元画像の入力を受け付け、入力された２次元画像の真偽を判別する２次元畳み込みニューラルネットワークを用いて構成される第３判別器と、を含み、学習処理は、第２生成器と第３判別器とを敵対的に学習させる処理を含む構成とすることができる。

　この態様は、非特許文献１に記載のいわゆるＣｙｃｌｅＧＡＮの仕組みを応用するものとなり得る。

　本開示の他の態様に係る学習済みモデルの生成方法において、コンピュータが、第２生成器により生成された第１ドメインの３次元生成画像から特定のスライス面方向の断面画像を示す２次元画像を切り出す第３切り出し処理を行い、第３切り出し処理により切り出された２次元画像を第３判別器に入力することを含む構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、コンピュータが、第１生成器から出力された第２ドメインの３次元生成画像を第２生成器に入力することにより第２生成器から出力される第１再構成生成画像に基づき、第１生成器および第２生成器をこの順に用いた変換処理の第１再構成ロスを計算する処理と、第２生成器から出力された第１ドメインの３次元生成画像を第１生成器に入力することにより第１生成器から出力される第２再構成生成画像に基づき第２生成器および第１生成器をこの順に用いた変換処理の第２再構成ロスを計算する処理と、を行うことを含む構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、コンピュータが、第１再構成生成画像に対して、第１再構成生成画像を生成する際の第１生成器への入力に使用した元の学習データと同じ解像度の３次元データに変換する第１アベレージプーリング処理を行い、第１アベレージプーリング処理による変換後の３次元データと、第１生成器への入力に使用した元の学習データとに基づいて第１再構成ロスを計算することを含む構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、コンピュータが、第２再構成生成画像に対して、第２再構成生成画像を生成する際の第２生成器への入力に使用した元の学習データと同じ解像度の３次元データに変換する第２アベレージプーリング処理を行い、第２アベレージプーリング処理による変換後の３次元データと、第２生成器への入力に使用した元の学習データとに基づいて第２再構成ロスを計算することを含む構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、学習モデルは、さらに、第２生成器により生成された第１ドメインの３次元生成画像から切り出される特定のスライス面方向と直交するスライス面方向の断面画像を示す２次元画像の入力を受け付け、入力された２次元画像の真偽を判別する２次元畳み込みニューラルネットワークを用いて構成される第４判別器を含み、学習処理は、第２生成器と第４判別器とを敵対的に学習させる処理を含む構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、コンピュータが、第２生成器により生成された第１ドメインの３次元生成画像から特定のスライス面方向と直交するスライス面方向の断面画像を示す２次元画像を切り出す第４切り出し処理を行い、第４切り出し処理により切り出された２次元画像を第４判別器に入力することを含む構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、特定のスライス面方向は第１スライス面方向である構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、コンピュータが、第２撮影条件により撮影された３次元画像を、直交３軸の各軸方向の解像度が等しい等方性３次元データに変換する第２等方化処理を行い、第２等方化処理による変換後の等方性３次元データを第２生成器に入力することを含む構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、第１撮影条件は第１ドメインに対応し、第２撮影条件は第２ドメインに対応している構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、第１撮影条件により撮影された３次元画像は、医療機器である第１モダリティを用いて撮影された第１モダリティ画像であり、第２撮影条件により撮影された３次元画像は、第１モダリティとは異なる種類の医療機器である第２モダリティを用いて撮影された第２モダリティ画像であり、学習モデルは、第１モダリティ画像の入力を受けて、第２モダリティを用いて撮影された画像の特徴を持つ擬似的な第２モダリティ生成画像を生成するように学習が行われる構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、第１ドメインは第１解像度、第２ドメインは第１解像度よりも高解像の第２解像度である構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、第１撮影条件により撮影された３次元画像は、直交３軸のうち第１軸方向の解像度が他の２軸方向のそれぞれの解像度よりも低い第１軸低解像３次元データであり、第２撮影条件により撮影された３次元画像は、直交３軸のうち第１軸方向とは異なる第２軸方向の解像度が他の２軸方向の解像度よりも低い第２軸低解像３次元データであり、学習モデルは、第１軸低解像３次元データおよび第２軸低解像３次元データの少なくとも１つの入力を受けて、入力された３次元データよりも高解像度の等方性３次元データを生成するように学習が行われる構成とすることができる。

　本開示の他の態様に係る学習済みモデルの生成方法において、コンピュータが、第１生成器により生成された第１ドメインの３次元生成画像に対して解像度を低下させる低解像化処理を行い、低解像化処理によって得られた再構成生成画像に基づいて、第１生成器による超解像処理と低解像化処理とによる画像変換の再構成ロスを計算することを含む構成とすることができる。

　本開示の他の態様に係る機械学習システムは、入力された３次元画像のドメインを変換して異なるドメインの３次元生成画像を生成する学習モデルを訓練する機械学習システムであって、少なくとも１つの第１プロセッサと、少なくとも１つの第１プロセッサによって実行されるプログラムが記憶される少なくとも１つの第１記憶装置と、を備え、学習モデルは、第１ドメインの３次元画像の入力を受け付け、第１ドメインとは異なる第２ドメインの３次元生成画像を出力する３次元畳み込みニューラルネットワークを用いて構成される第１生成器と、第１生成器によって生成された第２ドメインの３次元生成画像から切り出される第１スライス面方向の断面画像を示す２次元画像の入力を受け付け、入力された２次元画像の真偽を判別する２次元畳み込みニューラルネットワークを用いて構成される第１判別器とを含む敵対的生成ネットワークの構造を有し、少なくとも１つのプロセッサは、プログラムの命令を実行することにより、第１撮影条件により撮影された３次元画像と、第１撮影条件とは異なる第２撮影条件により撮影された３次元画像とを含む複数の学習データを取得し、複数の学習データに基づき、第１生成器と第１判別器とを敵対的に学習させる学習処理を行う。

　本開示の他の態様に係るプログラムは、コンピュータに、入力された３次元画像のドメインを変換して異なるドメインの３次元生成画像を生成する学習モデルを訓練する処理を実行させるプログラムであって、学習モデルは、第１ドメインの３次元画像の入力を受け付け、第１ドメインとは異なる第２ドメインの３次元生成画像を出力する３次元畳み込みニューラルネットワークを用いて構成される第１生成器と、第１生成器によって生成された第２ドメインの３次元生成画像から切り出される第１スライス面方向の断面画像を示す２次元画像の入力を受け付け、入力された２次元画像の真偽を判別する２次元畳み込みニューラルネットワークを用いて構成される第１判別器とを含む敵対的生成ネットワークの構造を有し、コンピュータに、第１撮影条件により撮影された３次元画像と、第１撮影条件とは異なる第２撮影条件により撮影された３次元画像とを含む複数の学習データを取得させ、複数の学習データに基づき、第１生成器と第１判別器とを敵対的に学習させる学習処理を実行させる。

　本開示の他の態様に係る医療画像処理装置は、本開示による学習済みモデルの生成方法を実施することにより訓練された学習済みの第１生成器である第１学習済みモデルを記憶する第２記憶装置と、第１学習済みモデルを用いて画像処理を行う第２プロセッサと、を備え、第１学習済みモデルは、第１医療画像の入力を受けて、第１医療画像とは異なるドメインの第２医療画像を出力するように訓練されたモデルである。

　本発明によれば、入力された３次元画像のドメインを変換して異種ドメインの特徴を持つ高解像度の３次元生成画像を生成することが可能になる。

図１は、ＭＲＩ装置によって撮影された脳の３次元形態画像から切り出した３種類の各断面の画像例である。図２は、ＣＴ画像におけるＴｈｉｎスライスと、Ｔｈｉｃｋスライスとの表現差を示す画像例である。図３は、ＭＲＩ装置を用いて撮影されたＴｈｉｃｋスライスのＭＲ画像の例である。図４は、ＣＴ装置を用いて撮影されたＴｈｉｎスライスのＣＴ画像の例である。図５は、第１実施形態に係る機械学習システムにおける処理の概要を示す概念図である。図６は、第１実施形態に係る機械学習システムの構成例を示す機能ブロック図である。図７は、学習データ生成部の構成例を示す機能ブロック図である。図８は、第１実施形態において使用される学習データセットの概念図である。図９は、第１実施形態の変形例１を示す概念図である。図１０は、ＭＲ→ＣＴのドメイン変換タスクを学習する機械学習システム１００における処理の概要を示す概念図である。図１１は、第２実施形態において使用する学習データセットの概念図である。図１２は、第２実施形態に係る機械学習システムの構成例を示す機能ブロック図である。図１３は、第２実施形態に係る機械学習システムにおけるＣＴ入力時の処理フローを示す模式図である。図１４は、第２実施形態に係る機械学習システムにおけるＭＲ入力時の処理フローを示す模式図である。図１５は、アキシャル断面が高解像のＴｈｉｃｋスライスのＭＲ画像が入力された場合の処理フローを示す模式図である。図１６は、コロナル断面が高解像のＴｈｉｃｋスライスのＭＲ画像が入力された場合の処理フローを示す模式図である。図１７は、第２実施形態に係る機械学習システムを用いて学習を実施することにより得られた学習済みの生成器によるＣＴ→ＭＲ変換の性能を示す画像例である。図１８は、第２実施形態に係る機械学習システムを用いて学習を実施することにより得られた学習済みの生成器によるＭＲ→ＣＴ変換の性能を示す画像例である。図１９は、比較例に係る機械学習システムに適用される学習モデルの構成例である。図２０は、比較例に係る機械学習システムを用いてＣＴ→ＭＲ変換のタスクを学習させた生成器によって生成された疑似ＭＲ画像の例である。図２１は、機械学習システムに適用される情報処理装置の構成例を示すブロック図である。図２２は、機械学習システムを用いた学習を実施して生成された学習済み生成器を用いた医療画像処理装置の構成例を示すブロック図である。図２３は、第３実施形態に係る機械学習システムの処理の概要を示す概念図である。図２４は、第４実施形態に係る機械学習システムにおける処理の概要を示す概念図である。図２５は、第４実施形態に係る機械学習システムにおいてアキシャル断面が高解像の３次元画像が入力された場合の処理フローを示す模式図である。図２６は、第４実施形態に係る機械学習システムにおいてコロナル断面が高解像の３次元画像が入力された場合の処理フローを示す模式図である。図２７は、コンピュータのハードウェア構成の例を示すブロック図である。

　以下、添付図面に従って本発明の好ましい実施形態について説明する。

　《医療画像の例》
　医療画像を撮影する装置の代表的な例としてＣＴ装置あるいはＭＲＩ装置といったモダリティが挙げられる。これらのモダリティにおいては、基本的な考え方として、２次元スライス画像を連続的に撮影することによって対象物の３次元形態を示す３次元データが得られる。本明細書において「３次元データ」という用語は、連続的に撮影された２次元スライス画像の集合体の概念を含み、３次元画像と同義である。なお、「画像」という用語は、画像データの意味を含む。連続する２次元スライス画像の集合体は「２次元画像シーケンス」あるいは「２次元画像シリーズ」と呼ばれる場合がある。「２次元画像」という用語は、３次元データから取り出される２次元スライス画像の概念を含む。

　ＣＴ装置あるいはＭＲＩ装置などの撮影機器からのデータの再構成によって得られる断面（２次元のスライス断面）としてアキシャル断面、サジタル断面およびコロナル断面の３種類が考えられる。

　図１は、ＭＲＩ装置によって撮影された脳の３次元形態画像から切り出した３種類の各断面の画像例である。図１において左からサジタル断面画像、中央にアキシャル断面画像、右にコロナル断面画像が示されている。本明細書では、体軸方向をｚ軸方向とし、立位姿勢の人体における水平方向（左右方向）をｘ軸方向、奥行き方向（前後方向）をｙ軸方向とする直交座標系を導入する。アキシャル断面はｚ軸に直交する断面（ｘｙ面）、すなわちｘ軸方向およびｙ軸方向に平行な面である。サジタル断面はｘ軸に直交する断面（ｙｚ面）である。コロナル断面はｙ軸に直交する断面（ｚｘ面）である。

　図２は、ＣＴ画像におけるＴｈｉｎスライスと、Ｔｈｉｃｋスライスとの表現差を示す画像例である。図２の上段は、アキシャル断面にてスライス厚が１ｍｍのｔｈｉｎスライスが再構成されている場合の３種類の各断面の画像例を示す。図２の下段はアキシャル断面にてスライス厚が８ｍｍのＴｈｉｃｋスライスが再構成されている場合の３種類の各断面の画像例を示す。図２において左がアキシャル断面、中央がサジタル断面、右がコロナル断面のそれぞれの画像例である。

　図２の上段に示すＴｈｉｎスライスの場合、３種類のすべての断面について高解像度の画像が得られている。一方で、下段に示すＴｈｉｃｋスライスの場合、アキシャル断面は高解像度の画像が得られているものの、他の断面については８ｍｍ厚のスライス情報が平均化されるため、サジタル断面およびコロナル断面の画像の解像度が低下する。

　《医療画像を対象としたドメイン変換による画像生成の課題》
　医療画像を対象とするドメイン変換（ここでは、異種モダリティ画像生成）のタスクを深層学習ベースのアルゴリズムを用いて学習させる場合、既述のとおり、学習に用いるデータの収集が課題の１つである。異種のモダリティにおいて、同じ撮影範囲を、同じ解像度の条件にて撮影したデータを十分に揃えることは困難である。多くの場合、モダリティごとに撮影時の解像度の条件が異なる。

　図３および図４に、モダリティ間で画像の解像度が異なる例を示す。図３には、モダリティＡとしてのＭＲのＴｈｉｃｋスライスの例を示し、図４には、モダリティＢとしてのＣＴのＴｈｉｎスライスの例を示す。

　図３の左側に示す３枚の画像は、コロナル断面が高解像となるＴｈｉｃｋスライスが再構成されたＭＲ画像の例であり、図３の右側に示す３枚の画像は、アキシャル断面が高解像となるＴｈｉｃｋスライスが再構成されたＭＲ画像の例である。ＭＲＩ装置によって撮影されたＭＲ画像は、コロナル断面のみが解像度が高く、アキシャル断面とサジタル断面との２断面はどちらも解像度が低い３次元データの場合もあれば、アキシャル断面のみが解像度が高く、コロナル断面とサジタル断面との解像度が低い３次元データの場合もあり得る。

　コロナル断面のみが高解像である３次元データは、ｘ軸方向およびｚ軸方向の解像度が高く、ｙ軸方向の解像度が低いデータである。一方、アキシャル断面のみが高解像である３次元データは、ｘ軸方向およびｙ軸方向の解像度が高く、ｚ軸方向の解像度が低いデータである。

　このように実際の撮影によって取得されたＭＲ画像（実ＭＲ画像）の場合、３種類の断面のうち１つの断面のみが高解像度であり、他の２つの断面は低解像度である場合が多い。なお、ＭＲ画像には、Ｔ１強調画像、Ｔ２強調画像、ＨｅａｖｙＴ２強調画像、あるいは拡散強調画像など、様々な種類の画像があり得る。

　これに対し、ＣＴ装置を用いた撮影によって得られるＴｈｉｎスライスの３次元データは、図４に示すように、３種類の断面のすべての断面について（３軸のすべての軸方向について）解像度が高いデータとなり得る。

　図３および図４に示すような３次元データにおける各軸方向の解像度の違いは、３次元データを取得する際の撮影条件に依存する。なお、ＣＴ装置においてもＴｈｉｃｋスライスの撮影を行った場合には、図３のように、特定の方向の断面のみが解像度の高い３次元データとなり得る。

　《第１実施形態》
　第１実施形態では、図３に例示するような一部の軸方向の解像度が低い３次元データが混在する学習データセットを用いる場合であっても、３軸すべての方向（すなわち、３種類の各断面）について高解像の生成画像が得られる異種ドメイン画像生成（画像変換）を実現する機械学習システムの例を説明する。

　図５は、第１実施形態に係る機械学習システム１０における処理の概要を示す概念図である。ここでは、ソースドメインをＣＴ、ターゲットドメインをＭＲとし、ＣＴ画像から擬似的なＭＲ画像を生成する画像変換タスクを、ＧＡＮのアーキテクチャをベースにして学習する方法について説明する。

　第１実施形態に係る機械学習システム１０は、３次元ＣＮＮ（Convolutional Neural Network）を用いて構成された生成器２０Ｇと、それぞれが２次元ＣＮＮを用いて構成された少なくとも２つの判別器２４Ｄ、２６Ｄとを含む。生成器２０Ｇは、ＣＴのドメインの特徴を持つ３次元データの入力を受けて、ＭＲのドメインの特徴を持つ３次元データを出力する３次元の生成ネットワーク（３Ｄジェネレータ）である。生成器２０Ｇには、例えば、Ｕ－ｎｅｔを３次元に拡張したＶ－ｎｅｔ型のアーキテクチャが適用される。

　Ｕ－ｎｅｔは、医療画像のセグメンテーション等に広く用いられているニューラルネットワークである。Ｕ－ｎｅｔについて記載された文献として例えば、「Olaf Ronneberger, et al. "U-Net: Convolutional Networks for Biomedical Image Segmentation", MICCAI,2015」がある。また、Ｖ－ｎｅｔについて記載された文献として例えば、「Fausto Milletari, et.al. "V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation"」がある。

　複数の判別器２４Ｄ、２６Ｄは、それぞれが異なる断面方向の２次元画像の入力に対応して画像の真偽を判別する２次元の判別ネットワーク（２Ｄディスクリミネータ）である。判別器２４Ｄ、２６Ｄのそれぞれには、例えば、いわゆるＰｉｘ２Ｐｉｘと呼ばれる技術で用いられる２次元のディスクリミネータのアーキテクチャが適用される。Ｐｉｘ２Ｐｉｘについて記載された文献として例えば、「Phillip Isola, et.al. "Image-to-Image Translation with Conditional Adversarial Nets"」がある。

　第１実施形態では、生成器２０Ｇによる生成画像が３次元であることから、判別器２４Ｄ，２６Ｄへの入力は、特定のスライス厚方向に分割した２次元の画像として扱う。そして、これら分割された各スライス画像（２次元画像）について得られた真偽の判別結果の出力の平均値を最終的な判別器２４Ｄ，２６Ｄの出力として用いる。

　第１実施形態においては、訓練用のデータとして、ＣＴ装置を用いた撮影によって実際に得られたＣＴの３次元データ（実ＣＴ画像）と、ＭＲＩ装置を用いた撮影によって実際に得られたＭＲの３次元データ（実ＭＲ画像）との画像のペアが用いられる。

　入力として与える異種モダリティ画像は、撮影対象部位が同一であることが望ましい。また、生成器２０Ｇによる変換後の出力（生成画像）は、入力画像と同一部位の画像とする。第１実施形態において、訓練に使用するペアの関係にあるＣＴの３次元データと、ＭＲの３次元データとは、同じ患者について、同じ撮影範囲若しくは、実質的に同じ撮影範囲と見做すことができる程度の許容範囲で概ね同じ撮影範囲を撮影したものであるとする。第１実施形態の場合、学習に用いるＭＲの３次元データは、アキシャル断面の解像度が高い（サジタル断面とコロナル断面の解像度が低い）Ｔｈｉｃｋスライスのデータ、および、コロナル断面の解像度が高い（アキシャル断面とサジタル断面の解像度が低い）Ｔｈｉｃｋスライスのデータであるとする（図３参照）。

　この場合、一方の判別器２４Ｄは、アキシャル断面の２次元画像の入力に対して真偽を判別する２Ｄアキシャル判別器であり、他方の判別器２６Ｄはコロナル断面の２次元画像の入力に対して真偽を判別する２Ｄコロナル判別器である。

　また、第１実施形態において学習に用いるＣＴの３次元データについては、３種類の各断面の解像度が高いＴｈｉｎスライスのデータ（図４参照）であってもよいし、ＭＲと同様に、３種類の断面のうちいずれか１断面の解像度が低いＴｈｉｃｋスライスのデータであってもよい。

　生成器２０Ｇは、等方解像度の３次元ＣＴ画像の入力を受けて、等方解像度の３次元ＭＲ生成画像を出力するように構成される。機械学習システム１０は、生成器２０Ｇの前段において、３次元データの等方化処理を行う等方化処理部１２を含む。等方化処理は、ｘ軸方向、ｙ軸方向およびｚ軸方向の各軸方向の画素の大きさを等間隔に変換する処理であり、３次元データにおける（ｘ，ｙ，ｚ）の各軸方向の単位長さを等間隔の物理サイズに変換する処理である。すなわち、等方化処理は、３次元データにおけるボクセルを所定サイズの立方体に変換する処理に相当する。ボクセルの形状が立方体であること、つまり、３次元画像のｘ軸、ｙ軸およびｚ軸のすべて軸方向の解像度が等しいことを等方解像度という。

　等方化処理部１２は、例えば、最近傍補間、線形補間、あるいはスプライン補間などを用いて、３次元空間の正規格子単位が１ｍｍ^３の物理サイズでデータを補間する。正規格子単位の物理サイズは１ｍｍ^３に限定されず、読影に求められる十分な解像度が得られるサイズであればよい。

　ＣＴの３次元データは、生成器２０Ｇへの入力前に、公知の技術を用いて等方化処理を実施してもよいし、等方化処理を省略して生成器２０Ｇから出力される疑似ＭＲ画像が等方化されたものとなるように生成器２０Ｇの３次元ＣＮＮを設計してもよい。

　また、例えば、等方解像度の３次元画像の入力および出力を行う生成器２０Ｇに代えて、（ｘ，ｙ，ｚ）の単位格子が非等方の３次元ＣＴ画像の入力を受けて、同じ格子サイズの（ｘ，ｙ，ｚそれぞれの画素間隔が維持された）非等方の３次元疑似ＭＲ画像を出力する生成器を設計してもよい。

　機械学習システム１０は、さらに、生成器２０Ｇが生成した３次元データから少なくとも２つのスライス面（断面）方向についての２次元画像を切り出す第１切り出し処理部１４および第２切り出し処理部１６を含む。第１切り出し処理部１４および第２切り出し処理部１６が行う切り出し処理は、３次元データから特定の方向のスライス（２次元画像）を取り出す処理である。切り出し処理が行われる特定の方向は、判別器２４Ｄ、２６Ｄのそれぞれに入力させる断面画像を示す２次元画像の断面の方向に対応している。

　第１実施形態では、アキシャル断面の２次元画像の入力を受け付ける判別器２４Ｄと、コロナル断面の２次元画像の入力を受け付ける判別器２６Ｄとのそれぞれに対応して、アキシャル断面のスライスを切り出す第１切り出し処理部１４と、コロナル断面のスライスを切り出す第２切り出し処理部１６とを備える。

　第１切り出し処理部１４および第２切り出し処理部１６のそれぞれは、生成器２０Ｇから出力された３次元の疑似ＭＲ画像から特定の方向のスライスをすべて取り出す処理を実施してもよい。例えば、疑似ＭＲ画像の画像サイズが６４×６４×６４である場合、第１切り出し処理部１４は、ｘｙ面の画像サイズが６４×６４である２次元画像を６４枚取り出す処理を行い、第２切り出し処理部１６は、ｚｘ面の画像サイズが６４×６４である２次元画像を６４枚取り出す処理を行う構成であってもよい。

　判別器２４Ｄには、第１切り出し処理部１４によって切り出された２次元画像、または学習データに含まれる実ＭＲ画像のうちアキシャル断面が高解像度の３次元データから取り出された２次元画像が入力され、判別器２４Ｄにおいて、リアル画像であるか、生成器２０Ｇによって生成されたフェイク画像であるかの真偽判別が行われる。

　同様に、判別器２６Ｄには、第２切り出し処理部１６によって取り出された２次元画像、または学習データのうちコロナル断面が高解像度のＭＲの３次元データから取り出された２次元画像が入力され、判別器２６Ｄにおいて、リアル画像であるか、フェイク画像であるかの真偽判別が行われる。

　「リアル画像」とは、撮影機器を用いて実際に撮影が行われることによって得られた実際の画像を意味する。「フェイク画像」とは、撮影を行うことなく、画像変換の処理によって人工的に生成された生成画像（疑似画像）を意味する。第１実施形態の場合、学習モデル４４に入力する学習データとして使用するデータは「リアル画像」であり、生成器２０Ｇが生成した生成画像は「フェイク画像」である。

　学習データとして用意された実ＭＲ画像は、３種類の断面方向のうちいずれか１方向にのみ高解像であるため、その高解像の断面の２次元画像を用いて真偽判別を行うように、入力されるデータに応じて、高解像のスライス面方向に対応した２次元の判別器２４Ｄ，２６Ｄを選択的に切り替えて使用する。

　このように、機械学習システム１０においては、入力画像の解像度の条件に応じて、真偽判別の画像評価に用いる判別器２４Ｄ，２６Ｄを使い分け、解像度の高い断面の２次元画像のみを用いてリアル画像であるか、フェイク画像であるかの評価が行われる。

　生成器２０Ｇは本開示における「第１生成器」の一例である。判別器２４Ｄは本開示における「第１判別器」の一例であり、判別器２６Ｄは本開示における「第２判別器」の一例である。ＣＴのドメインは本開示における「第１ドメイン」の一例であり、ＭＲのドメインは「第２ドメイン」の一例である。

　撮影に使用した撮影機器がＣＴ装置であることは本開示における「第１撮影条件」の一例である。撮影に使用した撮影機器がＭＲＩ装置であることは本開示における「第２撮影条件」の一例である。ＣＴ装置は本開示における「第１撮影機器」、「第１モダリティ」の一例であり、ＣＴ画像は本開示における「第１モダリティ画像」の一例である。ＭＲＩ装置は本開示における「第２撮影機器」、「第２モダリティ」の一例であり、ＭＲ画像は本開示における「第２モダリティ画像」の一例である。Ｔｈｉｎスライスは本開示における「第１解像度条件」の一例である。Ｔｈｉｃｋスライスは本開示における「第２解像度条件」の一例である。

　アキシャル断面が得られるスライス面方向は本開示における「第１スライス面方向の一例であり、コロナル断面が得られるスライス面方向は本開示における「第２スライス面方向」の一例である。第１切り出し処理部１４が行う切り出し処理は本開示における「第１切り出し処理」の一例であり、第２切り出し処理部１６が行う切り出し処理は本開示における「第２切り出し処理」の一例である。等方化処理部１２が行う等方化処理は本開示における「第１等方化処理」の一例である。

　《機械学習システム１０の構成例》
　図６は、第１実施形態に係る機械学習システム１０の構成例を示す機能ブロック図である。機械学習システム１０は、学習データ生成部３０と、学習処理部４０とを含む。機械学習システム１０は、さらに、画像保存部５０と学習データ保存部５４とを含んでいてもよい。

　機械学習システム１０は、１台又は複数台のコンピュータを含むコンピュータシステムによって実現することができる。学習データ生成部３０、学習処理部４０、画像保存部５０および学習データ保存部５４のそれぞれの機能は、コンピュータのハードウェアとソフトウェアの組み合わせによって実現できる。これら各部の機能は１台のコンピュータで実現してもよいし、２以上の複数台のコンピュータで処理の機能を分担して実現してもよい。

　ここでは、学習データ生成部３０、学習処理部４０、画像保存部５０および学習データ保存部５４のそれぞれが別々の装置として構成される例を説明する。例えば、学習データ生成部３０、学習処理部４０、画像保存部５０および学習データ保存部５４は、電気通信回線を介して互いに接続されていてもよい。「接続」という用語は、有線接続に限らず、無線接続の概念も含む。電気通信回線は、ローカルエリアネットワークであってもよいし、ワイドエリアネットワークであってもよい。このように構成することで、学習データの生成処理と生成モデルの学習処理とを物理的にも時間的にも互いに束縛されることなく実施することができる。

　画像保存部５０は、医療用Ｘ線ＣＴ装置によって撮影されたＣＴ再構成画像（ＣＴ画像）およびＭＲＩ装置によって撮影されたＭＲ再構成画像（ＭＲ画像）を保存する大容量ストレージ装置を含む。画像保存部５０は、例えば、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）の規格に準じて医療画像を保存するＤＩＣＯＭサーバであってもよい。画像保存部５０に保存される医療画像は、人体の部位毎の画像であってもよいし、全身を撮影した画像であってもよい。

　学習データ生成部３０は、機械学習に用いる訓練用のデータ（学習データ）を生成する。学習データは、「訓練データ」と同義である。第１実施形態に係る機械学習システム１０においては、ＣＴ装置を用いて実際に撮影された実ＣＴ画像である３次元データと、ＭＲＩ装置を用いて実際に撮影された実ＭＲ画像である３次元データとが関連付けされた複数の画像ペアを学習データとして使用する。このような学習データは、画像保存部５０に保存されているデータから生成することが可能である。

　学習データ生成部３０は、画像保存部５０からオリジナルの３次元データを取得し、等方化、姿勢変換および固定サイズ領域の切り出しなどの前処理を行い、学習処理部４０への入力に適した所望の画素数（ボクセル数）および画像サイズの３次元データを生成する。学習処理部４０による学習の処理を効率的に実施するために、事前に学習データ生成部３０を用いて複数の学習データを生成しておき、学習データセットとしてストレージに保存しておいてもよい。

　学習データ保存部５４は、学習データ生成部３０により生成された前処理済みの学習データを保存しておくストレージを含む。学習データ生成部３０によって生成された学習データは、学習データ保存部５４から読み出され、学習処理部４０に入力される。

　なお、学習データ保存部５４は、学習データ生成部３０に含まれてもよし、画像保存部５０の記憶領域の一部が学習データ保存部５４として用いられてもよい。また、学習データ生成部３０の処理機能の一部または全部は、学習処理部４０に含まれていてもよい。

　学習処理部４０は、画像取得部４２と、ＧＡＮの構造を持つ学習モデル４４とを含む。画像取得部４２は、学習データ保存部５４から学習モデル４４に入力する学習データを取得する。画像取得部４２を介して取得された学習データは学習モデル４４に入力される。学習モデル４４は、生成器２０Ｇと、第１切り出し処理部１４と、第２切り出し処理部１６と、判別器２４Ｄ，２６Ｄとを含んで構成される。

　学習処理部４０は、さらに、誤差演算部４６と、オプティマイザ４８とを含む。誤差演算部４６は、損失関数を用いて判別器２４Ｄ，２６Ｄからの出力と正解との誤差を評価する。さらに、誤差演算部４６は、第１切り出し処理部１４によって取り出された疑似ＭＲ（フェイクＭＲ）の２次元画像と、これに対応する正解の（リアルＭＲの）２次元画像との誤差を評価する。誤差はロス（損失）と言い換えてもよい。

　オプティマイザ４８は、誤差演算部４６の演算結果を基に、学習モデル４４におけるネットワークのパラメータを更新する処理を行う。ネットワークのパラメータは、ＣＮＮの各層の処理に用いるフィルタのフィルタ係数（ノード間の結合の重み）およびノードのバイアスなどを含む。

　すなわち、オプティマイザ４８は、誤差演算部４６の演算結果から生成器２０Ｇおよび判別器２４Ｄ，２６Ｄのそれぞれのネットワークのパラメータの更新量を算出するパラメータ演算処理と、パラメータ演算処理の演算結果に従い、生成器２０Ｇおよび判別器２４Ｄ，２６Ｄのそれぞれのネットワークのパラメータを更新するパラメータ更新処理とを行う。オプティマイザ４８は、勾配降下法などのアルゴリズムに基づきパラメータの更新を行う。

　学習処理部４０は、入力された学習データに基づいて、生成器２０Ｇと判別器２４Ｄ，２６Ｄとを用いた敵対的な学習を繰り返すことにより、それぞれのモデルの性能を高めながら、学習モデル４４を学習させる。

　《学習データの生成について》
　図７は、学習データ生成部３０の構成例を示す機能ブロック図である。学習データ生成部３０は、等方化処理部１２と、姿勢変換部３２と、固定サイズ領域切り出し処理部３４とを含む。学習データ生成部３０は、例えば、等方化処理部１２によってｘ軸、ｙ軸およびｚ軸の各方向の画素単位のサイズを１ｍｍに等方化した３次元データに対して、姿勢変換部３２にて姿勢変換を行い、その後、固定サイズ領域切り出し処理部３４により、無作為に固定サイズ領域を切り出す処理を行う。固定サイズ領域は、ｘ軸方向×ｙ軸方向×ｚ軸方向の画素数が、例えば「160×160×160」などの立方体形状の３次元領域であってよい。

　学習データ生成部３０に入力されるオリジナルの３次元データは、ＣＴ画像であってもよいし、ＭＲ画像であってもよい。固定サイズ領域切り出し処理部３４によって固定サイズ領域に切り出された固定サイズの３次元データは、学習データ保存部５４に保存される。なお、固定サイズ領域に切り出された固定サイズの３次元データを学習データと理解してもよいし、固定サイズ領域に切り出す前のオリジナルの３次元データを学習データと理解してもよい。

　図８は、第１実施形態において使用される学習データセットの概念図である。第１実施形態においては、ＣＴのＴｈｉｎスライスの３次元データと、これに対応するＭＲのＴｈｉｃｋスライスの３次元データとのペアが複数組み用意され、これらの画像ペアが学習データとして用いられる。

　《第１実施形態における学習方法》
　第１実施形態における機械学習システム１０では、入力される３次元データに応じて、真偽判別に用いる判別器２４Ｄ，２６Ｄの切り替えが行われる。すなわち、アキシャル断面が高解像のＭＲ画像とこれに対応するＣＴ画像との画像ペアが入力された場合、生成器２０Ｇによる変換後の生成画像の判別は、アキシャル断面の２次元画像を評価する判別器２４Ｄによって行われる。

　一方、コロナル断面が高解像のＭＲ画像とこれに対応するＣＴ画像との画像ペアが入力された場合、生成器２０Ｇによる変換後の生成画像の判別は、コロナル断面の２次元画像を評価する判別器２６Ｄによって行われる。

　このように、敵対的学習において、高解像の断面の２次元画像のみを用いて生成画像の評価を行うことにより、生成器２０Ｇはｘ軸、ｙ軸およびｚ軸の各軸方向について高解像の３次元画像を生成する性能を獲得する。第１実施形態に係る機械学習システム１０を用いて学習を実行することにより、アキシャル断面、コロナル断面およびサジタル断面の各断面が高解像の画像が得られる３次元の生成器２０Ｇを得ることができる。

　機械学習システム１０を用いた学習処理によって学習済みの生成器２０Ｇを生成する方法は、本開示における「学習済みモデルの生成方法」の一例である。学習に使用したＴｈｉｎスライスのＣＴ画像は本開示における「第１撮影条件により撮影された３次元画像」の一例であり、ＴｈｉｃｋスライスのＭＲ画像は本開示における「第２撮影条件により撮影された３次元画像」の一例である。Ｔｈｉｃｋスライスの３次元データは本開示における「等方性３次元データ」の一例であり、Ｔｈｉｃｋスライスの３次元データは本開示における「非等方性３次元データ」の一例である。アキシャル断面が高解像のＴｈｉｃｋスライスの３次元データは、ｚ軸方向の解像度が他の２軸方向（ｘ軸方向およびｙ軸方向）のそれぞれの解像度よりも低い非等方性３次元データであり、本開示における「ｚ軸低解像の非等方性３次元データ」の一例である。アキシャル高解像の３次元データにおけるアキシャル断面の方向は、相対的に解像度が高いｘ軸方向およびｙ軸方向に平行なスライス面方向である。コロナル断面が高解像のＴｈｉｃｋスライスの３次元データは、本開示における「ｙ軸低解像の非等方性３次元データ」の一例である。生成器２０Ｇから出力される疑似ＭＲ画像は本開示における「第２モダリティ生成画像」の一例である。

　《変形例１》
　図９は、第１実施形態の変形例１を示す概念図である。図９において、図５と共通する要素には同一の符号を付し、重複する説明は省略する。図９に示す構成について、図５と異なる点を説明する。

　図５に示す第１実施形態では、アキシャル断面の２次元画像を評価する判別器２４Ｄと、コロナル断面の２次元画像を評価する判別器２６Ｄとの２種類の２次元ディスクリミネータを用いる例を説明したが、図９に示す変形例１に係る機械学習システム１１は、図５の構成に加えて、生成器２０Ｇの生成画像からサジタル断面方向の２次元画像を取り出す切り出し処理を行う切り出し処理部１８と、サジタル断面の２次元画像を評価する判別器２８Ｄとを備える。判別器２８Ｄは、他の判別器２４Ｄ，２６Ｄと同様に、２次元ＣＮＮを用いて構成される。

　この変形例１の場合、学習データとして、サジタル断面の解像度が高いＴｈｉｃｋスライスのＭＲ画像とこれに対応するＣＴ画像とのペアを用いることができる。

　変形例１に係る機械学習システム１１によれば、サジタル断面が高解像のＭＲ画像とこれに対応するＣＴ画像とのペア画像が入力された場合、生成器２０Ｇによる変換後の生成画像の判別は、サジタル断面の２次元画像を評価する判別器２８Ｄによって行われる。

　変形例１に係る機械学習システム１１を用いて学習を実行することにより、アキシャル断面、コロナル断面およびサジタル断面の各断面が高解像の生成画像が得られる３次元の画像変換（ドメイン変換）を行う生成器２０Ｇを得ることができる。

　《変形例２》
　第１実施形態では、学習データとして、ｚ軸低解像の非等方性３次元データと、ｙ軸低解像の非等方性３次元データとを用いる例を説明したが、２種類の低解像度データの組み合わせについては、この例に限らない。

　ｚ軸方向が低解像度の３次元データと、ｙ軸方向が低解像度の３次元データと、ｘ軸方向が低解像度の３次元データとの３種類の低解像度データが想定される場合、２種類の低解像度データの組み合わせは、全部で３通りある。
　［組み合わせ１］ｚ軸方向が低解像度の３次元データとｙ軸方向が低解像度の３次元データとの組み合わせ
　［組み合わせ２］ｙ軸方向が低解像度の３次元データとｘ軸方向が低解像度の３次元データとの組み合わせ
　［組み合わせ３］ｘ軸方向が低解像度の３次元データとｚ軸方向が低解像度の３次元データとの組み合わせ

　第１実施形態で説明した例は［組み合わせ１］のケースである。［組み合わせ２］の学習データを用いる場合、判別器として、コロナル断面の２次元画像の入力を受け付けて真偽を判別する２Ｄコロナル判別器と、サジタル断面の２次元画像の入力を受け付けて真偽を判別する２Ｄサジタル判別器とが用いられ、各判別器への入力に際して３次元生成画像から各判別器に対応したスライス面方向の断面画像の切り出し処理が行われる。

　サジタル断面が高解像のＴｈｉｃｋスライスの３次元データは、ｘ軸方向が低解像度の３次元データの一例であり、本開示における「ｘ軸低解像の非等方性３次元データ」の一例である。

　同様に、［組み合わせ３］の学習データを用いる場合、判別器として、２Ｄサジタル判別器と、２Ｄアキシャル判別器とが用いられ、各判別器への入力に際して３次元生成画像から各判別器に対応したスライス面方向の対応した断面画像の切り出処理が行われる。

　《ＭＲＩ→ＣＴ変換について》
　第１実施形態では実ＣＴ画像から疑似ＭＲ画像を生成するＣＴ→ＭＲ変換の例を説明したが、第１実施形態における学習に使用した学習データと同様のデータセット（Ｔｈｉｃｋスライスのデータを含むデータセット）を用いて、ＭＲ画像から疑似ＣＴ画像を生成するＭＲＩ→ＣＴ変換を行う生成器を学習させることも可能である。

　この場合、第１実施形態に係る学習モデルと同様のアーキテクチャを適用してもよいが、ＴｈｉｎスライスのＣＴ画像のように、３種類の各断面がすべて高解像の３次元データが存在する場合は、生成された疑似ＣＴ画像を評価する判別器として３次元の判別器（３Ｄディスクリミネータ）を適用し得る。

　図１０は、ＭＲ→ＣＴのドメイン変換タスクを学習する機械学習システム１００における処理の概要を示す概念図である。機械学習システム１００は、３次元ＣＮＮを用いて構成された生成器１２０Ｆと、３次元ＣＮＮを用いて構成された判別器１２４Ｄとを含む。機械学習システム１００は、生成器１２０Ｆの入力前に３次元データを等方化処理する等方化処理部１１２および図示しない姿勢変換部および固定サイズ領域切り出し処理部を含んでいてもよい。

　判別器１２４Ｄは、生成器１２０Ｆによって生成された３次元データ、または、学習データに含まれる実ＣＴ画像である３次元データの入力を受けて、入力された３次元データがリアル画像であるか、フェイク画像であるかの判別を行う。

　学習データとして用いられるＴｈｉｎスライスの実ＣＴ画像は、３軸の各方向に高解像のため、図１０のように、３次元の判別器１２４Ｄを用いて学習することが可能である。

　《第２実施形態》
　医療画像の場合、異種モダリティ間で対応するペア画像を用意することが困難な場合も多い。第２実施形態では、非特許文献２に記載されているＣｙｃｌｅＧＡＮの仕組みをベースにしたアーキテクチャを採用し、対応関係の無い（ペアでない）それぞれのドメインの画像群を学習データとして用いて、ドメイン変換のタスクを学習する例を説明する。

　図１１は、第２実施形態において使用する学習データセットの概念図である。第２実施形態の場合、実ＣＴ画像の画像群と、実ＭＲ画像の画像群とがそれぞれ存在していればよい。第２実施形態では、学習に用いるデータとして、ＣＴおよびＭＲＩのそれぞれのドメインにおいて複数の実画像の３次元データが用いられる。それぞれのドメインの３次元データは、図３および図４において説明したものと同様であってよい。

　第２実施形態に用いる学習データセットには、Ｔｈｉｎスライスの３次元データと、ＭＲＩ装置を用いて撮影されたＴｈｉｃｋスライスの３次元データとがそれぞれ複数個含まれる。なお、学習データセットには、ＣＴ装置を用いて撮影されたＴｈｉｃｋスライスの３次元データが含まれていてもよい。

　図１２は、第２実施形態に係る機械学習システム２１０の構成例を示す機能ブロック図である。図１２において、図６に示す構成と同一または類似の要素には同一の符号を付し、重複する説明は省略する。

　図１２に示す学習データ保存部５４には、図１１で説明したようなＴｈｉｎスライスの３次元データとＴｈｉｃｋスライスの３次元データとが混在する学習データセットが保存されている。

　機械学習システム２１０は、図６における学習処理部４０に代えて、学習処理部２４０を含む。学習処理部２４０は、画像取得部４２と、前処理部２３０と、学習モデル２４４と、誤差演算部２４６と、オプティマイザ２４８とを含む。

　前処理部２３０は、図７において説明した学習データ生成部３０と同様の処理を行うものであり、等方化処理部１２、姿勢変換部３２および固定サイズ領域切り出し処理部３４を含む。前処理部２３０は、画像取得部４２を介して取得した３次元データに対して、学習モデル２４４への入力のための前処理を行う。ここでは、前処理として、等方化処理、姿勢変換および固定サイズ領域の取り出し処理を例示するが、これらの処理は必要に応じて実施さればよく、前処理部２３０における処理の一部または全部は省略することも可能である。また、前処理部２３０は、ＣＴ画像の前処理を行うＣＴ用の前処理部と、ＭＲ画像の前処理を行うＭＲ用の前処理部とが別々に構成されていてもよい。

　学習モデル２４４は、第１生成器２２０Ｇと、第１切り出し処理部１４と、第２切り出し処理部１６と、第１判別器２２４Ｄと、第２判別器２２６Ｄと、第２生成器２５０Ｆと、第３切り出し処理部２５４と、第４切り出し処理部２５６と、第３判別器２６４Ｄと、第４判別器２６６Ｄとを含んで構成される。

　第１生成器２２０Ｇと第２生成器２５０Ｆとはそれぞれが３次元ＣＮＮを用いて構成される。第１生成器２２０Ｇおよび第２生成器２５０Ｆのそれぞれのネットワーク構造は、第１実施形態で説明した生成器２０Ｇと同様であってよい。

　第１判別器２２４Ｄ、第２判別器２２６Ｄ、第３判別器２６４Ｄおよび第４判別器２６６Ｄのそれぞれは２次元ＣＮＮを用いて構成される。これらの判別器のネットワーク構造は、第１実施形態で説明した判別器２４Ｄ，２６Ｄと同様であってよい。

　第１生成器２２０Ｇは、ＣＴ→ＭＲＩのドメイン変換を行う３Ｄジェネレータであり、ＣＴのドメインの特徴を持つ３次元データの入力を受け付け、ＭＲのドメインの特徴を持つ３次元データを生成して出力する。図１２において第１生成器２２０Ｇに入力される「３Ｄ＿ＣＴ」という記載は、等方化された実ＣＴ画像の３次元データを表している。

　第２生成器２５０Ｆは、ＭＲＩ→ＣＴのドメイン変換を行う３Ｄジェネレータであり、ＭＲのドメインの特徴を持つ３次元データの入力を受け付け、ＣＴのドメインの特徴を持つ３次元データを生成して出力する。図１２において第２生成器２５０Ｆに入力される「３Ｄ＿ＭＲ」という記載は、等方化された実ＭＲ画像の３次元データを表している。

　第１生成器２２０Ｇの出力は、第２生成器２５０Ｆの入力と接続され、第１生成器２２０Ｇによって生成された疑似ＭＲ画像は、第２生成器２５０Ｆに入力され得る。

　また、第２生成器２５０Ｆの出力は、第１生成器２２０Ｇの入力と接続され、第１生成器２２０Ｇによって生成された疑似ＣＴ画像は、第２生成器２５０Ｆに入力され得る。

　第３切り出し処理部２５４は、第２生成器２５０Ｆから出力された疑似ＣＴ画像の３次元データから、アキシャル断面のスライスを取り出す切り出し処理を行う。第３切り出し処理部２５４によって取り出された２次元画像は第３判別器２６４Ｄに入力される。

　第３判別器２６４Ｄには、第３切り出し処理部２５４によって取り出された２次元画像、または学習データに含まれる実際のＣＴの３次元データ（リアルＣＴ画像）から取り出されたアキシャル断面の２次元画像が入力され、第３判別器２６４Ｄにおいて、リアル画像であるか、第２生成器２５０Ｆによって生成されたフェイク画像であるかの判別が行われる。

　第４切り出し処理部２５６は、第２生成器２５０Ｆから出力された３次元の疑似ＣＴ画像から、コロナル断面のスライスを取り出す切り出し処理を行う。第４切り出し処理部２５４によって取り出された２次元画像は第４判別器２６６Ｄに入力される。

　第４判別器２６６Ｄには、第４切り出し処理部２５６によって取り出された２次元画像、または学習データに含まれる実際のＣＴの３次元データ（リアルＣＴ画像）から取り出されたコロナル断面の２次元画像が入力され、第４判別器２６６Ｄにおいて、リアル画像であるか、フェイク画像であるかの判別が行われる。

　誤差演算部４６は、損失関数を用いてそれぞれの判別器（２２４Ｄ，２２６Ｄ，２６４Ｄ，２６６Ｄ）からの出力と正解との誤差（Adversarial Loss）を評価する。さらに、誤差演算部４６は、第１生成器２２０Ｇと第２生成器２５０Ｆとを接続した画像変換による再構成ロス（Cycle Consistency Loss）を評価する。

　再構成ロスには、第１生成器２２０ＧによるＣＴ→ＭＲ変換の出力を第２生成器２５０Ｆに入力することにより第２生成器２５０Ｆから出力される再構成生成画像と、第１生成器２２０Ｇに入力した元の入力画像との誤差（ＣＴ→ＭＲ→ＣＴ変換による再構成ロス）と、第２生成器２５０ＦによるＭＲ→ＣＴ変換の出力を第２生成器２５０Ｆに入力することにより第１生成器２２０Ｇから出力される再構成生成画像と、第２生成器２５０Ｆに入力した元の入力画像との誤差（ＭＲ→ＣＴ→ＭＲ変換による再構成ロス）とがある。

　オプティマイザ２４８は、誤差演算部２４６の演算結果を基に、学習モデル２４４におけるネットワークのパラメータを更新する処理を行う。オプティマイザ２４８は、誤差演算部４６の演算結果から第１生成器２２０Ｇ、第１判別器２２４Ｄ、第２判別器２２６Ｄ、第２生成器２５０Ｆ、第３判別器２６４Ｄおよび第４判別器２６６Ｄのそれぞれのネットワークのパラメータの更新量を算出するパラメータ演算処理と、パラメータ演算処理の演算結果に従い、それぞれのネットワークのパラメータを更新するパラメータ更新処理とを行う。

　〈ＣＴ入力時の処理（ＣＴ→ＭＲ）の概要〉
　図１３は、第２実施形態に係る機械学習システム２１０におけるＣＴ入力時の処理の流れを示す概念図である。以下の説明では、第１生成器２２０Ｇおよび第２生成器２５０Ｆのそれぞれが等方解像度の３次元画像の入力を受けて、等方解像度の３次元生成画像を出力する構成である場合を説明するが、既述のとおり、非等方解像度の３次元画像の入力を受け付ける生成器であってもよい。

　ＣＴの３次元データは、等方化処理部１２による等方化処理等を経て等方解像度の３次元のＣＴ画像ＣＴｒとして第１生成器２２０Ｇに入力される。第１生成器２２０Ｇは、ＣＴ画像ＣＴｒの入力を受けて、ＣＴ→ＭＲ変換を行い、疑似ＭＲ画像ＭＲｓｙｎを出力する。

　この疑似ＭＲ画像ＭＲｓｙｎは、第１切り出し処理部１４および第２切り出し処理部１６のそれぞれによって特定の断面方向のスライス（２次元画像）に分割されて、断面方向ごとの第１判別器２２４Ｄおよび第２判別器２２６Ｄに入力され、第１判別器２２４Ｄおよび第２判別器２２６Ｄのそれぞれにより真偽判別が行われる。

　また、疑似ＭＲ画像ＭＲｓｙｎは、さらに第２生成器２５０Ｆに入力され、第２生成器２５０ＦによりＭＲ→ＣＴ変換が行われて第２生成器２５０Ｆから再構成ＣＴ画像ＣＴｒｅｃが出力される。

　機械学習システム２１０では、第２生成器２５０Ｆから出力された再構成ＣＴ画像ＣＴｒｅｃと、元のＣＴ画像ＣＴｒとの差異を示す再構成ロスが評価される。この再構成ロスは本開示における「第１再構成ロス」の一例である。

　第１生成器２２０Ｇと第２生成器２５０Ｆとをこの順に用いた変換処理によって生成される再構成ＣＴ画像ＣＴｒｅｃは本開示における「第１再構成生成画像」の一例である。

　〈ＭＲ入力時の処理（ＭＲ→ＣＴ）の概要〉
　図１４は、第２実施形態に係る機械学習システム２１０におけるＭＲ入力時の処理の流れを示す概念図である。ＭＲの３次元データは、等方化処理部１２による等方化処理等を経て等方解像度の３次元のＭＲ画像ＭＲｒとして第２生成器２５０Ｆに入力される。第２生成器２５０Ｆは、ＭＲ画像ＭＲｒの入力を受けて、ＭＲ→ＣＴ変換を行い、疑似ＣＴ画像ＣＴｓｙｎを出力する。ＭＲの３次元データに対して行われる等方化処理は本開示における「第２等方化処理」の一例である。

　この疑似ＣＴ画像ＣＴｓｙｎは、第３切り出し処理部２５４および第４切り出し処理部２５６のそれぞれによって特定の断面方向のスライス（２次元画像）に分割されて、断面方向ごとの第３判別器２６４Ｄおよび第４判別器２６６Ｄに入力され、第３判別器２６４Ｄおよび第４判別器２６６Ｄのそれぞれにより真偽判別が行われる。

　また、疑似ＣＴ画像ＣＴｓｙｎは、さらに第１生成器２２０Ｇに入力され、第１生成器２２０ＧによりＣＴ→ＭＲ変換が行われて第１生成器２２０Ｇから再構成ＭＲ画像ＭＲｒｅｃが出力される。

　ＭＲ→ＣＴ→ＭＲの再構成ロスについては、図１３と同様に、再構成ＭＲ画像ＭＲｒｅｃと、元のＭＲ画像ＭＲｒとの差異を計算してもよいが、図１５および図１６に示すように、再構成ＭＲ画像ＭＲｒｅｃに対して、アベレージプーリング処理を行い、入力に用いられたＴｈｉｃｋスライスの（等方化する前の）ＭＲ画像と同じサイズに変換してから、元の（等方化する前の）ＭＲ画像との誤差（再構成ロス）を計算することが好ましい。この再構成ロスは本開示における「第２再構成ロス」の一例である。

　第２生成器２５０Ｆと第１生成器２２０Ｇとをこの順に用いた変換処理によって生成される再構成ＭＲ画像ＭＲｒｅｃは本開示における「第２再構成生成画像」の一例である。

　図１５には、アキシャル断面が高解像のＴｈｉｃｋスライスのＭＲ画像ＭＲａｘが入力される場合の例が示されている。機械学習システム２１０は、アベレージプーリング処理部２７０を備える。アベレージプーリング処理部２７０は、第１生成器２２０Ｇから出力された等方解像度の再構成ＭＲ画像ＭＲｒｅｃに対して、ｚ軸方向にアベレージプーリング処理を行い、入力に用いられた元のＭＲ画像ＭＲａｘと同じスライス間隔の３次元データに戻す。アベレージプーリング処理部２７０から出力された再構成ＭＲ画像ＭＲａｘｒｅｃと、元のＭＲ画像ＭＲａｘとを比較して再構成ロスが計算される。

　図１６には、コロナル断面が高解像のＴｈｉｃｋスライスのＭＲ画像ＭＲｃｏが入力される場合の例が示されている。機械学習システム２１０は、さらにアベレージプーリング処理部２７２を備える。アベレージプーリング処理部２７２は、第１生成器２２０Ｇから出力された等方解像度の再構成ＭＲ画像ＭＲｒｅｃに対して、ｙ軸方向にアベレージプーリング処理を行い、入力に用いられた元のＭＲ画像ＭＲｃｏと同じスライス間隔の３次元データに戻す。アベレージプーリング処理部２７０から出力された再構成ＭＲ画像ＭＲｃｏｒｅｃと、元のＭＲ画像ＭＲｃｏとを比較して再構成ロスが計算される。

　アベレージプーリング処理部２７０，２７２は、図１２における第２生成器２５０Ｆと誤差演算部２４６との間に設けられてもよいし、誤差演算部２４６の中に組み込まれていてもよい。

　なお、図１３で説明したＣＴ→ＭＲ変換についても、入力用のＣＴ画像としてＴｈｉｃｋスライスの３次元データが用いられる場合には、図１５および図１６と同様に、再構成ＣＴ画像ＣＴｒｅｃに対してアベレージプーリング処理を行い、アベレージプーリング処理による変換後の３次元データと、元の入力画像である３次元データとに基づいて再構成ロスを計算してもよい。

　再構成ＣＴ画像ＣＴｒｅｃに対して行うアベレージプーリング処理は本開示における「第１アベレージプーリング処理」の一例である。再構成ＭＲ画像ＭＲｒｅｃに対して行うアベレージプーリング処理は本開示における「第２アベレージプーリング処理」の一例である。

　〈第２実施形態の効果〉
　第２実施形態に係る機械学習システム２１０を用いて学習を行うことにより、第１生成器２２０Ｇは、ＣＴ→ＭＲ変換の画像生成能力を獲得し、高解像度の疑似ＭＲ画像を生成する３次元画像変換器となり得る。第２生成器２５０Ｆは、ＭＲ→ＣＴ変換の画像生成能力を獲得し、高解像度の疑似ＣＴ画像を生成する３次元画像変換器となり得る。

　図１７は、第２実施形態に係る機械学習システム２１０を用いて学習を実施することにより得られた学習済みの第１生成器２２０ＧによるＣＴ→ＭＲ変換の性能を示す画像例である。図１７は、ＴｈｉｎスライスのＣＴデータセットと、ＴｈｉｃｋスライスのＭＲデータセットとを用いて学習を行った結果である。学習に用いたＭＲデータセットは、アキシャル断面が高解像のＴｈｉｃｋスライスと、コロナル断面が高解像のＴｈｉｃｋスライスとの２種類しか含まないものである。

　図１７の左側が入力画像、右側が出力画像（生成画像）の例である。図１７には、ＣＴのＴｈｉｎスライスの画像を入力した場合に生成される疑似ＭＲ画像の例が示されている。図１７に示すように、ＭＲのＴｈｉｃｋスライスを１枚も学習させていない状況にもかかわらず、学習済みの第１生成器２２０Ｇによって生成される疑似ＭＲ画像は、アキシャル断面、コロナル断面およびサジタル断面の各断面において解像度の高い高精細な画像となる。

　図１８は、第２実施形態に係る機械学習システム２１０を用いて学習を実施することにより得られた学習済みの第２生成器２５０ＦによるＭＲ→ＣＴ変換の性能を示す画像例である。図１８には、ＴｈｉｃｋスライスのＭＲ画像を入力した場合に得られる疑似ＣＴ画像の例が示されている。図１８に示すように、学習済みの第２生成器２５０Ｆによって生成される疑似ＣＴ画像は、アキシャル断面、コロナル断面およびサジタル断面の各断面において解像度の高い高精細な画像となる。

　Ｔｈｉｎスライスの３次元データは高解像度で非常に用量が大きいため、医療機関では多くのデータがＴｈｉｃｋスライスとしてデータベースに保存されている。Ｔｈｉｃｋスライスのデータを画像変換に用いて各断面について高解像度の画像を生成し得る３次元学習ができるということは、実用面で大きなメリットである。

　なお、上述の第２実施形態では、学習データとして、アキシャル断面が高解像の３次元データ（ｚ軸方向が低解像度のデータ）と、コロナル断面が高解像の３次元データ（ｙ軸方向が低解像度のデータ）とを用いる例を説明したが、第１実施形態の変形例２で説明したように、他のデータの種類の組み合わせについても同様に適用可能である。

　《比較例》
　図１９は、比較例に係る機械学習システムに適用される学習モデル３４４の構成例である。学習モデル３４４は、ＣｙｃｌｅＧＡＮのアーキテクチャをベースにして、３次元の入力および出力に拡張した３Ｄ－ＣｙｃｌｅＧＡＮであり、３次元ＣＮＮを用いて構成される生成器３２０Ｇ，３５０Ｆと、３次元ＣＮＮを用いて構成される判別器３２４Ｄ，３６４Ｄとを含む。

　生成器３２０Ｇは、ＣＴ→ＭＲ変換を行う画像生成ネットワークであり、ＣＴの３次元データの入力を受けて、ＭＲの３次元データを出力する。生成器３５０Ｆは、ＭＲ→ＣＴ変換を行う画像生成ネットワークであり、ＭＲの３次元データの入力を受けて、ＣＴの３次元データを出力する。

　判別器３２４Ｄは、生成器３２０Ｇによって生成された疑似ＭＲ画像、または、学習データに含まれる実ＭＲ画像の３次元データの入力を受け付けて、画像の真偽を判別する３次元ディスクリミネータである。同様に、判別器３６４Ｄは、生成器３５０Ｆによって生成された疑似ＣＴ画像、または、学習データに含まれる実ＣＴ画像の３次元データの入力を受け付けて、画像の真偽を判別する３次元ディスクリミネータである。

　比較例に係る機械学習システムは、学習モデル３４４の他に、図示しない誤差演算部とオプティマイザとを含む。学習の際に、実ＣＴ画像の入力を受けて生成器３２０Ｇによって生成された疑似ＭＲ画像は生成器３５０Ｆに入力され、生成器３５０ＦによりＭＲ→ＣＴ変換が行われて生成器３５０Ｆから再構成ＣＴ画像が出力される。この再構成ＣＴ画像と元の実ＣＴ画像とを基に、ＣＴ→ＭＲ→ＣＴの変換による再構成ロスが評価される。

　同様に、実ＭＲ画像の入力を受けて生成器３５０Ｆによって生成された疑似ＣＴ画像は生成器３２０Ｇに入力され、生成器３２０ＧによりＣＴ→ＭＲ変換が行われて生成器３２０Ｇから再構成ＭＲ画像が出力される。この再構成ＭＲ画像と元の実ＭＲ画像とを基に、ＭＲ→ＣＴ→ＭＲの変換による再構成ロスが評価される。

　比較例に係る機械学習システムを用い、第２実施形態と同様の学習データセットを学習データとして使用して学習を実施した場合に得られる生成画像の例を図２０に示す。図は、ＣＴ→ＭＲ変換のタスクを学習させた生成器によって生成された疑似ＭＲ画像の例である。３次元の判別器を用いた比較例に係る機械学習システムの場合、学習データのドメインのスライス厚（Thickness）も同時に学習してしまう。したがって、学習に用いたＭＲ画像がＴｈｉｃｋスライスの３次元データであれば、生成画像はＴｈｉｃｋスライスの画像表現を再現してしまい、各断面において画質が低く、高精細の画像生成が困難である。

　この点、第１実施形態および第２実施形態にて説明した方法によれば、Ｔｈｉｃｋスライスの３次元データを学習に用いる場合であっても、各断面において高精細な画像が得られる画像生成が可能となる。

　《機械学習システムの構成例》
　図２１は、機械学習システム１０，２１０に適用される情報処理装置４００の構成例を示すブロック図である。情報処理装置４００は、プロセッサ４０２と、有体物である非一時的なコンピュータ可読媒体４０４と、通信インターフェース４０６と、入出力インターフェース４０８と、バス４１０と、入力装置４１４おと、表示装置４１６とを備える。プロセッサ４０２は本開示における「第１プロセッサ」の一例である。コンピュータ可読媒体４０４は本開示における「第１記憶装置」の一例である。

　プロセッサ４０２はＣＰＵ（Central Processing Unit）を含む。プロセッサ４０２はＧＰＵ（Graphics Processing Unit）を含んでもよい。プロセッサ４０２は、バス４１０を介してコンピュータ可読媒体４０４、通信インターフェース４０６および入出力インターフェース４０８と接続される。入力装置４１４および表示装置４１６は入出力インターフェース４０８を介してバス４１０に接続される。

　コンピュータ可読媒体４０４は、主記憶装置であるメモリおよび補助記憶装置であるストレージを含む。コンピュータ可読媒体４０４は、例えば、半導体メモリ、ハードディスク（Hard Disk Drive：ＨＤＤ）装置、もしくはソリッドステートドライブ（Solid State Drive：ＳＳＤ）装置またはこれらの複数の組み合わせであってよい。

　情報処理装置４００は、通信インターフェース４０６を介して図示しない電気通信回線に接続される。電気通信回線は、広域通信回線であってもよいし、構内通信回線であってもよく、これらの組み合わせであってもよい。

　コンピュータ可読媒体４０４には、各種の処理を行うための複数のプログラムおよびデータ等が記憶される。コンピュータ可読媒体４０４には、例えば、等方化処理プログラム４２０、姿勢変換プログラム４２２、固定サイズ領域切り出し処理プログラム４２４および学習処理プログラム４３０などが記憶される。学習処理プログラム４３０は、学習モデル２４４と、誤差演算ブログラム４３６と、パラメータ更新プログラム４３８とを含む。

　プロセッサ４０２が、これらのプログラムの命令を実行することにより、プロセッサ４０２を含む情報処理装置４００は、プログラムに対応した処理部として機能する。例えば、プロセッサ４０２が等方化処理プログラム４２０の命令を実行することにより、プロセッサ４０２は、等方化処理を行う等方化処理部１２として機能する。また、プロセッサ４０２が学習処理プログラム４３０の命令を実行することにより、プロセッサ４０２は、学習処理を行う学習処理部４０，２４０として機能する。他のプログラムについても同様である。

　また、コンピュータ可読媒体４０４には、図示しない表示制御プログラムが格納される。表示制御プログラムは、表示装置４１６への表示出力に必要な表示用信号を生成し、表示装置４１６の表示制御を行う。

　表示装置４１６は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、もしくは、プロジェクタ、またはこれらの適宜の組み合わせによって構成される。入力装置４１４は、例えば、キーボード、マウス、マルチタッチパネル、もしくはその他のポインティングデバイス、もしくは、音声入力装置、またはこれらの適宜の組み合わせによって構成される。入力装置４１４は、オペレータによる種々の入力を受け付ける。

　《学習済みモデルを用いた医療画像処理装置の例》
　図２２は、機械学習システム１０，２１０を用いた学習処理を実施して生成された学習済みモデルが適用される医療画像処理装置５００のハードウェア構成の例を示すブロック図である。

　医療画像処理装置５００は、プロセッサ５０２と、有体物である非一時的なコンピュータ可読媒体５０４と、通信インターフェース５０６と、入出力インターフェース５０８と、バス５１０と、入力装置５１４と、表示装置５１６とを備える。

　プロセッサ５０２、コンピュータ可読媒体５０４、通信インターフェース５０６、入出力インターフェース５０８、バス５１０、入力装置５１４および表示装置５１６等のハードウェア構成は、図２１で説明した情報処理装置４００におけるプロセッサ４０２、コンピュータ可読媒体４０４、通信インターフェース４０６、入出力インターフェース４０８、バス４１０、入力装置４１４および表示装置４１６の対応する要素と同様であってよい。プロセッサ５０２は本開示における「第２プロセッサ」の一例である。「コンピュータ可読媒体５０４」は本開示における「第２記憶装置」の一例である。

　医療画像処理装置５００のコンピュータ可読媒体５０４には、ＣＴ－ＭＲ変換プログラム５２０と、ＭＲ－ＣＴ変換プログラム５３０とのうち少なくとも１つが格納される。ＣＴ－ＭＲ変換プログラム５２０は、ＣＴ→ＭＲのドメイン変換を学習した学習済み生成器５２２を含む。学習済み生成器５２２は、図５における生成器２０Ｇまたは図１２における第１生成器２２０Ｇに対応する学習済みモデルである。学習済み生成器５２２は本開示における「第１学習済みモデル」の一例である。第１生成器２２０Ｇに入力されるＣＴ画像は本開示における「第１医療画像」の一例である。第１生成器２２０Ｇから出力される疑似ＭＲ画像は本開示における「第２医療画像」の一例である。学習済み生成器５２２から出力される疑似ＭＲ画像は本開示における「第２医療画像」の一例である。

　ＭＲ－ＣＴ変換プログラム５３０は、ＭＲ→ＣＴのドメイン変換を学習した学習済み生成器５３２を含む。学習済み生成器５３２は、図１２における第２生成器２５０Ｆに対応する学習済みモデルである。

　コンピュータ可読媒体５０４は、さらに、等方化処理プログラム４２０、臓器認識ＡＩプログラム５４０、疾患検出ＡＩプログラム５４２およびレポート作成支援プログラム５４４のうち少なくとも１つのプログラムを含んでいてもよい。等方化処理プログラム４２０は、ＣＴ－ＭＲ変換プログラム５２０およびＭＲ－ＣＴ変換プログラム５３０のそれぞれのプログラムに含まれていてもよい。

　臓器認識ＡＩプログラム５４０は、臓器セグメンテーションを行う処理モジュールを含む。臓器認識ＡＩプログラム５４０の中には、肺区域ラベリングプログラム、血管領域抽出プログラムおよび骨ラベリングプログラムなどが含まれてもよい。

　疾患検出ＡＩプログラム５４２は、特定の疾患に対応した検出処理モジュールを含む。疾患検出ＡＩプログラム５４２として、例えば、肺結節検出プログラム、肺結節性状分析プログラム、肺炎ＣＡＤプログラム、乳腺ＣＡＤプログラム、肝臓ＣＡＤプログラム、脳ＣＡＤプログラムおよび大腸ＣＡＤプログラムのうち少なくとも１つのプログラムが含まれてよい。

　レポート作成支援プログラム５４４は、対象とする医療画像に対応する所見文の候補を生成する学習済み文書生成モデルを含む。

　臓器認識ＡＩプログラム５４０、疾患検出ＡＩプログラム５４２およびレポート作成支援プログラム５４４などの各種の処理プログラムは、深層学習などの機械学習を適用して目的のタスクの出力が得られるように学習された学習済みモデルを含むＡＩ処理モジュールであってよい。

　ＣＡＤ用のＡＩモデルは、例えば、畳み込み層を有する各種のＣＮＮを用いて構成することができる。ＡＩモデルに対する入力データは、例えば、２次元画像、３次元画像または動画像など医用画像を含み、ＡＩモデルからの出力は例えば、画像内における疾病領域（病変部位）などの位置を示す情報、もしくは病名などのクラス分類を示す情報、またはこれらの組み合わせであってよい。

　時系列データや文書データなどを扱うＡＩモデルは、例えば、各種の再帰型ニューラルネットワーク（Recurrent Neural Network：ＲＮＮ）を用いて構成することができる。時系列データには、例えば心電図の波形データなどが含まれる。文書データには、例えば、医師によって作成される所見文などが含まれる。

　ＣＴ－ＭＲ変換プログラム５２０またはＭＲ－ＣＴ変換プログラム５３０によって生成された生成画像は、臓器認識ＡＩプログラム５４０、疾患検出ＡＩプログラム５４２およびレポート作成支援プログラム５４４のうち少なくとも１つのプログラムに入力することができる。これにより、特定のモダリティにて構築されたＡＩ処理モジュールを他のモダリティの画像にも適用することが可能となり、応用範囲が広がる。

　《第３実施形態》
　これまでドメイン変換の例として異種モダリティ間の画像生成タスクの例を説明したが、第３実施形態では、ソースドメインをＴｈｉｃｋスライス（すなわち、低解像度）、ターゲットドメインをＴｈｉｎスライス（すなわち、高解像度）とする超解像タスクの例を示す。

　図２３は、第３実施形態に係る機械学習システム６００の処理の概要を示す概念図である。ここでは、ＭＲ画像を対象とし、低解像度の３次元画像から高解像度の３次元画像を生成する超解像画像生成タスク（超解像タスク）を学習させる方法について説明する。

　入力として用いられる低解像３次元ＭＲ画像は、３断面のうちアキシャル断面のみが高解像（他の断面は低解像）のアキシャル画像シリーズと、コロナル断面のみが高解像（他の断面は低解像）のコロナル画像シリーズとであるとする。

　アキシャル画像シリーズは、ｚ軸方向の解像度が他の２軸方向よりも低い３次元データであり、「ｚ軸方向低解像画像」と理解される。コロナル画像シリーズは、ｙ軸方向の解像度が他の２軸方向よりも低い３次元データであり、「ｙ軸方向低解像画像」と理解される。以下、アキシャル画像シリーズを「アキシャル３次元画像」と記載し、コロナル画像シリーズを「コロナル３次元画像」と記載する。第３実施形態における超解像は、解像度が低いスライス厚方向（軸方向）のデータを補間するスライス補間の意味を持つ。

　第３実施形態の場合、学習用のデータとして、同じ患者の同一部位を撮影して三次元的な位置合わせを行ったアキシャル３次元画像とコロナル３次元画像との画像ペアが用いられる。アキシャル３次元画像とコロナル３次元画像とが関連付けされた複数の画像ペアを含む画像群が学習用のデータセットとして用いられる。

　機械学習システム６００は、第１超解像処理を行う生成器６１０と、第２超解像処理を行う生成器６１２と、アキシャル画像切り出し処理部６２０と、コロナル画像切り出し処理部６２２と、アキシャル画像に対する真偽を判別する判別器６３０と、コロナル画像に対する真偽を判別する判別器６３２とを含む。

　生成器６１０，６１２のそれぞれは３次元ＣＮＮを用いて構成される生成ネットワークである。生成器６１０，６１２のそれぞれのネットワーク構造は、第１実施形態における生成器２０と同様であってよい。判別器６３０，６３２のそれぞれは２次元ＣＮＮを用いて構成される判別ネットワークである。判別器６３０，６３２のそれぞれのネットワーク構造は、第１実施形態における判別器２４Ｄ，２６Ｄと同様であってよい。

　第１超解像処理は、ｚ軸方向に超解像化する処理を含む。生成器６１０は、アキシャル３次元画像の入力を受け付け、等方解像度の３次元生成画像を出力する。第２の超解像処理は、ｙ軸方向に超解像化する処理を含む。生成器６１２は、コロナル３次元画像の入力を受け付け、等方解像度の３次元生成画像を出力する。なお、図中の「ＳＲ」の表記は超解像（Super resolution）化の処理を表す。

　アキシャル画像切り出し処理部６２０は、生成器６１０または生成器６１２によって生成された３次元生成画像ＳＲｓｙｎからアキシャル断面の２次元画像を取り出す切り出し処理を行う。コロナル画像切り出し処理部６２２は、生成器６１０または生成器６１２によって生成された３次元生成画像ＳＲｓｙｎからコロナル断面の２次元画像を取り出す切り出し処理を行う。

　判別器６３０は、アキシャル画像切り出し処理部６２０によって３次元生成画像ＳＲｓｙｎから取り出された２次元画像または学習用のデータセットに含まれるアキシャル３次元画像のスライス画像である２次元画像の入力を受け付けて、リアル画像であるかフェイク画像であるかの真偽判別を行う。

　判別器６３２は、コロナル画像切り出し処理部６２２によって３次元生成画像ＳＲｓｙｎから取り出された２次元画像または学習用のデータセットに含まれるコロナル３次元画像のスライス画像である２次元画像の入力を受け付けて、リアル画像であるかフェイク画像であるかの真偽判別を行う。

　生成器６１０に対してアキシャル高解像画像が入力された場合、生成器６１０による第１超解像処理にて生成された３次元生成画像をコロナル断面方向に切り出して、正解のコロナル画像との誤差（絶対誤差）が計算される。

　一方、生成器６１２に対してコロナル３次元画像が入力された場合、生成器６１２による第２超解像処理にて生成された３次元生成画像をアキシャル断面方向に切り出して、正解のアキシャル画像との誤差（絶対誤差）が計算される。

　機械学習システム６００は、生成器６１０，６１２と判別器６３０，６３２とについて敵対的学習を繰り返すことにより、両者の性能を高めていく。

　第３実施形態に係る機械学習システム６００を用いて学習を行うことにより、低解像のアキシャル３次元画像から等方解像度の高精細な３次元画像を生成する学習済みの生成器６１０および低解像のコロナル３次元画像から等方解像度の高精細な３次元画像を生成する学習済みの生成器６１２を得ることができる。

　第３実施形態において学習に使用したアキシャル３次元画像は本開示における「第１撮影条件により撮影された３次元画像」の一例であり、コロナル３次元画像は本開示における「第２撮影条件により撮影された３次元画像」の一例である。アキシャル３次元画像におけるｚ軸方向は本開示における「第１軸方向」の一例であり、アキシャル３次元画像は本開示における「第１軸低解像３次元データ」の一例である。サジタル３次元画像におけるｙ軸方向は本開示における「第２軸方向」の一例であり、サジタル３次元画像は本開示における「第２軸低解像３次元データ」の一例である。

　《第４実施形態》
　図２４は、第４実施形態に係る機械学習システム６０２における処理の概要を示す概念図である。図２４について、図２３に示す構成と同一または類似の要素には同一の符号を付し、重複する説明は省略する。図２４に示す構成について、図２３と異なる点を説明する。

　第３実施形態では、生成器６１０または生成器６１２によって生成された３次元生成画像ＳＲｓｙｎに対して、２つの判別器６３０，６３２を使用して真偽判別を行う例を説明したが、第４実施形態では、第３実施形態のアーキテクチャに３次元生成画像に対する低解像化の処理が追加され、超解像処理とその逆変換に相当する低解像化処理とをこの順に実施する変換処理による再構成ロスを評価する仕組みが組み込まれ、３次元生成画像に対して判別器６３０または判別器６３２のいずれか１つの判別器を使用する形態となっている。

　図２４に示す機械学習システム６０２は、３次元生成画像ＳＲｓｙｎに対してｚ軸方向の低解像化処理を行う低解像化処理部６１４と、３次元生成画像ＳＲｓｙｎに対してｙ軸方向の低解像化処理を行う低解像化処理部６１６とを含む。

　低解像化処理部６１４による低解像化は、生成器６１０の第１超解像処理に対する逆変換の処理に相当する。生成器６１０の第１超解像処理→低解像化処理部６１４の低解像化処理をこの順に行うことにより、入力に用いたアキシャル３次元画像に対応する再構成生成画像（アキシャル３次元再構成生成画像）が得られる。機械学習システム６０２は、元の入力画像であるアキシャル３次元画像と、アキシャル３次元再構成生成画像とに基づいて再構成ロスを評価して生成器６１０のパラメータを更新する。なお、図中の「ＬＲ」の表記は低解像（Low resolution）化の処理を表す。

　同様に、低解像化処理部６１６による低解像化は、生成器６１２の第２超解像処理に対する逆変換の処理に相当しており、生成器６１２の超解像処理→低解像化処理部６１６の低解像化処理を行うことにより、入力に用いたコロナル３次元画像に対応する再構成生成画像（コロナル３次元再構成生成画像）が得られる。機械学習システム６０２は、元の入力画像であるコロナル３次元画像と、コロナル３次元再構成生成画像とに基づいて再構成ロスを評価して生成器６１２のパラメータを更新する。

　第４実施形態の場合、ＣｙｃｌｅＧＡＮの仕組みと類似した構成となり、学習に用いるアキシャル３次元画像とコロナル３次元画像との間にペアの関係は不要であり、アキシャル３次元画像の画像群と、コロナル３次元画像の画像群とのそれぞれの学習データ群が存在すればよい。第４実施形態では、ランダムに与えたアキシャル３次元画像とコロナル３次元画像とをそれぞれ繰り返し学習する構成となる。

　図２５は、機械学習システム６０２においてアキシャル３次元画像が入力された場合の処理フローである。アキシャル３次元画像は生成器６１０に入力され、生成器６１０から３次元生成画像ＳＲｓｙｎ１が出力される。この３次元生成画像ＳＲｓｙｎ１に対して低解像化処理部６１４による低解像化を行い、アキシャル３次元再構成生成画像を生成し、再構成ロスを計算する。

　また、生成器６１０にアキシャル３次元画像を入力した場合、生成器６１０から出力された３次元生成画像ＳＲｓｙｎ１からコロナル断面の２次元画像を切り出し、判別器６３２を用いて、コロナル画像について真偽の判別を行う。機械学習システム６０２は、生成器６１２と判別器６３２とについて敵対的学習を繰り返すことにより、両者の性能を高めていく。

　図２６は、機械学習システム６０２においてコロナル３次元画像が入力された場合の処理フローである。コロナル３次元画像は生成器６１２に入力され、生成器６１２から３次元生成画像ＳＲｓｙｎが出力される。この３次元生成画像ＳＲｓｙｎ２に対して低解像化処理部６１６による低解像化を行い、コロナル３次元再構成生成画像を生成し、再構成ロスを計算する。

　また、生成器６１２にコロナル３次元画像を入力した場合、生成器６１２から出力された３次元生成画像ＳＲｓｙｎ２からアキシャル断面の２次元画像を切り出し、判別器６３０を用いて、アキシャル画像について真偽の判別を行う。機械学習システム６０２は、生成器６１２と判別器６３０とについて敵対的学習を繰り返すことにより、両者の性能を高めていく。

　第４実施形態に係る機械学習システム６０２を用いて学習を行うことにより、低解像のアキシャル３次元画像から等方解像度の高精細な３次元画像を生成する学習済みの生成器６１０および低解像のコロナル３次元画像から等方解像度の高精細な３次元画像を生成する学習済みの生成器６１２を得ることができる。

　《変形例３》
　図２５に示すアキシャル３次元画像を超解像化する処理フローと、図２６に示すコロナル３次元画像を超解像化する処理フローとは、必ずしも両方を実施する必要はない。例えば、アキシャル３次元画像を入力とした超解像タスクのみを実現する場合には、図２５の処理フローだけで学習が可能である。

　《変形例４》
　ドメイン変換の他の例として、ＭＲの中でのＴ１強調画像、Ｔ２強調画像、脂肪抑制画像、造影画像および非造影画像などの異なる画像種間での変換、あるいはＣＴの中でも造影画像と非造影画像との間の変換などについても本開示の技術を適用できる。

　《３次元画像の種類について》
　本開示の技術は、ＣＴ画像およびＭＲ画像に限らず、人体情報を投影する超音波画像および陽電子放射断層撮影（Positron Emission Tomography：ＰＥＴ）装置を用いて撮影されるＰＥＴ画像など、各種の医療画像が応用範囲に含まれる。また、本開示の技術は、医療機器によって撮影される医療画像に限らず、様々な撮影装置によって撮影される各種用途の３次元画像に適用できる。

　《コンピュータのハードウェア構成の例》
　図２７は、コンピュータのハードウェア構成の例を示すブロック図である。コンピュータ８００は、パーソナルコンピュータであってもよいし、ワークステーションであってもよく、また、サーバコンピュータであってもよい。コンピュータ８００は、既に説明した機械学習システム１０，１１，２１０，６００，６０２および医療画像処理装置５００のいずれかの一部または全部、あるいはこれらの複数の機能を備えた装置として用いることができる。

　コンピュータ８００は、ＣＰＵ８０２、ＲＡＭ（Random Access Memory）８０４、ＲＯＭ（Read Only Memory）８０６、ＧＰＵ８０８、ストレージ８１０、通信部８１２、入力装置８１４、表示装置８１６およびバス８１８を備える。なお、ＧＰＵ８０８は、必要に応じて設ければよい。

　ＣＰＵ８０２は、ＲＯＭ８０６またはストレージ８１０等に記憶された各種のプログラムを読み出し、各種の処理を実行する。ＲＡＭ８０４は、ＣＰＵ８０２の作業領域として使用される。また、ＲＡＭ８０４は、読み出されたプログラムおよび各種のデータを一時的に記憶する記憶部として用いられる。

　ストレージ８１０は、例えば、ハードディスク装置、光ディスク、光磁気ディスク、もしくは半導体メモリ、またはこれらの適宜の組み合わせを用いて構成される記憶装置を含んで構成される。ストレージ８１０には、各種プログラムやデータ等が記憶される。ストレージ８１０に記憶されているプログラムがＲＡＭ８０４にロードされ、これをＣＰＵ８０２が実行することにより、コンピュータ８００は、プログラムで規定される各種の処理を行う手段として機能する。

　通信部８１２は、有線または無線により外部装置との通信処理を行い、外部装置との間で情報のやり取りを行うインターフェースである。通信部８１２は、画像等の入力を受け付ける情報取得部の役割を担うことができる。

　入力装置８１４は、コンピュータ８００に対する各種の操作入力を受け付ける入力インターフェースである。入力装置８１４は、例えば、キーボード、マウス、マルチタッチパネル、もしくはその他のポインティングデバイス、もしくは、音声入力装置、またはこれらの適宜の組み合わせであってよい。

　表示装置８１６は、各種の情報が表示される出力インターフェースである。表示装置８１６は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、もしくは、プロジェクタ、またはこれらの適宜の組み合わせであってよい。

　《コンピュータを動作させるプログラムについて》
　上記の実施形態で説明した機械学習システム１０，１１，２１０，６００，６０２における画像取得機能、前処理機能および学習処理機能、ならびに医療画像処理装置５００における画像処理機能などの各種の処理機能のうち少なくとも１つの処理機能の一部または全部をコンピュータに実現させるプログラムを、光ディスク、磁気ディスク、もしくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。

　またこのような有体物たる非一時的なコンピュータ可読媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。

　さらに、機械学習システム１０，１１，２１０，６００，６０２における画像取得機能、前処理機能および学習処理機能、ならびに医療画像処理装置５００における画像処理機能などの各種の処理機能のうち少なくとも１つの処理機能をクラウドコンピューティングによって実現してもよく、また、ＳａｓＳ（Software as a Service）サービスとして提供することも可能である。

　《各処理部のハードウェア構成について》
　等方化処理部１２、生成器２０Ｇ、第１切り出し処理部１４、第２切り出し処理部１６、切り出し処理部１８、判別器２４Ｄ，２６Ｄ，２８Ｄ、学習データ生成部３０、姿勢変換部、固定サイズ領域切り出し処理部３４、学習処理部４０、画像取得部４２、誤差演算部４６，２４６、オプティマイザ４８，２４８、前処理部２３０、第１生成器２２０Ｇ、第２生成器２５０Ｆ、第３切り出し処理部２５４、第４切り出し処理部２５６、第１判別器２２４Ｄ、第２判別器２２６Ｄ、第３判別器２６４Ｄ、第４判別器２６６Ｄ、アベレージプーリング処理部２７０，２７２、生成器６１０，６１２、判別器６３０，６３２、アキシャル画像切り出し処理部６２０、コロナル画像切り出し処理部６２２および低解像化処理部６１４，６１６などの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、例えば、次に示すような各種のプロセッサ（processor）である。

　各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、画像処理に特化したプロセッサであるＧＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

　《その他》
　以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成を変更、追加、または削除することが可能である。本発明は以上説明した実施形態に限定されず、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。

１０、１１　機械学習システム
１２　等方化処理部
１４　第１切り出し処理部
１６　第２切り出し処理部
１８　切り出し処理部
２０Ｇ　生成器
２４Ｄ　判別器
２６Ｄ、２８Ｄ　判別器
３０　学習データ生成部
３２　姿勢変換部
３４　固定サイズ領域切り出し処理部
４０　学習処理部
４２　画像取得部
４４　学習モデル
４６　誤差演算部
４８　オプティマイザ
５０　画像保存部
５４　学習データ保存部
１００　機械学習システム
１１２　等方化処理部
１２０Ｆ　生成器
１２４Ｄ　判別器
２１０　機械学習システム
２２０Ｇ　第１生成器
２２４Ｄ　第１判別器
２２６Ｄ　第２判別器
２３０　前処理部
２４０　学習処理部
２４４　学習モデル
２４６　誤差演算部
２４８　オプティマイザ
２５０Ｆ　第２生成器
２５４　第３切り出し処理部
２５６　第４切り出し処理部
２６４Ｄ　第３判別器
２６６Ｄ　第４判別器
２７０、２７２　アベレージプーリング処理部
３２０Ｇ　生成器
３２４Ｄ　判別器
３４４　学習モデル
３５０Ｆ　生成器
３６４Ｄ　判別器
４００　情報処理装置
４０２　プロセッサ
４０４　コンピュータ可読媒体
４０６　通信インターフェース
４０８　入出力インターフェース
４１０　バス
４１４　入力装置
４１６　表示装置
４２０　等方化処理プログラム
４２２　姿勢変換プログラム
４２４　固定サイズ領域切り出し処理プログラム
４３０　学習処理プログラム
４３６　誤差演算ブログラム
４３８　パラメータ更新プログラム
５００　医療画像処理装置
５０２　プロセッサ
５０４　コンピュータ可読媒体
５０６　通信インターフェース
５０８　入出力インターフェース
５１０　バス
５１４　入力装置
５１６　表示装置
５２０　ＣＴ－ＭＲ変換プログラム
５２２　学習済み生成器
５３０　ＭＲ－ＣＴ変換プログラム
５３２　学習済み生成器
５４０　臓器認識ＡＩプログラム
５４２　疾患検出ＡＩプログラム
５４４　レポート作成支援プログラム
６００、６０２　機械学習システム
６１０、６１２　生成器
６１４、６１６　低解像化処理部
６２０　アキシャル画像切り出し処理部
６２２　コロナル画像切り出し処理部
６３０、６３２　判別器
８００　コンピュータ
８０２　ＣＰＵ
８０４　ＲＡＭ
８０６　ＲＯＭ
８０８　ＧＰＵ
８１０　ストレージ
８１２　通信部
８１４　入力装置
８１６　表示装置
８１８　バス
ＣＴｒ　ＣＴ画像
ＣＴｒｅｃ　再構成ＣＴ画像
ＣＴｓｙｎ　疑似ＣＴ画像
ＭＲａｘ　ＭＲ画像
ＭＲａｘｒｅｃ　再構成ＭＲ画像
ＭＲｃｏ　ＭＲ画像
ＭＲｃｏｒｅｃ　再構成ＭＲ画像
ＭＲｒ　ＭＲ画像
ＭＲｒｅｃ　再構成ＭＲ画像
ＭＲｓｙｎ　疑似ＭＲ画像
ＳＲｓｙｎ、ＳＲｓｙｎ１、ＳＲｓｙｎ２　３次元生成画像

Claims

　入力された３次元画像のドメインを変換して異なるドメインの３次元生成画像を出力する学習済みモデルの生成方法であって、
　第１ドメインの３次元画像の入力を受け付け、前記第１ドメインとは異なる第２ドメインの３次元生成画像を出力する３次元畳み込みニューラルネットワークを用いて構成される第１生成器と、
　前記第１生成器によって生成された前記第２ドメインの３次元生成画像から切り出される第１スライス面方向の断面画像を示す２次元画像の入力を受け付け、入力された２次元画像の真偽を判別する２次元畳み込みニューラルネットワークを用いて構成される第１判別器とを含む敵対的生成ネットワークの構造を有する学習モデルを用い、
　コンピュータが、
　第１撮影条件により撮影された３次元画像と、前記第１撮影条件とは異なる第２撮影条件により撮影された３次元画像とを含む複数の学習データを取得し、
　前記複数の学習データに基づき、前記第１生成器と前記第１判別器とを敵対的に学習させる学習処理を行うことを含む、
　学習済みモデルの生成方法。
　前記コンピュータが、
　前記第１生成器によって生成された前記第２ドメインの３次元生成画像から前記第１スライス面方向の断面画像を示す２次元画像を切り出す第１切り出し処理を行い、
　前記第１切り出し処理により切り出された２次元画像を前記第１判別器に入力することを含む、
　請求項１に記載の学習済みモデルの生成方法。
　前記第１撮影条件は、撮影に使用した機器が第１撮影機器であることを含み、
　前記第２撮影条件は、撮影に使用した機器が前記第１撮影機器とは異なる種類の第２撮影機器であることを含む、
　請求項１または２に記載の学習済みモデルの生成方法。
　前記第１撮影条件は、解像度の条件が第１解像度条件であることを含み、
　前記第２撮影条件は、解像度の条件が前記第１解像度条件とは異なる第２解像度条件であることを含む、
　請求項１から３のいずれか一項に記載の学習済みモデルの生成方法。
　前記第１撮影条件および前記第２撮影条件のうち少なくとも１つは、解像度の条件として、直交３軸のうち１つの軸方向の解像度が他の２つの軸方向のそれぞれの解像度よりも低いことを含む、
　請求項１から４のいずれか一項に記載の学習済みモデルの生成方法。
　前記第２撮影条件により撮影された３次元画像として、直交３軸のうち１軸方向の解像度が他の２軸方向のそれぞれの解像度よりも低い非等方性３次元データが用いられ、
　前記第１スライス面方向は、前記非等方性３次元データにおいて相対的に解像度が高い前記他の２軸方向に平行なスライス面方向である、
　請求項１から４のいずれか一項に記載の学習済みモデルの生成方法。
　前記学習モデルは、さらに、
　前記第１生成器によって生成された前記第２ドメインの３次元生成画像から切り出される前記第１スライス面方向と直交する第２スライス面方向の断面画像を示す２次元画像の入力を受け付け、入力された２次元画像の真偽を判別する２次元畳み込みニューラルネットワークを用いて構成される第２判別器を含み、
　前記学習処理は、前記第１生成器と前記第２判別器とを敵対的に学習させる処理を含む、
　請求項１から６のいずれか一項に記載の学習済みモデルの生成方法。
　前記コンピュータが、
　前記第１生成器によって生成された前記第２ドメインの３次元生成画像から前記第２スライス面方向の断面画像を示す２次元画像を切り出す第２切り出し処理を行い、
　前記第２切り出し処理により切り出された２次元画像を前記第２判別器に入力することを含む、
　請求項７に記載の学習済みモデルの生成方法。
　前記学習データとして、ｘ軸、ｙ軸およびｚ軸の直交３軸のうちｚ軸方向の解像度がｘ軸方向およびｙ軸方向のそれぞれの解像度よりも低いｚ軸低解像の非等方性３次元データと、
　前記ｙ軸方向の解像度が前記ｚ軸方向および前記ｘ軸方向のそれぞれの解像度よりも低いｙ軸低解像の非等方性３次元データとが用いられ、
　前記第１スライス面方向は、前記ｘ軸方向および前記ｙ軸方向に平行なスライス面方向であり、
　前記第２スライス面方向は、前記ｚ軸方向および前記ｘ軸方向に平行なスライス面方向である、
　請求項７または８に記載の学習済みモデルの生成方法。
　前記学習データとして、ｘ軸、ｙ軸およびｚ軸の直交３軸のうちｙ軸方向の解像度がｚ軸方向およびｘ軸方向のそれぞれの解像度よりも低いｙ軸低解像の非等方性３次元データと、
　前記ｘ軸方向の解像度が前記ｙ軸方向および前記ｚ軸方向のそれぞれの解像度よりも低いｘ軸低解像の非等方性３次元データとが用いられ、
　前記第１スライス面方向は、前記ｚ軸方向および前記ｘ軸方向に平行なスライス面方向であり、
　前記第２スライス面方向は、前記ｙ軸方向および前記ｚ軸方向に平行なスライス面方向である、
　請求項７または８に記載の学習済みモデルの生成方法。
　前記学習データとして、ｘ軸、ｙ軸およびｚ軸の直交３軸のうちｘ軸方向の解像度がｙ軸方向およびｚ軸方向のそれぞれの解像度よりも低いｘ軸低解像の非等方性３次元データと、
　前記ｚ軸方向の解像度が前記ｘ軸方向および前記ｙ軸方向のそれぞれの解像度よりも低いｚ軸低解像の非等方性３次元データとが用いられ、
　前記第１スライス面方向は、前記ｙ軸方向および前記ｚ軸方向に平行なスライス面方向であり、
　前記第２スライス面方向は、前記ｘ軸方向および前記ｙ軸方向に平行なスライス面方向である、
　請求項７または８に記載の学習済みモデルの生成方法。
　前記コンピュータが、
　入力された前記学習データの解像度の条件に応じて、前記第２ドメインの３次元生成画像の真偽判別に使用する前記第１判別器または前記第２判別器を選択的に切り替える、
　請求項７から１１のいずれか一項に記載の学習済みモデルの生成方法。
　前記第１撮影条件により撮影された３次元画像として、直交３軸のうちの１軸方向の解像度が他の２軸方向の解像度よりも低い非等方性３次元データが用いられる、
　請求項１から１２のいずれか一項に記載の学習済みモデルの生成方法。
　前記コンピュータが、
　前記第１撮影条件により撮影された３次元画像を、直交３軸の各軸方向の解像度が等しい等方性３次元データに変換する第１等方化処理を行い、
　前記第１等方化処理による変換後の等方性３次元データを前記第１生成器に入力することを含む、
　請求項１３に記載の学習済みモデルの生成方法。
　前記第１生成器は、直交３軸の各軸方向の解像度が等しい等方性３次元データの入力を受け付け、前記３次元生成画像としての等方性３次元データを出力する、
　請求項１から１４のいずれか一項に記載の学習済みモデルの生成方法。
　前記学習モデルは、さらに、
　前記第２ドメインの３次元画像の入力を受け付け、前記第１ドメインの３次元生成画像を出力する３次元畳み込みニューラルネットワークを用いて構成される第２生成器と、
　前記第２生成器によって生成された前記第１ドメインの３次元生成画像から切り出される特定のスライス面方向の断面画像を示す２次元画像の入力を受け付け、入力された２次元画像の真偽を判別する２次元畳み込みニューラルネットワークを用いて構成される第３判別器と、を含み、
　前記学習処理は、前記第２生成器と前記第３判別器とを敵対的に学習させる処理を含む、
　請求項１から１５のいずれか一項に記載の学習済みモデルの生成方法。
　前記コンピュータが、
　前記第２生成器により生成された前記第１ドメインの３次元生成画像から前記特定のスライス面方向の断面画像を示す２次元画像を切り出す第３切り出し処理を行い、
　前記第３切り出し処理により切り出された２次元画像を前記第３判別器に入力することを含む、
　請求項１６に記載の学習済みモデルの生成方法。
　前記コンピュータが、
　前記第１生成器から出力された前記第２ドメインの３次元生成画像を前記第２生成器に入力することにより前記第２生成器から出力される第１再構成生成画像に基づき、前記第１生成器および前記第２生成器をこの順に用いた変換処理の第１再構成ロスを計算する処理と、
　前記第２生成器から出力された前記第１ドメインの３次元生成画像を前記第１生成器に入力することにより前記第１生成器から出力される第２再構成生成画像に基づき前記第２生成器および前記第１生成器をこの順に用いた変換処理の第２再構成ロスを計算する処理と、を行うことを含む、
　請求項１６または１７に記載の学習済みモデルの生成方法。
　前記コンピュータが、
　前記第１再構成生成画像に対して、前記第１再構成生成画像を生成する際の前記第１生成器への入力に使用した元の前記学習データと同じ解像度の３次元データに変換する第１アベレージプーリング処理を行い、第１アベレージプーリング処理による変換後の３次元データと、前記第１生成器への入力に使用した元の前記学習データとに基づいて前記第１再構成ロスを計算することを含む、
　請求項１８に記載の学習済みモデルの生成方法。
　前記コンピュータが、
　前記第２再構成生成画像に対して、前記第２再構成生成画像を生成する際の前記第２生成器への入力に使用した元の前記学習データと同じ解像度の３次元データに変換する第２アベレージプーリング処理を行い、前記第２アベレージプーリング処理による変換後の３次元データと、前記第２生成器への入力に使用した元の前記学習データとに基づいて前記第２再構成ロスを計算することを含む、
　請求項１８または１９に記載の学習済みモデルの生成方法。
　前記学習モデルは、さらに、
　前記第２生成器により生成された前記第１ドメインの３次元生成画像から切り出される前記特定のスライス面方向と直交するスライス面方向の断面画像を示す２次元画像の入力を受け付け、入力された２次元画像の真偽を判別する２次元畳み込みニューラルネットワークを用いて構成される第４判別器を含み、
　前記学習処理は、前記第２生成器と前記第４判別器とを敵対的に学習させる処理を含む、
　請求項１６から２０のいずれか一項に記載の学習済みモデルの生成方法。
　前記コンピュータが、
　前記第２生成器により生成された前記第１ドメインの３次元生成画像から前記特定のスライス面方向と直交するスライス面方向の断面画像を示す２次元画像を切り出す第４切り出し処理を行い、
　前記第４切り出し処理により切り出された２次元画像を前記第４判別器に入力することを含む、
　請求項２１に記載の学習済みモデルの生成方法。
　前記特定のスライス面方向は前記第１スライス面方向である、
　請求項２１または２２に記載の学習済みモデルの生成方法。
　前記コンピュータが、
　前記第２撮影条件により撮影された３次元画像を、直交３軸の各軸方向の解像度が等しい等方性３次元データに変換する第２等方化処理を行い、
　前記第２等方化処理による変換後の等方性３次元データを前記第２生成器に入力することを含む、
　請求項１６から２３のいずれか一項に記載の学習済みモデルの生成方法。
　前記第１撮影条件は前記第１ドメインに対応し、前記第２撮影条件は前記第２ドメインに対応している、
　請求項１から２４のいずれか一項に記載の学習済みモデルの生成方法。
　前記第１撮影条件により撮影された３次元画像は、医療機器である第１モダリティを用いて撮影された第１モダリティ画像であり、
　前記第２撮影条件により撮影された３次元画像は、前記第１モダリティとは異なる種類の医療機器である第２モダリティを用いて撮影された第２モダリティ画像であり、
　前記学習モデルは、前記第１モダリティ画像の入力を受けて、前記第２モダリティを用いて撮影された画像の特徴を持つ擬似的な第２モダリティ生成画像を生成するように学習が行われる、
　請求項２５に記載の学習済みモデルの生成方法。
　前記第１ドメインは第１解像度、前記第２ドメインは前記第１解像度よりも高解像の第２解像度であり、
　請求項１から２４のいずれか一項に記載の学習済みモデルの生成方法。
　前記第１撮影条件により撮影された３次元画像は、直交３軸のうち第１軸方向の解像度が他の２軸方向のそれぞれの解像度よりも低い第１軸低解像３次元データであり、
　前記第２撮影条件により撮影された３次元画像は、直交３軸のうち前記第１軸方向とは異なる第２軸方向の解像度が他の２軸方向の解像度よりも低い第２軸低解像３次元データであり、
　前記学習モデルは、前記第１軸低解像３次元データおよび前記第２軸低解像３次元データの少なくとも１つの入力を受けて、入力された３次元データよりも高解像度の等方性３次元データを生成するように学習が行われる、
　請求項２７に記載の学習済みモデルの生成方法。
　前記コンピュータが、
　前記第１生成器により生成された前記第１ドメインの３次元生成画像に対して解像度を低下させる低解像化処理を行い、
　前記低解像化処理によって得られた再構成生成画像に基づいて、前記第１生成器による超解像処理と前記低解像化処理とによる画像変換の再構成ロスを計算することを含む、
　請求項２７または２８に記載の学習済みモデルの生成方法。
　入力された３次元画像のドメインを変換して異なるドメインの３次元生成画像を生成する学習モデルを訓練する機械学習システムであって、
　少なくとも１つの第１プロセッサと、
　前記少なくとも１つの第１プロセッサによって実行されるプログラムが記憶される少なくとも１つの第１記憶装置と、を備え、
　前記学習モデルは、
　第１ドメインの３次元画像の入力を受け付け、前記第１ドメインとは異なる第２ドメインの３次元生成画像を出力する３次元畳み込みニューラルネットワークを用いて構成される第１生成器と、
　前記第１生成器によって生成された前記第２ドメインの３次元生成画像から切り出される第１スライス面方向の断面画像を示す２次元画像の入力を受け付け、入力された２次元画像の真偽を判別する２次元畳み込みニューラルネットワークを用いて構成される第１判別器とを含む敵対的生成ネットワークの構造を有し、
　前記少なくとも１つのプロセッサは、前記プログラムの命令を実行することにより、
　第１撮影条件により撮影された３次元画像と、前記第１撮影条件とは異なる第２撮影条件により撮影された３次元画像とを含む複数の学習データを取得し、
　前記複数の学習データに基づき、前記第１生成器と前記第１判別器とを敵対的に学習させる学習処理を行う、
　機械学習システム。
　コンピュータに、
　入力された３次元画像のドメインを変換して異なるドメインの３次元生成画像を生成する学習モデルを訓練する処理を実行させるプログラムであって、
　前記学習モデルは、
　第１ドメインの３次元画像の入力を受け付け、前記第１ドメインとは異なる第２ドメインの３次元生成画像を出力する３次元畳み込みニューラルネットワークを用いて構成される第１生成器と、
　前記第１生成器によって生成された前記第２ドメインの３次元生成画像から切り出される第１スライス面方向の断面画像を示す２次元画像の入力を受け付け、入力された２次元画像の真偽を判別する２次元畳み込みニューラルネットワークを用いて構成される第１判別器とを含む敵対的生成ネットワークの構造を有し、
　前記コンピュータに、
　第１撮影条件により撮影された３次元画像と、前記第１撮影条件とは異なる第２撮影条件により撮影された３次元画像とを含む複数の学習データを取得させ、
　前記複数の学習データに基づき、前記第１生成器と前記第１判別器とを敵対的に学習させる学習処理を実行させる、
　プログラム。
　非一時的かつコンピュータ読取可能な記録媒体であって、請求項３１に記載のプログラムが記録された記録媒体。
　請求項１から２９のいずれか一項に記載の学習済みモデルの生成方法を実施することにより訓練された学習済みの前記第１生成器である第１学習済みモデルを記憶する第２記憶装置と、
　前記第１学習済みモデルを用いて画像処理を行う第２プロセッサと、を備え、
　前記第１学習済みモデルは、
　第１医療画像の入力を受けて、前記第１医療画像とは異なるドメインの第２医療画像を出力するように訓練されたモデルである、
　医療画像処理装置。