JP7106741B2 - 学習方法、学習装置、生成モデル及びプログラム - Google Patents

学習方法、学習装置、生成モデル及びプログラム Download PDF

Info

Publication number
JP7106741B2
JP7106741B2 JP2021502250A JP2021502250A JP7106741B2 JP 7106741 B2 JP7106741 B2 JP 7106741B2 JP 2021502250 A JP2021502250 A JP 2021502250A JP 2021502250 A JP2021502250 A JP 2021502250A JP 7106741 B2 JP7106741 B2 JP 7106741B2
Authority
JP
Japan
Prior art keywords
image
resolution
learning
input
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021502250A
Other languages
English (en)
Other versions
JPWO2020175445A1 (ja
Inventor
彰 工藤
嘉郎 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020175445A1 publication Critical patent/JPWO2020175445A1/ja
Application granted granted Critical
Publication of JP7106741B2 publication Critical patent/JP7106741B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G06F18/2185—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor the supervisor being an automated module, e.g. intelligent oracle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Description

本発明は学習方法、学習装置、生成モデル及びプログラムに係り、特に高解像度の画像を生成する技術に関する。
データを作り出す「Generator」（ジェネレータ）と、データを識別する「Discriminator」（ディスクリミネータ）とを交互に学習する敵対的生成ネットワーク（Generative Adversarial Networks：GAN）が知られている。非特許文献１には、ＧＡＮに関する研究が記載されている。ＧＡＮによれば、学習データの特徴に沿った精度の高いデータを生成する生成モデルを学習することができる。
また、ＧＡＮを応用した技術が研究されている。非特許文献２には、ＧＡＮを用いて入力画像と出力画像とのペアを学習する手法が記載されている。非特許文献２に記載の手法によれば、パラメータの調整の負担の少ない生成モデルを学習することができる。
ＧＡＮの画像生成では、入力データに多様性がある場合に学習が困難であるという問題点がある。例えば、医療画像において、入力とする画像の部位及びスライス条件が多岐にわたる場合、生成画像の特徴が平均化されてしまう。非特許文献２における多様な入力データへの対応においても、学習データの特徴が平均化されてしまう。
これに対し、非特許文献３には、ＧＡＮの学習にデータのカテゴリ情報を用いる手法が記載されている。非特許文献３に記載の手法によれば、生成モデルをカテゴリ情報に基づいて調整することができる。
Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio "Generative Adversarial Nets", arXiv:1406.2661 Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, Alexei A. Efros "Image-to-Image Translation with Conditional Adversarial Networks",CVPR2016 Mehdi Mirza, Simon Osindero "Conditional Generative Adversarial Nets", arXiv:1411.1784
しかしながら、非特許文献３に記載されたＧＡＮの構成では、Generatorにカテゴリ情報を入力する必要があるため、ネットワークアーキテクチャの大幅な修正が必要となり、Generatorのインターフェースが複雑化するという問題点があった。
また、ＧＡＮでは一部の学習データの影響を強く受けて、Mode collapseと呼ばれる、生成する画像が限定的になってしまい多様性に対応できない状態に陥ることがあるという問題点があった。
本発明はこのような事情に鑑みてなされたもので、パラメータの調整及びネットワークアーキテクチャの大幅な修正をすることなく、多様性を持った学習を行い、高解像情報を含む画像を生成する学習方法、学習装置、生成モデル及びプログラムを提供することを目的とする。
上記目的を達成するための学習方法の一の態様は、解像度が相対的に低い低解像情報を含む第１画像から解像度が相対的に高い高解像情報を含む第２画像を推定する生成モデルの学習方法であって、第１画像を用いて仮想第２画像を生成する生成モデルであるジェネレータと、学習用第２画像と仮想第２画像とを識別するディスクリミネータと、を備える敵対的生成ネットワークのジェネレータに第１画像のみを入力するジェネレータ入力工程と、ディスクリミネータに学習用第２画像と学習用第２画像の部位情報と、を入力する第１ディスクリミネータ入力工程と、ディスクリミネータに仮想第２画像と仮想第２画像の部位情報と、を入力する第２ディスクリミネータ入力工程と、を備えた学習方法である。
本態様によれば、敵対的生成ネットワークのジェネレータに第１画像のみを入力し、ディスクリミネータに部位情報を入力し、部位情報を入力に加えたことによって条件ごとに学習を行うようにしたので、パラメータの調整及びネットワークアーキテクチャの大幅な修正をすることなく、多様性を持った学習を行い、高解像情報を含む画像を生成することができる。
解像度が相対的に低い低解像情報を含む第１画像は、例えば低解像度である。解像度が相対的に高い高解像情報を含む第２画像は、例えば高解像度画像である。また第２画像は、解像度が相対的に高い高解像情報を含む高周波成分画像であってもよい。
部位情報は、人体の頭部、胸部、腹部、及び脚部を含むことが好ましい。これにより、多様な人体の部位の低解像情報を含む画像から高解像情報を含む画像を生成することができる。
第１画像は３次元断層画像であり、解像度はスライス厚方向の解像度であることが好ましい。これにより、スライス厚方向に高解像情報を含む３次元断層画像を生成することができる。
第１ディスクリミネータ入力工程及び第２ディスクリミネータ入力工程は、第１画像のスライス情報をディスクリミネータに入力することが好ましい。これにより、入力とする画像のスライス情報に多様性がある場合であっても、高解像度の画像を生成することができる。
スライス情報は、スライス間隔であることが好ましい。これにより、入力とする画像のスライス間隔に多様性がある場合であっても、高解像度の画像を生成することができる。
スライス情報は、スライス厚であることが好ましい。これにより、入力とする画像のスライス厚に多様性がある場合であっても、高解像度の画像を生成することができる。
第１ディスクリミネータ入力工程及び第２ディスクリミネータ入力工程は、第１画像をディスクリミネータに入力することが好ましい。これにより、ディスクリミネータは、学習用第２画像及び仮想第２画像を適切に識別することができる。
学習用第２画像から第１画像を生成する第１画像生成工程を備え、ジェネレータ入力工程は、ジェネレータに生成した第１画像のみを入力することが好ましい。これにより、ジェネレータに入力するための低解像情報を含む画像を適切に取得することができる。
上記目的を達成するためのコンピュータに実行させるためのプログラムの一の態様は、上記に記載の学習方法をコンピュータに実行させるためのプログラムである。
上記目的を達成するための生成モデルの一の態様は、上記に記載の学習方法によって学習された、解像度が相対的に低い低解像情報を含む第１画像から解像度が相対的に高い高解像情報を含む第２画像を推定する生成モデルである。
上記目的を達成するための学習装置の一の態様は、解像度が相対的に低い低解像情報を含む第１画像から解像度が相対的に高い高解像情報を含む第２画像を推定する生成モデルの学習装置であって、第１画像を用いて仮想第２画像を生成する生成モデルであるジェネレータと、学習用第２画像と仮想第２画像とを識別するディスクリミネータと、を備える敵対的生成ネットワークと、ジェネレータに第１画像のみを入力するジェネレータ入力部と、ディスクリミネータに学習用第２画像と学習用第２画像の部位情報と、を入力する第１ディスクリミネータ入力部と、ディスクリミネータに仮想第２画像と仮想第２画像の部位情報と、を入力する第２ディスクリミネータ入力部と、を備えた学習装置である。
本態様によれば、敵対的生成ネットワークのジェネレータに第１画像のみを入力し、ディスクリミネータに部位情報を入力し、部位情報を入力に加えたことによって条件ごとに学習を行うようにしたので、パラメータの調整及びネットワークアーキテクチャの大幅な修正をすることなく、多様性を持った学習を行い、高解像情報を含む画像を生成することができる。
本発明によれば、パラメータの調整及びネットワークアーキテクチャの大幅な修正をすることなく、多様性を持った学習を行い、高解像情報を含む画像を生成することができる。
図１は、本発明に係る医療画像学習装置のハードウェア構成の一例を示すブロック図である。 図２は、ＣＴ画像のスライス間隔、及びスライス厚を説明するための図である。 図３は、ＣＴ画像のスライス間隔、及びスライス厚を説明するための図である。 図４は、ＣＴ画像のスライス間隔、及びスライス厚を説明するための図である。 図５は、ＣＴ画像のスライス間隔、及びスライス厚を説明するための図である。 図６は、第１の実施形態に係る医療画像学習装置１０の学習処理を示す機能ブロック図である。 図７は、学習時の識別部４４による識別を説明するための図である。 図８は、医療画像学習装置１０の医療画像学習方法の一例を示すフローチャートである。 図９は、メタ情報Ｄ１を与えずに全身の画像を学習した画像生成を説明するための図である。 図１０は、メタ情報Ｄ１を与えずに全身の画像を学習した画像生成を説明するための図である。 図１１は、脚部の画像を示す図である。 図１２は、実施形態の効果を説明するための図である。 図１３は、実施形態の効果を説明するための図である。 図１４は、実施形態の効果を説明するための図である。 図１５は、第２の実施形態に係る医療画像学習装置１０の学習処理を示す機能ブロック図である。 図１６は、第３の実施形態に係る医療画像学習装置１０の学習処理を示す機能ブロック図である。 図１７は、第４の実施形態に係る医療画像学習装置１０の学習処理を示す機能ブロック図である。
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
＜医療画像学習装置のハードウェア構成＞
図１は、本発明に係る医療画像学習装置のハードウェア構成の一例を示すブロック図である。医療画像学習装置１０は、パーソナルコンピュータ又はワークステーションによって構成される。医療画像学習装置１０は、主として通信部１２、画像データベース１４、操作部１６、ＣＰＵ（Central Processing Unit）１８、ＲＡＭ（Random Access Memory）２０、ＲＯＭ（Read Only Memory）２２、及び表示部２４から構成される。
通信部１２は、有線又は無線により外部装置との通信処理を行い、外部装置との間で情報のやり取りを行うインターフェースである。
画像データベース１４は、医療用Ｘ線ＣＴ（Computed Tomography）装置によって撮影されたＣＴ再構成画像（ＣＴ画像）を保存する大容量ストレージ装置である。画像データベース１４は、医療画像学習装置１０の外部に設けてもよい。この場合、医療画像学習装置１０は、通信部１２を介して画像データベース１４からＣＴ画像を取得する。
操作部１６は、医療画像学習装置１０に対する各種の操作入力を受け付ける入力インターフェースである。操作部１６は、コンピュータに有線接続又は無線接続される不図示のキーボード又はマウス等が用いられる。
ＣＰＵ１８は、ＲＯＭ２２又は不図示のハードディスク装置等に記憶された各種のプログラムを読み出し、各種の処理を実行する。ＲＡＭ２０は、ＣＰＵ１８の作業領域として使用される。また、ＲＡＭ２０は、読み出されたプログラム及び各種のデータを一時的に記憶する記憶部として用いられる。医療画像学習装置１０は、ＧＰＵ（Graphics Processing Unit）を備えていてもよい。
表示部２４は、医療画像学習装置１０の必要な情報が表示される出力インターフェースである。表示部２４は、コンピュータに接続可能な不図示の液晶モニタ等が用いられる。
医療画像学習装置１０は、操作部１６からの指示入力により、ＣＰＵ１８がＲＯＭ２２又はハードディスク装置等に記憶されている医療画像学習プログラムを読み出し、医療画像学習プログラムを実行する。これにより、後述する医療画像学習方法が実施され、ＣＴ画像における解像度が相対的に低い低解像情報を含む第１画像から解像度が相対的に高い高解像情報を含む第２画像を推定する生成モデルの学習が行われる。
医療画像学習方法をコンピュータに実行させる医療画像学習プログラムは、コンピュータの読取可能な非一時的な記録媒体に記憶させて提供されてもよい。
＜ＣＴ画像の部位情報及びスライス情報＞
画像データベース１４に保存されるＣＴ画像は、人体（被検体）を撮影した医療画像であり、複数のスライス画像（アキシャル断面画像）を含む３次元断層画像である。ここでは、各スライス画像は互いに直交するＸ方向及びＹ方向に平行な画像である。Ｘ方向及びＹ方向に直交するＺ方向は、被検体の体軸方向であり、スライス厚方向ともいう。
画像データベース１４に保存されるＣＴ画像は、人体の部位毎の画像である。ＣＴ画像は、部位毎に撮影された画像であってもよいし、全身を撮影した画像から部位毎に切り出された画像であってもよい。画像データベース１４に保存される各ＣＴ画像には、それぞれ部位情報とスライス情報とが関連付けて保存されている。
部位情報は、ＣＴ画像に写った部位を示す情報である。部位情報は、頭部、胸部、腹部、及び脚部を含む。部位情報は、腰部を含んでもよい。
また、スライス情報は、ＣＴ画像のスライス間隔、及びスライス厚の少なくとも一方を含む。スライス間隔とは、互いに隣り合うスライス画像同士のＺ方向の位置の差であり、スライススペーシング（Slice Spacing）ともいう。また、スライス厚とは、１つのスライス画像のＺ方向の幅（厚み）であり、スライスシックネス（Slice Thickness）ともいう。
図２～図５は、ＣＴ画像のスライス間隔、及びスライス厚を説明するための図である。図２に示すＣＴ画像Ｇ１は、スライス画像Ｇ１１、Ｇ１２、及びＧ１３を含んで構成される。ＣＴ画像Ｇ１は、スライス間隔Ｐが４ｍｍ、スライス厚Ｔが４ｍｍである。即ち、スライス画像Ｇ１１とスライス画像Ｇ１２とのＺ方向の位置の差、及びスライス画像Ｇ１２とスライス画像Ｇ１３とのＺ方向の位置の差は、それぞれ４ｍｍである。また、スライス画像Ｇ１１、Ｇ１２、及びＧ１３のＺ方向の厚みは、それぞれ４ｍｍである。ＣＴ画像Ｇ１は、スライス間隔Ｐとスライス厚Ｔとが等しいため、スライス画像Ｇ１１とスライス画像Ｇ１２、及びスライス画像Ｇ１２とスライス画像Ｇ１３は、Ｚ方向に接する。
図３に示すＣＴ画像Ｇ２は、スライス画像Ｇ２１、Ｇ２２、及びＧ２３を含んで構成される。ＣＴ画像Ｇ２は、スライス間隔Ｐが４ｍｍ、スライス厚Ｔが６ｍｍである。ＣＴ画像Ｇ２は、スライス間隔Ｐよりもスライス厚Ｔの方が大きいため、スライス画像Ｇ２１とスライス画像Ｇ２２、及びスライス画像Ｇ２２とスライス画像Ｇ２３は、Ｚ方向にオーバーラップする。
図４に示すＣＴ画像Ｇ３は、スライス画像Ｇ３１、Ｇ３２、及びＧ３３を含んで構成される。ＣＴ画像Ｇ３は、スライス間隔Ｐが８ｍｍ、スライス厚Ｔが４ｍｍである。ＣＴ画像Ｇ３は、スライス厚Ｔよりもスライス間隔Ｐの方が大きいため、スライス画像Ｇ３１とスライス画像Ｇ３２、及びスライス画像Ｇ３２とスライス画像Ｇ３３は、Ｚ方向に離間する。
図５に示すＣＴ画像Ｇ４は、スライス画像Ｇ４１、Ｇ４２、及びＧ４３を含んで構成される。ＣＴ画像Ｇ４は、スライス間隔Ｐが１ｍｍ、スライス厚Ｔが１ｍｍである。ＣＴ画像Ｇ４は、ＣＴ画像Ｇ１、Ｇ２、及びＧ３よりもＺ方向の情報量が多い。即ち、ＣＴ画像Ｇ４は、ＣＴ画像Ｇ１、Ｇ２、及びＧ３よりもＺ方向の解像度が相対的に高い。
ＣＴ画像のスライス間隔及びスライス厚は、ＣＴ装置を使用する施設、医師等の好みに応じて様々な条件で設定される。ＣＴ画像は、診断のためには高解像度であることが好ましいが、被検体への被ばく量が増えてしまうという問題点がある。また、ＣＴ画像はデータ量が大きいため、容量削減のために低解像度化して保存される場合もある。
医療画像学習装置１０は、図２～図４に示すような様々な条件のスライス間隔及びスライス厚の低解像度のＣＴ画像から、図５に示すスライス間隔が１ｍｍ、スライス厚が１ｍｍの高解像度のＣＴ画像を推定する生成モデルの学習を行う。
＜第１の実施形態＞
〔医療画像学習装置の機能ブロック〕
図６は、第１の実施形態に係る医療画像学習装置１０の学習処理を示す機能ブロック図である。医療画像学習装置１０は、入力部３０及び学習部４０を備えている。入力部３０及び学習部４０の機能は、図１に示した医療画像学習装置１０の各部によって実現される。
入力部３０は、学習部４０が学習するために必要なデータ（学習データ）を生成し、生成した学習データを学習部４０に入力する。入力部３０は、画像データベース１４（図１参照）から不図示のＣＴ装置によって撮影されたオリジナル高解像度画像ＧＲ（Real Thin画像）、及びオリジナル高解像度画像ＧＲに関連付けられた部位情報及びスライス情報を取得する。
入力部３０は、低解像度変換部３２を備える。低解像度変換部３２は、入力されたオリジナル高解像度画像ＧＲのデータを元に、多様な低解像度画像ＧＬ１（Thick画像）を人工的に生成する。低解像度変換部３２は、例えば、１ｍｍに等方化されたスライス画像に対して姿勢変換を施し、ランダムに領域を切り出し、スライス間隔及びスライス厚が４ｍｍ又は８ｍｍ等の低解像度画像ＧＬ１を仮想的に生成する。
また、低解像度変換部３２は、入力されたオリジナル高解像度画像ＧＲを単純に間引いて減らすダウンサンプリング処理によって低解像度画像ＧＬ１を生成してもよい。
入力部３０は、オリジナル高解像度画像ＧＲ及び低解像度画像ＧＬ１を学習部４０に入力する。さらに、入力部３０は、メタ情報Ｄ１（Condition）を学習部４０に入力する。
メタ情報Ｄ１は、部位情報とスライス情報を含む。部位情報は、オリジナル高解像度画像ＧＲ、及び低解像度画像ＧＬ１に共通の情報である。スライス情報は、低解像度画像ＧＬ１のスライス情報を用いる。低解像度画像ＧＬ１のスライス情報は、オリジナル高解像度画像ＧＲに関連付けられたスライス情報、及び低解像度変換部３２が行った低解像度変換処理の内容から取得することができる。
学習部４０は、非特許文献３に記載のアーキテクチャを２次元から３次元データへ拡張した構造をベースとしている。学習部４０は、敵対的生成ネットワーク（Generative Adversarial Networks：GAN）を構築する。ＧＡＮは、データを作り出す「Generator」と、データを識別する「Discriminator」とを備える。学習部４０は、「Generator」に相当する生成部４２と、「Discriminator」に相当する識別部４４と、を備える。学習部４０は、入力部３０から入力されたデータに基づいて、識別部４４を用いた敵対的な学習を繰り返すことで、生成部４２を学習する。生成部４２は、解像度が相対的に低い低解像情報を含む第１画像から解像度が相対的に高い高解像情報を含む第２画像を推定する生成モデルに相当する。
生成部４２には、入力部３０（ジェネレータ入力部の一例）から低解像度画像ＧＬ１（第１画像の一例）のみが入力される。生成部４２は、入力された低解像度画像ＧＬ１から、オリジナル高解像度画像ＧＲと同様の解像度を有する仮想高解像度画像ＧＶを生成する。
識別部４４には、入力部３０から入力されるオリジナル高解像度画像ＧＲ（学習用第２画像の一例）と低解像度画像ＧＬ１とのペア、又は生成部４２（ディスクリミネータ入力部の一例）から入力される仮想高解像度画像ＧＶ（仮想第２画像の一例）と低解像度画像ＧＬ１とのペアが入力される。
さらに、識別部４４には、新しいチャンネルが確保される。識別部４４の新しいチャンネルには、メタ情報Ｄ１が入力される。識別部４４は、低解像度画像ＧＬ１及びメタ情報Ｄ１を用いて、入力された高解像度画像がオリジナル高解像度画像ＧＲ、及び仮想高解像度画像ＧＶのいずれであるかを識別する。識別部４４の識別結果は、生成部４２に入力される。
図７は、学習時の識別部４４による識別を説明するための図である。図７に示すＦ７Ａの場合は、識別部４４に、低解像度画像ＧＬ１、メタ情報Ｄ１、及びオリジナル高解像度画像ＧＲが入力されている。したがって、識別部４４が入力された高解像度画像をオリジナル高解像度画像ＧＲであると識別した場合は正解であり、仮想高解像度画像ＧＶであると識別した場合は不正解である。
一方、図７に示すＦ７Ｂの場合は、識別部４４に、低解像度画像ＧＬ１、メタ情報Ｄ１、及び生成部４２によって生成された仮想高解像度画像ＧＶが入力されている。したがって、識別部４４が入力された高解像度画像をオリジナル高解像度画像ＧＲであると識別した場合は不正解であり、仮想高解像度画像ＧＶであると識別した場合は正解である。
識別部４４は、入力された高解像度画像が不図示のＣＴ装置によって撮影された本物のＣＴ画像であるか、又は生成部４２によって生成された仮想のＣＴ画像であるか、の識別を正解するように学習される。一方、生成部４２は、不図示のＣＴ装置によって撮影されたリアルなＣＴ画像に似せた仮想のＣＴ画像を生成し、識別部４４が識別を不正解とするように学習される。
学習が進行すると、生成部４２と識別部４４とが精度を高めあい、生成部４２は識別部４４に識別されない、より本物のＣＴ画像に近い仮想高解像度画像ＧＶを生成できるようになる。この学習によって獲得された生成部４２が生成モデルである。生成部４２及び識別部４４は、例えば畳み込みニューラルネットワークを用いて学習される。
〔医療画像学習方法〕
図８は、医療画像学習装置１０の医療画像学習方法の一例を示すフローチャートである。図８に示すように、医療画像学習方法は、オリジナル画像取得工程（ステップＳ１）、低解像度画像生成工程（ステップＳ２）、低解像度画像入力工程（ステップＳ３）、仮想高解像度画像生成工程（ステップＳ４）、メタ情報入力工程（ステップＳ５）、高解像度画像入力工程（ステップＳ６）、及び学習工程（ステップＳ７）を備える。
ステップＳ１では、入力部３０は、画像データベース１４からオリジナル高解像度画像ＧＲを取得する。ここでは、スライス間隔が１ｍｍ、スライス厚が１ｍｍのオリジナル高解像度画像ＧＲを取得する。
ステップＳ２（第１画像生成工程の一例）では、低解像度変換部３２は、入力されたオリジナル高解像度画像ＧＲから低解像度画像ＧＬ１を生成する。ここでは、低解像度変換部３２は、スライス間隔が５ｍｍ、スライス厚が１ｍｍの低解像度画像ＧＬ１を生成する。即ち、オリジナル高解像度画像ＧＲと低解像度画像ＧＬ１とは、Ｚ方向の解像度が異なり、Ｘ方向及びＹ方向は同じ解像度を有する。
ステップＳ３（ジェネレータ入力工程の一例）では、入力部３０は、ステップＳ２で生成した低解像度画像ＧＬ１を学習部４０の生成部４２に入力する。生成部４２には、低解像度画像ＧＬ１のみが入力される。
ステップＳ４では、生成部４２は、入力された低解像度画像ＧＬ１から、仮想高解像度画像ＧＶを生成する。ここでは、生成部４２は、スライス間隔が１ｍｍ、スライス厚が１ｍｍの仮想高解像度画像ＧＶを生成する。
ステップＳ５（第１ディスクリミネータ入力工程の一例、第２ディスクリミネータ入力工程の一例）では、入力部３０（第１ディスクリミネータ入力部の一例、第２ディスクリミネータ入力部の一例）は、メタ情報Ｄ１を学習部４０の識別部４４に入力する。メタ情報Ｄ１は、ステップＳ６で識別部４４に入力される高解像度画像の部位情報と低解像度画像ＧＬ１のスライス情報である。なお、オリジナル高解像度画像ＧＲ及び仮想高解像度画像ＧＶの部位情報は、低解像度画像ＧＬ１の部位情報と共通である。したがって、入力部３０は、メタ情報Ｄ１の部位情報として、低解像度画像ＧＬ１の部位情報を識別部４４に入力してもよい。
ステップＳ６では、入力部３０は、高解像度画像を学習部４０の識別部４４に入力する。高解像度画像は、オリジナル高解像度画像ＧＲ又は仮想高解像度画像ＧＶである。即ち、入力部３０（第１ディスクリミネータ入力部の一例）は識別部４４にオリジナル高解像度画像ＧＲを入力する（第１ディスクリミネータ入力工程の一例）、又は入力部３０（第２ディスクリミネータ入力部の一例）は識別部４４に仮想高解像度画像ＧＶを入力する（第２ディスクリミネータ入力工程の一例）。さらに、入力部３０は、識別部４４に低解像度画像ＧＬ１を入力する（第１ディスクリミネータ入力部の一例、第２ディスクリミネータ入力部の一例）。
ステップＳ７では、識別部４４は、入力された低解像度画像ＧＬ１及びメタ情報Ｄ１を用いて、入力された高解像度画像がオリジナル高解像度画像ＧＲ、及び仮想高解像度画像ＧＶのいずれであるかを識別する。識別部４４の識別結果は、生成部４２に入力される。これにより、生成部４２及び識別部４４が学習される。
以上の学習方法を繰り返すことで、識別部４４は、入力された高解像度画像がオリジナル高解像度画像ＧＲ、及び仮想高解像度画像ＧＶのいずれであるかをより好適に識別できるように学習する。一方、生成部４２は、オリジナル高解像度画像ＧＲに近い仮想高解像度画像ＧＶを生成するように学習する。これにより、生成部４２は、解像度が相対的に低い低解像度画像ＧＬ１から解像度が相対的に高い仮想高解像度画像ＧＶを推定することができる。
図９及び図１０は、識別部４４にメタ情報Ｄ１を与えずに全身の画像を学習した生成部４２における画像生成を説明するための図である。図９は、頭部のＣＴ画像のサジタル断面画像を示している。図９に示すＦ９Ａは、生成部４２に入力された低解像度画像である。図９に示すＦ９Ｂは、生成部４２から出力された仮想高解像度画像である。また、図９に示すＦ９Ｃは、Ｆ９Ｂの正解データ（Ground truth）であり、Ｆ９Ａの元データとなったオリジナル高解像度画像である。図１０は、腰部のＣＴ画像のサジタル断面画像を示している。図１０に示すＦ１０Ａ、Ｆ１０Ｂ、及びＦ１０Ｃは、それぞれ入力された低解像度画像、出力された仮想高解像度画像、及び正解データである。
生成部４２は、頭部から脚部まで部位に関係なく、低解像度画像を入力すると正解データに近い高解像度画像を出力することが理想である。しかしながら、図９及び図１０に示すように、識別部４４にメタ情報Ｄ１を与えずに学習した場合、生成部４２の生成した仮想高解像度画像は、他部位の学習の影響を受けて特徴が平均化され、不明瞭な画像となった。この原因は、入力データの多様性であると考えられる。
図１１は、脚部のＣＴ画像のサジタル断面画像を示している。図１１に示すＦ１１Ａは、脚部の低解像度画像である。図１１に示すＦ１１Ｂは、脚部の高解像度画像である。図１１に示すように、脚部の画像は背景及び垂直方向の情報が多く、低解像度画像と高解像度画像との変化が比較的小さい。このため、生成部４２は、脚部の高解像度画像の生成については「ほぼ何もしない」という学習を行う。しかしながら、この学習は、頭部、胸部、及び腹部の高解像度画像の生成の学習に悪影響を与えてしまうという問題点があった。
また、識別部４４は、画像の部位の多様性により混乱して精度が向上しないという問題点があった。
このような課題に対し、１つの方法として、部位別に識別（超解像度画像出力モデル）を学習及び作成することも考えられる。しかしながら、この方法では、部位別のモデル作成が必要になる、推論時のデータの部位を判断する部分が必要となる、部位をまたがったデータの場合の処理が必要、等の新たな課題がある。
図１２～図１４は、本実施形態の効果を説明するための図である。図１２は、頭部のＣＴ画像のサジタル断面画像を示している。図１２に示すＦ１２Ａは、学習された生成モデルである生成部４２に入力された低解像度画像である。図１２に示すＦ１２Ｂは、生成部４２から出力された仮想高解像度画像である。また、図１２に示すＦ１２Ｃは、Ｆ１２Ｂの正解データ（Ground truth）であり、Ｆ１２Ａの元データとなったオリジナル高解像度画像である。図１３は腹部のＣＴ画像のサジタル断面画像を示している。図１３に示すＦ１３Ａ、Ｆ１３Ｂ、及びＦ１３Ｃは、それぞれ入力された低解像度画像、出力された仮想高解像度画像、及び正解データである。図１４は腰部のＣＴ画像のサジタル断面画像を示している。図１４に示すＦ１４Ａ、Ｆ１４Ｂ、及びＦ１４Ｃは腰部の画像であり、それぞれ入力された低解像度画像、出力された仮想高解像度画像、及び正解データである。
図１２～図１４に示すように、本実施形態によって学習された生成部４２によれば、識別部４４にメタ情報Ｄ１を入力して学習したことで、部位やスライス間隔等によらず高精度で画像生成が可能になった。この生成部４２は、ＶＴＳ（Virtual Thin Slice）装置に適用することができる。
本実施形態によれば、部位別の生成モデルを用意する必要がない。本実施形態では、生成部４２には低解像度画像のみが入力されるため、ネットワークアーキテクチャの大幅な修正が不要である。また、識別部４４は、特徴量として部位情報を使用して学習することができる。これにより、学習された生成モデルは、入力される低解像度画像がどの部位の画像であるかの情報が不要であり、どの部位の画像が入力されても高解像の画像を生成することができる。したがって、過去のＣＴ画像の資産を有効利用することができる。なお、この生成モデルは、複数の部位にまたがった画像が入力された場合であっても、高解像の画像の生成が可能である。
ここでは、入力部３０はメタ情報Ｄ１として部位情報及びスライス情報を識別部４４に入力したが、メタ情報Ｄ１は少なくとも部位情報を含めばよい。また、メタ情報Ｄ１に、低解像度画像のぼかしの強弱情報を含めてもよい。ぼかしの強弱情報は、「ぼかし強」、「ぼかし弱」等の分類であってもよい。
また、本実施形態では、識別部４４にオリジナル高解像度画像ＧＲと低解像度画像ＧＬ１とのペア、又は生成部４２から入力される仮想高解像度画像ＧＶと低解像度画像ＧＬ１とのペアが入力されているが、低解像度画像ＧＬ１の入力は必須ではない。即ち、識別部４４には、オリジナル高解像度画像ＧＲ又は仮想高解像度画像ＧＶが入力されればよい。
なお、低解像度画像ＧＬ１を識別部４４に入力しない場合であっても、識別部４４に仮想高解像度画像ＧＶが入力される場合、メタ情報Ｄ１のスライス情報は低解像度画像ＧＬ１のスライス情報を使用する。これは、識別部４４に入力された仮想高解像度画像ＧＶがどのような条件の低解像度画像ＧＬ１を元に生成されたのかを考慮するためである。
識別部４４にオリジナル高解像度画像ＧＲが入力される場合は、スライス情報は意味を持たないため、スライス情報にはランダムな値を与えて学習させる。これにより、識別部４４は、「スライス間隔４ｍｍの低解像度画像から生成された偽物の可能性がある高解像度画像の真偽を判別する」、「スライス間隔８ｍｍの低解像度画像から生成された偽物の可能性がある高解像度画像の真偽を判別する」等のような条件別に識別を学習することができる。
＜第２の実施形態＞
図１５は、第２の実施形態に係る医療画像学習装置１０の学習処理を示す機能ブロック図である。なお、図６に示す機能ブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
医療画像学習装置１０は、入力部３０に補間部３４を備えている。補間部３４は、低解像度変換部３２が生成した低解像度画像ＧＬ１から、低解像度画像ＧＬ２を生成する。補間部３４は、低解像度画像ＧＬ１のＺ方向にスプライン補間処理を施す。また、補間部３４は、スプライン補間処理が施された低解像度画像ＧＬ１にガウシアンフィルタ処理を施す。スプライン補間処理及びガウシアンフィルタ処理により生成された画像が、低解像度画像ＧＬ２である。
例えば、低解像度画像ＧＬ１は、スライス間隔が５ｍｍ、スライス厚が１ｍｍであり、補間部３４が生成する低解像度画像ＧＬ２は、スライス間隔が１ｍｍ、スライス厚が１ｍｍである。低解像度画像ＧＬ２のスライス間隔及びスライス厚はオリジナル高解像度画像ＧＲのスライス間隔及びスライス厚と同様であるが、低解像度画像ＧＬ２は、オリジナル高解像度画像ＧＲと比較してＺ方向にボケた画像となる。
補間部３４が生成した低解像度画像ＧＬ２は、学習部４０の生成部４２に入力される。即ち、本実施形態では、生成部４２は低解像度画像ＧＬ２から仮想高解像度画像ＧＶを生成する。なお、仮想高解像度画像ＧＶのスライス間隔及びスライス厚は低解像度画像ＧＬ２のスライス間隔及びスライス厚と同様であるが、仮想高解像度画像ＧＶは、低解像度画像ＧＬ２と比較してＺ方向にシャープな画像となる。
また、補間部３４が生成した低解像度画像ＧＬ２は、高解像度画像とペアで識別部４４に入力される。識別部４４は、低解像度画像ＧＬ２及びメタ情報Ｄ１を用いて、入力された高解像度画像がオリジナル高解像度画像ＧＲ、及び仮想高解像度画像ＧＶのいずれであるかを識別する。なお、識別部４４には、低解像度画像ＧＬ２は入力されなくてもよい。
本実施形態によれば、生成部４２は、オリジナル高解像度画像ＧＲから低解像度変換され、さらにスプライン補間処理された低解像度画像ＧＬ２から高解像度画像を生成する学習をすることができる。したがって、低解像度画像ＧＬ１から高解像度画像を生成する学習と合せることで、多様な入力の低解像度画像に適応した生成モデルを得ることができる。
＜第３の実施形態＞
図１６は、第３の実施形態に係る医療画像学習装置１０の学習処理を示す機能ブロック図である。なお、図６に示す機能ブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。本実施形態に係る医療画像学習装置１０は、高解像度画像に代えて、解像度が相対的に高い高解像情報を含む高周波成分画像を生成し、識別する。
医療画像学習装置１０は、入力部３０に高周波成分抽出部３６を備えている。高周波成分抽出部３６は、オリジナル高解像度画像ＧＲから高周波成分を抽出し、オリジナル高周波成分画像ＣＲ（学習用高周波成分画像の一例）を生成する。高周波成分の抽出は、ハイパスフィルタを用いて行われる。オリジナル高周波成分画像ＣＲは、オリジナル高解像度画像ＧＲと同様に、スライス間隔が１ｍｍ、スライス厚が１ｍｍである。
高周波成分抽出部３６が生成したオリジナル高周波成分画像ＣＲは、学習部４０の識別部４４に入力される。
また、学習部４０の生成部４２は、入力部３０の低解像度変換部３２から入力された低解像度画像ＧＬ１から、オリジナル高周波成分画像ＣＲと同様の解像度を有する仮想高周波成分画像ＣＶを生成する。ここでは、生成部４２は、スライス間隔が１ｍｍ、スライス厚が１ｍｍの仮想高周波成分画像ＣＶを生成する。
識別部４４には、入力部３０から入力されるオリジナル高周波成分画像ＣＲ（学習用第２画像の一例）と低解像度画像ＧＬ１とのペア、又は生成部４２（ディスクリミネータ入力部の一例）から入力される仮想高解像度画像ＧＶ（仮想第２画像の一例）と低解像度画像ＧＬ１とのペアが入力される。
識別部４４は、入力部３０から入力された低解像度画像ＧＬ１及びメタ情報Ｄ１を用いて、入力された高周波成分画像がオリジナル高周波成分画像ＣＲ、及び仮想高周波成分画像ＣＶのいずれであるかを識別する。
本実施形態によれば、生成部４２は、低解像度画像ＧＬ１から高周波成分画像を生成する学習をすることができる。生成部４２は、生成部４２が生成した高周波成分画像と生成部４２の入力である低解像度画像ＧＬ１とを加算処理することで、高解像度画像を得ることができる。
＜第４の実施形態＞
図１７は、第４の実施形態に係る医療画像学習装置１０の学習処理を示す機能ブロック図である。なお、図１５及び図１６に示す機能ブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
入力部３０の低解像度変換部３２は、オリジナル高解像度画像ＧＲから低解像度画像ＧＬ１を生成する。補間部３４は、低解像度画像ＧＬ１から、低解像度画像ＧＬ２を生成する。
学習部４０の生成部４２は、入力部３０の補間部３４から入力された低解像度画像ＧＬ２から、オリジナル高解像度画像ＧＲと同様の解像度を有する仮想高周波成分画像ＣＶを生成する。
医療画像学習装置１０は、学習部４０に加算部４６を備えている。加算部４６は、生成部４２が生成した仮想高周波成分画像ＣＶと補間部３４が生成した低解像度画像ＧＬ２とを加算する。これにより、加算部４６は、オリジナル高解像度画像ＧＲと同様の解像度を有する仮想高解像度画像ＧＶを生成する。
識別部４４には、入力部３０から入力されるオリジナル高解像度画像ＧＲと低解像度画像ＧＬ２ペア、又は加算部４６から入力される仮想高解像度画像ＧＶと低解像度画像ＧＬ２のペアが入力される。
識別部４４は、低解像度画像ＧＬ１及びメタ情報Ｄ１を用いて、入力された高解像度画像がオリジナル高解像度画像ＧＲ、及び仮想高解像度画像ＧＶのいずれであるかを識別する。識別部４４の識別結果は、生成部４２に入力される。これにより、生成部４２及び識別部４４が学習される。
本実施形態によれば、生成部４２は、低解像度画像ＧＬ１から高周波成分画像を生成する学習をすることができる。また、識別部４４は、高解像度画像の識別の学習をすることができる。
〔その他〕
ここでは、医療画像学習装置１０は、１つのパーソナルコンピュータ又はワークステーションによって構成される例を説明したが、複数のパーソナルコンピュータ等で構成してもよい。例えば、入力部３０と学習部４０とを異なるパーソナルコンピュータ等で構成してもよい。このように構成することで、学習データの生成と生成モデルの学習とを物理的にも時間的にも互いに束縛されることなく実施することができる。
ここではＣＴ画像の超解像の生成モデルの学習方法を説明したが、本実施形態に係る生成モデルの学習方法は、部位情報を有する３次元断層画像に適用することができる。例えば、ＭＲＩ（Magnetic Resonance Imaging）装置により取得されるＭＲ画像、ＰＥＴ（Positron Emission Tomography）装置により取得されるＰＥＴ画像、ＯＣＴ（Optical Coherence Tomography）装置により取得されるＯＣＴ画像、３次元超音波撮影装置により取得される３次元超音波画像等であってもよい。
また、本実施形態に係る生成モデルの学習方法は、部位情報を有する２次元画像に適用することができる。例えば、Ｘ線画像であってもよい。また、医療画像に限定されず、通常のカメラ画像に適用することができる。２次元画像に適用する場合は、スライス情報のスライス間隔に代えて、シャープネス（再構成関数）情報を使用すればよい。また、スライス情報のスライス厚に代えて、ピクセルスペーシング情報、即ち画素の大きさの情報を使用すればよい。
ここまで説明した実施形態において、医療画像学習装置１０の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、或いはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
１０…医療画像学習装置
１２…通信部
１４…画像データベース
１６…操作部
１８…ＣＰＵ
２０…ＲＡＭ
２２…ＲＯＭ
２４…表示部
３０…入力部
３２…低解像度変換部
３４…補間部
３６…高周波成分抽出部
４０…学習部
４２…生成部
４４…識別部
４６…加算部
ＣＲ…オリジナル高周波成分画像
ＣＶ…仮想高周波成分画像
Ｄ１…メタ情報
Ｇ１，Ｇ２，Ｇ３，Ｇ４…ＣＴ画像
Ｇ１１，Ｇ１２，Ｇ１３…スライス画像
Ｇ２１，Ｇ２２，Ｇ２３…スライス画像
Ｇ３１，Ｇ３２，Ｇ３３…スライス画像
Ｇ４１，Ｇ４２，Ｇ４３…スライス画像
ＧＬ１，ＧＬ２…低解像度画像
ＧＲ…オリジナル高解像度画像
ＧＶ…仮想高解像度画像
Ｓ１～Ｓ７医療画像学習方法の各ステップ

Claims (12)

  1. 解像度が相対的に低い低解像情報を含む第１画像から解像度が相対的に高い高解像情報を含む第２画像を推定する生成モデルの学習方法であって、
    第１画像を用いて仮想第２画像を生成する生成モデルであるジェネレータと、学習用第２画像と前記仮想第２画像とを識別するディスクリミネータと、を備える敵対的生成ネットワークの前記ジェネレータに前記第１画像のみを入力するジェネレータ入力工程と、
    前記ディスクリミネータに前記学習用第２画像と前記学習用第２画像の部位情報と、を入力する第１ディスクリミネータ入力工程と、
    前記ディスクリミネータに前記仮想第２画像と前記仮想第２画像の部位情報と、を入力する第２ディスクリミネータ入力工程と、
    を備えた学習方法。
  2. 前記部位情報は、人体の頭部、胸部、腹部、及び脚部を含む請求項１に記載の学習方法。
  3. 前記第１画像は３次元断層画像であり、
    前記解像度はスライス厚方向の解像度である請求項１又は２に記載の学習方法。
  4. 前記第１ディスクリミネータ入力工程及び前記第２ディスクリミネータ入力工程は、前記第１画像のスライス情報を前記ディスクリミネータに入力する請求項３に記載の学習方法。
  5. 前記スライス情報は、スライス間隔である請求項４に記載の学習方法。
  6. 前記スライス情報は、スライス厚である請求項４又は５に記載の学習方法。
  7. 前記第１ディスクリミネータ入力工程及び前記第２ディスクリミネータ入力工程は、前記第１画像を前記ディスクリミネータに入力する請求項１から６のいずれか１項に記載の学習方法。
  8. 前記学習用第２画像から前記第１画像を生成する第１画像生成工程を備え、
    前記ジェネレータ入力工程は、前記ジェネレータに前記生成した第１画像のみを入力する請求項１から６のいずれか１項に記載の学習方法。
  9. 請求項１から８のいずれか１項に記載の学習方法をコンピュータに実行させるためのプログラム。
  10. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項９に記載のプログラムをコンピュータに実行させる記録媒体。
  11. 請求項１から８のいずれか１項に記載の学習方法によって学習された、解像度が相対的に低い低解像情報を含む第１画像から解像度が相対的に高い高解像情報を含む第２画像を推定する機能をコンピュータに実現させるための生成モデル。
  12. 解像度が相対的に低い低解像情報を含む第１画像から解像度が相対的に高い高解像情報を含む第２画像を推定する生成モデルの学習装置であって、
    第１画像を用いて仮想第２画像を生成する生成モデルであるジェネレータと、学習用第２画像と前記仮想第２画像とを識別するディスクリミネータと、を備える敵対的生成ネットワークと、
    前記ジェネレータに前記第１画像のみを入力するジェネレータ入力部と、
    前記ディスクリミネータに前記学習用第２画像と前記学習用第２画像の部位情報と、を入力する第１ディスクリミネータ入力部と、
    前記ディスクリミネータに前記仮想第２画像と前記仮想第２画像の部位情報と、を入力する第２ディスクリミネータ入力部と、
    を備えた学習装置。
JP2021502250A 2019-02-28 2020-02-25 学習方法、学習装置、生成モデル及びプログラム Active JP7106741B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019036373 2019-02-28
JP2019036373 2019-02-28
PCT/JP2020/007382 WO2020175445A1 (ja) 2019-02-28 2020-02-25 学習方法、学習装置、生成モデル及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020175445A1 JPWO2020175445A1 (ja) 2021-12-23
JP7106741B2 true JP7106741B2 (ja) 2022-07-26

Family

ID=72240029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021502250A Active JP7106741B2 (ja) 2019-02-28 2020-02-25 学習方法、学習装置、生成モデル及びプログラム

Country Status (4)

Country Link
US (1) US11948349B2 (ja)
EP (1) EP3932319A4 (ja)
JP (1) JP7106741B2 (ja)
WO (1) WO2020175445A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022070036A (ja) * 2020-10-26 2022-05-12 キヤノン株式会社 医用画像処理装置、医用画像処理方法及びプログラム
US11689601B1 (en) * 2022-06-17 2023-06-27 International Business Machines Corporation Stream quality enhancement

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008167950A (ja) 2007-01-12 2008-07-24 Fujifilm Corp 放射線画像処理方法および装置ならびにプログラム
US20180260957A1 (en) 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Automatic Liver Segmentation Using Adversarial Image-to-Image Network
US20180341836A1 (en) 2017-05-24 2018-11-29 General Electric Company Neural network point cloud generation system
JP2018192264A (ja) 2017-05-18 2018-12-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100067772A1 (en) 2007-01-12 2010-03-18 Fujifilm Corporation Radiation image processing method, apparatus and program
US10548539B2 (en) * 2015-01-23 2020-02-04 Hitachi, Ltd. X-ray CT apparatus and scanning method
EP3447721A1 (en) * 2017-08-24 2019-02-27 Agfa Nv A method of generating an enhanced tomographic image of an object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008167950A (ja) 2007-01-12 2008-07-24 Fujifilm Corp 放射線画像処理方法および装置ならびにプログラム
US20180260957A1 (en) 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Automatic Liver Segmentation Using Adversarial Image-to-Image Network
JP2018192264A (ja) 2017-05-18 2018-12-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置
US20180341836A1 (en) 2017-05-24 2018-11-29 General Electric Company Neural network point cloud generation system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MARDANI, Morteza et al.，Deep Generative Adversarial Networks for Compressed Sensing (GANCS) Automates MRI，arXiv，2017年，arXiv:1706.00051v1 [cs.CV]

Also Published As

Publication number Publication date
EP3932319A4 (en) 2022-04-27
US11948349B2 (en) 2024-04-02
WO2020175445A1 (ja) 2020-09-03
US20210374483A1 (en) 2021-12-02
EP3932319A1 (en) 2022-01-05
JPWO2020175445A1 (ja) 2021-12-23

Similar Documents

Publication Publication Date Title
Shi et al. LRTV: MR image super-resolution with low-rank and total variation regularizations
Milchenko et al. Obscuring surface anatomy in volumetric imaging data
EP3932318A1 (en) Learning method, learning system, learned model, program, and super-resolution image generation device
Lyu et al. Super-resolution MRI through deep learning
Zhao et al. A deep learning based anti-aliasing self super-resolution algorithm for MRI
EP3779866A1 (en) Systems and methods for deblurring medical images using deep neural network
Kudo et al. Virtual thin slice: 3D conditional GAN-based super-resolution for CT slice interval
KR20200130374A (ko) 두꺼운 이미지 슬라이스들로부터 얇은 이미지 슬라이스들을 생성하기 위한 시스템들 및 방법들
US11087465B2 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
Javed et al. MRI and PET image fusion using fuzzy logic and image local features
JP7106741B2 (ja) 学習方法、学習装置、生成モデル及びプログラム
Manakov et al. Noise as domain shift: Denoising medical images by unpaired image translation
WO2024066049A1 (zh) 一种pet图像去噪的方法、终端设备及可读存储介质
US10013778B2 (en) Tomography apparatus and method of reconstructing tomography image by using the tomography apparatus
US20220114699A1 (en) Spatiotemporal resolution enhancement of biomedical images
Florkow et al. The impact of MRI-CT registration errors on deep learning-based synthetic CT generation
Thapa et al. Comparison of super-resolution algorithms applied to retinal images
Ghoshal et al. 3D reconstruction of spine image from 2D MRI slices along one axis
US20240138700A1 (en) Medical image processing apparatus, method of medical image processing, and nonvolatile computer readable storage medium storing therein medical image processing program
US20230368442A1 (en) Method of generating trained model, machine learning system, program, and medical image processing apparatus
US20230341914A1 (en) Generating reformatted views of a three-dimensional anatomy scan using deep-learning estimated scan prescription masks
KR20190114229A (ko) 영상 처리 장치 및 방법
WO2022163513A1 (ja) 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置
CN115081637A (zh) 用于生成合成成像数据的机器学习算法的现场训练
Na'am et al. Enlarge medical image using line-column interpolation (LCI) method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210819

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220713

R150 Certificate of patent or registration of utility model

Ref document number: 7106741

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150