JP7203978B2 - 学習装置、方法およびプログラム、関心領域抽出装置、方法およびプログラム、並びに学習済み抽出モデル - Google Patents

学習装置、方法およびプログラム、関心領域抽出装置、方法およびプログラム、並びに学習済み抽出モデル Download PDF

Info

Publication number
JP7203978B2
JP7203978B2 JP2021534066A JP2021534066A JP7203978B2 JP 7203978 B2 JP7203978 B2 JP 7203978B2 JP 2021534066 A JP2021534066 A JP 2021534066A JP 2021534066 A JP2021534066 A JP 2021534066A JP 7203978 B2 JP7203978 B2 JP 7203978B2
Authority
JP
Japan
Prior art keywords
image
decoder
learning
discriminator
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021534066A
Other languages
English (en)
Other versions
JPWO2021015231A5 (ja
JPWO2021015231A1 (ja
Inventor
彰 工藤
嘉郎 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021015231A1 publication Critical patent/JPWO2021015231A1/ja
Publication of JPWO2021015231A5 publication Critical patent/JPWO2021015231A5/ja
Application granted granted Critical
Publication of JP7203978B2 publication Critical patent/JP7203978B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本開示は、画像から関心領域を抽出する抽出モデルを学習する学習装置、方法およびプログラム、画像から関心領域を抽出する関心領域抽出装置、方法およびプログラム、並びに学習済み抽出モデルに関するものである。
データを作り出す「Generator」（ジェネレータ）と、データを識別する「Discriminator」（ディスクリミネータ）とを交互に学習する敵対的生成ネットワーク（Generative Adversarial Networks：GAN）が提案されている。例えば、下記の非特許文献１には、ＧＡＮに関する研究が記載されている。ＧＡＮによれば、学習データの特徴に沿った精度の高いデータを生成する生成モデルを学習することができる。
また、下記の非特許文献２には、ソースおよびターゲットという２つの異なるドメイン間において、ドメイン適応を行う技術も提案されている。非特許文献２に記載された手法は、ソース画像とターゲット画像の特徴量空間を近づけるように学習をするアイデアに基づくものであり、非特許文献２に記載の手法により、十分な教師ラベルを持つソースドメインを利用して、教師ラベルがないかまたは少ないターゲットドメインを、高い精度で学習することができる。
また、下記の非特許文献３には、単一のジェネレータとディスクリミネータとを用いて、マルチモーダルなドメイン変換を実現するネットワークが提案されている。非特許文献３に記載された手法は、ジェネレータの入力に変換対象の画像（例えば人物の顔画像）の各種表情（例えば、金髪、黒髪、笑顔および怒り顔等）をドメインラベルとして同時に与え、ディスクリミネータにおいては、入力された画像の真偽のみならず、ドメインすなわち表情の判定も行って、ジェネレータおよびディスクリミネータを学習している。
一方、医療分野においては、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の各種モダリティの進歩により、より質の高い医用画像を用いての画像診断が可能となってきている。このような医用画像に含まれる臓器および病変等の関心領域を自動で抽出することも行われている。例えば、ニューラルネットワーク等の機械学習モデルを、学習用画像と関心領域の正解マスクとを用いて学習することにより、入力画像から関心領域を抽出する技術が提案されている。
非特許文献１：Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu,David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio "GenerativeAdversarial Nets", arXiv:1406.2661
非特許文献２：Judy Hoffman, Eric Tzeng, Taesung Park, Jun-Yan Zhu, Phillip Isola, Kate Saenko, Alexei A. Efros, Trevor Darrell "CyCADA: Cycle-Consistent Adversarial Domain Adaptation"， arXiv:1711.03213
非特許文献３：Yunjey Choi, Minje Choi, Munyoung Kim, Jung-Woo Ha, Sunghun Kim, Jaegul Choo "StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation"，arXiv:1711.09020
ところで、医用画像はＣＴ装置およびＭＲＩ装置のように画像を生成するモダリティが異なると、画像の表現形式が異なる。例えば、画像に含まれる人体の組織が同じであっても、ＣＴ画像とＭＲＩ画像とでは濃度が異なるものとなる。また、ＭＲＩ画像には、Ｔ１強調画像、Ｔ２強調画像、脂肪抑制画像および拡散強調画像等の多様な撮影条件があり、撮影条件に応じて表現形式がそれぞれ異なる。例えば、Ｔ１強調画像では、主に脂肪組織が白く見え、水、液性成分および嚢胞は黒く見え、腫瘍はやや黒く見える。また、Ｔ２強調画像では、脂肪組織だけでなく、水、液性成分および嚢胞も白く見える。このため、各種表現形式の医用画像に対応させた関心領域の抽出を行うためには、医用画像の表現形式毎、すなわちドメイン毎に正解マスクを用意して機械学習モデルを学習させる必要がある。しかしながら、ドメイン毎に正解マスクを用意すると、正解マスクの作成、画像の収集および学習時における機械学習モデルのパラメータの調整等に多大なコストが必要となる。この場合、上記非特許文献２および非特許文献３に記載された手法を、医用画像からの関心領域の抽出に適用することが考えられる。
しかしながら、上記非特許文献２に記載された手法は、１つのソースおよび１つのターゲットという１対１のドメイン変換のみにしか対応していない。このため、多様な表現形式を有する医用画像に対応させるためには、ドメイン、すなわち表現形式の組み合わせ毎にモデルを用意する必要がある。また、非特許文献３に記載された手法では、非特許文献３に記載された手法は、画像を変換する処理のみにしか適用することができない。さらに、非特許文献３に記載された手法は、判別時において、ジェネレータの入力に、ドメインラベルが必要となる。
本開示は上記事情に鑑みなされたものであり、対象画像の表現形式に拘わらず、対象画像に含まれる関心領域を抽出できるようにすることを目的とする。
本開示による第１の学習装置は、複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習装置であって、
抽出モデルは、
第１の表現形式の第１画像の特徴量を抽出することにより、第１画像の特徴マップを導出するエンコーダ、
特徴マップに基づいて、第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
入力された画像の表現形式および入力された画像が実画像であるか第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
特徴マップに基づいて、第１画像の関心領域を抽出する第２デコーダ、および
第２デコーダによる関心領域の抽出結果が、正解マスク有りの第１画像の抽出結果であるか、正解マスク無しの第１画像の抽出結果であるかを判別して、第２判別結果を出力する第２ディスクリミネータを有し、
第１判別結果に基づいて、エンコーダ、第１デコーダおよび第１ディスクリミネータを学習し、第２判別結果に基づいて、エンコーダ、第２デコーダおよび第２ディスクリミネータを学習する学習部を備える。
なお、本開示による第１の学習装置においては、学習部は、エンコーダに第２仮想画像を入力して第２仮想画像の特徴マップを導出させ、
第１デコーダに、第２仮想画像の特徴マップに基づいて、第１の表現形式の第１仮想画像を導出させ、
第１画像および第１仮想画像との相違にも基づいて、エンコーダ、第１デコーダおよび第１ディスクリミネータを学習するものであってもよい。
また、本開示による第１の学習装置においては、第１画像が関心領域についての正解マスクを有する場合、学習部は、関心領域の抽出結果および正解マスクに基づいて、第２デコーダを学習するものであってもよい。
また、本開示による第１の学習装置においては、抽出モデルは、特徴マップに基づいて、エンコーダに入力された第１画像の表現形式を判別して第３判別結果を出力する第３ディスクリミネータをさらに有し、
学習部は、第３判別結果に基づいて、エンコーダおよび第３ディスクリミネータを学習するものであってもよい。
本開示による第２の学習装置は、複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習装置であって、
抽出モデルは、
第１の表現形式の第１画像の特徴量を抽出することにより、第１画像の特徴マップを導出するエンコーダ、
特徴マップに基づいて、第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
入力された画像の表現形式および入力された画像が実画像であるか第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
特徴マップに基づいて、第１画像の関心領域を抽出する第２デコーダ、および
特徴マップに基づいて、エンコーダに入力された第１画像の表現形式を判別して第３判別結果を出力する第３ディスクリミネータを有し、
第１判別結果に基づいて、エンコーダ、第１デコーダおよび第１ディスクリミネータを学習し、第３判別結果に基づいて、エンコーダおよび第３ディスクリミネータを学習する学習部を備える。
なお、本開示による第１および第２の学習装置においては、画像は３次元の医用画像であり、表現形式は、ＣＴ画像およびＭＲＩ画像の表現形式を含むものであってもよい。
また、本開示による第１および第２の学習装置においては、表現形式は、ＭＲＩ画像における、Ｔ１強調画像、Ｔ２強調画像、拡散強調画像、ＦＬＡＩＲ画像、造影前Ｔ１強調画像、および造影後Ｔ１強調画像の少なくとも１つの表現形式を含むものであってもよい。
本開示による関心領域抽出装置は、本開示による第１または第２の学習装置により学習された抽出モデルにおけるエンコーダおよび第２デコーダを有し、任意の表現形式の画像から画像の関心領域を抽出する抽出部を備える。
本開示による学習済み抽出モデルは、本開示による第１または第２の学習装置により学習された抽出モデルにおけるエンコーダおよび第２デコーダを備える。
本開示による第１の学習方法は、複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習方法であって、
抽出モデルは、
第１の表現形式の第１画像の特徴量を抽出することにより、第１画像の特徴マップを導出するエンコーダ、
特徴マップに基づいて、第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
入力された画像の表現形式および入力された画像が実画像であるか第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
特徴マップに基づいて、第１画像の関心領域を抽出する第２デコーダ、および
第２デコーダによる関心領域の抽出結果が、正解マスク有りの第１画像の抽出結果であるか、正解マスク無しの第１画像の抽出結果であるかを判別して、第２判別結果を出力する第２ディスクリミネータを有し、
第１判別結果に基づいて、エンコーダ、第１デコーダおよび第１ディスクリミネータを学習し、
第２判別結果に基づいて、エンコーダ、第２デコーダおよび第２ディスクリミネータを学習する。
本開示による第２の学習方法は、複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習方法であって、
抽出モデルは、
第１の表現形式の第１画像の特徴量を抽出することにより、第１画像の特徴マップを導出するエンコーダ、
特徴マップに基づいて、第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
入力された画像の表現形式および入力された画像が実画像であるか第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
特徴マップに基づいて、第１画像の関心領域を抽出する第２デコーダ、および
特徴マップに基づいて、エンコーダに入力された第１画像の表現形式を判別して第３判別結果を出力する第３ディスクリミネータを有し、
第１判別結果に基づいて、エンコーダ、第１デコーダおよび第１ディスクリミネータを学習し、
第３判別結果に基づいて、エンコーダおよび第３ディスクリミネータを学習する。
本開示による関心領域抽出方法は、本開示による第１または第２の学習方法により学習された抽出モデルにおけるエンコーダおよび第２デコーダを有し、任意の表現形式の画像から画像の関心領域を抽出する。
なお、本開示による第１および第２の学習方法、並びに関心領域抽出方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示による第３の学習装置は、複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習装置であって、
コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、
抽出モデルは、
第１の表現形式の第１画像の特徴量を抽出することにより、第１画像の特徴マップを導出するエンコーダ、
特徴マップに基づいて、第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
入力された画像の表現形式および入力された画像が実画像であるか第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
特徴マップに基づいて、第１画像の関心領域を抽出する第２デコーダ、および
第２デコーダによる関心領域の抽出結果が、正解マスク有りの第１画像の抽出結果であるか、正解マスク無しの第１画像の抽出結果であるかを判別して、第２判別結果を出力する第２ディスクリミネータを有し、
プロセッサは、
第１判別結果に基づいて、エンコーダ、第１デコーダおよび第１ディスクリミネータを学習し、第２判別結果に基づいて、エンコーダ、第２デコーダおよび第２ディスクリミネータを学習する処理を実行する。
本開示による第４の学習装置は、複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習装置であって、
コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、
抽出モデルは、
第１の表現形式の第１画像の特徴量を抽出することにより、第１画像の特徴マップを導出するエンコーダ、
特徴マップに基づいて、第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
入力された画像の表現形式および入力された画像が実画像であるか第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
特徴マップに基づいて、第１画像の関心領域を抽出する第２デコーダ、および
特徴マップに基づいて、エンコーダに入力された第１画像の表現形式を判別して第３判別結果を出力する第３ディスクリミネータを有し、
プロセッサは、
第１判別結果に基づいて、エンコーダ、第１デコーダおよび第１ディスクリミネータを学習し、第３判別結果に基づいて、エンコーダおよび第３ディスクリミネータを学習する処理を実行する。
本開示による他の関心領域抽出装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
本開示による第１または第２の学習方法により学習された抽出モデルにおけるエンコーダおよび第２デコーダとして機能し、任意の表現形式の画像から画像の関心領域を抽出する処理を実行する。
本開示によれば、対象画像の表現形式に拘わらず、対象画像に含まれる関心領域を抽出できる。
本開示の第１の実施形態による学習装置および関心領域抽出装置を適用した、診断支援システムの概要を示すハードウェア構成図 本開示の第１の実施形態による関心領域抽出装置の概略構成を示す図 第１の実施形態における抽出モデルの構成を示す概略ブロック図 第１の実施形態における抽出モデルの構成を示す概略ブロック図 正解マスクを有する第１画像の例を示す図 正解マスクを有さない第１画像の例を示す図 入力される実画像の表現形式および変換された仮想画像の表現形式を示す図 ラベリングされた対象画像を示す図 第１の実施形態において行われる学習処理を示すフローチャート 第１の実施形態において行われる関心領域抽出処理を示すフローチャート 第２の実施形態における抽出モデルの構成を示す概略ブロック図 第３の実施形態における抽出モデルの構成を示す概略ブロック図
以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の第１の実施形態による学習装置および関心領域抽出装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、第１の実施形態による学習装置および関心領域抽出装置（以下、関心領域抽出装置で代表させる）１、複数の３次元画像撮影装置２Ａ，２Ｂ、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
３次元画像撮影装置２Ａ，２Ｂは、被写体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。３次元画像撮影装置２Ａ，２Ｂにより生成された３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、３次元画像撮影装置２ＡはＣＴ装置、３次元画像撮影装置２ＢはＭＲＩ装置であり、被写体の診断対象となる部位を含むＣＴ画像およびＭＲＩ画像をそれぞれ３次元画像として生成する。また、本実施形態においては、３次元画像撮影装置２Ｂは、ＭＲＩ画像としてＴ１強調画像およびＴ２強調画像をそれぞれ生成するものとする。３次元画像は複数の断層画像からなる。また、本実施形態においては、３次元画像は被写体の腹部を撮影することにより取得されたものであり、腹部に含まれる肝臓を抽出対象の関心領域とするものとする。
ここで、医用画像はＣＴ装置およびＭＲＩ装置のように取得されるモダリティが異なると、画像の表現形式が異なる。例えば、画像に含まれる人体の組織が同じであっても、ＣＴ画像とＭＲＩ画像とでは濃度が異なるものとなる。また、同じＭＲＩ画像であっても、Ｔ１強調画像とＴ２強調画像とでは、それぞれ表現形式が異なる。具体的には、Ｔ１強調画像では、主に脂肪組織が白く見え、水、液性成分および嚢胞は黒く見え、腫瘍はやや黒く見える。また、Ｔ２強調画像では、脂肪組織だけでなく、水、液性成分および嚢胞も白く見える。このため、ＣＴ画像、Ｔ１強調画像およびＴ２強調画像はそれぞれ表現形式が異なる画像となる。本実施形態においては、表現形式がドメインに対応し、表現形式が異なることとドメインが異なることとは同義である。
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。また、本実施形態においては、画像保管サーバ３は、後述する抽出モデルの学習のための学習用の画像も保管して管理している。
本実施形態の学習装置を含む関心領域抽出装置１は、１台のコンピュータに、第１の実施形態の学習プログラムおよび関心領域抽出プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。学習プログラムおよび関心領域抽出プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。
図２は、コンピュータに学習プログラムおよび関心領域抽出プログラムをインストールすることにより実現される関心領域抽出装置の概略構成を示す図である。図２に示すように、関心領域抽出装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、関心領域抽出装置１には、液晶ディスプレイ等の表示部１４、並びにキーボードおよびマウス等の入力部１５が接続されている。
ストレージ１３はハードディスクドライブ等からなり、ネットワーク４を経由して画像保管サーバ３から取得した関心領域抽出の対象となる対象画像、後述するように抽出モデル３０の学習を行うための学習用の画像、および処理に必要な情報を含む各種情報が記憶されている。
また、メモリ１２には、学習プログラムおよび関心領域抽出プログラムが記憶されている。学習プログラムは、ＣＰＵ１１に実行させる処理として、抽出モデルを学習するための学習用の画像および関心領域を抽出する対象となる対象画像、並びに学習のためおよび関心領域を抽出するための各種情報を取得する情報取得処理、並びに抽出モデルを学習する学習処理を規定する。
関心領域抽出プログラムは、ＣＰＵ１１に実行させる処理として、情報取得処理により取得した関心領域抽出の対象となる対象画像に含まれる関心領域を抽出する抽出処理、関心領域抽出結果に応じて、対象画像に含まれる関心領域にラベリングを行うラベリング処理、およびラベリングされた対象画像を表示部１４に表示する表示制御処理を規定する。
そして、ＣＰＵ１１が学習プログラムおよび関心領域抽出プログラムに従いこれらの処理を実行することで、コンピュータは、情報取得部２１、学習部２２、抽出部２３、ラベリング部２４および表示制御部２５として機能する。
情報取得部２１は、ネットワークに接続されたインターフェース（不図示）を介して、画像保管サーバ３から、被写体の腹部の３次元画像を対象画像として取得する。また、学習用の画像および後述する正解マスクを取得する。さらに、学習部２２による学習のための各種情報を取得する。学習のための情報としては、例えば後述する学習用の画像の変換後の表現形式（すなわちターゲット）の情報等である。
学習部２２は、複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルを学習する。図３および図４は第１の実施形態における抽出モデルの構成を示す概略ブロック図である。図３，４に示すように、抽出モデル３０は、エンコーダ３１、第１デコーダ３２、第１ディスクリミネータ３３、第２デコーダ３４および第２ディスクリミネータ３５を有する。抽出モデル３０に含まれるエンコーダ３１、第１デコーダ３２および第１ディスクリミネータ３３が、入力された画像の表現形式を変換するための、すなわちドメインを変換するためのドメイン変換ネットワークを構成する。また、抽出モデル３０に含まれるエンコーダ３１、第２デコーダ３４および第２ディスクリミネータ３５が、入力された画像から関心領域を抽出するための領域抽出ネットワークを構成する。本実施形態においては、ドメイン変換ネットワークおよび領域抽出ネットワークにおいて、エンコーダ３１が共有されてなる。
本実施形態においては、ドメイン変換ネットワークは敵対的生成ネットワーク（Generative Adversarial Networks：GAN）を構成している。ＧＡＮは、データを作り出す「Generator」（ジェネレータ）と、データを識別する「Discriminator」（ディスクリミネータ）とを備える。本実施形態においては、エンコーダ３１および第１デコーダ３２の組み合わせがジェネレータに、第１ディスクリミネータ３３がディスクリミネータに相当する。
また、本実施形態においては、領域抽出ネットワークも敵対的生成ネットワークを構成しており、エンコーダ３１および第２デコーダ３４の組み合わせがジェネレータに、第２ディスクリミネータ３５がディスクリミネータに相当する。
エンコーダ３１は、複数の処理層が階層的に接続された多層ニューラルネットワークの１つである、畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）からなり、入力された画像の特徴量を表す特徴マップを導出する。具体的には、図３に示すように、エンコーダ３１は、第１の表現形式の第１画像ＧＲ１が入力されると、第１画像ＧＲ１の特徴量を表す特徴マップＦ１を導出する。なお、本実施形態においては、第１画像ＧＲ１は、３次元画像撮影装置２Ａ，２Ｂにより生成された実際の画像（実画像）である。
畳み込みニューラルネットワークは、複数の畳み込み層からなる。畳み込み層は、入力される画像に対して各種カーネルを用いた畳み込み処理を行い、畳み込み処理により得られた特徴量データからなる特徴マップを出力する。なお、本実施形態においては最初の畳み込み層（すなわち入力層）のチャンネル数は４８以上とするが、これに限定されるものではない。カーネルは、ｎ×ｎ画素サイズ（例えばｎ＝３）を有し、各要素に重みが設定されている。具体的には入力された画像のエッジを強調する微分フィルタのような重みが設定されている。畳み込み層は、カーネルの注目画素をずらしながら、入力された画像または前段の処理層から出力された特徴マップの全体にカーネルを適用する。さらに、畳み込み層は、畳み込みされた値に対して、シグモイド関数等の活性化関数を適用し、特徴マップＦ１を出力する。なお、本実施形態においては、畳み込みニューラルネットワークはプーリング層を有さないため、畳み込み処理時にはカーネルは２以上のストライドによりずらされながら、入力された画像または特徴マップに適用される。
ここで、本実施形態においては、ＣＴ画像、Ｔ１強調画像およびＴ２強調画像のように表現形式が異なる、すなわちドメインが異なる複数種類の画像が抽出モデル３０の学習に使用される。学習時には、入力される画像にはその表現形式を表すラベルが、クラスラベルとして付与される。例えば、図３に示す第１画像ＧＲ１には、第１画像ＧＲ１の表現形式のクラスを表すクラスラベルが付与される。また、学習時に使用する画像は、正解マスクを有するものと有さないものが用意される。図５は、正解マスクＭ１を有する第１画像ＧＲ１の例を示す図、図６は正解マスクを有さない第１画像ＧＲ１の例を示す図である。図５および図６に示す第１画像ＧＲ１には、クラスラベルＣＬ１が付与されている。
本実施形態において、クラスラベルＣＬ１は３つの表現形式のクラスを識別するための３つの要素を有するベクトルであり、１が付与された要素がその画像の表現形式を表すものとなっている。図５，６においては、３つの要素は上からＣＴ画像、Ｔ１強調画像およびＴ２強調画像となっている。図５に示す第１画像ＧＲ１は、クラスラベルＣＬ１の一番上の要素に１が付与されているため、表現形式はＣＴ画像である。また、図６に示す第１画像ＧＲ１は、クラスラベルの３番目の要素に１が付与されているため、表現形式はＴ２強調画像である。本実施形態においては、入力される画像に付与された表現形式を第１の表現形式とする。
第１デコーダ３２は、特徴マップに基づいて、入力された画像の第１の表現形式を第１の表現形式とは異なる第２の表現形式に変換することにより、仮想画像を導出する。すなわち、図３に示すように、第１デコーダ３２は、第１画像ＧＲ１の特徴マップＦ１が入力されると、第１画像ＧＲ１の第１の表現形式を、第１の表現形式とは異なる第２の表現形式に変換することにより、第２仮想画像ＧＶ２を導出する。なお、第１の表現形式が変換元となるソースドメイン、第２の表現形式が変換先となるターゲットドメインにそれぞれ対応する。このために、第１デコーダ３２には第２の表現形式であるターゲットドメインの情報ＴＤ２が入力される。第２の表現形式は、例えば入力部１５から入力される。第２の表現形式の情報ＴＤ２は、第２の表現形式のクラスラベルを表すベクトルであり、クラスラベルＣＬ１と同様に３つの要素を有する。
第１デコーダ３２は、複数の逆畳み込み層を有する。逆畳み込み層はエンコーダ３１の畳み込み層と同様の処理を行うが、入力された特徴マップをアップサンプリングしつつ、逆畳み込みの演算のためのカーネルを特徴マップに適用する。具体的には、図３に示すように、第１デコーダ３２は、エンコーダ３１が出力した特徴マップＦ１を、第１画像ＧＲ１の解像度となるように高解像度化しつつ、第１画像ＧＲ１の表現形式を第２の表現形式に変換する処理を行い、第２の表現形式の第２仮想画像ＧＶ２を導出する。
第１ディスクリミネータ３３は、例えば畳み込みニューラルネットワークからなり、入力された画像の表現形式および入力された画像が実画像であるか第１デコーダ３２により生成された仮想画像であるかを判別して、第１判別結果を出力する。第１判別結果は、入力された画像が実画像であるか仮想画像であるかの判別結果ＲＦ１を含む。また、第１判別結果は入力された画像の表現形式の判別結果ＤＣ１を含む。ここで、実画像とは、第１デコーダ３２が生成した画像ではなく、３次元画像撮影装置２Ａ，２Ｂにより生成された画像、いわば本物の画像である。
このため、第１ディスクリミネータ３３が、入力された実画像を実画像であると判別した場合には、判別結果ＲＦ１は正解であり、仮想画像と判別した場合には、判別結果ＲＦ１は不正解である。また、第１ディスクリミネータ３３が、入力された仮想画像を実画像であると判別した場合には、判別結果ＲＦ１は不正解であり、仮想画像と判別した場合には、判別結果ＲＦ１は正解である。本実施形態においては、図３に示すように、学習時において第１ディスクリミネータ３３に第２仮想画像ＧＶ２が入力された場合、判別結果ＲＦ１が仮想画像であれば判別結果ＲＦ１は正解であり、判別結果が実画像であれば不正解となる。また、図３に示すように、学習時において第１ディスクリミネータ３３に実画像である第２画像ＧＲ２が入力された場合、判別結果ＲＦ１が実画像であれば判別結果ＲＦ１は正解であり、判別結果が仮想画像であれば不正解となる。
学習部２２は、第１ディスクリミネータ３３が出力した判別結果ＲＦ１に基づいて損失を導出する。この損失は、adversarial lossと称される。本実施形態においては、第１ディスクリミネータ３３におけるadversarial lossを第１損失Ｌ１とする。
また、入力された画像の表現形式がＣＴ画像である場合に、第１ディスクリミネータ３３が、表現形式をＣＴ画像と判別した場合には、判別結果ＤＣ１は正解であり、ＣＴ画像以外と判別した場合には判別結果ＤＣ１は不正解である。また、入力された画像の表現形式がＴ２強調画像である場合に、第１ディスクリミネータ３３が、表現形式をＴ２強調画像と判別した場合には、判別結果ＤＣ１は正解であり、Ｔ２強調画像以外と判別した場合には判別結果ＤＣ１は不正解である。なお、本実施形態においては、判別結果ＤＣ１を出力させるための第１ディスクリミネータ３３の学習時においては、第１ディスクリミネータ３３には実画像である第２画像ＧＲ２が入力される。
一方、本実施形態においては、後述するようにエンコーダ３１および第１デコーダ３２を学習させるために、第１デコーダ３２が導出した仮想画像が第１ディスクリミネータ３３に入力されて、判別結果ＤＣ１が出力される。例えば、本実施形態においては、Ｔ２強調画像を第２の表現形式として第２仮想画像ＧＶ２が生成されている。このため、Ｔ２強調画像である第２仮想画像ＧＶ２が第１ディスクリミネータ３３に入力された場合において、判別結果ＤＣ１がＴ２強調画像である場合、判別結果ＤＣ１は正解であり、Ｔ２強調画像以外のＣＴ画像またはＴ１強調画像の場合、判別結果ＤＣ１は不正解である。なお、以降の説明においては、第１ディスクリミネータ３３の学習のために、第１ディスクリミネータ３３から出力した判別結果ＤＣ１を判別結果ＤＣ１ｄとし、エンコーダ３１および第１デコーダ３２の学習のために、第１ディスクリミネータ３３から出力した判別結果ＤＣ１を判別結果ＤＣ１ｇと称する。
学習部２２は、第１ディスクリミネータ３３が出力した判別結果ＤＣ１ｄ，ＤＣ１ｇに基づいて損失を導出する。この損失は、classification lossと称される。本実施形態においては、判別結果ＤＣ１ｄ，ＤＣ１ｇに基づいて導出されたclassification lossをそれぞれ第２損失Ｌ２ｄ，Ｌ２ｇとする。なお、以降の説明において、判別結果ＤＣ１ｄ，ＤＣ１ｇを判別結果ＤＣ１で代表させ、第２損失Ｌ２ｄ，Ｌ２ｇを第２損失Ｌ２で代表させることがあるものとする。
一方、本実施形態においては、図４に示すように、第２仮想画像ＧＶ２がエンコーダ３１に入力され、エンコーダ３１が導出した特徴マップＦ１が第１デコーダ３２に入力され、さらに第１デコーダ３２に対して第１画像ＧＲ１の第１の表現形式の情報ＴＤ１が入力される。これにより、第１デコーダ３２が、第１仮想画像ＧＶ１を導出する。このように導出された第１仮想画像ＧＶ１は、第１画像ＧＲ１と完全に一致することが望ましいが、エンコーダ３１および第１デコーダ３２による処理を経たものであるため、第１仮想画像ＧＶ１と第１画像ＧＲ１との間に相違が生じる。本実施形態においては、学習部２２は、第１仮想画像ＧＶ１と第１画像ＧＲ１との相違を損失として導出する。この損失は、cycle lossと称される。本実施形態においては、cycle lossを第３損失Ｌ３とする。
本実施形態においては、学習部２２は、入力された画像が実画像であるか、第１デコーダ３２により生成された仮想画像であるかの判別結果ＲＦ１を正解し、かつ入力された画像の表現形式の判別結果ＤＣ１ｄを正解するように、第１ディスクリミネータ３３を学習する。すなわち、第１損失Ｌ１を最大にし、かつ第２損失Ｌ２ｄを最小にするように、第１ディスクリミネータ３３を学習する。具体的には、－Ｌ１＋Ｌ２ｄが予め定められたしきい値以下となるように、第１ディスクリミネータ３３を学習する。
また、学習部２２は、入力された画像から指定された表現形式の仮想画像を導出し、第１ディスクリミネータ３３が判別結果ＲＦ１を不正解とし、判別結果ＤＣ１ｇを正解するように、第１デコーダ３２を学習する。また、学習部２２は、第１ディスクリミネータ３３が判別結果ＲＦ１を不正解とし、判別結果ＤＣ１を正解する仮想画像を生成できるような特徴マップＦ１を導出するように、エンコーダ３１を学習する。すなわち、第１損失Ｌ１および第２損失Ｌ２ｇを最小とするように、エンコーダ３１および第１デコーダ３２を学習する。具体的には、Ｌ１＋Ｌ２ｇが予め定められたしきい値以下となるように、エンコーダ３１および第１デコーダ３２を学習する。
また、学習部２２は、第２仮想画像ＧＶ２から生成された第１仮想画像ＧＶ１が第１画像ＧＲ１と一致するように、第１デコーダ３２を学習する。また、学習部２２は、第１画像ＧＲ１と一致する第１仮想画像ＧＶ１を第１デコーダ３２が導出できる特徴マップＦ１を導出するように、エンコーダ３１を学習する。すなわち、第３損失Ｌ３を最小とするように、エンコーダ３１および第１デコーダ３２を学習する。具体的には、Ｌ３が予め定められたしきい値以下となるように、エンコーダ３１および第１デコーダ３２を学習する。
学習が進行すると、エンコーダ３１および第１デコーダ３２と第１ディスクリミネータ３３とが精度を高めあい、第１ディスクリミネータ３３は、どのような表現形式の画像が入力されても実画像か仮想画像かをより高精度に判別できるようになる。一方、エンコーダ３１および第１デコーダ３２は、第１ディスクリミネータ３３により判別されない、より本物の表現形式の画像に近い仮想画像を生成できるようになる。
図７は入力される実画像の表現形式および変換された仮想画像の表現形式を示す図である。なお、図７においては、左側の列が入力される実画像であり、表現形式が左側２列目から順にＣＴ画像、Ｔ１強調画像およびＴ２強調画像となっている。また、左側から２列目から４列目が変換された表現形式の仮想画像を示している。表現形式は、左側２列目から順に、それぞれＣＴ画像、Ｔ１強調画像およびＴ２強調画像である。本実施形態によれば、図７に示すように、入力される実画像の表現形式に拘わらず、指示された表現形式に近い仮想画像が生成されるようになる。
一方、第２デコーダ３４は、エンコーダ３１が導出した特徴マップを用いて、エンコーダ３１に入力された画像の関心領域を抽出する。具体的には、図３に示すように、第１画像ＧＲ１の特徴マップＦ１を用いて、第１画像ＧＲ１の関心領域を抽出する。第２デコーダ３４は、複数の逆畳み込み層を有する畳み込みニューラルネットワークからなる。第２デコーダ３４は、エンコーダ３１が出力した特徴マップＦ１を、第１画像ＧＲ１の解像度となるように高解像度化しつつ、第１画像ＧＲ１に含まれる関心領域（本実施形態においては肝臓）であることの確率を導出し、確率がしきい値以上の画素を関心領域として抽出する処理を行う。これにより、図３に示すように、第２デコーダ３４からは、第１画像ＧＲ１における肝臓の抽出結果ＰＭ１が出力される。
なお、第１画像ＧＲ１が正解マスクＭ１を有する場合、学習部２２は、図３に示すように、第２デコーダ３４が出力した関心領域の抽出結果ＰＭ１と正解マスクＭ１との相違を損失として導出する。この損失は、task lossと称される。本実施形態においては、task lossを第４損失Ｌ４とする。
第２ディスクリミネータ３５は、例えば畳み込みニューラルネットワークからなり、第２デコーダ３４による関心領域の抽出結果ＰＭ１が、図５に示すような正解マスクＭ１有りの第１画像ＧＲ１の抽出結果であるか、図６に示すような正解マスク無しの第１画像ＧＲ１の抽出結果であるかを判別して、第２判別結果ＲＦ２を出力する。ここで、図３に示すように、正解マスクＭ１を有する第１画像ＧＲ１についての抽出結果ＰＭ１が入力された場合に、第２ディスクリミネータ３５が正解マスク有りと判別した場合には、第２判別結果ＲＦ２は正解であり、正解マスク無しと判別した場合には第２判別結果ＲＦ２は不正解である。一方、正解マスクＭ１がない第１画像ＧＲ１についての抽出結果ＰＭ１が入力された場合に、第２ディスクリミネータ３５が正解マスク有りと判別した場合には、第２判別結果ＲＦ２は不正解であり、正解マスク無しと判別した場合には第２判別結果ＲＦ２は正解である。学習部２２は、第２判別結果ＲＦ２に関する第２ディスクリミネータ３５の出力に基づいて損失を導出する。この損失は、adversarial lossと称される。本実施形態においては、第２ディスクリミネータ３５におけるadversarial lossを第５損失Ｌ５とする。
本実施形態においては、学習部２２は、正解マスク有りの第１画像ＧＲ１の抽出結果であるか正解マスク無しの第１画像ＧＲ１の抽出結果であるかの第２判別結果ＲＦ２を正解するように、第２ディスクリミネータ３５を学習する。すなわち、第５損失Ｌ５を最大とするように、第２ディスクリミネータ３５を学習する。具体的には、－Ｌ５が予め定められたしきい値以下となるように、第２ディスクリミネータ３５を学習する。
なお、本実施形態においては、学習時には、正解マスク有りの第１画像ＧＲ１と正解マスク無しの第１画像ＧＲ１とを交互に用いて学習を行う。
また、学習部２２は、正解マスクＭ１有りの第１画像ＧＲ１の特徴マップＦ１が入力された場合に、抽出結果ＰＭ１と正解マスクＭ１とが一致するように、第２デコーダ３４を学習する。また、学習部２２は、正解マスクＭ１と一致する抽出結果ＰＭ１が得られる特徴マップＦ１を導出するように、エンコーダ３１を学習する。すなわち、第４損失Ｌ４を最小とするようにエンコーダ３１および第２デコーダ３４を学習する。具体的には、Ｌ４が予め定められたしきい値以下となるように、エンコーダ３１および第２デコーダ３４を学習する。
また、学習部２２は、第２ディスクリミネータ３５が、第２判別結果ＲＦ２を不正解とする抽出結果ＰＭ１を出力するように、第２デコーダ３４を学習する。また、学習部２２は、第２ディスクリミネータ３５が第２判別結果ＲＦ２を不正解とする抽出結果ＰＭ１を出力する特徴マップＦ１を導出するように、エンコーダ３１を学習する。すなわち、第５損失Ｌ５を最小とするように、エンコーダ３１および第１デコーダ３２を学習する。具体的には、Ｌ５が予め定められたしきい値以下となるように、エンコーダ３１および第１デコーダ３２を学習する。
学習が進行すると、エンコーダ３１および第１デコーダ３２と第１ディスクリミネータ３３とが精度を高めあい、第２ディスクリミネータ３５は、入力された画像が正解マスク有りか、正解マスク無しかをより高精度に判別できるようになる。一方、エンコーダ３１および第２デコーダ３４は、正解マスク有りの画像であっても正解マスク無しの画像であっても、第２ディスクリミネータ３５により正解マスクの有無が判別されない、より精度のよい関心領域の抽出結果を出力できるようになる。
上記のように学習部２２が抽出モデル３０の学習を行うことにより、関心領域抽出の対象となる対象画像が入力されると、対象画像の表現形式に拘わらず、対象画像に含まれる関心領域を抽出する抽出モデル３０が構築される。本実施形態においては、学習済みの抽出モデル３０におけるエンコーダ３１および第２デコーダ３４が、学習済み抽出モデル４０として抽出部２３に適用される。
抽出部２３は、対象画像が入力されると、学習済み抽出モデル４０により、対象画像に含まれる関心領域を抽出して、抽出結果を出力する。
ラベリング部２４は、抽出部２３が出力した関心領域の抽出結果に基づいて、対象画像に含まれる関心領域のラベリングを行う。
表示制御部２５は、ラベリングされた対象画像を表示部１４に表示する。図８はラベリングされた対象画像の表示画面を示す図である。図８に示すように、表示画面６０には、対象画像５１が表示され、対象画像５１に関心領域にラベリング５２がなされている。なお、図８においてはラベリング５２をハッチングにて示しているが、色を変更するまたは線で囲む等によりラベリングを行うようにしてもよい。
次いで、第１の実施形態において行われる処理について説明する。図９は第１の実施形態において行われる学習処理を示すフローチャートである。なお、学習用の第１画像ＧＲ１および正解マスク有りの場合の正解マスクＭ１は、情報取得部２１により画像保管サーバ３から取得されて、ストレージ１３に保存されているものとする。まず、学習部２２がストレージ１３に保存された学習用の第１画像ＧＲ１を取得する（ステップＳＴ１）。学習部２２は、エンコーダ３１に第１画像ＧＲ１を入力して特徴マップＦ１を導出させる（ステップＳＴ２）。また、学習部２２は、第１デコーダ３２に特徴マップＦ１および第２の表現形式の情報ＴＤ２を入力し、第２仮想画像ＧＶ２を導出させる（ステップＳＴ３）。そして、学習部２２は、第１ディスクリミネータ３３に第２画像ＧＲ２または第２仮想画像ＧＶ２を入力し、第１判別結果である判別結果ＲＦ１および判別結果ＤＣ１を出力させる（第１判別結果出力、ステップＳＴ４）。
次いで、学習部２２は、第１判別結果に基づいて第１損失Ｌ１および第２損失Ｌ２を導出する。また、学習部２２は、エンコーダ３１に第２仮想画像ＧＶ２を入力して第２仮想画像ＧＶ２の特徴マップを導出させ、第２仮想画像ＧＶ２の特徴マップを第１デコーダ３２に入力して、第１仮想画像ＧＶ１を出力させる。そして、学習部２２は、第１画像ＧＲ１および第１仮想画像ＧＶ１から第３損失Ｌ３を導出する（損失導出；ステップＳＴ５）。
さらに、学習部２２は、第１損失Ｌ１、第２損失Ｌ２および第３損失Ｌ３に基づいて、エンコーダ３１、第１デコーダ３２および第１ディスクリミネータ３３を学習する（第１学習、ステップＳＴ６）。
一方、学習部２２は第２デコーダ３４に特徴マップＦ１を入力し、関心領域の抽出結果ＰＭ１を出力させる（ステップＳＴ７）。また、学習部２２は、第２ディスクリミネータ３５に抽出結果ＰＭ１を入力し、第２判別結果ＲＦ２を出力させる（ステップＳＴ８）。そして、学習部２２は、第２判別結果ＲＦ２に基づいて、第５損失Ｌ５を導出する。なお、学習部２２は、第１画像ＧＲ１が正解マスクＭ１を有する場合、第４損失Ｌ４を導出する（損失導出；ステップＳＴ９）。
さらに、学習部２２は、第４損失Ｌ４（有れば）および第５損失Ｌ５に基づいて、エンコーダ３１、第２デコーダ３４および第２ディスクリミネータ３５を学習する（第２学習、ステップＳＴ１０）。そして、ステップＳＴ１にリターンし、次の学習用の第１画像ＧＲ１をストレージ１３から取得して、ステップＳＴ１～ステップＳＴ１０の処理を繰り返す。これにより、学習済みの抽出モデル３０が構築される。なお、ステップＳＴ３～ステップＳＴ６の処理とステップＳＴ７～ステップＳＴ１０の処理を並列に行ってもよく、ステップＳＴ７～ステップＳＴ１０の処理をステップＳＴ３～ステップＳＴ６の処理よりも先に行ってもよい。
なお、学習部２２は、各種損失Ｌ１～Ｌ５が予め定められたしきい値以下となるまで学習を繰り返すものとしているが、予め定められた回数の学習を繰り返すものであってもよい。
次いで、第１の実施形態において行われる関心領域抽出処理について説明する。図１０は第１の実施形態において行われる関心領域抽出処理のフローチャートである。情報取得部２１が対象画像を取得し（ステップＳＴ１１）、抽出部２３が対象画像に含まれる関心領域抽出結果を出力する（ステップＳＴ１２）。次いで、ラベリング部２４が、関心領域抽出結果に基づいて対象画像５１に含まれる関心領域のラベリング５２を行う（ステップＳＴ１３）。そして、表示制御部２５がラベリングされた対象画像を表示部１４に表示し（ステップＳＴ１４）、処理を終了する。
このように、本実施形態においては、入力された画像の表現形式および入力された画像が実画像であるか第１デコーダ３２により生成された仮想画像であるかを判別して、第１判別結果を出力するようにした。また、第２デコーダ３４による関心領域の抽出結果ＰＭ１が、正解マスク有りの第１画像の抽出結果であるか、正解マスク無しの第１画像の抽出結果であるかを判別して、第２判別結果を出力するようにした。そして、第１判別結果に基づいて、エンコーダ３１、第１デコーダ３２および第１ディスクリミネータ３３を学習し、第２判別結果に基づいて、エンコーダ３１、第２デコーダ３４および第２ディスクリミネータ３５を学習するようにした。
このため、上述したように学習が進行すると、エンコーダ３１および第１デコーダ３２と第１ディスクリミネータ３３とが精度を高めあい、第１ディスクリミネータ３３は、どのような表現形式の画像が入力されても実画像か仮想画像かをより高精度に判別できるようになる。また、エンコーダ３１および第１デコーダ３２は、第１ディスクリミネータ３３により判別されない、より本物の表現形式の画像に近い仮想画像を生成できるようになる。また、エンコーダ３１および第１デコーダ３２と第１ディスクリミネータ３３とが精度を高めあい、第２ディスクリミネータ３５は、入力された画像が正解マスク有りか、正解マスク無しかをより高精度に判別できるようになる。さらに、エンコーダ３１および第２デコーダ３４は、正解マスク有りの画像であっても正解マスク無しの画像であっても、第２ディスクリミネータ３５により正解マスクの有無が判別されない、より精度のよい関心領域の抽出結果を出力できるようになる。
したがって、学習されたエンコーダ３１および第２デコーダ３４を有する学習済み抽出モデル４０を用いることにより、非特許文献２に記載された手法のように、表現形式毎にモデルを用意することなく、非特許文献３に記載された手法のように、抽出時にドメインラベルを入力することなく、対象画像の表現形式に拘わらず、対象画像に含まれる関心領域を抽出できる。
次いで、本開示の第２の実施形態について説明する。図１１は第２の実施形態による抽出モデルの構成を示す概略ブロック図である。なお、図１１において図３と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。第２の実施形態における抽出モデル３０Ａは、第２ディスクリミネータ３５に代えて、第３ディスクリミネータ３６を備えた点が第１の実施形態と異なる。第２の実施形態においては、エンコーダ３１と第３ディスクリミネータ３６とがＧＡＮを構成している。なお、第１デコーダ３２、第１ディスクリミネータ３３および第２デコーダ３４の学習については、上記第１の実施形態と同様であるため、ここでは詳細な説明は省略する。
第３ディスクリミネータ３６は、例えば畳み込みニューラルネットワークからなり、エンコーダ３１が出力した特徴マップに基づいて、入力された画像の表現形式を判別して、第３判別結果ＤＣ２を出力する。すなわち、図１１に示すように、第３ディスクリミネータ３６は、エンコーダ３１が導出した第１画像ＧＲ１の特徴マップＦ１がいずれの表現形式の画像から導出したものであるかを判別して第３判別結果ＤＣ２を出力する。例えば、入力された画像の表現形式がＣＴ画像である場合に、第３ディスクリミネータ３６がＣＴ画像と判別した場合には、第３判別結果ＤＣ２は正解であり、ＣＴ画像以外と判別した場合には第３判別結果ＤＣ２は不正解である。また、入力された画像の表現形式がＴ２強調画像である場合、第３判別結果ＤＣ２がＴ２強調画像である場合、第３判別結果ＤＣ２は正解であり、Ｔ２強調画像以外のＣＴ画像またはＴ１強調画像の場合、第３判別結果ＤＣ２は不正解である。学習部２２は、第３判別結果ＤＣ２に関する第３ディスクリミネータ３６の出力に基づいて損失を導出する。この損失は、classification lossと称される。本実施形態においては、classification lossを第６損失Ｌ６とする。
第２の実施形態においては、第３ディスクリミネータ３６に関して、学習部２２は、入力された画像の表現形式の第３判別結果ＤＣ２を正解するように、第３ディスクリミネータ３６を学習する。また、学習部２２は、第３ディスクリミネータ３６が第３判別結果ＤＣ２を不正解とする特徴マップＦ１を導出するように、エンコーダ３１を学習する。すなわち、第１損失Ｌ１および第６損失Ｌ６を最小とするように、エンコーダ３１および第３ディスクリミネータ３６を学習する。具体的には、Ｌ１＋Ｌ６が予め定められたしきい値以下となるように、エンコーダ３１および第３ディスクリミネータ３６を学習する。
学習が進行すると、エンコーダ３１と第３ディスクリミネータ３６とが精度を高めあい、第３ディスクリミネータ３６は、どのような画像が入力されてもその表現形式をより高精度に判別できるようになる。一方、エンコーダ３１は、どのような画像が入力されても第３ディスクリミネータ３６により判別されない、表現形式に拘わらず同様の特徴マップＦ１を生成できるようになる。また、これにより、第２デコーダ３４は、抽出モデル３０Ａにどのような表現形式の画像が入力されても、関心領域を抽出できることとなる。
このように、第２の実施形態においては、入力された画像の表現形式および入力された画像が実画像であるか第１デコーダ３２により生成された仮想画像であるかを判別して第１判別結果を出力し、エンコーダ３１が導出した特徴マップＦ１に基づいて入力された画像の表現形式を判別して、第３判別結果を出力するようにした。そして、第１判別結果に基づいて、エンコーダ３１、第１デコーダ３２および第１ディスクリミネータ３３を学習し、第３判別結果に基づいて、エンコーダ３１および第３ディスクリミネータ３６を学習するようにした。このため、上記第１の実施形態と同様に、対象画像の表現形式に拘わらず、対象画像に含まれる関心領域を抽出できる。
なお、上記第１の実施形態において、図１２に示す抽出モデル３０Ｂのように、第２ディスクリミネータ３５を省略することなく、第３ディスクリミネータ３６を設けるようにしてもよい。
ここで、第２の実施形態においても、学習済みの抽出モデル３０Ａ，３０Ｂに含まれるエンコーダ３１および第２デコーダ３４が学習済み抽出モデル４０として使用される。
また、上記各実施形態においては、人体の腹部の３次元画像から関心領域を抽出しているが、これに限定されるものではない。ＣＴ画像およびＭＲＩ画像等の３次元画像の他、単純Ｘ線画像および超音波画像等からの関心領域の抽出にも、本開示の技術を適用することが可能である。
また、上記各実施形態においては、ＭＲＩ画像としてＴ１強調画像およびＴ２強調画像を用いているが、これに限定されるものではない。ＭＲＩ画像としては、Ｔ１強調画像およびＴ２強調画像の他、拡散強調画像、ＦＬＡＩＲ画像、造影前Ｔ１強調画像、造影後Ｔ１強調画像の少なくとも１つの表現形式を含むものであってもよい。
また、上記各実施形態においては、関心領域として肝臓を抽出しているが、これに限定されるものではない。肝臓の他、肺、心臓、腎臓および脳等の人体内の各種構造物の領域を関心領域として抽出する場合にも、本開示の技術を適用することができる。
また、上記各実施形態において、例えば、情報取得部２１、学習部２２、抽出部２３、ラベリング部２４および表示制御部２５といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
１ 関心領域抽出装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ ディスプレイ
１５ 入力部
２１ 情報取得部
２２ 学習部
２３ 抽出部
２４ ラベリング部
２５ 表示制御部
３０，３０Ａ，３０Ｂ 抽出モデル
３１ エンコーダ
３２ 第１デコーダ
３３ 第１ディスクリミネータ
３４ 第２デコーダ
３５ 第２ディスクリミネータ
３６ 第３ディスクリミネータ
４０ 学習済み抽出モデル
５１ 対象画像
５２ ラベリング
６０ 表示画面
ＤＣ１，ＤＣ２ｄ，ＤＣ２ｇ，ＤＣ３，ＲＦ１，ＲＦ２ 判別結果
Ｆ１ 特徴マップ
ＧＲ１ 第１画像
ＧＲ２ 第２画像
ＧＶ１ 第１仮想画像
ＧＶ２ 第２仮想画像
Ｌ１～Ｌ６ 損失
Ｍ１ 正解マスク
ＰＭ１ 抽出結果

Claims (15)

  1. 複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習装置であって、
    前記抽出モデルは、
    第１の表現形式の第１画像の特徴量を抽出することにより、前記第１画像の特徴マップを導出するエンコーダ、
    前記特徴マップに基づいて、前記第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
    入力された画像の表現形式および前記入力された画像が実画像であるか前記第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
    前記特徴マップに基づいて、前記第１画像の関心領域を抽出する第２デコーダ、および
    前記第２デコーダによる前記関心領域の抽出結果が、正解マスク有りの第１画像の抽出結果であるか、正解マスク無しの第１画像の抽出結果であるかを判別して、第２判別結果を出力する第２ディスクリミネータを有し、
    前記第１判別結果に基づいて、前記エンコーダ、前記第１デコーダおよび前記第１ディスクリミネータを学習し、前記第２判別結果に基づいて、前記エンコーダ、第２デコーダおよび前記第２ディスクリミネータを学習する学習部を備えた学習装置。
  2. 前記学習部は、前記エンコーダに前記第２仮想画像を入力して該第２仮想画像の特徴マップを導出させ、
    前記第１デコーダに、前記第２仮想画像の特徴マップに基づいて、前記第１の表現形式の第１仮想画像を導出させ、
    前記第１画像および前記第１仮想画像との相違にも基づいて、前記エンコーダ、前記第１デコーダおよび前記第１ディスクリミネータを学習する請求項１に記載の学習装置。
  3. 前記第１画像が前記関心領域についての正解マスクを有する場合、前記学習部は、前記関心領域の抽出結果および前記正解マスクに基づいて、前記第２デコーダを学習する請求項１または２に記載の学習装置。
  4. 前記抽出モデルは、前記特徴マップに基づいて、前記エンコーダに入力された前記第１画像の表現形式を判別して第３判別結果を出力する第３ディスクリミネータをさらに有し、
    前記学習部は、前記第３判別結果に基づいて、前記エンコーダおよび前記第３ディスクリミネータを学習する請求項１から３のいずれか１項に記載の学習装置。
  5. 複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習装置であって、
    前記抽出モデルは、
    第１の表現形式の第１画像の特徴量を抽出することにより、前記第１画像の特徴マップを導出するエンコーダ、
    前記特徴マップに基づいて、前記第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
    入力された画像の表現形式および前記入力された画像が実画像であるか前記第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
    前記特徴マップに基づいて、前記第１画像の関心領域を抽出する第２デコーダ、および
    前記特徴マップに基づいて、前記エンコーダに入力された前記第１画像の表現形式を判別して第３判別結果を出力する第３ディスクリミネータを有し、
    前記第１判別結果に基づいて、前記エンコーダ、前記第１デコーダおよび前記第１ディスクリミネータを学習し、前記第３判別結果に基づいて、前記エンコーダおよび前記第３ディスクリミネータを学習する学習部を備えた学習装置。
  6. 前記画像は３次元の医用画像であり、前記表現形式は、ＣＴ画像およびＭＲＩ画像の表現形式を含む請求項１から５のいずれか１項に記載の学習装置。
  7. 前記表現形式は、ＭＲＩ画像における、Ｔ１強調画像、Ｔ２強調画像、拡散強調画像、ＦＬＡＩＲ画像、造影前Ｔ１強調画像、および造影後Ｔ１強調画像の少なくとも１つの表現形式を含む請求項６に記載の学習装置。
  8. 請求項１から７のいずれか１項に記載の学習装置により学習された抽出モデルにおけるエンコーダおよび第２デコーダを有し、任意の表現形式の画像から該画像の関心領域を抽出する抽出部を備えた関心領域抽出装置。
  9. 請求項１から７のいずれか１項に記載の学習装置により学習された抽出モデルにおけるエンコーダおよび第２デコーダを備えた学習済み抽出モデル。
  10. 複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習方法であって、
    前記抽出モデルは、
    第１の表現形式の第１画像の特徴量を抽出することにより、前記第１画像の特徴マップを導出するエンコーダ、
    前記特徴マップに基づいて、前記第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
    入力された画像の表現形式および前記入力された画像が実画像であるか前記第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
    前記特徴マップに基づいて、前記第１画像の関心領域を抽出する第２デコーダ、および
    前記第２デコーダによる前記関心領域の抽出結果が、正解マスク有りの第１画像の抽出結果であるか、正解マスク無しの第１画像の抽出結果であるかを判別して、第２判別結果を出力する第２ディスクリミネータを有し、
    前記第１判別結果に基づいて、前記エンコーダ、前記第１デコーダおよび前記第１ディスクリミネータを学習し、
    前記第２判別結果に基づいて、前記エンコーダ、第２デコーダおよび前記第２ディスクリミネータを学習する学習方法。
  11. 複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習方法であって、
    前記抽出モデルは、
    第１の表現形式の第１画像の特徴量を抽出することにより、前記第１画像の特徴マップを導出するエンコーダ、
    前記特徴マップに基づいて、前記第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
    入力された画像の表現形式および前記入力された画像が実画像であるか前記第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
    前記特徴マップに基づいて、前記第１画像の関心領域を抽出する第２デコーダ、および
    前記特徴マップに基づいて、前記エンコーダに入力された前記第１画像の表現形式を判別して第３判別結果を出力する第３ディスクリミネータを有し、
    前記第１判別結果に基づいて、前記エンコーダ、前記第１デコーダおよび前記第１ディスクリミネータを学習し、
    前記第３判別結果に基づいて、前記エンコーダおよび前記第３ディスクリミネータを学習する学習方法。
  12. 請求項１０または１１に記載の学習方法により学習された抽出モデルにおけるエンコーダおよび第２デコーダにより、任意の表現形式の画像から該画像の関心領域を抽出する関心領域抽出方法。
  13. 複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習方法をコンピュータに実行させる学習プログラムであって、
    前記抽出モデルは、
    第１の表現形式の第１画像の特徴量を抽出することにより、前記第１画像の特徴マップを導出するエンコーダ、
    前記特徴マップに基づいて、前記第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
    入力された画像の表現形式および前記入力された画像が実画像であるか前記第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
    前記特徴マップに基づいて、前記第１画像の関心領域を抽出する第２デコーダ、および
    前記第２デコーダによる前記関心領域の抽出結果が、正解マスク有りの第１画像の抽出結果であるか、正解マスク無しの第１画像の抽出結果であるかを判別して、第２判別結果を出力する第２ディスクリミネータを有し、
    前記第１判別結果に基づいて、前記エンコーダ、前記第１デコーダおよび前記第１ディスクリミネータを学習する手順と、
    前記第２判別結果に基づいて、前記エンコーダ、第２デコーダおよび前記第２ディスクリミネータを学習する手順とをコンピュータに実行させる学習プログラム。
  14. 複数の異なる表現形式を有する画像から関心領域を抽出する抽出モデルの学習方法をコンピュータに実行させる学習プログラムであって、
    前記抽出モデルは、
    第１の表現形式の第１画像の特徴量を抽出することにより、前記第１画像の特徴マップを導出するエンコーダ、
    前記特徴マップに基づいて、前記第１画像の表現形式とは異なる第２の表現形式の第２仮想画像を導出する第１デコーダ、
    入力された画像の表現形式および前記入力された画像が実画像であるか前記第１デコーダにより生成された仮想画像であるかを判別して第１判別結果を出力する第１ディスクリミネータ、
    前記特徴マップに基づいて、前記第１画像の関心領域を抽出する第２デコーダ、および
    前記特徴マップに基づいて、前記エンコーダに入力された前記第１画像の表現形式を判別して第３判別結果を出力する第３ディスクリミネータを有し、
    前記第１判別結果に基づいて、前記エンコーダ、前記第１デコーダおよび前記第１ディスクリミネータを学習する手順と、
    前記第３判別結果に基づいて、前記エンコーダおよび前記第３ディスクリミネータを学習する手順とをコンピュータに実行させる学習プログラム。
  15. 請求項１０または１１に記載の学習方法により学習された抽出モデルにおけるエンコーダおよび第２デコーダにより、任意の表現形式の画像から該画像の関心領域を抽出する手順をコンピュータに実行させる関心領域抽出プログラム。
JP2021534066A 2019-07-25 2020-07-22 学習装置、方法およびプログラム、関心領域抽出装置、方法およびプログラム、並びに学習済み抽出モデル Active JP7203978B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019137033 2019-07-25
JP2019137033 2019-07-25
PCT/JP2020/028415 WO2021015231A1 (ja) 2019-07-25 2020-07-22 学習装置、方法およびプログラム、関心領域抽出装置、方法およびプログラム、並びに学習済み抽出モデル

Publications (3)

Publication Number Publication Date
JPWO2021015231A1 JPWO2021015231A1 (ja) 2021-01-28
JPWO2021015231A5 JPWO2021015231A5 (ja) 2022-04-06
JP7203978B2 true JP7203978B2 (ja) 2023-01-13

Family

ID=74194213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021534066A Active JP7203978B2 (ja) 2019-07-25 2020-07-22 学習装置、方法およびプログラム、関心領域抽出装置、方法およびプログラム、並びに学習済み抽出モデル

Country Status (4)

Country Link
US (1) US20220139062A1 (ja)
EP (1) EP4006830A4 (ja)
JP (1) JP7203978B2 (ja)
WO (1) WO2021015231A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3767536A1 (en) * 2019-07-17 2021-01-20 Naver Corporation Latent code for unsupervised domain adaptation
KR102159052B1 (ko) * 2020-05-12 2020-09-23 주식회사 폴라리스쓰리디 영상 분류 방법 및 장치
CN113077491B (zh) * 2021-04-02 2023-05-02 安徽大学 基于跨模态共享和特定表示形式的rgbt目标跟踪方法
CN114581558B (zh) * 2022-02-25 2023-07-07 北京百度网讯科技有限公司 图像处理方法、装置、设备以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018192264A (ja) 2017-05-18 2018-12-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置
US20190220977A1 (en) 2018-01-16 2019-07-18 Siemens Healthcare Gmbh Cross-Domain Image Analysis and Cross-Domain Image Synthesis Using Deep Image-to-Image Networks and Adversarial Networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018192264A (ja) 2017-05-18 2018-12-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置
US20190220977A1 (en) 2018-01-16 2019-07-18 Siemens Healthcare Gmbh Cross-Domain Image Analysis and Cross-Domain Image Synthesis Using Deep Image-to-Image Networks and Adversarial Networks

Also Published As

Publication number Publication date
WO2021015231A1 (ja) 2021-01-28
EP4006830A4 (en) 2022-09-28
US20220139062A1 (en) 2022-05-05
JPWO2021015231A1 (ja) 2021-01-28
EP4006830A1 (en) 2022-06-01

Similar Documents

Publication Publication Date Title
JP7203978B2 (ja) 学習装置、方法およびプログラム、関心領域抽出装置、方法およびプログラム、並びに学習済み抽出モデル
Faragallah et al. A comprehensive survey analysis for present solutions of medical image fusion and future directions
US11132792B2 (en) Cross domain medical image segmentation
Dangi et al. A distance map regularized CNN for cardiac cine MR image segmentation
US20190311228A1 (en) Cross-modality image synthesis
Abbasi-Sureshjani et al. 4D semantic cardiac magnetic resonance image synthesis on XCAT anatomical model
Kim et al. Automatic segmentation of the left ventricle in echocardiographic images using convolutional neural networks
US20230214664A1 (en) Learning apparatus, method, and program, image generation apparatus, method, and program, trained model, virtual image, and recording medium
US11580673B1 (en) Methods, systems, and computer readable media for mask embedding for realistic high-resolution image synthesis
JP2022077991A (ja) 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、モデルトレーニング装置、およびトレーニング方法
JP2021140769A (ja) 医用情報処理装置、医用情報処理方法及び医用情報処理プログラム
US11348242B2 (en) Prediction apparatus, prediction method, prediction program
US20240005498A1 (en) Method of generating trained model, machine learning system, program, and medical image processing apparatus
CN110852993B (zh) 一种造影剂作用下的成像方法与设备
US20220198734A1 (en) Learning device, learning method, learning program, image generation device, image generation method, image generation program, and image generation model
WO2020175445A1 (ja) 学習方法、学習装置、生成モデル及びプログラム
CN115965785A (zh) 图像分割方法、装置、设备、程序产品及介质
KR102556646B1 (ko) 의료 영상 생성 방법 및 장치
Amara et al. Augmented reality for medical practice: a comparative study of deep learning models for ct-scan segmentation
Gaasedelen et al. Automated multiclass cardiac volume segmentation and model generation
Athreya et al. Ultrasound Image Enhancement using CycleGAN and Perceptual Loss
JP7170868B2 (ja) 学習装置、方法およびプログラム、医用画像処理装置、方法およびプログラム、並びに判別器
Hu et al. Anatomy-Aware Self-Supervised Learning for Aligned Multi-Modal Medical Data.
Raza et al. CycleGAN with mutual information loss constraint generates structurally aligned CT images from functional EIT images
JP7462925B2 (ja) 血流場推定装置、学習装置、血流場推定方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221227

R150 Certificate of patent or registration of utility model

Ref document number: 7203978

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150