JP7446423B2 - 画像生成装置、方法およびプログラム、学習装置、方法およびプログラム - Google Patents

画像生成装置、方法およびプログラム、学習装置、方法およびプログラム Download PDF

Info

Publication number
JP7446423B2
JP7446423B2 JP2022528464A JP2022528464A JP7446423B2 JP 7446423 B2 JP7446423 B2 JP 7446423B2 JP 2022528464 A JP2022528464 A JP 2022528464A JP 2022528464 A JP2022528464 A JP 2022528464A JP 7446423 B2 JP7446423 B2 JP 7446423B2
Authority
JP
Japan
Prior art keywords
image
drug
medication
period
administration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022528464A
Other languages
English (en)
Other versions
JPWO2021246052A1 (ja
Inventor
剛幸 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021246052A1 publication Critical patent/JPWO2021246052A1/ja
Application granted granted Critical
Publication of JP7446423B2 publication Critical patent/JP7446423B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本開示は、画像生成装置、方法およびプログラム、並びに学習装置、方法およびプログラムに関するものである。
近年、進行した癌に対して、抗癌剤として分子標的薬等の投薬を中心とした治療が行われている。分子標的薬とは、腫瘍が悪化する原因となる細胞の分子を、ピンポイントで標的として抑制することにより悪化を阻害する薬である。分子標的薬には、治療効果が高く、かつ副作用が小さいというメリットがある。分子標的薬は、治療の計画書であるレジメンにしたがって投薬される。レジメンには、薬の特性に合わせて薬を溶かしたり希釈したりする溶液の組成および量、投与速度、投与順、副作用対策に使用する薬剤並びに投与後の休薬期間等も含まれる。レジメンにしたがって分子標的薬を投薬することにより、医療事故を未然に防ぎつつ、効果的な治療を行うことができる。一方、分子標的薬は、特定の分子を標的にしていることから、癌の種類によって効き目が分かれる薬である。また、投薬を続けていると治療の効果が弱くなるため、別の分子標的薬に切り替えた方がよい場合が発生する。さらに、悪化の因子が複数含まれている場合は、投薬を計画立てて効果的に適用する必要がある。
一方、画像を用いて薬の効果を評価するための各種手法が提案されている。例えば、特許文献１には、患者の血管の解剖学的モデルを用いて、薬物が送達される際のデータを算出する手法が提案されている。
特表２０１８－５２５７４８号公報
しかしながら、特許文献１に記載された手法では、投薬によりどの程度の治療効果が発揮されるかは確認することができない。また、特に分子標的薬を用いた場合に、どの程度の期間で薬が効きにくくなるかを確認することができない。
本開示は上記事情に鑑みなされたものであり、投薬による効果を確認できるようにすることを目的とする。
本開示による画像生成装置は、少なくとも１つのプロセッサを備え、
プロセッサは、病変を含む医用画像、医用画像を取得した患者に投薬する薬の種類および薬の投薬期間の情報を取得し、
薬を投薬期間患者に投薬した後の病変を表す投薬後画像を、医用画像から生成するように構成される。
なお、本開示による画像生成装置においては、プロセッサは、少なくとも１種類の薬について、患者への薬の投薬期間、投薬前の第１の画像および投薬期間経過後の第２の画像の組み合わせを教師データとして用いて機械学習を行うことにより構築された少なくとも１つの学習モデルを用いて、投薬後画像を生成するように構成されるものであってもよい。
また、本開示による画像生成装置においては、プロセッサは、複数の異なる投薬期間の情報を取得し、
複数の異なる投薬期間のそれぞれに対応した複数の投薬後画像を生成するように構成されるものであってもよい。
また、本開示による画像生成装置においては、プロセッサは、複数の投薬後画像間における病変の変化に基づいて、薬の投薬期間に応じた薬の効き具合を表す情報を導出するようにさらに構成されるものであってもよい。
また、本開示による画像生成装置においては、プロセッサは、薬の効き具合に基づいて、薬の投薬停止のタイミングを導出するように構成されるものであってもよい。
また、本開示による画像生成装置においては、プロセッサは、投薬後画像、薬の効き具合を表す情報および投薬停止のタイミングの少なくとも１つをディスプレイに表示するようにさらに構成されるものであってもよい。
また、本開示による画像生成装置においては、プロセッサは、複数種類の薬のそれぞれについての、複数の投薬後画像を生成するように構成されるものであってもよい。
また、本開示による画像生成装置においては、プロセッサは、複数種類の薬のそれぞれについて、複数の投薬後画像間における病変の変化に基づいて、薬の投薬期間に応じた薬の効き具合を表す情報を導出するようにさらに構成されるものであってもよい。
また、本開示による画像生成装置においては、プロセッサは、薬の効き具合に基づいて、投薬する薬の種類および薬の投薬停止のタイミングを導出するように構成されるものであってもよい。
また、本開示による画像生成装置においては、プロセッサは、複数の投薬後画像、薬の効き具合を表す情報、投薬する薬の種類および投薬停止のタイミングの少なくとも１つをディスプレイに表示するようにさらに構成されるものであってもよい。
本開示による学習装置は、少なくとも１つのプロセッサを備え、
プロセッサは、
少なくとも１種類の薬について、薬の患者への投薬期間、投薬前の第１の画像および投薬期間経過後の第２の画像の組み合わせからなる教師データを取得し、
教師データを用いて学習を行うことにより、病変を含む患者の医用画像、薬の種類および投薬期間が入力されると、薬を投薬期間患者に投薬した後の病変を表す投薬後画像を出力する学習モデルを構築するように構成される。
本開示による画像生成方法は、病変を含む医用画像、医用画像を取得した患者に投薬する薬の種類および薬の投薬期間の情報を取得し、
薬を投薬期間患者に投薬した後の病変を表す投薬後画像を、医用画像から生成する。
本開示による学習方法は、少なくとも１種類の薬について、薬の患者への投薬期間、投薬前の第１の画像および投薬期間経過後の第２の画像の組み合わせからなる教師データを取得し、
教師データを用いて学習を行うことにより、病変を含む患者の医用画像、薬の種類および投薬期間が入力されると、薬を投薬期間患者に投薬した後の病変を表す投薬後画像を出力する学習モデルを構築する。
なお、本開示による画像生成方法および学習方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示によれば、投薬による効果を確認できる。
本開示の実施形態による画像生成装置および学習装置を適用した医療情報システムの概略構成を示す図 第１の実施形態による画像生成装置および学習装置の概略構成を示す図 第１の実施形態による画像生成装置および学習装置の機能構成図 第１の実施形態における学習モデルの構成を示す概略ブロック図 学習に使用する教師データの例を示す図 医用画像および投薬後画像を示す図 第１の実施形態における薬の効き具合を表す情報を示す図 第１の実施形態における表示画面を示す図 第１の実施形態において行われる学習処理を示すフローチャート 第１の実施形態において行われる画像生成処理を示すフローチャート 第２の実施形態における薬の効き具合を表す情報を示す図 第２の実施形態における表示画面を示す図
以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による画像生成装置および学習装置を適用した医療情報システムの構成について説明する。図１は、医療情報システムの概略構成を示す図である。図１に示す医療情報システムは、本実施形態による画像生成装置および学習装置を内包するコンピュータ１、撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
コンピュータ１は、本実施形態による画像生成装置および学習装置を内包するものであり、本実施形態の画像生成プログラムおよび学習プログラムがインストールされている。コンピュータ１は、診断を行う医師が直接操作するワークステーションあるいはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像生成プログラムおよび学習プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータ１にダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータ１にインストールされる。
撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ(Computed Tomography)装置、ＭＲＩ（Magnetic Resonance Imaging）装置、およびＰＥＴ（Positron Emission Tomography）装置等である。この撮影装置２により生成された、複数のスライス画像からなる３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は肺であり、撮影装置２はＣＴ装置であり、被検体の肺を含む胸部のＣＴ画像を３次元画像として生成する。
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には撮影装置２で生成された３次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。また、画像保管サーバ３には、後述する教師データも記憶されている。
次いで、第１の実施形態による画像生成装置および学習装置について説明する。図２は、第１の実施形態による画像生成装置および学習装置のハードウェア構成を説明する。図２に示すように、画像生成装置および学習装置（以下、画像生成装置で代表させる場合があるものとする）２０は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、画像生成装置２０は、液晶ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力デバイス１５、およびネットワーク４に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。
ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、画像生成プログラムおよび学習プログラムが記憶される。ＣＰＵ１１は、ストレージ１３から画像生成プログラム１２Ａおよび学習プログラム１２Ｂを読み出してからメモリ１６に展開し、展開した画像生成プログラム１２Ａおよび学習プログラム１２Ｂを実行する。
次いで、第１の実施形態による画像生成装置および学習装置の機能的な構成を説明する。図３は、第１の実施形態による画像生成装置および学習装置の機能的な構成を示す図である。図３に示すように画像生成装置２０は、情報取得部２１、画像生成部２２、導出部２３、学習部２４、および表示制御部２５を備える。そして、ＣＰＵ１１が、画像生成プログラム１２Ａおよび学習プログラム１２Ｂを実行することにより、ＣＰＵ１１は、情報取得部２１、画像生成部２２、導出部２３、学習部２４、および表示制御部２５として機能する。
情報取得部２１は、操作者による入力デバイス１５からの指示により、画像保管サーバ３から後述する投薬後画像を生成する対象となる、病変を含む医用画像Ｇ０を取得する。また、情報取得部２１は、入力デバイス１５から入力された、医用画像Ｇ０を取得した患者に投薬する薬の種類および薬の投薬期間の情報を取得する。なお、本実施形態においては、複数の異なる投薬期間の情報を取得するものとする。また、情報取得部２１は、後述する学習モデル２２Ａの学習のために、画像保管サーバ３から教師データを取得する。
画像生成部２２は、薬をある投薬期間患者に投薬した後の病変を表す投薬後画像を、医用画像Ｇ０から生成する。このために、画像生成部２２は、医用画像Ｇ０、薬の種類および投薬期間が入力されると、投薬後画像を出力するように機械学習がなされた学習モデル２２Ａを有する。
学習モデル２２Ａは、少なくとも１種類の薬について、患者への薬の投薬期間、投薬前の第１の医用画像および投薬期間経過後の第２の医用画像の組み合わせを教師データとして用いて機械学習を行うことにより構築される。学習モデル２２Ａは、例えば、ＧＡＮ（Generative Adversarial Networks：敵対的生成ネットワーク）を用いることができる。図４は、本実施形態における学習モデルの構成を示す概略ブロック図である。なお、図４においては、学習の段階で使用する要素も学習モデル２２Ａに含めている。図４に示すように、学習モデル２２Ａは、ジェネレータ３１およびディスクリミネータ３２を有する。ジェネレータ３１は、エンコーダ３３およびデコーダ３４を有する。
図５は、学習に使用する教師データの例を示す図である。図５に示すように、教師データ４０は、投薬した薬のラベル４１、患者への薬の投薬期間のラベル４２、投薬前の第１の医用画像ＧＲ１および投薬期間経過後の第２の医用画像ＧＲ２からなる。図５に示すように、薬のラベル４１は、例えば「薬Ａ」である。投薬期間のラベル４２は、例えば３ヶ月である。第１の医用画像ＧＲ１は肺の断層画像であり、病変４３が現れている。第２の医用画像ＧＲ２は第１の医用画像ＧＲ１と同一患者に対して、薬Ａを３ヶ月投薬した後の、第１の医用画像ＧＲ１と同一断面の肺の断層画像である。第２の医用画像ＧＲ２に含まれる病変４４は、投薬の効果により第１の医用画像ＧＲ１に含まれる病変４３よりも小さくなっている。なお、投薬期間によっては、または薬の効き具合によっては、第２の医用画像ＧＲ２に含まれる病変４４が、第１の医用画像ＧＲ１に含まれる病変４３よりも大きくなる場合もある。また、投薬の効果により、病変４４の濃度および／または形状が、第１の医用画像ＧＲ１の病変４３と異なるものとなる場合もある。なお、投薬に際しては、複数種類の薬を組み合わせる場合もある。このため、薬の種類は１種類に限定されるものではない。
エンコーダ３３は、複数の処理層が階層的に接続された多層ニューラルネットワークの１つである、畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）からなり、入力された第１の医用画像ＧＲ１の特徴量を表す特徴マップＦ１を導出する。
畳み込みニューラルネットワークは、複数の畳み込み層からなる。畳み込み層は、入力される画像に対して各種カーネルを用いた畳み込み処理を行い、畳み込み処理により得られた特徴量データからなる特徴マップを出力する。カーネルは、ｎ×ｎ画素サイズ（例えばｎ＝３）を有し、各要素に重みが設定されている。具体的には入力された画像のエッジを強調する微分フィルタのような重みが設定されている。畳み込み層は、カーネルの注目画素をずらしながら、入力された画像または前段の処理層から出力された特徴マップの全体にカーネルを適用する。さらに、畳み込み層は、畳み込みされた値に対して、シグモイド関数等の活性化関数を適用し、特徴マップＦ１を出力する。
デコーダ３４は、特徴マップＦ１に基づいて、入力された第１の医用画像ＧＲ１について、ラベル４１に基づく薬をラベル４２に基づく投薬期間投薬した後の、病変を表す投薬後の仮想的な医用画像ＧＶ２を導出する。すなわち、図４に示すように、デコーダ３４は、第１の医用画像ＧＲ１の特徴マップＦ１、ラベル４１に基づく薬の情報およびラベル４２に基づく投薬期間の情報が入力されると、第１の医用画像ＧＲ１を取得した患者に、ラベル４１に基づく薬をラベル４２に基づく投薬期間投薬した後の病変を表す投薬後の医用画像ＧＶ２を導出する。なお、第１の医用画像ＧＲ１は、撮影装置２により患者を撮影することにより取得された実画像、すなわち本物の画像である。一方、医用画像ＧＶ２は、第１の医用画像ＧＲ１から仮想的に生成された仮想画像である。
デコーダ３４は、複数の逆畳み込み層を有する。逆畳み込み層はエンコーダ３３の畳み込み層と同様の処理を行うが、入力された特徴マップＦ１をアップサンプリングしつつ、逆畳み込みの演算のためのカーネルを特徴マップに適用する。具体的には、図４に示すように、デコーダ３４は、エンコーダ３３が出力した特徴マップＦ１を、第１の医用画像ＧＲ１の解像度となるように高解像度化しつつ、第１の医用画像ＧＲ１に含まれる病変について、ラベル４１に基づく薬をラベル４２に基づく投薬期間投薬した後の病変に変換する処理を行い、投薬後の仮想画像である医用画像ＧＶ２を導出する。
ディスクリミネータ３２は、例えば畳み込みニューラルネットワークからなり、入力された画像の表現形式および入力された画像が実画像であるかデコーダ３４により生成された仮想画像であるかを判別して、判別結果ＲＦ１を出力する。判別結果は、入力された画像が実画像であるか仮想画像であるかを表す。
ここで、ディスクリミネータ３２が、入力された実画像を実画像であると判別した場合には、判別結果ＲＦ１は正解であり、仮想画像と判別した場合には、判別結果ＲＦ１は不正解である。また、ディスクリミネータ３２が、入力された仮想画像を実画像であると判別した場合には、判別結果ＲＦ１は不正解であり、仮想画像と判別した場合には、判別結果ＲＦ１は正解である。本実施形態においては、学習時においてディスクリミネータ３２に医用画像ＧＶ２が入力された場合、判別結果ＲＦ１が仮想画像であれば判別結果ＲＦ１は正解であり、判別結果が実画像であれば不正解となる。また、学習時においてディスクリミネータ３２に実画像である第２の医用画像ＧＲ２が入力された場合、判別結果ＲＦ１が実画像であれば判別結果ＲＦ１は正解であり、判別結果が仮想画像であれば不正解となる。
学習部２４は、ディスクリミネータ３２が出力した判別結果ＲＦ１に基づいて損失を導出する。本実施形態においては、ディスクリミネータ３２における損失を第１損失Ｌ１とする。
一方、本実施形態においては、デコーダ３４が導出した仮想的な医用画像ＧＶ２が第２の医用画像ＧＲ２と完全に一致することが望ましいが、医用画像ＧＶ２はエンコーダ３３およびデコーダ３４による処理を経たものであるため、医用画像ＧＶ２と第２の医用画像ＧＲ２との間に相違が生じる。本実施形態においては、学習部２４は、医用画像ＧＶ２と第２の医用画像ＧＲ２との相違を第２損失Ｌ２として導出する。
本実施形態においては、学習部２４は、入力された画像が実画像であるか、デコーダ３４により生成された仮想画像であるかの判別結果ＲＦ１を正解するように、ディスクリミネータ３２を学習する。すなわち、第１損失Ｌ１が予め定められたしきい値以下となるように、ディスクリミネータ３２を学習する。
また、学習部２４は、医用画像ＧＶ２が第２の医用画像ＧＲ２と一致するように、デコーダ３４を学習する。また、学習部２４は、第２の医用画像ＧＲ２と一致する医用画像ＧＶ２をデコーダ３４が導出できる特徴マップＦ１を導出するように、エンコーダ３３を学習する。具体的には、学習部２４は、第２損失Ｌ２が予め定められたしきい値以下となるように、エンコーダ３３およびデコーダ３４を学習する。
学習が進行すると、エンコーダ３３およびデコーダ３４とディスクリミネータ３２とが精度を高めあい、ディスクリミネータ３２は、どのような表現形式の画像が入力されても実画像か仮想画像かをより高精度に判別できるようになる。一方、エンコーダ３３およびデコーダ３４は、ディスクリミネータ３２により判別されない、より本物の表現形式の画像に近い仮想画像を生成できるようになる。学習が完了したエンコーダ３３およびデコーダ３４からなるジェネレータ３１が、本実施形態の学習モデル２２Ａを構成する。
なお、学習部２４は、使用が想定される薬の種類のそれぞれについて、各種投薬期間についての教師データを用いた機械学習を行うことにより、薬の種類に応じた複数の学習モデル２２Ａを構築してもよい。また、１つの学習モデル２２Ａを複数種類の薬について構築し、１つの学習モデル２２Ａのみを用いて、複数種類の薬についての投薬後画像を生成できるようにしてもよい。なお、一度に使用される薬は１種類のみならず、複数種類の薬を組み合わせる場合がある。例えば、薬Ｃと薬Ｄとを同時に投与する場合がある。この場合、薬Ｃ＋Ｄを投与した場合の教師データが用意され、学習モデル２２Ａは、薬Ｃ＋Ｄが投与された場合の投薬後画像を生成するように構築される。
画像生成部２２は、上述したように構築された学習モデル２２Ａを用いて、ある薬をある投薬期間患者に投薬した後の病変を表す投薬後画像を医用画像Ｇ０から生成する。薬の種類および投薬期間は、操作者により入力デバイス１５から入力されて、情報取得部２１により取得される。本実施形態においては、ある薬について、異なる複数の投薬期間について投薬を行った場合における、複数の投薬後画像Ｇ１～Ｇｎを生成する。例えば、図６に示すように、取得した医用画像Ｇ０に対して、１０日、２０日、３０日、４０日および５０日の５つの投薬期間の情報が取得された場合、投薬期間が１０日、２０日、３０日、４０日および５０日の５つの投薬後画像Ｇ１～Ｇ５を生成する。図６に示すように、投薬後画像Ｇ１～Ｇ５においては、医用画像Ｇ０に含まれる病変４７のサイズが異なっている。すなわち、投薬後画像Ｇ１～Ｇ４においては、医用画像Ｇ０と比較すると、投薬期間の経過により病変４７のサイズが小さくなっている。一方、投薬後画像Ｇ５に含まれる病変４７は、投薬を行っているにも拘わらず、投薬後画像Ｇ４に含まれる病変４７よりもサイズが大きくなっている。これは、ある薬に関して、投薬期間が４０日を過ぎると、薬の効き具合が悪くなって病変が悪化することを表している。
導出部２３は、複数の投薬後画像Ｇ１～Ｇｎ間における病変のサイズの変化に基づいて、薬の投薬期間に応じた薬の効き具合を表す情報を導出する。このために、導出部２３は、医用画像Ｇ０および複数の投薬後画像Ｇ１～Ｇ５から病変４７を検出し、そのサイズを計測する。そして、導出部２３は、投薬期間と病変のサイズとの関係を、薬の投薬期間に応じた薬の効き具合を表す情報として導出する。図７は第１の実施形態における薬の効き具合を表す情報の例を示す図である。
図７に示すように、薬の効き具合を表す情報４９は、横軸が投薬期間を表し、縦軸が病変のサイズを表すグラフである。なお、図７に示す薬の効き具合を表す情報４９において、１０日、２０日、３０日、４０日および５０日の投薬期間の間の投薬期間における病変のサイズは、１０日、２０日、３０日、４０日および５０日の投薬期間における病変のサイズを補間することにより導出すればよい。図７に示すように、情報４９においては、投薬期間が４０日までは病変のサイズが小さくなり、４０日を過ぎると病変のサイズが大きくなっている。このため、導出部２３は、情報４９における極小値を導出し、導出した極小値を薬の投薬停止のタイミングとして導出する。本実施形態においては、４０日が投薬停止のタイミングとして導出される。
表示制御部２５は、投薬後画像、薬の効き具合を表す情報および投薬停止のタイミングをディスプレイ１４に表示する。図８は、第１の実施形態における、投薬後画像、薬の効き具合を表す情報および投薬停止のタイミングの表示画面を示す図である。図８に示すように、表示画面５０は、第１表示領域５１、第２表示領域５２、第３表示領域５３および第４表示領域５４を有する。
第１表示領域５１には、画像生成部２２が生成した投薬後画像Ｇ１～Ｇ５のサムネイル画像の一覧が表示される。第２表示領域５２には、医用画像Ｇ０および第１表示領域５１に表示された投薬後画像Ｇ１～Ｇ５のサムネイル画像から選択された投薬後画像（ここでは投薬後画像Ｇ３）が表示される。第３表示領域５３には、導出部２３が導出した薬の効き具合を表す情報４９が表示される。第４表示領域５４には、導出部２３が導出した投薬停止のタイミングが表示される。
次いで、第１の実施形態において行われる処理について説明する。図９は第１の実施形態において行われる学習処理を示すフローチャートである。なお、学習に使用する教師データは、情報取得部２１により画像保管サーバ３から取得されて、ストレージ１３に保存されているものとする。まず、学習部２４がストレージ１３に保存された教師データを取得する（ステップＳＴ１）。学習部２４は、ジェネレータ３１のエンコーダ３３に第１の医用画像ＧＲ１を入力して特徴マップＦ１を導出させる（ステップＳＴ２）。また、学習部２４は、デコーダ３４に特徴マップＦ１、ラベル４１に基づく薬の情報およびラベル４２に基づく投薬期間の情報を入力し、投薬期間経過後の医用画像ＧＶ２を導出させる（ステップＳＴ３）。そして、学習部２４は、ディスクリミネータ３２に投薬期間経過後の医用画像ＧＶ２を入力し、判別結果ＲＦ１を出力させる（ステップＳＴ４）。
次いで、学習部２４は、判別結果ＲＦ１に基づいて第１損失Ｌ１を導出し、医用画像ＧＶ２と第２の医用画像ＧＲ２との相違を第２損失Ｌ２として導出する（損失導出；ステップＳＴ５）。さらに、学習部２４は、第１損失Ｌ１および第２損失Ｌ２に基づいて、エンコーダ３３、デコーダ３４およびディスクリミネータ３２を学習する（ステップＳＴ６）。そして、ステップＳＴ１にリターンし、次の教師データをストレージ１３から取得して、ステップＳＴ１～ステップＳＴ６の処理を繰り返す。これにより、学習モデル２２Ａが構築される。
なお、学習部２４は、第１損失Ｌ１および第２損失Ｌ２のそれぞれが予め定められたしきい値以下となるまで学習を繰り返すものとしているが、予め定められた回数の学習を繰り返すものであってもよい。
次いで、第１の実施形態において行われる画像生成処理について説明する。図１０は第１の実施形態において行われる画像生成処理を示すフローチャートである。情報取得部２１が対象となる医用画像Ｇ０、投薬する薬の種類および投薬期間の情報を取得する（情報取得；ステップＳＴ１１）。次いで、画像生成部２２が、投薬する薬の種類および投薬期間に応じた投薬後画像を生成する（ステップＳＴ１２）。さらに、導出部２３が、薬の効き具合を表す情報および投薬停止のタイミングを導出する（ステップＳＴ１３）。そして、表示制御部２５が、投薬後画像、薬の効き具合を表す情報および投薬停止のタイミングをディスプレイ１４に表示し（ステップＳＴ１４）、処理を終了する。
このように、第１の実施形態においては、薬を投薬期間患者に投薬した後の病変を表す投薬後画像Ｇ１～Ｇ５を、医用画像Ｇ０から生成するようにした。このため、患者に対する投薬による効果を確認することができる。
また、投薬後画像Ｇ１～Ｇ５に基づいて、薬の効き具合を表す情報を導出しているため、導出した情報を参照することにより、薬の効き具合を容易に確認することができる。
また、薬の効き具合を表す情報に基づいて、投薬停止のタイミングを導出しているため、どのタイミングで薬の投薬を停止して、異なる薬に切り替えればよいかを容易に判断することができる。
次いで、本開示の第２の実施形態について説明する。なお、第２の実施形態による画像生成装置の構成は、図３に示す第１の実施形態による画像生成装置の構成と同一であり、行われる処理が異なるのみであるため、ここでは装置についての詳細な説明は省略する。第２の実施形態においては、複数種類の薬についての投薬後画像を導出するようにした点が第１の実施形態と異なる。第２の実施形態においては、導出部２３は、薬の種類毎に薬の効き具合を表す情報および投薬停止のタイミングを導出する。
図１１は第２の実施形態における薬の効き具合を表す情報の例を示す図である。図１１に示すように、第２の実施形態における薬の効き具合を表す情報６０は、３種類の薬Ａ、薬Ｂおよび薬Ｃ＋Ｄについての薬の効き具合についての投薬期間と病変のサイズとの関係を表す。なお、薬Ｃ＋Ｄは薬Ｃと薬Ｄとを組み合わせて投与することを示す。図１１において実線が薬Ａ、破線が薬Ｂ、一点鎖線が薬Ｃ＋Ｄについての薬の効き具合を表す。図１１に示すように、薬Ａについては、投薬期間が４０日までは病変のサイズが小さくなり、４０日を過ぎると病変のサイズが大きくなっている。薬Ｂについては、投薬期間が２０日程度までは病変のサイズが小さくなり、２０日を過ぎると病変のサイズが大きくなっている。薬Ｃ＋Ｄについては、投薬期間が５０日程度までは病変のサイズが小さくなり、５０日を過ぎると病変のサイズが大きくなっている。
導出部２３は、薬Ａ、薬Ｂおよび薬Ｃ＋Ｄのそれぞれについて、薬の効き具合を表す情報６０における極小値を導出し、導出した極小値を薬の投薬停止のタイミングとして導出する。具体的には、薬Ａについては４０日、薬Ｂについては２０日、薬Ｃ＋Ｄについては５０日が投薬停止のタイミングとして導出される。
図１２は、第２の実施形態における、投薬後画像、薬の効き具合を表す情報および投薬停止のタイミングの表示画面を示す図である。なお、図１２において図８と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。図１２に示すように、第２の実施形態における表示画面５０Ａには、第１表示領域５１内に３つの表示領域５１Ａ～５１Ｃが表示されている。表示領域５１Ａには薬Ａについて生成した投薬後画像Ｇ１～Ｇ５のサムネイル画像が表示される。表示領域５１Ｂには薬Ｂについて生成した投薬後画像Ｇ１１～Ｇ１５のサムネイル画像が表示される。表示領域５１Ｃには薬Ｃ＋Ｄについて生成した投薬後画像Ｇ２１～Ｇ２５のサムネイル画像が表示される。なお、図１２においては、投薬後画像Ｇ１１～Ｇ１５，Ｇ２１～Ｇ２５の内容の図示を省略している。
第２表示領域５２には、医用画像Ｇ０および表示領域５１Ａ～５１Ｃにおいて選択された投薬後画像が表示される。
また、第３表示領域５３には、図１１に示す薬の効き具合を表す情報６０が表示される。第４表示領域５４には、投薬後画像を生成した薬Ａ，Ｂ，Ｃ＋Ｄのそれぞれについての投薬停止のタイミングを表す情報が表示される。具体的には、薬Ａについては４０日、薬Ｂについては２０日、薬Ｃ＋Ｄについては５０日と表示される。
このように、第２の実施形態においては、複数種類の薬についての投薬後画像を生成するようにしたため、薬の種類に応じた薬の効き具合を確認することができる。
また、薬の種類に応じた、薬の効き具合を表す情報を導出しているため、導出した情報を参照することにより、いずれの薬の効き具合が優れているかを容易に確認することができる。
また、薬の効き具合を表す情報に基づいて、投薬停止のタイミングを導出しているため、薬の種類毎にどのタイミングで薬の投薬を停止して、異なる薬に切り替えればよいかを容易に判断することができる。
なお、上記各実施形態における表示画面５０，５０Ａには、投薬後画像、薬の効き具合を表す情報および投薬停止のタイミングを表示しているが、これに限定されるものではない。投薬後画像、薬の効き具合を表す情報および投薬停止のタイミングの少なくとも１つを表示するようにしてもよい。
また、上記各実施形態においては、肺の全体を含む画像を教師データとして用いて学習モデル２２Ａを学習しているが、これに限定されるものではない。肺を含む画像から病変の領域のみを抽出した部分画像を教師データとして用いて、学習モデル２２Ａを学習するようにしてもよい。
また、上記各実施形態においては、診断対象を肺とした医用画像を対象画像として読影レポートを作成する場合に本開示の技術を適用しているが、診断対象は肺に限定されるものではない。肺の他に、心臓、肝臓、脳、および四肢等の人体の任意の部位を診断対象とすることができる。
また、上記各実施形態において、例えば、情報取得部２１、画像生成部２２、導出部２３、学習部２４および表示制御部２５といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
１ コンピュータ
２ 撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２Ａ 画像生成プログラム
１２Ｂ 学習プログラム
１３ ストレージ
１４ ディスプレイ
１５ 入力デバイス
１６ メモリ
１７ ネットワークＩ／Ｆ
１８ バス
２０ 画像生成装置
２１ 情報取得部
２２ 画像生成部
２２Ａ 学習モデル
２３ 導出部
２４ 学習部
２５ 表示制御部
３１ ジェネレータ
３２ ディスクリミネータ
３３ エンコーダ
３４ デコーダ
４０ 教師データ
４１ 薬のラベル
４２ 投薬期間のラベル
４３，４４，４７ 病変
４９，６０ 薬の効き具合を表す情報
５０，５０Ａ 表示画面
５１ 第１表示領域
５１Ａ～５１Ｃ 表示領域
５２ 第２表示領域
５３ 第３表示領域
５４ 第４表示領域
Ｆ１ 特徴マップ
Ｇ０ 医用画像
Ｇ１～Ｇ５，Ｇ１１～Ｇ１５，Ｇ２１～Ｇ２５ 投薬後画像
ＧＲ１ 第１の医用画像
ＧＲ２ 第２の医用画像
ＧＶ２ 仮想的な医用画像
ＲＦ１ 判別結果

Claims (15)

  1. 少なくとも１つのプロセッサを備え、
    前記プロセッサは、
    病変を含む医用画像、前記医用画像を取得した患者に投薬する薬の種類および前記薬の投薬期間の情報を取得し、
    前記医用画像において前記薬を前記投薬期間前記患者に投薬した後の前記病変を含む投薬後画像を、前記医用画像から生成するように構成される画像生成装置。
  2. 前記プロセッサは、少なくとも１種類の薬について、患者への当該薬の投薬期間、投薬前の第１の画像および前記投薬期間経過後の第２の画像の組み合わせを教師データとして用いて機械学習を行うことにより構築された少なくとも１つの学習モデルを用いて、前記投薬後画像を生成するように構成される請求項１に記載の画像生成装置。
  3. 前記プロセッサは、複数の異なる投薬期間の情報を取得し、
    複数の異なる投薬期間のそれぞれに対応した複数の投薬後画像を生成するように構成される請求項１または２に記載の画像生成装置。
  4. 前記プロセッサは、前記複数の投薬後画像間における前記病変の変化に基づいて、前記薬の投薬期間に応じた薬の効き具合を表す情報を導出するようにさらに構成される請求項３に記載の画像生成装置。
  5. 前記プロセッサは、前記薬の効き具合に基づいて、前記薬の投薬停止のタイミングを導出するように構成される請求項４に記載の画像生成装置。
  6. 前記プロセッサは、前記投薬後画像、前記薬の効き具合を表す情報および前記投薬停止のタイミングの少なくとも１つをディスプレイに表示するようにさらに構成される請求項５に記載の画像生成装置。
  7. 前記プロセッサは、複数種類の薬のそれぞれについての、前記複数の投薬後画像を生成するように構成される請求項３に記載の画像生成装置。
  8. 前記プロセッサは、前記複数種類の薬のそれぞれについて、前記複数の投薬後画像間における前記病変の変化に基づいて、前記薬の投薬期間に応じた薬の効き具合を表す情報を導出するようにさらに構成される請求項７に記載の画像生成装置。
  9. 前記プロセッサは、前記薬の効き具合に基づいて、投薬する薬の種類に応じた前記薬の投薬停止のタイミングを導出するように構成される請求項８に記載の画像生成装置。
  10. 前記プロセッサは、前記複数の投薬後画像、前記薬の効き具合を表す情報、前記投薬する薬の種類および前記投薬停止のタイミングの少なくとも１つをディスプレイに表示するようにさらに構成される請求項９に記載の画像生成装置。
  11. 少なくとも１つのプロセッサを備え、
    前記プロセッサは、
    少なくとも１種類の薬について、当該薬の患者への投薬期間、投薬前の第１の画像および前記投薬期間経過後の第２の画像の組み合わせからなる教師データを取得し、
    前記教師データを用いて学習を行うことにより、病変を含む患者の医用画像、薬の種類および投薬期間が入力されると、前記医用画像において前記薬を前記投薬期間患者に投薬した後の前記病変を含む投薬後画像を出力する学習モデルを構築するように構成される学習装置。
  12. コンピュータが、病変を含む医用画像、前記医用画像を取得した患者に投薬する薬の種類および前記薬の投薬期間の情報を取得し、
    前記医用画像において前記薬を前記投薬期間前記患者に投薬した後の前記病変を含む投薬後画像を、前記医用画像から生成する画像生成方法。
  13. コンピュータが、少なくとも１種類の薬について、当該薬の患者への投薬期間、投薬前の第１の画像および前記投薬期間経過後の第２の画像の組み合わせからなる教師データを取得し、
    前記教師データを用いて学習を行うことにより、病変を含む患者の医用画像、薬の種類および投薬期間が入力されると、前記医用画像において前記薬を前記投薬期間患者に投薬した後の前記病変を含む投薬後画像を出力する学習モデルを構築する学習方法。
  14. 病変を含む医用画像、前記医用画像を取得した患者に投薬する薬の種類および前記薬の投薬期間の情報を取得する手順と、
    前記医用画像において前記薬を前記投薬期間前記患者に投薬した後の前記病変を含む投薬後画像を、前記医用画像から生成する手順とをコンピュータに実行させる画像生成プログラム。
  15. 少なくとも１種類の薬について、当該薬の患者への投薬期間、投薬前の第１の画像および前記投薬期間経過後の第２の画像の組み合わせからなる教師データを取得する手順と、
    前記教師データを用いて学習を行うことにより、病変を含む患者の医用画像、薬の種類および投薬期間が入力されると、前記医用画像において前記薬を前記投薬期間患者に投薬した後の前記病変を含む投薬後画像を出力する学習モデルを構築する手順とをコンピュータに実行させる学習プログラム。
JP2022528464A 2020-06-04 2021-04-08 画像生成装置、方法およびプログラム、学習装置、方法およびプログラム Active JP7446423B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020097900 2020-06-04
JP2020097900 2020-06-04
PCT/JP2021/014897 WO2021246052A1 (ja) 2020-06-04 2021-04-08 画像生成装置、方法およびプログラム、学習装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2021246052A1 JPWO2021246052A1 (ja) 2021-12-09
JP7446423B2 true JP7446423B2 (ja) 2024-03-08

Family

ID=78830828

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022528464A Active JP7446423B2 (ja) 2020-06-04 2021-04-08 画像生成装置、方法およびプログラム、学習装置、方法およびプログラム

Country Status (5)

Country Link
US (1) US20230089212A1 (ja)
JP (1) JP7446423B2 (ja)
CN (1) CN115802947A (ja)
DE (1) DE112021003110T5 (ja)
WO (1) WO2021246052A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7254656B2 (ja) * 2019-07-18 2023-04-10 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像診断装置及び核医学診断装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071592A (ja) 2012-09-28 2014-04-21 Fujifilm Corp 投薬効果予測システム及びその制御方法、並びに制御プログラム
JP2015518197A (ja) 2012-03-21 2015-06-25 コーニンクレッカ フィリップス エヌ ヴェ 医用イメージングと生検データとを統合する臨床ワークステーション及びこれを使用する方法
JP2018187384A (ja) 2017-05-09 2018-11-29 キヤノンメディカルシステムズ株式会社 医用情報処理システム及び医用情報処理装置
KR101929953B1 (ko) 2017-06-27 2018-12-19 고려대학교 산학협력단 환자 맞춤형 진단 보조 정보 제공 시스템, 장치 및 방법
JP2019040367A (ja) 2017-08-24 2019-03-14 キヤノンメディカルシステムズ株式会社 医用情報処理システム
WO2019078259A1 (ja) 2017-10-18 2019-04-25 キヤノンメディカルシステムズ株式会社 病院情報システム、及び画像データ生成プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11120893B2 (en) 2015-09-16 2021-09-14 Heartflow, Inc. Systems and methods for patient-specific imaging and modeling of drug delivery

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015518197A (ja) 2012-03-21 2015-06-25 コーニンクレッカ フィリップス エヌ ヴェ 医用イメージングと生検データとを統合する臨床ワークステーション及びこれを使用する方法
JP2014071592A (ja) 2012-09-28 2014-04-21 Fujifilm Corp 投薬効果予測システム及びその制御方法、並びに制御プログラム
JP2018187384A (ja) 2017-05-09 2018-11-29 キヤノンメディカルシステムズ株式会社 医用情報処理システム及び医用情報処理装置
KR101929953B1 (ko) 2017-06-27 2018-12-19 고려대학교 산학협력단 환자 맞춤형 진단 보조 정보 제공 시스템, 장치 및 방법
JP2019040367A (ja) 2017-08-24 2019-03-14 キヤノンメディカルシステムズ株式会社 医用情報処理システム
WO2019078259A1 (ja) 2017-10-18 2019-04-25 キヤノンメディカルシステムズ株式会社 病院情報システム、及び画像データ生成プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHIU,Yu-Chiao et al.，"Predicting drug response of tumors from integrated genomic profiles by deep neural networks"，[online]，2018年05月20日，arXiv:1805.07702,[07.06.2021検索]
KOZAWA, Satoshi et al.，"Predicting Human Clinical Outcomes Using Mouse Multi-Organ Transcriptome"，iScience，vol.23,100791，2020年01月21日
植村 知規 他５名，"Ｇ－０１５ 敵対的生成ネットワークによる間質性肺疾患患者の予後予測"，ＦＩＴ２０１９（第１８回情報科学技術フォーラム），2019年，第２分冊，３８９－３９０頁

Also Published As

Publication number Publication date
WO2021246052A1 (ja) 2021-12-09
US20230089212A1 (en) 2023-03-23
DE112021003110T5 (de) 2023-03-23
CN115802947A (zh) 2023-03-14
JPWO2021246052A1 (ja) 2021-12-09

Similar Documents

Publication Publication Date Title
Torosdagli et al. Deep geodesic learning for segmentation and anatomical landmarking
Minnema et al. Segmentation of dental cone‐beam CT scans affected by metal artifacts using a mixed‐scale dense convolutional neural network
Calhoun et al. Three-dimensional volume rendering of spiral CT data: theory and method
Binder et al. Stereolithographic biomodeling to create tangible hard copies of cardiac structures from echocardiographic data: in vitro and in vivo validation
Hu et al. Four multidetector-row helical CT: image quality and volume coverage speed
US20200134876A1 (en) Generating simulated body parts for images
JP7234364B2 (ja) 医用画像処理装置、方法およびプログラム
US20110173027A1 (en) Health-risk metric determination and/or presentation
JP7446423B2 (ja) 画像生成装置、方法およびプログラム、学習装置、方法およびプログラム
Klimont et al. Automated ventricular system segmentation in paediatric patients treated for hydrocephalus using deep learning methods
Kim et al. Novel resectable myocardial model using hybrid three-dimensional printing and silicone molding for mock myectomy for apical hypertrophic cardiomyopathy
US20220198734A1 (en) Learning device, learning method, learning program, image generation device, image generation method, image generation program, and image generation model
KR102647652B1 (ko) 두경부 이미지 구획화 방법 및 장치
Faso Haptic and virtual reality surgical simulator for training in percutaneous renal access
WO2022064763A1 (ja) 学習装置、方法およびプログラム、画像生成装置、方法およびプログラム、学習済みモデル、仮想画像並びに記録媒体
JP7451293B2 (ja) 放射線治療システム
WO2021193548A1 (ja) 文書作成支援装置、方法およびプログラム
JP7098498B2 (ja) 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム
JP7430811B2 (ja) 治療支援装置、治療支援方法および治療支援プログラム
Nakao Medical Image Synthesis and Statistical Reconstruction Methods
JP7083427B2 (ja) 修正指示領域表示装置、方法およびプログラム
WO2022065062A1 (ja) 診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム
WO2021124683A1 (ja) 輪郭抽出装置、輪郭抽出方法、及び輪郭抽出プログラム
US11816768B1 (en) System and method for medical imaging
WO2022220221A1 (ja) 学習装置、方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240227

R150 Certificate of patent or registration of utility model

Ref document number: 7446423

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150