JP6960509B2 - 合成医療画像を生成するためのニューラルネットワーク - Google Patents

合成医療画像を生成するためのニューラルネットワーク Download PDF

Info

Publication number
JP6960509B2
JP6960509B2 JP2020147991A JP2020147991A JP6960509B2 JP 6960509 B2 JP6960509 B2 JP 6960509B2 JP 2020147991 A JP2020147991 A JP 2020147991A JP 2020147991 A JP2020147991 A JP 2020147991A JP 6960509 B2 JP6960509 B2 JP 6960509B2
Authority
JP
Japan
Prior art keywords
image
images
composite
imaging data
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020147991A
Other languages
English (en)
Other versions
JP2021003564A (ja
Inventor
シャオ ハン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elekta Inc
Original Assignee
Elekta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Elekta Inc filed Critical Elekta Inc
Publication of JP2021003564A publication Critical patent/JP2021003564A/ja
Application granted granted Critical
Publication of JP6960509B2 publication Critical patent/JP6960509B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A61N5/1039—Treatment planning systems using functional images, e.g. PET or MRI
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/4808—Multimodal MR, e.g. MR combined with positron emission tomography [PET], MR combined with ultrasound or MR combined with computed tomography [CT]
    • G01R33/4812—MR combined with X-ray or computed tomography [CT]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/4808—Multimodal MR, e.g. MR combined with positron emission tomography [PET], MR combined with ultrasound or MR combined with computed tomography [CT]
    • G01R33/481—MR combined with positron emission tomography [PET] or single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/4808—Multimodal MR, e.g. MR combined with positron emission tomography [PET], MR combined with ultrasound or MR combined with computed tomography [CT]
    • G01R33/4814—MR combined with ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Pulmonology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Fuzzy Systems (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Description

（関連出願の相互参照）
［０１］
本出願は、２０１６年９月６日に出願された米国仮特許出願第６２／３８４，１７１号および２０１６年１０月１４日に出願された米国仮特許出願第６２／４０８，６７６号からの優先権の利益を主張し、これらのその開示全体が参照により本明細書に組み込まれる。
（技術分野）
［０２］
本開示は、一般に、放射線療法で使用するための機械学習アルゴリズムを使用して合成画像を生成することに関する。より具体的には、本開示は、ニューラルネットワークを使用して磁気共鳴画像（ＭＲＩ）画像からコンピュータ断層撮影（ＣＴ）画像を生成するためのシステムおよび方法に関する。
［０３］
ＣＴ画像は伝統的に外部放射線治療の計画処理における画像データの主な情報源として使用されてきた。ＣＴ画像は患者の幾何学形状の正確な表現を提供し、ＣＴ値は放射線量計算のために電子密度に直接変換することができる。しかしながら、従来のＣＴ画像はイメージング放射線源の使用を通じて生成されるので、ＣＴを使用することは追加の放射線量を患者に曝す可能性がある。近年、放射線治療計画処理においてＣＴ画像をＭＲＩ画像に置き換えることへの関心が浮上している。これは、ＭＲＩが電離放射線を含まず、より正確な標的および構造の描写のために優れた軟組織コントラストを提供するという事実によるものである。ＭＲＩはまた、組織代謝および機能性のような人体の機能的情報も捕獲する。しかしながら、ＭＲＩ強度値は電子密度に直接関連しておらず、従来のＭＲＩシーケンスは骨からＭＲＩ信号を得ることができない。したがって、疑似または合成ＣＴ画像（本明細書では「合成ＣＴ画像」と呼ぶ）のような「疑似ＣＴ画像」または「合成画像」を取得されたＭＲＩ画像から導出することができれば有益である。
［０４］
ＭＲＩ画像から導出された合成ＣＴ画像は、放射線療法治療計画における患者線量計算を容易にするため、または画像誘導のためのデジタル再構成放射線写真を生成するために使用することができる。合成ＣＴ画像はまた、放射線療法中の患者の位置決めにも使用することができる。したがって、患者がＣＴ画像から生じる追加の放射線被曝から免れるために、ＭＲＩ画像データを使用して合成ＣＴ画像を正確に生成することが望ましい。合成ＣＴ画像は、正確に、ＣＴスキャナによって取得される「本物の」ＣＴ画像のようであることが望ましい。すなわち、合成ＣＴ画像は、例えば、相対ボクセル強度値およびコントラスト特徴に関して、実際のＣＴ画像にできるだけ近いものであるべきである。ＣＴ画像強度値（ＣＴ数）とＭＲＩ強度値との間に直接的な数学的関係が存在しないため、正確な合成ＣＴ画像を生成することは簡単な作業ではない。
［０５］
自動の合成ＣＴ画像生成のための既存の方法は、組織分類ベースのアプローチ、アトラスベースのアプローチ、モデルベースのアプローチという大きく３つのカテゴリに分類することができる。組織分類または組織セグメンテーションの方法は、最初にＭＲＩ画像を異なる組織タイプ（例えば、空気、脂肪、軟組織、または骨）の領域に分類し、次いで嵩密度割り当てを使用して各組織タイプに異なるＣＴ数を割り当てる。自動組織セグメンテーションは、特に伝統的なＭＲＩ画像を使用する場合は難しい問題である。例えば、骨と空気は伝統的なＭＲＩ画像では分離できないまたは識別できません。従って、より正確な組織セグメンテーションのために、より精巧なＭＲＩシーケンス（例えば、より高い解像度の画像を取得することができるＭＲＩ画像）がしばしば必要とされる。組織の細分化が可能であっても、解剖学的構造をいくつかの組織タイプにセグメンテーションすることは、実際の解剖学的構造の非常に粗い近似しか提供しない。例えば、前立腺と膀胱はどちらも軟部組織であるが、それらのＣＴ強度は通常異なる。
［０６］
アトラスベースのアプローチは、登録ベースのアプローチとしても知られている。合成ＣＴ生成の文脈では、「アトラス」という用語は、しばしば、対になったアトラスＭＲＩとＣＴ画像を含むデータセットを指し示す。一例では、ＭＲＩ画像とＣＴ画像とのペアリングは、画像レジストレーションによって実行することができる。所与の原ＭＲＩ画像から合成ＣＴ画像を生成するために、アトラスベースの方法は、まず画像レジストレーション変換（通常は、単純な線形レジストレーションの代わりに、変形可能または非線形画像レジストレーションが必要である）を計算することによって各アトラスＭＲＩ画像を「アトラス」から原ＭＲＩ画像に位置合わせする次いで、計算されたレジストレーション変換を適用して対応するアトラスＣＴ画像を原ＭＲＩ画像にマッピングし、変形アトラスＣＴを生成することができる。変形アトラスＣＴ画像は、実際のＣＴ画像（例えば、合成ＣＴ画像）の推定値を提供する。
［０７］
通常、より良い精度を達成するために、複数の変形アトラスＣＴが計算され、そして平均化などによって、複数の変形アトラスＣＴが組み合わされて、原ＭＲＩ画像に対応する最終の合成ＣＴ画像が生成され得る。しかしながら、大部分の既存の画像位置合わせ方法は単一チャンネルのＭＲＩ画像しか扱えない。また、多数のアトラスを使用すると、原ＭＲＩ画像を各アトラスＭＲＩ画像に位置合わせしなければならないので、計算時間が長くなる可能性がある。これらの技術は全ての（アトラス選択−全部よりも少ない画像を使用できる）アトラスＭＲＩ画像およびアトラスＣＴ画像を含む画像レジストレーション操作に対して全体のアトラスデータベースへの連続的なアクセスを必要とするので、処理が遅い。一例では、アトラス選択は、すべてのアトラスＭＲＩ画像およびアトラスＣＴ画像のサブセットを選択するために使用することができる。
［０８］
モデルベースまたは学習ベースのアプローチは、利用可能なトレーニングデータから予測モデルを構築することを目的としている。いちど予測モデルがトレーニングされると、対応するＣＴ画像を予測するために同じタイプのいずれかの新たなＭＲＩ画像（例えば、トレーニングデータを取得するために使用されたものと同じであるＭＲＩシーケンスを用いて取得した任意の新たなＭＲＩ画像）に適用することができる。トレーニング処理は通常、教師あり学習アルゴリズムを使用する。具体的には、教師あり学習アルゴリズムは、既知の入力データセットとそのデータに対する既知の応答または出力を使用してから、モデルを学習させて新しいデータに対する応答の合理的な予測を生成します。合成ＣＴ予測については、応答変数（例えばＣＴ値）が実数であるため（分類の代わりに）回帰モデルが必要とされる。既存のモデルベースのアプローチおよび伝統的な学習アルゴリズムは、また、モデルへの入力として使用するためにある種の「特徴」の抽出を必要とする。既存の方法は、各方法がその回帰モデルへの入力として使用することができる特徴の種類が異なる。これらの既存の方法はまた手動で設計された機能を必要とする。さらに、既存の方法は単一ボクセルのＣＴ数を予測する。したがって、これらの方法は、スライディングウィンドウ方式で適用されたり（例えば、一連の画像のサブ領域にモデルを適用することより）、ボクセルバイボクセル方式で適用されたりして、完全な合成ＣＴ画像を生成しなければならない。そのようなスライディングウィンドウ手法は、完全な合成ＣＴ画像を生成するためにしばしばかなりの計算時間およびリソースを必要とする。
［０９］
したがって、ＭＲＩ画像のような他の画像から合成ＣＴ画像を生成するために人工知能技術を使用する新しいシステムおよび方法が必要とされている。
［０１０］
一態様において、本開示は、第１の撮像モダリティを用いた撮像装置により取得された解剖学的部分の原画像に基づいて、解剖学的部分の合成画像を生成するためのコンピュータ実施方法を特徴とする。この方法は、第１の撮像モダリティを用いた撮像装置により取得された解剖学的部分の起源の画像を受信し、原画像に基づいて合成画像を予測するためにトレーニングされた畳み込みニューラルネットワークモデルを受信することを含むことができる。この方法は、また、少なくとも１つのプロセッサによって、畳み込みニューラルネットワークモデルを介して原画像を合成画像に変換することを含むことができる。この合成画像は、解剖学的部分の第２の撮像モダリティの描写に似ている可能性があり、第２の撮像モダリティは、第１の撮像モダリティとは異なり得る。第１の撮像モダリティは磁気共鳴画像法であり、そして第２の撮像モダリティはコンピュータ断層撮影法であり得る。第１の撮像モダリティおよび第２の撮像モダリティは、磁気共鳴イメージング、コンピュータ断層撮影、超音波イメージング、陽電子放出断層撮影、および単一光子放出コンピュータ断層撮影の群から選択される。この方法は、また、第１の撮像モダリティを使用して取得された複数のトレーニング原画像を受信すること、第２の撮像モダリティを使用して取得された複数のトレーニングデスティネーション画像を受信することを含むことができ、各トレーニングデスティネーション画像はトレーニング原画像に対応し、畳み込みニューラルネットワークアーキテクチャを決定し、トレーニング原画像および対応するトレーニングデスティネーション画像を使用して畳み込みニューラルネットワークモデルをトレーニングすることができる。原画像は二次元画像であり得、合成画像は二次元画像であり得る。原画像は二次元画像のスタックを含むことができ、合成画像は二次元画像の対応するスタックを含むことができる。原画像は三次元ボリュームであり得、合成画像は三次元ボリュームとあり得る。原画像は三次元画像とすることができ、合成画像を生成することは、三次元画像から隣接する二次元画像の複数のスタックを選択することと、隣接する二次元画像の各スタックを畳み込みニューラルネットワークモデルを用いて合成二次元画像のスタックに変換することと、少なくとも１つのプロセッサによって、合成二次元画像のスタックを集約することにより合成画像を決定することとを含むことができる。原画像は三次元画像とすることができ、合成画像を生成することは、三次元画像の第１の面から二次元画像の第１のスタックを生成し、三次元画像の第２の面から二次元画像の第２のスタックを生成することと、二次元画像の第１のスタックおよび第２のスタックを畳み込みニューラルネットワークモデルを用いて合成二次元画像の第１のスタックおよび第２のスタックに変換することと、合成二次元画像の第１のスタックおよび第２にスタックを集約することにより合成画像を決定することとを含むことができる。隣接する二次元画像は、同一平面内にあり、その平面に直交する軸内に依存構造情報を担持することができる。隣接する二次元画像の複数のスタックは部分的に重なり合うことができ、合成二次元画像のスタックを集約することは、重なり合う合成二次元画像を平均することを含む。二次元画像の第１のスタックを合成二次元画像の第１のスタックを変換するには、第１の畳み込みニューラルネットワークモデルを使用することができ、二次元画像の第２のスタックを合成二次元画像の第２のスタックに変換するには、第１の畳み込みニューラルネットワークモデルを使用することができる。第１の畳み込みニューラルネットワークモデルと第２の畳み込みニューラルネットワークモデルは、２つの異なる解剖学的平面に対応させることができる。原画像は、異なる取得設定を使用する、または撮像素子の異なる取得チャンネルを使用して、解剖学的部分の多チャネル画像を含むことができる。多チャンネル画像には、Ｔ１強調磁気共鳴画像およびＴ２強調磁気共鳴画像を含むことができる。畳み込みニューラルネットワークモデルは、原画像の特徴マップを決定するように構成された第１の構成要素と、特徴マップから合成画像を決定するように構成された第２の構成要素とを含むことができる。第１の構成要素は複数の符号化層を含むことができ、第２の構成要素は複数の復号化層を含むことができる。第１の構成要素は、ダウンサンプリングを介して特徴マップのサイズを縮小するように構成することができ、第２の構成要素は、アップサンプリングを介して特徴マップのサイズを拡大するように構成することができる。畳み込みニューラルネットワークは複数の畳み込み層を含むことができ、モデルパラメータのセットは複数の畳み込み層によって使用される学習可能なフィルタ重みを含むことができる。畳み込みニューラルネットワークは１０から５００層を含むことができる。畳み込みニューラルネットワークモデルは、畳み込みニューラルネットワークモデルを用いてトレーニング原画像を合成画像に変換し、合成画像と対応するトレーニングデスティネーション画像との間の差を決定し、その差に基づいて畳み込みニューラルネットワークのモデルパラメータのセットを更新することを含むことができる。合成画像とデスティネーション画像との差が所定の閾値よりも小さいときにトレーニングを完了する。この差は、合成画像とデスティネーション画像に基づいて算出された損失関数によって測定することができる。
［０１１］
一態様では、本開示は、第１の撮像モダリティを使用して撮像装置によって取得された解剖学的部分の原画像に基づいて解剖学的部分の合成画像を生成するためのシステムを特徴とする。このシステムは、第１の撮像モダリティを使用して撮像装置によって取得された解剖学的部分の原画像を受け取り、その原画像に基づいて合成画像を予測するようにトレーニングされた畳み込みニューラルネットワークモデルを受け取るように構成される入力インターフェースを含むことができる。このシステムは、また、原画像と畳み込みニューラルネットワークモデルを記憶するように構成された少なくとも１つの記憶装置を含むことができる。このシステムは、また、畳み込みニューラルネットワークモデルを介して原画像を合成画像に変換するように構成された画像プロセッサを含むことができる。合成画像（例えば、擬似ＣＴ画像）は少なくとも１つの記憶装置に記憶することができる。合成画像は、解剖学的部分の第２の撮像モダリティ描写に似せることでき、第２の撮像モダリティ（例えばＣＴ）は第１の撮像モダリティとは異なり得る。原画像は、異なる取得設定を用いて、または撮像装置の異なる取得チャネルを用いて取得された解剖学的部分のマルチチャネル画像を含むことができる。第１の撮像モダリティは磁気共鳴画像法であり、第２の撮像モダリティはコンピュータ断層撮影法であり得る。第１の撮像モダリティおよび第２の撮像モダリティは、磁気共鳴イメージング、コンピュータ断層撮影、超音波イメージング、陽電子放出断層撮影、および単一光子放出コンピュータ断層撮影の群の中から選択することができる。入力インターフェースは、さらに、第１の撮像モダリティを使用して取得された複数のトレーニング原画像を受け取り、第２の撮像モダリティを使用して取得された複数のトレーニングデスティネーション画像を受け取るように構成することができる。画像プロセッサは、さらに、トレーニング原画像および対応するトレーニングデスティネーション画像を使用して畳み込みニューラルネットワークモデルをトレーニングするように構成することができる。原画像は二次元画像であり得、合成画像は二次元画像であり得る。原画像は二次元画像のスタックを含むことができ、合成画像は二次元画像の対応するスタックを含むことができる。原画像は三次元ボリュームであり得、合成画像は三次元ボリュームであり得る。原画像は三次元画像であることができ、画像プロセッサを、さらに、三次元画像から隣接する二次元画像の複数のスタックを選択し、隣接する二次元画像の各スタックを畳み込みニューラルネットワークモデルを用いて合成二次元のスタックに変換し、合成二次元画像のスタックを集約することによって合成画像を決定するように構成することができる。隣接する二次元画像は同一平面内にあってもよく、その平面に直交する軸内に依存構造情報を担持してもよい。隣接する二次元画像の複数のスタックは部分的に重なり合うことができ、合成二次元画像のスタックを集約することは、重なり合う合成二次元画像を平均することを含むことができる。原画像は三次元画像であることができ、画像プロセッサを、さらに、三次元画像の第１の面から二次元画像の第１のスタックを生成し、三次元画像の第２の面から二次元画像の第２のスタックを生成し、二次元画像の第１にスタックと第２のスタックを畳み込みニューラルネットワークモデルを用いて合成二次元画像の第１のスタックと第２のスタックを変換し、合成二次元画像の第１のスタックおよび第２のスタックを集約することによって合成画像を決定するように構成することができる。画像プロセッサを、第１の畳み込みニューラルネットワークモデルを用いて二次元画像の第１のスタックを合成二次元画像の第１のスタックに変換し、第２の畳み込みニューラルネットワークモデルを用いて二次元画像の第２のスタックを合成二次元画像の第２のスタックに変換するように構成することができ、第１の畳み込みニューラルネットワークモデルおよび第２の畳み込みニューラルネットワークモデルは、２つの異なる解剖学的平面に対応させることができる。原画像は、撮像装置の異なる取得チャネルを使用して取得された解剖学的部分のマルチチャネル画像を含むことができる。マルチチャネル画像は、Ｔ１強調磁気共鳴画像およびＴ２強調磁気共鳴画像を含むことができる。畳み込みニューラルネットワークモデルは、原画像の特徴マップを決定するように構成された第１の構成要素と、特徴マップから合成画像を決定するように構成された第２の構成要素とを含むことができる。第１の構成要素は複数の符号化層を含むことができ、第２の構成要素は複数の復号化層を含むことができる。第１の構成要素は、ダウンサンプリングを介して特徴マップのサイズを縮小するように構成することができ、第２の構成要素は、アップサンプリングを介して特徴マップのサイズを拡大するように構成することができる。畳み込みニューラルネットワークは複数の畳み込み層を含むことができ、モデルパラメータのセットは複数の畳み込み層によって使用される学習可能なフィルタ重みを含むことができる。畳み込みニューラルネットワークは１０から５００層を含むことができる。画像プロセッサを、さらに、畳み込みニューラルネットワークモデルを使用してトレーニング原画像を合成画像に変換し、合成画像と対応するトレーニングデスティネーション画像との間の差を決定し、その差に基づいてモデルパラメータのセットを更新するように構成することができる。この差は、合成画像と対応するトレーニングデスティネーション画像とに基づいて計算された損失関数によって測定することができる。
［０１２］
一態様において、本開示は、少なくとも１つのプロセッサによって実行されると、第１の撮像モダリティを使用して撮像装置によって取得された解剖学的部分の原画像に基づいて解剖学的部分の合成画像を生成する方法を少なくとも１つのプロセッサに実行させるような命令を含む非一時的なコンピュータ可読媒体を特徴とすることができる。この方法は、第１の撮像モダリティを用いた撮像装置により取得された解剖学的部分の起源の画像を受信し、原画像に基づいて合成画像を予測するためにトレーニングされた畳み込みニューラルネットワークモデルを受信することを含むことができます。この方法は、また、畳み込みニューラルネットワークモデルを介して原画像を合成画像に変換することを含むことができる。合成画像は、解剖学的部分の第２の撮像モダリティ描写に似ており、第２の撮像モダリティ（例えば、ＣＴ）は第１の撮像モダリティとは異なる。この方法は、また、第１の撮像モダリティを使用して取得された複数のトレーニング原画像を受信すること、第２の撮像モダリティを使用して取得された、各トレーニング原画像に対応する複数のトレーニングデスティネーション画像を受信すること、畳み込みニューラルネットワークを決定すること、トレーニング原画像および対応するトレーニングデスティネーション画像を用いて畳み込みニューラルネットワークモデルをトレーニングすることを含むことができる。原画像は三次元画像とすることができ、合成画像を生成することは、さらに、三次元画像から隣接した二次元画像の複数のスタックを選択することと、隣接する二次元画像の各スタックを畳み込みニューラルネットワークモデルを用いて合成二次元画像のスタックに変換することと、少なくとも１つのプロセッサにより、合成二次元画像のスタックを集約することによって合成画像を決定することとを含むことをできる。隣接する二次元画像の複数のスタックは部分的に重なり合うことができ、合成二次元画像のスタックを集約することは、重なり合う合成二次元画像を平均することを含むことができる。原画像は三次元画像とすることができ、合成画像を生成することは、三次元画像の第１の平面から二次元画像の第１のスタックを生成し、三次元画像の第２に平面から二次元画像の第２のスタックを生成することと、二次元画像の第１のスタックと第２のスタックを畳み込みニューラルネットワークモデルを用いて合成二次元画像の第１のスタックと第２のスタックに変換することと、合成二次元画像の第１のスタックと第２のスタックを集約することにより合成画像を決定することを含むことができる。二次元画像の第１のスタックを合成二次元画像スタックの第１のスタックに変換することは、第１の畳み込みニューラルネットワークモデルを使用することを含むことができ、二次元画像を第２のスタックを変換することは、第２の畳み込みニューラルネットワークモデルを使用することを含むことができる。第１の畳み込みニューラルネットワークモデルおよび第２の畳み込みニューラルネットワークモデルは、２つの異なる解剖学的平面に対応することができる。原画像は、撮像装置の異なる取得チャネルを使用して取得された解剖学的部分のマルチチャネル画像を含むことができる。マルチチャネル画像は、Ｔ１強調磁気共鳴画像およびＴ２強調磁気共鳴画像を含むことができる。畳み込みニューラルネットワークモデルは、原画像の特徴マップを決定するように構成された第１の構成要素と、特徴マップから合成画像を決定するように構成された第２の構成要素とを含むことができる。第１の構成要素は複数の符号化層を含むことができ、第２の構成要素は複数の復号化層を含むことができる。第１の構成要素は、ダウンサンプリングを介して特徴マップのサイズを縮小するように構成することができ、第２の構成要素は、アップサンプリングを介して特徴マップのサイズを拡大するように構成することができる。畳み込みニューラルネットワークは複数の畳み込み層を含むことができ、モデルパラメータのセットは複数の畳み込み層によって使用される学習可能なフィルタ重みを含むことができる。畳み込みニューラルネットワークは、１０−５００層を含むことができる。畳み込みニューラルネットワークモデルのモデルパラメータのセットをトレーニングすることは、トレーニングされた原画像を畳み込みニューラルネットワークモデルを使用して合成画像に変換することと、合成画像と対応するトレーニングデスティネーション画像との差を決定することと、その差に基づいてモデルパラメータのセットを更新することを含むことができる。この差は、合成画像と対応するトレーニングデスティネーション画像に基づいて算出した損失関数によって測定することができる。
［０１３］
一態様において、本開示は、第１の撮像モダリティを使用して撮像装置によって取得された解剖学的部分の原画像に基づいて解剖学的部分の合成画像を予測するための畳み込みニューラルネットワークモデルを生成するためのコンピュータ実施方法を特徴とする。この方法は、第１の撮像モダリティを用いて取得された複数のトレーニング原画像を受け取ることを含むことができる。この方法は、また、第２の撮像モダリティを使用して取得された、トレーニング原画像に対応する複数のトレーニングデスティネーション画像を受信することを含むことができる。この方法は、また、トレーニング原画像および対応するトレーニングデスティネーション画像を使用して、少なくとも１つのプロセッサにより、畳み込みニューラルネットワークモデルの１組のモデルパラメータをトレーニングすることを含むことができる。第１の撮像モダリティは磁気共鳴イメージングであり得、第２の撮像モダリティはコンピュータ断層撮影であり得る。第１の撮像モダリティおよび第２の撮像モダリティは、磁気共鳴イメージング、コンピュータ断層撮影、超音波イメージング、陽電子放出断層撮影、単光子放出コンピュータ断層撮影の群の中から選択することができる。トレーニング原画像は、撮像装置の異なる収集チャンネルを使用して取得された解剖学的部分の多チャネル画像を含むことができる。マルチチャンネル画像はＴ１強調磁気共鳴画像とＴ２強調磁気共鳴画像を含めることができる。畳み込みニューラルネットワークモデルは、原画像の特徴マップを決定するように構成された第１の構成要素と、特徴マップから合成画像を決定するように構成された第２の構成要素とを含むことができる。第１の構成要素は複数の符号化層を含むことができ、第２の構成要素は複数の復号化層を含むことができる。第１の構成要素はダウンサンプリングして特徴マップのサイズを低減するように構成することができ、第２の構成要素はアップサンプリングを介して特徴マップのサイズを大きくするように構成することができる。畳み込みニューラルネットワークは、複数の畳み込み層を含むことができ、モデルパラメータのセットは、複数の畳み込み層により使用される学習可能なフィルタ重みを含むことができる。ニューラルネットワークは１０−５００層を含むことができる。畳み込みニューラルネットワークモデルのモデルパラメータをトレーニングすることは、トレーニング原画像を畳み込みニューラルネットワークモデルを用いて合成画像に変換することと、合成画像と対応するトレーニングデスティネーション画像との間の差を決定することと、この差に基づいてモデルパラメータのセットを更新することとを含むことができる。この差は、合成画像と対応するトレーニングデスティネーション画像に基づいて算出した損失関数によって測定することができる。
［０１４］
本実施形態の目的および利点は、部分的に以下の詳細な説明に記載され、そして部分的にその説明から明らかになり、または本実施形態の実施によって習得されることができる。前述の一般的な説明および以下の詳細な説明は共に例示的かつ説明的なものにすぎず、特許請求の範囲を限定するものではないことを理解されたい。
［０１５］
本明細書で使用されるように、用語「含む」、「含む」、またはそれらの任意の他の変形は、構成要素のリストを含むプロセス、方法、物品、または装置がそれらの構成要素のみを含むものではなく、明示的に列挙されていない、またはそのようなプロセス、方法、物品、または装置に固有な他の要素を含み得るような、非排他的な包含をカバーすることを意図している。
［０１６］
本明細書に組み込まれ、その一部を構成する添付の図面は、開示された実施形態を例示し、その説明と共に、開示された原理を説明するのに役立つ。
［０１７］
図１Ａは、本開示のいくつかの実施形態による例示的な放射線治療システムを示す図である。
［０１８］
図１Ｂは、治療ビームを提供するように構成された放射線療法の出力を含むことができる例示的な放射線治療システムを示す図である。
［０１９］
図１Ｃは、コンピュータ断層撮影（ＣＴ）撮像システムのような結合された放射線治療システム及び撮像システムを含む例示的なシステムを示す図である。
［０２０］
図１Ｄは、核磁気共鳴（ＭＲ）撮像システムのような結合された放射線治療システム及び撮像システムを含む例示的なシステムの一部破断図を示す図である。
［０２１］
図２は、放射線療法ビームを整形し、導き、またはその強度を変調するための例示的なマルチリーフコリメータ構成の直交図を示す図である。
［０２２］
図３は、例示的なガンマナイフ放射線治療システムを示す図である。
［０２３］
図４Ａおよび図４Ｂは、例示的なＭＲＩ画像と対応するＣＴ画像との違いを示す図である。 図４Ａおよび図４Ｂは、例示的なＭＲＩ画像と対応するＣＴ画像との違いを示す図である。
［０２４］
図４Ｃは、取得したＭＲＩ画像から生成された例示的な合成ＣＴ画像を示す図である。
［０２５］
図５は、本開示のいくつかの実施形態による、例示的な画像変換システムを示す図である。
［０２６］
図６は、本開示のいくつかの実施形態による、例示的な画像前処理プロセスを示す図である。
［０２７］
図７Ａは、本開示のいくつかの実施形態による、図５に示された予測モデルの例示的な畳み込み層のオペレーションを示す図である。
［０２８］
図７Ｂは、本開示のいくつかの実施形態による、図５に示された予測モデルの畳み込み層の例示的なスタックのオペレーションを示す図である。
［０２９］
図７Ｃは、本開示のいくつかの実施形態による、図５に示された予測モデルの例示的な最大プーリング層およびアンプーリング層のオペレーションを示す図である。
［０３０］
図７Ｄおよび図７Ｅは、本開示のいくつかの実施形態による、図５に示された画像変換システムにより用いられる、例示的な畳み込みニューラルネットワークを示す図である。 図７Ｄおよび図７Ｅは、本開示のいくつかの実施形態による、図５に示された画像変換システムにより用いられる、例示的な畳み込みニューラルネットワークを示す図である。
［０３１］
図７Ｆは、本開示のいくつかの実施形態による、図７Ｄおよび図７Ｅに示されたニューラルネットワークの選択された層によって生成される例示的な特徴マップを示す図である。
［０３２］
図８は、本開示のいくつかの実施形態による、ＣＮＮモデルをトレーニングするための例示的なトレーニング処理を示すフローチャートである。
［０３３］
図９Ａは、本開示のいくつかの実施形態による、図８の処理を経て獲得されたトレーニングされたＣＮＮモデルを用いた、例示的な画像変換処理を示すフローチャートである。
［０３４］
図９Ｂは、本開示のいくつかの実施形態による、図８の処理を経て獲得された少なくとも１つのトレーニングされたＣＮＮモデルを用いた、例示的な画像変換処理を示すフローチャートである。
［００１］
次に、添付の図面を参照しながら例示的な実施形態を詳細に参照する。可能な限り、同じまたは類似の部分を指すために、図面全体を通して同じ参照番号が使用される。図において、参照番号の左端の数字は、その参照番号が最初に現れる図を識別する。都合がよければどこでも、同じまたは同様の部分を指すために図面全体を通して同じ参照番号を使用する。開示された原理の例および特徴が本明細書に記載されているが、開示された実施形態の範囲から逸脱することなく、修正、適合、および他の実装が可能である。また、「含む」、「有する」、「含む」、「含む」という用語および他の同様の形態は、意味において等価であること、および以下の項目のうちのいずれか１つに続く項目においてオープンエンドとして解釈されることを意図し、これらの用語は、そのような構成要素の網羅的なリストであることを意味するのではなく、あるいはリストされた構成要素だけに限定されることを意味するのでもない。そして、単数形「ａ」、「ａｎ」、「ｔｈｅ」は、文脈が明らかにそうでないことを指示しない限り、複数の言及を含むことを意図している。「例示的」という用語は、「理想的」というよりはむしろ「例」という意味で使用されている。
［０３５］
開示された実施形態は、伝達学習の原理を利用して、画像分類のためにトレーニングされた既存のニューラルネットワークのパラメータを使用して畳み込みニューラルネットワークを初期化するために限られたデータを使用する。開示された実施形態は、線形でも変形可能でも対象間の画像位置合わせを必要としない点で有利であり、ＭＲＩ画像と対応するＣＴ画像との間のマッピングを直接学習することができる。開示された実施形態は、パッチ精密化および融合を使用するアトラスベースの方法よりも優れた精度を有利に提供することができる。これは、文献で提案されている他のアトラスまたはパッチベースの方法でも一般的であるように、アトラスベースの方法は通常、類似のアトラス候補を見つけるためにパッチ比較に依存しているためである。小さなローカルパッチでは画像情報が制限される。したがって、特徴としてパッチの生の画像強度を使用することは、データにおける大きな冗長性を被り、識別力を低下させる可能性がある。これに対し、開示された実施形態は、フル画像から異なる縮尺および複雑さレベルで画像特徴の階層を自動的に学習することができる点で有利である。
［０３６］
開示された実施形態と一致する１つまたは複数の方法が１８人の患者に対して試験され、その結果は、既存のファジィＣ平均法、登録にアトラスを使用する方法、ガウス混合回帰モデルを使用した方法、アトラス登録とそれに続くパッチ融合の方法を使用して得られた結果のような、文献に報告されている他の結果と比較して優れている。精度を向上させることに加えて、開示された実施形態は、またより短い計算時間ですむという結果をもたらす。たとえば、モデルのトレーニング（たとえば、ディープコンボリューションニューラルネットワーク（ＤＣＮＮ））に数日かかる場合でも、トレーニングは１回だけで済み、トレーニング処理の高速化は、複数のＧＰＵ、クラウドコンピュータ、またはスーパーコンピュータにより可能となる。トレーニングされたモデルを適用して新しい患者のための合成画像を作成することは、単一のＧＰＵでほんの数秒で行うことができる。これに対し、既存のモデルベースまたはアトラスベースの方法では、はるかに長い時間（例えば、数分または数時間）がかかる。
［０３７］
開示された実施形態は、また、大量のトレーニングデータ（数１００対の原画像とデスティネーション画像）を収容することができる。ニューラルネットワークは、モデル容量が大きいため、大量のデータから大きな恩恵を受けることができる。したがって、開示された実施形態の精度は、追加のトレーニングデータが利用可能になるにつれて向上する可能性がある。トレーニングデータの量を増やすと、トレーニング時間が長くなる可能性があるが、最終的なニューラルネットワークのサイズと合成画像の生成時間は同じままとなる。これに対し、既存のアトラスベースの方法または（既存のガウスプロセスモデルのような）他のモデルベースの方法を使用してトレーニングデータを増やすことは実用的ではない。さらに、これらの方法の計算時間は、しばしば使用されるアトラスの数に正比例する。さらに、アトラスベースのメソッドの精度はすぐに飽和する可能性があり、その結果、多数のアトラスを使用するときに精度の低下を避けるために、しばしばアトラスを選択する手順が必要になる。しかしながら、増加したトレーニングデータの使用はトレーニングされたニューラルネットワークモデルによって生成された最終合成画像の精度を改善することができる。
［０３８］
［０３９］
図１Ａは、患者に放射線療法を提供するための例示的な放射線療法システム１０を示す図である。放射線治療システム１０は、画像処理装置１２を含む。画像処理装置１２はネットワーク２０に接続されている。ネットワーク２０はインターネット２２に接続されている。ネットワーク２０は、画像処理装置１２を、データベース２４、病院データベース２６、腫瘍学情報システム（ＯＩＳ）２８、放射線治療装置３０、画像取得装置３２、表示装置３４、表示装置３４、およびユーザインターフェース３６のうちの１つまたは複数と接続することができる。画像処理装置１２は、放射線療法装置３０によって使用される放射線療法治療計画１６を生成するように構成されている。
［０４０］
画像処理装置１２は、メモリ装置１６、プロセッサ１４、および通信インターフェース１８を含むことができる。メモリ装置１６は、オペレーティングシステム４３、放射線療法治療計画４２（例えば、オリジナル治療計画、適応治療計画など）、ソフトウェアプログラム４４（例えば、人工知能、深層学習、ニューラルネットワーク、放射線治療計画ソフトウェア）のようなコンピュータ実行可能命令や、プロセッサ１４によって実行されるべき他の任意のコンピュータ実行可能命令を含むことができる。一実施形態では、ソフトウェアプログラム４４は、擬似ＣＴ画像などの合成画像を生成することによって、あるフォーマット（例えば、ＭＲＩ）の医用画像を別のフォーマット（例えば、ＣＴ）に変換することができる。例えば、ソフトウェアプログラム４４は、あるモダリティ（例えば、ＭＲＩ画像）の内側画像４６を異なるモダリティの合成画像（例えば、擬似ＣＴ画像）に変換するための予測モデルをトレーニングするための画像処理プログラムを含むことができ、あるいは、トレーニングされた予測モデルはＣＴ画像をＭＲＩ画像に変換することができる。メモリ装置１６は、医用画像４６、患者データ４５、および放射線療法治療計画４２を作成し実施するのに必要な他のデータを含むデータを記憶することができる。
［０４１］
ソフトウェアプログラム４４を記憶しているメモリ１６に加えて、ソフトウェアプログラム４４は、ハードドライブ、コンピュータディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＨＤ、ブルーレイＤＶＤ、ＵＳＢフラッシュドライブ、ＳＤカード、メモリースティック、またはその他の適切な媒体のような、取り外し可能なコンピュータ媒体に記憶することができ、ソフトウェアプログラム４４は、画像処理装置１４にダウンロードされると、画像プロセッサ１４によって実行することができる。
［０４２］
プロセッサ１４はメモリ装置１６に通信可能に結合されてもよく、プロセッサ１４はそこに格納されたコンピュータ実行可能命令を実行するように構成されてもよい。プロセッサ１４は、医用画像４６をメモリ１６に送信または受信することができる。例えば、プロセッサ１４は、通信インターフェース１８およびネットワーク１８を介して画像取得装置３２から医用画像４６を受信して、メモリ１６に格納することができる。プロセッサ１４は、また、メモリ１６に格納された医用画像４６を、通信インターフェース１８を介してネットワーク２０に送信し、データベース２４または病院データベース２６に格納することができる。
［０４３］
さらに、プロセッサ１４は、放射線療法治療計画４２を作成するために、医用画像４６および患者データ４５と共にソフトウェアプログラム４４（例えば治療計画ソフトウェア）を利用することができる。医用画像４６は、患者の解剖学的領域、臓器、または関心セグメンテーションデータのボリュームに関連する撮像データなどの情報を含むことができる。患者データ４５は、（１）機能的臓器モデル化データ（例えば、直列対並列臓器、適切な用量反応モデルなど）、（２）放射線量データ（例えば、線量−体積ヒストグラム（ＤＶＨ）情報）、または（３）患者および治療経過（例えば、他の手術、化学療法、以前の放射線療法など）に関する他の臨床情報のような情報を含むことができる。
［０４４］
さらに、プロセッサ１４はソフトウェアプログラムを利用して、例えばニューラルネットワークモデルによって使用される更新されたパラメータなどの中間データを生成する、または、次にメモリ１６に格納する中間の２Ｄまたは３Ｄ画像を生成する次に、プロセッサ１４は、実行可能な放射線療法治療計画４２を、通信インターフェース１８を介してネットワーク２０に放射線療法装置３０に送信することができ、そこで放射線療法計画は患者を放射線で治療するために使用される。さらに、プロセッサ１４は、ソフトウェアプログラム４４を実行して、画像変換、画像セグメンテーション、ディープラーニング、ニューラルネットワーク、および人工知能などの機能を実施することができる。例えば、プロセッサ１４は、医用画像をトレーニングまたは輪郭を描くソフトウェアプログラム４４を実行することができ、そのようなソフトウェア４４は、実行されると、境界検出器をトレーニングし、形状辞書を利用することができる。
［０４５］
プロセッサ１４は、マイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、加速処理装置（ＡＰＵ）などのような１つまたは複数の汎用処理装置を含む処理装置とすることができる。より具体的には、プロセッサ１４は、複合命令セット計算（ＣＩＳＣ）マイクロプロセッサ、縮小命令セット計算（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサとすることができる。プロセッサ１４は、また、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、システムオンチップ（ＳｏＣ）などのような１つまたは複数の専用処理装置によって実装されることができる。当業者には理解されるように、いくつかの実施形態では、プロセッサ１４は、汎用プロセッサではなく、専用プロセッサであってもよい。プロセッサ１４は、Ｉｎｔｅｌ（登録商標）によって製造されたＰｅｎｔｉｕｍ（登録商標）、Ｃｏｒｅ（登録商標）、Ｘｅｏｎ（登録商標）、またはＩｔａｎｉｕｍ（登録商標）ファミリー、ＡＭＤ（登録商標）によって製造されたＴｕｒｉｏｎ（登録商標）、Ａｔｈｌｏｎ（登録商標）、Ｓｅｍｐｒｏｎ（登録商標）、Ｏｐｔｅｒｏｎ（登録商標）、ＦＸ（登録商標）、Ｐｈｅｎｏｍ（登録商標）ファミリーのマイクロプロセッサ、またはＳｕｎ Ｍｉｃｒｏｓｙｔｅｍｓ（登録商標）によって製造された様々なプロセッサのような、１つまたは複数の既知の処理装置を含むことができる。プロセッサ１４は、また、Ｎｖｉｄｉａ（登録商標）によって製造されたＧｅＦｏｒｃｅ（登録商標）、Ｑｕａｄｒｏ（登録商標）、Ｔｅｓｌａ（登録商標）ファミリー、Ｉｎｔｅｌ（登録商標）によって製造されたＩｒｉｓ（登録商標）ファミリー、またはＡＭＤ（登録商標）によって製造されたＲａｄｅｏｎ（登録商標）ファミリーのＧＰＵのような、グラフィック処理ユニットを含むことができる。プロセッサ１４は、また、ＡＭＤ（登録商標）によって製造されたＤｅｓｋｔｏｐ Ａ−４（６，８）シリーズ、Ｉｎｔｅｌ（登録商標）によって製造されたＸｅｏｎ Ｐｈｉ（登録商標）ファミリーのような、加速処理装置を含むことができる。開示された実施形態は、いかなるタイプのプロセッサにも限定されるものではなく、本明細書に開示された方法を実行するために大量のデータを識別、分析、維持、生成、および／または提供する、あるいはそのようなデータを操作するという計算要求を満たすように構成されている。さらに、「プロセッサ」という用語は、複数のプロセッサ、例えばマルチコア設計またはそれぞれがマルチコア設計を有する複数のプロセッサを含むことができる。プロセッサ１４は、メモリ１６に格納された一連のコンピュータプログラム命令を実行して、以下でさらに詳細に説明する様々な動作、プロセス、方法を実行することができる。
［０４６］
メモリ装置１６は医用画像４６を記憶することができる。いくつかの実施形態では、医用画像４６は、１つまたは複数のＭＲＩ画像（例えば、２ＤＭＲＩ、３ＤＭＲＩ、２ＤストリーミングＭＲＩ、４ＤＭＲＩ、４Ｄ体積測定ＭＲＩ、４ＤシネＭＲＩなど）、機能的ＭＲＩ画像（例えば、ｆＭＲＩ、ＤＣＥ−ＭＲＩ、拡散ＭＲＩ）、コンピュータ断層撮影（ＣＴ）画像（例えば、２ＤＣＴ、コーンビームＣＴ、３ＤＣＴ、４ＤＣＴ）、超音波画像（例えば、２Ｄ超音波、３Ｄ超音波、４Ｄ超音波）、陽電子放出断層撮影（ＰＥＴ）画像、Ｘ線画像、Ｘ線透視画像、放射線治療ポータル画像、単一光放出コンピュータ断層撮影（ＳＰＥＣＴ）画像、コンピュータ生成合成画像（例えば、擬似ＣＴ画像）などを含むことができる。さらに、医用画像４６はまた、例えばトレーニング画像、グラウンドトゥルース画像、輪郭画像のような、医用画像データを含むことができる。一実施形態では、医用画像４６は画像取得装置３２から受信する。したがって、画像取得装置３２は、患者の医用画像を取得するためのＭＲＩ撮像装置、ＣＴ撮像装置、ＰＥＴ撮像装置、超音波撮像装置、蛍光透視装置、ＳＰＥＣＴ撮像装置、一体型線形加速器、ＭＲＩ撮像装置、または他の医用撮像装置を含むことができる。医用画像４６は、開示された実施形態と一致する動作を実行するために画像処理装置１２が使用することができる任意の種類のデータまたは任意の種類のフォーマットで受信および格納することができる。メモリ装置１２は、読み出し専用メモリ（ＲＯＭ）、相変化ランダムアクセスメモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、電気的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）のようなダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックメモリ（例えば、フラッシュメモリ、フラッシュディスク、スタティックランダムアクセスメモリ）、他のタイプのランダムアクセスメモリ、キャッシュ、レジスタ、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）または他の光学記憶装置、カセットテープ、他の磁気記憶装置、または、画像、データ、または、プロセッサ１４または他の任意のタイプのコンピュータ装置によってアクセスされることが可能な（例えば、任意のフォーマットで格納されている）コンピュータ実行可能命令のような、非一時的コンピュータ可読媒体とすることができる。コンピュータプログラム命令は、プロセッサ１４によってアクセスされ、ＲＯＭ、または任意の他の適切なメモリ位置から読み出され、プロセッサ１４による実行のためにＲＡＭにロードされ得る。例えば、メモリ１６は１つまたは複数のソフトウェアアプリケーションを記憶することができる。メモリ１６に格納されたソフトウェアアプリケーションは、例えば、一般的なコンピュータシステム用のソフトウェア制御装置用のオペレーティングシステム４３を含むことができる。さらに、メモリ１６は、プロセッサ１４によって実行可能なソフトウェアアプリケーション全体、またはソフトウェアアプリケーションの一部のみを記憶することができる。例えば、記憶装置１６は１つ以上の放射線療法治療計画４２を記憶することができる。
［０４７］
画像処理装置１２は、プロセッサ１４およびメモリ１６に通信可能に結合されている通信インターフェース１８を介してネットワーク２０と通信することができる。通信インターフェース１８は、画像処理装置１２と放射線治療システム１０の構成要素との間の通信接続を提供する（例えば、外部装置とのデータ交換を可能にする）。例えば、いくつかの実施形態では、通信インターフェース１８は、ユーザインターフェース３６に接続するための適切なインターフェース回路を有し、ユーザインターフェース３６は、それを通してユーザが放射線治療システム１０に情報を入力することができるハードウェアキーボード、キーパッド、またはタッチスクリーンとすることができる。
［０４８］
通信インターフェース１８は、例えば、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、ＵＳＢコネクタ、パラレルコネクタ、高速データ伝送アダプター（例えば、ファイバ、ＵＳＢ３．０、サンダーボルトなど）、無線通信アダプター（例えば、ＷｉＦｉアダプターなど）、電気通信アダプタ（例えば、３Ｇ、４Ｇ／ＬＴＥなど）などを含むことができる。通信インターフェース１８は、画像処理装置１２がネットワーク２０を介して遠隔に配置された構成要素などの他の機械および装置と通信することを可能にする１つまたは複数のデジタルおよび／またはアナログ通信装置を含むことができる。
［０４９］
ネットワーク２０は、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、クラウドコンピューティング環境（例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャなど）、クライアントサーバ、ワイドエリアネットワーク（ＷＡＮ）などの機能を提供することができる。例えば、ネットワーク２０は、他のシステムＳ１（３８）、Ｓ２（４０）、およびＳ３（４１）を含むことができるＬＡＮまたはＷＡＮであり得る。システムＳ１、Ｓ２、およびＳ３は、画像処理装置１２と同一でもよく、または異なるシステムでもよい。いくつかの実施形態では、ネットワーク２０内の１つまたは複数のシステムは、本明細書に記載の実施形態を協調的に実行する分散コンピューティング／シミュレーション環境を形成することができる。いくつかの実施形態では、１つまたは複数のシステムＳ１、Ｓ２、およびＳ３は、ＣＴ画像（例えば、医用画像４６）を取得するＣＴスキャナを含むことができる。さらに、ネットワーク２０をインターネット２２に接続して、インターネット上に遠隔に存在するサーバおよびクライアントと通信することができる。
［０５０］
したがって、ネットワーク２０は、画像処理装置１２と、ＯＩＳ２８、放射線治療装置３０、および画像取得装置３２のような、他のさまざまなシステムおよび装置との間のデータ伝送を可能にすることができる。さらに、ＯＩＳ２８および／または画像取得装置３２によって生成されたデータは、メモリ１６、データベース２４、および／または病院データベース２６に格納することができる。データは、必要に応じてプロセッサ１４によってアクセスされるために、通信インターフェース１８を介してネットワーク２０を介して送信／受信される。
［０５１］
画像処理装置１２は、ネットワーク２０を介してデータベース２４と通信し、データベース２４に格納されている複数の様々な種類のデータを送受信することができる。例えば、データベース２４は、放射線療法装置３０、画像取得装置３２、または放射線療法に関連する他の機械に関する情報である機械データを含むことができる。機械データ情報は、放射ビームサイズ、アーク配置、ビームオンオフ時間、制御点、セグメント、マルチリーフコリメータ（ＭＬＣ）構成、ガントリ速度、ＭＲＩパルスシーケンスなどを含み得る。データベース２４は記憶装置とすることができる。当業者であれば、データベース２４が集中方式または分散方式で配置された複数の装置を含むことができることを理解するであろう。
［０５２］
いくつかの実施形態では、データベース２４はプロセッサ可読記憶媒体（図示せず）を含むことができる。一実施形態におけるプロセッサ可読記憶媒体は単一の媒体とすることができるが、「プロセッサ可読記憶媒体」という用語は、コンピュータ実行可能命令またはデータの１つまたは複数の組を記憶する単一の媒体または複数の媒体（例えば、集中型または分散型データベース、および／または関連キャッシュおよびサーバ）を含むと解釈されるべきである。「プロセッサ可読記憶媒体」という用語は、プロセッサによる実行のために一組の命令を記憶または符号化することができ、プロセッサに本開示の方法論のうちの任意の１つまたは複数を実行させる任意の媒体も含むものとする。したがって、「プロセッサ可読記憶媒体」という用語は、それだけに限らないが、固体メモリ、光および磁気媒体を含むものと解釈されるべきである。例えば、プロセッサ可読記憶媒体は、１つまたは複数の揮発性、非一時的、または不揮発性有形のコンピュータ可読媒体とすることができる。
［０５３］
画像プロセッサ１４は、データベース２４と通信して、画像をメモリ１６に読み込むか、または画像をメモリ１６からデータベース２４に格納することができる。例えば、データベース２４は、データベース２４が画像取得装置３２から受信した複数の画像（例えば、３ＤＭＲＩ、４ＤＭＲＩ、２ＤＭＲＩスライス画像、ＣＴ画像、２Ｄ透視画像、Ｘ線画像、ＭＲスキャンまたはＣＴスキャンからの生データ、医学におけるデジタル画像処理および通信（ＤＩＭＣＯＭ）データなど）を格納するように構成されることができる。データベース２４は、ソフトウェアプログラム４４を実行するとき、または放射線療法治療計画４２を作成するときに、画像プロセッサ１４によって使用されるデータを格納することができる。画像処理装置１２は、データベース２４、放射線治療装置３０（例えば、ＭＲＩ−Ｌｉｎａｃ）および／または画像取得装置３２のいずれかから撮像データ４６（例えば、２ＤＭＲＩスライス画像、ＣＴ画像、２Ｄ透視画像、Ｘ線画像、３ＤＭＲＩ画像、４ＤＭＲＩ画像など）（例えば、２ＤＭＲＩスライス画像、ＣＴ画像、２Ｄ透視画像、Ｘ線画像、３ＤＭＲＩ画像、４ＤＭＲＩ画像など）を受信して治療計画４２を生成することができる。
［０５４］
一実施形態では、放射線治療システム１００は、患者の医用画像（例えば、磁気共鳴画像（ＭＲＩ）画像、３ＤＭＲＩ、２ＤストリーミングＭＲＩ、４Ｄ体積測定ＭＲＩ、コンピュータ断層撮影（ＣＴ）画像、コーンビームＣＴ、陽電子放出断層撮影（ＰＥＴ）画像、機能的ＭＲＩ画像（例えば、ｆＭＲＩ、 ＤＣＥ ? ＭＲＩおよび拡散ＭＲＩ）、Ｘ線画像、蛍光透視画像、超音波画像、放射線治療ポータル画像、単一光放出コンピュータ断層撮影（ＳＰＥＣＴ）画像など）を取得することができる画像取得装置３２を含むことができる。画像取得装置３２は、例えば、ＭＲＩ撮像装置、ＣＴ撮像装置、ＰＥＴ撮像装置、超音波装置、蛍光透視装置、ＳＰＥＣＴ撮像装置、または患者の医療画像の１つまたは複数を取得するための任意の他の適切な医用撮像装置であり得る。撮像取得装置３２によって取得された画像は、撮像データおよび／または試験データとしてデータベース２４内に格納することができる。一例として、撮像取得装置３２によって取得された画像は、医用画像データ４６として画像処理装置１２によってメモリ１６に格納することもできる。
［０５５］
一実施形態では、例えば、画像取得装置３２は、単一の装置（例えば、「ＭＲＩ−Ｌｉｎａｃ」とも呼ばれる線形加速器と組み合わせたＭＲＩ装置）として放射線治療装置３０と一体化することができる。このようなＭＲＩ−Ｌｉｎａｃは、例えば、放射線治療計画４２に従って放射線治療を所定の標的に正確に向けるように、患者の標的器官または標的腫瘍の位置を決定するために使用することができる。
［０５６］
画像取得装置３２は、関心領域（例えば、標的器官、標的腫瘍、またはその両方）についての患者の解剖学的構造の１つまたは複数の画像を取得するように構成することができる。各画像、典型的には２Ｄ画像またはスライスは、１つまたは複数のパラメータ（例えば、２Ｄスライスの厚さ、向き、および位置など）を含むことができる。一例では、画像取得装置３２は、任意の向きで２Ｄスライスを取得することができる。例えば、２Ｄスライスの配向は、矢状配向、冠状配向、または軸配向を含み得る。プロセッサ１４は、標的臓器および／または標的腫瘍を含むように、２Ｄスライスの厚さおよび／または向きなどの１つまたは複数のパラメータを調整することができる。一例では、２Ｄスライスは３ＤＭＲＩボリュームなどの情報から決定することができる。このような２Ｄスライスは、例えば放射線治療装置３０を使用しているときに患者が放射線治療を受けている間に「リアルタイム」で画像取得装置３２によって取得することができる。「リアルタイム」とは、少なくともミリ秒以下でデータを取得することを意味する。
［０５７］
画像処理装置１２は、一人以上の患者に対する放射線療法治療計画４２を生成して記憶することができる。放射線療法治療計画４２は、各患者に適用されるべき特定の放射線量についての情報を提供することができる。放射線療法治療計画４２は、また、ビーム角度、線量−ヒストグラム−容積情報、治療中に使用される放射線ビームの数、ビーム当たりの線量のような他の放射線療法情報を含むことができる。
［０５８］
画像プロセッサ１４は、スウェーデン、ストックホルムのＥｌｅｋｔａＡＢ社によって製造されているＭｏｎａｃｏ（登録商標）のような治療計画ソフトウェアなどのソフトウェアプログラム４４を使用することによって、放射線療法治療計画４２を生成することができる。放射線療法治療計画４２を生成するために、画像プロセッサ１４は、画像取得装置３２（例えば、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、Ｘ線装置、超音波装置など）と通信して患者の画像にアクセスし、腫瘍などの標的を描写することができる。いくつかの実施形態では、腫瘍周囲のまたは腫瘍に近接した健康な組織など、危険にさらされている１つまたは複数の臓器（ＯＡＲ）の描写が必要とされる。したがって、ＯＡＲのセグメント化は、ＯＡＲが標的腫瘍に近いときに実行される。さらに、標的腫瘍がＯＡＲに近い場合（例えば、膀胱および直腸に近接した前立腺）、次いで腫瘍からＯＡＲをセグメント化することによって、治療計画装置１１０は標的内だけでなくＯＡＲ内の線量分布をよく調べるようにする。
［０５９］
標的臓器または標的腫瘍をＯＡＲから描写するために、放射線治療を受けている患者の医用画像（例えば、ＭＲＩ画像、ＣＴ画像、ＰＥＴ画像、ｆＭＲＩ画像、Ｘ線画像、超音波画像、放射線治療ポータル画像、ＳＰＥＣＴ画像）は、身体部分の内部構造を明らかにするために画像取得デバイス３２によって非侵襲的に取得されてもよい。医用画像からの情報に基づいて、関連する解剖学的部分の三次元構造を得ることができる。加えて、治療計画プロセスの間、標的腫瘍の効率的な治療とＯＡＲの低照射（例えば、ＯＡＲができるだけ低い放射線量を受ける）との間のバランスを達成するために（例えば、標的腫瘍が有効な治療のために十分な放射線量を受けるように）、多くのパラメータが考慮され得る。考慮され得る他のパラメータは、標的器官および標的腫瘍の位置、ＯＡＲの位置、ならびにＯＡＲに対する標的の移動を含む。例えば、３Ｄ構造は、ＭＲＩまたはＣＴ画像の各２Ｄ層またはスライス内でターゲットを輪郭付けするかまたはＯＡＲを輪郭付けし、各２Ｄ層またはスライスの輪郭を組み合わせることによって得ることができる。輪郭は、手動で（例えば、医師、線量測定者、または医療従事者により）または自動的に（例えば、スウェーデン、ストックホルムのＥｌｅｋｔａＡＢ社によって製造されたアトラスベースの自動セグメンテーションソフトウェア、ＡＢＡＳ（登録商標）などのプログラムを用いて）生成されることができる。特定の実施形態において、標的腫瘍またはＯＡＲの３Ｄ構造は、治療計画ソフトウェアによって自動的に生成されることができる。
［０６０］
標的腫瘍が発見され、描写された後、線量測定者、医師、または医療従事者は、腫瘍（例えば、左右の耳下腺、視神経、眼、水晶体、内耳、脊髄、脳幹など）に近接するＯＡＲが受ける可能性のある任意の最大線量と同様に、標的腫瘍に適用される放射線量を決定することができる。各解剖学的構造（例えば、標的腫瘍、ＯＡＲ）について放射線量が決定された後、所望の放射線量分布を達成するであろう１つ以上の治療計画パラメータを決定するために逆計画として知られるプロセスが実行されることができる。治療計画パラメータの例には、容積描写パラメータ（例えば、目標体積、輪郭に敏感な構造などを定義するもの）、標的腫瘍およびＯＡＲの周囲のマージン、ビーム角度選択、コリメータ設定、ならびにビームオン時間が含まれる。逆計画処理の間に、医師は、ＯＡＲがどれだけの量の放射線を受けることができるかについての限界を設定する線量制約パラメータを定義する（例えば、腫瘍標的に対する全用量および任意のＯＡＲに対するゼロ用量を定義する；標的腫瘍に対する線量の95％を定義する；脊髄、脳幹、および光学構造がそれぞれ≦４５Ｇｙ、≦５５Ｇｙ、および＜５４Ｇｙを受けることを定義する）ことができる。逆計画の結果は、メモリ１６またはデータベース２４に格納する放射線療法治療計画４２を構成することができる。これらの治療パラメータのいくつかは相関している可能性がある。例えば、治療計画を変更する試みにおいて１つのパラメータ（例えば、標的腫瘍への線量を増加させるような異なる目的に対する重み付け）を調整することは、少なくとも１つの他のパラメータに影響を及ぼし得、それは次に異なる治療計画の開発をもたらし得る。したがって、画像処理装置１２は、放射線療法装置３０が患者に放射線療法治療を提供するために、これらのパラメータを有する調整された放射線療法治療計画４２を生成することができる。
［０６１］
さらに、放射線治療システム１０は、表示装置３４とユーザインターフェース３６とを含むことができる。表示装置３４は、医用画像、インターフェース情報、治療計画パラメータ（例えば、輪郭、線量、ビーム角など）、治療計画、目標、目標の位置特定および／または目標の追跡、またはユーザに関連する情報を表示する１つまたは複数の表示画面を含むことができる。ユーザインターフェース３６は、キーボード、キーパッド、タッチスクリーン、またはユーザが放射線治療システム１０に情報を入力することができる任意の種類の装置とすることができる。あるいは、表示装置３４およびユーザインターフェース３６は、タブレットコンピュータ、例えばアップル（登録商標）ｉＰａｄ（登録商標）、レノボシンクパッド（登録商標）、サムスンギャラクシー（登録商標）のような装置に統合されてもよい。
［０６２］
さらに、放射線治療システム１０の任意のおよびすべての構成要素は、仮想マシン（例えば、ＶＭＷａｒｅ、Ｈｙｐｅｒ−Ｖなど）として実装され得る。たとえば、仮想マシンはハードウェアとして機能するソフトウェアとすることができる。したがって、仮想マシンは、少なくとも１つ以上の仮想プロセッサ、１つ以上の仮想メモリ、および一緒になってハードウェアとして機能する１つ以上の仮想通信インターフェースを含むことができる。例えば、画像処理装置１２、ＯＩＳ２８、画像取得装置３２は仮想マシンとして実施することができる。利用可能な処理能力、メモリ、および計算能力が与えられれば、放射線治療システム１０全体を仮想マシンとして実施することができる。
［０６３］
図１Ｂは、Ｘ線源または線形加速器のような放射線源、マルチリーフコリメータ（図示せず）、治療台１１６、撮像検出器１１４、および放射線療法出力１０４を含むことができる例示的な放射線治療装置１０２を示す。放射線治療装置１０２は、患者に治療を提供するために放射線ビーム１０８を放射するように構成されてもよい。放射線治療出力１０４は、以下の図２の例示的な例に示されているように、マルチリーフコリメータ（ＭＬＣ）などの１つまたは複数の減衰器またはコリメータを含むことができる。
［０６４］
図１Ｂに戻ると、患者は、放射線療法治療計画に従って放射線療法線量を受けるためにテーブルまたは治療台１１６を使用して領域１１２に配置される。放射線療法出力１０４は、ガントリ１０６または他の機械的支持体に搭載されるか、取り付けることができる。治療台１１６が治療領域に挿入されると、１つまたは複数のシャーシモータ（図示せず）が治療台１１６の周りで架台１０６および放射線治療出力１０４を回転させることができる。一実施形態では、ガントリ１０６は、治療台１１６が治療領域に挿入されたときに治療台１１６の周りを連続的に回転可能である。別の実施形態では、治療台１１６が治療領域に挿入されると、ガントリ１０６は所定の位置まで回転することができる。例えば、ガントリ１０６は、治療出力１０４を軸（「Ａ」）の周りで回転させるように構成することができる。治療台１１６および放射線療法出力１０４の両方は、横方向（「Ｔ」）への移動可能、横方向（「Ｌ」）への移動可能、または、横軸回りの回転のような１つまたは複数の軸を中心とする回転（「Ｒ」で示す）のような、患者の周囲の他の位置に独立して移動可能である。１つまたは複数のアクチュエータ（図示せず）に通信可能に接続されたコントローラは、放射線療法治療計画に従って患者を放射線ビーム１０８の位置に出入りさせるために、治療台１１６の移動または回転を制御することができる。治療台１１６とガントリ１０６の両方が互いに独立して多自由度で移動可能であるため、放射線ビーム１０８が正確に腫瘍を標的とすることができるように患者を位置決めすることが可能になる。
［０６５］
図１Ｂに示された（Ａ軸、Ｔ軸、Ｌ軸を含む）座標系は、アイソセンタ１１０に位置する原点を有する。アイソセンタは、例えば、患者上または患者内の位置に所定の放射線量を送達するために、放射線治療ビーム１０８が座標軸の原点と交差する位置として定義することができる。例えば、アイソセンタ１１０は、軸線Ａの周りにガントリ１０６によって位置決めされるような放射線治療出力１０４の様々な回転位置に対して放射線治療ビーム１０８が患者と交差する場所として定義することができる。
［０６６］
ガントリ１０６は、また、取り付けられた撮像検出器１１４を有してもよい。イメージング検出器１１４は、好ましくは、放射線源１０４の反対側に位置し、一例では、イメージング検出器１１４は、治療ビーム１０８のフィールド内に配置することができる。
［０６７］
イメージング検出器１１４は、治療ビーム１０８との位置合わせを維持するためなどに、好ましくは放射線治療出力１０４の反対側でガントリ１０６に取り付けることができる。ガントリ１０６が回転すると、撮像検出器１１４は回転軸を中心に回転する。一実施形態では、イメージング検出器１１４はフラットパネル検出器（例えば直接検出器またはシンチレータ検出器）とすることができる。このようにして、イメージング検出器１１４を使用して治療ビーム１０８を監視することができ、またはイメージング検出器１１４をポータルイメージングなどの患者の解剖学的構造をイメージングするために使用することができる。放射線治療装置１０２の制御回路は、システム１００内に統合されていてもよく、システム１００から離れていてもよく、図１Ａに示す画像処理装置１２により機能的に表されている。
［０６８］
例示的な例では、治療台１１６、治療用出力部１０４、またはガントリ１０６のうちの１つまたは複数を自動的に位置決めすることができ、治療用出力部１０４は特定の治療実施例の指定線量に従って治療ビーム１０８を確立することができる。一連の治療送達は、ガントリ１０６、治療台１１６、または治療出力１０４の１つまたは複数の異なる向きまたは位置を使用するような放射線療法治療計画に従って指定することができる。治療送達は連続して起こり得るが、アイソセンタ１１０のように、患者上または患者内の所望の治療場所で交差し得る。それにより、治療部位の近くの組織への損傷を低減または回避しながら、処方された累積線量の放射線療法を治療部位に送達することができる。
［０６９］
図１Ｃは、線形加速器と、コンピュータ断層撮影（ＣＴ）撮像システムのような撮像システムとを組み合わせることを含み得る例示的な放射線治療装置１０２を示す。ＣＴ撮像システムは、キロ電子ボルト（ｋｅＶ）エネルギー範囲のＸ線エネルギーを提供するような撮像Ｘ線源１１８を含むことができる。撮像用Ｘ線源１１８は、フラットパネル検出器などの撮像用検出器１２２に向けられる扇形および／または円錐形のビーム１２０を提供する。放射線治療システム１０２は、図１Ｂに関連して説明された、放射線治療出力１０４、ガントリ１０６、プラットフォーム１１６、および別のフラットパネル検出器１１４を含むようなシステム１０２と同様とすることができる。Ｘ線源１１８は、撮像のために比較的低エネルギーのＸ線診断ビームを供給することができる。
［０７０］
図１Ｃの例示的な例では、放射線治療出力部１０４およびＸ線源１１８は、互いに９０度回転方向に離れて同じ回転ガントリ１０６に取り付けることができる。別の例では、２つ以上のＸ線源をガントリ１０６の円周に沿って取り付けることができ、例えばそれぞれが独自の検出器配置を有して複数の角度の診断撮像を同時に提供することができる。同様に、複数の放射線治療出力１０４を提供することができる。
［０７１］
図１Ｄは、放射線治療装置と開示された実施形態と一致する核磁気共鳴（ＭＲ）撮像システム（例えば、ＭＲ−Ｌｉｎａｃとして当技術分野で知られている）のような撮像システムとの組み合わせることを含むことができる。図示するように、システム３００は、治療台２１０、画像取得装置１４０、および放射線送達装置１３０を含むことができる。システム３００は、放射線療法治療計画に従って患者に放射線療法を施す。いくつかの実施形態では、画像取得装置１４０は、第１のモダリティの原画像（例えば、図４Ａに示されたＭＲＩ画像）または第２のモダリティのデスティネーション画像（例えば、図４Ｂに示されたＣＴ画像）を取得する図１Ａにおける画像取得装置３２に対応している。
［０７２］
治療台２１０は、治療セッション中に患者（図示せず）を支持することができる。いくつかの実装形態では、治療台２１０が、治療台２１０上に横たわっている患者をシステム３００の内外に移動させることができるように、水平の並進軸（「Ｉ」とラベル付けされている）に沿って移動することができる。治療台２１０は、また、並進軸を横切る中心垂直回転軸を中心に回転してもよい。そのような移動または回転を可能にするために、治療台２１０は、治療台を様々な方向に動かし、様々な軸に沿って回転させることを可能にするモータ（図示せず）を有することができる。コントローラ（図示せず）は、適切に治療計画に従って患者を位置決めするために、これらの移動または回転を制御することができます。
［０７３］
いくつかの実施形態では、画像取得装置１４０は、治療セッションの前、最中、および／または後に患者の２Ｄまたは３ＤのＭＲＩ画像を取得するために使用されるＭＲＩ装置を含むことができる。画像取得装置１４０は、磁気共鳴撮像用の一次磁場を発生させるための磁石１４６を含むことができる。磁石１４６の動作によって発生した磁力線は、中心並進軸Ｉと実質的に平行に延びることができる。磁石１４６は、並進軸Ｉと平行に延びる軸を有する１つ以上のコイルを含むことができる。いくつかの実施形態では、磁石１４６内の１つまたは複数のコイルは、磁石１４６の中央窓１４７がコイルを含まないように離間されてもよい。他の実施形態では、磁石１４６内のコイルは、それらが放射線治療装置１３０によって生成された波長の放射線に対して実質的に透明であるように十分に薄いか、または密度が低くてもよい。画像取得装置１４０はまた、磁石１４６の外側の磁場を打ち消すかまたは減少させるために、ほぼ等しい大きさおよび反対の極性の磁石１４６の外側の磁場を生成することができる１つまたは複数の遮蔽コイルを含むことができる。以下に説明するように、放射線治療装置１３０の放射線源１３４は、磁界が少なくとも一次的に相殺される、または、低減される領域に配置することができる。
［０７４］
画像取得装置１４０は、また、２つの勾配磁場コイル１４８および１４９を含むことができ、これらは一次磁場に重ね合わされる勾配磁場を発生させることができる。勾配磁場コイル１４８および１４９は、プロトンの位置を決定することができるようにプロトンの空間符号化を可能にする勾配を合成磁場内に発生させることができる。勾配磁場コイル１４８および１４９は、磁石１４６と共通の中心軸の周りに配置されてもよく、その中心軸に沿って変位されてもよい。変位は、勾配磁場コイル１４８と１４９との間にギャップまたは窓を作り出すことがある。磁石１４６がコイル間に中央窓１４７も含む実施形態では、２つの窓は互いに整列していてもよい。
［０７５］
いくつかの実施形態では、画像取得装置１４０は、Ｘ線、ＣＴ、ＣＢＣＴ、スパイラルＣＴ、ＰＥＴ、ＳＰＥＣＴ、光断層撮影法、蛍光撮像、超音波撮像、放射線治療ポータル撮像装置などのようなＭＲＩ以外の撮像装置であってもよい。当業者によって認識されるように、画像取得装置１４０の上記説明は特定の実施形態に関するものであり、限定することを意図するものではない。
［０７６］
放射線治療装置１３０は、Ｘ線源または線形加速器などの放射線源１３４、およびマルチリーフコリメータ（ＭＬＣ）１３２（以下の図２に示す）を含むことができる。放射線治療装置１３０はシャーシ１３８上に取り付けることができる。治療台２１０が治療領域に挿入されると、１つまたは複数のシャーシモータ（図示せず）が治療台２１０の周りでシャーシ１３８を回転させることができる。一実施形態では、治療台２１０が治療領域に挿入されると、シャーシ１３８は治療台２１０の周りを連続的に回転可能であり得る。シャーシ１３８は、また、好ましくは放射線源１３４の反対側に配置され、シャーシ１３８の回転軸が放射線源１３４と検出器との間に配置された状態で取り付けられた放射線検出器（図示せず）を有してもよい。さらに、放射線治療システム３００は、例えば、治療台２１０、画像取得装置１４０、および放射線治療装置１３０のうちの１つまたは複数を制御するために使用される制御回路（図示せず）を含むことができる。放射線治療装置１３０の制御回路は、放射線治療システム３００内に一体化されていてもよく、またはそれから離れていてもよい。
［０７７］
放射線療法治療セッション中、患者は治療台２１０上に配置される。次いで、システム３００は、治療台２１０を磁気コイル１４６、１４８、１４９、およびシャーシ１３８によって画定された治療領域内に移動させる。次いで、制御回路は、放射線治療計画に従ってコイル１４８と１４９との間の窓を通して患者に放射線を送達するように放射線源１３４、ＭＬＣ１３２、およびシャーシモータを制御する。
［０７８］
図１Ｂ、図１Ｃ、図１Ｄは、放射線治療出力が中心軸（例えば、軸「Ａ」）を中心に回転させることができる構成を含む、患者への放射線治療を提供するように構成された放射線治療装置の例を示す。他の放射線治療出力構成を使用することができる。例えば、放射線治療出力は、多自由度を有するロボットアームまたはマニピュレータに取り付けることができる。さらに別の例では、治療出力は、患者から横方向に離れた領域に位置するように固定することができ、患者を支持するプラットフォームを使用して放射線治療アイソセンタを患者内の特定の標的部位と位置合わせすることができる。
［０７９］
上述したように、図１Ｂ、図１Ｃ、図１Ｄにより説明された放射線治療装置は、患者内の特定の標的部位への放射線療法ビームの強度を整形、方向付け、または変調するためのマルチリーフコリメータを含む。図２は、腫瘍１４０の断面または投影に近似する開口を画定するように自動的に位置決めすることができるリーフ１３２Ａから１３２Ｊを含む例示的なマルチリーフコリメータ（ＭＬＣ）１３２を示す。リーフ１３２Ａから１３２Ｊは放射線治療ビームの変調を可能にする。リーフ１３２Ａから１３２Ｊは、放射線治療計画に従って、開口部以外の領域で放射線ビームを減衰または遮断するように指定された材料で作ることができる。例えば、リーフ１３２Ａから１３２Ｊは、板の長軸が（図１Ｂの平面図に示すような）ビーム方向と平行に向けられ、端部がビーム方向と直角に向けられた、例えば、タングステンを含む金属板を含むことができる。ＭＬＣ１３２の「状態」は、腫瘍１４０または他の標的部位の形状または位置により良く近似する治療ビームを確立するように、放射線療法治療の過程中に適応的に調整することができる。これは、静的コリメータ構成を使用することと、または「オフライン」治療計画技法を使用して排他的に決定されたＭＬＣ１３２の構成を使用することとを比較することである。腫瘍または腫瘍内の特定の領域への特定の放射線量分布を生成するためにＭＬＣ１３２を使用する放射線療法技術は、強度変調放射線療法（ＩＭＲＴ）と呼ぶことができる。
［０８０］
図３は、本開示のいくつかの実施形態による、別の種類の放射線治療装置１３０（例えば、Leksell Gamma Knife（登録商標））の例を示す。図３に示すように、放射線療法治療セッションにおいて、患者２０２は、手術または放射線療法を受けている患者の身体部分（例えば、頭部）を安定に保つために、座標枠２２０を着用することができる。座標フレーム２２０および患者位置決めシステム２２２は空間座標系を確立することができ、それは患者を撮像している間または放射線手術中に使用することができる。放射線治療装置１３０は、複数の放射線源２１２を封入するための保護ハウジング２１４を含むことができる。放射源２１２は、ビームチャネル２１６を介して複数の放射ビーム（例えばビームレット）を生成することができる。複数の放射ビームは、異なる方向からアイソセンタ２１８に集束するように構成することができる。個々の放射線ビームは比較的低い強度を有するが、異なる放射線ビームからの複数の線量がアイソセンタ２１８に蓄積すると、アイソセンタ２１８は比較的高いレベルの放射線を受け取ることができる。特定の実施形態では、アイソセンタ２１８は、腫瘍のような、外科手術または治療中の標的に対応することができる。
［０８１］
図４Ａおよび図４Ｂは、どの画像取得装置３２が利用されているかに基づいて、異なる画像診断様式を使用して取得された例示的な画像間の違いを示す。例えば、異なる画像様式は患者組織を異なるように特徴付ける。結果として、異なる撮像モダリティを使用して同じ基礎となる対象から取得された画像は、画像特性において互いに類似しないことが多い。例えば、図４Ａは、画像を取得するためにＭＲＩ装置を使用して取得された患者の頭部の二次元（２Ｄ画像を示し、図４Ｂは、ＣＴ装置を使用して取得された同じ対象物の対応する２Ｄ画像を示す。図４Ａおよび図４Ｂに示すように、２つの画像は同じ対象を表し、それらは顕著に異なる画像特性を提示する。例えば、図４Ａにおいて、頭蓋骨および硝子体は、ＭＲＩ画像によって示されるように、ほぼ同一の強度値を有する。しかしながら、これに対し、図４Ｂは、ＣＴ画像によって示される頭蓋骨の明るさ（例えば、白い輪郭）により示されるように、頭蓋骨および硝子体について非常に異なる強度値を示す。したがって、ＭＲＩ画像とＣＴ画像の強度値は大きく異なる可能性がある。
［０８２］
開示されるシステムおよび方法は、第１のモダリティを使用して取得された原画像（例えば、図４Ａに示すようなＭＲＩ画像）から合成画像（例えば、疑似ＣＴ画像）を生成し、第２のモダリティを使用して取得されたデスティネーション画像（例えば、図４Ｂに示すようなＣＴ画像）に似せることに関する。
［０８３］
参照する図４Ｃは、３つの異なる面からの患者の頭部のＭＲ及びＣＴ画像を比較し、エラーマップを提供する。例えば、図４Ｃの最上行は、３つの異なる解剖学的平面からＭＲＩを使用して取得された３つの原画像を示す。第２行は、開示された画像変換システムおよび方法を使用して、最上行に示されたＭＲＩ画像に基づいて生成された合成ＣＴ画像を示す。第３行は、ＣＴを使用して取得した同じ対象物の３つの平面画像を示す。第４行は、合成ＣＴ画像（第２行）と、取得したＣＴ画像（第３行）との間の差を表すエラーマップを示す。第４行に示されるように、合成ＣＴ画像は、頭部領域のほとんどの部分について、取得されたＣＴ画像内のＣＴ値によく似たピクセル値を提供する。図４の例では、エラーマップは、エラー（例えば、合成ＣＴ画像内の対応するボクセルと対応する実ＣＴ画像との間の強度の差）が最小限（例えば、典型的なＣＴ画像のノイズレベル内）であり、特に骨と空気の境界の周りの異なる組織タイプ間の境界面に限定されることを示している。
［０８４］
図５は、開示されている実施形態と一致する例示的な画像変換システム４００を示す。いくつかの実施形態では、画像変換システム４００は、画像取得装置１４０、画像データベース４２０、画像変換ユニット４４０、トレーニング画像４１２を格納するトレーニングデータベース４１０、トレーニングユニット４３０、およびネットワーク４６０を含む。イメージング変換システム４００は、２つの機能：（ａ）トレーニング画像４１２を使用して予測モデルをトレーニングするトレーニングユニット４３０を提供すること；（ｂ）合成画像を生成するためにトレーニングされた予測モデルを使用するように構成された画像変換ユニット４４０を提供すること、を実行することができる。一例では、画像取得装置１４０は、図１Ａに示すように画像取得装置３２に対応する。
［０８５］
開示されたシステムおよび方法は合成画像を生成するために予測モデルを使用する。上記の開示では、本明細書で使用される「合成画像」という用語は、一般に、あるモダリティで取得された画像（例えば、ＣＴ画像）を表すかまたはそれに類似する任意のコンピュータ生成画像データを指し示す一方、異なるモダリティを使用して撮像装置から取得された実際の画像データ（例えば、ＭＲＩ画像）を指し示す。以下に説明されるように、そのような合成画像は、第１のモダリティ（例えば、ＭＲＩ）を用いて取得された原画像から第２のモダリティ（例えば、ＣＴ）を用いて生成された画像に類似するように変換される。予測モデルは、組織分類、アトラスへの位置合わせ、または手作業で作成された特徴を必要とするモデルベースの方法を必要とせずに、画像の自動変換を可能とする利点がある。
［０８６］
いくつかの実施形態では、開示されているシステム、方法、デバイス、およびプロセスは、ＭＲＩ画像のような別のモダリティを使用して取得された画像からの合成ＣＴ画像の生成に関する。いくつかの態様では、予測モデルは、畳み込みニューラルネットワーク（ＣＮＮ）またはディープニューラルネットワークのタイプなどのニューラルネットワーク、および当技術分野で知られている他のタイプの人工知能であり得る。したがって、合成画像生成は２つのステージを含む。第１のステージでは、予測モデルは、トレーニング用ＭＲＩ画像およびそれらの対応する実際のＣＴ画像を含むトレーニング用データを使用して生成される（「トレーニングされる」または「学習される」としても知られている）。トレーニング処理は、予測モデルのパラメータまたは重み付けを学習するためにトレーニングデータを自動的に使用することができる。これらのパラメータまたは重み付けは、最適性基準に従って繰り返し学習することができる。第２のステージでは、合成ＣＴ画像（例えば、擬似ＣＴ画像とも呼ばれる）が予測モデルを使用してＭＲＩ画像から生成される。
［０８７］
「原画像」は、核磁気共鳴画像法（ＭＲＩ）などの第１の撮像モダリティを使用して取得された画像を指す。「デスティネーション画像」は、コンピュータ断層撮影（ＣＴ）などの、第１のモダリティとは異なる第２のモダリティを使用して取得された画像を指す。
［０８８］
上述のように、「合成画像」は、１つまたは複数の「原画像」から生成された「デスティネーション画像」に似た画像を指す。いくつかの実施形態では、合成画像は擬似ＣＴ画像と呼ばれる。すなわち、合成画像はデスティネーション画像の特性を有する。例えば、１つまたは複数のＭＲＩ画像（「原画像」）から生成された合成ＣＴ画像（「合成画像」）は、ＣＴスキャナによって取得される実際のＣＴ画像（「デスティネーション画像」）の特徴を有する。本開示全体を通して、原画像がＭＲＩ画像であり、デスティネーション画像がＣＴ画像であるとして、実施例が説明される。しかし、これは限定ではない。あるいは、例えば、原画像をＣＴ画像とし、デスティネーション画像をＭＲＩ画像とすることができる。１つまたは複数のＭＲＩ画像から合成ＣＴ画像を生成することができる実施例では、典型的なＣＴ撮像処理のように患者を電離放射線にさらすことなく、合成ＣＴ画像を放射線療法計画処理で使用することができる。
［０８９］
本明細書で使用されるとき、２つの画像の間の差が所定の閾値基準より小さいとき、画像は他の画像に「似ている」とされる。一実施例では、合成ＣＴ画像は、２つの画像間のボクセル毎の強度の差が２０ハウンズフィールド単位未満であり、いくつかの実施例では、平均で１００ハウンズフィールド単位未満である場合、対応するＣＴ画像に「似ている」ということができる。例えば、この差は、２つの画像間のピクセル値の差を示すエラーマップとして決定される。この差は、２つの画像に基づいて計算された平均絶対誤差または平均二乗誤差などの損失関数によって測定することができる。しかしながら、本開示による合成画像（例えば、擬似ＣＴ画像）は、他の種類の画像閾値基準を使用してデスティネーション画像に似ていることが示される。さらに、本開示によるシステムおよび方法は、デスティネーション画像が原画像に類似するために必ずしもそのような所定のしきい値基準を適用する必要はない。言い換えれば、そして以下に説明されるように、本開示によるシステムおよび方法は、そのような所定の閾値基準を使用して、原画像とデスティネーション画像との間のある程度の類似性を潜在的に検証することができる。本開示によるシステムおよび方法は、所定の閾値基準を満たす合成画像（例えば、擬似ＣＴ画像を含む）を生成することができる。
［０９０］
トレーニングユニット４３０が予測モデルをトレーニングするために、トレーニング画像を利用することができる。開示された実施形態によれば、トレーニングデータベース４１０は、１組以上のトレーニング画像４１２を格納するように構成されてもよい。トレーニング画像の各セットは、第１の撮像モダリティを使用して取得された１つまたは複数の原画像（「原画像」）と、第２の撮像モダリティで取得された対応するデスティネーション画像（「デスティネーション画像ｓ」）とを含む。１つまたは複数の原画像と対応するデスティネーション画像は、同じ対象物について取得され、この対象物の対応するビュー（例えば、実質的に同じ向きであるが異なるタイプの撮像モダリティを使用して撮影された同じ解剖学的部分の画像）を含み得る。以下に説明するように、原画像とデスティネーション画像は、２Ｄ画像または３Ｄ画像のいずれかでもよい。いくつかの実施形態において、データベース４１０は、患者に対する腫瘍治療計画を管理する腫瘍学情報システムの一部である。いくつかの態様では、データベース４１０は、以前に１つまたは複数の放射線治療セッション中に画像取得装置１４０により取得された画像を有する画像のデータベースからこれらの画像のセットを受信することができる。
［０９１］
画像データベース４２０は、第１の撮像モダリティを使用して取得された画像を格納することができる。いくつかの実施形態において、画像取得装置１４０は、画像データベース４２０に格納されている画像を取得する。画像データベース４２０に格納されている画像は、また、１つまたは複数の放射線療法治療セッション中に取得された画像に対応することができる。以下に説明されるように、画像は２Ｄ画像および／または３Ｄ画像であり得る。
［０９２］
いくつかの態様では、画像変換システム４００はトレーニングステージを実行するように構成される。いくつかの実施形態では、訓練ユニット４３０は、訓練データベース４１０からの訓練データを使用して予測モデルを訓練するように構成されている。トレーニングユニット４３０は、当業者によって認識されるように、ハードウェアおよび／またはソフトウェアで実施される。トレーニングステージ中、トレーニングユニット４３０は、トレーニングデータベース４１０から受信したトレーニング原画像に基づいて推定合成画像を生成するように構成されている。トレーニングユニット４３０は、また、推定合成画像をトレーニングデスティネーション画像（例えばＣＴ画像）と比較することによってエラーマップを生成し、次いで合成画像と実際のＣＴ画像との間の差を識別する生成されたエラーマップに基づいて予測モデルのパラメータを調整することができる。トレーニングユニット４３０は、特定の停止基準が満たされるまで予測モデルのトレーニングを続けるように構成される（モデル予測と実際のＣＴ画像との間の誤差をチェックし、トレーニングの反復回数に基づいて、または、モデル誤差が閾値よりも小さい場合には、トレーニングすることもできる）。一実施例では、停止反復基準は、トレーニング反復の数がしきい値を超えたときに満たすことができる（例えば、１００を超えるトレーニングエポックがあった場合、ニューラルネットワークトレーニングでは、１エポックは、すべてのトレーニングデータを一度に通過するための反復の数に等しくなる）。一実施例では、２つの画像間のボクセル毎の強度差が閾値（例えば、２０ハウンズフィールド単位）未満である場合、停止基準を満たすことができる。トレーニングユニット４３０は、トレーニングされた予測モデルを保存してもよく、これは後で画像変換ユニット４４０によって使用されてもよい。
［０９３］
別の態様では、画像変換システム４００は変換ステージを実行するように構成することもできる。変換ステージの間、画像変換ユニット４４０は、トレーニングユニット４３０からトレーニング済み予測モデルを受け取るように構成される。いくつかの実施形態では、画像変換部４４０は、画像データベースから受信した原画像４２２から合成画像を生成するように構成される。画像変換部４４０は、当業者により認識されるように、ハードウェアおよび／またはソフトウェアで実現することができる。画像変換部４４０は、トレーニングされた予測モデルと受信した原画像４２２とを用いて合成画像を生成するように構成することができる。
［０９４］
いくつかの実施形態において、画像変換システム４００は、ユーザインターフェース（例えば、タブレット、ｉＰａｄ（登録商標）、モバイル機器などをも含み得るコンピュータを備えたグラフィカルユーザインターフェース）によってアクセスされるべき合成画像を表示し、治療計画でさらに使用するために合成画像を画像データベース４２０に格納し、合成画像を治療計画ソフトウェア１１５に提供するように構成することができる。さらなる例として、画像変換システム４００は、原画像および合成画像をトレーニングデータベース４１０に格納するように構成されてもよい。そのような記憶された画像はトレーニング画像４１２の一部になり得る。様々な態様では、原画像および合成画像の格納は、自動、半自動、または手動であり得る。画像変換ユニット４４０は、当業者によって認識されるように、ハードウェアおよび／またはソフトウェアで実現され得る。
［０９５］
図１に関連して説明したように、画像取得装置１４０は、（上述したように）ＭＲＩ、機能的ＭＲＩ（例えば、ｆＭＲＩ、ＤＣＥ−ＭＲＩ、拡散ＭＲＩ）、ＣＴ、ＣＢＣＴ、スパイラルＣＴ、ＰＥＴ、ＳＰＥＣＴ、Ｘ線、光断層撮影、蛍光イメージング、超音波イメージング、放射線療法ポータルイメージング、などを含む、１つまたは複数の撮像モダリティを用いて画像を取得するように構成されている。いくつかの実施形態では、画像取得装置１４０は、トレーニングデータベース４１０、画像データベース４２０、トレーニングユニット４３０、画像変換ユニット４４０に取得された画像を提供する。
［０９６］
ネットワーク４６０は、図４の構成要素間の通信を提供するように構成される。例えば、ネットワーク４６０は、通信を提供し、情報を交換し、および／または１つまたは複数の装置間の電子情報の交換を容易にする、任意の種類の（インフラストラクチャを含む）ネットワークとすることができる。これに関して、ネットワーク４６０は、有線接続（例えば、ＬＡＮまたは他の有線接続）、無線接続（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ、ＮＦＣ、ＷｉＭＡＸ、ＬＥＴなど）、コンピュータバス、直列接続、並列接続、イーサネット（登録商標）接続、ローカルエリアネットワークまたはワイドエリアネットワーク、インターネット接続、衛星接続、またはクラウドコンピューティングサービスへの接続、または、画像変換システム４００の構成要素が任意のフォーマットで任意の通信プロトコルの下で互いに情報を送受信することを可能とする、それら接続の任意の組み合わせを含むことができる。
［０９７］
図４は画像変換システム４００の例示的構成のみを示すと考えられる。いくつかの実施形態では、追加の構成要素を追加することができ、および／または図示の構成要素を組み合わせ、分割し、修正し、または除去することができる。例えば、トレーニングステージは前もって実行されてもよく、他のシステムによって別々に実行されてもよい。したがって、画像変換システム４００は、トレーニングデータベース４１０またはトレーニングユニット４３０を含まなくてもよい。さらに、いくつかの態様では、画像変換システム４００の少なくとも１つの構成要素は、残りの構成要素から地理的に離れたところに配置されることができ、ネットワーク４６０を介して残りの構成要素と通信することができる。例えば、トレーニングユニット４３０およびトレーニングデータベース４１０を含むトレーニングステージを研究開発部門に配置することができ、一方、画像変換ユニットおよび原画像を含む変換ステージを放射線治療クリニック内に配置することができる。
［０９８］
さらに他の実施形態では、画像変換システム４００の２つ以上の構成要素を単一の場所（例えば放射線治療室）に設置することができる。また、図４では画像変換システム４００の様々な構成要素を別々のものとして示しているが、画像変換システム４００はこれらの構成要素のうちのいくつかを単一の装置に実装することができる。例えば、データベース４１０およびトレーニングユニット４３０は、タブレット、ラップトップ、デスクトップ、ワークステーション、サーバ、または専用の画像変換装置などの単一の装置内に実装することができる。同様に、トレーニングユニット４３０および画像変換ユニット４４０は単一の装置内に実装することができる。
［０９９］
図６は、例示的な画像の前処理プロセス６００を示す。プロセス６００では、トレーニングステージの一部として、またはトレーニングステージによって行われる処理の前に、トレーニングユニット４３０によって実行され得る。プロセス６００の特定の態様（例えば、原画像６０１を受信すること）は、また、変換ステージの一部としてまたはその前に、画像変換ユニット４４０によって実行され得る。ステップ６１０では、画像変換システム４００は、第１の撮像モダリティを使用して取得された患者の原画像４２２を受け取る。開示された実施形態によれば、原画像４２２は画像取得装置１４０から受信してもよく、あるいは、画像変換システム４００がトレーニングデータベース４１０からトレーニング画像４１２を受信してもよい。そして、画像変換システムは、正規化されるべき原画像を提供する。
［０１００］
ステップ６０３では、トレーニングユニット４３０は原画像４２２を正規化する。この正規化処理は、予測モデルに提供される入力画像データを標準化することによって画像変換システム４００の精度を向上させることができる。ステップ６０３では、トレーニングユニット４３０は、原画像４２２に対して様々な処理機能を実行して、標準化された整列、解像度、および／または強度値分布を有する正規化原画像を生成する。例えば、トレーニングユニット４３０は、画像内の対象物の向きを調整するように、取得された原画像４２２を標準ＣＴ画像と位置合わせすることができる。トレーニングユニット４３０は、また、正規化された原画像が基準解像度および／または基準視野を有するように原画像４２２をリサンプリングすることができる。例えば、原画像は、補間法を用いてアップサンプリングされてもよく、または平均化法または最大プーリング法を用いてダウンサンプリングされてもよい。一例では、対応するデスティネーション画像と同じ空間解像度を有する原画像を提供するなどのために、原画像をアップサンプリングまたはダウンサンプリングする。
［０１０１］
さらに、トレーニングユニット４３０は、標準化された強度値分布によりよく近似するように原画像４２２の強度値分布を補正することができる。例えば、原画像４２２がＭＲＩ画像（例えば、例示的画像６１１）である場合、トレーニングユニット４３０は、当技術分野で知られているＮ３バイアス場補正アルゴリズムを使用して原画像の強度の不均一性を補正することができる。当技術分野で知られているように、ジョイントヒストグラム登録、ランドマークまたはヒストグラムマッチング、または動的ヒストグラムワーピングのような他の補正アルゴリズムを適用することができる。ステップ６０３の最後で、正規化された原画像が作成されてステップ６０５に提供される。
［０１０２］
ステップ６０５では、トレーニングユニット２３０は、正規化された原画像からバイナリマスク（例えば、例示的画像６１５）を生成することができる。トレーニングユニット４３０は、正規化された原画像４２２の望ましくない部分（例えば、定位頭部フレームに対応する部分）を除去するためにバイナリマスクを使用するように構成することができる。トレーニングユニット４３０は、しきい値処理および空間フィルタリングを正規化された原画像に適用することによってバイナリマスクを生成することができる。トレーニングユニット４３０は、当業者に知られている方法に従って、原画像４２２の画像強度値のヒストグラムに基づいて閾値を自動的に決定することができる。例えば、トレーニングユニット４３０は、正規化された原画像の各強度値に適用または比較するための閾値を決定することができる。トレーニングユニット４３０は、正規化された原画像の各強度値を閾値と比較することができる。所定の閾値は、デフォルトの強度値であり得る。この比較を通して、トレーニングユニット４３０は、論理「１」または「０」の強度値を有するバイナリマスク画像を生成することができる。バイナリマスク画像内の強度値は、元の原画像の対応する強度値が閾値を満たすか超えるかに依存する。いくつかの実装形態では、トレーニングユニット４３０はまた、最終的なバイナリマスクを生成するために、既知の形態学的操作を使用してこの結果として生じるバイナリマスク画像を空間的にフィルタリングすることができる。
［０１０３］
トレーニング部４３０は、次に、原画像内の定位頭部フレームを除去するために生成されたバイナリマスクを使用することができる。例えば、バイナリマスク内の原画像の部分は、それらの元の強度値を維持することができる。バイナリマスクの外側のデスティネーション画像の他の部分は、その後、所定の強度値に設定することができる。
［０１０４］
ステップ６０７では、トレーニングユニット４３０は、他の撮像モダリティ（例えば、ＣＴ画像６１７）を使用して取得された同じ対象物のデスティネーション画像４１２を受信する。デスティネーション画像４１２は、トレーニングデータベース４１０から受け取ることができる。このデスティネーション画像４１２は、原画像６１に示されている対象物に対応することができる。例えば、原画像６１は、患者の解剖学的構造の特定の部分のＭＲＩ画像であり、デスティネーション画像４１２は、同じ解剖学的部分の対応するＣＴ画像である。トレーニングユニット４３０は、画像取得装置１４０またはトレーニングデータベース４１０からデスティネーション画像４１２を受け取ることができる。例えば、デスティネーション画像４１２がＣＴ画像である場合、デスティネーション画像４１２は、定位頭部フレームの部分（例えば、頭部フレームに対応する画像要素６１８Ａおよび画像要素６１８Ｂ）を含んでいてもよい。通常、定位頭部フレームは、対応するＭＲＩ画像（例えば、原画像６１１）には示されていない。
［０１０５］
ステップ６０９では、トレーニングユニット４３０はデスティネーション画像４１２を正規化する。原画像６１の正規化は上述されており、このステップ６０９では、デスティネーション画像の正規化が画像変換システム４００の精度を向上させる。デスティネーション画像の正規化は、後述する図７Ｄに示すように、予測モデル、例えば、ニューラルネットワーク７００をトレーニングするために提供された入力データを標準化することによって実行される。トレーニングユニット４３０は、標準化された整列、解像度、および／または強度値分布を有する正規化されたデスティネーション画像を生成するためにデスティネーション画像に対して様々な処理機能を実行することができる。
［０１０６］
いくつかの態様では、画像レジストレーションまたは画像位置合わせ処理が実行され、トレーニング画像の各ペアについてデスティネーション画像が原画像と位置合わせされる。デスティネーション画像および原画像は、異なる画像装置または異なる走査時間で取得され、それらは空間的に位置合わせされていなくてもよいので、この処理が必要とされる。
［０１０７］
いくつかの態様では、デスティネーション画像はバイナリマスクを使用してセグメント化してもよい。例えば、バイナリマスクは、患者に関連する画像部分に対応させることができる。バイナリマスクの外側のデスティネーション画像の他の部分は、その後、所定の強度値に設定される。所定の値は、デフォルトの強度値であり得る。例えば、デスティネーション画像がＣＴ画像であるとき、部分は、−１０００のハウンズフィールドスケール値に設定される。このように、バイナリマスクを使用することによって、例えば定位頭部フレームを示すＣＴ画像の部分は、頭部フレーム部分がバイナリマスクの外側にあるため、全体的にまたは部分的（例えば、画像６１９）に除去または縮小される。
［０１０８］
しかしながら、画像変換システム４００は、オプションのステップとして処理６００を含むことができる。いくつかの実施形態では、画像変換システム４００は、処理６００のすべての面を利用しない。例えば、画像変換システム４００は、取得画像を直接使用して予測モデルをトレーニングする。例えば、画像が頭部フレームのような画像特徴を含まない場合、処理６００は利用されないこともある。開示された方法は、前処理なしに予測モデルをトレーニング画像に適応するようにトレーニングすることができる。例えば、画像変換システム４００は、処理６００に含まれる機能を使用することによって、前処理されなかったトレーニング原画像およびトレーニングデスティネーション画像についてトレーニングされた予測モデルを使用して、高品質合成画像を生成することができる。
［０１０９］
前処理の有無にかかわらず、トレーニングユニット４３０は、予測モデルをトレーニングするためにトレーニング画像（トレーニング原画像およびトレーニングデスティネーション画像を含む）を使用することができる。具体的には、予測モデルは、既知のタイプの教師付き機械学習である畳み込みニューラルネットワーク（ＣＮＮ）である。畳み込みニューラルネットワークは、入力を出力に変換する別個の層のスタックを含み得る。層は、入力サイズ、出力サイズ、および層の入力と出力の関係が異なる場合がある。各層は、層のスタック内の１つまたは複数の上流層および下流層に接続される。したがって、畳み込みニューラルネットワークの性能は層の数に依存し、畳み込みニューラルネットワークの複雑さは、層の数が増えるにつれて増大する。畳み込みニューラルネットワークは、それが１より多いステージの非線形特徴変換を有する場合、これは通常、ネットワーク内の層の数がある数を超えることを意味し、「深い（ｄｅｅｐ）」と見做される例えば、いくつかの畳み込みニューラルネットワークは、約１０−３０層、またはある場合には数百層を超える層を含み得る。畳み込みニューラルネットワークモデルの実施例には、ＡｌｅｘＮｅｔ、ＶＧＧＮｅｔ、ＧｏｏｇＬｅＮｅｔ、ＲｅｓＮｅｔなどがある。これらの畳み込みニューラルネットワークモデルは、画像認識タスク用に設計されており、開示された実施形態におけるフル畳み込みニューラルネットワークモデルの符号化部分で使用することができる。
［０１１０］
図７Ａ−７Ｅは、例示的な畳み込みニューラルネットワークモデルの構造と様々な構成要素を示す。とりわけ、畳み込みニューラルネットワークは、通常、複数の畳み込み層、逆畳み込み層、プーリング層（例えば、ダウンサンプリング層）、およびアンプーリング層（例えば、アップサンプリング層）を含むことができる。図７Ａは、畳み込みニューラルネットワークの例示的な畳み込み層の動作を示す。そのような畳み込み層は、１組の学習可能なフィルタ関数を用いて畳み込み層への入力の２次元または３次元の畳み込みを実行するように構成されている。学習可能なフィルタ関数は、各重みが畳み込み演算中に画像ピクセルに適用されることになる重みＷの行列、およびオフセット値ｂによって定義することができる。重み行列Ｗとオフセットｂは、トレーニングステージで学習する必要があるモデルパラメータの１つである。畳み込み層は、これらの畳み込みの結果に活性化関数をさらに適用するように構成されてもよい。活性化関数の非限定的な例としては、整流された線形単位関数、シグモイド関数、双曲線正接関数、または同様の非線形関数が挙げられる。フィルタ関数の組み合わせと活性化関数は次のように表現される。
［０１１１］
Figure 0006960509
［０１１２］
式１は２つの部分：学習可能なフィルタ関数Ｗ＊Ｘ＋ｂと、活性化関数ｍａｘ（０，・）とで構成されている。いくつかの実施形態において、Ｘは、二次元（例えば、画像）または三次元（例えば、画像のスタック）である。活性化関数ｍａｘ（０，・）をこの学習可能なフィルタ関数の出力に適用して出力ｈを生成する。この出力すなわち特徴マップは、入力内の特徴の重要性を示している。活性化関数ｍａｘ（０，・）は、畳み込み演算の負の値をゼロにすることによって活性化フィルタとして作用し得る整流された線形単位関数である。いくつかの実施形態では、ゼロパディングを使用して、ｈの空間サイズがＸの空間サイズと同じであること確認する。非限定的な例として、Ｘが１０２４×１０２４のとき、ゼロパディングを使用して、ｈの空間サイズも１０２４×１０２４でもあること確認する。ｎｘｎフィルタ関数を使用するとき、Ｘがフィルタで畳み込まれる前に、ゼロのｎ−１行（または列）を行列Ｘのマージンに追加する。非限定的な例として、学習可能なフィルタ機能は３×３フィルタであり、その場合、２行２列のゼロをＸに追加する。例えば、ゼロの行と列をＸの各余白に追加する。
［０１１３］
説明のために、図７Ａは、畳み込み層における二次元入力特徴マップへ学習可能フィルタ機能および活性化機能を適用することを示す。この例示的な３ｘ３フィルタ関数（重み行列７１１ａおよびオフセット値７１１ｂを含む）と活性化機能は、例示的な４×４入力特徴マップ７１３ａに適用されて、４ｘ４出力特徴マップ７１３ｃを生成する。入力特徴マップ７１３ａは、ゼロパディング７１５によって示されるように、まず２行２列のゼロでパディングされる。ここで、１列（または１行）のゼロが入力特徴マップ７１３ａの各マージンに追加される。しかし、当業者によって理解されるように、ゼロパディングの量は、重み付け行列７１１ａのサイズと、ゼロパディングの特定の量および配置に依存するが、このことは限定的であることを意図しない。ゼロパディングの後、入力特徴マップ７１３ａは、６ｘ６となり、そのｎ番目の行、ｍ番目の列において値ｘｎ、ｍを有する（ｎ、ｍ＝１、２、．．．６）。重み行列７１１ａは、合計９個の重み付け、例えば、フィルタ行列のｊ行ｋ列の重みに対するｗｊ，ｋを含む。図示の例では、オフセット値７１１ｂは単一のオフセット値である。予測モデルは、重み付けマトリックス７１１ａをゼロパディングされた入力特徴マップ７１３ａで畳み込むように構成され、その結果は中間マップ７１３ｂとして示されている。畳み込みを実行するために、それぞれの位置で、重み行列７１１ａは、ゼロパディングされた入力特徴マップ７１３ａの３ｘ３の部分と重複している。例えば、図７Ａに示すように、重み付け行列７１１ａは、ｘ３，５を中心とする３×３部分と重なる（畳み込み入力７１９ａ）。入力特徴マップ７１３ａのそれぞれのピクセル値は、それらと重なり合うそれぞれの重み付けで乗算され、乗算結果は中間マップ７１３ｂにおいて値ｈ２，４を導出するために合計される。（畳み込み出力７１９ｂ）。畳み込み層は、中間マップ７１３ｂの各要素をオフセット値７１１ｂと合計し、各結果の和に活性化関数ｍａｘ（０，・）を適用することにより、出力特徴マップ７１３ｃを生成する。例えば、図７Ａに示すように、オフセット値７１１ｂと値ｈ２，４の合計がゼロより小さいとき。起動関数出力７１９ｃはそれをゼロに調整する。出力特徴マップ７１３ｃの他の値は、学習可能なフィルタスライドとして計算され、入力特徴マップ７１３ａの異なる部分と重なる。
［０１１４］
同様に、畳み込み層は、畳み込み層における三次元入力特徴マップに学習可能フィルタ関数と活性化関数を適用する。ここで、重み付け行列は三次元である。二次元の場合と同様に、予測モデルは、重み付け行列をゼロパディングされた入力特徴マップで畳み込み、中間のマップを生成するように構成される。しかし、三次元の場合には、重み付け行列は、各位置で、ゼロパディングされた入力特徴の容積と重なり合う。例えば、入力特徴マップが２つの画像のスタックを含む場合、重み付け行列は３×３×３であり、畳み込み演算時にゼロパディングされた入力特徴マップの３×３×３の容積と重なり合う。二次元の場合と同様に、入力特徴マップのそれぞれのピクセル値は、それらと重なり合うそれぞれの重み付けで乗算され、乗算結果は、三次元中間マップにおける対応する値を導出するために合計される。この対応する値は、オフセット値と合計され、活性化関数が結果に適用されて三次元出力特徴マップを生成する。
［０１１５］
畳み込みニューラルネットワークは、１つまたは複数の畳み込み層を含む畳み込み層のスタックを含むことができる。いくつかの実施形態では、これらのスタックは、２層から５層の畳み込み層を含み得る。さらに、畳み込み層の異なるスタックは、異なる数の畳み込み層を含むことができる。図７Ｂは、畳み込み層の例示的なスタックである、畳み込み層７２０の動作を示す。畳み込み層７２０は、特徴マップ７２１ａを受信し、特徴マップ７２１ｃを出力するように構成さている。畳み込み層７２０は、特徴マップ７２１ａを用いて特徴マップ７２１ｂを生成するように構成された畳み込み層７２３ａと、特徴マップ７２１ｂを用いて特徴マップ７２１ｃを生成するように構成された畳み込み層７２３ｂとを含む。特徴マップ７２１ａ、特徴マップ７２１ｂ、特徴マップ７２１ｃのそれぞれにおける特徴マップの数は予め定められていてもよい。
［０１１６］
いくつかの実施形態では、特徴マップ７２１ａは、対象物の１つまたは複数の原画像を含み得る。例えば、特徴マップ７２１ａは、Ｔ１強調ＭＲＩ画像、Ｔ２強調ＭＲＩ画像、造影剤を用いて生成されたＭＲＩ画像を含み得る。追加の例として、特徴マップ７２１ａは、対象物の２Ｄ画像のスタック内に異なるスライスを含み得る。これらのスライスは隣接していてもよい。様々な実施形態において、特徴マップ７２１ａは、予測モデルの他の構成要素によって生成された１つまたは複数の特徴マップのスタックを含み得る。例えば、特徴マップ７２１ａは、予測モデルの前の畳み込み層によって生成された６４個の特徴マップのスタックを含み得る。
［０１１７］
特徴マップ７２１ｂは、畳み込み層７２３ａによって生成された特徴マップを含み得る。いくつかの実施形態では、畳み込み層７２３ａは、式１に従ってこれらの特徴マップを生成することができる。例えば、畳み込み層７２３ａは、学習可能なフィルタ機能および活性化機能を適用して、特徴マップ７２１ｂ内の各特徴マップを生成することができる。各学習可能フィルタ関数は、重み行列およびオフセット値によって記述される。重み行列およびオフセットの値は学習可能フィルタのパラメータであり、これは畳み込みニューラルネットワークモデルのトレーニングステージにおけるデータから学習することができる。重み行列内のパラメータの数は、学習可能フィルタ関数の空間サイズおよび特徴マップ７２１ａ内の特徴マップの数に依存する。例えば、入力特徴マップ７２１ａが１個の特徴マップを含み、フィルタ関数の空間サイズがｍ×ｎである場合、重み行列はｍ×ｎ×１個のパラメータを含む。出力特徴マップ７２１ｂがｋ個の特徴マップを含む場合、ｋ個の学習可能なフィルタ機能を使用することができ、したがって、畳み込み層７２３ａ内のパラメータの総数はｋ×（ｍ×ｎ×ｌ＋１）となる。図７Ｂに示すように、特徴マップ７２１ｂおよび特徴マップ７２１ａ内の特徴マップは同じ空間サイズである。様々な実施形態において、特徴マップ７２１ａおよび特徴マップ７２１ｂ内の特徴マップの数は異なり得る。例えば、特徴マップ７２１ａは３つの特徴マップを含み、一方、特徴マップ７２１ｂはそれより多いまたは少ない特徴マップを含む。
［０１１８］
特徴マップ７２１ｂは次の畳み込み層７２３ｂへの入力として提供され、それは特徴マップ７２１ｃを生成する。畳み込み層７２３ａと同様に、畳み込み層７２３ｂは、式１に従ってこれらの特徴マップを生成し、１つまたは複数の学習可能なフィルタ機能および起動機能を適用することを含む。再び、特徴マップ７２１ｂおよび特徴マップ７２１ｃ内の特徴マップの数は、同じでもよく、異なっていてもよい。例えば、特徴マップ７２１ｂは６４個の特徴マップを含み、一方、特徴マップ７２１ｂは１２８個の特徴マップを含む。
［０１１９］
図７Ｃは、予測モデルの例示的な最大プーリング層およびアンプーリング層の動作を示す。プーリング層は、畳み込み層から受け取った入力特徴マップを受け取り、ダウンサンプリングして、縮小サイズの出力特徴マップを生成する。この出力特徴マップは、入力特徴マップよりも低い空間解像度を有し、その結果としての畳み込み層は、より高い空間解像度で前の畳み込み層によって学習された画像特徴よりも大きな空間範囲または大きな空間不変性で画像特徴を学習する。したがって、予測モデルは、異なるレベルの空間解像度で特徴を学習するのを助けるためにプーリング層を使用し、変換精度を改善することができる。例えば、プーリング層は、２つの入力特徴値のストライドを有する２×２ウィンドウ（すなわち、重ならないウィンドウ）を使用して、各次元において２の係数で特徴マップをダウンサンプリングする。ストライドは異なってもよく、使用されるウィンドウは、３×３、４×４、８×８、１６×１６、３２×３２のような他の任意の適切なサイズでもよいと考えられる。
［０１２０］
いくつかの実施形態では、図７Ｃに示すように、プーリング層は最大プーリング層であってもよく、これはプーリングウィンドウ内の最大値に等しい単一の値を選択する。図７Ｃの例では、プーリングウィンドウは２×２ウィンドウである。プーリングウィンドウに対して他の適切な大きさが考えられる。図７Ｃは、プーリングウィンドウ７３３ａ内の値を示す、プーリング層７３１ａの一部を示す。予測モデルは、プーリング層７３１ａとポストダウンサンプリング特徴マップ７３５ａとを結ぶ矢印によって示されるように、プーリングウィンドウ７３３ａ内の最大値（すなわち、０．８）をポストサンプリング特徴マップ７３５ａ内の対応する位置に出力するように構成される。予測モデルは、プーリング層７３１ａ内に最大値の位置を格納するようにも構成される。例えば、予測モデルは、プーリング層７３１ａとバイナリマスク７３７とを結ぶ矢印によって示される位置をバイナリマスク７３７に格納するように構成されてもよい。バイナリマスク７３７は、プーリング層７３１Ａと同じサイズであり、入力特徴が各ウィンドウ内の最大値を有することを示す。バイナリマスク７３７内の「１」（すなわち「真」）のピクセル値は、プーリング層７３１ａの対応するピクセルがウィンドウ内に最大値を含むことを示し、バイナリマスク７３７内の「０」（すなわち「偽」）のピクセル値は、同様に、特徴マップの対応するピクセルがウィンドウ内でその最大値を含まないことを示す。図７Ｃに示すように、プーリングウィンドウ７３３ａ内のピクセル値０．３、０．６、０．１に対応するバイナリマスク７３７のピクセルは、それらのピクセル値がプーリングウィンドウ７３３ａ内の最大ピクセル値ではないので、ピクセル値「０」を有し、一方、プーリングウィンドウ７３３ａ内のピクセル値０．８に対応するバイナリマスク７３７のピクセルは、０．８がプーリングウィンドウ７３３ａの最大ピクセル値なので、ピクセル値「１」を有する。予測モデルは、バイナリマスク７３７とアンプーリング層７３１ｂとを結ぶ矢印によって示されるように、最大値の位置に関するこの情報をアンプーリング層に提供するように構成される。
［０１２１］
アンプーリング層は、アップサンプリングによって入力特徴マップのサイズを増大させることができる。このアップサンプリングは、特徴マップの空間解像度を高め、合成画像内に高解像度の詳細を正確に描写するための画像変換システム４００の能力を高めることができる。いくつかの実施形態では、各アンプーリング層は、対応するプーリング層に用いられる２×２のプーリングウィンドウに一致する、２×２のアンプーリングウィンドウの大きさを使用することができる。したがって、アンプーリング層は、特徴マップの大きさを各次元で２倍に増加させることができる。アンプーリングウィンドウに対して他の適切な大きさが考えられる。
［０１２２］
いくつかの実施形態では、図７Ｃに示されるように、予測モデルは、プレアップサンプリング特徴マップ７３５ｂ内のピクセル値をアンプーリング層７３１ｂ内のピクセル値に関連付けるように構成される。図７Ｃに示されるように、プレアップサンプリング特徴マップ７３５ｂ内のピクセルは、アンプーリング層７３１ｂ内のアンプーリングウィンドウ７３３ｂに対応している。バイナリマスクは、プレアップサンプリング特徴マップ７３５ｂ内のピクセルとアンプーリング層７３１ｂ内のピクセルとの間の対応をさらに定義する。このバイナリマスクは、対応するプーリング層によって生成された可能性がある。例えば、対応するプーリング層７３１ａによって生成されたバイナリマスク７３７は、アンプーリング層７３１ｂにより使用される。上述のように、バイナリマスク７３７は、プーリング層７３１ａのどのピクセル値が、ポストダウンサンプリング特徴マップ７３５ａに格納されたかを示すことができる。図７Ｃに示すように、バイナリマスク７３７の対応する部分の右上の値が「１」であるので、ピクセル値０．７を有するアップサンプリング特徴マップ７３５ｂ内のピクセルは、アンプーリングウィンドウ７３３ｂ内の右上のピクセルに対応している。予測モデルは、プレアップサンプリング特徴マップ７３５ｂとアンプーリング層７３１ｂとを結ぶ矢印によって示されるように、アンプーリング層７３１ｂ内の対応するピクセルをプレアップサンプリング特徴マップ７３５ｂ内のピクセルのピクセル値に設定するように構成されている。アンプーリングウィンドウ７３３ｂの残りの要素は、ゼロのような所定の値に設定される。
［０１２３］
図７Ｄおよび図７Ｅは、開示された実施形態による、画像変換システム４００によって使用される予測モデルの例示的な実装形態であるニューラルネットワーク７００を示す。ニューラルネットワーク７００は、各値は画像内のピクセルに対応する、値の行列によって表されるデジタル画像を変換するように構成される。行列のサイズは、画像の空間的サイズに対応する。例えば、１０２４×１０２４の行列は、１０２４×１０２４の空間サイズの画像に対応する。原画像を表す行列と合成画像を表す生成された行列は、同じサイズ（すなわち空間解像度）を有する。ピクセル単位で（一度に行列の１つの値で）合成画像を予測する従来の方法とは異なり、開示された方法は、原画像と同じ空間サイズの合成画像全体を（一度に行列のすべての値で）予測する。
［０１２４］
本明細書に記載されるように、ニューラルネットワーク７００は、入力７４１および出力７５１を含む。いくつかの実施形態では、入力７４１および出力７５１の空間サイズ（すなわち空間解像度）は同じである。例えば、入力７４１は少なくとも１つの１０２４×１０２４ピクセルの原画像を受け取り、出力７５１は少なくとも１つの１０２４×１０２４ピクセルの計算された合成画像を出力する。しかしながら、ニューラルネットワーク７００は他の空間サイズの画像データを処理する。
［０１２５］
ニューラルネットワーク７００の入力７４１は、１つまたは複数の原画像を受け入れるように構成されている。３Ｄ画像を変換するようにニューラルネットワーク７００をトレーニングするとき、隣接する２Ｄ画像が依存構造情報を含むので、入力７４１が隣接する画像のスタックを受け取るときにニューラルネットワーク７００の精度を高めることができる。依存構造情報は、隣接する２Ｄ画像のスタックに示されている解剖学的構造間の空間的に依存した関係を含み得る。これらの空間依存関係は、２Ｄ画像の解剖学的平面に直交する軸に沿っている。非限定的な例として、スタックの第１の画像内の第１のピクセル群によって表される解剖学的構造の形状および種類は、また、第１の画像に隣接する第２の画像内の第２のピクセル群によって表される。これは、第１の画像および第２の画像が解剖学的平面に直交する軸に沿って互いに空間的に隣接しているからである。結果として、２つの画像は、これらの画像に示されている解剖学的構造のある程度の依存性または連続性を有することになる。したがって、１つの画像内の解剖学的構造の形状、サイズ、および／またはタイプは、同じ平面に沿った別の隣接する画像内の解剖学的構造の形状、サイズ、および／またはタイプの追加情報を提供する。依存構造情報の効果は、スタック内の隣接画像の数、画像内に描かれている解剖学的構造、および／または画像を取得するために使用される撮像モダリティのような様々な要因に依存し得る。
［０１２６］
いくつかの実施形態において、入力７４１は、また、マルチチャンネルＭＲＩ画像を受信するように構成されてもよい。例えば、チャネル７４１の１つまたは複数の第１の入力はＴ１強調ＭＲＩ画像を受信するように構成され、チャネル７４１の１つまたは複数の第２の入力はＴ２強調ＭＲＩ画像を受信するように構成される。当技術分野で知られているように、Ｔ１は縦緩和定数であり、Ｔ２は組織内の励起陽子が平衡に戻る速度を支配する横緩和定数である。これらの速度定数は互いに異なり、そして組織間でも異なる。ＭＲＩ画像化パラメータに応じて、ＭＲＩ画像中の組織のコントラストおよび明るさは、Ｔ１速度定数（Ｔ１強調ＭＲＩ画像）またはＴ２速度定数（Ｔ２強調ＭＲＩ画像）によって主に決定される。したがって、Ｔ１強調ＭＲＩ画像およびＴ２強調ＭＲＩ画像は、撮像対象についての異なる情報を伝達する。ニューラルネットワーク７００は、Ｔ１強調ＭＲＩ画像の第１のチャネルおよびＴ２強調ＭＲＩ画像の別のチャネルを使用することによって提供される追加の情報を使用するように構成され、変換精度を改善する。追加的または代替的に、チャネルは、スピン密度のような当技術分野で知られている他の組織パラメータに関連する画像、または造影剤を使用して取得されたＭＲＩ画像に充てられてもよい。
［０１２７］
図７Ｄおよび図７Ｅに示すように、画像データは、符号化ステージ７４０および復号化ステージ７５０を介して入力７４１から出力７５１に流れる。符号化ステージ７４０は、入力画像から特徴マップを抽出するように構成されている。いくつかの実装形態では、符号化ステージ７４０は、完全に接続された層を含まなくてもよい。完全に接続された層では、一般に、入力特徴マップの各ピクセルが出力特徴マップの各ピクセルに寄与する。当該技術分野において認識されているように、完全に接続された層は極めて多数のパラメータを必要とし、画像分類作業に適した特徴を生成する。このような特徴は、この用途ではほとんど利益をもたらさず、完全に接続された層を除外することは畳み込みニューラルネットワークをトレーニングするのに必要とされるパラメータの数を減らすことができる。復号化ステージ７５０は、符号化ステージ７４０から出力された特徴マップを原画像と同じ空間解像度を有する合成画像に変換するように構成される。
［０１２８］
図７Ｄおよび図７Ｅに示されるように、ニューラルネットワーク７００は、畳み込み層（例えば、畳み込み層７４３ａおよび畳み込み層７５３ａ）と、プーリング層（例えば、プーリング層７４５ａ）と、アンプーリング層（例えば、アンプーリング層７５５ａ）のスタックを含む。図７Ａおよび図７Ｂに示されるように、畳み込み層のスタックは、入力特徴マップ（すなわち原画像）に基づいて出力特徴マップを生成するように構成されている。図７Ｃに示されるように、プーリング層は、特徴マップをダウンサンプリングするように構成され、アンプーリング層は、特徴マップをアップサンプリングするように構成されている。
［０１２９］
図７Ｄおよび図７Ｅに示すように、ニューラルネットワーク７００は、異なる空間解像度のレベルの階層に配置されている。５つのそのようなレベルが図７Ｄおよび図７Ｅに示されているが、ニューラルネットワーク７００は追加のレベルまたはより少ないレベルを含むことができる。各レベルは符号化セクションおよび復号化セクション（それらは符号化ステージ７４０および復号化ステージ７５０を含むすべてのレベルにわたって組み合わさる）を有する。階層内の空間解像度の各レベルは、入力画像の空間サイズに応じて、特定の空間サイズの特徴マップと関連付けられてもよい。最低レベルを除いて、各レベルの符号化セクションの出力は、次のレベルの符号化セクションの入力に提供される。例えば、最高レベルの畳み込み層７４３ａの出力は、次に低いレベルのプーリング層７４５ａの入力に提供される。最高レベルを除いて、復号化部の出力は次に高いレベルの復号化部の入力に供給される。例えば、２番目に最も低いレベルでの畳み込み層７５３ｄの出力は、次の上位レベルのアンプーリング層７５５Ｃの入力に提供される。
［０１３０］
さらに、符号化ステージ７４０内の１つまたは複数の層は、復号化ステージ７５０内の対応する層に直接接続される。例えば、畳み込み層７４３ａの最後の層は、１つまたは複数の特徴マップを復号化ステージ７５０に出力することができる。これらの特徴マップは、アンプーリング層７５５ｂの出力特徴マップと組み合わされ（例えば、スタックされ）、畳み込み層７５３ｂへの入力を生成する。図７Ｄおよび図７Ｅは、畳み込み層７４３ｄへの畳み込み層７４３ａと、アンプーリング層７５５ｄへのアンプーリング層７５５ａとの間の直接接続をそれぞれ示している。提供される機能マップは、アンプーリング層７５５ｄへのアンプーリング層７５５ａの破線部分のように、図７Ｄおよび図７Ｅにおいて示されている符号化ステージ７４０と復号化ステージ７５０との間の直接接続は、符号化ステージ７４０において学習された高解像度の特徴が復号化ステージ７５０において使用されることを可能にする。これは、より正確な合成画像を生成するための復号化ステージ７５０の能力を可能にするかまたは改善することができる。そのような直接接続は、また、ニューラルネットワーク７００の柔軟性を向上させる。例えば、直接接続を介して提供されるより高い解像度の特徴が正確な合成画像を生成するのに十分である場合、ニューラルネットワーク７００は、より低い空間解像度の特徴に小さな重みを割り当てるようにトレーニングされる。
［０１３１］
ニューラルネットワーク７００の最高のレベルは、入力７４１、畳み込み層７４３ａ、アンプーリング層７５５ａ、畳み込み層７５３ａ、出力層７５９を含む。いくつかの実施形態では、畳み込み層７４３ａ、畳み込み層７５３ａ、出力層７５９は、１つまたは複数の畳み込み層のスタックである。例えば、畳み込み層７４３ａおよび畳み込み層７５３ａは、それぞれ、２つから５つの畳み込み層を含み得る。あるいは、出力層７５９は単一の畳み込み層を含んでもよい。図７Ａおよび図７Ｂにおいて説明されているように、これらの畳み込み層は、それらのそれぞれの入力特徴マップに１つまたは複数の学習可能なフィルタ関数を適用することによって、出力特徴マップを生成することができる。例えば、畳み込み層７４３ａおよび畳み込み層７５３ａを含む１つまたは複数の畳み込み層は、それぞれ５０−１００個（例えば６４個）の学習可能なフィルタ関数を適用して、対応する数の出力特徴マップを生成することができる。
［０１３２］
ニューラルネットワーク７００の次の下のレベルは、プーリング層７４５ａ、畳み込み層７４３ｂ、アンプーリング層７５５ｂ、畳み込み層７５３ｂを含む。いくつかの実施形態では、畳み込み層７４３ｂおよび畳み込み層７５３ｂは、１つまたは複数の畳み込み層のスタックであり得る。例えば、畳み込み層７４３ｂおよび畳み込み層７５３ｂは、それぞれ、２つから５つの畳み込み層を含み得る。図７Ａおよび図７Ｂにおいて説明されているように、これらの畳み込み層は、それらのそれぞれの入力特徴マップに１つまたは複数の学習可能なフィルタ関数を適用することによって出力特徴マップを生成することができる。例えば、畳み込み層７４３ｂと畳み込み層７５３ｂを含む１つまたは複数の畳み込み層は、１００個と２００個の間（例えば、１２８個）の学習可能フィルタ関数を適用し、対応する数の出力特徴マップを生成する。プーリング層７４５ａは、次に高いレベルのアンプーリング層７５５ａに対応する。例えば、プーリング層７４５ａは、その入力特徴層内の最大値の位置を示すバイナリマスクを生成し、これらの表示をアンプーリング層７５５ａに提供するように構成されている。アンプーリング層７５５ａは、その入力特徴マップをアップサンプリングするときにバイナリマスクを使用するように構成されている。
［０１３３］
ニューラルネットワーク７００の次の下のレベルは、プーリング層７４５ｂ、畳み込み層７４３ｃ、アンプーリング層７５５ｃ、畳み込み層７５３ｃを含む。いくつかの実施形態では、畳み込み層７４３ｃおよび畳み込み層７５３ｃは、１つまたは複数の畳み込み層のスタックであり得る。例えば、畳み込み層７４３ｃおよび畳み込み層７５３ｃはそれぞれ、２つから６つの畳み込み層を含むことができる。図７Ａおよび図７Ｂにおいて説明されているように、これらの畳み込み層は、それらのそれぞれの入力特徴マップに１つまたは複数の学習可能なフィルタ関数を適用することによって出力特徴マップを生成することができる。例えば、畳み込み層７４３ｃおよび畳み込み層７５３ｃを含む１つまたは複数の畳み込み層は、１５０個から３００個の間（例えば、２５６個）の学習可能なフィルタ関数を適用して、対応する数の出力特徴マップを生成することができる。プーリング層７４５ｂは、次に高いレベルのアンプーリング層７５５ｂに対応する。例えば、プーリング層７４５ｂは、その入力特徴マップ内の最大値の位置の指示を生成し、これらの指示をアンプーリング層７５５ｂに提供するように構成される。アンプーリング層７５５ｂは、特徴マップをアップサンプリングするときにこれらの指示を使用するように構成される。
［０１３４］
ニューラルネットワーク７００の次の下のレベルは、プーリング層７４５ｃ、畳み込み層７４３ｄ、アンプーリング層７５５ｄ、畳み込み層７５３ｄを含む。いくつかの実施形態では、畳み込み層７４３ｄおよび畳み込み層７５３ｄは、１つまたは複数の畳み込み層のスタックであり得る。例えば、畳み込み層７４３ｄおよび畳み込み層７５３ｄはそれぞれ、２つから６つの畳み込み層を含むことができる。図７Ａおよび図７Ｂにおいて説明されているように、これらの畳み込み層は、それらのそれぞれの入力特徴マップに１つまたは複数の学習可能なフィルタ関数を適用することによって出力特徴マップを生成することができる。例えば、畳み込み層７４３ｄおよび畳み込み層７５３ｄを含む１つまたは複数の畳み込み層はそれぞれ、対応する数の出力特徴マップを生成するために３００個から６００個の間（例えば、５１２個）の学習可能なフィルタ関数を適用することができる。プーリング層７４５ｃは、次に高いレベルのアンプーリング層７５５ｃに対応する。例えば、プーリング層７４５ｃは、その入力特徴層における最大値の位置の指示を生成し、これらの指示をアンプーリング層７５５ｃに提供するように構成されてもよい。アンプーリング層７５５ｃは、特徴マップをアップサンプリングするときにこれらの指示を使用するように構成される。
［０１３５］
ニューラルネットワーク７００の最も低いレベルは、プーリング層７４５ｄ、畳み込み層７４３ｅ、畳み込み層７５３ｅを含む。いくつかの実施形態において、畳み込み層７４３ｅおよび畳み込み層７５３ｅは、畳み込み層のスタックであり得る。例えば、畳み込み層７４３ｅおよび畳み込み層７５３ｅはそれぞれ、２つから５つの畳み込み層を含み得る。図７Ａおよび図７Ｂにおいて説明されているように、これらの畳み込み層は、それらのそれぞれの入力特徴マップに１つまたは複数の学習可能なフィルタ関数を適用することによって出力特徴マップを生成することができる。例えば、畳み込み層７４３ｅおよび畳み込み層７５３ｅを含む１つまたは複数の畳み込み層はそれぞれ、８００個から１２００個の間（例えば、１０２４個）の学習可能なフィルタ関数を適用して、対応する数の出力特徴マップを生成することができる。プーリング７４５ｄは、次に高いレベルのアンプーリング層７５５ｄに対応する。例えば、プーリング層７４５ｄは、その入力特徴層内の最大値の位置の指示を生成し、これらの指示をアンプーリング層７５５ｄに提供するように構成されてもよい。アンプーリング層７５５ｄは、特徴マップをアップサンプリングするときにこれらの指示を使用するように構成される。
［０１３６］
図７Ｄおよび図７Ｅにおいて説明されたように、１つまたは複数の原画像（例えば、原画像７６１）が入力７４１としてニューラルネットワーク７００に提供される。ニューラルネットワーク７００は、符号化ステージ７４０および復号化ステージ７５０を介して入力７４１を伝播させて、出力７５１として１つまたは複数のデスティネーション画像（例えば、デスティネーション画像７６９）を生成するように構成される。図７Ｆは、符号化処理および復号化処理のステップ中にニューラルネットワーク７００の選択された層によって生成された例示的な特徴マップを示す。特に、図７Ｆは、原画像７６１から始まり特徴マップ７６３ｅで終わる、符号化ステージ７４０の各ステップ中に生成された特徴マップを示す。図示されているように、これらの例示的な特徴マップの相対空間サイズは、符号化ステージの間に減少する（理解を容易にするために、特徴マップ７６３ｄおよび特徴マップ７６３ｅの拡大バージョンが提供されている）。これらの特徴マップは、また、各マップ内の特徴の空間的広がりの増大、および各マップの空間分解能の低下をも表している。図７Ｅは、また、特徴マップ７７３ｅで始まりデスティネーション画像７７９で終わる、復号化ステージ７５０の各ステップ中に生成される特徴マップを示す。図示されているように、これらの例示的な特徴マップの相対空間サイズは、復号化ステージ中に増加する（理解を容易にするために、特徴マップ７７３ｅおよび特徴マップ７７３ｄの拡大バージョンが提供されている）。これらの特徴マップは、また、各マップ内の特徴の減少する空間的広がり、および各マップの増加する空間解像度をも表している。
［０１３７］
第１の符号化ステップとして、畳み込み層７４３ａは、１つまたは複数の原画像を受信して、特徴マップを生成するように構成されている。図７Ｃにおいて説明されたように、畳み込み層７４３ａは、１つまたは複数の畳み込み層のスタックを含み得る。いくつかの実施形態では、畳み込み層７４３ａは、原画像７６１のような１つまたは複数の原画像を受け取り、特徴マップ７６３ａのような特徴マップを出力するように構成されている。上述されたように、開示されたシステムおよび方法は特定の空間サイズの画像に限定されない。例えば、いくつかの実施形態において、１つまたは複数の原画像の空間的な大きさは、１０２４×１０２４ピクセルのように、１２８×１２８ピクセルより大きくてもよい。いくつかの実施形態では、１つまたは複数の原画像は、少なくとも１つのＴ１強調ＭＲＩ画像、Ｔ２強調ＭＲＩ画像、および造影剤を使用して生成されたＭＲＩ画像を含み得る。追加の例として、１つまたは複数の原画像は、２Ｄ画像のスタック内に異なるスライスを含み得る。いくつかの実施形態では、畳み込み層７４３Ａは、特徴マップを符号化ステージ７４０の次の下位のレベルに出力するように構成され得る。符号化ステージ７の４０の次の下位のレベルは、プーリング７４５ａおよび畳み込み層７４３ｂを含み得る。畳み込み層７４３ａは、また、特徴マップを復号化ステージ７５０に直接出力するように構成されてもよい。
［０１３８］
第２の符号化ステップとして、プーリング層７４５ａは、畳み込み層７４３ａから受信された特徴マップをダウンサンプリングし、より小さい空間サイズを有するダウンサンプリングされた特徴マップを生成するように構成され得る。畳み込み層７４３ｂは、これらのダウンサンプリングされた特徴マップを受け取り、特徴マップ７６３ｂなどの出力特徴マップを生成するように構成され得る。図示するように、特徴マップ７６３ｂは、特徴マップ７６３ａよりも小さい空間サイズを有し得る。いくつかの態様では、特徴マップ７６３ｂの空間サイズは少なくとも一次元で特徴マップ７６３ａの空間サイズの半分であり得る。いくつかの実施形態では、畳み込み層７４３ｂは、特徴マップを符号化ステージ７４０の次に下位のレベルに出力するように構成され得る。符号化ステージ７４０のこの次に下位のレベルは、プーリング層７４５ｂおよび畳み込み層７４３ｃを含み得る。畳み込み層７４３ｂは、また、出力特徴マップを復号化ステージ７５０に直接提供するように構成されてもよい。
［０１３９］
第３の符号化ステップとして、プーリング層７４５ｂは、畳み込み層７４３ｂから受信された特徴マップをダウンサンプリングし、より小さい空間サイズを有するダウンサンプリングされた特徴マップを生成するように構成され得る。畳み込みレイヤ７４３ｃは、これらのダウンサンプリングされた特徴マップを受け取り、特徴マップ７６３ｃなどの出力特徴マップを生成するように構成され得る。図示されるように、特徴マップ７６３ｃは、特徴マップ７６３ｂよりも小さい空間サイズを有し得る。いくつかの態様では、特徴マップ７６３ｃの空間サイズは少なくとも一次元で特徴マップ７６３ｂの空間サイズの半分であり得る。いくつかの実施形態では、畳み込み層７４３ｃは、特徴マップを符号化ステージ７４０の次に下位のレベルに出力するように構成され得る。符号化ステージ７４０の次に下位のレベルは、プーリング層７４５ｃおよび畳み込み層７４３ｄを含み得る。畳み込みレイヤ７４３ｃは、また、出力特徴マップを復号化ステージ７５０に直接提供するように構成されてもよい。
［０１４０］
第４の符号化ステップとして、プーリングレイヤ７４５ｃは、畳み込みレイヤ７４３ｃから受信された特徴マップをダウンサンプリングし、より小さい空間サイズを有するダウンサンプリングされた特徴マップを生成するように構成され得る。畳み込みレイヤ７４３ｄは、これらのダウンサンプリングされた特徴マップを受け取り、特徴マップ７６３ｄなどの出力特徴マップを生成するように構成され得る。図示されるように、特徴マップ７６３ｄは、特徴マップ７６３ｃよりも小さい空間サイズを有し得る。いくつかの態様では、特徴マップ７６３ｄの空間サイズは少なくとも一次元で特徴マップ７６３ｃの空間サイズの半分であり得る。いくつかの実施形態では、畳み込み層７４３ｄは、特徴マップを符号化ステージ７４０の最下位のレベルに出力するように構成される。符号化ステージ７４０の最下位のレベルは、プーリング層７４５ｄおよび畳み込み層７４３ｅを含み得る。畳み込み層７４３ｄは、また、出力特徴マップを復号化ステージ７５０に直接提供するように構成されてもよい。
［０１４１］
第５の符号化ステップとして、プーリング層７４５ｄは、畳み込みレイヤ７４３ｄから受信した特徴マップをダウンサンプリングし、より小さい空間サイズを有するダウンサンプリングされた特徴マップを生成するように構成され得る。畳み込みレイヤ７４３ｅは、これらのダウンサンプリングされた特徴マップを受け取り、特徴マップ７６３ｅなどの出力特徴マップを生成するように構成され得る。図示されるように、特徴マップ７６３ｅは、特徴マップ７６３ｄよりも小さい空間サイズを有し得る。いくつかの態様では、特徴マップ７６３ｅの空間サイズは、少なくとも一次元で特徴マップ７６３ｄの空間サイズの半分であり得る。いくつかの実施形態では、畳み込み層７４３ｅは、これらの出力特徴マップを復号化ステージ７５０の最下位レベルに提供するように構成される。
［０１４２］
第１の復号化ステップでは、畳み込み層７５３ｅは、畳み込み層７４３ｅから受け取った特徴マップを使用して、特徴マップ７７３ｅなどの出力特徴マップを生成するように構成される。いくつかの実施形態では、畳み込み層７５３ｅは、これらの出力特徴マップを復号化ステージ７５０のより高いレベルに提供するように構成され得る。復号化ステージ７５０のより高いレベルは、プール解除層７５５ｄおよび畳み込み層７５３ｄを含み得る。
［０１４３］
第２の復号化ステップでは、アンプーリング層７５５ｄは、畳み込み層７５３ｅから受け取った特徴マップをアップサンプリングし、空間サイズが増加したアップサンプリングされた特徴マップを生成するように構成され得る。図７Ｃにおいて説明されたように、アンプーリング層７５５ｄは、プーリング７４５ｄによって生成されたバイナリマスクを使用して、畳み込み層７５３ｅから受信した特徴マップ内の値を対応するアップサンプリングされた特徴マップに割り当てることができる。畳み込み層７５３ｄは、アンプーリング層７５５ｄから受信したアップサンプリングされた特徴マップを使用して、特徴マップ７７３ｄのような出力特徴マップを生成するように構成されることができる。いくつかの態様では、畳み込み層７５３ｄは、また、畳み込み層７４３ｄから受信した特徴マップを使用して出力特徴マップを生成することができる。例えば、畳み込み層７５３ｄは、畳み込み層７４３ｄから受け取られた特徴マップと、アンプーリング層７５５ｄから受け取られ、アップサンプリングされた特徴マップとを含む特徴マップのスタックに１つまたは複数の学習可能なフィルタ関数を適用するように構成され得る。いくつかの実施形態では、畳み込み層７５３ｄによって生成された出力特徴マップは、畳み込み層７５３ｄによって復号化ステージ７５０のより高いレベルに提供される。復号化ステージ７５０のより高いレベルは、プール解除層７５５ｃおよび畳み込み層７５３ｃを含み得る。
［０１４４］
第３の復号化ステップでは、アンプーリング層７５５ｃは、畳み込みレイヤ７５３ｄから受信した特徴マップをアップサンプリングし、空間サイズが増加したアップサンプリングされた特徴マップを生成するように構成される。図７Ｃにおいて説明されたように、アンプーリング７５５ｃは、プーリング７４５ｃによって生成されたバイナリマスクを使用して、畳み込み層７５３ｄから受信した特徴マップ内の値を対応するアップサンプリングされた特徴マップに割り当てることができる。畳み込み層７５３ｃは、アンプーリング層７５５ｃから受信されたアップサンプリングされた特徴マップを使用して、特徴マップ７７３ｃなどの出力特徴マップを生成するように構成することができる。いくつかの態様では、畳み込み層７５３ｃは、また、出力特徴マップを生成するために畳み込み層７４３ｃから受信した特徴マップを使用することができる。例えば、畳み込み層７５３ｃは、畳み込み層７４３ｃから受信した特徴マップと、アンプーリング層７５５ｃから受信したアップサンプリングされた特徴マップとを含む特徴マップのスタックに１つまたは複数の学習可能なフィルタ関数を適用するように構成することができる。いくつかの実施形態では、畳み込み層７５３ｃによって生成された出力特徴マップは、畳み込み層７５３ｃによって復号化ステージ７５０のより高いレベルに提供される。復号化ステージ７５０のより高いレベルは、プール解除層７５５ｂおよび畳み込み層７５３ｂを含み得る。
［０１４５］
第４の復号化ステップでは、アンプーリング層７５５ｂは、畳み込み層７５３ｃから受信された特徴マップをアップサンプリングし、空間サイズが増加したアップサンプリングされた特徴マップを生成するように構成され得る。図７Ｃにおいて説明されたように、アンプーリング層７５５ｂは、プーリング層７４５ｂによって生成されたバイナリマスクを使用して、畳み込み層７５３ｃから受信した特徴マップ内の値を対応するアップサンプリングされた特徴マップに割り当てることができる。畳み込みレイヤ７５３ｂは、アンプーリング層７５５ｂから受信されたアップサンプリングされた特徴マップを使用して、特徴マップ７７３ｂなどの出力特徴マップを生成するように構成することができる。いくつかの態様では、畳み込み層７５３ｂは、また、出力特徴マップを生成するために畳み込み層７４３ｂから受信した特徴マップを使用することができる。例えば、畳み込み層７５３ｂは、畳み込み層７４３ｂから受信された特徴マップと、アンプーリング層７５５ｂから受信されたアップサンプリングされた特徴マップとを含む特徴マップのスタックに１つまたは複数の学習可能なフィルタ関数を適用するように構成することができる。いくつかの実施形態では、畳み込み層７５３ｂによって生成された出力特徴マップは、畳み込み層７５３ｂによって復号化ステージ７５０の最高位レベルに提供される。復号化ステージ７５０の最高位レベルは、プール解除層７５５ａ、畳み込み層７５３ａ、および出力層７５９を含み得る。
［０１４６］
第５の復号化ステップでは、アンプーリング層７５５ａは、畳み込み層７５３ｂから受信した特徴マップをアップサンプリングし、空間サイズが増加したアップサンプリングされた特徴マップを生成するように構成される。図７Ｃにおいて説明されるように、アンプーリング層７５５ａは、プーリング層７４５ａによって生成されたバイナリマスクを使用して、畳み込み層７５３ｂから受信した特徴マップ内の値を対応するアップサンプリングされた特徴マップに割り当てることができる。畳み込み層７５３ａは、アンプーリング層７５５ａから受信されたアップサンプリングされた特徴マップを使用して、特徴マップ７７３ａなどの出力特徴マップを生成するように構成されてもよい。いくつかの態様では、畳み込み層７５３ａはまた、出力特徴マップを生成するために畳み込み層７４３ａから受信した特徴マップを使用することができる。例えば、畳み込み層７５３ａは、畳み込み層７４３ａから受信された特徴マップと、アンプーリング層７５５ａから受信されたアップサンプリングされた特徴マップとを含む特徴マップのスタックに１つまたは複数の学習可能なフィルタ関数を適用するように構成される。いくつかの実施形態では、出力層７５９は、畳み込み層７５３ａから受け取った出力特徴マップを使用して、デスティネーション画像７７９などの少なくとも１つのデスティネーション画像を生成するように構成される。いくつかの実施形態では、少なくとも１つのデスティネーション画像が出力７５１に提供される。
［０１４７］
図７Ｄおよび図７Ｅに示す例示的実施形態では、ニューラルネットワーク７００は、３チャンネル画像を変換するための３千万個を超えるパラメータを有する２７個の畳み込み層を含む。この例示的な構成は限定的であることを意図していない。例えば、符号化ステージ７４０と復号化ステージ７５０との間のニューラルネットワーク７００内の層の数は、おおよそ１０個から数百個の範囲（例えば、５００個）であり得る。層数が増えると、モデルパラメータの数も増え、予測の精度が向上する。しかしながら、特にトレーニングステージでは、多数の層も計算コストの増加を招く可能性がある。プロセッサの計算能力が向上するにつれて、適切な層数は変化し得る。同様に、ニューラルネットワーク７００は、より多いまたはより少ないレベルの空間分解能を含み得る。いくつかの実施形態では、異なる数の入力チャネルが使用されてもよく、または異なる画像サイズが使用されてもよい。
図８は、開示された実施形態による、ニューラルネットワーク７００をトレーニングするための例示的なトレーニング処理８００を示すフローチャートである。いくつかの実施形態では、トレーニング処理８００は、上記のトレーニングユニット４３０によって実行され、ニューラルネットワーク７００のモデルパラメータθ＝｛Ｗ１，ｂ１，Ｗ２，ｂ２，…｝を学習する。トレーニング処理８００は、トレーニングユニット４３０がトレーニング画像のセットを受信したときに開始することができる（ステップ８１０）。上述のように、トレーニング画像のセットは、第１の撮像モダリティを使用して取得された１つまたは複数の原点画像と、第２の撮像モダリティを使用して取得された対応する宛先画像とを含み得る。例えば、トレーニング画像は、頭部、胴体、腹部、および／または四肢などの患者の解剖学的領域の単一チャネルまたは複数チャネルのＭＲＩ画像を含み得る。いくつかの実施形態では、対応するデスティネーション画像は、患者の同一または類似の解剖学的領域のＣＴスキャンによって取得されてもよい。
［０１４８］
図８に示すように、トレーニングユニット４３０はステップ８１２で予測モデルを初期化することができる。例えば、トレーニングユニット４３０は、ＣＮＮモデルをトレーニングするための反復インデックスを例えば０に初期化することができる。いくつかの実施形態において、トレーニングユニット４３０は、また、ニューラルネットワーク７００のパラメータを初期化し得る。例えば、畳み込み層重み付けはランダムな値に初期化されてもよく、および／または畳み込み層バイアスはゼロに初期化されてもよい。いくつかの実施形態では、トレーニングユニット４３０は、プレトレーニングされたモデルからのパラメータを使用して符号化ステージ７３０のパラメータを初期化することができる。例えば、トレーニングユニット４３０は、画像分類などの他のタスクについてトレーニングされたモデルから重み付けを借りることができる。これは、画像変換システム４００がニューラルネットワークの伝達学習特性を利用して許容可能な解への収束を早めることを可能にしている。
［０１４９］
ステップ８１４から８２２は、１つまたは複数の停止基準が満たされるまで（例えば、反復プロセスが所定の基準に従って収束するまで）反復して実行されてもよい。各反復において、最大の反復数に達するまで、トレーニングデータの新しいバッチを無作為に選択し、ＣＮＮモデルをトレーニングするために使用することができる。いくつかの実施形態では、各バッチは３０−６０セットのトレーニング画像を含み得る。例えば、各バッチは、約５０対の原画像とデスティネーション画像を含むことができる。
［０１５０］
ステップ８１４において、トレーニングユニット４３０は、トレーニングデータのバッチを選択するように構成されてもよい。いくつかの実施形態において、このトレーニングデータは、データベース４１０に格納されているトレーニングデータからランダムに選択されてもよい。トレーニングユニット４３０は、トレーニングデータを前処理するように任意に構成されている。例えば、トレーニングユニット４３０は、データベース４１０から１つまたは複数のトレーニング画像４１２を受け取り、それらを処理して特定の画像特徴を除去するように構成することができ、これは上述の処理６００と矛盾しない。ステップ８１６において、トレーニングユニット４３０は、トレーニング画像の各セットについてニューラルネットワーク７００の現在のパラメータに従って合成画像を計算するように構成されてもよい。ステップ８１８において、トレーニングユニット４３０は、計算された合成画像とトレーニングデータとに基づいて（例えば、図２に関して上述したように）エラーマップを生成するように構成されてもよい。例えば、トレーニングデータが原画像と対応するデスティネーション画像とを含むとき、トレーニングユニット４３０は、合成画像とデスティネーション画像との間の差としてエラーマップを生成するように構成され得る。
［０１５１］
ステップ８２０では、トレーニングユニット４３０は、ステップ８１８により生成されたエラーマップに基づいて、ニューラルネットワーク７００のパラメータを決定または更新するように構成することができる。例えば、当業者に知られている逆伝播アルゴリズムを使用して、ニューラルネットワーク７００のパラメータを決定または更新することができる。いくつかの実施形態では、バックプロパゲーションアルゴリズムは、ニューラルネットワーク７００のパラメータに関して損失関数を最小化するように構成することができる。例えば、バックプロパゲーションアルゴリズムは、損失関数の値を減らすためにモデルパラメータを更新することができる。当業者は、モデル予測の平均絶対誤差（ＭＡＥ）のようなトレーニングユニット４３０が実装し得る様々な損失関数に精通しており、それは以下のように決定され得る。
［０１５２］
Figure 0006960509
［０１５３］
ここで、ｙｉ(θ)は、合成画像の各ボクセルで計算されたＣＴ強度値を示し、ｚｉは、デスティネーション画像の各ボクセルでのＣＴ強度値（例えば、真の値）を示し、ｎは、画像ボクセルの総数であり、Ｅ(θ)は、ＭＡＥを示す。損失関数としてＭＡＥを使用すると、学習が改善され、学習データがノイズやアーティファクトなどの外れ値に対して頑健になる。
［０１５４］
Figure 0006960509
［０１５５］
ここで、Ｅ(θ)はＭＳＥを表す。
［０１５６］
逆伝搬アルゴリズムを使用して、畳み込みフィルタの重み付けＷｋおよびオフセット値ｂのようなモデルパラメータ(θ)に関する損失関数の勾配を計算することができる。次いで、モデルパラメータは、確率論的勾配降下アルゴリズムを使用することによって繰り返し更新することができる。いくつかの実施形態では、内部共変シフトを低減するために、各正規化層の後にバッチ正規化を実行することができる。
［０１５７］
モデルトレーニング中にトレーニングデータの数を人為的に増加させるために単純なデータ増強を実行することもできる。そのようなデータ増強では、ＭＲ画像およびＣＴ画像の各対について、ピクセルのランダムな平行移動または各空間次元での画像の反転を介して、新しい対の原画像およびデスティネーション画像を作成することができる。そのようなデータ増強を使用することによって、本開示による例示的な実施形態は、訓練データの量を増加させ、したがって訓練ユニット４３０内でより高度に訓練された予測モデルを生成することができる。
［０１５８］
ステップ８２２において、トレーニングユニット４３０は、停止基準が満たされたか否かを判定するように構成される。所定の最大反復の数または所定の画質尺度（例えば、推定合成画像と目的画像との間の差が十分に小さいことを示す損失関数値）のような様々な停止基準を使用することができる。例えば、トレーニングユニット４３０は、インデックスが所定の最大の反復数以上であるかどうかを判定するように構成される。追加的または代替的に、トレーニングユニット４３０は、例えば、損失関数が特定のしきい値基準より小さいかどうかを判定することによって、合成画像の精度が予想される精度を満たすかまたは超えるかどうかを判定するように構成され得る。トレーニングユニット４３０が、停止基準が満たされていないと判断した場合、トレーニング処理８００はステップ８１４に戻る。トレーニングユニット４３０が、停止基準が満たされたと判断した場合、トレーニング処理８００はステップ８２４に進む。ステップ８２４において、トレーニングユニット４３０は、画像変換部４４０により、後で使用するためにニューラルネットワーク７００の更新バージョンを格納するように構成される。
［０１５９］
図９Ａは、本開示のいくつかの実施形態による、図８のプロセス８００を通して得られたトレーニングされた畳み込みニューラルネットワーク（例えば、ニューラルネットワーク７００）を用いた例示的な画像変換処理９００Ａを示すフローチャートである。画像変換処理９００Ａは、画像変換ユニット４４０によって実行される。一実施形態では、画像変換ユニット４４０は、トレーニング画像と同じ撮像モダリティを使用して取得された原画像から合成画像を生成するように構成されている。例えば、ニューラルネットワーク７００がＭＲＩ画像についてトレーニングされるとき、画像変換ユニット４４０は、ＭＲＩ画像に基づいて合成画像を生成するように構成されている。同様に、ニューラルネットワーク７００がシングルチャネルＭＲＩ画像についてトレーニングされるとき、画像変換ユニット４４０は、同じタイプのシングルチャネルＭＲＩ画像（例えば、Ｔ１強調画像）を使用するように構成されている。ニューラルネットワーク７００がマルチチャネルＭＲＩ画像についてトレーニングされるとき、画像変換ユニット４４０は同じタイプのマルチチャネルＭＲＩ画像を使用するように構成されている。
［０１６０］
図９Ａに示すように、処理９００Ａは、ステップ９１２において画像変換ユニット４４０が１つまたは複数の原画像を受け取ると、開始する。いくつかの態様では、画像変換ユニット４４０は、画像データベース４２０、画像変換システム４００の別の構成要素、または別のシステムから１つまたは複数の原画像を受け取るように構成される。ステップ９１４において、画像変換ユニット４４０は、変換プロセスの精度を高めるために、上述のプロセス６００により、任意に１つまたは複数の原画像を前処理し、原画像に関連するアーティファクトを除去するように構成されている。
［０１６１］
画像変換ユニット４４０は、ステップ９１８においてニューラルネットワーク７００を受け取るように構成されてもよい。いくつかの態様では、ニューラルネットワーク７００は、トレーニングユニット４３０、画像変換システム４００の他の構成要素、または他のシステムから受け取ることができる。ステップ９２０において、画像変換ユニット４４０は、ニューラルネットワーク７００を用いて１つまたは複数の合成画像を計算するように構成されている。次いで、ステップ９２２において、画像変換ユニット４４０は１つまたは複数の合成画像を出力する。出力することには、さらなる分析または観察のために１つまたは複数の合成画像を表示すること、１つまたは複数の合成画像を非一時的媒体に格納すること、または、または１つまたは複数の合成画像をコンピュータプロセス、プログラム、および／またはアプリケーションに提供することを含む。非一時的媒体およびコンピュータプロセス、プログラム、および／またはアプリケーションは、離れたシステム上にあってもよい。
［０１６２］
処理９００Ａは、２Ｄ原画像および３Ｄ原画像の両方を変換するように実行される。３Ｄ画像を変換する場合、ニューラルネットワーク７００は、３Ｄ合成画像を生成するように修正される。上述のように、ニューラルネットワーク７００の入力７３１は、３Ｄ原画像から選択された隣接する２Ｄ画像のスタックを受け入れるように構成されてもよい。同様に、ニューラルネットワーク７００の出力層７４９は、３Ｄ合成画像に組み立てることができる、対応する数の隣接合成画像を生成するように構成されてもよい。いくつかの実施形態では、３Ｄ原画像を２Ｄ原画像のスタックに分割することができる。いくつかの実施形態では、原画像のスタックは重なってもよい。例えば、第１のスタックは第１から第３の画像スライスを含み、第２のスタックは第２から第４の画像スライスを含み、第３のスタックは第３から第５の画像スライスを含む。次いで、画像変換ユニット４４０は、これらの原画像のスタックを対応する合成画像のスタックに変換するように構成される。例えば、画像のスタックが３つの画像を含むとき、画像変換ユニット４４０は、スタック内の３つの原画像のそれぞれに対応する３つの合成画像も生成するように構成される。原画像のスタックと一致して、合成画像のスタックも重なってもよい。その結果、３Ｄ合成画像内の所与の１つのスライスに対して、複数の２Ｄ合成画像が生成される可能性がある。これらの複数の合成画像を融合して、スライスに対する１つの合成画像を導き出すことができる。融合には様々なルールを使用することができる。例えば、複数の画像を平均する、中央値を使用する、などしてもよい。
［０１６３］
図９Ｂは、開示された実施形態による、３Ｄ画像変換処理９００Ｂを説明する例示的フローチャートを示す。いくつかの実施形態では、処理９００Ｂは画像変換ユニット４４０によって実行される。処理９００Ｂは、ステップ９２８において、画像変換ユニット４４０が１つまたは複数の３Ｄ原画像を受け取るようことにより開始する。３Ｄ画像は、画像データベース４２０から、または画像変換システム４００の他の構成要素から受信されてもよい。３Ｄ画像は、患者の頭部、胴体、腹部、四肢、または他の任意の解剖学的領域の画像の一部または全部の画像を含み得る。
［０１６４］
ステップ９３０において、画像変換ユニット４４０は、受け取った３Ｄ原画像の解剖学的平面を選択するように構成されている。ステップ９３２において、画像変換ユニット４４０は、受信した３Ｄ画像と選択された平面とに基づいて２Ｄ原画像の１つ以上のスタックを生成するように構成されている。例えば、画像変換ユニット４４０は、軸平面、矢状面、および冠状面を含む３つの解剖学的平面の中から選択するように構成されている。画像変換ユニット４４０は、選択された解剖学的平面に沿って受信された３Ｄ原画像から２Ｄ原画像を生成するように構成されている。いくつかの態様では、画像変換ユニット４４０は、一連の個々の原画像または一連の原画像のスタックを生成するように構成されている。
［０１６５］
ステップ９３４において、画像変換ユニット４４０は、ニューラルネットワーク（例えば、ニューラルネットワーク７００）を受信するように構成されている。受信されたニューラルネットワークは、選択された解剖学的平面に対応している。例えば、受信されたニューラルネットワークは、選択された解剖学的平面に沿って画像（または画像のスタック）を用いてトレーニングされる。選択された解剖学的平面に沿ったそのような画像（または画像のスタック）は、選択された解剖学的平面に直交する軸についての依存構造情報をまとめて含む。受信されたニューラルネットワークは選択された解剖学的平面に沿った画像を使用してトレーニングされているので、このニューラルネットワークは変換効率を改善するためにこの依存構造情報を使用することができる。例えば、受信したニューラルネットワークのパラメータまたは重み付けは、この依存構造情報を反映している。選択された解剖学的平面（例えば、矢状面から冠状面）の変化に応答して、画像変換ユニット４４０は、新たに選択された解剖学的平面に対応する別のニューラルネットワークを受信するように構成されている。例えば、画像変換ユニット４４０は、選択された平面に従って、アキシャルニューラルネットワーク（axial neural network）、コロナルニューラルネットワーク（coronal neural network）、またはサジタルニューラルネットワーク（sagittal neural network）を受け取る。以前に受信されたニューラルネットワークが、変換効率を改善するために以前に選択された解剖学的平面に直交する軸について従属構造情報を使用することができたように、新たに受信されたニューラルネットワークは、変換効率を改善するために新たに選択された解剖学的平面に直交する軸について従属構造情報を使用することが可能である。いくつかの実施形態では、画像変換ユニット４４０は、複数の平面（例えば、スタックがコロナル画像、サジタル画像、またはスタックがアキシャル画像、サジタル画像などを含むことができるような複数の解剖学的平面）に沿って画像（または画像のスタック）で訓練されたニューラルネットワークを受信するように構成されている。したがって、画像変換ユニット４４０は、このニューラルネットワークを使用して、任意の選択された解剖学的平面または複数の解剖学的平面に沿って原点画像から合成画像を生成するように構成される。
［０１６６］
ステップ９３６において、画像変換ユニット４４０は、受信したニューラルネットワークを使用して、対応する合成画像、または合成画像のスタックを生成するように構成されている。上述のように、これらのネットワークがその特定の解剖学的平面に特有の従属構造情報を使用するので、変換効率を特定の解剖学的平面に沿って画像（または画像のスタック）を使用して訓練されたニューラルネットワークを使用して改善することができる。画像変換ユニット４４０は、すべての選択された原画像、または選択された原画像のスタックが合成画像に変換されるまでステップ９３６を繰り返すことができる。
［０１６７］
いくつかの実施形態において、画像変換ユニット４４０は、ステップ９３４の後にステップ９３０を実行する。例えば、画像変換ユニット４４０によって受信されたトレーニングされたニューラルネットワークは、複数の平面（例えば、３つ全ての平面）に沿って２Ｄ原画像を使用してトレーニングされる。そのような場合、画像変換ユニット４４０は、異なる平面のそれぞれを繰り返し選択し、選択された平面に沿って２Ｄ原画像を生成するように構成されている。３つの平面に沿ったこれらの２Ｄ原画像は、独立してニューラルネットワーク７００に入力され、それぞれの平面に沿った合成画像を生成してもよい。例えば、アキシャル２Ｄ原点画像は、ニューラルネットワーク７００に入力され、軸方向合成画像を出力する。サジタル２Ｄ原点画像は、ニューラルネットワーク７００に入力され、サジタル合成画像となる。そして最後に、コロナル２Ｄ原点画像は、ニューラルネットワーク７００に入力され、コロナル合成画像となる。あるいは、３つ全ての平面の２Ｄ原画像を単一のシーケンス（例えば、アキシャル２Ｄ原画像と、それに続くサジタル２Ｄ原画像と、それに続くコロナル２Ｄ原画像）で組み合わせ、３つの平面から積み重ねられた画像を使ってトレーニングされた、同じニューラルネットワーク７００に入力する。
［０１６８］
ステップ９３８において、画像変換ユニット４４０は、結果として生じる２Ｄ合成画像を３Ｄ合成画像に集約するように構成されている。そのような集約は、選択された平面に直交する軸に沿って合成画像を積み重ね、３Ｄ合成画像を得る。
［０１６９］
ステップ９４０において、画像変換ユニット４４０は、３Ｄ原画像の全ての平面が処理されたかどうかを決定する。例えば、画像変換ユニット４４０は、所定の３Ｄ画像ボリュームが処理されるまで各平面を処理し続ける。あるいは、画像変換ユニット４４０は、所定数の２Ｄ平面画像が処理されるまで処理を続けてもよい。ステップ９４０で使用された基準に基づいてすべての平面が処理された場合、処理９００Ｂはステップ９４２に続く。すべての平面が処理されていない場合、画像変換ユニット４４０はステップ９３０に戻り、処理のために別の画像平面を選択する。
［０１７０］
各平面の３Ｄ合成画像は３Ｄ画像内の任意の所与のピクセルにピクセル値を提供するので、各ピクセルは３つの異なるピクセル値を有する。したがって、３Ｄ合成画像を組み合わせて最終的な３Ｄ合成画像を決定することができる。ステップ９４２において、画像変換ユニット４４０は最終の３Ｄ合成画像を決定する。画像変換ユニット４４０は、各選択された平面（例えば、アキシャル面、サジタル面、コロナル面）に対応する３Ｄ合成画像を組み合わせる（例えば、当該技術分野で「融合する」として知られているように）ことによって最終的な３Ｄ合成画像を決定する。いくつかの実施形態では、融合された３Ｄ合成画像のボクセルの値は平均値である。例えば、３枚の融合された３Ｄ合成画像がそれぞれ７０、８０、３０のＣＴ値を有する場合、ボクセルは６０の平均ＣＴ値を有する。別の実施例として、上記の例では、中間のボクセル値７０を使用してもよい。ボクセルの値を組み合わせる他の方法を使用してもよく、上記の例は限定的であることを意図しない。このようにして、各解剖学的平面に特有の依存構造情報を最終的な３Ｄ合成画像に組み込むことができる。
［０１７１］
本明細書では、ソフトウェアコードまたは命令として実施または定義することができる様々な動作または機能を説明する。そのようなコンテンツは、直接実行可能の（「オブジェクト」または「実行可能」形式の）ソースコード、または差分コード（「デルタ」または「パッチ」コード）であり得る。本明細書に記載の実施形態のソフトウェア実装は、コードまたは命令を格納した製品を介して、または通信インターフェースを介してデータを送信するように通信インターフェースを動作させる方法を介して、提供することができる。
［０１７２］
機械またはコンピュータ可読記憶媒体は、１つまたは複数の非一時的媒体（例えば、集中型または分散型データベース、および／または関連するキャッシュおよびサーバ）を含むことができる。そのような機械またはコンピュータ可読記憶媒体は、機械に説明された機能または動作を実行させることができるコンピュータ実行可能命令またはデータを記憶することができる。そのような機械またはコンピュータ可読記憶媒体は、記録可能／記録不可能媒体（例えば、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイスなど）のような、機械（例えば、コンピューティング装置、電子システムなど）によってアクセス可能な形式で情報を記憶する任意のメカニズムを含み得る。例えば、「機械可読記憶媒体」または「コンピュータ可読記憶媒体」という用語は、それに限定されるものではないが、固体メモリ、光媒体、および磁気媒体を含むと解釈されるべきである。
［０１７３］
通信インターフェースは、メモリバスインターフェース、プロセッサバスインターフェース、インターネット接続、ディスクコントローラなどのような、他の装置と通信するために、有線、無線、光学などの媒体のいずれかとインターフェースをとる任意の機構を含むことができる。通信インターフェースは、構成パラメータを提供すること、および／または通信インターフェースを準備する信号を送信することによって、ソフトウェアコンテンツを記述するデータ信号を提供することができる。通信インターフェースは、通信インターフェースに送信された１つまたは複数のコマンドまたは信号を介してアクセスすることができる。

Claims (24)

  1. 人体の解剖学的部分の合成撮像データを生成するためのコンピュータ実施方法であって、
    前記方法は、
    前記人体の前記解剖学的部分の原撮像データを受信することであって、前記原撮像データは第１の撮像モダリティを用いて撮像装置によって取得され、前記原撮像データは前記解剖学的部分の第１の撮像モダリティ描写を提供する複数の画像を含むことと、
    前記原撮像データに基づいて前記合成撮像データを予測するためにトレーニングされた畳み込みニューラルネットワークモデルを受信することと、
    前記畳み込みニューラルネットワークモデルの使用を介して前記原撮像データを前記合成撮像データに変換することであって、前記合成撮像データは前記解剖学的部分の第２の撮像モダリティ描写に似ている複数の画像を含み、前記第２の撮像モダリティは前記第１の撮像モダリティと異なることとを有し、
    前記原撮像データを前記合成撮像データに変換することは、
    前記畳み込みニューラルネットワークモデルを用いて、前記原撮像データの前記複数の画像から１つまたはそれ以上の合成画像を生成することと、
    １つまたはそれ以上の生成された合成画像の複数のセットを集約することと、
    前記集約された１つまたはそれ以上の生成された合成画像の複数のセットから前記合成撮像データを決定することと
    を含む
    ことを特徴とする方法。
  2. 請求項１記載の方法において、
    前記第１の撮像モダリティおよび前記第２の撮像モダリティは、磁気共鳴イメージング、コンピュータ断層撮影、超音波イメージング、陽電子放出断層撮影、および単一光子放出コンピュータ断層撮影の群から選択される
    ことを特徴とする方法。
  3. 請求項１記載の方法において、
    前記合成撮像データは、二次元画像のスタックとして提供される前記複数の画像を含む
    ことを特徴とする方法。
  4. 請求項１記載の方法において、
    前記原撮像データは三次元ボリューム内に提供され、前記合成撮像データは三次元ボリューム内に提供される
    ことを特徴とする方法。
  5. 請求項１記載の方法において、
    前記原撮像データを受信することは、前記原撮像データから隣接する二次元画像の複数のスタックを選択することを含み、
    前記１つまたはそれ以上の合成画像を生成することは、前記畳み込みニューラルネットワークモデルを使用して、前記隣接する二次元画像の各スタックから合成二次元画像のスタックを生成することを含む
    ことを特徴とする方法。
  6. 請求項１記載の方法において、
    前記原撮像データを受信することは、三次元撮像データの第１の平面から二次元画像の第１のスタックを生成し、前記三次元撮像データの第２の平面から前記二次元画像の第２のスタックを生成することを含み、
    前記１つまたはそれ以上の合成画像を生成することは、前記畳み込みニューラルネットワークモデルを使用して、前記二次元画像の前記第１のスタックおよび前記第２のスタックから合成二次元画像の第１のスタックおよび第２のスタックを生成することを含む
    ことを特徴とする方法。
  7. 請求項１記載の方法において、
    前記方法は、更に、
    前記第１の撮像モダリティを用いて取得された複数のトレーニングする原画像を受信することと、
    前記第２の撮像モダリティを用いて取得された複数のトレーニングするデスティネーション画像を受信することであって、各トレーニングするデスティネーション画像はトレーニングする原画像に対応することと、
    畳み込みニューラルネットワークアーキテクチャを決定することと、
    前記決定された畳み込みニューラルネットワークアーキテクチャに基づいて、前記トレーニングする原画像と対応するトレーニングするデスティネーション画像を用いて前記畳み込みニューラルネットワークモデルをトレーニングすることと
    を有する
    ことを特徴とする方法。
  8. 請求項７記載の方法において、
    前記畳み込みニューラルネットワークモデルをトレーニングすることは、更に、
    前記畳み込みニューラルネットワークモデルを用いて前記トレーニングする原画像を合成画像に変換することと、
    前記合成画像と前記対応するトレーニングするデスティネーション画像との間の差を決定することと、
    前記差に基づいて前記畳み込みニューラルネットワークモデルのモデルパラメータを更新することとを含む
    ことを特徴とする方法。
  9. 人体の解剖学的部分の原撮像データに基づいて前記解剖学的部分の合成撮像データを生成するためのシステムであって、
    前記システムは、
    前記人体の前記解剖学的部分の原撮像データを受信し、前記原撮像データは第１の撮像モダリティを用いて撮像装置によって取得され、前記原撮像データは前記解剖学的部分の第１の撮像モダリティ描写を提供する複数の画像を含み、そして、
    前記原撮像データに基づいて前記合成撮像データを予測するためにトレーニングされた畳み込みニューラルネットワークモデルを受信するように構成された入力インターフェースと、
    前記原撮像データおよび前記畳み込みニューラルネットワークモデルを記憶するように構成された少なくとも１つの記憶装置と、
    前記畳み込みニューラルネットワークモデルの使用を介して前記原撮像データを前記合成撮像データに変換し、前記合成撮像データは前記解剖学的部分の第２の撮像モダリティ描写に似ている複数の画像を含み、前記第２の撮像モダリティは前記第１の撮像モダリティと異なように構成された画像プロセッサとを有し、
    前記画像プロセッサは、
    前記畳み込みニューラルネットワークモデルを用いて、前記原撮像データの前記複数の画像から１つまたはそれ以上の合成画像を生成し、
    １つまたはそれ以上の生成された合成画像の複数のセットを集約し、
    前記集約された１つまたはそれ以上の生成された合成画像の複数のセットから前記合成撮像データを決定する操作で、
    前記原撮像データを前記合成撮像データに変換するように構成されている
    ことを特徴とするシステム。
  10. 請求項９記載のシステムにおいて、
    前記第１の撮像モダリティおよび前記第２の撮像モダリティは、磁気共鳴イメージング、コンピュータ断層撮影、超音波イメージング、陽電子放出断層撮影、および単一光子放出コンピュータ断層撮影の群の中から選択される
    ことを特徴とするシステム。
  11. 請求項９記載のシステムにおいて、
    前記合成撮像データは、二次元画像のスタックとして提供される前記複数の画像を含む
    ことを特徴とするシステム。
  12. 請求項９記載のシステムにおいて、
    前記原撮像データは三次元ボリューム内に提供され、前記合成撮像データは三次元ボリューム内に提供される
    ことを特徴とするシステム。
  13. 請求項９記載のシステムにおいて、
    前記原撮像データを受信する操作は、前記原撮像データから隣接する二次元画像の複数のスタックを選択する操作を含み、
    前記１つまたはそれ以上の合成画像を生成する操作は、前記畳み込みニューラルネットワークモデルを使用して、前記隣接する二次元画像の各スタックから合成二次元画像のスタックを生成する操作を含む
    ことを特徴とするシステム。
  14. 請求項９記載のシステムにおいて、
    前記原撮像データを受信する操作は、三次元撮像データの第１の平面から二次元画像の第１のスタックを生成し、前記三次元撮像データの第２の平面から前記二次元画像の第２のスタックを生成する操作を含み、
    前記１つまたはそれ以上の合成画像を生成する操作は、前記畳み込みニューラルネットワークモデルを使用して、前記二次元画像の前記第１のスタックおよび前記第２のスタックから合成二次元画像の第１のスタックおよび第２のスタックを生成する操作を含む
    ことを特徴とするシステム。
  15. 請求項９記載のシステムにおいて、
    前記画像プロセッサは、更に、
    前記第１の撮像モダリティを用いて取得された複数のトレーニングする原画像を受信し、
    前記第２の撮像モダリティを用いて取得された複数のトレーニングするデスティネーション画像を受信し、各トレーニングするデスティネーション画像はトレーニングする原画像に対応し、
    畳み込みニューラルネットワークアーキテクチャを決定し、
    前記決定された畳み込みニューラルネットワークアーキテクチャに基づいて、前記トレーニングする原画像と対応するトレーニングするデスティネーション画像を用いて前記畳み込みニューラルネットワークモデルをトレーニングするように構成されている
    ことを特徴とするシステム。
  16. 請求項１５記載のシステムにおいて、
    前記畳み込みニューラルネットワークモデルをトレーニングする操作は、更に、
    前記畳み込みニューラルネットワークモデルを用いて前記トレーニングする原画像を合成画像に変換し、
    前記合成画像と前記対応するトレーニングするデスティネーション画像との間の差を決定し、
    前記差に基づいて前記畳み込みニューラルネットワークモデルのモデルパラメータを更新する操作を含む
    ことを特徴とするシステム。
  17. 少なくとも１つのプロセッサにより実行されたときに、前記少なくとも１つのプロセッサが、人体の解剖学的部分の合成撮像データを生成する方法を実行するような命令を含む非一時的コンピュータ可読媒体であって、
    前記方法は、
    前記人体の前記解剖学的部分の原撮像データを獲得することであって、前記原撮像データは第１の撮像モダリティを用いて撮像装置によって取得され、前記原撮像データは前記解剖学的部分の第１の撮像モダリティ描写を提供する複数の画像を含むことと、
    前記原撮像データに基づいて前記合成撮像データを予測するためにトレーニングされた畳み込みニューラルネットワークモデルを識別することと、
    前記畳み込みニューラルネットワークモデルの使用を介して前記原撮像データを前記合成撮像データに変換することであって、前記合成撮像データは前記解剖学的部分の第２の撮像モダリティ描写に似ている複数の画像を含み、前記第２の撮像モダリティは前記第１の撮像モダリティと異なることとを有し、
    前記原撮像データを前記合成撮像データに変換することは、
    前記畳み込みニューラルネットワークモデルを用いて、前記原撮像データの前記複数の画像から１つまたはそれ以上の合成画像を生成することと、
    １つまたはそれ以上の生成された合成画像の複数のセットを集約することと、
    前記集約された１つまたはそれ以上の生成された合成画像の複数のセットから前記合成撮像データを決定することと
    を含む
    ことを特徴とする非一時的コンピュータ可読媒体。
  18. 請求項１７記載の非一時的コンピュータ可読媒体において、
    前記第１の撮像モダリティおよび前記第２の撮像モダリティは、磁気共鳴イメージング、コンピュータ断層撮影、超音波イメージング、陽電子放出断層撮影、および単一光子放出コンピュータ断層撮影の群から選択される
    ことを特徴とする非一時的コンピュータ可読媒体。
  19. 請求項１７記載の非一時的コンピュータ可読媒体において、
    前記合成撮像データは、二次元画像のスタックとして提供される前記複数の画像を含む
    ことを特徴とする非一時的コンピュータ可読媒体。
  20. 請求項１７記載の非一時的コンピュータ可読媒体において、
    前記原撮像データは三次元ボリューム内に提供され、前記合成撮像データは三次元ボリューム内に提供される
    ことを特徴とする非一時的コンピュータ可読媒体。
  21. 請求項１７記載の非一時的コンピュータ可読媒体において、
    前記原撮像データを獲得することは、前記原撮像データから隣接する二次元画像の複数のスタックを選択することを含み、
    前記１つまたはそれ以上の合成画像を生成することは、前記畳み込みニューラルネットワークモデルを使用して、前記隣接する二次元画像の各スタックから合成二次元画像のスタックを生成することを含む
    ことを特徴とする非一時的コンピュータ可読媒体。
  22. 請求項１７記載の非一時的コンピュータ可読媒体において、
    前記原撮像データを獲得することは、三次元撮像データの第１の平面から二次元画像の第１のスタックを生成し、前記三次元撮像データの第２の平面から前記二次元画像の第２のスタックを生成することを含み、
    前記１つまたはそれ以上の合成画像を生成することは、前記畳み込みニューラルネットワークモデルを使用して、前記二次元画像の前記第１のスタックおよび前記第２のスタックから合成二次元画像の第１のスタックおよび第２のスタックを生成することを含む
    ことを特徴とする非一時的コンピュータ可読媒体。
  23. 請求項１７記載の非一時的コンピュータ可読媒体において、
    前記方法は、
    前記第１の撮像モダリティを用いて取得された複数のトレーニングする原画像を受信することと、
    前記第２の撮像モダリティを用いて取得された複数のトレーニングするデスティネーション画像を受信することであって、各トレーニングするデスティネーション画像はトレーニングする原画像に対応することと、
    畳み込みニューラルネットワークアーキテクチャを決定することと、
    前記決定された畳み込みニューラルネットワークアーキテクチャに基づいて、前記トレーニングする原画像と対応するトレーニングするデスティネーション画像を用いて前記畳み込みニューラルネットワークモデルをトレーニングすることと
    を更に有する命令により実行される
    ことを特徴とする非一時的コンピュータ可読媒体。
  24. 請求項２３記載の非一時的コンピュータ可読媒体において、
    前記畳み込みニューラルネットワークモデルをトレーニングすることは、更に、
    前記畳み込みニューラルネットワークモデルを用いて前記トレーニングする原画像を合成画像に変換することと、
    前記合成画像と前記対応するトレーニングするデスティネーション画像との間の差を決定することと、
    前記差に基づいて前記畳み込みニューラルネットワークモデルのモデルパラメータを更新することと
    を含む
    ことを特徴とする非一時的コンピュータ可読媒体。
JP2020147991A 2016-09-06 2020-09-03 合成医療画像を生成するためのニューラルネットワーク Active JP6960509B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662384171P 2016-09-06 2016-09-06
US62/384,171 2016-09-06
US201662408676P 2016-10-14 2016-10-14
US62/408,676 2016-10-14
JP2019534634A JP6761128B2 (ja) 2016-09-06 2017-07-14 合成医療画像を生成するためのニューラルネットワーク

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019534634A Division JP6761128B2 (ja) 2016-09-06 2017-07-14 合成医療画像を生成するためのニューラルネットワーク

Publications (2)

Publication Number Publication Date
JP2021003564A JP2021003564A (ja) 2021-01-14
JP6960509B2 true JP6960509B2 (ja) 2021-11-05

Family

ID=59582003

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019534634A Active JP6761128B2 (ja) 2016-09-06 2017-07-14 合成医療画像を生成するためのニューラルネットワーク
JP2020147991A Active JP6960509B2 (ja) 2016-09-06 2020-09-03 合成医療画像を生成するためのニューラルネットワーク

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019534634A Active JP6761128B2 (ja) 2016-09-06 2017-07-14 合成医療画像を生成するためのニューラルネットワーク

Country Status (7)

Country Link
US (3) US10867417B2 (ja)
EP (1) EP3509696A1 (ja)
JP (2) JP6761128B2 (ja)
CN (2) CN113822960A (ja)
AU (1) AU2017324069B2 (ja)
RU (1) RU2698997C1 (ja)
WO (1) WO2018048507A1 (ja)

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10027816B2 (en) * 2016-08-03 2018-07-17 Pindrop Security, Inc. Call authentication using call forwarding
US10867417B2 (en) 2016-09-06 2020-12-15 Elekta, Inc. Neural network for generating synthetic medical images
WO2018082084A1 (zh) * 2016-11-07 2018-05-11 中国科学院自动化研究所 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法
WO2018173121A1 (ja) * 2017-03-21 2018-09-27 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ サーバ装置、学習済モデル提供プログラム、学習済モデル提供方法及び学習済モデル提供システム
US10699412B2 (en) * 2017-03-23 2020-06-30 Petuum Inc. Structure correcting adversarial network for chest X-rays organ segmentation
US11273553B2 (en) * 2017-06-05 2022-03-15 Autodesk, Inc. Adapting simulation data to real-world conditions encountered by physical processes
US11517768B2 (en) * 2017-07-25 2022-12-06 Elekta, Inc. Systems and methods for determining radiation therapy machine parameter settings
US10753997B2 (en) * 2017-08-10 2020-08-25 Siemens Healthcare Gmbh Image standardization using generative adversarial networks
CN107688783B (zh) * 2017-08-23 2020-07-07 京东方科技集团股份有限公司 3d图像检测方法、装置、电子设备及计算机可读介质
US10803984B2 (en) * 2017-10-06 2020-10-13 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing system
US11517197B2 (en) * 2017-10-06 2022-12-06 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction
DE102017126158A1 (de) * 2017-11-08 2019-05-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Ultraschall-Bilderzeugungssystem
US10762620B2 (en) 2017-11-27 2020-09-01 Nvidia Corporation Deep-learning method for separating reflection and transmission images visible at a semi-reflective surface in a computer image of a real-world scene
US11270161B2 (en) 2017-11-27 2022-03-08 Nvidia Corporation Deep-learning method for separating reflection and transmission images visible at a semi-reflective surface in a computer image of a real-world scene
US10755407B2 (en) * 2018-01-30 2020-08-25 General Electric Company Systems and methods for capturing deep learning training data from imaging systems
US11880962B2 (en) * 2018-02-15 2024-01-23 General Electric Company System and method for synthesizing magnetic resonance images
US11088750B2 (en) * 2018-02-16 2021-08-10 Qualcomm Incorporated Feedback of beam switch time capability
US11589834B2 (en) * 2018-03-07 2023-02-28 Rensselaer Polytechnic Institute Deep neural network for CT metal artifact reduction
JP7023162B2 (ja) 2018-04-03 2022-02-21 富士フイルム株式会社 予測装置、予測方法、及び予測プログラム
EP3550515A1 (en) * 2018-04-05 2019-10-09 Siemens Healthcare GmbH Cross-modality image synthesis
US10657410B2 (en) * 2018-04-13 2020-05-19 Siemens Healthcare Gmbh Method and system for abnormal tissue detection using z-scores in a joint histogram
BR112020021311A2 (pt) * 2018-04-19 2021-01-19 Subtle Medical, Inc. Sistemas e métodos para aperfeiçoar a formação de imagem de ressonância magnética pela utilização de aprendizagem profunda
US11435460B2 (en) * 2018-05-07 2022-09-06 Fujifilm Sonosite, Inc. Ultrasound imaging system with style transfer image enhancement
JP7014044B2 (ja) * 2018-05-15 2022-02-01 コニカミノルタ株式会社 超音波診断装置
EP3572822B1 (en) * 2018-05-23 2022-03-09 RaySearch Laboratories AB Medical image conversion
US20210110520A1 (en) * 2018-05-25 2021-04-15 Vidur MAHAJAN Method and system for simulating and constructing original medical images from one modality to other modality
KR102096388B1 (ko) * 2018-06-05 2020-04-06 네이버 주식회사 모바일 환경에서 실시간 추론이 가능한 ｄｎｎ 구성을 위한 최적화 기법
CN108737750A (zh) 2018-06-07 2018-11-02 北京旷视科技有限公司 图像处理方法、装置及电子设备
EP3582227A1 (de) * 2018-06-15 2019-12-18 Siemens Healthcare GmbH Verfahren zum betrieb einer medizinischen bildaufnahmeeinrichtung, bildaufnahmeeinrichtung, computerprogramm und elektronisch lesbarer datenträger
US11756160B2 (en) 2018-07-27 2023-09-12 Washington University ML-based methods for pseudo-CT and HR MR image estimation
WO2020028257A2 (en) 2018-07-30 2020-02-06 Hyperfine Research, Inc. Deep learning techniques for magnetic resonance image reconstruction
EP3834135A4 (en) * 2018-08-07 2022-05-04 BlinkAI Technologies, Inc. IMAGE ENHANCEMENT ARTIFICIAL INTELLIGENCE TECHNIQUES
EP4273793A3 (en) 2018-08-15 2023-12-20 Hyperfine, Inc. Deep learning techniques for suppressing artefacts in magnetic resonance images
WO2020035864A1 (en) * 2018-08-16 2020-02-20 Technion Research & Development Foundation Limited Systems and methods for ultrasonic imaging
JP7174568B2 (ja) * 2018-08-17 2022-11-17 日本放送協会 超解像装置およびそのプログラム
CN109124669A (zh) * 2018-08-30 2019-01-04 沈阳柏敖生信生物科技有限公司 一种整形前ct数据测量方法
JP6746160B1 (ja) * 2018-09-12 2020-08-26 株式会社Ｓｐｌｉｎｋ 診断支援システムおよび方法
US11475991B2 (en) * 2018-09-28 2022-10-18 Varian Medical Systems International Ag Methods and systems for adaptive radiotherapy treatment planning using deep learning engines
US20200104695A1 (en) * 2018-09-28 2020-04-02 Varian Medical Systems International Ag Methods and systems for radiotherapy treatment planning using deep learning engines
JP7098498B2 (ja) * 2018-10-01 2022-07-11 富士フイルム株式会社 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム
JP7129869B2 (ja) * 2018-10-01 2022-09-02 富士フイルム株式会社 疾患領域抽出装置、方法及びプログラム
EP3633622A1 (en) 2018-10-02 2020-04-08 Koninklijke Philips N.V. Generation of pseudo radiographic images from optical images
US20210346720A1 (en) * 2018-10-10 2021-11-11 Washington University Image deformation methods and curved couch for radiotherapy treatment planning
JP7097794B2 (ja) * 2018-10-18 2022-07-08 富士フイルム医療ソリューションズ株式会社 情報処理システム及び情報処理方法
GB201817049D0 (en) * 2018-10-19 2018-12-05 Mirada Medical Ltd System and method for automatic delineation of medical images
US11083913B2 (en) * 2018-10-25 2021-08-10 Elekta, Inc. Machine learning approach to real-time patient motion monitoring
US10835761B2 (en) 2018-10-25 2020-11-17 Elekta, Inc. Real-time patient motion monitoring using a magnetic resonance linear accelerator (MR-LINAC)
KR20200052441A (ko) * 2018-10-29 2020-05-15 삼성전자주식회사 뉴럴 네트워크를 이용하여 3d 미세구조를 생성하는 방법 및 장치
TW202023489A (zh) * 2018-11-08 2020-07-01 美商外科劇院有限責任公司 用於光學追蹤之系統及方法
WO2020123788A1 (en) 2018-12-14 2020-06-18 The Board Of Trustees Of The Leland Stanford Junior University Qualitative and quantitative mri using deep learning
KR20200075623A (ko) * 2018-12-18 2020-06-26 (주)제노레이 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치 및 방법
US11354791B2 (en) * 2018-12-19 2022-06-07 General Electric Company Methods and system for transforming medical images into different styled images with deep neural networks
US11013936B2 (en) 2018-12-21 2021-05-25 Varian Medical Systems International Ag Methods and systems for generating dose estimation models for radiotherapy treatment planning
US20220051781A1 (en) * 2018-12-21 2022-02-17 Varian Medical Systems International Ag Methods and systems for radiotherapy treatment planning based on deep transfer learning
TWI697010B (zh) * 2018-12-28 2020-06-21 國立成功大學 醫療矢面影像的取得方法、神經網路的訓練方法及計算機裝置
US20200281570A1 (en) * 2019-01-17 2020-09-10 Canon Medical Systems Corporaion Apparatus
WO2020155137A1 (en) * 2019-02-02 2020-08-06 Shanghai United Imaging Healthcare Co., Ltd. Radiation therapy system and method
JP7237624B2 (ja) * 2019-02-07 2023-03-13 浜松ホトニクス株式会社 画像処理装置および画像処理方法
EP3933764A4 (en) * 2019-02-28 2022-04-27 FUJIFILM Corporation AREA DETERMINATION DEVICE, METHOD, PROGRAM, LEARNING DEVICE, METHOD, PROGRAM AND IDENTIFICATION DEVICE
JP7387270B2 (ja) 2019-03-06 2023-11-28 キヤノンメディカルシステムズ株式会社 医用画像処理装置、学習方法、ｘ線診断装置、医用画像処理方法、およびプログラム
KR20210141550A (ko) 2019-03-14 2021-11-23 하이퍼파인, 인크. 공간 주파수 데이터로부터 자기 공명 이미지를 생성하기 위한 딥 러닝 기법
WO2020198854A1 (en) * 2019-03-29 2020-10-08 Polyvalor, Limited Partnership Method and system for producing medical images
JP2020170408A (ja) * 2019-04-04 2020-10-15 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
EP3726460B1 (en) * 2019-04-06 2023-08-23 Kardiolytics Inc. Autonomous segmentation of contrast filled coronary artery vessels on computed tomography images
EP3958965A4 (en) * 2019-04-26 2023-01-11 Spectronic AB GENERATION OF SYNTHETIC ELECTRON DENSITY IMAGES FROM MAGNETIC RESONANCE IMAGES
JP7242410B2 (ja) * 2019-04-26 2023-03-20 キヤノンメディカルシステムズ株式会社 医用画像処理装置、ｘ線ｃｔ装置及び学習用データの生成方法
WO2020246996A1 (en) * 2019-06-06 2020-12-10 Elekta, Inc. Sct image generation using cyclegan with deformable layers
US11067786B2 (en) * 2019-06-07 2021-07-20 Leica Microsystems Inc. Artifact regulation methods in deep model training for image transformation
EP3754558A1 (en) * 2019-06-20 2020-12-23 Koninklijke Philips N.V. Method and system for generating a synthetic elastrography image
US11200456B2 (en) 2019-07-31 2021-12-14 GE Precision Healthcare LLC Systems and methods for generating augmented training data for machine learning models
US11040221B2 (en) 2019-08-13 2021-06-22 Elekta Ltd. Adaptive radiation therapy using composite imaging slices
BR112022003391A2 (pt) * 2019-08-23 2022-05-17 Subtle Medical Inc Sistemas e métodos para a tomografia precisa e rápida de emissão de positron utilizando o aprendizado pro-fundo
JP7170602B2 (ja) * 2019-08-27 2022-11-14 富士フイルム富山化学株式会社 学習データ作成装置及び方法、並びに機械学習装置及び方法
EP4031895A1 (en) 2019-09-18 2022-07-27 Bayer Aktiengesellschaft System, method, and computer program product for predicting, anticipating, and/or assessing tissue characteristics
ES2955349T3 (es) * 2019-09-18 2023-11-30 Bayer Ag Predicción de imágenes MRI mediante un modelo de predicción entrenado por aprendizaje supervisado
US11557038B2 (en) 2019-10-17 2023-01-17 Electronics And Telecommunications Research Institute Apparatus and method for x-ray data generation
RU2716914C1 (ru) * 2019-10-22 2020-03-17 Федеральное государственное бюджетное образовательное учреждение высшего образования "Юго-Западный государственный университет" (ЮЗГУ) Способ автоматической классификации рентгеновских изображений с использованием масок прозрачности
CN110895320B (zh) * 2019-10-31 2021-12-24 清华大学 基于深度学习的无变形单次激发平面回波成像方法及装置
CN110852325B (zh) * 2019-10-31 2023-03-31 上海商汤智能科技有限公司 图像的分割方法及装置、电子设备和存储介质
US11145042B2 (en) * 2019-11-12 2021-10-12 Palo Alto Research Center Incorporated Using convolutional neural network style transfer to automate graphic design creation
WO2021100906A1 (ko) * 2019-11-20 2021-05-27 오주영 심층신경망을 이용한 가상 엑스레이 영상 표시 방법
US11424037B2 (en) 2019-11-22 2022-08-23 International Business Machines Corporation Disease simulation in medical images
US11596807B2 (en) * 2019-11-25 2023-03-07 Accuray Incorporated Partial deformation maps for reconstructing motion-affected treatment dose
CN111105472B (zh) * 2019-11-26 2024-03-22 上海联影智能医疗科技有限公司 Pet图像的衰减校正方法、装置、计算机设备和存储介质
US20230010686A1 (en) * 2019-12-05 2023-01-12 The Regents Of The University Of California Generating synthetic patient health data
JP7483361B2 (ja) * 2019-12-06 2024-05-15 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像診断装置および医用画像処理プログラム
KR102530103B1 (ko) * 2020-01-17 2023-05-09 재단법인대구경북과학기술원 X-ray 영상 합성을 위한 장치 및 그 방법
US11348243B2 (en) 2020-01-24 2022-05-31 GE Precision Healthcare LLC Systems and methods for medical image style transfer using deep neural networks
US11077320B1 (en) 2020-02-07 2021-08-03 Elekta, Inc. Adversarial prediction of radiotherapy treatment plans
JPWO2021171394A1 (ja) * 2020-02-26 2021-09-02
JP7323885B2 (ja) * 2020-03-04 2023-08-09 株式会社Kompath 画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラム
CN113359076B (zh) * 2020-03-06 2022-09-27 上海联影医疗科技股份有限公司 磁共振成像方法、装置、计算机设备和存储介质
US11562482B2 (en) * 2020-03-30 2023-01-24 Varian Medical Systems International Ag Systems and methods for pseudo image data augmentation for training machine learning models
CN111583303A (zh) * 2020-05-09 2020-08-25 江苏瑞尔医疗科技有限公司 基于mri图像生成伪ct图像的系统及方法
WO2021236306A1 (en) * 2020-05-22 2021-11-25 Virginia Commonwealth University Synthetic ct using mri
CN111915555A (zh) * 2020-06-19 2020-11-10 杭州深睿博联科技有限公司 一种3d网络模型预训练方法、系统、终端及存储介质
WO2022011023A1 (en) * 2020-07-07 2022-01-13 The General Hospital Corporation Determining a clinical parameter via evaluation of sequential medical images
CN111915733B (zh) * 2020-08-11 2022-10-25 天津大学 基于LeNet网络的三维锥束X射线发光断层成像方法
CN111931772B (zh) * 2020-09-18 2021-02-09 平安科技（深圳）有限公司 医学图像处理方法、装置、设备及存储介质
CN112233125B (zh) * 2020-10-15 2023-06-02 平安科技（深圳）有限公司 图像分割方法、装置、电子设备及计算机可读存储介质
WO2022106302A1 (en) 2020-11-20 2022-05-27 Bayer Aktiengesellschaft Representation learning
WO2022120762A1 (zh) * 2020-12-10 2022-06-16 中国科学院深圳先进技术研究院 多模态医学图像生成方法和装置
EP4019084A1 (en) * 2020-12-22 2022-06-29 Koninklijke Philips N.V. Planning apparatus for planning a radiation therapy
WO2022163402A1 (ja) * 2021-01-26 2022-08-04 富士フイルム株式会社 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置
WO2022179896A2 (en) 2021-02-26 2022-09-01 Bayer Aktiengesellschaft Actor-critic approach for generating synthetic images
US11908047B2 (en) * 2021-03-11 2024-02-20 Siemens Healthineers Ag Generating synthetic x-ray images and object annotations from CT scans for augmenting x-ray abnormality assessment systems
KR102514709B1 (ko) * 2021-03-12 2023-03-29 한국과학기술원 두 단계 비지도 학습 기반 뉴럴 네트워크를 이용한 3차원 비행시간 자기공명혈관영상 처리 방법 및 그 장치
KR102320431B1 (ko) * 2021-04-16 2021-11-08 주식회사 휴런 의료 영상 기반 종양 검출 및 진단 장치
US11989871B2 (en) 2021-06-02 2024-05-21 Canon Medical Systems Corporation Model training apparatus and method
US11823399B2 (en) * 2021-06-16 2023-11-21 Siemens Medical Solutions Usa, Inc. Multi-scan image processing
WO2023279188A1 (en) * 2021-07-08 2023-01-12 Elekta Limited Quality factor using reconstructed images
RU2768544C1 (ru) * 2021-07-16 2022-03-24 Общество С Ограниченной Ответственностью "Инновационный Центр Философия.Ит" Способ распознавания текста на изображениях документов
WO2023054089A1 (ja) * 2021-10-01 2023-04-06 ソニーグループ株式会社 映像処理システム、並びに、医療情報処理システムおよび動作方法
CN113962984A (zh) * 2021-11-15 2022-01-21 北京航空航天大学 基于深度学习算法的质子ct成像方法、装置和电子设备
WO2023129630A1 (en) * 2021-12-30 2023-07-06 Memorial Sloan-Kettering Cancer Center Systems and methods for magnetic resonance fingerprinting with increased volumetric coverage using deep learning reconstruction
EP4210069A1 (en) 2022-01-11 2023-07-12 Bayer Aktiengesellschaft Synthetic contrast-enhanced ct images
CN114513662B (zh) * 2022-04-19 2022-06-17 北京云中融信网络科技有限公司 一种qp自适应环内滤波方法、系统、电子设备及存储介质
CN114796901A (zh) * 2022-05-30 2022-07-29 北京大学第一医院 一种腰骶神经根的自动勾画方法、设备及存储介质
JP2023176256A (ja) * 2022-05-31 2023-12-13 楽天グループ株式会社 画像からデータを予測する方法、コンピュータシステム、及びコンピュータ可読媒体
WO2024107695A1 (en) * 2022-11-16 2024-05-23 Subtle Medical, Inc. Systems and methods for arbitrary level contrast dose simulation in mri
KR102593628B1 (ko) * 2023-07-10 2023-10-24 주식회사 뉴큐어엠 고품질 의료 영상 생성 방법 및 시스템
CN116977471B (zh) * 2023-08-04 2024-06-07 广州柏视医疗科技有限公司 一种生成合成计算机断层扫描图像的方法和设备
KR102631389B1 (ko) * 2023-11-13 2024-01-30 주식회사 뉴큐어엠 Ct 영상 기반의 mri 영상 생성 방법 및 시스템

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3770280B2 (ja) * 1996-03-29 2006-04-26 株式会社日立メディコ 三次元画像の表示方法及び装置
US6819790B2 (en) * 2002-04-12 2004-11-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
EP2457216B1 (en) 2009-07-20 2017-11-08 Koninklijke Philips N.V. Anatomy modeling for tumor region of interest definition
US8774482B2 (en) * 2010-05-20 2014-07-08 Siemens Aktiengesellschaft Generating pseudo-CT image volumes from ultra-short echo time MR
RU2587427C2 (ru) * 2010-07-30 2016-06-20 Конинклейке Филипс Электроникс Н.В. Улучшающий фильтр для конкретного органа для надежной сегментации медицинских изображений
US20130208964A1 (en) 2010-10-25 2013-08-15 Koninklijke Philips Electronics N.V. System for the segmentation of a medical image
US9256965B2 (en) 2013-01-30 2016-02-09 Impac Medical Systems, Inc. Method and apparatus for generating a derived image using images of different types
US9412076B2 (en) 2013-07-02 2016-08-09 Surgical Information Sciences, Inc. Methods and systems for a high-resolution brain image pipeline and database program
JP6378778B2 (ja) * 2014-03-28 2018-08-22 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 組織種類分離の助けを借りて磁気共鳴画像に基づき１つ以上のコンピュータ断層撮影画像を生成する方法及び装置
CN106462948B (zh) * 2014-04-01 2019-06-25 皇家飞利浦有限公司 一种估计伪亨氏单位值的方法
US10149987B2 (en) 2014-05-04 2018-12-11 Spectronic Ab Method and system for generating synthetic electron density information for dose calculations based on MRI
US9740710B2 (en) 2014-09-02 2017-08-22 Elekta Inc. Systems and methods for segmenting medical images based on anatomical landmark-based features
US9922272B2 (en) * 2014-09-25 2018-03-20 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images
KR102328269B1 (ko) * 2014-10-23 2021-11-19 삼성전자주식회사 초음파 영상 장치 및 그 제어 방법
US9349178B1 (en) 2014-11-24 2016-05-24 Siemens Aktiengesellschaft Synthetic data-driven hemodynamic determination in medical imaging
WO2016092394A1 (en) 2014-12-10 2016-06-16 Koninklijke Philips N.V. Systems and methods for translation of medical imaging using machine learning
US10867417B2 (en) 2016-09-06 2020-12-15 Elekta, Inc. Neural network for generating synthetic medical images
CN107920279B (zh) 2016-10-08 2020-03-20 华为技术有限公司 评估视频质量的方法和设备
US10916001B2 (en) * 2016-11-28 2021-02-09 Adobe Inc. Facilitating sketch to painting transformations
US11449757B2 (en) * 2017-05-16 2022-09-20 Sightline Innovation Inc. Neural network system for non-destructive optical coherence tomography

Also Published As

Publication number Publication date
CN113822960A (zh) 2021-12-21
US20240185477A1 (en) 2024-06-06
AU2017324069B2 (en) 2019-12-19
EP3509696A1 (en) 2019-07-17
RU2698997C1 (ru) 2019-09-02
US20190362522A1 (en) 2019-11-28
JP2019534763A (ja) 2019-12-05
AU2017324069A1 (en) 2019-05-02
US11954761B2 (en) 2024-04-09
JP2021003564A (ja) 2021-01-14
CN110234400A (zh) 2019-09-13
WO2018048507A1 (en) 2018-03-15
CN110234400B (zh) 2021-09-07
JP6761128B2 (ja) 2020-09-23
US10867417B2 (en) 2020-12-15
US20210056734A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
JP6960509B2 (ja) 合成医療画像を生成するためのニューラルネットワーク
US20240075315A1 (en) System and method for learning models of radiotherapy treatment plans to predict radiotherapy dose distributions
US11547874B2 (en) Machine learning approach to real-time patient motion monitoring
US11491348B2 (en) Real-time patient motion monitoring using a magnetic resonance linear accelerator (MRLINAC)
US11699281B2 (en) Image synthesis using adversarial networks such as for radiation therapy
CN116391234A (zh) 放射治疗的注量图的机器学习优化

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210921

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211011

R150 Certificate of patent or registration of utility model

Ref document number: 6960509

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150