JP7206073B2 - 医用画像処理装置、医用画像生成装置、医用画像処理方法、およびプログラム - Google Patents

医用画像処理装置、医用画像生成装置、医用画像処理方法、およびプログラム Download PDF

Info

Publication number
JP7206073B2
JP7206073B2 JP2018154590A JP2018154590A JP7206073B2 JP 7206073 B2 JP7206073 B2 JP 7206073B2 JP 2018154590 A JP2018154590 A JP 2018154590A JP 2018154590 A JP2018154590 A JP 2018154590A JP 7206073 B2 JP7206073 B2 JP 7206073B2
Authority
JP
Japan
Prior art keywords
data
medical image
cartesian
layer
cartesian data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018154590A
Other languages
English (en)
Other versions
JP2020028371A (ja
Inventor
秀則 竹島
正生 油井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2018154590A priority Critical patent/JP7206073B2/ja
Priority to US16/543,669 priority patent/US11416984B2/en
Publication of JP2020028371A publication Critical patent/JP2020028371A/ja
Application granted granted Critical
Publication of JP7206073B2 publication Critical patent/JP7206073B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/4818MR characterised by data acquisition along a specific k-space trajectory or by the temporal order of k-space coverage, e.g. centric or segmented coverage of k-space
    • G01R33/4824MR characterised by data acquisition along a specific k-space trajectory or by the temporal order of k-space coverage, e.g. centric or segmented coverage of k-space using a non-Cartesian trajectory
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01TMEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16Measuring radiation intensity
    • G01T1/20Measuring radiation intensity with scintillation detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/06Diaphragms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01TMEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16Measuring radiation intensity
    • G01T1/161Applications in the field of nuclear medicine, e.g. in vivo counting
    • G01T1/164Scintigraphy
    • G01T1/1641Static instruments for imaging the distribution of radioactivity in one or two dimensions using one or several scintillating elements; Radio-isotope cameras
    • G01T1/1645Static instruments for imaging the distribution of radioactivity in one or two dimensions using one or several scintillating elements; Radio-isotope cameras using electron optical imaging means, e.g. image intensifier tubes, coordinate photomultiplier tubes, image converter
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Pulmonology (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明の実施形態は、医用画像処理装置、医用画像生成装置、医用画像処理方法、およびプログラムに関する。
オートマップ(AUTO MAP)と呼ばれるディープニューラルネットワークを利用して、医用画像を再構成する技術が知られている。
従来の技術では、ノンカルテシアンデータの再構成に必要な演算をすべてディープニューラルネットワークに学習させるため、医用画像の再構成の精度が十分でなく、再構成によって生成される医用画像の画質が良好でない場合があった。
Bo Zhu, Jeremiah Z. Liu, Stephen F. Cauley, Bruce R. Rosen and Matthew S. Rosen. "Image reconstruction by domain-transform manifold learning." Nature volume 555, pages 487-492 (22 March 2018): doi:10.1038/nature25988
本発明が解決しようとする課題は、画質が良好な医用画像を再構成によって生成することである。
実施形態の医用画像処理装置は、取得部と、第1処理部と、第2処理部とを備える。取得部は、被検体からノンカルテシアンデータを取得する。第1処理部は、前記取得部によって取得されたノンカルテシアンデータと、複数の係数集合の其々との積和を導出し、前記係数集合ごとに導出した積和が要素値として対応付けられた複数の要素を含むカルテシアンデータを生成する。第2処理部は、前記第1処理部によって生成されたカルテシアンデータに基づいて、前記被検体の少なくとも一部が撮像された医用画像を再構成によって生成する。
第1の実施形態に係る医用画像処理装置200を含む医用画像処理システム1の構成の一例を示す図。 第1の実施形態に係る医用画像生成装置100の一例を示す図。 k空間データDkの一例を示す図。 k空間データDkの一例を示す図。 k空間データDkの一例を示す図。 第1の実施形態に係る医用画像処理装置200の一例を示す図。 第1の実施形態における医用画像再構成モデル300の一例を示す図。 積和係数情報234の一例を示す図。 係数列Cとの積和演算を模式的に示す図。 本実施形態における処理回路210の一連の処理の流れを示すフローチャート。 第1の実施形態に係る医用画像生成装置100の他の例を示す図。 第2の実施形態における医用画像再構成モデル300の一例を示す図。 第2の実施形態における医用画像再構成モデル300の他の例を示す図。 ノンカルテシアンk空間データDkの非線形性を説明するための図。 第3の実施形態における医用画像再構成モデル300の一例を示す図。 第4の実施形態に係る医用画像生成装置100Aの一例を示す図。 第4の実施形態における医用画像再構成モデル300の一例を示す図。
以下、図面を参照しながら、医用画像処理装置、医用画像生成装置、医用画像処理方法、およびプログラムの実施形態について詳細に説明する。
(第1の実施形態)
図1は、第1の実施形態に係る医用画像処理装置200を含む医用画像処理システム1の構成の一例を示す図である。例えば、図1に示すように、医用画像処理システム1は、医用画像生成装置100と、医用画像処理装置200とを備える。医用画像生成装置100および医用画像処理装置200は、ネットワークNWを介して接続される。ネットワークNWは、例えば、WAN(Wide Area Network)やLAN(Local Area Network)、インターネット、専用回線、無線基地局、プロバイダなどを含む。
医用画像生成装置100は、例えば、MRI(Magnetic Resonance Imaging)装置や、CT(Computed Tomography)装置などを含む。MRI装置は、例えば、被検体(例えば人体)に磁場を与えて、核磁気共鳴現象によって被検体内の水素原子核から発生する電磁波を、コイルを利用して受信し、その受信した電磁波に基づく信号を再構成することで医用画像(MR画像)を生成する装置である。CT装置は、例えば、被検体の周囲を回転するX線管から被検体にX線を照射すると共に、その被検体を通過したX線を検出し、検出したX線に基づく信号を再構成することで医用画像(CT画像)を生成する装置である。以下の説明では、一例として医用画像生成装置100がMRI装置であるものとして説明する。
医用画像処理装置200は、一つまたは複数のプロセッサにより実現される。例えば、医用画像処理装置200は、クラウドコンピューティングシステムに含まれるコンピュータであってもよいし、他の機器に依存せずに単独で動作するコンピュータ(スタンドアローンのコンピュータ)であってもよい。
[医用画像生成装置(MRI装置)の構成例]
図2は、第1の実施形態に係る医用画像生成装置100の一例を示す図である。図2に示すように、医用画像生成装置100は、静磁場磁石101と、傾斜磁場コイル102と、傾斜磁場電源103と、寝台104と、寝台制御回路105と、送信コイル106と、送信回路107と、受信コイル108と、受信回路109と、シーケンス制御回路110と、コンソール装置120とを備える。
静磁場磁石101は、中空の略円筒形状に形成された磁石であり、内部の空間に一様な静磁場を発生させる。静磁場磁石101は、例えば、永久磁石や超伝導磁石などである。傾斜磁場コイル102は、中空の略円筒形状に形成されたコイルであり、静磁場磁石101の内側に配置される。傾斜磁場コイル102は、互いに直交するx,y,zの各軸に対応する3つのコイルが組み合わされて形成される。z軸方向は、寝台104の天板104aの長手方向を表し、x軸方向は、z軸方向に直交し、医用画像生成装置100が設置される部屋の床面に対して平行である軸方向を表し、y軸方向は、床面に対して垂直方向である軸方向を表している。各軸方向に対応した3つのコイルは、傾斜磁場電源103から個別に電流を受けて、x,y,zの各軸に沿って磁場強度が変化する傾斜磁場を発生させる。なお、z軸方向は、静磁場と同方向とする。
傾斜磁場電源103は、傾斜磁場コイル102に電流を供給する。ここで、傾斜磁場コイル102によって発生するx,y,zの各軸の傾斜磁場は、例えば、スライス選択用傾斜磁場Gs、位相エンコード用傾斜磁場Ge、及びリードアウト用傾斜磁場Grにそれぞれ対応する。スライス選択用傾斜磁場Gsは、任意に撮像断面を決めるために利用される。位相エンコード用傾斜磁場Geは、空間的位置に応じて磁気共鳴信号の位相を変化させるために利用される。リードアウト用傾斜磁場Grは、空間的位置に応じて磁気共鳴信号の周波数を変化させるために利用される。
寝台104は、被検体OBが載置される天板104aを備え、寝台制御回路105による制御のもと、天板104aを、被検体OBが載置された状態で傾斜磁場コイル102の空洞(撮像口)内へ挿入する。通常、寝台104は、長手方向が静磁場磁石101の中心軸と平行になるように設置される。寝台制御回路105は、コンソール装置120による制御のもと、寝台104を駆動して天板104aを長手方向及び上下方向へ移動する。
送信コイル106は、傾斜磁場コイル102の内側に配置され、送信回路107からRF(Radio Frequency)パルスの供給を受けて、高周波磁場を発生する。送信回路107は、対象とする原子核の種類及び磁場の強度で決まるラーモア周波数に対応するRFパルスを送信コイル106に供給する。
受信コイル108は、傾斜磁場コイル102の内側に配置され、高周波磁場の影響によって被検体OBから発せられる磁気共鳴信号を受信する。受信コイル108は、磁気共鳴信号を受信すると、受信した磁気共鳴信号を受信回路109へ出力する。なお、第1の実施形態において、受信コイル108は、1以上、典型的には複数の受信コイルを有するコイルアレイである。以下、受信コイルがコイルアレイ(マルチコイル)である場合、そのアレイを構成する各コイルを、コイルエレメントと称して説明する。
受信回路109は、受信コイル108から出力される磁気共鳴信号に基づいて磁気共鳴データを生成する。具体的には、受信回路109は、受信コイル108から出力されるアナログ信号の磁気共鳴信号をフーリエ変換することによって、デジタル信号である磁気共鳴データを生成する。また、受信回路109は、生成した磁気共鳴データをシーケンス制御回路110へ送信する。なお、受信回路109は、静磁場磁石101や傾斜磁場コイル102等を備える架台装置側に備えられていてもよい。受信コイル108の各コイルエレメントから出力される磁気共鳴信号は、適宜分配合成されることで受信回路109に出力される。受信コイル108および受信回路109は、「生成部」の一例である。
シーケンス制御回路110は、コンソール装置120から送信されるシーケンス情報に基づいて、傾斜磁場電源103、送信回路107及び受信回路109を駆動することによって、被検体OBを撮像する。シーケンス情報は、撮像処理を行うための手順を定義した情報である。シーケンス情報には、傾斜磁場電源103が傾斜磁場コイル102に供給する電源の強さや電源を供給するタイミング、送信回路107が送信コイル106に送信するRFパルスの強さやRFパルスを印加するタイミング、受信回路109が磁気共鳴信号を検出するタイミング等が定義された情報が含まれる。
なお、シーケンス制御回路110は、傾斜磁場電源103、送信回路107及び受信回路109を駆動して被検体OBを撮像し、受信回路109から磁気共鳴データを受信すると、受信した磁気共鳴データをコンソール装置120へ転送する。
コンソール装置120は、医用画像生成装置100の全体を制御したり、磁気共鳴データを収集したりする。例えば、コンソール装置120は、通信インターフェース122と、入力インターフェース124と、ディスプレイ126と、処理回路130と、メモリ(ストレージ)150とを備える。
通信インターフェース122は、例えば、NIC(Network Interface Card)などの通信インターフェースを含む。通信インターフェース122は、ネットワークNWを介して医用画像処理装置200と通信し、医用画像処理装置200から情報を受信する。通信インターフェース122は、受信した情報を処理回路130に出力する。また、通信インターフェース122は、処理回路130による制御を受けて、ネットワークNWを介して接続された他の装置に情報を送信してもよい。
入力インターフェース124は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路130に出力する。例えば、入力インターフェース124は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパネルなどにより実現される。また、入力インターフェース124は、例えば、マイクなどの音声入力を受け付けるユーザインターフェースによって実現されてもよい。入力インターフェース124がタッチパネルである場合、後述するディスプレイ126は入力インターフェース124と一体として形成されてよい。
ディスプレイ126は、各種の情報を表示する。例えば、ディスプレイ126は、処理回路130によって生成された画像を表示したり、操作者からの各種の入力操作を受け付けるためのGUI(Graphical User Interface)などを表示したりする。例えば、ディスプレイ126は、LCD(Liquid Crystal Display)や、CRT(Cathode Ray Tube)ディスプレイ、有機EL(Electroluminescence)ディスプレイなどである。
処理回路130は、例えば、取得機能132と、通信制御機能134とを実行する。これらの機能(構成要素)は、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等のハードウェアプロセッサ(あるいはプロセッサ回路)が、メモリ150に記憶されたプログラム(ソフトウェア)を実行することにより実現される。また、処理回路130の機能の一部または全部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等のハードウェア(回路部:circuitry)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、上記のプログラムは、予めメモリ150に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がコンソール装置120のドライブ装置に装着されることで記憶媒体からメモリ150にインストールされてもよい。
メモリ150は、例えば、RAM(Random Access Memory)、フラッシュメモリなどの半導体メモリ素子、ハードディスク、光ディスクなどによって実現される。これらの非一過性の記憶媒体は、NAS(Network Attached Storage)や外部ストレージサーバ装置といったネットワークNWを介して接続される他の記憶装置によって実現されてもよい。また、メモリ150には、ROM(Read Only Memory)やレジスタなどの一過性の記憶媒体が含まれてもよい。
取得機能132は、シーケンス制御回路110から磁気共鳴データを取得する。磁気共鳴データは、上述したように、核磁気共鳴現象によって被検体OB内において発生した電磁波の信号(核磁気共鳴信号)をフーリエ変換することで得られる磁気共鳴データである。以下、磁気共鳴データを「k空間データDk」と称して説明する。k空間とは、核磁気共鳴信号が1次元の波形として受信コイル108により繰り返し収集される際に、その1次元の波形が収集される周波数空間(k空間データDkが配列される空間)を表している。
図3から図5は、k空間データDkの一例を示す図である。図3に例示するk空間データDkは、x軸、y軸、およびz軸が互いに直行した直交座標系(デカルト座標系)で表されるk空間において、サンプリングされた磁気共鳴データ(サンプルデータの一例)を表すサンプル点が格子状に点在している。このようなk空間データDkは、ある一定の時間間隔(周期)で核磁気共鳴信号が収集されたときに得られる。一方、図4および図5に例示するk空間データDkは、k空間においてサンプル点が不均一に点在している。図4に例示するk空間データDkは、核磁気共鳴信号の信号強度が大きいサンプル点を中心に、被検体OBを放射状にスキャン(ラディアルスキャン)することで得られ、図5に例示するk空間データDkは、核磁気共鳴信号の信号強度が大きいサンプル点を中心に、螺旋状にスキャン(スパイラルスキャン)することで得られる。このように被検体OBを放射状にスキャンしたり、螺旋状にスキャンしたりすることによって、ノイズに対するロバスト性を高めたり、処理を高速化したりすることができる。しかしながら、被検体OBを放射状にスキャンしたり、螺旋状にスキャンしたりした場合、k空間においてサンプル点が格子状に並んでいないk空間データDkが得られることになる。
本実施形態において、ある空間において、サンプル点が格子状に並ぶ出力点に一対一に対応した位置にある場合、そのサンプル点のデータを「カルテシアンデータ」と定義し、サンプル点が格子状に並ぶ出力点に一対一に対応した位置にない場合、そのサンプル点のデータを「ノンカルテシアンデータ」と定義する。出力点とは、再構成された画像の画素に相当する点である。また、特に、図3に例示するようにk空間においてサンプル点が格子状に並んでいるk空間データDkを「カルテシアンk空間データDk」と称し、図4や図5に例示するようにk空間においてサンプル点が格子状に並んでいないk空間データDkを「ノンカルテシアンk空間データDk」と称して説明する。
カルテシアンk空間データDkは、k空間上にサンプル点が格子上に規則正しく並んでいるため、各サンプル間の周期が一定であり、同一のサンプリング空間周波数によって、全てのサンプル点を逆フーリエ変換することができる。一方、ノンカルテシアンk空間データDkは、k空間上にサンプル点が格子上に規則正しく並んでいないため、逆フーリエ変換に相当する処理を行うと、アーティファクトと呼ばれるようなノイズが再構成画像に含まれ得る。
なお、医用画像生成装置100が、例えば、half-Fourier法などを利用し、k空間データDkを、ある軸方向に関して間引いて収集することで、より高速に被検体OBを撮像する場合、k空間データDkは、k空間においてスパース(疎)なデータとなってよい。
通信制御機能134は、取得機能132によってk空間データDkが取得されると、通信インターフェース202に医用画像処理装置200と通信させ、その通信相手の医用画像処理装置200にk空間データDkを送信する。また、通信制御機能134は、通信インターフェース202に医用画像処理装置200と通信させ、その通信相手の医用画像処理装置200から再構成画像を取得する。通信制御機能134は、再構成画像を取得すると、この再構成画像をディスプレイ126に出力してよい。これによって、ディスプレイ126には再構成画像が表示される。
[医用画像処理装置の構成例]
図6は、第1の実施形態に係る医用画像処理装置200の一例を示す図である。図6に示すように、医用画像処理装置200は、例えば、通信インターフェース202と、入力インターフェース204と、ディスプレイ206と、処理回路210と、メモリ230とを備える。
通信インターフェース202は、例えば、NICなどの通信インターフェースを含む。通信インターフェース202は、ネットワークNWを介して医用画像生成装置100と通信し、医用画像生成装置100から情報を受信する。通信インターフェース202は、受信した情報を処理回路210に出力する。また、通信インターフェース202は、処理回路210による制御を受けて、ネットワークNWを介して接続された他の装置に情報を送信してもよい。他の装置とは、例えば、医師や看護師などの画像の読影者が利用可能な端末装置であってよい。
入力インターフェース204は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路210に出力する。例えば、入力インターフェース204は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパネルなどにより実現される。また、入力インターフェース204は、例えば、マイクなどの音声入力を受け付けるユーザインターフェースによって実現されてもよい。入力インターフェース204がタッチパネルである場合、後述するディスプレイ206は入力インターフェース204と一体として形成されてよい。
ディスプレイ206は、各種の情報を表示する。例えば、ディスプレイ206は、処理回路210によって生成された画像(後述する再構成画像)を表示したり、操作者からの各種の入力操作を受け付けるためのGUIなどを表示したりする。例えば、ディスプレイ206は、LCDや、CRTディスプレイ、有機ELディスプレイなどである。
処理回路210は、例えば、取得機能212と、再構成処理機能214と、出力制御機能216と、学習機能218とを実行する。取得機能212は、「取得部」の一例である。
これらの機能(構成要素)は、例えば、CPUやGPU等のハードウェアプロセッサ(あるいはプロセッサ回路)が、メモリ230に記憶されたプログラム(ソフトウェア)を実行することにより実現される。また、これらの複数の機能のうち一部または全部は、LSI、ASIC、FPGA等のハードウェア(回路部:circuitry)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、上記のプログラムは、予めメモリ230に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体が医用画像処理装置200のドライブ装置に装着されることで記憶媒体からメモリ230にインストールされてもよい。
メモリ230は、例えば、RAM、フラッシュメモリなどの半導体メモリ素子、ハードディスク、光ディスクなどによって実現される。これらの非一過性の記憶媒体は、NASや外部ストレージサーバ装置といったネットワークNWを介して接続される他の記憶装置によって実現されてもよい。また、メモリ230には、ROMやレジスタなどの一過性の記憶媒体が含まれてもよい。メモリ230には、例えば、医用画像再構成モデル情報232や積和係数情報234などが格納される。これらの情報については後述する。
取得機能212は、通信インターフェース202に医用画像生成装置100と通信させ、その通信相手の医用画像生成装置100からk空間データDkを取得する。以下、取得機能212によって取得されるk空間データDkが、ノンカルテシアンk空間データDkであるものとして説明する。
再構成処理機能214は、医用画像再構成モデル情報232が示す医用画像再構成モデル300に従って、取得機能212によって取得されたノンカルテシアンk空間データDkから医用画像(MR画像)を再構成する。取得機能212によって取得されたノンカルテシアンk空間データDkは、例えば、各サンプル点を要素とするベクトルによって表される。ノンカルテシアンk空間データDkのベクトルは、多くの場合、要素数が2つ以上のベクトルであるがこれに限られず、要素数が1つのベクトルであってもよい。
医用画像再構成モデル情報232は、医用画像再構成モデル300を定義した情報(プログラムまたはデータ構造)である。例えば、プロセッサが医用画像再構成モデル情報232を実行することによって、医用画像再構成モデル300の各機能が再構成処理機能214の一部として実現されてよい。医用画像再構成モデル300は、例えば、一つ以上のDNN(Deep Neural Network(s))を含む。
医用画像再構成モデル情報232には、例えば、医用画像再構成モデル300に含まれる各DNNを構成する入力層、一以上の隠れ層(中間層)、出力層の其々に含まれるニューロン(ユニット)が互いにどのように結合されるのかという結合情報や、結合されたニューロン間で入出力されるデータに付与される結合係数がいくつであるのかという重み情報などが含まれる。結合情報は、例えば、各層に含まれるニューロン数や、各ニューロンの結合先のニューロンの種類を指定する情報、各ニューロンを実現する活性化関数、隠れ層のニューロン間に設けられたゲートなどの情報を含む。ニューロンを実現する活性化関数は、例えば、入力符号に応じて動作を切り替える関数(ReLU関数やELU関数)であってもよいし、シグモイド関数や、ステップ関数、ハイパポリックタンジェント関数であってもよいし、恒等関数であってもよい。ゲートは、例えば、活性化関数によって返される値(例えば1または0)に応じて、ニューロン間で伝達されるデータを選択的に通過させたり、重み付けたりする。結合係数は、活性化関数のパラメータであり、例えば、ニューラルネットワークの隠れ層において、ある層のニューロンから、より深い層のニューロンにデータが出力される際に、出力データに対して付与される重みを含む。また、結合係数は、各層の固有のバイアス成分などを含んでもよい。
[医用画像再構成モデルの構成例]
図7は、第1の実施形態における医用画像再構成モデル300の一例を示す図である。図示のように、医用画像再構成モデル300は、例えば、第1アクティベーションレイヤ310と、局所結合レイヤ(Locally-connected Layer)320と、第2アクティベーションレイヤ330と、フーリエ変換レイヤ340と、第3アクティベーションレイヤ350と、畳み込みレイヤ360とを備えてよい。
再構成処理機能214の一機能として実現される局所結合レイヤ320は、「第1処理部」の一例であり、再構成処理機能214の一機能として実現されるフーリエ変換レイヤ340および畳み込みレイヤ360は、「第2処理部」の一例である。
第1アクティベーションレイヤ310には、取得機能212によって取得されたノンカルテシアンk空間データDkを示すベクトルが入力される。例えば、第1アクティベーションレイヤ310は、プーリング層や、ReLU関数またはシグモイド関数などの活性化関数などによって実現されてよい。第1アクティベーションレイヤ310がプーリング層を含む場合、第1アクティベーションレイヤ310は、ノンカルテシアンk空間データDkのベクトルの要素値を、そのベクトルに含まれる全要素値の平均値や最大値といった代表値に置き換えることで、ノンカルテシアンk空間データDkのベクトルの次元数を圧縮する(減らす)。また、例えば、第1アクティベーションレイヤ310に含まれる各ノードの活性化関数がReLU関数である場合、第1アクティベーションレイヤ310は、ノンカルテシアンk空間データDkのベクトルの各要素値がマイナスである場合、その要素値をゼロにし、要素値がプラスである場合、その要素値を0に近い値程小さくし、0から遠い値程大きくする。そして、第1アクティベーションレイヤ310は、プーリング処理や活性化関数の計算処理を行ったベクトルを、局所結合レイヤ320に出力する。
局所結合レイヤ320は、第1アクティベーションレイヤ310からノンカルテシアンk空間データDkのベクトルが入力されると、そのベクトルに対して、係数行列Lを乗算する。係数行列Lには、積和係数情報234によって示される複数の係数列Cが含まれる。係数列Cは、局所的な特徴を表す重みであり、その積和演算は、各出力要素に対してw+w+w+…といった演算を行うものである。x、x、xなどのパラメータは入力を表し、w、w、wなどのパラメータは、局所積和演算で使われる重み係数を表している。なお、係数行列Lは、局所結合以外の要素については、その要素値がゼロであってよい。係数列Cは、「係数集合」の一例である。
図8は、積和係数情報234の一例を示す図である。図示の例のように、積和係数情報234は、ノンカルテシアンk空間データDkの各サンプル点の想定位置ごとに、係数列Cが対応付けられた情報である。サンプル点の想定位置とは、ラディアルスキャンやスパイラルスキャンなどのスキャン方法から理論的に求めた位置であってもよいし、理論的に求めた位置に対してハードウェアの不完全性に基づく補正(例えば、渦電流の影響を考慮した補正)を加えた位置であってもよいし、実験データやシミュレーションデータから統計的に求めた位置であってもよい。
係数行列Lに含まれる複数の係数列Cのそれぞれは、各サンプル点の想定位置ごとに機械学習によって決定される。そのため、複数の係数列Cのそれぞれは、互いに異なる係数列となり得る。なお、複数の係数列Cのそれぞれは、互いにすべてが異なっている必要はなく、一部共通していてもよい。例えば、k空間においてサンプル点が他のサンプル点と共役の関係にある場合、それらのサンプル点に対応付けられる係数列Cは、互いに同じ係数列であってよい。共役な関係とは、例えば、k空間において、サンプル点が点対称や軸対称となるような関係である。なお、係数列Cは、各出力位置に対して予め定めたパラメトリック関数のパラメータを学習する形としても良い。例えば、パラメトリック関数としてガウシアン関数を採用し、ガウシアンミクスチャを学習させても良い。ガウシアン関数は、例えば、カイザー窓関数のように、別の関数であっても良い。
図9は、係数列Cとの積和演算を模式的に示す図である。図示の例のように、ノンカルテシアンk空間データDkは、x、x、x、…、xn-1、xといった、各サンプル点に対応した複数の要素を含むベクトルによって表され、係数行列Lは、C、C、…、Cn-1、Cといった複数の係数列を含む行列によって表される。例えば、係数列Cは、要素xに対応した想定位置Pで計測され得るサンプル点Sの教師データを利用して予め学習されており、係数列Cは、要素x2に対応した想定位置Pで計測され得るサンプル点Sの教師データを利用して予め学習されている。教師データについては後述する。
例えば、局所結合レイヤ320は、ノンカルテシアンk空間データDkのベクトルに含まれる各要素値xと係数列Cとの積和を演算し、その積和が要素値として対応付けられた複数の要素を含むベクトルを、カルテシアンk空間データDkとして生成する。カルテシアンk空間データDkのベクトルは、2次元画像あるいは3次元画像をラスタスキャンすることで得られたサンプル点が、スキャン順に並べられたベクトルを表している。
図示の例のように、カルテシアンk空間データDkのベクトルに含まれる要素x´は、ノンカルテシアンk空間データDkのベクトルに含まれる要素xと、機械学習によって予め決められた係数列Cとの積和を表しており、カルテシアンk空間データDkのベクトルに含まれる要素x2´は、ノンカルテシアンk空間データDkのベクトルに含まれる要素xと、機械学習によって予め決められた係数列Cとの積和を表している。
なお、図示の例では、係数列Cの要素数は、ノンカルテシアンk空間データDkのベクトルの要素数(次元数)と同じn個であるものとしているがこれに限られず、n未満あるいはnを超える数であってもよい。
局所結合レイヤ320は、カルテシアンk空間データDkを生成すると、そのカルテシアンk空間データDkを表すベクトルを第2アクティベーションレイヤ330に出力する。
図7の説明に戻る。第2アクティベーションレイヤ330には、局所結合レイヤ320からカルテシアンk空間データDkのベクトルが入力される。例えば、第2アクティベーションレイヤ330は、第1アクティベーションレイヤ310と同様に、プーリング層や、ReLU関数またはシグモイド関数などの活性化関数などによって実現されてよい。第2アクティベーションレイヤ330がプーリング層を含む場合、第2アクティベーションレイヤ330は、カルテシアンk空間データDkのベクトルの要素値を、そのベクトルに含まれる全要素値の平均値や最大値といった代表値に置き換えることで、カルテシアンk空間データDkのベクトルの次元数を圧縮する。また、例えば、第2アクティベーションレイヤ330に含まれる各ノードの活性化関数がReLU関数である場合、第2アクティベーションレイヤ330は、カルテシアンk空間データDkのベクトルの各要素値がマイナスである場合、その要素値をゼロにし、要素値がプラスである場合、その要素値を0に近い値程小さくし、0から遠い値程大きくする。そして、第2アクティベーションレイヤ330は、プーリング処理や活性化関数の計算処理を行ったカルテシアンk空間データDkのベクトルを、フーリエ変換レイヤ340に出力する。
フーリエ変換レイヤ340は、第2アクティベーションレイヤ330から入力されたカルテシアンk空間データDkのベクトルに対してフーリエ変換あるいは逆フーリエ変換を行う。フーリエ変換の入出力ベクトルは、再構成出力ベクトルの要素数と一致していても良いし、一致していなくても良い。例えば、再構成画像の各軸方向に対し要素数の1.5倍や2倍といった要素数でフーリエ変換を適用しても良い。フーリエ変換レイヤ340は、フーリエ変換あるいは逆フーリエ変換を行ったカルテシアンk空間データDkのベクトルを、第3アクティベーションレイヤ350に出力する。フーリエ変換あるいは逆フーリエ変換が行われたカルテシアンk空間データDkのベクトルは、物理的な位置座標に対して、画素値が対応付けられた画像空間データを表している。以下、フーリエ変換あるいは逆フーリエ変換が行われたカルテシアンk空間データDkを、画像空間データとも称して説明する。
第3アクティベーションレイヤ350には、フーリエ変換レイヤ340から、フーリエ変換あるいは逆フーリエ変換が行われたベクトル、すなわち画像空間データが入力される。例えば、第3アクティベーションレイヤ350は、第1アクティベーションレイヤ310や第2アクティベーションレイヤ330と同様に、プーリング層や、ReLU関数またはシグモイド関数などの活性化関数などによって実現されてよい。第3アクティベーションレイヤ350がプーリング層を含む場合、第3アクティベーションレイヤ350は、画像空間データのベクトルの要素値を、そのベクトルに含まれる全要素値の平均値や最大値といった代表値に置き換えることで、画像空間データのベクトルの次元数を圧縮する。また、例えば、第3アクティベーションレイヤ350に含まれる各ノードの活性化関数がReLU関数である場合、第3アクティベーションレイヤ350は、画像空間データのベクトルの各要素値がマイナスである場合、その要素値をゼロにし、要素値がプラスである場合、その要素値を0に近い値程小さくし、0から遠い値程大きくする。そして、第3アクティベーションレイヤ350は、プーリング処理や活性化関数の計算処理を行った画像空間データのベクトルを、畳み込みレイヤ360に出力する。
畳み込みレイヤ360は、第3アクティベーションレイヤ350から画像空間データのベクトルが入力されると、そのベクトルに対して、線形変換行列(フィルタまたはカーネル)を、ある決められたストライド量でスライドさせながら積和演算を繰り返し、入力された画像空間データのベクトルから、線形変換行列との積和が要素値として対応付けられた複数の要素を含むベクトルを生成する。そして、畳み込みレイヤ360は、生成したベクトルのデータを、医用画像(MR画像)の再構成画像として出力する。
出力制御機能216は、例えば、通信インターフェース202を介して接続された医用画像生成装置100に、畳み込みレイヤ360によって出力された再構成画像を出力する。また、出力制御機能216は、ディスプレイ206に再構成画像を出力(表示)させてもよい。
[処理フロー]
以下、本実施形態における処理回路210の一連の処理の流れをフローチャートに即して説明する。図10は、本実施形態における処理回路210の一連の処理の流れを示すフローチャートである。本フローチャートの処理は、例えば、取得機能212によってノンカルテシアンk空間データDkが取得された場合に、所定の周期で繰り返し行われてよい。
まず、第1アクティベーションレイヤ310は、取得機能212によって取得されたノンカルテシアンk空間データDkのベクトルに対して、プーリング処理や活性化関数の計算処理などのアクティベーションを行う(ステップS100)。
次に、局所結合レイヤ320は、第1アクティベーションレイヤ310によってプーリング処理や活性化関数の計算処理などが行われたベクトルに対して、係数行列Lを乗算する(ステップS102)。具体的には、局所結合レイヤ320は、k空間におけるサンプル点(ベクトルの各要素)の位置に対応した係数列Cと、ベクトルの各要素との積和を演算し、その積和が要素値として対応付けられた複数の要素を含むベクトルを、カルテシアンk空間データDkとして生成する。
次に、第2アクティベーションレイヤ330は、局所結合レイヤ320により生成されたカルテシアンk空間データDkのベクトルに対して、プーリング処理や活性化関数の計算処理などのアクティベーションを行う(ステップS104)。
次に、フーリエ変換レイヤ340は、第2アクティベーションレイヤ330によってプーリング処理や活性化関数の計算処理などが行われたベクトルに対して、フーリエ変換または逆フーリエ変換を行う(ステップS106)。これによって、画像空間データが生成される。
次に、第3アクティベーションレイヤ350は、フーリエ変換レイヤ340により生成された画像空間データのベクトルに対して、プーリング処理や活性化関数の計算処理などのアクティベーションを行う(ステップS108)。
次に、畳み込みレイヤ360は、第3アクティベーションレイヤ350によってプーリング処理や活性化関数の計算処理などが行われた画像空間データのベクトルと、線形変換行列との積和を演算する(ステップS110)。具体的には、畳み込みレイヤ360は、線形変換行列を、ある決められたストライド量でスライドさせながら積和演算を繰り返すことで、画像空間データのベクトルから、線形変換行列との積和が要素値として対応付けられた複数の要素を含むベクトルを生成する。そして、畳み込みレイヤ360は、生成したベクトルのデータを、医用画像の再構成画像として出力する。
次に、出力制御機能216は、畳み込みレイヤ360によって出力された医用画像の再構成画像を、ディスプレイ206に表示させたり、通信インターフェース202を介して医用画像生成装置100に送信したりする(ステップS112)。これによって本フローチャートの処理が終了する。
[医用画像再構成モデルの学習方法]
以下、医用画像再構成モデル300の学習方法について説明する。学習機能218は、ある教師データに基づいて医用画像再構成モデル300を学習させる。教師データは、例えば、ノンカルテシアンk空間データDkのスキャン時にサンプル数を通常時よりも多くしたノンカルテシアンk空間データDkを用意しておき、そのノンカルテシアンk空間データDkのサブセットを入力として、そのノンカルテシアンk空間データDkを既知の手法によって再構成させた再構成画像を出力とするデータであってよい。また、任意の医療画像に対して、サンプリングシミュレーションを行うことでノンカルテシアンk空間データDkを求め、その求めたノンカルテシアンk空間データDkに対して医療画像が正解データとして対応付けられたデータを、教師データとしてもよい。
学習機能218は、医用画像再構成モデル300の第1アクティベーションレイヤ310に対して、あるノンカルテシアンk空間データDkを入力し、学習すべき関数(図7の例では、310から360までの全てのレイヤを実現する関数)を利用することで得られた再構成画像が、教師データである再構成画像に近づくように、第1アクティベーションレイヤ310、第2アクティベーションレイヤ330、および第3アクティベーションレイヤ350の各ノードの活性化関数のパラメータや、局所結合レイヤ320の係数行列Lに含まれる各係数列C、および畳み込みレイヤ360の線形変換行列のパラメータを学習させる。例えば、学習機能218は、SGD(Stochastic Gradient Descent)、Momentum SGD、AdaGrad、RMSprop、AdaDelta、Adam(Adaptive moment estimation)などの勾配法を利用してパラメータを学習させてよい。
以上説明した第1の実施形態によれば、磁場を被検体OBに作用させることで生成されたノンカルテシアンk空間データDkを医用画像生成装置100から取得する取得機能212と、取得されたノンカルテシアンk空間データDkと、複数の係数列Cの其々との積和を導出し、係数列Cごとに導出した積和が要素値として対応付けられた複数の要素を含むベクトルをカルテシアンk空間データDkとして生成する局所結合レイヤ320と、生成されたカルテシアンk空間データDkに対してフーリエ変換または逆フーリエ変換を行うフーリエ変換レイヤ340と、フーリエ変換または逆フーリエ変換が行われたカルテシアンk空間データDkに線形結合行列を乗算して得られた積和が画素値として対応付けられた複数の画素を含む画像を、MR画像の再構成画像として生成する畳み込みレイヤ360と、を備えることによって、医用画像の一つであるMR画像の再構成の精度を高めることができるため、画質が良好な医用画像を再構成によって生成することができる。
(第1の実施形態の変形例)
以下、第1の実施形態の変形例について説明する。上述した第1の実施形態では、医用画像生成装置100と医用画像処理装置200とが互いに異なる装置であるものとして説明したがこれに限られない。例えば、医用画像処理装置200は、医用画像生成装置100のコンソール装置120の一機能によって実現されてもよい。すなわち、医用画像処理装置200は、医用画像生成装置100のコンソール装置120によって仮想的に実現される仮想マシンであってもよい。
図11は、第1の実施形態に係る医用画像生成装置100の他の例を示す図である。図11に示すように、コンソール装置120の処理回路130は、上述した取得機能132に加えて、再構成処理機能214と、出力制御機能216と、学習機能218とを実行してよい。
また、コンソール装置120のメモリ150には、医用画像再構成モデル情報232と、積和係数情報234とが格納されてよい。
このような構成によって、医用画像生成装置100単体で、画質が良好な医用画像を再構成によって生成することができる。
また、上述した第1の実施形態では、局所結合レイヤ320によって生成されるベクトルが一つであるものとして説明したがこれに限られない。例えば、医用画像生成装置100が、マルチコイルで同時に複数のk空間データDkを収集する場合、局所結合レイヤ320は、各コイルに対応したベクトルを複数生成してよい。局所結合レイヤ320が複数のベクトルを生成する場合、すなわちマルチチャネルである場合、局所結合レイヤ320よりも後段の医用画像再構成モデル300は、チャネルごとに多段に構成されてよい。
また、上述した第1の実施形態において、医用画像生成装置100が、マルチコイルで同時に複数のk空間データDkを収集する場合、再構成処理機能214は、マルチコイルの情報(複数のコイル情報)を基に、医用画像再構成モデル300に対して入力データとするk空間データのサンプル数を増やしてもよい。
また、上述した第1の実施形態では、局所結合レイヤ320は、入力されたデータと係数列Cとの積和を畳み込みによって演算するものとして説明したがこれに限られない。例えば、局所結合レイヤ320は、入力されたデータとパラメトリック窓関数との積和を畳み込みによって演算してもよい。各入力もしくは各出力に関連付けられたパラメトリック窓関数のパラメータは、学習機能218によって、ディープニューラルネットワークを構成する他のパラメータと同様に学習される。
また、上述した第1の実施形態では、医用画像再構成モデル300において、フーリエ変換レイヤ340の後には、第3アクティベーションレイヤ350および畳み込みレイヤ360が設けられるものとして説明したがこれに限られない。例えば、医用画像再構成モデル300には、畳み込みレイヤ360の後段に画像変換レイヤが設けられていてもよい。画像変換レイヤは、例えば、畳み込みレイヤ360によって出力された再構成画像に対して、拡大や縮小、回転といった変換処理を行う。
また、医用画像再構成モデル300には、畳み込みレイヤ360の後段に、他のアクティベーションレイヤと、他の畳み込みレイヤとが設けられていてもよい。すなわち、医用画像再構成モデル300において、畳み込みレイヤが多段に構成されていてもよい。
なお、上述した第1の実施形態と、その変形例では、再後段の畳み込みレイヤの更に後段に原則アクティベーションレイヤを設けないものとして説明したがこれに限られず、再後段の畳み込みレイヤの後段に任意のアクティベーションレイヤが設けられてもよい。
また、上述した第1の実施形態では、局所結合レイヤ320(第1処理部の一例)が、生成したカルテシアンk空間データDkに、一つ以上のダミーサンプル点を混ぜることで、カルテシアンk空間データDkをノンカルテシアンk空間データDkにしてもよい。また、フーリエ変換レイヤ340などの他のレイヤが、局所結合レイヤ320によって生成されたカルテシアンk空間データDkに、一つ以上のダミーサンプル点を混ぜることで、カルテシアンk空間データDkをノンカルテシアンk空間データDkにしてもよい。
(第2の実施形態)
以下、第2の実施形態について説明する。第1の実施形態では、医用画像再構成モデル300には、一つの局所結合レイヤ320が含まれるものとして説明した。これに対して、第2の実施形態では、医用画像再構成モデル300に二つ以上の局所結合レイヤが含まれる点で上述した第1の実施形態と相違する。以下、第1の実施形態との相違点を中心に説明し、第1の実施形態と共通する点については説明を省略する。なお、第2の実施形態の説明において、第1の実施形態と同じ部分については同一符号を付して説明する。
図12は、第2の実施形態における医用画像再構成モデル300の一例を示す図である。図示のように、第2の実施形態における医用画像再構成モデル300は、例えば、第1の実施形態における医用画像再構成モデル300と同様に、第1アクティベーションレイヤ310と、局所結合レイヤ(第1局所結合レイヤ)320と、第2アクティベーションレイヤ330と、フーリエ変換レイヤ340と、第3アクティベーションレイヤ350と、畳み込みレイヤ360とを備え、更に、第4アクティベーションレイヤ370と、第2局所結合レイヤ380とを備える。第4アクティベーションレイヤ370および第2局所結合レイヤ380は、フーリエ変換レイヤ340と、第3アクティベーションレイヤ350との間に設けられる。フーリエ変換レイヤ340、第2局所結合レイヤ380、および畳み込みレイヤ360を合わせたものは、「第2処理部」の他の例である。
第4アクティベーションレイヤ370は、フーリエ変換レイヤ340から、フーリエ変換または逆フーリエ変換が行われたベクトル、すなわち画像空間データが入力される。例えば、第4アクティベーションレイヤ370は、第1アクティベーションレイヤ310や第2アクティベーションレイヤ330などと同様に、プーリング層や活性化関数などによって実現されてよい。第4アクティベーションレイヤ370は、入力された画像空間データのベクトルに対してプーリング処理や活性化関数の計算処理を行い、そのベクトルを第2局所結合レイヤ380に出力する。
第2局所結合レイヤ380は、第4アクティベーションレイヤ370から画像空間データのベクトルが入力されると、そのベクトルに対して、複数の係数列Cを含む係数行列Lを乗算する。具体的には、第2局所結合レイヤ380は、画像空間データのベクトルの各要素と各係数列Cとの積和を演算し、その積和が要素値として対応付けられた複数の要素を含むベクトルを生成する。第2局所結合レイヤ380は、生成したベクトルを、第3アクティベーションレイヤ350に出力する。これによって、第1の実施形態と同様に、画質が良好な医用画像を再構成によって生成することができる。
また、第4アクティベーションレイヤ370および第2局所結合レイヤ380は、フーリエ変換レイヤ340と、第3アクティベーションレイヤ350との間に設けられず、他の位置に設けられていてもよい。
図13は、第2の実施形態における医用画像再構成モデル300の他の例を示す図である。図示の例のように、第4アクティベーションレイヤ370および第2局所結合レイヤ380は、局所結合レイヤ320と、フーリエ変換レイヤ340との間に設けられてよい。このように、第2の実施形態では、フーリエ変換レイヤ340の前段に第2局所結合レイヤ380を設けることで、ラディカルスキャンやスパイラルスキャンによって被検体OBを撮像することによって生じ得るノンカルテシアンk空間データDkの非線形性を緩和することができる。
図14は、ノンカルテシアンk空間データDkの非線形性を説明するための図である。図中TR1およびTR2は、ノンカルテシアンk空間データDkに含まれる各サンプル点をスキャン順に連ねた軌道(トラジェクトリー)を表している。軌道TR1は、理想的な軌道を表し、軌道TR2は、実際に測定された軌道を表している。
例えば、実測の軌道TR2が歪んでいたり、信号が減衰したり、被検体OBが動いたりした場合、実測の軌道TR2は、理想的な軌道TR1からずれる場合がある。この場合、各局所結合レイヤが扱う係数列Cを、理想的な軌道TR1上の各サンプル点の位置で設計すると、実測の軌道TR2が、係数列Cの設計時に基準としたサンプル点からずれるため、局所結合レイヤの出力結果に誤差が含まれることになる。
これに対して、第2の実施形態では、フーリエ変換レイヤ340の前段に第2局所結合レイヤ380を設けているため、学習機能218が第2局所結合レイヤ380の係数列Cを学習することで、本来の軌道(係数列C設計時に参照した軌道TR1)に対する実測軌道TR2のずれを打ち消すように、ノンカルテシアンk空間データDkを補正させることができる。
なお、第2の実施形態では、フーリエ変換レイヤ340の前段、あるいは後段のいずれかに第2局所結合レイヤ380を設けるものとして説明したがこれに限られず、例えば、フーリエ変換レイヤ340の前段(局所結合レイヤ320およびフーリエ変換レイヤ340の間)と、フーリエ変換レイヤ340の後段(フーリエ変換レイヤ340および畳み込みレイヤ360の間)とのそれぞれに、アクティベーションレイヤおよび局所結合レイヤを設けてもよい。
以上説明した第2の実施形態によれば、医用画像再構成モデル300に二つ以上の局所結合レイヤを設けることで、第1の実施形態と同様に、画質が良好な医用画像を再構成によって生成することができる。特に、フーリエ変換レイヤ340の前段に第2局所結合レイヤ380を設けた場合、ノンカルテシアンk空間データDkの非線形性を緩和することができるため、更に、画質が良好な医用画像を再構成によって生成することができる。
(第3の実施形態)
以下、第3の実施形態について説明する。第3の実施形態では、サンプル点の総数が異なるノンカルテシアンk空間データDkに対して、前処理として医用画像再構成モデル300の学習時に想定したサンプル点数に合わせる処理を行う点で上述した第1および第2の実施形態と相違する。以下、第1および第2の実施形態との相違点を中心に説明し、第1および第2の実施形態と共通する点については説明を省略する。なお、第3の実施形態の説明において、第1および第2の実施形態と同じ部分については同一符号を付して説明する。
図15は、第3の実施形態における医用画像再構成モデル300の一例を示す図である。図示のように、第3の実施形態における医用画像再構成モデル300は、例えば、第1の実施形態における医用画像再構成モデル300と同様に、第1アクティベーションレイヤ310と、局所結合レイヤ(第1局所結合レイヤ)320と、第2アクティベーションレイヤ330と、フーリエ変換レイヤ340と、第3アクティベーションレイヤ350と、畳み込みレイヤ360とを備え、更に、解像度変換レイヤ400を備える。解像度変換レイヤ400は、局所結合レイヤ320の前段に設けられる。再構成処理機能214の一機能として実現される解像度変換レイヤ400は、「第3処理部」の一例である。
前処理として入れる解像度変換レイヤ400は、例えば、ある局所結合レイヤによって実現されてよい。解像度変換レイヤ400には、取得機能212によって取得されたノンカルテシアンk空間データDkを示すベクトルが入力される。この際、ノンカルテシアンk空間データDkの行数および列数は一つに統一されている必要はなく、取得機能212によって取得される度に異なっていてよい。
解像度変換レイヤ400は、取得機能212によって取得されたノンカルテシアンk空間データDkのベクトルが入力されると、そのベクトルに対して線形変換行列を乗算することで、医用画像再構成モデル300の学習時に想定したノンカルテシアンk空間データDkのサンプル点数と同じ要素数(次元数)のノンカルテシアンk空間データDkを生成する。解像度変換レイヤ400は、生成したノンカルテシアンk空間データDkのベクトルを、第1アクティベーションレイヤ310に出力する。
以上説明した第3の実施形態によれば、医用画像再構成モデル300の最前段に、解像度変換レイヤ400を設けることによって、医用画像がマルチ解像度であり、サンプル点数が互いに異なるノンカルテシアンk空間データDkが医用画像再構成モデル300に入力された場合であっても、画質が良好な医用画像を再構成によって生成することができる。
(第3の実施形態の変形例)
以下、第3の実施形態の変形例について説明する。上述した第3の実施形態では、医用画像再構成モデル300の最前段に、解像度変換レイヤ400を設けることによって、医用画像がマルチ解像度であっても、医用画像を再構成によって生成するものとして説明したがこれに限られない。例えば、医用画像再構成モデル300の最前段には、複数の解像度変換レイヤ400が直列に接続されていてもよい。また、医用画像再構成モデル300の最前段に、解像度変換レイヤ400を設ける代わりに、線形補完を行うレイヤあるいはDNNや、ゼロフィルを行うレイヤあるいはDNNが設けられてもよい。線形補間を行うレイヤあるいはDNNは、例えば、ノンカルテシアンk空間データDkに含まれるサンプル点数が少なく低解像度である場合に、足りないサンプル点を他のサンプル点から線形補間によって補う処理を行う。ゼロフィルを行うレイヤあるいはDNNは、ノンカルテシアンk空間データDkに含まれるサンプル点数が少なく低解像度である場合に、足りないサンプル点を、要素値がゼロの要素で補う処理を行う。
このように、医用画像再構成モデル300の最前段に、複数の解像度変換レイヤ400を設けたり、線形補完を行うレイヤあるいはDNNを設けたり、ゼロフィルを行うレイヤあるいはDNNを設けたりしたりすることで、ノンカルテシアンk空間データDkに含まれるサンプル点数を揃えることができる。
(第4の実施形態)
以下、第4の実施形態について説明する。上述した第1から第3の実施形態では、医用画像生成装置100がMRI装置であるものとして説明した。これに対して、第4の実施形態では、医用画像生成装置100がCT装置である点で上述した第1から第3の実施形態と相違する。以下、第1から第3の実施形態との相違点を中心に説明し、第1から第3の実施形態と共通する点については説明を省略する。なお、第4の実施形態の説明において、第1から第3の実施形態と同じ部分については同一符号を付して説明する。
[医用画像生成装置(X線CT装置)の構成例]
図16は、第4の実施形態に係る医用画像生成装置100Aの一例を示す図である。図17に示すように、医用画像生成装置100Aは、例えば、架台装置10と、寝台装置30と、コンソール装置40とを有する。図16では、説明の都合上、架台装置10をZ軸方向から見た図とX軸方向から見た図の双方を掲載しているが、実際には、架台装置10は一つである。実施形態では、非チルト状態での回転フレーム17の回転軸または寝台装置30の天板33の長手方向をZ軸方向、Z軸方向に直交し、床面に対して水平である軸をX軸方向、Z軸方向に直交し、床面に対して垂直である方向をY軸方向とそれぞれ定義する。
架台装置10は、例えば、X線管11と、ウェッジ12と、コリメータ13と、X線高電圧装置14と、X線検出器15と、データ収集システム(以下、DAS:Data Acquisition System)16と、回転フレーム17と、制御装置18とを有する。
X線管11は、X線高電圧装置14からの高電圧の印加により、陰極(フィラメント)から陽極(ターゲット)に向けて熱電子を照射することでX線(放射線)を発生させる。X線管11は、真空管を含む。例えば、X線管11は、回転する陽極に熱電子を照射することでX線を発生させる回転陽極型のX線管である。
ウェッジ12は、X線管11から被検体Pに照射されるX線量を調節するためのフィルタである。ウェッジ12は、X線管11から被検体Pに照射されるX線量の分布が予め定められた分布になるように、自身を透過するX線を減衰させる。ウェッジ12は、ウェッジフィルタ(wedge filter)、ボウタイフィルタ(bow-tie filter)とも呼ばれる。ウェッジ12は、例えば、所定のターゲット角度や所定の厚みとなるようにアルミニウムを加工したものである。
コリメータ13は、ウェッジ12を透過したX線の照射範囲を絞り込むための機構である。コリメータ13は、例えば、複数の鉛板の組み合わせによってスリットを形成することで、X線の照射範囲を絞り込む。コリメータ13は、X線絞りと呼ばれる場合もある。
X線高電圧装置14は、例えば、高電圧発生装置と、X線制御装置とを有する。高電圧発生装置は、変圧器(トランス)および整流器などを含む電気回路を有し、X線管11に印加する高電圧を発生させる。X線制御装置は、X線管11に発生させるべきX線量に応じて高電圧発生装置の出力電圧を制御する。高電圧発生装置は、上述した変圧器によって昇圧を行うものであってもよいし、インバータによって昇圧を行うものであってもよい。X線高電圧装置14は、回転フレーム17に設けられてもよいし、架台装置10の固定フレーム(不図示)の側に設けられてもよい。また、X線高電圧装置14は、エラー検知機能14Aを有する。これについては後述する。
X線検出器15は、X線管11が発生させ、被検体Pを通過して入射したX線の強度を検出する。X線検出器15は、検出したX線の強度に応じた電気信号(光信号などでもよい)をDAS18に出力する。X線検出器15は、例えば、複数のX線検出素子列を有する。複数のX線検出素子列のそれぞれは、X線管11の焦点を中心とした円弧に沿ってチャネル方向に複数のX線検出素子が配列されたものである。複数のX線検出素子列は、スライス方向(列方向、row方向)に配列される。
X線検出器15は、例えば、グリッドと、シンチレータアレイと、光センサアレイとを有する間接型の検出器である。シンチレータアレイは、複数のシンチレータを有する。それぞれのシンチレータは、シンチレータ結晶を有する。シンチレータ結晶は、入射するX線の強度に応じた光量の光を発する。グリッドは、シンチレータアレイのX線が入射する面に配置され、散乱X線を吸収する機能を有するX線遮蔽板を有する。なお、グリッドは、コリメータ(一次元コリメータまたは二次元コリメータ)と呼ばれる場合もある。光センサアレイは、例えば、光電子増倍管(フォトマルチプライヤー:PMT)等の光センサを有する。光センサアレイは、シンチレータにより発せられる光の光量に応じた電気信号を出力する。X線検出器15は、入射したX線を電気信号に変換する半導体素子を有する直接変換型の検出器であってもかまわない。
DAS16は、例えば、増幅器と、積分器と、A/D変換器とを有する。増幅器は、X線検出器15の各X線検出素子により出力される電気信号に対して増幅処理を行う。積分器は、増幅処理が行われた電気信号をビュー期間(後述)に亘って積分する。A/D変換器は、積分結果を示す電気信号をデジタル信号に変換する。DAS16は、デジタル信号に基づく検出データをコンソール装置40に出力する。検出データは、生成元のX線検出素子のチャンネル番号、列番号、及び収集されたビューを示すビュー番号により識別されたX線強度のデジタル値である。ビュー番号は、回転フレーム17の回転に応じて変化する番号であり、例えば、回転フレーム17の回転に応じてインクリメントされる番号である。従って、ビュー番号は、X線管11の回転角度を示す情報である。ビュー期間とは、あるビュー番号に対応する回転角度から、次のビュー番号に対応する回転角度に到達するまでの間に収まる期間である。DAS16は、ビューの切り替わりを、制御装置18から入力されるタイミング信号によって検知してもよいし、内部のタイマーによって検知してもよいし、図示しないセンサから取得される信号によって検知してもよい。フルスキャンを行う場合においてX線管11によりX線が連続曝射されている場合、DAS16は、全周囲分(360度分)の検出データ群を収集する。ハーフスキャンを行う場合においてX線管11によりX線が連続曝射されている場合、DAS16は、半周囲分(180度分)の検出データを収集する。
回転フレーム17は、X線管11、ウェッジ12、およびコリメータ13と、X線検出器15とを対向支持する円環状の部材である。回転フレーム17は、固定フレームによって、内部に導入された被検体Pを中心として回転自在に支持される。回転フレーム17は、更にDAS16を支持する。DAS16が出力する検出データは、回転フレーム17に設けられた発光ダイオード(LED)を有する送信機から、光通信によって、架台装置10の非回転部分(例えば固定フレーム)に設けられたフォトダイオードを有する受信機に送信され、受信機によってコンソール装置40に転送される。なお、回転フレーム17から非回転部分への検出データの送信方法として、前述の光通信を用いた方法に限らず、非接触型の任意の送信方法を採用してよい。回転フレーム17は、X線管11などを支持して回転させることができるものであれば、円環状の部材に限らず、アームのような部材であってもよい。
X線CT装置である医用画像生成装置100Aは、例えば、X線管11とX線検出器15の双方が回転フレーム17によって支持されて被検体Pの周囲を回転するRotate/Rotate-TypeのX線CT装置(第3世代CT)であるが、これに限らず、円環状に配列された複数のX線検出素子が固定フレームに固定され、X線管11が被検体Pの周囲を回転するStationary/Rotate-TypeのX線CT装置(第4世代CT)であってもよい。
制御装置18は、例えば、CPUなどのプロセッサを有する処理回路と、モータやアクチュエータなどを含む駆動機構とを有する。制御装置18は、コンソール装置40または架台装置10に取り付けられた入力インターフェース43からの入力信号を受け付けて、架台装置10および寝台装置30の動作を制御する。例えば、制御装置18は、回転フレーム17を回転させたり、架台装置10をチルトさせたり、寝台装置30の天板33を移動させたりする。架台装置10をチルトさせる場合、制御装置18は、入力インターフェース43に入力された傾斜角度(チルト角度)に基づいて、Z軸方向に平行な軸を中心に回転フレーム17を回転させる。制御装置18は、図示しないセンサの出力等によって回転フレーム17の回転角度を把握している。また、制御装置18は、回転フレーム17の回転角度を随時、スキャン制御機能55に提供する。制御装置18は、架台装置10に設けられてもよいし、コンソール装置40に設けられてもよい。また、制御装置18の処理回路は、特定機能18Aを有する。これについては後述する。
寝台装置30は、スキャン対象の被検体Pを載置して移動させ、架台装置10の回転フレーム17の内部に導入する装置である。寝台装置30は、例えば、基台31と、寝台駆動装置32と、天板33と、支持フレーム34とを有する。基台31は、支持フレーム34を鉛直方向(Y軸方向)に移動可能に支持する筐体を含む。寝台駆動装置32は、モータやアクチュエータを含む。寝台駆動装置32は、被検体Pが載置された天板33を、支持フレーム34に沿って、天板33の長手方向(Z軸方向)に移動させる。天板33は、被検体Pが載置される板状の部材である。
寝台駆動装置32は、天板33だけでなく、支持フレーム34を天板33の長手方向に移動させてもよい。また、上記とは逆に、架台装置10がZ軸方向に移動可能であり、架台装置10の移動によって回転フレーム17が被検体Pの周囲に来るように制御されてもよい。また、架台装置10と天板33の双方が移動可能な構成であってもよい。また、医用画像生成装置100Aは、被検体Pが立位または座位でスキャンされる方式の装置であってもよい。この場合、医用画像生成装置100Aは、寝台装置30に代えて被検体支持機構を有し、架台装置10は、回転フレーム17を、床面に垂直な軸方向を中心に回転させる。
コンソール装置40は、例えば、メモリ41と、ディスプレイ42と、入力インターフェース43と、通信インターフェース44と、処理回路50とを有する。実施形態では、コンソール装置40は架台装置10とは別体として説明するが、架台装置10にコンソール装置40の各構成要素の一部または全部が含まれてもよい。
メモリ41は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。メモリ41は、例えば、検出データや投影データ、再構成画像データ、CT画像データ等を記憶する。これらのデータは、メモリ41ではなく(或いはメモリ41に加えて)、医用画像生成装置100Aが通信可能な外部メモリに記憶されてもよい。外部メモリは、例えば、外部メモリを管理するクラウドサーバが読み書きの要求を受け付けることで、クラウドサーバによって制御されるものである。
ディスプレイ42は、各種の情報を表示する。例えば、ディスプレイ42は、処理回路によって生成された医用画像(CT画像)や、操作者による各種操作を受け付けるGUI画像等を表示する。ディスプレイ42は、例えば、液晶ディスプレイやCRT、有機ELディスプレイ等である。ディスプレイ42は、架台装置10に設けられてもよい。ディスプレイ42は、デスクトップ型でもよいし、コンソール装置40の本体部と無線通信可能な表示装置(例えばタブレット端末)であってもよい。
入力インターフェース43は、操作者による各種の入力操作を受け付け、受け付けた入力操作の内容を示す電気信号を処理回路50に出力する。例えば、入力インターフェース43は、検出データまたは投影データ(後述)を収集する際の収集条件、CT画像を再構成する際の再構成条件、CT画像から後処理画像を生成する際の画像処理条件などの入力操作を受け付ける。例えば、入力インターフェース43は、マウスやキーボード、タッチパネル、ドラッグボール、スイッチ、ボタン、ジョイスティック、カメラ、赤外線センサ、マイク等により実現される。入力インターフェース43は、架台装置10に設けられてもよい。また、入力インターフェース43は、コンソール装置40の本体部と無線通信可能な表示装置(例えばタブレット端末)により実現されてもよい。
通信インターフェース44は、例えば、NICなどの通信インターフェースを含む。通信インターフェース44は、ネットワークNWを介して医用画像処理装置200と通信し、医用画像処理装置200から情報を受信する。通信インターフェース44は、受信した情報を処理回路50に出力する。また、通信インターフェース44は、処理回路50による制御を受けて、ネットワークNWを介して接続された他の装置に情報を送信してもよい。
処理回路50は、医用画像生成装置100Aの全体の動作を制御する。処理回路50は、例えば、システム制御機能51、前処理機能52、通信制御機能53、画像処理機能54、スキャン制御機能55、表示制御機能56などを実行する。これらの構成要素は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めメモリ41などの非一過性の記憶装置に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な非一過性の記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
コンソール装置40または処理回路50が有する各構成要素は、分散化されて複数のハードウェアにより実現されてもよい。処理回路50は、コンソール装置40が有する構成ではなく、コンソール装置40と通信可能な処理装置によって実現されてもよい。処理装置は、例えば、一つのX線CT装置と接続されたワークステーション、或いは、複数のX線CT装置に接続され、以下に説明する処理回路50と同等の処理を一括して実行する装置(例えばクラウドサーバ)である。
システム制御機能51は、入力インターフェース43が受け付けた入力操作に基づいて、処理回路50の各種機能を制御する。
前処理機能52は、DAS16により出力された検出データに対して対数変換処理やオフセット補正処理、チャネル間の感度補正処理、ビームハードニング補正等の前処理を行い、投影データを生成し、生成した投影データをメモリ41に記憶させる。
通信制御機能53は、前処理機能52によって投影データが生成されると、通信インターフェース44に医用画像処理装置200と通信させ、その通信相手の医用画像処理装置200に投影データを送信する。また、通信制御機能53は、通信インターフェース44に医用画像処理装置200と通信させ、その通信相手の医用画像処理装置200からCT画像の再構成画像を取得する。通信制御機能53は、CT画像の再構成画像を取得すると、この再構成画像をディスプレイ126に出力してよい。これによって、ディスプレイ126には再構成画像が表示される。
画像処理機能54は、通信制御機能53によってCT画像の再構成画像が取得されると、入力インターフェース43が受け付けた入力操作に基づいて、CT画像データを公知の方法により、三次元画像データや任意断面の断面像データに変換する。三次元画像データへの変換は、前処理機能52によって行われてもよい。
スキャン制御機能55は、X線高電圧装置14、DAS16、制御装置18、および寝台駆動装置32に指示することで、架台装置10における検出データの収集処理を制御する。スキャン制御機能55は、位置決め画像を収集する撮影、および診断に用いる画像を撮影する際の各部の動作をそれぞれ制御する。
表示制御機能56は、通信制御機能53によって取得されたCT画像の再構成画像をディスプレイ126に表示させたり、画像処理機能54によってCT画像から変換された三次元画像データや断面像データをディスプレイ126に表示させたりする。
上記構成により、医用画像生成装置100Aは、ヘリカルスキャン、コンベンショナルスキャン、ステップアンドシュートなどの態様で被検体Pのスキャンを行う。ヘリカルスキャンとは、天板33を移動させながら回転フレーム17を回転させて被検体Pをらせん状にスキャンする態様である。コンベンショナルスキャンとは、天板33を静止させた状態で回転フレーム17を回転させて被検体Pを円軌道でスキャンする態様である。コンベンショナルスキャンを実行する。ステップアンドシュートとは、天板33の位置を一定間隔で移動させてコンベンショナルスキャンを複数のスキャンエリアで行う態様である。
第4の実施形態における医用画像処理装置200の取得機能212は、通信インターフェース202に、X線CT装置である医用画像生成装置100Aと通信させ、医用画像生成装置100Aから投影データを取得する。例えば、医用画像生成装置100Aがヘリカルスキャンやコンベンショナルスキャンなどによって被検体OBを撮像した場合、投影データは、再構成を行う3次元座標系の格子に対して、サンプル点が格子状に並んでいないノンカルテシアンデータとなる。以下、投影データがノンカルテシアンデータであるものとして説明する。ノンカルテシアン投影データは、ノンカルテシアンk空間データDkと同様に、各サンプル点を要素とするベクトルによって表される。
再構成処理機能214は、医用画像再構成モデル情報232が示す医用画像再構成モデル300に従って、取得機能212によって取得されたノンカルテシアン投影データからCT画像を再構成する。
図17は、第4の実施形態における医用画像再構成モデル300の一例を示す図である。図示のように、第4の実施形態における医用画像再構成モデル300は、例えば、第1アクティベーションレイヤ310と、局所結合レイヤ320と、第2アクティベーションレイヤ330と、ラドン変換レイヤ430と、第3アクティベーションレイヤ350と、畳み込みレイヤ360とを備える。
第4の実施形態における第1アクティベーションレイヤ310には、取得機能212によって取得されたノンカルテシアン投影データを示すベクトルが入力される。第1アクティベーションレイヤ310は、入力されたノンカルテシアン投影データのベクトルに対してプーリング処理や活性化関数の計算処理を行い、そのベクトルを、局所結合レイヤ320に出力する。
第4の実施形態における局所結合レイヤ320は、第1アクティベーションレイヤ310からノンカルテシアン投影データのベクトルが入力されると、そのベクトルに対して、複数の係数列Cを含む係数行列Lを乗算する。具体的には、局所結合レイヤ320は、ノンカルテシアン投影データのベクトルの各要素と各係数列Cとの積和を演算し、その積和が要素値として対応付けられた複数の要素を含むベクトルを、カルテシアン投影データとして生成する。局所結合レイヤ320は、生成したカルテシアン投影データを、第2アクティベーションレイヤ330に出力する。
第4の実施形態における第2アクティベーションレイヤ330には、局所結合レイヤ320からカルテシアン投影データのベクトルが入力される。第2アクティベーションレイヤ330は、入力されたベクトルに対してプーリング処理や活性化関数の計算処理を行い、そのベクトルを、ラドン変換レイヤ430に出力する。
ラドン変換レイヤ430は、第2アクティベーションレイヤ330から入力されたカルテシアン投影データのベクトルに対してラドン変換の逆過程に対応する変換を行う。ラドン変換の逆過程に対応する変換は、例えば、フィルタードバックプロジェクションでも良いし、フィルタなしのバックプロジェクションであっても良い。ラドン変換レイヤ430は、ラドン変換の逆過程に対応する変換を適用して得られたベクトルを、第3アクティベーションレイヤ350に出力する。ラドン変換の逆過程に対応する変換を適用して得られたベクトルは、物理的な位置座標に対して、画素値が対応付けられた画像空間データを表している。
第4の実施形態における第3アクティベーションレイヤ350には、ラドン変換レイヤ430から、ラドン変換の逆過程に対応する変換が行われたベクトル、すなわち画像空間データが入力される。第3アクティベーションレイヤ350は、入力された画像空間データのベクトルに対してプーリング処理や活性化関数の計算処理を行い、そのベクトルを畳み込みレイヤ360に出力する。
第4の実施形態における畳み込みレイヤ360は、第3アクティベーションレイヤ350から画像空間データのベクトルが入力されると、入力されたベクトルに対して、線形変換行列を、ある決められたストライド量でスライドさせながら積和演算を繰り返し、入力された画像空間データのベクトルから、線形変換行列との積和が要素値として対応付けられた複数の要素を含むベクトルを生成する。そして、畳み込みレイヤ360は、生成したベクトルのデータを、CT画像の再構成画像として出力する。
第4の実施形態における出力制御機能216は、例えば、通信インターフェース202を介して接続された医用画像生成装置100Aに、畳み込みレイヤ360によって出力されたCT画像の再構成画像を送信する。また、出力制御機能216は、ディスプレイ206にCT画像の再構成画像を出力(表示)させてもよい。
以上説明した第4の実施形態によれば、X線を被検体OBに作用させることで生成されたノンカルテシアン投影データを医用画像生成装置100Aから取得する取得機能212と、取得されたノンカルテシアン投影データと、複数の係数列Cの其々との積和を導出し、係数列Cごとに導出した積和が要素値として対応付けられた複数の要素を含むベクトルをカルテシアン投影データとして生成する局所結合レイヤ320と、生成されたカルテシアン投影データに対してラドン変換の逆過程に対応する変換を行うラドン変換レイヤ430と、ラドン変換の逆過程に対応する変換が行われたカルテシアン投影データに線形変換行列を乗算することで得られた積和が画素値として対応付けられた複数の画素を含む画像を、CT画像の再構成画像として生成する畳み込みレイヤ360と、を備えることによって、CT画像の再構成の精度を高めることができるため、画質が良好な医用画像を再構成によって生成することができる。
上記説明したいずれかの実施形態は、以下のように表現することができる。
プログラムを格納するストレージと、
プロセッサと、を備え、
前記プロセッサは、前記プログラムを実行することにより、
電磁波を被検体に作用させることで生成されたノンカルテシアンデータを取得し、
前記取得したノンカルテシアンデータと、複数の係数集合の其々との積和を導出し、
前記係数集合ごとに導出した積和が要素値として対応付けられた複数の要素を含むカルテシアンデータを生成し、
前記生成したカルテシアンデータに基づいて、前記被検体の少なくとも一部が撮像された医用画像を再構成によって生成する、
ように構成されている、医用画像処理装置。
以上説明した少なくともひとつの実施形態によれば、磁場を被検体OBに作用させることで生成されたノンカルテシアンk空間データDkを医用画像生成装置100から取得する取得機能212と、取得されたノンカルテシアンk空間データDkと、複数の係数列Cの其々との積和を導出し、係数列Cごとに導出した積和が要素値として対応付けられた複数の要素を含むベクトルをカルテシアンk空間データDkとして生成する局所結合レイヤ320と、生成されたカルテシアンk空間データDkに対してフーリエ変換または逆フーリエ変換を行うフーリエ変換レイヤ340と、フーリエ変換または逆フーリエ変換が行われたカルテシアンk空間データDkに線形結合行列を乗算して得られた積和が画素値として対応付けられた複数の画素を含む画像を、MR画像の再構成画像として生成する畳み込みレイヤ360と、を備えることによって、医用画像の再構成の精度を高めることができるため、画質が良好な医用画像を再構成によって生成することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1…医用画像処理システム、100…医用画像生成装置、101…静磁場磁石、102…傾斜磁場コイル、104…寝台、105…寝台制御回路、106…送信コイル、107…送信回路、108…受信コイル、109…受信回路、110…シーケンス制御回路、120…コンソール装置、200…医用画像処理装置、202…通信インターフェース、204…入力インターフェース、206…ディスプレイ、210…処理回路、212…取得機能、214…再構成処理機能、216…出力制御機能、230…メモリ、232…医用画像再構成モデル情報、234…積和係数情報、300…医用画像再構成モデル、310…第1アクティベーションレイヤ、320…局所結合レイヤ、330…第2アクティベーションレイヤ、340…フーリエ変換レイヤ、350…第3アクティベーションレイヤ、360…畳み込みレイヤ

Claims (11)

  1. 被検体からノンカルテシアンデータを取得学習済みニューラルネットワークを用いて、記ノンカルテシアンデータに基づいて、前記被検体の少なくとも一部が撮像された医用画像を生成する処理部を備え
    前記学習済みニューラルネットワークは、
    前記ノンカルテシアンデータと、複数の係数集合との積和を導出し、前記係数集合ごとに導出した積和が要素値として対応付けられた複数の要素を含むカルテシアンデータを生成する第1レイヤと、
    前記カルテシアンデータに基づいて、前記医用画像を再構成によって生成する第2レイヤと、を含む、
    用画像処理装置。
  2. 前記ノンカルテシアンデータは、前記被検体が存在する空間に対応した周波数空間に含まれる複数のサンプルデータの集合であり、
    前記第1レイヤは、前記周波数空間における前記サンプルデータの位置に応じて予め学習された前記係数集合を含む行列を、前記ノンカルテシアンデータに対して乗算することで、前記カルテシアンデータを生成する、
    請求項1に記載の医用画像処理装置。
  3. 前記処理部は、磁場を前記被検体に作用させることで生成されたノンカルテシアンデータを取得し、
    前記第1レイヤは、前記ノンカルテシアンデータと、複数の係数集合の其々との積和を導出し、前記係数集合ごとに導出した積和が要素値として対応付けられた複数の要素を含むカルテシアンデータを生成し、
    前記第2レイヤは、前記カルテシアンデータに対してフーリエ変換または逆フーリエ変換を行い、前記フーリエ変換または前記逆フーリエ変換を行ったカルテシアンデータに線形結合行列を乗算することで、前記医用画像を生成する、
    請求項1または2に記載の医用画像処理装置。
  4. 前記処理部は、放射線を前記被検体に作用させることで生成されたノンカルテシアンデータを取得し、
    前記第1レイヤは、前記ノンカルテシアンデータと、複数の係数集合の其々との積和を導出し、前記係数集合ごとに導出した積和が要素値として対応付けられた複数の要素を含むカルテシアンデータを生成し、
    前記第2レイヤは、前記カルテシアンデータに対してラドン変換の逆過程に対応する変換を行い、前記ラドン変換の逆過程に対応する変換を行ったカルテシアンデータに線形結合行列を乗算することで、前記医用画像を生成する、
    請求項1または2に記載の医用画像処理装置。
  5. 前記第2レイヤは、前記カルテシアンデータと、複数の係数集合の其々との積和を導出し、前記係数集合ごとに導出した積和が要素値として対応付けられた複数の要素を含む第2カルテシアンデータを生成し、前記生成した第2カルテシアンデータに基づいて、前記医用画像を生成する、
    請求項1から4のうちいずれか1項に記載の医用画像処理装置。
  6. 前記学習済みニューラルネットワークは、記ノンカルテシアンデータの解像度を変更する第3レイヤを更に含み
    前記第1レイヤは、前記第3レイヤによって解像度が変更された前記ノンカルテシアンデータと、複数の係数集合の其々との積和を導出し、前記係数集合ごとに導出した積和が要素値として対応付けられた複数の要素を含む前記カルテシアンデータを生成する、
    請求項1から5のうちいずれか1項に記載の医用画像処理装置。
  7. 前記第1レイヤは、あるノンカルテシアンデータに対して、ある医用画像が正解データとして対応付けけられたトレーニングデータを用いて、前記サンプルデータが示す値と、前記周波数空間上において前記サンプルデータが取得される位置との関係を学習することで生成された前記係数集合を含む行列を、前記ノンカルテシアンデータに対して乗算することで、前記カルテシアンデータを生成する、
    請求項2に記載の医用画像処理装置。
  8. 前記トレーニングデータは、
    前記被検体から取得された前記ノンカルテシアンデータである第1ノンカルテシアンデータに比べて前記サンプルデータの数が多いノンカルテシアンデータである第2ノンカルテシアンデータに対して、前記第2ノンカルテシアンデータから再構成された医用画像である第2医用画像が前記正解データとして対応付けられたデータセットである、又は
    第3医用画像に対してサンプリングシミュレーションを行うことで得られたノンカルテシアンデータである第3ノンカルテシアンデータに対して、前記第3医用画像が前記正解データとして対応付けられたデータセットである、
    請求項7に記載の医用画像処理装置。
  9. 電磁波を被検体に作用させることでノンカルテシアンデータを生成する生成部と、
    学習済みニューラルネットワークを用いて、記ノンカルテシアンデータに基づいて、前記被検体の少なくとも一部が撮像された医用画像を生成する処理部と、を備え、
    前記学習済みニューラルネットワークは、
    前記ノンカルテシアンデータと、複数の係数集合との積和を導出し、前記係数集合ごとに導出した積和が要素値として対応付けられた複数の要素を含むカルテシアンデータを生成する第1レイヤと、
    前記カルテシアンデータに基づいて、前記医用画像を再構成によって生成する第2レイヤと、を含む、
    用画像生成装置。
  10. コンピュータを用いた医用画像処理方法であって
    被検体からノンカルテシアンデータを取得すること
    学習済みニューラルネットワークを用いて、記ノンカルテシアンデータに基づいて、前記被検体の少なくとも一部が撮像された医用画像を生成すること、を含み、
    前記学習済みニューラルネットワークは、
    前記ノンカルテシアンデータと、複数の係数集合との積和を導出し、前記係数集合ごとに導出した積和が要素値として対応付けられた複数の要素を含むカルテシアンデータを生成する第1レイヤと、
    前記カルテシアンデータに基づいて、前記医用画像を再構成によって生成する第2レイヤと、を含む、
    医用画像処理方法。
  11. コンピュータに実行させるためのプログラムであって
    被検体からノンカルテシアンデータを取得する処理と、
    学習済みニューラルネットワークを用いて、記ノンカルテシアンデータに基づいて、前記被検体の少なくとも一部が撮像された医用画像を生成する処理と、を含み、
    前記学習済みニューラルネットワークは、
    前記ノンカルテシアンデータと、複数の係数集合との積和を導出し、前記係数集合ごとに導出した積和が要素値として対応付けられた複数の要素を含むカルテシアンデータを生成する第1レイヤと、
    前記カルテシアンデータに基づいて、前記医用画像を再構成によって生成する第2レイヤと、を含む、
    ログラム。
JP2018154590A 2018-08-21 2018-08-21 医用画像処理装置、医用画像生成装置、医用画像処理方法、およびプログラム Active JP7206073B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018154590A JP7206073B2 (ja) 2018-08-21 2018-08-21 医用画像処理装置、医用画像生成装置、医用画像処理方法、およびプログラム
US16/543,669 US11416984B2 (en) 2018-08-21 2019-08-19 Medical image processing apparatus, medical image generation apparatus, medical image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018154590A JP7206073B2 (ja) 2018-08-21 2018-08-21 医用画像処理装置、医用画像生成装置、医用画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020028371A JP2020028371A (ja) 2020-02-27
JP7206073B2 true JP7206073B2 (ja) 2023-01-17

Family

ID=69586390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018154590A Active JP7206073B2 (ja) 2018-08-21 2018-08-21 医用画像処理装置、医用画像生成装置、医用画像処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US11416984B2 (ja)
JP (1) JP7206073B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11037027B2 (en) * 2018-10-25 2021-06-15 Raytheon Company Computer architecture for and-or neural networks
US10996306B2 (en) * 2019-04-25 2021-05-04 General Electric Company MRI system and method using neural network for detection of patient motion
CN111983247B (zh) * 2020-07-28 2021-09-10 国网江苏省电力有限公司南通供电分公司 一种用于封样送检的取样方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150035774A1 (en) 2012-03-09 2015-02-05 Flatfrog Laboratories Ab Efficient tomographic processing for touch determination
US20160139223A1 (en) 2014-11-13 2016-05-19 Siemens Aktiengesellschaft Method and system for generating a magnetic resonance image

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7583082B1 (en) * 2006-04-19 2009-09-01 University Of Virginia Patent Foundation Partially parallel magnetic resonance imaging using arbitrary k-space trajectories with image reconstruction based on successive convolution operations
TW201203052A (en) * 2010-05-03 2012-01-16 Flatfrog Lab Ab Touch determination by tomographic reconstruction
JP5984258B2 (ja) * 2012-04-27 2016-09-06 東芝メディカルシステムズ株式会社 磁気共鳴イメージング装置及び画像処理装置
WO2015019970A1 (ja) * 2013-08-08 2015-02-12 株式会社東芝 画像処理装置及び磁気共鳴イメージング装置
CN116741353A (zh) * 2017-11-24 2023-09-12 佳能医疗系统株式会社 医用数据处理装置、磁共振成像装置及学习完毕模型生成方法
US10393842B1 (en) * 2018-02-20 2019-08-27 The Board Of Trustees Of The Leland Stanford Junior University Highly-scalable image reconstruction using deep convolutional neural networks with bandpass filtering
KR102215702B1 (ko) * 2018-06-04 2021-02-16 한국과학기술원 뉴럴 네트워크를 이용한 자기공명영상 처리 방법 및 그 장치
US11037027B2 (en) * 2018-10-25 2021-06-15 Raytheon Company Computer architecture for and-or neural networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150035774A1 (en) 2012-03-09 2015-02-05 Flatfrog Laboratories Ab Efficient tomographic processing for touch determination
US20160139223A1 (en) 2014-11-13 2016-05-19 Siemens Aktiengesellschaft Method and system for generating a magnetic resonance image

Also Published As

Publication number Publication date
JP2020028371A (ja) 2020-02-27
US20200065964A1 (en) 2020-02-27
US11416984B2 (en) 2022-08-16

Similar Documents

Publication Publication Date Title
JP7524405B2 (ja) 医用画像処理装置および医用画像処理方法
JP7139474B2 (ja) 医用データ処理装置、x線コンピュータ断層撮影装置及び学習済みモデル生成方法
CN109863512B (zh) 用于通过流形近似进行自动变换的系统和方法
US11100638B2 (en) Medical imaging device and medical image processing method using a neutral network
US11341616B2 (en) Methods and system for selective removal of streak artifacts and noise from images using deep neural networks
JP5816269B2 (ja) 先験的画像制約画像再構成を使用して放射線量を減らす方法
EP2973411B1 (en) System and method for simultaneous image artifact reduction and tomographic reconstruction
JP7206073B2 (ja) 医用画像処理装置、医用画像生成装置、医用画像処理方法、およびプログラム
JP6753798B2 (ja) 医用撮像装置、画像処理方法及びプログラム
JP2016002467A (ja) X線ct装置及びその制御方法
EP3496615A1 (en) Method and system for reconstructing 3-dimensional images from spatially and temporally overlapping x-rays
JP2024001297A (ja) 医用データ処理装置、医用画像診断装置、医用データ処理方法、および医用データ処理プログラム
CN110047114A (zh) 用于改善计算机断层扫描中的空间分辨率的系统和方法
CN112107313A (zh) 医用数据处理装置以及医用数据处理方法
CN115908610A (zh) 一种基于单模态pet图像获取衰减校正系数图像的方法
US20230342995A1 (en) Patch-based medical image generation for complex input datasets
JP2021518221A (ja) 3次元磁気共鳴イメージングにおける自律ナビゲーション
JP7309429B2 (ja) 医用情報処理システム、および医用情報処理装置
JP7228386B2 (ja) 医用画像処理装置、磁気共鳴イメージング装置、および医用画像処理方法
JP2020121117A (ja) 医用情報処理装置、磁気共鳴イメージング装置、および医用情報処理方法
JP2022089773A (ja) 情報処理装置及び方法
CN115460985A (zh) 利用连续kv射束获取的锥形射束计算机断层成像

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221223

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230104

R150 Certificate of patent or registration of utility model

Ref document number: 7206073

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150