以下、図面を参照しながら、医用画像処理装置、磁気共鳴イメージング装置、学習装置、医用画像処理方法、およびプログラムの実施形態について詳細に説明する。
図1は、実施形態に係る医用画像処理装置200を含む医用画像処理システム1の構成の一例を示す図である。例えば、図1に示すように、医用画像処理システム1は、MRI装置100と、医用画像処理装置200とを備える。MRI装置100および医用画像処理装置200は、ネットワークNWを介して接続される。ネットワークNWは、例えば、WAN(Wide Area Network)やLAN(Local Area Network)、インターネット、専用回線、無線基地局、プロバイダなどを含む。
MRI装置100は、例えば、被検体(例えば人体)に磁場を与えて、核磁気共鳴現象によって被検体内の水素原子核から発生する電磁波を、コイルを利用して受信し、その受信した電磁波に基づく信号を再構成することで医用画像の一つであるMR画像を生成する装置である。
医用画像処理装置200は、一つまたは複数のプロセッサにより実現される。例えば、医用画像処理装置200は、クラウドコンピューティングシステムに含まれるコンピュータであってもよいし、他の機器に依存せずに単独で動作するコンピュータ(スタンドアローンのコンピュータ)であってもよい。
[MRI装置の構成例]
図2は、実施形態に係るMRI装置100の一例を示す図である。図2に示すように、MRI装置100は、静磁場磁石101と、傾斜磁場コイル102と、傾斜磁場電源103と、寝台104と、寝台制御回路105と、送信コイル106と、送信回路107と、受信コイル108と、受信回路109と、シーケンス制御回路110と、コンソール装置120とを備える。送信コイル106および受信コイル108は、「RFコイル」とも呼ばれる。
静磁場磁石101は、中空の略円筒形状に形成された磁石であり、内部の空間に一様な静磁場を発生させる。静磁場磁石101は、例えば、永久磁石や超伝導磁石などである。傾斜磁場コイル102は、中空の略円筒形状に形成されたコイルであり、静磁場磁石101の内側に配置される。傾斜磁場コイル102は、互いに直交するx,y,zの各軸に対応する3つのコイルが組み合わされて形成される。z軸方向は、寝台104の天板104aの長手方向を表し、x軸方向は、z軸方向に直交し、MRI装置100が設置される部屋の床面に対して平行である軸方向を表し、y軸方向は、床面に対して垂直方向である軸方向を表している。各軸方向に対応した3つのコイルは、傾斜磁場電源103から個別に電流を受けて、x,y,zの各軸に沿って磁場強度が変化する傾斜磁場を発生させる。なお、z軸方向は、静磁場と同方向とする。
傾斜磁場電源103は、傾斜磁場コイル102に電流を供給する。ここで、傾斜磁場コイル102によって発生するx,y,zの各軸の傾斜磁場は、例えば、スライス選択用傾斜磁場Gs、位相エンコード用傾斜磁場Ge、及びリードアウト用傾斜磁場Grにそれぞれ対応する。スライス選択用傾斜磁場Gsは、任意に撮像断面を決めるために利用される。位相エンコード用傾斜磁場Geは、空間的位置に応じて磁気共鳴信号の位相を変化させるために利用される。リードアウト用傾斜磁場Grは、空間的位置に応じて磁気共鳴信号の周波数を変化させるために利用される。
寝台104は、被検体OBが載置される天板104aを備え、寝台制御回路105による制御のもと、天板104aを、被検体OBが載置された状態で傾斜磁場コイル102の空洞(撮像口)内へ挿入する。通常、寝台104は、長手方向が静磁場磁石101の中心軸と平行になるように設置される。寝台制御回路105は、コンソール装置120による制御のもと、寝台104を駆動して天板104aを長手方向及び上下方向へ移動する。
送信コイル106は、例えば、傾斜磁場コイル102の内側に配置される。送信コイル106は、送信回路107から電流の供給を受けて、被検体OB内部の原子核スピンを励起するための高周波磁場を発生させる。送信コイル106は、例えば、高周波磁場の位相または振幅の少なくとも一方を独立に制御可能な複数の送信チャネルを有するコイルである。以下、送信コイル106から送信される高周波磁場を、送信RFと称することにする。
送信回路107は、対象とする原子核の種類及び磁場の強度で決まるラーモア周波数に対応する電流を送信コイル106に供給し、送信コイル106から送信RFを発生させる。また、送信回路107は、送信コイル106の複数の送信チャネルに供給する電流を独立に制御することにより、高周波磁場の空間的な不均一性を補正する。このような高周波磁場を空間的に均一化させることは、B1シミング(RFシミング)と呼ばれる。B1シミングでは、各送信コイル106から発生させる送信RFの振幅や位相などを調整することで、被検体OBに作用させる高周波磁場を空間的に均一化させる。
受信コイル108は、傾斜磁場コイル102の内側に配置され、送信RFの影響によって被検体OBから発せられる磁気共鳴信号を受信する。磁気共鳴信号には、例えば、信号強度成分と位相成分が含まれる。受信コイル108は、磁気共鳴信号を受信すると、受信した磁気共鳴信号を受信回路109へ出力する。本実施形態では、受信コイル108が、少なくとも2つ以上のコイルエレメントを有するコイルアレイであるものとして説明するが、送信と受信とを兼ね備えた一つのRFコイルによって実現されてもよい。
受信回路109は、受信コイル108から出力される磁気共鳴信号に基づいて磁気共鳴データを生成する。具体的には、受信回路109は、受信コイル108から出力されるアナログ信号の磁気共鳴信号をアナログ・デジタル変換することによって、デジタル信号である磁気共鳴データを生成する。受信回路109は、生成した磁気共鳴データをシーケンス制御回路110へ送信する。なお、受信回路109は、受信コイル108から出力される磁気共鳴信号をシーケンス制御回路110へ送信してもよい。また、受信回路109は、静磁場磁石101や傾斜磁場コイル102等を備える架台装置側に備えられていてもよい。受信コイル108の各コイルエレメントから出力される磁気共鳴信号は、適宜分配合成されることで受信回路109に出力される。
シーケンス制御回路110は、コンソール装置120から送信されるシーケンス情報に基づいて、傾斜磁場電源103、送信回路107及び受信回路109を駆動することによって、被検体OBを撮像する。シーケンス情報は、撮像処理を行うための手順を定義した情報である。シーケンス情報には、傾斜磁場電源103が傾斜磁場コイル102に供給する電流の大きさや電流を供給するタイミング、送信回路107が送信コイル106から発生させる送信RFの振幅や送信RFの位相、受信回路109が磁気共鳴信号を検出するタイミング等が定義された情報が含まれる。
なお、シーケンス制御回路110は、傾斜磁場電源103、送信回路107及び受信回路109を駆動して被検体OBを撮像し、受信回路109から磁気共鳴信号や磁気共鳴データを受信すると、受信した磁気共鳴信号や磁気共鳴データをコンソール装置120へ転送する。
コンソール装置120は、MRI装置100の全体を制御したり、磁気共鳴信号や磁気共鳴データを収集したりする。例えば、コンソール装置120は、通信インターフェース122と、入力インターフェース124と、ディスプレイ126と、処理回路130と、メモリ(ストレージ)150とを備える。
通信インターフェース122は、例えば、NIC(Network Interface Card)などの通信インターフェースを含む。通信インターフェース122は、ネットワークNWを介して医用画像処理装置200と通信し、医用画像処理装置200から情報を受信する。通信インターフェース122は、受信した情報を処理回路130に出力する。また、通信インターフェース122は、処理回路130による制御を受けて、ネットワークNWを介して接続された他の装置に情報を送信してもよい。
入力インターフェース124は、操作者から各種の入力操作を受け付けるインターフェースである。入力インターフェース124は、入力操作を受け付けると、その受け付けた入力操作を電気信号に変換して処理回路130に出力する。例えば、入力インターフェース124は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパネルなどにより実現される。また、入力インターフェース124は、例えば、マイクなどの音声入力を受け付けるユーザインターフェースによって実現されてもよい。入力インターフェース124がタッチパネルである場合、後述するディスプレイ126は入力インターフェース124と一体として形成されてよい。
ディスプレイ126は、各種の情報を表示する。例えば、ディスプレイ126は、処理回路130によって生成された画像を表示したり、操作者からの各種の入力操作を受け付けるためのGUI(Graphical User Interface)などを表示したりする。例えば、ディスプレイ126は、LCD(Liquid Crystal Display)や、CRT(Cathode Ray Tube)ディスプレイ、有機EL(Electroluminescence)ディスプレイなどである。
処理回路130は、例えば、取得機能132と、生成機能134と、通信制御機能136と、表示制御機能138とを実行する。処理回路130は、例えば、コンピュータに備えられるハードウェアプロセッサが記憶装置(記憶回路)であるメモリ150に記憶されたプログラムを実行することにより、これらの機能を実現するものである。
処理回路130の各機能を実現するハードウェアプロセッサとは、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、特定用途向け集積回路(Application Specific Integrated Circuit; ASIC)、プログラマブル論理デバイスなどの回路(circuitry)を意味する。プログラマブル論理デバイスは、例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device; SPLD)または複合プログラマブル論理デバイス(Complex Programmable Logic Device; CPLD)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array; FPGA)などである。メモリ150にプログラムを記憶させる代わりに、ハードウェアプロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、ハードウェアプロセッサは回路内に組み込まれたプログラムを読み出し実行することで上記の各機能を実現する。ハードウェアプロセッサは、単一の回路として構成されるものに限らず、複数の独立した回路を組み合わせて1つのハードウェアプロセッサとして構成され、各機能を実現するようにしてもよい。また、複数の構成要素を1つのハードウェアプロセッサに統合して各機能を実現するようにしてもよい。
メモリ150は、例えば、RAM(Random Access Memory)、フラッシュメモリなどの半導体メモリ素子、ハードディスク、光ディスクなどによって実現される。これらの非一過性の記憶媒体は、NAS(Network Attached Storage)や外部ストレージサーバ装置といったネットワークNWを介して接続される他の記憶装置によって実現されてもよい。また、メモリ150には、ROM(Read Only Memory)やレジスタなどの非一過性の記憶媒体が含まれてもよい。
取得機能132は、シーケンス制御回路110から磁気共鳴データを取得する。磁気共鳴データは、上述したように、核磁気共鳴現象によって被検体OB内において発生した電磁波の信号(磁気共鳴信号)をアナログ・デジタル変換することで得られるデータである。なお、上述した傾斜磁場により付与された位相エンコード量や周波数エンコード量に従って配列させたデータは、k空間データとも称される。k空間とは、磁気共鳴信号が1次元の波形として受信コイル108により繰り返し収集される際に、その1次元の波形が収集される周波数空間を表している。
生成機能134は、取得機能132によって取得されたk空間データに対してフーリエ変換(例えば、逆フーリエ変換)などの処理を含む再構成処理を行うことで、k空間データから再構成されたMR画像を生成する。生成機能134は、「生成部」の一例である。これらの医用画像は、二次元画像であってもよいし、三次元画像であってもよい。
通信制御機能136は、生成機能134がMR画像を再構成により生成すると、通信インターフェース122を介して、医用画像処理装置200に再構成されたMR画像を送信する。また、通信制御機能136は、通信インターフェース122を介して、医用画像処理装置200から各種情報を受信してよい。
表示制御機能138は、生成機能134によって生成されたMR画像を、ディスプレイ126に表示させる。また、表示制御機能138は、通信インターフェース122が医用画像処理装置200からMR画像などの医用画像を受信した場合、その医用画像をディスプレイ126に表示させてもよい。
[医用画像処理装置の構成例]
図3は、実施形態に係る医用画像処理装置200の一例を示す図である。図3に示すように、医用画像処理装置200は、例えば、通信インターフェース202と、入力インターフェース204と、ディスプレイ206と、処理回路210と、メモリ230とを備える。
通信インターフェース202は、例えば、NICなどの通信インターフェースを含む。例えば、通信インターフェース202は、ネットワークNWを介してMRI装置100と通信し、MRI装置100から、再構成されたMR画像や、そのMR画像が撮像された被検体OBの身長や体重などの体格を示す情報、性別、撮像部位といった情報(以下、これらの情報を被検体情報と称する)を受信する。通信インターフェース202は、受信した医用画像や被検体情報を処理回路210に出力する。また、通信インターフェース202は、処理回路210による制御を受けて、ネットワークNWを介して接続されたMRI装置100やその他の装置に情報を送信してもよい。他の装置とは、例えば、医師や技師などが利用可能な端末装置であってよい。
入力インターフェース204は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路210に出力する。例えば、入力インターフェース204は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパネルなどにより実現される。また、入力インターフェース204は、例えば、マイクなどの音声入力を受け付けるユーザインターフェースによって実現されてもよい。入力インターフェース204がタッチパネルである場合、後述するディスプレイ206は入力インターフェース204と一体として形成されてよい。
ディスプレイ206は、各種の情報を表示する。例えば、ディスプレイ206は、処理回路210によって生成された画像を表示したり、操作者からの各種の入力操作を受け付けるためのGUIなどを表示したりする。例えば、ディスプレイ206は、LCDや、CRTディスプレイ、有機ELディスプレイなどである。
処理回路210は、例えば、取得機能212と、パラメータ決定機能214と、出力制御機能216と、学習機能218とを実行する。取得機能212は、「取得部」の一例であり、パラメータ決定機能214は、「決定部」の一例であり、出力制御機能216は、「出力制御部」の一例であり、学習機能218は、「学習部」の一例である。
処理回路210は、例えば、コンピュータに備えられるハードウェアプロセッサが記憶装置(記憶回路)であるメモリ230に記憶されたプログラムを実行することにより、これらの機能を実現するものである。
処理回路210の各機能を実現するハードウェアプロセッサとは、例えば、CPU、GPU、特定用途向け集積回路、プログラマブル論理デバイスなどの回路(circuitry)を意味する。メモリ230にプログラムを記憶させる代わりに、ハードウェアプロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、ハードウェアプロセッサは回路内に組み込まれたプログラムを読み出し実行することで上記の各機能を実現する。ハードウェアプロセッサは、単一の回路として構成されるものに限らず、複数の独立した回路を組み合わせて1つのハードウェアプロセッサとして構成され、各機能を実現するようにしてもよい。また、複数の構成要素を1つのハードウェアプロセッサに統合して各機能を実現するようにしてもよい。
メモリ230は、例えば、RAM、フラッシュメモリなどの半導体メモリ素子、ハードディスク、光ディスクなどによって実現される。これらの非一過性の記憶媒体は、NASや外部ストレージサーバ装置といったネットワークNWを介して接続される他の記憶装置によって実現されてもよい。また、メモリ230には、ROMやレジスタなどの非一過性の記憶媒体が含まれてもよい。メモリ230には、例えば、パラメータ出力モデル情報232と、教師データ234などが格納される。
パラメータ出力モデル情報232は、後述する一または複数のパラメータ出力モデルMDLを定義した情報(プログラムまたはデータ構造)である。パラメータ出力モデルMDLは、画像が入力されると、送信RFを均一に照射するための調整パラメータ(以下、シミングパラメータと称する)を出力するように学習されたモデルである。シミングパラメータには、例えば、送信コイル106の各チャネルから発生させる送信RFの振幅差ΔAと位相差Δφとのうち一方または双方が含まれる。また、シミングパラメータには、送信RFの振幅差ΔAや位相差Δφに加えて、あるいは代えて、撮像対象の被検体OBにとって最適なRFパワーを決定する係数が含まれていてもよい。このように、シミングパラメータは、多次元のパラメータ(複数のパラメータの組み合わせ)であってよい。
各パラメータ出力モデルMDLは、例えば、CNN(Convolutional Neural Network)などのDNN(Deep Neural Network(s))によって実現されてよい。また、パラメータ出力モデルMDLは、ニューラルネットワークに限られず、サポートベクターマシンや決定木、単純ベイズ分類器、ランダムフォレストといった他のモデルによって実現されてよい。
パラメータ出力モデルMDLがDNNによって実現される場合、パラメータ出力モデル情報232には、例えば、パラメータ出力モデルMDLに含まれる各DNNを構成する入力層、一以上の隠れ層(中間層)、出力層の其々に含まれるニューロン(ユニットあるいはノード)が互いにどのように結合されるのかという結合情報や、結合されたニューロン間で入出力されるデータに付与される結合係数がいくつであるのかという重み情報などが含まれる。結合情報は、例えば、各層に含まれるニューロン数や、各ニューロンの結合先のニューロンの種類を指定する情報、各ニューロンを実現する活性化関数、隠れ層のニューロン間に設けられたゲートなどの情報を含む。ニューロンを実現する活性化関数は、例えば、入力符号に応じて動作を切り替える関数(ReLU(Rectified Linear Unit)関数やELU(Exponential Linear Units)関数、クリッピング関数)であってもよいし、シグモイド関数や、ステップ関数、ハイパポリックタンジェント関数であってもよいし、恒等関数であってもよい。ゲートは、例えば、活性化関数によって返される値(例えば1または0)に応じて、ニューロン間で伝達されるデータを選択的に通過させたり、重み付けたりする。結合係数は、活性化関数のパラメータであり、例えば、ニューラルネットワークの隠れ層において、ある層のニューロンから、より深い層のニューロンにデータが出力される際に、出力データに対して付与される重みを含む。また、結合係数は、各層の固有のバイアス成分などを含んでもよい。
教師データ234は、上述したパラメータ出力モデルMDLを教師あり学習するために利用されるデータである。図4は、教師データ234の一例を示す図である。図示のように、教師データ234は、シミングなし画像に対して、振幅差ΔAや位相差Δφといったシミングパラメータが教師ラベルとして対応付けられたデータである。シミングなし画像とは、例えば、B1シミングを行わずに生成されたB1マップである。教師ラベルとするシミングパラメータは、B1マップに対してむら(送信むら)が生じないようにB1シミングされたときの振幅差ΔAや位相差Δφなどである。画像のむらは、磁場が不均一であることに起因して生じ得る画像のむらであり、被検体OBの体格(体型)や体内組織の構造、被検体OBの配置などによって変化し得る。すなわち、教師データ234は、画像のむらが少ないB1マップを得るために調整されたシミングパラメータが、画像のむらが多いB1マップに教師ラベルとして対応付けられたデータである。また、図示の例のように、教師データ234は、被検体OBの体格や性別、撮像部位といった被検体情報ごとに得られていてよい。
取得機能212は、通信インターフェース202にMRI装置100と通信させ、MRI装置100から再構成されたMR画像や被検体情報を取得する。
パラメータ決定機能214は、パラメータ出力モデル情報232が示すパラメータ出力モデルMDLを利用して、取得機能212によって取得されたMR画像からむらを低減するために好適なシミングパラメータを決定する。例えば、パラメータ出力モデルMDLは、プロセッサがパラメータ出力モデルMDLを実行することによって、パラメータ決定機能214の一部として実現されてよい。
出力制御機能220は、通信インターフェース202を制御して、パラメータ決定機能214によって決定されたシミングパラメータをMRI装置100に送信する。また、出力制御機能220は、パラメータ決定機能214によって決定されたシミングパラメータを表す画像をディスプレイ206に表示させてもよい。
学習機能222は、パラメータ出力モデルMDLに対して、教師データ234に含まれるシミングなし画像を入力し、パラメータ出力モデルMDLによって出力されたシミングパラメータが、教師データ234とするシミングなし画像に対して予め教師ラベルとして対応付けられたシミングパラメータに近づくようにパラメータ出力モデルMDLを学習する。
例えば、パラメータ出力モデルMDLがニューラルネットワークである場合、学習機能222は、パラメータ出力モデルMDLによって出力されたシミングパラメータと、教師ラベルのシミングパラメータとの差分が小さくなるように、パラメータ出力モデルMDLのパラメータを、SGD(Stochastic Gradient Descent)、Momentum SGD、AdaGrad、RMSprop、AdaDelta、Adam(Adaptive moment estimation)などの勾配法を利用して学習する。
[トレーニング時のMRI装置の処理フロー]
以下、実施形態におけるMRI装置100側の処理回路130の一連の処理の流れをフローチャートに即して説明する。図5は、実施形態におけるMRI装置100側の処理回路130のトレーニング時の一連の処理の流れを示すフローチャートである。トレーニングとは、パラメータ出力モデルMDLを学習することである。本フローチャートの処理は、例えば、所定の周期で繰り返し行われてよい。なお、MRI装置100の処理回路130を実現するプロセッサが、複数の独立した回路を組み合わせて構成される場合、すなわち、MRI装置100の処理回路130が複数のプロセッサによって実現される場合、本フローチャートの処理の一部または全部は、複数のプロセッサによって並列処理されてよい。
まず、生成機能134は、B1シミングを行わずに、すなわち、磁場の空間的な不均一性を考慮せずに、シミングなし画像を生成する(ステップS100)。シミングなし画像には、被検体OBの体格や性別、撮像部位といった被検体情報が対応付けられていてよい。このときの被検体OBは、人体であってもよいし、人体を模擬した形状や性質を有する数種のファントムであってもよい。
次に、生成機能134は、複数のシミングパラメータの候補の中から、一つの好適なシミングパラメータを選択する(ステップS102)。例えば、生成機能134は、MRI装置100の設計時や据え付け時などのタイミングで、技術者やサービスマンなどに複数のシミングパラメータの候補を提示し、一つの好適なシミングパラメータを選択させる。あるいは、生成機能134は、MRI装置100が据え付けられた病院の医師や技師などのユーザに複数のシミングパラメータの候補を提示し、一つの好適なシミングパラメータを選択させてもよい。
次に、生成機能134は、選択したシミングパラメータに基づいてB1シミングを行い、B1マップ(以下、シミングあり画像と称する)を生成する(ステップS104)。具体的には、生成機能134は、送信回路107に、選択したシミングパラメータに従って振幅や位相が調整された高周波磁場を送信コイル106から照射する。これによって、B1シミングを行わない場合に比べて、空間に均一に分布した磁場が発生する。この際、撮像対象である被検体OBの撮像部位などの被検体情報は、シミングなし画像が生成されるときと同じであるものとする。
受信回路109は、空間に均一に分布した磁場が発生したときに受信コイル108によって受信された磁気共鳴信号に基づいて磁気共鳴データを生成し、シーケンス制御回路110を介して処理回路130に送信する。これを受けて、生成機能134は、B1シミングを行って得られたk空間データに対して再構成処理を行うことで、シミングあり画像を生成する。
次に、生成機能134は、全てのシミングパラメータの候補を選択して、シミングあり画像を生成したか否かを判定し(ステップS106)、未だ全てのシミングパラメータの候補を選択しておらず、シミングあり画像を生成していないと判定した場合、S102の処理に戻る。そして、生成機能134は、複数のシミングパラメータの候補の中から、前回選択したシミングパラメータと異なる好適なシミングパラメータを選択し、その選択したシミングパラメータに基づいてB1シミングを行い、シミングあり画像を生成することを繰り返す。
一方、通信制御機能136は、生成機能134によって、全てのシミングパラメータの候補を選択して、シミングあり画像を生成したと判定された場合、通信インターフェース122を介して、生成機能134によってシミングパラメータごとに生成された全てのシミングあり画像と、シミングなし画像とを医用画像処理装置200に送信する(ステップS108)。医用画像処理装置200に送信されるシミングあり画像には、シミングパラメータが対応付けられているものとする。これによって本フローチャートの処理が終了する。
なお、上述したフローチャートでは、シミングパラメータを手動で選択させるものとして説明したがこれに限られない。例えば、処理回路130は、複数のシミングパラメータの候補のそれぞれを評価し、各候補の評価結果に基づいて、適切な振幅差ΔAおよび位相差Δのシミングパラメータの候補を、シミングパラメータとして自動で選択してよい。このように、処理回路130は、本フローチャートの処理を、インタラクティブ処理ではなく、バッチ処理のように実行してよい。
[トレーニング時の医用画像処理装置の処理フロー]
以下、実施形態における医用画像処理装置200側の処理回路210の一連の処理の流れをフローチャートに即して説明する。図6は、実施形態における医用画像処理装置200側の処理回路210のトレーニング時の一連の処理の流れを示すフローチャートである。本フローチャートの処理は、例えば、所定の周期で繰り返し行われてよい。なお、医用画像処理装置200の処理回路210を実現するプロセッサが、複数の独立した回路を組み合わせて構成される場合、すなわち、医用画像処理装置200の処理回路210が複数のプロセッサによって実現される場合、本フローチャートの処理の一部または全部は、複数のプロセッサによって並列処理されてよい。
まず、学習機能218は、通信インターフェース202によってMRI装置100からシミングあり画像とシミングなし画像とを含む医用画像が受信されたか否かを判定する(ステップS200)。これらの画像には、被検体情報が対応付けられていてよい。
学習機能218は、通信インターフェース202によってMRI装置100から医用画像が受信されたと判定した場合、受信された医用画像に含まれる複数のシミングあり画像の中から、最もむらの少ないシミングあり画像を選択させる画面(以下、画像選択画面と称する)をディスプレイ206に表示させる(ステップS202)。
図7は、画像選択画面の一例を示す図である。図示の例のように、画像選択画面には、複数のシミングあり画像がサムネイル形式などで並べられて表示されてよい。また、図示のように、画像選択画面には、複数のシミングあり画像のそれぞれに対応付けられたシミングパラメータが表示されてよい。
次に、学習機能218は、入力インターフェース204によって、画像選択画面に表示させた複数のシミングあり画像の中から、最もむらの少ないシミングあり画像を選択する操作が受け付けられたか否かを判定する(ステップS204)。
学習機能218は、入力インターフェース204によってシミングあり画像を選択する操作が受け付けられなかったと判定した場合、S202の処理に戻る。
一方、学習機能218は、入力インターフェース204によってシミングあり画像を選択する操作が受け付けられたと判定した場合、教師データ234を生成する(ステップS206)。
例えば、学習機能218は、画像選択画面に表示させた複数のシミングあり画像の中から、最もむらの少ない画像として選択されたシミングあり画像に対応付けられたシミングパラメータを取得する。学習機能218は、通信インターフェース202によって受信された医用画像の中に複数のシミングあり画像とともに含まれていたシミングなし画像に対して、取得したシミングパラメータを教師ラベルとして対応付けることで、教師データ234を生成する。この際、学習機能218は、生成した教師データ234を、被検体情報に基づいて、被検体OBの体格や性別、部位ごとにグループ化してよい。
図8は、教師データの生成方法を模式的に示す図である。図示のように、通信インターフェース202によってシミングなし画像IMG_1が受信されており、最もむらの少ない画像としてシミングあり画像IMG_2が選択されたとする。この場合、学習機能218は、シミングあり画像IMG_2にシミングパラメータとして対応付けられた送信RFの振幅差ΔA2と位相差Δφ2とを、シミングなし画像IMG_1に教師ラベルとして対応付けることで、教師データ234を生成する。
図6の説明に戻り、次に、学習機能218は、生成した教師データ234に基づいて、パラメータ出力モデルMDLを学習する(ステップS208)。例えば、学習機能218は、教師データ234に含まれるシミングなし画像をパラメータ出力モデルMDLに入力する。学習機能218は、シミングなし画像を入力したパラメータ出力モデルMDLによって出力されたシミングパラメータと、教師ラベルとしたシミングパラメータとの差分が小さくなるように確率的勾配降下法などを利用してパラメータ出力モデルMDLのパラメータを決定する。学習機能218は、被検体OBの体格が同じ教師データを用いて、被検体OBの体格ごとにパラメータ出力モデルMDLを学習したり、被検体OBの性別が同じ教師データを用いて、被検体OBの性別ごとにパラメータ出力モデルMDLを学習したり、被検体OBの撮像部位が同じ教師データを用いて、被検体OBの撮像部位ごとにパラメータ出力モデルMDLを学習したりしてよい。
次に、学習機能218は、学習したパラメータ出力モデルMDLを、被検体OBの体格ごと、性別ごと、部位ごと、またはこれらの組み合わせごとに対応付け、この情報をパラメータ出力モデル情報232としてメモリ230に記憶させる(ステップS210)。これによって本フローチャートの処理が終了する。
このように、B1シミングを行わないことで被検体OB内において高周波磁場が空間的に均一でない蓋然性が高い状態のときに生成されたシミングなし画像に対して、B1シミングを行うことで被検体OB内において磁場が空間的に均一である蓋然性が高い状態のときに生成されたシミングあり画像のシミングパラメータが教師ラベルとして対応付けられた教師データ234を用いて、パラメータ出力モデルMDLを学習する。これによって、パラメータ出力モデルMDLにシミングなし画像が入力された場合に、そのシミングなし画像において生じている蓋然性の高いむらを低減することが可能なシミングパラメータをパラメータ出力モデルMDLに出力させることができる。
なお、上述したフローチャートでは、学習機能218が、複数のシミングあり画像が含まれる画像選択画面をディスプレイ206に表示させることで、その画面を見た人に、複数のシミングあり画像の中から、最もむらの少ないシミングあり画像を選択させるものとして説明したがこれに限られない。例えば、学習機能218は、複数のシミングあり画像のそれぞれに対応付けられたシミングパラメータを評価し、各シミングあり画像のシミングパラメータの評価結果に基づいて、最もむらの少ないシミングあり画像を自動的に選択してよい。具体的には、学習機能218は、適切な振幅差ΔAおよび位相差Δφがシミングパラメータとして対応付けられた画像を、最もむらの少ないシミングあり画像として選択する。このように、処理回路210は、本フローチャートの処理を、インタラクティブ処理ではなく、バッチ処理のように実行してよい。
[ランタイム時のMRI装置の処理フロー]
以下、実施形態におけるMRI装置100側の処理回路130の一連の処理の流れをフローチャートに即して説明する。図9は、実施形態におけるMRI装置100側の処理回路130のランタイム時の一連の処理の流れを示すフローチャートである。ランタイムとは、十分に学習されたパラメータ出力モデルMDLを利用して処理を実行することである。本フローチャートの処理は、例えば、プリスキャン時に所定の周期で繰り返し行われてよい。プリスキャンとは、本スキャンの前に、コイルのチューニングや、中心周波数の設定、受信感度の調整などのキャリブレーションを行うために被検体OBを少なくとも1回スキャンすることである。本スキャンとは、例えば、パルスシーケンスとも呼ばれるシーケンス情報に基づいて、被検体OBをシーケンシャルにスキャンすることである。なお、上述した図5のフローチャートと同様に、MRI装置100の処理回路130を実現するプロセッサが、複数の独立した回路を組み合わせて構成される場合、すなわち、MRI装置100の処理回路130が複数のプロセッサによって実現される場合、本フローチャートの処理の一部または全部は、複数のプロセッサによって並列処理されてよい。
まず、生成機能134は、撮像部位を決定し、B1シミングを行わずに、決定した撮像部位をスキャンすることで、シミングなし画像を生成する(ステップS300)。
次に、通信制御機能136は、通信インターフェース122を介して、生成機能134によって生成されたシミングなし画像を医用画像処理装置200に送信する(ステップS302)。このシミングなし画像には、被検体情報が対応付けられていてよい。
次に、生成機能134は、通信インターフェース122によって医用画像処理装置200から、S302の処理で送信したシミングなし画像のむらを低減することが可能なシミングパラメータ(パラメータ出力モデルMDLによって出力されたシミングパラメータ)が受信されるまで待機する(ステップS304)。生成機能134は、通信インターフェース122によってシミングパラメータが受信されると、送信回路107に、シミングパラメータに基づいてB1シミングを行わせる(ステップS306)。具体的には、生成機能134は、通信インターフェース122によって受信されたシミングパラメータに含まれる振幅差ΔAと位相差Δφとなるように、送信回路107に、送信コイル106の各送信チャネルに供給する送信RFの振幅と位相を制御させることで、B1シミングを行わせる。
次に、生成機能134は、本スキャンを行って医用画像を生成する(ステップS308)。これによって本フローチャートの処理が終了する。
このように、B1シミングを行う際にシミングパラメータを機械学習によって決定するため、送信コイル106の制御が複雑化しても柔軟に、被検体OB毎に最適なB1シミングパラメータを算出することができる。この結果、速やかに高画質な医用画像を生成することができるようになるため、被検体OBの診断時間を短くすることができる。
[ランタイム時の医用画像処理装置の処理フロー]
以下、実施形態における医用画像処理装置200側の処理回路210の一連の処理の流れをフローチャートに即して説明する。図10は、実施形態における医用画像処理装置200側の処理回路210のランタイム時の一連の処理の流れを示すフローチャートである。本フローチャートの処理は、例えば、所定の周期で繰り返し行われてよい。なお、上述した図6のフローチャートと同様に、医用画像処理装置200の処理回路210を実現するプロセッサが、複数の独立した回路を組み合わせて構成される場合、すなわち、医用画像処理装置200の処理回路210が複数のプロセッサによって実現される場合、本フローチャートの処理の一部または全部は、複数のプロセッサによって並列処理されてよい。
まず、パラメータ決定機能214は、通信インターフェース202によってMRI装置100からシミングなし画像が受信されるまで待機する(ステップS400)。パラメータ決定機能214は、通信インターフェース202によってシミングなし画像が受信されると、そのシミングなし画像に対応付けられた被検体情報を参照し、シミングなし画像が得られたときの被検体OBの体格や性別、撮像部位に適したパラメータ出力モデルMDLを、既に学習された複数のパラメータ出力モデルMDLの中から選択する(ステップS402)。例えば、シミングなし画像が得られたときの被検体OBの身長や体重、BMI(Body Mass Index)、FOV(Field Of View)における被検体OBの縦横比といった体格情報と、性別と、撮像部位に応じて、パラメータ決定機能214は、既に学習された複数のパラメータ出力モデルMDLの中から、パラメータ出力モデルMDLを選択する。なお、パラメータ決定機能214は、体格や、性別、撮像部位といった複数の条件のうち、全ての条件を満たすパラメータ出力モデルMDLを選択する必要はなく、一部の条件(例えば性別)については満たしていないパラメータ出力モデルMDLを選択してもよい。
次に、パラメータ決定機能214は、選択したパラメータ出力モデルMDL、すなわち、十分に学習されたパラメータ出力モデルMDLに対して、通信インターフェース202によって受信されたシミングなし画像を入力する(ステップS404)。
次に、パラメータ決定機能214は、シミングなし画像を入力したパラメータ出力モデルMDLの出力結果に基づいて、送信RFのむらを低減するシミングパラメータを決定する(ステップS406)。
次に、出力制御機能216は、通信インターフェース202を介して、パラメータ決定機能214によって決定されたシミングパラメータをMRI装置100に送信する(ステップS408)。また、出力制御機能216は、パラメータ決定機能214によって決定されたシミングパラメータをディスプレイ206に表示させてもよい。これによって本フローチャートの処理が終了する。
図11は、パラメータ出力モデルMDLの出力結果の一例を示す図である。例えば、パラメータ出力モデルMDLは、入力された画像からむらを低減するために好ましいシミングパラメータが、トレーニング時に教師ラベルとして利用された複数のシミングパラメータのうち、どのシミングパラメータであることが尤もらしいのかを表した尤度を出力するように学習される。例えば、トレーニング時に教師ラベルとして、A、B、Cの3種類のシミングパラメータを利用した場合、パラメータ出力モデルMDLは、シミングパラメータAの尤度と、シミングパラメータBの尤度と、シミングパラメータCの尤度とをそれぞれ要素とする3次元のベクトルを出力してよい。図中eAは、シミングパラメータAの尤度に対応した基底ベクトルを表し、eBは、シミングパラメータBの尤度に対応した基底ベクトルを表し、eCは、シミングパラメータCの尤度に対応した基底ベクトルを表している。そのため、図示の例では、シミングなし画像IMG_Xをパラメータ出力モデルMDLに入力したときのシミングパラメータAの尤度は、0.2であり、シミングパラメータBの尤度は、0.3であり、シミングパラメータCの尤度は、0.5であることを表している。このように、パラメータ出力モデルMDLは、トレーニング時に教師ラベルとした各シミングパラメータの尤度を表す係数ベクトルを出力してよい。尤度を表す係数ベクトルは、「高周波磁場の送信不均一性を低減させるためのパラメータ」の一例である。
上記の数値例の場合、シミングなし画像IMG_Xからむらを低減するために好ましいシミングパラメータは、3種類のシミングパラメータのうち、シミングパラメータCである蓋然性が最も高くなっている。従って、パラメータ決定機能214は、シミングなし画像のむらを低減することが可能なシミングパラメータを、シミングパラメータCに決定する。シミングパラメータCに含まれる振幅差ΔAや位相差Δφなどの数値は、トレーニング時に教師ラベルとして対応付けられたパラメータ値と同じ値であってもよいし、トレーニング時に教師ラベルとして対応付けられたパラメータ値が尤度に応じて重みづけられた値であってもよい。
図12は、パラメータ出力モデルMDLの出力結果の他の例を示す図である。例えば、パラメータ出力モデルMDLは、上述したように、トレーニング時に教師ラベルとした各シミングパラメータの尤度を要素とするベクトルを出力するのに代えて、図示のように、送信RFの振幅差ΔAや位相差Δφを要素とするベクトルを出力してもよい。図中eAmpは、シミングパラメータに含まれる振幅差ΔAに対応した基底ベクトルを表し、eφは、シミングパラメータに含まれる位相差Δφに対応した基底ベクトルを表している。そのため、図示の例では、シミングなし画像IMG_Xをパラメータ出力モデルMDLに入力したときに得られる振幅差ΔAは、2.0[dB]であり、位相差Δφは60[rad]であることを表している。送信RFの振幅差ΔAや位相差Δφを要素とするベクトルは、「高周波磁場の送信不均一性を低減させるためのパラメータ」の他の例である。
上記の数値例の場合、パラメータ決定機能214は、シミングなし画像IMG_Xからむらを低減するために好ましいシミングパラメータを、その振幅差ΔAが2.0[dB]であり、位相差Δφが60[rad]であるシミングパラメータに決定する。
以上説明した実施形態によれば、医用画像処理装置200の処理回路210が、被検体OBに送信RFを照射することで生成されたシミングなし画像を取得し、画像が入力されると、入力された画像からむらを低減するために好適なシミングパラメータを出力するように学習されたパラメータ出力モデルMDLに対して、取得機能212により取得されたシミングなし画像を入力することで、送信RFのシミングパラメータを決定する。処理回路210は、シミングパラメータを決定すると、通信インターフェース202などを介してMRI装置100にシミングパラメータ送信する。これによって、MRI装置100は、シミングパラメータに基づいてB1シミングを精度良く行うことができるため、医用画像のむらを精度よく低減することができる。この結果、医用画像の画質を向上させることができる。
また、上述した実施形態によれば、教師データ234が被検体OBの体格や性別、撮像部位といった被検体情報ごとに得られているため、個々の被検体OBにパーソナライズされたシミングパラメータを決定することができる。
(実施形態の変形例)
以下、実施形態の変形例について説明する。上述した実施形態では、MRI装置100と医用画像処理装置200とが互いに異なる装置であるものとして説明したがこれに限られない。例えば、医用画像処理装置200は、MRI装置100のコンソール装置120の一機能によって実現されてもよい。すなわち、医用画像処理装置200は、MRI装置100のコンソール装置120によって仮想的に実現される仮想マシンであってもよい。
図13は、実施形態に係るMRI装置100の他の例を示す図である。図13に示すように、コンソール装置120の処理回路130は、上述した取得機能132と、生成機能134と、通信制御機能136と、表示制御機能138に加えて、パラメータ決定機能214と、学習機能218とを実行してよい。
また、コンソール装置120のメモリ150には、パラメータ出力モデル情報232と、教師データ234とが格納されてよい。
このような構成によって、MRI装置100単体で、医用画像から精度良くむらを低減することができる。
また、上述した実施形態では、トレーニング時に、画像選択画面に表示させた複数のシミングあり画像の中から、ユーザが選択した画像のシミングパラメータを、シミングなし画像の教師ラベルとして対応付けることで教師データ234を生成したがこれに限られない。例えば、シミングあり画像のシミングパラメータが教師ラベルとして対応付けられていないシミングなし画像を、教師データ234としてもよい。
図14は、シミングパラメータが教師ラベルとして対応付けられていないシミングなし画像を教師データ234とする方法を説明するための図である。図示のように、例えば、教師データ234の中に、あるシミングなし画像IMG_Xのシミングパラメータ(振幅差ΔAX,位相差ΔφX)が教師ラベルとして対応付けられたシミングなし画像IMG_1と、あるシミングなし画像IMG_Yのシミングパラメータ(振幅差ΔAY,位相差ΔφY)が教師ラベルとして対応付けられたシミングなし画像IMG_2と、あるシミングなし画像IMG_Zのシミングパラメータ(振幅差ΔAZ,位相差ΔφZ)が教師ラベルとして対応付けられたシミングなし画像IMG_3とが含まれているとする。また、教師データ234に含まれていないシミングなし画像IMG_4~IMG_7が存在したとする。このような場合、学習機能218は、シミングなし画像IMG_4~IMG_7のそれぞれの画像について、教師データ234に含まれるシミングなし画像IMG_1~IMG_3の中から、ある一定の類似度以上でむらが類似する画像を選択し、選択した画像の教師ラベルであるシミングパラメータを、比較対象のシミングなし画像に教師ラベルとして対応付ける。
図示の例では、シミングなし画像IMG_4は、シミングなし画像IMG_1とむらが類似しており、シミングなし画像IMG_5は、シミングなし画像IMG_3とむらが類似しており、シミングなし画像IMG_6は、シミングなし画像IMG_2とむらが類似しており、シミングなし画像IMG_7は、いずれの画像ともむらが類似していない。このような場合、学習機能218は、シミングなし画像IMG_4に対して、類似するシミングなし画像IMG_1に対応付けられたシミングパラメータ(振幅差ΔAX,位相差ΔφX)を教師ラベルとして対応付けることで、シミングなし画像IMG_4を教師データ234とする。また、学習機能218は、シミングなし画像IMG_5に対して、類似するシミングなし画像IMG_3に対応付けられたシミングパラメータ(振幅差ΔAZ,位相差ΔφZ)を教師ラベルとして対応付けることで、シミングなし画像IMG_5を教師データ234とする。また、学習機能218は、シミングなし画像IMG_6に対して、類似するシミングなし画像IMG_2に対応付けられたシミングパラメータ(振幅差ΔAY,位相差ΔφY)を教師ラベルとして対応付けることで、シミングなし画像IMG_6を教師データ234とする。また、学習機能218は、シミングなし画像IMG_7については類似する画像がないため教師データ234としない。
また、上述した実施形態において、シミングなし画像やシミングあり画像などのB1マップが三次元画像である場合、学習機能218は、MPR(Multi-Planar Reconstruction)によって任意の断面画像を生成することで、シミングパラメータが教師ラベルとして対応付けられていないシミングなし画像の数をさらに増やしてもよい。
このように、シミングあり画像のシミングパラメータが教師ラベルとして対応付けられていないシミングなし画像も教師データ234とすることで、パラメータ出力モデルMDLの学習精度を向上させることができる。この結果、医用画像からさらに精度良くむらを低減することができる。この結果、医用画像の画質をさらに向上させることができる。
上記説明した実施形態は、以下のように表現することができる。
プログラムを格納するストレージと、
プロセッサと、を備え、
前記プロセッサは、前記プログラムを実行することにより、
被検体に高周波磁場を印加することで得られる磁気共鳴信号に基づいて生成された医用画像を取得し、
画像が入力されると、前記高周波磁場の送信不均一性を低減させるためのパラメータを出力するように学習されたモデルに対して、前記取得した前記医用画像を入力することで、前記パラメータを決定する、
ように構成されている医用画像処理装置。
以上説明した少なくともひとつの実施形態によれば、医用画像処理装置200の処理回路210が、被検体OBに送信RFを照射することで生成されたシミングなし画像を取得し、画像が入力されると、入力された画像からむらを低減するために好適なシミングパラメータを出力するように学習されたパラメータ出力モデルMDLに対して、取得機能212により取得されたシミングなし画像を入力することで、送信RFのシミングパラメータを決定する。処理回路210は、シミングパラメータを決定すると、通信インターフェース202などを介してMRI装置100にシミングパラメータ送信する。これによって、MRI装置100は、シミングパラメータに基づいてB1シミングを精度良く行うことができるため、医用画像のむらを精度よく低減することができる。この結果、医用画像の画質を向上させることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。