JP6772112B2 - 医用撮像装置及び医用画像処理方法 - Google Patents

Description

本発明は、磁気共鳴イメージング（以下、ＭＲＩ）装置、ＣＴ装置、超音波撮像装置等の医用撮像装置に係り、特に高速撮像と組み合わせた画像再構成の高速化処理に関する。

ＭＲＩ装置等の多くの医用撮像装置では、撮像時に取得するデータ或いは信号の量が多いほど、それから再構成して得られる画像の画質は向上する。しかし取得するデータ量の増加は撮像時間の延長にもつながることから、撮像手法の工夫によって画質を低下せずに撮像時間を短縮する高速撮像方法が各モダリティにおいて開発されている。例えば、ＭＲＩ装置では、複数の受信コイルを用いて、ｋ空間をアンダーサンプリングすることで撮像時間を短縮し、受信コイルの感度分布を用いた演算によって画像再構成する高速撮像方法（パラレルイメージング）などが実用化されている。

また撮像時間短縮技術の一つとして圧縮センシング（ＣＳ）を利用した画像再構成技術も開発されている。ＣＳは、取得した疎なデータに対し、スパース性を利用した繰り返し演算を行うことで画質を高める技術である。このＣＳを医用撮像装置に応用した技術が例えば特許文献１等に開示されている。

ＣＳは疎なデータを対象とするので、これを医用画像撮像装置に応用することにより、データの収集即ち撮像にかかる時間を短縮することができるが、ＣＳ演算自体は繰り返し演算であり精度を高めるためにはある程度の時間が必要となる。パルスシーケンスやＣＰＵ等の性能によっても異なるが、例えば、ＭＲＩ装置における通常のフーリエ変換を用いた画像再構成時間に対し、ＣＳの演算時間は２倍速撮影において、その数倍〜１０倍程度かかり、たとえ撮像時間を１／２に短縮したとしても、撮像開始から画像出力までの全体時間としての短縮効果には限度がある。

ところで、画像処理の分野において、画像の精度を高める技術としてディープラーニング（ＤＬ）が知られている。ＤＬは、通常、画像を複数のカテゴリーに分類するように学習した畳み込みニューラルネットワーク（ＣＮＮ）を利用する。特許文献２には、このようなＤＬを、皮膚画像データから皮膚疾患を診断する診断装置に適用した技術が開示されている。この技術では、原画像と、原画像を変換した１ないし複数の変換画像とに対応した複数の識別器（ＣＮＮ）を組み合わせてアンサンブル識別器を用意し、個々の識別器で得られた識別値を統合して判定結果を得るというものである。

特開２０１６−１２３８５３号公報 特開２０１７−４５３４１号公報

医用画像の再構成にＤＬを適用する場合、特許文献２に開示されるような疾患判定や特徴抽出とは異なるシステムの構築が必要となる。また特許文献２で採用しているアンサンブル学習に基く技術は、未学習データに対する予測能力が高いことが知られているが、各の識別器の結果の統合については、統合の際の重みの決定手法などに課題があり、それにより得られる画像の精度向上に制約を受ける。

本発明は、ＤＬを適用した新規な画像再構成技術を提供することを課題とし、それにより画像再構成時間を含めた全撮像時間の大幅な短縮を図り、且つ高画質の医用画像を提供することを課題とする。

上記課題を解決するため、本発明は、医用画像を予め定めた複数の類のいずれかに分類し、複数の類のそれぞれに対応する複数の復元器から、分類結果に応じて最適な１ないし複数の復元器を選択し、選択した復元器を用いて再構成処理を行う。医用画像は、例えば、複数のパッチ（小領域）に分けられ、パッチ毎に再構成処理を行い、統合される。復元器は、ＣＮＮで構成することができる。

すなわち、本発明の医用撮像装置は、検査対象の画像データを収集する撮像部と、前記撮像部が収集した画像データを用いて画像再構成を行う画像処理部と、を有し、前記画像処理部は、画像データを分類する分類部と、前記分類部による分類に対応する複数の復元器を備える画像復元部と、前記分類部による分類結果に応じて前記複数の復元器から１ないし複数の復元器を選択する復元器選択部と、を備える。前記複数の復元器は、それぞれ、分類毎の正解画像と劣化画像との組み合わせからなる学習用データを用いて学習されたニューラルネットワークで構成され，入力された劣化画像から高画質画像を復元する復元器である。

本発明によれば、画像データを復元器による処理に先立って分類し、複数の復元器のうち、分類結果に基いて選択された復元器を用いて処理を行うことにより、短時間で効率よく高解像度画像を取得することができる。

第一実施形態の医用撮像装置の概要を示す図で、（Ａ）は装置の全体構成を示す図、（Ｂ）は画像処理部の構成を示す図。 第一実施形態の画像処理部の動作の流れを示す図。 分類処理部の処理の一例を説明する図。 復元器（ＣＮＮ）の構造を示す図。 ＣＮＮの学習過程を説明する図。 画像処理部の動作の流れを示す図。 選択部の処理を説明する図。 第一実施形態の変形例１の画像処理部の構成を示す図。 第一実施形態の変形例２の画像処理部の構成を示す図。 ＲＯＩ設定の画面例を示す図。 第一実施形態の変形例３のパッチ処理を説明する図。 第二実施形態の医用撮像装置（ＭＲＩ装置）の全体構成を示す図。 （Ａ）〜（Ｄ）は、第二実施形態におけるアンダーサンプリングの例を示す図。 第二実施形態における劣化過程の例を示す図。 第二実施形態におけるＣＮＮの学習と、劣化過程による収束の違いを示す図。 第三実施形態の医用撮像装置（超音波撮像装置）の全体構成を示す図。 第四実施形態の医用撮像装置（ＣＴ装置）の全体構成を示す図。

本発明は、ＭＲＩ装置、ＣＴ装置、ＰＥＴ（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈ）装置、超音波撮像装置等の撮像部と画像処理部とを備えた各種医用撮像装置に適用できる。最初に、各モダリティに共通する構成の実施形態を説明する。

＜第一実施形態＞
本実施形態の医用撮像装置１０は、図１（Ａ）に示すように、被検体から画像再構成に必要なデータを収集する撮像部１００と、撮像部１００が収集したデータを処理し画像を作成する画像処理部２００と、を備える。医用撮像装置１０は、さらにその内部或いは外部に記憶装置３００を備えている。撮像部１００は、モダリティによって構成が異なるが、被検体の計測によって得た信号から画像データを作成する。モダリティ毎の詳細な構成については後述する実施形態で説明する。撮像部１００が取得する画像データは、例えば高速撮像方法を利用した低空間分解能の、或いはアンダーサンプリングされたデータである。

画像処理部２００は、図１（Ｂ）に示すように、分類処理部２２０、選択部２３０、及び複数の復元器２４０からなる画像復元部を備えており、撮像部１００から受け取った画像データを画像の特徴に応じて複数のクラスタ（類）に分類し、複数の復元器２４０から、処理対象の画像データが分類されたクラスタに対応する復元器２４０を選択し、選択した復元器２４０による画像再構成処理を行う。また画像処理部２００には、画像データをパッチの画像データに分けて、パッチごとに処理を行う場合には、図２に示すように、入力した画像データからパッチを切り取るパッチ処理部２１０と、パッチ毎に復元器２４０で処理された後のデータを統合する統合部２５０とが追加される。記憶装置３００は、画像処理部２００の処理に必要となるデータを格納している。具体的には、分類処理部２２０が用いる分布図が格納されている。分布図は、予め多数の画像データを分類処理部２２０が特徴毎に分類した結果を、特徴を軸とする空間にマッピングしたものである。

画像処理部２００は、医用撮像装置が演算部や制御部としてＣＰＵやＧＰＵを備える場合には、ＣＰＵ或いはＧＰＵに搭載されるソフトウェアとしてその機能が実現される。特に画像処理部２００に含まれる復元器２４０は、学習機能を備えたＮｅｕｒａｌ Ｎｅｔｗｏｒｋで実現され、ＣＮＮ等の公知ソフトウェアパッケージを利用することができる。また画像処理部２００の一部の機能は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハードウェアで実現することも可能である。

以下、パッチごとの処理を行う場合を例に、画像処理部２００の動作を説明する。まず画像処理部２００が撮像部１００で撮像した画像を処理する手順の説明に先立って、記憶装置３００に格納される分布図及び学習データと、復元器２４０の学習について説明する。

学習データは、分類処理部２２０が、撮像部１００から受け取った画像データ或いはそれから切り出したパッチを分類するためのデータであり、以下のようにして作成される。

まず複数の画像データ（以下、学習用画像という）から切り出した多数のパッチをクラスタリングする。学習用画像から切り出したパッチをクラスタリングする手法の一例を図３に示す。まず分類処理部２２０は、図３に示すように、予め学習用画像３０からパッチ３１を切り出し、ベクトル化する。例えば、パッチのサイズがｎ×ｍ画素である場合、「ｎ×ｍ」のベクトル要素からなるベクトル３２を作成する。これらベクトルをクラスタリングし、互いに重ならないように各クラスタを決定する。クラスタリングは、画像データ（ここではパッチ）をその特徴によって分類する手法であり、特徴としては、輝度、エッジの有無、エッジの傾きなど種々の特徴量があり得る。

クラスタリングとして、階層型クラスタリング、非階層型クラスタリング（ｋ−ｍｅａｎｓ法やその発展型、ＥＭアルゴリズムとその発展型等公知のクラスタリングの手法を用いることができるが、一度の繰り返しに必要な計算量を低減できる点でｋ−ｍｅａｎｓ法が好適である。

各パッチのベクトル３２を、特徴量を軸とする空間にマッピングすることで分布図３３が得られる。なお図３の分布図３３は、単純化して２つの特徴量を縦軸及び横軸とする２次元の分布図を示しているが、特徴量の数は３以上でもよい。また図３に示す例では、４−ミーンズ法により、学習用画像を構成する多数のパッチを４つのクラスタ（学習データ１〜学習データ４）に分類したものであり、輝度の段差が水平方向に現れる特徴を持つ学習データ１、輝度が連続的に変化し段差が不明瞭という特徴を持つ学習データ２、段差が斜めに現れる特徴を持つ学習データ３、及び中心から放射状に輝度が変化するという特徴を持つ学習データ４、が作成されている。これら学習データは、予め記憶装置３００に格納される。

次に各学習データを用いた復元器の学習について説明する。
復元器２４０は、正解画像とそれより画質の低い画像（劣化画像）とのペアを学習データとして用い、入力画像に対し正解画像との差が最小の画像を出力画像とするように学習されたものであり、本実施形態では、ＣＮＮを用いる。

ＣＮＮは、図４に模式的に示すように、入力層４１と出力層４４との間で多数の畳み込み演算４２とプーリング４３とを多層ネットワーク上で繰り返すように構成されたコンピュータ上に構築される演算手段であり、入力画像４０に対し、畳み込み演算とプーリングとを繰り返すことにより、入力画像の特徴を抽出し、出力画像４５として出力する。図中、各層を示すブロックの前の数字は層の数であり、各層内の数字は層で処理するサイズを表している。

ここでは、学習用画像のペアとして、図５に示すように、正解画像５１と、正解画像をもとに作成した画質の劣化したテスト画像５２とのペアからなる学習データセット５０を用いる。この学習データをパッチ５３毎にクラスタリングし、クラスタ毎（学習データ毎）５４に未学習ＣＮＮ５５の入力画像とし、ＣＮＮの出力画像と正解画像との差が所定の閾値以下に収束するまでＣＮＮの各層の活性化関数やノード間の重みなどのパラメータ、学習率を変更しながら処理を繰り返す。テスト画像の画質は、撮像部１００における撮像手法（アンダーサンプリングの仕方）に応じた劣化となるように調整する。テスト画像の画質の決め方については、後述するモダリティ毎の実施形態において説明する。

最終的に出力画像と正解画像との差が所定の閾値以下に収束したＣＮＮを、正解画像のクラスタに対応する学習済ＣＮＮ５６とする。これにより正解画像の数（クラスタの種類の数）と同数の学習済ＣＮＮ（図２のＣＮＮ１〜ＣＮＮ４）が得られる。

なおＣＮＮとしては、ＴｅｎｓｏｒＦｌｏｗ（Ｇｏｏｇｌｅ社）、Ｃｈａｉｎｅｒ（Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ社）、Ｔｈｅａｎｏ（Ｕｎｉｖｅｒｓｉｔｅ ｄｅ Ｍｏｎｔｒｅａｌ）等の公知のソフトウェアを利用することができる。

次に復元器２４０として上述した学習済ＣＮＮが組み込まれた画像処理部２２０の動作の流れを、図６を参照して説明する。

画像処理部２００は、撮像部１００から画像データを受け取り、まずパッチ処理部２１０において画像データを所定のサイズのパッチに切り出し、分類処理部２２０に渡す（Ｓ６０１）。分類処理部２２０は、パッチをその画像の特徴に応じて複数のクラスタのいずれかに分類する（Ｓ６０２）。分類の手法は、学習データ（図３）を作成した際のクラスタリング手法と同様であり、図７に示すように、処理対象である画像６０からパッチ６１を切り出し、ベクトル６２を作成し、予め記憶装置３００に格納された分布図６３上の位置を決定する。分類処理部２２０は、この分布図を用いて最近傍法により、入力したパッチがいずれのクラスタに属するかを判定する。即ち、この分布図に含まれる複数のクラスタの重心と、入力したパッチの当該分布図における座標との距離を算出し、重心との距離が最も小さいクラスタを処理対象のパッチ６１が属するクラスタと決定する。

ここで、処理対象であるパッチ６１が、２以上のクラスタと同距離の場合も有りえる。そのような場合には、一つのパッチを２つのクラスタに分類してもよいし、またいずれにも分類されないものとして扱ってもよい。さらに距離を閾値処理し、あるクラスタからの距離が所定の閾値以下のときにのみ当該クラスタに分類し、全てのクラスタからの距離が閾値以上の場合にはいずれにも分類されないものとして扱ってもよい。

選択部２３０は、分類処理部２２０の結果に従って、複数の復元器２４０のいずれかを選択する（Ｓ６０３）。複数の復元器２４０は、それぞれ、前述のように学習用画像のペアを用いて学習された学習済ＣＮＮ（図２ではＣＮＮ１〜ＣＮＮ４）で構成されている。

これにより処理対象のパッチは選択されたＣＮＮの入力層に入力され、例えば、図７に示したように、分類処理部２２０でクラスタ１と分類されたパッチ６１の画像データは、クラスタ１の画像の処理に対し最適化されたＣＮＮ１によって処理される（Ｓ６０４）。これにより正解率の高い出力画像が得られる。なお、ステップＳ６０２において、２以上のクラスタに分類されたパッチについては、それぞれのＣＮＮで処理を行ってもよい。

パッチ切り出しを行う場合には、処理すべき画像データのすべてのパッチについてクラスタリングとＣＮＮ選択（Ｓ６０２〜Ｓ６０３）を行った後、各ＣＮＮの処理を行う。最終的に統合部２５０が各復元器２４０の出力画像を統合し、全パッチ分即ち処理すべき画像データ全体の再構成画像を得る（Ｓ６０５）。この際、例えば、一つのパッチが２以上のＣＮＮで処理された場合には、例えば、各ＣＮＮの出力画像の平均値を取り、当該パッチの出力画像として統合処理を行う。

以上、説明したように、本実施形態によれば、撮像装置が取得した画像或いはそれから切り出したパッチの画像をその特徴によって複数のクラスタに分類するとともに、特徴毎に学習した複数の復元器を用意し、処理対象である画像（パッチ）の特徴に応じて用いる復元器を選択して適用する。特徴毎に学習済の復元器を用いることにより、撮像時のアンダーサンプリングによって劣化した画像を短時間で再生することができ、圧縮センシングに比べ撮像から画像再構成までの撮像時間全体を大幅に短縮することができる。また、パッチの処理を１ないし少数のＣＮＮを選択して行うので、複数のＣＮＮを全て通した後、その出力を選択或いは合成するアサンブル学習に比べ、処理の負担が軽減し、処理時間の短縮につながる。

＜第一実施形態の変形例１＞
第一実施形態では、クラスタの数と同数の復元器（ＣＮＮ）を用意したが、本変形例では、特定の特徴との関連付けがなされていないＣＮＮ（ここではユニバーサルＣＮＮ：ＵＣＮＮという）を追加する。図８に画像処理部２００の構成例を示す。図中「Ｕｎｉｖｅｒｓａｌ ＣＮＮ」２４５がＵＣＮＮである。

ＵＣＮＮとしては、例えば、パッチではなく画像自体（全体）を学習用画像として学習させたＣＮＮや、各クラスタの中心或いは周辺にあるパッチの組み合わせを学習用画像として学習させたＣＮＮなどが考えられる。

本変形例でも、パッチ処理部２１０によるパッチ処理後、画像データを分類処理部２２０により最近傍法によりクラスタに分類することは第一実施形態と同じであるが、この分類時に２以上のクラスタからの距離が等しい、或いはどのクラスタからの距離が閾値を超えているなどクラスタリングできないパッチを、ＵＣＮＮ２４５に渡し、ここで処理を行う。これにより特定の特徴に当てはまらないパッチを、特徴について学習されたＣＮＮ１〜ＣＮＮ４で処理する場合に比べ、画質の向上を図ることができる。

なおＵＣＮＮの利用方法は、上述したクラスタリングできないパッチに適用する場合に限定されるものではなく、例えば、クラスタリングされたパッチについても、クラスタに対応するＣＮＮとＵＣＮＮとを併用してもよい。処理するＣＮＮを増やすことで画質の向上が期待される。

＜第一実施形態の変形例２＞
第一実施形態では、画像データから切り取ったパッチ全てを、用意されたＣＮＮで処理したが、本実施形態はＣＮＮのブランク２４７を設けることが特徴である。図９に画像処理部２００の構成例を示す。この場合、入力がそのまま出力になる、即ち、切り取られたパッチの画像データが統合部２５０に入力される。ブランクの対象となるパッチは、例えば、クラスタリングできないパッチであってもよいし、関心領域（ＲＯＩ）から外れる領域の画像データでもよい。

後者の場合、例えば図１０に示すようなＵＩ等（ＲＯＩ設定部２７０）を介して、ユーザーにＲＯＩを設定させてもよい。ユーザーがＲＯＩを設定すると、画像処理部２００は、その情報を用いて、ＲＯＩに設定されなかった部分の画像データを、分類処理部２２０及び選択部２３０を渡すことなく、ブランクを通して統合部２５０に渡す。これにより、ＲＯＩのみが高画質に変換された画像データが得られる。

このように本変形例によれば、画像のうち特徴のない部分や関心領域から外れる部分について、ＣＮＮ処理を割愛することにより、全体としての処理時間を短縮することができる。

＜第一実施形態の変形例３＞
第一実施形態では、画像データからのパッチの切り出しは、各パッチがオーバーラップしない条件で行ったが、パッチ処理部２１０は、隣接するパッチがオーバーラップするようにパッチを切り出すことも可能である。パッチをオーバーラップさせて切り出し、ＣＮＮ処理することにより、出力画像の画質をさらに向上することができる。オーバーラップする割合は特に限定されないが、割合が多いほど処理量も増加し、冗長性も高くなるので、処理時間の短縮という観点から、５０％以下であることが好ましい。なお全てのパッチをオーバーラップさせるのではなく、一部の、例えば関心領域内のパッチのみをオーバーラップさせてもよい。

パッチをオーバーラップするように切り出した場合、分類処理部２２０において、隣接するパッチのクラスタが異なり、適用されるＣＮＮが異なる場合が生じる。この場合、図１１に示すようにパッチ２１Ａとパッチ２１Ｂとのオーバーラップ部分２５は、異なるＣＮＮ（図１１ではＣＮＮ１、ＣＮＮ２）からそれぞれ出力画像２３Ａ、２３Ｂが得られる。この場合、統合部２５０は、２つのＣＮＮの出力を合成する際に、オーバーラップ部分２５について、次式（１）或いは（２）に示すように、平均値を取る、重み加算するなどの処理を行い、オーバーラップ部分のデータ２７とする。重み加算における重みとして、例えばクラスタ中心からの距離（ｄ１、ｄ２）を用いることができる。即ち、距離が近いクラスタほどそのクラスタに対応するＣＮＮからの出力データ（オバーラップ）の重みを重くする。

Ｓ(x,y)＝｛Ｓ１(x,y)＋Ｓ２(x,y)｝／２ （１）
Ｓ(x,y)＝ｗ１×Ｓ１(x,y)＋ｗ２×Ｓ２(x,y) （２）
但し、ｗ１＝ｄ１／（ｄ１＋ｄ２）、ｗ２＝ｄ２／（ｄ１＋ｄ２）
Ｓ(x,y)は、平均或いは加重平均後の画素値、Ｓ１(x,y)、Ｓ２(x,y)は、２つのＣＮＮの出力画像の画素値である。

本変形例によれば、パッチをオーバーラップさせて切り出すことで、隣接するパッチで適用されるＣＮＮの種類が異なる場合にも、パッチとの間が不連続になることを回避し、画質の良好な出力画像を得ることができる。

以上、撮像部の種類を問わずに適用可能な実施形態とその変形例について説明した。次にモダリティ毎の実施形態を説明する。

＜第二実施形態＞
本発明をＭＲＩ装置に適用した実施形態を説明する。
ＭＲＩ装置５０は、図１２に示すように、ＭＲ撮像部５１０として、静磁場発生磁石を備えた静磁場発生部５１１と、静磁場発生磁石が発生する静磁場空間に３軸方向の傾斜磁場を発生する傾斜磁場コイルを備えた傾斜磁場発生部５１２と、静磁場空間に置かれた被検体に対し高周波磁場を印加する高周波コイル（送信コイル）を備えた送信部５１３と、被検体１０１から発生する核磁気共鳴信号を受信する高周波コイル（受信コイル）を備えた受信部５１４と、傾斜磁場発生部５１２、送信部５１３及び受信部５１４の動作を所定のパルスシーケンスに従い制御するシーケンサ５１５と、を備えている。

傾斜磁場発生部５１２には３軸方向の傾斜磁場コイルをそれぞれ駆動するための傾斜磁場電源が備えられ、送信部５１３には、送信コイルに所定の高周波信号を与え、送信コイルから核磁気共鳴周波数の電磁波を照射させるための高周波発生器、高周波増幅器及び変調器などが備えられている。また受信部５１４には、受信コイルが検知した信号を増幅する増幅器、直交位相検波器、さらにディジタル信号に変換するためのＡ／Ｄ変換器などが含まれる。

ＭＲＩ装置５０は、撮像部５１０の他に、受信部５１４が受信した核磁気共鳴信号（ディジタル信号）を用いて画像再構成等の演算を行う再構成部５００、及び、作成した画像やＵＩを表示するディスプレイ等の出力部４１０、撮像部５１０及び再構成部５００に必要な指令や情報を入力するための入力デバイス等の入力部４３０を備えている。

再構成部５００は、撮像部５１０が取得したｋ空間データ（核磁気共鳴信号）、計算途中のデータ及び計算に必要なパラメータ等の数値を格納する記憶装置３００と、ｋ空間データに対し逆フーリエ変換等の演算を行い実空間データに変換する画像生成部５３０と、画像処理部５５０とを含む。再構成部５００の機能は、メモリとＣＰＵ又はＧＰＵに搭載されたソフトウェアにより実現される。但し画像生成部５３０及び画像処理部５５０の一部をハードウェアで構成する場合も有りえる。

画像処理部５５０は、第一実施形態の画像処理部２００と同機能を有する。画像処理部２００の機能を示す図１（Ｂ）を参照すると、画像処理部５５０は、分類処理部２２０、選択部２３０、及び複数の復元器２４０からなる画像復元部を備える。またパッチ毎の処理を行う場合には、パッチ処理部２１０及び統合部２５０を備える。

画像復元部を構成する復元器２４０は、ＭＲ撮像部１００の撮像方法（計測データの間引き方法：アンダーサンプリング）に応じて、画像データの特徴毎に学習された複数のＣＮＮから構成される。撮像部が採用する間引き方法が複数種類ある場合には、間引き方法に応じて復元器のセットを複数用意してもよい。

以下、ＭＲ撮像部１００が採用する間引き方法について説明する。
ＭＲＩ装置１０では、例えば、３Ｄ撮像の場合、位相エンコード方向及びスライス方向にエンコード傾斜磁場を印加しエコー信号を計測し、ｋ空間データを得る。ｋ空間データは、エンコード方向を軸とするデータ空間であり、各軸のエンコード数は撮像対象のＦＯＶの大きさで決まる。各エンコード傾斜磁場の大きさを異ならせてパルスシーケンスを繰り返すことで、所定のエンコード数のｋ空間データが得られる。本実施形態では、このエコードを間引いて、即ちアンダーサンプリングして劣化したデータを取得する。これにより撮像時間は間引き率に相当する割合で短縮される。

アンダーサンプリングの例を図１３に示す。ここでは説明を簡単にするために２次元のｋ空間を示し、図中、白い部分がサンプリングされた領域、即ち実計測データが存在する領域、である。図１３（Ａ）はｋ空間を放射法にサンプリングしたもの、（Ｂ）はランダムな平行線状にサンプリングしたもの、（Ｃ）及び（Ｄ）はｋ空間の原点を含む中心部分を四角形或いは円形にサンプリングしたものである。（Ｃ）及び（Ｄ）のデータは、ローパスフィルタを用いて作成することができる。

復元器２４０（ＣＮＮ）の学習は、ｋ空間の所定エンコード数を計測したデータから再構成した画像を正解画像とし、この正解画像のｋ空間データから、図１３に示すような劣化データを作成し、作成した劣化データから再構成した画像をＣＮＮの入力画像として、出力画像を正解画像に近づける生成型学習とする。この様子を図１４に示す。この例では、正解画像８０をフーリエ変換し、ｋ空間データ８１を作成する。次いでｋ空間データ８１の劣化処理を行い、アンダーサンプリングしたｋ空間データ８２とする。劣化過程は、図１３（Ａ）〜（Ｄ）に示すいずれかである。ｋ空間データ８２を逆フーリエ変換し、画像８３を再構成する。こうして得られる画像８３は、劣化過程を経たｋ空間データ８２を用いているため、ボケ等を含む。この画像８３をＣＮＮの入力画像とし、ＣＮＮの出力画像と正解画像との誤差が所定の値以下になるまで或いは所定の繰り返し回数に達するまで、処理を繰り返す。処理の繰り返し毎に、ＣＮＮを構成する層のパラメータやノードの数などを変更する。

上述した劣化画像データ８３の劣化過程と、処理の収束の状況を図１５に示す。図示するように、図１３（Ｄ）に示す円形（Ｃｉｒｃｌｅ）のサンプリングを用いた場合に、最も少ない繰り返し回数で収束する。従ってＣＮＮの学習段階における劣化過程として、ローパスフィルタを用いた劣化が最も効率よく学習済ＣＮＮを形成することができる。さらに実験的には、円とデータがない領域との境界をぼかしたり、円の中心をｋ空間の原点に対し、オフセットさせ場合に、最終的な誤差をより縮小することが確認されており、学習用劣化過程として有効である。

このような生成型学習に先立って、画像処理部５５０のパッチ処理部及び分類処理部は、正解画像８０から切り出した多数のパッチをクラスタリングして、特徴毎に複数のクラスタ（学習データ）に分類しておく（図５）。上述したＣＮＮの生成型学習はクラスタ毎に行い、クラスタに特化して学習されたＣＮＮを得る。すなわち複数のクラスタそれぞれに対応する複数のＣＮＮを得る。なおＣＮＮの学習は、ＭＲＩ装置の再構成部５００（画像処理部５５０）に学習前のＣＮＮを組み込み、ＭＲＩ装置上で行ってもよいし、ＭＲＩ装置とは別の画像処理装置（コンピュータ）上で行い、学習済のものをＭＲＩ装置の画像処理部５５０に実装してもよい。

このように画像処理部５５０がクラスタリング及び学習済の複数のＣＮＮの生成を行った後、撮像と画像処理が開始される。撮像に際しては、任意の撮像方法にてｋ空間データを収集し、画像生成部５３０が実空間の画像データを作成する。なお撮像方法は任意であるが、撮像時間を短縮するために、例えば２倍速以上のアンダーサンプリングで行い劣化過程を経た画像を得る。この劣化過程は、必ずしもＣＮＮの学習と同じである必要はない。またアンダーサンプリングすることで、画像に折り返しを生じる場合には、画像生成部５３０は、受信コイルの感度分布を用いたＳＥＮＳＥ法等の折り返し除去演算を行い、折り返しのない画像を生成する。

画像処理部５５０は画像生成部５３０が生成した画像データに対し、第一実施形態或いはその変形例で説明したように、クラスタリングとクラスタに対応する学習済ＣＮＮを用いた画像再構成処理を行い（図６のＳ６０１〜Ｓ６０５）、最終画像を得る。この工程は、従来のＣＳ技術を用いた画像復元処理に比べ、処理時間が短く、アンダーサンプリングによる撮像短縮効果を損なうことなく、画質の良好な画像を得ることができる。

本実施形態の医用撮像装置（ＭＲＩ装置）によれば、アンダーサンプリングすることで短時間に得た低画質の画像を、画像処理に要する時間を延長することなく、通常のサンプリングで得た画像と同質の画像にすることができる。特にクラスタリング後の画像データに対し、クラスタの特徴に適合した学習済ＣＮＮを用いることにより、複数のＣＮＮを用いるアンサンブル学習に比較し、最終画像の画質を保ちながら、画像処理時間を短縮できる。

また本実施形態のＭＲＩ装置によれば、ＣＮＮの学習過程において、特定の劣化過程を選択することで、短い繰り返し時間でより画質の優れた画像を出力可能な学習済ＣＮＮを形成することができる。

＜第三実施形態＞
本発明を超音波撮像装置に適用した実施形態を説明する。
超音波撮像装置７０の全体概要を図１６に示す。この装置は大きく分けて超音波撮像部７１０と再構成部７００とから成り、超音波撮像部７１０は第一実施形態の撮像部１００に相当し、従来の超音波撮像装置と同様の構成を備える。即ち、超音波を発信する超音波探触子７１１、探触子７１１に超音波駆動信号を送る送信部７１２、探触子７１１からの超音波信号（ＲＦ信号）を受信する超音波受信部７１３、超音波受信部７１３が受信した信号を整相加算（ビームフォーミング）する整相加算部７１５、及び、超音波送信部７１２及び超音波受信部７１３を制御する超音波送受信制御部７１４を備える。

再構成部７００は、Ｂモード画像やＭモード画像などの超音波画像を生成する超音波画像生成部７３０と、第一実施形態の画像処理部２００に相当する機能を持つ画像処理部７５０とを備える。再構成部７００は、さらにドプラー処理部（不図示）などを備えていてもよい。また図示する構成例では、超音波送受信制御部７１４及び再構成部７００は一つのＣＰＵ内に構築されており、再構成部７００に処理の条件や処理に必要なデータ等を入力するための入力部４３０、画像処理部７５０等が生成した画像を出力する出力部４１０、及び処理途中のデータや結果画像等を格納する記憶装置３００が備えられている。なお超音波送受信制御部７１４は、再構成部７００とは別のＣＰＵ内に構築されていてもよいし、送受信回路等のハードウェアと制御ソフトウェアとの組み合わせであってもよい。

画像処理部７５０の機能は、第一実施形態の画像処理部２００と同様であり、図１（Ｂ）に示したように、例えば、パッチ処理部２１０、分類処理部２２０、選択部２３０、複数の復元器２４０、及び統合部２５０を備える。

超音波探触子７１１には、種々の種類があるが、一般には、一次元方向或いは二次元方向に配列した多数の振動子からなり、これら振動子を電子的に高速に切り換えながら超音波の送受信を繰り返す。超音波撮像における分解能及びアーチファクトは、探触子の周波数、装置の送受信条件、振動子の素子ピッチ等の影響を受ける。一般に周波数が低いほど、深度は深くできるが、分解能が低下する。また素子ピッチを細かくして数を増やすこと、低周波にすることによりアーチファクトを減らすことができる。しかし振動子の増大は装置の回路規模の増大につながり制限がある。また送受信条件についても装置の制約がある。

画像処理部７５０は、このような制約のもとで撮像した超音波画像に対し、復元器２４０を適用した画質向上を実施する。例えば、撮像時間等の制約なしに最も高画質となる条件で撮像した超音波画像或いは高スペック機種を用いて撮像した超音波画像と、所定の劣化過程を経た超音波画像とを学習用データとし、これをクラスタリングし、クラスタ毎に学習させた復元器２４０を用意する。

撮像においては、超音波撮像部７１０において探触子７１１が受信した超音波を整相加算し、超音波画像生成部７３０が超音波画像を生成する。画像処理部７５０は、第一実施形態と同様に、まず超音波画像生成部７３０が作成した超音波画像を入力し、パッチ処理及びクラスタリングを行った後、クラスタ毎に適用する復元器（ＣＮＮ）を選択する。各ＣＮＮは、パッチのデータを入力し、画質の向上したデータを出力する。最後に各ＣＮＮからのデータを統合し、超音波画像とする。

本実施形態においても、第一実施形態の変形例を適用し、復元器として、ユニバーサルＣＮＮを追加したり、ブランクを設けたりしてもよい。超音波画像のうち、所望の領域のみに上述した画像処理部７５０の処理を行ってもよいし、パッチをオーバーラップして切り出してもよい。さらにＣＮＮの出力を統合する際に、処理対象であるパッチのクラスタ重心からの距離に基いて、重みを付けてもよい。

さらに本実施形態では、周波数などの撮像条件及び素子ピッチなどの装置的制約による画質の劣化を向上させる場合を説明したが、多数の素子の駆動方法を制御して、例えば素子をランダムに間引き駆動してアンダーサンプリングしたデータや、深度を深めるために分解能を犠牲にして低周波数で撮像したデータなどに対しても本実施形態を適用できる。

本実施形態によれば、超音波撮像装置において、装置などの制約による画質の分解能の低下を補い、高画質な超音波画像を得ることができる。また一般に超音波装置では撮像と同時にリアルタイムで画像表示される。本実施形態によれば、学習済ＣＮＮを用いた画像処理を行うことで、画像表示のリアルタイム性を損なうことがない。

＜第四実施形態＞
撮像部１００がＣＴ装置の場合の実施形態を説明する。
ＣＴ装置９０の全体概要を図１７に示す。この装置は、大きく分けてＣＴ撮像部９１０と再構成部９００とから成り、ＣＴ撮像部９１０は第一実施形態の撮像部１００に相当し、従来のＣＴ装置と同様の構成を備える。即ち、Ｘ線管を備えたＸ線源９１１と、固体検出器とダイオード等からなる多数のＸ線検出素子を１次元方向或いは円弧状及びそれと直交する方向に配置したＸ線検出器９１２と、中央に開口９１４が設けられ、Ｘ線源９１１及びＸ線検出器９１２を対向する位置で支持する回転板９１３と、開口９１４内の空間で被検体１０１を搭載する寝台９１５と、Ｘ線検出器９１２の出力を投影データ毎に収集するデータ収集部９１６と、ＣＴ撮像部９１０を構成する各要素の動作を制御するシステム制御部９１７とを備えている。

再構成部９００は、データ収集部９１６が収集した投影データを用いて、バックプロジェクション或いは逐次近似法等の演算を行って断層画像を作成する断層画像生成部９３０と、第一実施形態の画像処理部２００に相当する機能を持つ画像処理部９５０を備える。また図示する構成例では、システム制御部９１７及び再構成部９００は一つのＣＰＵ内に構築されており、再構成部９００に処理の条件や処理に必要なデータ等を入力するための入力部４３０、再構成部９００等が生成した画像を出力する出力部４１０、及び処理途中のデータや結果画像等を格納する記憶装置３００が備えられている。なおシステム制御部９１７は、再構成部９００とは別のＣＰＵ内に構築されていてもよいし、ハードウェアと制御ソフトウェアとの組み合わせであってもよい。同様に再構成部９００の一部、例えば断層画像生成部９３０の機能の一部をハードウェアで構成することも可能である。

ＣＴ装置９０では、Ｘ線源９１１から放射状に照射され、被検体を透過したＸ線をＸ線源と対向して配置されたＸ線検出器９１２で検出する。回転板９１３を高速で回転しながら、各回転角度でＸ線照射と検出とを行うことで、回転角度毎の投影データを得る。一般に投影データは、横軸をＸ線検出素子の配列方向、縦軸を回転角度とするデータ空間に配置したサイノグラムで表される。ヘリカルスキャンの場合には、回転板９１３の回転と共に寝台９１５を移動し、３次元の投影データを得る。

ここでＣＴ撮像の分解能は、Ｘ線検出器９１２を構成する検出素子のピッチ、回転板９１３の回転速度、ヘリカルスキャンの場合には、回転板９１３の回転速度に対する寝台９１５の移動速度などで決まる。例えば、曝射のタイミングに対し回転板９１３の回転速度が速い場合には、サイノグラムにおける回転角度の間隔が大きくなり、回転角度方向の分解能は下がる。またＸ線検出素子を間引きして駆動した場合も、検出素子配列方向の分解能は劣化する。さらに、Ｘ線の照射角度（広がり）をθ（度）とするとき、１枚の断層像を再構成するためには回転板９１３の回転角度は「１８０°＋θ」以上が必要であるが、例えば、回転角度を１８０°としたデータも画質が劣化したデータである。

本実施形態の画像処理部９５０は、このように撮像時間を短縮することができるものの、本来の得られる分解能よりも低い分解能となる条件で得た画像を処理対象とし、本来の分解能の画像に再構成する処理を行う。具体的には、このようにアンダーサンプリングしたデータを用いて断層画像生成部９３０が生成した断層像を入力し、アンダーサンプリングしない場合の画像と同等の画質のデータを作成する。このため画像処理部９５０には、アンダーサンプリングしないで再構成した断層画像（正解画像）と、所定のアンダーサンプリングを行って再構成した断層画像（劣化過程を経た画像）とを学習用データのペアとして学習した復元器２４０を用意する。復元器の学習フェイズでは、正解画像から切り出したパッチをクラスタリングし、クラスタ毎に学習させ、クラスタ毎のＣＮＮを作成する。

撮像時のアンダーサンプリング（劣化過程）の手法の違いを考慮して、異なる学習用データで学習した複数組の復元器を用意することが好ましい。その場合、撮像時に採用したアンダーサンプリング手法に応じて、複数組の復元器から、当該アンダーサンプリング用に学習した復元器の組を選択し、適用する。

撮像においては、ＣＴ撮像部９１０においてデータ収集部９１６が収集した投影データを用いて断層画像生成部９３０が断層画像を生成する。画像処理部９５０は、第一実施形態と同様に、入力した断層画像に対し、パッチ処理及びクラスタリングを行った後、クラスタ毎に適用する復元器（ＣＮＮ）を選択する。各ＣＮＮは、パッチの画像データを入力し、画質の向上した画像データを出力する。最後に各ＣＮＮからのデータを統合し、断層画像とする。本実施形態においても、第一実施形態で説明した変形例を適宜、適用することが可能である。

本実施形態によれば、第二実施形態や第三実施形態と同様に、撮像時間を短縮してアンダーサンプリングして得た画像や装置の制約等によって画質の低い画像を処理し、アンダーサンプリングしない条件で或いは装置の制約が自由な条件で取得した画像と同等の画質の画像を、短時間で再構成することができる。

１０：医用画像装置
５０：ＭＲＩ装置
７０：超音波撮像装置
９０：ＣＴ装置
１００：撮像部
２００：画像処理部
２１０：パッチ処理部
２２０：分類処理部
２３０：復元器選択部（選択部）
２４０：画像復元部（復元器）
２５０：統合部
２７０：ＲＯＩ設定部
３００：記憶装置
４１０：出力部
４３０：入力部
５００：再構成部
５１０：ＭＲ撮像部
５１１：静磁場発生部
５１２：傾斜磁場発生部
５１３：ＲＦ送信部
５１４：ＲＦ受信部
５１５：シーケンス制御部
５３０：画像生成部
５５０：画像処理部
７００：再構成部
７１０：超音波撮像部
７１１：超音波探触子
７１２：超音波送信部
７１３：超音波受信部
７１５：整相加算部
７１４：超音波送受信制御部
７３０：超音波画像生成部
７５０：画像処理部
９００：再構成部
９１０：ＣＴ撮像部
９１１：Ｘ線源
９１２：Ｘ線検出器
９１３：回転板
９１６：データ収集部
９３０：断層画像生成部
９５０：画像処理部

Claims (11)

1. 検査対象の画像データを収集する撮像部と、前記撮像部が収集した画像データを用いて画像再構成を行う画像処理部と、を有し、
   前記画像処理部は、画像データを分類する分類処理部と、前記分類処理部による分類に対応する複数の復元器を備える画像復元部と、前記分類処理部による分類結果に応じて前記複数の復元器から１ないし複数の復元器を選択する復元器選択部と、を備え、
   前記複数の復元器は、それぞれ、分類毎の正解画像と劣化画像との組み合わせからなる学習用データを用いて学習されたニューラルネットワークで構成され，入力された劣化画像から高画質画像を復元する復元器であり、
   前記画像復元部は、前記分類処理部による分類に対応する復元器に加えて、分類と関連付けられていない復元器を備えることを特徴とする医用撮像装置。
2. 請求項１に記載の医用撮像装置であって、
   前記画像処理部は、前記撮像部が収集した画像データからパッチの画像データを切り出し前記分類処理部に渡すパッチ処理部と、前記画像復元部において、前記パッチの画像データ毎に処理された出力データを統合する統合部と、を更に備えることを特徴とする医用撮像装置。
3. 請求項２に記載の医用撮像装置であって、
   前記パッチ処理部は、前記撮像部が収集した画像データからパッチの画像データを切り出す際に、隣接するパッチがオーバーラップするように切り出し、
   前記統合部は、前記隣接するパッチの画像データが異なる復元器で処理されている場合に、オーバーラップ部分について、前記画像復元部からの出力データを平均又は加重平均して統合することを特徴とする医用撮像装置。
4. 請求項１に記載の医用撮像装置であって、
   前記検査対象の画像データに関心領域を設定するＲＯＩ設定部を更に備え、
   前記画像処理部は、前記ＲＯＩ設定部で設定された領域の画像データを処理することを特徴とする医用撮像装置。
5. 請求項１に記載の医用撮像装置であって、
   多数の画像データについて、前記分類処理部が、予め複数のクラスタに分類した結果を格納する記憶部を有し、前記分類処理部は、前記記憶部に格納された前記複数のクラスタのそれぞれの重心と、分類対象の画像データとの距離に基き、分類を行うことを特徴とする医用撮像装置。
6. 検査対象の磁気共鳴信号を計測するＭＲ撮像部と、前記ＭＲ撮像部が計測した磁気共鳴信号で構成されるｋ空間データを画像データに変換する画像生成部と、前記画像生成部が作成した画像データを用いて再構成を行う画像処理部と、を有し、
   前記画像処理部は、画像データを分類する分類処理部と、前記分類処理部による分類に対応する複数の復元器を備える画像復元部と、前記分類処理部による分類結果に応じて前記複数の復元器から１ないし複数の復元器を選択する復元器選択部と、を備え、
   前記複数の復元器は、それぞれ、分類毎の正解画像と劣化画像との組み合わせからなる学習用データを用いて学習されたニューラルネットワークで構成され，入力された劣化画像から高画質画像を復元する復元器であり、前記学習用データとして、前記ｋ空間を埋める全データが計測データであるｋ空間データから再構成した画像データと、間引き計測したｋ空間データから再構成した画像データとの組み合わせを用いて学習されたものである医用撮像装置。
7. 請求項６に記載の医用撮像装置であって、
   前記間引き計測したｋ空間データは、ｋ空間の中心を含む円形又は多角形の領域のデータであることを特徴とする医用撮像装置。
8. 請求項１に記載の医用撮像装置であって、
   前記撮像部は、検査対象の超音波信号を計測する超音波撮像部であり、
   前記画像処理部は、前記超音波撮像部が計測した超音波信号から作成した画像データを用いて再構成を行うことを特徴とする医用撮像装置。
9. 請求項１に記載の医用撮像装置であって、
   前記撮像部は、検査対象を透過したＸ線の投影データを、Ｘ線の異なる照射角度毎に取得するＣＴ撮像部であり、
   前記ＣＴ撮像部が取得した投影データから断層画像を生成する画像生成部をさらに備え、前記画像処理部は、前記画像生成部が生成した画像データを用いて再構成を行うことを特徴とする医用撮像装置。
10. ＭＲＩ装置が取得したｋ空間データからなる原画像データを処理し、当該原画像データより画質の向上した画像データを生成する医用画像処理方法であって、
    正解画像から切り出したパッチの画像データを、その特徴によって分類するステップ（１）と、
    分類されたクラスタ毎に、ｋ空間を埋める全データが計測データであるｋ空間データから再構成した画像データと、間引き計測したｋ空間データから再構成した画像データとの組み合わせを学習用データとして学習させた復元器を用意するステップ（２）と、
    処理対象画像データを、ステップ（１）で得られた複数のクラスタのいずれかに分類するステップ（３）と、
    ステップ（３）の結果をもとに、前記クラスタ毎に用意した復元器のうち１ないし複数の復元器を選択するステップ（４）と、
    ステップ（４）で選択された復元器に、処理対象画像データを入力し、当該復元器の出力として処理対象画像データより画質の向上した画像データを得るステップ（５）と、
    複数の復元器の出力を統合するステップ（６）と、を含む医用画像処理方法。
11. 医用撮像装置が撮像により取得した原画像データを処理し、当該原画像データより画質の向上した画像データを生成する医用画像処理方法であって、
    正解画像から切り出したパッチの画像データを、その特徴によって分類するステップ（１）と、
    分類されたクラスタ毎に、正解画像と当該正解画像に対し劣化過程を経た劣化画像との組み合わせを学習用データとして学習させた復元器と、分類と関連付けられていない復元器とを用意するステップ（２）と、
    処理対象画像データを、ステップ（１）で得られた複数のクラスタのいずれかに分類するステップ（３）と、
    ステップ（３）の結果をもとに、前記クラスタ毎に用意した復元器のうち１ないし複数の復元器及び分類と関連付けられていない復元器を選択するステップ（４）と、
    ステップ（４）で選択された復元器に、処理対象画像データを入力し、当該復元器の出力として処理対象画像データより画質の向上した画像データを得るステップ（５）と、
    複数の復元器の出力を統合するステップ（６）と、を含む医用画像処理方法。

Images