JP6813178B2 - 生体画像処理装置、出力画像製造方法、学習結果製造方法、及びプログラム - Google Patents

Description

本発明は、生体画像に関する処理を行う生体画像処理装置等に関する。

従来、被検体の血管構造を把握するため、デジタル差分血管造影法（以下、「ＤＳＡ」（Digital Subtraction Angiography）とすることがある。）が用いられている。ＤＳＡでは、造影剤投与の前後において被検体のＸ線画像を取得し、造影剤投与後のＸ線画像であるオリジナル画像から、造影剤投与前のＸ線画像であるマスク画像を差し引くことによって、血管像を描出するＤＳＡ画像を得るものである。また、近年は、３次元的な撮影方法を採用した３次元ＤＳＡも行われるようになってきている（例えば、特許文献１参照）。

ＤＳＡでは、造影対象や撮影系が動く場合には、適切なＤＳＡ画像を取得できないという問題が知られている。例えば、心臓のように動きのある臓器を撮影する場合には、オリジナル画像と同じ臓器の位置であるマスク画像を用意することが拍動及び呼吸による位置移動のため困難であり、その他の部位についても体位や運動による移動があると困難であり、その結果、ＤＳＡ画像にアーチファクトが生じることになる、という問題があった。また、例えば、マスク画像を取得していない範囲に撮影系が移動されるなどのように、撮影系が動かされる場合にも、適切なＤＳＡ画像を取得できないという問題があった。

なお、心臓のＤＳＡ画像の場合には、あらかじめ一心周期に対応する複数のマスク画像を用意しておき、撮影されたオリジナル画像に近似するマスク画像をパターンマッチングの手法によって選択し、その選択したマスク画像を用いてＤＳＡ画像を取得する方法が知られている。また、比較的小さな被検体の動きに対しては、マスク画像の位置を手動で移動させるピクセルシフトや、マスク画像の位置を計算によって線形または非線形に移動させるワーピング等も行われている（例えば、特許文献２参照）。

また、そのような造影前のマスク画像の撮影を行わなくてよいようにするため、ぼかした像を別途得て、オリジナル画像からマスク画像を取得する方法や、オリジナル画像の撮影時にマスク画像も撮影する方法なども開発されている（例えば、特許文献３，４参照）。

特開２０１０−１９３９７５号公報 特開２０１５−２１３５３６号公報 特開平１０−３２２５９７号公報 特開２００２−１３５６５５号公報

しかしながら、造影前のマスク画像の撮影を行う従来のＤＳＡでは、被検体や撮影系に大きな動きがある場合には、パターンマッチングやピクセルシフト、ワーピング等を行ってもオリジナル画像とマスク画像との背景が一致せず、ＤＳＡ画像にアーチファクトが生じることになる。
また、造影前にマスク画像を取得する場合には、それだけ検査時間が長くなり、被検者に対する負荷が大きくなるという問題があった。例えば、３次元ＤＳＡでは、マスク画像を撮影するために、検査時間が約２倍になり、被検者を拘束する時間が長くなるという問題があった。また、造影前のマスク画像の撮影を行わないＤＳＡにおいても、ぼけた画像を生成するため、マスク画像を撮影するための構成や、オリジナル画像からマスク画像を生成するための光学的な構成等が必要になり、それだけ装置が複雑化または大型化するという問題もあった。

したがって、ＤＳＡにおいて、造影前のマスク画像の撮影を行わなくても、適切なＤＳＡ画像を取得できるようにすると共に、光学的な構成等を用いることなく、マスク画像を取得できるようにしたい、という要望があった。
一般的に言えば、目的物（例えば、造影血管等）を含む生体画像から、直接、目的物を除去した生体画像（例えば、ＤＳＡのマスク画像等）を生成できるようにしたい、という要望があった。

本発明は、上記課題を解決するためになされたものであり、目的物を含む生体画像から、直接、目的物を除去した生体画像を生成できる生体画像処理装置等を提供することを目的とする。

上記目的を達成するため、本発明による生体画像処理装置は、目的物を含む生体画像である入力用訓練画像、目的物を含まない生体画像である出力用訓練画像、及び目的物を含む生体画像である入力画像を受け付ける受付部と、受付部によって受け付けられた入力用訓練画像及び出力用訓練画像を用いて、目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習する学習部と、学習部による学習結果であるニューラルネットワークの画像処理を用いて、受付部によって受け付けられた入力画像から目的物を除去した出力画像を生成する画像処理部と、を備え、ニューラルネットワークは、複数の畳み込み層を有している、ものである。
このような構成により、複数の畳み込み層を有するニューラルネットワークを学習し、その学習結果を用いて、目的物を含む生体画像から、その目的物を除去した生体画像を生成することができるようになる。その結果、例えば、ＤＳＡのオリジナル画像からマスク画像を生成したり、ステントやコイルを含む生体画像からステント等を除去した生体画像を生成したりすることができるようになる。

また、本発明による生体画像処理装置は、目的物を含む生体画像である入力画像を受け付ける受付部と、目的物を含む生体画像から目的物を含まない生体画像を生成するニューラルネットワークの学習結果の画像処理を用いて、受付部によって受け付けられた入力画像から目的物を除去した出力画像を生成する画像処理部と、を備え、ニューラルネットワークは、複数の畳み込み層を有している、ものである。
このような構成により、複数の畳み込み層を有するニューラルネットワークの学習結果を用いて、目的物を含む生体画像から、その目的物を除去した生体画像を生成することができるようになる。その結果、例えば、ＤＳＡのオリジナル画像からマスク画像を生成することができるようになり、また、ステントやコイルを含む生体画像からステント等を除去した生体画像を生成することができるようになる。

また、本発明による生体画像処理装置では、ニューラルネットワークにおける中間層及び出力層はすべて畳み込み層であってもよい。

また、本発明による生体画像処理装置では、目的物を含む生体画像は、造影剤を投与した生体のＸ線画像である血管造影画像であり、目的物を含まない生体画像は、造影剤を投与していない生体のＸ線画像であり、出力画像は、デジタル差分血管造影法に用いられるマスク画像であってもよい。
このような構成により、血管造影画像から、ＤＳＡで用いられるマスク画像を生成することができるようになる。その結果、マスク画像のためのＸ線撮影が不要になり、被検者の被曝量を低減することができる。また、マスク画像の撮影のための時間が不要になるため、被検者の拘束時間も短くなる。

また、本発明による生体画像処理装置では、ニューラルネットワークにおける１層目の中間層は、一辺が３ｍｍ以上の長さに対応するフィルタを用いた畳み込み層であってもよい。
このような構成により、ニューラルネットワークにおいて、血管造影画像から目的物である造影血管を適切に除去できるようになる。

また、本発明による生体画像処理装置では、受付部によって受け付けられた入力画像である血管造影画像から、画像処理部によって血管造影画像から生成された出力画像であるマスク画像を減算処理する減算処理部と、減算処理部によって減算処理された減算画像を出力する減算画像出力部と、をさらに備えもよい。
このような構成により、例えば、動きのある臓器であっても、また、撮影系が大きく移動されても、血管以外の背景が適切に除去された減算画像（ＤＳＡ画像）を取得することができる。

また、本発明による出力画像製造方法は、目的物を含む生体画像である入力用訓練画像、及び目的物を含まない生体画像である出力用訓練画像を受け付ける第１の受付ステップと、第１の受付ステップにおいて受け付けられた入力用訓練画像及び出力用訓練画像を用いて、目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習する学習ステップと、目的物を含む生体画像である入力画像を受け付ける第２の受付ステップと、学習ステップにおける学習結果であるニューラルネットワークの画像処理を用いて、第２の受付ステップにおいて受け付けられた入力画像から目的物を除去した出力画像を生成する画像処理ステップと、を備え、ニューラルネットワークは、複数の畳み込み層を有している、ものである。
このような構成により、ニューラルネットワークの学習結果を用いて、入力画像から目的物を除去した出力画像を製造することができる。

また、本発明による学習結果製造方法は、目的物を含む生体画像である入力用訓練画像、及び目的物を含まない生体画像である出力用訓練画像を受け付ける受付ステップと、受付ステップにおいて受け付けられた入力用訓練画像及び出力用訓練画像を用いて、目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習することによって学習結果を取得する学習ステップと、を備え、ニューラルネットワークは、複数の畳み込み層を有している、ものである。
このような構成により、入力画像から目的物を除去した出力画像を生成する画像処理に用いられるニューラルネットワークの学習結果を製造することができる。

本発明による生体画像処理装置等によれば、複数の畳み込み層を有するニューラルネットワークを用いて、目的物を含む生体画像から、その目的物を除去した生体画像を生成することができるようになる。

本発明の実施の形態による生体画像処理装置の構成を示すブロック図 同実施の形態による生体画像処理装置の動作を示すフローチャート 同実施の形態におけるニューラルネットワークのモデルの一例を示す図 同実施の形態における各層の情報の一例を示す図 同実施の形態における各層の情報の一例を示す図 同実施の形態における各層の情報の一例を示す図 同実施の形態における訓練データの一例を示す図 同実施の形態における血管造影画像とマスク画像との一例を示す図 同実施の形態における血管造影画像とマスク画像との一例を示す図 同実施の形態における血管造影画像とマスク画像との一例を示す図 従来のＤＳＡ画像と同実施の形態によるＤＳＡ画像との一例を示す図 従来のＤＳＡ画像と同実施の形態によるＤＳＡ画像との一例を示す図 従来のＤＳＡ画像と同実施の形態によるＤＳＡ画像との一例を示す図 従来のＤＳＡ画像と同実施の形態によるＤＳＡ画像との一例を示す図 同実施の形態におけるコンピュータシステムの外観一例を示す模式図 同実施の形態におけるコンピュータシステムの構成の一例を示す図

以下、本発明による生体画像処理装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。本実施の形態による生体画像処理装置は、複数の畳み込み層を有するニューラルネットワークを学習し、その学習結果を用いて、生体画像から目的物を除去した出力画像を生成するものである。

図１は、本実施の形態による生体画像処理装置１の構成を示すブロック図である。本実施の形態による生体画像処理装置１は、受付部１１と、学習部１２と、画像処理部１３と、記憶部１４と、減算処理部１５と、減算画像出力部１６とを備える。本実施の形態では、まず、生体画像処理装置１によってＤＳＡ画像である減算画像を生成する場合について説明し、その後に、それ以外の場合について説明する。

受付部１１は、学習に用いられる訓練データと、学習結果を用いた実際の処理に用いられる実データとを受け付ける。訓練データは、目的物を含む生体画像である入力用訓練画像と、目的物を含まない生体画像である出力用訓練画像とである。通常、入力用訓練画像と、出力用訓練画像との多くの組が、受付部１１で受け付けられることになる。なお、ある組に含まれる入力用訓練画像と出力用訓練画像とは、目的物が含まれているかどうか以外は、同じ画像、すなわち生体の同じ位置に関する画像であるとする。実データは、目的物を含む生体画像である入力画像である。ここでは、目的物が造影血管であり、生体画像がＸ線画像である場合、すなわち、目的物を含む生体画像が、造影剤を投与した生体のＸ線画像である血管造影画像であり、目的物を含まない生体画像が、造影剤を投与していない生体のＸ線画像である場合について説明し、それ以外の場合については後記する。

受付部１１は、例えば、有線または無線の通信回線を介して送信されたデータを受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出されたデータを受け付けてもよい。なお、受付部１１は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、または含まなくてもよい。また、受付部１１は、ハードウェアによって実現されてもよく、または所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

学習部１２は、受付部１１によって受け付けられた入力用訓練画像及び出力用訓練画像を用いて、目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習する。画像処理を行うニューラルネットワークは、入力画像の各画素値に対して所定の演算を行い、出力画像の各画素値を出力するものである。その学習によって、学習部１２は、学習結果を取得することになる。この学習では、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）における各フィルタの各画素値（パラメータの値）が算出されることになる。そのニューラルネットワークは、複数の畳み込み層（convolution layer）を有している。したがって、そのニューラルネットワークは、少なくとも１個の中間層（隠れ層）を有することになるため、そのニューラルネットワークの学習は、深層学習（ディープラーニング、Deep Learning）であるといえる。なお、そのニューラルネットワークは、プーリング層（pooling layer）を有していてもよく、または、有していなくてもよく、全結合層（fully-connected layer）を有していてもよく、または、有していなくてもよい。本実施の形態では、ニューラルネットワークにおける中間層及び出力層がすべて畳み込み層であり、プーリング層及び全結合層を有しない場合について主に説明する。本実施の形態のニューラルネットワークは、例えば、３層以上の畳み込み層を有していてもよい。以下の実施例においては、ニューラルネットワークが３層及び５層の畳み込み層から構成される場合について具体的に説明する。なお、ニューラルネットワークの中間層の層数は、例えば、１層でもよく、２層でもよく、３層以上であってもよい。また、ニューラルネットワークに含まれる畳み込み層も、２層でもよく、４層でもよく、６層以上であってもよい。また、本実施の形態における画像処理では、通常、入力画像と出力画像との画素数が一緒であることが好適であるため、ニューラルネットワークの各層において、適宜、パディングが行われてもよい。そのパディングは、例えば、ゼロパディングであってもよく、画像の最外周の画素値を外挿するパディングであってもよく、画像の各辺で折り返した画素値とするパディングであってもよい。また、各層におけるストライドは問わないが、例えば、畳み込み層におけるストライドは、１であることが好適であり、ニューラルネットワークがプーリング層を有する場合に、そのプーリング層のストライドは、２以上であることが好適である。また、各層において、バイアスを用いてもよく、または、用いなくてもよい。バイアスを用いるかどうかは、層ごとに独立して決められてもよい。そのバイアスは、例えば、層ごとのバイアスであってもよく、または、フィルタごとのバイアスであってもよい。前者の場合には、各層において１個のバイアスが用いられることになり、後者の場合には、各層において１個以上（フィルタと同数）のバイアスが用いられることになる。畳み込み層でバイアスを用いる場合には、各画素値にフィルタのパラメータを掛けて足し合わせた結果にバイアスを加算したものが、活性化関数に入力されることになる。

ニューラルネットワークにおける各設定は、次のようであってもよい。活性化関数は、例えば、ＲｅＬＵ（正規化線形関数）であってもよく、シグモイド関数であってもよく、その他の活性化関数であってもよい。ＲｅＬＵは、ｆ（ｕ）＝ｍａｘ（ｕ，０）である関数である。また、学習部１２における学習では、通常の深層学習と同様に、誤差逆伝搬法を用いてもよく、ミニバッチ法を用いてもよい。また、損失関数（誤差関数）は、平均二乗誤差であってもよい。また、ｅｐｏｃｈ数は特に問わないが、例えば、１００〜５０００であってもよい。

画像処理部１３は、学習部１２による学習結果であるニューラルネットワークの画像処理を用いて、受付部１１によって受け付けられた入力画像から目的物を除去した出力画像を生成する。この画像処理は、学習結果のパラメータを用いたニューラルネットワークを動作させることによって行われる。画像処理部１３による画像処理によって、血管造影画像である入力画像から、ＤＳＡに用いられるマスク画像、すなわち造影血管が除去された画像が生成されることになる。その生成されたマスク画像は、記憶部１４に蓄積される。なお、複数の血管造影画像が入力された場合に、画像処理部１３は、血管造影画像ごとにマスク画像を生成してもよい。従来のＤＳＡでは、通常、複数の血管造影画像に対して、１個のマスク画像が用いられたが、本実施の形態による生体画像処理装置１では、各血管造影画像に対応するマスク画像を生成することができるため、より精度の高いＤＳＡが可能となる。なお、学習部１２による学習において、生体のある部位（例えば、心臓の冠動脈）に関する学習を行った場合には、画像処理部１３は、その部位の入力画像に対して目的物である造影血管を除去する画像処理を行うことが好適である。学習部１２による学習において、生体の複数の部位（例えば、心臓の冠動脈と頭部等）に関する学習を行った場合には、画像処理部１３は、学習を行ったいずれかの部位の入力画像に対して目的物である造影血管を除去する画像処理を行ってもよい。

なお、ニューラルネットワークの画像処理を行う際に、処理対象の画像が分割された分割画像に対して処理が行われてもよい。後記の実施例１のように、例えば、５１２×５１２の入力画像が分割された６４×６４の分割画像について、ニューラルネットワークの画像処理が行われ、その画像処理の後に分割画像が結合されることによって出力画像が構成されてもよい。なお、この場合には、分割画像を用いて学習が行われることになる。また、この場合には、分割後の分割画像（例えば、６４×６４の画像）が入力画像であると考えてもよく、または、分割前の画像（例えば、５１２×５１２の画像）が入力画像であると考えてもよい。後者の場合には、画像処理部１３における画像処理に、入力画像の分割と、ニューラルネットワークによる画像処理後の画像の結合とが含まれていると考えてもよい。本実施の形態では、主にこの場合について説明する。なお、画像を分割する際には、重複が生じるように分割してもよく、または、重複が生じないように分割してもよい。結合後の画像に分割箇所の線が出にくいという観点からは、前者の方が好適である。

記憶部１４では、生成されたマスク画像（出力画像）が記憶される。そのマスク画像は、例えば、画像処理部１３によって蓄積されたものであってもよい。記憶部１４での記憶は、ＲＡＭ等における一時的な記憶でもよく、または、長期的な記憶でもよい。記憶部１４は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。

減算処理部１５は、受付部１１によって受け付けられた入力画像である血管造影画像から、画像処理部１３によってその血管造影画像から生成された出力画像であるマスク画像を減算処理する。したがって、ＤＳＡにおける減算処理では、ある血管造影画像と、その血管造影画像から生成されたマスク画像とを用いて、減算処理が行われることになる。その結果、マスク画像を撮影することなく、１個の血管造影画像から１個のＤＳＡ画像を取得できることになる。なお、受付部１１によって、時系列に沿った複数の入力画像が受け付けられた場合には、減算処理部１５は、その各入力画像について減算処理を行って時系列に沿った複数のＤＳＡ画像を生成してもよい。

減算画像出力部１６は、減算処理部１５によって減算処理された減算画像を出力する。ここでは、減算画像はＤＳＡ画像である。この減算画像出力部１６による出力は、例えば、表示デバイス（例えば、液晶ディスプレイや有機ＥＬディスプレイなど）への表示でもよく、所定の機器への通信回線を介した送信でもよく、記録媒体への蓄積でもよく、他の構成要素への引き渡しでもよい。なお、減算画像出力部１６は、出力を行うデバイス（例えば、表示デバイスや通信デバイスなど）を含んでもよく、または含まなくてもよい。また、減算画像出力部１６は、ハードウェアによって実現されてもよく、または、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

次に、生体画像処理装置１の動作について図２のフローチャートを用いて説明する。
（ステップＳ１０１）受付部１１は、入力用訓練画像と出力用訓練画像との組を複数受け付けたかどうか判断する。そして、入力用訓練画像と出力用訓練画像との複数の組を受け付けた場合には、ステップＳ１０２に進み、そうでない場合には、それらを受け付けるまで、ステップＳ１０１の処理を繰り返す。

（ステップＳ１０２）学習部１２は、受付部１１で受け付けられた入力用訓練画像と出力用訓練画像とを用いて、ニューラルネットワークの学習を行う。学習部１２は、この学習で得られた学習結果である複数のパラメータを、図示しない記録媒体に蓄積してもよい。

（ステップＳ１０３）受付部１１は、処理対象の画像データである入力画像を受け付けたかどうか判断する。この入力画像は、血管造影画像である。そして、入力画像を受け付けた場合には、ステップＳ１０４に進み、そうでない場合には、入力画像を受け付けるまでステップＳ１０３の処理を繰り返す。

（ステップＳ１０４）画像処理部１３は、学習部１２による学習結果であるニューラルネットワークを用いて、受付部１１で受け付けられた入力画像から、目的物である造影血管を除去した出力画像を生成する。その出力画像は、ＤＳＡで用いられるマスク画像である。

（ステップＳ１０５）減算処理部１５は、ステップＳ１０３において受付部１１によって受け付けられた入力画像から、ステップＳ１０４で生成された出力画像を減算処理することによって、減算画像を生成する。この減算画像は、ＤＳＡ画像である。

（ステップＳ１０６）減算画像出力部１６は、ステップＳ１０５で生成された減算画像を出力する。そして、ステップＳ１０３に戻る。

なお、図２のフローチャートでは、複数の入力画像が連続的に受け付けられる場合について示しているが、そうでない場合、例えば、１個の入力画像のみが受け付けられる場合には、ステップＳ１０６の処理の後に、一連の処理が終了となってもよい。また、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、本実施の形態による生体画像処理装置１によるＤＳＡ画像の生成について、実施例を用いて説明する。
［実施例１］
本実施例では、ニューラルネットワークが３層の畳み込み層を有する場合について説明する。図３は、本実施例におけるニューラルネットワークの構成を示す図である。本実施例のニューラルネットワークの入力画像は、６４×６４画素の１チャネルの画像である。各画素は、８ｂｉｔである。１層目の畳み込み層（ｃｏｎｖ１）では、９×９の１個のフィルタを６４セット用いて、６４チャネルの６４×６４の画像を生成した。なお、ｃｏｎｖ１では、入力と出力の画像サイズを同じにするためゼロパディングを行った。２層目の畳み込み層（ｃｏｎｖ２）では、１×１の６４個のフィルタを３２セット用いて、３２チャネルの６４×６４の画像を生成した。３層目の畳み込み層（ｃｏｎｖ３）では、５×５の３２個のフィルタを１セット用いて、１チャネルの６４×６４の画像を生成した。ｃｏｎｖ３でも、入力と出力の画像サイズを同じにするためゼロパディングを行った。ｃｏｎｖ３の出力が、ニューラルネットワークにおける最終的な出力、すなわち出力画像（マスク画像）となる。ＣＮＮによる画像処理では、１層目、２層目のように層が深くなるにしたがってフィルタのサイズが大きくなることが一般的であるが、本実施例のニューラルネットワークは、１層目と２層目のように、深い方の層のフィルタのサイズが小さくなる隣接した畳み込み層を有していることが特徴的である。また、本実施例では、ストライドを１に設定し、バイアスを用いなかった。

各層の活性化関数は、ＲｅＬＵを用いた。本実施例の各層に関する情報は、図４Ａで示されるとおりである。１層目では、８１（＝９×９）個のパラメータを有する１チャネル分のフィルタが６４セット必要であるため、学習によって決めなければならないパラメータ数は、５１８４（＝８１×１×６４）個になる。また、２層目では、１個のパラメータを有する６４チャネル分のフィルタが３２セット必要であるため、学習によって決めなければならないパラメータ数は、２０４８（＝１×６４×３２）個になる。また、３層目では、同様にして、パラメータ数は８００個になる。したがって、本実施例では、学習によって決めるパラメータ数は、合計８０３２個となる。なお、図４Ａの出力マップサイズＷ×Ｗ×Ｋは、画像の縦横の画素数がＷ×Ｗであり、チャネル数がＫであることを示している。

訓練データ、及び実データには、Ｘ線映像装置（SIEMENS-CROSKTOP T・O・P PlusAngio system）によって冠動脈を撮影した映像を用いた。その映像の情報は、次のとおりである。
フレームレート：１５〜３０（ｆｒａｍｅ／ｓ）
フレーム：５１２×５１２（８ｂｉｔ）
ケース数：２９

その映像から、血管造影後フレームと血管造影前フレームとの組を５０組取得した。なお、５１２×５１２の血管造影後フレームと血管造影前フレームから、図５で示されるように、６４×６４の入力用訓練画像と出力用訓練画像とを切り出して用いた。入力用訓練画像と出力用訓練画像とは、フレームにおける同じ位置の画像である。なお、血管造影後フレームと血管造影前フレームとの位置あわせは手動で行った。また、入力用訓練画像と出力用訓練画像との組を２１０２５個用意した。

その２１０２５個の組について、上述のニューラルネットワークの学習を行い、８０３２個のパラメータを決定した。その学習では、ミニバッチ法を用いた。また、その学習における各種の設定は、次のとおりである。
バッチサイズ：４００
ｅｐｏｃｈ数：５０００
最適化：Ａｄａｍ法
損失関数：平均二乗誤差

また、ニューラルネットワークの学習で用いたシステムは、次のとおりである。
ＣＰＵ：Ｘｅｏｎ Ｅ５−１６５０ ３．５ＧＨｚ
ＧＰＵ：ＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＴＩＴＡＮ Ｘ×１
ＯＳ：Ｌｉｎｕｘ（登録商標） （Ｕｂｕｎｔｕ １４．０４）
フレームワーク：Ｃｈａｉｎｅｒ ｖｅｒ．１．８
プログラム言語：Ｐｙｔｈｏｎ

学習部１２による学習の後、学習に使用していない冠動脈の血管造影画像を用いて、画像処理部１３によるマスク画像（出力画像）の生成を行った。その際にも、血管造影画像を６４×６４の複数画像に分割し、その各入力分割画像（６４×６４）を入力として出力分割画像（６４×６４）を生成し、その生成した出力分割画像を結合したものを最終的なマスク画像（出力画像）とした。なお、画像の分割は、分割画像に重複（重なり）がないように行った。図６Ａは、血管造影画像（入力画像）と、本実施例のマスク画像との一例を示す図である。図６Ａで示されるように、学習結果であるニューラルネットワークを用いることによって、造影血管を除去したマスク画像を取得できることが分かる。また、図７Ａは、図６Ａで示される血管造影画像及びマスク画像を用いた本実施例のＤＳＡ画像（本手法のＤＳＡ画像）と、血管造影前の画像をマスク画像として用いたＤＳＡ画像（従来のＤＳＡ画像）との一例を示す図である。図７Ａで示されるように、本実施例において生成されたＤＳＡ画像の方が、従来のＤＳＡ画像よりも、造影血管をよりクリアに示せることが分かる。このように、本実施の形態による生体画像処理装置１では、ＤＳＡ画像において造影血管を高いコントラストで示すことができるため、造影剤の１回の使用量を低減することができる。その結果、造影剤を投与される者の体への負担を軽減させることができる。

図８は、冠動脈に関する従来のＤＳＡ画像と本実施例によって生成されたＤＳＡ画像との他の一例を示す図である。その図８の画像を用いて２名の医師による主観評価を行った結果、２名の医師の両方が、従来のＤＳＡ画像より本手法のＤＳＡ画像の方が画質が高いと評価した。したがって、本実施の形態による生体画像処理装置１は、医師のよりよい診断をサポートするために役立つといえる。

［実施例２］
本実施例では、ニューラルネットワークの畳み込み層が５層になった以外は、実施例１と同様にして学習を行い、また、マスク画像の生成やＤＳＡ画像の生成を行った。なお、５層の畳み込み層に関する情報は、図４Ｂで示されるとおりである。

図６Ｂは、血管造影画像と、本実施例のマスク画像との一例を示す図である。図６Ｂで示されるように、５層のニューラルネットワークの学習結果を用いた場合にも、造影血管を適切に除去できることが分かる。また、図７Ｂは、図６Ｂで示される血管造影画像及びマスク画像を用いた本実施例のＤＳＡ画像（本手法のＤＳＡ画像）と、血管造影前の画像をマスク画像として用いたＤＳＡ画像（従来のＤＳＡ画像）との一例を示す図である。実施例１と同様に、本実施例でも、ＤＳＡ画像において造影血管をよりクリアに示せることが分かる。なお、本実施例においても、ニューラルネットワークは、深い方の層のフィルタのサイズが小さくなる隣接した畳み込み層を有しているという特徴がある。

なお、上記実施例１，２において、１層目の中間層である畳み込み層のフィルタサイズを９×９としたのは、目的物である造影血管の多くが、そのフィルタサイズに含まれるようにするためである。その１層目の畳み込み層のフィルタサイズをそれ以外に設定したニューラルネットワークも用いたが、１層目のフィルタサイズを７×７未満にすると、冠動脈のＤＳＡにおいて生成したマスク画像が、品質のあまり高くないものになった。具体的には、１層目のフィルタサイズを５×５にした場合には、マスク画像に残る造影血管が、１層目のフィルタサイズを７×７にした場合よりも多くなった。したがって、ニューラルネットワークを、目的物である造影血管の除去に用いる場合には、１層目の畳み込み層のフィルタサイズを７×７以上にすることが好適である。なお、実用的には、１層目では、９×９以上のフィルタサイズの畳み込み層を用いることが好適である。ここで、７×７のフィルタの一辺（７ピクセル）は、冠動脈における最も太い血管径の約半分程度の長さに対応するものであった。その１層目の畳み込み層のフィルタサイズは、処理対象となる生体画像の解像度によって変化することは明らかである。例えば、解像度が２倍の生体画像の処理する場合には、１層目の畳み込み層のフィルタサイズは、１４×１４以上にすることが好適になる。そのため、１層目の中間層を、一辺が３ｍｍ以上の長さに対応するフィルタを用いた畳み込み層としてもよく、３．５ｍｍ以上の長さに対応するフィルタを用いた畳み込み層としてもよく、３．７５ｍｍ以上の長さに対応するフィルタを用いた畳み込み層としてもよく、４ｍｍ以上の長さに対応するフィルタを用いた畳み込み層としてもよく、５ｍｍ以上の長さに対応するフィルタを用いた畳み込み層としてもよい。その３ｍｍ等は、生体における長さである。したがって、フィルタの１辺の画素数に対応する生体における長さが３ｍｍ以上となるフィルタを用いることが好適である、ということもできる。冠動脈の直径は、３〜５ｍｍ程度であるため、フィルタの一辺が３ｍｍである場合には、一辺の長さが冠動脈の最も大きい直径の約半分程度の長さに対応したフィルタとなる。なお、１層目の中間層とは、入力層の次の層のことである。

また、最適化の方法として、Ａｄａｍ法と、ＭｏｍｅｎｔｕｍＳＧＤ法とを比較したところ、Ａｄａｍ法を採用した方が、より品質の高いマスク画像を生成することができた。したがって、ＤＳＡを行う場合には、Ａｄａｍ法で最適化することが好適であると考えられる。

［実施例３］
本実施例では、５層の畳み込み層を有するニューラルネットワークを用いて、頭部についてＤＳＡ画像の生成を行った。５層の畳み込み層に関する情報は、図４Ｃで示されるとおりである。また、本実施例では、学習において、３５２セットのフレーム（５１２×５１２）を用いた。なお、各フレームは、原フレーム（１０２４×１０２４）を縮小したものである。また、そのフレームのセットから、１２６７２００組の入力用訓練画像と出力用訓練画像との組を切り出して用いた。なお、入力用訓練画像及び出力用訓練画像は、３２×３２の画像とした。したがって、入力画像（５１２×５１２）も３２×３２の分割画像に分割し、その各入力分割画像（３２×３２）から出力分割画像（３２×３２）を生成し、その生成した出力分割画像を結合することによって、最終的なマスク画像（出力画像）を生成した。また、バッチサイズを１０００とし、ｅｐｏｃｈ数を１００とした。また、本実施例では、ニューラルネットワークの学習を行うシステムにおいて、Ｃｏｒｅｉ５−３５７０ ３．４ＧＨｚのＣＰＵを用いた。それ以外は、実施例１と同様に学習を行った。

図６Ｃは、血管造影画像と、本実施例のマスク画像との一例を示す図である。図６Ｃで示されるように、５層のニューラルネットワークの学習結果を用いた頭部ＤＳＡにおいても、造影血管を除去できることが分かる。また、図７Ｃは、図６Ｃで示される血管造影画像及びマスク画像を用いた本実施例の頭部のＤＳＡ画像（本手法のＤＳＡ画像）と、血管造影前の画像をマスク画像として用いた頭部のＤＳＡ画像（従来のＤＳＡ画像）との一例を示す図である。従来のＤＳＡ画像では、楕円の範囲のように、動きに応じたアーチファクトが残っているが、本実施例のＤＳＡ画像では、そのようなアーチファクトが消えていることが分かる。したがって、被検体の頭部の大きな動きや、口、顎の動きがあった場合に、本実施例の効果が大きいことになる。なお、アーチファクトが存在しない部分において、本実施例のＤＳＡ画像は、従来のＤＳＡ画像と同程度の精度でＤＳＡを実行できていることが分かる。したがって、本手法によるＤＳＡ画像の生成は、動きに起因するアーチファクトがある場合であっても、ない場合であっても、有効であることが分かる。

また、本実施例において、１層目の中間層である畳み込み層のフィルタサイズ１５×１５の一辺は、生体において約７ｍｍ程度となる。したがって、本実施例においても、１層目の中間層は、一辺が３ｍｍ以上の長さに対応するフィルタを用いた畳み込み層となっている。

なお、本実施の形態による生体画像処理装置１は、以上の実施例に限定されることなく、種々の変更が可能であることは言うまでもない。例えば、上記実施例１〜３では、ニューラルネットワークの中間層及び出力層がすべて畳み込み層であるとしたが、ニューラルネットワークにプーリング層等の畳み込み層以外の層が含まれてもよいことは言うまでもない。例えば、ニューラルネットワークの入力層に入力される画像サイズが５１２×５１２である場合には、畳み込み層の後段にプーリング層を設けることが好適である。また、各画像のサイズや、各画素のビット数も問わない。また、上記実施例１〜３の訓練データに関しては、入力用フレームと出力用フレームとを手動で対応付けたが、例えば、パターンマッチング等の手法を用いて、両者の対応付けを自動で行うようにしてもよい。また、各層においてバイアスを用いてもよい。

以上のように、本実施の形態による生体画像処理装置１によれば、ニューラルネットワークの学習結果を用いることにより、目的物である造影血管を含む血管造影画像から、造影血管を除去したマスク画像を生成することができる。したがって、マスク画像用のＸ線撮影を行わなくても、マスク画像を得ることができることになるため、被検者の被曝量を低減でき、また、被検者の検査時間を短くすることができる。また、血管造影画像からマスク画像を生成するため、動きのある臓器についても、また、撮影系が大きく移動されたとしても、血管以外の背景が適切に除去されたＤＳＡ画像を取得することができ、アーチファクトを低減したＤＳＡを実現できる。また、マスク画像を撮影するための構成や、オリジナル画像からマスク画像を生成するための光学的な構成を用いることなくマスク画像を生成できるため、装置の大型化を回避しながら、マスク画像を生成することができるメリットもある。

なお、血管の除去は、ノイズの除去と同様であると考えることもできるため、本願の発明者らは、ノイズの除去を行うことができるautoencoder（Denoising Autoencoder）を用いてＤＳＡの血管造影画像からマスク画像の生成を行ったが、適切に造影血管を除去することはできなかった。したがって、上記のニューラルネットワークを用いた手法は、そのようなautoencoderより、血管等の除去に対して効果的であるということができる。なお、autoencoderを用いたノイズ除去については、例えば、次の文献を参照されたい。
文献：西尾瑞穂、「深層学習を用いた超低線量ＣＴのノイズ除去とその臨床応用」、公益財団法人ひょうご科学技術協会、学術研究助成成果報告書、2016年

以下、撮影部位ごとに、本実施の形態によるＤＳＡの効果について説明する。
頭部：意識障害等で静止不可能な被検者についてもＤＳＡを行って血管の形態を観察することができるようになる。
腹部：肝動脈の栄養血管の塞栓治療では、従来、呼吸による横隔膜の動きによるアーチファクトを削減するため、息止めをした状態で撮影・治療を行っていたが、本手法により、息止めをしなくてもＤＳＡを行うことができるため、息止めのできない被検者に適応可能となる。
冠動脈：心臓の拍動や肋骨、横隔膜の動きが大きく、アーチファクトを生じるため、従来はＤＳＡが行われていなかったが、本手法により、ＤＳＡを行うことができるようになる。その結果、狭窄した血管を映し出すことが可能になる。例えば、心臓の閉塞性心疾患において、冠状動脈の狭窄の程度を精密かつ詳細に評価可能となるため、心臓バイパス手術が必要なのか、またはステント留置術のような侵襲性の少ない治療を適用できるのかといった治療方針の決定に寄与することになる。また、ステント留置後に開通した微細血管も観察可能となる。そのため、患者の予後判断に寄与することになる。
肺：本手法により、息止めのできない被検者にもＤＳＡを行うことができるようになる。
上肢・下肢：上肢・下肢においては、撮影系の移動が大きいため、従来はＤＳＡが行われていないが、本手法では、ＤＳＡを行うことができるようになる。

なお、上記説明では、２次元のＤＳＡについて主に説明したが、３次元のＤＳＡについても同様にして回転する撮影系でマスク像を得て、造影剤を投与したのち、同様に回転する撮影系で画像をえる３次元ＤＳＡにおいても、マスク画像を生成することができる。また、本実施の形態による手法を用いて、ＤＳＡ以外の処理を行ってもよいことは上記のとおりである。本実施の形態による生体画像処理装置１で扱う生体画像は、例えば、単純Ｘ線写真、ＣＴ画像、ＭＲＩ画像、核医学画像（例えば、ＰＥＴ画像、ＳＰＥＣＴ画像等）、超音波画像、サーモグラフィー画像等の生体画像であってもよい。また、生体画像は、通常、人間の画像であるが、人間以外の生物の画像を生体画像として用いてもよい。例えば、生体画像は、動物の画像であってもよい。また、画像処理部１３による画像処理や、減算処理部１５による減算処理としては、例えば、次のようなものもある。

１．目的物の抽出処理
被検者の画像から目的物を抽出することを目的とする。上記ＤＳＡも、この処理に含まれる。目的物は、例えば、骨、血管、尿管、膵管、胆管、肺、肝臓、腎臓、膵臓等であってもよい。また、目的物は、病変や異常構造であってもよい。病変や異常構造は、例えば、炎症、腫瘍、結石、狭窄、動脈瘤等であってもよい。

目的物が血管である場合には、上記ＤＳＡとなる。また、目的物が尿管、膵管、胆管である場合にも、造影後のＸ線画像を、目的物を含む生体画像とし、造影前のＸ線画像、すなわち造影剤を投与していない生体のＸ線画像を、目的物を含まない生体画像として学習を行うことによって、上記ＤＳＡと同様に、学習後のニューラルネットワークを用いて、造影後のＸ線画像から、造影箇所を除去したマスク画像である出力画像を生成することができる。そして、造影後のＸ線画像から、そのマスク画像を減算処理することによって、上記ＤＳＡと同様に、尿管や膵管、胆管の造影画像の抽出された減算画像を生成することができる。

目的物が血管、尿管、膵管、胆管以外の臓器や骨である場合には、生体画像は、ＣＴやＭＲＩの断層画像であってもよい。その場合には、断層画像そのものが、目的物を含む生体画像となる。また、その断層画像から、手作業の画像処理により目的物である臓器や骨を削除した画像を、目的物を含まない生体画像としてもよい。そして、それらを用いた学習結果のニューラルネットワークによって、断層画像から、目的物である臓器や骨を除去したマスク画像である出力画像を生成することができる。その後、断層画像である入力画像から、その断層画像から生成されたマスク画像を減算処理することによって、目的物である臓器や骨の抽出された減算画像を生成することができる。

目的物が病変や異常構造である場合にも、目的物が骨等である場合と同様にして、目的物を抽出することができる。その場合には、病変や異常構造を含むＸ線画像やＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、ＳＰＥＣＴ画像、超音波画像、サーモグラフィー画像等が、目的物を含む生体画像であってもよい。また、その病変や異常構造を含む生体画像から、病変や異常構造を手作業の画像処理によって削除した画像を、目的物を含まない生体画像としてもよい。また、可能であれば、同一の被検者について取得された、病変や異常構造の発生する前の生体画像、すなわち、病変や異常構造を含まない生体画像を、目的物を含まない生体画像としてもよい。また、病変や異常構造を有する第１の被検者の生体画像を、目的物を含む生体画像とし、病変や異常構造を有していない第２の被検者の生体画像を、目的物を含まない生体画像としてもよい。第１の被検者と第２の被検者とは、異なる被検者である。その場合であっても、目的物を含む生体画像と、目的物を含まない生体画像とは、同じ箇所の近似している生体画像であることが好適である。具体的には、両生体画像が肝臓や腎臓等の生体画像である場合には、肝臓や腎臓等を同じ方向から、同じ範囲で含む近似した生体画像であることが好適である。また、被検者の病変や異常構造の箇所の生体画像を、目的物を含む生体画像とし、同じ被検者の病変や異常構造の存在しない箇所の生体画像を、目的物を含まない生体画像としてもよい。その場合であっても、目的物を含む生体画像と、目的物を含まない生体画像とは、近似している生体画像であることが好適である。そして、それらを用いた学習結果のニューラルネットワークによって、目的物である病変や異常構造を含む生体画像から、病変や異常構造を除去したマスク画像である出力画像を生成することができる。その後、目的物である病変や異常構造を含む生体画像である入力画像から、その生体画像から生成されたマスク画像を減算処理することによって、目的物である病変や異常構造（例えば、結石や腫瘍等）の抽出された減算画像を生成することができる。

２．目的物の除去及び付加
被検者の画像から目的物を除去したり、付加したりすることを目的とする。目的物は、例えば、体内の医療機器であってもよい。体内の医療機器とは、例えば、ステント、コイル、クリップ、カテーテル、人工骨頭、インプラント等である。

（１）目的物の除去
目的物であるステント等を体内に埋め込んだ後に撮影したＸ線画像やＣＴ画像、ＭＲＩ画像等が目的物を含む生体画像となる。また、目的物であるステント等を体内に埋め込む前に撮影したＸ線画像等を、目的物を含まない生体画像としてもよい。また、目的物を含む生体画像から、目的物を手作業の画像処理によって削除した画像を、目的物を含まない生体画像としてもよい。そして、それらを用いた学習結果のニューラルネットワークによって、目的物であるステント等を含む生体画像から、目的物であるステント等を除去した出力画像を生成することができる。この場合には、生体画像処理装置１は、減算処理部１５や減算画像出力部１６を備えていなくてもよい。また、生体画像処理装置１は、出力画像を出力する出力部を備えていてもよい。その出力部は、出力対象が異なる以外、減算画像出力部１６と同様のものであってもよい。

（２）目的物の付加
上記（１）と同様に学習を行い、その学習結果を用いた出力画像の生成によって、マスク画像を生成する。そして、そのマスク画像と、出力画像の生成で用いられた目的物であるステント等を含む生体画像とを用いて、ステント等を含む生体画像からマスク画像を減算処理することによって、目的物であるステント等の抽出された減算画像を生成することができる。

ここで、上記１．において、骨や血管等の抽出を行った場合には、マスク画像にステント等も含まれることになるため、ステント等の除去された減算画像が生成されることになる。したがって、その場合には、上記１．の減算画像に、上記のようにして生成された、目的物であるステント等の抽出された減算画像を合成することによって、目的物であるステント等を含む血管や骨などの画像を取得することができる。なお、この場合には、１．の処理と、２．（２）の処理とにおいて、入力画像は同じ画像となる。また、１．の減算画像と、２．（２）の減算画像とを合成するとは、１．の減算画像に含まれる目的物（例えば、血管等）と、２．（２）の減算画像に含まれる目的物（例えば、ステント等）との位置関係が分かるように両者が合成されることを意味しており、そのような合成が行われるのであれば、合成の方法は問わない。また、上記１．のＤＳＡの減算画像において、ステント等が残っていることもある。例えば、血管造影画像においてステント像が血管と似ている場合には、上記１．においてマスク画像を生成する際に、ステント等が除去されたマスク画像が生成されることになり、その結果、１．の減算画像には、ステント等が残ることになる。そのように、ＤＳＡの減算画像にステント等が残っている場合には、（２）の目的物の付加の処理を行わなくてもよいことになる。また、目的物がカテーテルである場合には、通常、冠動脈の血管造影画像において、カテーテル像は血管に類似したものとなるため、上記１．においてマスク画像を生成する際には、カテーテルが除去されたマスク画像が生成され、その結果、１．のＤＳＡの減算画像にカテーテル像が残る。したがって、目的物がカテーテルである冠動脈のＤＳＡの場合には、（２）の目的物の付加の処理を行わなくてもよい。

なお、上記説明のように、減算処理が不要である場合もありうる。そのような場合には、生体画像処理装置１は、減算処理部１５と減算画像出力部１６とを備えていなくてもよい。また、その場合には、生体画像処理装置１は、上記のように、画像処理部１３によって生成された出力画像を出力する出力部を備えていてもよい。

また、本実施の形態では、学習と、学習結果を用いた処理とが一連の処理として行われる場合について説明したが、そうでなくてもよい。学習と、学習結果を用いた処理とは、別々に行われてもよい。学習を行う生体画像処理装置は、例えば、入力用訓練画像と出力用訓練画像とを受け付ける受付部１１と、両訓練画像を用いて目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習する学習部１２とを備えていてもよい。また、その装置は、学習結果である複数のパラメータを出力する出力部を備えていてもよい。その出力は、例えば、情報の送信や、記録媒体への情報の蓄積、他の構成要素への情報の引き渡し等であってもよい。また、学習結果を用いた処理を行う生体画像処理装置は、例えば、入力画像を受け付ける受付部１１と、目的物を含む生体画像から目的物を含まない生体画像を生成するニューラルネットワークの学習結果の画像処理を用いて、受付部１１によって受け付けられた入力画像から目的物を除去した出力画像を生成する画像処理部１３とを備えていてもよい。その画像処理部１３は、別の装置による学習結果である複数のパラメータを用いて、画像処理を行うものである。また、その生体画像処理装置は、出力画像を出力する出力部をさらに備えていてもよく、または、減算処理部１５や減算画像出力部１６をさらに備えていてもよい。

なお、上記のように、目的物を含まない生体画像は、例えば、目的物のないときに取得された生体画像であってもよく、目的物を含む生体画像から目的物が消去された生体画像であってもよい。

また、本実施の形態において、受付部１１は、例えば、血管造影装置や、ＰＥＴ・ＳＰＥＣＴ・ＭＲＩ等の装置から入力画像等を受け付けてもよく、または、記録媒体から入力画像等を受け付けてもよい。前者の場合には、生体画像処理装置１は、リアルタイム処理で入力画像から出力画像を生成してもよい。また、生体画像処理装置１は、リアルタイム処理ではなく、バッチ処理で入力画像から出力画像を生成してもよい。

また、上記実施の形態では、生体画像処理装置１がスタンドアロンである場合について説明したが、生体画像処理装置１は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、受付部や出力部は、通信回線を介して情報を受け付けたり、情報を出力したりしてもよい。

また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、または、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。

また、上記実施の形態において、各構成要素間で行われる情報の受け渡しは、例えば、その情報の受け渡しを行う２個の構成要素が物理的に異なるものである場合には、一方の構成要素による情報の出力と、他方の構成要素による情報の受け付けとによって行われてもよく、または、その情報の受け渡しを行う２個の構成要素が物理的に同じものである場合には、一方の構成要素に対応する処理のフェーズから、他方の構成要素に対応する処理のフェーズに移ることによって行われてもよい。

また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いる閾値や数式、アドレス等の情報等は、上記説明で明記していなくても、図示しない記録媒体において、一時的に、または長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、または、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、または、図示しない読み出し部が行ってもよい。

また、上記実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いる閾値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していなくても、ユーザが適宜、それらの情報を変更できるようにしてもよく、または、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。

また、上記実施の形態において、生体画像処理装置１に含まれる２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、または、別々のデバイスを有してもよい。

また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、または、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、記憶部や記録媒体にアクセスしながらプログラムを実行してもよい。なお、上記実施の形態における生体画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、目的物を含む生体画像である入力用訓練画像、目的物を含まない生体画像である出力用訓練画像、及び目的物を含む生体画像である入力画像を受け付ける受付部、受付部によって受け付けられた入力用訓練画像及び出力用訓練画像を用いて、目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習する学習部、学習部による学習結果であるニューラルネットワークの画像処理を用いて、受付部によって受け付けられた入力画像から目的物を除去した出力画像を生成する画像処理部として機能させ、ニューラルネットワークは、複数の畳み込み層を有している、プログラムである。

なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を受け付ける受付部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。

また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、または分散処理を行ってもよい。

図９は、上記プログラムを実行して、上記実施の形態による生体画像処理装置１を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
図９において、コンピュータシステム９００は、ＣＤ−ＲＯＭドライブ９０５を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。

図１０は、コンピュータシステム９００の内部構成を示す図である。図１０において、コンピュータ９０１は、ＣＤ−ＲＯＭドライブ９０５に加えて、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮやＷＡＮ等への接続を提供する図示しないネットワークカードを含んでいてもよい。

コンピュータシステム９００に、上記実施の形態による生体画像処理装置１の機能を実行させるプログラムは、ＣＤ−ＲＯＭ９２１に記憶されて、ＣＤ−ＲＯＭドライブ９０５に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ９２１、またはネットワークから直接、ロードされてもよい。また、ＣＤ−ＲＯＭ９２１に代えて他の記録媒体（例えば、ＤＶＤ等）を介して、プログラムがコンピュータシステム９００に読み込まれてもよい。

プログラムは、コンピュータ９０１に、上記実施の形態による生体画像処理装置１の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能やモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。

また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上より、本発明による生体画像処理装置等によれば、目的物を含む生体画像から、目的物を除去した生体画像を生成することができ、例えば、ＤＳＡのマスク画像の生成等に有用である。

１ 生体画像処理装置
１１ 受付部
１２ 学習部
１３ 画像処理部
１４ 記憶部
１５ 減算処理部
１６ 減算画像出力部

Claims (9)

1. 目的物を含む生体画像である入力用訓練画像、目的物を含まない生体画像である出力用訓練画像、及び目的物を含む生体画像である入力画像を受け付ける受付部と、
   前記受付部によって受け付けられた入力用訓練画像及び出力用訓練画像を用いて、目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習する学習部と、
   前記学習部による学習結果であるニューラルネットワークの画像処理を用いて、前記受付部によって受け付けられた入力画像から目的物を除去した出力画像を生成する画像処理部と、を備え、
   前記ニューラルネットワークは、複数の畳み込み層を有しており、
   目的物を含む生体画像は、造影剤を投与した生体のＸ線画像である血管造影画像であり、
   目的物を含まない生体画像は、造影剤を投与していない生体のＸ線画像であり、
   前記出力画像は、デジタル差分血管造影法に用いられるマスク画像である、生体画像処理装置。
2. 目的物を含む生体画像である入力画像を受け付ける受付部と、
   目的物を含む生体画像から目的物を含まない生体画像を生成するニューラルネットワークの学習結果の画像処理を用いて、前記受付部によって受け付けられた入力画像から目的物を除去した出力画像を生成する画像処理部と、を備え、
   前記ニューラルネットワークは、複数の畳み込み層を有しており、
   目的物を含む生体画像は、造影剤を投与した生体のＸ線画像である血管造影画像であり、
   目的物を含まない生体画像は、造影剤を投与していない生体のＸ線画像であり、
   前記出力画像は、デジタル差分血管造影法に用いられるマスク画像である、生体画像処理装置。
3. 前記ニューラルネットワークにおける中間層及び出力層はすべて畳み込み層である、請求項１または請求項２記載の生体画像処理装置。
4. 前記ニューラルネットワークにおける１層目の中間層は、一辺が３ｍｍ以上の長さに対応するフィルタを用いた畳み込み層である、請求項１から請求項３のいずれか記載の生体画像処理装置。
5. 前記受付部によって受け付けられた入力画像である血管造影画像から、前記画像処理部によって当該血管造影画像から生成された出力画像であるマスク画像を減算処理する減算処理部と、
   前記減算処理部によって減算処理された減算画像を出力する減算画像出力部と、をさらに備えた、請求項１から請求項４のいずれか記載の生体画像処理装置。
6. 目的物を含む生体画像である入力用訓練画像、及び目的物を含まない生体画像である出力用訓練画像を受け付ける第１の受付ステップと、
   前記第１の受付ステップにおいて受け付けられた入力用訓練画像及び出力用訓練画像を用いて、目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習する学習ステップと、
   目的物を含む生体画像である入力画像を受け付ける第２の受付ステップと、
   前記学習ステップにおける学習結果であるニューラルネットワークの画像処理を用いて、前記第２の受付ステップにおいて受け付けられた入力画像から目的物を除去した出力画像を生成する画像処理ステップと、を備え、
   前記ニューラルネットワークは、複数の畳み込み層を有しており、
   目的物を含む生体画像は、造影剤を投与した生体のＸ線画像である血管造影画像であり、
   目的物を含まない生体画像は、造影剤を投与していない生体のＸ線画像であり、
   前記出力画像は、デジタル差分血管造影法に用いられるマスク画像である、出力画像製造方法。
7. 目的物を含む生体画像である入力用訓練画像、及び目的物を含まない生体画像である出力用訓練画像を受け付ける受付ステップと、
   前記受付ステップにおいて受け付けられた入力用訓練画像及び出力用訓練画像を用いて、目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習することによって学習結果を取得する学習ステップと、を備え、
   前記ニューラルネットワークは、複数の畳み込み層を有しており、
   目的物を含む生体画像は、造影剤を投与した生体のＸ線画像である血管造影画像であり、
   目的物を含まない生体画像は、造影剤を投与していない生体のＸ線画像であり、
   前記学習ステップにおける学習結果であるニューラルネットワークの画像処理を用いて、目的物を含む生体画像である入力画像から生成される目的物を除去した出力画像は、デジタル差分血管造影法に用いられるマスク画像である、学習結果製造方法。
8. コンピュータを、
   目的物を含む生体画像である入力用訓練画像、目的物を含まない生体画像である出力用訓練画像、及び目的物を含む生体画像である入力画像を受け付ける受付部、
   前記受付部によって受け付けられた入力用訓練画像及び出力用訓練画像を用いて、目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習する学習部、
   前記学習部による学習結果であるニューラルネットワークの画像処理を用いて、前記受付部によって受け付けられた入力画像から目的物を除去した出力画像を生成する画像処理部として機能させ、
   前記ニューラルネットワークは、複数の畳み込み層を有しており、
   目的物を含む生体画像は、造影剤を投与した生体のＸ線画像である血管造影画像であり、
   目的物を含まない生体画像は、造影剤を投与していない生体のＸ線画像であり、
   前記出力画像は、デジタル差分血管造影法に用いられるマスク画像である、プログラム。
9. コンピュータを、
   目的物を含む生体画像である入力画像を受け付ける受付部、
   目的物を含む生体画像から目的物を含まない生体画像を生成するニューラルネットワークの学習結果の画像処理を用いて、前記受付部によって受け付けられた入力画像から目的物を除去した出力画像を生成する画像処理部として機能させ、
   前記ニューラルネットワークは、複数の畳み込み層を有しており、
   目的物を含む生体画像は、造影剤を投与した生体のＸ線画像である血管造影画像であり、
   目的物を含まない生体画像は、造影剤を投与していない生体のＸ線画像であり、
   前記出力画像は、デジタル差分血管造影法に用いられるマスク画像である、プログラム。