JP7277536B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、放射線画像の照射野領域を抽出する画像処理装置、画像処理方法、及びプログラムに関するものである。

近年、医療現場において放射線撮影装置が広く普及しており、放射線画像をデジタル信号として取得し画像処理を行ったあと、表示装置に表示して診断に利用することが行われている。

ここで、放射線撮影においては、診断に必要な関心領域（以後、「照射野領域」と呼称する）以外への放射線の影響を抑え、照射野領域外からの散乱を防ぎ、コントラストの低下を防止するために、コリメータを用いて照射野絞りを行って、照射野領域以外の領域への放射線照射を防ぐのが一般的である。

照射野絞りが行われた画像においては、診断の関心領域となる照射野領域に対して画像処理を施すために、照射野領域を抽出する技術について各種の提案が行われている。

例えば、特許文献１では、画像内のエッジ強度をもとに、複数の輪郭を求め、正誤判定を行って照射野領域を抽出する技術が提案されている。また、特許文献２では、画像データをニューラルネットワークに入力して、照射野領域を結果として出力する技術が提案されている。

特開２０１５－１２３１５７号公報 特開平０４－２６１６４９号公報

しかしながら、被写体となる人体には、骨部や、インプラント等、照射野絞りの輪郭と区別が難しい強いエッジ成分を持った構造が含まれている場合があり、特許文献１の技術では、照射野認識を行えない場合が生じ得る。

また、特許文献２の技術では、ニューラルネットワークにより多くの画像の総合的な特徴を用いて照射野領域を判定することができるものの、ニューラルネットワーク単体では照射野領域を分類することは難しい場合が生じ得る。

本発明は、上記の課題を鑑みてなされたものであり、照射野領域を抽出できる画像処理技術を提供する。

本発明の一態様に係る画像処理装置は、放射線撮影された２次元画像内の照射野領域を抽出する画像処理装置であって、
２次元画像における照射野領域に関する情報を含む学習データを用いて学習したニューラルネットワークに２次元画像を入力することにより、入力された２次元画像における各画素が照射野領域であるか、又は照射野領域でないかの確率を示す確率マップを、照射野候補領域として推論する推論手段と、
前記推論された照射野候補領域に対する輪郭抽出処理として、コリメータの形状に基づいて前記照射野領域の輪郭候補の抽出を行い、前記照射野領域の輪郭候補と前記推論された照射野候補領域とを用いて前記照射野領域の輪郭に関する判定を行い、前記判定に基づいて前記照射野領域の輪郭を抽出する輪郭抽出手段と、
前記輪郭に基づいて前記照射野領域を抽出する領域抽出手段と、を備える。

本発明によれば、照射野領域を抽出できる画像処理技術を提供することが可能になる。

（ａ）は、実施形態に係る画像処理装置を含んだ放射線撮影システムの基本的な構成例を示すブロック図、（ｂ）は、照射野認識部の基本的な構成例を示すブロック図。 （ａ）は、照射野認識部の処理の流れを示したフローチャート、（ｂ）は、照射野認識部の処理における処理画像を示した模式図。 （ａ）は、ニューラルネットワークの学習の概念を示した説明図、（ｂ）は、ニューラルネットワークの推論の概念を示した説明図。 （ａ）は、輪郭抽出処理の流れを示したフローチャート、（ｂ）は、輪郭抽出処理の処理画像を示した模式図、（ｃ）は、画像を極座標空間に変換した例を示した図。 （ａ）は、輪郭抽出処理の流れを示したフローチャート、（ｂ）は、輪郭抽出処理の処理画像を示した模式図。 実施形態に係る画像処理装置を含んだ放射線撮影システムの基本的な構成例を示すブロック図。

以下、図面を参照して本発明の実施形態を例示的に詳しく説明する。尚、本発明において放射線とは、一般的に用いられるＸ線に限らず、放射性崩壊によって放出される粒子（光子を含む）の作るビームであるα線、β線、及びγ線などの他、同程度以上のエネルギーを有するビーム（例えば、粒子線や宇宙線など）も含まれる。以下、放射線としてＸ線を用いる場合を例に説明する。

（実施形態１：矩形コリメータ）
まず、図１を用いて、本発明の実施形態１に係る画像処理装置の構成例について説明する。図１（ａ）は、実施形態１の画像処理装置を有する放射線撮影システムの基本的な構成例を示すブロック図である。

放射線撮影システム１００は、放射線を発生させる放射線発生装置１０１と、被写体１０２を配置する寝台１０３と、放射線を検出し、被写体１０２を通過した放射線に応じた画像データを出力する検出装置１０４（ＦＰＤ）と、放射線発生装置１０１の放射線発生タイミングと放射線発生条件を制御する制御装置１０５と、各種デジタルデータを収集するデータ収集装置１０６と、ユーザーの指示に従って画像処理や機器全体の制御を行う情報処理装置１０７とを備える。尚、放射線撮影システム１００の構成を放射線撮影装置ということもある。

情報処理装置１０７は、照射野認識部１０９と、診断用画像処理部１１０とを含む画像処理装置１０８と、ＣＰＵ１１２と、メモリ１１３と、操作パネル１１４と、記憶装置１１５と、表示装置１１６とを備えており、これらはＣＰＵバス１１１を介して電気的に接続されている。

メモリ１１３には、ＣＰＵ１１２での処理に必要な各種のデータなどが記憶されるとともに、メモリ１１３はＣＰＵ１１２の作業用ワークメモリを含む。また、ＣＰＵ１１２は、メモリ１１３を用いて、操作パネル１１４に入力されるユーザーの指示に従い、装置全体の動作制御などを行うように構成されている。

図１（ｂ）は、実施形態１の画像処理装置における、照射野認識部１０９の基本的な機能構成の例を示すブロック図である。照射野認識部１０９は、機能構成として、前処理部１２０と、推論部１２１と、輪郭抽出部１２２と、領域抽出部１２３とを含む。

放射線撮影システム１００は、操作パネル１１４を介したユーザーの指示に従って、被写体１０２の撮影シーケンスを開始する。放射線発生装置１０１から所定の条件の放射線が発生し、被写体１０２を通過した放射線が検出装置１０４に照射される。ここで、制御装置１０５は、電圧、電流、及び照射時間などの放射線発生条件に基づいて放射線発生装置１０１を制御し、所定の条件で放射線発生装置１０１から放射線を発生させる。

検出装置１０４は、被写体１０２を通過した放射線を検出し、検出した放射線を電気信号に変換し、放射線に応じた画像データとして出力する。検出装置１０４から出力された画像データは、データ収集装置１０６によりデジタルの画像データとして収集される。データ収集装置１０６は検出装置１０４から収集した画像データを情報処理装置１０７に転送する。情報処理装置１０７において、画像データはＣＰＵ１１２の制御によりＣＰＵバス１１１を介してメモリ１１３に転送される。

画像処理装置１０８は、メモリ１１３に格納された画像データに対して各種画像処理を適用することにより、放射線撮影された画像内の照射野領域を抽出する。画像処理装置１０８は、照射野認識部１０９によって被写体領域の抽出を行った後、診断用画像処理部１１０によって、階調処理や強調処理、ノイズ低減処理などの診断用画像処理を適用し、診断に適した画像作成を行う。画像処理装置１０８は、診断用画像処理部１１０の処理結果を記憶装置１１５へ保存し、表示装置１１６へ表示する。

次に、図２を用いて、照射野認識部１０９の処理について説明する。図２（ａ）は、照射野認識部１０９の処理の流れを示したフローチャートであり、図２（ｂ）は、照射野認識部１０９の処理における処理画像を例示した模式図である。ここでは、被写体１０２の手部について矩形コリメータを用いて撮影した例を説明する。ただし、本発明は、実施形態１で説明する撮影部位やコリメータの形状に限定されず、例えば、被写体１０２の胸部や腹部等の他の部位、あるいは円形コリメータを用いるなどの任意の照射野絞り形状にも適用可能である。

ステップＳ２０１において、前処理部１２０は入力画像の前処理を行う。本前処理により、入力画像は後段のニューラルネットワークの推論処理が有効に機能する形式に変換される。ここで、前処理部１２０は、推論部１２１の学習の際、例えば、ニューラルネットワークを学習する際に使った画像と同じタイプの画像に変換することが可能である。前処理部１２０による前処理の一例として、前処理部１２０はグリッド除去処理や散乱線低減処理、ノイズ低減処理、対数変換処理や正規化処理を行った後、推論部１２１による推論処理で用いるニューラルネットワークに適した画像サイズに拡大または縮小する処理を行なうことが可能である。

画像サイズは任意の形式を取ることができるが、一例として、前処理部１２０に入力する入力画像は１１２×１１２ピクセル乃至２２４×２２４ピクセルなど、縦横を１：１のアスペクト比とした画像としておくと回転への汎化性能を高めること可能である。また、前処理部１２０は、正規化処理の例として、入力画像の信号が０から１となるように信号レベルの正規化を行うことも可能である。前処理部１２０は以上の処理を実行することにより、前処理済み画像２１１を取得する。前処理済み画像２１１には、図２（ｂ）に示すように照射野領域２１２と、コリメータ領域２１３が任意の比率で含まれる。

ステップＳ２０２において、推論部１２１は、放射線撮影された画像内の照射野候補領域を推論処理に基づいて取得する。推論部１２１は前処理後の画像である前処理済み画像２１１に対して推論処理（例えば、ニューラルネットワークによる推論処理）を行い、放射線撮影された画像から照射野候補領域を取得する。推論部１２１は、放射線撮影された画像を入力とし、照射野領域を出力としたデータの組を用いた学習に基づいて推論処理を行う。推論部１２１は学習としてニューラルネットワークを含む学習の結果に基づいて推論処理を行う。例えば、推論部１２１は、推論処理で使用するニューラルネットワークとして、事前に学習を行ったニューラルネットワークを使用することが可能である。ニューラルネットワークの学習と、ニューラルネットワークの推論処理の詳細については後述する。尚、推論処理は、ニューラルネットワークを用いるものに限定されるものではなく、推論部１２１は、例えば、サポートベクターマシーンやブースティングによる機械学習で生成された処理ユニットを用いることも可能である。

推論部１２１は、入力された画像の各画素に対して、「照射野領域であるか」、又は「照射野領域でないか（コリメータ領域か）」の確率を示す確率マップ２１４を照射野候補領域として取得する。ここで、ニューラルネットワークによる推論処理は、人力では不可能なほどの多くの特徴量を使用し、エッジの特徴に限らない画像の総合的な特徴を用いて照射野領域を判定することができるものの、処理単体では照射野領域を分類することは難しい場合がある。例えば、図２（ｂ）に示す確率マップ２１４においては、照射野領域である確率の高い領域２１５と、コリメータである確率の高い領域２１６が得られるが、実際にはコリメータ領域ではないが、コリメータ領域と判定してしまった誤検出領域２１７が含まれる場合が生じ得る。

ステップＳ２０３において、輪郭抽出部１２２は照射野候補領域に基づいて照射野領域の輪郭を抽出する。輪郭抽出部１２２は、照射野候補領域に対する輪郭抽出処理に基づいて照射野領域の輪郭を抽出する。輪郭抽出部１２２は、ステップＳ２０２で取得された確率マップ２１４（照射野候補領域）に対して、コリメータの形状を基に輪郭２１８を抽出する輪郭抽出処理を行う。

輪郭抽出部１２２は、照射野候補領域に対して、コリメータの形状を基に輪郭を抽出する輪郭抽出処理を行う。輪郭抽出部１２２は、コリメータの形状に基づいて、輪郭抽出処理を変更する。例えば、輪郭抽出部１２２は、コリメータの形状が矩形である場合は矩形用の輪郭抽出処理を行い、コリメータの形状が円形である場合は円形用の輪郭抽出処理を行うことが可能である。輪郭抽出部１２２は、コリメータの形状が矩形用の輪郭抽出処理と、円形用の輪郭抽出処理とを選択可能である。

実施形態１では、コリメータの輪郭を矩形（矩形コリメータ）と想定しており、輪郭抽出部１２２は矩形用の輪郭抽出処理により輪郭候補として直線を抽出する。すなわち、輪郭抽出部１２２は、確率マップ２１４から、コリメータの矩形性を基に、コリメータの形状の輪郭を構成する輪郭線として高々４本の直線を求める輪郭抽出処理を行う。そして、抽出された輪郭候補の妥当性の確認処理に基づいて、最終的な輪郭が設定される。この輪郭抽出処理の詳細については後述する。

ステップＳ２０４において、領域抽出部１２３は輪郭２１８に基づいて照射野領域を抽出する。具体的には、領域抽出部１２３は照射野領域の抽出処理を行い、入力された画像を照射野領域２２１とコリメータ領域２２０とに分割した領域分割画像２１９を取得する。ここで、領域抽出部１２３は、輪郭２１８の内側の領域を照射野領域２２１として抽出する。輪郭２１８の内側の領域は、輪郭２１８により囲まれる領域である。すなわち、領域抽出部１２３は、ステップＳ２０３で抽出された輪郭２１８の情報に基づいて、輪郭２１８により囲まれる領域を照射野領域２２１として抽出し、それ以外の領域（輪郭２１８に囲まれていない領域）をコリメータ領域２２０として抽出する。領域抽出部１２３の照射野領域の抽出処理によって、ニューラルネットワークの推論処理の結果に含まれていた誤検出領域２１７を除去した形で照射野領域２２１を抽出することができる。

尚、領域抽出部１２３は、照射野領域の抽出処理として、輪郭２１８から想定される照射野領域と、確率マップ２１４から想定される照射野領域との重複する領域に基づいて、照射野領域を抽出することが可能である。すなわち、領域抽出部１２３は、輪郭２１８から想定される照射野領域と、確率マップ２１４から想定される照射野領域とが重複する割合が設定された値以上となる領域を照射野領域として抽出することが可能である。例えば、領域抽出部１２３は、照射野領域の抽出処理として、輪郭２１８の情報（Ｓ２０３）と、確率マップ２１４の情報（Ｓ２０２）とに基づいて、輪郭２１８が作り得る領域と、確率マップ２１４において照射野領域である確率の高い領域２１５と、が重複する割合が所定の基準値以上（例えば７５％）となる領域を照射野領域２２１として抽出することが可能である。

以上のステップＳ２０１～Ｓ２０４の処理によって、照射野認識部１０９は、精度の高い照射野領域の抽出を行うことが可能となる。

続いて、図３を用いて、推論部１２１の詳細な処理内容について説明する。図３（ａ）は、ニューラルネットワークの学習の概念を示した説明図であり、図３（ｂ）は、ニューラルネットワークの推論の概念を示した説明図である。

ニューラルネットワークの学習は、入力データの組３０１と、それに対応する教師データの組３０５をもって行われる。

まず、入力データの組３０１に対して、学習途中のニューラルネットワーク３０２による推論処理を行い、推論結果の組３０４を出力する。次に推論結果の組３０４と教師データの組３０５から、損失関数を算出する。損失関数は、例えば二乗誤差や、交差エントロピー誤差など、任意の関数を用いることができる。さらに損失関数を起点とした誤差逆伝搬を行い、学習途中のニューラルネットワーク３０２のパラメータ群を更新する。上記の処理を、入力データの組３０１と教師データの組３０５を変えながら繰り返すことで、学習途中のニューラルネットワーク３０２の学習を進めることができる。

ニューラルネットワークの推論は、入力データ３０６に対して、学習済みニューラルネットワーク３０７による推論処理を適用し、推論結果３０８を出力する処理である。

ここで、実施形態１において、教師データの組３０５は、入力データの組３０１において照射野領域を１、コリメータ領域を０とするように設定される。教師データの組３０５は例えば手入力で適宜作成してもよいし、照射野認識部１０９が外部から取得してもよい。また、照射野認識部１０９が撮影部位に応じて規範となる教師データを自動的に生成してもよい。

ここで、ニューラルネットワーク３０２は、多数の処理ユニット３０３が任意に接続された構造を取る。処理ユニット３０３の例としては、コンボリューション演算や、Batch Normalization等の正規化処理、あるいは、ReLUやSigmoid等の活性化関数による処理が含まれ、それぞれの処理内容を記述するためのパラメータ群を有する。これらは例えば、コンボリューション演算、正規化、活性化関数、のように順番に処理を行う組が３～数百程度の層状に接続され、畳み込みニューラルネットワークや、再帰型ニューラルネットワークと呼ばれる構造を取ることができる。

尚、ニューラルネットワーク３０２の入出力の形式は前処理部１２０における処理済みの画像とする。出力画像は入力画像と同じ解像度とし、ピクセル毎に照射野領域である確率を表す画像とした構成を取ることが可能である。別の例として、出力画像を入力画像に対して低い解像度になるようにしてもよい。この場合は、学習・推論の処理時間を短縮することが可能であるが、後段の処理を含めた全体の精度の低下がトレードオフとなることがある。

続いて、図４を用いて、輪郭抽出部１２２における輪郭抽出処理の詳細な処理内容について説明する。図４（ａ）は、輪郭抽出処理の流れを示したフローチャートであり、図４（ｂ）は、輪郭抽出処理の処理画像を示した模式図、図４（ｃ）は、画像を極座標空間に変換した例を示した図である。輪郭抽出部１２２は、確率マップ２１４から得られる、照射野領域とコリメータ領域との境界を示すエッジを含む画像から照射野領域の輪郭を抽出する。

ステップＳ４０１において、輪郭抽出部１２２は、確率マップ２１４から照射野領域である確率の高い領域２１５と、コリメータである確率の高い領域２１６との境界を示すエッジを抽出する。エッジの抽出方法は制限しないが、一例として、確率マップ２１４に対してｓｏｂｅｌフィルタなどの微分フィルタを適用することでエッジを抽出することが可能である。確率マップ２１４は各々の画素に対して０～１の任意の確率が設定されるが、エッジの抽出処理を簡便にするため、事前に設定した閾値（例えば０．５）に基づいた２値化処理を行い、閾値以上の画素を抽出する処理を行うことも可能である。以上の処理により、照射野領域とコリメータ領域との境界を含むエッジ４１２を含んだ画像４１１を得ることができる。

ステップＳ４０２において、輪郭抽出部１２２は、画像４１１に対してＨｏｕｇｈ変換を適用する。ここでは、直交座標系で（ｘ、ｙ）と表される画像４１１上の点を、式１を用いて角度θと距離ρの極座標空間に変換する。ここで、θは（ｘ、ｙ）を通る直線に対し、原点から垂線を下ろしたときに垂線とｘ軸とがなす角度であり、ρは（ｘ、ｙ）を通る直線に対し、原点から垂線を下ろしたときの垂線の長さである。例えば、-９０°＜θ≦９０°の範囲で変換を行うと、図４（ｃ）のように極座標空間上の分布が得られる。ここで、極座標空間上で局所最大値をとるθ、ρの組は、直交座標系の画像で直線が存在する可能性が高い。この特徴を利用することで、Ｈｏｕｇｈ変換の適用によって直線的な構造を持つ矩形コリメータの輪郭を抽出しやすくなる効果が得られる。

ステップＳ４０３において、輪郭抽出部１２２は、画像４１１から、最も長い直線４１３を輪郭候補として抽出する。本ステップでは、輪郭抽出部１２２は、極座標空間全体を検索し、極座標空間の最大値を取るθ、ρの組４１７が作る直線を抽出する。

ステップＳ４０４において、輪郭抽出部１２２は、直線４１３に対して対向する線として、平行な直線４１４を輪郭候補として抽出する。コリメータの矩形性を想定すると、１辺に平行な方向にもう１辺が存在することが考えられる。その前提に基づき、極座標空間上で、輪郭抽出部１２２は、直線４１３に相当するθ、ρの組４１７を基準として、θが一定範囲内にある領域４２１から局所最大値を探索する。θは例えば、θ＝－９０°に対して５°乃至１５°程度の値、またはθ＝９０°に対して－（５°乃至１５°）程度の値を設定することが可能である。これにより、輪郭抽出部１２２は、θ、ρの組４１７を除いた局所最大値としてθ、ρの組４１８と、それに対応する直線４１４を抽出することが可能となる。

ステップＳ４０５において、輪郭抽出部１２２は、直線４１３に対して交差する線として、垂直な直線４１５を輪郭候補として抽出する。コリメータの矩形性を想定すると、ある１辺に垂直な方向にもう１辺が存在することが考えられる。その前提に基づき、極座標空間上で、輪郭抽出部１２２は、直線４１３に相当するθ、ρの組４１７を基準として、θが極座標空間上の一定範囲内にある領域４２２からθ、ρの組を探索する。探索範囲として、基準となる組４１７のθ（＝－９０°）に対して＋９０°の位相差を有するθ＝０°から前後１５°程度の任意の値を設定することが可能である。これにより、輪郭抽出部１２２は、θ、ρの組４１７を通る波形４３１とθ、ρの組４１８を通る波形４３２とが交差する点としてθ、ρの組４１９と、それに対応する直線４１５を抽出することが可能となる。

ステップＳ４０６において、輪郭抽出部１２２は、直線４１５に対して対向する線として、平行な直線４１６を輪郭候補として抽出する。ステップＳ４０４と同様に、輪郭抽出部１２２は、直線４１５に対して平行な方向の辺を探索し、極座標空間上の領域４２３からθ、ρの組を探索する。探索範囲として、θ、ρの組４１９が抽出された領域４２２に比べて領域４２３を狭い範囲に設定することができる。輪郭抽出部１２２は、θ、ρの組４１７を通る波形４３３とθ、ρの組４１８を通る波形４３４とが交差するθ、ρの組４２０と、それに対応する直線４１６を領域４２３から抽出する。尚、ステップＳ４０３～Ｓ４０６において直線が見つからない場合は、直線がないものとして各ステップの処理をスキップすることが可能である。

ステップＳ４０７において、輪郭抽出部１２２は、ステップＳ４０３～Ｓ４０６で抽出した輪郭候補の直線４１３～４１６が、照射野領域とコリメータ領域の輪郭として妥当であるかについての妥当性の確認を行う。例えば、輪郭抽出部１２２は、抽出した直線の長さが一定値より長いかを判定することが可能である。この判定に基づいて、輪郭抽出部１２２は、抽出した輪郭候補の直線のうち一定長さを超える直線を輪郭として抽出する。

また、輪郭抽出部１２２は、抽出した直線が作る領域が、確率マップ２１４において照射野領域である確率の高い領域２１５と整合良くオーバーラップ（重複）しているか、例えば、領域間の重なりの割合を示す重複率が閾値以上か否かなどを判定することが可能である。輪郭抽出部１２２は、輪郭候補に基づいた領域（抽出した直線４１３～４１６に基づいた領域）と、確率マップ２１４から想定される照射野領域との重なりの割合を示す重複率が閾値以上の場合、輪郭候補（直線４１３～４１６）を輪郭として抽出する。

輪郭の妥当性の確認に関して、輪郭抽出部１２２は、放射線撮影における被写体の撮影部位など、撮影画像の特徴に合わせた判別処理を行うことが可能である。輪郭抽出部１２２は、本ステップで妥当性が確認されなかった直線については除外し、必要に応じて再探索を行い、残った直線群を最終的な輪郭として出力する。以上のステップＳ４０１～Ｓ４０７の処理によって、輪郭抽出部１２２は、精度の高い輪郭の抽出を行うことが可能となる。

実施形態１によれば、照射野領域内に照射野絞りの輪郭と区別が難しい強いエッジ成分を持った構造が含まれている場合においても、照射領域を正確に抽出できる画像処理技術の提供が可能となる。

（実施形態２：円形照射野）
次に本発明の実施形態２について説明する。実施形態２では、照射野絞りに円形コリメータを用いた場合の構成例について説明する。放射線撮影システム１００及び画像処理装置の構成例は実施形態１と同様である。実施形態１と異なる点は、輪郭抽出部１２２の輪郭抽出処理が、円形コリメータを前提とした円形用の輪郭抽出処理となる点である。実施形態２において、輪郭抽出部１２２は円形用の輪郭抽出処理により輪郭候補として円または楕円を抽出する。

図５を用いて、輪郭抽出部１２２における輪郭抽出処理の詳細な処理内容について説明する。図５（ａ）は、実施形態２における輪郭抽出処理の流れを示したフローチャートであり、図５（ｂ）は、実施形態２における輪郭抽出処理の処理画像を示した模式図である。

いま、照射野認識部１０９に円形コリメータによって照射野絞りされた画像５１１が入力され、推論部１２１によって確率マップ５１２が出力されたときの例を考える。確率マップ５１２においては、照射野領域である確率の高い領域５１５と、コリメータである確率の高い領域５１６が得られるが、実際にはコリメータ領域ではないが、コリメータ領域と判定してしまった誤検出領域５１７が含まれる場合が生じ得る。

ステップＳ５０１において、輪郭抽出部１２２は、確率マップ５１２から照射野領域である確率の高い領域５１５と、コリメータである確率の高い領域５１６との境界を示すエッジを含んだ画像５１３を取得する。本処理は図４のステップＳ４０１と同等である。

ステップＳ５０２において、輪郭抽出部１２２は、画像５１３に対してＨｏｕｇｈ変換を適用する。ここでは、直交座標系で（ｘ、ｙ）と表される画像５１３上の点を、式２を用いて円の中心点（ｃｅｎｔｅｒＸ，ｃｅｎｔｅｒＹ）と、半径ｒの三次元のＨｏｕｇｈ空間に変換する。

あるいは、輪郭抽出部１２２は、コリメータの輪郭が楕円であることを想定して、直交座標系で（ｘ、ｙ）と表される画像５１３上の点を、式３を用いて楕円の中心点（ｃｅｎｔｅｒＸ，ｃｅｎｔｅｒＹ）と、楕円の長径ａ、短径ｂの四次元のＨｏｕｇｈ空間に変換することが可能である。

ステップＳ５０３において、輪郭抽出部１２２は、Ｈｏｕｇｈ変換の結果から、円形輪郭５１４に相当するＨｏｕｇｈ空間の座標を選択し、円形輪郭５１４を抽出する。

ステップＳ５０４において、輪郭抽出部１２２は、ステップＳ５０３で抽出した円形輪郭５１４が、照射野領域とコリメータ領域の輪郭として妥当であるかについての妥当性の確認を行う。例えば、輪郭抽出部１２２は、抽出した円（または楕円）の中心座標の位置と、半径（または長径、短径）が一定範囲内に含まれているかを判定することが可能である。例えば、輪郭抽出部１２２は、輪郭候補として抽出した円の中心座標の位置と、円の半径とが一定範囲内に含まれている円を輪郭として抽出する。また、輪郭抽出部１２２は、輪郭候補として抽出した楕円の中心座標の位置と、楕円の長径及び短径とが一定範囲内に含まれている楕円を輪郭として抽出する。

あるいは、抽出した円（または楕円）が作る領域が、確率マップ５１２において照射野領域である確率の高い領域５１５と整合良くオーバーラップ（重複）しているか、例えば、領域間の重なりの割合を示す重複率が基準値以上か否かなどを判定することが可能である。輪郭抽出部１２２は、輪郭候補に基づいた領域（抽出した円形輪郭５１４に基づいた領域）と、確率マップ２１４から想定される照射野領域との重なりの割合を示す重複率が閾値以上の場合、輪郭候補（円形輪郭５１４）を輪郭として抽出する。

輪郭の妥当性の確認に関して、輪郭抽出部１２２は、放射線撮影における被写体の撮影部位など、撮影画像の特徴に合わせた判別処理を行うことが可能である。

以上のステップＳ５０１～Ｓ５０４の処理によって、輪郭抽出部１２２は、照射野絞りに円形コリメータを用いた場合でも精度の高い輪郭の抽出を行うことが可能となる。

尚、推論部１２１によって求める確率マップ５１２は、推論部１２１の学習時の教師データに矩形コリメータの例と円形コリメータ（楕円コリメータも含む）の例を両方含めることによって、矩形・円形問わず確率マップを求めることが可能である。この性質を利用して、求めた確率マップの形状によって、輪郭抽出部１２２を実施形態１に示した矩形用のものと、実施形態２に示した円形用のもののうち、最適なものを選択可能とする構成を取ってもよい。

例えば、操作パネル１１４を介してユーザーが選択する構成を取っても構わないし、または、輪郭抽出部１２２において、矩形用の処理と円形用の処理を両方行い、領域抽出部１２３において、抽出した輪郭が作る領域と、確率マップにおいて照射野領域である確率の高い領域と、が重複する割合が所定の基準値以上となる領域を照射野領域２２１として自動抽出するように構成することも可能である。

（実施形態３：ユーザーサイトでの学習機構）
次に、実施形態３について説明する。図６は、実施形態３の画像処理装置を含んだ放射線撮影システムの基本的な構成例を示すブロック図である。実施形態３では、実施形態１と同等の構成に加え、情報処理装置１０７に学習装置６０１が含まれるところに違いがある。

実施形態１、２では、放射線撮影システム１００は、推論部１２１においてニューラルネットワークの推論処理のみを行い、ニューラルネットワークの学習は、事前に行っておく構成を取っていた。

ここで、実施形態３では、放射線撮影システム１００は、ユーザーの使用環境で取得した画像と、照射野領域のデータセットの組とが記憶装置１１５に蓄積されるようになっている。情報処理装置１０７内のＣＰＵバス１１１に学習装置６０１を電気的に接続することで、学習処理も放射線撮影システム１００の情報処理装置１０７内で実施することができる。推論部１２１は、ユーザーの使用環境で取得した画像と、照射野領域のデータセットの組とが新たに追加された学習の結果と、事前に行われた学習の結果とに基づいて推論処理を行う。これにより、記憶装置１１５に保存されたデータセットの組を新たな教師データとして、学習装置６０１を用いた追加の学習処理を行い、推論部１２１のパラメータ群を更新することができる。尚、学習装置６０１として、ＧＰＵなどの並列演算性能の高い演算ユニットを用いることが可能である。

追加の学習を行うタイミングは、例えば、記憶装置１１５に新たな教師データであるデータセットが一定数以上蓄積された場合や、照射野認識結果をユーザーによって修正されたデータセットが一定数以上蓄積された場合など、任意タイミングを選択できる。また、推論部１２１を追加学習する際のニューラルネットワークのパラメータ群の初期値としては、学習前に使用していたパラメータ群を設定し、転移学習を行うことも可能である。

ここで、記憶装置１１５と学習装置６０１は、情報処理装置１０７上に直接搭載する構成に限らず、ネットワークを介して接続されたクラウドサーバー上に構成されていてもよい。その場合は、複数の放射線撮影システム１００によって得られたデータセットをクラウドサーバー上に収集・保存し、そのデータセットを用いて追加の学習を行うこともできる。

以上説明したように、実施形態３によれば、実施形態１、２の効果に加えて、ユーザーの使用環境に合わせて照射野認識処理を最適化し、照射野領域をより正確に抽出できる画像処理技術の提供が可能となる。

以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：放射線撮影システム、１０１：放射線発生装置、１０２：被写体、１０３：寝台、１０４：検出装置、１０５：制御装置、１０６：データ収集装置、１０７：情報処理装置、１０８：画像処理装置、１０９：照射野認識部、１１０：画像処理部、１１１：ＣＰＵバス、１１２：ＣＰＵ、１１３：メモリ、１１４：操作パネル、１１５：記憶装置、１１６：表示装置、１２０：前処理部、１２１：推論部、１２２：輪郭抽出部、１２３：領域抽出部

Claims (12)

1. 放射線撮影された２次元画像内の照射野領域を抽出する画像処理装置であって、
   ２次元画像における照射野領域に関する情報を含む学習データを用いて学習したニューラルネットワークに２次元画像を入力することにより、入力された２次元画像における各画素が照射野領域であるか、又は照射野領域でないかの確率を示す確率マップを、照射野候補領域として推論する推論手段と、
   前記推論された照射野候補領域に対する輪郭抽出処理として、コリメータの形状に基づいて前記照射野領域の輪郭候補の抽出を行い、前記照射野領域の輪郭候補と前記推論された照射野候補領域とを用いて前記照射野領域の輪郭に関する判定を行い、前記判定に基づいて前記照射野領域の輪郭を抽出する輪郭抽出手段と、
   前記輪郭に基づいて前記照射野領域を抽出する領域抽出手段と、
   を備える画像処理装置。
2. 前記輪郭抽出手段は、前記推論された照射野候補領域に対する輪郭抽出処理により得た前記照射野領域の輪郭候補と前記推論された照射野候補領域とを用いて前記照射野領域の輪郭候補が前記照射野領域の輪郭として妥当であるか否かの判定を行い、前記判定に基づいて前記照射野領域の輪郭を抽出する請求項１に記載の画像処理装置。
3. 前記輪郭抽出手段は、前記推論された照射野候補領域に対する輪郭抽出処理により得た前記照射野領域の輪郭候補と前記推論された照射野候補領域とを用いて前記照射野領域の輪郭に関する判定を行い、前記輪郭候補が前記輪郭として妥当であると判定された場合には、前記輪郭候補を前記輪郭として抽出する請求項１又は２に記載の画像処理装置。
4. 前記輪郭抽出手段は、前記推論された照射野候補領域に対する輪郭抽出処理により得た前記照射野領域の輪郭候補と前記推論された照射野候補領域とを用いて前記照射野領域の輪郭に関する判定を行い、前記輪郭候補が前記輪郭として妥当であると判定された場合には、前記輪郭候補を前記輪郭として抽出し、前記輪郭候補が前記輪郭として妥当であると判定されなかった場合には、前記輪郭抽出処理に基づいて抽出された前記照射野領域の他の輪郭候補を前記輪郭として抽出する請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記領域抽出手段は、前記輪郭から想定される照射野領域と、前記推論された照射野候補領域から想定される照射野領域とが重複する領域に基づいて、前記照射野領域を抽出する請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記領域抽出手段は、前記輪郭から想定される照射野領域と、前記推論された照射野候補領域から想定される照射野領域とが重複する割合が設定された値以上となる領域を照射野領域として抽出する請求項５に記載の画像処理装置。
7. 前記輪郭抽出手段は、前記推論された照射野候補領域から得られる、前記照射野領域とコリメータ領域との境界を示すエッジを含む画像から前記照射野領域の輪郭を抽出する請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記輪郭抽出手段は、前記コリメータの形状が矩形である場合は矩形用の輪郭抽出処理を行い、前記コリメータの形状が円形である場合は円形用の輪郭抽出処理を行う請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記領域抽出手段は、前記輪郭の内側の領域を前記照射野領域として抽出する請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記推論手段は、ユーザーの使用環境で取得した画像と、前記照射野領域のデータセットの組とに基づいて新たに追加された学習の結果と、事前に行われた学習の結果とに基づいて前記推論を行う請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 放射線撮影された２次元画像内の照射野領域を抽出する画像処理方法であって、
    ２次元画像における照射野領域に関する情報を含む学習データを用いて学習したニューラルネットワークに２次元画像を入力することにより、入力された２次元画像における各画素が照射野領域であるか、又は照射野領域でないかの確率を示す確率マップを、照射野候補領域として推論する推論工程と、
    前記推論された照射野候補領域に対する輪郭抽出処理として、コリメータの形状に基づいて前記照射野領域の輪郭候補の抽出を行い、前記照射野領域の輪郭候補と前記推論された照射野候補領域とを用いて前記照射野領域の輪郭に関する判定を行い、前記判定に基づいて前記照射野領域の輪郭を抽出する輪郭抽出工程と、
    前記輪郭に基づいて前記照射野領域を抽出する領域抽出工程と、
    を備える画像処理方法。
12. コンピュータに、請求項１１に記載の画像処理方法の各工程を実行させるためのプログラム。

Images