JP7841930B2 - 医用画像処理装置、医用画像処理装置の動作方法及びプログラム - Google Patents

Description

本発明は医用画像処理装置、医用画像処理装置の動作方法及びプログラムに関する。

造影剤を用いる血管造影とＸ線ＣＴとを組み合わせたダイナミック造影ＣＴと呼ばれる撮影手法が知られている。例えば、肝臓のダイナミック造影ＣＴでは、造影剤を注入しながら造影時相が異なる複数回の撮影を実施してＣＴ画像を取得し、ＣＴ画像について病変の濃染具合の変換を観察する。なお、ＣＴはComputed Tomographyの省略語である。

特許文献１は、造影画像か非造影画像かを自動的に判別する画像判別装置が記載される。同文献に記載の装置は、取得した画像データから造影剤の影響が出ない第１部位の領域を検出し、第１部位に対して規定の相対位置関係にあり、造影剤の影響が出る第２部位の領域を特定し、第２領域のＣＴ値が規定値以上高いか否かに応じて、画像データが造影撮影されたものであるか否かを判別する。

非特許文献１は、肝腫瘍の病変分類に適用される深層学習モデルが記載される。同文献に記載の深層学習モデルは、非造影、動脈相及び平衡相のそれぞれの造影時相が既知の画像から腫瘍領域が切り取られた画像を入力画像とし、古典的肝細胞癌、肝細胞癌以外の悪性腫瘍、良性腫瘍、血管腫及び嚢胞の５病変の分類を出力する。なお、良性腫瘍には、良性であるか悪性であるかの区別がつかない画像が含まれる。

特開２０１１－１３６０３０号公報

Yasaka K, Akai H, Abe O, Kiryu S. Deep Learning with Convolutional Neural Network for Differentiation of Liver Masses at Dynamic Contrast-enhanced CT: A Preliminary Study. Radiology. 2018 Mar;286(3):887-896. doi: 10.1148/radiol.2017170706. Epub 2017 Oct 23. PMID: 29059036.

しかしながら、造影剤の注入開始からの経過時間が同一の時刻において撮影をして取得した画像であっても、被験者の体格及び被験者の身体状態等に応じて造影状態が相違し得る。そうすると、メタデータに含まれる造影剤の注入開始時刻の情報を用いて造影時相を決定し、性状分析を実施する場合、造影時相のばらつきに起因する性状分析の性能低下が生じ得る。

また、メタデータに造影剤の注入開始時刻の情報が含まれていない場合は、造影時相を決定できないまま性状分析が実施されてしまう。

特許文献１に記載のシステムは、取得した画像データが造影撮影されたものであるかを判定しており、撮影された画像の造影時相の判別は困難である。

非特許文献１に記載の手法では、造影時相は既知とされている。また、被験者の体格等が影響する造影時相のばらつき及び造影時相の特定に関する情報が存在しない場合に対応することができない。

本発明はこのような事情に鑑みてなされたもので、造影状態を用いる医用画像の性状分析において安定した性能が実現される、医用画像処理装置、医用画像処理装置の動作方法及びプログラムの提供を目的とする。

第１態様に係る医用画像処理装置は、１つ以上のプロセッサと、１つ以上のプロセッサに実行させるプログラムが記憶される１つ以上のメモリと、を備え、１つ以上のプロセッサは、プログラムの命令を実行して、造影撮影を実施して生成される医用画像を取得し、医用画像の解析に基づき医用画像の造影状態を推定し、医用画像の造影状態を表す造影状態情報を用いて、医用画像に含まれる関心領域の性状分析を実施する医用画像処理装置である。

第１態様に係る医用画像処理装置によれば、造影撮影を実施して生成される医用画像を画像解析して造影状態が推定され、推定された造影状態を用いて医用画像に含まれる関心領域の性状分析が実施される。これにより、造影状態のばらつきに起因する性状分析の性能低下が抑制され、造影状態を用いる医用画像の性状分析において安定した性能を実現し得る。また、医用画像が造影状態を特定する情報を保持していない場合であっても、造影状態を用いる医用画像の性状分析を実施し得る。

造影状態の推定の例として、造影時相の推定が挙げられる。造影状態には非造影が含まれ得る。

第２態様は、第１態様の医用画像処理装置において、１つ以上のプロセッサは、造影状態情報を用いて医用画像を選別する。

かかる態様によれば、性状分析に適した造影状態に対応する医用画像を選別し得る。

第３態様は、第２態様の医用画像処理装置において、１つ以上のプロセッサは、性状分析に適合する造影状態情報を有する医用画像を選別する。

かかる態様によれば、性状分析に適合していない医用画像の性状分析への適用が抑制される。これにより、性状分析の性能が安定し得る。

第４態様は、第２態様又は第３態様の医用画像処理装置において、１つ以上のプロセッサは、性状分析における入力画像に対する限定に応じて、医用画像を選別する。

かかる態様によれば、性状分析における入力画像の限定に対応する性状分析への入力画像を選別し得る。

第５態様は、第２態様から第４態様のいずれか一態様の医用画像処理装置において、１つ以上のプロセッサは、予め規定される２種類以上の造影状態のそれぞれに対応する造影状態情報ごとの医用画像を選別する。

かかる態様によれば、性状分析に適合する造影状態が限定される場合であっても、性状分析に適合する造影状態に対応する医用画像を選別し得る。

第６態様は、第２態様から第５態様のいずれか一態様の医用画像処理装置において、１つ以上のプロセッサは、非造影を除く造影状態に対応する造影状態情報を有する医用画像を選別する。

かかる態様によれば、非造影に適合していない性状分析が適用される場合であっても、性状分析に適合する造影状態に対応する医用画像を選別し得る。

第７態様は、第１態様から第６態様のいずれか一態様の医用画像処理装置において、１つ以上のプロセッサは、取得した医用画像から関心領域を抽出し、関心領域の性状分析を実施する。

かかる態様によれば、関心領域が未抽出の医用画像を取得した場合であっても、関心領域に対する性状分析を実施し得る。

第８態様は、第１態様から第７態様のいずれか一態様の医用画像処理装置において、１つ以上のプロセッサは、学習済み学習モデルを用いて、取得した医用画像の造影状態を推定する。

かかる態様によれば、造影状態推定の精度の向上が見込まれる。

学習済み学習モデルの例として、ニューラルネットワーク等の深層学習モデルが挙げられる。

第９態様は、第１態様から第８態様のいずれか一態様の医用画像処理装置において、１つ以上のプロセッサは、学習済み学習モデルを用いて、取得した医用画像に含まれる関心領域の性状分析を実施する。

かかる態様によれば、性状分析の精度が向上し得る。

第１０態様は、第９態様の医用画像処理装置において、１つ以上のプロセッサは、学習済み学習モデルを用いて、造影状態ごとの医用画像に含まれる関心領域のそれぞれから特徴量を抽出し、造影状態ごとの関心領域の特徴量が連結された特徴データに基づき、医用画像に含まれる関心領域の性状分析を実施する。

かかる態様によれば、複数の造影状態における医用画像に含まれる関心領域の特徴が考慮された性状分析を実施し得る。

第１１態様は、第１０態様の医用画像処理装置において、１つ以上のプロセッサは、学習済み学習モデルとして、造影状態ごとの医用画像に含まれる関心領域のそれぞれから特徴量を抽出する特徴抽出モデルを用いて、造影状態ごとの医用画像に含まれる関心領域のそれぞれから特徴量を抽出し、造影状態ごとの医用画像に含まれる関心領域の特徴量を連結し、学習済み学習モデルとして、造影状態ごとの医用画像に含まれる関心領域の特徴量が連結された特徴データを分類する分類モデルを用いて、医用画像に含まれる関心領域の性状分析を実施する。

かかる態様によれば、処理ごとに個別の学習済み学習モデルを用いて、特徴量の抽出及び性状分析を実施し得る。

第１２態様は、第１１態様の医用画像処理装置において、１つ以上のプロセッサは、造影状態ごとの医用画像に含まれる関心領域の特徴量のうち一部を平均する。

かかる態様によれば、造影状態ごとの医用画像に含まれる関心領域の特徴量を連結する際の処理負荷が低減される。

第１３態様は、第１２態様の医用画像処理装置において、１つ以上のプロセッサは、学習済み学習モデルとして、造影状態ごとの医用画像に含まれる関心領域特徴量の重み付き平均を算出する際に用いられる重みを算出する重み算出モデルを用いて、造影状態ごとの医用画像に含まれる関心領域の特徴量のそれぞれについて、重み算出する。

かかる態様によれば、性状分析における造影状態ごとの医用画像に含まれる関心領域の寄与を推定し得る。

第１４態様は、第１０態様又は第１１態様において医用画像処理装置において、１つ以上のプロセッサは、造影状態ごとの医用画像に含まれる関心領域の一部が欠落する場合に、欠落する造影状態の医用画像に含まれる関心領域に代わり、欠落する造影状態の医用画像に含まれる関心領域と特徴量が類似する造影状態の医用画像に含まれる関心領域が用いられる。

かかる態様によれば、一部の造影状態における関心領域が欠落する場合であっても、造影状態に基づく医用画像に含まれる関心領域の性状分析を実施し得る。

第１５態様に係る医用画像処理装置の動作方法は、コンピュータが適用される医用画像処理装置の動作方法であって、医用画像処理装置が、造影撮影を実施して生成される医用画像を取得する工程、医用画像の解析に基づき医用画像の造影状態を推定する工程、医用画像の造影状態を表す造影状態情報を用いて、医用画像に含まれる関心領域の性状分析を実施する工程を実行する医用画像処理装置の動作方法である。

第１５態様に係る医用画像処理装置の動作方法によれば、本開示に係る医用画像処理装置と同様の作用効果を得ることが可能である。他の態様に係る医用画像処理装置の構成要件は、他の態様に係る医用画像処理装置の動作方法の構成要件へ適用し得る。

第１６態様に係るプログラムは、コンピュータに、造影撮影を実施して生成される医用画像を取得する機能、医用画像の解析に基づき医用画像の造影状態を推定する機能、及び医用画像の造影状態を表す造影状態情報を用いて、医用画像に含まれる関心領域の性状分析を実施する機能を実現させるプログラムである。

第１６態様に係るプログラムによれば、本開示に係る医用画像処理装置と同様の作用効果を得ることが可能である。他の態様に係る医用画像処理装置の構成要件は、他の態様に係るプログラムの構成要件へ適用し得る。

本発明によれば、造影撮影を実施して生成される医用画像を画像解析して造影状態が推定され、推定された造影状態を用いて医用画像に含まれる関心領域の性状分析が実施される。これにより、造影状態のばらつきに起因する性状分析の性能低下が抑制され、造影状態を用いる医用画像の性状分析において安定した性能を実現し得る。また、医用画像が造影状態を特定する情報を保持していない場合であっても、造影状態を用いる医用画像の性状分析を実施し得る。

図１はダイナミック造影ＣＴの説明図である。 図２は造影時相とＣＴ値との関係を示すグラフである。 図３は第１実施形態に係る性状分析装置に適用される処理の概要を示す概念図である。 図４は第１実施形態に係る性状分析装置の処理機能の概要を示す機能ブロック図である。 図５は第１実施形態に係る性状分析装置のハードウェア構成の例を概略的に示すブロック図である。 図６は第１実施形態に係る性状分析方法の手順を示すフローチャートである。 図７は第２実施形態に係る性状分析装置に適用される処理の概要を示す概念図である。 図８は第２実施形態に係る性状分析装置の処理機能の概要を示す機能ブロック図である。 図９は第２実施形態に係る性状分析装置のハードウェア構成の例を概略的に示すブロック図である。 図１０は第２実施形態に係る性状分析方法の手順を示すフローチャートである。 図１１は選別処理の具体例を示す概念図である。 図１２は造影時相推定の一例を示す概念図である。 図１３は性状分析処理の具体例を示す概念図である。 図１４は図１３に示す性状分析処理の変形例を示す概念図である。 図１５は一部の造影時相におけるＣＴ画像が欠落している場合の性状分析処理の具体例を示す概念図である。 図１６は性状分析処理の他の具体例を示す概念図である。 図１７は性状分析装置が用いられる医療情報システムの構成例を示すブロック図である。

以下、添付図面に従って本発明の好ましい実施形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略する。

［ダイナミック造影ＣＴについて］
図１はダイナミック造影ＣＴの説明図である。図１には、ダイナミック造影ＣＴを適用して撮影された造影時相ごとのＣＴ画像を模式的に図示する。ダイナミック造影ＣＴは、ヨード造影剤等の造影剤を腕の静脈へ注入した後に、同じ部位を複数回にわたり繰り返し撮影し、ＣＴ画像の経時的変化を観察する手法である。

すなわち、ダイナミック造影ＣＴは、臓器の血行動態を意識したタイミングにおいて、複数回の臓器の撮影を行う撮影方法である。撮影タイミングは臓器に応じて決められる。例えば、肝臓の撮影では、肝臓の血行動態を意識したタイミングにおいて撮影が実施される。なお、ダイナミック造影ＣＴにおいて、造影剤の注入開始前に撮影が実施され、単純ＣＴと同様の非造影のＣＴ画像を取得してもよい。

図１には、非造影のＣＴ画像Ｉ₁、動脈相のＣＴ画像Ｉ₂、門脈相のＣＴ画像Ｉ₃及び平衡相のＣＴ画像Ｉ₄を例示する。図１には、各造影時相における複数のスライス画像が含まれるスライス画像群の任意の１枚のスライス画像をＣＴ画像として図示する。

図１に図示する横軸は造影剤の注入開始時刻を０秒とする時間軸であり、時間軸の単位は秒である。図１には、造影剤の注入から約３５秒後に撮影された動脈相のＣＴ画像Ｉ₂、造影剤の注入から約８０秒後に撮影された門脈相のＣＴ画像Ｉ₃及び造影剤の注入から約１５０秒後に撮影された平衡相のＣＴ画像Ｉ₄を図示する。

ＣＴ画像における腫瘍は、造影時相の違いに起因してどのように見えるかが異なる。そうすると、性状分析には正確な造影時相の情報が必要となる。図１に示す例では、動脈相のＣＴ画像Ｉ₂において濃染があり、早期濃染という性状分析の分析結果が得られ得る。

ここで、本明細書における画像という用語は、画像自体の意味だけでなく、画像を表す信号である画像データの意味を含み得る。また、注入開始時刻という用語は、注入開始タイミングと読み替えてもよい。

図２は造影時相とＣＴ値との関係を示すグラフである。図２に示すグラフの横軸は時間軸であり、時間軸の単位は秒である。また、同図に示す縦軸はＣＴ値軸である。曲線１は動脈におけるＣＴ値の経時的な変化を示す。曲線２は門脈におけるＣＴ値の経時的な変化を示す。曲線３は肝臓におけるＣＴ値の経時的な変化を示す。

造影時相とは、造影剤の注入から特定の時間が経過した状態である。肝臓のダイナミック造影ＣＴでは、動脈相、門脈相及び平衡相が規定される。例えば、動脈相は造影剤が動脈相へ多く流れている状態を示す。

静脈へ注入された造影剤は、注入開始を基準として３０秒から４０秒が経過した後に腹部の動脈へ達する。図２に示す期間ｔ₁は動脈相に対応する。また、静脈へ注入された造影剤は、注入開始を基準とし６０秒から８０秒が経過した後に門脈へ達する。図２に示す期間ｔ₂は門脈相に対応する。更に、静脈へ注入された造影剤は、注入開始を基準とし１５０秒から２００秒が経過した後に血管内と細胞外液中との造影濃度が平衡状態となる。この状態が平衡相である。図２に示す期間ｔ₃は平衡相に対応する。

図２には、肝臓の造影時相を例示したが、腎臓の造影時相の例として、皮髄相、実質相及び排泄相などが挙げられる。肝臓と同様に、腎臓についても造影時相と造影剤の注入開始時刻からの経過時間の関係が規定される。

［性状分析の課題］
ダイナミック造影ＣＴを適用して撮影されたＣＴ画像の性状分析は、造影時相の正確な情報が必要であるが、造影時相の特定にはメタデータの欠損及び被験者の体格差等といった課題が存在する。

メタデータの欠損とは、メタデータにおける造影剤の注入開始時刻の情報の欠損である。メタデータにおいて造影剤の注入開始時刻の情報が欠落又は破損している場合、造影剤の注入開始時刻からの経過時間を特定することが困難であり、結果として造影時相の正確な特定が困難になる。

また、被験者の体格差とは、被験者ごとの体格及び心拍数等の違いに起因して、造影剤の広がりが異なり、造影剤の注入開始時刻が分かっていても、造影剤の注入開始時刻からの経過時間に基づく造影時相を正確に特定できないことを意味する。

例えば、単位時間あたりに送り出される血液の体積を表す心拍出量など、単位時間あたりの血液の循環量が多くなるほど、撮影対象への造影剤の到達時間が早く、最大ＣＴ値は下がり、最大ＣＴ値への到達時間も早くなる。

しかし、単位時間あたりの血液の循環量を事前に把握することは難しく、検査の際に被験者の緊張等に起因して、安静の際と比較して単位時間あたりの血液の循環量が増加する可能性がある。このようにして、単位時間あたりの血液の循環量がばらつくと、造影剤の移動時間にもばらつき生じ得る。

以下に、メタデータにおける造影剤の注入開始時刻の情報に依存せず、被験者の体格等に起因する造影剤の移動時間のばらつきの影響が抑制される造影時相の正確な情報を取得し、造影時相の情報を用いる性状分析を実施する性状分析装置について説明する。

［第１実施形態に係る性状分析装置］
図３は第１実施形態に係る性状分析装置に適用される処理の概要を示す概念図である。同図に示す性状分析装置に適用される処理では、ＣＴ画像取得処理Ｐ₁において、ダイナミック造影ＣＴを適用して撮影して生成される３次元ＣＴデータを取得する。

図３には、ＣＴ画像取得処理Ｐ₁において取得される３次元のＣＴデータを、２次元のＣＴ画像Ｉ_INとして模式的に図示する。以下、ＣＴ画像Ｉ_INという用語は、３次元のＣＴデータと読み替えが可能である。

ＣＴ画像取得処理Ｐ₁では、造影時相が特定されていないＣＴ画像Ｉ_INが取得される。ＣＴ画像取得処理Ｐ₁では、医用画像が記憶される記憶装置からＣＴ画像Ｉ_INが取得される。

図３には、図１に示す造影剤の注入開始前、造影剤の注入開始からｔ₁秒後、造影剤の注入開始からｔ₂秒後及び造影剤の注入開始からｔ₃秒後に取得された４種類のＣＴ画像Ｉ_INが取得される例を示す。ＣＴ画像Ｉ_INは、造影剤の注入開始からｔ_i秒後において取得された複数のＣＴ画像が含まれるＣＴ画像群における任意の１枚のＣＴ画像である。なお、ｉは時系列順の撮影回数を表し、１以上の整数が適用される。また、図３に示すＣＴ画像Ｉ_INには、非造影のＣＴ画像が含まれる。

造影時相推定処理Ｐ₂において、ＣＴ画像取得処理Ｐ₁において取得されたＣＴ画像Ｉ_INのそれぞれに対して画像解析が実施され、造影時相が推定され、ＣＴ画像Ｉ_INごとに造影時相情報Ｉ_NFが取得される。ここでいう画像解析には、画像を構成する画素の画素値を用いる処理という意味が含まれ得る。また、造影時相情報Ｉ_NFの取得には、造影時相情報Ｉ_NFの生成の意味が含まれ得る。

造影時相が推定されたＣＴ画像Ｉ_INは、推定された造影時相に対応する造影時相情報Ｉ_NFを用いて関心領域Ｒ_OIの性状分析処理Ｐ₃が実施され、情報出力処理Ｐ₄が実施され、分析結果Ａ_Rが出力される。図３には、性状分析の分析結果Ａ_Rとして、早期濃染、Ｗａｓｈｏｕｔ及び被膜を例示する。

図３に示すＣＴ画像取得処理Ｐ₁では、ＣＴ装置を用いて撮影された患者の３次元ＣＴデータから等間隔にサンプリングされた複数のスライス画像に含まれる任意の１枚のスライス画像をＣＴ画像Ｉ_INとして取得してもよい。なお、スライス画像は、断層画像と言い換えてもよい。すなわち、スライス画像は実質的に２次元画像である断面画像として理解してよい。

図４は第１実施形態に係る性状分析装置の処理機能の概要を示す機能ブロック図である。性状分析装置１０は、コンピュータのハードウェアとソフトウェアとを用いて実現できる。

性状分析装置１０は、ＣＴ画像取得部１２、造影時相推定部１４、関心領域抽出部１６、性状分析部１８及び情報出力部２０を備える。

ＣＴ画像取得部１２は、図３に示すＣＴ画像Ｉ_INを取得する。ＣＴ画像取得部１２は、ＣＴ画像Ｉ_INとして、規定回数の撮影ごとに生成される複数のスライス画像を含むスライス画像群について、任意の１枚のスライス画像を取得してもよいし、複数枚のスライス画像を取得してもよい。

造影時相推定部１４は、ＣＴ画像取得部１２を用いて取得したＣＴ画像Ｉ_INに対して画像解析を行い、ＣＴ画像Ｉ_INの造影時相を推定する。造影時相推定部１４は、ＣＴ画像Ｉ_INから抽出された関心領域Ｒ_OIに対して画像解析を行い、ＣＴ画像Ｉ_INの造影時相を推定してもよい。

すなわち、造影時相推定部１４は、ＣＴ画像Ｉ_INのそれぞれについて、図３に示す造影時相情報Ｉ_NFを取得し、造影時相情報Ｉ_NFをＣＴ画像Ｉ_INと対応付けて性状分析部１８へ送信する。造影時相推定部１４は、ＣＴ画像Ｉ_INと造影時相情報Ｉ_NFとを対応付けて記憶してもよい。

なお、ＣＴ画像Ｉ_INの造影時相とは、ＣＴ画像Ｉ_INをスライス画像として含むスライス画像群の造影時相と同義である。また、実施形態に記載の造影時相は造影状態の一例である。実施形態に記載の造影時相情報Ｉ_NFは造影状態情報の一例である。

関心領域抽出部１６は、ＣＴ画像取得部１２を用いて取得したＣＴ画像Ｉ_INから関心領域Ｒ_OIを抽出する。関心領域抽出部１６は、関心領域Ｒ_OIとして腫瘍などの病変を含む病変領域を抽出し得る。関心領域抽出部１６は、ＣＴ画像Ｉ_INと関心領域Ｒ_OIとの関係を学習した学習済み学習モデルを用いて、ＣＴ画像Ｉ_INから関心領域Ｒ_OIを抽出してもよい。関心領域抽出部１６は、ユーザが指定したＣＴ画像Ｉ_INにおける位置情報を用いて、ＣＴ画像Ｉ_INから関心領域Ｒ_OIを抽出してもよい。

学習モデルの例として、畳み込みニューラルネットワークなどの深層学習モデルが挙げられる。畳み込みニューラルネットワークは、Convolutional neural networkの省略語を用いて、ＣＮＮと称される。

ＣＴ画像取得部１２が、予め関心領域Ｒ_OIが抽出されたＣＴ画像Ｉ_INを取得する場合、関心領域抽出部１６の処理は省略される。予め関心領域Ｒ_OIが抽出されたＣＴ画像Ｉ_INを取得する場合は、関心領域抽出部１６を具備しない態様も可能である。

関心領域抽出部１６は、ＣＴ画像Ｉ_INにおける関心領域Ｒ_OIの指定条件を表す情報を取得し、関心領域Ｒ_OIの指定条件に基づき、ＣＴ画像Ｉ_INから関心領域Ｒ_OIを抽出してもよい。

性状分析部１８は、ＣＴ画像Ｉ_INの造影時相情報Ｉ_NFを用いて、ＣＴ画像Ｉ_INから抽出された関心領域Ｒ_OIの性状分析を実施する。性状分析部１８は、関心領域Ｒ_OIと関心領域Ｒ_OIの性状との関係を学習した学習済み学習モデルを適用し得る。学習済み学習モデルの例としてＣＮＮが挙げられる。学習済み学習モデルが適用される性状分析部１８は、性状分析の精度の向上が見込まれる。

情報出力部２０は、性状分析部１８を用いて実施された性状分析の分析結果を出力する。情報出力部２０は、取得されたＣＴ画像Ｉ_INと性状分析の分析結果とを対応付けして、記憶部へ記憶してもよい。

情報出力部２０は、処理対象のＣＴ画像Ｉ_INにおける関心領域Ｒ_OIの性状を表す情報を出力する出力インターフェースとして機能する。例えば、情報出力部２０は、ＣＴ画像Ｉ_INにおける関心領域Ｒ_OIの性状を他の処理部に提供する出力インターフェースとして機能してもよい。

情報出力部２０は、表示用のデータを生成する処理及び外部へのデータ送信等のためのデータ変換処理などの処理部を少なくとも１つ含んでもよい。性状分析装置１０の分析結果は、表示装置等を用いて表示させてもよい。

性状分析装置１０は、病院などの医療機関において取得される医用画像を処理するための医用画像処理装置に組み込まれてもよい。また、性状分析装置１０の処理機能はクラウドサービスとして提供されてもよい。

［入力に用いられる医用画像の説明］
医用画像のフォーマットと通信プロトコルとを定義したＤＩＣＯＭ規格においては、検査種を特定するための識別符号であるスタディＩＤという単位の中に、シリーズＩＤが定義されている。なお、ＩＤはidentificationの省略語である。また、医用画像は医療画像と同義である。

例えば、ある患者の肝臓について、ダイナミック造影ＣＴを適用して造影撮影を行う場合、撮影タイミングを変えて、複数回、肝臓を含む範囲のＣＴ撮影を行う。複数回の撮影例として、１回目の撮影は造影剤注入前、２回目の撮影は造影剤注入後３５秒経過時、３回目の撮影は造影剤注入後８０秒経過時、４回目の撮影は造影剤注入後１５０秒経過時とし得る。

これら４回の撮影が実施され、４種類のＣＴデータが得られる。ここでいうＣＴデータは、連続する複数枚のスライス画像から構成される３次元データであり、３次元データを構成している複数枚のスライス画像のまとまりである、複数枚のスライス画像の集合体を画像シリーズという。

上記の４回の撮影を含む一連の撮影が実施され得られた４種類のＣＴデータには、それぞれ同じスタディＩＤと、それぞれ別々のシリーズＩＤとが付与される。

例えば、ある特定の患者における肝臓造影撮影という検査についてのスタディＩＤとして、スタディ１が付与され、造影剤注入前の撮影により得られたＣＴデータのシリーズＩＤとしてシリーズ１、造影剤注入後３５秒経過時の撮影により得られたＣＴデータにはシリーズ２、造影剤注入後８０秒経過時の撮影により得られたＣＴデータにはシリーズ３、造影剤注入後１５０秒経過時の撮影により得られたＣＴデータにはシリーズ４というように、シリーズごとに固有のＩＤが付与される。

したがって、スタディＩＤとシリーズＩＤとを組み合わせて、ＣＴデータを識別することができる。一方、実際のＣＴデータにおいては、シリーズＩＤと、撮影タイミングとの対応関係が明確に把握されていない場合がある。ここでいう撮影タイミングは造影剤注入後の経過時間と読み替えてもよい。

また、３次元のＣＴデータはデータのサイズが大きいため、ＣＴデータをそのまま入力データとして用いて、造影時相の推定などの処理を行う場合、処理期間及び処理負荷等の観点から処理が困難な場合がある。そこで、性状分析装置１０は、同じ画像シリーズ内の１枚以上のスライス画像を入力に用いて、画像解析に基づき造影時相の推定を実施し得る。

［性状分析装置のハードウェア構成例］
図５は第１実施形態に係る性状分析装置のハードウェア構成の例を概略的に示すブロック図である。性状分析装置１０は、１台または複数台のコンピュータを用いて構成さるコンピュータシステムによって実現することができる。ここでは、１台のコンピュータがプログラムを実行して、性状分析装置１０の各種機能を実現する例を示す。

なお、性状分析装置１０として機能するコンピュータの形態は特に限定されず、サーバコンピュータであってもよいし、ワークステーションであってもよく、パーソナルコンピュータ又はタブレット端末などであってもよい。また、コンピュータは仮想マシンであってもよい。

性状分析装置１０は、プロセッサ３０、非一時的な有体物であるコンピュータ可読媒体３２、通信インターフェース３４、入出力インターフェース３６及びバス３８を備える。なお、図５に示すＩＦは、interfaceを表す。

プロセッサ３０は、ＣＰＵ（Central Processing Unit）を含む。プロセッサ３０はＧＰＵ（Graphics Processing Unit）を含んでもよい。プロセッサ３０は、バス３８を介してコンピュータ可読媒体３２、通信インターフェース３４及び入出力インターフェース３６と接続される。プロセッサ３０は、コンピュータ可読媒体３２に記憶された各種のプログラム及びデータ等を読み出し、各種の処理を実行する。

コンピュータ可読媒体３２は、主記憶装置であるメモリ４０及び補助記憶装置であるストレージ４２を含む。ストレージ４２は、ハードディスク装置、ソリッドステートドライブ装置、光ディスク、光磁気ディスク及び半導体メモリを用いて構成し得る。ストレージ４２は、ハードディスク装置等の適宜の組み合わせを用いて構成し得る。ストレージ４２には、各種プログラム及びデータ等が記憶される。

なお、ハードディスク装置は、英語表記であるHard Disk Driveの省略語を用いてＨＤＤと称され得る。また、ソリッドステートドライブ装置は、英語表記であるSolid State Driveの省略語を用いてＳＳＤと称され得る。

メモリ４０は、プロセッサ３０の作業領域として使用され、ストレージ４２から読み出されたプログラム及び各種のデータを一時的に記憶する記憶部として用いられる。ストレージ４２に記憶されているプログラムがメモリ４０にロードされ、プログラムの命令がプロセッサ３０を用いて実行され、プロセッサ３０は、プログラムで規定される各種の処理を行う処理部として機能する。メモリ４０には、プロセッサ３０を用いて実行される造影時相推定プログラム５０、関心領域抽出プログラム５２、性状分析プログラム５４及び各種のデータ等が記憶される。

造影時相推定プログラム５０は、図４に示す造影時相推定部１４を用いて実施される造影時相推定処理をプロセッサ３０に実行させる。造影時相推定プログラム５０は、学習済み学習モデルを含み得る。

関心領域抽出プログラム５２は、関心領域抽出部１６を用いて実施される関心領域抽出処理をプロセッサ３０に実行させる。関心領域抽出プログラム５２は、学習済み学習モデルを含み得る。

性状分析プログラム５４は、性状分析部１８を用いて実施される性状分析処理をプロセッサ３０に実行させる。性状分析プログラム５４は、学習済み学習モデルを含み得る。図５に示す各プログラムは、１つ以上の命令が含まれる。プロセッサ３０は、各プログラムに含まれる命令を実行して、各プログラムに対応する機能を実現する。

通信インターフェース３４は、有線又は無線を用いて外部装置との通信処理を行い、外部装置との間で情報のやり取りを行う。性状分析装置１０は通信インターフェース３４を介して通信回線に接続される。通信回線は、ローカルエリアネットワークであってもよいし、ワイドエリアネットワークであってもよい。通信インターフェース３４は、画像等のデータの入力を受け付けるデータ取得部の役割を担うことができる。なお、通信回線の図示を省略する。

性状分析装置１０は、入力装置６０及び表示装置６２を備え得る。入力装置６０及び表示装置６２は入出力インターフェース３６を介してバス３８に接続される。入力装置６０の例として、キーボード、マウス、マルチタッチパネル、その他のポインティングデバイス及び音声入力装置などが挙げられる。入力装置６０は、キーボード等の適宜の組み合わせであってもよい。

表示装置６２は、各種の情報が表示される出力インターフェースである。表示装置６２の例として、液晶ディスプレイ、有機ＥＬディスプレイ及びプロジェクタなどが挙げられる。表示装置６２は、液晶ディスプレイなどの適宜の組み合わせであってもよい。なお、有機ＥＬは、英語表記であるorganic electro-luminescenceの省略語を用いてＯＥＬと称される。

［性状分析方法の手順］
図６は第１実施形態に係る性状分析方法の手順を示すフローチャートである。ＣＴ画像取得工程Ｓ１０では、図４に示すＣＴ画像取得部１２は、図３に示すＣＴ画像Ｉ_INを取得する。図６に示すＣＴ画像取得工程Ｓ１０は、図３に示すＣＴ画像取得処理Ｐ₁に対応する。ＣＴ画像取得工程Ｓ１０の後に造影時相推定工程Ｓ１２へ進む。

造影時相推定工程Ｓ１２では、造影時相推定部１４はＣＴ画像Ｉ_INの画像解析に基づき、取得されたＣＴ画像Ｉ_INの造影時相を推定する。図６に示す造影時相推定工程Ｓ１２は、図３に示す造影時相推定処理Ｐ₂に対応する。造影時相推定工程Ｓ１２の後に関心領域抽出工程Ｓ１４へ進む。

関心領域抽出工程Ｓ１４では、関心領域抽出部１６はＣＴ画像Ｉ_INから関心領域Ｒ_OIを抽出する。関心領域抽出工程Ｓ１４の後に性状分析工程Ｓ１６へ進む。関心領域抽出工程Ｓ１４は、造影時相推定工程Ｓ１２と並行して実施されてもよいし、造影時相推定工程Ｓ１２と順序が入れ替えられてもよい。

また、ＣＴ画像取得工程Ｓ１０において、予め関心領域Ｒ_ＯＩが抽出されているＣＴ画像Ｉ_ＩＮが取得される場合、関心領域抽出工程Ｓ１４は省略され、性状分析工程Ｓ１６へ進む。

性状分析工程Ｓ１６では、性状分析部１８はＣＴ画像Ｉ_INの関心領域Ｒ_OIの性状分析を実施する。性状分析工程Ｓ１６では、ＣＴ画像Ｉ_INと性状分析の分析結果との対応付けがされ、性状分析の分析結果が記憶されてもよい。図６に示す性状分析工程Ｓ１６は、図３に示す性状分析処理Ｐ₃に対応する。性状分析工程Ｓ１６の後に情報出力工程Ｓ１８へ進む。

情報出力工程Ｓ１８では、情報出力部２０は性状分析工程Ｓ１６において実施された性状分析の分析結果を出力する。情報出力工程Ｓ１８における分析結果の出力は、表示装置６２への表示などの分析結果が可視化される態様を適用し得る。図６に示す情報出力工程Ｓ１８は、図３に示す情報出力処理Ｐ₄に対応する。情報出力工程Ｓ１８の後に性状分析方法の手順は終了される。

情報出力工程Ｓ１８の後に、次のＣＴ画像Ｉ_INの入力待ちを実行し、次のＣＴ画像Ｉ_INが入力された場合に、ＣＴ画像取得工程Ｓ１０から情報出力工程Ｓ１８までの各工程を実行してもよい。情報出力工程Ｓ１８の後に次のＣＴ画像Ｉ_INの入力待ちを実行し、規定された期間に次のＣＴ画像Ｉ_INの入力がされない場合に、性状分析方法の手順が終了されてもよい。

なお、実施形態に記載の性状分析方法は、コンピュータが適用される医用画像処理装置の動作方法の一例である。

［第１実施形態の作用効果］
第１実施形態に係る性状分析装置及び性状分析方法は、以下の作用効果を得ることが可能である。

ＣＴ画像Ｉ_INに対する画像解析が実施され、ＣＴ画像Ｉ_INの造影時相が推定され、ＣＴ画像Ｉ_INの造影時相情報Ｉ_NFを用いて、ＣＴ画像Ｉ_INの関心領域Ｒ_OIの性状分析が実施される。これにより、ＣＴ画像Ｉ_INのメタデータにおいて造影剤の注入開始時刻の情報が欠損する場合であっても造影時相が推定され、ＣＴ画像Ｉ_INの関心領域Ｒ_OIに対する造影時相を用いる性状分析の性能が安定する。

また、被験者の体格等の違いに起因する造影時相のばらつきが抑制され、ＣＴ画像Ｉ_INの関心領域Ｒ_OIに対する造影時相情報Ｉ_NFを用いる性状分析の性能が安定する。

［第２実施形態に係る性状分析装置］
図７は第２実施形態に係る性状分析装置に適用される処理の概要を示す概念図である。以下、主として第１実施形態との違いについて説明し、第１実施形態と共通する事項の説明を適宜省略する。

第２実施形態に係る性状分析装置の処理機能は、ＣＴ画像Ｉ_INの造影時相情報Ｉ_NFを用いて、性状分析処理Ｐ₃の対象とされるＣＴ画像Ｉ_INを選別する選別処理Ｐ₅が実施される。図７には、性状分析処理Ｐ₃が非造影のＣＴ画像Ｉ_INに未対応であり、非造影のＣＴ画像Ｉ_INが除外される選別処理Ｐ₅を示す。

換言すると、図７に示す性状分析処理Ｐ₃の対象として、非造影のＣＴ画像Ｉ_IN、動脈相のＣＴ画像Ｉ_IN、門脈相のＣＴ画像Ｉ_IN及び平衡相のＣＴ画像Ｉ_INの中から、動脈相のＣＴ画像Ｉ_IN、門脈相のＣＴ画像Ｉ_IN及び平衡相のＣＴ画像Ｉ_INが選別される。

図８は第２実施形態に係る性状分析装置の処理機能の概要を示す機能ブロック図である。図８に示す性状分析装置１０Ａは、図１に示す性状分析装置１０に対して、選別部２２が追加される。

選別部２２は、造影時相推定部１４を用いて推定されたＣＴ画像Ｉ_INごとの造影時相情報Ｉ_NFを用いて、性状分析部１８へ入力されるＣＴ画像Ｉ_INを選別する。選別部２２は、予め設定される造影時相の選別条件に基づき、ＣＴ画像Ｉ_INを選別し得る。選別部２２は、造影時相の選別条件を表す情報を取得し、取得した造影時相の選別条件に基づき、ＣＴ画像Ｉ_INを選別してもよい。

［性状分析装置のハードウェア構成例］
図９は第２実施形態に係る性状分析装置のハードウェア構成の例を概略的に示すブロック図である。同図に示す性状分析装置１０Ａは、コンピュータ可読媒体３２Ａに含まれるメモリ４０Ａは、選別プログラム５６が記憶される。

選別プログラム５６は、図８に示す選別部２２を用いて実施される造影時相情報Ｉ_NFに基づく選別処理をプロセッサ３０に実行させる。性状分析プログラム５４は、選別されたＣＴ画像Ｉ_INの関心領域Ｒ_OIに対する性状分析処理をプロセッサ３０に実行させる。

［性状分析方法の手順］
図１０は第２実施形態に係る性状分析方法の手順を示すフローチャートである。同図に示すフローチャートは、図６に示すフローチャートに対して、選別工程Ｓ１３が追加される。

すなわち、造影時相推定工程Ｓ１２の後に選別工程Ｓ１３へ進む。選別工程Ｓ１３では、図８に示す選別部２２はＣＴ画像Ｉ_INごとの造影時相情報Ｉ_NFを用いて、性状分析工程Ｓ１６へ適用されるＣＴ画像Ｉ_INを選別する。選別工程Ｓ１３の後に関心領域抽出工程Ｓ１４へ進む。関心領域抽出工程Ｓ１４の手順は、第１実施形態に係る性状分析方法と同一の手順を適用できるので、ここでの説明は省略する。

選別工程Ｓ１３は、関心領域抽出工程Ｓ１４と順序が入れ替えられてもよいし、関心領域抽出工程Ｓ１４と並行して実施されてもよい。すなわち、選別工程Ｓ１３は、造影時相推定工程Ｓ１２の後であり、性状分析工程Ｓ１６の前に実施されればよい。

選別工程Ｓ１３においてＣＴ画像Ｉ_INが選別される場合、情報出力工程Ｓ１８では、情報出力部２０は性状分析の分析結果を出力する際に、選別工程Ｓ１３における選別結果を出力してもよい。情報出力工程Ｓ１８において出力された選別結果は、表示装置６２へ表示させてもよい。

［選別処理の具体例］
図１１は選別処理の具体例を示す概念図である。図１１に示す選別処理Ｐ₅₁は、ＣＴ画像Ｉ_INごとの造影時相情報Ｉ_NFを用いて、予め規定される造影時相の組からなるＣＴ画像Ｉ_INの組を選別する。換言すると、選別処理Ｐ₅₁は、予め規定される２種類以上の造影状態のそれぞれに対応する造影時相情報Ｉ_NFごとのＣＴ画像Ｉ_INを選別する。なお、実施形態に記載の造影時相情報Ｉ_NFごとは、造影状態情報ごとの一例である。

図１１には、図７に示す性状分析処理Ｐ₃として、適用されるＣＴ画像Ｉ_INが２種類に限定され、かつ、ＣＴ画像Ｉ_INの造影時相が限定される性状分析処理Ｐ₃₁を例示する。図１１には、性状分析処理Ｐ₃₁を入力１と入力２との組み合わせとして、動脈相と平衡相との組み合わせ及び動脈相と門脈相との組み合わせを例示する。

図１１には、互いに異なる造影時相情報Ｉ_NFを有する２種類のＣＴ画像Ｉ_INが選別される選別処理Ｐ₅₁を例示したが、入力１及び入力２へ同一の造影時相情報Ｉ_NFを有する種類のＣＴ画像Ｉ_INが入力されてもよい。

図７に示す選別処理Ｐ₅は、非造影を含む造影時相情報Ｉ_NFが取得されたＣＴ画像Ｉ_INの中から１種類以上のＣＴ画像Ｉ_INを選別してもよいし、非造影を除く造影時相情報Ｉ_NFが取得されたＣＴ画像Ｉ_INの中から１種類以上のＣＴ画像Ｉ_INを選別してもよい。

［造影時相推定の具体例］
図１２は造影時相推定の一例を示す概念図である。同図には、造影時相推定処理Ｐ₂₁において学習済み学習モデルＬ_Mが適用され、学習済み学習モデルＬ_Mとして３ＤＣＮＮを例示する。３ＤＣＮＮは３次元の空間情報をまとめて、３次元の畳み込みを実施する。学習済み学習モデルＬ_Mが適用される造影時相推定は、精度の向上が見込まれる。なお、３ＤＣＮＮにおける３Ｄは３次元を表す。

造影時相推定処理Ｐ₂₁では、ＣＴ画像Ｉ_INが学習モデルＬ_Mへ入力されると、造影時相を表すクラス及びクラスごとの確率ｐの情報が導出され、最大となる確率ｐを有する造影時相が推定結果Ｅ_Rとして出力される。

図１２には、非造影の確率ｐが０．０３、動脈相の確率ｐが０．８７、門脈相の確率ｐが０．０６、平衡相の確率ｐが０．０４というクラスごとの確率ｐを導出し、ＣＴ画像Ｉ_INの造影時相の推定結果Ｅ_Rとして、動脈相を出力する学習モデルＬ_Mを例示する。

なお、図１２に示す造影時相推定処理Ｐ₂₁へ適用される３ＤＣＮＮは例示であり、図３等に示す造影時相推定処理Ｐ₂は、学習済み学習モデルＬ_Mとして、任意の分類モデルを適用し得る。

また、造影時相推定は、ＣＴ画像Ｉ_INごとの画像解析を実施して、ＣＴ画像Ｉ_INごとの造影剤の注入開始からの経過時間であるグラウンドトゥルースを示す値を推定し、造影剤の注入開始からの経過時間と造影時相との対応関係が規定されるテーブルを参照して、ＣＴ画像Ｉ_INごとの造影時相を推定してもよい。なお、図１２を参照して説明した造影時相推定の具体例は、第１実施形態にも適用可能である。

［第２実施形態の作用効果］
第２実施形態に係る性状分析装置及び性状分析方法は、以下の作用効果を得ることが可能である。

〔１〕
性状分析装置１０Ａは、ＣＴ画像Ｉ_INごとの造影時相情報Ｉ_NFを用いて、性状分析部１８の入力に適合するＣＴ画像Ｉ_INを選別する選別部２２を備える。これにより、性状分析部１８の入力に適合していないＣＴ画像Ｉ_INの性状分析部１８への入力が抑制され、性状分析部１８における性状分析の性能が安定し得る。

〔２〕
選別部２２は、非造影の造影時相情報Ｉ_NFを有するＣＴ画像Ｉ_INを除外するＣＴ画像Ｉ_INの選別を実施する。これにより、非造影に未対応の性状分析処理Ｐ₃が実施される場合に、性状分析部１８の入力に適合していないＣＴ画像Ｉ_INの性状分析部１８への入力が抑制され、性状分析部１８における性状分析の性能が安定し得る。

〔３〕
選別部２２は、予め規定される造影時相情報Ｉ_NFを有するＣＴ画像Ｉ_INを選別する。これにより、入力に適合する造影時相が限定されている性状分析処理Ｐ₃が実施される場合に、性状分析部１８の入力に適合していないＣＴ画像Ｉ_INの性状分析部１８への入力が抑制され、性状分析部１８における性状分析の性能が安定し得る。

〔４〕
選別部２２は、予め規定される２種類の造影時相情報Ｉ_NFのそれぞれを有する２種類のＣＴ画像Ｉ_INの組を選別する。これにより、規定の２種類の造影時相に対応する２種類ＣＴ画像Ｉ_INが性状分析部１８へ入力され、性状分析部１８の入力に適合していないＣＴ画像Ｉ_INの性状分析部１８への入力が抑制され、性状分析部１８における性状分析の性能が安定し得る。

［性状分析装置の入力画像の第１変形例］
第１実施形態及び第２実施形態では、３次元ＣＴデータである３次元画像を入力に用いたが、３次元のＣＴデータからスライスを等間隔に切り出したスライス画像を入力に用いてもよい。

また、スライス画像の代わりに、等間隔に構成されたＭＩＰ画像及び複数のスライス画像から生成される平均画像などであってもよい。なお、ＭＩＰはMaximum Intensity Projectionの省略語である。

［性状分析装置の入力画像の第２変形例］
図６等に示すＣＴ画像取得部１２への入力は、複数種のデータ要素の組み合わせであってもよい。例えば、同一の画像シリーズのＣＴデータの部分画像である３次元画像、スライス画像、ＭＩＰ画像及び平均画像のうち少なくとも１種類を入力として用いることができ、これら複数の画像種の組み合わせをＣＴ画像取得部１２へ入力して、情報出力部２０から出力を得てもよい。

例えば、平均画像とＭＩＰ画像との組み合わせをＣＴ画像取得部１２へ入力して、情報出力部２０から出力を得てもよい。ここでいう３次元画像は、複数枚のスライス画像のセットを意味する。

本実施形態では、ダイナミック造影の例としてダイナミック造影ＣＴを例示したが、ダイナミック造影ＭＲＩなど、ＣＴ以外のダイナミック造影が適用可能なモダリティについても、本実施形態に示す性状分析を適用し得る。

［性状分析処理の具体例］
図１３は性状分析処理の具体例を示す概念図である。図１３に示す性状分析処理では、取得した造影時相ごとのＣＴ画像Ｉ_INから抽出された関心領域Ｒ_OIの特徴量を抽出し、造影時相ごとのＣＴ画像Ｉ_INから抽出された関心領域Ｒ_OIの特徴量を連結し、性状分析として性状の分類処理を実施する。これにより、複数の造影時相の特徴量が考慮された性状分析処理が実施される。

図１３に示す性状分析処理を実施する性状分析装置は、図４に示す性状分析装置１０が適用され、性状分析部１８において、図１３に示す性状分析処理を実施する。

まず、ＣＴ画像取得処理Ｐ₁が実施され、ＣＴ画像Ｉ_INが取得される。次に、造影時相推定処理Ｐ₂が実施され、ＣＴ画像Ｉ_INの造影時相が推定され、ＣＴ画像Ｉ_INごとの造影時相情報Ｉ_NFが取得される。また、ＣＴ画像Ｉ_INから関心領域Ｒ_OIが抽出される。ここまでの処理は、図３等に示すＣＴ画像取得処理Ｐ₁及び造影時相推定処理Ｐ₂と同様の処理が実施される。

関心領域Ｒ_OIが抽出されていないＣＴ画像Ｉ_INが取得される場合は、ＣＴ画像Ｉ_INから関心領域Ｒ_OIが抽出される。関心領域Ｒ_OIが抽出済みのＣＴ画像Ｉ_INが取得される場合は、ＣＴ画像Ｉ_INから関心領域Ｒ_OIが抽出される処理は実施されない。

次に、特徴抽出処理Ｐ₁₀₁が実施され、造影時相が推定されたＣＴ画像Ｉ_INのそれぞれに含まれる関心領域Ｒ_OIから、特徴抽出ネットワーク１００を用いてＣＴ画像Ｉ_INごとの特徴量が抽出される。

特徴抽出ネットワーク１００は、非造影の特徴量を表す特徴ベクトル１０２、動脈相の特徴量を表す特徴ベクトル１０４、門脈相の特徴量を表す特徴ベクトル１０６及び平衡相の特徴量を表す特徴ベクトル１０８を出力する。

特徴ベクトル１０２、特徴ベクトル１０４、特徴ベクトル１０６及び特徴ベクトル１０８は、１次元の特徴ベクトルが適用される。すなわち、特徴抽出処理Ｐ₁₀₁は、特徴抽出ネットワーク１００が、入力された関心領域Ｒ_OIの数と同じ数の特徴ベクトル１０２を出力する処理である。

次に、連結処理Ｐ₁₀₂が実施され、特徴ベクトル１０２、特徴ベクトル１０４、特徴ベクトル１０６及び特徴ベクトル１０８が連結され、特徴データ１１０が生成される。

更に、性状分析処理Ｐ_１０３が実施され、分類ネットワーク１２０は、特徴データ１１０に基づく性状の分類処理を実施する。特徴データ１１０に基づく性状分析処理Ｐ_１０３は、図３に示す性状分析処理Ｐ₃に対応する。

更にまた、情報出力処理Ｐ₁₀₄が実施され、分類ネットワーク１２０は、性状の分類結果を分析結果Ａ_Rとして出力する。特徴抽出ネットワーク１００及び分類ネットワーク１２０は、ニューラルネットワークを適用し得る。

図１３に示す性状分析処理は、複数の造影時相における関心領域Ｒ_OIの特徴が考慮された性状分析が実施される。また、造影時相推定、特徴抽出及び性状の分類の各処理が実施され、それぞれの関心領域Ｒ_OIから特徴ベクトルが抽出された後に、それぞれの特徴ベクトルが連結され、特徴ベクトルが連結された特徴データ１１０を用いて、関心領域Ｒ_OIの分類が実施される構成は、造影時相の間の位置ずれの影響の軽減、並びに患者の呼吸及び患者の体動など影響の軽減を実現し得る。

図１３には、非造影の関心領域Ｒ_OI、動脈相の関心領域Ｒ_OI、門脈相の関心領域Ｒ_OI及び平衡相の関心領域Ｒ_OIごとの４つの特徴抽出ネットワーク１００を用いる態様を例示したが、１つの特徴抽出ネットワーク１００を共通で用いてもよい。共通の特徴空間において複数の特徴ベクトルを対比する場合、１つの特徴抽出ネットワークを用いることが望ましい。

図１３に示す特徴抽出ネットワーク１００及び分類ネットワーク１２０は、１つの学習済みモデルを構成する構成要素としてもよい。例えば、特徴抽出を実施するネットワークと、性状分析を実施するネットワークとを統合して、関心領域Ｒ_OIの性状分析を実施する１つのネットワークを構成し得る。

図１４は図１３に示す性状分析処理の変形例を示す概念図である。図１４に示す性状分析処理では、図１３に示す性状分析処理に対して、一部の造影時相の特徴量が平均される。

具体的には、図１４に示す性状分析処理では、図１３に示す性状分析処理に対して、特徴抽出処理Ｐ₁₀₁の後に門脈相の特徴ベクトル１０６と平衡相の特徴ベクトル１０８とを平均した特徴ベクトル１０９を生成する平均処理Ｐ₁₀₅が追加される。

門脈相の関心領域Ｒ_OIにおける特徴量と、平衡相の関心領域Ｒ_OIにおける特徴量とは類似しているので、２つの特徴ベクトルを平均して１つにまとめる。これにより、特徴データ１１１を生成する際の特徴ベクトルの数を削減し得る。なお、図１４には、肝臓のダイナミック造影ＣＴを実施して得られるＣＴ画像の例を例示するが、他の臓器についても、特徴量が類似する造影時相には、同様の処理が可能である。

図１５は一部の造影時相におけるＣＴ画像が欠落している場合の性状分析処理の具体例を示す概念図である。同図には、平衡相におけるＣＴ画像Ｉ_INが欠落している場合を例示する。

同図に示す連結処理Ｐ_１０２では、平衡相の特徴を表す特徴ベクトル１０８が欠落しているので、門脈相の特徴を表す特徴ベクトル１０６が、門脈相の特徴を表す特徴ベクトル１０６と平衡相における特徴ベクトル１０８とを平均した特徴ベクトルとして取り扱われる。

すなわち、同図に示す連結処理Ｐ₁₀₂では、非造影の特徴を表す特徴ベクトル１０２、動脈相の特徴を表す特徴ベクトル１０４及び門脈相の特徴を表す特徴ベクトル１０６が連結され、特徴データ１１１Ａが生成される。

図１５に示す性状分析処理は、一部の造影時相におけるＣＴ画像Ｉ_INが欠落する場合であっても、造影時相の推定結果に基づく性状分析を実施し得る。同図には、平衡相のＣＴ画像Ｉ_INが欠落する場合を例示したが、門脈相のＣＴ画像Ｉ_INなど、平衡相のＣＴ画像Ｉ_IN以外のＣＴ画像Ｉ_INが欠落する場合であってもよい。

図１６は性状分析処理の他の具体例を示す概念図である。同図に示す性状分析処理では、造影時相ごとの関心領域Ｒ_OIの特徴量を抽出し、造影時相ごとの関心領域Ｒ_OIの特徴量を重み付き平均し、性状の分類処理を実施する。

具体的には、造影時相ごとの関心領域Ｒ_OIの特徴量を重み付き平均する際に適用される重みＷ_eiを計算する重み計算ネットワーク１３０を備える。重み計算ネットワーク１３０は、ニューラルネットワークが適用される。

重み計算ネットワーク１３０は、造影時相ごとの関心領域Ｒ_OIの特徴量が、性状の分類にどのくらい寄与したかを表す重みＷ_eiを計算する重み計算処理Ｐ₁₀₆を実施する。重み計算処理Ｐ₁₀₆では、特徴量ごとに別々に重みＷ_eiを計算してもよい。

重み計算ネットワーク１３０は、造影時相ごとの関心領域Ｒ_OIの特徴量が入力されると、関心領域Ｒ_OIの特徴量に対する動的な重みＷ_eiを出力する。なお、図１６に示す造影時相ごとの関心領域Ｒ_OIの特徴量に対する重みＷ_eiは例示であり、任意の数値が図示されている。

重み付き平均処理Ｐ₁₁₂では、造影時相ごとの関心領域Ｒ_OIの特徴量に対して重みＷ_eiを用いて重み付き平均処理が実施される。性状分析処理Ｐ₁₀₃では、分類ネットワーク１２０は、造影時相ごとの関心領域Ｒ_OIの特徴量の重み付き平均に基づき、性状の分類処理を実施する。情報出力処理Ｐ₁₀₄では、分析結果Ａ_Rの出力が実施される。

特徴抽出ネットワーク１００、重み計算ネットワーク１３０及び分類ネットワーク１２０は、造影時相が推定された関心領域Ｒ_OIと性状の分類結果との組を学習データとして、一括して学習を実施し得る。特徴抽出ネットワーク１００、重み計算ネットワーク１３０及び分類ネットワーク１２０の学習のアルゴリズムには、バックプロパゲーションを適用し得る。

すなわち、特徴抽出ネットワーク１００、重み計算ネットワーク１３０及び分類ネットワーク１２０は、それぞれの入力に対して分類ネットワーク１２０の出力のロスが最小となる学習を実施する。

図１３から図１５に示す特徴抽出ネットワーク１００及び分類ネットワーク１２０の学習についても、学習のアルゴリズムとしてバックプロパゲーションを適用し、それぞれの入力に対して分類ネットワーク１２０の出力のロスが最小となる学習を実施し得る。

なお、実施形態に記載の特徴抽出ネットワーク１００は、特徴抽出モデルの一例である。実施形態に記載の分類ネットワーク１２０は、性状分析モデルの一例である。実施形態に記載の重み計算ネットワーク１３０は、重み算出モデルの一例である。

［医用画像システムの構成例］
図１７は性状分析装置が用いられる医療情報システムの構成例を示すブロック図である。第１実施形態及び第２実施形態として説明した性状分析装置１０等は、図１７に示す医用画像処理装置２２０へ組み込まれ得る。

医療情報システム２００は、病院などの医療機関に構築されるコンピュータネットワークである。医療情報システム２００は、医用画像を撮影するモダリティ２３０、ＤＩＣＯＭサーバ２４０、医用画像処理装置２２０、電子カルテシステム２４４及びビューワ端末２４６を備える。医療情報システム２００の要素は通信回線２４８を介して接続される。通信回線２４８は、医療機関内の構内通信回線であってよい。また、通信回線２４８の一部は、広域通信回線であってもよい。

モダリティ２３０の具体例として、ＣＴ装置２３１、ＭＲＩ装置２３２、超音波診断装置２３３、ＰＥＴ装置２３４、Ｘ線診断装置２３５、Ｘ線透視診断装置２３６及び内視鏡装置２３７等が挙げられる。通信回線２４８に接続されるモダリティ２３０の種類は、医療機関ごとに様々な組み合わせがありうる。なお、ＭＲＩはMagnetic Resonance Imagingの省略語である。ＰＥＴはPositron Emission Tomographyの省略語である。

ＤＩＣＯＭサーバ２４０は、ＤＩＣＯＭの仕様に従い動作するサーバである。ＤＩＣＯＭサーバ２４０は、モダリティ２３０を用いて撮影された画像を含む各種データを保存し、かつ、各種データを管理するコンピュータである。ＤＩＣＯＭサーバ２４０は、大容量外部記憶装置及びデータベース管理用プログラムを備える。

ＤＩＣＯＭサーバ２４０は、通信回線２４８を介して他の装置と通信を行い、画像データを含む各種データを送受信する。ＤＩＣＯＭサーバ２４０は、モダリティ２３０を用いて生成された画像データその他の含む各種データを通信回線２４８経由で受信し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式および通信回線２４８経由での各装置間の通信は、ＤＩＣＯＭのプロトコルに基づいている。

医用画像処理装置２２０は、通信回線２４８を介してＤＩＣＯＭサーバ２４０等からデータを取得することができる。医用画像処理装置２２０は、モダリティ２３０を用いて撮影された医用画像について画像解析その他の各種処理を行う。医用画像処理装置２２０は、性状分析装置１０の処理機能の他、例えば、画像から病変領域などを認識する処理、病名などの分類を特定する処理及び臓器等の領域を認識するセグメンテーション処理など、様々なコンピュータ支援診断等の解析処理を行うように構成されてもよい。なお、コンピュータ支援診断は、Computer Aided Diagnosis又はComputer Aided Detectionの省略語を用いてＣＡＤと称され得る。

また、医用画像処理装置２２０は、処理結果をＤＩＣＯＭサーバ２４０およびビューワ端末２４６に送ることができる。なお、医用画像処理装置２２０の処理機能は、ＤＩＣＯＭサーバ２４０に搭載されてもよいし、ビューワ端末２４６に搭載されてもよい。

ＤＩＣＯＭサーバ２４０のデータベースに保存された各種データ及び医用画像処理装置２２０により生成された処理結果を含む様々な情報は、ビューワ端末２４６に表示させることができる。

ビューワ端末２４６は、ＰＡＣＳビューワ又はＤＩＣＯＭビューワと呼ばれる画像閲覧用の端末である。通信回線２４８には複数のビューワ端末２４６が接続され得る。なお、ＰＡＣＳは、Picture Archiving and Communication Systemの省略語である。ビューワ端末２４６の形態は特に限定されず、パーソナルコンピュータであってもよいし、ワークステーションであってもよく、また、タブレット端末などであってもよい。

［コンピュータを動作させるプログラムについて］
性状分析装置１０等における処理機能をコンピュータに実現させるプログラムを、光ディスク、磁気ディスク及び半導体メモリなどの有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。

またこのような有体物たる非一時的なコンピュータ可読媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。

さらに、性状分析装置１０等における処理機能の一部または全部をクラウドコンピューティングによって実現してもよく、また、ＳａｓＳサービスとして提供することも可能である。なお、ＳａｓＳはSoftware as a Serviceの省略語である。

［各処理部のハードウェア構成について］
性状分析装置１０等におけるＣＴ画像取得部１２、造影時相推定部１４、関心領域抽出部１６、性状分析部１８及び情報出力部２０などの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、例えば、次に示すような各種のプロセッサ（processor）である。

各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、画像処理に特化したプロセッサであるＧＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプロ
グラマブルロジックデバイス、ＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

なお、プログラマブルロジックデバイスは英語表記のProgrammable Logic Deviceの省略語を用いてＰＬＤと称され得る。ＡＳＩＣはApplication Specific Integrated Circuitの省略語である。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡを用いて構成されてもよいし、ＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせを用いて構成されてもよい。

また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせを用いて１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップなどに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。なお、システムオンチップは、System On a Chipの省略語ＳｏＣを用いて称され得る。ＩＣはIntegrated Circuitの省略語である。

このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）
である。

本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態の間で適宜組み合わせることができる。

１ 動脈におけるＣＴ値の経時的な変化を示す曲線
２ 門脈におけるＣＴ値の経時的な変化を示す曲線
３ 肝臓におけるＣＴ値の経時的な変化を示す曲線
１０ 性状分析装置
１０Ａ 性状分析装置
１２ ＣＴ画像取得部
１４ 造影時相推定部
１６ 関心領域抽出部
１８ 性状分析部
２０ 情報出力部
２２ 選別部
３０ プロセッサ
３２ コンピュータ可読媒体
３２Ａ コンピュータ可読媒体
３４ 通信インターフェース
３６ 入出力インターフェース
３８ バス
４０ メモリ
４０Ａ メモリ
４２ ストレージ
５０ 造影時相推定プログラム
５２ 関心領域抽出プログラム
５４ 性状分析プログラム
５６ 選別プログラム
６０ 入力装置
６２ 表示装置
１００ 特徴抽出ネットワーク
１０２ 非造影の特徴ベクトル
１０４ 動脈相の特徴ベクトル
１０６ 門脈相の特徴ベクトル
１０８ 平衡相の特徴ベクトル
１０９ 特徴ベクトル
１１０ 特徴データ
１１１ 特徴データ
１１１Ａ 特徴データ
１２０ 分類ネットワーク
１３０ 重み計算ネットワーク
２００ 医療情報システム
２２０ 医用画像処理装置
２３０ モダリティ
２３１ ＣＴ装置
２３２ ＭＲＩ装置
２３３ 超音波診断装置
２３４ ＰＥＴ装置
２３５ Ｘ線診断装置
２３６ Ｘ線透視診断装置
２３７ 内視鏡装置
２４０ ＤＩＣＯＭサーバ
２４４ 電子カルテシステム
２４６ ビューワ端末
２４８ 通信回線
Ｉ₁ 非造影のＣＴ画像
Ｉ₂ 動脈相のＣＴ画像
Ｉ₃ 門脈相のＣＴ画像
Ｉ₄ 平衡相のＣＴ画像
Ｉ_IN ＣＴ画像
ｔ₁ 動脈相に対応する期間
ｔ₂ 門脈相に対応する期間
ｔ₃ 平衡相に対応する期間
Ｐ₁ ＣＴ画像取得処理
Ｐ₂ 造影時相推定処理
Ｐ₃ 性状分析処理
Ｐ₃₁ 性状分析処理
Ｐ₄ 情報出力処理
Ｐ₅ 選別処理
Ｐ₅₁ 選別処理
Ｐ₁₀₁ 特徴抽出処理
Ｐ₁₀₂ 連結処理
Ｐ₁₀₃ 性状分析処理
Ｐ₁₀₅ 平均処理
Ｐ₁₀₆ 重み計算処理
Ｐ₁₁₂ 重み付き平均処理
ｐ 確率
Ｗ_ei 重み
Ｓ１０～Ｓ１８ 性状分析方法の各ステップ

Claims (16)

1. １つ以上のプロセッサと、
   前記１つ以上のプロセッサに実行させるプログラムが記憶される１つ以上のメモリと、
   を備え、
   前記１つ以上のプロセッサは、前記プログラムの命令を実行して、
   造影撮影を実施して生成される医用画像を取得し、
   前記医用画像の解析に基づき前記医用画像の非造影又は造影時相を表す造影状態を推定し、
   前記医用画像の前記造影状態を表す造影状態情報を用いて、前記造影状態ごとの前記医用画像に対する画像解析を用いて、前記医用画像から関心領域として抽出された部位の状態を分類する性状分析を実施する医用画像処理装置。
2. 前記１つ以上のプロセッサは、前記造影状態情報を用いて前記医用画像を選別する請求項１に記載の医用画像処理装置。
3. 前記１つ以上のプロセッサは、前記性状分析に適合する造影状態情報を有する前記医用画像を選別する請求項２に記載の医用画像処理装置。
4. 前記１つ以上のプロセッサは、前記性状分析における入力画像に対する限定に応じて、前記医用画像を選別する請求項２又は３に記載の医用画像処理装置。
5. 前記１つ以上のプロセッサは、予め規定される２種類以上の造影状態のそれぞれに対応する造影状態情報ごとの前記医用画像を選別する請求項２に記載の医用画像処理装置。
6. 前記１つ以上のプロセッサは、非造影を除く造影状態に対応する造影状態情報を有する前記医用画像を選別する請求項２に記載の医用画像処理装置。
7. 前記１つ以上のプロセッサは、前記取得した前記医用画像から関心領域を抽出し、前記関心領域の性状分析を実施する請求項１に記載の医用画像処理装置。
8. 前記１つ以上のプロセッサは、学習済み学習モデルを用いて、前記取得した前記医用画像の造影状態を推定する請求項１に記載の医用画像処理装置。
9. 前記１つ以上のプロセッサは、学習済み学習モデルを用いて、前記取得した前記医用画像に含まれる関心領域の前記性状分析を実施する請求項１に記載の医用画像処理装置。
10. 前記１つ以上のプロセッサは、
    前記学習済み学習モデルを用いて、造影状態ごとの前記医用画像に含まれる関心領域のそれぞれから特徴量を抽出し、
    前記造影状態ごとの前記関心領域の特徴量が組み合わせられ連結された特徴データに基づき、前記医用画像に含まれる関心領域の性状分析を実施する請求項９に記載の医用画像処理装置。
11. 前記１つ以上のプロセッサは、
    前記学習済み学習モデルとして、造影状態ごとの前記医用画像に含まれる関心領域のそれぞれから特徴量を抽出する特徴抽出モデルを用いて、造影状態ごとの前記医用画像に含まれる関心領域のそれぞれから特徴量を抽出し、
    前記造影状態ごとの前記関心領域の特徴量を連結し、
    前記学習済み学習モデルとして、前記造影状態ごとの前記医用画像に含まれる関心領域の特徴量が連結された特徴データを分類する分類モデルを用いて、前記医用画像に含まれる関心領域の性状分析を実施する請求項１０に記載の医用画像処理装置。
12. 前記１つ以上のプロセッサは、
    前記造影状態ごとの前記医用画像に含まれる関心領域の特徴量のうち一部を平均する請求項１０又は１１に記載の医用画像処理装置。
13. 前記１つ以上のプロセッサは、
    前記学習済み学習モデルとして、前記造影状態ごとの前記医用画像に含まれる関心領域の特徴量の重み付き平均を算出する際に用いられる重みを算出する重み算出モデルを用いて、前記造影状態ごとの前記医用画像に含まれる関心領域の特徴量のそれぞれについて、前記重みを算出する請求項１２に記載の医用画像処理装置。
14. 前記１つ以上のプロセッサは、
    予め決められる前記平均される複数の特徴量の一部が欠落する場合に、前記平均される複数の特徴量として、欠落していない特徴量が用いられる請求項１２に記載の医用画像処理装置。
15. コンピュータが適用される医用画像処理装置の動作方法であって、
    前記医用画像処理装置が、
    造影撮影を実施して生成される医用画像を取得する工程、
    前記医用画像の解析に基づき前記医用画像の非造影又は造影時相を表す造影状態を推定する工程、
    前記医用画像の前記造影状態を表す造影状態情報を用いて、前記造影状態ごとの前記医用画像に対する画像解析を用いて、前記医用画像から関心領域として抽出された部位の状態を分類する性状分析を実施する工程を実行する医用画像処理装置の動作方法。
16. コンピュータに、
    造影撮影を実施して生成される医用画像を取得する機能、
    前記医用画像の解析に基づき前記医用画像の非造影又は造影時相を表す造影状態を推定する機能、及び
    前記医用画像の前記造影状態を表す造影状態情報を用いて、前記造影状態ごとの前記医用画像に対する画像解析を用いて、前記医用画像から関心領域として抽出された部位の状態を分類する性状分析を実施する機能を実現させるプログラム。