JP7242397B2 - 医用画像処理装置及びｘ線診断装置 - Google Patents

Description

本発明の実施形態は、医用画像処理装置及びＸ線診断装置に関する。

Ｘ線診断装置は、検査に加え、治療にも利用されている。例えば、動脈瘤に対する治療として、コイル塞栓術と呼ばれる方法が知られている。コイル塞栓術では、術者がリアルタイムで表示されるＸ線画像を視認しながら、カテーテル及びガイドワイヤを血管内に挿入して動脈瘤まで進行させ、動脈瘤にコイル（デバイス）を充填して塞栓する。これにより、動脈瘤内を血栓化させて、動脈瘤の破裂を防いでいる。

このようなコイル塞栓術では、再発を防ぐために偏りなくコイルを充填することが重要である。そのため、術者は、充填状況を観察しながらコイルを充填する必要がある。このような充填状況の観察を支援する機能としてブランクロードマップ（以下、ＢＲＭともいう）がある。ＢＲＭは、現在のコイルの充填状況を示すＸ線画像と、既に留置済みのコイルを示すマスク画像との差分を求めることにより、現在、留置中のコイルのみを示す差分画像（ＢＲＭ画像）を生成する機能である。ＢＲＭによれば、術者は、動脈瘤内のコイルのうち、留置中のコイルのみを観察しながらコイルを充填可能となる。

このようなＢＲＭは、通常は特に問題ないが、本発明者の検討によれば、留置済みのコイルの数が増えてきた場合に、デバイス画像の視認性を低下させてしまうおそれがある点で改善の余地がある。例えば、マスク画像内で留置済みのコイルの数が増えてきた場合、デバイス画像では、留置中のコイルが部分的に欠損して表示されてしまい、また、Ｘ線画像とマスク画像との間の位置ずれによるアーチファクトが生じ易くなる。これらにより、デバイス画像の視認性を低下させてしまうおそれがある。

特開２０１２－８１１７９号公報

イアン・グッドフェロー（Ｉａｎ Ｇｏｏｄｆｅｌｌｏｗ）、外２名、「第９章 畳み込みネットワーク（Ｃｈａｐｔｅｒ ９ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ）」、ディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）、エムアイティー・プレス（ＭＩＴ ｐｒｅｓｓ）、２０１６年、ｐ．３３０－３７２、インターネット＜ＵＲＬ：http://www.deeplearningbook.org＞

本発明が解決しようとする課題は、留置済みのデバイスの数が増えてきた場合に、デバイス画像の視認性の低下を阻止することである。

実施形態に係る医用画像処理装置は、取得部、デバイス画像生成部及び補間画像生成部を備えている。
前記取得部は、被検体をＸ線により撮像したＸ線画像を取得する。
前記デバイス画像生成部は、前記取得されたＸ線画像と他のＸ線画像とに基づいて、前記取得されたＸ線画像に描出されたデバイスを抽出したデバイス画像を生成する。
前記補間画像生成部は、前記生成されたデバイス画像の欠損部分を補間した補間画像を生成する。

図１は、第１の実施形態に係るＸ線診断装置及び医用画像処理装置を含む医用情報処理システムの構成を示すブロック図である。 図２は、第１の実施形態に係るＸ線診断装置の構成を示すブロック図である。 図３は、第１の実施形態に係る医用画像処理装置の構成を示すブロック図である。 図４は、第１の実施形態における動作を説明するためのフローチャートである。 図５は、第１の実施形態におけるステップＳＴ４０乃至ＳＴ６０の動作を説明するための模式図である。 図６は、第１の実施形態におけるステップＳＴ４０の動作の一部を説明するための模式図である。 図７は、第２の実施形態に係るＸ線診断装置の構成を示すブロック図である。 図８は、第２の実施形態に係る医用画像処理装置の構成を示すブロック図である。 図９は、第２の実施形態における動作を説明するためのフローチャートである。 図１０は、第２の実施形態におけるステップＳＴ１の動作を説明するための模式図である。 図１１は、第２の実施形態におけるステップＳＴ４０乃至ＳＴ６０の動作を説明するための模式図である。 図１２は、第３の実施形態におけるステップＳＴ５０の動作を説明するための模式図である。 図１３は、第４の実施形態におけるステップＳＴ５０の動作を説明するための模式図である。 図１４は、第４の実施形態におけるステップＳＴ５０の動作を第１実施形態と比較して説明するための模式図である。 図１５は、第５の実施形態におけるステップＳＴ５０の動作を説明するための模式図である。 図１６は、第６の実施形態におけるステップＳＴ５０の動作を説明するための模式図である。 図１７は、第７の実施形態におけるステップＳＴ５０の動作を説明するための模式図である。 図１８は、第８の実施形態におけるステップＳＴ５０等の動作を説明するための模式図である。 図１９は、第９の実施形態における動作を説明するためのフローチャートである。 図２０は、第９の実施形態におけるステップＳＴ２及びＳＴ７１の動作を説明するための模式図である。 図２１は、第１０の実施形態における動作を説明するためのフローチャートである。 図２２は、第１０の実施形態におけるステップＳＴ７２乃至ＳＴ７４の動作を説明するための模式図である。 図２３は、第１１の実施形態におけるメモリを説明するための模式図である。 図２４は、第１１の実施形態における動作を説明するためのフローチャートである。

以下、図面を参照して各実施形態について説明する。

＜第１の実施形態＞
図１は、第１の実施形態に係るＸ線診断装置及び医用画像処理装置を含む医用情報処理システムの構成を示すブロック図であり、図２は、Ｘ線診断装置の構成を示すブロック図である。図３は、医用画像処理装置の構成を示すブロック図である。図１に示す医用情報処理システムは、互いにネットワークＮｗを介して通信可能なＸ線診断装置１及び医用画像処理装置９０を備えている。なお、この医用情報処理システムは、これに限らず、Ｘ線診断装置１又は医用画像処理装置９０を省略した構成に変形可能である。また、Ｘ線診断装置１としては、バイプレーン構造を例に挙げて述べるが、これに限らず、シングルプレーン構造を用いてもよい。Ｃアーム９及びΩアーム１９は、撮像角度の違いを除いてほぼ同様に動作するので、主にＣアーム９を用いた場合を例に挙げて説明する。

ここで、Ｘ線診断装置１は、撮像装置１０及びコンソール装置７０を備えている。撮像装置１０は、高電圧発生装置３、第１Ｘ線管５、第１Ｘ線検出器７、Ｃアーム９、第１コリメータ１１、第２Ｘ線管１５、第２Ｘ線検出器１７、Ωアーム１９、第２コリメータ２１、天板２４、寝台２５及び駆動部２７を備えている。

高電圧発生装置３は、第１Ｘ線管５と第２Ｘ線管１５とに供給する管電流と、第１Ｘ線管５と第２Ｘ線管１５とに印加する管電圧とを発生する。高電圧発生装置３は、処理回路７４に制御され、管電流を第１Ｘ線管５と第２Ｘ線管１５とに供給し、管電圧を第１Ｘ線管５と第２Ｘ線管１５とに印加する。

第１Ｘ線管５は、高電圧発生装置３から供給された管電流と、高電圧発生装置３により印加された管電圧とに基づいて、Ｘ線の焦点（以下、第１焦点と呼ぶ）においてＸ線（以下、第１Ｘ線と呼ぶ）を発生する。第１焦点から発生された第１Ｘ線は、第１Ｘ線管５の前面に設けられたＸ線放射窓を介して、被検体Ｐに照射される。なお、第１焦点から発生された第１Ｘ線の一部は、第１Ｘ線管５とＸ線放射窓との間に設けられた第１コリメータ１１により遮蔽される。すなわち、入力インタフェース７３から入力された第１照射範囲に従って第１コリメータ１１が移動され、第１Ｘ線の照射範囲が限定される。

第１Ｘ線検出器７は、第１Ｘ線管５から発生され、被検体Ｐを透過した第１Ｘ線を検出する。例えば、第１Ｘ線検出器７は、フラットパネルディテクタ（Flat Panel Detector：以下、第１ＦＰＤと呼ぶ）を有する。第１ＦＰＤは、複数の半導体検出素子を有する。半導体検出素子には、直接変換形と間接変換形とがある。直接変換形とは、入射Ｘ線を直接的に電気信号に変換する形式である。間接変換形とは、入射Ｘ線を蛍光体で光に変換し、その光を電気信号に変換する形式である。

第１Ｘ線検出器７の後段には、図示しない投影データ生成回路及び投影データ記憶回路を備える。投影データ生成回路は、第１ＦＰＤから行単位あるいは列単位でパラレルに読み出された電荷を電圧に変換する電荷・電圧変換器と、この電荷・電圧変換器の出力をデジタル信号に変換するＡ／Ｄ変換器と、デジタル変換されたパラレル信号を時系列的なシリアル信号に変換するパラレル・シリアル変換器を備えている。投影データ生成回路は、このシリアル信号を時系列的な投影データとして投影データ記憶回路に供給する。投影データ記憶回路は、投影データ生成回路から供給される時系列的な投影データを順次保存して２次元投影データを生成する。この２次元投影データは、メモリ７１に保存される。

Ｃアーム９は、第１Ｘ線管５と第１Ｘ線検出器７とを被検体Ｐ及び天板２４を挟んで対向するように保持することで、天板２４上の被検体ＰのＸ線撮影を行うことができる構成を有する。また、Ｃアーム９は、第１焦点と第１Ｘ線検出器７との距離（線源受像面間距離（Ｓｏｕｒｃｅ Ｉｍａｇｅ Ｄｉｓｔａｎｃｅ：以下、第１ＳＩＤとも呼ぶ））を変更可能に、第１Ｘ線管５と第１Ｘ線検出器７とを保持する。「第１ＳＩＤ」は、単に「ＳＩＤ」とも呼ぶ。なお、天板２４は、当該天板２４の長手方向、短軸方向及び鉛直方向に沿って移動可能に寝台２５に設けられている。

具体的にはＣアーム９は、天板２４の長軸方向及び短軸方向に沿って移動可能となっている。また、Ｃアーム９は、保持部を介して支持アームに支持されている。支持アームは、略円弧形状を有し、天井に設けられたレールに対する移動機構に基端が取り付けられている。Ｃアーム９は、天板２４に垂直なＺ方向と、天板２４の長軸方向に沿ったＹ方向との両者に直交するＸ方向の軸を中心に回転可能に保持部に保持されている。また、Ｃアーム９は、Ｙ方向の軸を中心とした略円弧形状を有し、略円弧形状に沿ってスライド動作可能に保持部に保持されている。すなわち、Ｃアーム９は、Ｙ方向の軸を回転中心としたスライド動作を行うことができる。また、Ｃアーム９は、保持部を中心としてＸ方向の軸を中心とした回転動作（以下、「主回転動作」と称する。）をすることができ、スライドとこの回転の組み合わせにより様々な角度方向（撮像角度）からＸ線画像を取得することを可能とする。さらに、Ｃアーム９は、Ｚ方向の軸を中心にも回転することができ、これにより、例えば、上述のスライド動作の回転中心軸をＸ方向とすることができる。なお、第１Ｘ線管５の第１焦点と、第１Ｘ線検出器７の検出面中心とを通る撮影軸は、スライド動作の回転中心軸と、主回転動作の回転中心軸とに一点で交差するように設計されている。当該交点は、一般的には、アイソセンタと呼ばれている。アイソセンタは、Ｃアーム９が上述のスライド動作や主回転動作をしても変位しない。このため、アイソセンタに関心部位（例、動脈瘤）が位置した場合、Ｃアーム９のスライド動作又は主回転動作により得られた医用画像の動画像において、関心部位の観察が容易になる。

第２Ｘ線管１５は、高電圧発生装置３から供給された管電流と、高電圧発生装置３により印加された管電圧とに基づいて、Ｘ線の焦点（以下、第２焦点と呼ぶ）においてＸ線（以下、第２Ｘ線と呼ぶ）を発生する。第２焦点から発生された第２Ｘ線は、第２Ｘ線管１５の前面に設けられたＸ線放射窓を介して、被検体Ｐに照射される。なお、第２焦点から発生された第２Ｘ線の一部は、第２Ｘ線管１５とＸ線放射窓との間に設けられた第２コリメータ２１により遮蔽される。すなわち、入力インタフェース７３から入力された第２照射範囲に従って第２コリメータ２１が移動され、第２Ｘ線の照射範囲が限定される。

第２Ｘ線検出器１７は、第２Ｘ線管１５から発生され、被検体Ｐを透過したＸ線を検出する。例えば、第２Ｘ線検出器１７は、第２ＦＰＤを有する。第２Ｘ線検出器１７の後段には、図示しない投影データ生成回路及び投影データ記憶回路を備える。投影データ生成回路は、第２ＦＰＤから行単位あるいは列単位でパラレルに読み出された電荷を電圧に変換する電荷・電圧変換器と、この電荷・電圧変換器の出力をデジタル信号に変換するＡ／Ｄ変換器と、デジタル変換されたパラレル信号を時系列的なシリアル信号に変換するパラレル・シリアル変換器を備えている。投影データ生成回路は、このシリアル信号を時系列的な投影データとして投影データ記憶回路に供給する。投影データ記憶回路は、投影データ生成回路から供給される時系列的な投影データを順次保存して２次元投影データを生成する。この２次元投影データは、メモリ７１に保存される。

Ωアーム１９は、第２Ｘ線管１５と第２Ｘ線検出器１７とを天板２４上の被検体Ｐを挟んで対向するように保持することで、被検体ＰのＸ線撮影を行うことができる構成を有する。また、Ωアーム１９は、第２焦点と第２Ｘ線検出器１７との距離（線源受像面間距離（Ｓｏｕｒｃｅ Ｉｍａｇｅ Ｄｉｓｔａｎｃｅ：以下、第２ＳＩＤとも呼ぶ））を変更可能に、第２Ｘ線管１５と第２Ｘ線検出器１７とを保持する。「第２ＳＩＤ」は、単に「ＳＩＤ」とも呼ぶ。

具体的にはΩアーム１９は、天板２４の長軸方向及び短軸方向に沿って移動可能となっている。また、Ωアーム１９は、保持部を介して支持アームに支持されている。支持アームは、略円弧形状を有し、天井に設けられたレールに対する移動機構に基端が取り付けられている。Ωアーム１９は、天板２４に垂直なＺ方向と、天板２４の長軸方向に沿ったＹ方向の軸を中心に回転可能に保持部に保持されている。また、Ωアーム１９は、Ｙ方向の軸を中心とした略円弧形状を有し、略円弧形状に沿ってスライド動作可能に保持部に保持されている。すなわち、Ωアーム１９は、Ｙ方向の軸を回転中心としたスライド動作を行うことができる。また、Ωアーム１９は、保持部を中心としてＺ方向の軸を中心とした回転動作（以下、「主回転動作」と称する。）をすることができ、スライドとこの回転の組み合わせにより様々な角度方向（撮像角度）からＸ線画像を取得することを可能とする。なお、第２Ｘ線管１５の第２焦点と、第２Ｘ線検出器１７の検出面中心とを通る撮影軸は、スライド動作の回転中心軸と、主回転動作の回転中心軸とに一点で交差するように設計されている。当該交点は、一般的には、アイソセンタと呼ばれている。アイソセンタは、Ωアーム１９が上述のスライド動作や主回転動作をしても変位しない。このため、アイソセンタに関心部位（例、動脈瘤）が位置した場合、Ωアーム１９のスライド動作又は主回転動作により得られた医用画像の動画像において、関心部位の観察が容易になる。

このようなＣアーム９及びΩアーム１９は、レール下の支持アーム、Ｘ方向の軸、Ｙ方向の軸及びＺ方向の軸に係る動作を実現するための複数の動力源が該当する適当な箇所に備えられている。これらの動力源は駆動部２７を構成する。

駆動部２７は、システム制御機能７４１からの駆動信号を読み込んでＣアーム９及びΩアーム１９の各々をスライド運動、回転運動、直線運動させる。さらに、Ｃアーム９及びΩアーム１９には、その角度（撮像角度）または姿勢や位置の情報を検出する状態検出器がそれぞれ備えられている。状態検出器は、例えば回転角や移動量を検出するポテンショメータや、位置検出センサであるエンコーダ等で構成される。エンコーダとしては、例えば磁気方式、刷子式、あるいは光電式等の、いわゆるアブソリュートエンコーダが使用可能となっている。また、状態検出器としては、回転変位をデジタル信号として出力するロータリエンコーダあるいは直線変位をデジタル信号として出力するリニアエンコーダなど、様々な種類の位置検出機構が適宜、使用可能となっている。

コンソール装置７０は、メモリ７１、ディスプレイ７２、入力インタフェース７３、処理回路７４及びネットワークインタフェース７６を備えている。

メモリ７１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）及び画像メモリなど電気的情報を記録するメモリ本体と、それらメモリ本体に付随するメモリコントローラやメモリインタフェースなどの周辺回路とを備えている。メモリ７１は、例えば、処理回路７４に実行されるプログラムと、第１Ｘ線検出器７及び第２Ｘ線検出器１７から受けた検出データ（２次元投影データ）、処理回路７４により生成された医用画像、処理回路７４の処理に用いるデータ、各種テーブル、処理途中のデータ及び処理後のデータ等が記憶される。医用画像としては、例えば、Ｘ線画像（Ｘ線透視画像）、マスク画像（他のＸ線画像）、差分画像、デバイス画像、補間画像、強調画像、造影血管Ｘ線画像（ＤＳＡ画像）、重畳画像などがある。プログラムは、例えば、コンピュータに、被検体をＸ線により撮像したＸ線画像を取得する取得機能、当該取得されたＸ線画像と他のＸ線画像とに基づいて、当該取得されたＸ線画像に描出されたデバイスを抽出したデバイス画像を生成するデバイス画像生成機能、当該生成されたデバイス画像の欠損部分を補間した補間画像を生成する補間画像生成機能、を実現させる。補足すると、このようなプログラムとしては、例えば、予めネットワーク又は非一過性のコンピュータ読み取り可能な記憶媒体からコンピュータにインストールされ、医用画像処理装置７７の各機能を当該コンピュータに実現させるプログラムが用いられる。

ディスプレイ７２は、医用画像などといった各種の情報を表示するディスプレイ本体と、ディスプレイ本体に表示用の信号を供給する内部回路、ディスプレイ本体と内部回路とをつなぐコネクタやケーブルなどの周辺回路から構成されている。内部回路は、処理回路７４から供給される画像データに被検体情報や投影データ生成条件等の付帯情報を重畳して表示データを生成し、得られた表示データに対しＤ／Ａ変換とＴＶフォーマット変換を行なってディスプレイ本体に表示する。例えば、ディスプレイ７２は、処理回路７４によって生成された医用画像や、操作者からの各種操作を受け付けるためのＧＵＩ（Graphical User Interface）等を出力する。例えば、ディスプレイ７２は、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイである。また、ディスプレイ７２は、表示部の一例である。また、ディスプレイ７２は、デスクトップ型でもよいし、コンソール装置７０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。ディスプレイ７２は表示部の一例である。

入力インタフェース７３は、被検体情報の入力、Ｘ線条件の設定、撮像装置１０の幾何学的情報、各種コマンド信号の入力等を行う。被検体情報は、例えば、被検体ＩＤ、被検体名、生年月日、年齢、体重、性別、検査部位等を含んでいる。なお、被検体情報は、被検体の身長を含んでもよい。撮像装置１０の幾何学的情報は、例えば、Ｃアーム９による撮像角度及び第１ＳＩＤと、Ωアーム１９による撮像角度及び第２ＳＩＤなどである。入力インタフェース７３は、例えば、Ｃアーム９及びΩアーム１９の移動指示、関心領域（ＲＯＩ）の設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、及び表示画面とタッチパッドとが一体化されたタッチパネルディスプレイ等によって実現される。入力インタフェース７３は、処理回路７４に接続されており、操作者から受け取った入力操作を電気信号へ変換し、処理回路７４へと出力する。また、入力インタフェース７３は、コンソール装置７０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、本明細書において入力インタフェース７３はマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路７４へ出力する電気信号の処理回路も入力インタフェース７３の例に含まれる。

処理回路７４は、メモリ７１内のプログラムを呼び出し実行することにより、プログラムに対応するシステム制御機能７４１、画像処理機能７４２、デバイス画像生成機能７４３、補間画像生成機能７４４、強調画像生成機能７４５及び表示制御機能７４６を実現するプロセッサである。なお、処理回路７４の説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ、或いは、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス等の回路を意味する。プログラマブル論理デバイスには、例えば、単純プログラマブル論理デバイス（ＳＰＬＤ）、複合プログラマブル論理デバイス（ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）等がある。この種のプロセッサは、メモリ７１内のプログラムを呼び出し実行する代わりに、当該プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。また、図２においては単一の処理回路７４にてシステム制御機能７４１、画像処理機能７４２、デバイス画像生成機能７４３、補間画像生成機能７４４、強調画像生成機能７４５及び表示制御機能７４６が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能を実現するものとしても構わない。また、システム制御機能７４１、画像処理機能７４２、デバイス画像生成機能７４３、補間画像生成機能７４４、強調画像生成機能７４５及び表示制御機能７４６は、それぞれシステム制御回路、画像処理回路、デバイス画像生成回路、補間画像生成回路、強調画像生成回路及び表示制御回路と呼んでもよく、個別のハードウェア回路として実装してもよい。

システム制御機能７４１は、例えば、入力インタフェース７３から入力された操作者によるコマンド信号、及び各種初期設定条件等の情報を一旦記憶した後、これらの情報を処理回路７４の各処理機能に送信する。

また、システム制御機能７４１は、例えば、入力インタフェース７３から入力されたＣアーム９、Ωアーム１９及び天板２４の駆動に関する情報を用いて、駆動部２７及び寝台２５の制御を行う。例えば、システム制御機能７４１は、Ｃアーム９やΩアーム１９の移動や回転、及び天板２４の移動やチルトなどを制御する。

また、システム制御機能７４１は、例えば、各種初期設定条件等の情報を読み込んで、高電圧発生装置３における管電圧、管電流、照射時間などのＸ線条件の制御を行う。Ｘ線条件は、管電流と照射時間の積（ｍＡｓ）を含んでもよい。

画像処理機能７４２は、例えば、メモリ７１内の２次元投影データに対してフィルタリング処理等の画像処理を行ってＸ線画像を生成し、Ｘ線画像をメモリ７１に保存する。ここで、第１Ｘ線検出器７の出力に基づくＸ線画像を第１Ｘ線画像と呼んでもよく、第２Ｘ線検出器１７の出力に基づくＸ線画像を第２Ｘ線画像と呼んでもよい。第１Ｘ線画像及び第２Ｘ線画像は、互いに異なる２つの撮像角度で撮像されている。但し、以下の説明では、主に、Ｃアーム９のみを用いた場合を例に挙げて述べるので、「第１Ｘ線画像」を単に「Ｘ線画像」と呼ぶ。更に、画像処理機能７４２は、得られた複数のＸ線画像データに対し合成処理や減算（サブトラクション）処理等を行ない、得られた他のＸ線画像（マスク画像）や差分画像などをメモリ７１に保存する。なお、造影剤を用いて得られたＸ線画像から、造影剤を用いずに得られたＸ線画像を減算処理して得られたＸ線画像については、造影血管Ｘ線画像又はＤＳＡ（Digital Subtraction Angiography）画像ともいう。第１Ｘ線管５、第１Ｘ線検出器７、メモリ７１及び画像処理機能７４２は、Ｘ線診断装置１における取得部の一例であり、被検体をＸ線により撮像したＸ線画像を取得する。メモリ７１及び画像処理機能７４２は、医用画像処理装置７７における取得部の一例であり、被検体をＸ線により撮像したＸ線画像を取得する。

デバイス画像生成機能７４３は、当該取得されたＸ線画像と他のＸ線画像とに基づいて、当該取得されたＸ線画像に描出されたデバイスを抽出したデバイス画像を生成する。以下の説明中、他のＸ線画像は、マスク画像ともいう。デバイス画像は、欠損部分を含むデバイスを示す場合には、欠損画像と呼んでもよい。デバイス画像生成機能７４３は、デバイス画像生成部の一例である。

補間画像生成機能７４４は、当該生成されたデバイス画像の欠損部分を補間した補間画像を生成する。補間画像生成機能７４４は、補間画像生成部の一例である。

強調画像生成機能７４５は、当該生成された補間画像に基づいて、上記取得されたＸ線画像又は上記Ｘ線画像と上記他のＸ線画像との差分画像においてデバイスを強調した強調画像を生成する。例えば、強調画像生成機能７４５は、補間画像をＸ線画像又は差分画像に重畳することにより強調画像を生成してもよい。強調画像生成機能７４５は、強調画像生成部の一例である。また、強調画像生成機能７４５は、必須ではなく、省略してもよい。

表示制御機能７４６は、例えば、システム制御機能７４１からの信号を読み込んで、メモリ７１から所望の医用画像データを取得してディスプレイ７２に表示する制御などを行う。これに限らず、表示制御機能７４６は、各種画像や各種情報をディスプレイ７２に表示させることが可能である。表示制御機能７４６は、表示制御部の一例である。

ネットワークインタフェース７６は、コンソール装置７０をネットワークＮｗに接続して医用画像処理装置９０等の他の装置と通信するための回路である。ネットワークインタフェース７６としては、例えば、ネットワークインタフェースカード（ＮＩＣ）が使用可能となっている。以下の説明では、他の装置との通信にネットワークインタフェース７６が介在する旨の記載を省略する。

これらメモリ７１、ディスプレイ７２、入力インタフェース７３、処理回路７４の画像処理機能７４２、デバイス画像生成機能７４３、補間画像生成機能７４４、強調画像生成機能７４５及び表示制御機能７４６は、医用画像処理装置７７を構成している。医用画像処理装置７７は、Ｘ線診断装置１に内蔵されてもよく、Ｘ線診断装置１とは別の装置として、Ｘ線診断装置１の外部に設けてもよい。

一方、医用画像処理装置９０は、図３に示すように、メモリ９１、ディスプレイ９２、入力インタフェース９３、処理回路９４及びネットワークインタフェース９６を備えている。

メモリ９１は、ＲＯＭ、ＲＡＭ、ＨＤＤ及び画像メモリなど電気的情報を記録するメモリ本体と、それらメモリ本体に付随するメモリコントローラやメモリインタフェースなどの周辺回路とを備えている。メモリ９１は、例えば、処理回路９４に実行されるプログラム、Ｘ線診断装置１から受信した医用画像、処理回路９４により生成された医用画像、処理回路９４の処理に用いるデータ、各種テーブル、処理途中のデータ及び処理後のデータ等が記憶される。医用画像としては、例えば、Ｘ線画像（Ｘ線透視画像）、マスク画像（他のＸ線画像）、差分画像、デバイス画像、補間画像、強調画像、造影血管Ｘ線画像（ＤＳＡ画像）、重畳画像などがある。プログラムは、例えば、コンピュータに、被検体をＸ線により撮像したＸ線画像を取得する取得機能、当該取得されたＸ線画像と他のＸ線画像とに基づいて、当該取得されたＸ線画像に描出されたデバイスを抽出したデバイス画像を生成するデバイス画像生成機能、当該生成されたデバイス画像の欠損部分を補間した補間画像を生成する補間画像生成機能、を実現させる。補足すると、このようなプログラムとしては、例えば、予めネットワーク又は非一過性のコンピュータ読み取り可能な記憶媒体からコンピュータにインストールされ、医用画像処理装置９０の各機能を当該コンピュータに実現させるプログラムが用いられる。

ディスプレイ９２は、医用画像などといった各種の情報を表示するディスプレイ本体と、ディスプレイ本体に表示用の信号を供給する内部回路、ディスプレイ本体と内部回路とをつなぐコネクタやケーブルなどの周辺回路から構成されている。内部回路は、処理回路９４から供給される画像データに被検体情報や投影データ生成条件等の付帯情報を重畳して表示データを生成し、得られた表示データに対しＤ／Ａ変換とＴＶフォーマット変換を行なってディスプレイ本体に表示する。例えば、ディスプレイ９２は、処理回路９４によって強調された医用画像や、操作者からの各種操作を受け付けるためのＧＵＩ等を出力する。例えば、ディスプレイ９２は、液晶ディスプレイやＣＲＴディスプレイである。また、ディスプレイ９２は、表示部の一例である。また、ディスプレイ９２は、デスクトップ型でもよいし、医用画像処理装置９０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。ディスプレイ９２は表示部の一例である。

入力インタフェース９３は、被検体情報の入力、撮像装置１０の幾何学的情報、各種コマンド信号の入力等を行う。被検体情報は、例えば、被検体ＩＤ、被検体名、生年月日、年齢、体重、性別、検査部位等を含んでいる。なお、被検体情報は、被検体の身長を含んでもよい。撮像装置１０の幾何学的情報は、例えば、Ｃアーム９による撮像角度及び第１ＳＩＤと、Ωアーム１９による撮像角度及び第２ＳＩＤなどである。入力インタフェース９３は、例えば、画像処理といった医用情報処理に関する指示、関心領域（ＲＯＩ）の設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、及び表示画面とタッチパッドとが一体化されたタッチパネルディスプレイ等によって実現される。入力インタフェース９３は、処理回路９４に接続されており、操作者から受け取った入力操作を電気信号へ変換し、処理回路９４へと出力する。また、入力インタフェース９３は、医用画像処理装置９０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、本明細書において入力インタフェース９３はマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路９４へ出力する電気信号の処理回路も入力インタフェース９３の例に含まれる。

処理回路９４は、メモリ９１内のプログラムを呼び出し実行することにより、プログラムに対応する画像処理機能９４２、デバイス画像生成機能９４３、補間画像生成機能９４４、強調画像生成機能９４５及び表示制御機能９４６を実現するプロセッサである。なお、処理回路９４の説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ、或いは、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス等の回路を意味する。プログラマブル論理デバイスには、例えば、単純プログラマブル論理デバイス（ＳＰＬＤ）、複合プログラマブル論理デバイス（ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）等がある。この種のプロセッサは、メモリ９１内のプログラムを呼び出し実行する代わりに、当該プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。また、図３においては単一の処理回路９４にて画像処理機能９４２、デバイス画像生成機能９４３、補間画像生成機能９４４、強調画像生成機能９４５及び表示制御機能９４６が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能を実現するものとしても構わない。また、画像処理機能９４２、デバイス画像生成機能９４３、補間画像生成機能９４４、強調画像生成機能９４５及び表示制御機能９４６は、それぞれ画像処理回路、デバイス画像生成回路、補間画像生成回路、強調画像生成回路及び表示制御回路と呼んでもよく、個別のハードウェア回路として実装してもよい。

ここで、画像処理機能７４２は、例えば、メモリ９１内の２次元投影データに対してフィルタリング処理等の画像処理を行ってＸ線画像を生成し、Ｘ線画像をメモリ９１に保存する。ここで、第１Ｘ線検出器７の出力に基づくＸ線画像を第１Ｘ線画像と呼んでもよく、第２Ｘ線検出器１７の出力に基づくＸ線画像を第２Ｘ線画像と呼んでもよい。第１Ｘ線画像及び第２Ｘ線画像は、互いに異なる２つの撮像角度で撮像されている。但し、以下の説明では、主に、Ｃアーム９のみを用いた場合を例に挙げて述べるので、「第１Ｘ線画像」を単に「Ｘ線画像」と呼ぶ。更に、画像処理機能９４２は、得られた複数のＸ線画像データに対し合成処理や減算（サブトラクション）処理等を行ない、得られた他のＸ線画像（マスク画像）や差分画像などをメモリ９１に保存する。なお、造影剤を用いて得られたＸ線画像から、造影剤を用いずに得られたＸ線画像を減算処理して得られたＸ線画像については、造影血管Ｘ線画像又はＤＳＡ（Digital Subtraction Angiography）画像ともいう。メモリ９１及び画像処理機能９４２は、医用画像処理装置９０における取得部の一例であり、被検体をＸ線により撮像したＸ線画像を取得する。但し、取得部は、これに限定されない。例えば、Ｘ線診断装置１からＸ線画像が送信される場合には、当該Ｘ線画像を受信してメモリ９１に保存するネットワークインタフェース９６と、メモリ９１とが取得部の一例となる。

デバイス画像生成機能９４３は、当該取得されたＸ線画像と他のＸ線画像とに基づいて、当該取得されたＸ線画像に描出されたデバイスを抽出したデバイス画像を生成する。以下の説明中、他のＸ線画像は、マスク画像ともいう。デバイス画像は、欠損部分を含むデバイスを示す場合には、欠損画像と呼んでもよい。デバイス画像生成機能９４３は、デバイス画像生成部の一例である。

補間画像生成機能９４４は、当該生成されたデバイス画像の欠損部分を補間した補間画像を生成する。補間画像生成機能９４４は、補間画像生成部の一例である。

強調画像生成機能９４５は、当該生成された補間画像に基づいて、上記取得されたＸ線画像又は上記Ｘ線画像と上記他のＸ線画像との差分画像においてデバイスを強調した強調画像を生成する。例えば、強調画像生成機能９４５は、補間画像をＸ線画像又は差分画像に重畳することにより強調画像を生成してもよい。強調画像生成機能９４５は、強調画像生成部の一例である。また、強調画像生成機能７４５は、必須ではなく、省略してもよい。

表示制御機能９４６は、例えば、入力インタフェース９３の操作に応じて、メモリ９１から所望の医用画像データを取得してディスプレイ９２に表示する制御などを行う。これに限らず、表示制御機能９４６は、各種画像や各種情報をディスプレイ９２に表示させることが可能である。表示制御機能９４６は、表示制御部の一例である。

ネットワークインタフェース９６は、医用画像処理装置９０をネットワークＮｗに接続してＸ線診断装置１等の他の装置と通信するための回路である。ネットワークインタフェース９６としては、例えば、ネットワークインタフェースカード（ＮＩＣ）が使用可能となっている。以下の説明では、他の装置との通信にネットワークインタフェース９６が介在する旨の記載を省略する。

なお、医用画像処理装置９０内の画像処理機能９４２、デバイス画像生成機能９４３、補間画像生成機能９４４、強調画像生成機能９４５及び表示制御機能９４６は、Ｘ線診断装置１内の画像処理機能７４２、デバイス画像生成機能７４３、補間画像生成機能７４４、強調画像生成機能７４５及び表示制御機能７４６と同様の機能である。すなわち、医用情報処理システムとしては、医用画像処理装置９０の処理回路９４の各機能、又はＸ線診断装置１の処理回路７４の各機能（但し、システム制御機能７４１を除く）、のいずれかの動作が実行される。

次に、以上のように構成された医用画像処理装置の動作について図４のフローチャート並びに図５及び図６の模式図を用いて説明する。なお、Ｘ線診断装置１の処理回路７４、及び医用画像処理装置９０の処理回路９４は、画像処理機能、デバイス画像生成機能、補間画像生成機能、強調画像生成機能及び表示制御機能に関し、ほぼ同様の動作を実行する。これに伴い、重複した文言の繰り返しを避けて理解を容易にする観点から、以下の説明では、当該各機能の動作について、医用画像処理装置９０の処理回路９４を代表例に挙げて述べる。このような代表例の説明は、適宜、装置名及び参照符号などを読み替えることにより、Ｘ線診断装置１及び医用画像処理装置７７の処理回路７４の動作の説明に適用することができる。このことは、以下の各実施形態でも同様である。

始めに、Ｘ線診断装置１の処理回路７４は、操作者による入力インタフェース７３の操作に応じて、撮像装置１０を制御してＣアーム９の撮像角度やＳＩＤを調整し、Ｘ線透視撮像を開始する。これにより、被検体ＰのＸ線画像が動画として得られる。このＸ線画像は、Ｘ線透視撮像中、Ｘ線診断装置１から医用画像処理装置９０に送信される。

ステップＳＴ１０において、医用画像処理装置９０は、Ｘ線診断装置１からＸ線画像を取得し、当該Ｘ線画像をメモリ９１に保存する一方、ディスプレイ９２に表示させる。このＸ線透視下において、コイル塞栓術が開始される。コイル塞栓術では、術者がリアルタイムで表示されるＸ線画像を視認しながら、カテーテル及びガイドワイヤを血管内に挿入して動脈瘤まで進行させ、動脈瘤にコイル（デバイス）を充填していく。なお、リアルタイムでの表示は、厳密に、撮像された瞬間に表示する処理を意味するのではなく、Ｘ線診断装置１側でＸ線画像が順次取得される処理に並行して、医用画像処理装置９０側で当該Ｘ線画像が順次表示される処理を意味する。

ステップＳＴ１０の後、ステップＳＴ２０において、医用画像処理装置９０の処理回路９４は、操作者による入力インタフェース９３の操作に応じて、取得したＸ線画像をマスク画像にするか否かを判定する。例えば、処理回路９４は、マスク画像の取得指示を入力する操作に応じた電気信号を入力インタフェース９３から受け付けると、Ｘ線画像をマスク画像にすることを判定し、ステップＳＴ３０に移行する。この種のマスク画像の取得指示は、例えば、一本のコイルを動脈瘤に留置する毎に、操作者の操作によって入力される。一方、判定結果が否の場合、ステップＳＴ４０に移行する。

ステップＳＴ２０の後、ステップＳＴ３０において、処理回路９４は、ステップＳＴ１０で取得したＸ線画像をマスク画像として取得し、メモリ９１に保存する。メモリ９１内のマスク画像は、マスク画像の取得指示が入力される毎に、更新される。マスク画像は、撮像装置１０の幾何学的情報に関連づけて保存されてもよい。幾何学的情報は、例えば、取得されたＸ線画像の付帯情報に含まれている。

ステップＳＴ３０の後、ステップＳＴ４０において、処理回路９４は、当該取得されたＸ線画像とマスク画像（他のＸ線画像）とに基づいて、当該取得されたＸ線画像に描出されたデバイスを抽出したデバイス画像を生成する。具体的には例えば、図５に示すように、処理回路９４は、Ｘ線画像ｇｘからマスク画像ｇｍを減算して差分画像ｇｓを求める。差分画像ｇｓは、ブランクロードマップ（ＢＲＭ）画像と呼んでもよい。また、処理回路９４は、差分画像ｇｓから留置中のデバイスを抽出してデバイス画像ｇｄを求める。ここで、留置中のデバイスを抽出する場合、例えば図６に示すように、差分画像ｇｓから第１閾値以下の黒色画素を抽出する閾値処理により、デバイスとアーチファクトとを示す黒色画像ｇｂｓを得る。また、差分画像ｇｓから第２閾値以上の白色画素を抽出する閾値処理により、アーチファクトを示す白色画像ｇｗｓを得る。次に、黒色画像ｇｂｓと、白色画像ｇｗｓとの位置合わせを行い、２つの画像を重畳した位置合わせ画像ｇｄ_ｒを得る。この位置合わせ画像ｇｄ_ｒは、例えば、黒色画像ｇｂｓ及び白色画像ｇｗｓのうち、一方の画像については固定し、他方の画像については、回転行列による回転処理や並進ベクトルによる平行移動を施すことにより、得てもよい。次に、位置合わせ画像ｇｄ_ｒにおいて、白色画像ｇｗｓの白色画素領域を少し膨張させた領域（白色画素の近傍領域）を背景色で塗りつぶす。これにより、位置合わせ画像ｇｄ_ｒからアーチファクトが消去され、差分画像ｇｓからデバイスのみを抽出したデバイス画像ｇｄが生成される。このデバイス画像ｇｄは、マスク画像ｇｍ内で留置済みのコイルの数が増えてきた場合、Ｘ線画像ｇｘからマスク画像ｇｍを減算する処理に起因して、留置中のコイルが部分的に欠損して表現される。

ステップＳＴ４０の後、ステップＳＴ５０において、処理回路９４は、図５に示すように、当該生成されたデバイス画像ｇｄの欠損部分を補間した補間画像ｇｉを生成する。欠損部分は、直線又は曲線のいずれで補間してもよい。

ステップＳＴ５０の後、ステップＳＴ６０において、処理回路９４は、当該生成された補間画像ｇｉに基づいて、上記取得されたＸ線画像ｇｘ又は上記差分画像ｇｓにおいてデバイスを強調した強調画像ｇｅを生成する。例えば図５に示すように、処理回路９４は、補間画像ｇｉを差分画像ｇｓに重畳することにより強調画像ｇｅを生成する。

ステップＳＴ６０の後、ステップＳＴ７０において、処理回路９４は、生成した強調画像ｇｅをディスプレイ９２に表示させる。このとき、処理回路９４は、取得したＸ線画像ｇｘを強調画像ｇｅと共に、ディスプレイ９２に表示させることが好ましい。但し、補間画像ｇｉをＸ線画像ｇｘに重畳して強調画像ｇｅを生成した場合には、Ｘ線画像ｇｘを省略し、強調画像ｇｅのみを表示しても構わない。術者は、Ｘ線画像ｇｘと共に、リアルタイムに表示される留置中のコイル（デバイス）を強調して示す強調画像ｇｅを視認しながらコイルの充填を進めていく。このリアルタイムでの表示は、前述同様に、Ｘ線診断装置１側でＸ線画像が順次取得される処理に並行して、医用画像処理装置９０側で当該Ｘ線画像から生成された強調画像ｇｅが順次表示される処理を意味する。

ステップＳＴ７０の後、ステップＳＴ８０において、術者は、ディスプレイ９２を視認しながらコイルの充填が完了したか否かを判断する。この判断の結果、否の場合には（ＳＴ８０：Ｎｏ）、ステップＳＴ１０に戻り、ステップＳＴ１０～ＳＴ８０の動作が継続される。一方、ステップＳＴ８０の判断の結果、コイルの充填が完了した場合には（ＳＴ８０：Ｙｅｓ）、コイル塞栓術を終了する。これにより、動脈瘤内を血栓化させて動脈瘤の破裂を防ぐことができる。

上述したように第１の実施形態によれば、被検体をＸ線により撮像したＸ線画像を取得する。当該取得されたＸ線画像と他のＸ線画像とに基づいて、当該取得されたＸ線画像に描出されたデバイスを抽出したデバイス画像を生成する。当該生成されたデバイス画像の欠損部分を補間した補間画像を生成する。このように、デバイス画像の欠損部分を補間した補間画像を生成する構成により、留置済みのデバイスの数が増えてきた場合に、デバイス画像の視認性の低下を阻止することができる。補足すると、第１の実施形態によれば、留置済みコイルの陰に隠れてしまい断片的にしか見えていなかった留置中コイルの形状の視認性を向上させることが可能となる。また、その結果として、コイル充填の精度の向上を期待することができる。

また、第１の実施形態によれば、生成された補間画像に基づいて、当該取得されたＸ線画像又は当該Ｘ線画像と当該他のＸ線画像との差分画像においてデバイスを強調した強調画像を生成してもよい。この場合、Ｘ線画像又は差分画像内のデバイスを強調した強調画像が得られるので、前述した効果に加え、Ｘ線画像又は差分画像の背景を視認することができる。

また、第１の実施形態によれば、補間画像をＸ線画像又は差分画像に重畳することにより強調画像を生成してもよい。この場合、Ｘ線画像又は差分画像内のデバイス部分の画素値を変更して強調画像を生成する処理に比べ、容易に強調画像を生成することができる。

＜第２の実施形態＞
次に、第２の実施形態に係る医用画像処理装置について説明する。以下の説明は、前述した図面と同一部分については同一符号を付してその詳しい説明を省略し、主に、異なる部分について述べる。このことは、以下の各実施形態についても同様である。

第２の実施形態は、第１の実施形態の処理回路７４，９４における補間画像生成機能７４４，９４４が学習済みモデルを用いる形態である。すなわち、処理回路７４，９４の補間画像生成機能７４４，９４４は、欠損部分を含むデバイスを示す入力画像に基づいて、当該欠損部分を補間したデバイスを示す出力画像を生成する学習済みモデルに対して、デバイス画像を入力することで補間画像を生成する。当該学習済みモデルは、ＡＩ（人工知能）ソフトウエアの一部であるプログラムモジュールとしての利用が想定される。但し、ＡＳＩＣやＦＰＧＡ等のように、学習済みモデルが処理回路７４，９４内に実装されていてもよい。本実施形態では、処理回路７４，９４が学習済みモデルをメモリ７１，９１から読み込んで動作させる場合を例に挙げて述べる。

このような学習済みモデルは、学習用データに基づいて、機械学習モデルに機械学習を行わせることにより、学習済みの機械学習モデルである学習済みモデルとして作成可能となっている。ここで、学習用データは、欠損部分を含むデバイスを示す入力画像を入力データとし、当該欠損部分を補間したデバイスを示す出力画像を出力データとした、入力データと出力データとの組である。機械学習モデルは、欠損部分を含むデバイスを示す差分画像ｇｓ又はデバイス画像ｇｄを入力とし、当該欠損部分を補間したデバイスを示す差分画像ｇｓ又は補間画像ｇｄを出力する、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数及びパラメータの組合せにより定義される。本実施形態に係る機械学習モデルは、上記の要請を満たす如何なるパラメータ付き合成関数であっても良いが、多層のネットワークモデル（以下、多層化ネットワークと呼ぶ）であるとする。多層化ネットワークを用いる学習済みモデルは、欠損部分を含むデバイスを示す入力画像を入力する入力層と、当該欠損部分を補間したデバイスを示す出力画像を出力する出力層と、入力層と出力層との間に設けられる少なくとも１層の中間層とを有する。このような多層化ネットワークとしては、例えば、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）の対象となる多層ニューラルネットワークである深層ニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＤＮＮ）を用いている。ＤＮＮとしては、例えば、再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＲＮＮ）や畳込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）を用いてもよい。この種のＣＮＮは、ＤＣＮＮ（Ｄｅｅｐ ＣＮＮ）ともいう。本実施形態では、学習済みモデルとしてＤＣＮＮを用いている。ＣＮＮについては、例えば、前述した「イアン・グッドフェロー（Ｉａｎ Ｇｏｏｄｆｅｌｌｏｗ）、外２名、「第９章 畳み込みネットワーク（Ｃｈａｐｔｅｒ ９ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ）」、ディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）、エムアイティー・プレス（ＭＩＴ ｐｒｅｓｓ）、２０１６年、ｐ．３３０－３７２、インターネット ＜ＵＲＬ：http://www.deeplearningbook.org＞」に記載されている。また、ＲＮＮは、長・短期記憶（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ：ＬＳＴＭ）を含んでもよい。以上の当該多層化ネットワークに関する説明は、以下の全ての機械学習モデル及び学習済みモデルにも該当する。

これに伴い、処理回路７４，９４は、メモリ７１，９１内のプログラムに基づき、前述した機能に加え、図７及び図８に示すように、学習済みモデルを生成するための学習制御機能７４７，９４７を実行可能となっている。学習制御機能７４７，９４７は、学習用データに基づいて、メモリ７１，９１内の機械学習モデルに機械学習を行わせることにより、学習済みの機械学習モデルである学習済みモデルを生成する。なお、学習済みモデルは、学習済みモデルが出力した成果物に対してユーザがフィードバックを与えることにより、学習済みモデルの内部アルゴリズムを更に更新する「自己学習するモデル」を含む。

ここで、学習用データは、外部からメモリ７１，９１に書き込まれた入力画像と出力画像との複数のペアであってもよい。この場合、例えば、入力画像は、欠損部分を含む直線又は曲線を示す画像としてもよく、欠損部分を含む図形を示す画像としてもよい。出力画像は、入力画像の欠損部分を補間した画像である。

あるいは、学習用データは、学習制御機能７４７，９４７により作成された入力画像と出力画像との複数のペアであってもよい。学習用データとしては、１枚の元画像から入力画像と出力画像とのペアを作成してもよく、２枚の元画像から入力画像と出力画像とのペアを作成してもよい。

１枚の元画像からペアを作成する場合、元画像としては、欠損部分を含まないデバイスを示す差分画像ｇｓとし、出力画像としては当該元画像を用い、入力画像としては当該元画像が示すデバイスに欠損部分を加工して形成した差分画像ｇｓとしてもよい。また、１枚の元画像からペアを作成する場合、上記出力画像である差分画像ｇｓからデバイスを抽出した補間画像ｇｉを出力画像とし、上記入力画像である差分画像ｇｓからデバイスを抽出したデバイス画像ｇｄを入力画像としてもよい。すなわち、学習用データとしては、欠損部分を含まない差分画像ｇｓと欠損部分を含む差分画像ｇｓとのペアを用いてもよく、デバイス画像ｇｄと補間画像ｇｉとのペアを用いてもよい。

また、２枚の元画像からペアを作成する場合、第１の元画像としては、欠損部分を含むデバイスを示す差分画像ｇｓとし、第２の元画像としては、欠損部分を含むデバイスを示す差分画像ｇｓとしてもよい。このような第１の元画像及び第２の元画像は、例えば、撮像条件を変えた撮像により取得可能となっている。この場合、入力画像としては第１の元画像である差分画像ｇｓを用い、出力画像としては第２の元画像である差分画像ｇｓとしてもよい。また同様に、２枚の元画像からペアを作成する場合、上記出力画像である差分画像ｇｓからデバイスを抽出した補間画像ｇｉを出力画像とし、上記入力画像である差分画像ｇｓからデバイスを抽出したデバイス画像ｇｄを入力画像としてもよい。

また、メモリ７１，９１は、前述した構成に加え、機械学習モデル及び学習済みモデルを記憶する。また、メモリ７１，９１内のプログラムは、処理回路７４，９４のプロセッサにより実行され、前述した機能に加え、学習制御機能７４７，９４７をコンピュータに実現させる。但し、補間画像生成機能７４４，９４４が学習済みモデルを用いる場合でも、機械学習モデルの記憶とその学習制御機能７４７，９４７は、必須ではなく省略してもよい。補足すると、学習済みモデルを用いる場合、医用画像処理装置７７，９０が機械学習モデルの学習により学習済みモデルを生成する必要はなく、外部から取得した学習済みモデルを用いてもよい。例えば、メモリ７１、９１は、Ｘ線診断装置１の工場出荷前に予め学習済みモデルを記憶してもよく、あるいはＸ線診断装置１の工場出荷後に、図示しないサーバ装置などから取得した学習済みモデルを記憶してもよい。また、メモリ７１，９１は、ＡＩに基づく学習済みモデルに限らず、ＡＩに基づかない既存の補間画像生成プログラムを記憶してもよい。このことは、以下の各実施形態でも同様である。

他の構成は、第１の実施形態と同様である。

次に、以上のように構成された医用画像処理装置の動作について図９のフローチャート並びに図１０及び図１１の模式図を用いて説明する。以下の説明は、機械学習モデルの学習制御に関する動作（図９及び図１０）及び学習済みモデルを用いた補間画像の生成に関する動作（図９及び図１１）の順に述べる。

（学習制御に関する動作：図９及び図１０）
始めに、ステップＳＴ１において、処理回路９４は、予め準備された学習データセットから機械学習に用いる量の学習用データを順次、用いて機械学習モデルｍｄ１に機械学習を行わせる。このとき、機械学習モデルｍｄ１は、学習用データのうち、欠損部分を含む直線又は曲線を示す入力画像に基づいて、当該直線又は曲線に含まれる欠損部分を補間した出力画像を出力する。また、処理回路９４は、機械学習モデルｍｄ１から出力された出力画像が、学習用データ内の出力画像に近づくように、機械学習モデルｍｄ１のパラメータ等を調整し、機械学習モデルｍｄ１に機械学習を行う。機械学習の終了により、処理回路９４は、パラメータ等を調整済みの機械学習モデルｍｄ１を得る。

続いて、処理回路９４は、転移学習を行う。すなわち、処理回路９４は、学習用データのうち、欠損部分を含むデバイスを示すデバイス画像ｇｄを機械学習モデルｍｄ１に入力し、当該欠損部分を補間した補間画像を機械学習モデルｍｄ１から出力させる。また、処理回路９４は、機械学習モデルｍｄ１から出力された補間画像が、学習用データ内の補間画像ｇｉに近づくように、機械学習モデルｍｄ１のパラメータ等を調整し、機械学習モデルｍｄ１に機械学習を行う。機械学習の終了により、処理回路９４は、パラメータ等を調整済みの機械学習モデルｍｄ１を得る。

このような転移学習により、処理回路９４は、学習済みの機械学習モデルｍｄ１として、学習済みモデルｍｄ２を作成する。作成された学習済みモデルｍｄ２は、欠損部分を含むデバイスを示す入力画像に基づいて、当該欠損部分を補間したデバイスを示す出力画像を生成するように機能付けられている。処理回路９４は、作成した学習済みモデルｍｄ２をメモリ９１に保存する。これにより、ステップＳＴ１が終了する。なお、転移学習は、必須ではなく、省略してもよい。すなわち、機械学習のうち、欠損部分を含む直線又は曲線を示す入力画像と、当該欠損部分を補間した出力画像とを用いる前半のサブステップは、省略してもよい。この場合、機械学習としては、デバイス画像ｇｄ及び補間画像ｇｉなどの実データセットを用いる後半のサブステップのみが実行される。なお、後半のサブステップとしては、デバイス画像ｇｄ及び補間画像ｇｉに代えて、欠損部分を含む差分画像ｇｓと、当該欠損部分を補間した差分画像ｇｓとを用いてもよい。

（補間画像の生成に関する動作：図９及び図１１）
ステップＳＴ１の終了後、前述同様にステップＳＴ１０～ＳＴ４０が実行され、欠損部分を含むデバイス画像ｇｄが生成される。

ステップＳＴ４０の後、ステップＳＴ５０において、処理回路９４は、欠損部分を含むデバイスを示す入力画像に基づいて、当該欠損部分を補間したデバイスを示す出力画像を生成する学習済みモデルｍｄ２に対して、デバイス画像ｇｄを入力することで補間画像ｇｉを生成する。

ステップＳＴ５０の後、ステップＳＴ６０において、処理回路９４は、当該生成された補間画像ｇｉに基づいて、上記取得されたＸ線画像ｇｘ又は上記差分画像ｇｓにおいてデバイスを強調した強調画像ｇｅを生成する。例えば図１１の右側中段に示すように、処理回路９４は、補間画像ｇｉを差分画像ｇｓに重畳することにより強調画像ｇｅを生成する。あるいは、処理回路９４は、例えば図１１の右側下段に示すように、補間画像ｇｉを着色し、当該着色した補間画像ｇｉをＸ線画像ｇｘに重畳することにより強調画像ｇｅを生成してもよい。

ステップＳＴ６０の後、前述同様にステップＳＴ７０が実行され、強調画像ｇｅがディスプレイ９２に表示される。なお、ステップＳＴ４０～ＳＴ７０の処理をＸ線透視の収集間隔以内に行うことで、リアルタイムで、術者は、補間されたコイルを強調画像ｇｅ上で観察することができる。

上述したように第２の実施形態によれば、欠損部分を含むデバイスを示す入力画像に基づいて、当該欠損部分を補間したデバイスを示す出力画像を生成する学習済みモデルに対して、デバイス画像を入力することで補間画像を生成する。これにより、第１の実施形態の効果に加え、機械学習の精度に応じて、補間画像の視認性の向上を図ることができる。また、機械学習モデルを機械学習させるときに転移学習を用いる場合には、学習用データとして準備する差分画像、デバイス画像及び補間画像などといった実データセット数を低減させることが可能となる。

＜第３の実施形態＞
第３の実施形態は、第１及び第２の実施形態の変形例であり、処理回路７４，９４における補間画像生成機能７４４，９４４が欠損部分を曲線で補間する形態である。

すなわち、処理回路７４，９４の補間画像生成機能７４４，９４４は、デバイス画像ｇｄ内の欠損部分を曲線で補間することにより補間画像ｇｉを生成する。具体的には例えば、処理回路７４，９４の補間画像生成機能７４４，９４４は、デバイス画像ｇｄの収集順に、当該デバイス画像ｇｄ内の欠損部分を曲線で補間する補間処理を実行する。

他の構成は、第１及び第２の実施形態と同様である。

以上のような構成によれば、図１２に示すように、ステップＳＴ５０において、処理回路９４は、デバイス画像ｇｄ内の欠損部分を曲線で補間することにより補間画像ｇｉを生成する。これにより、欠損部分を曲線で補間する構成により、実際のデバイス（コイル）の曲線形状とも整合し易くなるので、第１又は第２の実施形態のうち、直線で補間した場合に比べ、補間画像の視認性を向上させることができる。また、収集したデバイス画像の順に、当該デバイス画像内の欠損部分を補間するため、欠損部分を実際のデバイスとは異なる形状に補間するエラーを抑制でき、補間画像の精度の向上を図ることができる。

＜第４の実施形態＞
第４の実施形態は、第１乃至第３の各実施形態の変形例であり、処理回路７４，９４における補間画像生成機能７４４，９４４が補間する領域を、過去の補間画像におけるデバイスを示す画素の周辺の領域に制限する形態である。

具体的には、処理回路７４，９４の補間画像生成機能７４４，９４４は、過去の補間画像ｇｉにおけるデバイスの位置に基づいてデバイス画像ｇｄ内のデバイス近傍領域を設定し、当該設定したデバイス近傍領域内の前記欠損部分を補間することにより、新たな補間画像ｇｉを生成する。より具体的には、補間画像生成機能７４４，９４４は、過去の補間画像ｇｉにおけるデバイスを示す画素からの距離が閾値以下であるデバイス近傍領域に基づいてデバイス画像ｇｄ内のデバイス近傍領域を設定する。当該距離が閾値以下であるデバイス近傍領域は、例えば、過去に抽出及び補間されたデバイスを示す画素からの距離が閾値以下（マージン以下）の領域とすればよく、この領域をデバイス画像に割り当てて、補間処理の実行範囲を示すデバイス近傍領域とすればよい。例えば、デバイスを示す画素をｐ１とした場合、当該画素ｐ１を中心とした、一辺が（２ｎ＋１）画素の正方形領域をデバイス近傍領域としてもよい。この場合、「ｎ」が閾値に相当する。あるいは、当該画素ｐ１を中心とした、半径ｍ画素の略円形領域をデバイス近傍領域としてもよい。この場合、「ｍ」が閾値に相当する。ここで、閾値の大きさについては、例えば、ＳＩＤや天板高さに基づいて決定してもよい。すなわち、Ｃアーム９、Ωアーム１９、寝台２５等の機構系の配置に基づいて、閾値の大きさを決定することにより、幾何的拡大率に応じた適切なデバイス近傍領域を設定できる。また、「デバイス近傍領域」の用語は、「デバイス周辺領域」又は「補間対象領域」などのように、適宜、別の名称に読み替えてもよい。

他の構成は、第１乃至第３の各実施形態と同様である。

以上のような構成によれば、図１３に示すように、ステップＳＴ５０において、処理回路９４は、時系列に沿った各フレームのデバイス画像ｇｄの欠損部分を補間し、各フレームの補間画像ｇｉを生成する。ここで、現在のフレームをＴとして説明する。

処理回路９４は、フレームＴ－１の過去の補間画像ｇｉ（Ｔ－１）におけるデバイスを示す画素からの距離が閾値以下であるデバイス近傍領域ｒ１に基づいて、フレームＴの現在のデバイス画像ｇｄ内のデバイス近傍領域ｒ１を設定する。具体的には、過去の補間画像ｇｉ（Ｔ－１）内のデバイス近傍領域ｒ１を、現在のデバイス画像ｇｄ（Ｔ）にデバイス近傍領域ｒ１として当てはめる。

しかる後、処理回路９４は、現在のデバイス画像ｇｄ（Ｔ）において、デバイス近傍領域ｒ１内の欠損部分を補間することにより、新たな補間画像ｇｉ（Ｔ）を生成する。これにより、現在のデバイス画像ｇｄ（Ｔ）にノイズｎｓがある場合でも、ノイズｎｓを無視して欠損部分を補間するので、第１乃至第３の各実施形態の効果に加え、より一層、補間画像の視認性の低下を阻止することができる。

補足すると、第１の実施形態のようにデバイス近傍領域ｒ１を用いない場合、図１４に示すように、現在のデバイス画像ｇｄ（Ｔ）にノイズｎｓがあると、ノイズｎｓを含めて欠損部分を補間する。この場合、現在の補間画像ｇｉ（Ｔ）内のデバイス形状が大きく歪んでしまい、隣接フレーム間でデバイス形状が大きく変化し、補間画像の視認性が低下する可能性がある。

＜第５の実施形態＞
第５の実施形態は、第１乃至第３の各実施形態の変形例であり、処理回路７４，９４における補間画像生成機能７４４，９４４が補間画像を修正する形態である。

具体的には、処理回路７４，９４の補間画像生成機能７４４，９４４は、生成した補間画像ｇｉを、過去の補間画像ｇｉに整合するように修正することにより、新たな補間画像ｇｉを生成する。

他の構成は、第１乃至第３の各実施形態と同様である。

以上のような構成によれば、図１５に示すように、ステップＳＴ５０において、処理回路９４は、時系列に沿った各フレームのデバイス画像ｇｄの欠損部分を補間し、各フレームの補間画像ｇｉを生成する。ここで、現在のフレームをＴとして説明する。

処理回路９４は、フレームＴの現在のデバイス画像ｇｄ（Ｔ）の欠損部分を補間した補間画像ｇｉ（Ｔ）を生成する。このとき、現在のデバイス画像ｇｄ（Ｔ）にノイズｎｓがあると、ノイズｎｓを含めて欠損部分を補間するので、図１５の中央に示すように、歪んだデバイス形状の現在の補間画像ｇｉ（Ｔ）を生成する。この補間画像ｇｉ（Ｔ）は、過去の補間画像ｇｉ（Ｔ－１）との整合を確認していない段階のため、ディスプレイ９２に表示しない。

次に、処理回路９４は、生成した現在の補間画像ｇｉ（Ｔ）と、過去の補間画像ｇｉ（Ｔ－１）とを位置合わせして比較し、対応の取れなかった断片領域ｒ_ｎｓを無視して、再度、補間処理を実行する。ここで、対応を取る手法としては、例えば、ＤＰ（Ｄｙｎａｍｉｃ ｐｒｏｇｒａｍｍｉｎｇ）マッチング等の任意のマッチング手法が、適宜、使用可能となっている。いずれにしても、再度の補間処理により、処理回路９４は、新たな補間画像ｇｉ（Ｔ＋１）を生成する。

このように、生成した補間画像ｇｉを、過去の補間画像ｇｉに整合するように修正することにより、新たな補間画像ｇｉを生成するので、第１乃至第３の各実施形態の効果に加え、より一層、補間画像の視認性の低下を阻止することができる。

＜第６の実施形態＞
第６の実施形態は、第４及び第５の各実施形態を組み合わせた例であり、処理回路７４，９４における補間画像生成機能７４４，９４４が、補間画像を修正する処理と、補間する領域を設定する処理とを並列に実行し、好ましい方の補間画像を出力する形態である。

具体的には、処理回路７４，９４の補間画像生成機能７４４，９４４は、第１生成処理、第２生成処理及び出力処理を実行する。ここで、第１生成処理は、生成した補間画像を、過去の補間画像に整合するように修正することにより、第１補間画像を生成する。第２生成処理は、過去の補間画像におけるデバイスの位置に基づいてデバイス画像内のデバイス近傍領域を設定し、当該設定したデバイス近傍領域内の欠損部分を補間することにより、第２補間画像を生成する。より具体的には、補間画像生成機能７４４，９４４は、過去の補間画像におけるデバイスを示す画素からの距離が閾値以下であるデバイス近傍領域に基づいてデバイス画像内のデバイス近傍領域を設定する。出力処理は、第１補間画像と第２補間画像とのうち、過去の補間画像に近い方の補間画像を、生成した補間画像として出力する。ここで、補間画像生成機能７４４，９４４は、第１生成部、第２生成部及び出力部の一例である。

他の構成は、第１乃至第３の各実施形態と同様である。

以上のような構成によれば、図１６に示すように、ステップＳＴ５０において、処理回路９４は、ステップＳＴ５１Ａ，ＳＴ５２Ａからなる第１生成処理のスレッド（＃１）と、ステップＳＴ５１Ｂ，ＳＴ５２Ｂからなる第２生成処理のスレッド（＃２）とを並列に実行する。例えば、処理回路９４は、ステップＳＴ５１Ａ、ＳＴ５１Ｂ、ＳＴ５２Ａ、ＳＴ５２Ｂの順に各ステップを実行することにより、２つのスレッドを並列に実行する。

すなわち、スレッド（＃１）のステップＳＴ５１Ａにおいて、処理回路９４は、デバイス画像ｇｄから補間画像ｇｉを生成する。

スレッド（＃２）のステップＳＴ５１Ｂにおいて、処理回路９４は、過去の補間画像におけるデバイスを示す画素からの距離が閾値以下であるデバイス近傍領域に基づいて、デバイス画像ｇｄのデバイス近傍領域を設定する。

スレッド（＃１）のステップＳＴ５２Ａにおいて、処理回路９４は、ステップＳＴ５１Ａで生成した補間画像ｇｉを過去の補間画像ｇｉに基づいて修正し、第１補間画像ｇｉを生成する。

スレッド（＃２）のステップＳＴ５２Ｂにおいて、処理回路９４は、ステップＳＴ５１Ｂで設定したデバイス近傍領域内で補間を実行し、第２補間画像ｇｉを生成する。

なお、これに限らず、処理回路９４が２つのプロセッサを有する場合には、第１プロセッサがスレッド（＃１）のステップＳＴ５１Ａ，ＳＴ５２Ａを順に実行し、これに並行して、第２プロセッサがスレッド（＃２）のステップＳＴ５１Ｂ，ＳＴ５２Ｂを順に実行すればよい。

いずれにしても２つのスレッドの実行後、ステップＳＴ５３において、処理回路９４は、第１補間画像ｇｉと第２補間画像ｇｉとのうち、過去の補間画像に近い方の補間画像を、生成した補間画像として出力する。以下、前述同様に、ステップＳＴ６０以降の処理が実行される。

従って、第６の実施形態によれば、第４の実施形態の補間する領域を設定する処理と、第５の実施形態の補間画像を修正する処理とを並列に実行し、好ましい方の補間画像を出力するので、第４又は第５の実施形態の効果を交替的に得ることができる。

＜第７の実施形態＞
第７の実施形態は、第２及び第３の各実施形態を組み合わせた例であり、処理回路７４，９４における補間画像生成機能７４４，９４４が、学習済みモデルを用いる処理と、欠損部分を曲線で補間する処理とを並列に実行し、好ましい方の補間画像を出力する形態である。

具体的には、処理回路７４，９４の補間画像生成機能７４４，９４４は、第３生成処理、第４生成処理及び出力処理を実行する。ここでいう「第３生成処理」及び「第４生成処理」の名称は、前述した「第１生成処理」及び「第２生成処理」とは異なる処理を表す形式的な名称であり、先行する第１生成処理及び第２生成処理を持たない。言い換えると、「第３生成処理」及び「第４生成処理」の名称は、他の名称に変更してもよい。このことは、「第３補間画像」及び「第４補間画像」の名称についても同様である。

ここで、第３生成処理は、欠損部分を含むデバイスを示す入力画像に基づいて、当該欠損部分を補間したデバイスを示す出力画像を生成する学習済みモデルに対して、デバイス画像を入力することで第３補間画像を生成する。第４生成処理は、欠損部分を曲線で補間することにより第４補間画像を生成する。出力処理は、第３補間画像と第４補間画像とのうち、過去の補間画像に近い方の補間画像を、生成した補間画像として出力する。ここで、補間画像生成機能７４４，９４４は、第３生成部、第４生成部及び出力部の一例である。

他の構成は、第１乃至第３の各実施形態と同様である。

以上のような構成によれば、図１７に示すように、ステップＳＴ５０において、処理回路９４は、ステップＳＴ５１Ｃ，ＳＴ５２Ｃからなる第１生成処理のスレッド（＃１）と、ステップＳＴ５２Ｄからなる第２生成処理のスレッド（＃２）とを並列に実行する。例えば、処理回路９４は、ステップＳＴ５１Ｃ、ＳＴ５２Ｃの処理と、ステップＳＴ５２Ｄの処理とを並列に実行することにより、２つのスレッドを並列に実行する。

すなわち、スレッド（＃１）のステップＳＴ５１Ｃにおいて、処理回路９４は、デバイス画像を学習済みモデルに入力する。

スレッド（＃１）のステップＳＴ５２Ｃにおいて、処理回路９４は、ステップＳＴ５１Ｃで入力したデバイス画像に基づいて、学習済みモデルにより第３補間画像ｇｉを生成する。

一方、スレッド（＃２）のステップＳＴ５２Ｄにおいて、処理回路９４は、デバイス画像の欠損部分を曲線で補間して第４補間画像ｇｉを生成する。

なお、これに限らず、処理回路９４が２つのプロセッサを有する場合には、第１プロセッサがスレッド（＃１）のステップＳＴ５１Ｃ，ＳＴ５２Ｃを順に実行し、これに並行して、第２プロセッサがスレッド（＃２）のステップＳＴ５２Ｄを実行すればよい。

いずれにしても２つのスレッドの実行後、ステップＳＴ５３Ｄにおいて、処理回路９４は、第３補間画像ｇｉと第４補間画像ｇｉとのうち、過去の補間画像に近い方の補間画像を、生成した補間画像として出力する。以下、前述同様に、ステップＳＴ６０以降の処理が実行される。

従って、第７の実施形態によれば、第２の実施形態の学習済みモデルを用いる処理と、第３の実施形態の欠損部分を曲線で補間する処理とを並列に実行し、好ましい方の補間画像を出力するので、第２又は第３の実施形態の効果を交替的に得ることができる。

＜第８の実施形態＞
第８の実施形態は、第２又は第７の実施形態の変形例であり、学習済みモデルに入力されるデバイス画像ｇｄを加工する形態である。

具体的には、処理回路７４，９４の補間画像生成機能７４４，９４４は、過去の補間画像ｇｉにおけるデバイスの位置に基づいてデバイス画像内でデバイス近傍領域とは異なる領域の画素値を実質的に０に修正し、当該修正後のデバイス画像を学習済みモデルに入力する。より具体的には、補間画像生成機能７４４，９４４は、過去の補間画像ｇｉにおけるデバイスを示す画素からの距離が閾値以下であるデバイス近傍領域に基づいてデバイス画像内のデバイス近傍領域を設定する。当該デバイス近傍領域は、例えば、過去に抽出及び補間されたデバイスを示す画素からの距離が閾値以下（マージン以下）の領域として、設定すればよい。閾値の大きさについては、前述同様に、第１ＳＩＤ、第２ＳＩＤ、天板２４の高さに基づいて決定してもよい。すなわち、Ｃアーム９、Ωアーム１９、寝台２５等の機構系の配置に基づいて、閾値の大きさを決定することにより、幾何的拡大率に応じた適切なデバイス近傍領域を設定できる。また、ここでいう「実質的に０」は、ゼロ値でもよく、差分画像ｇｓの背景値でもよい。

他の構成は、第２又は第７の実施形態と同様である。

以上のような構成によれば、図１８に示すように、ステップＳＴ５０（又はＳＴ５１Ｃ，ＳＴ５２Ｃ）において、処理回路９４は、時系列に沿った各フレームのデバイス画像ｇｄに対し、過去の補間画像ｇｉに基づいて当該デバイス画像ｇｄ内でデバイス近傍領域ｒ１とは異なる領域の画素値を実質的に０に修正する。しかる後、処理回路９４は、当該修正後のデバイス画像ｇｄを学習済みモデルに入力することで、各フレームの補間画像ｇｉを生成する。ここで、現在のフレームをＴとして説明する。

処理回路９４は、フレームＴ－１の過去の補間画像ｇｉ（Ｔ－１）に基づいて、フレームＴの現在のデバイス画像ｇｄ内のデバイス近傍領域ｒ１以外の領域の画素値を０値に修正する。具体的には、過去の補間画像ｇｉ（Ｔ－１）内のデバイス近傍領域ｒ１を、現在のデバイス画像ｇｄ（Ｔ）にデバイス近傍領域ｒ１として当てはめ、デバイス近傍領域ｒ１とは異なる領域の画素値を実質的に０に修正し、修正後のデバイス画像ｇｄ（Ｔ）を得る。

しかる後、処理回路９４は、修正後のデバイス画像ｇｄ（Ｔ）を学習済みモデルに入力することで、デバイス近傍領域ｒ１内の欠損部分を補間することにより、新たな補間画像ｇｉ（Ｔ）を生成する。これにより、現在のデバイス画像ｇｄ（Ｔ）にノイズｎｓがある場合でも、ノイズｎｓの画素を０値に修正して欠損部分を補間するので、第２又は第７の実施形態の効果に加え、学習済みモデルの精度の向上を図ることができる。

＜第９の実施形態＞
第９の実施形態は、第１乃至第８の各実施形態の変形例であり、前述した補間画像ｇｉ又は強調画像ｇｅに対し、血管の輪郭を示す輪郭画像を重畳表示する形態である。以下の説明は、第１の実施形態に組み合わせた場合を例に挙げて述べるが、これに限らず、第２乃至第８の実施形態に組み合わせてもよい。

これに伴い、処理回路７４，９４の画像処理機能７４２，９４２は、造影剤が注入された被検体をＸ線により撮像した造影画像を更に取得し、当該造影画像内の血管の輪郭を抽出した輪郭画像を生成する。例えば、処理回路７４，９４は、時系列に沿って、造影剤を用いて得られたＸ線画像から、造影剤を用いずに得られたＸ線画像ｇｘを減算処理してＤＳＡ画像を得る。また、処理回路７４，９４は、時系列のＤＳＡ画像から造影箇所の加算画像を求め、当該加算された造影箇所の輪郭を抽出することにより、血管の輪郭を示す輪郭画像を生成する。メモリ７１，９１及び画像処理機能７４２，９４２は、医用画像処理装置７７，９０における輪郭抽出部の一例である。

また、処理回路７４，９４の表示制御機能７４６は、当該輪郭画像と補間画像とを重畳してディスプレイ７２，９２に表示させる。

他の構成は、第１乃至第８の各実施形態と同様である。

次に、以上のように構成された医用画像処理装置の動作について図１９のフローチャート及び図２０の模式図を用いて説明する。以下の動作は、第１の実施形態に組み合わせた場合を例に挙げて述べるが、これに限らず、第２乃至第８の実施形態に組み合わせてもよい。

ステップＳＴ２において、処理回路９４は、図２０に示すように、造影剤を用いて得られたＸ線画像から、造影剤を用いずに得られたＸ線画像ｇｘを減算処理してＤＳＡ画像ｇ_ｄｓａを得る。また、処理回路７４，９４は、時系列のＤＳＡ画像ｇ_ｄｓａから造影箇所を加算した加算画像ｇ_ａを求め、当該加算された造影箇所の輪郭を抽出することにより、血管の輪郭を示す輪郭画像ｇｃを生成する。

ステップＳＴ２の後、前述同様にステップＳＴ１０～ＳＴ５０が実行され、デバイス画像ｇｄから補間画像ｇｉが生成される。

ステップＳＴ５０の後、ステップＳＴ７１において、処理回路９４は、ステップＳＴ２で生成された輪郭画像ｇｃと、ステップＳＴ５０で生成された補間画像ｇｉとを重畳してディスプレイ９２に表示させる。なお、輪郭画像ｇｃは、補間画像ｇｉに限らず、強調画像ｇｅに重畳して表示してもよい。

以下、前述同様に、ステップＳＴ８０以降の処理が実行される。

上述したように第９の実施形態によれば、造影剤が注入された被検体をＸ線により撮像した造影画像を更に取得する。当該造影画像内の血管の輪郭を抽出した輪郭画像を生成する。当該輪郭画像と補間画像とを重畳して表示部（ディスプレイ）に表示させる。これにより、第１乃至第８の各実施形態の効果に加え、輪郭画像を重畳させる構成により、補間画像又は強調画像の視認性の向上を図ることができる。

補足すると、例えば図５及び図６に示したように、補間処理により、差分画像ｇｓ内にあるアーチファクトが削除され、補間画像ｇｉには、留置中のデバイスのみが示される。このような補間画像ｇｉを表示する場合には、デバイスの挿入先の位置を把握しにくいため、過去のＤＳＡ画像ｇ_ｄｓａ画像から得た輪郭画像ｇｃを重畳表示することで、視認性を向上させることができる。

＜第１０の実施形態＞
第１０の実施形態は、第１乃至第８の各実施形態の変形例であり、前述した補間画像ｇｉ又は強調画像ｇｅに対し、過去の補間画像を重畳表示する形態である。

これに伴い、処理回路７４，９４の表示制御機能７４６は、補間画像と、当該補間画像とは異なる色を用いた過去の補間画像とを重畳してディスプレイ７２，９２に表示させる。

他の構成は、第１乃至第８の各実施形態と同様である。

次に、以上のように構成された医用画像処理装置の動作について図２１のフローチャート及び図２２の模式図を用いて説明する。

いま、前述同様にステップＳＴ１０～ＳＴ５０が実行され、デバイス画像ｇｄから補間画像ｇｉが生成されたとする。

ステップＳＴ５０の後、ステップＳＴ７２において、処理回路９４は、互いに色を変えた過去の補間画像を準備する。例えば、処理回路９４は、１本のコイルを留置完了する毎に、入力インタフェース９３の操作に応じて、留置完了したコイルの補間画像を、過去の補間画像としてメモリ９１に保存しておく。そして、処理回路９４は、メモリ９１内の過去の補間画像を読み出して、互いに色を変える。図２２に示す例では、処理回路９４は、３枚の過去の補間画像ｇｉを読み出して、過去の補間画像ｇｉ内のデバイス部分をそれぞれ赤色、緑色及び青色に着色することにより、着色後の過去の補間画像ｇ_ｒ，ｇｉ_ｇ，ｇｉ_ｂを準備する。

ステップＳＴ７２の後、ステップＳＴ７３において、処理回路９４は、着色後の過去の補間画像ｇ_ｒ，ｇｉ_ｇ，ｇｉ_ｂを合成することにより、合成画像ｇ_ｒｇｂを生成する。

ステップＳＴ７３の後、ステップＳＴ７４において、処理回路９４は、生成された合成画像ｇ_ｒｇｂと、ステップＳＴ５０で生成された補間画像ｇｉとを重畳してディスプレイ９２に表示させる。なお、輪郭画像ｇｃは、補間画像ｇｉに限らず、強調画像ｇｅに重畳して表示してもよい。

以下、前述同様に、ステップＳＴ８０以降の処理が実行される。

上述したように第１０の実施形態によれば、補間画像と、当該補間画像とは異なる色を用いた過去の補間画像とを重畳して表示部（ディスプレイ）に表示させる。これにより、第１乃至第８の各実施形態の効果に加え、過去の補間画像を重畳させる構成により、留置済みのデバイス留置状況についても、術者に視認させることができる。補足すると、補間処理により、差分画像ｇｓ内にあるアーチファクトが削除され、補間画像ｇｉには、留置中のデバイスのみが示される。このような補間画像ｇｉを表示する場合には、デバイスの挿入先の位置を把握しにくいため、過去の補間画像ｇｉを重畳表示することで、手技の精度の向上を図ることができる。

なお、第１０の実施形態は、第９の実施形態と同時に実行してもよい。すなわち、処理回路７４，９４の表示制御機能７４６，９４６は、輪郭画像と、補間画像と、当該補間画像とは異なる色を用いた過去の補間画像とを重畳してディスプレイ７２，９２に表示させてもよい。この場合、第９及び第１０の実施形態の効果を同時に得ることができる。

＜第１１の実施形態＞
第１１の実施形態は、第１乃至第１０の各実施形態の変形例であり、Ｘ線画像の撮像時の幾何学的情報と、他のＸ線画像（マスク画像ｇｍ）に対応する幾何学的情報とが一致する場合にデバイス画像を生成する形態である。以下の説明は、第９の実施形態に組み合わせた場合を例に挙げて述べるが、これに限らず、第１乃至第８の各実施形態又は第１０の実施形態に組み合わせてもよい。

これに伴い、メモリ７１，９１は、図２３に示すように、Ｘ線画像ｇｘを撮像するＸ線診断装置１における他のＸ線画像（マスク画像ｇｍ）を撮像したときの幾何学的情報と、他のＸ線画像（マスク画像ｇｍ）とを対応付けて記憶する。ここで、幾何学的情報は、Ｃアーム９の場合、例えば、Ｃアーム９による撮像角度や前述した第１ＳＩＤが使用可能となっている。Ωアーム１９の場合、同様に、Ωアーム１９による撮像角度や前述した第２ＳＩＤが使用可能となっている。なお、マスク画像ｇｍと、Ｘ線診断装置１の幾何学的情報とは、例えば、処理回路７４，９４の画像処理機能７４２，９４２により、互いに対応付けてメモリ７１，９１に書き込まれる。また、メモリ７１，９１は、さらに、当該幾何学的情報及びマスク画像ｇｍと、過去の補間画像ｇｉと、輪郭画像ｇｃとを対応付けて記憶してもよい。同様に、当該幾何学的情報及びマスク画像ｇｍと、過去の補間画像ｇｉと、輪郭画像ｇｃとは、例えば、処理回路７４，９４の画像処理機能７４２，９４２により、互いに対応付けてメモリ７１，９１に書き込まれる。なお、輪郭画像ｇｃを用いない第１乃至第８の各実施形態に組み合わせる場合、輪郭画像ｇｃは省略される。メモリ７１，９１は、記憶部の一例である。

また、処理回路７４，９４のデバイス画像生成機能７４３，９４３は、Ｘ線画像ｇｘが撮像されたときのＸ線診断装置の幾何学的情報と、当該記憶されたマスク画像ｇｍ（他のＸ線画像）に対応する幾何学的情報とが一致する場合に、当該Ｘ線画像ｇｘと当該マスク画像ｇｍとに基づいてデバイス画像ｇｄを生成する。補足すると、当該幾何学的情報が一致しない場合には、Ｘ線画像ｇｘとマスク画像ｇｍとの差分画像ｇｓにアーチファクトが発生するので、差分画像ｇｓ（やデバイス画像ｇｄ）を生成しない。なお、差分画像ｇｓやデバイス画像ｇｄを生成しない場合、例えば、処理回路７４，９４の表示制御機能７４６，９４６は、取得したＸ線画像ｇｘをディスプレイ７２，９２に表示させる。

他の構成は、第９の実施形態と同様である。

次に、以上のように構成された医用画像処理装置の動作について図２４のフローチャートを用いて説明する。

いま、戦術同様にステップＳＴ２が実行され、輪郭画像ｇｃが生成される。

ステップＳＴ２の後、ステップＳＴ３において、処理回路９４は、輪郭画像ｇｃと、輪郭画像ｇｃに対応するＸ線画像を撮像したときのＸ線診断装置１の幾何学的情報とを対応付けてメモリ９１に保存する。この例では、幾何学的情報は、Ｃアームによる撮像角度であるとする。

ステップＳＴ３の後、前述同様にステップＳＴ１０～ＳＴ２０が実行され、取得したＸ線画像をマスク画像にするか否かが判定される。ここで、Ｘ線画像をマスク画像にすることを判定した場合、前述同様に、ステップＳＴ３０に移行する。一方、判定結果が否の場合、前述とは異なり、ステップＳＴ３２に移行する。

ステップＳＴ２０の後、ステップＳＴ３０～ＳＴ３１において、処理回路９４は、ステップＳＴ１０で取得したＸ線画像をマスク画像として取得し、当該マスク画像と、当該マスク画像を撮像したときの幾何学的情報とを対応付けてメモリ９１に保存する。

ステップＳＴ３１の後、ステップＳＴ３２において、処理回路９４は、ステップＳＴ１０で取得されたＸ線画像ｇｘが撮像されたときのＸ線診断装置の幾何学的情報と、メモリ９１内のマスク画像ｇｍに対応する幾何学的情報とが一致するか否かを判定する。ステップＳＴ３２の判定の結果、２つの幾何学的情報が一致した場合、処理回路９４は、前述同様に、ステップＳＴ４０以降の処理を実行する。なお、ステップＳＴ４０以降の処理において、処理回路９４は、当該幾何学的情報に基づいてメモリ９１を検索し、得られた輪郭画像ｇｃをステップＳＴ７１の重畳表示に用いてもよい。また、ステップＳＴ７１の重畳表示中、ステップＳＴ１０で取得されるＸ線画像（ライブ画像）に対し、拡大処理、縮小処理、回転処理又は並進処理を施したとき、対応するマスク画像ｇｍ及び輪郭画像ｇｃについても同様の拡大処理、縮小処理、回転処理又は並進処理を施す。これにより、拡大処理、縮小処理、回転処理又は並進処理に対応する補間画像及び輪郭画像を重畳表示させる。なお、ここでいう拡大処理、縮小処理としては、画像処理による方法と、ＳＩＤを変える方法とが適宜、使用可能となっている。ＳＩＤを変える場合には、ステップＳＴ３２の判定に用いる幾何学的情報を撮像角度とし、ＳＩＤを判定に用いない。また、回転処理は、撮影角度を一定とした状態における平面上の回転を意味する。並進処理としては、天板２４やＣアーム９の平行移動による方法と、画像処理による方法とが適宜、使用可能となっている。すなわち、前述したＸ線画像（ライブ画像）に対する拡大処理、縮小処理、回転処理又は並進処理に対応する補間画像及び輪郭画像の重畳表示は、撮像角度が一定である場合（ＳＴ３２；Ｙｅｓ）に実行される。言い換えると、撮像角度を変えた場合には、ステップＳＴ４０～ＳＴ７１は実行されず、ステップＳＴ３３に移行する。

一方、ステップＳＴ３２の判定の結果、否の場合、ステップＳＴ３３に移行する。ここで、否の場合とは、マスク画像ｇｍの撮像の後、Ｃアーム９による撮像角度又は第１ＳＩＤを変更した状況に対応する。例えば、手技によっては、一時的にＣアーム９による撮像角度又は第１ＳＩＤを変更した後、元の撮像角度や第１ＳＩＤに戻す場合がある。このように、一時的に幾何学的情報を変更した場合には、ステップＳＴ３３に移行することにより、ステップＳＴ４０～ＳＴ７１を実行しない。

ステップＳＴ３２の後、ステップＳＴ３３において、処理回路９４は、ステップＳＴ１０で取得したＸ線画像をディスプレイ９２に表示させ、ステップＳＴ８０に移行する。

以下、前述同様に、ステップＳＴ８０以降の処理が実行される。

上述したように第１１の実施形態によれば、取得部における撮像時の幾何学的情報と、他のＸ線画像とを対応付けて記憶する。Ｘ線画像が取得されたときの取得部の幾何学的情報と、当該記憶された他のＸ線画像に対応する幾何学的情報とが一致する場合に、当該Ｘ線画像と当該他のＸ線画像とに基づいてデバイス画像を生成する。このように、撮像時の幾何学的情報が同一であるＸ線画像と他のＸ線画像とに基づいてデバイス画像を生成するので、補間画像の元となるデバイス画像に対し、アーチファクトの発生を抑制することができる。

以上説明した少なくとも一つの実施形態によれば、被検体をＸ線により撮像したＸ線画像を取得する。当該取得されたＸ線画像と他のＸ線画像とに基づいて、当該取得されたＸ線画像に描出されたデバイスを抽出したデバイス画像を生成する。当該生成されたデバイス画像の欠損部分を補間した補間画像を生成する。このように、デバイス画像の欠損部分を補間した補間画像を生成する構成により、留置済みのデバイスの数が増えてきた場合に、デバイス画像の視認性の低下を阻止することができる。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ）等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図２、図３、図７又は図８における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ Ｘ線診断装置
３ 高電圧発生装置
５ 第１Ｘ線管
７ 第１Ｘ線検出器
９ Ｃアーム
１０ 撮像装置
１１ 第１コリメータ
１５ 第２Ｘ線管
１７ 第２Ｘ線検出器
１９ Ωアーム
２１ 第２コリメータ
２４ 天板
２５ 寝台
２７ 駆動部
７０ コンソール装置
７１，９１ メモリ
７２，９２ ディスプレイ
７３，９３ 入力インタフェース
７４，９４ 処理回路
７４１ システム制御機能
７４２，９４２ 画像処理機能
７４３，９４３ デバイス画像生成機能
７４４，９４４ 補間画像生成機能
７４５，９４５ 強調画像生成機能
７４６，９４６ 表示制御機能
７４７，９４７ 学習制御機能
７６，９６ ネットワークインタフェース
９０ 医用画像処理装置
ｇｘ Ｘ線画像
ｇｍ マスク画像
ｇｓ 差分画像
ｇｄ，ｇｄ(T-1)，ｇｄ(T) デバイス画像
ｇｉ，ｇｉ(T-1)，ｇｉ(T)，ｇｉ(T+1)，ｇｉ_ｒ，ｇｉ_ｇ，ｇｉ_ｂ 補間画像
ｇｅ 強調画像
ｇｂｓ 黒色画像
ｇｗｓ 白色画像
ｇｄ_ｒ 位置合わせ画像
ｍｄ１ 機械学習モデル
ｍｄ２ 学習済みモデル
ｇ_ｄｓａ ＤＳＡ画像
ｇ_ａ 加算画像
ｇｃ 輪郭画像
ｇｉ_ｒｇｂ 合成画像

Claims (14)

1. 被検体をＸ線により撮像したＸ線画像を取得する取得部と、
   前記取得されたＸ線画像と他のＸ線画像とに基づいて、前記取得されたＸ線画像に描出されたデバイスを抽出したデバイス画像を生成するデバイス画像生成部と、
   前記生成されたデバイス画像の欠損部分を補間した補間画像を生成する補間画像生成部と、
   を備える医用画像処理装置。
2. 前記生成された補間画像に基づいて、前記取得されたＸ線画像又は前記Ｘ線画像と前記他のＸ線画像との差分画像において前記デバイスを強調した強調画像を生成する強調画像生成部をさらに備える、請求項１に記載の医用画像処理装置。
3. 前記強調画像生成部は、前記補間画像を前記Ｘ線画像又は前記差分画像に重畳することにより前記強調画像を生成する、請求項２に記載の医用画像処理装置。
4. 前記補間画像生成部は、欠損部分を含むデバイスを示す入力画像に基づいて、当該欠損部分を補間したデバイスを示す出力画像を生成する学習済みモデルに対して、前記デバイス画像を入力することで前記補間画像を生成する、請求項１乃至３のいずれか一項に記載の医用画像処理装置。
5. 前記補間画像生成部は、前記欠損部分を曲線で補間することにより前記補間画像を生成する、請求項１乃至３のいずれか一項に記載の医用画像処理装置。
6. 前記補間画像生成部は、過去の補間画像におけるデバイスの位置に基づいて前記デバイス画像内のデバイス近傍領域を設定し、当該設定したデバイス近傍領域内の前記欠損部分を補間することにより、新たな補間画像を生成する、請求項１乃至５のいずれか一項に記載の医用画像処理装置。
7. 前記補間画像生成部は、前記生成した補間画像を、過去の補間画像に整合するように修正することにより、新たな補間画像を生成する、請求項１乃至５のいずれか一項に記載の医用画像処理装置。
8. 前記補間画像生成部は、
   前記生成した補間画像を、過去の補間画像に整合するように修正することにより、第１補間画像を生成する第１生成部と、
   過去の補間画像におけるデバイスの位置に基づいて前記デバイス画像内のデバイス近傍領域を設定し、当該設定したデバイス近傍領域内の前記欠損部分を補間することにより、第２補間画像を生成する第２生成部と、
   前記第１補間画像と前記第２補間画像とのうち、前記過去の補間画像に近い方の補間画像を、前記生成した補間画像として出力する出力部と、
   を備えた請求項１乃至５のいずれか一項に記載の医用画像処理装置。
9. 前記補間画像生成部は、
   欠損部分を含むデバイスを示す入力画像に基づいて、当該欠損部分を補間したデバイスを示す出力画像を生成する学習済みモデルに対して、前記デバイス画像を入力することで第３補間画像を生成する第３生成部と、
   前記欠損部分を曲線で補間することにより第４補間画像を生成する第４生成部と、
   前記第３補間画像と前記第４補間画像とのうち、過去の補間画像に近い方の補間画像を、前記生成した補間画像として出力する出力部と、
   を備えた請求項１乃至３のいずれか一項に記載の医用画像処理装置。
10. 前記補間画像生成部は、過去の補間画像におけるデバイスの位置に基づいて前記デバイス画像内でデバイス近傍領域とは異なる領域の画素値を実質的に０に修正し、当該修正後のデバイス画像を前記学習済みモデルに入力する、請求項４又は９に記載の医用画像処理装置。
11. 輪郭抽出部と、
    表示制御部と、
    をさらに備え、
    前記取得部は、造影剤が注入された前記被検体をＸ線により撮像した造影画像を更に取得し、
    前記輪郭抽出部は、前記造影画像内の血管の輪郭を抽出した輪郭画像を生成し、
    前記表示制御部は、前記輪郭画像と前記補間画像とを重畳して表示部に表示させる、
    請求項１に記載の医用画像処理装置。
12. 前記補間画像と、前記補間画像とは異なる色を用いた過去の補間画像とを重畳して表示部に表示させる表示制御部
    をさらに備えた、請求項１に記載の医用画像処理装置。
13. 前記Ｘ線画像を撮像するＸ線診断装置における前記他のＸ線画像を撮像したときの幾何学的情報と、前記他のＸ線画像とを対応付けて記憶する記憶部、
    をさらに備え、
    前記デバイス画像生成部は、前記Ｘ線画像が撮像されたときのＸ線診断装置の幾何学的情報と、前記他のＸ線画像と対応付けて記憶された幾何学的情報とが一致する場合に、当該Ｘ線画像と当該他のＸ線画像とに基づいて前記デバイス画像を生成する、請求項１乃至１２のいずれか一項に記載の医用画像処理装置。
14. 被検体をＸ線により撮像したＸ線画像を取得する取得部と、
    前記取得されたＸ線画像と他のＸ線画像とに基づいて、前記取得されたＸ線画像に描出されたデバイスを抽出したデバイス画像を生成するデバイス画像生成部と、
    前記生成されたデバイス画像の欠損部分を補間した補間画像を生成する補間画像生成部と、
    を備えるＸ線診断装置。

Images