JP7353900B2 - Ｘ線診断装置、医用画像処理装置及びプログラム - Google Patents

Description

本発明の実施形態は、Ｘ線診断装置、医用画像処理装置及びプログラムに関する。

アンギオ装置等のＸ線診断装置を用いた手技において、造影剤を被検体の血管に流しながらＸ線透視・撮影（造影撮像）を行うことで、Ｘ線画像上で血管走行を確認可能となっている。但し、造影剤は腎機能に悪影響を及ぼすことから、１度の手技で使用できる造影剤量に制限がある。このため、手技中に使用できる造影剤量を数倍から１０倍程度増やすために、生理食塩水で造影剤を希釈している。また、生理食塩水の量に応じて血管走行（造影剤）の視認性が下がることを阻止するように、Ｘ線画像全体にコントラスト強調などの画像処理を施している。

しかしながら、係る画像処理はＸ線画像全体に施されるため、血管領域の視認性を確保する一方、血管領域以外の背景領域の視認性を下げる場合がある。例えば、血管の周辺にある骨のエッジなどが強調されてしまい、視認性を下げる場合がある。なお、造影撮像時において、マニュアル操作で動的に画像処理パラメータを調整し、Ｘ線画像全体の視認性を確保することは、適切な画像処理パラメータを決定して入力する必要があり、困難である。

特開２０１３－２４０４６５号公報

イアン・グッドフェロー（Ｉａｎ Ｇｏｏｄｆｅｌｌｏｗ）、外２名、「第９章 畳み込みネットワーク（Ｃｈａｐｔｅｒ ９ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ）」及び「第１０章 系列モデリング：リカレントネット及びリカーシブネット（Ｃｈａｐｔｅｒ １０ Ｓｅｑｕｅｎｃｅ Ｍｏｄｅｌｉｎｇ：Ｒｅｃｕｒｒｅｎｔ ａｎｄ Ｒｅｃｕｒｓｉｖｅ Ｎｅｔｓ）」、ディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）、エムアイティー・プレス（ＭＩＴ ｐｒｅｓｓ）、２０１６年、ｐ．３３０－４２０、インターネット＜ＵＲＬ：http://www.deeplearningbook.org＞

本発明が解決しようとする課題は、造影撮像時のＸ線画像全体の視認性を確保することである。

実施形態に係るＸ線診断装置は、Ｘ線発生部、Ｘ線検出器及び画像処理部を備えている。
前記Ｘ線発生部は、Ｘ線を発生させる。

前記Ｘ線検出器は、被検体を透過した前記Ｘ線を検出してＸ線画像を順次生成する。

前記画像処理部は、前記被検体に造影剤が注入された後に、前記生成された複数の前記Ｘ線画像における画素値の時系列的な第１の遷移に基づいて、順次生成される前記Ｘ線画像に対する画像処理を行う。

図１は、第１の実施形態に係るＸ線診断装置の構成を示すブロック図である。 図２は、第１の実施形態に係る画像処理に用いる関数の一例を説明するための模式図である。 図３は、第１の実施形態に係る画像処理に用いる関数の他の例を説明するための模式図である。 図４は、第１の実施形態に係る画像処理に用いる関数の他の例を説明するための模式図である。 図５は、第１の実施形態に係る画像処理に用いる関数の他の例を説明するための模式図である。 図６は、第１の実施形態に係る学習制御機能の一例を説明するための模式図である。 図７は、第１の実施形態における動作を説明するためのフローチャートである。 図８は、第１の実施形態における動作を説明するための模式図である。 図９は、第１の実施形態におけるステップＳＴ７０の動作を説明するための模式図である。 図１０は、第１の実施形態におけるステップＳＴ７０の動作を説明するための模式図である。 図１１は、第１の実施形態におけるステップＳＴ８０の動作を説明するための模式図である。 図１２は、第１の実施形態におけるコントラスト調整前後のＸ線画像の一例を示す図である。 図１３は、第１の実施形態におけるコントラスト調整の一例を説明するための模式図である。 図１４は、第１の実施形態におけるコントラスト調整前後のＸ線画像の他の例を示す図である。 図１５は、第１の実施形態の第２変形例における動作を説明するためのフローチャートである。 図１６は、第２の実施形態に係る医用画像処理装置の構成を示すブロック図である。

以下、図面を参照して各実施形態について説明する。

＜第１の実施形態＞
図１は、第１の実施形態に係るＸ線診断装置の構成を示すブロック図である。Ｘ線診断装置１としては、例えば、循環器用の装置を用いてもよい。また、Ｘ線診断装置１としては、シングルプレーン構造を例に挙げて述べるが、これに限らず、バイプレーン構造を用いてもよい。

具体的には例えば、Ｘ線診断装置１は、撮像装置１０、寝台装置３０及びコンソール装置４０を備えている。撮像装置１０は、高電圧発生装置１１、Ｘ線発生部１２、Ｘ線検出器１３、Ｃアーム１４及びＣアーム駆動装置１４１を備えている。

高電圧発生装置１１は、Ｘ線管の陰極から発生する熱電子を加速するために、陽極と陰極の間に印加する高電圧を発生させてＸ線管へ出力する。

Ｘ線発生部１２は、Ｘ線を発生させる。具体的には、Ｘ線発生部１２は、被検体Ｐに対してＸ線を照射するＸ線管と、Ｘ線の照射野を限定したり、照射野のうちの一部についてＸ線を減衰させたりする機能を有するＸ線絞りとを備えている。

Ｘ線管は、Ｘ線を発生する。具体的には、Ｘ線管は、熱電子を発生する陰極と、陰極から飛翔する熱電子を受けてＸ線を発生する陽極とを保持する真空管である。例えば、Ｘ線管には回転する陽極に熱電子を照射することでＸ線を発生させる回転陽極型のＸ線管がある。Ｘ線管は高圧ケーブルを介して高電圧発生装置１１に接続されている。陰極と陽極との間には、高電圧発生装置１１により管電圧が印加される。管電圧の印加により陰極から陽極に向けて熱電子が飛翔する。陰極から陽極に向けて熱電子が飛翔することにより管電流が流れる。高電圧発生装置１１からの高電圧の印加及びフィラメント電流の供給により、陰極から陽極に向けて熱電子が飛翔し、熱電子が陽極に衝突することによりＸ線が発生される。

Ｘ線絞りは、Ｘ線管とＸ線検出器１３の間に位置し、一般的には、絞り羽根、付加フィルタ及び補償フィルタを備えている。Ｘ線絞りは、開口領域外のＸ線を遮蔽することにより、Ｘ線管が発生したＸ線を、被検体Ｐの関心領域にのみ照射されるように絞り込む。例えば、Ｘ線絞りは４枚の鉛板からなる絞り羽根を有し、これらの絞り羽根をスライドさせることで、Ｘ線の遮蔽される領域を任意のサイズに調節する。Ｘ線絞りの絞り羽根は、操作者が入力インタフェース４３から入力した関心領域に応じて、図示しない駆動装置により駆動される。また、Ｘ線絞りは、Ｘ線の総ろ過を調整するための付加フィルタがスリットから挿入可能となっている。また、Ｘ線絞りは、Ｘ線検査時に使用される鉛マスクや補償フィルタがアクセサリ挿入口から挿入可能となっている。なお、補償フィルタは、照射Ｘ線量を減衰或いは低減させる機能を有するＲＯＩ（Region Of Interest）フィルタを含んでもよい。

Ｘ線検出器１３は、被検体Ｐを透過したＸ線を検出する。このようなＸ線検出器１３としては、Ｘ線を直接電荷に変換するものと、光に変換した後、電荷に変換するものとが使用可能であり、ここでは前者を例に説明するが後者であっても構わない。すなわち、Ｘ線検出器１３は、例えば、被検体Ｐを透過したＸ線を電荷に変換して蓄積する平面状のＦＰＤ（Flat Panel Detector）と、このＦＰＤに蓄積された電荷を読み出すための駆動パルスを生成するゲートドライバとを備えている。ＦＰＤは微小な検出素子を列方向及びライン方向に２次元的に配列して構成される。各々の検出素子はＸ線を感知し、入射Ｘ線量に応じて電荷を生成する光電膜と、この光電膜に発生した電荷を蓄積する電荷蓄積コンデンサと、電荷蓄積コンデンサに蓄積された電荷を所定のタイミングで出力するＴＦＴ（薄膜トランジスタ）を備えている。蓄積された電荷はゲートドライバが供給する駆動パルスによって順次読み出される。

Ｘ線検出器１３の後段には、図示しない投影データ生成回路及び投影データ記憶回路を備える。投影データ生成回路は、ＦＰＤから行単位あるいは列単位でパラレルに読み出された電荷を電圧に変換する電荷・電圧変換器と、この電荷・電圧変換器の出力をデジタル信号に変換するＡ／Ｄ変換器と、デジタル変換されたパラレル信号を時系列的なシリアル信号に変換するパラレル・シリアル変換器を備えている。投影データ生成回路は、このシリアル信号を時系列的な投影データとして投影データ記憶回路に供給する。投影データ記憶回路は、投影データ生成回路から供給される時系列的な投影データを順次保存して２次元投影データ（Ｘ線画像）を生成する。言い換えると、Ｘ線検出器１３は、被検体を透過したＸ線を検出してＸ線画像を順次生成する。このＸ線画像（２次元投影データ）は、メモリ４１に保存される。

Ｃアーム１４は、Ｘ線発生部１２とＸ線検出器１３とを被検体Ｐ及び天板３３を挟んで対向するように保持することで、天板３３上の被検体ＰのＸ線撮影を行うことができる構成を有する。以下の説明では、天井吊りタイプのＣアームを例に挙げて述べるが、これに限らず、例えば、床置きタイプのＣアームであってもよい。

具体的にはＣアーム１４は、天板３３に垂直なＺ方向と、天板３３の長軸方向に沿ったＹ方向との両者に直交するＸ方向の軸を中心に回転可能に保持部（図示せず）に保持されている。また、Ｃアーム１４は、Ｙ方向の軸を中心とした略円弧形状を有し、略円弧形状に沿ってスライド動作可能に保持部に保持されている。すなわち、Ｃアーム１４は、Ｙ方向の軸を回転中心としたスライド動作を行うことができる。また、Ｃアーム１４は、保持部を中心としてＸ方向の軸を中心とした回転動作（以下、「主回転動作」と称する。）をすることができ、スライドとこの回転の組み合わせにより様々な角度方向からＸ線画像を観察することを可能とする。さらに、Ｃアーム１４は、Ｚ方向の軸を中心にも回転することができ、これにより、例えば、上述のスライド動作の回転中心軸をＸ方向とすることができる。なお、Ｘ線発生部１２のＸ線焦点と、Ｘ線検出器１３の検出面中心とを通る撮影軸は、スライド動作の回転中心軸と、主回転動作の回転中心軸とに一点で交差するように設計されている。当該交点は、一般的には、アイソセンタと呼ばれている。アイソセンタは、Ｃアーム１４が上述のスライド動作や主回転動作をしても変位しない。このため、アイソセンタに関心部位が位置した場合、Ｃアーム１４のスライド動作又は主回転動作により得られた医用画像の動画像において、関心部位の観察が容易になる。

Ｃアーム１４は、このようなスライド動作と回転動作を実現するための複数の動力源が該当する適当な箇所に備えられている。これらの動力源はＣアーム駆動装置１４１を構成する。Ｃアーム駆動装置１４１は、システム制御機能４４１からの駆動信号を読み込んでＣアーム１４をスライド運動、回転運動、直線運動させる。さらに、Ｃアーム１４には、その角度または姿勢や位置の情報を検出する状態検出器（図示せず）がそれぞれ備えられている。状態検出器は、例えば回転角や移動量を検出するポテンショメータや、位置検出センサであるエンコーダ等で構成される。エンコーダとしては、例えば磁気方式、刷子式、あるいは光電式等の、いわゆるアブソリュートエンコーダが使用可能となっている。また、状態検出器としては、回転変位をデジタル信号として出力するロータリエンコーダあるいは直線変位をデジタル信号として出力するリニアエンコーダなど、様々な種類の位置検出機構が適宜、使用可能となっている。

寝台装置３０は、被検体Ｐを載置、移動させる装置であり、基台３１と、寝台駆動装置３２と、天板３３と、支持フレーム３４とを備えている。

基台３１は、床面に設置され、支持フレーム３４を鉛直方向（Ｚ方向）に移動可能に支持する筐体である。

寝台駆動装置３２は、寝台装置３０の筐体内に収容され、被検体Ｐが載置された天板３３を天板３３の長手方向（Ｙ方向）に移動するモータあるいはアクチュエータである。寝台駆動装置３２は、システム制御機能４４１からの駆動信号を読み込んで、天板３３を床面に対して水平方向や垂直方向に移動させる。Ｃアーム１４または天板３３が移動することにより、被検体Ｐに対する撮影軸の位置関係が変化する。なお、寝台駆動装置３２は、天板３３に加え、支持フレーム３４を天板３３の長手方向に移動してもよい。

天板３３は、支持フレーム３４の上面に設けられ、被検体Ｐが載置される板である。

支持フレーム３４は、基台３１の上部に設けられ、天板３３をその長手方向に沿ってスライド可能に支持する。

コンソール装置４０は、メモリ４１、ディスプレイ４２、入力インタフェース４３、処理回路４４及びネットワークインタフェース４５を備えている。

メモリ４１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hardware Disk Drive）及び画像メモリなど電気的情報を記録するメモリ本体と、それらメモリ本体に付随するメモリコントローラやメモリインタフェースなどの周辺回路とを備えている。メモリ４１は、例えば、処理回路４４に実行されるプログラムと、処理回路４４により生成されたＸ線画像と、処理回路４４の処理に用いるデータ、処理途中のデータ及び処理後のデータ等とが記憶される。メモリ４１は、記憶部の一例である。

ディスプレイ４２は、医用画像などを表示するディスプレイ本体と、ディスプレイ本体に表示用の信号を供給する内部回路、ディスプレイ本体と内部回路とをつなぐコネクタやケーブルなどの周辺回路から構成されている。内部回路は、処理回路４４から供給される画像データに被検体情報や投影データ生成条件等の付帯情報を重畳して表示データを生成し、得られた表示データに対しＤ／Ａ変換とＴＶフォーマット変換を行なってディスプレイ本体に表示する。

入力インタフェース４３は、被検体情報の入力、Ｘ線照射条件を含むＸ線撮影条件の設定、各種コマンド信号の入力等を行う。入力インタフェース４３は、例えば、Ｃアーム１４の移動指示、関心領域（ＲＯＩ）の設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、及び表示画面とタッチパッドとが一体化されたタッチパネルディスプレイ等によって実現される。入力インタフェース４３は、処理回路４４に接続されており、操作者から受け取った入力操作を電気信号へ変換し、処理回路４４へと出力する。なお、本明細書において入力インタフェース４３はマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路４４へ出力する電気信号の処理回路も入力インタフェース４３の例に含まれる。

処理回路４４は、メモリ４１内のプログラムを呼び出し実行することにより、プログラムに対応するシステム制御機能４４１、画像処理機能４４２、推定機能４４３、表示制御機能４４４及び学習制御機能４４５を実現するプロセッサである。この種のプログラムとしては、例えば、画像処理機能４４２をコンピュータ（医用画像処理装置４６）に実現させるための医用画像処理プログラムが使用可能となっている。この医用画像処理プログラムは、適宜、推定機能４４３、表示制御機能４４４、学習制御機能４４５をコンピュータに更に実現させてもよい。なお、図１においては単一の処理回路４４にてシステム制御機能４４１、画像処理機能４４２、推定機能４４３、表示制御機能４４４及び学習制御機能４４５が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能を実現するものとしても構わない。また、システム制御機能４４１、画像処理機能４４２、推定機能４４３、表示制御機能４４４及び学習制御機能４４５は、それぞれシステム制御回路、画像処理回路、推定回路、表示制御回路及び学習制御回路と呼んでもよく、個別のハードウェア回路として実装してもよい。処理回路４４は、画像処理部及び推定部の一例である。

システム制御機能４４１は、例えば、入力インタフェース４３から入力された操作者によるコマンド信号、及び各種初期設定条件等の情報を一旦記憶した後、これらの情報を処理回路４４の各処理機能に送信する。また、システム制御機能４４１は、例えば、入力インタフェース４３から入力されたＣアーム１４や天板３３の駆動に関する情報を用いてＣアーム駆動装置１４１及び寝台駆動装置３２の制御を行う。また、システム制御機能４４１は、例えば、記憶した各種初期設定条件等の情報を読み込んで、高電圧発生装置１１における管電流、管電圧、照射時間等のＸ線照射条件の制御を行う。

画像処理機能４４２は、例えば、Ｘ線検出器１３により順次生成されたＸ線画像をメモリ４１に保存してもよい。また、画像処理機能４４２は、メモリ４１に保存したＸ線画像に対して、ノイズ低減や背景圧縮といった通常の画像処理を行ってもよい。

また、画像処理機能４４２は、例えば、被検体Ｐに造影剤が注入された後に、生成された複数のＸ線画像における画素値の時系列的な第１の遷移に基づいて、順次生成されるＸ線画像に対する画像処理を行う。第１の遷移は、Ｘ線画像における血管画素の画素値の時系列データであり、造影剤の濃度の上昇、ピーク及び下降のうちの上昇の初期における複数の画素値に対応していてもよい。画像処理としては、例えば、Ｘ線画像の画素値を減衰させて輝度値に変換する関数をＸ線画像に適用することにより、Ｘ線画像の視認性を確保する処理がある。この種の関数としては、例えば図２に示すように、しきい値未満の画素値を大きく減衰させ、しきい値以上の画素値を僅かに減衰させて輝度値に変換する非線形関数を用いてもよい。あるいは、この種の関数としては、例えば図３に示すように、しきい値未満の画素値をゼロに置換し、しきい値以上の画素値をそのまま輝度値に変換する折れ線関数を用いてもよい。またあるいは図４に示すように、ダイナミックレンジを線形に圧縮するように、係数が１未満の一次関数を用いてもよい。またあるいは図５に示すように、Ｘ線画像全体の画素値の範囲よりも狭い範囲の画素値の最大値と最小値とに対応して輝度値の最大値と最小値とを割り当てた折れ線関数を用いてもよい。このような画像処理は、この種の関数を特定するための画像処理パラメータを決定することにより、決定される。画像処理パラメータとしては、例えば、しきい値、画素値の最大値・最小値、係数、などが適宜、使用可能となっている。

ここで、画像処理機能４４２は、第１の遷移に基づいて、順次生成されるＸ線画像の画素に対して、当該画素に描出される物体の種類に関する情報を設定し、順次生成されるＸ線画像に対して、設定された情報に基づく画像処理を当該Ｘ線画像内の画素の位置に応じて行うようにしてもよい。

このとき、画像処理機能４４２は、造影剤が流れる血管と当該血管以外とを識別する識別情報を物体の種類に関する情報として設定してもよい。また、画像処理機能４４２は、被検体のＤＳＡ画像に基づいて、当該識別情報を設定してもよい。ＤＳＡは、”Digital Subtraction Angiography”の略語である。この種の識別情報としては、例えば、Ｘ線画像の画素毎に、０又は１の二値で血管と血管以外とを識別して示す情報としてもよい。識別情報は、「ラベル情報」又は「マスク情報」のように、他の名称で呼んでもよい。また、識別情報としては、これに限らず、血管画素を示す座標値の一覧としてもよく、血管画素を示す画像としてもよい。画像処理機能４４２は、被検体の時系列的なＤＳＡ画像に基づいて、識別情報を生成するための学習済みモデルに対して、順次生成されるＸ線画像を入力して、識別情報を生成させ、当該識別情報を設定してもよい。また、画像処理機能４４２は、血管を示す識別情報が設定された画素（以下、血管画素ともいう）の位置に応じて、当該識別情報に基づく画像処理であるコントラスト調整を行うようにしてもよい。

推定機能４４３は、当該第１の遷移に対応する複数のＸ線画像よりも後のＸ線画像における画素値の時系列的な第２の遷移を、第１の遷移に基づいて推定する。ここで、推定機能４４３は、当該第１の遷移に基づいて当該後のＸ線画像の画素値を生成し、第１の遷移における時系列的に後方の画素値と当該生成した画素値とを含む未来の遷移を生成する処理を再帰的に実行することにより、生成した全ての当該未来の遷移を含む第２の遷移を推定してもよい。なお、推定機能４４３は、必須ではなく、任意の付加的事項である。

また、画像処理機能４４２は、推定機能４４３がある場合には、第１の遷移及び第２の遷移に基づいて、画像処理を行う。ここで、第１の遷移は、Ｘ線画像における血管画素の画素値の時系列データであり、造影剤の濃度の上昇、ピーク及び下降のうちの上昇の初期における複数の画素値に対応していてもよい。第２の遷移は、当該第１の遷移のＸ線画像よりも後のＸ線画像における血管画素の画素値の時系列データであり、当該上昇の初期より後の上昇、ピーク及び下降における複数の画素値に対応していてもよい。

表示制御機能４４４は、例えば、システム制御機能４４１からの信号を読み込んで、メモリ４１から所望のＸ線画像を取得してディスプレイ４２に表示する制御などを行う。また、表示制御機能４４４は、画像処理機能４４２により画像処理が行われたＸ線画像をディスプレイ（表示部）４２に表示させる。

学習制御機能４４５は、学習用データに基づいて、メモリ４１内の機械学習モデルに機械学習を行わせることにより、学習済みの機械学習モデルである学習済みモデルを生成し、当該学習済みモデルをメモリ４１に保存する。なお、学習済みモデルは、学習済みモデルが出力した成果物に対してユーザがフィードバックを与えることにより、学習済みモデルの内部アルゴリズムを更に更新する「自己学習するモデル」を含む。また、学習制御機能４４５は、必須ではなく、任意の付加的事項である。

このような学習済みモデルとしては、例えば、Ｘ線画像から血管画素を特定するための学習済みモデルと、特定した血管画素の時系列データから未来の時系列データを推定するための学習済みモデルとの２種類が適宜、使用可能となっている。前者の学習済みモデルは、例えば、画像処理機能４４２が血管画素を特定する際に、適宜、使用可能となっている。ここでは、推定機能４４３にて使用可能な、後者の学習済みモデルを例に挙げて述べる。

まず、学習用データは、複数フレーム分の血管画素の画素値の時系列データを入力データとし、当該入力データの直後のフレームにおける血管画素の画素値のデータを出力データとした、入力データと出力データとの組である。このような学習用データは、例えば図６に一例を示すように、血管中の造影剤濃度が上昇してから下降するまでのｎフレーム分の、血管画素の画素値の時系列データ｛ｄ１，・・・，ｄｎ｝を加工して作成してもよい。

例えば、学習制御機能４４５は、血管画素（ｉ，ｊ）の画素値の時系列データＤ（ｉ，ｊ）（０≦ｔ≦ｎ）をメモリ４１から読み出す。

Ｄ（ｉ，ｊ）＝｛ｄ１，ｄ２，ｄ３，・・・，ｄｎ－１，ｄｎ｝
ここで、ｉはＸ線画像のｘ座標値、ｊはＸ線画像のｙ座標値を示す。ｔは時系列データ内の任意の時刻（又はフレーム番号）を示す。ｎは、時系列データ内の最終時刻（又は最終フレーム番号）を示す。

学習制御機能４４５は、時系列データＤ（ｉ，ｊ）を、複数の学習用データを有する学習データセットに加工する。各々の学習用データは、時刻ｋからｔまでの複数のデータ（０≦ｋ＜ｔ）を持つ。

例えば、学習制御機能４４５は、時系列データＤ（ｉ，ｊ）を、ｎ－２個の学習用データ{d1, d2, d3}、{d2, d3, d4}、・・・、{dn-2, dn-1, dn}に加工する。

各々の学習用データは、入力データ及び出力データを有する。入力データは、学習用データのうち、最後のデータを除いた複数の時系列データである。出力データは、学習用データのうち、最後のデータである。例えば、学習用データが{d1, d2, d3}の場合、入力データは{d1, d2}であり、出力データは{d3}である。また例えば、学習用データが{dn-2, dn-1, dn}の場合、入力データは{dn-2, dn-1}であり、出力データは{dn}である。なお、学習用データの個数や、入力データ内のデータの個数は、この例に限定されない。

機械学習モデルは、当該入力データを入力とし、当該出力データを出力する、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数及びパラメータの組合せにより定義される。本実施形態に係る機械学習モデルは、上記の要請を満たす如何なるパラメータ付き合成関数であっても良いが、多層のネットワークモデル（以下、多層化ネットワークと呼ぶ）であるとする。多層化ネットワークを用いる学習済みモデルは、複数フレーム分の血管画素の画素値の時系列データを入力する入力層と、当該入力データの直後のフレームにおける血管画素の画素値のデータを出力する出力層と、入力層と出力層との間に設けられる少なくとも１層の中間層とを有する。なお、入力層としては、画素値の時系列データの入力に並列して、撮像条件、患者情報、造影剤情報の入力を受け付けてもよい。これら撮像条件、患者情報、造影剤情報は、Ｘ線画像の見え方や患者（被検体）毎の造影剤の流れ方に関連する情報であるが、必須ではなく、任意の付加的事項である。撮像条件としては、例えば、管電圧（ｋＶｐ）、管電流時間積（ｍＡｓ）等が適宜、使用可能となっている。患者情報としては、例えば、心拍出量、体重、身長、ＢＭＩ（肥満度の指標）、ＢＳＡ（体表面積）等が適宜、使用可能となっている。造影剤情報としては、例えば、造影剤量（総投与量）、造影剤濃度、注入時間、注入速度などが適宜、使用可能となっている。このような多層化ネットワークとしては、例えば、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）の対象となる多層ニューラルネットワークである深層ニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＤＮＮ）を用いている。ＤＮＮとしては、例えば、リカレントニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＲＮＮ）や畳込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）を用いてもよい。この種のＣＮＮは、ＤＣＮＮ（Ｄｅｅｐ ＣＮＮ）ともいう。本実施形態では、学習済みモデルとしてＲＮＮを用いている。また、ＲＮＮは、長・短期記憶（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ：ＬＳＴＭ）を含んでもよい。ＣＮＮ、ＲＮＮ及びＬＳＴＭについては、例えば、前述した「イアン・グッドフェロー（Ｉａｎ Ｇｏｏｄｆｅｌｌｏｗ）、外２名、「第９章 畳み込みネットワーク（Ｃｈａｐｔｅｒ ９ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ）」及び「第１０章 系列モデリング：リカレントネット及びリカーシブネット（Ｃｈａｐｔｅｒ １０ Ｓｅｑｕｅｎｃｅ Ｍｏｄｅｌｉｎｇ：Ｒｅｃｕｒｒｅｎｔ ａｎｄ Ｒｅｃｕｒｓｉｖｅ Ｎｅｔｓ）」、ディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）、エムアイティー・プレス（ＭＩＴ ｐｒｅｓｓ）、２０１６年、ｐ．３３０－４２０、インターネット ＜ＵＲＬ：http://www.deeplearningbook.org＞」に記載されている。以上の当該多層化ネットワークに関する説明は、以下の全ての機械学習モデル及び学習済みモデルにも該当する。

また、メモリ４１は、前述した構成に加え、機械学習モデル及び学習済みモデルを記憶する。但し、推定機能４４３が学習済みモデルを用いる場合でも、機械学習モデルの記憶とその学習制御機能４４５は、必須ではなく省略してもよい。補足すると、学習済みモデルを用いる場合、医用画像処理装置４６が機械学習モデルの学習により学習済みモデルを生成する必要はなく、外部から取得した学習済みモデルを用いてもよい。例えば、メモリ４１は、Ｘ線診断装置１の工場出荷前に予め学習済みモデルを記憶してもよく、あるいはＸ線診断装置１の工場出荷後に、図示しないサーバ装置などから取得した学習済みモデルを記憶してもよい。また、メモリ４１は、ＡＩ（人工知能）に基づく学習済みモデルに限らず、ＡＩに基づかない既存の統計的手法（例、指数平滑法、ＡＲＩＭＡなど）を用いた時系列データ推定プログラムを記憶してもよい。「ＡＲＩＭＡ」は、”autoregressive integrated moving average”（自己回帰和分移動平均）の略語である。

ネットワークインタフェース４５は、コンソール装置４０をネットワークＮｗに接続して他の装置と通信するための回路である。ネットワークインタフェース４５としては、例えば、ネットワークインタフェースカード（ＮＩＣ）が使用可能となっている。以下の説明では、他の装置との通信にネットワークインタフェース４５が介在する旨の記載を省略する。

これらメモリ４１、ディスプレイ４２、入力インタフェース４３、処理回路４４の画像処理機能４４２及び推定機能４４３は、医用画像処理装置４６を構成している。医用画像処理装置４６は、表示制御機能４４４及び学習制御機能４４５を更に含んでもよい。

次に、以上のように構成されたＸ線診断装置の動作について図７のフローチャート並びに図８乃至図１４の模式図を用いて説明する。

始めに、Ｘ線診断装置１の処理回路４４は、操作者による入力インタフェース４３の操作に応じて、撮像装置１０を制御してＣアーム１４の撮像角度やＳＩＤを調整し、Ｘ線透視撮像を開始する。なお、Ｘ線透視撮像の開始後、所望の時点で造影剤が被検体Ｐの血管に注入される。また、撮像開始により、Ｘ線発生部１２がＸ線を発生し、Ｘ線検出器１３が、被検体Ｐを透過したＸ線を検出してＸ線画像を順次生成する。順次生成されたＸ線画像は、Ｘ線検出器１３からメモリ４１に保存される。メモリ４１に保存された複数のＸ線画像は、以下のステップＳＴ１０～ＳＴ１００の処理の後、造影撮像時のＸ線画像全体の視認性が確保され、複数のフレーム（複数のＸ線画像）からなる動画としてディスプレイ４２に表示される（ＳＴ１１０）。以下、図７及び図８に示すステップＳＴ１０～ＳＴ１１０の処理について順に説明する。

ステップＳＴ１０において、処理回路４４は、メモリ４１から新規のフレームのＸ線画像を読み出し、当該Ｘ線画像に対して、背景圧縮やノイズ低減等といった画像処理をＸ線画像全体に行う。

ステップＳＴ１０の後、ステップＳＴ２０において、処理回路４４は、被検体Ｐに対する造影剤の注入開始後からしきい値時間を超えたか否かを判定する。判定の結果、否の場合にはＳＴ１１０を介してステップＳＴ１０に戻る。一方、判定の結果、しきい値時間を超えた場合にはステップＳＴ３０に移行する。

ステップＳＴ２０の後、ステップＳＴ３０において、処理回路４４は、既にステップＳＴ８０の画像処理パラメータを決定したか否かを判定する。判定の結果、既に決定した場合にはステップＳＴ９０に進み、決定済みの画像処理パラメータに基づく画像処理を行う。一方、判定の結果、否の場合にはステップＳＴ４０に移行する。

ステップＳＴ３０の後、ステップＳＴ４０において、処理回路４４は、ステップＳＴ１０で画像処理を施したＸ線画像から血管画素を特定する。例えば、処理回路４４は、血管画素を特定するための学習済みモデルを用い、Ｘ線画像内の血管画素を特定する。この場合、例えば、処理回路４４は、時系列的な過去フレーム及び最新フレームからなる数フレーム分のＸ線画像を学習済みモデルに入力することにより、最新フレームのＸ線画像内の血管画素を特定する。さらに、処理回路４４は、当該数フレーム分のＸ線画像（第１の遷移）に基づいて、順次生成されるＸ線画像の画素に対して、当該画素に描出される物体の種類に関する情報を設定してもよい。具体的には、処理回路４４は、Ｘ線画像のうちの血管画素と当該血管画素以外の画素とを識別する識別情報を当該物体の種類に関する情報として設定してもよい。この場合、処理回路４４は、被検体ＰのＤＳＡ画像に基づいて、当該識別情報を設定してもよい。また、処理回路４４は、被検体Ｐの時系列的なＤＳＡ画像に基づいて識別情報を出力するための学習済みモデルに対して、順次生成されるＸ線画像を入力し、識別情報を出力させることにより、当該識別情報を設定してもよい。

なお、これに限らず、処理回路４４は、最新フレームのＸ線画像を学習済みモデルに入力することにより、最新フレームのＸ線画像内の血管画素を特定してもよい。前者の場合には時系列的なＸ線画像を学習した学習済みモデルが用いられる。後者の場合には時系列的でない静止画のＸ線画像を学習した学習済みモデルが用いられる。本実施形態では、前者の学習済みモデルを用いている。

ステップＳＴ４０の後、ステップＳＴ５０において、処理回路４４は、Ｘ線画像から血管画素を特定したか否かを判定する。否の場合には、まだ造影剤がＸ線画像内の血管に到達していないため、当該Ｘ線画像をディスプレイ４２に表示させ（ＳＴ１１０）、ステップＳＴ１０に戻る。一方、血管画素を特定した場合にはステップＳＴ６０に移行する。なお、ステップＳＴ４０～ＳＴ５０は、必須ではなく、省略してもよい。例えば、血管画素に限定せず、Ｘ線画像全体に対して、ステップＳＴ６０～ＳＴ８０を実行してもよい。但し、以下の説明は、ステップＳＴ３０～ＳＴ４０を省略しない場合について述べる。

ステップＳＴ５０の後、ステップＳＴ６０において、処理回路４４は、図９の左側に示すように、当該特定した血管画素毎に、血管画素の画素値の時系列データＡを生成する。時系列データＡ（第１の遷移）は、造影剤の濃度の上昇、ピーク及び下降のうちの上昇の初期における複数の画素値に対応している。時系列データＡは、血管画素の個数だけ生成される。

ステップＳＴ６０の後、ステップＳＴ７０において、処理回路４４は、被検体Ｐに造影剤が注入された後に、時系列データＡ（第１の遷移）に対応する複数のＸ線画像よりも後のＸ線画像における画素値の時系列データＢ（第２の遷移）を、時系列データＡに基づいて推定する。例えば、処理回路４４は、図９の右側に示すように、時系列データＡに基づいて未来のデータＢ’を生成する学習済みモデル４４３ａ（時系列データ推定器）を用いて、血管画素の画素値の未来の時系列データＢを推定する。具体的には例えば、図１０に示すように、処理回路４４は、学習済みモデル４４３ａを再帰的に用いて、血管画素の画素値の時系列データＡ{ｄ１、ｄ２}から、未来の時系列データＢ｛ｄ３、ｄ４、ｄ５、・・・、ｄｍ－１、ｄｍ｝を推定する（但し、ｍは、Ａの要素の個数より大きい自然数（｜Ａ｜＜ｍ））。時系列データＢ（第２の遷移）は、造影剤の濃度の上昇、ピーク及び下降のうち、初期より後の上昇、ピーク及び下降における複数の画素値に対応している。時系列データＢは、血管画素の個数だけ推定（生成）される。補足すると、処理回路４４は、時系列データＡに基づいて後のＸ線画像の画素値を生成し、時系列データＡにおける時系列的に後方の画素値と当該生成した画素値とを含む未来の遷移を生成する処理を再帰的に実行することにより、当該生成した全ての未来の遷移を含む時系列データＢを推定する。

ステップＳＴ７０の後、ステップＳＴ８０において、処理回路４４は、推定した時系列データＢに基づき、画像処理パラメータを決定する。具体的には例えば、図１１に示すように、処理回路４４は、血管画素毎の画素値の未来の時系列データＢに基づいて、時間毎の画素値のヒストグラムを作成する。また、処理回路４４は、当該ヒストグラムに基づいて、時間毎に画素値の分布の偏りが無くなるようにコントラスト調整のパラメータを決定する。例えば、血管画素の輝度分布が低い方（黒色側）に偏ることが推定された場合、輝度分布の広がり（分散）が大きくなるようにコントラスト調整のパラメータを決定する。このようなパラメータの決定により、図１２（ａ）及び図１２（ｂ）に示すように、血管の重なりにより埋もれていた細い血管の視認性を向上させることが可能となる。

また例えば図１３（ａ）及び図１３（ｂ）に示す如き、血管画素の輝度分布がやや高い方（やや白色側）に偏ることが推定された場合、図１３（ｃ）に示す如き、輝度分布の広がり（分散）が大きくなるようにコントラスト調整のパラメータを決定する。補足すると、図１３（ａ）に示す如き、血管画素の画素値のヒストグラムがあるとする。このヒストグラムにおいて、画素値の分布の最大値がｐ８、最小値がｐ４とする。これらの画素値の範囲をＷｐで表す。このとき、図１３（ｂ）に示すように、コントラスト調整前の輝度の範囲Ｗｉ１は、最大値ｉ４から最小値ｉ２の間である。これに対し、図１３（ｃ）に示すように、画素値の最大値ｐ８を輝度の最大値ｉ５とし、画素値の最小値ｐ４を輝度の最小値ｉ０とするように、コントラスト調整の画像処理パラメータを決定する。コントラスト調整後の輝度の範囲Ｗｉ２は、最大値ｉ５から最小値ｉ０の間である。このようなコントラスト調整により、血管画素の画素値に対応する輝度の範囲が拡大している（Ｗｉ１＜Ｗｉ２）。また、輝度の範囲Ｗｉ１は、血管画素以外の領域に用いられる。詳しくは、コントラスト調整前には、Ｘ線画像全体に対して輝度の範囲Ｗｉ１が用いられる。コントラスト調整後には、Ｘ線画像全体のうち、血管画素に対して輝度の範囲Ｗｉ２が用いられ、血管画素以外に対して輝度の範囲Ｗｉ１が用いられる。

また例えば、血管画素の輝度分布が高い方（白色側）に偏ることが推定された場合、血管画素の輝度分布を黒色側にシフトさせるようにコントラスト調整のパラメータを決定する。このようなパラメータの決定により、図１４（ａ）及び図１４（ｂ）に示すように、血管を流れる薄い造影剤を濃く見せることが可能となり、造影血管の視認性を向上可能とする。

ステップＳＴ８０の後、ステップＳＴ９０において、処理回路４４は、画像処理パラメータに基づいて、Ｘ線画像内の血管画素に対するコントラスト調整等の画像処理を行う。なお、処理回路４４は、識別情報により識別される血管画素の位置に応じて、当該識別情報に基づく画像処理であるコントラスト調整を行うようにしてもよい。

ステップＳＴ９０の後、ステップＳＴ１００において、術者は、ディスプレイ４２を視認しながら撮像を終了するか否かを判断する。この判断の結果、否の場合にはステップＳＴ１１０を介してステップＳＴ１０に戻り、ステップＳＴ１０～ＳＴ１１０の動作が繰り返し実行される。

このような繰り返し実行中のステップＳＴ９０において、処理回路４４は、被検体に造影剤が注入された後に、生成された複数のＸ線画像における画素値の時系列的な第１の遷移に基づいて、順次生成されるＸ線画像に対する画像処理を行う。補足すると、処理回路４４は、第１の遷移及び第２の遷移に基づいて決定された画像処理パラメータに基づく画像処理を行う。言い換えると、処理回路４４は、第１の遷移及び第２の遷移に基づいて画像処理を行う。

一方、ステップＳＴ１００の判断の結果、撮像を終了する場合には、処理回路４４は、操作者による入力インタフェース４３の操作に応じて、処理を終了する。

上述したように第１の実施形態によれば、被検体のＸ線画像を順次生成し、被検体に造影剤が注入された後に、生成された複数のＸ線画像における画素値の時系列的な第１の遷移に基づいて、順次生成されるＸ線画像に対する画像処理を行う。このように、被検体に造影剤が注入された後に、画素値の時系列的な遷移に基づいて画像処理を行う構成により、造影撮像時のＸ線画像全体の視認性を確保することができる。

また、第１の実施形態によれば、第１の遷移に対応する複数のＸ線画像よりも後のＸ線画像における画素値の時系列的な第２の遷移を、第１の遷移に基づいて推定してもよい。また、第１の遷移及び第２の遷移に基づいて、当該画像処理を行うようにしてもよい。このように、第１の遷移及びその後の第２の遷移に基づいて画像処理を行う場合、少なくとも第２の遷移が完了するまでの期間については、前述同様に、Ｘ線画像全体の視認性を確保することができる。また、推定した第２の遷移の精度に応じて、当該視認性の向上を図ることができる。また例えば、推定した時系列データに基づいて画像処理パラメータを決定するため、従来に比べ、造影剤の流入－流出のフェーズにおける良好な視認性を保つことができる。

また、第１の実施形態によれば、第１の遷移に基づいて当該後のＸ線画像の画素値を生成し、当該第１の遷移における時系列的に後方の画素値と当該生成した画素値とを含む未来の遷移を生成する処理を再帰的に実行することにより、当該生成した全ての未来の遷移を含む第２の遷移を推定してもよい。この場合、各々の未来の遷移を無理なく生成できることから、推定した第２の遷移の精度の向上を期待することができる。

また、第１の実施形態によれば、第１の遷移は、Ｘ線画像における血管画素の画素値の時系列データであり、造影剤の濃度の上昇、ピーク及び下降のうちの当該上昇の初期における複数の画素値に対応していてもよい。この場合、造影剤の濃度の上昇の初期からそれ以降の期間について画像処理が行われ、Ｘ線画像全体の視認性を確保することができる。

また、第１の実施形態によれば、第２の遷移は、後のＸ線画像における血管画素の画素値の時系列データであり、当該初期より後の上昇、ピーク及び下降における複数の画素値に対応していてもよい。この場合、造影剤の濃度の上昇の初期より後の上昇、ピーク及び下降の期間について画像処理が行われ、Ｘ線画像全体の視認性を確保することができる。

また、第１の実施形態によれば、第１の遷移に基づいて、順次生成されるＸ線画像の画素に対して、当該画素に描出される物体の種類に関する情報を設定してもよい。また、順次生成される当該Ｘ線画像に対して、設定された当該情報に基づく画像処理を当該Ｘ線画像内の画素の位置に応じて行うようにしてもよい。この場合、Ｘ線画像の画素に描出される物体の種類に基づいて、当該画素の画像処理を行うことができる。

また、第１の実施形態によれば、Ｘ線画像のうちの血管画素と当該血管画素以外の画素とを識別する識別情報を当該物体の種類に関する情報として設定してもよい。この場合、Ｘ線画像の血管画素に対して、画像処理を行うことができる。

また、第１の実施形態によれば、被検体のＤＳＡ画像に基づいて、当該識別情報を設定するようにしてもよい。この場合、Ｘ線画像の血管画素を容易に特定することができる。

また、第１の実施形態によれば、被検体の時系列的なＤＳＡ画像に基づいて当該識別情報を出力するための学習済みモデルに対して、順次生成されるＸ線画像を入力し、識別情報を出力させることにより、当該識別情報を設定するようにしてもよい。この場合、Ｘ線画像に比べ、ＤＳＡ画像の方が血管画素の特定が容易なことから、識別情報の精度の向上を期待することができる。

また、第１の実施形態によれば、当該識別情報により識別される血管画素の位置に応じて、当該識別情報に基づく画像処理であるコントラスト調整を行うようにしてもよい。この場合、血管画素のコントラスト調整に伴い、血管画素の視認性を確保することができる。これに加え、従来に比べ、薄い造影剤が使用可能となるため、造影剤の使用量を減少させることができる。

［変形例］
以下、第１の実施形態の各変形例について説明するが、第１の実施形態と重複した部分の説明を省略し、ここでは異なる部分について主に述べる。このことは、他の実施形態についても同様である。また、第１の実施形態の第１変形例及び第２変形例は、それぞれ他の変形例や他の実施形態にも適用できる。

［第１変形例］
第１変形例は、ステップＳＴ４０での血管画素を特定する特定方法と、ステップＳＴ７０での未来の時系列データを推定する推定方法との組み合わせを変えたものである。この種の特定方法としては、例えば［ａ１］～［ａ３］の３種類が使用可能となっている。

［ａ１］ＡＩを利用する第１の特定方法（時系列データを学習した学習済みモデル）
第１の特定方法では、ＤＳＡ撮影で得られた血管画素の画素値の時系列データ（動画）を入力データとし、各画素の識別情報（血管画素、血管画素以外）を出力データとして機械学習モデルを学習させる。これにより、Ｘ線透視中に造影剤が写った画素を血管として特定できる学習済みモデルを生成する。これにより、時系列的なＸ線画像を学習済みモデルに入力することで、造影剤が流れている領域（血管画素）を学習済みモデルがリアルタイムに特定して識別情報を出力する。なお、リアルタイムとは、所定の短期間を意味する。この第１の特定方法であれば、造影剤流入直後の画素のように、薄く染まった画素でも早期に血管画素として特定可能である。

［ａ２］ＡＩを利用する第２の特定方法（静止画データを学習した学習済みモデル）
第２の特定方法では、ＤＳＡ撮影で得たＤＳＡ画像を入力データとし、各画素の識別情報（血管画素、血管画素以外）を出力データとして機械学習モデル（ＣＮＮなど）を学習させる。これにより、Ｘ線透視中に造影剤が写った画素を血管として特定できる学習済みモデルを生成する。これにより、Ｘ線画像を学習済みモデルに入力することで、造影剤が流れている領域（血管画素）を学習済みモデルがリアルタイムに特定して識別情報を出力する。なお、ＣＮＮについては、前述した通りである。

［ａ３］ＡＩを利用しない第３の特定方法
第３の特定方法では、ＤＳＡ画像、２Ｄロードマップ、３Ｄロードマップ、又はパターン認識技術、などが適宜、使用可能となっている。例えば、手技中にＤＳＡ画像を得た場合、当該ＤＳＡ画像を現在のＸ線画像に重畳することで血管画素を特定してもよく、当該ＤＳＡ画像中の血管画素の座標値で現在のＸ線画像の血管画素を特定してもよい。２Ｄロードマップの場合、例えば、予め得られたＤＳＡ画像を現在のＸ線画像に重畳することで血管画素を特定可能となっている。３Ｄロードマップの場合、例えば、予め得られた３Ｄ血管画像を現在のＸ線画像に重畳することで血管画素を特定可能となっている。パターン認識技術の場合、例えば、被検体の血管走行の形態を示すパターンをメモリ４１に予め記憶し、現在のＸ線画像内で所定範囲に収まる画素値を示す画素のパターンを抽出し、予め記憶したパターンと、Ｘ線画像から抽出したパターンとを比較し、両者の類似度（又は相関度など）が基準値を超えることにより、血管画素を特定可能となっている。

一方、ステップＳＴ７０での推定方法としては、例えば［ｂ１］～［ｂ２］の２種類が使用可能となっている。

［ｂ１］機械学習手法
予め現フレーム及びその直近フレームからなる数フレーム分のＸ線画像（時系列データ）を入力データとし、現フレームの直後のフレームのＸ線画像を出力データとして機械学習モデルを学習させる機械学習手法（ＲＮＮ、ＬＳＴＭなど）を用いる。これにより、Ｘ線透視中に得られる時系列的なＸ線画像から未来のＸ線画像を推定（生成）できる学習済みモデルを生成する。運用時には、血管画素を特定した後、Ｘ線透視中に得られる時系列的なＸ線画像を学習済みモデルに入力し、直後のＸ線画像を学習済みモデルから出力する処理を再帰的に実行する。これにより、Ｘ線透視中に得られる時系列的なＸ線画像から、当該Ｘ線画像における血管画素の画素値の変化に対応する未来の時系列データを生成する。なお、ＲＮＮ及びＬＳＴＭについては、前述した通りである。

［ｂ２］統計的手法
血管画素を特定した後、現フレーム及びその直近フレームからなる数フレーム分のＸ線画像（時系列データ）を入力データとして、統計的手法（指数平滑法、ＡＲＩＭＡなど）で血管画素の画素値の変化を予測し、未来の時系列データを生成する。

以上が特定方法［ａ１］～［ａ３］と、推定方法［ｂ１］～［ｂ２］との概要である。これら特定方法［ａ１］～［ａ３］の各々と、推定方法［ｂ１］～［ｂ２］の各々との組み合わせは、６通りが実施可能である。なお、第１の実施形態は、特定方法［ａ１］と、推定方法［ｂ１］との組み合わせを用いている。第１変形例は、上記６通りの組み合わせのうち、第１の実施形態で用いた組み合わせを除く５通りの組み合わせのいずれかを実施するものである。例えば、第１変形例としては、特定方法［ａ１］と、推定方法［ｂ２］との組み合わせを用いてもよい（１通り）。あるいは、第１変形例としては、特定方法［ａ２］と、推定方法［ｂ１］（又は［ｂ２］）との組み合わせを用いてもよい（２通り）。また、あるいは、第１変形例としては、特定方法［ａ３］と、推定方法［ｂ１］（又は［ｂ２］）との組み合わせを用いてもよい（２通り）。

このような第１変形例によれば、５通りの組み合わせのいずれにしても、第１の実施形態と同様の効果を得ることができる。また、ＡＩを利用しない第３の特定方法［ａ３］を含む組み合わせの場合、血管画素の特定に学習済みモデルを用いないので、機械学習モデルを学習させて学習済みモデルを生成する手間を省略することができる。同様に、統計的手法である推定方法［ｂ２］を含む組み合わせの場合、未来の時系列データの推定に学習済みモデルを用いないので、機械学習モデルを学習させて学習済みモデルを生成する手間を省略することができる。特に、特定方法［ａ３］と、推定方法［ｂ２］との組み合わせの場合、両方法とも学習済みモデルを用いないので、学習済みモデルを生成する手間をより一層、省略することができる。

［第２変形例］
第２変形例は、図１５に示すように、ステップＳＴ９０での血管画素に対する画像処理の後、血管画素以外の領域に対する画像処理を行うステップＳＴ９１を付加している。

例えば、ステップＳＴ９０の後、ステップＳＴ９１において、処理回路４４は、血管画素以外の領域（背景の低周波領域）に対して、ダイナミックレンジ（輝度範囲）を抑制する非線形濃度処理（ＤＲ圧縮）を強めにかけるようにしてもよい。また例えば、処理回路４４は、血管画素以外の領域に対して、ＤＳＡ画像に似た画像を生成するようにしてもよい。この場合、処理回路４４は、血管画素以外の背景画素を均一の画素値に設定する。血管画素については、骨など血管に重なっている物体の影響を取り除くため、”造影剤が流れ込む前の画素値”を”造影剤が流れ込んだときの画素値”から引くことで、造影剤による染まり具合を正しく表現することができる。これにより、ＤＳＡ画像特有の血管の凹凸具合や奥行き感を表現することができる。

ステップＳＴ９１の後、前述同様にステップＳＴ１００以降の処理が実行される。また、繰り返し実行中のステップＳＴ１０～ＳＴ１１０の動作においては、ステップＳＴ９０とＳＴ１００との間にステップＳＴ９１が実行される。

このような第２変形例によれば、第１の実施形態の効果に加え、血管画素以外の領域における画素値の変化を抑制又は均一化できるので、血管画素の視認性の向上を図ることができる。また、血管画素以外の領域を均一化する場合には、血管画素についても、造影剤による染まり具合を正しく表現することができる。

＜第２の実施形態＞
第２の実施形態は、第１の実施形態の変形例であり、図１６に示すように、Ｘ線診断装置１の外部装置として、医用画像処理装置６６を備えている。医用画像処理装置６６は、少なくとも１つのメモリ６１、ディスプレイ６２、入力インタフェース６３、処理回路６４及びネットワークインタフェース６５を備えている。処理回路６４は、図示しないプロセッサとメモリを備えている。処理回路６４のプロセッサは、メモリ６１内のプログラムを呼び出し実行することにより、プログラムに対応する画像処理機能６４２、推定機能６４３、表示制御機能６４４及び学習制御機能６４５を実現する。このプログラムは、例えば、予めネットワーク又は非一過性のコンピュータ読み取り可能な記憶媒体（non-transitory computer-readable storage medium）６７からコンピュータにインストールされ、当該コンピュータのプロセッサに実行されることにより、当該コンピュータに医用画像処理装置６６の機能を実現させる。但し、推定機能６４３、表示制御機能６４４及び学習制御機能６４５は、必須ではなく、任意の付加的事項である。

ここで、医用画像処理装置６６は、Ｘ線診断装置１とネットワークＮｗを介して通信可能であり、Ｘ線診断装置１の医用画像処理装置４６と同様の機能をもっている。このため、医用画像処理装置６６の説明としては、前述したＸ線診断装置１内の医用画像処理装置４６の説明から、参照符号の最上位桁の値“４”を“６”に読み替えることにより、重複した詳細な説明を省略する。医用画像処理装置６６及び医用画像処理装置４６は、それぞれ医用画像処理装置の一例である。

すなわち、メモリ６１は、前述したメモリ４１と同様の構成であり、被検体のＸ線画像を順次生成するＸ線診断装置１により順次生成されたＸ線画像を保存する。Ｘ線画像は、Ｘ線診断装置１により生成及び送信され、ネットワークインタフェース６５により受信されてメモリ６１に書き込まれる。また、メモリ６１は、医用画像処理装置６６のプログラムを記憶する。メモリ６１及びメモリ４１は、それぞれ記憶部の一例である。

ディスプレイ６２は、前述したディスプレイ４２と同様の構成であり、処理回路４４に制御され、Ｘ線画像などを表示する。

入力インタフェース６３は、前述した入力インタフェース４３と同様の構成であり、操作者の操作に応じた電気信号を処理回路６４に出力する。

処理回路６４は、前述した処理回路４４と同様の構成であり、図示しないプロセッサとメモリを備え、入力インタフェース６３にて入力あるいは設定された各種情報がメモリに保存される。処理回路６４のプロセッサは、メモリ６１内のプログラムを呼び出し実行することにより、プログラムに対応する画像処理機能６４２、推定機能６４３、表示制御機能６４４及び学習制御機能６４５を実現する。処理回路６４及び処理回路４４は、それぞれ画像処理部及び推定部の一例である。

画像処理機能６４２は、被検体のＸ線画像を順次生成するＸ線診断装置１により順次生成されたＸ線画像をメモリ６１に保存する。また、画像処理機能６４２は、前述した画像処理機能４４２と同様の機能であり、被検体に造影剤が注入された後に生成された複数のＸ線画像における画素値の時系列的な第１の遷移に基づいて、順次生成されるＸ線画像に対する画像処理を行う。

推定機能６４３は、前述した推定機能４４３と同様の機能であり、第１の遷移に対応する複数のＸ線画像よりも後のＸ線画像における画素値の時系列的な第２の遷移を、第１の遷移に基づいて推定する。なお、推定機能６４３は、必須ではなく、任意の付加的事項である。

また、画像処理機能６４２は、推定機能６４３がある場合には、第１の遷移及び第２の遷移に基づいて、画像処理を行う。

表示制御機能６４４は、前述した表示制御機能４４４と同様の構成であり、生成されたＸ線画像をディスプレイ６２に表示させる。また、表示制御機能６４４は、推定機能の有無によらず、画像処理が行われた場合には、当該画像処理が行われたＸ線画像をディスプレイ６２に表示させる。

学習制御機能６４５は、前述した学習制御機能４４５と同様の構成であり、学習用データに基づいて、メモリ６１内の機械学習モデルに機械学習を行わせることにより、学習済みの機械学習モデルである学習済みモデルを生成する。なお、学習制御機能６４５は、必須ではなく、任意の付加的事項である。

ネットワークインタフェース６５は、前述したネットワークインタフェース４５と同様の構成であり、有線、無線又はその両方にて外部装置と通信するための回路である。外部装置は、例えば、モダリティとしてＸ線診断装置１が含まれる。

このような医用画像処理装置６６は、Ｘ線診断装置１内の医用画像処理装置４６が外部装置として設けられたものとして機能する。

上述したように第２の実施形態によれば、被検体のＸ線画像を順次生成するＸ線診断装置により順次生成されたＸ線画像を保存し、被検体に造影剤が注入された後に生成された複数のＸ線画像における画素値の時系列的な第１の遷移に基づいて、順次生成されるＸ線画像に対する画像処理を行う。これにより、医用画像処理装置においても、第１の実施形態と同様の効果を得ることができる。また、このような効果は、医用画像処理装置の各機能に対応するプログラムをコンピュータに実装した構成によっても、得ることができる。

以上説明した少なくとも一つの実施形態によれば、被検体のＸ線画像を順次生成し、被検体に造影剤が注入された後に、生成された複数のＸ線画像における画素値の時系列的な第１の遷移に基づいて、順次生成されるＸ線画像に対する画像処理を行う。このように、被検体に造影剤が注入された後に、画素値の時系列的な遷移に基づいて画像処理を行う構成により、造影撮像時のＸ線画像全体の視認性を確保することができる。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ）等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１又は図１６における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ Ｘ線診断装置
１０ 撮像装置
１１ 高電圧発生装置
１２ Ｘ線発生部
１３ Ｘ線検出器
１４ Ｃアーム
１４１ Ｃアーム駆動装置
３０ 寝台装置
３１ 基台
３２ 寝台駆動装置
３３ 天板
３４ 支持フレーム
４０ コンソール装置
４１、６１ メモリ
４２、６２ ディスプレイ
４３、６３ 入力インタフェース
４４、６４ 処理回路
４４１ システム制御機能
４４２、６４２ 画像処理機能
４４３、６４３ 推定機能
４４４、６４４ 表示制御機能
４４５、６４５ 学習制御機能
４５、６５ ネットワークインタフェース
４６、６６ 医用画像処理装置
Ｎｗ ネットワーク

Claims (11)

1. Ｘ線を発生させるＸ線発生部と、
   被検体を透過した前記Ｘ線を検出してＸ線画像を順次生成するＸ線検出器と、
   前記被検体に造影剤が注入された後に、前記生成された複数の前記Ｘ線画像における画素値の時系列的な第１の遷移に基づいて、順次生成される前記Ｘ線画像に対する画像処理を行う画像処理部と、
   前記第１の遷移に対応する複数の前記Ｘ線画像よりも後のＸ線画像における画素値の時系列的な第２の遷移を、前記第１の遷移に基づいて推定する推定部と、
   を備え、
   前記画像処理部は、前記第１の遷移及び前記第２の遷移に基づいて、前記画像処理を行う、Ｘ線診断装置。
2. 前記推定部は、前記第１の遷移に基づいて前記後のＸ線画像の画素値を生成し、前記第１の遷移における時系列的に後方の画素値と当該生成した画素値とを含む未来の遷移を生成する処理を再帰的に実行することにより、前記生成した全ての前記未来の遷移を含む前記第２の遷移を推定する、
   請求項１に記載のＸ線診断装置。
3. 前記第１の遷移は、前記Ｘ線画像における血管画素の画素値の時系列データであり、前記造影剤の濃度の上昇、ピーク及び下降のうちの前記上昇の初期における複数の画素値に対応している、
   請求項１又は２に記載のＸ線診断装置。
4. 前記第２の遷移は、前記後のＸ線画像における血管画素の画素値の時系列データであり、前記初期より後の前記上昇、前記ピーク及び前記下降における複数の画素値に対応している、
   請求項３に記載のＸ線診断装置。
5. 前記画像処理部は、
   前記第１の遷移に基づいて、順次生成される前記Ｘ線画像の画素に対して、当該画素に描出される物体の種類に関する情報を設定し、
   順次生成される前記Ｘ線画像に対して、設定された前記情報に基づく画像処理を当該Ｘ線画像内の画素の位置に応じて行う、
   請求項１乃至４のいずれか一項に記載のＸ線診断装置。
6. 前記画像処理部は、前記Ｘ線画像のうちの血管画素と前記血管画素以外の画素とを識別する識別情報を前記物体の種類に関する情報として設定する、
   請求項５に記載のＸ線診断装置。
7. 前記画像処理部は、前記被検体のＤＳＡ画像に基づいて、前記識別情報を設定する、 請求項６に記載のＸ線診断装置。
8. 前記画像処理部は、前記被検体の時系列的なＤＳＡ画像に基づいて前記識別情報を出力するための学習済みモデルに対して、順次生成される前記Ｘ線画像を入力し、前記識別情報を出力させることにより、当該識別情報を設定する、
   請求項７に記載のＸ線診断装置。
9. 前記画像処理部は、前記識別情報により識別される血管画素の位置に応じて、当該識別情報に基づく画像処理であるコントラスト調整を行う、
   請求項６乃至８のいずれか一項に記載のＸ線診断装置。
10. 被検体のＸ線画像を順次生成するＸ線診断装置により順次生成されたＸ線画像を保存する記憶部と、
    前記被検体に造影剤が注入された後に生成された複数の前記Ｘ線画像における画素値の時系列的な第１の遷移に基づいて、順次生成される前記Ｘ線画像に対する画像処理を行う画像処理部と、
    前記第１の遷移に対応する複数の前記Ｘ線画像よりも後のＸ線画像における画素値の時系列的な第２の遷移を、前記第１の遷移に基づいて推定する推定部と、
    を備え、
    前記画像処理部は、前記第１の遷移及び前記第２の遷移に基づいて、前記画像処理を行う、医用画像処理装置。
11. 被検体のＸ線画像を順次生成するＸ線診断装置により順次生成されたＸ線画像をメモリに保存する機能と、
    前記被検体に造影剤が注入された後に生成された複数の前記Ｘ線画像における画素値の時系列的な第１の遷移に基づいて、順次生成される前記Ｘ線画像に対する画像処理を行う機能と、
    前記第１の遷移に対応する複数の前記Ｘ線画像よりも後のＸ線画像における画素値の時系列的な第２の遷移を、前記第１の遷移に基づいて推定する機能と、
    をコンピュータに実現させ、
    前記画像処理を行う機能は、前記第１の遷移及び前記第２の遷移に基づいて、前記画像処理を行う、プログラム。