以下、図面を参照して各実施形態について説明する。
<第1の実施形態>
図1は、第1の実施形態に係るX線診断装置及び医用画像処理装置を含む医用画像処理システムの構成を示すブロック図であり、図2は、X線診断装置の構成を示すブロック図である。図3及び図4は、メモリ及び各画像を説明するための模式図である。図5及び図6は、学習済みモデル及びその入出力の一例を説明するための模式図である。図7は、医用画像処理装置の構成を示すブロック図である。図1に示す医用画像処理システムは、互いにネットワークNwを介して通信可能なX線診断装置1及び医用画像処理装置90を備えている。
ここで、X線診断装置1は、撮像装置10、インジェクタ40、寝台装置50及びコンソール装置70を備えている。撮像装置10は、高電圧発生装置11、X線発生部12、X線検出器13、Cアーム14、状態検出器141及びCアーム駆動装置142を備えている。
高電圧発生装置11は、X線管の陰極から発生する熱電子を加速するために、陽極と陰極の間に印加する高電圧を発生させてX線管へ出力する。
X線発生部12は、被検体Pに対してX線を照射するX線管と、X線の照射野を限定したり、照射野のうちの一部についてX線を減衰させたりする機能を有するX線絞りとを備えている。
X線管は、X線を発生する。具体的には、X線管は、熱電子を発生する陰極と、陰極から飛翔する熱電子を受けてX線を発生する陽極とを保持する真空管である。例えば、X線管には回転する陽極に熱電子を照射することでX線を発生させる回転陽極型のX線管がある。X線管は高圧ケーブルを介して高電圧発生装置11に接続されている。陰極と陽極との間には、高電圧発生装置11により管電圧が印加される。管電圧の印加により陰極から陽極に向けて熱電子が飛翔する。陰極から陽極に向けて熱電子が飛翔することにより管電流が流れる。高電圧発生装置11からの高電圧の印加及びフィラメント電流の供給により、陰極から陽極に向けて熱電子が飛翔し、熱電子が陽極に衝突することによりX線が発生される。
X線絞りは、X線管とX線検出器13の間に位置し、一般的には、絞り羽根、付加フィルタ及び補償フィルタを備えている。X線絞りは、開口領域外のX線を遮蔽することにより、X線管が発生したX線を、被検体Pの関心領域にのみ照射されるように絞り込む。例えば、X線絞りは4枚の鉛板からなる絞り羽根を有し、これらの絞り羽根をスライドさせることで、X線の遮蔽される領域を任意のサイズに調節する。X線絞りの絞り羽根は、操作者が入力インタフェース73から入力した関心領域に応じて、図示しない駆動装置により駆動される。また、X線絞りは、X線の総ろ過を調整するための付加フィルタがスリットから挿入可能となっている。また、X線絞りは、X線検査時に使用される鉛マスクや補償フィルタがアクセサリ挿入口から挿入可能となっている。なお、補償フィルタは、照射X線量を減衰或いは低減させる機能を有するROI(Region Of Interest)フィルタを含んでもよい。
X線検出器13は、被検体Pを透過したX線を検出する。このようなX線検出器13としては、X線を直接電荷に変換するものと、光に変換した後、電荷に変換するものとが使用可能であり、ここでは前者を例に説明するが後者であっても構わない。すなわち、X線検出器13は、例えば、被検体Pを透過したX線を電荷に変換して蓄積する平面状のFPD(Flat Panel Detector)と、このFPDに蓄積された電荷を読み出すための駆動パルスを生成するゲートドライバとを備えている。FPDは微小な検出素子を列方向及びライン方向に2次元的に配列して構成される。各々の検出素子はX線を感知し、入射X線量に応じて電荷を生成する光電膜と、この光電膜に発生した電荷を蓄積する電荷蓄積コンデンサと、電荷蓄積コンデンサに蓄積された電荷を所定のタイミングで出力するTFT(薄膜トランジスタ)を備えている。蓄積された電荷はゲートドライバが供給する駆動パルスによって順次読み出される。
X線検出器13の後段には、図示しない投影データ生成回路及び投影データ記憶回路を備える。投影データ生成回路は、FPDから行単位あるいは列単位でパラレルに読み出された電荷を電圧に変換する電荷・電圧変換器と、この電荷・電圧変換器の出力をデジタル信号に変換するA/D変換器と、デジタル変換されたパラレル信号を時系列的なシリアル信号に変換するパラレル・シリアル変換器を備えている。投影データ生成回路は、このシリアル信号を時系列的な投影データとして投影データ記憶回路に供給する。投影データ記憶回路は、投影データ生成回路から供給される時系列的な投影データを順次保存して2次元投影データを生成する。この2次元投影データは、メモリ71に保存される。
Cアーム14は、X線発生部12とX線検出器13とを被検体P及び天板53を挟んで対向するように保持することで、天板53上の被検体PのX線撮影を行うことができる構成を有する。以下の説明では、天井吊りタイプのCアームを例に挙げて述べるが、これに限らず、例えば、床置きタイプのCアームであってもよい。
具体的にはCアーム14は、天板53の長軸方向及び短軸方向に沿って移動可能となっている。また、Cアーム14は、保持部を介して支持アームに支持されている。支持アームは、略円弧形状を有し、天井に設けられたレールに対する移動機構に基端が取り付けられている。Cアーム14は、天板53に垂直なY方向と、天板53の長軸方向に沿ったZ方向との両者に直交するX方向の軸を中心に回転可能に保持部に保持されている。また、Cアーム14は、Z方向の軸を中心とした略円弧形状を有し、略円弧形状に沿ってスライド動作可能に保持部に保持されている。すなわち、Cアーム14は、Z方向の軸を回転中心としたスライド動作を行うことができる。また、Cアーム14は、保持部を中心としてX方向の軸を中心とした回転動作(以下、「主回転動作」と称する。)をすることができ、スライドとこの回転の組み合わせにより様々な角度方向からX線画像を観察することを可能とする。さらに、Cアーム14は、Y方向の軸を中心にも回転することができ、これにより、例えば、上述のスライド動作の回転中心軸をX方向とすることができる。なお、X線発生部12のX線焦点と、X線検出器13の検出面中心とを通る撮影軸は、スライド動作の回転中心軸と、主回転動作の回転中心軸とに一点で交差するように設計されている。当該交点は、一般的には、アイソセンタと呼ばれている。アイソセンタは、Cアーム14が上述のスライド動作や主回転動作をしても変位しない。このため、アイソセンタに関心部位が位置した場合、Cアーム14のスライド動作又は主回転動作により得られた医用画像の動画像において、関心部位の観察が容易になる。
このようなCアーム14は、レール下の支持アーム、X方向の軸、Y方向の軸及びZ方向の軸に係る動作を実現するための複数の動力源が該当する適当な箇所に備えられている。これらの動力源はCアーム駆動装置142を構成する。Cアーム駆動装置142は、駆動制御機能742からの駆動信号を読み込んでCアーム14をスライド運動、回転運動、直線運動させる。さらに、Cアーム14には、その角度または姿勢や位置の情報を検出する状態検出器141がそれぞれ備えられている。状態検出器141は、例えば回転角や移動量を検出するポテンショメータや、位置検出センサであるエンコーダ等で構成される。エンコーダとしては、例えば磁気方式、刷子式、あるいは光電式等の、いわゆるアブソリュートエンコーダが使用可能となっている。また、状態検出器141としては、回転変位をデジタル信号として出力するロータリエンコーダあるいは直線変位をデジタル信号として出力するリニアエンコーダなど、様々な種類の位置検出機構が適宜、使用可能となっている。
インジェクタ40は、被検体Pの造影血管X線画像を撮影する際に、撮影制御機能743から通信された注入量及び注入速度に応じて、被検体Pに造影剤を注入する。
寝台装置50は、被検体Pを載置、移動させる装置であり、基台51と、寝台駆動装置52と、天板53と、支持フレーム54とを備えている。
基台51は、床面に設置され、支持フレーム54を鉛直方向(Y方向)に移動可能に支持する筐体である。
寝台駆動装置52は、寝台装置50の筐体内に収容され、被検体Pが載置された天板53を天板53の長手方向(Z方向)に移動するモータあるいはアクチュエータを含んでいる。寝台駆動装置52は、駆動制御機能742からの駆動信号を読み込んで、天板53を床面に対して水平方向や垂直方向に移動させる。
天板53は、支持フレーム54の上面に設けられ、被検体Pが載置される板である。
支持フレーム54は、被検体Pが載置される天板53を移動可能に支持する。詳しくは、支持フレーム54は、基台51の上部に設けられ、天板53をその長手方向に沿ってスライド可能に支持する。
コンソール装置70は、メモリ71、ディスプレイ72、入力インタフェース73、処理回路74及びネットワークインタフェース76を備えている。
メモリ71は、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)及び画像メモリなど電気的情報を記録するメモリ本体と、それらメモリ本体に付随するメモリコントローラやメモリインタフェースなどの周辺回路とを備えている。メモリ71は、例えば、処理回路74に実行されるプログラムと、X線検出器13から受けた検出データ(投影データ)、処理回路74により生成された医用画像、処理回路74の処理に用いるデータ、各種テーブル、処理途中のデータ及び処理後のデータ等が記憶される。医用画像としては、例えば図3及び図4に示すように、マスク画像Mk、造影画像Cn、血管画像Dsa、ライブ画像Lv(t)、デバイス画像Dv(t)、透視サブトラクション画像Fs(t)及び透視ランドマーク画像Lm(t)などがある。なお、符号“(t)”は、当該画像が時間t毎のフレーム画像であり、時系列に沿って撮像された時系列画像であることを表す。また、医用画像としては、図示した頭部の医用画像に限らず、デバイスが挿入される血管を有する任意の部位の医用画像が、適宜、使用可能となっている。但し、本明細書中では、頭部の医用画像を例に挙げて述べる。
ここで、マスク画像Mkは、手技前の被検体の治療部位に対し、造影剤を注入していない状態、あるいは造影剤が流れ去った状態で撮影を行って得られる非造影のX線画像である。このマスク画像Mkには被検体の骨などの背景が写りこむこととなる。
造影画像Cnは、手技前の被検体の治療部位に対し、造影剤が注入された状態で撮影を行って得られるX線画像である。X線管より照射されたX線は被検体の血管内に存在する造影剤を透過することでその強度を大きく変化させて、X線検出器13に入射する。従って、造影画像Cnには、被検体の骨などの背景に加えて被検体の血管が写りこむこととなる。
血管画像Dsaは、造影画像Cnとマスク画像Mkとの位置合わせ処理及びサブトラクション処理を行うことで得られるX線画像である。処理回路74が造影画像Cnとマスク画像Mkとのサブトラクション処理(画像演算)を行うと、造影画像Cnとマスク画像Mkとに共通して写りこんだ骨などの背景が消え、その一方で造影画像Cnにのみ写りこんだ血管が現れることとなる。従って、サブトラクション処理により得られる血管画像Dsaには、造影画像Cn中の血管のみが抽出されて写りこむこととなる。この血管画像Dsaは、DSA画像と呼んでもよい。DSAは、前述した通り、Digital Subtraction Angiographyの略語である。
ライブ画像Lv(t)は、手技中の被検体の治療部位に対し、カテーテル、コイル又はガイドワイヤなどの種々の治療用若しくは検査用のデバイスを挿入した状態で透視撮像を行って得られるX線画像である。X線管より照射されたX線はデバイスを透過することでその強度を大きく変化させて、X線検出器13へと入射する。従って、ライブ画像Lv(t)には、被検体の骨などの背景に加えて被検体内に挿入されたデバイスが写りこむこととなる。このようなライブ画像Lv(t)は、リアルタイムに生成及び表示される。ここで、「リアルタイム」の用語は、厳密に、撮像された瞬間に生成及び表示する処理を意味するのではなく、処理回路74及びディスプレイ72により順次、生成及び表示されることを意味する。
デバイス画像Dv(t)は、ライブ画像Lv(t)とマスク画像Mkとの位置合わせ処理及びサブトラクション処理を行うことで得られるX線画像である。処理回路74がライブ画像Lv(t)とマスク画像Mkとのサブトラクション処理(画像演算)を行うと、ライブ画像Lv(t)とマスク画像Mkとに共通して写りこんだ骨などの背景が消え、その一方でライブ画像Lv(t)にのみ写りこんだデバイスが現れることとなる。従って、サブトラクション処理により得られるデバイス画像Dv(t)には、ライブ画像Lv(t)中のデバイスのみが抽出されて写りこむこととなる。このようなデバイス画像Dv(t)は、リアルタイムに生成される。ここで、「リアルタイム」の用語は、厳密に、撮像された瞬間に生成及び表示する処理を意味するのではなく、ライブ画像Lv(t)が順次、生成される処理に続いて、順次、生成されることを意味する。
透視サブトラクション画像Fs(t)は、血管画像Dsaとデバイス画像Dv(t)との位置合わせ処理及び加算処理を行うことで得られるX線画像である。処理回路74が血管画像Dsaとデバイス画像Dv(t)との加算処理(画像演算)を行うと、造影画像Cnに抽出された血管と、デバイス画像Dv(t)に抽出されたデバイスとの重畳画像が現れることとなる。手技を行う医師は、リアルタイムに生成及び表示される動画として透視サブトラクション画像Fs(t)により、血管とデバイスとの位置関係を確認しながら手技を行う。ここで、「リアルタイム」の用語は、厳密に、撮像された瞬間に生成及び表示する処理を意味するのではなく、デバイス画像Dv(t)が順次、生成される処理に続いて、透視サブトラクション画像Fs(t)が順次、生成及び表示される処理を意味する。なお、透視サブトラクション画像Fs(t)は、これに限らず、造影画像Cnとライブ画像Lv(t)とのサブトラクション処理を行うことでリアルタイムに生成してもよい。ここでいう「リアルタイム」の用語も同様に、ライブ画像Lv(t)が順次、生成される処理に続いて、透視サブトラクション画像Fs(t)が順次、生成及び表示される処理を意味する。
透視ランドマーク画像Lm(t)は、血管画像Dsaとライブ画像Lv(t)との位置合わせ処理及び加算処理を行うことで得られるX線画像である。処理回路74が血管画像Dsaとライブ画像Lv(t)との加算処理(画像演算)を行うと、血管画像Dsaに抽出された血管と、ライブ画像Lv(t)に写り込んだ背景及びデバイスとの重畳画像が現れることとなる。手技を行う医師は、リアルタイムに生成及び表示される動画として透視ランドマーク画像Lm(t)により、背景内の血管とデバイスとの位置関係を確認しながら手技を行う。ここで、「リアルタイム」の用語は、厳密に、撮像された瞬間に生成及び表示する処理を意味するのではなく、ライブ画像Lv(t)が順次、生成される処理に続いて、透視ランドマーク画像Lm(t)が順次、生成及び表示される処理を意味する。
これに加え、メモリ71は、学習済みモデルMdやデバイス領域スコアSc(t)を記憶してもよい。メモリ71は、例えば、X線診断装置1の工場出荷前に予め学習済みモデルMdを記憶してもよく、あるいはX線診断装置1の工場出荷後に、図示しないサーバ装置などから取得した学習済みモデルMdを記憶してもよい。このことは、以下の各実施形態でも同様である。学習済みモデルMdは、デバイスが挿入された状態で撮像されたX線画像に基づいて、当該X線画像上のデバイス領域を特定し、特定結果を出力するように機能付けられている。特定結果としては、図4乃至図6に一例を示すように、マスク画像Mk等の第1X線画像に位置合わせされる第2X線画像であるライブ画像Lv(t)の画素毎に、デバイス領域の指標値(以下、スコアともいう)を示すデバイス領域スコアSc(t)が使用可能となっている。このスコアは、デバイスらしさ(形状、X線吸収度合い)を0乃至1の範囲で示す値としてもよい。デバイス領域は、スコアが0以外の領域として特定してもよく、スコアが基準値以上の領域として特定してもよい。基準値としては、例えば、0.1乃至1の範囲の任意の値が適宜、使用可能となっている。あるいは、スコアは、0又は1の二値とし、特定したデバイス領域を1又は0で示してもよい。なお、図6の右下方に示すデバイス領域スコアSc(t)とデバイス画像Dv(t)との重畳画像は、特定結果の理解を容易にするための模式図であり、ライブ画像Lv(t)の画素サイズには対応していない。また、デバイス領域の特定結果としては、これに限らず、デバイス領域を示す座標値の一覧としてもよく、デバイス領域を示す画像としてもよい。
このような学習済みモデルMdは、学習用データに基づいて、機械学習モデルに機械学習を行わせることにより、学習済みの機械学習モデルである学習済みモデルとして作成可能となっている。ここで、学習用データは、デバイスが挿入された状態で撮像されたX線画像を入力データとし、当該X線画像上のデバイス領域の特定結果を出力データとした、入力データと出力データとの組である。機械学習モデルは、デバイスが挿入された状態で撮像されたX線画像を入力とし、当該X線画像上のデバイス領域の特定結果を出力する、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数及びパラメータの組合せにより定義される。本実施形態に係る機械学習モデルは、上記の要請を満たす如何なるパラメータ付き合成関数であっても良いが、多層のネットワークモデル(以下、多層化ネットワークと呼ぶ)であるとする。多層化ネットワークを用いる学習済みモデルMdは、X線画像を入力する入力層と、当該X線画像上のデバイス領域を特定した結果を出力する出力層と、入力層と出力層との間に設けられる少なくとも1層の中間層とを有する。当該学習済みモデルMdは、人工知能ソフトウエアの一部であるプログラムモジュールとしての利用が想定される。このような多層化ネットワークとしては、例えば、深層学習(Deep Learning)の対象となる多層ニューラルネットワークである深層ニューラルネットワーク(Deep Neural Network:DNN)を用いている。DNNとしては、例えば、動画に対して再帰型ニューラルネットワーク(Recurrent Neural Network:RNN)を用いてもよく、静止画に対して畳込みニューラルネットワーク(Convolutional Neural Network:CNN)を用いてもよい。RNNは、長・短期記憶(Long Short-Term Memory:LSTM)を含んでもよい。以上の当該多層化ネットワークに関する説明は、以下の全ての機械学習モデル及び学習済みモデルにも該当する。
プログラムは、例えば、コンピュータに、第1X線画像と、デバイスが挿入された状態で撮像された第2X線画像との間の位置合わせ処理に先行して、当該第2X線画像において当該デバイスを含むデバイス領域を特定する領域特定機能、当該特定したデバイス領域を除外する第1処理、又は当該デバイス領域の寄与を低減する第2処理を用いることにより、当該位置合わせ処理を実行する位置合わせ処理機能、を実現させる。補足すると、このようなプログラムとしては、例えば、予めネットワーク又は非一過性のコンピュータ読み取り可能な記憶媒体M1からコンピュータにインストールされ、医用画像処理装置77の各機能を当該コンピュータに実現させるプログラムが用いられる。なお、本明細書中、医用画像処理装置77の各機能は、コンピュータ実装方法(computer implemented method)又は医用画像処理方法として実現してもよい。メモリ71は、記憶部の一例である。
ディスプレイ72は、医用画像などといった各種の情報を表示するディスプレイ本体と、ディスプレイ本体に表示用の信号を供給する内部回路、ディスプレイ本体と内部回路とをつなぐコネクタやケーブルなどの周辺回路から構成されている。内部回路は、処理回路74から供給される画像データに被検体情報や投影データ生成条件等の付帯情報を重畳して表示データを生成し、得られた表示データに対しD/A変換とTVフォーマット変換を行なってディスプレイ本体に表示する。例えば、ディスプレイ72は、処理回路74によって生成された医用画像や、操作者からの各種操作を受け付けるためのGUI(Graphical User Interface)等を出力する。例えば、ディスプレイ72は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイである。また、ディスプレイ72は、表示部の一例である。また、ディスプレイ72は、デスクトップ型でもよいし、コンソール装置70本体と無線通信可能なタブレット端末等で構成されることにしても構わない。ディスプレイ72は表示部の一例である。
入力インタフェース73は、被検体情報の入力、X線条件の設定、各種コマンド信号の入力等を行う。被検体情報は、例えば、被検体ID、被検体名、生年月日、年齢、体重、性別、検査部位等を含んでいる。なお、被検体情報は、被検体の身長を含んでもよい。入力インタフェース73は、例えば、Cアーム14の移動指示、関心領域(ROI)の設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、及び表示画面とタッチパッドとが一体化されたタッチパネルディスプレイ等によって実現される。入力インタフェース73は、処理回路74に接続されており、操作者から受け取った入力操作を電気信号へ変換し、処理回路74へと出力する。また、入力インタフェース73は、コンソール装置70本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、本明細書において入力インタフェース73はマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路74へ出力する電気信号の処理回路も入力インタフェース73の例に含まれる。
処理回路74は、メモリ71内のプログラムを呼び出し実行することにより、プログラムに対応するシステム制御機能741、駆動制御機能742、撮影制御機能743、画像処理機能744、領域特定機能745、位置合わせ処理機能746及び表示制御機能747を実現するプロセッサである。なお、図2においては単一の処理回路74にてシステム制御機能741、駆動制御機能742、撮影制御機能743、画像処理機能744、領域特定機能745、位置合わせ処理機能746及び表示制御機能747が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能を実現するものとしても構わない。また、システム制御機能741、駆動制御機能742、撮影制御機能743、画像処理機能744、領域特定機能745、位置合わせ処理機能746及び表示制御機能747は、それぞれシステム制御回路、駆動制御回路、撮影制御回路、画像処理回路、領域特定回路、位置合わせ処理回路及び表示制御回路と呼んでもよく、個別のハードウェア回路として実装してもよい。
システム制御機能741は、例えば、入力インタフェース73から入力された操作者によるコマンド信号、及び各種初期設定条件等の情報を一旦記憶した後、これらの情報を処理回路74の各処理機能に送信する。
駆動制御機能742は、例えば、入力インタフェース73から入力されたCアーム14及び天板53の駆動に関する情報を用いて、Cアーム駆動装置142及び寝台駆動装置52の制御を行う。例えば、駆動制御機能742は、撮像装置10の移動や回転、及び寝台装置50の移動やチルトなどを制御する。
撮影制御機能743は、例えば、システム制御機能741からの情報を読み込んで、高電圧発生装置11における管電圧、管電流、照射時間などのX線条件の制御を行う。X線条件は、管電流と照射時間の積(mAS)を含んでもよい。
画像処理機能744は、例えば、メモリ71内の投影データに対してフィルタリング処理等の画像処理を行ってX線画像データを生成し、X線画像データをメモリ71に保存する。投影データから生成されるX線画像データとしては、例えば、マスク画像Mk、造影画像Cn及びライブ画像Lv(t)などの医用画像データがある。更に、画像処理機能744は、得られた複数のX線画像データの間の位置合わせ処理(APS)や画像演算(加算処理、サブトラクション処理)等を行ない、得られたX線画像データをメモリ71に保存する。位置合わせ処理としては、2つの画像の少なくとも一方を回転、歪み及び移動させることにより、当該2つの画像の重なり合いを最大(又は差分を最小)にするオートピクセルシフト(APS)を用いている。なお、オートピクセルシフトの方向及び距離の算出は、例えば、以下の処理によって実現することができる。例えば、マスク画像Mkとライブ画像Lv(t)の各画素について差分の二乗値あるいは絶対値を算出し、二乗値の各々の和を指標値とする。そして、マスク画像Mkに対して所定量のピクセルシフト処理を施し、ピクセルシフト処理の施されたマスク画像Mkとライブ画像Lv(t)との間で再び指標値を算出する。ピクセルシフト処理の方向及び距離を種々の値に変化させながらこの指標値の算出を行い、指標値が最小となる方向及び距離を求める。この指標値が最小となる位置が、マスク画像Mkとライブ画像Lv(t)との重なりあいが最大となる位置とみなすことができる。なお、本実施形態においては先述の指標値を用いてピクセルシフト処理の方向及び距離を算出する例について述べるが、ピクセルシフト処理の方向及び距離を算出する方法はこれに限られない。例えばマスク画像Mkとライブ画像Lv(t)中に共通して写りこんだ特徴点を検出し、この特徴点同士の位置関係を算出することでピクセルシフト処理の方向及び距離を算出しても構わない。但し、この場合の特徴点には、挿入された状態のデバイスを用いない。また、位置合わせ処理や画像演算により生成されるX線画像データとしては、例えば、血管画像Dsa、デバイス画像Dv(t)、透視サブトラクション画像Fs(t)及び透視ランドマーク画像Lm(t)などの医用画像データがある。すなわち、画像処理機能744は、位置合わせ処理機能746により実行された位置合わせ処理の後、画像演算を実行することにより、ライブ画像Lv(t)である第2X線画像に基づく透視ロードマップ画像を生成してもよい。透視ロードマップ画像としては、例えば、前述した透視サブトラクション画像Fs(t)及び透視ランドマーク画像Lm(t)が適宜、使用可能となっている。画像処理機能744は、画像生成部の一例である。
領域特定機能745は、第1X線画像と、デバイスが挿入された状態で撮像された第2X線画像との間の位置合わせ処理に先行して、当該第2X線画像において当該デバイスを含むデバイス領域を特定する。ここで、第1X線画像は、例えばマスク画像Mkであり、第2X線画像は、例えばライブ画像Lv(t)である。なお、特定されたデバイス領域は、第2X線画像内でデバイスが写り込んだ部分を含んでおり、当該X線画像全体よりも小さい領域である。特定されたデバイス領域は、特定領域、部分領域、小領域又は関心領域などのように読み替えてもよい。ここで、領域特定機能745は、デバイス領域を特定する際に、例えば、(i)学習済みモデルMdを用いる手法、(ii)血管画像Dsaを用いる手法、又は(iii)閾値を用いる手法、といった任意の手法を用いることが可能である。なお、(i)~(iii)の各々の手法は一例であり、領域特定機能745が用いる手法は、(i)~(iii)のいずれの手法にも限定されない。また、(i)~(iii)の各々の手法は互いに組み合わせて用いてもよい。
ここで、(i)学習済みモデルMdを用いる手法の場合、X線診断装置1では、デバイスが挿入された状態で撮像されたX線画像に基づいて、当該X線画像において当該デバイスを含むデバイス領域を特定し、特定結果を出力するように機能付けられた学習済みモデルMdが記憶されたメモリ71を備えている。領域特定機能745は、第1X線画像及び第2X線画像のうちの最新のX線画像及び当該学習済みモデルMdに基づいて、当該最新のX線画像におけるデバイス領域を特定する。なお、本明細書中、「最新のX線画像」という用語は、「更新直後のX線画像」と読み替えてもよく、詳しくは「最新」という用語は、「更新直後」と読み替えてもよい。なお、本実施形態では、最新のライブ画像Lv(t)が最新のX線画像に相当する。また、第2の実施形態では、更新直後のマスク画像Mk_dv及び最新のライブ画像Lv(t)がそれぞれ最新のX線画像に相当する。
(ii)血管画像Dsaを用いる手法の場合、X線診断装置1では、第1X線画像及び第2X線画像の各々に重畳可能な血管画像Dsaを記憶するメモリ71を備えている。ここで、領域特定機能745は、次の(ii-a)~(ii-d)のいずれの機能を実現してもよい。
(ii-a)血管画像Dsa内の血管領域を幅方向に拡張した拡張血管領域に基づいて、第1X線画像及び第2X線画像のうちの最新のX線画像からデバイスを検出する処理を実行することにより、デバイス領域を特定する機能。例えば、デバイスを検出する処理は、前記拡張血管領域及び前記最新のX線画像を上記(i)の学習済みモデルMdに入力することで、実行してもよい。この場合、上記(i),(ii)の手法を組み合わせて用いている。
(ii-b)血管画像Dsa内の血管領域又は当該血管領域を幅方向に拡張した血管領域のうち、基準幅よりも太い血管領域に基づいて、第1X線画像及び第2X線画像のうちの最新のX線画像からデバイスを検出する処理を実行することにより、デバイス領域を特定する機能。また例えば、デバイスを検出する処理は、前記基準幅よりも太い血管領域及び前記最新のX線画像を上記(i)の学習済みモデルMdに入力することで、実行してもよい。この場合、上記(i),(ii)の手法を組み合わせて用いている。
(ii-c)上記(ii-b)の機能において、基準幅よりも太い血管領域に代えて、指定された範囲の血管領域を用いる機能。
(ii-d)上記(ii-b)の機能において、基準幅よりも太い血管領域に代えて、治療部位に至る経路の血管領域を用いる機能。
(iii)閾値を用いる手法の場合、第1X線画像及び第2X線画像のうちの最新のX線画像から、閾値以下の領域をデバイス領域として特定する機能。
なお、領域特定機能745は、前述した第2X線画像におけるデバイス領域の特定に加え、デバイスが挿入された状態で撮像された第1X線画像においても当該デバイスを含むデバイス領域を特定してもよい。第1X線画像においても、デバイス領域に関する説明は、前述した通りである。また、第1X線画像においても、領域特定機能745は、前述同様に、(i)学習済みモデルMdを用いる手法、(ii)血管画像Dsaを用いる手法、又は(iii)閾値を用いる手法、といった任意の手法を用いることが可能である。また、領域特定機能745が用いる手法は、前述同様に、(i)~(iii)のいずれにも限定されない。領域特定機能745は、領域特定部の一例である。
位置合わせ処理機能746は、領域特定機能745により特定したデバイス領域を除外する第1処理、又は当該デバイス領域の寄与を低減する第2処理を用いることにより、画像処理機能744による位置合わせ処理を実行する。
ここで、位置合わせ処理としては、例えば、第1の方式又は第2の方式が使用可能である。第1の方式は、デバイス領域が特定されたX線画像に第1処理又は第2処理を施す処理と、第1処理又は第2処理が施されたX線画像を用いて第1X線画像と第2X線画像との間のズレ量の指標値を算出する処理と、当該算出した指標値に基づいて第1X線画像又は第2X線画像を移動させる処理とを含んでいる。
第2の方式は、第1処理又は第2処理を用いて、第1X線画像と第2X線画像との間のズレ量の指標値を算出する処理と、当該算出した指標値に基づいて第1X線画像又は第2X線画像を移動させる処理とを含んでいる。
第1処理及び第2処理は、位置合わせ処理の前段(例、第1の方式における入力画像の加工、又は第2の方式における指標値の算出)に用いられる処理であり、後段の画像を移動させる処理とその後の画像演算には用いられない。すなわち、位置合わせ処理の後段における画像を移動させる処理とその後の画像演算には、第1処理及び第2処理のいずれも施していないマスク画像やライブ画像などが用いられる。
ここで、第1処理及び第2処理としては、(A)デバイス領域を含む入力画像を加工する処理か、又は(B)デバイス領域の画素値に関してズレ量の指標値の計算を変形した処理とが適宜、使用可能となっている。なお、上記(A)の入力画像を加工する処理の場合、ズレ量の指標値の計算は変形しない。すなわち、上記(A)の場合、画像間のズレ量の指標値を算出する処理と、当該算出した指標値に基づいて画像を移動させる処理には、既存のAPSを使用できる。入力画像としては、マスク画像及びライブ画像のうち、デバイス領域を特定された画像が適宜、使用可能となっている。また、上記(B)のズレ量の指標値の計算を変形した処理の場合、入力画像は加工しない。
上記(A)の場合、第1処理としては、入力画像からデバイスを消去する処理(デバイス領域を背景領域にする処理)が使用可能となっている。詳しくは、上記(A)の第1処理は、第1X線画像及び第2X線画像のうち、デバイス領域が特定されたX線画像から当該デバイス領域内のデバイスを消去する画像処理である。上記(A)の第1処理としては、例えば、(a11)入力画像内のデバイス領域の画素値を当該デバイス領域の周辺画素の画素値で置換する処理か、又は(a12)入力画像のデバイス領域の画素値を、マスク画像の対応する領域の画素値で置換する処理が適宜、使用可能となっている。
また、上記(A)の場合、第2処理としては、入力画像内のデバイスをぼかす処理が使用可能となっている。詳しくは、上記(A)の第2処理は、第1X線画像及び第2X線画像のうち、デバイス領域が特定されたX線画像において当該デバイス領域内のデバイスをぼかす画像処理である。上記(A)の第2処理としては、例えば、(a21)入力画像内のデバイス領域の画素値を当該デバイス領域の周辺画素の画素値に一定の割合で近づける処理か、又は(a22)入力画像のデバイス領域の画素値を、マスク画像の対応する領域の画素値に一定の割合で近づける処理が適宜、使用可能となっている。
一方、上記(B)の場合、第1処理としては、当該特定したデバイス領域の画素値を2つの画像間のズレ量の指標値の算出に使用しない処理が使用可能となっている。詳しくは、上記(B)の第1処理は、第1X線画像と第2X線画像との間のズレ量の指標値を算出する処理から、当該特定されたデバイス領域の画素値を除外する処理である。なお、指標値の計算としては、2つの画像の各画素について差分の二乗値を算出し、二乗値の各々の和をズレ量の指標値とする際に、各画素の差分の二乗値には係数を乗じても乗じなくてもよい。いずれにしても、上記(B)の第1処理としては、デバイス領域の画素値をズレ量の計算に使用しないので、デバイス領域を除外できる。
また、上記(B)の第2処理は、第1X線画像と第2X線画像との間のズレ量の指標値を算出する処理から、当該特定されたデバイス領域の画素値の寄与を低減する処理である。上記(B)の第2処理としては、例えば、前述した2つの画像の各画素について差分の二乗値を算出し、二乗値の各々の和を指標値とする際に、デバイス領域に対応する各画素の差分の二乗値の係数kを0<k<1の範囲にする処理が使用可能となっている。また、指標値が差分の絶対値の和の場合には、デバイス領域に対応する当該絶対値の係数kを0<k<1の範囲にすればよい。係数kとしては、1つの値を用いてもよく、デバイス領域スコアSc(t)の当該画素に対応するスコアに応じた値を用いてもよい。「係数」は、例えば「重み」又は「重み値」と読み替えてもよい。「第2処理」は、例えば「重み付け」又は「重み付け処理」と読み替えてもよい。なお、上記(B)の第2処理を変形して係数kをk=0とし、デバイス領域の寄与を最低に減らすと、上記(B)の第1処理でデバイス領域を除外した場合と同等の効果が得られる。すなわち、上記(B)の第2処理は、上記(B)の第1処理を含むように変形してもよい。位置合わせ処理機能746は、位置合わせ処理部の一例である。
表示制御機能747は、メモリ71内の医用画像データなどの表示データをディスプレイ72に表示する制御などを行う。例えば、表示制御機能747は、システム制御機能741からの信号を読み込んで、メモリ71から所望の医用画像データを取得してディスプレイ72に表示する制御などを行う。表示制御機能747は、表示制御部の一例である。
ネットワークインタフェース76は、コンソール装置70をネットワークNwに接続して医用画像処理装置90等の他の装置と通信するための回路である。ネットワークインタフェース76としては、例えば、ネットワークインタフェースカード(NIC)が使用可能となっている。以下の説明では、他の装置との通信にネットワークインタフェース76が介在する旨の記載を省略する。
これらメモリ71、ディスプレイ72、入力インタフェース73、処理回路74の画像処理機能744、領域特定機能745、位置合わせ処理機能746及び表示制御機能747は、医用画像処理装置77を構成している。これに伴い、メモリ71、ディスプレイ72、入力インタフェース73、処理回路74の画像処理機能744、領域特定機能745、位置合わせ処理機能746及び表示制御機能747に関する説明は、X線診断装置1及び医用画像処理装置77の各々の説明となっている。医用画像処理装置77は、X線診断装置1に内蔵されてもよく、X線診断装置1とは別の装置として、X線診断装置1の外部に設けてもよい。
一方、医用画像処理装置90は、図7に示すように、メモリ91、ディスプレイ92、入力インタフェース93、処理回路94及びネットワークインタフェース96を備えている。
メモリ91は、ROM、RAM、HDD及び画像メモリなど電気的情報を記録するメモリ本体と、それらメモリ本体に付随するメモリコントローラやメモリインタフェースなどの周辺回路とを備えている。メモリ91は、例えば、処理回路94に実行されるプログラム、処理回路94により生成された医用画像、処理回路94の処理に用いるデータ、各種テーブル、処理途中のデータ及び処理後のデータ等が記憶される。医用画像としては、例えば図3及び図4に示したように、マスク画像Mk、造影画像Cn、血管画像Dsa、ライブ画像Lv(t)、デバイス画像Dv(t)、透視サブトラクション画像Fs(t)及び透視ランドマーク画像Lm(t)などがある。各画像の説明は、前述した通りである。
これに加え、メモリ91は、学習済みモデルMdやデバイス領域スコアSc(t)を記憶してもよい。学習済みモデルMdやデバイス領域スコアSc(t)の説明は、前述した通りである。例えば、学習済みモデルMdは、デバイスが挿入された状態で撮像されたX線画像に基づいて、当該X線画像上のデバイス領域を特定し、特定結果を出力するように機能付けられている。特定結果としては、図4乃至図6に一例を示したように、第2X線画像であるライブ画像Lv(t)の画素毎に、デバイス領域の指標値(スコアともいう)を示すデバイス領域スコアSc(t)が使用可能となっている。プログラムは、例えば、コンピュータに、第1X線画像と、デバイスが挿入された状態で撮像された第2X線画像との間の位置合わせ処理に先行して、当該第2X線画像において当該デバイスを含むデバイス領域を特定する領域特定機能、当該特定したデバイス領域を除外する第1処理、又は当該デバイス領域の寄与を低減する第2処理を用いることにより、当該位置合わせ処理を実行する位置合わせ処理機能、を実現させる。補足すると、このようなプログラムとしては、例えば、予めネットワーク又は非一過性のコンピュータ読み取り可能な記憶媒体M2からコンピュータにインストールされ、医用画像処理装置90の各機能を当該コンピュータに実現させるプログラムが用いられる。なお、本明細書中、医用画像処理装置77の各機能は、コンピュータ実装方法(computer implemented method)又は医用画像処理方法として実現してもよい。メモリ91は、記憶部の一例である。
ディスプレイ92は、医用画像などといった各種の情報を表示するディスプレイ本体と、ディスプレイ本体に表示用の信号を供給する内部回路、ディスプレイ本体と内部回路とをつなぐコネクタやケーブルなどの周辺回路から構成されている。内部回路は、処理回路94から供給される画像データに被検体情報や投影データ生成条件等の付帯情報を重畳して表示データを生成し、得られた表示データに対しD/A変換とTVフォーマット変換を行なってディスプレイ本体に表示する。例えば、ディスプレイ92は、処理回路94によって強調された医用画像や、操作者からの各種操作を受け付けるためのGUI等を出力する。例えば、ディスプレイ92は、液晶ディスプレイやCRTディスプレイである。また、ディスプレイ92は、表示部の一例である。また、ディスプレイ92は、デスクトップ型でもよいし、医用画像処理装置90本体と無線通信可能なタブレット端末等で構成されることにしても構わない。ディスプレイ92は表示部の一例である。
入力インタフェース93は、被検体情報の入力、各種コマンド信号の入力等を行う。被検体情報は、例えば、被検体ID、被検体名、生年月日、年齢、体重、性別、検査部位等を含んでいる。なお、被検体情報は、被検体の身長を含んでもよい。入力インタフェース93は、例えば、機械学習や画像処理といった医用画像処理に関する指示、関心領域(ROI)の設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、及び表示画面とタッチパッドとが一体化されたタッチパネルディスプレイ等によって実現される。入力インタフェース93は、処理回路94に接続されており、操作者から受け取った入力操作を電気信号へ変換し、処理回路94へと出力する。また、入力インタフェース93は、医用画像処理装置90本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、本明細書において入力インタフェース93はマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路94へ出力する電気信号の処理回路も入力インタフェース93の例に含まれる。
処理回路94は、メモリ91内のプログラムを呼び出し実行することにより、プログラムに対応する画像処理機能944、領域特定機能945、位置合わせ処理機能946及び表示制御機能947を実現するプロセッサである。なお、図7においては単一の処理回路94にて画像処理機能944、領域特定機能945、位置合わせ処理機能946及び表示制御機能947が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能を実現するものとしても構わない。また、画像処理機能944、領域特定機能945、位置合わせ処理機能946及び表示制御機能947は、それぞれ画像処理回路、領域特定回路、位置合わせ処理回路及び表示制御回路と呼んでもよく、個別のハードウェア回路として実装してもよい。また、医用画像処理装置90内の画像処理機能944、領域特定機能945、位置合わせ処理機能946及び表示制御機能947は、X線診断装置1内の画像処理機能744、領域特定機能745、位置合わせ処理機能746及び表示制御機能747と同様の機能である。このため、以下の画像処理機能944、領域特定機能945、位置合わせ処理機能946及び表示制御機能947に関する説明は、適宜、重複する部分などを省略して述べる。
画像処理機能944は、例えば、X線診断装置1から受信したX線画像データをメモリ91に保存する。受信するX線画像データとしては、例えば、マスク画像Mk、造影画像Cn及びライブ画像Lv(t)などの医用画像データがある。更に、画像処理機能944は、メモリ91内の複数のX線画像データの間の位置合わせ処理(APS)や画像演算(加算処理、サブトラクション処理)等を行ない、得られたX線画像データをメモリ91に保存する。位置合わせ処理としては、前述したオートピクセルシフト(APS)を用いている。なお、オートピクセルシフトの方向及び距離の算出は、例えば、前述した処理によって実現することができる。また同様に、位置合わせ処理や画像演算により生成されるX線画像データとしては、例えば、血管画像Dsa、デバイス画像Dv(t)、透視サブトラクション画像Fs(t)及び透視ランドマーク画像Lm(t)などの医用画像データがある。すなわち、画像処理機能944は、位置合わせ処理機能946により実行された位置合わせ処理の後、画像演算を実行することにより、ライブ画像Lv(t)である第2X線画像に基づく透視ロードマップ画像を生成してもよい。透視ロードマップ画像としては、例えば、前述した透視サブトラクション画像Fs(t)及び透視ランドマーク画像Lm(t)が適宜、使用可能となっている。画像処理機能944は、画像生成部の一例である。
領域特定機能945は、第1X線画像と、デバイスが挿入された状態で撮像された第2X線画像との間の位置合わせ処理に先行して、当該第2X線画像において当該デバイスを含むデバイス領域を特定する。ここで、第1X線画像は、例えばマスク画像Mkであり、第2X線画像は、例えばライブ画像Lv(t)である。なお、特定されたデバイス領域に関する説明は、前述した通りである。領域特定機能945は、前述同様に、デバイス領域を特定する際に、例えば、(i)学習済みモデルMdを用いる手法、(ii)血管画像Dsaを用いる手法、又は(iii)閾値を用いる手法、といった任意の手法を用いることが可能である。また同様に、領域特定機能945が用いる手法は、(i)~(iii)のいずれの手法にも限定されない。
ここで、(i)学習済みモデルMdを用いる手法の場合、X線診断装置1では、デバイスが挿入された状態で撮像されたX線画像に基づいて、当該X線画像において当該デバイスを含むデバイス領域を特定し、特定結果を出力するように機能付けられた学習済みモデルMdが記憶されたメモリ91を備えている。領域特定機能945は、第1X線画像及び第2X線画像のうちの最新のX線画像及び当該学習済みモデルMdに基づいて、当該最新のX線画像におけるデバイス領域を特定する。
(ii)血管画像Dsaを用いる手法の場合、X線診断装置1では、第1X線画像及び第2X線画像の各々に重畳可能な血管画像Dsaを記憶するメモリ91を備えている。ここで、領域特定機能945は、次の(ii-a)~(ii-d)のいずれの機能を実現してもよい。
(ii-a)血管画像Dsa内の血管領域を幅方向に拡張した拡張血管領域に基づいて、第1X線画像及び第2X線画像のうちの最新のX線画像からデバイスを検出する処理を実行することにより、デバイス領域を特定する機能。
(ii-b)血管画像Dsa内の血管領域又は当該血管領域を幅方向に拡張した血管領域のうち、基準幅よりも太い血管領域に基づいて、第1X線画像及び第2X線画像のうちの最新のX線画像からデバイスを検出する処理を実行することにより、デバイス領域を特定する機能。
(ii-c)上記(ii-b)の機能において、基準幅よりも太い血管領域に代えて、指定された範囲の血管領域を用いる機能。
(ii-d)上記(ii-b)の機能において、基準幅よりも太い血管領域に代えて、治療部位に至る経路の血管領域を用いる機能。
(iii)閾値を用いる手法の場合、第1X線画像及び第2X線画像のうちの最新のX線画像から、閾値以下の領域をデバイス領域として特定する機能。
なお、領域特定機能945は、前述した第2X線画像におけるデバイス領域の特定に加え、デバイスが挿入された状態で撮像された第1X線画像においても当該デバイスを含むデバイス領域を特定してもよい。第1X線画像においても、デバイス領域に関する説明は、前述した通りである。また、第1X線画像においても、領域特定機能945は、前述同様に、(i)学習済みモデルMdを用いる手法、(ii)血管画像Dsaを用いる手法、又は(iii)閾値を用いる手法、といった任意の手法を用いることが可能である。また、領域特定機能945が用いる手法は、前述同様に、(i)~(iii)のいずれにも限定されない。領域特定機能945は、領域特定部の一例である。
位置合わせ処理機能946は、領域特定機能945により特定したデバイス領域を除外する第1処理、又は当該デバイス領域の寄与を低減する第2処理を用いることにより、画像処理機能944による位置合わせ処理を実行する。
ここで、位置合わせ処理としては、前述同様に、第1の方式又は第2の方式が使用可能である。第1の方式は、デバイス領域が特定されたX線画像に第1処理又は第2処理を施す処理と、第1処理又は第2処理が施されたX線画像を用いて第1X線画像と第2X線画像との間のズレ量の指標値を算出する処理と、当該算出した指標値に基づいて第1X線画像又は第2X線画像を移動させる処理とを含んでいる。
第2の方式は、第1処理又は第2処理を用いて、第1X線画像と第2X線画像との間のズレ量の指標値を算出する処理と、当該算出した指標値に基づいて第1X線画像又は第2X線画像を移動させる処理とを含んでいる。
第1処理及び第2処理は、位置合わせ処理の前段(例、第1の方式における入力画像の加工、又は第2の方式における指標値の算出)に用いられる処理であり、後段の画像を移動させる処理とその後の画像演算には用いられない。すなわち、位置合わせ処理の後段における画像を移動させる処理とその後の画像演算には、第1処理及び第2処理のいずれも施していないマスク画像やライブ画像などが用いられる。
ここで、第1処理及び第2処理としては、(A)デバイス領域を含む入力画像を加工する処理か、又は(B)デバイス領域の画素値に関してズレ量の指標値の計算を変形した処理とが適宜、使用可能となっている。なお、上記(A)の入力画像を加工する処理の場合、ズレ量の指標値の計算は変形しない。すなわち、上記(A)の場合、画像間のズレ量の指標値を算出する処理と、当該算出した指標値に基づいて画像を移動させる処理には、既存のAPSを使用できる。入力画像としては、マスク画像及びライブ画像のうち、デバイス領域を特定された画像が適宜、使用可能となっている。また、上記(B)のズレ量の指標値の計算を変形した処理の場合、入力画像は加工しない。
上記(A)の場合、第1処理としては、入力画像からデバイスを消去する処理(デバイス領域を背景領域にする処理)が使用可能となっている。詳しくは、上記(A)の第1処理は、第1X線画像及び第2X線画像のうち、デバイス領域が特定されたX線画像から当該デバイス領域内のデバイスを消去する画像処理である。上記(A)の第1処理としては、例えば、(a11)入力画像内のデバイス領域の画素値を当該デバイス領域の周辺画素の画素値で置換する処理か、又は(a12)入力画像のデバイス領域の画素値を、マスク画像の対応する領域の画素値で置換する処理が適宜、使用可能となっている。
また、上記(A)の場合、第2処理としては、入力画像内のデバイスをぼかす処理(デバイス領域を薄くする処理、デバイス領域を半透明化する処理)が使用可能となっている。詳しくは、上記(A)の第2処理は、第1X線画像及び第2X線画像のうち、デバイス領域が特定されたX線画像において当該デバイス領域内のデバイスをぼかす画像処理である。上記(A)の第2処理としては、例えば、(a21)入力画像内のデバイス領域の画素値を当該デバイス領域の周辺画素の画素値に一定の割合で近づける処理か、又は(a22)入力画像のデバイス領域の画素値を、マスク画像の対応する領域の画素値に一定の割合で近づける処理が適宜、使用可能となっている。
一方、上記(B)の場合、第1処理としては、当該特定したデバイス領域の画素値を2つの画像間のズレ量の指標値の算出に使用しない処理が使用可能となっている。詳しくは、上記(B)の第1処理は、第1X線画像と第2X線画像との間のズレ量の指標値を算出する処理から、当該特定されたデバイス領域の画素値を除外する処理である。なお、指標値の計算としては、2つの画像の各画素について差分の二乗値を算出し、二乗値の各々の和をズレ量の指標値とする際に、各画素の差分の二乗値には係数を乗じても乗じなくてもよい。いずれにしても、上記(B)の第1処理としては、デバイス領域の画素値をズレ量の計算に使用しないので、デバイス領域を除外できる。
また、上記(B)の第2処理は、第1X線画像と第2X線画像との間のズレ量の指標値を算出する処理から、当該特定されたデバイス領域の画素値の寄与を低減する処理である。上記(B)の第2処理としては、例えば、前述した2つの画像の各画素について差分の二乗値を算出し、二乗値の各々の和を指標値とする際に、デバイス領域に対応する各画素の差分の二乗値の係数kを0<k<1の範囲にする処理が使用可能となっている。また、指標値が差分の絶対値の和の場合には、デバイス領域に対応する当該絶対値の係数kを0<k<1の範囲にすればよい。係数kとしては、1つの値を用いてもよく、デバイス領域スコアSc(t)の当該画素に対応するスコアに応じた値を用いてもよい。「係数」及び「第2処理」の用語は、前述同様に、それぞれ他の用語に読み替えてもよい。なお、上記(B)の第2処理を変形して係数kをk=0とし、デバイス領域の寄与を最低に減らすと、上記(B)の第1処理でデバイス領域を除外した場合と同等の効果が得られる。すなわち、上記(B)の第2処理は、第1処理を含むように変形してもよい。位置合わせ処理機能946は、位置合わせ処理部の一例である。
表示制御機能947は、メモリ91内の医用画像データなどの表示データをディスプレイ92に表示する制御などを行う。例えば、表示制御機能947は、入力インタフェース93からの信号を読み込んで、メモリ91から所望の医用画像データを取得してディスプレイ92に表示する制御などを行う。表示制御機能947は、表示制御部の一例である。
ネットワークインタフェース96は、医用画像処理装置90をネットワークNwに接続してX線診断装置1等の他の装置と通信するための回路である。ネットワークインタフェース96としては、例えば、ネットワークインタフェースカード(NIC)が使用可能となっている。以下の説明では、他の装置との通信にネットワークインタフェース96が介在する旨の記載を省略する。
なお、医用画像処理装置90内の画像処理機能944、領域特定機能945、位置合わせ処理機能946及び表示制御機能947は、X線診断装置1内の画像処理機能744、領域特定機能745、位置合わせ処理機能746及び表示制御機能747と同様の機能である。すなわち、医用画像処理システムとしては、医用画像処理装置90内の各機能、又はX線診断装置1内の各機能、のいずれかの動作が実行される。
次に、以上のように構成された医用画像処理システムの動作について図8のフローチャート及び図9の模式図を用いて説明する。なお、X線診断装置1の処理回路74、及び医用画像処理装置90の処理回路94は、画像処理機能、領域特定機能、位置合わせ処理機能及び表示制御機能に関し、ほぼ同様の動作を実行する。これに伴い、重複した文言の繰り返しを避けて理解を容易にする観点から、以下の説明では、当該各機能の動作について、医用画像処理装置90の処理回路94を代表例に挙げて述べる。このような代表例の説明は、適宜、装置名及び参照符号などを読み替えることにより、X線診断装置1の処理回路74の動作の説明に適用することができる。このことは、以下の各実施形態及び各変形例でも同様である。また、医用画像処理装置90のメモリ91は、デバイスが挿入された状態で撮像されたX線画像に基づいて、当該X線画像上のデバイス領域を特定し、特定結果を出力するように機能付けられた学習済みモデルMdを記憶した状態であるとする。
ステップST10において、医用画像処理装置90は、マスク画像Mk、造影画像Cn及び血管画像Dsaを取得し、マスク画像Mk、造影画像Cn及び血管画像Dsaをメモリ91に保存する。このようなステップST10においては、例えば、ステップST11~ST13の処理が実行される。
ステップST11において、X線診断装置1の処理回路74は、操作者による入力インタフェース73の操作に応じて、撮像装置10を制御し、X線透視撮像を開始する。これにより、例えば、被検体Pの頭部のX線画像が動画として得られる。このX線画像は、X線透視撮像中、X線診断装置1から医用画像処理装置90に送信されるライブ画像Lv(t)に相当する。但し、この時点では、被検体にデバイスを挿入しておらず、ライブ画像Lv(t)にはデバイスが写り込まない。医用画像処理装置90の処理回路94は、受信したライブ画像Lv(t)をメモリ91に保存する一方、ディスプレイ92に表示させる。このとき、X線診断装置1の処理回路74は、操作者による入力インタフェース73の操作に応じて、撮像装置10を制御し、血管に造影剤が流れていない状態でマスク画像Mkを撮影する。このマスク画像Mkは、X線診断装置1から医用画像処理装置90に送信される。医用画像処理装置90の処理回路94は、受信したマスク画像Mkをメモリ91に保存する。
ステップST11の後、ステップST12において、インジェクタ40からカテーテルを通して血管に造影剤を注入した状態で、造影画像Cnを撮影する。この造影画像Cnは、X線診断装置1から医用画像処理装置90に送信される。医用画像処理装置90の処理回路94は、受信した造影画像Cnをメモリ91に保存する。なお、ステップST11,ST12は、逆の順序で行ってもよい。
ステップST12の後、ステップST13において、処理回路94は、マスク画像Mkと造影画像Cnとの位置合わせ処理(APS)及び画像演算(サブトラクション処理)を実行して血管画像Dsaを生成する。この血管画像Dsaは、メモリ91に保存される。このようなステップST11~ST13の実行により、ステップST10が終了する。
ステップST10の終了後、被検体の血管にデバイスが挿入されて手技が開始される。これに伴い、ステップST20において、医用画像処理装置90は、マスク画像Mk及びライブ画像Lv(t)からデバイス画像Dv(t)を生成し、デバイス画像Dv(t)をメモリ91に保存する。このようなステップST20においては、例えば、ステップST21~ST25の処理が実行される。
ステップST21において、処理回路94は、メモリ91内のマスク画像Mkを読み出す。
ステップST21の終了後、ステップST22において、処理回路94は、デバイスが挿入された状態で撮像されたライブ画像Lv(t)をX線診断装置1から取得し、当該ライブ画像Lv(t)をメモリ91に保存する一方、ディスプレイ92に表示させる。ここで、ライブ画像Lv(t)は、例えば図9の右上に示すように、血管に挿入されたデバイスと、骨のエッジとが重なる状態で撮像されている。
ステップST22の終了後、ステップST23において、処理回路94は、マスク画像Mkとライブ画像Lv(t)との間の位置合わせ処理に先行して、ライブ画像Lv(t)においてデバイスを含むデバイス領域を特定する。例えば、処理回路94は、マスク画像Mkとライブ画像Lv(t)とのうちの最新のライブ画像Lv(t)及び学習済みモデルMdに基づいて、ライブ画像Lv(t)におけるデバイス領域を特定してもよい。あるいは、処理回路94は、メモリ91から読み出した血管画像Dsa内の血管領域を幅方向に拡張した拡張血管領域に基づいて、ライブ画像Lv(t)からデバイスを検出する処理を実行することにより、デバイス領域を特定してもよい。またあるいは、処理回路94は、血管画像Dsa内の血管領域又は当該血管領域を幅方向に拡張した血管領域のうち、基準幅よりも太い血管領域に基づいて、ライブ画像Lv(t)からデバイスを検出する処理を実行することにより、デバイス領域を特定してもよい。このとき、処理回路94は、基準幅よりも太い血管領域に代えて、指定された範囲の血管領域を用いてもよい。または処理回路94は、基準幅よりも太い血管領域に代えて、動脈瘤などの治療部位に至る経路の血管領域を用いてもよい。またあるいは、処理回路94は、ライブ画像Lv(t)から、閾値以下の領域をデバイス領域として特定してもよい。いずれにしても、ライブ画像Lv(t)内のデバイス領域が特定される。
ステップST23の終了後、ステップST24~ST25において、処理回路94は、特定したデバイス領域を除外する第1処理、又は当該デバイス領域の寄与を低減する第2処理を用いることにより、位置合わせ処理(APS又は変形したAPS)を実行する。ここでは、画像を加工する第1方式の位置合わせ処理を実行する場合を例に挙げて述べる。
例えば、ステップST24において、処理回路94は、マスク画像Mk及びライブ画像Lv(t)のうち、デバイス領域が特定されたX線画像に第1処理又は第2処理を施す。第1処理は、X線画像からデバイス領域内のデバイスを消去する画像処理であり、第2処理は、X線画像においてデバイス領域内のデバイスをぼかす画像処理である。
また、ステップST24の後、ステップST25において、処理回路94は、ライブ画像Lv(t)からデバイス領域を除外又は低減した画像とマスク画像Mkとのズレ量の指標値を算出し、算出した指標値を最小にするようにライブ画像Lv(t)又はマスク画像Mkを移動させる処理(APS)を実行する。しかる後、処理回路94は、例えば、移動させたマスク画像Mk_psとライブ画像Lv(t)との間で画像演算(サブトラクション処理)を実行し、デバイス画像Dv(t)を生成する。このようなステップST21~ST25の実行により、ステップST20が終了する。
ステップST20の終了後、ステップST30において、処理回路94は、ステップST10で生成した血管画像Dsaと、ステップST20で生成したデバイス画像Dv(t)との間で位置合わせ処理(APS)及び画像演算(加算処理)を実行する。これにより、処理回路94は、透視サブトラクション画像Fs(t)を生成し、当該透視サブトラクション画像Fs(t)をディスプレイ92に表示させる。このため、医師は、リアルタイムに表示された透視サブトラクション画像Fs(t)及びライブ画像Lv(t)を視認しながらデバイスを進行させ、血管の治療部位を治療することができる。なお、リアルタイムでの表示は、厳密に、撮像された瞬間に表示する処理を意味するのではなく、X線診断装置1側でライブ画像Lv(t)が順次取得される処理に並行して、医用画像処理装置90側で当該ライブ画像Lv(t)と、当該ライブ画像Lv(t)から生成された透視サブトラクション画像Fs(t)とが順次表示される処理を意味する。
ステップST30の後、ステップST40において、処理回路94は、撮像終了の指示が入力されたか否かを判定し、否の場合にはステップST22に戻り、ステップST22乃至ST40の処理を継続する。また、判定の結果、撮像終了の指示が入力されたときには、処理を終了する。
上述したように第1の実施形態によれば、第1X線画像(マスク画像Mk)と、デバイスが挿入された状態で撮像された第2X線画像(ライブ画像Lv(t))との間の位置合わせ処理に先行して、当該第2X線画像において当該デバイスを含むデバイス領域を特定する。また、特定したデバイス領域を除外する第1処理、又は当該デバイス領域の寄与を低減する第2処理を用いることにより、当該位置合わせ処理を実行する。このように、デバイス領域を除外し又はデバイス領域の寄与を低減して位置合わせ処理を実行する構成により、透視撮像中にデバイスが動くことによる画像間の位置合わせ処理の誤動作を低減することができる。また、マスク画像Mk内の骨等のエッジと、ライブ画像Lv(t)内のデバイス及び骨等のエッジとが干渉することによる画像間の位置合わせ処理の誤動作を低減することができる。
また、第1の実施形態によれば、第1処理は、第1X線画像及び第2X線画像のうち、デバイス領域が特定されたX線画像から当該デバイス領域内のデバイスを消去する画像処理である。第2処理は、第1X線画像及び第2X線画像のうち、デバイス領域が特定されたX線画像において当該デバイス領域内のデバイスをぼかす画像処理である。位置合わせ処理は、デバイス領域が特定されたX線画像に第1処理又は第2処理を施す処理と、第1処理又は第2処理が施されたX線画像を用いて第1X線画像と第2X線画像との間のズレ量の指標値を算出する処理と、当該算出した指標値に基づいて第1X線画像又は第2X線画像を移動させる処理とを含んでいる。この場合、第1処理又は第2処理によりX線画像を加工した後、既存のAPSを利用することができる。
なお、第1の実施形態によれば、このようなX線画像に第1処理又は第2処理を施す第1方式に代えて、指標値を算出する処理を変形する第2方式を用いてもよい。第2方式の場合、第1処理は、第1X線画像と第2X線画像との間のズレ量の指標値を算出する処理から、当該特定されたデバイス領域の画素値を除外する処理である。第2処理は、指標値を算出する処理から、当該特定されたデバイス領域の画素値の寄与を低減する処理である。位置合わせ処理は、第1処理又は第2処理を用いて、第1X線画像と第2X線画像との間のズレ量の指標値を算出する処理と、当該算出した指標値に基づいて第1X線画像又は第2X線画像を移動させる処理とを含んでいる。指標値を算出する処理の変形に伴い、図8及び図9のステップST25における「APS」を「変形したAPS」と読み替える。このような第2方式の位置合わせ処理の場合、第1方式における既存のAPSを利用できる効果を除き、前述した位置合わせ処理の誤動作を低減できる効果を得ることができる。
また、第1の実施形態によれば、デバイスが挿入された状態で撮像されたX線画像に基づいて、当該X線画像において当該デバイスを含むデバイス領域を特定し、特定結果を出力するように機能付けられた学習済みモデルが記憶されてもよい。また、第1X線画像及び第2X線画像のうちの最新のX線画像及び学習済みモデルに基づいて、最新のX線画像におけるデバイス領域を特定してもよい。この場合、学習済みモデルを用いてデバイス領域を特定することから、容易にデバイス領域を特定することができる。
また、第1の実施形態によれば、第1X線画像(マスク画像Mk)及び第2X線画像(ライブ画像Lv(t))の各々に重畳可能な血管画像を記憶してもよい。また、当該血管画像内の血管領域を幅方向に拡張した拡張血管領域に基づいて、最新のX線画像からデバイスを検出する処理を実行することにより、デバイス領域を特定してもよい。この場合、挿入されたデバイスにより血管の位置が少し変わっても、幅方向に拡張した拡張血管領域に基づいて、デバイス領域を特定することができる。
また、第1の実施形態によれば、第1X線画像及び第2X線画像の各々に重畳可能な血管画像を記憶してもよい。また、当該血管画像内の血管領域又は当該血管領域を幅方向に拡張した血管領域のうち、基準幅よりも太い血管領域に基づいて、最新のX線画像からデバイスを検出する処理を実行することにより、デバイス領域を特定してもよい。この場合、基準幅以下の末梢血管領域(無関係の血管領域)を除き、基準幅よりも太い血管領域からデバイスを検出できるので、デバイス領域を特定する処理の負荷を軽減することができる。
また、第1の実施形態によれば、当該基準幅よりも太い血管領域に代えて、指定された範囲の血管領域を用いてもよい。この場合、指定されない範囲の血管領域(無関係の血管領域)を除外し、指定された範囲の血管領域からデバイスを検出できるので、デバイス領域を特定する処理の負荷を軽減することができる。
また、第1の実施形態によれば、当該基準幅よりも太い血管領域に代えて、治療部位に至る経路の血管領域を用いていもよい。この場合、治療部位に至る経路から外れた血管領域(無関係の血管領域)を除外し、治療部位に至る経路の血管領域からデバイスを検出できるので、より一層、デバイス領域を特定する処理の負荷を軽減することができる。
また、第1の実施形態によれば、最新のX線画像から、閾値以下の領域をデバイス領域として特定してもよい。この場合、閾値以下か否かを判定する単純な処理でデバイス領域を特定することができる。
また、第1の実施形態によれば、特定された位置合わせ処理と画像演算を実行することにより、第2X線画像(ライブ画像Lv(t))に基づく透視ロードマップ画像(透視サブトラクション画像Fs(t))を生成してもよい。この場合、前述した誤動作が低減された位置合わせ処理を用いるため、アーチファクトの発生を抑制しつつ、透視ロードマップ画像を生成することができる。
(変形例)
次に、第1の実施形態の変形例について説明する。以下の説明は、前述した図面と同一部分については同一符号を付してその詳しい説明を省略し、主に、異なる部分について述べる。このことは、以下の各実施形態及び変形例についても同様である。
第1の実施形態は、透視ロードマップ画像のうち、透視サブトラクション画像Fs(t)を生成していた。これに対し、第1の実施形態の変形例は、図10及び図11に示すように、透視ロードマップ画像のうち、透視ランドマーク画像Lm(t)を生成する。
これに伴い、処理回路94の画像処理機能944は、前述したデバイス画像Dv(t)を生成せず、血管画像Dsaにピクセルシフト処理を施して得られた血管画像Dsa_psとライブ画像Lv(t)とを画像演算(加算処理)する。これにより、透視ランドマーク画像Lm(t)を生成する。
他の構成は、第1の実施形態と同様である。
以上のような構成によれば、図10及び図11に示すように、前述同様に、ステップST10が実行され、血管画像Dsaが生成される。
ステップST10の終了後、前述したステップST20及びST30に代えて、透視ランドマーク画像Lm(t)を生成するためのステップST20Lmが実行される。ステップST20Lmにおいては、前述したステップST21~ST24が実行された後、前述したステップST25及びST30に代えて、ステップST26が実行される。ステップST26において、処理回路94は、位置合わせ処理(APS)と画像演算を実行することにより、ライブ画像Lv(t)に基づく透視ロードマップ画像を生成する。具体的には例えば、ステップST26において、処理回路94は、ステップST24で第1処理又は第2処理を施したライブ画像Lv(t)と、マスク画像Mkとのズレ量の指標値を算出し、算出した指標値を最小にするようにライブ画像Lv(t)又はステップST13で生成された血管画像Dsaを移動させる位置合わせ処理(APS)を実行する。また、処理回路94は、例えば、移動させた血管画像Dsa_psとライブ画像Lv(t)との間で画像演算(加算処理)を実行し、透視ランドマーク画像Lm(t)を生成する。
しかる後、処理回路94は、当該透視ランドマーク画像Lm(t)をディスプレイ92に表示させる。このため、医師は、リアルタイムに表示された透視ランドマーク画像Lm(t)及びライブ画像Lv(t)を視認しながらデバイスを進行させ、血管の治療部位を治療することができる。なお、リアルタイムでの表示は、厳密に、撮像された瞬間に表示する処理を意味するのではなく、X線診断装置1側でライブ画像Lv(t)が順次取得される処理に並行して、医用画像処理装置90側で当該ライブ画像Lv(t)と、当該ライブ画像Lv(t)から生成された透視ランドマーク画像Lm(t)とが順次表示される処理を意味する。
このようなステップST21~ST24,ST26の実行により、ステップST20Lmが終了する。
ステップST20Lmの終了後、ステップST40において、処理回路94は、撮像終了の指示が入力されたか否かを判定し、否の場合にはステップST22に戻り、ステップST22乃至ST40の処理を継続する。また、判定の結果、撮像終了の指示が入力されたときには、処理を終了する。
従って、第1の実施形態の変形例によれば、第1方式の位置合わせ処理と画像演算を実行することにより、第2X線画像(ライブ画像Lv(t))に基づく透視ロードマップ画像(透視ランドマーク画像Lm(t))を生成することができる。これに加え、ステップST10、ST21~ST24を第1の実施形態と同様に実行するので、第1の実施形態と同様の作用効果を得ることができる。
なお、この変形例においても前述同様に、第1方式の位置合わせ処理に代えて、第2方式の位置合わせ処理を実行することができる。この場合、前述同様に、図10及び図11のステップST26における「APS」を「変形したAPS」と読み替える。このような第2方式の位置合わせ処理の場合、第1方式における既存のAPSを利用できる効果を除き、この変形例と同様の効果を得ることができる。
<第2の実施形態>
第2の実施形態は、ライブ画像Lv(t)に位置合わせ処理されるマスク画像Mkを更新する場合を含む形態である。第2の実施形態は、例えば、マスク画像Mkを用いた血管画像Dsaの生成後、被検体Pの体動などにより、ライブ画像Lv(t)の背景がマスク画像Mkの背景で相殺できなくなった場合に適している。この場合、更新されたマスク画像Mk_dvは、更新時のライブ画像Lv(t)と同一画像であり、デバイスが写り込んでいる。なお、その後のライブ画像Lv(t)は、デバイスの進行に応じて、マスク画像Mk_dvとは異なる画像となる。
これに伴い、処理回路94の領域特定機能945は、前述したライブ画像Lv(t)におけるデバイス領域の特定に加え、デバイスが挿入された状態で撮像されたマスク画像Mk_dvにおいても当該デバイスを含むデバイス領域を特定する。
位置合わせ処理機能946は、領域特定機能945により特定した2つのデバイス領域において、前述した第1処理又は第2処理を用いることにより、画像処理機能944による位置合わせ処理を実行する。
他の構成は、第1の実施形態と同様である。
次に、第2の実施形態における動作について図12のフローチャート及び図13の模式図を用いて説明する。
いま、前述同様に、ステップST10が実行され、血管画像Dsaが生成される。
ステップST10の終了後、マスク画像Mkの更新を含むステップST20が実行される。ステップST20においては、前述したステップST21とは異なるステップST21kと、前述同様のステップST22~ST25が実行される。ステップST21kは、ステップST21k1~ST21k4を含んでいる。
ステップST21k1において、処理回路94は、メモリ91内のマスク画像Mkを読み出す。
ステップST21k1の終了後、ステップST21k2において、処理回路94は、マスク画像Mkを更新するか否かを判定する(なお、マスク画像Mkをマスク画像Mk_dvに更新後に再度判定する場合には、更新後のマスク画像Mk_dvについて判定する。)。この判定は、マスク画像Mkがライブ画像Lv(t)の背景を消去できるか否かに対応する。このため、ステップST21k2の判定としては、例えば、以下のような判定(a)~(c)が適宜、使用可能となっている。(a)前回のステップST24で用いた画像間の差分に基づく指標値が閾値以下か否かの判定。(b)被検体Pの体動をセンサ(図示せず)が検出したか否かの判定。(c)前回のステップST25で生成したデバイス画像Dv(t)又は前回のステップST30で生成した透視サブトラクション画像Fs(t)にアーチファクトがあるか否かの判定。いずれにしても、ステップST21k2の判定の結果、否の場合にはステップST22に移行し、マスク画像Mkを更新する場合には、ステップST21k3に移行する。以下の例では、更新する場合を述べる。
ステップST21k2の終了後、ステップST21k3において、処理回路94は、マスク画像Mkを更新する。具体的には、X線診断装置1の処理回路74は、操作者による入力インタフェース73の操作に応じて、撮像装置10を制御し、血管にデバイスが挿入された状態でマスク画像Mk_dvを撮影する。このマスク画像Mk_dvは、X線診断装置1から医用画像処理装置90に送信される。医用画像処理装置90の処理回路94は、受信したマスク画像Mk_dvをメモリ91に保存する。これにより、現在のマスク画像Mkが新たなマスク画像Mk_dvに更新される。更新後のマスク画像Mk_dvは、デバイスが写り込んでいる。次回以降、更新後のマスク画像Mk_dvを新たなマスク画像Mk_dvに更新する場合も同様である。
ステップST21k3の終了後、ステップST21k4において、処理回路94は、マスク画像Mk_dvとライブ画像Lv(t)との間の位置合わせ処理に先行して、マスク画像Mk_dvにおいてデバイスを含むデバイス領域を特定する。デバイス領域の特定方法としては、前述したステップST23と同様の様々な手法が使用可能となっている。例えば、処理回路94は、マスク画像Mk_dv及びライブ画像Lv(t)のうちの最新のマスク画像Mk_dv及び学習済みモデルMdに基づいて、当該最新のマスク画像Mk_dvにおけるデバイス領域を特定してもよい。なお、「最新の」という用語は、「更新直後の」と読み替えてもよい。あるいは、ステップST23に述べた他の手法を用いて、デバイス領域を特定してもよい。いずれにしても、このようなステップST21k1~ST21k4の実行により、ステップST21kが終了する。
ステップST21kの終了後、前述同様にステップST22~ST25が実行される。但し、ステップST24~ST25においては、処理回路94は、特定した2つのデバイス領域において、前述した第1処理又は第2処理を用いることにより、位置合わせ処理(APS)を実行する。例えば、ステップST24において、処理回路94は、マスク画像Mk及びライブ画像Lv(t)の両者に第1処理又は第2処理を施す。また、ステップST25においては、処理回路94は、第1処理又は第2処理を施したマスク画像Mk及びライブ画像Lv(t)の間のズレ量の指標値を算出し、算出した指標値を最小にするようにライブ画像Lv(t)又はマスク画像Mkを移動させる処理(APS)を実行する。しかる後、処理回路94は、例えば、移動させたマスク画像Mk_dv_psとライブ画像Lv(t)との間で画像演算(サブトラクション処理)を実行し、デバイス画像Dv(t)を生成する。このようなステップST21k~ST25の実行により、ステップST20が終了する。
ステップST20の終了後、前述同様にステップST30~ST40が実行される。ステップST40において、処理回路94は、撮像終了の指示が入力されたか否かを判定し、否の場合にはステップST21k2に戻り、ステップST21k2乃至ST40の処理を継続する。また、ステップST40の判定の結果、撮像終了の指示が入力されたときには、処理を終了する。
上述したように第2の実施形態によれば、デバイスが挿入された状態で撮像された第1X線画像(マスク画像Mk_dv)においても当該デバイスを含むデバイス領域を特定する。また、特定した2つのデバイス領域について、前述した第1処理又は第2処理を用いることにより、位置合わせ処理を実行する。これにより、第1の実施形態の効果に加え、デバイスが挿入された状態で撮像されたマスク画像Mk_dvを、ライブ画像Lv(t)との位置合わせ処理に用いる場合であっても、第1の実施形態と同様の効果を得ることができる。例えば、マスク画像Mk_dv内のある位置のデバイスと、ライブ画像Lv(t)内の当該ある位置から進行した位置のデバイスとが干渉することによる画像間の位置合わせ処理の誤動作を低減することができる。これに加え、ステップST10、ST22~ST24を第1の実施形態と同様に実行するので、第1の実施形態と同様の作用効果を得ることができる。
また、第2の実施形態は、第1の実施形態と同様に、第1方式の位置合わせ処理に代えて、第2方式の位置合わせ処理を実行してもよい。この場合、前述同様に、図12及び図13のステップST25における「APS」を「変形したAPS」と読み替える。このような第2方式の位置合わせ処理の場合、第1方式における既存のAPSを利用できる効果を除き、第1の実施形態と同様の効果を得ることができる。
(変形例)
次に、第2の実施形態の変形例について説明する。第2の実施形態は、透視ロードマップ画像のうち、透視サブトラクション画像Fs(t)を生成していた。これに対し、第2の実施形態の変形例は、図14及び図15に示すように、透視ロードマップ画像のうち、透視ランドマーク画像Lm(t)を生成する。
これに伴い、処理回路94の画像処理機能944は、前述したデバイス画像Dv(t)を生成せず、血管画像Dsaにピクセルシフト処理を施して得られた血管画像Dsa_psとライブ画像Lv(t)とを画像演算(加算処理)する。これにより、透視ランドマーク画像Lm(t)を生成する。
他の構成は、第2の実施形態と同様である。
以上のような構成によれば、図14及び図15に示すように、前述同様に、ステップST10が実行され、血管画像Dsaが生成される。
ステップST10の終了後、前述したステップST20及びST30に代えて、透視ランドマーク画像Lm(t)を生成するためのステップST20Lmが実行される。ステップST20Lmにおいては、前述したステップST21k~ST24が実行された後、前述したステップST25及びST30に代えて、ステップST26が実行される。ステップST26において、処理回路94は、位置合わせ処理(APS)と画像演算を実行することにより、ライブ画像Lv(t)に基づく透視ロードマップ画像を生成する。具体的には例えば、ステップST26において、処理回路94は、ステップST24で第1処理又は第2処理を施したライブ画像Lv(t)及びマスク画像の両者間のズレ量の指標値を算出し、当該指標値を最小にするようにライブ画像Lv(t)又はステップST13で生成された血管画像Dsaを移動させる位置合わせ処理(APS)を実行する。また、処理回路94は、例えば、移動させた血管画像Dsa_psとライブ画像Lv(t)との間で画像演算(加算処理)を実行し、透視ランドマーク画像Lm(t)を生成する。
しかる後、処理回路94は、当該透視ランドマーク画像Lm(t)をディスプレイ92に表示させる。このため、医師は、リアルタイムに表示された透視ランドマーク画像Lm(t)及びライブ画像Lv(t)を視認しながらデバイスを進行させ、血管の治療部位を治療することができる。なお、リアルタイムでの表示は、前述同様に、医用画像処理装置90側で当該ライブ画像Lv(t)と、当該ライブ画像Lv(t)から生成された透視ランドマーク画像Lm(t)とが順次表示される処理を意味する。
このようなステップST21k~ST24,ST26の実行により、ステップST20Lmが終了する。
ステップST20Lmの終了後、前述同様にステップST40が実行される。
従って、第2の実施形態の変形例によれば、第1方式の位置合わせ処理と画像演算を実行することにより、第2X線画像(ライブ画像Lv(t))に基づく透視ロードマップ画像(透視ランドマーク画像Lm(t))を生成することができる。これに加え、ステップST10、ST21k~ST24を第2の実施形態と同様に実行するので、第2の実施形態と同様の作用効果を得ることができる。
なお、この変形例においても前述同様に、第1方式の位置合わせ処理に代えて、第2方式の位置合わせ処理を実行することができる。この場合、前述同様に、図14及び図15のステップST26における「APS」を「変形したAPS」と読み替える。このような第2方式の位置合わせ処理の場合、第1方式における既存のAPSを利用できる効果を除き、この変形例と同様の効果を得ることができる。
また、上記各実施形態及び各変形例は、デバイス領域に代えて、デバイスが描出された領域の候補であるデバイス候補領域を用いてもよい。ここで、デバイス候補領域は、デバイスを含んでいそうな領域であり、デバイス領域自体でもよい。これに伴い、処理回路74,94は、領域特定機能745,945により、第1X線画像と、デバイスが挿入された状態で撮像された第2X線画像との間の位置合わせ処理に先行して、当該第2X線画像において当該デバイスが描出された領域の候補であるデバイス候補領域を特定してもよい。また、処理回路74,94は、位置合わせ処理機能746,946により、特定したデバイス候補領域を除外する第1処理、又は当該デバイス候補領域の寄与を低減する第2処理を用いることにより、位置合わせ処理を実行してもよい。これらの場合、処理回路74,94は、領域特定機能745,945により、第2X線画像に対してデバイスが描出されたデバイス領域を検出し、当該検出されたデバイス領域を当該デバイス候補領域としてもよい。このようなデバイス候補領域は、以下の各実施形態及び各変形例でも同様に使用可能となっている。
<第3の実施形態>
第3の実施形態は、第2X線画像としてのライブ画像Lv(t)のフレーム間における動きの情報に基づいて、デバイス候補領域を特定する形態である。第3の実施形態は、デバイスの進行に応じて、デバイス候補領域を更新する場合に適している。
これに伴い、処理回路94の領域特定機能945は、図16に示すように、動き検出機能945a及び判定機能945bを含んでいる。
処理回路94の動き検出機能945aは、第2X線画像のフレーム間における動きの情報を検出する。ここで、動き検出機能945aとしては、第2X線画像のフレーム毎に動き検出/判定をしなくてもよい。また、動き検出/判定のタイミングは固定でもよく、可変でもよい。また、動き検出/判定のタイミングは、撮影/透視条件に関連付けたテーブルを設けてもよい。例えば、15[fps]の撮影/透視条件と、nフレーム毎のタイミングとを関連付けたテーブルを設けてもよい。この場合、動き検出機能945aは、当該テーブルを参照し、撮影/透視条件に応じたタイミングで動き検出/判定を実行可能である。また、動き検出機能945aは、既に全フレームの収集が完了している状態から、ポストプロセスで同様の処理を行ってもよい。すなわち、動き検出機能945aは、リアルタイムで適用しなかった場合や、新たにデバイス候補領域を特定し、全フレームの収集後に再計算を行う場合に用いてもよい。
動き検出機能945aとしては、例えば、テンプレートマッチング、ブロックマッチング、差分法、オプティカルフロー又は背景推定などといった任意の動画像解析手法を、動きの検出に用いてもよい。
動きの情報としては、移動量を用いてもよく、移動量に加え、x、y、θなどの方向を含めた多次元ベクトルを用いてもよい。また、動きの情報は、検出された移動量が下限値以下の値、又は上限値以上の値の場合には、誤判定を避けるために破棄してもよい。
動き検出機能945aは、現在フレーム(入力画像)から検出した動きの情報(移動量、ベクトル)をメモリ91に保存してもよい。当該動きの情報は、メモリ内に累積され、次フレーム以降に判定機能945bで使用してもよい。
処理回路94の判定機能945bは、当該動きの情報に基づいてデバイス候補領域を特定(判定)する。判定機能945bは、例えば、第2X線画像のフレーム間における動きの空間的な分布に基づいてデバイス候補領域を特定(判定)してもよい。また例えば、判定機能945bは、当該動きの空間的な分布のうち、デバイスに対応して局所的に分布する当該動きの情報に基づいて、デバイス候補領域を特定(判定)してもよい。
ここで、デバイス候補領域の判定条件は、FOVや撮影条件によって異なるものとしてもよい。FOVは、「field of view」の略語である。デバイス候補領域の判定条件としては、例えば、以下の(i)~(iii)が適宜、使用可能となっている。なお、判定領域は、第2X線画像内の部分領域(局所領域)を意味する。
(i)移動量
・判定領域の移動量が、画像全体の移動量の平均値より大きい旨の条件。デバイスが動いた場合には、画像内で局所的に移動が生じる。なお、画像全体で動きがあった場合には、体動や寝台移動が生じている。
(ii)ベクトル解析
・移動量と移動方向とを含むベクトルの分布に基づき、画像全体のベクトルとは異なる成分が分布している旨の条件。ここで、画像全体のベクトルは、被検体の体動があった場合、被検体内にデバイスが存在することから、体動のベクトル成分を含んでいる。また、画像全体のベクトルと異なる成分が分布している領域にはデバイスが存在する可能性がある。このため、ベクトルの解析には、主成分分析や多変量解析、統計分析などの統計的な手法が適宜、使用可能となっている。
なお、過去の動きの情報(ベクトルの分布傾向等)を累積して、判定(体動との区別)に使用してもよい。例えば、身体の動きの情報(主にシングルベクタ)は、呼吸や心拍に対応する場合、周期的傾向がある。また、デバイスの動きの情報(マルチベクタ)は、デバイスが様々な方向に動くため、周期的傾向がない。
また例えば、バイタル(呼吸、心拍)信号から解析した周期性に基づき、同じ位相の過去フレームからそれぞれ取得された、動きの情報と、デバイス候補領域とをメモリ91から読み出して判定に使用してもよい。
(iii)画素値
・判定領域の平均画素値が閾値以下である旨の条件。
・判定領域とその周囲とのコントラストが閾値以上である旨の条件。
・判定領域の画素値の分散が閾値以上である旨の条件。(分散が閾値未満の領域は、一様な領域であり、背景部の可能性が高い。)
なお、以上の(i)~(iii)のいずれかにより特定(判定)されるデバイス候補領域には、画素数に制限を設けてもよい。これは、第2X線画像に占めるデバイス候補領域の割合が大きくなると、位置合わせに用いられる画素数が相対的に減少し、位置合わせの精度が低下する可能性があるためである。
処理回路94の位置合わせ処理機能946は、ROI設定機能946a、推定機能946b及び補正機能946cを含んでいる。
処理回路94のROI設定機能946aは、特定されたデバイス候補領域を除外して位置合わせの関心領域(ROI)を設定し、又は関心領域内でズレ量の指標値を計算するときのデバイス候補領域の重みを下げることで寄与を低減する。ここで、関心領域は、第2X線画像の一部又は全体のいずれでもよい。また、重みは、動き検出の移動量(x,y,θ)の成分比により割り当ててもよい。
また前述同様に、関心領域に占めるデバイス候補領域の割合が大きくなると、位置合わせに使用される画素数が相対的に減少し、位置合わせの精度が低下する可能性があるため、関心領域内のデバイス候補領域の画素数には制限を設けてもよい。
処理回路94の推定機能946bは、関心領域において、第1X線画像と第2X線画像との間のズレ量の指標値を算出(推定)する。
処理回路94の補正機能946cは、当該算出した指標値に基づいて第1X線画像又は第2X線画像を移動(補正)させる。
また前述同様に、医用画像処理装置90の処理回路94内の動き検出機能945a、判定機能945b、ROI設定機能946a、推定機能946b及び補正機能946cは、図17に示す如き、X線診断装置1の処理回路74内の動き検出機能745a、判定機能745b、ROI設定機能746a、推定機能746b及び補正機能746cと同様の機能である。すなわち、医用画像処理システムとしては、医用画像処理装置90内の各機能、又はX線診断装置1内の各機能、のいずれかの動作が実行される。動作の説明は、前述同様に、医用画像処理装置90の処理回路94を例に挙げて述べる。
他の構成は、第1又は第2の実施形態と同様である。
次に、第3の実施形態における動作について図18のフローチャート並びに図19及び図20の模式図を用いて説明する。
いま、前述同様に、ステップST10、ST21及びST22が実行され、マスク画像Mkが読み出されると共に、ライブ画像Lv(t)が取得される。
ステップST22の終了後、動き検出を用いたステップST23が実行される。ステップST23においては、前述したステップST23の一具体例として、ステップST23d1乃至ST23d3が実行される。
ステップST23d1において、処理回路94は、動き検出を実行するか否かを判定し、否の場合にはステップST24に移行する。一方、動き検出を実行する場合には、ステップST23d2に移行する。この判定は、例えば、操作者による入力インタフェース93の操作に応じて、メモリ91内に動き検出の実行可否を示すフラグを設定しておき、処理回路94が当該フラグを参照することで実行可能となっている。
ステップST23d1の終了後、ステップST23d2において、処理回路94は、ライブ画像Lv(t)のフレーム間で動き検出を実行し、当該動きの情報を得る。
ステップST23d2の終了後、ステップST23d3において、処理回路94は、当該動きの情報に基づいてデバイス候補領域を特定する。処理回路94は、例えば、ライブ画像Lv(t)のフレーム間における動きの空間的な分布に基づいてデバイス候補領域を特定してもよい。また例えば、処理回路94は、当該動きの空間的な分布のうち、デバイスに対応して局所的に分布する当該動きの情報に基づいて、デバイス候補領域を特定してもよい。このようなステップST23d1~ST23d3の実行により、動き検出を用いたステップST23が終了する。
ステップST23の終了後、ステップST24の一具体例として、ステップST24d1が実行される。ステップST24d1において、処理回路94は、特定されたデバイス候補領域を除外して位置合わせの関心領域(ROI)を設定する。あるいは、処理回路94は、関心領域内でズレ量の指標値を算出するときのデバイス候補領域の重みを下げてもよい。このようなステップST24d1の実行により、ステップST24が終了する。
ステップST24の終了後、ステップST25の一具体例として、ステップST25d1及びST25d2が実行される。
ステップST25d1において、処理回路94は、関心領域において、マスク画像Mkとライブ画像Lv(t)との間のズレ量の指標値を推定する。
ステップST25d1の終了後、ステップST25d2において、処理回路94は、当該推定した指標値に基づいて、当該指標値を最小にするように、マスク画像Mk又はライブ画像Lv(t)を移動させる処理(APS)を実行する。しかる後、処理回路94は、例えば、移動させたマスク画像Mkとライブ画像Lv(t)との間で画像演算(サブトラクション処理)を実行し、デバイス画像Dv(t)を生成する。このようなステップST25d1~ST25d2の実行により、ステップST25が終了する。
ステップST25の終了後、前述同様にステップST30~ST40が実行される。
上述したように第3の実施形態によれば、第2X線画像のフレーム間における動きの情報に基づいてデバイス候補領域を特定する。これにより、デバイス全体を囲むデバイス候補領域ではなく、図19に示すように、デバイスの動いた部分を囲むデバイス候補領域Dcaを特定するので、位置合わせの前に除外又は寄与を低減するデバイス候補領域Dcaが小さくて済む。従って、第1又は第2の実施形態の効果に加え、位置合わせの精度の向上を図ることができる。なお、第1又は第2の実施形態の効果としては、例えば、以下の(3a)~(3c)が挙げられる。(3a)動くデバイスの位置に合わせるようにマスク画像Mkの位置がずれる現象を抑制できるため、APSの誤動作を低減できる。(3b)差分画像を算出する前のAPSの位置ズレ(ミスレジストレーション)による視認性の低下を防ぐことができ、安全に手技を進めることができる。なお、位置ズレ状態で算出されたデバイス画像Dv(t)を比較例として図20に示す。比較例のデバイス画像Dv(t)は、図19に示したデバイス画像Dv(t)に比べ、視認性が低い。(3c)視認性の低下を防げるため、手技の進行を妨げるストレスを低減できる。
また、第3の実施形態によれば、第2X線画像のフレーム間における動きの空間的な分布に基づいてデバイス候補領域を特定してもよい。例えば、広い範囲で空間的に分布する体動や寝台移動の動きの情報と、狭い範囲で空間的に分布するデバイスの動きの情報とを区別することができる。従って、狭い範囲に分布する動きの情報に基づいて、デバイス候補領域を特定することができる
また、第3の実施形態によれば、当該動きの空間的な分布のうち、当該デバイスに対応して局所的に分布する動きの情報に基づいて、デバイス候補領域を特定してもよい。例えば、デバイスに対応する局所領域に分布する動きの情報に基づいて、デバイス候補領域を特定することができる。デバイスに対応する局所領域は、例えば、予め設定したデバイス候補領域としてもよい。これについては、以下の変形例に具体的に述べる。
(変形例)
次に、第3の実施形態の変形例について説明する。第3の実施形態は、第2X線画像のフレーム間における動きの情報に基づいてデバイス候補領域を特定していた。これに対し、第3の実施形態の変形例は、動きの情報と、予め設定されたデバイス候補領域とに基づいて、デバイス候補領域を特定する。
補足すると、処理回路94の判定機能945bは、予め設定されたデバイス候補領域がある場合には、動き検出機能945aで検出された動きの情報と、予め設定されたデバイス候補領域とを比較することにより、デバイス候補領域を特定する。なお、判定機能945bは、当該比較した結果、両者の位置が大きく異なる場合には動きの情報をデバイス候補領域から除外してもよく、あるいは、後段のROI設定処理で、動きの情報に対応する画素値の重みを落としてもよい。
なお、デバイス候補領域の設定方法としては、例えば、線状陰影、画像レベル等から決定される設定方法を予め定めておいてもよい。
また、透視ロードマップ画像の場合には、予め生成した血管画像Dsaを選択するため、この血管画像Dsaの血管領域を、デバイス候補領域として用いてもよい。
また、ユーザが、予め任意のデバイス候補領域を設定してもよい。
いずれにしても、デバイス候補領域の大きさは、血管像の幅より太い幅で設定してもよく、そのための余裕分を有していてもよい。例えば、血管像に基づくデバイス候補領域は、デバイスによる血管の変形分を含む幅で設定することが好ましい。
また、局所的に存在するデバイスを仮定し、血管領域をデバイス候補領域として用いる場合には、血管領域に占めるデバイスの割合で、デバイス候補領域内にデバイスが存在するか否かの閾値を設定してもよい。
同じマスク画像Mkを使用、又は同じ幾何学的位置(寝台の座標や、撮影角度などの幾何学的な情報)を使用して透視ロードマップを行う場合には、過去に収集したデバイス候補領域を参照してもよい。
血管領域内にのみデバイスが存在する場合には、選択した血管画像Dsaから求めたデバイス候補領域のみを、関心領域に反映させる対象として特定してもよい。
これに伴い、処理回路94の画像処理機能944は、手動又は自動で、X線画像にデバイス候補領域を予め設定し、当該デバイス候補領域が設定されたX線画像をメモリ91に保存する。例えば、画像処理機能944は、局所的な動きのある領域を含む領域をデバイス候補領域として設定してもよい。また例えば、画像処理機能944は、図21に示すように、ライブ画像Lv(t)の閾値以下の領域をデバイス候補領域Dcaとして設定してもよい。また例えば、画像処理機能944は、図22に示すように、血管画像Dsaの血管像に重畳して当該血管像よりも太い線状領域をデバイス候補領域Dcaとして設定してもよい。
他の構成は、第3の実施形態と同様である。
以上のような構成によれば、図23に示すように、前述同様に、ステップST10~ST23d2が実行され、ライブ画像Lv(t)のフレーム間における動きの情報が得られる。
ステップST23d2の終了後、ステップST23d3-1において、処理回路94は、予め設定したデバイス候補領域に基づいて、ライブ画像Lv(t)に当該デバイス候補領域があるか否かを判定し、否の場合にはステップST24に移行する。一方、ライブ画像Lv(t)に当該デバイス候補領域がある場合には、ステップST23d-2に移行する。
ステップST23d3-2において、処理回路94は、検出された動きの情報と、予め設定されたデバイス候補領域とを比較する。
ステップST23d3-2の終了後、ステップST23d3-3において、処理回路94は、検出された動きの情報がフレーム間の局所的な動きを示し、且つ当該動きの情報の位置がデバイス候補領域に重なるとき、当該デバイス候補領域を、位置合わせ用のデバイス候補領域として特定する。これにより、動き検出と、予め設定されたデバイス候補領域とを用いたステップST23が終了する。
ステップST23の終了後、前述同様に、ステップST25以降の処理が実行される。
上述したように第3の実施形態の変形例によれば、第2X線画像のフレーム間の動きの空間的な分布のうち、デバイスに対応して局所的に分布する動きの情報に基づいて、デバイス候補領域を特定する。具体的には例えば、動きの情報と、予め設定されたデバイス候補領域とに基づいて、デバイス候補領域を特定している。従って、予め設定されたデバイス候補領域を用いることから、デバイス以外の局所的な動きを無視して、デバイス候補領域を特定することができる。
また、第3の実施形態の変形例によれば、局所的な動きのある領域を含む領域をデバイス候補領域として設定してもよい。この場合、より正確に、デバイス候補領域を特定することを期待できる。
<第4の実施形態>
第4の実施形態は、デバイス候補領域を特定する処理に代えて、画像処理を行うことにより、位置合わせにおけるデバイスの影響をなくすか低減する形態である。第4の実施形態は、デバイス候補領域を特定する処理が不要な点で好ましい。
これに伴い、図24に示すように、処理回路94から領域特定機能945が省略されている。また、画像処理機能944は、変換機能944aを含んでいる。
処理回路94の変換機能944aは、第1X線画像と、デバイスが挿入された状態で撮像された第2X線画像との間の位置合わせ処理に先行して、当該第1X線画像及び当該第2X線画像に対して線状の像を消去し又は減弱させる画像処理を行う。なお、線状の像は、デバイスに対応する像を含んでいる。また、線状の像を消去し又は減弱させる画像処理としては、例えば、モルフォロジー変換が使用可能となっている。モルフォロジー変換としては、例えば最大値フィルタを施すことにより、最大値より低い画素値の領域を収縮させる収縮処理(Erosion)が使用可能となっている。但し、モルフォロジー変換は、これに限らず、収縮処理の後に他の画像処理を施してもよい。また、変換機能944aは、第2X線画像の視野に応じて、当該画像処理を制御してもよい。例えば、変換機能944aは、第2X線画像の視野に応じて、モルフォロジー変換のフィルタサイズを変更してもよい。あるいは、変換機能944aは、撮像に関する条件(SID、FOV、画素サイズ)に応じて、当該フィルタサイズを変更してもよい。SIDは、「source image distance」の略語である。画素サイズは、X線画像における1画素の大きさである。また例えば、変換機能944aは、撮像に関する条件に応じてX線画像内のデバイスが拡大されたとき、フィルタサイズを大きい値に変更してもよい。変換機能944aは画像処理部の一例である。
処理回路94の位置合わせ処理機能946は、当該画像処理を行った第1X線画像及び第2X線画像に基づいて、当該位置合わせ処理を実行する。例えば、位置合わせ処理機能946は、当該画像処理が施された第1X線画像と第2X線画像との間のズレの指標値に基づいて、当該画像処理を施す前の第1X線画像と第2X線画像との間の位置合わせ処理を実行する。
また前述同様に、医用画像処理装置90の処理回路94内の変換機能944a、ROI設定機能946a、推定機能946b及び補正機能946cは、図25に示す如き、X線診断装置1の処理回路74内の変換機能744a、ROI設定機能746a、推定機能746b及び補正機能746cと同様の機能である。すなわち、医用画像処理システムとしては、医用画像処理装置90内の各機能、又はX線診断装置1内の各機能、のいずれかの動作が実行される。動作の説明は、前述同様に、医用画像処理装置90の処理回路94を例に挙げて述べる。
他の構成は、第3の実施形態と同様である。
次に、第4の実施形態における動作について図26のフローチャート並びに図27及び図28の模式図を用いて説明する。
いま、前述同様に、ステップST10、ST21及びST22が実行され、マスク画像Mkが読み出されると共に、ライブ画像Lv(t)が取得される。
ステップST22の終了後、画像処理としてモルフォロジー変換を用いたステップST_mpが実行される。ステップST_mpにおいては、ステップST_mp1及びST_mp2が実行される。
ステップST_mp1において、処理回路94は、モルフォロジー変換を実行するか否かを判定し、否の場合にはステップST_rに移行する。一方、モルフォロジー変換を実行する場合には、ステップST_mp2に移行する。この判定は、例えば、操作者による入力インタフェース93の操作に応じて、メモリ91内にモルフォロジー変換の実行可否を示すフラグを設定しておき、処理回路94が当該フラグを参照することで実行可能となっている。
ステップST_mp1の終了後、ステップST_mp2において、処理回路94は、マスク画像Mk_dv及びライブ画像Lv(t)に対してモルフォロジー変換を実行する。このモルフォロジー変換により、マスク画像Mk_dv及びライブ画像Lv(t)の各々から線状の像が消去又は減弱される。これは、図27及び図28中の「デバイス減弱処理」に対応する。このようなステップST_mp1~ST_mp2の実行により、画像処理としてモルフォロジー変換を用いたステップST_mpが終了する。
ステップST_mpの終了後、ステップST_rにおいて、処理回路94は、モルフォロジー変換後のライブ画像Lv(t)に対して位置合わせの関心領域(ROI)を設定する。このとき、処理回路94は、ライブ画像Lv(t)だけでなく、マスク画像Mk_dvにも同様の関心領域(ROI)を設定してもよい。本実施形態では、処理回路94は、モルフォロジー変換後のマスク画像Mk_dvに対して位置合わせの関心領域(ROI)を設定する。
ステップST_rの終了後、前述同様に、ステップST25d1及びST25d2からなるステップST25が実行される。
ステップST25d1において、処理回路94は、関心領域において、モルフォロジー変換後のマスク画像Mkとライブ画像Lv(t)との間のズレ量の指標値を推定する。本実施形態では、マスク画像Mk及びライブ画像Lv(t)の双方の関心領域(ROI)内の画像に基づいて、ズレ量の指標値を推定(計算)する。これは、図27中の「PS計算」に対応する。「PS」は「pixel shift」の略語である。
ステップST25d1の終了後、ステップST25d2において、処理回路94は、当該推定した指標値に基づいて、当該指標値を最小にするように、マスク画像Mk_dv又はライブ画像Lv(t)を移動させる処理(PS処理)を実行する。なお、PS処理の対象は、モルフォロジー変換前の画像である。また、PS計算からPS処理までの一連の処理は「APS」ともいう。「APS」は「auto pixel shift」の略語である。しかる後、処理回路94は、例えば、移動させたマスク画像Mkとライブ画像Lv(t)との間で画像演算(サブトラクション処理)を実行し、デバイス画像Dv(t)を生成する。このような本実施形態のデバイス画像Dv(t)は、図28の右下側に示すように、背景が相殺されており、デバイスを視認し易い画像となっている。一方、モルフォロジー変換のない比較例のデバイス画像Dv(t)は、図28の左下側に示すように、アーチファクトが現れており、デバイスを視認しにくい画像となっている。以上のステップST25d1~ST25d2の実行により、ステップST25が終了する。
ステップST25の終了後、前述同様にステップST30~ST40が実行される。
上述したように第4の実施形態によれば、第1X線画像と、デバイスが挿入された状態で撮像された第2X線画像との間の位置合わせ処理に先行して、当該第1X線画像及び当該第2X線画像に対して線状の像を消去し又は減弱させる画像処理を行う。当該画像処理を行った当該第1X線画像及び当該第2X線画像に基づいて、位置合わせ処理を実行する。従って、デバイス候補領域を特定することなく、第1~第3の実施形態と同様の効果を得ることができる。補足すると、第4の実施形態によれば、線状の像を消去し又は減弱させる画像処理を行うことにより、透視撮像中にデバイスが動くことによる画像間の位置合わせ処理の誤動作を低減することができる。
また、第4の実施形態によれば、第2X線画像の視野に応じて、当該画像処理を制御してもよい。この場合、第2X線画像の視野に応じてフィルタサイズを増加又は縮小することにより、拡大又は縮小された線状の像を消去し又は減弱することができる。すなわち、第2X線画像の視野を変えた場合でも、透視撮像中にデバイスが動くことによる画像間の位置合わせ処理の誤動作を低減することができる。
(変形例)
次に、第4の実施形態の変形例について説明する。第4の実施形態は、画像間の位置合わせ処理に先行して、画像に対して線状の像を消去し又は減弱させる画像処理をしていた。また、第4の実施形態は、線状の像を消去し又は減弱させる画像処理を、第2X線画像の視野に応じて制御可能としていた。これに対し、第4の実施形態の変形例は、線状の像を消去し又は減弱させる画像処理を、操作者の操作に応じて制御する。
これに伴い、処理回路94の変換機能944aは、入力インタフェース93の操作に応じて、第1X線画像及び第2X線画像に対して線状の像を消去し又は減弱させる画像処理を制御する。入力インタフェース93の操作は、例えば、画面内のスライドバーといったGUIの操作でもよく、キーボード又はマウスといったハードウェア装置の操作でもよい。当該画像処理の制御は、例えば、モルフォロジー変換のフィルタサイズを変更する制御である。
ディスプレイ92は、画像処理の前後でそれぞれライブ画像Lv(t)を表示する。なお、医用画像処理装置90の処理回路94及びディスプレイ92等の説明は、前述同様に、X線診断装置1の処理回路74及びディスプレイ72等の説明に読み替え可能となっている。
他の構成は、第4の実施形態と同様である。
以上のような構成において、図29の左上側に示すように、ディスプレイ92が、モルフォロジー変換前のライブ画像Lv(t)と、位置ズレのあるデバイス画像Dv(t)と、モルフォロジー変換を制御するためのスライドバーsbとを表示していたとする。
この状態で、入力インタフェース93の操作により、図29の左下側に示すように、図示しないマウスを押圧した状態でスライドバーsbを右方向に移動させたとする。このとき、ディスプレイ92には、画像処理前のライブ画像Lv(t)に代えて、スライドバーsbの位置に応じたフィルタサイズでモルフォロジー変換されたライブ画像Lv(t)が表示される。操作者は、モルフォロジー変換されたライブ画像Lv(t)を視認しながら、スライドバーsbの調整により、モルフォロジー変換のフィルタサイズを制御する。これに伴い、デバイス画像Dv(t)は、位置ズレが解消され、視認し易い画像となる。
しかる後、入力インタフェース93の操作により、図29の右上側に示すように、図示しないマウスの押圧を解除し、スライドバーsbを停止させたとする。このとき、ディスプレイ92には、モルフォロジー変換されたライブ画像Lv(t)に代えて、モルフォロジー変換前のライブ画像Lv(t)が表示される。表示中のデバイス画像Dv(t)は、前述した通り、視認し易い画像となっている。
すなわち、ディスプレイ92は、通常時にはモルフォロジー変換前のライブ画像Lv(t)を表示し、スライドバーsbの操作時にはモルフォロジー変換されたライブ画像Lv(t)を表示する。これにより、1つのディスプレイ92を用い、モルフォロジー変換を調整することができる。
上述したように第4の実施形態の変形例によれば、線状の像を消去し又は減弱させる画像処理を、操作者の操作に応じて制御する。従って、操作者の操作に応じて、画像間の位置合わせ処理に生じる誤動作の程度を細かく調整することができる。
なお、第4の実施形態の変形例は、1つのディスプレイ92を用い、通常時と操作時との間でライブ画像Lv(t)を切り替え表示していた。しかしながら、第4の実施形態の変形例は、これに限らず、複数のディスプレイ92を用いてもよい。例えば図30に示すように、本変形例は、手技などの通常時に参照するディスプレイ92と、モルフォロジー変換の調整時に参照する別ディスプレイ92aとを用いてもよい。ここで、ディスプレイ92は、例えば、常にモルフォロジー変換前のライブ画像Lv(t)と、デバイス画像Dv(t)とを表示する。別ディスプレイ92aは、例えば、常にモルフォロジー変換後のライブ画像Lv(t)と、デバイス画像Dv(t)と、スライドバーsbとを表示する。なお、ディスプレイ92,92aは、互いに同一のデバイス画像Dv(t)を表示する。
このような構成において、図30の上半分の左側に示すように、ディスプレイ92が、モルフォロジー変換前のライブ画像Lv(t)と、位置ズレのあるデバイス画像Dv(t)とを表示していたとする。同様に、図30の上半分の右側に示すように、別ディスプレイ92aが、モルフォロジー変換前のライブ画像Lv(t)と、位置ズレのあるデバイス画像Dv(t)と、スライドバーsbとを表示していたとする。
この状態で、入力インタフェース93の操作により、図30の右下側に示すように、図示しないマウスを押圧した状態でスライドバーsbを右方向に移動させたとする。このとき、別ディスプレイ92aには、スライドバーsbの位置に応じたフィルタサイズでモルフォロジー変換されたライブ画像Lv(t)が表示される。操作者は、モルフォロジー変換されたライブ画像Lv(t)を視認しながら、スライドバーsbの調整により、モルフォロジー変換のフィルタサイズを制御する。これに伴い、デバイス画像Dv(t)は、位置ズレが解消され、視認し易い画像となる。一方、ディスプレイ92には、図30の左下側に示すように、ライブ画像Lv(t)が継続して表示され、デバイス画像Dv(t)が別ディスプレイ92aに連動して表示される。
すなわち、ディスプレイ92は、常にモルフォロジー変換前のライブ画像Lv(t)を表示する。別ディスプレイ92aは、常にモルフォロジー変換されたライブ画像Lv(t)を表示する。このように、第4の実施形態の変形例は、2つのディスプレイ92,92aを用いた場合でも、モルフォロジー変換を調整することができる。
<第5の実施形態>
第5の実施形態は、第2X線画像に対応する血管画像に基づいてデバイス候補領域を特定する形態である。
詳しくは、透視撮像中、図31に示すように、ライブ画像Lv(t)における被検体Pの体動の方向d_pと、被検体Pに挿入されたデバイスの移動方向d_dvとが異なる場合が多い。このため、ライブ画像Lv(t)とマスク画像Mk_dvとの間の位置合わせ処理に誤動作が生じる場合がある。なお、良好な位置合わせの場合、図32の(a)に示すように、透視サブトラクション画像Fs(t)において、デバイスと造影血管とが重なっている。これに対し、良好でない位置合わせの場合、図32の(b)に示すように、透視サブトラクション画像Fs(t)において、デバイスと造影血管とがズレており、且つアーチファクトが現れている。
これに対し、第5の実施形態では、処理回路94の領域特定機能945が、第2X線画像に対応する血管画像に基づいてデバイス候補領域を特定する。具体的には例えば、領域特定機能945は、当該血管画像Dsa内の血管領域の少なくとも一部を幅方向に拡張した領域をデバイス候補領域Dcaとして特定する。例えば図33に示すように、血管領域の全部を幅方向に拡張した領域をデバイス候補領域Dcaとしてもよい。あるいは図34に示すように、血管領域の一部を幅方向に拡張した領域をデバイス候補領域Dcaとしてもよい。このような幅方向への拡張には、モルフォロジー変換等による膨張処理(dilation)を用いても良い。拡張するサイズは、固定値、手動で調整した値、又は、人体サイズや血管径に連動した値、のいずれとしてもよい。また、デバイス候補領域Dcaが大きすぎると、位置合わせ処理の精度が低下する可能性があるので、図34に示したように、元となる血管領域を限定してもよい。限定する方法としては、例えば、デバイスが存在する範囲に絞りたい観点から、次の(i)~(iv)等が適宜、使用可能となっている。
(i)ある関心領域内のみ(任意領域、矩形、円形・・・)に限定する方法。
(ii)ある血管径の範囲内のみに限定する方法。この方法によれば、デバイスが通過する範囲に限定可能となっている。
(iii)造影剤の、ある到達時間の範囲内のみに限定する方法。この方法には、例えば、パラメトリックイメージング(PI)におけるTTP(time to peak)やTTA(time to arrival)といったパラメータを用いてもよい。PIは、血管造影時の1画素毎の時間濃度曲線から、造影剤の到達時間や平均通過時間といったパラメータの値を算出し、パラメータの値をカラースケール又はグレースケールにより画像化して表示する技術である。時間濃度曲線は、横軸が時間、縦軸が造影剤濃度を示し、造影剤濃度(画素値)の時間変化を表す曲線である。ここで、TTPは、造影剤濃度がピークに到達するまでの時間を示す。TTAは、時間濃度曲線において、造影剤濃度が閾値THを最初に超えた時相(時刻)であり、造影剤の到達時間を示す。閾値THとしては、例えば、ピーク値の30~60%の範囲内の任意の値が使用可能である。このような方法によれば、時相が後の毛細血管領域を避けることが可能である。
(iv)造影血管の芯線を抽出し、画面内の最初の位置からの、ある距離範囲内のみに限定する方法。
位置合わせ処理機能946は、前述同様に、特定したデバイス候補領域Dcaを除外する第1処理、又は当該デバイス候補領域Dcaの寄与を低減する第2処理を用いることにより、位置合わせ処理を実行する。
以上のような構成によれば、処理回路94は、図35に示すように、ライブ画像Lv(t)に対応する血管画像Dsaに基づいてデバイス候補領域Dcaを特定する。具体的には例えば、処理回路94は、当該血管画像Dsa内の血管領域の少なくとも一部を幅方向に拡張した領域をデバイス候補領域Dcaとして特定する。
続いて、処理回路94は、特定したデバイス候補領域Dcaについて、マスク画像Mk-dv及びライブ画像Lv(t)内の対応する領域に第1処理又は第2処理を施す。第1処理は、前述同様に、領域内の画素値を除外する処理である。第2処理は、前述同様に、領域内の画素値の寄与を低減する処理である。
しかる後、ステップST51において、処理回路94は、第1処理又は第2処理を施したマスク画像Mk-dvとライブ画像Lv(t)との間のズレ量の指標値を算出する。
ステップST51の終了後、図36に示すように、ステップST52において、処理回路94は、算出した指標値に基づいて、血管画像Dsaを移動させ、位置合わせ処理を実行する。
ステップST52の終了後、ステップST53において、処理回路94は、算出した指標値に基づいて、マスク画像Mk-dvを移動させ、位置合わせ処理を実行する。
ステップST53の終了後、ステップST54において、処理回路94は、移動させたマスク画像Mk-dvと、ライブ画像Lv(t)との間で画像演算(サブトラクション処理)を実行し、デバイス画像Dv(t)を生成する。
ステップST54の終了後、ステップST55において、処理回路94は、移動させた血管画像Dsaと、生成したデバイス画像Dv(t)との間で画像演算(加算処理)を実行し、透視サブトラクション画像Fs(t)を生成する。このようなステップST51~ST55の実行により、ライブ画像Lv(t)に基づく画像を生成するステップST50が終了する。
上述したように第5の実施形態によれば、第2X線画像に対応する血管画像に基づいてデバイス候補領域を特定する。従って、血管画像の血管領域にはデバイスが挿入されることから、デバイス候補領域を高い精度で特定することができる。
また、第5の実施形態によれば、当該血管画像内の血管領域の少なくとも一部を幅方向に拡張した領域をデバイス候補領域として特定してもよい。この場合、血管領域を中心とした太い幅の領域の中で、デバイスがより高い可能性で存在する領域をデバイス候補領域として特定できる。すなわち、デバイス候補領域をより高い精度で特定することができる。
(第1変形例)
第5の実施形態の第1変形例は、図37に示すように、前述したステップST53,ST54を省略している。第1変形例によれば、処理回路94は、ステップST52で移動させた血管画像Dsaと、ライブ画像Lv(t)との間で画像演算(加算処理)を実行し、透視ロードマップ画像Lm(t)を生成する。このようなステップST51、ST52及びST55の実行により、ライブ画像Lv(t)に基づく画像を生成するステップST50が終了する。
以上のような第1変形例としても、ズレ量の指標値を算出するステップST51までの処理が第5の実施形態と共通するので、第5の実施形態と同様の効果を得ることができる。
(第2変形例)
第5の実施形態の第2変形例は、図38に示すように、ステップST52で移動させた血管画像Dsa_psをメモリ91に保存し、当該血管画像Dsa_psに基づいて、新たにデバイス候補領域Dcaを特定する。第2変形例によれば、血管画像Dsa_psの移動に応じて、デバイス候補領域Dcaを特定し直すことにより、デバイス候補領域Dcaからデバイスがはみ出ることを防止できる。
<第6の実施形態>
第6の実施形態は、図39に示すように、血管領域Bvを拡張したデバイス候補領域Dca内にデバイスDvが存在することを利用し、デバイス候補領域Dca外の偏差量等を演算する形態である。デバイス候補領域Dca外の偏差量は、少ないほど位置合わせ処理が良好であることから、位置合わせ処理の評価の指標として用いてもよい。あるいは、デバイス候補領域Dca外の偏差量は、閾値以下が好ましいことから、位置合わせ処理における画像の移動制御に用いてもよい。
これに伴い、処理回路94の位置合わせ機能946は、第2X線画像内でデバイス候補領域の外にある外部領域と、当該外部領域に対応する第1X線画像内の部分領域との間の偏差量を演算し、当該偏差量が閾値以下になるように、位置合わせ処理を実行する。
他の構成は、第5の実施形態と同様である。
以上のような構成によれば、図40に示すように、処理回路94は、前述同様に、特定したデバイス候補領域Dcaについて、マスク画像Mk-dv及びライブ画像Lv(t)内の対応する領域に第1処理又は第2処理を施す。
しかる後、前述同様にステップST51が実行され、第1処理又は第2処理を施したマスク画像Mk-dvとライブ画像Lv(t)との間のズレ量の指標値が算出される。
ステップST51の終了後、ステップST51-2において、処理回路94は、ライブ画像Lv(t)内でデバイス候補領域Dcaの外にある外部領域と、当該外部領域に対応するマスク画像Mk-dv内の部分領域との間の偏差量を演算する。
ステップST51-2の終了後、ステップST52において、処理回路94は、当該偏差量が閾値以下になるように、且つ当該指標値を最小にするように、血管画像Dsaを移動させて位置合わせ処理を実行する。なお、これに限らず、偏差量を移動の制御に用いず、偏差量を評価の指標に換算して出力してもよい。評価の指標としては、例えば、偏差量を所定範囲毎に区切り、小さい偏差量の範囲を高い良好度として表す指標が利用可能となっている。このように、偏差量を評価の指標としてもよいことは、次のステップST53でも同様である。
ステップST52の終了後、ステップST53において、処理回路94は、当該偏差量が閾値以下になるように、且つ当該指標値を最小にするように、マスク画像Mk-dvを移動させて位置合わせ処理を実行する。
ステップST53の終了後、前述同様にステップST54~ST55が実行され、デバイス画像Dv(t)及び透視サブトラクション画像Fs(t)が順次、生成される。このようなステップST51~ST55の実行により、ライブ画像Lv(t)に基づく画像を生成するステップST50が終了する。
上述したように第6の実施形態によれば、第2X線画像内でデバイス候補領域の外にある外部領域と、当該外部領域に対応する第1X線画像内の部分領域との間の偏差量を演算し、当該偏差量が閾値以下になるように、位置合わせ処理を実行する。従って、デバイス候補領域の外にデバイスが位置しないように位置合わせ処理を実行することにより、位置合わせ処理の誤動作を低減させることができる。
<第7の実施形態>
第7の実施形態は、ズームに応じてデバイス候補領域が拡大され、デバイス候補領域の外の領域が相対的に縮小して位置合わせ処理が困難になる状況を考慮し、視野サイズが小さいときには、別の方法で位置合わせ処理を実行する形態である。
まず前提として、デバイス候補領域のない場合を補足する。例えば、図41に示すように、デバイス画像Dv(t)のズームに応じて、小さいFOVの領域が拡大された場合、領域によっては、位置ズレの指標値が小さく、位置合わせ処理が困難な状況となる。また、小さいFOVの領域が拡大されているため、位置ズレによる変動量が大きい。
続いて、デバイス候補領域のある場合を補足する。例えば、図42に示すように、デバイス画像Dv(t)のズームに応じてデバイス候補領域Dcaが拡大されると、デバイス候補領域Dcaの外の領域が相対的に縮小する。すなわち、デバイス候補領域Dcaの外の領域は、デバイス候補領域Dcaの拡大前には8割以上を占めるのに対し、デバイス候補領域Dcaの拡大後には5割以下となる。従って、図42の右側に示す如き、拡大後の場合、デバイス候補領域Dcaの外の領域を用いる位置合わせ処理が困難となる。
これに対し、第7の実施形態では、視野サイズが小さいときには、前述した第1処理及び第2処理を用いずに、別の方法で位置合わせ処理を実行する。
具体的には、処理回路94の位置合わせ処理機能946は、第2X線画像の視野サイズが閾値以下のときには、第1処理及び第2処理を用いずに、第2X線画像の視野内のデバイス候補領域と、当該視野内のデバイス候補領域に対応する第1X線画像内の部分領域との間の偏差量を演算し、当該偏差量が最大になるように、位置合わせ処理を実行する。なお、当該偏差量が大きい場合には、図43の(a)に示すように、デバイス候補領域Dca内にデバイスDvが位置している。これに対し、当該偏差量が小さい場合には、図43の(b)に示すように、デバイス候補領域DcaからデバイスDvの一部が出ている。従って、位置合わせ処理機能946は、当該偏差量を最大にして、デバイス候補領域Dca内にデバイスDvが位置するように、位置合わせ処理を実行する。
他の構成は、第5の実施形態と同様である。
以上のような構成によれば、視野サイズが閾値を超えるときには、図44に示すように、処理回路94は、前述同様に第1処理又は第2処理を用いてステップST51を実行する。しかる後、ステップST52~ST55を実行し、透視サブトラクション画像Fs(t)を生成する。
一方、視野サイズが閾値以下のときには、図45に示すように、処理回路94は、第1処理、第2処理及びステップST50を実行せず、ステップST51-3を実行する。ステップST51-3において、処理回路94は、ライブ画像Lv(t)の視野内のデバイス候補領域Dcaと、当該視野内のデバイス候補領域Dcaに対応するマスク画像Mk内の部分領域との間の偏差量を演算する。
ステップST51-3の終了後、ステップST52において、処理回路94は、当該偏差量が最大になるように、血管画像Dsaを移動させ、位置合わせ処理を実行する。
ステップST52の終了後、ステップST53において、処理回路94は、当該偏差量が最大になるように、マスク画像Mkを移動させ、位置合わせ処理を実行する。
ステップST53の終了後、前述同様にステップST54~ST55が実行され、デバイス画像Dv(t)及び透視サブトラクション画像Fs(t)が順次、生成される。このようなステップST51~ST55の実行により、小さい視野サイズのライブ画像Lv(t)に基づく画像を生成するステップST50が終了する。
上述したように第7の実施形態によれば、第2X線画像の視野サイズが閾値以下のときには、第1処理及び第2処理を用いずに、当該第2X線画像の視野内のデバイス候補領域と、当該視野内のデバイス候補領域に対応する第1X線画像内の部分領域との間の偏差量を演算し、当該偏差量が最大になるように、位置合わせ処理を実行する。従って、視野サイズが閾値以下のときでも、位置合わせ処理の誤動作を低減させることができる。
以上説明した少なくとも一つの実施形態によれば、デバイスが挿入された状態で撮像された第2X線画像との間の位置合わせ処理に先行して、当該第2X線画像において当該デバイスが描出された領域の候補であるデバイス候補領域を特定する。また、特定したデバイス候補領域を除外する第1処理、又は当該デバイス候補領域の寄与を低減する第2処理を用いることにより、当該位置合わせ処理を実行する。これにより、透視撮像中にデバイスが動くことによる画像間の位置合わせ処理の誤動作を低減することができる。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。更に、図2又は図7における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以上の実施形態に関し、発明の一側面及び選択的な特徴として以下の付記を開示する。
(付記1a)第1X線画像と、デバイスが挿入された状態で撮像された第2X線画像との間の位置合わせ処理に先行して、前記第2X線画像において前記デバイスが描出された領域の候補であるデバイス候補領域を特定する領域特定部と、
前記特定したデバイス候補領域を除外する第1処理、又は当該デバイス候補領域の寄与を低減する第2処理を用いることにより、前記位置合わせ処理を実行する位置合わせ処理部と、
を備えた医用画像処理装置。
(付記1b)前記領域特定部及び前記位置合わせ処理部は、処理回路として実施してもよい。
(付記1c)前記領域特定部は、前記第2X線画像に対して前記デバイスが描出されたデバイス領域を検出してもよく、前記検出されたデバイス領域を前記デバイス候補領域としてもよい。
(付記1d)前記領域特定部は、前記第2X線画像に対応する血管画像に基づいて前記デバイス候補領域を特定してもよい。
(付記1e)前記領域特定部は、前記第2X線画像のフレーム間における動きの情報に基づいて前記デバイス候補領域を特定してもよい。
(付記2a)前記領域特定部は、前記デバイスが挿入された状態で撮像された前記第1X線画像においても当該デバイスを含むデバイス領域を特定してもよい。
(付記2b)前記位置合わせ処理部は、前記特定した2つのデバイス領域について、前記第1処理又は前記第2処理を用いることにより、前記位置合わせ処理を実行してもよい。
(付記3a)前記第1処理は、前記第1X線画像及び前記第2X線画像のうち、前記デバイス領域が特定されたX線画像から当該デバイス領域内のデバイスを消去する画像処理でもよい。
(付記3b)前記位置合わせ処理は、前記デバイス領域が特定されたX線画像に前記第1処理を施す処理と、前記第1処理が施されたX線画像を用いて前記第1X線画像と前記第2X線画像との間のズレ量の指標値を算出する処理と、当該算出した指標値に基づいて前記第1X線画像又は前記第2X線画像を移動させる処理とを含んでもよい。
(付記4a)前記第2処理は、前記第1X線画像及び前記第2X線画像のうち、前記デバイス領域が特定されたX線画像において当該デバイス領域内のデバイスをぼかす画像処理でもよい。
(付記4b)前記位置合わせ処理は、前記デバイス領域が特定されたX線画像に前記第2処理を施す処理と、前記第2処理が施されたX線画像を用いて前記第1X線画像と前記第2X線画像との間のズレ量の指標値を算出する処理と、当該算出した指標値に基づいて前記第1X線画像又は前記第2X線画像を移動させる処理とを含んでもよい。
(付記5a)前記第1処理は、前記第1X線画像と前記第2X線画像との間のズレ量の指標値を算出する処理から、前記特定されたデバイス領域の画素値を除外する処理でもよい。
(付記5b)前記位置合わせ処理は、前記第1処理を用いて、前記第1X線画像と前記第2X線画像との間のズレ量の指標値を算出する処理と、当該算出した指標値に基づいて前記第1X線画像又は前記第2X線画像を移動させる処理とを含んでもよい。
(付記6a)前記第2処理は、前記第1X線画像と前記第2X線画像との間のズレ量の指標値を算出する処理から、前記特定されたデバイス領域の画素値の寄与を低減する処理でもよい。
(付記6b)前記位置合わせ処理は、前記第2処理を用いて、前記第1X線画像と前記第2X線画像との間のズレ量の指標値を算出する処理と、当該算出した指標値に基づいて前記第1X線画像又は前記第2X線画像を移動させる処理とを含んでもよい。
(付記7a)デバイスが挿入された状態で撮像されたX線画像に基づいて、当該X線画像において当該デバイスを含むデバイス領域を特定し、特定結果を出力するように機能付けられた学習済みモデルが記憶された記憶部を更に備えてもよい。
(付記7b)前記領域特定部は、前記第1X線画像及び前記第2X線画像のうちの最新のX線画像及び前記学習済みモデルに基づいて、前記最新のX線画像における前記デバイス領域を特定してもよい。
(付記8a)前記第1X線画像及び前記第2X線画像の各々に重畳可能な血管画像を記憶する記憶部を更に備えてもよい。
(付記8b)前記領域特定部は、前記血管画像内の血管領域を幅方向に拡張した拡張血管領域に基づいて、前記第1X線画像及び前記第2X線画像のうちの最新のX線画像から前記デバイスを検出する処理を実行することにより、前記デバイス領域を特定してもよい。
(付記9a)前記第1X線画像及び前記第2X線画像の各々に重畳可能な血管画像を記憶する記憶部を更に備えてもよい。
(付記9b)前記領域特定部は、前記血管画像内の血管領域又は当該血管領域を幅方向に拡張した血管領域のうち、基準幅よりも太い血管領域に基づいて、前記第1X線画像及び前記第2X線画像のうちの最新のX線画像から前記デバイスを検出する処理を実行することにより、前記デバイス領域を特定してもよい。
(付記10)前記基準幅よりも太い血管領域に代えて、指定された範囲の血管領域を用いてもよい。
(付記11)前記基準幅よりも太い血管領域に代えて、治療部位に至る経路の血管領域を用いてもよい。
(付記12)前記領域特定部は、前記第1X線画像及び前記第2X線画像のうちの最新のX線画像から、閾値以下の領域を前記デバイス領域として特定してもよい。
(付記13)前記領域特定部は、前記血管画像内の血管領域を幅方向に拡張した領域を前記デバイス候補領域として特定してもよい。
(付記14)前記位置合わせ処理部は、前記第2X線画像内で前記デバイス候補領域の外にある外部領域と、当該外部領域に対応する前記第1X線画像内の部分領域との間の偏差量を演算し、当該偏差量が閾値以下になるように、前記位置合わせ処理を実行してもよい。
(付記15)前記位置合わせ処理部は、前記第2X線画像の視野サイズが閾値以下のときには、前記第1処理及び前記第2処理を用いずに、前記第2X線画像の視野内の前記デバイス候補領域と、当該視野内の前記デバイス候補領域に対応する前記第1X線画像内の部分領域との間の偏差量を演算し、当該偏差量が最大になるように、前記位置合わせ処理を実行してもよい。
(付記16)前記領域特定部は、前記第2X線画像のフレーム間における動きの空間的な分布に基づいて前記デバイス候補領域を特定してもよい。
(付記17)前記領域特定部は、前記動きの空間的な分布のうち、前記デバイスに対応して局所的に分布する前記動きの情報に基づいて、前記デバイス候補領域を特定してもよい。
(付記18)前記領域特定部は、局所的な動きのある領域を含む領域をデバイス候補領域として設定してもよい。
(付記19a)前記特定された位置合わせ処理と画像演算を実行することにより、前記第2X線画像に基づく透視ロードマップ画像を生成する画像生成部を更に備えてもよい。
(付記19b)前記画像生成部は、前記処理回路として実施してもよい。
(付記20a)第1X線画像と、デバイスが挿入された状態で撮像された第2X線画像との間の位置合わせ処理に先行して、前記第1X線画像及び前記第2X線画像に対して線状の像を消去し又は減弱させる画像処理を行う画像処理部と、
前記画像処理を行った前記第1X線画像及び前記第2X線画像に基づいて、前記位置合わせ処理を実行する位置合わせ処理部と
を備えた医用画像処理装置。
(付記20b)前記画像処理部及び前記位置合わせ処理部は、処理回路として実施してもよい。
(付記20c)前記画像処理部は、前記第2X線画像の視野に応じて、前記画像処理を制御してもよい。
(付記21)上記の医用画像処理装置の各構成を備えるX線診断装置。
(付記22)上記の医用画像処理装置の各構成を実行するコンピュータ実装方法。
(付記23a)上記の医用画像処理装置の各構成をコンピュータに実行させるプログラム。
(付記23b)上記の医用画像処理装置の各構成をコンピュータのプロセッサに実行させるプログラム。
(付記24)上記のプログラムを記憶した非一過性のコンピュータ読み取り可能な記憶媒体。