JP6738332B2 - 対応確率マップ主導の視覚化 - Google Patents

Description

以下は、広くは、撮像に関し、より具体的には、対応確率マップ主導の視覚化（correspondence probability map driven visualization）に関し、コンピュータ断層撮影（ＣＴ）に対する特定の応用を用いて記載される。しかしながら、以下は、磁気共鳴撮像（ＭＲＩ）、陽電子放出型断層撮影（ＰＥＴ）、単光子放出型断層撮影（ＳＰＥＣＴ）、Ｘ線、超音波（ＵＳ）及び／又は他の撮像モダリティのような他の撮像モダリティにも適している。

画像アライメント（又は画像位置合わせ又は画像融合）は、異なる病状で取得された医療画像の構造に関する又はボクセルに関する比較を提供するようにフォローアップ画像分析において使用される。医師による視覚的検査は、例えば、ベースライン画像データセット及びフォローアップ画像データセットを比較することにより行われることができる。１つのアプローチは、２つの画像データセットの対応する解剖学的位置に重ねられた十字線のようなマーカを用いて又は用いずに、２つの画像データセットを並べて表示することを含む。このアプローチを用いて、読み手は、全ての潜在的に疑わしい解剖学的位置にナビゲートし、続いて内在する構造の視覚的な対照比較を行う。

他のアプローチは、代わりに、同じ画像観察窓内に２つのアラインされた画像データセットを表示することを含む。前記比較の間に識別されたいかなる差も、おそらく病理学的変化（例えば、病変が現れた又は腫瘍が縮小した）によるものであり、したがって、治療管理に対して高度に重要である。このアプローチを用いて、前記比較は、完全に人間の目に任され、画像の読み手は、全ての潜在的に疑わしい解剖学的位置にナビゲートする。病理学的変化が存在するかどうかの決定は、差／運動及び存在、サイズ又は体積の変化を迅速に検出する人間の目の能力により大きく支えられている。

更に他のアプローチは、各画像データセットに対して異なる色を使用して融合された２つのアラインされた画像データセットを表示することを含む。両方の画像データセットにおいて同じであるボクセル強度は、グレイスケール符号化を使用して表示される。典型的な出力は、画像データセットのほとんどをグレイスケールで示し、変化を伴う構造のみをカラーで示す。このアプローチは、同じ撮像モダリティ及びプロトコルで取得された画像データセットを必要とする。さもなければ、融合された画像データセットの一部は、色符号化スキームを使用して誤って表示される。

不幸なことに、上記の比較アプローチの全てが、医師による大量の読取時間を必要とし、この時間は、そうでなければ患者に費やされることができる。少なくとも上記の観点から、画像データセットを比較する他のアプローチに対して解決されていない要望が存在する。

ここに記載される態様は、上記の問題等に対処する。

一態様において、方法は、２つの画像データセットの視覚化に対して対応確率マップを生成及び使用する。前記方法は、２つの画像データセットを取得するステップと、対応モデルを含む画像位置合わせアルゴリズムを取得するステップとを含む。前記方法は、更に、変位ベクトル場を生成するように前記２つの画像データセットを位置合わせするステップと、前記２つの画像データセットに基づいて、前記対応モデルを使用して、対応確率マップを生成するステップとを含む。前記方法は、更に、前記２つの画像データセットを視覚化するのに前記対応確率マップを使用するステップを含む。

他の態様において、計算システムは、視覚化モジュールを含む命令を記憶するように構成されたメモリ装置と、前記命令を実行するプロセッサとを有し、前記命令は、前記プロセッサに、２つの画像データセットの視覚化に対して対応確率マップを生成及び使用させる。

他の態様において、コンピュータ可読記憶媒体は、コンピュータ可読命令で符号化される。前記コンピュータ可読命令は、プロセッサにより実行される場合に、前記プロセッサに、ベースライン及びフォローアップ画像データセットを取得させ、対応モデルを含む画像位置合わせアルゴリズムを取得させ、変位ベクトル場を生成するように前記ベースライン及びフォローアップ画像データセットを位置合わせさせ、前記対応モデル並びに前記ベースライン及びフォローアップ画像データセットを用いて対応確率マップを生成させ、前記ベースライン及びフォローアップ画像データセットの表示において対応領域を抑制するのに前記対応確率マップを使用させる。

本発明は、様々なコンポーネント及びコンポーネントの配合、並びに様々なステップ及びステップの配合の形を取りうる。図面は、好適な実施例を説明する目的のみであり、本発明を限定すると解釈されるべきではない。

視覚化モジュールを持つ計算システムに関連した一例の撮像システムを概略的に示す。 視覚化モジュールの一例を概略的に示す。 画像データセットの視覚化に対して対応確率マップを使用する一例の方法を示す。

以下は、２つの画像データセット（例えば、ベースライン及びフォローアップ画像データセット）の視覚化を強化するのに対応確率マップを使用するアプローチを記載する。前記対応確率マップは、対応（例えば、前記ベースライン及びフォローアップ画像データセットの間に変化がない）領域と、前記２つの画像データセットの間の非対応（例えば、病理学的変化を示す）領域とを識別する。前記対応確率マップは、所定の閾値を満たさない対応を持つ画像領域を視覚的に抑制するのに使用される。

図１は、コンピュータ断層撮影（ＣＴ）スキャナのような撮像システム１００を示す。撮像システム１００は、静止ガントリ１０２と、静止ガントリ１０２により回転可能に支持され、ｚ軸について検査領域１０６の周りを回転する回転ガントリ１０４とを含む。Ｘ線管のような放射線源１０８は、回転ガントリ１０４により回転可能に支持され、回転ガントリ１０４とともに回転し、検査領域１０６を横切る放射線を発する。

検出器アレイ１１０は、放射線源１０８に対して検査領域１０６の反対側の角度の弧（angular arc）に対し、検査領域１０６を横切る放射線を検出し、前記放射線を示す投影データを生成する。再構成器１１２は、前記投影データを再構成し、体積画像データを生成する。対象サポート１１４は、検査領域１０６において対象を支持する。オペレータコンソール１１６は、モニタのような人間可読出力装置と、キーボード、マウス等のような入力装置とを含む。コンソール１１６内のソフトウェアは、オペレータがシステム１００を動作することを可能にする。

データリポジトリ１１８は、再構成器１１２及び／又は他の装置により生成された体積画像データのような体積画像データを記憶する。一例において、これは、ベースライン及びフォローアップスキャンに対応する画像データ、同じ検査中であるが、異なるプロトコル及び／又は造影剤摂取等を用いて取得された２つのスキャンを含む。一般に、ベースラインスキャンは、早期の病状におけるスキャンであり、フォローアップスキャンは、後期の病状におけるスキャンである。データリポジトリの例は、画像保管通信システム（ＰＡＣＳ）、放射線医学情報システム（ＲＩＳ）、病院情報システム（ＨＩＳ）、電子医療記録（ＥＭＲ）、データベース、サーバ、撮像システム等を含む。

計算システム１２０は、一時的媒体を除き、物理メモリ及び／又は他の非一時的媒体を含むコンピュータ可読記憶媒体（メモリ）１２４に記憶された少なくとも１つのコンピュータ可読命令を実行する少なくとも１つのプロセッサ１２２（例えば、マイクロプロセッサ、中央処理ユニット等）を含む。プロセッサ１２２は、搬送波、信号又は他の一時的媒体により搬送される１又は複数のコンピュータ可読命令を実行してもよい。計算システム１２０は、更に、表示モニタ等のような出力装置１２６と、マウス、キーボード等のような入力装置１２８とを含む。

前記少なくとも１つのコンピュータ可読命令は、この例において、視覚化モジュール１３０を含む。より詳細に下に記載されるように、視覚化モジュール１３０の命令は、少なくとも１つのプロセッサ１２２により実行される場合に、プロセッサ１２２に、２つの画像データセットを視覚化するのに対応確率マップを生成及び使用させる。例えば、前記対応確率マップは、所定の対応閾値を満たすのに失敗した領域の対応に応答して表示された画像データセットの領域をフェードアウトするのに使用されることができる。

結果として生じる表示は、例えば、フェードアウトされる変化しない解剖学的構造により紛らわされることなく、内在する変化を持つ１又は複数の画像位置に画像の読み手をガイドするのに使用されることができる。一例において、これは、異なるモダリティで取得された解剖学的構造がしばしば異なるサイズ又は位置で現れるマルチモダリティ応用に対して有益であることができる。更に、これは、検査位置の数を減少し、例えば、視覚化モジュール１３０を使用しない構成に対して、医師による大量の読取時間を減少することができる。

図２は、視覚化モジュール１３０の一例を概略的に示す。

視覚化モジュール１３０は、画像位置合わせプロセッサ２０２を含む。画像位置合わせプロセッサ２０２は、入力、すなわち、第１の又はベースラインスキャンに対する第１の又はベースラインデータセットと、前記第１の又はベースラインスキャンの後、例えば、治療の後に実行される後の又はフォローアップスキャンに対する後の又はフォローアップデータセットのような２つのデータセットとを受信する。画像位置合わせプロセッサ２０２は、前記ベースライン及びフォローアップデータセットを位置合わせし、これは、前記２つの画像データセットの間の変位ベクトル場を示す信号を生成する。

図示された例において、画像位置合わせプロセッサ２０２は、対応モデルを持つ位置合わせアルゴリズム２０４を使用する。このようなアルゴリズムの非限定的な例は、Periaswamy et al., "Medical image registration with partial data," Medical Image Analysis, 2000, pp.452-64において論じられている。画像位置合わせプロセッサ２０２は、対応確率マップを生成するのに前記対応モデルを使用する。これに対して、画像位置合わせプロセッサ２０２は、前記２つの画像データセットの間のボクセル位置ごとに、前記２つの画像データセットからのボクセルが対応する確率を決定する。

非限定的な例を用いて、前記対応確率マップのボクセルに対して、第１の所定の値（例えば「１」）は、前記２つの画像データセットのボクセルが対応することを示し、第２の所定の値（例えば、「０」）は、２つの画像データセットのボクセルが対応しないことを示し、これらの間の値は、対応するものと対応しないものとの間の対応のレベルを示す。画像位置合わせプロセッサ２０２は、前記２つの画像データセットの間の残余（residuum）の適切な定式化に基づいて前記対応確率マップを生成する。

前記２つの画像データセットがデータセットＡ及びデータセットＢを含む非限定的な例を用いて、前記残余の適切な定式化は、１）データセットＡと、変形されたデータセットＢ又は前記変位ベクトル場を用いて変換されたデータセットＢとの間の差（これは、同じモダリティのみを用いたデータセットに適切である）、２）データセットＡと変形されたデータセットＢとの間の相関、及び３）データセットＡと変形されたデータセットＢとの間の統合されたエッジマップ（例えば、これは、異なるモダリティから生じたデータセットに適している）を含む。

前記定式化は、反復ステップごと（又は数ステップごと等）の後に再計算される。一例において、画像位置合わせプロセッサ２０２は、前記対応確率マップを改良するように２以上の反復を実行する。この改良された対応確率は、対応する及び対応しない画像領域の分離を提供し、前記位置合わせ中の病理学的変化を幅広く又は完全に維持する（例えば、前記ベースラインスキャンにおいて前記フォローアップスキャンより小さい又は大きい腫瘍が、前記変形されたフォローアップスキャンにおいて縮小又は拡大のいずれでもない、組織切除後に周囲の組織が位置合わせ中に変形されない等）。

軟組織及び骨構造における非対応は異なって扱われるので、単一の撮像モダリティに対してでさえ、前記対応確率マップが、データセットＡと変形されたデータセットＢとの間の単純な差により置き換えられることができないと理解されるべきである。

視覚化モジュール１３０は、更に、視覚化プロセッサ２０６を含む。前記視覚化プロセッサは、表示に対する画像を構成するのに１又は複数の視覚化アルゴリズム２０８を使用する。

第１のアルゴリズム２１０を用いて、視覚化プロセッサ２０６は、入力として前記ベースラインデータセット、前記フォローアップデータセット、データセットＡからのボクセルをデータセットＢからのボクセルに対してマッチングする前記変位ベクトル場、及び前記対応確率マップを受信する。視覚化プロセッサ２０６は、前記対応確率マップに前記変位ベクトル場を適用し、第２の対応確率マップを生成する。第１の対応確率マップは、データセットＡに対応し、第２の対応確率マップは、データセットＢに対応する。

視覚化プロセッサ２０６は、前記２つのデータセットの各々を異なる画像観察窓又はポートにおいて互いの隣に視覚的に表示する。各対応確率マップは、それぞれの画像データセットにおいて存在する対応を持つ全ての画像領域をフェードアウトするのに使用される。視覚化プロセッサ２０６は、前記２つの画像データセットをボクセルベースで一緒にリンクすることもできる。読み手は、この場合、入力装置１２８を介して前記第１の画像内の位置において１つの表示内のボクセルを選択する（例えば前記画像上でクリックする）ことができ、視覚化プロセッサ２０６は、前記変位ベクトル場から、他の画像データセット内のマッチする位置を識別及び表示することができる。

第２の例のアルゴリズム２１２を用いて、視覚化プロセッサ２０６は、入力として前記ベースラインデータセット、前記変形されたフォローアップデータセット、及び前記対応確率マップを受信する。視覚化プロセッサ２０６は、両方のデータセットを、例えば融合データセットとして、同時に表示する。視覚化プロセッサ２０６は、存在する対応を持つ画像領域をフェードアウトするのに前記確率マップを使用する。

第３の例のアルゴリズム２１４を用いて、視覚化プロセッサ２０６は、入力として前記ベースラインデータセット、前記変形されたフォローアップデータセット、及び前記対応確率マップを受信する。視覚化プロセッサ２０６は、両方のデータセットを同じ画像観察窓において交互形式で、例えば、所定の時間期間の経過後（例えば、０．５秒ごと）に前記２つのデータセットを切換えて、表示する。前記対応確率マップは、存在する対応を持つ全ての画像領域をフェードアウトするのに使用される。

他のアルゴリズムも、ここで考えられる。入力装置１２８は、一例において、機械式又はソフトウェアベースのスライダ又はノブ等を含み、これは、前記対応する画像領域に対する抑制のレベルをセット及び／又は変更するのにユーザにより使用されることができる。１００％抑制レベルに対して、欠けている解剖学的対応を持つ画像領域のみが、トグリング／点滅様式で表示される。７０％乃至９０％の抑制レベルは、解剖学的状況を表示するのにも使用されることができる。

上記の例において、前記２つの画像データセットは、ベースライン及びフォローアップ画像データセットを含む。前記２つの画像データセットが、同じセッション内であるが、例えば、異なるプロトコル又は造影剤摂取を用いて取得される場合、前記画像データセットは、事前位置合わせなしで比較及び視覚化されることができる。この場合、前記対応確率マップは、元のデータの残余に基づいて決定される。

変形例において、対応をほとんど又は全く持たない（すなわち、前記対応確率マップにおいて閾値ｔより小さい値を持つ）画像領域は、重要度によって分析及びソートされる。領域の重要度は、例えば、体積、形状又は解剖学的位置に基づくことができる。前記画像の読み手は、この場合、より近い検査に対する非対応のソートされたリストによりガイドされる。

他の変形例において、位置合わせ中に生成された前記対応確率マップは、例えば、ユーザにより及び／又は他の形で、編集可能であり、修正される。非限定的な例を用いて、画像を読み取る臨床医は、前記対応確率マップにおける１又は複数の非対応に対して、より高い又はより低い重みを示す又は割り当てるようなフィードバックを、例えば、入力装置１２８により、与えうる。これは、偽陽性の重みを下げる（down-weight）、偽陽性を取り除く等のために行われることができる。一度前記対応確率マップが修正されると、前記位置合わせは、修正された対応確率マップを用いて繰り返されることができる。

図３は、２つの画像データセットの視覚化に対して対応確率マップを生成及び使用する方法を示す。

ここに記載される方法の動作の順序が限定的ではないと理解されるべきである。このようにして、他の順序が、ここで考えられる。加えて、１又は複数の動作が省略されてもよく及び／又は１又は複数の追加の動作が含まれてもよい。

３０２において、前記２つの画像データセットが取得される。ここに記載されるように、一例において、前記２つの画像データセットは、ベースライン画像データセット及びフォローアップ画像データセットを含む。

３０４において、前記２つの画像データセットは、対応モデルを含む位置合わせアルゴリズムを使用して位置合わせされる。

３０６において、変位ベクトル場が、前記位置合わせに基づいて作成される。

３０８において、対応確率マップが、ここに記載されるように及び／又は他の形で、前記対応モデル及び前記２つの画像データセットの間の残余を使用して生成される。

３１０において、前記対応確率マップは、ここに記載されるように及び／又は他の形で、前記２つの画像データセットを視覚化するのに使用される。

変形例において、動作３０２と３０４との間に、マスク画像が、前記２つの画像データセットに加えられる。前記マスク画像は、読み取る臨床医により重みを下げられる又は上げられる少なくとも１つの領域を含み、前記対応確率マップに含まれる確率が、前記マスク画像からの値で初期化され、反復中に変更することを可能にされない「固定された制約（fixed constraint）」である。

前記方法は、ここで、コンピュータ可読記憶媒体上に符号化された又は埋め込まれたコンピュータ可読命令を用いて実施されてもよく、前記コンピュータ可読命令は、コンピュータプロセッサにより実行される場合に、前記プロセッサに上記の動作を実行させる。加えて又は代わりに、前記コンピュータ可読命令の少なくとも１つは、信号、搬送波又は他の一時的媒体により搬送される。

本発明は、好適な実施例を参照して記載されている。修正例及び変更例は、先行する詳細な記載を読み、理解すると他者が思いつきうる。本発明が、添付の請求項又はその同等物の範囲に入る限り全てのこのような修正例及び変更例を含むと解釈されることが意図される。

Claims (12)

1. 第１及び第２の画像データセットの視覚化に対して対応確率マップを生成及び使用する方法において、
   前記第１及び第２の画像データセットを取得するステップと、
   対応モデルを含む画像位置合わせアルゴリズムを取得するステップと、
   前記第１及び第２の画像データセットに基づいて、前記対応モデルを使用して、対応確率マップを生成するステップと、
   前記対応確率マップによる所定の閾値を満たさない対応を持つ画像領域を抑制することにより前記第１及び第２の画像データセットを視覚化するステップと、
   を有する方法であって、
   前記第２の画像データセット内のボクセル位置に対する前記第１の画像データセット内のボクセル位置の変位を規定する変位ベクトル場を生成するように前記第１及び第２の画像データセットを位置合わせするステップと、
   前記第１の画像データセットと、前記変位ベクトル場を用いて変形された前記第２の画像データセットとの間の差に基づいて前記対応確率マップを計算する、又は前記第１の画像データセットと、前記変位ベクトル場を用いて変形された前記第２の画像データセットとの間の統合されたエッジマップに基づいて前記対応確率マップを計算する、ステップと、
   を更に有する方法。
2. 前記対応確率マップに前記変位ベクトル場を適用することにより第２の対応確率マップを生成するステップと、
   第１の画像表示窓内に前記第１の画像データセットを表示するステップと、
   前記対応確率マップを用いて対応を持つ前記第１の画像データセットの画像領域をフェードするステップと、
   第２の画像表示窓内に前記第２の画像データセットを表示するステップと、
   前記対応する画像領域に対する抑制のレベルに基づいて前記第２の対応確率マップを用いて対応を持つ前記第２の画像データセットの画像領域をフェードするステップと、
   を有する、請求項１に記載の方法。
3. 前記対応確率マップの少なくとも１つの値に対するユーザ変更を示すフィードバック信号を受信するステップと、
   前記フィードバック信号に基づいて修正された対応確率マップを生成するステップと、
   前記変位ベクトル場を生成するように前記修正された対応確率マップを用いて前記第１及び第２の画像データセットを再位置合わせするステップと、
   を有する、請求項１又は２のいずれか一項に記載の方法。
4. 視覚化モジュールを含む命令を記憶するメモリ装置と、
   前記命令を実行するプロセッサと、
   を有する計算システムにおいて、
   前記プロセッサが、
   対応確率マップを生成するように対応モデルを含む画像位置合わせアルゴリズムを用いて第１及び第２の画像データセットを位置合わせし、
   前記対応確率マップによる所定の閾値を満たさない対応を持つ前記第１及び第２の画像データセットの少なくとも一方における画像領域を抑制することにより前記第１及び第２の画像データセットを視覚化する、
   計算システムであって、
   前記プロセッサが更に、
   前記第２の画像データセット内のボクセル位置に対する前記第１の画像データセット内のボクセル位置の変位を規定する変位ベクトル場を生成し、
   前記第１の画像データセットと、前記変位ベクトル場を用いて変形された前記第２の画像データセットとの間の差に基づいて前記対応確率マップを計算する、又は前記第１の画像データセットと、前記変位ベクトル場を用いて変形された前記第２の画像データセットとの間の統合されたエッジマップに基づいて前記対応確率マップを計算する、
   計算システム。
5. 前記プロセッサが、前記２つの画像データセットの間の相関に基づいて前記対応確率マップを計算する、請求項４に記載の計算システム。
6. 前記プロセッサが、
   前記対応確率マップに前記変位ベクトル場を適用することにより第２の対応確率マップを生成し、
   第１の画像表示窓内に前記第１の画像データセットを表示し、
   前記対応確率マップを用いて対応を持つ前記第１の画像データセットの画像領域をフェードし、
   第２の画像表示窓内に前記第２の画像データセットを表示し、
   前記第２の対応確率マップを用いて対応を持つ前記第２の画像データセットの画像領域をフェードする、
   請求項４又は５に記載の計算システム。
7. 前記プロセッサが、
   前記変位ベクトル場を用いて前記第１の画像データセットを変形し、
   前記変形された第１の画像データセット及び前記第２の画像データセットを融合し、
   前記対応確率マップを用いて対応を持つ前記融合された画像データセットの画像領域をフェードする、
   請求項４又は５に記載の計算システム。
8. 前記プロセッサが、
   前記変位ベクトル場を用いて前記第１の画像データセットを変形し、
   同じ画像観察窓において前記第１の画像データセット及び前記第２の画像データセットの表示を交互に入れ替え、
   前記対応確率マップを用いて対応を持つ前記表示された第１及び第２の画像データセットの画像領域をフェードする、
   請求項４又は５に記載の計算システム。
9. 前記プロセッサが、前記対応する画像領域に対する抑制のレベルの変化を示す信号を受信し、前記信号に基づいて前記対応する画像領域に対する前記抑制のレベルを調整する、請求項６乃至８のいずれか一項に記載の計算システム。
10. 前記プロセッサが、前記対応確率マップの少なくとも１つの値に対するユーザ変更を示す入力に応答して前記対応確率マップを修正し、これが、更新された対応確率マップを生成し、２つの画像データセットの視覚化に対して前記更新された対応確率マップを使用する、請求項６乃至９のいずれか一項に記載の計算システム。
11. 前記プロセッサが、前記第１及び第２の画像データセットにユーザ生成マスク画像を加え、前記マスク画像が、重みを下げられるか又は重みを上げられるかのいずれかである少なくとも１つのボクセルを含み、前記プロセッサが、変化しない静止値を持つ前記対応確率マップの少なくとも１つの値を初期化するのに前記マスク画像を使用する、請求項４乃至１０のいずれか一項に記載の計算システム。
12. コンピュータ可読命令で符号化されたコンピュータ可読記憶媒体において、前記コンピュータ可読命令は、プロセッサにより実行される場合に、前記プロセッサに、
    ベースライン及びフォローアップ画像データセットを取得させ、
    対応モデルを含む画像位置合わせアルゴリズムを取得させ、
    前記ベースライン及びフォローアップ画像データセットに基づいて前記対応モデルを使用して対応確率マップを生成するように前記ベースライン及びフォローアップ画像データセットを位置合わせさせ、
    前記対応確率マップによる所定の閾値を満たさない対応を持つ画像領域を抑制することにより前記ベースライン及びフォローアップ画像データセットを表示させ、
    前記コンピュータ可読命令は更に、前記プロセッサに、
    前記フォローアップ画像データセット内のボクセル位置に対する前記第ベースライン画像データセット内のボクセル位置の変位を規定する変位ベクトル場を生成させ、
    前記ベースライン画像データセットと、前記変位ベクトル場を用いて変形された前記フォローアップ画像データセットとの間の差に基づいて前記対応確率マップを計算させる、又は前記ベースライン画像データセットと、前記変位ベクトル場を用いて変形された前記フォローアップ画像データセットとの間の統合されたエッジマップに基づいて前記対応確率マップを計算させる、
    コンピュータ可読記憶媒体。

Images