JP5877833B2 - 多重画像の融合 - Google Patents

Description

以下は一般に画像を融合することに関し、特に３以上の（構造的及び機能的な）異なる画像を単一の融合画像に融合することに応用して記載される。しかしながら、以下は２画像を融合すること、及び個別画像を視覚化することにも適する。

２つの異なるイメージングモダリティからの画像は単一画像を形成するためにコレジストレーション（すなわち融合）されている。一般に、モダリティの一方は機能的な情報を提供し、モダリティの他方は解剖学的な情報を提供する。融合画像は解剖学的情報を半透明グレースケールで、解剖学的情報と重ね合わされる若しくは混合される機能的情報を半透明カラースキームであらわすことによって作られている。融合画像を表示することは、特に異なる臨床情報型の間の相関を理解する上で、単に異なる画像を並んで示すことに勝る複数の利点を持つ。

一部の用途では、１種類よりも多くの機能的情報が取得される。一例はイメージングプロトコルであり、これは従来の解剖学的機能的情報に加えて、かん流検査、デュアルトレーサ投与、デュアルエネルギーＣＴ、ファンクショナルＭＲＩ、その他などの追加シーケンスを含む。これらの追加シーケンスは撮像対象についての補足情報を画像に提供している。これらの用途では、追加画像が融合画像と若しくは他の個別画像と並んで提示されることができるが、こうした情報全てを単一融合画像において表示することは、解剖学的画像と機能的画像を融合することに関連して上述した通り２画像を融合することと同様に、追加の有用な情報を提供し得る。

あいにく、従来の画像融合技術は２よりも多くのこうした画像を臨床的に有用な方法で組み合わせるためによく適しておらず、実際の場合のほとんどにおいて、様々な色相と強度に基づいて３つの異なるカラースキームを単に重ね合わせる若しくは混合することによって十分な視覚的鮮明さを得ることは非常に難しい。例えば、一般的なデュアルモダリティシステムは特定のカラースキーム画像を別のグレースケール画像と混合することによって妥当な融合画像を得る。しかしながら、第２のカラースキーム画像の追加の半透明オーバーレイを（第３の情報レイヤとして）加えようとすることは、新たな望ましくない色相の生成につながり、これは多くの場合観察者を混乱させ、臨床診断を改良することができない。

結果として、今日、そのような場合において、２よりも多くの臨床情報型が関連するとき、一般的な解決法は単に異なる画像を同じディスプレイ上で並んで表示することである。画像間の比較を容易にするために、基準グリッド、マウスクリック、画像"ロック"、ＲＯＩコピーなどによって同時空間的指標を有効化するなどの追加ツールが提供される。それにもかかわらず、多くの場合において単一融合画像上よりも異なる画像上で異なる情報型を比較することは依然として難しく時間がかかる。

別の技術は矢印及び曲線などの空間的に分布した幾何学的構造を融合画像に追加することであった。こうした構造はフローパターン、磁場、勾配、又は同強度パターンの輪郭などの他の特性といったベクトルデータとして表現されている。これらの技術の一部は'振動プロット'、'速度プロット'、'カールプロット'、'輪郭プロット'及び'矢印プロット'として知られる。あいにく、こうした技術は通常は空間的に分布したスカラーデータの鮮明な視覚化にとって不十分である。例えば異なるレイヤが異なる深さ（奥行）を持つ三次元空間の錯覚を作り出す１画像において異なる情報レイヤを重ね合わせることもまた可能である。しかしながら、こうした形態は通常は観察者によって知覚することが難しく、表示装置と同様に調整及び最適化が複雑である。

本願の態様は上述の問題などに対処する。

一態様によれば、方法は少なくとも３画像を単一融合画像に融合するステップを含み、３画像の少なくとも１つはバイナリパターン表現画像を含む。

別の態様によれば、システムは解剖学的画像、機能的画像、及びバイナリパターン表現画像を単一画像に組み合わせる画像処理システムを含む。

別の態様によれば、コンピュータ可読記憶媒体は、コンピュータのプロセッサによって実行されるときに、プロセッサに、解剖学的画像、機能的画像、及び異なる機能的画像のバイナリパターン表現を、解剖学的画像と機能的画像が機能的画像のバイナリパターン表現のバイナリ点間の空間に見えるように、単一画像に組み合わさせる命令でエンコードされる。

本発明は様々な構成要素と構成要素の配置、及び様々なステップとステップの配置で具体化し得る。図面は好適な実施形態を例示する目的に過ぎず、本発明を限定するものと解釈されない。

１つ以上の情報システムと関連する画像処理システムを図示する。 図１の画像処理システムの限定されない実施例を図示する。 解剖学的画像、機能的画像、及び異なる機能的画像のバイナリパターン表現を単一融合画像に組み合わせるための一方法例を図示する。

図１は１つ以上の情報システム１０２と関連する画像処理システム１００を図示する。図示の実施形態において、情報システム１０２はＰＥＴ、ＣＴ、ＳＰＥＣＴ、Ｘ線、ＭＲＩ、ＵＳ、磁性粒子イメージング（ＭＰＩ）、光音響、光学、赤外線などのイメージング装置、ＰＥＴ‐ＣＴ、ＳＰＥＣＴ‐ＣＴ、ＰＥＴ‐ＭＲＩなどのデュアルモダリティイメージング装置、及び／又は他のイメージング装置、といった１つ以上のイメージング装置１０４、及び／又は脳磁図（ＭＥＧ）、脳波検査（ＥＥＧ）、及び／又は他の間接イメージング装置などの１つ以上の間接イメージング装置１０６を含む。

システム１０２は装置１０４及び／又は１０６の１つ以上に対応する情報及び／又は他の情報を記憶し得る１つ以上の情報リポジトリ１０８（例えばデータベース、サーバ、コンピュータのメモリ、ＰＡＣＳシステム、ＲＩＳシステム、ＨＩＳシステムなど）も含む。上記装置は適切な装置の実施例に過ぎず、他の装置もまた本明細書で考慮されることが理解される。さらに、別の実施形態において、装置１０４若しくは１０６の１つ以上及び／又はリポジトリ１０８は省略され得る。従って、画像処理システム１００は装置１０４若しくは１０６又は情報リポジトリ１０８の１つ或いはそれらの組み合わせから情報を収集し得る。

画像処理システム１００は装置１０４及び／又は１０６の１つ以上及び／又はリポジトリ１０８からの情報を処理する。以下でより詳細に記載する通り、一実施形態において、画像処理システム１００はこうした情報を組み合わせる、例えば、少なくとも１つの解剖学的画像、少なくとも１つの機能的画像（例えば代謝、血流、局所的化学成分、吸収を示す画像など）、及び少なくとも１つの機能的画像の少なくとも１つのバイナリパターン表現など、少なくとも３つの異なるデータ型の情報を、臨床的有用画像及び／又は診断画像などの単一画像にレジスタ及び融合するように構成される。１よりも多くの画像がバイナリパターン表現を介してあらわされる場合、異なる型のバイナリパターンが異なる画像で使用されることができる。様々な画像は同じ及び／又は異なるモダリティ由来であり得る。

ディスプレイ、モニタなどといった提示部品１１０は画像処理システム１００の融合出力画像を提示するために使用され得る。付加的に若しくは代替的に、提示部品１１０は個々の解剖学的画像、機能的画像、及び／又はバイナリパターン表現画像を提示し得る。一実施形態において、これらの画像の１つ以上は１つ以上の画像操作ツールを含むインタラクティブインターフェースなどのグラフィカルユーザインターフェースを通して提示され得る。

画像処理システム１００はコンピュータ、イメージングシステム、及び／又は装置１０４及び／又は１０６の１つ以上及び／又はリポジトリ１０８に対してローカル若しくはリモートの他のシステムの一部であってもなくてもよいことが理解される。画像処理システム１００はコンピュータ可読記憶媒体若しくは物理的コンピュータメモリ上に埋め込まれる及び／又はエンコードされる１つ以上のコンピュータ可読命令を実行する１つ以上のプロセッサを含み得ることもまた理解される。一実施形態において、１つ以上のコンピュータ可読命令は、１つ以上のプロセッサの１つ以上によって実行されるとき、画像処理システム１００に上記のような情報を融合させる。

図２は画像処理システム１００の一実施例を図示する。この実施形態において、画像処理システム１００は解剖学的画像、機能的画像、及び異なる機能的画像のバイナリパターン表現を単一画像に融合するように構成される。他の実施形態において、３より多くの画像及び３より少ない画像の組み合わせを含む、画像の他の組み合わせが組み合わされる。画像の１つ以上は同じ若しくは異なるモダリティによって提供され得る。さらに、他の実施形態において、３より多くの画像が組み合わされ得る。

図示の画像処理システム１００は２つの異なる機能的画像の少なくとも１つをバイナリパターン表現画像に変換する情報変換器２０２を含む。情報選択器２０４が変換される機能的画像を選択する。図示の情報選択器２０４は２つの機能的画像の分解能を決定する分解能決定器２０６と、低分解能の機能的情報を情報変換器２０２へ送る情報ルータ２０８とを含む。低分解能画像形態はバイナリパターン表現によってあらわされるためによく適している可能性があり、バイナリ点とその空間は観察者によって知覚されることができ、局所点密度は元データ強度若しくは値に比例する。

図示の画像処理システム１００は解剖学的画像、機能的画像、及びバイナリパターン表現画像を融合するように構成される画像融合器２１０も含む。一例において、解剖学的画像情報はグレースケールスキームでフォーマットされ、機能的画像情報はカラースキームでフォーマットされ、解剖学的画像と機能的画像がバイナリパターン表現のバイナリ点間の空間に見えるようにバイナリ表現画像がそれらと組み合わされる。これはバイナリパターンとそれらの間の空間の両方がパターン内でよく知覚されることができる融合画像を生成することを可能にし得る。従って、これはユーザが組み合わされた画像上で３つの情報型の各々の必須の特徴を視覚的に認識し、それらの相関を調べることを可能にし得る。

バイナリパターン表現例は、粗粒ディザリングなどの粗粒表現を含むが、これに限定されない。適切なディザリングは、完全に不透明及び完全に透明の２端の間の中間情報／画像強度の錯覚を作り出すために、特定パターンにおいて２つの異なる視覚化の外観（例えば不透明色及び透明）のピクセルを並置することを含む。

１つのアプローチでは、各ピクセルは固定表示サイズであり（例えばズームから独立）、不透明若しくは透明でしかあり得ない。中間情報／画像強度は平均して領域内でピクセルの所望部分が不透明であることを保証することによってシミュレーションされる。より多くの不透明ピクセルが領域内にプリントされるほど、平均密度は高くなり、従って対応する画像強度が高くなる。画像内の様々な強度領域は空間領域の元の強度に従って不透明ドット／ピクセルを分布することによって不透明及び透明パターンに変換される。これは異なる強度の錯覚を作り出す。

別の適切なディザリングはハーフトーニング（例えばプリンタで使用される）に類似し、ドットが固定所定間隔で規則的なグリッドフォーマットに配置され、ドットのサイズは所望の強度外観とともに変化するアナログ（すなわち連続）値であり、大きなドットが高強度に使用され、小さなドットが低強度に使用される。

様々なアルゴリズムがディザリングを実行するために利用され得る。例えば、非常に一般的な方法はＦｌｏｙｄ‐Ｓｔｅｉｎｂｅｒｇディザリングアルゴリズムである。このアルゴリズムの強みは誤差拡散プロセスを通して視覚的アーチファクトを最小化することであり、誤差拡散アルゴリズムは典型的には原画像をより厳密にあらわす画像を生成する。

図３は３種類の画像が組み合わされる方法例を図示する。簡潔さと明確さのために、以下は解剖学的画像と２つの機能的画像が組み合わされる一実施形態を記載する。加えて、以下の動作の順番は説明目的で提供され、限定ではない。従って、動作の１つ以上の異なる順番で実行され得る。さらに、動作の１つ以上は省略され得るか、及び／又は１つ以上の追加動作が実行されるように含まれ得る。

３０２において、異なる種類の関心情報をあらわす少なくとも３画像が取得される。かかる画像は装置１０４及び／又は１０６の１つ以上及び／又はリポジトリ１０８の１つ以上から取得され得る。情報のセットは処理されてもされなくてもよい。かかる処理の実施例は、補正、空間的レジストレーション、及び／又はデータリスケーリング、及び／又は画像を融合する前に実行される所定の他の処理を含むが、これらに限定されない。

３０４において、異なる視覚化アプローチが３画像の各々に割り当てられる。これは自動的に、半自動的に、若しくは手動でなされ得る。適切なビューアプローチの実施例は、グレースケール、透明カラースキーム、ディザリング、及び／又は他のアプローチを含むがこれらに限定されない。本明細書で論じる通り、ディザリングに割り当てられる画像は最低空間分解能を持つ機能的画像であり得る。

３０６において、初期視覚化設定及び／又は入力パラメータが選択される。これらは自動的に、半自動的に、若しくは手動で選択されることができ、最適な及び／又は所定の所望ビュー結果を保証し得る。一例として、複数のパラメータがディザリング視覚化出力を制御し最適化するように調節されることができる。例えば、一例において表示されるディザリング点のサイズは高密度ダイナミックレンジを可能にするために十分小さく、ただし依然として色つきバックグラウンド上の個別点として観察されることができるように小さ過ぎないように設定される。所望の点密度ダイナミックレンジと視覚化強度を制限するための任意の密度閾値も設定され得る。

限定されない一例において、利用されるディザリングアルゴリズムは０から１の値などの所定画像値範囲にはたらく。この例において、原画像値は所望の新たな値範囲にフィットするようリスケールされ得る。加えて、過度に高い若しくは低い値は閾値を定義するためにクリップされ得る。

表示のために選択される融合画像領域に対応するアレイ／マトリクスは、関連スクリーン領域の実際のマトリクスサイズとは異なる数学的サイズを持ち得ることが留意される。その場合、関連融合画像領域のアレイは正確なディザリング点サイズと密度を可能にするように数学的にリサイズ若しくはリスケールされ得る。これはアルゴリズムがディザリング点を後に表示される計算されたアレイ内の１ピクセルとして扱う用途で有用であり得る。

任意の定義色が、例えば元ゲータ値に従ってディザリング点に割り当てられる。色は空間に示される他の２レイヤの半透明カラースキームの色とは著しく異なり得る。

３０８において、ディザリングに割り当てられる画像は設定及び／又はパターンに基づいてバイナリパターン表現に変換される。本明細書に記載の通り、かかる表現の１つは粗粒ディザリングを含む。別の実施形態において、ディザリング点は２つの他の情報レイヤと同様に半透明色であらわされ得る。さらに、複数の異なるディザリング及びハーフトーニング技術が、例えば高解像度スクリーン上でのビューのために一緒に組み合され得る。

３１０において、解剖学的画像、未変換の機能的画像及びバイナリパターン表現画像を含む３画像が融合画像を生成するために融合される。例として、ある場合において、これはバイナリパターン表現画像を解剖学的画像のためのグレースケールスキームと変換されなかった機能的画像のためのカラースキームと融合することを含む。

３画像は同時に融合されることができ、又は画像の２つ（例えば解剖学的画像と機能的画像、若しくは画像の別の組み合わせ）が中間融合画像を生成するために融合されることができ、そして中間融合画像が３画像の融合画像を生成するために他の画像（例えばバイナリパターン表現画像若しくは他の画像）と融合されることができる。

上述の通り、画像はグレースケールの解剖学的画像とカラーの機能的画像がバイナリパターン表現画像のバイナリ点間の空間に見られるように融合され、これはユーザが融合画像を介して３つの情報型の各々の必須の特徴を視覚的に認識し、それらの相関を調べることを可能にし得る。

３１２において、融合画像（及び／又は原画像及び／又は変換画像の１つ以上）が表示される。画像はユーザが視覚化設定を変更する及び／又は表示画像に関連する追加臨床情報を提示することを可能にするインタラクティブツールを生成するインタラクティブインターフェースを介して表示されることができる。例えば、１つのインタラクティブインターフェースはユーザがズーム、点密度、色などを変更する、及び／又は追加臨床情報を取得することを可能にし得る。

かかる変更後、新たな条件に従ってビューを再最適化するためにディザリングプロセスが再度計算され得る。本明細書に記載の通り、ズームの変化は固定サイズに設定されるディザリングピクセルの表示サイズに影響を及ぼさないかもしれない。加えて、ズームの変化はディザリングピクセルの密度ダイナミックレンジの再最適化に影響を及ぼし得る。インタラクティブインターフェースは任意の対応する値、グラフ、テーブル、若しくは関連臨床情報の他の詳細な解析を得るためにディスプレイ上の点若しくは領域を選択することも可能にし得る。

本明細書に記載のアプローチは多断面再構成（ＭＰＲ）、斜めスライス、表面視覚化、最大値投影（ＭＩＰ）、及び／又は他の画像など、軸方向及び／又は非軸方向画像をビューするために使用されることができることが理解される。

上記動作は、コンピュータプロセッサによって実行されるときに、プロセッサに本明細書に記載の動作を実行させるコンピュータ可読命令を用いて実施され得る。かかる場合において、命令は関連コンピュータに付随する及び／又は他の方法でアクセス可能なメモリなどのコンピュータ可読記憶媒体に記憶される。

本発明は好適な実施形態を参照して記載されている。前の詳細な記載を読んで理解することで修正及び変更が想到され得る。本発明はかかる修正及び変更全てが添付の請求項若しくはその均等物の範囲内にある限り含むと解釈されることが意図される。

Claims (15)

1. 少なくとも３画像を融合する方法であって、前記方法が、
   複数の機能的画像のうち最低画像分解能をもつ機能的画像を識別するステップと、
   前記識別された機能的画像をバイナリパターン表現画像に変換するステップであって、前記バイナリパターン表現画像が、粗粒ディザリング画像又はハーフトーンディザリング画像である、ステップと、
   少なくとも３画像を単一融合画像に融合するステップであって、前記少なくとも３画像が解剖学的画像、複数の機能的画像のうち前記識別された機能的画像と異なる機能的画像、及び前記バイナリパターン表現画像を含む、ステップと、
   を有する方法。
2. 前記バイナリパターン表現画像が粗粒ディザリング画像である、請求項１に記載の方法。
3. 前記少なくとも３画像が、前記識別された機能的画像と異なる機能的画像である第２の機能的画像を含む、請求項１又は２に記載の方法。
4. グレースケールスキームを用いて前記解剖学的画像をあらわすステップと、
   カラースキームを用いて前記第２の機能的画像をあらわすステップとをさらに有する、請求項３に記載の方法。
5. 前記グレースケールの解剖学的画像と前記カラーの第２の機能的画像が前記バイナリパターン表現画像のバイナリ点間の空間に見える、請求項４に記載の方法。
6. 前記融合画像をインタラクティブインターフェースを介して提示するステップをさらに有する、請求項１乃至５のいずれか一項に記載の方法。
7. 前記インタラクティブインターフェースを介して、前記提示された融合画像に対するズーム倍率を示す入力を受信するステップと、
   非バイナリパターン表現画像に対応する前記融合画像の情報をスケーリングするステップとをさらに有する、請求項６に記載の方法。
8. 前記バイナリパターン表現画像に対応する前記融合画像の情報のサイズを前記スケーリングから独立した固定サイズに維持するステップをさらに有する、請求項７に記載の方法。
9. 前記融合画像に対する１つ以上の視覚化設定及び／又はパラメータを示す入力を受信するステップと、
   前記受信した１つ以上の視覚化設定及び／又はパラメータに基づいて前記融合画像を提示するステップとをさらに有する、請求項１乃至８のいずれか一項に記載の方法。
10. 解剖学的画像、機能的画像及びバイナリパターン表現画像を単一画像に組み合わせる画像処理システムを有するシステムであって、前記バイナリパターン表現画像が、前記機能的画像と異なる機能的画像をあらわす粗粒ディザリング画像又はハーフトーンディザリング画像であり、
    前記システムが、
    複数の機能的画像から最低分解能をもつ機能的画像を選択する情報選択器と、
    複数の機能的画像のうち選択された機能的画像を前記バイナリパターン表現画像に変換する情報変換器と、を有し、
    前記情報選択器が、
    前記複数の機能的画像の分解能を決定する分解能決定器と、
    最低分解能をもつ機能的画像を前記情報変換器へ送る情報ルータと、を有する、
    システム。
11. 前記バイナリパターン表現画像が粗粒ディザリング画像である、請求項１０に記載のシステム。
12. 前記解剖学的画像がグレースケールスキームを用いてあらわされ、バイナリパターン表現画像に変換されない機能的画像がカラースキームを用いてあらわされる、請求項１０又は１１に記載のシステム。
13. 前記グレースケール及びカラー画像が前記バイナリパターン表現画像のバイナリ点間の空間に見える、請求項１２に記載のシステム。
14. 前記バイナリパターン表現画像が１つ以上の色を含む、請求項１０乃至１２のいずれか一項に記載のシステム。
15. コンピュータのプロセッサに、
    複数の機能的画像のうち最低画像分解能をもつ機能的画像を識別しバイナリパターン表現に変換する機能と、
    解剖学的画像、複数の機能的画像のうち前記識別された機能的画像と異なる機能的画像、及び前記識別された機能的画像のバイナリパターン表現を、前記解剖学的画像と前記識別された機能的画像と異なる機能的画像が前記識別された機能的画像のバイナリパターン表現のバイナリ点間の空間に見えるように単一画像に組み合わせる機能と、を実現させるためのプログラムを記録したコンピュータ可読記憶媒体。

Images