JP6700622B2 - マルチモーダル画像を処理するシステム及び方法 - Google Patents

Description

本開示の様々な実施形態は、マルチモーダル画像の処理に関する。具体的には、本開示の様々な実施形態は、被験者の解剖学的部位に関連するマルチモーダル画像の処理に関する。

医用撮像法及び関連するセンサ又は装置の分野の進歩は、臨床分析及び医療目的での身体内部の可視化を可能にした。コンピュータ断層撮影法（ＣＴ）スキャナ及び磁気共鳴画像診断法（ＭＲＩ）装置などの異なるモダリティは、解剖学的関心部位の異なるタイプの医用画像をもたらす。このような異なるタイプの画像は、マルチモーダル画像と呼ばれる。同じ被験者の頭蓋骨部分などの同じ解剖学的部位のマルチモーダル画像は、使用するモダリティに依存して異なる視覚表現及び様々な情報を提供することができる。このようなマルチモーダル画像を合わせ込む（ｒｅｇｉｓｔｅｒ）ことは、異なる画像センサの構造的相違、解像度の相違及び／又は臨床的利用法の相違などの異なる特性に起因して困難となり得る。マルチモーダル画像は、たとえ異なるセンサから取得されたマルチモーダル画像であっても、正確に配置されて計算された場合には合わせ込みを行うことができる少なくともいくつかの共通する情報内容も有する。従って、このようなマルチモーダル画像を処理して、特定の被験者の１又は２以上の解剖学的部位の強化された可視化を改善された精度で生成する高度な技術及び／又はシステムが必要になり得る。医師などのユーザは、このような強化された可視化を診断目的で、及び／又は手術支援の提供のために利用することができる。

当業者には、説明したシステムと本出願の残り部分において図面を参照しながら説明する本開示のいくつかの態様との比較を通じて、従来の伝統的な方法のさらなる制限及び不利点が明らかになるであろう。

実質的に少なくとも１つの図に示し、及び／又はこれらの図に関連して説明し、特許請求の範囲にさらに完全に示すような、マルチモーダル画像を処理するシステム及び方法を提供する。

全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。

本開示の実施形態による、マルチモーダル画像を処理するためのネットワーク環境を示すブロック図である。 本開示の実施形態による、マルチモーダル画像を処理する例示的な画像処理装置のブロック図である。 本開示の実施形態による、マルチモーダル画像を処理するシステム及び方法を実装するための例示的なシナリオを示す図である。 本開示の実施形態による、マルチモーダル画像を処理するシステム及び方法を実装するための例示的なシナリオを示す図である。 本開示の実施形態による、マルチモーダル画像を処理するシステム及び方法を実装するための例示的なシナリオを示す図である。 本開示の実施形態による、マルチモーダル画像を処理するシステム及び方法を実装するための例示的なシナリオを示す図である。 本開示の実施形態による、マルチモーダル画像を処理するシステム及び方法を実装するための例示的なシナリオを示す図である。 本開示の実施形態による、マルチモーダル画像を処理するシステム及び方法を実装するための例示的なシナリオを示す図である。 本開示の実施形態による、マルチモーダル画像を処理する例示的な方法を実施するためのフローチャートである。

開示するマルチモーダル画像を処理するシステム及び方法では、後述する実装を見出すことができる。本開示の例示的な態様は、画像処理装置が、解剖学的部位の端点（ｅｄｇｅ ｐｏｉｎｔｓ）を表す構造化点群（ｓｔｒｕｃｔｕｒｅｄ ｐｏｉｎｔ ｃｌｏｕｄ）を生成することを含むことができる。構造化点群は、非構造化点群を解剖学的部位の境界にシュリンクラッピング（ｓｈｒｉｎｋ−ｗｒａｐｐｉｎｇ）することに基づいて生成することができる。構造化点群に対応する端点を拡張して構造化点群上の端点を相互接続するために拡散フィルタリングを実行することができる。この拡散フィルタリングから解剖学的部位のマスクを作成することができる。

ある実施形態によれば、解剖学的部位は、被験者の頭蓋骨部分、膝蓋骨部分又はその他の解剖学的部位に対応することができる。マルチモーダル画像は、複数の医用撮像装置から受け取ることができる。受け取られるマルチモーダル画像は、被験者の解剖学的部位に関連する異なる一連の非合わせ込み画像に対応することができる。複数のマルチモーダル画像は、Ｘ線コンピュータ断層撮影法（ＣＴ）、磁気共鳴画像診断法（ＭＲＩ）、磁気共鳴血管撮影法（ＭＲＡ）、流体減衰反転回復法（ＦＬＡＩＲ）、及び／又は陽電子放出断層撮影法（ＰＥＴ）に対応することができる。

ある実施形態によれば、第１の一連の画像を用いて被験者の解剖学的部位の体積エッジ（ｖｏｌｕｍｅｔｒｉｃ ｅｄｇｅｓ）を検出することができる。第１の一連の画像は、解剖学的部位を異なる視点から取り込む複数の医用撮像装置のうちの少なくとも１つから取得することができる。

ある実施形態によれば、マルチモーダル画像の合わせ込みに基づいて解剖学的部位の１又は２以上の表面層を計算することができる。関連するマルチモーダル画像において被験者の解剖学的部位に重複する構造の相互情報量を計算することができる。相互情報量を計算するために、計算された１又は２以上の表面層における滑らかな勾配を含む重複構造の共起情報（ｃｏ−ｏｃｃｕｒｒｅｎｃｅ ｉｎｆｏｒｍａｔｉｏｎ）の量を測定することができる。ある実施形態によれば、計算された相互情報量は、当業で周知の勾配降下法を用いて最適化することができる。

ある実施形態によれば、計算された相互情報量は、計算された１又は２以上の表面層のうちの１つの表面層の周囲に他の表面層と比べて高い空間重みを適用することによって修正することができる。１つの表面層は、頭蓋骨表面に対応することができる。ある実施形態によれば、作成されたマスクに基づいて、ＭＲＩデータから１つの表面層に関連する頭蓋骨構造情報を識別することができる。

ある実施形態によれば、解剖学的部位の複数の多次元グラフィックビューを生成することができる。生成される複数の多次元グラフィックビューは、１つの表面層に関連する識別された頭蓋骨構造情報を含む第１の一連のビューを含むことができる。生成される複数の多次元グラフィックビューは、識別された頭蓋骨構造情報と他の表面層に対応する下部の組織情報とをさらに含む第２の一連のビューをさらに含むことができる。ある実施形態によれば、生成される複数の多次元グラフィックビューは、解剖学的部位の３次元（３Ｄ）ビューの１又は２以上の視点に対応することができる。

本開示の例示的な態様によれば、頭蓋骨部分の端点を表す構造化点群を生成することができる。頭蓋骨部分の構造化点群は、非構造化点群を頭蓋骨部分の境界にシュリンクラッピングすることに基づいて生成することができる。頭蓋骨部分に関連するマルチモーダル画像において重複する複数の構造の相互情報量を計算することができる。頭蓋骨部分の境界は、複数の重複構造のうちの１つに対応する。計算される相互情報量は、頭蓋骨部分の頭蓋骨表面層の周囲に頭蓋骨部分の他の下部の脳表面層と比べて高い空間重みを適用することによって計算することができる。頭蓋骨部分の頭蓋骨表面層及び下部の脳表面層は、マルチモーダル画像の頭蓋骨部分の骨構造の整合に基づいて計算することができる。

図１は、本開示の実施形態による、マルチモーダル画像を処理するためのネットワーク環境を示すブロック図である。図１には、例示的なネットワーク環境１００を示す。ネットワーク環境１００は、画像処理装置１０２と、複数の医用撮像装置１０４と、マルチモーダル画像１０６と、サーバ１０８と、通信ネットワーク１１０と、人間被験者１１２などの１又は２以上のユーザと、医療アシスタント１１４とを含むことができる。マルチモーダル画像１０６は、人間被験者１１２などの被験者の解剖学的部位の異なる一連の非合わせ込み画像１０６ａ〜１０６ｅを含むことができる。画像処理装置１０２は、複数の医用撮像装置１０４及びサーバ１０８に通信ネットワーク１１０を介して通信可能に結合することができる。

画像処理装置１０２は、複数の医用撮像装置１０４から取得されたマルチモーダル画像１０６を処理するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ある実施形態によれば、画像処理装置１０２は、解剖学的部位の２次元（２Ｄ）又は３次元（３Ｄ）などの複数の多次元グラフィックビューを表示するように構成することができる。頭蓋骨部分などの解剖学的部位の複数の多次元グラフィックビューは、マルチモーダル画像１０６の処理結果とすることができる。ある実施形態によれば、このような表示は、人間被験者１１２などの被験者の解剖学的領域に外科的又は診断的処置が行われている間にリアルタイム又は準リアルタイムで行うことができる。ある実施形態によれば、このような表示は、被験者の術前状態、術中状態又は術後状態において、ユーザが定めた構成設定の通りに行うこともできる。画像処理装置１０２の例としては、以下に限定するわけではないが、コンピュータ支援手術システム又はロボット支援手術システムに関連するユーザ端末又は電子装置、医療装置、電子手術器具、タブレットコンピュータ、ラップトップ、ディスプレイ装置、及び／又はコンピュータ装置を挙げることができる。

複数の医用撮像装置１０４は、人間被験者１１２などの被験者の内部構造又は解剖学的部位の視覚表現を作成するために使用される診断装置に対応することができる。診断装置からの視覚表現は、臨床分析及び医療介入のために使用することができる。複数の医用撮像装置１０４の例としては、以下に限定するわけではないが、Ｘ線コンピュータ断層撮影法（ＣＴ）スキャナ、磁気共鳴画像診断法（ＭＲＩ）スキャナ、磁気共鳴血管撮影法（ＭＲＡ）スキャナ、流体減衰反転回復法（ＦＬＡＩＲ）ベースのスキャナ、及び／又は陽電子放射断層撮影法（ＰＥＴ）スキャナを挙げることができる。

マルチモーダル画像１０６は、複数の医用撮像装置１０４などのマルチモダリティから取得された画像及び／又はデータに対応する。例えば、マルチモーダル画像１０６は、被験者の頭蓋骨部分などの解剖学的部位の異なる一連の非合わせ込み画像１０６ａ〜１０６ｅを含むことができる。マルチモーダル画像１０６は、ＭＲＩモダリティによって取得された第１の一連の画像１０６ａ又はデータに対応することができる。さらに、マルチモーダル画像１０６は、ＣＴベースの医用撮像法によって取得された第２の一連の画像１０６ｂに対応することもできる。同様に、マルチモーダル画像１０６は、ＭＲＡベースの医用撮像法によって取得された第３の一連の画像１０６ｃ、ＦＬＡＩＲベースの医用撮像法によって取得された第４の一連の画像１０６ｄ、及び最後にＰＥＴベースの医用撮像法によって取得された第５の一連の画像１０６ｅを含むこともできる。

サーバ１０８は、複数の医用撮像装置１０４から取得されたマルチモーダル画像１０６及び関連するデータを受け取って中央に記憶するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ある実施形態によれば、サーバ１０８は、記憶されているマルチモーダル画像１０６を画像処理装置１０２に提供するように構成することができる。ある実施形態によれば、画像処理装置１０２は、複数の医用撮像装置１０４から直接マルチモーダル画像１０６を受け取ることもできる。ある実施形態によれば、サーバ１０８及び画像処理装置１０２は、いずれもコンピュータ支援手術システムの一部とすることができる。ある実施形態によれば、サーバ１０８は、当業者に周知の複数の技術を用いて複数のクラウドベースリソースとして実装することができる。サーバ１０８の例としては、以下に限定するわけではないが、データベースサーバ、ファイルサーバ、アプリケーションサーバ、ウェブサーバ、及び／又はこれらの組み合わせを挙げることができる。

通信ネットワーク１１０は、画像処理装置１０２、複数の医用撮像装置１０４及び／又はサーバ１０８が互いに通信できるようにする媒体を含むことができる。通信ネットワーク１１０は、有線又は無線通信ネットワークとすることができる。通信ネットワーク１１０の例としては、以下に限定するわけではないが、ローカルエリアネットワーク（ＬＡＮ）、無線ローカルエリアネットワーク（ＷＬＡＮ）、クラウドネットワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、一般電話サービス（ＰＯＴＳ）、メトロポリタンエリアネットワーク（ＭＡＮ）及び／又はインターネットを挙げることができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１１０に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、赤外線（ＩＲ）、ＩＥＥＥ８０２．１１、８０２．１６、セルラー通信プロトコル、及び／又はＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルを挙げることができる。

画像処理装置１０２は、動作時に複数の医用撮像装置１０４からマルチモーダル画像１０６を受け取るように構成することができる。受け取られるマルチモーダル画像１０６は、人間被験者１１２などの被験者の解剖学的部位に関連する異なる一連の非合わせ込み画像１０６ａ〜１０６ｅに対応することができる。ある実施形態によれば、解剖学的部位は、人間被験者１１２の頭蓋骨部分とすることができる。ある実施形態によれば、解剖学的部位は、人間被験者１１２の膝蓋骨部分又はその他の解剖学的部位とすることができる。当業者であれば、本開示の範囲は、開示する図示のような人間被験者１１２の解剖学的部位のマルチモーダル画像１０６を処理するシステム及び方法の実装に限定されるものではないと理解するであろう。ある実施形態によれば、本開示の範囲から逸脱することなく、必要に応じて動物被験者の解剖学的部位のマルチモーダル画像１０６を処理することもできる。

マルチモーダル画像１０６は、異なる一連の非合わせ込み画像１０６ａ〜１０６ｅの構造的相違、解像度の相違及び／又は臨床的利用法の相違を示すことができる。例えば、第１の一連の画像１０６ａと第２の一連の画像１０６ｂと第３の一連の画像１０６ｃとの間で比較を行った時の構造的相違を観察することができる。（ＭＲＩによって取得された）第１の一連の画像１０６ａは、頭蓋骨部分などの解剖学的部位の組織情報及び骨構造情報を提供することができる。（ＣＴベースの医用撮像法によって取得された）第２の一連の画像１０６ｂは、解剖学的部位の組織情報よりもむしろ骨構造情報を提供することができる。第３の一連の画像１０６ｃは、同じ被験者の脳表面構造などの同じ解剖学的部位の血管情報を含むこともできる。

別の例では、（ＰＥＴベースの医用撮像法によって取得された）第５の一連の画像１０６ｅの解像度が、（ＦＬＡＩＲによって取得された）第４の一連の画像１０６ｄなどの他の一連の画像に比べて低くなり得る。（ＭＲＩによって取得された）第１の一連の画像１０６ａ、及び／又は（ＣＴベースの医用撮像法によって取得された）第２の一連の画像１０６ｂは、第５の一連の画像１０６ｅの解像度に比べて高い解像度を有することができる。従って、マルチモーダル画像１０６では解像度の相違を観察することもできる。さらに、（ＭＲＩによって取得された）第１の一連の画像１０６ａは、手術を計画する目的で使用することができる。これに対し、（ＦＬＡＩＲによって取得された）第４の一連の画像１０６ｄ及び（ＰＥＴによって取得された）第５の一連の画像１０６ｅは、通常は診断目的で使用される。従って、マルチモーダル画像１０６では臨床的利用法の相違を観察することもできる。

ある実施形態によれば、ＣＴ及びＭＲＩなどの異なるモダリティからのマルチモーダル画像１０６を合わせ込むには、マルチモーダル画像１０６が重複内容を含まなければならない。マルチモーダル画像１０６の異なる一連の非合わせ込み画像１０６ａ〜１０６ｅの構造的相違、解像度の相違及び／又は臨床的利用法の相違は、合わせ込みを困難な作業にする可能性がある。ある実施形態によれば、画像処理装置１０２は、マルチモーダル画像１０６全体にわたる共通の情報内容を特定するように構成することができる。異なるモダリティから取得された２又は３以上の一連の画像において同じ被験者では変化しない少なくとも１つの基準点を識別して、マルチモーダル画像１０６の合わせ込みに利用することができる。例えば、画像処理装置１０２は、合わせ込みのために（同じ被験者のＣＴスキャン及びＭＲＩによって取得されたデータを含むことができる）マルチモーダル画像１０６の頭蓋骨部分の骨構造を整合させるように構成することができる。異なる画像モダリティにわたって共通する情報内容を、同じ被験者で変化しない頭蓋骨部分の骨構造の空間的整合として識別して取り出すことができる。生体構造の頭蓋骨部分の骨構造などの特定の構造に焦点を当てると、重複しない画像内容の部分を除外できることによって合わせ込み精度を高めることができる。

ある実施形態によれば、画像処理装置１０２は、人間被験者１１２などの被験者の解剖学的部位の体積エッジを検出するように構成することができる。解剖学的部位の体積エッジは、解剖学的部位を異なる視点から取り込む複数の医用撮像装置１０４のうちの少なくとも１つから取得されたデータを用いて検出することができる。ある実施形態によれば、このデータを、ＭＲＩによって取得された頭蓋骨部分などの解剖学的部位の第１の一連の画像１０６ａとすることができる。

画像処理装置１０２は、異なる一連の画像１０６ａ〜１０６ｅなどのマルチモーダル画像を、識別された基準点に基づいて合わせ込むように構成することができる。ある実施形態によれば、画像処理装置１０２は、マルチモーダル画像の合わせ込みに基づいて解剖学的部位の１又は２以上の表面層を計算するように構成することができる。例えば、画像処理装置１０２は、マルチモーダル画像１０６の頭蓋骨部分の骨構造の整合に基づいて、頭蓋骨部分の頭蓋骨表面層及びその下部の脳表面層を計算することができる。

ある実施形態によれば、画像処理装置１０２は、被験者の解剖学的部位に関連し得るマルチモーダル画像１０６の重複構造の相互情報量を計算するように構成することができる。非重複構造は、外れ値と見なすことができる。計算された１又は２以上の表面層における滑らかな勾配を含む重複構造の共起情報の量を測定することができる。この結果を用いて相互情報量を計算することができる。マルチモーダル画像１０６における重複構造の相互情報量は、以下の数式を用いて計算することができる。
Ｉ（Ａ，Ｂ）＝Ｈ（Ａ）＋Ｈ（Ｂ）−Ｈ（Ａ，Ｂ） （２）
Ｈ（ｘ）＝−Σ_iｐ（ｘ_i）ｌｏｇ ｐ（ｘ_i） （３）
式（１）によれば、「Ｉ（Ａ，Ｂ）」は、マルチモーダル画像１０６に関連する２つの離散確率変数Ａ及びＢの相互情報量に対応する。「Ｐ_AB（ａ，ｂ）」は、確率変数Ａ及びＢの同時確率分布関数とすることができる。「Ｐ_A（ａ）」は、確率変数Ａの周辺確率分布関数とすることができ、「Ｐ_B（ｂ）」は、他方の確率変数Ｂの周辺確率分布関数とすることができる。式（２）によれば、「Ｈ（Ａ）」及び「Ｈ（Ｂ）」は、関連するマルチモーダル画像１０６のそれぞれの離散確率変数Ａ及びＢの周辺エントロピーに対応し、「Ｈ（Ａ，Ｂ）」は、離散確率変数Ａ及びＢの結合エントロピーに対応する。式（３）によれば、シャノンエントロピー「Ｈ（ｘ）」は、一定数のマルチモーダル画像１０６に関連する考えられる有限サンプルの値が｛ｘ₁，ｘ₂，．．．，ｘ_n｝である離散確率変数「ｘ」のエントロピーに対応し、式中の「ｐ（ｘ_i）」は、離散確率変数「ｘ」における情報又は文字番号「ｉ」の確率である。シャノンエントロピーは、離散確率変数「ｘ」の不確かさを測定することができる。

ある実施形態によれば、画像処理装置１０２は、計算された相互情報量を修正するように構成することができる。計算された相互情報量は、１又は２以上の表面層のうちの頭蓋骨表面層などの１つの表面層の周囲に他の表面層と比べて高い空間重みを適用することによって修正することができる。

ある実施形態によれば、画像処理装置１０２は、（頭蓋骨表面上の端点などの）解剖学的部位の端点を表す（頭蓋骨点群などの）構造化点群を生成するように構成することができる。構造化点群は、（図３Ｃの例において説明する）非構造化点群を解剖学的部位の境界にシュリンクラッピングすることに基づいて生成することができる。ある実施形態によれば、この境界は、被験者の頭蓋骨部分などの解剖学的部位の検出された体積エッジに対応することができる。

ある実施形態によれば、画像処理装置１０２は、構造化点群の端点を拡張させるために（図３Ｄでさらに説明する）拡散フィルタリングを実行するように構成することができる。構造化点群の端点の拡張は、構造化点群の端点を相互接続するために実行することができる。画像処理装置１０２は、拡散フィルタリングに基づいて解剖学的部位のマスクを作成するように構成することができる。このマスクは、マルチモダリティソースから取得された情報の正確な融合を達成するために解剖学的部位のＭＲＩデータなどの様々なデータの最適な使用を可能にする連続面とすることができる。拡散フィルタリングからのマスクの作成は、効率的なプロセスとすることができる。拡散フィルタリングからのマスクの作成は、構造化点群から多角形又は三角形メッシュ構造を作成して連続表面を取得することに比べて計算集中性の低い作業とすることができる。さらに、多角形又は三角形メッシュ構造は、作成されるマスクよりも大きな記憶スペースを必要とし得る。

ある実施形態によれば、画像処理装置１０２は、作成されたマスクに基づいて、ＭＲＩデータから（頭蓋骨表面層などの）１つの表面層に関連する頭蓋骨構造情報をさらに識別するように構成することができる。画像処理装置１０２は、ＭＲＩデータから識別された頭蓋骨構造情報及び／又はその他の計算され修正された相互情報量を作成されたマスク上及び／又はマスク内に適用して、強化された視覚表現を生成するように構成することができる。

画像処理装置１０２は、必要に応じて解剖学的部位の３Ｄビューなどの複数の多次元グラフィックビューを生成し、これを用いて解剖学的部位に対する手術を計画又は実行し、或いは解剖学的部位の病気の診断を強化できるように構成することができる。（術前、術中又は術後などの）手術状態、及び／又は受け取ったユーザ入力に基づいて、解剖学的部位の異なる相互作用的グラフィックビューを生成することができる。ある実施形態によれば、医療アシスタント１１４は、登録医師から受け取った指示に基づいてユーザ構成を事前定義し、或いはリアルタイム又は準リアルタイムで変更することができる。必要に応じて、このユーザ構成を用いて解剖学的部位の異なる複数の多次元グラフィックビューを生成することができる。従って、生成される複数の多次元グラフィックビューは、ユーザによって制御される相互作用的なものとすることができ、医療的必要性に応じて変更及び可視化することができる。

ある実施形態によれば、生成される複数の多次元グラフィックビューは、解剖学的部位の１又は２以上の視点からの強化されたビューを提供することができる。生成される複数の多次元グラフィックビューは、（頭蓋骨表面層などの）１つの表面層に関連する識別された頭蓋骨構造情報を含む第１の一連のビューを含むことができる。生成される複数の多次元グラフィックビューは、解剖学的部位が頭蓋骨部分である場合、識別された頭蓋骨構造情報と、脳表面構造などの他の表面層に対応する下部の組織情報とを含む第２の一連のビューを含むこともできる。脳表面構造は、灰白質、白質、空洞構造、血管構造、視床及び／又はその他の組織構造とすることができる。

図２は、本開示の実施形態による、マルチモーダル画像を処理する例示的な画像処理装置のブロック図である。図２の説明は、図１の要素に関連して行う。図２には、画像処理装置１０２を示す。画像処理装置１０２は、プロセッサ２０２と、メモリ２０４と、Ｉ／Ｏ装置２０６などの１又は２以上の入力／出力（Ｉ／Ｏ）装置と、ネットワークインターフェイス２０８とを含むことができる。Ｉ／Ｏ装置２０６は、ディスプレイ２１０を含むことができる。

プロセッサ２０２は、Ｉ／Ｏ装置２０６、メモリ２０４及びネットワークインターフェイス２０８に通信可能に結合することができる。ネットワークインターフェイス２０８は、プロセッサ２０２の制御下で通信ネットワーク１１０を介してサーバ１０８などの１又は２以上のサーバ及び／又は複数の医用撮像装置１０４と通信することができる。

プロセッサ２０２は、メモリ２０４に記憶されている命令セットを実行するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。プロセッサ２０２は、複数の医用撮像装置１０４又はサーバ１０８などの中央装置から受け取ったマルチモーダル画像１０６を処理するようにさらに構成することができる。プロセッサ２０２は、当業で周知の複数のプロセッサ技術に基づいて実装することができる。プロセッサ２０２の例は、Ｘ８６ベースプロセッサ、Ｘ８６−６４ベースプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、中央処理装置（ＣＰＵ）、明示的並列命令コンピュータ（ＥＰＩＣ）プロセッサ、超長命令語（ＶＬＩＷ）プロセッサ、及び／又はその他のプロセッサ又は回路とすることができる。

メモリ２０４は、プロセッサ２０２が実行できる機械コード及び／又は命令セットを記憶するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。メモリ２０４は、（人間被験者１１２などの）被験者の生理学的データ又は医療履歴に関連する１又は２以上のユーザプロファイルからの情報を記憶するように構成することができる。メモリ２０４は、解剖学的部位の複数の多次元グラフィックビューを生成するためのユーザ定義による構成設定を記憶するようにさらに構成することができる。解剖学的部位の複数の多次元グラフィックビューは、ディスプレイ２１０上にレンダリングされるユーザインターフェイス（ＵＩ）上に表示することができる。このＵＩは、３Ｄビューア又は２Ｄビューアとすることができる。メモリ２０４は、オペレーティングシステム及び関連するアプリケーションを記憶するようにさらに構成することができる。メモリ２０４の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電子的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ＣＰＵキャッシュ及び／又はセキュアデジタル（ＳＤ）カードを挙げることができる。

Ｉ／Ｏ装置２０６は、医療アシスタント１１４などのユーザから入力を受け取ってユーザに出力を提供するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。Ｉ／Ｏ装置２０６は、画像処理装置１０２と（医療アシスタント１１４などの）ユーザとの間の通信を容易にするように構成できる様々な入力及び出力装置を含むことができる。入力装置の例としては、以下に限定するわけではないが、タッチ画面、カメラ、キーボード、マウス、ジョイスティック、マイク、モーションセンサ、光センサ及び／又はドッキングステーションを挙げることができる。出力装置の例としては、以下に限定するわけではないが、ディスプレイ２１０、プロジェクタ画面及び／又はスピーカを挙げることができる。

ネットワークインターフェイス２０８は、サーバ１０８などの１又は２以上のサーバ及び／又は複数の医用撮像装置１０４と（図１に示すような）通信ネットワーク１１０を介して通信するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ネットワークインターフェイス２０８は、通信ネットワーク１１０に対する画像処理装置１０２の有線又は無線通信を支援する既知の技術を実装することができる。ネットワークインターフェイス２０８は、以下に限定するわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ−デコーダ（ＣＯＤＥＣ）チップセット、加入者アイデンティティモジュール（ＳＩＭ）カード及び／又はローカルバッファを含むことができる。ネットワークインターフェイス２０８は、有線又は無線通信を介して通信ネットワーク１１０と通信することができる。無線通信は、グローバル・システム・フォー・モバイル・コミュニケーションズ（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多元接続（Ｗ−ＣＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、ＬＴＥ、（ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、及び／又はＩＥＥＥ８０２．１１ｎなどの）ワイヤレスフィデリティ（Ｗｉ−Ｆｉ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メール、インスタントメッセージング、及び／又はショートメッセージサービス（ＳＭＳ）のプロトコルなどの通信規格、プロトコル及び技術のうちの１つ又は２つ以上を使用することができる。

ディスプレイ２１０は、ブラウン管（ＣＲＴ）ベースのディスプレイ、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ベースのディスプレイ、有機ＬＥＤディスプレイ技術、網膜ディスプレイ技術などの複数の既知の技術を通じて実現することができる。ある実施形態によれば、ディスプレイ２１０は、（医療アシスタント１１４などの）ユーザから入力を受け取ることができる。このようなシナリオでは、ディスプレイ２１０を、ユーザによる入力の提供を可能にするタッチ画面とすることができる。タッチ画面は、抵抗性タッチ画面、容量性タッチ画面、又は熱タッチ画面のうちの少なくとも１つに対応することができる。ある実施形態によれば、ディスプレイ２１０は、仮想キーパッド、スタイラス、ジェスチャ式入力、及び／又はタッチ式入力を通じて入力を受け取ることができる。このような場合、入力装置は、ディスプレイ２１０内に一体化することができる。ある実施形態によれば、画像処理装置１０２は、ディスプレイ２１０とは別のタッチ画面式ディスプレイとすることができる二次入力装置を含むことができる。

プロセッサ２０２は、動作時にネットワークインターフェイス２０８を用いて複数の医用撮像装置１０４からマルチモーダル画像１０６を受け取るように構成することができる。受け取られるマルチモーダル画像１０６は、人間被験者１０２などの被験者の解剖学的部位に関連する異なる一連の非合わせ込み画像１０６ａ〜１０６ｅに対応することができる。プロセッサ２０２によって実行される動作については、図３Ａ〜図３Ｆにおいて解剖学的部位としての人間被験者１１２の頭蓋骨部分を例に取ってさらに説明する。しかしながら、解剖学的部位は、本開示の範囲から逸脱することなく、複数の医用撮像装置１０４からマルチモーダル画像１０６を取得できる被験者の膝蓋骨部分又はその他の解剖学的部位とすることもできる。

図３Ａ〜図３Ｆに、本開示の実施形態による、開示するマルチモーダル画像を処理するシステム及び方法を実装するための例示的なシナリオをまとめて示す。図３Ａは、本開示の実施形態によるシステム及び方法を実装するための例示的なシナリオにおける被験者の頭蓋骨部分のマルチモーダル画像の受け取りを示す。図３Ａの説明は、図１及び図２に関連して行う。図３Ａには、ＭＲＩスキャナ３０４ａ、ＣＴスキャナ３０４ｂ、ＭＲＡスキャナ３０４ｃ、ＦＬＡＩＲスキャナ３０４ｄ及びＰＥＴスキャナ３０４ｅなどの複数の医用撮像装置１０４からそれぞれ受け取られた同じ被験者の同じ頭蓋骨部分の医用画像３０２ａ〜３０２ｅを示す。さらに、医用画像３０２ａ〜３０２ｅに共通する人間被験者１１２の頭蓋骨部分の骨構造３０６も示す。

例示的なシナリオによれば、頭蓋骨部分の医用画像３０２ａ〜３０２ｅは、マルチモーダル画像１０６に対応することができる。医用画像３０２ａは、ＭＲＩスキャナ３０４ａによる人間被験者１１２の頭蓋骨部分の出力とすることができる。ＭＲＩスキャナ３０４ａからは、第１の一連の医用画像と呼ぶことができる異なる視点からの複数の医用画像を取得することができる。第１の一連の医用画像は、第１の一連の画像１０６ａ（図１）に対応することができる。医用画像３０２ａは、１つの視点からの頭蓋骨部分のビューを表すが、第１の一連の医用画像は、異なる視点から取り込まれた頭蓋骨部分のビューを表すことができる。同様に、ＣＴスキャナ３０４ｂからは医用画像３０２ｂを取得することができる。ＭＲＡスキャナ３０４ｃからは、医用画像３０２ｃを取得することができる。ＦＬＡＩＲスキャナ３０４ｄからは医用画像３０２ｄを取得することができ、最後にＰＥＴスキャナ３０４ｅからは医用画像３０２ｅを取得することができる。上述したように、マルチモーダルソースから受け取った医用画像３０２ａ〜３０２ｅなどの出力は、サーバ１０８などの中央装置に記憶することができる。このような場合、プロセッサ２０２は、サーバ１０８から医用画像３０２ａ〜３０２ｅを受け取ることができる。ある実施形態によれば、医用画像３０２ａ〜３０２ｅをメモリ２０４に記憶することもできる。

ある実施形態によれば、プロセッサ２０２は、受け取った医用画像３０２ａ〜３０２ｅを処理するように構成することができる。プロセッサ２０２は、非合わせ込み医用画像３０２ａ〜３０２ｅを合わせ込むために、同じ人間被験者１１２の同じ頭蓋骨部分の骨構造３０６を整合させるように構成することができる。骨構造３０６は、同じ人間被験者１１２では変化しないので、医用画像３０２ａ〜３０２ｅを前以て合わせ込むための基準点として使用することができる。プロセッサ２０２は、受け取った医用画像３０２ａ〜３０２ｅ全体にわたり、頭蓋骨部分の骨構造３０６を識別して取り出すように構成することができる。これにより、医用画像３０２ａ〜３０２ｅにおける骨構造３０６の非重複部分又は外れ値を除外することができる。

ある実施形態によれば、プロセッサ２０２は、ＭＲＩスキャナ３０４ａが異なる視点から取り込んだ（ＭＲＩスライスとも呼ばれる）第１の一連の医用画像を用いて人間被験者１１２の頭蓋骨部分の体積エッジを検出するように構成することができる。換言すれば、基準点としての骨構造３０６の整合に基づいて、ＭＲＩスキャナ３０４ａなどの単一のモダリティからの同じ頭蓋骨部分の様々な視点から取り込まれた異なる医用画像又はデータを用いて頭蓋骨部分の体積エッジを検出することもできる。ある実施形態によれば、頭蓋骨部分の体積エッジは、３Ｄ空間における頭蓋骨部分の境界を表すことができる。

図３Ｂに、本開示の実施形態によるシステム及び方法を実装するための例示的なシナリオにおける、マルチモーダル画像の合わせ込みに基づいて計算された頭蓋骨部分の表面層を示す。図３Ｂの説明は、図１、図２及び図３Ａに関連して行う。図３Ｂには、医用画像３０２ａ〜３０２ｅにおける頭蓋骨部分の骨構造３０６の整合に基づいて計算された頭蓋骨表面層３０８及び脳表面層３１０を示す。頭蓋骨表面層３０８は、頭蓋骨部分の頭蓋骨表面を表すことができる。脳表面層３１０は、大脳表面構造、小脳表面構造、血管構造、その他の脳組織情報又は脳空洞構造などの１又は２以上の脳表面構造を含むことができる。

ある実施形態によれば、プロセッサ２０２は、合わせ込みに基づいて頭蓋骨部分の１又は２以上の表面層を計算するように構成することができる。プロセッサ２０２は、（マルチモーダル画像などの）医用画像３０２ａ〜３０２ｅの頭蓋骨部分の骨構造３０６の整合に基づいて頭蓋骨表面層３０８を計算することができる。ある実施形態によれば、プロセッサ２０２は、医用画像３０２ａ〜３０２ｅにおける頭蓋骨部分の骨構造の整合に基づいて、頭蓋骨部分の頭蓋骨表面層３０８とその下部の脳表面層３１０の両方を計算することができる。ある実施形態によれば、必要に応じて、ＭＲＩデータなどの第１の一連の医用画像、或いは複数の医用撮像装置１０４全ての代わりに１又は２以上のモダリティから取得されたデータを用いて頭蓋骨部分の１又は２以上の表面層を計算することができる。

ある実施形態によれば、プロセッサ２０２は、人間被験者１１２の頭蓋骨部分に関連する医用画像３０２ａ〜３０２ｅにおいて重複する構造の相互情報量を計算するように構成することができる。図１で説明したように、この相互情報量は、数式（１）、（２）及び／又は（３）に従って計算することができる。相互情報量を計算するには、（頭蓋骨表面層３０８及び脳表面層３１０などの）計算された１又は２以上の表面層における滑らかな勾配を含む重複構造の共起情報の量を測定することができる。

ある実施形態によれば、プロセッサ２０２は、計算された１又は２以上の表面層のうちの頭蓋骨表面などの１つの表面層の周囲に他の表面層と比べて高い空間重みを適用することにより、計算された相互情報量を修正するように構成することができる。換言すれば、頭蓋骨表面層３０８などの信頼できる構造には、脳表面層３１０の血管構造などの比較的信頼性の低い構造よりも大きく重み付けすることができる。信頼できる構造の周囲に高い空間重みを適用すると、医用画像３０２ａ〜３０２ｅ全体にわたる相互情報量の計算精度が高くなる。

図３Ｃに、本開示の実施形態によるシステム及び方法を実装するための例示的なシナリオにおける頭蓋骨部分のマスクの作成を示す。図３Ｃの説明は、図１、図２、図３Ａ及び図３Ｂに関連して行う。図３Ｃには、頭蓋骨点群３１２及びマスク３１４を示す。頭蓋骨点群３１２は、解剖学的部位の構造化点群に対応する。ある実施形態によれば、頭蓋骨点群３１２は、頭蓋骨表面の境界などの検出された頭蓋骨部分の体積エッジの端点を点群として表すことができる。マスク３１４は、頭蓋骨点群３１２から生成された連続構造とすることができる。マスク３１４は、頭蓋骨部分の頭蓋骨表面層３０８を表すことができる。マスク３１４は、手術中に頭蓋骨を開いた状態、或いは術前又は術後段階における頭蓋骨を閉じた状態などの、現在の頭蓋骨状態を表すこともできる。

ある実施形態によれば、プロセッサ２０２は、頭蓋骨表面上の端点を表す頭蓋骨点群３１２などの構造化点群を生成するように構成することができる。構造化点群は、非構造化点群を頭蓋骨部分の境界にシュリンクラッピングすることに基づいて生成することができる。ある実施形態によれば、頭蓋骨部分の境界は、検出された人間被験者１１２の頭蓋骨部分の体積エッジに対応することができる。

ある実施形態によれば、非構造化点群は、レーザーレンジスキャナ（ＬＲＳ）などの当業で周知の３Ｄスキャナ又はその他の点群生成器によって取得される点群に対応することができる。ある実施形態によれば、非構造化点群は、立体ビジョンからの立体画像を用いて取得される、或いは複数の視点から頭蓋骨部分を取り込むことができるコンピュータビジョンに基づいて取得される点群に対応することができる。ある実施形態によれば、非構造化点群は、２Ｄ医用画像３０２ａ〜３０２ｅ（頭蓋骨部分のマルチモーダル画像）から形成される点群に対応することができる。

ある実施形態によれば、プロセッサ２０２は、頭蓋骨点群３１２の端点を拡張してこれらの端点を相互接続するために拡散フィルタリングを実行するように構成することができる。プロセッサ２０２は、拡散フィルタリングに基づいて頭蓋骨部分のマスク３１４を作成するように構成することができる。

図３Ｄに、本開示の実施形態によるシステム及び方法を実装するための例示的なシナリオにおける例示的な頭蓋骨点群の端点の拡散フィルタリングを示す。図３Ｄの説明は、図１、図２、図３Ａ、図３Ｂ及び図３Ｃに関連して行う。図３Ｄには、頭蓋骨点群３１２、点中心３１６及びグラフ３１８を示す。

図示のように、点中心３１６は、頭蓋骨点群３１２の点の重心に対応する。図示のように、グラフ３１８は、Ｙ軸上にフィルタ強度を、Ｘ軸上に点中心３１６からの距離を表す拡散フィルタに対応する。拡散フィルタ領域は、矢印によって示すように（Ｘ軸、Ｙ軸及びＺ軸方向などの）３つの方向全てに同じプロファイルが描かれる３Ｄ球体とすることができる。

ある実施形態によれば、プロセッサ２０２は、頭蓋骨表面層３０８の厚みを制御するように構成することができる。頭蓋骨表面層３０８の厚みは、拡散フィルタの減衰に要する合計時間の計算と、その後の合計時間の構成とに基づいて制御することができる。換言すれば、頭蓋骨の厚みは、拡散フィルタがどれだけ速く減衰するかに基づいて制御することができる。ある実施形態によれば、頭蓋骨点群３１２の各点に拡散フィルタの中心を置き、頭蓋骨点群３１２で畳み込み積分する（ｃｏｎｖｏｌｖｅｄ）ことができる。従って、頭蓋骨点群３１２の各点は、拡張して相互に接続することができる。Ｘ方向、Ｙ方向及びＺ方向などの３つの方向全てにおいてこのような拡張及び相互接続が生じて頭蓋骨部分のマスク３１４を作成することができる。

ある実施形態によれば、プロセッサ２０２は、作成されたマスク３１４に基づいて、ＭＲＩデータから頭蓋骨表面層３０８に関連する頭蓋骨構造情報を識別するように構成することができる。ある実施形態によれば、プロセッサ２０２は、図１で説明したような数式（１）、（２）及び／又は（３）に従って計算された相互情報量に基づいて脳表面層３１０の組織情報を識別するように構成することができる。

図３Ｅに、本開示の実施形態によるシステム及び方法を実装するための例示的なシナリオにおける頭蓋骨部分の強化ビューの生成を示す。図３Ｅの説明は、図１、図２、図３Ａ、図３Ｂ、図３Ｃ及び図３Ｄに関連して行う。図３Ｅには、頭蓋骨部分の強化ビュー３２０を示す。

プロセッサ２０２は、頭蓋骨部分のＭＲＩデータと作成されたマスク３１４とを利用して頭蓋骨部分の強化ビュー３２０を生成するように構成することができる。ある実施形態によれば、作成されたマスク３１４に頭蓋骨部分のＭＲＩデータを適用して頭蓋骨部分の強化ビュー３２０を生成することができる。ＭＲＩデータは、頭蓋骨部分に関連する識別された頭蓋骨構造情報とすることができる。ある実施形態によれば、頭蓋骨表面層３０８に関連する修正された相互情報量と、頭蓋骨部分に関連する他の計算された相互情報量とを利用し、これらを作成されたマスク３１４に適用して頭蓋骨部分の強化ビュー３２０を生成することができる。

図３Ｆに、本開示の実施形態によるシステム及び方法を実装するための例示的なシナリオにおける頭蓋骨部分の異なるビューを示す。図３Ｆの説明は、図１、図２、図３Ａ、図３Ｂ、図３Ｃ、図３Ｄ及び図３Ｅに関連して行う。図３Ｆには、術前状態における頭蓋骨部分の第１の上面ビュー３２２と、術中段階における頭蓋骨部分の第２の上面ビュー３２４とを示す。さらに、頭蓋骨点群３１２の第１の底面ビュー３２６、術中状態における頭蓋骨部分の第２の底面ビュー３２８、及び脳組織情報３３２を含む術前状態における頭蓋骨部分の第３の底面ビュー３３０も示す。

プロセッサ２０２は、頭蓋骨部分のビュー３２２〜３３２などの複数の多次元グラフィックビューを生成するように構成することができる。生成される複数の多次元グラフィックビューは、１又は２以上の視点からの頭蓋骨部分の強化ビューをもたらすことができる。生成される複数の多次元グラフィックビューは、頭蓋骨表面層３０８に関連する識別された頭蓋骨構造情報を含む第１の一連のビューを含むことができる。第１の上面ビュー３２２、第２の上面ビュー３２４、第１の底面ビュー３２６及び第２の底面ビュー３２８は、全て頭蓋骨表面層３０８に関連する識別された頭蓋骨構造情報を含む第１の一連のビューに対応する。

生成される複数の多次元グラフィックビューは、識別された頭蓋骨構造情報と、脳表面層３１０の脳表面構造などの他の表面層に対応する下部の組織情報とを含む第２の一連のビューを含むこともできる。術前状態における頭蓋骨部分の第３の底面ビュー３３０及び脳組織情報３３２は、識別された頭蓋骨構造情報とその下部の組織情報とを含む第２の一連のビューに対応する。

プロセッサ２０２は、ＵＩ上の頭蓋骨部分の２Ｄビュー又は３Ｄビューなどの生成された複数の多次元グラフィックビューの表示を制御するように構成することができる。表示された複数の多次元グラフィックビューは、Ｉ／Ｏ装置２０６から受け取った入力に基づいてユーザによって制御される相互作用的なものとすることができる。ユーザ入力は、画像処理装置１０２のディスプレイ２１０上にレンダリングされるＵＩを用いて受け取ることができる。複数の多次元グラフィックビューの表示は、医療アシスタント１１４によって提供された入力などの受け取られたユーザ入力に応答して変更及び更新することができる。医師などのユーザは、このようなＵＩ上の頭蓋骨部分の多次元グラフィックビューの強化された可視化を診断目的で、及び／又はリアルタイム又は準リアルタイムな手術支援の提供のために利用することができる。

図４は、本開示の実施形態による、マルチモーダル画像を処理する例示的な方法を実施するためのフローチャートである。図４には、フローチャート４００を示す。フローチャート４００の説明は、図１、図２及び図３Ａ〜図３Ｆに関連して行う。このフローチャート４００による方法は、画像処理装置１０２において実施することができる。この方法は、ステップ４０２から開始してステップ４０４に進む。

ステップ４０４において、複数の医用撮像装置１０４からマルチモーダル画像１０６を受け取ることができる。受け取られるマルチモーダル画像１０６は、人間被験者１１２などの被験者の解剖学的部位に関連する異なる一連の非合わせ込み画像１０６ａ〜１０６ｅに対応することができる。解剖学的部位は、被験者の頭蓋骨部分、膝蓋骨部分又はその他の解剖学的部位とすることができる。被験者は、人間被験者１１２又は動物被験者（図示せず）とすることができる。ステップ４０６において、第１の一連の画像を用いて被験者の解剖学的部位の体積エッジを検出することができる。異なる一連の非合わせ込み画像からの第１の一連の画像は、解剖学的部位を異なる視点から取り込むＭＲＩスキャナなどの複数の医用撮像装置１０４のうちの少なくとも１つから取得することができる。

ステップ４０８において、基準点に基づいてマルチモーダル画像１０６を合わせ込むことができる。例えば、画像処理装置１０２は、合わせ込みのために、ＣＴスキャン及びＭＲＩによって取得されたデータなどのマルチモーダル画像１０６における頭蓋骨部分の骨構造３０６を整合させるように構成することができる。ステップ４１０において、医用画像３０２ａ〜３０２ｅなどのマルチモーダル画像１０６の合わせ込みに基づいて、解剖学的部位の１又は２以上の表面層を計算することができる。例えば、医用画像３０２ａ〜３０２ｅにおける頭蓋骨部分の骨構造３０６の整合に基づいて、頭蓋骨部分の頭蓋骨表面層３０８及びその下部の脳表面層３１０を計算することができる。

ステップ４１２において、（人間被験者１１２などの）被験者の解剖学的部位に関連するマルチモーダル画像１０６において重複する構造の相互情報量を計算することができる。相互情報量は、図１に示すような数式（１）、（２）及び／又は（３）に従って計算することができる。相互情報量を計算するには、計算された１又は２以上の表面層における滑らかな勾配を含む重複構造の共起情報の量を測定することができる。ステップ４１４において、計算された１又は２以上の表面層のうちの頭蓋骨表面層３０８などの１つの表面層の周囲に、脳表面層３１０などの他の表面層と比べて高い空間重みを適用することにより、計算された相互情報量を修正することができる。

ステップ４１６において、解剖学的部位の（頭蓋骨表面上の端点などの端点を表す）頭蓋骨点群３１２などの構造化点群を生成することができる。構造化点群は、非構造化点群を解剖学的部位の境界にシュリンクラッピングすることに基づいて生成することができる。ステップ４１８において、構造化点群の端点を拡張して構造化点群上の端点を相互接続するために拡散フィルタリングを実行することができる。

ステップ４２０において、拡散フィルタリングに基づいて解剖学的部位のマスク３１４などのマスクを作成することができる。ステップ４２２において、作成されたマスクに基づいて、ＭＲＩデータから頭蓋骨表面層３０８などの１つの表面層に関連する頭蓋骨構造情報を識別することができる。

ステップ４２４において、作成されたマスクに頭蓋骨構造情報及び／又は修正され計算された相互情報量を適用することができる。ステップ４２６において、解剖学的部位の３Ｄビューなどの複数の多次元グラフィックビューを生成することができる。生成される複数の多次元グラフィックビューは、１又は２以上の視点からの解剖学的部位の強化ビューを提供することができる。生成される複数の多次元グラフィックビューは、頭蓋骨表面などの１つの表面層に関連する識別された頭蓋骨構造情報を含む第１の一連のビューを含むことができる。生成される複数の多次元グラフィックビューは、識別された頭蓋骨構造情報と、脳表面構造などの他の表面層に対応する下部の組織情報とを含む第２の一連のビューを含むこともできる。生成される頭蓋骨部分の複数の多次元グラフィックビューの例については、図３Ｆに示して説明した。制御は、ステップ４２８に進んで終了する。

本開示の実施形態によれば、マルチモーダル画像を処理するシステムは、画像処理装置１０２（図１）を含むことができる。画像処理装置１０２は、プロセッサ２０２（図２）などの１又は２以上の回路を含むことができる。プロセッサ２０２は、非構造化点群を解剖学的部位の境界にシュリンクラッピングすることに基づいて、解剖学的部位の端点を表す構造化点群を生成するように構成することができる。プロセッサ２０２は、構造化点群に対応する端点を拡張して構造化点群上の端点を相互接続するために拡散フィルタリングを実行するようにさらに構成することができる。プロセッサ２０２は、拡散フィルタリングに基づいて解剖学的部位のマスクを作成するようにさらに構成することができる。

本開示の様々な実施形態は、マルチモーダル画像を処理するために機械及び／又はコンピュータによって実行可能な機械コード及び／又は命令セットを記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体、及び／又は非一時的機械可読媒体及び／又は記憶媒体を提供することができる。画像処理装置１０２における命令セットは、解剖学的部位の端点を表す構造化点群の生成を含むステップを機械及び／又はコンピュータに実行させることができる。構造化点群は、非構造化点群を解剖学的部位の境界にシュリンクラッピングすることに基づいて生成することができる。構造化点群に対応する端点を拡張して構造化点群上の端点を相互接続するために拡散フィルタリングを実行することができる。拡散フィルタリングに基づいて解剖学的部位のマスクを作成することができる。

本開示は、ハードウェアの形で実現することも、又はハードウェアとソフトウェアの組み合わせの形で実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアの形で実現することができる。

本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに、特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。

いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、本開示の教示に特定の状況又は内容を適合させるための多くの変更を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲に該当する全ての実施形態を含むように意図されている。

３１２ 頭蓋骨点群
３１４ マスク

Claims (21)

1. マルチモーダル画像を処理するシステムであって、
   画像処理装置における１又は２以上の回路を備え、該１又は２以上の回路は、
   点群生成器によって取得される点群に対応する非構造化点群を解剖学的部位の境界にシュリンクラッピングすることに基づいて、前記解剖学的部位の端点を表す構造化点群を生成し、
   前記構造化点群に対応する端点を拡張して前記構造化点群上の前記端点を相互接続するために拡散フィルタリングを実行し、
   前記拡散フィルタリングに基づいて前記解剖学的部位のマスクを作成する、
   ように構成される、
   ことを特徴とするシステム。
2. 前記解剖学的部位は、被験者の頭蓋骨部分、膝蓋骨部分又はその他の解剖学的部位のうちの１つに対応する、
   請求項１に記載のシステム。
3. 前記１又は２以上の回路は、被験者の前記解剖学的部位に関連する異なる一連の非合わせ込み画像に対応する前記マルチモーダル画像を複数の医用撮像装置から受け取るようにさらに構成され、前記複数のマルチモーダル画像は、Ｘ線コンピュータ断層撮影法（ＣＴ）、磁気共鳴画像診断法（ＭＲＩ）、磁気共鳴血管撮影法（ＭＲＡ）、流体減衰反転回復法（ＦＬＡＩＲ）、及び／又は陽電子放出断層撮影法（ＰＥＴ）のうちの２つ又は３つ以上に対応する、
   請求項１に記載のシステム。
4. 前記１又は２以上の回路は、第１の一連の画像を用いて被験者の前記解剖学的部位の体積エッジを検出するようにさらに構成され、前記第１の一連の画像は、前記解剖学的部位を異なる視点から取り込む前記複数の医用撮像装置のうちの少なくとも１つから取得される、
   請求項３に記載のシステム。
5. 前記１又は２以上の回路は、前記マルチモーダル画像の合わせ込みに基づいて前記解剖学的部位の１又は２以上の表面層を計算するようにさらに構成される、
   請求項１に記載のシステム。
6. 前記１又は２以上の回路は、被験者の前記解剖学的部位に関連する前記マルチモーダル画像における重複構造の相互情報量を計算するようにさらに構成され、前記相互情報量を計算するために、計算された前記１又は２以上の表面層における滑らかな勾配を含む重複構造の共起情報の量が測定される、
   請求項５に記載のシステム。
7. 前記１又は２以上の回路は、計算された複数の前記表面層のうちの１つの表面層の周囲に他の表面層と比べて高い空間重みを適用することによって、計算された前記相互情報量を修正するようにさらに構成され、前記１つの表面層は、頭蓋骨表面に対応する、
   請求項６に記載のシステム。
8. 前記１又は２以上の回路は、前記作成されたマスクに基づいて、磁気共鳴画像診断法（ＭＲＩ）データから前記１つの表面層に関連する頭蓋骨構造情報を識別するようにさらに構成される、
   請求項７に記載のシステム。
9. 前記１又は２以上の回路は、前記解剖学的部位の複数の多次元グラフィックビューを生成するようにさらに構成され、前記生成される複数の多次元グラフィックビューは、前記１つの表面層に関連する前記識別された頭蓋骨構造情報を含む第１の一連のビュー、及び、前記他の表面層に関連する組織情報及び／又は血管情報と共に、前記識別された頭蓋骨構造情報を含む第２の一連のビューのうちの一方又は両方を含む、
   請求項８に記載のシステム。
10. 前記生成される複数の多次元グラフィックビューは、前記解剖学的部位の１又は２以上の視点からの３次元ビューに対応する、
    請求項９に記載のシステム。
11. マルチモーダル画像を処理するシステムであって、
    画像処理装置における１又は２以上の回路を備え、該１又は２以上の回路は、
    点群生成器によって取得される点群に対応する非構造化点群を頭蓋骨部分の境界にシュリンクラッピングすることに基づいて、前記頭蓋骨部分の端点を表す構造化点群を生成し、
    前記頭蓋骨部分に関連するマルチモーダル画像における複数の重複構造の相互情報量を計算する、
    ように構成され、前記頭蓋骨部分の前記境界は、前記複数の重複構造のうちの１つに対応し、前記１又は２以上の回路は、
    前記頭蓋骨部分の頭蓋骨表面層の周囲に前記頭蓋骨部分の他の下部の脳表面層と比べて高い空間重みを適用することによって、前記計算された相互情報量を修正する、
    ようにさらに構成される、
    ことを特徴とするシステム。
12. 前記１又は２以上の回路は、前記マルチモーダル画像における前記頭蓋骨部分の骨構造の整合に基づいて、前記頭蓋骨部分の前記頭蓋骨表面層と前記下部の脳表面層とを計算するようにさらに構成される、
    請求項１１に記載のシステム。
13. マルチモーダル画像を処理する方法であって、
    画像処理装置における１又は２以上の回路が、点群生成器によって取得される点群に対応する非構造化点群を解剖学的部位の境界にシュリンクラッピングすることに基づいて、前記解剖学的部位の端点を表す構造化点群を生成するステップと、
    前記１又は２以上の回路が、前記構造化点群に対応する端点を拡張して前記構造化点群上の前記端点を相互接続するために拡散フィルタリングを実行するステップと、
    前記１又は２以上の回路が、前記拡散フィルタリングに基づいて前記解剖学的部位のマスクを作成するステップと、
    を含むことを特徴とする方法。
14. 前記解剖学的部位は、被験者の頭蓋骨部分、膝蓋骨部分又はその他の解剖学的部位のうちの１つに対応する、
    請求項１３に記載の方法。
15. 前記１又は２以上の回路が、被験者の前記解剖学的部位に関連する異なる一連の非合わせ込み画像に対応する前記マルチモーダル画像を複数の医用撮像装置から受け取るステップをさらに含み、前記複数のマルチモーダル画像は、Ｘ線コンピュータ断層撮影法（ＣＴ）、磁気共鳴画像診断法（ＭＲＩ）、磁気共鳴血管撮影法（ＭＲＡ）、流体減衰反転回復法（ＦＬＡＩＲ）、及び／又は陽電子放出断層撮影法（ＰＥＴ）のうちの２つ又は３つ以上に対応する、
    請求項１３に記載の方法。
16. 前記１又は２以上の回路が、第１の一連の画像を用いて被験者の前記解剖学的部位の体積エッジを検出するステップをさらに含み、前記第１の一連の画像は、前記解剖学的部位を異なる視点から取り込む前記複数の医用撮像装置のうちの少なくとも１つから取得される、
    請求項１５に記載の方法。
17. 前記１又は２以上の回路が、前記マルチモーダル画像の合わせ込みに基づいて前記解剖学的部位の１又は２以上の表面層を計算するステップをさらに含む、
    請求項１３に記載の方法。
18. 前記１又は２以上の回路が、被験者の前記解剖学的部位に関連する前記マルチモーダル画像における重複構造の相互情報量を計算するステップをさらに含み、前記相互情報量を計算するために、計算された前記１又は２以上の表面層における滑らかな勾配を含む重複構造の共起情報の量が測定される、
    請求項１７に記載の方法。
19. 前記１又は２以上の回路が、計算された複数の前記表面層のうちの１つの表面層の周囲に他の表面層と比べて高い空間重みを適用することによって、計算された前記相互情報量を修正するステップをさらに含み、前記１つの表面層は、頭蓋骨表面に対応する、
    請求項１８に記載の方法。
20. 前記１又は２以上の回路が、前記作成されたマスクに基づいて、ＭＲＩデータから前記１つの表面層に関連する頭蓋骨構造情報を識別するステップをさらに含む、
    請求項１９に記載の方法。
21. 前記１又は２以上の回路が、前記解剖学的部位の複数の多次元グラフィックビューを生成するステップをさらに含み、前記生成される複数の多次元グラフィックビューは、前記１つの表面層に関連する前記識別された頭蓋骨構造情報を含む第１の一連のビュー、及び、前記他の表面層に関連する組織情報及び／又は血管情報と共に、前記識別された頭蓋骨構造情報を含む第２の一連のビューのうちの一方又は両方を含む、
    請求項２０に記載の方法。