JP6340315B2 - 画像処理方法 - Google Patents

Description

本発明は、画像中の特徴部位を特定する方法及び装置に関する。より詳細には本発明は、モデルを画像にフィッティングさせることで、前記画像中の特徴部位を特定する方法及び装置に関するが、これらに限定されるわけではない。

自動化された画像解析は、画像の特性を手動で決定する際の作業負担を軽減するのに用いられ得る。画像解析は、様々な分野において画像の特徴部位を特定するのに用いられている。画像解析法が用いられる一の領域は医療画像の処理である。医療画像の処理では、画像中の解剖学上の特徴部位の特定は、医療従事者に有用な情報を提供しうる。

投影撮像法は医療画像を生成するのに広く用いられる。投影撮像法では、固体の対象物を伝播可能な電磁放射線−たとえばX線−が、生成され、かつ、解剖学上の関心領域を通り抜けて投影される。センサが、解剖学上の関心領域を通過した後の電磁放射線を検出するように配置される。解剖学上の関心領域は、その密度と組成に基づいて電磁放射線を減衰させる。そのためセンサによって検出される電磁放射線は、解剖学上の関心領域の組成を示唆する。その結果得られた2次元画像は、解剖学上の関心領域の密度と組成の累積的な減衰効果を表すので、手動又は自動で解析されうる。しかし2次元画像−たとえばX線画像−の解析は、限られた情報しか提供しないことに留意して欲しい。

たとえばX線コンピュータ断層撮像(CT)及び磁気共鳴(MR)撮像のような撮像方法は、解析用の3次元情報を提供することが可能である。MR画像は、強力な磁場を用いて解剖学上の関心領域の原子の磁化を揃えることによって得られ、かつ、生成するのが高価である。CT画像は、解剖学上の関心領域を通り抜けて、多数の様々な角度で捕獲される多量のX線データから生成される。前記データは断層撮像法を用いて処理される。CT撮像法もまた、高価で、さらには多量のX線に患者を曝すことを要求する。多量のX線に患者を曝すことは望ましくない。

従って費用対効果の良い3次元撮像法が望ましい。

米国特許第7584080号明細書 米国特許出願第12/703438号明細書

マクラーニー(Tim Mclnerney)及びターゾポラス(Demetri Terzopoulos)、Medical Image Analysis誌、第1巻、pp.91-108、1996年 クーテス(T.F. Cootes)、エドワード(C.J. Edwars)、及びテーラー(C.J. Taylor)、IEEE Transactions on PatternAnalysis and Machine Intelligence誌、第23巻、2001年

本発明の実施例の目的は、上述した問題の少なくとも一部を解決又は緩和することである。

本発明の第1態様によると、対象物の3次元表現を生成するコンピュータにより実施可能な方法が供される。当該方法は、入力として第1の2次元投影画像を受け取る段階、及び、入力として、前記第1の2次元投影画像に係る取得データを受け取る段階を有する。前記第1の2次元投影画像が前記取得データに基づいて処理されることで、前記対象物の表現を供するデータの3次元体積が生成される。前記データの3次元体積は複数のボクセルを含む。前記複数のボクセルの各々は、前記第1の2次元投影画像の少なくとも1つの画素に基づく値を有する。

このようにして、対象物の特徴部位を特定する処理にとって有用な前記対象物の3次元表現は、2次元画像から生成されうる。3次元撮像法は存在するが、既存の方法は、高価で、かつ、多量の放射線を放出させることを要求する恐れがある。上述した対象物の3次元表現を生成することによって、これらの問題は緩和される。

当該方法は、入力として関心領域をモデル化するモデルを受け取る段階、及び、前記モデルを前記対象物の3次元表現にフィッティングさせる段階をさらに有して良い。前記対象物の3次元表現中の特徴部位は、前記モデルのフィッティングに基づいて特定されて良い。つまり前記3次元表現は、有用な情報を生成するモデル化法を用いて処理されて良い。たとえば前記対象物が解剖学上の関心領域である場合、医療処置の実行にとって有用となりうる前記解剖学上の関心領域の特徴部位を特定することができる。

前記フィッティングは、剛体位置合わせ、非剛体位置合わせ、動的形状モデリング(active shape modelling)、及び動的外観モデリング(active appearance modelling)からなる群から選ばれるフィッティング法を適用する段階を含んで良い。

当該方法は、入力として第2の2次元投影画像を受け取る段階、及び、前記第2の2次元投影画像に係る取得データを受け取る段階を有する。前記処理する段階は、前記第1の2次元投影画像と前記第2の2次元投影画像の各々に係る前記取得データに基づいて前記第1の2次元投影画像と前記第2の2次元投影画像を結合する段階を有して良い。前記複数のボクセルの各々は、前記第1の2次元投影画像の少なくとも1つの画素に基づく第1の値、及び、前記第2の2次元投影画像の少なくとも1つの画素に基づく第2の値を有する。

このようにしてデータを結合することによって、前記3次元表現は、より多くの情報を提供するので、より正確なフィッティング結果を提供することができる。第1取得データと第2取得データは一般的に同一座標空間内において各異なる点を示唆する。各異なる点から捕獲されたデータを結合することによって、前記3次元表現は、前記体積を通り抜ける経路に沿った正味の組成ではなく、前記体積内部の特定の点の組成を示唆することができる。

前記第1投影画像は、前記対象物を通り抜ける電磁放射線を第1電磁放射線源から第1電磁放射線センサへ投影させることによって生成されて良い。前記第2投影画像は、前記対象物を通り抜ける電磁放射線を第2電磁放射線源から第2電磁放射線センサへ投影させることによって生成されて良い。前記第1電磁放射線源と前記第2電磁放射線源は同一の線源であって良い。同様に、前記第1電磁放射線センサと前記第2電磁放射線センサは同一のセンサであって良い。具体的には、前記第1投影画像と前記第2投影画像が前記対象物を通り抜けて各異なる投影を供するように、前記対象物の位置は、単一の線源及びセンサに対して調節されて良い。

各2次元投影画像の取得データは、各対応する電磁放射線源から各対応する電磁放射線センサへの投影経路を示唆しうる。つまり前記取得データは、前記電磁放射線源と前記電磁放射線センサの3次元空間内における相対位置を示して良い。前記第1取得データと前記第2取得データの各々の3次元空間は一般的に、同一の座標軸に基づいて良い。つまり前記第1投影画像の取得データによって示唆される点の位置は、前記第2投影画像の取得データによって示唆される点に対して決定されて良い。

データの3次元体積の各ボクセルについては、前記第1の値が前記第1投影画像の少なくとも1つの画素の値に基づいて良く、前記値の各々は、前記第1電磁放射線源から前記第1電磁放射線センサの画素位置までの投影経路に基づいて決定されて良く、かつ、前記第2の値は前記第2投影画像の少なくとも1つの画素の値に基づいて良く、前記値の各々は、前記第2電磁放射線源から前記第2電磁放射線センサの画素位置までの投影経路に基づいて決定されて良い。特定の投影経路と交差する各ボクセルは、同一の画素値に基づく値を有して良い。センサの各画素位置は一般的に、線源と前記センサとの間での電磁放射線の合計の減衰を示す単一の値を供する。しかし各異なる経路に沿って生成される点の画像データを、前記画像データに係る取得データに基づいて結合することによって、経路に沿った様々な点の合計の減衰への様々な寄与に係る情報を含むデータが生成される。そのため3次元データが供される。

前記第1の値は、前記第1投影画像の複数の画素の重み付けされた平均に基づいて良い。前記第2の値は、前記第2投影画像の複数の画素の重み付けされた平均に基づいて良い。たとえば、前記電磁放射線源から前記センサの画素への複数の投影経路は前記ボクセルを通り抜けて良く、かつ、前記ボクセルの第1の値と第2の値は、前記ボクセルを通り抜ける投影経路を有する各画素位置の各画像中での画素値の結合に基づいて良い。あるいはその代わりに又はそれに加えて、前記ボクセルの第1の値と第2の値は、前記ボクセルに係る投影経路が通過する画素位置に隣接する画素位置の複数の画素値に基づいて良い。

前記取得データは、各対応する2次元投影画像内に表されるマーカーの特定に基づいて生成されて良い。前記取得データは、各対応する2次元投影画像中に表される前記の特定されたマーカーの特性に基づいて生成されて良い。前記特性は、前記マーカーのサイズ、前記マーカーの向き、前記投影画像中に表されるマーカーの形状、及び、前記マーカーの位置からなる群から選ばれる。前記マーカーは、対象物に対する特定の位置に設けられるように配置された校正用対象物によって生成されて良い。前記対象物はたとえば、前記校正用対象物内の特定の位置に存在するボールベアリングを含む。前記校正用対象物はたとえば支柱であって良い。前記ボールベアリング（又は他の適切な対象物）は、電磁放射線を強く減衰させるので、前記第1投影画像及び前記第2投影画像内で容易に特定され、かつ、既知の方法を用いて取得データを生成するのに用いられ得る。

前記第1の2次元投影画像と前記第2の2次元投影画像は、X線画像又は蛍光透視画像であって良い。3つ以上の2次元投影画像が、前記対象物の3次元表現を生成するのに用いられて良いことに留意して欲しい。たとえば当該方法は、入力として第3の2次元投影画像を受け取る段階、及び、入力として前記第3の2次元投影画像に係る第3取得データを受け取る段階をさらに有して良い。前記第3の2次元投影画像は、前記第3の2次元投影画像に係る第3取得データに基づいて前記第1の2次元投影画像及び前記第2の2次元投影画像と結合されることで、前記対象物の表現を供するデータの3次元体積が生成されて良い。前記データの3次元体積中、各ボクセルは、前記第3の2次元投影画像の少なくとも1つの画素に基づく第3の値をさらに有する。さらなる2次元投影画像が対応する方法で結合されて良い。

本発明の第2態様によると、対象物のクラスをモデル化するモデルを生成するコンピュータにより実施可能な方法が供される。当該方法は、前記対象物のクラスの複数の対象物の各々について、前記対象物の第1の2次元画像及び該第1の2次元画像に係る第1取得データを入力として受け取る段階、並びに、前記対象物内の複数の点を示唆するデータを入力として受け取る段階を有する。2次元画像は取得データに基づいて処理されることで、3次元画像データが生成される。前記3次元画像データは、複数の関心点を示唆するデータに基づくデータを含む。前記対象物のクラスの各対象物について生成された3次元画像データは、前記モデルを生成するように処理される。

従って本発明の第2態様は一般的に、本発明の第1態様によって生成される形式の3次元画像データをモデル化するモデルを生成する段階を有する。

当該方法は、前記対象物のクラスの複数の対象物の各々について、第2の2次元画像データ及び該第2の2次元画像データに係る第2取得データを入力として受け取る段階をさらに有して良い。前記処理する段階は、前記第1の2次元投影画像と前記第2の2次元投影画像の各々に係る取得データに基づいて前記第1の2次元投影画像と前記第2の2次元投影画像とを結合する段階を有する。

当該方法は、前記対象物の3次元画像を受け取る段階、前記の受け取られた3次元画像及び前記第1取得データに基づいて前記対象物の第1の2次元画像を生成する段階、並びに、前記の受け取られた3次元画像及び前記第2取得データに基づいて前記対象物の第2の2次元画像を生成する段階をさらに有して良い。

3次元画像を用いて2次元画像を生成し、前記2次元画像から他の3次元画像データが同様にして生成可能となることで、複数の関心点を示すデータを提供することが可能となる。その結果、前記の生成されたモデルは、見えない画像データ内において前記関心点を特定することが可能となる。しかし前記モデルは、複数の関心点がすぐには識別できないが容易かつ安価に取得できる画像データにフィッティングするように訓練される。従って前記モデルは、前記画像データを正確にフィッティングさせることで、前記画像データ内の特徴部位を特定することができる。

前記関心領域の3次元画像の集合は、関心点がすぐに特定できて、かつ、2次元画像を生成することが可能なコンピュータ断層撮像画像又は任意の適切な3次元画像であって良い。

前記関心領域の2次元画像を生成する段階は、前記取得データに基づいて前記対象物を通り抜ける電磁放射線源から電磁放射線センサへの経路を表す複数の経路を決定する段階、及び、前記2次元画像を処理することで、前記複数の経路の各々について、前記経路に沿った前記電磁放射線の合計の減衰を示すデータ値を生成する段階を有して良い。たとえば前記3次元画像はコンピュータ断層撮像画像である場合、前記画像は前記対象物の組成を示唆するデータを含み、かつ、このデータが理論上の取得データを用いて処理されることで、画像が生成されて良い。前記画像は、前記理論上の取得データによって示唆される理論上の線源と理論上のセンサに対応する点に位置する所定の線源とセンサを用いて生成されるX線画像に対応する。つまり、前記3次元画像は、理論上の電磁放射線源と理論上のセンサの位置を示唆する取得データに従って処理されて良い。それにより前記の生成された画像データは、前記3次元画像データによって表される前記対象物を通り抜ける電磁放射線を前記理論上の電磁放射線源の位置から前記理論上のセンサの位置のセンサへ投影させることによって生成される画像データに対応する。

前記3次元画像データは複数のボクセルを含んで良い。前記3次元画像データの各ボクセルは、前記第1の2次元投影画像の少なくとも1つの画素に基づく第1の値、及び、前記第2の2次元投影画像の少なくとも1つの画素に基づく第2の値を有する。前記第1の値は、前記第1の2次元投影画像の少なくとも1つの画素の値に基づいて良い。前記値は、前記理論上の電磁放射線源から前記理論上のセンサの少なくとも1つの画素位置への経路に基づいて決定されて良い。前記第2の値は、前記第2の2次元投影画像の少なくとも1つの画素の値に基づいて良い。前記値は、前記理論上の電磁放射線源から前記理論上のセンサの少なくとも1つの画素位置への経路に基づいて決定されて良い。前記第1の値と前記第2の値はたとえば、前記ボクセルによって表される体積を通り抜ける経路についての各対応するセンサの各画素位置の平均値に基づいて決定されて良い。

本発明の第2態様は、本発明の第1態様に従って生成される画像データを利用して良い。従って本発明の第1態様と第2態様は任意の適切な方法で組み合わせられて良い。たとえば本発明の第1態様に従って生成される対象物の3次元表現は、本発明の第2態様に従って生成されるモデルを前記対象物の3次元表現にフィッティングさせるように処理されて良く、かつ、前記対象物の3次元表現内の特徴部位は、前記モデルのフィッティングに基づいて特定されて良い。

本発明の態様は任意の便利な形式で実施されて良い。たとえば上述の方法を実行するのにコンピュータプログラムが供されて良い。係るコンピュータプログラムは、適切な有形の記憶装置（たとえばディスク）を含む適切なコンピュータ可読媒体上で実行されうる。本発明の態様は適切にプログラムされたコンピュータによって実施されても良い。

既知の投影撮像装置の例の概略図である。 本発明を実行するのに適した投影撮像装置の例の概略図である。 図2の撮像装置のコンピュータの例を示す概略図である。 本発明の実施例において画像データを生成するのに用いられる方法を示すフローチャートである。 画像値を結合して画像データを生成する様子を表している。 画像値を結合して画像データを生成する様子を表している。 体積を通り抜けて画像値を伝播する様子を表している。 本発明の実施例による画像解析用システムの例の概略図である。 図7のシステム内において画像を解析するために実行される方法を示すフローチャートである。

ここで本発明の実施例について、単なる例示に過ぎない添付図面を参照しながら説明する。

図1を参照すると、解剖学上の関心領域1を撮像する投影撮像装置が示されている。解剖学上の関心領域1の特徴部位を示す画像を生成することが望ましい。解剖学上の関心領域1はたとえば、外科処置を必要とする患者のひざ関節であって良い。外科処置の前にひざ関節の特徴部位を決定することが望ましいと考えられる。既知の投影撮像装置を用いることによって、電磁放射線源2は、解剖学上の関心領域1を通り抜けてセンサ3へ向けて電磁放射線−たとえばX線−を投影するように配置される。電磁放射線源2から解剖学上の関心領域1を通り抜けてセンサ3へ向かう電磁放射線の経路に沿った各点は、その点の密度と組成に基づいて、解剖学上の関心領域1を通り抜けるように投影される電磁放射線の一部を吸収する。センサ3によって検出される放射線は、電磁放射線源からセンサまでの電磁放射線の経路に沿った解剖学上の関心領域1の密度と組成を表す。

図2は、本発明の実施例による同一の解剖学上の関心領域1を撮像するのに適した投影撮像システムを示している。図2の投影撮像システムは、解剖学上の関心領域1を通り抜けて第1センサ6へ向かうように電磁放射線を投影するように配置される第1電磁放射線源5、及び、解剖学上の関心領域1を通り抜けて第2センサ8へ向かうように電磁放射線を投影するように配置される第2電磁放射線源7を有する。電磁放射線が、2つの異なる方向から解剖学上の関心領域1を通り抜けるように投影され、かつ、第1センサ6と第2センサ8によって検出される放射線が、各異なる経路に沿って解剖学上の関心領域1を通過するように、第1電磁放射線源5と第2電磁放射線源7は配置される。第1センサ6と第2センサ8の各々からのデータは、コンピュータ9へ供され、かつ、後述するように処理される。

図2Aはコンピュータ9の詳細を図示している。コンピュータ9は、ランダムアクセスメモリの形態をとる揮発性メモリ9b内に格納された命令を読み込み及び実行するように構成されるCPU9aを有することがわかる。揮発性メモリ9bは、CPU9aによって実行される命令及びこれらの命令によって使用されるデータを格納する。たとえば使用中、図2のセンサ6,8によって生成されるデータは揮発性メモリ9b内に格納されて良い。

コンピュータ9は、ハードディスクドライブ9cの形態をとる不揮発性記憶媒体をさらに有する。センサ6,8によって生成されるデータはハードディスクドライブ9c上に格納されて良い。コンピュータ9は、コンピュータ9と接続した状態で用いられる周辺装置と接続するI/Oインターフェース9dをさらに有する。より詳細には表示装置9cが、コンピュータ9からの出力を表示するように構成される。表示装置9cはたとえば、センサ6,8によって生成されるデータの表現を表示して良い。入力装置もまたI/Oインターフェース9dに接続される。係る入力装置は、ユーザーとコンピュータとの相互作用を可能にするキーボード9f及びマウス9gを含む。ネットワークインターフェース9hは、コンピュータ9と他のコンピュータ装置との間でのデータの送受信を行うように、コンピュータ9を適切なコンピュータネットワークに接続させることを可能にする。CPU9a、揮発性メモリ9b、ハードディスクドライブ9c、I/Oインターフェース9d、及びネットワークインターフェース9hはバス9iによって共に接続される。

図3は、本発明の実施例による画像データを生成する方法を示している。段階S1では、第1画像データが受け取られる。段階S2では、第1取得データが受け取られる。第1画像データは図2の第1センサ6によって生成される。第1取得データは、センサ6に係る電磁放射線源とセンサ6の3次元空間における相対位置を示す。そのため段階S2で受け取られた第1取得データは、センサ6の各検知位置について、電磁放射線源5から解剖学上の関心領域1を通り抜けてセンサ6へ向かう電磁放射線の投影経路を決定するのに用いられて良い。段階S3では第2画像データが受け取られる。段階S4では第2取得データが受け取られる。第2画像データと第2取得データは一般的に、第1画像データと第1取得データにそれぞれ対応する。しかし第2画像データと第2取得データは、第2電磁放射線源6と第2センサ8に係るデータである。

取得データは、第1画像と第2画像内において特定されうる特徴部位に基づいて生成されて良い。たとえば画像領域は1つ以上のマーカーを含んで良い。前記1つ以上のマーカーは、第1画像と第2画像内において特定され、かつ、特定の画像データを生成するのに用いられた線源とセンサの位置と向きを示唆する。マーカーは、解剖学上の関心領域に対する特定の位置に設けられるように配置される−たとえば校正用対象物のような−任意の便利な形態をとって良い。校正用対象物は内部の特定の位置にボー部ベアリングを有するので、第1画像及び第2画像内で容易に特定することができる。

段階S5では、段階S1とS3で受け取られた第1画像データと第2画像データは、段階S2とS4で受け取られた第1取得データと第2取得データに基づいて結合されることで、解剖学上の関心領域を表す体積の各ボクセルについてデータ値が生成される。以降で詳述するように、第1画像データと第2画像データが結合することで、各ボクセルは一対の値に関連づけられる。前記一対の値のうちの一は第1画像データに基づく。前記一対の値のうちの他は第2画像データに基づく。

上述したように、段階S1とS3で受け取られる画像データは投影撮像法から生成されるデータで、かつ、そのため第1画像データと第2画像データの各画素値は、電磁放射線源5,7に由来して画素値を決定するセンサ位置で終端する電磁放射線の投影経路上での合計の減衰を表す。そのため各画素値は、経路に沿った各点によって供される減衰に基づく減衰情報を含む。経路に沿った一部の点が、その経路に沿った他の点よりも多く電磁放射線を減衰させるとしても、各経路につき各画像によって1点のみが供される。たとえば患者のひざ関節の骨内に位置する点は大きく信号を減衰させる一方で、空気しか含まない空間内に存在する点は無視できる程度にしか信号を減衰させない。しかし特定の画素値に基づいて経路に沿った複数の点の様々な減衰を決定することは不可能である。しかし関連する取得データに基づいて各異なる経路に沿って生成される点について画像データを結合することによって、経路に沿った各異なる点の合計の減衰への各異なる寄与に係る情報を含むデータが生成される。そのため3次元データが供される。

第1画像データと第2画像データの結合が図4と図5に表されている。図4は、解剖学上の関心領域を表す体積10を示している。体積10は複数のボクセル11を含む。複数のボクセル11のうちのわずかな数が図4に示され、かつ、図5でさらに詳細に示されている。各ボクセル11は一対のデータ値に関連づけられる。前記一対のデータ値のうちの一は第1画像データの画素値に基づく。前記一対のデータ値のうちの他は第2画像データの画素値に基づく。各ボクセルについての各対応する画像データの特定の画素値は、電磁放射線源5,7からセンサ6,8への経路に基づいて決定される。線源5からセンサ位置13へ向かう第1経路12と線源7からセンサ位置15へ向かう第2経路14が図4に示されている。各経路12,14は、複数のボクセル11に値を供するセンサ位置13,15での各対応する単一の値を生成する。

経路12上に存在する各ボクセル16,17,18は、第1の値としてセンサ位置13の値を取得する。経路14上に存在する各ボクセル18,19,20は、第2の値としてセンサ位置15の値を取得する。ボクセル16,17の各々は、第2の値としてセンサ位置13とは異なるセンサ位置に基づく値を取得する。ボクセル19,20の各々は、第1の値としてセンサ位置15とは異なるセンサ位置に基づく値を取得する。このようにして、各ボクセルは一対の値を取得する。前記一対の値は、結合することで、解剖学上の関心領域の対応部分の減衰を示す。しかしそれは、2つの交差する経路に沿った合計の減衰に基づく。

一部の実施例では、一部又はすべてのボクセルが複数の経路上に存在して良い。つまり線源から複数のセンサ位置へ向かう複数の経路は、一部又はすべてのボクセルを通り抜けて良い。1つのボクセルが線源から複数のセンサ位置へ向かう複数の経路上に存在する場合、そのボクセルは、それらのセンサ位置の値の結合に基づく値を取得して良い。たとえば経路上のセンサ位置の値は、重み付けされた平均を用いて結合されて良い。あるいはその代わりに、1つのボクセルが1つのセンサ位置へ向かう1つの経路上に存在し、かつ、そのセンサ位置とそのセンサ位置に隣接する複数のセンサ位置が、そのボクセルの値を与えるように平均化されても良い。

図6は、どのようにしてたとえばセンサ6,8のようなセンサからの画素値が、体積を通り抜けて伝播することでボクセルに値を与えるのかを表している。図6は、センサに基づいて生成される2次元画像に対応する値を有する面25を有する3次元体積を示している。2次元画像は、概ね方向26へ向かう電磁放射線に解剖学上の関心領域を通過させることによって生成される。そのため面25の値は方向26に向かって伝播され、体積が生成される。前記体積内では、前記体積を貫く面25の各スライスは同一の値を有する。段階S5にて生成される画像データは、2つの体積のデータ値を結合することによって生成される。このとき前記結合は、対応する点の決定を可能にする取得データに基づいて決定されて良い。その結果各ボクセルは、2つ以上の方向における1つの対応する点の減衰を示す値を有する。

図3の段階S5で生成される画像データは、解剖学上の関心領域の特徴部位を特定するように処理される。図7を参照すると、コンピュータ30−上述のコンピュータ9と同一のコンピュータであっても良いし、又は、コンピュータ9と同一の形態のコンピュータであっても良い−は、上述した方法で生成された解剖学上の関心領域の画像データ31を受け取り、かつ、モデル32を受け取るように構成される。モデル32は、モデル33のパラメータを生成するように画像データ31にフィッティングされる。モデル32は、たとえば動的外観モデル又は動的形状モデルのような統計モデルである。前記統計モデルは、画像データ31の対象である解剖学上と同一種類の解剖学上の関心領域の訓練用の画像の組に基づいて生成された。前記訓練用の画像の組は、後述するように画像データ31に対応する方法で生成される。モデル32は、訓練用画像内での変化の統計モデルであり、かつ、訓練用の画像の組を処理することによって生成される。その結果、訓練用の組の平均モデルとその平均モデルからの変化の範囲が生成される。コンピュータ30によって生成されるパラメータ33は、画像31によって表される解剖学上の関心領域の特徴部位を示すので、表された解剖学上の関心領域の特徴部位を特定するのに用いられ得る。

後述する方法は、訓練用の画像データの組に基づいて構築されるモデルMを参照する。モデルMは、上述したように、訓練用の画像データの組に基づいて構築される統計モデルであり、かつ、画像データ内の関心特徴部位のモデルである。モデルMの生成及びフィッティングは任意の便利な方法で実行可能であることに留意して欲しい。たとえばモデルMは、特許文献1に記載されたパラメータ化法を用いて生成されて良い。

モデルMが関心点を特定するため、それらの関心点は訓練用の画像の組に含まれる。関心点の組は、モデル化される対象物の特徴部位に基づいて選択される。たとえばモデル化される対象物がひざ関節である場合、関心点は、そのひざ関節の解剖学上の特徴部位に基づいて選択されて良い。

モデルが上述したように画像データに正確にフィッティングできるようにするため、訓練用の画像の組は、モデルが可能な限り近い状態にフィッティングされる画像データに対応することが望ましい。そのため、モデルは、3次元画像データ内の関心点の組と共に、X線画像から生成される3次元画像データ及び上述の取得データに基づいて訓練されて良い。しかし上述の形態の訓練用の画像データの組を手動でマーキングすることは問題である。なぜなら、画像データが3次元画像データを表す一方で、人間が、関心点を示すようにその画像データを解釈するのは容易ではないからである。従って関心点はたとえば、3次元画像データが生成されるX線画像の対象物と同一の解剖学上の領域のCT画像内で示されて良い。関心点は、レジストレーション法を用いることによって、3次元画像データ内で特定されて良い。たとえば関心点は、CT画像の2次元投影への3次元画像データの2次元投影が対応するまで3次元画像データを手動で調節することによって3次元画像データ内で特定されて良い。

あるいはその代わりに、モデルMがフィッティングされる画像データと対応する形態であって、所定の関心点がマーキングされたモデルMの生成に適した訓練用の画像データは、これから説明する方法で生成されて良い。

図8を参照すると、訓練用画像の生成方法が示されている。段階S10では、3次元画像データが受け取られる。3次元画像データはたとえば、専門家が解剖学上の特徴部位を特定できる解剖学上の関心領域の3次元表現を供するX線コンピュータ断層撮像画像であって良い。段階S11では、3次元画像データ内の関心点を示すデータが受け取られる。関心点は、上述したように、3次元画像データを手動でマーキングする専門家によって与えられ、かつ、モデル化される対象物の特徴部位に基づいて選択される。段階S12では、第1画像データが、段階S10で受け取られた画像から生成される。段階S13では、第2画像データが生成される。第1画像データと第2画像データの生成については以降で詳述する。

第1画像データと第2画像データの各々は、段階S10で受け取られた3次元画像データを処理することによって生成される。その結果、取得データに基づいて3次元画像データの2次元表現が生成される。各2次元表現は、図2で述べたように生成された投影画像と同一の形態を有するように生成される。

つまり段階S10で受け取られた3次元画像データは、その3次元画像データによって表される体積中の各点の密度と減衰を表す。理論上の電磁放射線源と理論上のセンサの3次元空間内における理論上の相対位置を示す取得データは、3次元画像データによって表される体積を通り抜ける理論上の経路を生成するように処理されて良い。3次元画像データによって表される体積内部の各点の減衰が既知であるため、各理論上の経路に沿った合計の減衰が決定され、かつ、3次元画像データ内で表される解剖学上の関心領域を通り抜ける電磁放射線を理論上の線源から理論上のセンサへ投影することによって生成される2次元画像に対応する画像が、生成され得る。

段階S14では、段階S12とS13で生成される第1画像データと第2画像データは、先に図3で述べた方法で、画像の生成に用いられる対応する取得データに基づいて処理される。さらなる3次元画像データが、段階S10で受け取られた3次元画像データと同一の3次元座標軸内に生成される。従って段階S11で受け取られた関心点の位置は、生成された3次元画像データ内での関心点の位置を示す。

さらなる3次元画像データは、段階S10で受け取られた3次元画像データ内の関心点を示すデータを含むので、上述した画像データへのモデルのフィッティングの訓練に適している。さらにさらなる3次元画像データが、上述したように過去の見えない画像データから生成された画像データに対応するように生成されるので、さらなる3次元画像データ上で訓練されたモデルは、図3で述べたように生成された画像データに正確にフィッティングすることができる。

上では、解剖学上の関心領域を表す体積の各ボクセルのデータ値を生成する各対応する取得データに基づいて、2つの画像が図3の段階S5で結合されることについて述べた。しかし解剖学上の関心領域を表す体積の各ボクセルのデータ値は、取得データに基づく単一の画像から生成されて良いことに留意して欲しい。具体的には、取得データによって示される経路上に存在する体積中の各ボクセルは、図6で述べた方法で画像の画素に基づく値を取得して良い。このようにして、解剖学上の関心領域の3次元表現が単一の2次元画像から生成され、かつ、3次元表現は図7のシステムを用いて処理されて良い。その結果、単一の画像によって表される解剖学上の関心領域の特徴部位を示すパラメータが生成される。

解剖学上の関心領域の3次元表現が、図7のシステムによって単一の2次元画像から生成される場合、図7のモデル32は、同一の方法で生成された3次元表現上で訓練されたモデルで、かつ、2次元投影内で視認可能な特徴部位ではなく、3次元内での解剖学上の関心領域の特徴部位を示す指標を含む。そのため、モデルフィッティングを用いることによって2次元画像内で視覚的に特定できない特徴部位を特定することも可能となる。

モデルはたとえば、形状モデル又は外観モデルであって良い。両者については後述する。しかし他のモデル−たとえば一組の制約の範囲内で変形を許容する典型例又は平均例の形態をとる変形可能なテンプレート（deformable template）又は変形可能な頚椎（deformable atlases）−が用いられても良いことに留意して欲しい。変形可能なモデルの解説は非特許文献1で与えられている。

以降の説明は、各画素位置は単一の値を取り、かつ、形状と外観がモデル化されている2次元画像データに基づく。しかし本原理は、各ボクセル位置が複数の値のタプルをとる3次元画像データにも適用可能であることに留意して欲しい。本発明においてモデルを訓練するのに用いられる画像データは概して、専門家がすぐに解釈できる形態ではないが、後述する型のモデルは、関心点がすぐに特定される画像を表す数の組として機能するので、人間による解釈が難しいデータの形態は問題ではない。

モデルが形状モデルである場合、上述した方法で生成される各訓練用画像に係る関心点の組は、選ばれた点の座標の連結を含む形状ベクトルによって表される。各画素が単一のベクトルを有する2次元画像データについては、特定の訓練用画像データの形状ベクトルxは以下のような形式をとる。
x=(x₁,y₁,x₂,y₂,…x_n,y_n) (1)
ここでnは画像中の関心点の数である。

平均形状ベクトルx（バー）は(2)式に従って計算されうる。

ここでNは訓練用画像の数で、X_iは訓練用画像iを表すベクトルである。

複数の形状ベクトル−各々は各訓練用画像である−は、行列Xを生成するのに用いられて良い。行列Xでは、各行は形状ベクトルを表す。

各対応する訓練用画像内で選ばれる点によって表される形状の各々は、並進され、回転され、かつ、縮尺変更される。その結果各形状の重心は一致し、かつ、各画像中での点と平均形状での点との二乗差の合計が最小になる。

共分散行列Sが、最初に(2)式を用いて平均形状ベクトルを計算することによって、位置合わせされた形状から生成されて良い。訓練用画像の組に含まれる各画像について、平均形状からの偏差が(3)式を用いて計算されうる。

続いて共分散行列Sが(4)式を用いて計算される。

行列Sの固有値が決定され得る。t個の最も重要な固有ベクトルの行列Pが生成されうる。

このようにして、任意の形状は、(5)式によって与えられる形状モデルに従って表され得る。

ここで、
xは形状を表すベクトルで、
X（バー）は、訓練用画像の組に含まれる画像の形状ベクトルから生成される平均形状ベクトルで、
P_sは上述の固有ベクトルの行列で、及び、
b_sは、形状についてのベクトルxを生成するように行列P_sの固有値に適用されるt個の要素からなる重みベクトルである。

b_s(b_i,i=1…t)の成分は形状パラメータと呼ばれる。固有ベクトルP_iは、それらの固有値λ_iに従って格納される。固有値λ_iは、各固有ベクトルに係る訓練用の形状にわたる観測されたばらつきを表す。つまりλ_iは、固有ベクトルによって表される平均形状からのばらつきの比率を表す。t（≦N）の値を選択することによって、モデルは、訓練用の形状において観測される合計のばらつきの一部の選択された比率を表すように生成されて良い。

ベクトルb_sの要素の値が変化することで、訓練用画像で観測される範囲内での形状の生成が可能となる。つまりベクトルb_sの一の要素b1の変化は、モデル化された形状の一の特徴に影響を及ぼす一方で、第2要素b2の変化は、モデル化された形状の一の特徴とは異なる特徴に影響を及ぼす。

外観モデルは、上述の形状モデルの拡張である。上述したように、各対応する訓練用画像内で選ばれた点が並進、回転、及び縮尺変更されることで、それらの重心が一致し、かつ、各画像内の点と平均形状上の点との間の二乗差の合計が最小になった後のグレイスケールの外観の統計モデルを構築するため、画像を規格化することで大域的ライティングの変化を抑制した後、グレイレベル情報g_imが、平均形状x（バー）によって網羅される領域にわたって画像からサンプリングされる。形状モデル(5)を決定する上述の方法をグレイレベルデータに適用することで、(6)式に示されているように、グレイレベルモデルが得られる。

ここで、
g（バー）は平均の規格化されたグレイレベルベクトルで、
P_gは固有ベクトルの行列で、かつ、
b_gはグレイレベルパラメータである。

ベクトルb_s（(5)式）及びベクトルb_g（(6)式）の要素の値が変化することで、訓練用画像のうちの画像内で観測される範囲内での形状とグレイレベル画像の生成が可能となる。

訓練用画像における形状とグレイレベルの変化の関係を捉えるため、ベクトルbが、(7)式に従って各訓練用画像について生成される。

ここで、W_sは、ベクトルb_s内の各形状パラメータに係る重みの対角行列である。

行列W_sは、形状とグレイレベルモデルとの間での単位の差異を許容するようにb_sの値を調節する。

(8)式に示されたさらなるモデルは、上述のモデル(5)と(6)を生成する方法を用いることによって、連結ベクトルbの組から生成される。
b=Qc (8)
ここで、
Qは固有ベクトルの行列で、かつ、
cは外観パラメータのベクトルである。

(8)式のモデルが線形であるため、形状とグレイレベルは、(9)式に従ってcの関数として直接的に表されうる。

ここで固有ベクトルの行列は次式で表される。

典型的な画像が、所与のcについて、ベクトルgから形状の自由なグレイレベル画像を生成し、かつ、xで表される色点を用いることによってその画像を曲げることによって合成されうる。

データが上述の形態である場合、(10)の形態のデータの変化は、グレイレベル変化ではなくモデル化される。

ここで、
[x_n1,y_n1]は、取得データに基づいて3次元空間内の座標(a,b,c)を有するボクセルnに関連するように決定された第1画像データ内の画素値で、
[x_n2,y_n2]は、取得データに基づいてボクセルnに関連するように決定された第2画像データ内の画素値で、かつ、
([x_n1,y_n1],[x_n2,y_n2])は、ボクセルnの画素値のタプルである。

一般的には、モデルフィッティングの目的は、見えない画像に対して最もよくフィッティングするパラメータcの組を決定することである。これを行う一の方法は、後述する動的外観モデルを用いることである。

動的外観モデルは、モデルによって生成される再構成画像と基礎となる標的画像Iとの間での差異を利用して、モデルパラメータを良好な値へ向かうように反復的に駆動させる。従来技術に係る学習段階では、外観パラメータのベクトルに対する既知の変位δcが既知のモデルのインスタンスに適用され、かつ、結果として得られたモデルと画像との間の差異δI=I_i-I_mが測定される。ここで、I_iは画像Iのグレイレベル値のベクトルで、I_mは現在のモデルパラメータcのグレイレベル値のベクトルである。多変数線形回帰が、訓練用変位の大きな組に適用される。近似的な線形関係δc=AδIが得られる。

モデルと画像との間での最も良い一致を特定するため、差分ベクトルΔ=｜δI｜²の大きさは、モデルのフィッティングを改善するモデルパラメータcへの調節を予測する学習段階中に学習される線形関係を用いることによって最小となる。モデルパラメータは、Δが改善されなくなるまで反復的に調節される。動的外観モデルの詳細は非特許文献2に記載されている。

モデルは、任意の便利な方法−たとえば特許文献2に記載されているように、画像の関心領域のモデル化と共に複数のモデルをその画像にフィッティングさせること−によって見えない画像にフィッティングされて良い。

上述の説明は第1画像データと第2画像データとが、画像データを生成するように結合されることについて述べている。しかし3つ以上の画像データが結合されることで、ボクセルが結合された画像データの各々に基づくデータ値を有する体積が供されて良いことに留意して欲しい。さらに上では2つの電磁放射線源と2つのセンサが用いられると述べたが、単一の電磁放射線源とセンサが、上述した様々な画像を供するのに用いられて良いことに留意して欲しい。たとえば上述の様々な画像を生成するため、線源とセンサが解剖学上の関心領域に対して移動して良いし、又は、解剖学上の関心領域が線源とセンサに対して移動しても良い。

センサは、たとえば膜又は電子センサのような任意の便利な形態をとって良い。

Claims (13)

1. 対象物の３次元表現を生成するコンピュータにより実施可能な非侵襲的な方法であって：
   入力として第１の２次元投影画像を受け取る段階であって、前記第１の２次元投影画像は、第１の電磁放射線源から前記対象物を介して第１の電磁放射線センサに電磁放射線を投影することによって生成される、段階；
   入力として前記第１の２次元投影画像に係る第１取得データを受け取る段階であって、前記第１の２次元投影画像の前記第１取得データは、各対応する電磁放射線源から各対応する電磁放射線センサへの投影経路の指標を提供する、段階；及び、
   前記第１取得データに基づいて前記第１の２次元投影画像を処理することで、前記対象物の３次元表現を供する３次元体積のデータ値を生成する段階であって、
   前記３次元体積のデータには複数のボクセルが含まれ、
   前記複数のボクセルの各々は、単一の２次元投影画像の少なくとも１つの画素に基づく値を有する、
   段階；
   を有する非侵襲的な方法。
2. 入力として関心領域をモデル化するモデルを受け取る段階；
   前記モデルを前記対象物の３次元表現にフィッティングさせる段階；及び、
   前記モデルのフィッティングに基づいて前記対象物の３次元表現中の特徴部位を特定する段階；
   をさらに有する、請求項１に記載の非侵襲的な方法。
3. 前記フィッティングが、剛体位置合わせ、非剛体位置合わせ、動的形状モデリング、及び動的外観モデリングからなる群から選ばれるフィッティング法を適用する段階を含む、
   請求項２に記載の非侵襲的な方法。
4. 対象物の３次元表現を生成するコンピュータにより実施可能な非侵襲的な方法であって：
   入力として第１の２次元投影画像を受け取る段階であって、前記第１の２次元投影画像は、第１の電磁放射線源から前記対象物を介して第１の電磁放射線センサに電磁放射線を投影することによって生成される、段階；
   入力として前記第１の２次元投影画像に係る第１取得データを受け取る段階であって、前記第１の２次元投影画像の前記第１取得データは、各対応する電磁放射線源から各対応する電磁放射線センサへの投影経路の指標を提供する、段階；及び、
   入力として第２の２次元投影画像を受け取る段階であって、第２の２次元投影画像は、第２の電磁放射線源から前記対象物を介して第２の電磁放射線センサに電磁放射線を投影することによって生成される、段階；及び、
   入力として前記第２の２次元投影画像に係る第２取得データを受け取る段階であって、前記第２の２次元投影画像の前記第２取得データは、各対応する電磁放射線源から各対応する電磁放射線センサへの投影経路の指標を提供する、段階；
   を有し、
   前記第１の２次元投影画像及び前記第２の２次元投影画像のそれぞれに係る前記第１取得データ及び前記第２取得データに基づいて前記第１の２次元投影画像と前記第２の２次元投影画像を組み合わせて、前記対象物の３次元表現を供する３次元体積のデータ値を生成する段階を有し、
   前記３次元体積のデータには複数のボクセルが含まれ、
   前記複数のボクセルの各々は、前記第１の２次元投影画像の少なくとも１つの画素に基づく第１の値、及び、前記第２の２次元投影画像の少なくとも１つの画素に基づく第２の値を有する、
   非侵襲的な方法。
5. 前記３次元体積のデータの各ボクセルについて、
   前記第１の値が前記第１の２次元投影画像の少なくとも１つの画素の値に基づき、
   前記値の各々は、前記第１の電磁放射線源から前記第１の電磁放射線センサの画素位置までの投影経路に基づいて決定され、かつ、
   前記第２の値は前記第２の２次元投影画像の少なくとも１つの画素の値に基づき、
   前記値の各々は、前記第２の電磁放射線源から前記第２の電磁放射線センサの画素位置までの投影経路に基づいて決定される、
   請求項４に記載の非侵襲的な方法。
6. 前記第１の値が、前記第１の２次元投影画像の複数の画素の重み付けされた平均に基づき、かつ、
   前記第２の値は、前記第２の２次元投影画像の複数の画素の重み付けされた平均に基づく、
   請求項５に記載の非侵襲的な方法。
7. 前記取得データが、各対応する２次元投影画像内に表されるマーカーの特定に基づいて生成される、請求項１乃至６のうちいずれか一項に記載の非侵襲的な方法。
8. 前記取得データが、各対応する２次元投影画像中に表される前記の特定されたマーカーの特性に基づいて生成され、
   前記特性は、前記マーカーのサイズ、前記マーカーの向き、及び、前記マーカーの位置からなる群から選ばれる、
   請求項７に記載の非侵襲的な方法。
9. 第１の２次元投影画像、第２の２次元投影画像は、Ｘ線画像又は蛍光透視画像である、請求項１乃至８のうちいずれか一項に記載の非侵襲的な方法。
10. 入力として１つ以上のさらなる２次元投影画像を受け取る段階；及び、
    入力として前記１つ以上のさらなる２次元投影画像の各々に係る各対応する取得データを受け取る段階；
    をさらに有する請求項１乃至９のうちいずれか一項に記載の非侵襲的な方法であって、
    前記１つ以上のさらなる２次元投影画像の各々は、前記１つ以上のさらなる２次元投影画像の各々に係る各対応する取得データに基づいて、前記第１の２次元投影画像及び第２の２次元投影画像と結合されることで、前記対象物の表現を供する３次元体積のデータが生成され、
    前記ボクセルの各々は、前記１つ以上のさらなる２次元投影画像の少なくとも1つの画素に基づくさらなる値をさらに有する、
    非侵襲的な方法。
11. 請求項１乃至１０のうちいずれか一項に記載の非侵襲的な方法をコンピュータに実行させるように構成されたコンピュータ可読命令を含むコンピュータプログラム。
12. 請求項１１に記載のコンピュータプログラムを実行するコンピュータ可読媒体。
13. 対象物の３次元表現を生成するコンピュータ装置であって：
    プロセッサ可読命令を格納するメモリ；及び、
    前記メモリ内に格納された命令の読み取りと実行を行うように構成されたプロセッサ；
    を有し、
    前記プロセッサ可読命令は、前記コンピュータを制御して請求項１乃至１０のうちいずれか一項に記載の非侵襲的な方法を実行するように構成された命令を含む、
    コンピュータ装置。
    

Images