JP5955782B2 - 画像解析 - Google Patents

Description

本発明は、画像内の特徴を識別する方法及び装置に関する。より詳細には、しかし限定的ではなく、本発明は、画像にモデルを適合させて画像内の特徴を識別する方法及び装置に関する。

自動画像解析は、画像の特性を決定する際の手動の仕事量を低減するために用いられる。画像解析は、画像の特徴を識別するために、種々の異なる分野で用いられる。画像解析技術が用いられるある分野は、医用画像の処理であり、この分野では、画像内の解剖学的特徴を識別することで有用な情報を開業医に提供できる。多くの画像は、例えばスクリーニングプログラム中に処理する必要があり、各画像は可能な限り正確に処理されるべきである。

異なる患者から得られた個々の解剖学的特徴の画像は、かなり異なる。これは、特に、解剖学的特徴が病的状態にあるときに言える。したがって、このような相違がある場合に、画像内の解剖学的特徴を正確に識別することは困難である。画像内の解剖学的特徴を識別する既存のアプローチは、関心のある解剖学的領域の統計的モデリングに基づく。統計的モデルは、関心のある解剖学的領域内の特徴が手動で識別されているトレーニング画像セットから生成され、統計的モデルは、平均モデルと、トレーニングセットにより示されるようにその平均モデルからの変化の許容の程度とを示す。少数のトレーニング画像しか利用可能でない場合、統計的モデルは、特定の解剖学的特徴を未知の画像内で識別できない場合が多い。これは、統計的モデルが許容変動の真の兆候を捕らえることができないためである。

さらに、統計的モデルを未知の画像に適合させる既存のアプローチは、特に解剖学的特徴が未知の画像内で病的状態にあるときに、不正確になってしまう。したがって、画像内の構造をモデル化し、このようなモデルを未知の画像に適合させるロバストな且つ正確な方法が望ましい。

本発明の幾つかの実施形態の目的は、上述の問題の少なくとも幾つかを取り除くか軽減することである。

本発明の第１の態様によると、コンピュータにより実施される画像内の特徴を識別する方法が提供される。方法は、複数の第２のモデルを前記画像に適合させるステップであって、前記複数の第２のモデルは共に関心領域をモデル化し、前記関心領域の各部分は、前記複数の第２のモデルのうちの少なくとも２つによりモデル化される、ステップと、前記複数の第２のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップと、を有する。

複数の第２のモデルを画像に適合するステップは、局所領域を個々にモデル化することを可能にする。第２のモデルの局所的性質は、画像へのより正確な適合を可能にする。モデル化されるべき関心領域の部分を１以上の第２のモデルに含めることにより、第２のモデルのうちの１つの特定領域への適合が許容できない場合に、該特定領域をモデル化する別の第２のモデルを用いることができる。

方法は、最初にオブジェクトの第１のモデルを画像に適合させるステップ、を更に有し、前記複数の第２のモデルを適合させるステップは、前記第１のモデルの前記適合に基づいてもよい。

前記複数の第２のモデルを前記画像に適合させるステップは、前記第１のモデルの適合に基づき初期化されてもよい。このように、第１のモデル又は複数のモデルの適合に基づきモデルの適合を初期化することは、第１のモデルの適合から決定された情報が次のモデルの適合を導くことを可能にする。代替として又は追加で、前記複数の第２のモデルを適合させるステップは、前記第１のモデルの適合により制限されてもよい。

前記複数の第２のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップは、前記複数の第２のモデルの前記適合に基づきデータを結合するステップ、を有してもよい。

前記複数の第２のモデルの前記適合に基づきデータを結合するステップは、前記複数のモデルのうちの少なくとも２つに含まれる前記関心領域の各部分について、該部分が含まれる前記複数の第２のモデルの各々から引き出されたデータに関連する重みを適用するステップを有してもよい。 特定の第２のモデルでは、前記関連する重みは、前記特定の第２のモデルに関して定められた点から前記領域の前記部分までの距離に基づいてもよい。前記特定の第２のモデルに関して定められた点は、前記特定の第２のモデルの中心、例えば特定の第２のモデルによりモデル化された領域の中心に関して定められてもよい。

特定の特徴は、前記第２のモデルのうちの２つによりモデル化され、前記結合するステップは、前記第２のモデルのうちの前記２つのそれぞれを適合することにより生成された特定の特徴と関連付けられたデータを結合することにより、前記特定の特徴を識別してもよい。前記結合するステップは、複数の関係を示す格納されたデータに基づいてもよく、各関係は、第２のモデルの少なくとも一部と少なくとも１つの他の第２のモデルの少なくとも一部との間のものである。例えば、特定の第２のモデル内の各点は、関心領域内の対応する点を表す任意の他の第２のモデル内の任意の点との関係を有してもよい。複数の関係を示す格納されたデータは、第２のモデルの少なくとも一部と第１のモデルの一部との間の関係を示してもよい。

前記結合するステップは、例えば、前記複数の第２のモデルのうちの少なくとも２つに含まれる前記関心領域の各部分について、前記関心領域の前記部分の重み付けされた平均的な適合を、前記複数の第２のモデルのうちの前記少なくとも２つの各々の前記関心領域の前記部分への適合に基づき、決定するステップを有してもよい。

前記複数の第２のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップは、前記複数の第２のモデルの前記適合に基づき前記画像内の特徴の位置の推定を決定するステップ、を更に有してもよい。前記画像内の特徴の位置の推定を決定するステップは、前記画像内の前記特徴の位置の初期の推定を得るステップ、前記複数の第２のモデルの適合に基づき、前記初期の推定を更新するステップ、を有してもよい。このように、画像内の特徴の位置の初期の推定は、後続のモデルの適合に基づき精緻化されてもよい。

初期の推定を更新するステップは、前記第２のモデルのうちの１つの適合が所定の基準を満たす場合、前記第２のモデルのうちの１つの適合に基づき前記初期の推定を更新するステップを有してもよい。前記所定の基準は、前記特徴の位置の初期の推定と前記第２のモデルのうちの１つの適合との関係であってもよい。

前記所定の基準は、幾何学的基準を有してもよい。前記所定の基準は、トレーニング段階中に、トレーニング画像セットに基づき、前記第２のモデルのうちの１つについて決定されてもよい。前記所定の基準は、複数のデータアイテムに基づいてもよく、各データアイテムは、前記第２のモデルのうちの１つの前記トレーニング画像のうちの個々の１つへの適合を表す。前記複数の第２のモデルのうちの各々は、関連付けられた所定の基準を有してもよい。

方法は、複数の第３のモデルを前記画像に適合させるステップであって、前記複数の第３のモデルは、前記関心領域の少なくとも一部を共にモデル化し、前記複数の第３のモデルの適合は、前記特徴の位置の推定に基づく、ステップ、前記複数の第３のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップ、を更に有してもよい。前記特徴の位置の推定は、前記画像内の前記第３のモデルを初期化するために用いられてもよい。前記特徴の位置の推定は、前記複数の第３のモデルの適合に基づき更新されてもよい。前記画像内の特徴は、更新された特徴の位置の推定に基づき識別されてもよい。更に複数のモデルは、前記特徴の位置の推定に基づき前記画像に適合されてもよく、前記特徴の位置の推定は、各複数のモデルを適合した後に更新される。

前記関心領域の所与の部分は、第１の数の前記第２のモデル及び異なる第２の数の前記第３のモデルによりモデル化されてもよい。第２の数は、第１の数よりも大きくてもよい。前記第３の複数のモデルの中のモデルは、概して、前記第２の複数のモデルの中のモデルよりも小さい領域をモデル化してもよい。このように、画像内の更に局所的な領域がモデル化でき、画像へのより正確な適合が達成できる。

方法は、前記複数の第２のモデルを生成するステップを更に有してもよい。トレーニング画像セットが受信されてもよく、前記トレーニング画像セットの中の各画像は、前記関心領域を表し、前記オブジェクトの前記複数の第２のモデルの生成は、前記トレーニング画像セットに基づいてもよい。前記複数の第２のモデルの中の各モデルは、前記トレーニング画像セットの中の画像のサブセットに基づき生成されてもよく、前記サブセットは、前記トレーニング画像セットからの交換によりランダムにサンプリングすることにより選択される。

前記複数の第２のモデルを生成するステップは、複数のモデルを生成するステップであって、前記複数のモデルのうちの各々は、前記関心領域の少なくとも一部をモデル化する、ステップ、更なるトレーニング画像セットに関して、前記複数のモデルを処理するステップ、前記関心領域の各部分がモデルのサブセットの中の複数のモデルにより表されるように、前記処理に基づき、前記複数のモデルの前記サブセットを選択するステップ、を有してもよい。

前記複数の第２のモデルを生成するステップは、第１の複数の第２のモデルを生成するステップであって、前記関心領域の各部分が前記第１の複数の第２のモデルのうちの複数によりモデル化されるようにする、ステップ、第２の複数の第２のモデルを生成するステップであって、前記関心領域の各部分が前記第２の複数の第２のモデルのうちの複数によりモデル化されるようにする、ステップ、前記第１の複数の第２のモデル及び前記第２の複数の第２のモデルを、前記更なるトレーニング画像セットに関して処理するステップ、前記処理に基づき、前記関心領域の前記第１の複数の第２のモデル及び前記第２の複数の第２のモデルのうちの一方を選択するステップ、を更に有してもよい。前記第１の複数の第２のモデル及び前記第２の複数の第２のモデルを、前記更なるトレーニング画像セットに関して処理するステップは、前記第１の複数の第２のモデルを前記更なるトレーニング画像セットの中の各画像に適合するステップ、前記第２の複数の第２のモデルを前記更なるトレーニング画像セットの中の各画像に適合するステップ、を有してもよく、前記処理に基づき前記関心領域の前記複数の第２のモデルのうちの一方を選択するステップは、前記の２つの適合するステップに基づいてもよい。

前記複数の第２のモデルのうちの１つ又は各々を生成するステップは、前記関心領域内の複数の関心点を示すデータを受信するステップ、前記の受信した複数の関心点に基づき、前記複数の第２のモデルの一方又は各々を生成するステップ、を有してもよい。前記の受信したデータに基づき、前記複数の第２のモデルの一方又は各々を生成するステップは、前記の受信した関心点の各々について、前記複数のモデルのうちの１つのための基礎を提供するために、所定の大きさの前記関心領域の一部を選択するステップ、を有してもよい。前記関心領域の各部分は、関心のある特徴を表してもよい。

前記画像のトレーニングセットに基づき、前記オブジェクトの前記複数の第２のモデルを生成するステップは、前記複数の点の各々について、前記画像のトレーニングセットの中の各画像内の前記関心領域の対応する部分を処理するステップ、を有してもよい。

本発明の第２の態様によると、コンピュータにより実施される画像内の特徴を識別する方法が提供される。方法は、複数の第２のモデルを前記画像に適合させるステップであって、前記複数の第２のモデルは共に関心領域をモデル化する、ステップ、複数の第３のモデルを前記画像に適合させるステップであって、前記複数の第３のモデルは共に前記関心領域の少なくとも一部をモデル化し、前記複数の第３のモデルをするステップは前記複数の第２のモデルの適合に基づく、ステップ、前記複数の第３のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップと、を有する。

このように、所与の領域における画像への適合は、異なるモデルセットの適合に基づき変更されてもよい。このような方法は、画像内のオブジェクトの識別を精緻化する方法を提供する。更に複数のモデルが、前の複数のモデルに基づき、識別を更に精緻化するために画像に適合されてもよい。

前記関心領域の所与の部分は、第１の数の前記第２のモデル及び異なる第２の数の前記第３のモデルによりモデル化されてもよい。第２の数は、第１の数よりも大きくてもよい。前記第３の数モデルの一部又は全ては、前記第２の数のモデルの一部又は全てのり小さい領域をモデル化してもよく、したがって、前記第３の複数のモデルの各々は、関心領域の更に局所的部分をモデル化してもよい。したがって、関心領域のモデル化の向上が達成できる。

方法は、最初に関心領域の第１のモデルを画像に適合させるステップ、を更に有し、前記複数の第２のモデルを適合させるステップは、前記第１のモデルの前記適合に基づいてもよい。前記複数の第２のモデルを前記画像に適合させるステップは、前記第１のモデルの適合に基づき初期化されてもよく、前記複数の第３のモデルを画像に前記適合させるステップは、前記第１のモデルの適合に基づき初期化されてもよい。上述のように、このような前のモデルの適合に基づきモデルを初期化することは、前記前のモデルの適合から決定された情報が次の適合を導くことを可能にする。

オブジェクトの各領域は、複数の前記複数の第２のモデルにより表されてもよい。したがって、本発明の第１の態様について記載された利点は、本発明の第２の態様でも達成され得る。

本発明の第３の態様によると、コンピュータにより実施される画像内の特徴を識別する方法が提供される。方法は、前記画像内の前記特徴の位置の推定を決定するステップ、前記画像の一部に第２のモデルを適合させるステップ、前記第２のモデルの前記適合が所定の基準を満たす場合、前記第２のモデルに基づき、前記推定を更新するステップ、を有する。

概して、画像内の特徴の位置の適度に良好な推定を提供することが可能な場合が多い。第２のモデルを画像の一部に適合させるステップは、前記画像の一部を更に正確にモデル化することを可能にする。しかしながら、前記第２のモデルが、初期の推定は大幅に更新されるべきであると示す場合、前記第２のモデルの適合は失敗しており、したがって前記推定は更新されなくてもよい。したがって、所定の基準は、推定と前記第２のモデルの適合との間の差に基づいてもよい。

前記所定の基準は、前記特徴の位置の推定と前記第２のモデルの適合との関係であってもよい。前記所定の基準は、幾何学的基準、例えば適合の後に前記第２のモデルによりモデル化された点と前記特徴の位置の推定内の点との間の最大距離、又は前記第２のモデルによりモデル化された画像の一部の最大回転量、前記位置の推定の対応する部分、又は両者の組合せを有してもよい。前記所定の基準は、トレーニング段階中に、トレーニング画像セットに基づき、前記第２のモデルについて決定されてもよい。前記所定の基準は、複数のデータアイテムに基づいてもよく、各データアイテムは、前記第２のモデルの前記トレーニング画像のうちの個々の１つへの適合を表す。つまり、前記第２のモデルは、複数のトレーニング画像に適合されてもよく、前記第２のモデルの各トレーニング画像への適合は、「良好な」又は「粗悪な」適合として分類されてもよい。分類された適合は、第２のモデルの特定の適合が許容可能な適合か否かを決定するために分類器を訓練するために用いられてもよい。

方法は、第１のモデルを前記画像に適合させるステップ、を更に有してもよく、前記画像内の前記特徴の位置の前記推定は、前記第１のモデルの前記適合に基づいてもよい。

前記第２のモデルを前記画像の一部に適合させるステップは、前記特徴の位置の推定に基づいてもよい。さらに、前記第２のモデルを前記画像の一部に適合させるステップは、前記特徴の位置の推定に基づき初期化されてもよい。

第２のモデルを画像の一部に適合させるステップは、複数の第２のモデルを前記画像に適合させるステップを有してもよく、前記複数の第２のモデルの各々は、関連付けられた所定の基準を有してもよい。つまり、特定の第２のモデルについての基準は、前記特定の第２のモデルが別の第２のモデルに比べて開始点から比較的大きく変化することを可能にし得る。

本発明の第４の態様によると、コンピュータにより実施される、関心領域を共にモデル化する複数の第２のモデルを生成する方法が提供される。方法は、前記複数の第２のモデルを生成するステップであって、前記関心領域の各部分が前記複数の第２のモデルのうちの複数によりモデル化されるようにする、ステップを有する。

上述のように、モデル化されるべき関心領域の領域を１以上の第２のモデルに含めることにより、前記第２のモデルが前記関心領域をモデル化するのに用いられるとき、第２のモデルのうちの１つの特定領域への適合が許容できない場合に、該特定領域をモデル化する別の第２のモデルを用いることができる。

方法は、トレーニング画像セットを受信するステップであって、前記トレーニング画像セットの中の各画像は、前記関心領域を表す、ステップを更に有してもよく、前記被写体の前記複数の第２のモデルの生成は、前記トレーニング画像セットに基づいてもよい。前記複数の第２のモデルの中の各モデルは、前記トレーニング画像セットの中の画像のサブセットに基づき生成されてもよく、前記サブセットは、前記トレーニング画像セットからの交換によりランダムにサンプリングすることにより選択される。

前記複数の第２のモデルを生成するステップは、複数のモデルを生成するステップであって、前記複数のモデルのうちの各々は、前記関心領域の少なくとも一部をモデル化する、ステップ、更なるトレーニング画像セットに関して、前記複数のモデルを処理するステップ、前記関心領域の各部分がモデルのサブセットの中の複数のモデルにより表されるように、前記処理に基づき、前記複数のモデルの前記サブセットを選択するステップ、を有してもよい。

初期段階でモデルが決定され、通常、特定の関心領域について１回のみ決定される場合、選択されたモデルを最適化するのに比較的長時間が費やされ得る。したがって、多くの異なるモデルは、任意の都合の良い方法で生成でき、各生成されたモデルの関心領域への適合における有効性は、更なるトレーニング画像セットを用いて試験することができる。関心領域に最適に適合すると分かったモデルは、再び訓練され、他のモデルは拒否される。

前記複数の第２のモデルを生成するステップは、第１の複数の第２のモデルを生成するステップであって、前記関心領域の各部分が前記第１の複数の第２のモデルのうちの複数によりモデル化されるようにする、ステップ、第２の複数の第２のモデルを生成するステップであって、前記関心領域の各部分が前記第２の複数の第２のモデルのうちの複数によりモデル化されるようにする、ステップ、前記第１の複数の第２のモデル及び前記第２の複数の第２のモデルを、前記更なるトレーニング画像セットに関して処理するステップ、前記処理に基づき、前記関心領域の前記第１の複数の第２のモデル及び前記第２の複数の第２のモデルのうちの一方を選択するステップ、を有してもよい。

前記第１の複数の第２のモデル及び前記第２の複数の第２のモデルを、前記更なるトレーニング画像セットに関して処理するステップは、前記第１の複数の第２のモデルを前記オブジェクトに適合するステップ、前記第２の複数の第２のモデルを前記オブジェクトに適合するステップ、を有してもよく、前記処理に基づき前記オブジェクトの前記複数の第２のモデルのうちの一方を選択するステップは、前記の２つの適合するステップに基づいてもよい。

前記複数の第２のモデルのうちの１つ又は各々を生成するステップは、前記関心領域内の複数の関心点を示すデータを受信するステップ、前記の受信した複数の関心点に基づき、前記複数の第２のモデルの一方又は各々を生成するステップ、を有してもよい。前記関心点は、任意の都合の良い方法で選択されてもよい。例えば、各関心点は、関心のある特徴、例えば関心領域の特徴及び／又は前記関心領域内の最大曲率のものであると分かっている領域を示してもよい。このように、特に正確にモデル化することが望ましい特定の特徴は、モデルの中心になるように選択でき、したがって、より正確にモデル化できる。

前記の受信したデータに基づき、前記複数の第２のモデルの一方又は各々を生成するステップは、前記の受信した関心点の各々について、前記複数のモデルのうちの１つのための基礎を提供するために、所定の大きさの前記関心領域の一部を選択するステップ、を有してもよい。所定の大きさの領域の各部分は、受信した関心点のうちの１つに中心があってもよい。

前記トレーニング画像セットに基づき、前記オブジェクトの前記複数の第２のモデルを生成するステップは、前記複数の点の各々について、前記トレーニング画像セットの中の各画像内の前記関心領域の対応する部分を処理するステップ、を有してもよい。

各態様において、モデルは、画像に適合することができる形状及び／又は画像の特徴の任意の適切な記述であってもよい。例えば、モデルは、画像への最良の適合を決定するためにモデルの位置及び／又は回転を変化することにより画像に適合され得る剛体モデルであってもよい。代替として、モデルは変形可能なモデルであってもよい。変形可能なモデルは、モデルを画像に効果的に適合させるために、領域の形状が所定の制約の範囲内で変化され得るモデルである。変形可能なモデルの例は、形状モデル又は見えモデル、変形可能なテンプレート及び変形可能なアトラスのような統計的モデルである。モデルが見えモデルの場合、それらは体積又は表面を表し得る。

１つの又は各画像は、コンピュータ断層画像、磁気共鳴画像、放射線画像、Ｘ線画像及び超音波画像を有するグループから選択された画像であってもよい。適合するステップは、剛体レジストレーション、非剛体レジストレーション、Active Shape Modelling及びActive Appearance Modellingを有するグループから選択された適合技術を適用するステップを有してもよい。前記複数の第２のモデルは、オブジェクトの任意の分解を表してもよい。関心領域は、体の部位であってもよい。

用語「特徴」は、本願明細書では、識別されるべき画像の任意の部分を示すために用いられる。例えば、特徴は、画像領域、画像境界、画像表面又は画像内の点であってもよい。関心領域が体の部位である場合、特徴は解剖学的特徴であってもよい。解剖学的画像領域の例は、大腿のような骨を示す領域、臓器又は臓器の一部を示す領域（例えば、前頭葉を示す領域）、変態を示す領域（例えば、嚢胞を示す領域若しくは病理的な骨増殖を示す領域）を含む。解剖学的境界及び表面の例は、骨／軟骨の境界及び／又は表面、並びに室／脳脊髄液の境界及び／又は表面を含む。画像内の解剖学的点の例は、腸骨稜である。

本発明の態様は、任意の都合の良い形態で実施できる。例えば、コンピュータプログラムは、本願明細書に記載された方法を実行するために提供されてもよい。このようなコンピュータプログラムは、適切なコンピュータ可読媒体に保持されてもよい。コンピュータ可読媒体の用語は、適切な有形記憶装置（例えば、ディスク）を含む。本発明の態様は、適切にプログラムされたコンピュータを用いても実施できる。

ある態様の文脈で記載された特徴は、他の態様の文脈で用いることができる。

本発明の実施形態は、単なる例として添付の図面を参照して以下に説明される。

本発明の実施形態による画像の解析のためのシステムの概略図を示す。 図１のシステムのコンピュータを更に詳細に示す概略図である。 図１のシステムを用いた処理に適した画像である。 図１のシステムで画像を解析するために実行される処理を示すフローチャートである。 それぞれ対応するモデルによりモデル化された部分に分割された図２の画像を示す。 図３の処理の一部を更に詳細に示すフローチャートである。 図５の処理の一部を更に詳細に示すフローチャートである。 点に適用される重みとモデルの中心からその点までの距離との間の関係を示すグラフである。

図１を参照すると、コンピュータ１は、１又は複数のオブジェクトの画像２を受け、モデル３を適用するよう構成される。モデル３が画像２に適合され、モデル４のパラメータ化が生成される。モデル３は、Active Appearance Model又はActive Shape Modelのような統計的モデルであり、画像２の対象であるオブジェクトと同じクラスのオブジェクトのトレーニング画像セットに基づき生成されている。モデル３は、トレーニング画像内の変動の統計的モデルであり、トレーニング画像セットを処理して平均モデル及びトレーニングセットの平均モデルからの変動の範囲を生成することにより生成される。コンピュータ１により生成されたパラメータ化（parameterisation）４は、画像の特徴を識別するために用いることができる。

図１Ａは、コンピュータ１を更に詳細に示す。コンピュータは、ＣＰＵ１ａを有することが分かる。ＣＰＵ１ａは、揮発性メモリ１ｂに格納された命令を読み出し実行するよう構成される。揮発性メモリ１ｂは、ランダムアクセスメモリの形態である。揮発性メモリ１ｂは、ＣＰＵ１ａによる実行のための命令及びそれらの命令により用いられるデータを格納する。例えば、使用中、画像２及びモデル３は、揮発性メモリ１ｂに格納される。

コンピュータ１は、ハードディスクドライブ１ｃの形態の不揮発性記憶装置を更に有する。画像２及びモデル３は、ハードディスクドライブ１ｃに格納されてもよい。コンピュータ１は、Ｉ／Ｏインタフェースを更に有する。Ｉ／Ｏインタフェースには、コンピュータ１との接続に用いられる周辺装置が接続される。より詳細には、ディスプレイ１ｅは、コンピュータ１からの出力を表示するよう構成される。ディスプレイ１ｅは、例えば画像２の描写を表示し得る。さらに、ディスプレイ１ｅは、パラメータ化４を表現するデータをユーザに提供し、入力画像２をパラメータ化４とかぶせて表示してもよい。入力装置も、Ｉ／Ｏインタフェース１ｄに接続される。このような入力装置は、キーボード１ｅ及びマウス１ｆを含み、これらはユーザにコンピュータ１と相互作用させる。ネットワークインタフェース１ｇは、コンピュータ１を適切なコンピュータネットワークに接続させ、他のコンピュータ装置とデータを送受信できるようにする。ＣＰＵ１ａ、揮発性メモリ１ｂ、ハードディスクドライブ１ｃ、Ｉ／Ｏインタフェース１ｄ及びネットワークインタフェース１ｇは、バス１ｈにより共に接続される。

図２を参照すると、図１のシステムによる処理に適した画像が示される。図２は、膝の磁気共鳴（ＭＲ）体積（volume）画像による１枚である。図１のシステムは、異なる種類の画像を同じ方法で処理できる。例えば、３次元表面のような注釈付きのデータから引き出された画像又は解剖学的体積画像は、以下の方法で処理できる。

以下に記載する処理は、トレーニング画像セットに基づき構築されたモデルＭ_１を参照する。モデルＭ_１は、上述のように、トレーニング画像セットに基づき構築された統計的モデルであり、画像Ｉ内の関心のある特徴のモデルである。以下の本発明の説明の理解を助けるために、先ず、モデルＭ_１の生成及びモデルＭ_１の画像Ｉへの適合を説明する。しかしながら、モデルＭ_１の生成及び適合は、任意の都合の良い方法で実行することができることが理解されるだろう。例えば、モデルＭ_１は、米国特許番号第７５８４０８０号明細書に記載されたパラメータ化技術を用いて生成でき、該特許明細書の内容は参照により本願明細書に組み込まれる。

モデルＭ_１は、先ず、トレーニング画像セット内の各画像内の対応する所定の関心点を手動でマーク付けすることにより、トレーニング画像セットから生成される。関心点のセットは、モデル化されるべきオブジェクトの特徴に基づき選択される。例えば、モデル化されるべきオブジェクトが膝関節である場合、関心点は、膝関節の解剖学的特徴に基づき選択され得る。モデルＭ_１は、例えば、形状モデル又は見え（appearance）モデルであり、これらのモデルは以下に説明される。しかしながら、例えば、制約セットの範囲内で変形の許される標準的又は平均的な例の形態である変形可能なテンプレート又は変形可能なアトラスのような他のモデルが用いられてもよいことが理解されるだろう。変形可能なモデルの概説は、Tim Mclnerney、Demetri Terzopoulosの「Deformable Models in Medical Image Analysis: A Survey」、Medical Image Analysis, １(２):９１−１０８, １９９６で与えられる。この文献の内容は参照により本願明細書に組み込まれる。

モデルＭ_１が形状モデルの場合、上述のように選択された、各トレーニング画像と関連付けられた関心点のセットは、選択された点の座標の連なりを有する形状ベクトルにより表される。特定のトレーニング画像の形状ベクトルｘは、次の通りである。

ここで、ｎは各画像内の関心点の数である。
平均形状ベクトル バーｘは、式（２）により計算できる。

ここで、Ｎはトレーニング画像の数である。
ｘ_ｉは、トレーニング画像ｉを表すベクトルである。

複数の形状ベクトルは、各トレーニング画像について１つあり、各列が形状ベクトルを表す行列Ｘを生成するために用いることができる。

個々のトレーニング画像内で選択された点により表される形状の各々は、変換され、回転され、スケーリングされて、それらの重心が一致し、各画像内の点と平均形状の点との差の二乗和が最小化されるようにする。

共分散行列Ｓは、先ず、式（２）を用いて平均形状ベクトルを計算することにより、位置合わせされた（aligned）形状から生成できる。トレーニングセット内の各画像について、平均形状からの偏差が式（３）から計算できる。

次に、共分散行列Ｓは、式（４）と用いて計算される。

行列Ｓの固有ベクトルが決定され、ｔ個の最重要固有ベクトルが生成される。

このように、任意の形状を、式（５）により与えられる形状モデルに従って表すことができる。

ここで、ｘは、形状を表すベクトルである。
バーｘは、（式（２）により）トレーニングセット内の画像の形状ベクトルから生成された平均形状ベクトルである。
Ｐ_ｓは、上述の固有ベクトルの行列である。
ｂ_ｓは、形状のベクトルｘを生成するために行列Ｐ_ｓの固有ベクトルに適用されるべき重みのｔ個の要素のベクトルである。

ｂ_ｓの構成要素（ｂ_ｉ，ｉ＝１，．．．ｔ）は、形状パラメータと称される。固有ベクトルＰ_ｉは、それらの固有値λ_ｉに従って格納される。固有値λ_ｉは、各固有ベクトルと関連付けられたトレーニング形状に渡って観察される相違を記述する。つまり、λ_ｉは、固有ベクトルの各々により記述される平均形状からの変化の割合を表す。ｔ（＜Ｎ）の値を選択することにより、トレーニング形状で観察される全ての変化のうちの特定の選択された割合を表すモデルを作成できる。

行列Ｐ_ｓに含まれる各固有ベクトルは、モデル化された形状の変化のモードを表す。ベクトルｂ_ｓの要素の値を変化させることで、トレーニング画像の画像内で観察される範囲に含まれる形状を生成できる。つまり、ベクトルｂ_ｓの１つの要素ｂ_１の変化は、モデル化された形状の１つの特性に影響を及ぼし、一方で、第２の要素ｂ_２はモデル化された形状の別の特性に影響を及ぼすだろう。

見えモデルは、上述の形状モデルの拡張である。上述のように、それぞれのトレーニング画像内で選択された点が変換され、回転され、スケーリングされて、それらの重心が一致し、各画像内の点と平均形状の点との間の差の二乗和が最小化されるようにした後に、グレイレベルの見え（appearance）の統計的モデルを構築するために、画像を正規化して全体的な明暗の変化の影響を最小化した後に、グレイレベルの情報ｇ_ｉｍが、平均形状ｘによりカバーされた領域に渡って画像からサンプリングされる。上述の方法をグレイレベルのデータに適用して、形状モデル（５）を決定するために、式（６）に示されるように、グレイレベルのモデルが得られる。

ここで、ｇは、平均された正規化グレイレベルベクトルである。
Ｐ_ｇは、固有ベクトルの行列である。
ｂ_ｇは、グレイレベルパラメータのセットである。

（式（５）中の）ベクトルｂ_ｓ及び（式（６）中の）ベクトルｂ_ｇの要素の値を変化させることで、トレーニング画像の画像内で観察される範囲に含まれる形状及びグレイレベル画像を生成できる。

トレーニング画像内の形状及びグレイレベルの変動の間の関係を捕らえるために、ベクトルｂは、式（７）により各トレーニング画像について生成される。

ここで、Ｗ_ｓは、ベクトルｂ_ｓ内の各形状パラメータと関連付けられた重みの対角行列である。
行列Ｗ_ｓは、ｂ_ｓの値を調整して、形状とグレイレベルモデルとの間のユニットの差を許容する。

式（８）に示される更なるモデルは、モデル（５）及び（６）を生成するために、上述の方法を用いて、連結ベクトルのセットｂから生成される。

ここで、Ｑは、固有ベクトルの行列である。
ｃは、見えパラメータのベクトルである。

式（８）のモデルは線形なので、形状及びグレイレベルは、式（９）によりｃの関数として直接的に表すことができる。

ここで、固有ベクトルの行列は、次の通りである。

例示的な画像は、ｃが与えられると、形状に無関係なグレイレベル画像をベクトルｇから生成し、それをｘにより記述される制御点を用いてラッピングすることにより、合成できる。

一般的に、モデルを適合する目的は、モデルを未知の画像に良好に適合させるパラメータのセットｃを決定するためである。これを行う１つの方法は、以下に説明するActive Appearance Modelを用いることである。

Active Appearance Modelは、モデルにより生成された再構成画像と潜在的な目標画像Ｉとの間の差を用い、繰り返し、モデルパラメータを良好な値に向けて駆動する。事前学習段階で、見えパラメータのベクトルの既知の変位δｃが、既知のモデルインスタンスに適用され、モデルと画像との間の結果として生じた差δＩ＝Ｉ_ｉ−Ｉ_ｍが測定される。ここで、Ｉ_ｉは画像Ｉ内のグレイレベル値のベクトルであり、Ｉ_ｍは現在のモデルパラメータｃのグレイレベル値のベクトルである。多変数の直線回帰が、このようなトレーニング変位の大きなセットに適用され、近似直線関係δｃ＝ＡδＩが確立される。

モデルと画像Ｉとの間の最良の一致を識別するために、差ベクトルの大きさΔ＝｜δＩ｜^２が、学習段階中に学習された直線関係を用いて最小化され、モデルの適合を向上させるモデルパラメータｃへ向けた調整を予測する。モデルパラメータｃは、もはやΔが改善されなくなるまで、繰り返し調整される。Active Appearance Modelは、T.F.Cootes、C.J.Edwars、C.J.Taylor、「Active Appearance Models」、IEEE Transactions on Pattern Analysis and Machine Intelligence, ２００１, Volume２３, Issue ６に詳細に記載されている。この文献は、参照により本願明細書に組み込まれる。

図３を参照すると、モデルを画像に適合させる処理が示される。ステップＳ１で、画像Ｉを受ける。ステップＳ２で、モデルＭ_１が画像Ｉに適用される。モデルＭ_１は、トレーニング画像セットに基づき構築された統計的モデルであり、上述のモデルのような画像Ｉ内の関心のある特徴のモデルである。

ステップＳ３で、カウンタｋは値２に設定される。ステップＳ４で、モデルセットＭ_ｋの各モデルｍは、モデルＭ_１の適合に基づき、画像Ｉ内で初期化される。モデルセットＭ_２は、モデルＭ_１によりモデル化された解剖学的領域の分解である。つまり、各モデルｍによりモデル化された各点は、モデルＭ_１によりモデル化された点に対応し、モデルセットＭ_２は、全部で、画像Ｉ内のモデルＭ_１によりモデル化された全ての関心のある特徴をモデル化する。全ての値ｋについて、モデルセットＭ_２のモデルは重なり合い、モデルＭ_１によりモデル化された画像２内のオブジェクトの各点が、モデルセットＭ_２内の複数のモデルｍによりモデル化されるようにする。モデルセットＭを生成するためにモデルＭ_１によりモデル化された解剖学的領域の分解は、図４を参照して以下に更に詳細に説明される。

各モデルｍの初期化は、ステップＳ２で決定されたモデルＭ_１の対応する点の適合に基づき、各モデル内の点を画像Ｉに適合させることにより実行される。対応する点は、点同士の関係を示す点の対応を用いて決定される。点の対応は、モデルＭ_１によりモデル化された各点を、（全てのＭ_ｋについて）各点に対応するモデルｍ内の点に関連させる。

このように、モデルセットＭ_ｋ内の各モデルの中の点同士の関係は、モデルセットＭ_ｋ内のモデルｍ_ｋ及びモデルセットＭ_ｋ＋１内のモデルｍ_ｋ＋１の中の点同士の関係と共に格納される。

ステップＳ５で、各モデルｍの画像Ｉへの適合は、画像Ｉの特性及びモデルｍの特性に基づき、上述のモデルＭ_１の適合と同じ方法で、調整される。各モデルｍは、モデルセットＭ_ｋ内の他のモデルｍと独立に調整され、各モデルｍは、ｍによりモデル化された画像Ｉ内の特徴の位置の推定を生成する。ステップＳ５の調整の後に、ステップＳ６で、セットＭ_ｋ内のモデルの画像Ｉへの適合が結合され、画像内の関心のある特徴の各々の位置の推定を提供する結合された推定を生成する。結合された推定は、任意の適切なデータの形式をとり得る。例えば、結合された推定は、画像Ｉ内の関心のある特徴の各々の位置の幾何学的指示であってもよく、画像Ｉ内の関心のある特徴を示す画像Ｉの説明であってもよく、又は両者の組合せであってもよい。結合された推定を生成するための、モデルＭ_ｋの適合を結合することは、図５を参照して以下に更に詳細に説明される。

ステップＳ７で、画像に適合されるべき更なるモデルセットＭ_ｋがあるか否かを決定するためにチェックが行われる。更なるモデルセットがあると決定されると、ステップＳ８で、カウンタｋがインクリメントされ、処理はステップＳ４に進む。ステップＳ４では、更なるモデルセットＭ_ｋ＋１が、ステップＳ６で決定された結合された推定に基づき初期化される。その他の場合、ステップＳ９で、関心のある特徴の位置の推定は、モデルセットＭ_ｋから生成された結合された推定に基づき出力される。各セットＭ_ｋ＋１は、通常、前のセットＭ_ｋよりも多くの数のモデルを含み、通常、セットＭ_ｋ＋１内のモデルは、セットＭ_ｋ内のモデルよりも少ない数の点を含む。したがって、セットＭ_ｋのうちｋの大きいモデルほど、通常、オブジェクトのより局所的領域をモデル化し、通常、オブジェクトのより小さい領域がより高い精度でモデル化される。

結合された推定に基づくモデル適合の初期化は、画像Ｉの部分が実際には関心のある特徴でないときに、モデルが画像Ｉのその部分を関心のある特徴として誤って識別する危険を最小限に抑える。つまり、モデルが画像の比較的小さい部分をモデル化する場合、このようなモデルは画像の誤った部分を適合してしまう可能性が高くなる。したがって、小さいモデルほど、誤った適合を回避するために、より良好な初期化が必要である。階層的スキームの使用は、異なるサイズの複数のモデルを画像に適用することを可能にし、比較的大きいモデルの適合が比較的小さいモデルの適合を初期化するようにする。階層の各レベルにおけるモデルＭ_ｉ＋１は、階層のレベルＭ_ｉにより生成された推定を更新する。

以上に、モデルＭ_１によりモデル化された解剖学的領域が分解されること、分解されたものを処理してモデルセットＭ_ｋを生成することを記載した。図４は、図２の画像に基づきモデルＭ_１によりモデル化された解剖学的領域の分解を示す。図４は、３つの領域１０、１１、１２を示す。各領域１０、１１、１２は、図２の画像の一部に対応する。各領域１０、１１、１２は、モデルＭ_１によりモデル化された関心点のサブセットに対応し、モデルセットＭ_ｋ内のモデルのうちの１つに対応する図２の画像の領域を示す。領域１０、１１、１２は重なり合い、幾つかの点が領域１０、１１、１２のうちの２つ又は３つに含まれることが分かる。例えば、領域１０の画像特徴１３は、それぞれ領域１１及び１２の特徴１４及び１５に対応する。したがって、モデルＭ_１によりモデル化された特徴１３、１４及び１５に対応する任意の点は、画像領域１０、１１及び１２に対応するモデルの各々によりモデル化される。モデルセットＭ_ｋ内の５乃至１５個のモデルで各画像点をモデル化することが効率的であることが分かった。しかしながら、各画像点は、セットＭ_ｋ内の２以上の他の数のモデルでモデル化されてもよい。

一般的に、各モデルセットＭは、複数の関心点を選択し、選択した点の各々に基づき領域を識別することにより決定される。モデルセットＭｋのモデルｍの基礎を形成するために選択した点のセットは、上述のようにモデルｍを生成するために、トレーニング画像セットに関して処理される。使用されるトレーニング画像セットはモデルＭ１を生成するために使用されるのと同じトレーニングセットでよいこと、モデルＭ１の生成で用いられた点に対応する点でパラメータ化された別のトレーニング画像セットでもよいことが理解されるだろう。幾つかの実施形態では、トレーニング画像セットのサブセットが、各モデルを生成するために用いられてもよい。ここで、各サブセットは、トレーニング画像セットからの置換を伴うランダムなサンプリングにより選択される。つまり、各モデルは、トレーニング画像のランダムに選択されたサブセットに基づき生成される。ここで、特定のモデルの生成のために選択されたサブセットは、他のモデルの生成のために選択されたサブセットに影響を与えない。

モデルセットＭ_ｋ内の任意のモデルｍによりモデル化された特定の関心点は、任意の都合の良い方法で選択されてよい。例えば、セグメンタは、初期モデルによりモデル化された関心点のセットを重複するサブセットに分割するために用いられてもよい。サブセットは、点をランダムに選択し、モデルのための基礎を提供するために各トレーニング画像内の各選択された点を取り囲む所定の大きさの領域を決定することにより決定されてもよい。つまり、所定の領域内に含まれる任意の点は、モデルセットＭ_ｋのモデルの基礎として用いられる。点は、モデル化されるべき各点について所望の程度の重なりが達成されるまで、同じ方法で選択されてもよい。

代替として、点のセットは、最終的に初期モデル全体に分布するように選択され、選択された点同士の距離がほぼ等しくなるようにする。次に、選択された点の各々を囲む領域が選択され、選択された点と関連する領域内に含まれる初期モデルの点は、モデルセットＭ_ｋのモデルの基礎として用いられる。このように、重なりの量は、重なりの均一な分布が達成されるように制御できる。

初期モデルは、初期モデルの平均モデルに基づき処理され得る。つまり、初期モデルの平均モデルからの点は、更なるモデルの生成の基礎として用いられ得る。

更に別の代替は、特定の画像特徴に関連する関心のある特徴と関連付けられた初期モデル内の点のセットを選択することである。例えば、高い曲率を有する領域内の点が選択され、選択された点の各々について、モデルｍが、上述のように、選択された点を囲む領域を選択し、各点がモデルｍ内の領域に含めることにより決定されてもよい。

上述の各実施形態では、通常、モデルｍ_ｋ＋１によりモデル化される領域の大きさは、モデルセットＭ_ｋ＋１内のモデルの各々が対応するモデルセットＭ_ｋ内のモデルｍ_ｋより小さい関心領域をモデル化するように、選択される。モデルによりモデル化される領域の大きさは、例えば、段階ｋで正確にモデル化されることが望ましい特徴の大きさに基づき選択されてもよい。したがって、幾つかの実施形態では、モデルセットＭ_ｋ＋１内の少なくとも幾つかのモデルは、対応するモデルセットＭ_ｋ内のモデルより小さい領域をモデル化しない。例えば、特定の特徴が、例えばトレーニング段階中に更なる分解からの利益を示さない場合、それらの特徴をモデル化するために選択された領域は、種々のモデルセットを通じて比較的大きいままであり、比較的小さい他の領域は、モデルの基礎を形成するために選択される。

モデルセットＭ_ｋの決定は初期段階で実行されるので、効率的なモデルセットを選択するのに比較的多くの時間が費やされる。例えば、上述の選択方法はそれぞれ繰り返し実行され、生成される各モデルセットＭ_ｋの有効性は、手動でマーク付けされた画像に対してテストされ、特定のモデルセットＭ_ｋがどの程度良好にテスト画像データ内の変動を表すことができるかを決定してもよい。

以上に、モデルセットＭ_ｋ＋１が、通常、モデルセットＭ_ｋよりも多くの数のモデルを含むこと、モデルセットＭ_ｋ＋１内の各モデルが、通常、モデルセットＭ_ｋ内のモデルよりも小さい領域の解剖学的領域をモデル化することを記載したが、通常、各モデルセットＭ_ｋは、テスト画像データ内の変動を効率的に表すよう選択されることが理解されるだろう。したがって、幾つかの場合には、モデルセットＭ_ｋ＋１は、モデルセットＭ_ｋと同数又はそれより少ない数のモデルを含み、及び／又はモデルセットＭ_ｋ＋１内のモデルは、モデルセットＭ_ｋ内のパッチと同様の大きさ又はそれより大きい大きさの領域をモデル化してもよく、このような選択肢はテスト画像データ内の変動をより効率的に表すことができる。

図５を参照すると、図３のステップＳ６のモデルＭ_ｋの適合を結合する処理が更に詳細に示される。ステップＳ１５で、モデルセットＭ_ｋ内のモデルｍが選択される。ステップＳ１６で、選択されたモデルｍの適合が、モデルセットＭ_ｋ−１についてステップＳ６で生成された結合された推定の対応する点の適合に十分近いか否かを決定するために、チェックが実行される。モデル間の対応する点及び結合された推定は、点対応により決定される。

選択されたモデルｍの適合がモデルセットＭ_ｋ−１から生成された結合された推定の対応する点の適合に十分近いか否かの決定は、任意の都合の良い方法で決定され得る。例えば、幾何学的規則が、モデル化されるべきオブジェクトの各領域について決定されてもよい。幾何学的規則は、（モデルセットＭ_ｋ−１から生成された結合された推定により示されるように）領域を表すモデルがモデルの開始点に対して移動できる最大距離、又はモデルがモデルの開始点に対して回転できる最大度数、又は両者の組合せを示してもよい。モデルが許容最大値を超えない場合、モデルの適合は十分近いと決定される。

代替の実施形態では、分類に基づく拒否が用いられてもよい。分類に基づく拒否では、システムは、モデルの良好な適合の例の数（望ましくは大きい数）及びトレーニング段階でのモデルの粗悪な適合の例の数（望ましくは大きい数）で表される。このように、システムは、良好な適合と粗悪な適合の特徴を、モデルにより達成された適合と理想的な適合との間の誤差に基づき「学習」できる。

選択されたモデルｍの適合が十分近いと決定された場合、ステップＳ１７で、モデルｍは許容可能なモデルセットＡ_ｋに追加される。ステップＳ１６で選択されたモデルｍの適合が十分近くないと決定された場合、又はステップＳ１７でモデルｍが既にＡ_ｋに追加されていた場合、処理はステップＳ１８に進む。ステップＳ１８で、Ｍ_ｋ内に前に選択されていないモデルがあるかどうかが決定される。Ｍ_ｋ内に前に選択されていないモデルがある場合、処理はステップＳ１５に戻り、前に選択されていないモデルが選択される。その他の場合、処理はステップＳ１９に進み、セットＡ_ｋ内のモデルが結合され、結合された推定を更新するために用いられる。モデルの結合は、図６及び７を参照して以下に説明される。

図５の処理は、各段階で、結合された推定が画像Ｉ内の特徴の適度に正確な推定であるという仮定に基づく。ステップＳ５のモデルセットＭ_ｋの調整の後に、モデルセットＭ_ｋ内のモデルｍの点が、結合された推定の対応する点に対して所定量より多く調整されていた場合、モデルは大きく移動され過ぎたと考えられ、もはや画像の正しい部分をモデル化していないので、モデルｍは拒否される。

上述のように、モデルセットＭ_ｋは、結合された推定で示された関心領域の各点がＭ_ｋ内の複数のモデルによりモデル化されるように、重なり合う。したがって、結合された推定の各点は、モデルｍが拒否されるとき、概して依然としてモデルセットＭ_ｋに基づき調整され得る。

図６を参照すると、図５のステップＳ１９のモデルの結合及びモデルの結合に基づく結合された推定の更新が更に詳細に示される。ステップＳ２５で、結合された推定内の点ｐが選択される。ステップＳ２６で、モデルセットＭ_ｐが決定される。モデルセットＭｐは、点対応に基づき決定された許容可能なモデルセットＡ_ｋのサブセットである。Ａ_ｋの各モデルは点ｐをモデル化する。ステップＳ２７で、Ｍ_ｐ内のモデルの数が１以上か否かが決定される。Ｍ_ｐ内のモデル数が１より少ない場合、結合された推定内の点ｐについて更新が実行できないと決定され、処理はステップＳ２５に戻り、前に選択されていない点が選択される。

ステップＳ２７で、Ｍ_ｐ内のモデル数が１以上であると決定された場合、ステップＳ２８で、Ｍ_ｐ内の各モデルｍについて点ｐの重みｗ_ｍが決定される。各重みｗ_ｍは、モデルｍの、図３のステップＳ６で実行された結合された推定内の点ｐの更新に対する貢献の重みを提供する。モデルセットＭ_ｐ内の各モデルは、モデルが調整された後の点ｐの異なる場所を示す。また、重みｗ_ｍは、特定のモデルｍが結合された推定内の点ｐの全体の調整に与える影響がどれだけ大きいかを決定する。モデルｍについての重みｗ_ｍの決定は、図７を参照して以下に説明される。ステップＳ２９で、結合された推定内の点ｐは、セットＭ_ｐ内の各モデルの点ｐの重み付けされた貢献に基づき更新される。つまり、特定のモデルの点ｐについて、点ｐの適合は、モデルセットＭ_ｐ内の各モデルの点に関するデータに基づき更新される。

図７を参照すると、モデルｍによりモデル化された領域の中心からの距離に対する重みｗ_ｍの変動が示される。丸２０により示される領域の中心で、線２１により示される値の重みは、線２２により示される領域の端における値の重みと比べて高い。このように、点ｐがモデルｍ_ｅによりモデル化された領域の中心の比較的近くにある場合、モデルｍ_ｃに基づく結合された推定内の点ｐの調整への貢献は、点ｐがモデルｍ_ｅによりモデル化された領域の端に比較的近くにあるモデルｍ_ｅに基づく結合された推定内の点ｐの調整への貢献に比べて比較的大きい。したがって、点ｐがｍ_ｃによりモデル化された領域の中心に比較的近い場合、点ｐの周囲の比較的多い情報量がｍ_ｃによりモデル化され、モデルｍ_ｃ内の点ｐの適合の決定に用いられるので、重みｗは、任意の特定のモデルｍ内の点ｐを更新するために用いられた情報量を反映する。点ｐがモデルｍ_ｅによりモデル化された領域の端にある場合、重みｗは小さいがゼロより大きいことが分かる。

以上に、先ずモデルＭ_１が画像Ｉに適合され、次にモデルＭ_１の適合に基づき、モデルセットＭ_２が続いて画像Ｉに適合されることが記載された。代替の実施形態では、モデルＭ_１の適合が回避され、最初に結合された推定がモデルセットＭ_ｉにより確立される。つまり、幾つかの実施形態では、先ず、複数のモデルが画像Ｉに適合され、結合された推定を生成するために結合され、次にモデルセットＭ_ｉ＋１が上述の方法で画像Ｉに適合される。

以上に、点対応が、各関心点ｐについて、関心点ｐをモデル化するモデルｍ内の点と関心点ｐに対応する結合された推定内の点との間の関係を示すことが記載された。代替の実施形態では、結合された推定は、結合された推定内の各点がその点と関連する構造又は特徴を示すラベルを有するように、ラベル付けされた画像であってもよい。例えば、画像内の大腿のような解剖学的特徴を識別することが望ましい場合、結合された推定内の幾つかの点は、画像Ｉ内の対応する点が大腿を表すために現在推定されていることを示す関連付けられたラベルを有してもよい。このように、複数のモデルの画像Ｉへの適合及び結合された推定の生成は、ラベルに基づき実行できる。例えば、モデルセットＭ_ｋが画像に適合された後、特定の特徴をモデル化する各モデルは、結合された推定の更新に貢献する。したがって、モデルの結合後、画像Ｉ内の特定の特徴を表すとして示された各点について、結合された推定内の対応する点が特定の特徴を表すとしてラベル付けされる。

以上に本発明の特定の実施形態が記載されたが、本発明の精神と範囲から逸脱することなく、記載された実施形態に対して種々の変更を行うことができることが理解されるだろう。つまり、記載された実施形態は、全ての点において例示的であり非限定的であると見なされる。とくに、特定の形態が特定の処理のために記載された場合、このような処理は適切な出力データをもたらすよう構成された任意の適切な形態で実行され得ることが理解されるだろう。

Claims (33)

1. コンピュータにより実施される画像内の特徴を識別する方法であって、前記方法はプロセッサと通信するメモリを有するコンピュータで実施され、前記方法は、
   前記画像内の関心領域を識別するステップ、
   前記プロセッサにより、複数の第２のモデルを前記関心領域に適合させるステップであって、前記複数の第２のモデルの各々は前記画像の前記関心領域の各々の部分をモデル化し、前記複数の第２のモデルは共に前記関心領域をモデル化し、前記第２のモデルによりモデル化された前記部分は、前記関心領域の各部分が前記複数の第２のモデルのうちの少なくとも２つによりモデル化されるように重なり合う、ステップ、
   前記プロセッサにより、前記複数の第２のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップ、
   を有し、前記複数の第２のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップは、
   前記プロセッサにより、前記複数の第２のモデルの前記適合に基づきデータを結合するステップであって、特定の特徴は、前記第２のモデルのうちの２つによりモデル化され、前記結合するステップは、前記第２のモデルのうちの前記２つの各々を適合させることにより生成される前記特定の特徴に関連付するデータを結合することにより、前記特定の特徴を識別する、ステップを有し、
   前記結合するステップは、複数の関係を示す格納されたデータに基づき、各々の関係は、ある第２のモデルの少なくとも一部と少なくとも１つの他の第２のモデルの少なくとも一部との間のものである、
   方法。
2. 前記プロセッサにより、最初に前記関心領域の第１のモデルを前記画像に適合させるステップ、
   を更に有し、
   前記複数の第２のモデルを適合させるステップは、前記第１のモデルの前記適合に基づく、
   請求項１に記載の方法。
3. 前記複数の第２のモデルを前記画像に適合させるステップは、前記第１のモデルの前記適合に基づき初期化される、請求項２に記載の方法。
4. 前記複数の第２のモデルを適合させるステップは、前記第１のモデルの前記適合により制限される、請求項２に記載の方法。
5. 前記複数の第２のモデルの前記適合に基づきデータを結合するステップは、前記プロセッサにより、前記関心領域の各部分について、該部分が含まれる前記複数の第２のモデルの各々から引き出されたデータに関連する重みを適用するステップを有する、請求項１に記載の方法。
6. 特定の第２のモデルでは、前記関連する重みは、前記特定の第２のモデルに関して定められた点から前記領域の前記部分の関心点までの距離に基づく、請求項５に記載の方法。
7. 前記特定の第２のモデルに関して定められた前記点は、前記特定のモデルの中心に関して定められる、請求項６に記載の方法。
8. 前記プロセッサにより、最初に前記関心領域の第１のモデルを前記画像に適合させるステップと、
   前記プロセッサにより、前記第１のモデルの前記適合に基づき、前記複数の第２のモデルを適合させるステップと、
   を更に有し、
   複数の関係を示す前記格納されたデータは、第２のモデルの少なくとも一部と前記第１のモデルの一部との間の関係を示す、請求項１に記載の方法。
9. 前記結合するステップは、前記複数の第２のモデルのうちの少なくとも２つに含まれる前記関心領域の各部分について、前記関心領域の前記部分の重み付けされた平均的な適合を、前記複数の第２のモデルのうちの前記少なくとも２つの各々の前記関心領域の前記部分への適合に基づき、決定するステップを有する、請求項５に記載の方法。
10. 前記プロセッサにより、前記複数の第２のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップは、前記複数の第２のモデルの前記適合に基づき前記画像内の前記特徴の位置の推定を決定するステップ、
    を更に有する、請求項１に記載の方法。
11. 前記画像内の特徴の位置の推定を決定するステップは、
    前記プロセッサにより、前記画像内の前記特徴の位置の初期の推定を得るステップ、
    前記プロセッサにより、前記複数の第２のモデルの適合に基づき、前記初期の推定を更新するステップ、
    を有する、請求項１０に記載の方法。
12. 前記初期の推定を更新するステップは、
    前記プロセッサにより、前記第２のモデルのうちの１つの適合が所定の基準を満たす場合、前記第２のモデルのうちの前記１つの前記適合に基づき初期の推定を更新するステップ、
    を有する、前記請求項１１に記載の方法。
13. 前記所定の基準は、前記特徴の位置の前記初期の推定と前記第２のモデルのうちの前記１つの前記適合との間の関係である、請求項１２に記載の方法。
14. 前記所定の基準は、幾何学的基準を有する、請求項１２に記載の方法。
15. 前記所定の基準は、トレーニング段階中に、トレーニング画像のセットに基づき、前記第２のモデルのうちの前記１つについて決定される、請求項１２に記載の方法。
16. 前記所定の基準は、複数のデータアイテムに基づき、各データアイテムは、前記第２のモデルのうちの１つの前記トレーニング画像のうちの個々の１つへの適合を表す、請求項１５に記載の方法。
17. 前記複数の第２のモデルの各々は、関連付けられた所定の基準を有する、請求項１２に記載の方法。
18. 前記プロセッサにより、複数の第３のモデルを前記画像に適合させるステップであって、前記複数の第３のモデルは、前記関心領域の少なくとも一部を共にモデル化し、前記複数の第３のモデルの適合は、前記特徴の位置の前記推定に基づく、ステップ、
    前記プロセッサにより、前記複数の第３のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップ、
    を更に有する請求項１０に記載の方法。
19. 前記関心領域の所与の部分は、第１の数の前記第２のモデル及び異なる第２の数の前記第３のモデルによりモデル化される、請求項１８に記載の方法。
20. 前記第２の数は前記第１の数より大きい、請求項１９に記載の方法。
21. 前記複数の第２のモデルは、前記画像内のオブジェクトの任意の分解である、請求項１に記載の方法。
22. 前記プロセッサにより、前記複数の第２のモデルを生成するステップ、
    を更に有する請求項１に記載の方法。
23. 前記プロセッサへの入力としてトレーニング画像セットを受信するステップであって、前記トレーニング画像セットの中の各画像は、前記関心領域を表す、ステップ、
    を更に有し、
    前記オブジェクトの前記複数の第２のモデルを生成するステップは、前記トレーニング画像セットに基づく、
    請求項２２に記載の方法。
24. 前記複数の第２のモデルの中の各モデルは、前記トレーニング画像セットの中の画像のサブセットに基づき生成され、前記サブセットは、前記トレーニング画像セットからの置換を伴うランダムなサンプリングにより選択される、
    請求項２３に記載の方法。
25. 前記複数の第２のモデルを生成するステップは、
    前記プロセッサにより、複数のモデルを生成するステップであって、前記複数のモデルのうちの各々は、前記関心領域の少なくとも一部をモデル化する、ステップ、
    前記プロセッサにより、更なるトレーニング画像セットに関して、前記複数のモデルを処理するステップ、
    前記プロセッサにより、前記関心領域の各部分がモデルのサブセットの中の複数のモデルにより表されるように、前記処理に基づき、前記複数のモデルの前記サブセットを選択するステップ、
    を有する、請求項２２に記載の方法。
26. 前記複数の第２のモデルを生成するステップは、
    前記プロセッサにより、第１の複数の第２のモデルを生成するステップであって、前記関心領域の各部分が前記第１の複数の第２のモデルのうちの複数によりモデル化されるようにする、ステップ、
    前記プロセッサにより、第２の複数の第２のモデルを生成するステップであって、前記関心領域の各部分が前記第２の複数の第２のモデルのうちの複数によりモデル化されるようにする、ステップ、
    前記プロセッサにより、前記第１の複数の第２のモデル及び前記第２の複数の第２のモデルを、前記更なるトレーニング画像セットに関して処理するステップ、
    前記プロセッサにより、前記処理に基づき、前記関心領域の前記第１の複数の第２のモデル及び前記第２の複数の第２のモデルのうちの一方を選択するステップ、
    を有する請求項２５に記載の方法。
27. 前記第１の複数の第２のモデル及び前記第２の複数の第２のモデルを、前記更なるトレーニング画像セットに関して処理するステップは、
    前記プロセッサにより、前記第１の複数の第２のモデルを前記更なるトレーニング画像セットの中の各画像に適合するステップ、
    前記プロセッサにより、前記第２の複数の第２のモデルを前記更なるトレーニング画像セットの中の各画像に適合するステップ、
    を有し、
    前記処理に基づき前記関心領域の前記複数の第２のモデルのうちの一方を選択するステップは、前記の２つの適合するステップに基づく、
    請求項２６に記載の方法。
28. 前記複数の第２のモデルのうちの１つ又は各々を生成するステップは、
    前記プロセッサの入力として前記関心領域内の複数の関心点を示すデータを受信するステップ、
    前記プロセッサにより、前記の受信した複数の関心点に基づき、前記複数の第２のモデル又はそれらの各々を生成するステップ、を有する、請求項２２に記載の方法。
29. 前記の受信したデータに基づき、前記複数の第２のモデルの１つ又は各々を生成するステップは、
    前記プロセッサにより、前記の受信した関心点の各々について、前記複数のモデルのうちの１つのための基礎を提供するために、所定の大きさの前記関心領域の一部を選択するステップ、
    を有する、請求項２８に記載の方法。
30. 前記関心領域の各部分は、関心のある特徴を表す、請求項２８に記載の方法。
31. 前記プロセッサの入力としてトレーニング画像セットを受信するステップであって、前記トレーニング画像セットの中の各画像は、前記関心領域を表す、ステップと、
    前記プロセッサにより、複数の点の各々について、前記トレーニング画像セットの中の各画像内の前記関心領域の対応する部分を処理することにより、前記トレーニング画像セットに基づき前記オブジェクトの前記複数の第２のモデルを生成するステップ、
    を更に有する請求項２８に記載の方法。
32. コンピュータプログラムコンピュータ可読命令を伝達する非一時的コンピュータ可読媒体であって、前記命令はコンピュータに画像内の特徴を識別する方法を実行させるよう構成され、前記方法は、
    前記画像内の関心領域を識別するステップ、
    複数の第２のモデルを前記関心領域に適合させるステップであって、前記複数の第２のモデルの各々は前記画像の前記関心領域の各々の部分をモデル化し、前記複数の第２のモデルは共に前記関心領域をモデル化し、前記第２のモデルによりモデル化された前記部分は、前記関心領域の各部分が前記複数の第２のモデルのうちの少なくとも２つによりモデル化されるように重なり合う、ステップ、
    前記複数の第２のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップ、
    を有し、前記複数の第２のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップは、
    前記複数の第２のモデルの前記適合に基づきデータを結合するステップであって、特定の特徴は、前記第２のモデルのうちの２つによりモデル化され、前記結合するステップは、前記第２のモデルのうちの前記２つの各々を適合させることにより生成される前記特定の特徴に関連するデータを結合することにより、前記特定の特徴を識別する、ステップを有し、
    前記結合するステップは、複数の関係を示す格納されたデータに基づき、各々の関係は、ある第２のモデルの少なくとも一部と少なくとも１つの他の第２のモデルの少なくとも一部との間のものである、
    コンピュータ可読媒体。
33. 画像内の特徴を識別するコンピュータ装置であって、
    プロセッサ可読命令を格納するメモリ、
    前記メモリに格納された命令を読み出し実行するプロセッサ、
    を有し、
    前記プロセッサ可読命令は、方法を実行するよう前記コンピュータ装置を制御する命令を有し、前記方法は、
    前記画像内の関心領域を識別するステップ、
    複数の第２のモデルを前記関心領域に適合させるステップであって、前記複数の第２のモデルの各々は前記画像の前記関心領域の各々の部分をモデル化し、前記複数の第２のモデルは共に前記関心領域をモデル化し、前記第２のモデルによりモデル化された前記部分は、前記関心領域の各部分が前記複数の第２のモデルのうちの少なくとも２つによりモデル化されるように重なり合う、ステップ、
    前記複数の第２のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップ、
    を有し、前記複数の第２のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップは、
    前記プロセッサにより、前記複数の第２のモデルの前記適合に基づきデータを結合するステップであって、特定の特徴は、前記第２のモデルのうちの２つによりモデル化され、前記結合するステップは、前記第２のモデルのうちの前記２つの各々を適合させることにより生成される前記特定の特徴に関連するデータを結合することにより、前記特定の特徴を識別する、ステップを有し、
    前記結合するステップは、複数の関係を示す格納されたデータに基づき、各々の関係は、ある第２のモデルの少なくとも一部と少なくとも１つの他の第２のモデルの少なくとも一部との間のものである、
    装置。
    

Images