JP6243453B2 - 血管内画像におけるマルチモーダルセグメンテーション - Google Patents

Description

関連出願の相互参照
本願は、２０１３年３月７日出願の米国仮特許出願第６１／７７４，１５４号に基づく利益及び優先権を主張するものであり、参照により全内容を本願に援用する。

本願は、一般に、血管画像における関心のある特徴を検出することに関する。

循環器疾患は、血管内腔、特に冠状動脈の動脈内腔及び他の脈管構造の内壁上のアテローム沈着物の蓄積から生じ、粥状動脈硬化として既知の状態をもたらすことが頻繁にある。これらの沈着物は、広範囲にわたる特性を有することができ、一部の沈着物は比較的柔らかく、他の沈着物は、線維状であり、及び／又は、石灰化している。後者の場合、この沈着物は、プラークと呼ばれることが頻繁にある。これらの沈着物は、血流を制限し、より重症な場合には心筋梗塞をもたらす恐れがある。

循環器疾患の評価及び後の治療は、種々のイメージングモダリティを利用して、脈管構造の内部を画像化することが多くある。これらのイメージングモダリティは、数ある中でも、蛍光透視画像処理、光干渉断層撮影（ＯＣＴ）画像処理、血管内超音波（ＩＶＵＳ）画像処理及びバーチャルヒストロジー血管内超音波（ＶＨ−ＩＶＵＳ）画像処理を含み得る。蛍光透視法は、Ｘ線を使用して、構造又は対象のリアルタイムの動画像を得る。ＯＣＴは反射光を使用して、深さ分解画像を作成する。ＩＶＵＳは、超音波エコーを利用して、血管及び周囲の領域の画像を取得する。ＶＨ−ＩＶＵＳは、動脈血管の色分けされたマップを生成する画像処理技術であり、異なる組織学的成分には、異なる色が割り当てられる。

これらのモダリティの全てがその独自の方法で有用であるけれども、特に、関心のある特定の特徴を検出する場合に、その制限も有している。例えば、従来のグレースケールＩＶＵＳを使用して、相当な苦労を有することなく血管の内側に置かれたステントを画像化することはできない。加えて、従来のＩＶＵＳは、血管内の血液の存在により、管腔の境界を容易に画像化することもできない。

米国特許第８，２９８，１４７号 米国特許第８，６２０，０５５号 米国特許出願公開第２０１２／０１５５７３４号 米国特許第７，９３０，０１４号 米国特許第８，６００，９１７号 米国特許第８，１８７，８３０号

Ｓｈｅｎ ｅｔ ａｌ．，２００６，Ｅｉｇｅｎｇｅｎｅ−ｂａｓｅｄ ｌｉｎｅａｒ ｄｉｓｃｒｉｍｉｎａｎｔ ｍｏｄｅｌ ｆｏｒ ｔｕｍｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｕｓｉｎｇ ｇｅｎｅ ｅｘｐｒｅｓｓｉｏｎ ｍｉｃｒｏａｒｒａｙ ｄａｔａ，Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ ２２（２１）：２６３５−２６４２ Ｖｅｎａｂｌｅｓ ａｎｄ Ｒｉｐｌｅｙ，２００２，Ｍｏｄｅｒｎ Ａｐｐｌｉｅｄ Ｓｔａｔｉｓｔｉｃｓ ｗｉｔｈ Ｓ ４Ｅｄ，Ｓｐｒｉｎｇｅｒ Ｖｅｒｌａｇ Ｂｒｅｉｍａｎ ｅｔ ａｌ．，１９８４ Ｓｔｒｏｂｌ ｅｔ ａｌ．，２００９，Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｒｅｃｕｒｓｉｖｅ Ｐａｒｔｉｔｉｏｎｉｎｇ：Ｒａｔｉｏｎａｌｅ，Ａｐｐｌｉｃａｔｉｏｎ ａｎｄ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅｓ，Ｂａｇｇｉｎｇ ａｎｄ Ｒａｎｄｏｍ Ｆｏｒｅｓｔｓ，Ｐｈｙｃｈｏｌ Ｍｅｔｈｏｄｓ １４（４）：３２３−３４８ Ｂｒｅｉｍａｎ，２００１，Ｒａｎｄｏｍ ｆｏｒｅｓｔｓ，Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ４５：５−３２ Ｂｒｅｉｍａｎ，１９８４，Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅｓ，Ｂｏｃａ Ｒａｔｏｎ：Ｃｈａｐｍａｎ＆Ｈａｌｌ／ＣＲＣ Ｄ‘Ａｇｏｓｔｉｎｏ ｅｔ ａｌ．，２００１，Ｖａｌｉｄａｔｉｏｎ ｏｆ ｔｈｅ Ｆｒａｍｉｎｇｈａｍ ｃｏｒｏｎａｒｙ ｈｅａｒｔ ｄｉｓｅａｓｅ ｐｒｅｄｉｃｔｉｏｎ ｓｃｏｒｅ：ｒｅｓｕｌｔｓ ｏｆ ａ ｍｕｌｔｉｐｌｅ ｅｔｈｎｉｃ ｇｒｏｕｐ ｉｎｖｅｓｔｉｇａｔｉｏｎ，ＪＡＭＡ ２８６：１８０−１８７ Ｐｅｐｅ ｅｔ ａｌ．，２００４，Ｌｉｍｉｔａｔｉｏｎｓ ｏｆ ｔｈｅ ｏｄｄｓ ｒａｔｉｏ ｉｎ ｇａｕｇｉｎｇ ｔｈｅ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ａ ｄｉａｇｎｏｓｔｉｃ，ｐｒｏｇｎｏｓｔｉｃ，ｏｒ ｓｃｒｅｅｎｉｎｇ ｍａｒｋｅｒ，Ａｍ Ｊ Ｅｐｉｄｅｍｉｏｌｏｇｙ １５９（９）：８８２−８９０ Ｃｏｏｋ，２００７，Ｕｓｅ ａｎｄ ｍｉｓｕｓｅ ｏｆ ｒｅｃｅｉｖｅｒ ｏｐｅｒａｔｉｎｇ ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｃｕｒｖｅ ｉｎ ｒｉｓｋ ｐｒｅｄｉｃｔｉｏｎ，Ｃｉｒｃｕｌａｔｉｏｎ １１５（７）：９２８−３５ Ｗａｎｇ ｅｔ ａｌ．，２００６，Ｍｕｌｔｉｐｌｅ ｂｉｏｍａｒｋｅｒｓ ｆｏｒ ｔｈｅ ｐｒｅｄｉｃｔｉｏｎ ｏｆ ｆｉｒｓｔ ｍａｊｏｒ ｃａｒｄｉｏｖａｓｃｕｌａｒ ｅｖｅｎｔｓ ａｎｄ ｄｅａｔｈ，ＮＥＪＭ ３５５：２６３１−２６３９ Ｇｒｕｎｄ＆Ｓａｂｉｎ，２０１０，Ａｎａｌｙｓｉｓ ｏｆ ｂｉｏｍａｒｋｅｒ ｄａｔａ：ｌｏｇｓ，ｏｄｄｓ，ｒａｔｉｏｓ ａｎｄ ＲＯＣ ｃｕｒｖｅｓ，Ｃｕｒｒ Ｏｐｉｎ ＨＩＶ ＡＩＤＳ ５（６）：４７３−４７９

これらのイメージングモダリティの制限は、循環器疾患を適切に診断する及び治療する努力を妨げ得る。

本発明は、多数のイメージングモダリティから得られるコレジスタされたデータのセットに基づき、血管画像における関心のある特徴を検出する方法を提供する。１つのイメージングモダリティのみに依存して関心のある特徴を検出する従来の画像処理技術と違って、本発明は、多数のイメージングモダリティからの潜在的に補足的な情報を使用し、さらに、抽出された情報を組み合わせて、関心のある特徴を検出することを促進する。本発明は、次に、コレジスタされた画像処理データのセットを分析目的で使用する。例えば、関心のある特徴は、従来のグレースケールＩＶＵＳを使用して検出するのが困難である心血管ステントであってもよい。この例において、本発明は、従来のグレースケールＩＶＵＳを使用してステントを含み且つステントを取り囲む領域の画像を得ることを含んでもよい。情報が、次に、画像から抽出され、さらに、位置データ（すなわち、座標のセット）に変換される。同じ領域が、次に、ＶＨ−ＩＶＵＳ等の第２のイメージングモダリティを用いて画像化される。グレースケールＩＶＵＳにおけるステントは検出するのが困難であるけれども、ＶＨ−ＩＶＵＳにおけるステントは明瞭な形を有し、容易に同定可能である。ＶＨ分析によって、ＶＨ−ＩＶＵＳ及びグレースケールＩＶＵＳのデータセットは空間的にコレジスタされ、その結果、コレジスタされた位置データの組み合わされたセットを提供する。ＶＨ−ＩＶＵＳから抽出された特徴を、グレースケールＩＶＵＳのデータから抽出された特徴と組み合わせて、次に、サーチアルゴリズムを訓練することができ、そのサーチアルゴリズムは、従来のグレースケールＩＶＵＳに戻ってステントを同定するために使用することができる。このマルチモーダル検出アプローチの主要な利益は、補足的なイメージングモダリティから得られるさらなる情報を利用することである。このさらなる情報は、血管のセットにおける関心のある特徴の検出を改善又は促進することができる。

グレースケールＩＶＵＳ、ＶＨ−ＩＶＵＳ、ＯＣＴ、ＭＲＩ、Ｘ線血管造影法及び光音響画像処理を含むいかなるイメージングモダリティも、本発明を実行するのに有用である。さらに、本発明を適用し、上記のイメージングモダリティを使用して関心のあるいかなる特徴の検出も促進することができる。関心のある特徴は、血管の境界又は壁等、生物学的であってもよい。関心のある特徴はまた、非生物学的であってもよい。非生物学的な関心のある特徴は、ステント、バルーン又はカテーテル等、体管腔（ｂｏｄｉｌｙ ｌｕｍｅｎ）内に挿入された医療装置を含んでもよい。

本発明は、上記の方法を実行するシステムも包含する。本発明の特定の態様が、種々のイメージングモダリティからの情報の受け取り及び変換、並びに、多数のモダリティからの位置データの、組み合わされたデータセットへの整列等、特に、コンピュータによる実現に対して受け入れられる。従って、本発明のシステムは、本発明の方法を実行するコンピュータ及びプロセッサを含んでもよい。

血管内画像のコレジストレーションを行うシステムを示した図である。 例示的な血管造影図の画像を描いた図である。 カテーテルの上に乗せられた放射線不透過性マーカーの蛍光透視画像を描いた図である。 断面のＩＶＵＳ画像と並んで例示的な強調放射線画像を描いた図である。 特定の実施形態に従った本発明の方法を実行するシステムを例示した図である。 関心のある特徴を同定するための例証的な方法を描いた図である。 本発明の方法を実行することにおいて使用するためのサーチアルゴリズムを訓練するための例証的な方法を描いた図である。 特定の実施形態に従った単一の画像データセットからの特徴ベースのセグメンテーションを例示した図である。 特定の実施形態に従った多数／マルチモーダルの画像データセットからの特徴ベースのセグメンテーションを例示した図である。

本発明は、多数のイメージングモダリティから得られるコレジスタされたデータのセットに基づき、血管画像における関心のある特徴を検出する方法を提供する。本発明は、多数のイメージングモダリティからの潜在的に補足的な情報にてこ入れし、さらに、モダリティから抽出された情報を組み合わせて、所望の関心のある特徴を検出することを促進する。特定の態様において、本発明は、第１のイメージングモダリティから情報を受け取ること、及び、第１のモダリティからの情報を第１の座標空間、すなわち、位置データ又は座標のセットに変換することを含んでもよい。本発明は、第２のイメージングモダリティから情報を受け取ること、及び、第２のモダリティからの情報を第２の座標空間に変換することも含んでよい。本発明は、第１の座標空間と第２の座標空間とを整列させ、その結果、第１のモダリティからの情報と第２のモダリティからの情報とを組み合わせて、組み合わされたデータセットにすることをさらに含んでもよい。本発明は、次に、組み合わされたデータセットからの情報を適用して、選択されたモダリティにおいて関心のある特徴を探す。例えば、その情報を使用して、関心のある特徴を検出するためのサーチアルゴリズムを訓練してもよい。一般的に言えば、本発明は、コレジスタされたデータセットから得られた情報を利用して、関心のある特徴を検出することを促進する。

多数のイメージングモダリティからの位置データの整列は、典型的には、コレジストレーションと呼ばれる。コレジストレーションは、一般的に、画像を再び並べる、特に、異なるモダリティからの画像を整列させるか又はオーバーレイするいかなる方法も意味する。コレジストレーションは、構造的及び機能的画像をオーバーレイするため、並びに、機能的走査を解剖学的走査に関連づけるために使用されることが多くある。多数のイメージングモダリティからの画像及び位置データのコレジストレーションは、当技術分野において既知である。画像のコレジストレーションに関する詳細は、例えば、参照により全内容を本願に援用する特許文献１、特許文献２及び特許文献３において見つけることができる。

次に、Ｘ線蛍光透視及び血管内超音波を使用して、コレジスタされた血管内データセットを得るコレジストレーションの例証的な方法が記載される。しかし、本発明は、血管内超音波（ＩＶＵＳ）、光干渉断層撮影（ＯＣＴ）、Ｘ線血管造影、コンピュータ断層撮影（ＣＴ）血管造影及び磁気共鳴（ＭＲ）血管造影を含むがそれらの限定されないいかなる及び全てのイメージングモダリティを包含する。

図１は、血管造影図又は蛍光透視画像及び血管内超音波画像のコレジストレーションに有用な本発明のシステムを示している。放射線及び超音波画像データ取得サブシステムは、一般的に、当技術分野においてよく知られている。放射線画像データに関して、患者１０が、血管造影テーブル１２の上に置かれる。血管造影テーブル１２は、テーブル１２上の患者１０に関して操作位置での血管造影／蛍光透視ユニットＣアーム１４の位置決めに対して十分な空間を提供するように構成される。血管造影／蛍光透視Ｃアーム１４によって取得される放射線画像データは、伝送ケーブル１６を介して血管造影／蛍光透視プロセッサ１８に渡る。血管造影／蛍光透視プロセッサ１８は、ケーブル１６を介して受け取った放射線画像データを、血管造影／蛍光透視画像データに変える。血管造影／蛍光透視（「放射線」）画像データは、最初に、プロセッサ１８内に格納される。

当該システムのうち、超音波画像データの取得に関連する部分に関して、イメージングカテーテル２０、特にＩＶＵＳカテーテルが、診断プローブ２２（特にＩＶＵＳプローブ）を含むその遠位端が所望の血管の画像処理位置の近くにあるように患者１０内に挿入される。図１において具体的に同定されていないけれども、プローブ２２の近くに置かれる放射線不透過性材料が、放射線画像においてプローブ２２の現在の位置のしるしを提供する。例として、診断プローブ２２は、超音波を生成し、診断プローブ２２に近接した領域を表す超音波エコーを受け取り、さらに、超音波エコーを対応する電気信号に変える。対応する電気信号は、イメージングカテーテル２０の長手方向に沿って、近位のコネクタ２４まで送られる。プローブ２２のＩＶＵＳバージョンは、単一及び多数のトランスデューサ要素の構成を含む種々の構成で手に入る。多数のトランスデューサ要素の構成の場合、トランスデューサのアレイが潜在的に構成され：イメージングカテーテル２０の縦方向の軸に沿って直線的に、カテーテル２０の縦方向の軸を中心として曲線をなして、縦方向の軸を中心として周囲に等、構成される。

カテーテル２０の近位のコネクタ２４は、カテーテル画像プロセッサ２６に通信可能に接続される。カテーテル画像プロセッサ２６は、近位のコネクタ２４を介して受け取った信号を、例えば、血管セグメントの断面画像に変える。さらに、カテーテル画像プロセッサ２６は、血管の長手方向に沿って撮られた血管のスライスに対応する縦断面画像を生成する。カテーテル画像プロセッサ２６によって与えられるＩＶＵＳ画像データは、最初に、プロセッサ２６内に格納される。

診断プローブ２２によって取得され、さらに、カテーテル画像プロセッサ２６によって処理される診断画像処理データのタイプは、本発明の代わりとなる実施形態に従って変わる。特定の代わりとなる実施形態に従って、診断プローブ２２には、機能流れ測定値（ｆｕｎｃｔｉｏｎａｌ ｆｌｏｗ ｍｅａｓｕｒｅｍｅｎｔ）とも呼ばれる（例えば血流速度及び圧力等の）血行動態情報を提供するために（例えばドップラー及び／又は圧力等）１つ又は複数のセンサが備えられる。そのような代わりとなる実施形態において、機能流れ測定値は、カテーテル画像プロセッサ２６によって処理される。従って、「画像」という用語は、血圧、血流速度／体積、血管断面組成、血液中の剪断応力、血液／血管壁の接触部分での剪断応力等を含む血管情報を表す種々の方法を包含するように広く解釈されるとして意図されるということに留意されたい。血管の特定部分に対する血行動態データを取得する場合、効果的な診断は、脈管構造内の診断プローブ２２の現在の位置を、循環器疾患を示す機能流れ測定基準を同時に観察しながら可視化する能力次第である。血行動態及び放射線画像のコレジストレーションは、病気の血管の正確な治療を促進する。或いは、カテーテルが乗せられたセンサの代わりに、ガイドワイヤ、例えば０．０１８’’以下の直径を有するガイドワイヤの上にセンサを乗せることができる。このように、本発明の実施形態に従って、種々のプローブタイプが使用されるだけでなく、そのようなプローブが遠位端にて乗せられる種々の可撓性の細長い部材（例えばカテーテル、ガイドワイヤ等）も使用される。

コレジストレーションプロセッサ３０は、ライン３２を介してカテーテル画像プロセッサ２６からＩＶＵＳ画像データを受け取り、さらに、ライン３４を介して放射線画像プロセッサ１８から放射線画像データを受け取る。或いは、センサ及びプロセッサ間の通信は、ワイヤレスメディアを介して実行される。コレジストレーションプロセッサ３０は、受け取った画像データから得られる放射線画像のフレームもＩＶＵＳ画像のフレームも含むコレジストレーション画像を与える。本発明の一実施形態に従って、しるし（例えば放射線不透過性マーカーのアーチファクト等）が、同時に表示されたＩＶＵＳ画像データに対応するある位置の放射線画像上に提供される。コレジストレーションプロセッサ３０は、最初に、放射線画像プロセッサ１８からライン３４を介して受け取った血管造影図の画像データを、画像データメモリ４０の第１の部分３６へバッファーリングする。その後、カテーテル処置手順の過程の間に、ライン３２及び３４を介して受け取ったＩＶＵＳ及び放射線不透過性マーカーの画像データが、画像データメモリ４０の第２の部分３８及び第３の部分４２内にそれぞれ格納される。個々に与えられる格納された画像データのフレームは、（例えばタイムスタンプ、シーケンス番号等）適切にタグ付けされて、ＩＶＵＳ画像フレーム及び対応する放射線（放射線不透過性マーカー）画像データのフレームを関連づける。ＩＶＵＳデータではなく血行動態データが取得される一実施形態において、血行動態データは、第２の部分３８内に格納される。

加えて、さらなるマーカーを、血管造影図／蛍光透視画像処理装置の視野内で患者の表面上又は患者の近くに置くことができる。従って、これらのマーカーの位置は、正確な位置において血管造影画像上の放射線不透過性マーカーのアーチファクトを位置決めするために使用される。

コレジストレーションプロセッサ３０は、画像データメモリ４０の第１の部分３６、第２の部分３８及び第３の部分４２内に以前に格納されたデータからコレジストレーション画像を与える。例として、特定のＩＶＵＳ画像のフレーム／スライスが、第２の部分３８から選択される。コレジストレーションプロセッサ３０は、第２の部分３８から選択されたＩＶＵＳ画像データに対応する第３の部分４２内の蛍光透視画像データを同定する。その後、コレジストレーションプロセッサ３０は、第３の部分４２からの蛍光透視画像データを、第１の部分３６から検索された血管造影画像のフレームの上に重ねる。その後、コレジスタされた放射線画像のフレーム及びＩＶＵＳ画像のフレームが、互いに並んで、グラフィックディスプレイ装置５０の上に同時に表示される。ディスプレイ装置５０を駆動するコレジスタされた画像データフレームも、画像データメモリ４０において格納された放射線画像データ及びＩＶＵＳ画像データを取得した手順とは別のセッションにおける後の再調査のために、長期記憶装置６０上に格納される。

図１において示されていないけれども、制御された／測定された様式にて患者からカテーテル２０を引く引戻装置が組み込まれる。そのような装置は、当技術分野においてよく知られている。そのような装置の組み入れは、蛍光透視が活動中ではない時点での視野内のプローブ２２の現在の位置を計算することを促進する。

図２は、血管造影／蛍光透視プロセッサ１８によってキャプチャされた所望の投影（患者／血管の定位）及び拡大における血管造影「ロードマップ」画像２００を示している。例として、画像２００は、最初に、患者の脈管構造内の関心のある領域までのＩＶＵＳカテーテルの追跡に先立ち行われる血管造影手順によってキャプチャされる。血管内のカテーテル２０なしで血管造影手順を行うことによって、最大の造影剤の流れ、より優れた血管の充填、従って、より優れた全体的な血管造影画像が提供される。従って、側枝２１０等の側枝及び他の脈管構造の目印を、グラフィックディスプレイ装置５０の上に表示されるコレジスタされた画像の放射線画像部分の上に表示する及び明確に見ることができる。

図３は、蛍光透視画像において可視のカテーテルの放射線不透過性マーカー３００を示している。カテーテル２０は、その開始位置（例えばＩＶＵＳ引戻手順が始まる位置）まで追跡される。典型的には、カテーテル２０は、以前に進められたガイドワイヤ（図示せず）にわたって追跡される。その後、蛍光透視画像が得られる。図３に示されている画像において、カテーテルの放射線不透過性マーカー３００は可視化されているが、血管腔は、造影剤の流れがないため可視化されていない。しかし、血管造影図においても蛍光透視画像においても存在する位置決定マーカーのセットは、以前に得た血管造影図の画像内でのマーカー画像の適切な位置決め（重ね合わせ）を可能にする。血管造影図の画像の視野内で放射線不透過性マーカー画像を適切に位置決めする他の方法は、本明細書における教示を考慮して当業者には既知になる。さらに、マーカーのアーチファクトを、重ね合わされた画像のフレーム上で（サイズも位置も）自動的に調整して、トランスデューサのおおよその位置に一致させることができる。

図４は、血管造影図の画像上への放射線不透過性マーカーのアーチファクトのオーバーレイ又は重ね合わせから生じる例証的なコレジストレーション画像を示している。例証的なコレジストレーションディスプレイ４０１（関連づけられた放射線画像及びＩＶＵＳ画像を含む）は、選択された血管の断面ＩＶＵＳ画像４００を描いている。放射線画像４１０が、ディスプレイ５０の上でＩＶＵＳ画像４００と並んで同時に表示されている。放射線画像４１０は、蛍光透視画像のフレームによって与えられた放射線画像データから生成され、メモリ４０の第１の部分３６から与えられた血管造影図のバックグラウンド上に重ね合わされたマーカーのアーチファクト４２０を含む。蛍光透視画像のフレームは、観察下で血管内の診断プローブ２２の現在の位置に対応している。血管造影図の画像においても蛍光透視画像においても表された視野の正確なマッチング（すなわち、２つの画像の正確な投影及び拡大）は、図４において表示されているコレジスタされた画像の右側の区画における表示されたＩＶＵＳ画像４００に対応するＩＶＵＳプローブの現在の位置の同定を可能にする。画像のコレジストレーションの考察は、参照により全内容を本願に援用する特許文献４において見つけることができる。

例えば上記の方法を使用することによって、コレジスタされたデータのセットが得られると、次に、コレジスタされたデータのセットを適用して、所与のモダリティにおいて関心のある特徴を検出することを促進することができる。特定の実施形態において、これは、コレジスタされたデータセットを使用して、所与のモダリティにおいて関心のある特徴を検出するためのサーチアルゴリズムを訓練することを含み得る。例えば、関心のある特徴はステントであり得る。ステント及び周囲の脈管構造は、ＩＶＵＳ及びＶＨ−ＩＶＵＳ等の２つのイメージングモダリティを用いて画像化することができる。コレジスタされたデータセットを得るために、特徴が双方から抽出され且つ整列させられる。次に、この組み合わされたデータセットを使用して、例えば、ステントの検出が問題を有することが多くある従来のグレースケールＩＶＵＳにおいてステントを検出するためのサーチアルゴリズムを訓練することができる。サーチアルゴリズムを訓練するための適した方法が次に記載される。

特定の態様において、関心のある特徴が、コレジスタされた血管内データセットで訓練されたサーチアルゴリズムの使用を介してイメージングモダリティにおいて同定される。上記のように、コレジスタされた血管内データセットは、複数のイメージングモダリティからの、血管壁等の関心のある特徴に関する情報を含む。組み合わされたデータセットにおいて提供されるその情報に基づき、サーチアルゴリズムは、所与のイメージングモダリティにおいて関心のある特徴を同定することができる。アルゴリズムは、特定のファクター又はパラメータに焦点を当てて、総合的な評価を行い、さらに、多数のイメージングモダリティから蓄積された位置及び他のデータに基づき関心のある特徴を同定する。一般的に言えば、そのプロセスは、第１のイメージングモダリティを用いて画像を得ること、画像から関心のある特徴を抽出すること、及び、その特徴を位置データ（すなわち座標のセット）に変換することを含む。そのプロセスは、少なくとも、第２のイメージングモダリティを用いて第２の領域の画像を得ること、関心のある特徴を抽出すること、及び、ここでもその特徴を位置データに変換することをさらに含む。第１及び第２のイメージングモダリティからの位置データは、次に、コレジストレーションを介して１つのデータセットに組み合わされ、さらに、組み合わされたデータセットを使用して、所与のイメージングモダリティにおいて関心のある特徴を検出するように構成されたサーチアルゴリズムを訓練する。

アルゴリズムの訓練は、一連の反復ステップを含んでもよく、各連続的なステップは、分析に対して入力されたか又は提示された全てのテストデータ（すなわち位置データ）が包括的に評価されるまで、以前のサイクル（前のイメージングモダリティ）のステップにおいて提示された全てのデータ、及び、関心のある特徴についての関連している情報と組み合わせて、新たなデータのそれぞれ（すなわち、さらなるイメージングモダリティから提供されたもの）を評価する。最後のステップの完了後、分析機能は終結し、さらに、検索結果が、分析機能の完了後に形成される。本発明は、イメージングモダリティから受け取った新たな情報に基づく位置データの修正又は更新も熟考し、そのようなデータは検索の精度を改善するために利用可能になり且つ役立つため、アルゴリズムの一部として含まれる。

本発明のサーチアルゴリズムは、その使用を促進することができるコンピュータプログラム又はコード等、いかなる適したアプリケーションにおいて具体化されてもよい。その適用を具体化するアルゴリズム又はアプリケーションは、コンピュータの内部若しくは外部のハードドライブ、ポータブルドライブ若しくはディスク、サーバー、一時若しくは固定のメモリ装置、又は、アルゴリズム及び／又はその使用から得られる結果の使用を促進することができるいかなる他の記憶手段内に格納されてもよい。アルゴリズム又はアプリケーションは、好ましくは、例えばコンピュータ又はネットワークプロセッサ等、予測分析を促進する少なくとも１つの処理装置と通信している。アルゴリズム又は関連するアプリケーションは、（例えば単一の若しくはネットワーク化されたコンピュータ上で）局所的に、又は、（例えば、インターネットを介した若しくはイントラネットを介したウェブベースのネットワーク等）離れてアクセスされてもよい。

このアルゴリズム又はアプリケーションへのアクセスは、コンピュータ、インターネットアプライアンス、電話装置、ワイヤレス装置等を含むがそれらに限定されないいかなる適した機器の使用を介して促進されてもよい。アルゴリズム、アルゴリズム又はアルゴリズムの使用から得られた結果を具体化するアプリケーションへのアクセスは、一般的なアクセスから、或いは、パスワード、暗号化、生体計測による若しくは音声による駆動、又は、他の適した保護手段を介した使用から守られるか若しくは制限されてもよい。

本発明によって熟考されるように、上記の機能及び実施形態は、ソフトウェア、ハードウェア、ファームウエア、ハード配線、又は、これらのいかなる組合せも使用して行うことができる。機能を行う機構は、種々の位置にて物理的に置くこともでき、機能の一部分が異なる物理的位置にて行われるように分配されることを含む。

本発明の方法の遂行に対して必要であるか又は最も適しているとして当業者は認識するように、本発明のコンピュータシステム又は機械は、バスを介して互いに通信する１つ又は複数のプロセッサ（例えば、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）又はその両方等）、メインメモリ及びスタティックメモリを含む。本発明のシステムは、コンピュータ及びプロセッサだけでなく、コンピュータ可読記憶媒体の命令を含んでもよく、コンピュータ可読記憶媒体の命令は、該命令が実行された場合、コンピュータに第１のイメージングモダリティから情報を受け取らせ、さらに、その情報を第１の座標空間に変換させ、第２のイメージングモダリティからの情報を受け取らせ、その情報を第２の座標空間に変換させ、さらに、第１の座標空間を第２の座標空間と整列させ、その結果、第１のモダリティからの情報と第２のモダリティからの情報とを組み合わせて、組み合わされたデータセットにする。この命令は、さらにコンピュータに、組み合わされたデータセットに基づき、第３のイメージングモダリティにおいて関心のある特徴を検出させる。

図５は、本発明の実施形態によるシステム１００を図で示している。システム１００は、好ましくは、コンピュータ２４９（例えばラップトップ、デスクトップ、タブレット又はスマートフォン等）を含む。コンピュータ２４９は、ネットワーク１０９を横断して通信するように構成されてもよい。コンピュータ２４９は、１つ又は複数のプロセッサ１５９及びメモリ１６３、並びに、入力／出力機構１５４を含む。本発明の方法が、クライアント／サーバーアーキテクチャーを利用する場合、本発明の方法のステップは、サーバー１１３を使用して行われてもよく、サーバー１１３は、プロセッサ１２１及びメモリ１２９のうち１つ又は複数を含み、インターフェースモジュール１２５を介してデータ、命令等を得る、若しくは、結果を提供するか、又は、ファイル１１７として結果を提供する能力を有する。サーバー１１３は、ネットワーク１０９を超えて、コンピュータ２４９若しくはターミナル２６７まで結合されてもよく、又は、サーバー１１３は、１つ又は複数のプロセッサ１７５及びメモリ１７９、並びに、入力／出力機構１７１を含むターミナル１６７に直接接続されてもよい。

本発明によるシステム１００又は機械は、Ｉ／Ｏ１５４又は１７１のいずれに対しても、表示装置（例えば液晶ディスプレイ（ＬＣＤ）又は陰極線管（ＣＲＴ）等）をさらに含んでもよい。本発明によるコンピュータシステム又は機械は、英数字入力装置（例えばキーボード等）、カーソル制御装置（例えばマウス等）、ディスクドライブ装置、信号生成装置、（例えばスピーカー等）、タッチスクリーン、加速度計、マイクロフォン、セルラー無線周波数アンテナ、及び、例えばネットワークインターフェースカード（ＮＩＣ）、Ｗｉ−Ｆｉカード又はセルラーモデムであり得るネットワークインターフェース装置も含み得る。

本発明によるメモリ１６３、１７９又は１２９は機械可読媒体を含むことができ、該媒体上には、本明細書において記載される方法論又は機能のうちいずれか１つ又は複数を具体化する１つ又は複数の命令のセット（例えばソフトウェア等）が格納される。好ましい実施形態において、本発明のコンピュータシステムは、有形の非一時的メモリである１つ又は複数のメモリ装置を含む。ソフトウェアは、コンピュータシステムによるその実行の間、メインメモリ内及び／又はプロセッサ内に、完全に又は少なくとも部分的に存在してもよく、メインメモリ及びプロセッサも、機械可読媒体を構成している。ソフトウェアは、さらに、ネットワークインターフェース装置を介してネットワークを渡って送られるか又は受け取られてもよい。

図６は、本発明の方法のステップを示している。本明細書において記載される方法だけでなく、本明細書において開示されるシステム及び方法のいかなる部分も、上記の装置を含むコンピュータによって行うことができるということが理解されることになる。好ましくは、各ステップは、プロセッサ又は接続された医用画像処理装置によって行われる。画像は、関心のある特徴が同定を要求する所与のモダリティを使用して得られる（２０１）。モダリティは、例えば、グレースケールＩＶＵＳであってもよく、さらに、関心のある特徴は、グレースケールＩＶＵＳでは検出するのが困難であるステントである。関心のある特徴に関する情報は、イメージングモダリティから抽出される。その特徴は、関心のある特徴に関する位置データを含む特徴ベクトルに変えられる。このデータは、次に、コンピュータの中央処理装置（ＣＰＵ）に入力される（２０２）。ＣＰＵは、サーチアルゴリズム等、本発明の方法を行うための命令を格納する記憶装置又はメモリに結合されている。命令は、ＣＰＵによって実行される場合、ＣＰＵに、イメージングモダリティにおいて選択された関心のある特徴を同定させる。ＣＰＵは、イメージングモダリティからのデータを、既知である関心のある特徴に関する位置データに対して複数のイメージングモダリティから得られるコレジスタされたデータのセットで訓練されたアルゴリズムに入力することによって、この決定を提供する（２０３）。コレジスタされたデータのセットは、コンピュータメモリ内等、コンピュータ内で局所的に格納されてもよい。或いは、コレジスタされたデータセットは、サーバー等、コンピュータから離れた位置において格納されてもよい。この例において、コンピュータは、ネットワークを横断して通信して、コレジスタされたデータセットにアクセスする。ＣＰＵは、次に、アルゴリズムに入力されたデータに基づきイメージングモダリティにおいて関心のある特徴を同定する（２０４）。

複数のイメージングモダリティから得られるコレジスタされた位置データのセットを調製した後で、相互相関、主成分分析（ＰＣＡ）、因子回転、ロジスティック回帰（ＬｏｇＲｅｇ）、線形判別分析（ＬＤＡ）、固有遺伝子（Ｅｉｇｅｎｇｅｎｅ）線形判別分析（ＥＬＤＡ）、サポートベクトルマシン（ＳＶＭ）、ランダムフォレスト（ＲＦ）、再帰分割木（ＲＰＡＲＴ）、関連する決定木分類技術、収縮重心（ＳＣ）、ＳｔｅｐＡＩＣ、Ｋ−近傍法、ブースティング、決定木、神経回路網、ベイズのネットワーク、サポートベクトルマシン、及び、隠れマルコフモデル、線形回帰若しくは分類アルゴリズム、非線形回帰若しくは分類アルゴリズム、分散分析（ＡＮＯＶＡ）、階層分析若しくはクラスタ化アルゴリズム、決定木を使用する階層アルゴリズム、カーネル部分最小二乗アルゴリズム、カーネルマッチング追跡アルゴリズム、カーネルフィッシャー判別分析アルゴリズム若しくはカーネル主成分分析アルゴリズム等のカーネルベースのマシンアルゴリズム、又は、他の数学的及び統計学的方法等、よく知られた技術を使用して、サーチアルゴリズムを開発することができる。複数のイメージングモダリティから得られるコレジスタされた位置データのセットは、そのアルゴリズムを訓練するために使用される。イメージングモダリティにおいて選択された関心のある特徴を同定するために、関心のある特徴に関する位置データが、複数のイメージングモダリティから得られ、さらに、コレジスタされた位置データのセットに組み合わされ、次に、コレジスタされた位置データのセットは、入力データ（選択された個々の集団から得られるコレジスタされた位置データに適合されるサーチアルゴリズムへの入力）として使用される。いかなる式又はアルゴリズムも、種々のイメージングモダリティから抽出される関心のある特徴に基づき位置データを組み合わせるために使用することができる。

種々の好ましい式がここで記載されるけれども、ここで記載される及び上記のものの他にいくつか他のモデル及び式のタイプが、当業者にはよく知られている。使用される実際のモデルタイプ又は式は、それ自体が、訓練集団（ｔｒａｉｎｉｎｇ ｐｏｐｕｌａｔｉｏｎ）における能力及びその結果の診断精度の特徴に基づき可能なモデルの分野から選択されてもよい。式の詳述自体は、一般的に、関連している訓練集団における選択されたパラメータの結果から得ることができる。数ある用途の中でも、そのような式は、１つ又は複数の選択されたパラメータの入力から得られる特徴空間をサブジェクトクラスのセットに変換する、ベイズのアプローチを使用してリスクの確率関数の推定を得る、又は、クラス条件確率を推定し、次に、前のようにベイズのルールを使用してクラス確率関数を生成するよう意図され得る。

好ましい式は、広範なクラスの統計学的分類アルゴリズムを含み、特に、判別分析の使用を含む。この判別分析の目的は、以前に同定された特徴のセットから集合の要素を予想することである。線形判別分析（ＬＤＡ）の場合、一部の基準によって群の中からの分離を最大にする特徴の線形結合が同定される。特徴は、異なる閾値を用いる固有遺伝子（ｅｉｇｅｎｇｅｎｅ）ベースのアプローチ（ＥＬＤＡ）、又は、多変量分散分析（ＭＡＮＯＶＡ）に基づくステッピングアルゴリズムを使用して、ＬＤＡに対して同定することができる。Ｈｏｔｅｌｌｉｎｇ−Ｌａｗｌｅｙの統計量に基づき分離なしの確率を最小限にするフォーワード、バックワード及びステップワイズアルゴリズムを行うことができる。

固有遺伝子に基づく線形判別分析（ＥＬＤＡ）は、非特許文献１において開発且つ報告された特徴選択技術である。式は、修正された固有値分析を使用して多変量フレームワークにおいて特徴（例えばパラメータ等）を選択し、最も重要な固有ベクトルに関連する特徴を同定する。「重要」は、ある閾値と比較して分類されるよう試みるサンプル間の差における最大の分散を説明する固有ベクトルとして定義される。

サポートベクトルマシン（ＳＶＭ）は、２つのクラスを分離する超平面を見つけることを試みる分類式である。この超平面は、まさしく超平面からのマージン距離であるサポートベクトル、データポイントを含有している。現在のデータの次元において分離超平面が存在しないあり得る事象において、次元数は、元の変数の非線形関数をとることによりデータをより高い次元に投影することによって大きく拡張される（非特許文献２）。要求はされないけれども、ＳＶＭに対する特徴のフィルタリングによって、予測が改善されることが多くある。特徴（例えばパラメータ／バイオマーカー等）を、ノンパラメトリックなＫｒｕｓｋａｌ−Ｗａｌｌｉｓ（ＫＷ）テストを使用してサポートベクトルマシンに対して同定して、最も優れた単変量特徴を選択することができる。ランダムフォレスト又は再帰分割（ＲＰＡＲＴ，非特許文献３）も、最も重要なパラメータの組合せを同定するために、別々に又は組み合わせて使用することができる。ランダムフォレスト及び再帰分割は、参照により全内容を本願に援用する非特許文献４、非特許文献５、非特許文献６、特許文献５及び特許文献６において考察されている。ＫＷもＲＦも、多くの特徴が全特徴から選択されるということを要求する。ＲＰＡＲＴは、利用可能なパラメータのサブセットを使用して単一の分類木を作製する。

他の式を使用して、個々の選択されたパラメータの測定値の結果を、予測式に対するその提示に先立ち、より価値のある情報の形に前処理してもよい。中でも注目すべきは、集団の平均値に関して、正規分布又は他の分布の位置として、対数又はロジスティック関数等の一般的な数学的変換を使用したパラメータ結果の標準化等は、当業者にはよく知られている。

１つの対象の個々のパラメータの値が潜在的に標準化されることに加えて、全ての対象又はいかなる既知のクラスの対象に対する総合的な予測式も、それ自体を、非特許文献７において概説されている技術、又は、他の類似の標準化及び再校正技術に従って、集団の予測有病率及び平均パラメータ値に対する調整に基づき再校正するか、又さもなければ、調整することができる。そのような調整統計量は、機械可読であってもよいモデルに対して提示された過去のデータのレジストリを介して、又さもなければ、若しくは時折、そのようなパラメータ及び統計量の史的研究に対する格納されたサンプル若しくは参照の遡及クエリ（ｒｅｔｒｏｓｐｅｃｔｉｖｅ ｑｕｅｒｙ）を介して連続的に獲得、確認、改善及び更新することができる。式の再校正又は他の調整の対象であってもよいさらなる例は、オッズ比の制限に対する研究において使用される統計量（非特許文献８を参照）、及び、リスク予測における受信者特性（ＲＯＣ）曲線（非特許文献９、非特許文献１０及び非特許文献１１を参照）を含む。さらに、分類子の式の数値結果自体が、選択された関心のある特徴がすでに同定且つ確認されている実際の正の制御に対するその参照によって後処理変換されてもよい。

図７は、関心のある特徴を探すために使用することができるモデル開発３００に対する例証的な方法を表す流れ図である。方法３００は、図５の例となるコンピューティングシステム環境１００を使用して行われてもよく、さらに、環境１００の作動を説明するために使用されることになる。しかし、方法３００は、コンピューティングシステム環境１００とは異なるシステムによって行うことができるということが認識されるべきである。ブロック３０１にて、選択された関心のある特徴に関するコレジスタされた位置データのセットが、本明細書において記載されてきたように、システムのメモリ１２９、内部若しくは外部のデータベース、又は、他のコンピュータ記憶媒体等のデータ記憶装置から得られる。コレジスタされたデータセットは、最初に、画像において関心のある特徴をキャプチャする種々のイメージングモダリティを含む種々の手段を介して得られてもよく、特徴は、そのイメージングモダリティから抽出され、さらに、位置データ（すなわち、座標のセット）に変えられる。

ブロック３０２にて、コレジスタされたデータセットが、以下に記載されるように、サーチアルゴリズムを訓練するために使用されることになるモデル又は分析の要求を満たすように必要に応じて調製される。例えば、データセットの調製は、各イメージングモダリティから位置データ又はその選ばれたサブセットを調製することを含んでもよい。必要に応じて、（例えば、最近傍補間又は他のパターン認識等の）間隔閉塞（ｇａｐ ｆｉｌｌ）技術、品質検査、（例えば統計学的分類アルゴリズム等の）種々の式を使用するデータの組合せ、（例えば１０進法、自然対数等の）モデルの要求を満たすようにデータの分布を変える対数関数等の標準化及び／又は変換等、種々のデータ調製方法が、アルゴリズムを訓練することに先立ちデータを調製するために使用されてもよい。ここでも、特定のデータ調製手順は、コレジスタされたデータセットを使用して訓練されることになる１つ又は複数のモデル次第である。種々の異なるモデルタイプに対する特定のデータ調製技術は既知であり、さらに記載する必要はない。

ブロック３０３にて、特定の抽出された特徴が、パラメータを選択するために使用される位置データに変換され、パラメータは、所与のイメージングモダリティにおいて関心のある特徴を同定するために使用されるサーチモデルの訓練において後に使用される。コレジスタされた位置データの使用は、最も再現性のある結果を提供するコレジスタされたセットからの位置データのみを利用することを含んでもよい。データセット確認の例は、クロス確認及びブートストラッピングを含んでもよいが、それらに限定されない。パラメータ選択から、所与のイメージングモダリティにおいて関心のある特徴を同定するための最適なサーチモデルが決定且つ選択されてもよい。しかし、全てのモデルが、同じデータセットを用いて同じ結果を提供するわけではないということに留意されたい。例えば、モデルによって、利用する位置データの態様は異なり、さらに、もたらされる結果は異なってもよく、その結果、最適化されたモデルにおける選択される位置データに対する有意性を加える。従って、多数の選択モデルが、所与のモダリティにおいて関心のある特徴を同定するための最適なサーチモデルを同定するために、コレジスタされたデータセット又はコレジスタされたデータセットのサブセットを用いて選ばれ且つ利用されてもよい。コレジスタされたデータセットから位置データを選択するために使用することができる統計学的モデル、アルゴリズム等を含む特定のモデルの例は先に記載されている。

データセット又はそのサブセットを用いて使用される選択モデル毎に、位置データが、モデルにおけるその統計学的有意性に基づき選択される。各モデル内に入力される場合、位置データは、統計学的有意性に対する種々の基準に基づき選択され、さらに、累積投票及び重みづけを含んでもよい。統計学的有意性に対するテストは、出口テスト（ｅｘｉｔ−ｔｅｓｔ）及び分散分析（ＡＮＯＶＡ）を含んでもよい。モデルは、（例えばＬＤＡ、ロジスティック回帰、ＳＶＭ、ＲＦ、木モデル等の）分類モデル、及び、（例えばコックス等の）生存モデルを含んでもよく、その多くの例が先に記載されている。

ブロック３０４にて、関心のある特徴を同定するために使用されることになるサーチモデルが、選択、訓練及び確認される。特に、主要な候補モデルが、１つ又は複数の性能基準に基づき選択されてもよく、その例は、先に記載されている。例えば、データセット又はデータのサブセットを使用することから、種々のモデルでは、モデルだけが、統計学的に有意なパラメータを決定するために使用されるのではなく、結果も、そのパラメータと共に最適なモデルを選択するために使用されてもよい。そのようなものとして、リスクを評価するために使用される評価モデルは、分類モデル及び生存モデルを含む選択モデルとして使用されるモデルのうちの１つを含んでもよい。マーカーのサブセットを含む、モデルマーカーの組合せが、サブセット及び個々のデータのセットにおいて比較及び確認されてもよい。その比較及び確認は、モデルを訓練及び確認するため、並びに、適切なモデルを選ぶために何度も繰り返されてもよく、そのモデルは、次に、糖尿状態のリスクを評価するための評価モデルとして使用される。

次に、特定の筋書きにおける本発明の適用が参照される。これらの実施形態は限定的ではないということが理解されることになる。以下の例において例示されているように、本発明は、多数のデータセット又はイメージングモダリティから得られる血管画像における、血管の境界及びステントストラット等の関心のある特徴の検出に関する。本発明の方法は、多数のイメージングモダリティからの潜在的に補足的な情報にてこ入れし、さらに、各画像から抽出された情報を組み合わせて、標的特徴を検出する。

画像セグメンテーションは、デジタル画像を多数のセグメント（スーパーピクセルとしても既知のピクセルのセット）に分割するプロセスである。セグメンテーションの目的は、画像の表示を、より有意義で分析するのが容易な何かに単純化する及び／又は変えることである。画像セグメンテーションは、典型的には、画像内の対象及び境界（線、曲線等）の位置を突きとめるために使用される。セグメンテーションに対する１つのアプローチは、画像データから特徴をコンピュータ計算及び抽出することである。特徴は、（例えば、位置データに変換する等）組み合わせて特徴ベクトルにすることができ、次に、既知の特徴ベクトル（すなわち至適規準情報）と比べる、又は、訓練された分類子（例えば神経回路網又は他のアルゴリズム等）にかけて、画像データを所定のクラスに分類することができる。

図８は、デジタル画像を多数のセグメントに分割するプロセスを図で表している。図８において示されているように、画像が得られ（８０１）、さらに、画像から特徴が抽出される（８０２）。次に、特徴が、（例えば位置データに変換される等）組み合わされて特徴ベクトルになり（８０３）、次に、特徴ベクトルを使用してサーチアルゴリズムを訓練し（８０４）、所与のモダリティにおいて選択された関心のある特徴を同定することができる（８０５）。しかし、多数のイメージングモダリティから得られる空間的にコレジスタされた血管内画像のセットが与えられると、特徴を、多数の画像からコンピュータ計算及び抽出し、さらに、組み合わせて単一の特徴ベクトルにすることができる。マルチモーダルソースの場合、多数のイメージングモダリティに基づくコレジスタされたデータセットは、補足的な情報を提供することができ、結果として生じる特徴ベクトルは、シングルソースから抽出される場合よりも多くの情報を含有する。従って、このコレジスタされたデータのセットで訓練されたサーチアルゴリズムは、より正確な結果を提供するはずである。

図９は、多数のイメージングモダリティによってキャプチャされた画像を例示し（９０１）、さらに、画像セグメンテーションプロセスの一例を与えている。上記のように、いかなるイメージングモダリティも、本発明に従って使用することができる。例えば、図９において描かれているイメージングモダリティは、ＩＶＵＳ、Ｘ線血管造影及びＯＣＴを含み得る。画像が得られた（９０１）後、画像から特徴が抽出され（９０２）、さらに、位置データに変換される（９０３）。位置データは、次に、組み合わされ且つ整列させられて、コレジスタされたデータのセットにされる（９０４）。このコレジスタされたデータのセット（９０４）は、次に、サーチアルゴリズムを訓練するために使用され（９０５）、サーチアルゴリズムは、所与のモダリティにおいて関心のある特徴を同定するために使用することができる（９０６）。本発明の方法は、以下の非限定的な筋書きにおいて容易に適用することができる。

ＶＨ−ＩＶＵＳ（バーチャルヒストロジー血管内超音波）及びグレースケールＩＶＵＳ（血管内超音波）：ステントは、従来のグレースケールＩＶＵＳを使用して検出するのが困難であると既知である。しかし、本発明の方法を使用して、補足的なＩＶＵＳ及びＶＨ−ＩＶＵＳのイメージングモダリティを組み合わせてより多くの情報を提供することによって、非生物学的な関心のある特徴を検出することができる。ＶＨ分析によって、ＶＨ−ＩＶＵＳ及びグレースケールＩＶＵＳのデータは、すでに空間的にコレジスタされる。ＶＨ−ＩＶＵＳにおけるステントは、ＩＶＵＳ画像において容易に同定することができる明瞭な形を有する。この情報は、グレースケールＩＶＵＳのデータセットにおけるステント検出に対する検索方法を初期化するために使用するか、又は、ステント検出アルゴリズムの一部としてグレースケールＩＶＵＳのデータセットから抽出された特徴と組み合わせることができる。

グレースケールＩＶＵＳ及びＯＣＴのステント検出：上記のように、ステントは、グレースケールＩＶＵＳのみを使用して検出するのが困難である。この例において、本発明の方法は、コレジスタされたＩＶＵＳ及びＯＣＴデータのセットを利用して、ステント検出に寄与する。空間的にコレジスタされたグレースケールＩＶＵＳ及びＯＣＴデータセットのセットが与えられると、特徴を各モダリティから抽出し、さらに、組み合わせて、上記の単一の特徴ベクトルにすることができる。この例は、ＶＨ−ＩＶＵＳ、グレースケールＩＶＵＳ及びＯＣＴを包含するアプローチまで拡張することができる。

グレースケールＩＶＵＳ及びＯＣＴの血管及び管腔の境界検出：この例は上記と同じであるが、関心の特徴は、ここでは非生物学的ではなく生物学的である。この特定のイメージングモダリティの組合せは、管腔境界の検出として有意に有利であり得、グレースケールＩＶＵＳのみでは、血液の存在により、極度にチャレンジングなものであり得る。一方、ＯＣＴは、血液が流れる血管において画像データを取得し、管腔境界を画像化することを促進する。関心のある特徴が血管境界である場合、血管境界は常に管腔の外側にあり、さらに、ＯＣＴデータは管腔を同定することにより適しているという事実を除いては、ＯＣＴデータはより有意ではなくなる。

これらの例は限定的ではないということ、並びに、本発明は全てのイメージングモダリティ及び全ての関心のある特徴を、生物学的であろうと非生物学的であろうと、含むということが理解されることになる。例えば、この血管マルチモーダルアプローチは、ＩＶＵＳ及び／又はＯＣＴデータセットとコレジスタされるＸ線血管造影及び／又はＣＴ血管造影のデータに適用することもできる。さらに、本発明は、唯一の血管内イメージングモダリティとしてＩＶＵＳ及びＯＣＴに限定されない。他の適した血管内イメージングモダリティは、ＭＲＩ及び光音響画像処理を含む。本明細書において記載されるマルチモーダルアプローチの主要な利益は、利用可能な場合は補足的なイメージングモダリティから得られるさらなる情報を利用することである。このさらなる情報は、提供される方法に従って使用される場合に、血管データセットにおける関心のある特徴の検出を改善又は促進する。

参照による援用
特許、特許出願、特許公開、ジャーナル、本、論文、ウェブコンテンツ等、他の文書が、本開示を通して参照及び引用される。そのような文書は全て、全内容が全ての目的のため参照により本願に援用される。

同等物
本発明は、その真意又は必須の特徴から逸脱することなく、他の特定の形で具体化されてもよい。上記の実施形態は、従って、あらゆる点で、本明細書において記載される本発明に対して限定的ではなく例示的であると考慮されることになる。本発明の範囲は、従って、上記の説明によってではなく、付随の特許請求の範囲によって示されており、従って、特許請求の範囲の同等物の意味及び範囲にある全ての変更が、その中に含まれると意図される。

Claims (19)

1. プロセッサを含む、血管画像における関心のある特徴を検出するシステムの作動方法であって、
   前記プロセッサが、第１のイメージングモダリティから情報を受け取り、さらに、前記第１のイメージングモダリティからの情報を第１の座標空間に変換するステップであり、前記第１のイメージングモダリティは、患者の血管内に置かれる血管内装置に付随した血管内イメージングモダリティを含む、ステップ、
   前記プロセッサが、第２のイメージングモダリティから情報を受け取り、さらに、前記第２のイメージングモダリティからの情報を第２の座標空間に変換するステップであり、前記第２のイメージングモダリティは、超音波、光音響イメージング、バーチャルヒストロジー血管内超音波（ＶＨ−ＩＶＵＳ）、光干渉断層撮影（ＯＣＴ）、Ｘ線血管造影、蛍光透視又は磁気共鳴画像処理（ＭＲＩ）のうち少なくとも１つを含む、ステップ、
   前記プロセッサが、前記第１の座標空間と前記第２の座標空間とを整列させ、その結果、前記第１のイメージングモダリティからの情報と前記第２のイメージングモダリティからの情報とを組み合わせて、組み合わされたデータセットにするステップ、及び、
   前記プロセッサが、前記組み合わされたデータセットに基づき、血管画像における関心のある特徴を検出するステップであり、関心のある特徴の検出は、前記組み合わされたデータセットに基づき前記関心のある特徴を検出するためにアルゴリズムを訓練すること、及び、前記組み合わされたデータセットに基づき前記関心のある特徴に対する検索を初期化することを含む、ステップ、
   を含む作動方法。
2. 前記第１のイメージングモダリティは、前記第２のイメージングモダリティとは異なる、請求項１に記載の作動方法。
3. 前記第１のイメージングモダリティ及び前記第２のイメージングモダリティから情報を受け取ることは、前記関心のある特徴に関する情報を受け取ることを含む、請求項１に記載の作動方法。
4. 前記関心のある特徴は、生物学的な関心のある特徴を含む、請求項１に記載の作動方法。
5. 前記生物学的な関心のある特徴は、血管又は管腔壁である、請求項４に記載の作動方法。
6. 前記関心のある特徴は、非生物学的な関心のある特徴を含む、請求項１に記載の作動方法。
7. 前記非生物学的な関心のある特徴はステントである、請求項６に記載の作動方法。
8. 治療手技後の改善の程度を決定するシステムであって、
   プロセッサと、
   命令を含むコンピュータ可読記憶媒体と、
   を含み、
   前記命令は、実行された場合に、当該システムに、
   患者の血管内に置かれる血管内装置に付随した血管内イメージングモダリティを含む第１のイメージングモダリティから情報を受け取らせ、さらに、前記第１のイメージングモダリティからの情報を第１の座標空間に変換させ、
   超音波、光音響イメージング、バーチャルヒストロジー血管内超音波（ＶＨ−ＩＶＵＳ）、光干渉断層撮影（ＯＣＴ）、Ｘ線血管造影、蛍光透視又は磁気共鳴画像処理（ＭＲＩ）のうち少なくとも１つを含む第２のイメージングモダリティから情報を受け取らせ、さらに、前記第２のイメージングモダリティからの情報を第２の座標空間に変換させ、
   前記第１の座標空間と前記第２の座標空間とを整列させ、その結果、前記第１のイメージングモダリティからの情報と前記第２のイメージングモダリティからの情報とを組み合わせて、組み合わされたデータセットにさせ、さらに、
   前記組み合わされたデータセットに基づき、血管画像における関心のある特徴を検出させ、関心のある特徴の検出は、前記組み合わされたデータセットに基づき前記関心のある特徴を検出するためにアルゴリズムを訓練すること、及び、前記組み合わされたデータセットに基づき前記関心のある特徴に対する検索を初期化することを含む、システム。
9. 情報を受け取らせることは、前記関心のある特徴に関する情報を受け取らせることを含む、請求項８に記載のシステム。
10. 前記関心のある特徴は、生物学的な関心のある特徴を含む、請求項８に記載のシステム。
11. 前記生物学的な関心のある特徴は、血管又は管腔壁である、請求項１０に記載のシステム。
12. 前記関心のある特徴は、非生物学的な関心のある特徴を含む、請求項８に記載のシステム。
13. 前記非生物学的な関心のある特徴はステントである、請求項１２に記載のシステム。
14. 前記コンピュータ可読記憶媒体は、当該システムに前記アルゴリズムを訓練させるように作動可能な命令をさらに含み、
    前記第１のイメージングモダリティを用いて第１の画像を取得させる、
    前記第１の画像内の前記関心のある特徴を同定させる、
    前記第１の画像内の関心のある特徴に関連する位置データを取得させる、
    前記第２のイメージングモダリティを用いて第２の画像を取得させる、
    前記第２の画像内の前記関心のある特徴を同定させる、
    前記第２の画像内の関心のある特徴に関連する位置データを取得させる、
    前記第１の画像からの前記位置データと前記第２の画像からの前記位置データとを組み合させる、さらに、
    結果として生じるデータセットを使用させて、前記第１のイメージングモダリティ及び前記第２のイメージングモダリティのうち少なくとも１つにおいて前記関心のある特徴を前記アルゴリズムが検出するのを可能にする、
    命令を含む、請求項８に記載のシステム。
15. 前記コンピュータ可読記憶媒体は、前記アルゴリズムを訓練させる命令をさらに含み、前記アルゴリズムを訓練させることは、一連の反復ステップを含み、連続的なステップが、以前のステップにおいて評価されたデータと組み合わせて新たなデータを評価する、請求項８に記載のシステム。
16. 血管画像における関心のある特徴を検出するシステムであって、
    プロセッサと、
    命令を含むコンピュータ可読記憶媒体と、
    を含み、
    前記命令は、実行された場合に、当該システムに、
    患者の血管内に置かれる血管内装置に付随した血管内イメージングモダリティを含む第１のイメージングモダリティから位置データを受け取らせ、さらに、前記位置データを第１の座標のセットに変換させ、
    前記第１のイメージングモダリティとは異なる第２のイメージングモダリティから位置データを受け取らせ、さらに、前記位置データを第２の座標のセットに変換させ、
    前記第１の座標のセットと前記第２の座標のセットとを整列させることによって、組み合わされたデータセットを作成させ、さらに、
    前記組み合わされたデータセットに基づき、血管画像における関心のある特徴を検出させる、
    システム。
17. 位置データは、前記関心のある特徴の位置に関するデータを含む、請求項１６に記載のシステム。
18. 前記第２のイメージングモダリティは、バーチャルヒストロジー血管内超音波（ＶＨ−ＩＶＵＳ）、光干渉断層撮影（ＯＣＴ）、Ｘ線血管造影及び磁気共鳴画像処理（ＭＲＩ）を含む群から選択される、請求項１６に記載のシステム。
19. 前記コンピュータ可読記憶媒体は、実行された場合に当該システムに、前記組み合わされたデータセットを使用して、前記関心のある特徴を検出するためにアルゴリズムを訓練させる命令をさらに含む、請求項１６に記載のシステム。

Images