JP5837748B2 - 撮像データのレジストレーションのためのシステムおよび方法 - Google Patents

Description

本発明は、医用撮像データのレジストレーションを可能にするためのシステムおよび方法に関し、さらに詳しくは、診断分解能を高める目的で組織撮像データのレジストレーションを可能にするシステムおよび方法に関する。

医用撮像は、臨床または研究目的のために人体またはその部分を撮像するために日常的に使用される。

７０年以上にわたって医用撮像はほぼ例外なく従来のフィルム／スクリーンＸ線撮像に依存してきた。しかし、この４０年間に医用撮像は大きい技術的成長を経験し、その結果、新しい撮像技術の開発および商業化をもたらした。Ｘ線コンピュータ断層撮影、磁気共鳴撮影、デジタルサブトラクション血管造影、超音波、サーモグラフィ、および核放出撮影（例えばＰＥＴ、ＳＰＥＣＴ等）を含むそのような新しい技術は今では、病気の発見および診断に日常的に使用されている。

そのような診断技術の利用可能性は、医師に選択できる一連の診断ツールをもたらし、かつ潜在的に、幾つかの異なる撮像手法の相関関係（レジストレーション）をも可能にし、こうして診断の精度を大幅に向上させる。

選択できる一連の診断ツールを持つことにより、病気を診断する医師の能力を潜在的に高めることができるが、診断精度を高める上で最大限の潜在的能力を有するのは、幾つかの撮像手法の結果の相関関係である。

患者は複数の撮像手法（例えばＸ線および超音波）を受けることができるが、得られた画像を相互に位置合わせまたは相関させることは容易ではない。撮像面の大きさ、位置、または方向付けの違いはほとんど不可避である。特定の組織（例えば乳房）では、撮像レジストレーションは、撮像技術の結果生じ得る組織の変形（例えばマンモグラフィプレート間の乳房組織の圧縮）によってさらに妨げられる。

先行技術には、医用画像のレジストレーションを可能にするための手法が多数存在し、ほとんどが典型的に３Ｄ撮像手法（例えばＭＲＩ）を用いて構成される方向付けマーカまたはモデルの使用を必要とする。

先行技術のレジストレーション手法は典型的に、Ｘ線、超音波、またはＭＲＩによって得られた撮像データを位置合わせするように設計されている。しかし、サーモグラフィ撮像の場合、そのような手法は、サーモグラフィデータは内部組織というよりむしろ撮像される身体部分の表面から導出されるので、正確なレジストレーションを達成することができない。

サーモグラフィ画像は典型的には、対象者の身体から幾つかの赤外波長範囲のいずれか１つの放射を収集し、放射を解析して表面の２次元温度マップを提供することによって得られる。サーモグラフィ画像は、対応する温度データの有無に関わらず視覚的画像として表すことができる。赤外線サーモグラフィに使用される赤外線カメラからの出力は典型的に、複数の画素データ点を含む画像を提供し、各画素は、カラーコードまたはグレースケールコードを用いて視覚的に表示される相対温度情報を提供することができる。この情報をコンピュータソフトウェアによってさらに処理し、例えば、全画素またはその部分集合に関連付けられる温度データを平均することによって、画像の平均温度、または画像の離散エリアを生成することができる。

体温の変化は疾患の存在を示す（例えば炎症は体温の上昇を引き起こす）ことができるので、サーモグラフィ画像は、医師がある部位に疾患の存在が含まれるか否かを決定するために使用することができる。

本発明を実行に移しながら、本発明の発明者らは、表面輪郭データを、特に熱撮像データと組み合わせたときに、撮像モダリティのレジストレーションに使用することができることを発見した。

本発明は、組織領域から撮像データを得る方法であって、（ａ）第１状態の組織領域の第１表面輪郭を得るステップと、（ｂ）第１状態の組織領域から第１撮像データを得、それを第１表面輪郭と関連付けるステップと、（ｃ）第２状態の組織領域の第２表面輪郭を得るステップと、（ｄ）第１表面輪郭および第２表面輪郭を用いて、第２状態時の組織領域をモデル化するステップと、（ｅ）第１撮像データを第２状態の組織領域に関連付けられる第２撮像データに変換するステップと、を含む方法を提供する。

本発明の好適な実施形態によると、撮像データは熱撮像データである。

本発明の好適な実施形態によると、撮像データはＸ線撮像データである。

本発明の好適な実施形態によると、撮像データは超音波撮像データである。

本発明の好適な実施形態によると、撮像データの変換は、モデルに従って前記第１撮像データの撮像面を補正することによって達成される。

本発明は、撮像データのレジストレーションのための簡単でしかも極めて効果的なアプローチを提供することによって、現在知られている構成の欠点に対して成功裏に対処しようとするものである。

別途定義されない限り、本明細書で使用されるすべての技術的用語および／または科学的用語は、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。本明細書に記載される方法および材料と類似または同等である方法および材料を本発明の実施または試験において使用することができるが、例示的な方法および／または材料が下記に記載される。矛盾する場合には、定義を含めて、本特許明細書が優先する。加えて、材料、方法および実施例は例示にすぎず、限定であることは意図されない。

本明細書では本発明を単に例示し図面を参照して説明する。特に詳細に図面を参照して、示されている詳細が例示として本発明の好ましい実施態様を例示考察することだけを目的としており、本発明の原理や概念の側面の最も有用でかつ容易に理解される説明であると考えられるものを提供するために提示していることを強調するものである。この点について、本発明を基本的に理解するのに必要である以上に詳細に本発明の構造の詳細は示さないが、図面について行う説明によって本発明のいくつもの形態を実施する方法は当業者には明らかになるであろう。

図１Ａ−Ｂは、本発明のシステムの教示に従って構成された画像レジストレーションのためのシステムを概略的に示す。 図１Ｃ−Ｄは、本発明のシステムの教示に従って構成された画像レジストレーションのためのシステムを概略的に示す。

図２は、本発明のシステムのための較正ターゲットとして使用することのできる、表面格子模様付きの三角錐を示す。

図３は、本発明のシステムの熱撮像カメラを較正するために使用することのできる較正ターゲットを示す。

図４は、本発明のシステムを用いることによって構成された、女性の乳房の３次元輪郭モデルを示す。

図５は、本発明によって利用されるサーマルカメラによって取り込まれた熱画像を示す。

図６は、本発明のシステムによって構成された女性の乳房の３次元輪郭モデルへの熱データの重ね合わせを示す。

本発明は、撮像データのレジストレーション、および幾つかの撮像モダリティによって得られたデータの相関に使用することのできるシステムおよび方法である。

本発明の原理および操作は、図面および付随する説明を参照してより良く理解されることができる。

本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明は、その適用において、下記の説明に示される細部、または、実施例によって例示される細部に限定されないことを理解しなければならない。本発明は他の実施形態が可能であり、あるいは、様々な方法で実施、または、実行される。また、本明細書中において用いられる表現法および用語法は説明のためであって、限定として見なされるべきでないことを理解しなければならない。

医用撮像は、患者の診断を可能にするために多数の撮像モダリティ選択肢を提示する。しかし、そのようなモダリティによって得られた画像を相互に位置合わせまたは相関させることは容易ではないので、往々にして診断は、単一撮像モダリティの使用または種々の撮像データ間を相関する医師の能力に依存する。

（２次元画像の）投影面の大きさ、位置、または方向付けの違いは不可避であり、画像間の自由な相関をほぼ不可能にしている。特定の組織（例えば乳房）では、撮像レジストレーションは、撮像技術の結果生じ得る組織の変形（例えばマンモグラフィプレート間の乳房組織の圧縮）によってさらに妨げられる。

本発明を実行に移しながら、本発明の発明者らは、医用撮像レジストレーションのための単純でしかも効果的な手法を考案した。そのような手法は、任意の時間に任意の設定で得た撮像モダリティデータを位置合わせするために使用することができ、したがって以前は関連付け不能であった撮像データのみならず、履歴撮像データも相関させることを可能にする。

したがって、本発明の１態様では、組織領域から撮像データを得る方法を提供する。

本書で使用する場合、語句「組織領域」とは、器官、肢、または解剖学的関心領域を画定する領域を含め、身体の組織の任意の領域を指す。好ましくは、組織領域またはその一部分の表面は、例えば光撮像を介して（外部すなわち皮膚並置の組織領域の場合）または他の撮像技術（例えば体内に位置する表面を有する組織領域の場合、熱撮像）を介してマッピングすることのできる輪郭を有する。

本発明の方法は、第１状態の組織領域の表面輪郭データを第１状態の組織領域からの撮像データと関連付けることによって達成される。

本書で使用する場合、語句「撮像データ」とは、撮像手法によって得られるデータを指す。そのようなデータは、処理してコンピュータスクリーンのようなディスプレイ上に提示することのできる、２次元または３次元データファイルの形にすることができる。そのようなデータは、超音波データ、Ｘ線データ、磁気撮像データ、核医学データ、サーモグラフィデータ、光学撮像データ、電気インピーダンスデータ、光音響撮像データ、弾性データ、マイクロ波撮像データ等とすることができる。

表面輪郭情報は、幾つかの手法を用いて収集することができる。皮膚膨隆組織領域（例えば乳房）の場合、皮膚の輪郭は撮像装置（例えばＣＣＤまたはＣＭＯＳ可視光カメラ）を用いてマッピングし、色および／または幾何学的パターンを投影または適用することができる（さらなる説明については、以下の実施例の節を参照されたい）。皮膚輪郭情報はまた、座標測定機を用いて得ることもできる（ｗｗｗ．ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｏｏｒｄｉｎａｔｅ−ｍｅａｓｕｒｉｎｇ＿ｍａｃｈｉｎｅ）。

多くの場合、ひとたび表面輪郭情報を得ると、それを処理して、例えば図４に示すような表面輪郭の３次元モデルを生じる。そのような輪郭モデルは組織領域の３次元外観を表し、したがって組織領域内の組織から得られた撮像データのための参照マップとして使用することができる。

同じ組織領域が、撮像データを得るために超音波、ＭＲＩ、ＣＴ等のようなモダリティをも使用して撮像される。本方法論のこのステップは、表面輪郭情報を得るステップの前、それと同時に、またはその後に行うことができることは理解されるであろう。

いずれの場合も、表面輪郭情報および撮像データは、組織領域の表面輪郭と撮像を介して得られたデータとの間の相関を可能にするような仕方で収集される。そのような相関を可能にするために使用できる１つの手法は、較正ターゲッの使用が関係する。そのようなターゲットは、取り込まれた輪郭の空間的方向付けおよび撮像データをマッピングし、したがって撮像モダリティ装置／システムで表面輪郭の取込みに使用した装置を較正するために使用することのできる、１つ以上の基準点をもたらす。較正ターゲットの使用については、可視光撮像を介して得られた輪郭データに関連して後述する実施例の節でさらに詳細に説明する。

較正ターゲットの使用は、輪郭および撮像データの取込みに使用した装置の較正を可能にし、その場合これらの装置が同一の面および領域を撮像するようにこれらの装置の位置および方向付けを較正することができ、あるいは代替的に、そのような較正は、輪郭または撮像データを同一基準点にマッピングすることによって、それらを補正するために使用することができる。いずれの場合も、ひとたび装置またはそれによって得られた画像が較正されると、それによって得られた画像は完全に相関可能であり、合成画像を提供するために使用することができる（図６参照）。

例えば超音波データを表面輪郭データと相関させることにより、超音波撮像を他のモダリティ（例えばサーモグラフィ、Ｘ線）によって得られる撮像と相関させるために使用することのできる情報を生じることができる。標準超音波画像は、超音波プローブ内の発信器から発信される超音波波面によって画定される２次元面によって具現される。超音波は体組織によって、通常同じくプローブ内に位置する受信器に反射する。超音波は、プローブの位置および角度によって決定される仕方で伝搬する。プローブ位置はまた、体内のどの面が撮像されるかをも決定する。したがって、画像が得られた時点で、プローブの角度、そこから放出される波面の方向、およびプローブの位置の間の関係が分かっている場合、身体に対する撮像面の位置を決定することができる。

超音波プローブは身体に手動で配置されるので、かつプローブと（撮像が要求される）皮膚との間の接触は輪郭の変形を導くので、超音波画像の面は、画像取込み毎に毎回変化する。その結果、画像毎に、組織の異なる幾何学的構造が取り込まれる。そのような画像を単一の組織領域／構造に相関させることは、変形モデルに基づいて変形関数を適用することによって達成することができる。これらのモデルは、表面上の空間位置に加えて、組織内部の空間位置に適用することができる。

本書に記載する３Ｄ（輪郭）モデリングを使用して組織領域の状態（例えば変形状態）を認定し、かつ位置および／または状態を撮像データ（例えば超音波撮像面）と関連付けることによって、異なる組織状態で取得した幾つかの撮像面間の相関を行うことができる。相関は変形変換によって基準３Ｄ画像と各超音波画像との間で行うことができ、したがって各超音波撮像面を３Ｄ画像内の位置およびしたがって組織領域内の位置と相関させることができる。

ひとたび撮像モダリティが本発明を用いて得られた表面輪郭データと相関されると、組織領域の表面輪郭の変化（すなわち状態の変化）は、撮像データを「補正」するために使用することができる。

較正ターゲットは、表面および撮像データの同時較正を可能にするように、幾つかの特徴を備えなければならない。
（ｉ）表面、輪郭、および撮像データの取得に使用される装置に可視でなければならない。例えばターゲット上に設けられる空間基準点が、それによってえられるデータに含まれなければならない。
（ｉｉ）装置の空間的位置および角度（撮像または投影）を正確に決定しなければならない。
（ｉｉｉ）それによって得られたデータは、予め取得した３Ｄデータ（例えばＭＲＩデータ）と相関可能でなければならない。

医用撮像データは、関心データ点（例えば腫瘍塊のような異常組織を表すデータ点）の集合を含む。種々の撮像モダリティを比較するときの医師の主な関心は、異なるモダリティ間で、または同じ撮像データを幾つかの異なる時点で取得することにより発生する、組織または撮像データのシフトまたは移動である。特に、組織の異なる面が撮像されるとき、かつ／または組織領域が異なる撮像位置等から生じ得る異なる力を受けるときに、関心データ点は画像の同一領域には現れない。

したがって、撮像モダリティの有効なレジストレーションは、有効な画像レジストレーションのための撮像面のみならず、組織の変形をも考慮に入れなければならない。

撮像データを表面輪郭データにマッピングすることによって、本発明は、有効でしかも単純な画像レジストレーションのみならず、組織の変形に対する撮像データの補正および異なる角度および位置から得られる撮像モダリティのマッチングをも可能にする。

撮像データのそのような補正またはレジストレーションは、本発明の手法によって得られる輪郭データに関連付けることのできる組織変形モデルを使用することによって、さらに向上することができる。そのような補助的変形補正は、撮像される組織が撮像装置（例えばマンモグラフィ装置）によって変形され、かつ組織領域内の組織が組織の不均質性のため均等な変形を示さない場合に適用することができる。

組織変形モデルは当業界で周知であり、例として有限要素法および線形弾性理論が挙げられる。そのようなモデルは、組織領域内の種々の組織の変動する変形に対し補償することによって、組織内のデータ点位置の補正をさらに増強するために使用することができる。

そのようなデータは、３Ｄ輪郭取得を熱撮像と共に組み合わせることによって取得することもできる。これは、第１状態の組織領域（例えば乳房）から（好ましくは異なる角度から）複数の熱画像を取り込み、かつ組織内の幾つかの熱的ランドマーク（容易に認識可能でありかつ組織全体で均一に間隔配置されることが好ましいランドマーク）の位置を決定することによって、達成することができる。次いで同一画像を、組織が制御された変形を受ける（すなわち組織領域が第２状態にある）ときに取り込むことができ、ランドマークの位置が再び決定される。両状態のランドマークの位置を比較することによって、（加えられた力に対する）相対的組織コンプライアンスのマップを個々の撮像対象に対して作成することができる。そのようなマップは、組織領域内の組織をモデル化するため、かつ組織領域が変形するときの組織領域内の離散位置のシフトを予測するために、使用することができる。

本発明は、いずれかの撮像モダリティから得られたデータを補正し、かつ位置合わせするために使用することができる。本発明の手法の恩恵を受けることのできる１つの特定のモダリティは、熱撮像である。

熱撮像は、外部および内部組織領域のどちらも撮像するために使用することができ、高精度かつ高感度の温度マップおよびしたがって関心組織領域の病理学的状態を提供する。

日常的に熱撮像装置を介して撮像される組織として、臓器のみならず、乳房、血管、および筋肉も挙げられる。

熱撮像レジストレーションに適用される場合、本発明の手法は、本書に記載する通り得られた表面輪郭データへの熱撮像データの重ね合わせを可能にする。そのような重ね合わせは、熱撮像データのレジストレーションに２つの利点をもたらす。すなわち、そのようなデータを（本書で上述したように）他の撮像モダリティから得られたデータと相関させる能力、および（撮像）表面熱データとこのデータの実際の内部発生源との間のより正確な相関である。

サーマルカメラは２次元画像を取り込む。その出力は、その検出器に衝突する光子の数に対応する。入射光子の数に応じて電気信号が発生する。カメラはこの信号を、温度値または相対グレーレベル値を表すことのできる数値に「変換する」。

３Ｄ物体の２Ｄ熱画像では、（カメラに対して斜めに位置する）傾斜領域に対応する画素は、カメラによって検出されるより大きい領域から赤外放射が放出され、それはカメラには分からないので、情報が欠如している。

本発明の手法では、サーマルカメラから得た値と観察された物体との間でさらなる接続が行われ、標準熱画像から取得される２Ｄ情報がさらに増強される。本書でさらに記述する通り、サーマルカメラは３Ｄ撮像システムにより較正され、物体の３Ｄ画像および熱画像が得られる（下の実施例の節参照）。較正は、２Ｄ熱画像からの画素値を３Ｄ物体における対応する領域にマッチングさせることを可能にする。この領域はしばしば１画素のサイズより大きいので、３Ｄ物体からの情報によると、情報はより大きい領域とマッチングされる。３Ｄ構造が考慮され、２Ｄ熱画像の単一画素のように見えるものが真の領域サイズと相関され、したがって追加熱情報がもたらされるので、これは物体の放射をより正確に反映する。

本発明の方法論は、ソフトウェアおよびハードウェアコンポーネントを有するシステムを用いて実行することができる。

図１ａ〜ｄは、本書でシステム１０と呼ぶ、撮像データのレジストレーションのためのシステムを示す。システム１０は乳房撮像の文脈で記載されているが、本発明のシステム１０は、例えば胃、背中等を含め、他の身体領域の診断にも使用することができることに留意されたい。

図１ａに示す通り、システム１０はプロジェクタ１２および可視光カメラ１４を含む。システム１０はさらに、プロジェクタ１２およびカメラ１４と通信する処理ユニット１８を含む。処理ユニット１８は、カメラ１４によって取り込まれたデータを取得しかつ処理しながら、投影されたパターンをプロジェクタ１２に通信するように構成される。その点に関して、プロセッサ１８は投影ファイルを格納し、データ収集および処理を可能にするソフトウェアを実行する。その趣旨で、輪郭モデルを生成するために、取り込まれた画像を処理するように、ＭａｔＬａｂ^ＴＭのようなソフトウェアスイートを構成することができる。

システム１０の構成要素は単一ハウジング内に含めるか、あるいは個別に収容されるが相互接続された装置として提供することができる。

撮像データの取得前に、システム１０は、本書で後述する実施例の節の実施例１に記載の通り、プロジェクタ１２およびカメラ１４が共整合するように、較正ターゲット（図２に例証する）を用いて較正される。較正の後、システム１０は次いでターゲット組織（図１ａに示す乳房２０）から画像情報を取り込むために利用される。カメラ１４によって取り込まれる画像情報は、各々が組織領域の表面に投影される異なるパターン２２を含む、複数の取込みフレームを含む。取り込まれたフレームは次いで処理ユニット１８によって処理されて、３Ｄ輪郭データを生じる（例を図４に示す）。

セットアップ後に、システム１０を撮像モダリティと共に利用することができ、それによって撮像データのレジストレーションが可能になる。

図１ｂは、超音波プローブによって取得されるイメージデータを位置合わせする際のシステム１０の使用を示す。

乳房輪郭データが上述の通り取得され、超音波撮像前に乳房輪郭モデルが生成される。次いで超音波プローブ２４を使用して乳房組織を走査し、１つ以上の超音波走査面で１つ以上の画像を取得する。各画像／面に対し、システム１０は、超音波プローブによって変形した乳房の輪郭、ならびに超音波プローブの角度およびしたがって投影面、ならびにしたがって取得した超音波画像の面を含む情報を取得する。

超音波撮像の前および途中に収集されたデータは次いで、超音波画像を輪郭モデルに相関させ、かつ得られた超音波画像を、超音波検査前に得られる非変形乳房モデルに補正するために使用することができる。

図１ｃは、Ｘ線イメージャによって取得したイメージデータのレジストレーションにおけるシステム１０の使用を示す。

乳房のＸ線撮像（マンモグラフィ）において、乳房組織はプレート間で圧迫され、したがって変形される。乳房の圧迫前に、上述の通り、乳房輪郭データが取得され、乳房輪郭モデルが生成される。

そのようなモデルの生成後に、乳房２０はマンモグラフィプレート２６間で圧迫され、次いで乳房のＸ線画像が取得される。乳房２０はまたシステム１０を用いても撮像され、変形した状態の乳房２０の輪郭モデルが生成される。輪郭モデリングを向上するために、輪郭モデルはプレートおよびそれらのそれぞれの配置を考慮に入れることができる。

変形した乳房２０の輪郭モデルを次いで取得したＸ線データと相関させ、乳房２０の圧迫前に取得した輪郭データに従って補正することができる。

図１ｄは、熱撮像装置によって取得したイメージデータのレジストレーションにおけるシステム１０の使用を例証する。

そのような較正において、システム１０は、カメラ１４および熱撮像装置２８の両方に感応する較正ターゲットを利用する。そのような較正ターゲットを図３で例証する。

システムの全ての装置が同じ軸に対して較正され（カメラ１４、プロジェクタ１２、および熱撮像装置２８）、乳房の輪郭モデルが取得されると、熱画像の取込みのために熱撮像装置２８が利用され、輪郭データ上に重ね合わされた熱データの合成画像が処理ユニット１８によって生成される（以下の実施例の節で詳述する）。

したがって、上述した撮像手法によって得られたデータは、相互取得された輪郭データと統合され、データ補正のために使用され、したがって本発明のシステム１０を用いて取得された種々の撮像モダリティ間の相関を可能にする。

例えば（システム１０と共に）超音波を介して取得した撮像データは、（システム１０によって生成された）３Ｄ輪郭モデルを用いて補正することができ（例えば撮像面、深さ等まで調整される）、補正された撮像データは、同様に補正された熱データまたはＸ線データと相関させることができる。同様に、本発明のシステム１０を使用しながら取得した熱データは、例えば乳癌の診断目的で、Ｘ線データと位置合わせすることができる。

撮像データの補正は、補正後のデータが単一正規化状態（例えば乳房組織の場合、そのような状態は直立の物体に観察される状態とすることができる）の組織領域を表すように行うことができ、あるいは代替的に、１つの手法によって取得した撮像データが第２の手法を用いて撮像された組織の組織状態（変形状態）を表すように、補正を行うことができることは理解されるであろう。例えばＸ線データは、フィルム上に提供され、したがって容易に操作することができない場合、補正後の超音波画像がＸ線撮像のそれと同一の（例えばプレート内で圧迫された）変形状態で撮像された組織を表すように補正された超音波画像と比較することができる。

いずれの場合も、２つの位置合わせされた画像を（ソフトウェアファイルまたはハードコピーとして）単純に重ね合わせることによって手動的に、または撮像データを統合しかつ関心データ点を分離することによってコンピュータで、達成することのできる撮像データのそのような相互レジストレーションは、治療医が病理の存在を高い信頼度で検証することを可能にし、こうして診断精度を大幅に向上させる。

本発明を医用撮像の文脈で説明したが、本発明の方法およびシステムが、例えば機械工学等を含め、他の分野に用途を見出すことは理解されるであろう。

この特許の存続期間の期間中には、多くの関連する撮像モダリティが開発されることが予想され、撮像データの用語の範囲は、すべてのそのような新しい技術を先験的に包含することが意図される。

本明細書中で使用される用語「約」は、±１０％を示す。

本発明の追加の目的、利点、及び新規な特徴は限定されることを意図されない以下の実施例の精査により当業者に明らかになるだろう。さらに、特許請求の範囲で述べられかつ上述のように記載された本発明の様々な実施形態及び態様の各々は、以下の実施例において実質的な裏付けを見出せる。

次に下記の実施例が参照されるが、下記の実施例は、上記の説明と一緒に、本発明を非限定様式で例示する。

実施例１
熱データと重ね合わされた輪郭モデル
女性の乳房の表面輪郭のモデルを生成し、その上に熱データをマッピングするために利用した。

材料および方法
３次元輪郭データは、プロジェクタ（Ｍｉｔｓｕｂｉｓｈｉ ｅｌｅｃｔｒｏｎｉｃｓモデルＸＤ２０６Ｕ）およびカメラ（ＰｉｘｅｌｉｎｋモデルＰＬ‐Ｂ７４１Ｆ）を用いて得た。熱画像はサーマルカメラ（ＦＬＩＲモデルＰＨＯＴＯＮ ＯＥＭ）を用いて得た。

表面輪郭に重ね合わされた熱データを得るために、較正ターゲットを用いてサーマルカメラおよび可視光カメラを相互較正しなければならない。システムに従ってひとたび装置の各々の位置が固定されると、システムを較正することが必要なだけである。（ビデオおよび熱）カメラの較正は、これらのカメラによって取り込まれた画像に存在する画素を既知の空間基準点と相関させることによって達成される。同様に、プロジェクタは、投影された画素をそのような基準点と相関させることによって較正される。物体の３次元の特徴を再構成するために、プロジェクタによって物体に投影されるパターンの画像がカメラによって取り込まれ、取り込まれた画像の画素が解析され（本書で後でさらに説明する通り）、かつ空間基準点とマッチングされる。

較正のために選択された空間基準点は、表面格子模様を持つ三角錐（図２）のような較正ターゲット上に提示することができる。

装置の較正は次のように行われる。較正ターゲット上で原点、例えば三角錐（図２）の真ん中から突出する点が選択される。ビデオカメラの較正のための基準点は正方形の「隅」であり、サーマルカメラに対して選択される基準点は正方形の中心である。

取り込まれた画像で、各基準点は１組の画素座標（ｕ，ｖ）によって特徴付けられる。画定された原点に対するそれらの空間座標（ｘ，ｙ，ｚ）は既知である。計算の簡素化のために、両方の座標を同次座標によって表すことができる。較正マトリックスＰは、画素座標（ｕ，ｖ）とそれらの空間位置（ｘ，ｙ，ｚ）とを相関させることによって構成される。このマトリックスは次の方程式を解く。

その大きさは（３，４）であり、したがってそれは、装置の固有パラメータ（画素サイズ、焦点距離等）および外因性パラメータ（装置の位置；空間内の選択された原点と比較した角度および変位）から成る１２個の要素を含む。加えて、マトリックスは射影実現を含む。

マトリックスは１２個の要素を含むが、未知のパラメータは１１個だけである（５つの固有および６つの外因性）。上記の方程式から明らかであるように、各（ｘ，ｙ，ｚ）点は、画像の２つの座標（ｕおよびｖ）ならびに各画素座標に１つずつ、２つの別個の方程式をもたらす。各カメラを較正するために、較正ターゲットの１つだけの画像が必要である。この画像で、１２個の方程式を解くために６個の画素が選択され、マトリックスＰの１２個の要素が抽出される。実際には、より高い精度を得るために、７個以上の点が画像で選択される。

サーマルカメラは、画像内の画素を空間位置と相関させ、方程式を解き、かつ較正マトリックスを構成することによって、ビデオカメラと同じプロセスを用いて較正される。サーマルカメラとビデオカメラとの間の違いは、サーマルカメラを較正するときに、熱画像から画素が選択され、較正ターゲットの基準点が熱的に可視であることである。本発明のシステムでは、サーマルカメラの較正のために選択された基準点は、ビデオカメラの較正に利用される同じ三角形の較正ターゲットの格子模様の正方形の中心である。

そのような点をサーマルカメラに見えるようにするために、幾つかの手法を使用することができる。
＊直流源に接続されたときにサーマルカメラによって検出可能な温度差を生成する熱電冷却器（ＴＥＣ）を使用する。
＊較正ターゲットで発熱電気抵抗器を使用する。
＊放射率がかなり異なる材料で較正ターゲットを被覆し、それによって明暗正方形のパターンを生成する。

熱撮像カメラに使用するように修正された較正ターゲットを図３に示す。

プロジェクタの較正は、その画素を空間基準点とマッチングさせることによっても得られる。プロジェクタは画素を取り込むのではなく、画素を投影するので、その画素を画定するにはより複雑な手順が必要である。プロジェクタの較正は、較正ターゲット上に特定のパターンを投影し、かつビデオカメラで全てのパターンを取り込むことによって達成される（符号化光法）。そうすることによって、プロジェクタの画素の各々に一意の符号が割り当てられる。これは、プロジェクタの画素を、カメラによって得られた画像に相関させることを可能にする。この手順に様々な光符合を利用することができる。我々のシステムでは、暗と明の縞模様のパターンから成る２進グレーコードを使用して、３次元表面撮像を実行した［Ｓａｔｏ ａｎｄ Ｉｎｏｋｕｃｈｉ， Ｊ．ｏｆ Ｒｏｂｏｔｉｃ Ｓｙｓｔｅｍｓ ２（１）２７‐３９；１９８５］。一連の縦横のグレーコード・パターンを較正ターゲット上に投影し、カメラによって取り込んだ場合、プロジェクタに帰属する各画素は、１と０から成るそれ自体の２進コードを有する。グレーコードを利用する場合、投影に必要なパターンの数はプロジェクタの画素数に依存する。したがって、プロジェクタが１０２４画素を有する場合（２１０）、各画素がその一意のシーケンスを有するように１０個のグレーコード・パターンが投影される。これで画素を識別することができるようになり、既知の位置を持つ世界の点にそれらを対応させ、方程式を解き、かつ較正マトリックスを画定する手順が実行される一方、選択される基準点は（ビデオカメラの場合と同様に）較正ターゲットの正方形の隅である。

各装置に１つずつ、３つの較正マトリックスが全部得られると、それらを用いて、２次元画像内の点を３次元構造と関連付けることができる。装置のマトリックスは数あるパラメータの中でも特にそれらの位置および角度に従って構成されるので、装置は相互に対して適所に固定される。

結果
プロジェクタを利用して複数の光パターンを女性の乳房に順次投影する一方で、（プロジェクタに対して既知の位置を有する）カメラを利用して、反射パターンを取り込んだ。投影された光パターンは、各画素に１と０の一意のシーケンスを提供する一連のグレーコード・パターンであった。この場合、女性の乳房に投影されるこれらのパターン点は、取り込まれた画像で位置を突き止められ、輪郭情報を抽出するために使用された。

三角測量を介して３次元データの再構成を得た。プロジェクタが縦縞模様（グレーコード・パターン）を投影し、三角測量が水平方向に実現されるように、カメラおよびプロジェクタは（相互に上下に重ねるのとは対照的に）横に並べて配置した。三角測量の基礎は、カメラ画像の画素とプロジェクタからの面（面であるのは、ドットではなく縞模様が投影されるためである）との交差によって形成される三角形に存する。各カメラ画素は、投影された物体の表面上で空間内の特定の点にプロジェクタから投影される面と交差する。

本発明のシステムでは、カメラの画素（ｕ，ｖ）および投影されたパターンから既知であるプロジェクタからのそれらの原点を相関させることによって、三角測量は促進される。カメラよって取り込まれた画像に見られるように、（ｕ，ｖ）画素を選択し、かつそのグレーコードを検査することによって、各空間をカメラ画素に帰属させた。三角測量計算の結果は点の空間位置（ｘ，ｙ，ｚ）であった。

３次元情報に再構成される空間点は、カメラおよびプロジェクタの両方の視野内にあるものだけである。

上記の手法を使用して、本発明の発明者らは、女性の乳房の３次元輪郭モデルを作成した（図４）。

ひとたび輪郭モデルが得られると、上述するようにサーマルカメラを較正し、乳房組織から熱データを取り込むために利用した。

絶対零度より上の温度を持つ全ての物体は放射を放出する。放出される放射の量は、物体の温度および放射率に依存する。物質の放射率は、同じ温度で黒体によって放射されるエネルギに対する物質から放射されるエネルギの比率である。人間の皮膚は高い放射率を有し、１に近いとみなされる。物体によって放出される放射の量はその温度と共に増大するので、物体の温度は熱撮像によって解析することができる。サーマルイメージャは表面温度だけを検出かつ表示し、それはグレースケールまたはカラー画像として表すことができる。グレースケール画像では、高温の物はより白く現れ、より低温の物はより黒く現れることが一般的であるが、これは装置の設定のみに依存する。

サーモグラフィカメラは、物体によって放出される（かつ反射もされる）熱赤外放射を、グラフィック表示することのできる画像に変換する装置である。その機能は、可視光の検出によって画像を生成する普通のデジタルカメラと同様である。４００〜７５０ナノメートル範囲の可視光の代りに、赤外線カメラは７５０から１４０００ｎｍ（１４μｍ）までの波長で動作するので、それらのレンズは赤外放射を透過しなければならない（種々のカメラが赤外領域全体ではなく、赤外領域の様々な波長範囲に感応する）。正常体温の人間は、約１０μｍの波長の赤外範囲を最も強く放射する。任意のデジタルカメラと同様に、放射は光学系によって、赤外放射に反応する赤外検出器に集束される。放射は電気信号に変換され、電気信号は処理され、標準ビデオモニタ上に表示できる画像に変換される。サーマルカメラの出力は温度の単位で較正される。

サーモグラフィカメラは、２種類あるうちの１種類すなわち冷却式または非冷却式の検出器を含む。

冷却式熱検出器は量子効果に基づく。すなわち、光子が検出器に衝突し、光子の周波数によって決定されるエネルギの量により電子を励起させる。赤外放射はエネルギが低いので、２つのエネルギレベル間の差が小さく、したがって検出器は熱雑音に極めて弱い。

非冷却式熱検出器は、様々な仕方で、すなわちコンデンサのローディング、抵抗の変化（ボロメータ）、ガスの膨張等熱に反応する材料から構成される。非冷却式検出器は室温で使用することができるが、冷却式検出器より感度が通常低い。

この実施例では、本発明のシステムは、ボロメータ（マイクロボロメータ）を検出器とする非冷却式サーマルカメラを利用した。赤外放射が検出器に衝突すると、それらの電気抵抗が変化する。この抵抗の変化を測定し、それをグラフィックで表すことのできる温度に処理することができる。図５は、本発明によって利用されたサーマルカメラによって取り込まれた結果の熱画像を示す。

この熱画像を次に３Ｄ位置点（表面を表す）と相関して、空間内の（ｘ，ｙ，ｚ）点に対応する熱画像内の（ｕ，ｖ）座標を得た。これは実際には、サーマルカメラの像面に３Ｄ表面を投影することになる。ひとたび３Ｄ位置点および熱画像が同一面内に相互配置されると、それらを相互に関連付けることができる。補間を使用して、全ての（ｘ，ｙ，ｚ）３Ｄ位置が熱画像からの値と相関される。熱画像の値は物体の絶対温度ではなく、むしろ物体から放出されかつサーマルカメラによって検出された赤外フラックスを表すグレーレベルである。結果的に得られた画像は今や、４つの座標：（ｘ，ｙ，ｚ，ｔ）を有するデータ点を含む。「ｔ」座標とは、カラーまたはグレーレベル点として３Ｄ画像に加えられる熱画像内の数値を指す（図６）。

明確にするため別個の実施形態で説明されている本発明の特定の特徴は単一の実施形態に組み合わせて提供することもできることは分かるであろう。逆に、簡潔にするため単一の実施形態で説明されている本発明の各種の特徴は別個にまたは適切なサブコンビネーションで提供することもできる。

本発明はその特定の実施形態によって説明してきたが、多くの別法、変更および変形があることは当業者には明らかであることは明白である。従って、本発明は、本願の請求項の精神と広い範囲の中に入るこのような別法、変更および変形すべてを包含するものである。本明細書中で言及した刊行物、特許および特許願はすべて、個々の刊行物、特許または特許願が各々あたかも具体的にかつ個々に引用提示されているのと同程度に、全体を本明細書に援用するものである。さらに、本願で引用または確認したことは本発明の先行技術として利用できるという自白とみなすべきではない。

Claims (11)

1. 組織領域から熱データを得る方法であって、
   （ａ）組織領域が第１状態にある間に組織領域の第１表面輪郭を得るステップと、
   （ｂ）前記第１状態の組織領域から第１熱データを得、それを前記第１表面輪郭と関連付けるステップと、
   （ｃ）組織領域が前記第１状態とは異なる第２状態にある間に組織領域の第２表面輪郭を得るステップと、
   （ｄ）前記第１表面輪郭および前記第２表面輪郭のそれぞれを処理して、前記第１表面輪郭および前記第２表面輪郭のそれぞれの３次元モデルを提供し、これらの３次元モデルを使用して、前記第１状態および前記第２状態を認定するステップと、
   （ｅ）前記認定された第１状態から第２状態への組織領域の変化に従って前記第１熱データを補正し、それにより第２状態の組織領域に関連付けられる第２熱データを提供するステップと、
   を含む方法。
2. 前記組織領域は乳房である、請求項１に記載の方法。
3. （ａ）は、少なくとも１つのカメラを使用して達成される、請求項１に記載の方法。
4. （ａ）は、前記組織領域の表面上に投影されるパターンの画像を取り込むことによって達成される、請求項１に記載の方法。
5. 前記パターンはコード化された光パターンである、請求項４に記載の方法。
6. 前記パターンの前記画像は処理ユニットを使用して処理される、請求項４に記載の方法。
7. 組織領域から撮像データを得る方法であって、
   （ａ）組織領域が第１状態にある間に組織領域の第１表面輪郭を得るステップと、
   （ｂ）前記第１状態の組織領域から第１撮像データを得、それを前記第１表面輪郭と関連付けるステップと、
   （ｃ）組織領域が前記第１状態とは異なる第２状態にある間に組織領域の第２表面輪郭を得るステップと、
   （ｄ）前記第１表面輪郭および前記第２表面輪郭のそれぞれを処理して、前記第１表面輪郭および前記第２表面輪郭のそれぞれの３次元モデルを提供し、これらの３次元モデルを使用して、前記第１状態および前記第２状態を認定するステップと、
   （ｅ）前記認定された第１状態から第２状態への組織領域の変化に従って前記第１撮像データを補正し、それにより第２状態の組織領域に関連付けられる第２撮像データを提供するステップと、
   を含む方法。
8. 前記第１撮像データは超音波撮像データである、請求項７に記載の方法。
9. （ｅ）は、前記モデルに従って前記第１撮像データの撮像面を補正することによって達成される、請求項８に記載の方法。
10. 前記第２状態は組織領域の前記第１状態に対する変形形状に相当する、請求項１〜９のいずれかに記載の方法。
11. 前記変形は非熱撮像モダリティによって実施され、方法は、組織領域が前記第２状態にあるときに前記非熱撮像モダリティから非熱撮像データを得て、前記第２熱データを前記非熱撮像データと共にレジストレーションすることをさらに含む、請求項１０に記載の方法。